Auf Voroptimierer und Optimierer Basierender Rahmen für den Optimalen Einsatz von Einbettungstabellen über eine Heterogene Speicherarchitektur Hinweg
Anmelder: Tata Consultancy Services Limited 🇮🇳
Details
- Veröffentlichungs-Nr.
- EP4521299
- Aktenzeichen
- EP24193792
- Anmeldetag
- 9. August 2024
- Veröffentlichung
- 31. Dezember 2025
- Erteilung
- 31. Dezember 2025
- Rechtsraum
- EP
- IPC
- G06N3/06G06F12/0802G06N5/01G06N20/00
Abstract
High-performance deployment of DNN recommendation models heavily rely on embedding tables, and their performance bottleneck lies in the latency of embedding access. To optimize the deployment of RMs, the method and system is disclosed, which leverages heterogeneous memory types on FPGAs to improve the overall performance by maximizing the availability of frequently accessed data in faster memory. The system, using a optimizer dynamically allocates table partitions of the embedding tables based on history of input access history. A pre-optimizer block disclosed determines whether smaller tables should be partitioned or placed entirely in smaller memories, improving overall efficiency. The performance of RM is improved with improvement in average embedding fetch latency and effectively inference latency via modified Round Trip computation.
Anmelder
- Firma
- Tata Consultancy Services Limited
- Land
- 🇮🇳 Indien
Indisches IT-Dienstleistungs- und Beratungsunternehmen, Teil der Tata Group. Bietet Softwareentwicklung, IT-Consulting, Outsourcing und digitale Transformationslösungen für Unternehmenskunden weltweit an.
1.851 Patente in unserer Datenbank
Fachgebiete
Boehmert & Boehmert geht auf die Zulassung von Dr. Karl Boehmert 1931 in Berlin zurück. Mit Standorten in Deutschland, Alicante, Paris und Shanghai bietet die Kanzlei IP aus einer Hand und legt besonderen Wert auf persönliche Mandantenbetreuung statt Anonymität.