Verfahren und System zum Einsatz von Grossen Sprachmodellen in Cloud-Instanzen
Anmelder: Tata Consultancy Services Limited 🇮🇳
Details
- Veröffentlichungs-Nr.
- EP4722913
- Anmeldetag
- 15. September 2025
- Veröffentlichung
- 8. April 2026
- Rechtsraum
- EP
- IPC
- G06F9/50, G06N20/00
Abstract
Existing model deployment approaches have the disadvantage that they do not consider feasibility of cloud instances for hosting a given LLM model. Embodiments disclosed herein provide a method and system for deployment of LLMs in a plurality of cloud instances. The system checks feasibility of the plurality of cloud instances for hosting an LLM, based on size of the LLM and storage space in each of the cloud instances. Further, a latency value for a plurality of batch sizes is determined for a plurality of LLM-accelerator pairs, in each of the plurality of cloud instances identified as feasible based on the feasibility check, using a performance model. Furthermore, a recommendation of one of the plurality of cloud instances identified as feasible is generated, based on the determined latency, a measured cost of deployment, a user workload, an application type, a plurality of latency constraints, and an evaluated performance.
Anmelder
- Firma
- Tata Consultancy Services Limited
- Land
- 🇮🇳 Indien
Indisches IT-Dienstleistungs- und Beratungsunternehmen, Teil der Tata Group. Bietet Softwareentwicklung, IT-Consulting, Outsourcing und digitale Transformationslösungen für Unternehmenskunden weltweit an.
1.851 Patente in unserer Datenbank
Boehmert & Boehmert geht auf die Zulassung von Dr. Karl Boehmert 1931 in Berlin zurück. Mit Standorten in Deutschland, Alicante, Paris und Shanghai bietet die Kanzlei IP aus einer Hand und legt besonderen Wert auf persönliche Mandantenbetreuung statt Anonymität.