Cadres d'applications LLM
by Stephen M. Walker II, Co-Fondateur / PDG
Cadres d'applications LLM
Voici un glossaire des principaux cadres de programmation d'applications de grands modèles de langage (LLM) :
-
OpenAI — OpenAI est un laboratoire de recherche en IA qui a développé plusieurs LLM, dont GPT-3 et ChatGPT. Ces modèles sont capables de générer du texte, de traduire des langues et de répondre aux questions de manière informative.
-
ChatGPT — Un LLM spécifique développé par OpenAI, conçu pour être utilisé dans les chatbots. Il est formé sur un ensemble massif de textes et de codes, lui permettant d'apprendre les modèles de conversation humaine et de générer des réponses naturelles et engageantes.
-
Bard — Bard est une famille de LLM développés par Google AI. Ils sont conçus pour être utilisés comme point de départ pour développer d'autres modèles d'IA et sont formés sur des ensembles massifs de textes et de codes.
-
LangChain — Un cadre d'orchestration open-source conçu pour être facile à utiliser et évolutif. Il fournit une API simple, une architecture distribuée et des fonctionnalités pour gérer les LLM tels que l'équilibrage de charge, la tolérance aux pannes et la sécurité.
-
LlamaIndex — Un cadre de données pour les LLM qui fournit des outils pour ingérer, structurer et accéder à des données privées ou spécifiques à un domaine. Il peut être utilisé pour connecter les LLM à une variété de sources de données, y compris les API, les PDF, les documents et les bases de données SQL.
-
vLLM — Un cadre pour l'inférence et le service LLM. C'est l'une des bibliothèques open-source pour l'inférence et le service LLM.
-
Ray Serve — Un cadre considéré pour un pipeline stable et un déploiement flexible. Il est mieux adapté pour des projets plus matures.
-
MLC LLM — Une solution de déploiement universelle qui permet aux LLM de fonctionner efficacement sur des appareils grand public, en exploitant l'accélération matérielle native.
-
DeepSpeed-MII — Un cadre à utiliser si vous avez déjà de l'expérience avec la bibliothèque DeepSpeed et que vous souhaitez continuer à l'utiliser pour déployer des LLM.
-
OpenLLM — Un cadre qui supporte la connexion de plusieurs adaptateurs à un seul LLM déployé. Il permet l'utilisation de différentes implémentations : Pytorch, Tensorflow ou Flax.
-
FlexGen — Un outil pour exécuter de grands modèles de langage sur une seule GPU pour des scénarios orientés débit.
-
Flowise — Une interface glisser-déposer pour construire votre flux LLM personnalisé en utilisant LangchainJS.
-
lanarky — Un cadre FastAPI pour construire des applications LLM de qualité production.
-
Xinference — Un cadre qui vous donne la liberté d'utiliser n'importe quel LLM dont vous avez besoin. Il vous permet d'exécuter des inférences avec n'importe quel modèle de langage open-source, des modèles de reconnaissance vocale et des modèles multimodaux.
-
Giskard — Un cadre de test dédié aux modèles ML, des modèles tabulaires aux LLM.
N'oubliez pas, le meilleur cadre pour une application particulière dépendra des exigences spécifiques de cette application.