Stability AI, la start-up américaine spécialisée en intelligence artificielle, lance StableLM, un nouveau modèle de langage (LLM) open source. Ce modèle fruit du monde de la recherche en IA est présenté comme une alternative aux technologies propriétaires telles que celles utilisées par ChatGPT d’OpenAI.
StableLM est un modèle de traitement du langage naturel (NLP) conçu pour répondre aux questions, générer du contenu ou encore traduire des textes. Aujourd’hui en version Alpha, et disponible en open source sous licence CC BY-SA-4.0 sur GitHub, l’initiative vise principalement à encourager l’innovation ouverte en matière d’IA et à offrir une plus grande transparence sur l’utilisation des données et la gestion des risques. Stability AI, qui est également à l’origine de Stable Diffusion (text-to-Image) et qui a récemment proposé un plug-in pour le logiciel 3D Blender, s’est appuyée sur ses recherches passées pour créer StableLM.
Et comme d’autres LLM récents, plus petits, tels que Stanford Alpaca ou Dolly 2.0, StableLM pourrait atteindre des performances similaires à celles de GPT-3 d’OpenAI, tout en utilisant beaucoup moins de paramètres, soit 7 milliards contre 175 milliards pour GPT-3.5).
Un modèle puissant et open source
StableLM s’appuie sur des modèles de langage antérieurs élaborés avec EleutherAI (comme GPT-J, GPT-NeoX et la suite Pythia) tous formés sur le jeu de données en libre accès The Pile, proposé par Eleuther AI. StableLM est, de son côté, entraîné sur un nouvel ensemble de données expérimentales basées sur The Pile mais qui est trois fois plus important (1,5 trillion de jetons de contenu). Totu comme ChatGPT, il est donc capable de comprendre et de traiter des requêtes complexes, de gérer du texte et du code. Mais sa particularité réside bein dans le fait qu’il soit open source.
« Les modèles de langage formeront l’épine dorsale de notre économie numérique et nous voulons que tout le monde ait une voix dans leur conception. Des modèles comme StableLM démontrent notre engagement envers une technologie de l’IA transparente, accessible et solidaire » peut-on lire sur le blog officiel de Stability AI.
Aussi, En offrant ce modèle en open source, Stability AI entend favoriser la collaboration et le partage d’expertise au sein de la communauté de chercheurs et de développeurs en intelligence artificielle. L’entreprise espère ainsi contribuer à la démocratisation de l’accès aux technologies d’IA. Outre la version Alpha qui repose sur 7 milliards de paramètres, une version des modèles allant de 15 à 65 milliards est déjà prévue.