Des chercheurs de Google et DeepMind ont dévoilé Med-PaLM Multimodal (Med-PaLM M), un modèle d’IA médicale capable d’encoder et d’interpréter divers types de données liées à la santé (textes, images, génomique, etc.). Ce système généraliste d’IA a montré des performances compétitives, voire supérieures, dans tous les domaines couverts par l’évaluation MultiMedBench.
Les modèles de langage (LLM) ont progressé dans presque tous les domaines, y compris la santé. Google Research et Google DeepMind viennent de dévoiler MultiMedBench, un benchmark unique composé de 14 activités biomédicales différentes, et Med-PaLM M, un modèle générateur multimodal.
MultiMedBench est une librairies d’un million d’exemples pouvant être utilisés pour entraîner et évaluer les performances de Med-PaLM M dans diverses applications biomédicales. Ces exemples sont des réponses à des questions, des rapports générés, des classifications et autres tâches cliniquement pertinentes. L’utilisation de ce benchmark complet a été cruciale pour développer les capacités de Med-PaLM M.
Med-PaLM M quant à lui peut comprendre et encoder divers types de données biomédicales, tels que le langage clinique, les images médicales et les données génétiques. Il a montré des performances compétitives, voire supérieures, aux modèles de pointe sur toutes les tâches couvertes par l’évaluation MultiMedBench. Il a également démontré une capacité d’apprentissage transférable entre les tâches et un apprentissage zéro-shot de tâches et concepts médicaux.
Les capacités uniques de Med-PaLM M, le futur de la médecine ?
Med-PaLM M a montré des capacités uniques, dans l’identification notamment de nouveaux concepts médicaux et le raisonnement médical zéro-shot. Cela signifie qu’il pourrait prendre des décisions concernant des situations médicales pour lesquelles il n’a pas été spécifiquement formé. Par exemple et bien qu’il n’ait jamais rencontré de présentations de la maladie dans des images, le modèle s’est avéré capable d’identifier et de décrire avec précision la tuberculose sur des radiographies du thorax. Ceci avec un faible taux d’erreurs. Les radiologues ont préféré les rapports de Med-PaLM M aux rapports des radiologues dans 40,5 % des cas.
In fine, Med-PaLM M a non seulement introduit une nouvelle référence biomédicale, mais a également démontré que le premier système d’IA biomédicale généraliste atteint des performances compétitives ou supérieures à celles des modèles spécialisés de pointe pour de multiples tâches. Ces résultats marquent une avancée significative et offrent des possibilités encourageantes pour le développement de solutions médicales alimentées par l’IA. Cependant, l’équipe de chercheurs a souligné que des travaux supplémentaires sont nécessaires pour que ces systèmes puissent être utilisés dans des contextes pratiques.