🎓 GPT-3 : l’IA valide vos examens de fin d’année

L’IA GPT-3 a prouvé qu’elle était capable d’obtenir des notes satisfaisantes dans le rendu de mémoire de fin d’année. 

 

L’intelligence artificielle est de plus en plus présente dans nos vies. Elle pourrait bientôt écrire nos mémoires de fin d’étude à notre place. Aux Etats-Unis, EduRef, une ressource pour les étudiants et les enseignants, a mené une expérience pour voir si GPT-3 pouvait obtenir de bonnes notes à son mémoire de fin d’études. Ce modèle de prédiction du langage de Deep Learning a été lancé en juin 2020 par OpenAI, une entreprise de recherche co-fondée par Elon Musk. 

 

Les chercheurs ont testé l’IA sur plusieurs examens dans différents domaines. Les étudiants et l’IA ont été notés de manière anonyme par un jury d’universitaires. Pour l’IA, les résultats ont été pour le moins surprenants. 

 

Des résultats “passables” et encourageants  

 

GPT-3 a mis 3 à 20 minutes pour rédiger ses mémoires, quand il faut en moyenne 3 jours aux étudiants. L’IA été notée sur quatre sujets : l’histoire des Etats-Unis, les méthodes de recherche (l’efficacité du vaccin contre le Covid-19), la création littéraire et le droit. Elle a réussi à obtenir une moyenne de “C”, soit une mention “passable” en France. Dans le détail, GPT-3 a obtenu un “B” en histoire américaine et en droit, un “C” en méthodes de recherche et un “D” en création littéraire.  

 

Si on se penche un peu sur les résultats : 49,2% des commentaires sur les travaux de l’IA portaient sur la grammaire et la syntaxe, 26,2% sur des erreurs d’inattention. Ce sont des résultats pratiquement similaires à ceux des étudiants : 50% sur la grammaire et 25,4% sur des erreurs d’inattention. 

 

Les résultats aux évaluations ont montré que GPT-3 était capable d’imiter l’écriture humaine au niveau de la grammaire, de la syntaxe ou encore de la fréquence des mots. L’IA n’a actuellement pas le recul nécessaire pour comprendre ce qu’elle écrit. Pour les chercheurs en Deep learning cela reste un tournant majeur.