Un algorithme “prédit” les mouvements des photos 📸

Des chercheurs américains ont créé un algorithme qui permet de “prédire” les mouvements d’une photo et la transformer en vidéo. 

Certains appareils photo conservent les instants immédiats avant et après la prise de photo. Des chercheurs de l’université de Washington ont créé un nouvel algorithme d’apprentissage en profondeur qui “prédit” les mouvements d’une photo. À partir d’une photo, il va créer des vidéos réalistes en boucle, elles sont aussi en haute résolution. 

Contrairement aux outils déjà existants, cet algorithme baptisé “Eulorian Motion Fields” n’a besoin que d’un seul cliché. Jusqu’ici il fallait plusieurs assemblages de photos pour démarrer le processus. L’utilisateur n’a pas besoin d’entrer d’informations supplémentaires. Pour créer le mouvement, l’IA doit imaginer dans les moindres détails ce que ce dernier donnerait, il le “prédit”. 

L’équipe de chercheurs a alimenté un réseau de neurones avec des milliers de clips illustrant des mouvements fluides : cascades, nuages, feu, rivières et océans, pour l’entraîner à préduire les mouvements dans l’imagerie. Les chercheurs montraient à l’algorithme une image tirée d’une vidéo et lui demandaient de deviner quel mouvement suivait. Le résultat de l’algorithme était ensuite comparé avec la vidéo complète, ce qui lui permettait d’affiner ses prédictions. 

Les chercheurs se sont appuyés sur la technique du “splatting” qui consiste à déplacer les pixels d’une photo pour suivre les mouvements prédits. Ils ont incorporé un “splatting symétrique” qui demande à l’IA de prédire le passé d’une photo. 

L’outil est actuellement le meilleur pour créer des vidéos fluides. Il met en mouvement des éléments de la nature comme des cascades, des rivières, de la fumée ou encore des nuages. Les chercheurs espèrent à terme lui faire prédire d’autres objets comme les cheveux.