Une reconnaissance d'images performante permettrait, dans un avenir proche, de capturer l'environnement en une fraction de seconde, et d'identifier et interpréter les mouvements rapidement. Pour permettre cette avancée grâce au traitement de l'image, il est nécessaire d'avancer fondamentalement dans la recherche sur la reconnaissance d'images. Christian Theobalt, professeur d'informatique à l'Université de la Sarre, mènera ce projet avec une bourse pour jeune chercheur du Conseil européen de la recherche ("ERC Starting Grant") à hauteur de 1,5 million d'euros sur trois ans.
C'est principalement grâce aux yeux que l'homme est en mesure d'avoir des informations détaillées sur l'espace et le déroulement des actions autour de lui. Même si les ordinateurs ou les téléphones disposent d'un équivalent, la caméra, il est encore difficile pour un système d'interpréter un environnement réel à partir d'images capturées. Saisir la géométrie et les mouvements dans une scène est un problème encore plus complexe.
C'est sur ce sujet que travaille Christian Theobalt, chef du groupe "Graphismes, vision et vidéo" à l'Institut Max Planck pour l'informatique de Sarrebruck (Sarre). Basé sur des enregistrements vidéo, les ordinateurs doivent pouvoir reconstituer des scènes et reconnaître les surfaces des objets filmés. "Bien que la reconnaissance d'image ait fait de grands progrès vers cet objectif, de nombreuses méthodes en sont encore à leurs balbutiements et ne peuvent pour le moment être appliquées que dans des conditions spécifiques", explique le chercheur. Le niveau de détail est par ailleurs insuffisant.
Le projet, baptisé "CapReal - Capture performante du monde réel en mouvement", a pour objet de mettre en place la base théorique de nouvelles méthodes pour permettre la reconstruction dynamique de scènes. Ces méthodes devraient permettre de saisir la géométrie, les mouvements et les propriétés des matériaux (comme la déformation) jusqu'à un niveau de détail sans précédent. Et ce, quelles que soient les conditions d'enregistrement, à savoir en studio ou en pleine nature, où les scènes sont plus complexes. "Au lieu d'utiliser un système lourd et sensible, nous souhaitons parvenir à notre objectif avec peu de caméras, par exemple celles de téléphones portables", indique Christian Theobalt.
Cet objectif nécessite toutefois de revoir les approches de base de la reconnaissance d'images. "La lumière façonne la scène. Sa modification rend la perception de celle-ci très différente et complexifie largement les algorithmes à mettre en place. Afin de toujours être en mesure de reconstituer les scènes, nos programmes ont besoin de mieux évaluer les conditions d'éclairage par une description mathématique adaptée". C'est ainsi que les informaticiens vont utiliser des méthodes d'infographie utilisées actuellement par les scientifiques afin de produire des illustrations réalistes. En outre, ils mettront au point de nouvelles méthodes pour calculer les propriétés des matériaux et des surfaces d'objets en mouvement.
Afin de commercialiser les résultats préliminaires des travaux de recherche, l'équipe a fondé l'entreprise "The Captury". La technologie proposée permet de saisir le mouvement de personnes à partir de caméras vidéo classiques. Cela simplifie par exemple l'ajout d'effets visuels, ou l'analyse par les biomécaniciens des mouvements de sportifs. Un médecin pourra suivre non seulement le mouvement d'un patient, mais également apprécier la déformation des muscles dans le corps pour déterminer si une thérapie a un effet positif. Le champ des applications restant très large, il est par ailleurs possible d'imaginer le contrôle d'un ordinateur par le mouvement, voire des applications dans la robotique ou les transports.
C'est principalement grâce aux yeux que l'homme est en mesure d'avoir des informations détaillées sur l'espace et le déroulement des actions autour de lui. Même si les ordinateurs ou les téléphones disposent d'un équivalent, la caméra, il est encore difficile pour un système d'interpréter un environnement réel à partir d'images capturées. Saisir la géométrie et les mouvements dans une scène est un problème encore plus complexe.
C'est sur ce sujet que travaille Christian Theobalt, chef du groupe "Graphismes, vision et vidéo" à l'Institut Max Planck pour l'informatique de Sarrebruck (Sarre). Basé sur des enregistrements vidéo, les ordinateurs doivent pouvoir reconstituer des scènes et reconnaître les surfaces des objets filmés. "Bien que la reconnaissance d'image ait fait de grands progrès vers cet objectif, de nombreuses méthodes en sont encore à leurs balbutiements et ne peuvent pour le moment être appliquées que dans des conditions spécifiques", explique le chercheur. Le niveau de détail est par ailleurs insuffisant.
Le projet, baptisé "CapReal - Capture performante du monde réel en mouvement", a pour objet de mettre en place la base théorique de nouvelles méthodes pour permettre la reconstruction dynamique de scènes. Ces méthodes devraient permettre de saisir la géométrie, les mouvements et les propriétés des matériaux (comme la déformation) jusqu'à un niveau de détail sans précédent. Et ce, quelles que soient les conditions d'enregistrement, à savoir en studio ou en pleine nature, où les scènes sont plus complexes. "Au lieu d'utiliser un système lourd et sensible, nous souhaitons parvenir à notre objectif avec peu de caméras, par exemple celles de téléphones portables", indique Christian Theobalt.
Cet objectif nécessite toutefois de revoir les approches de base de la reconnaissance d'images. "La lumière façonne la scène. Sa modification rend la perception de celle-ci très différente et complexifie largement les algorithmes à mettre en place. Afin de toujours être en mesure de reconstituer les scènes, nos programmes ont besoin de mieux évaluer les conditions d'éclairage par une description mathématique adaptée". C'est ainsi que les informaticiens vont utiliser des méthodes d'infographie utilisées actuellement par les scientifiques afin de produire des illustrations réalistes. En outre, ils mettront au point de nouvelles méthodes pour calculer les propriétés des matériaux et des surfaces d'objets en mouvement.
Afin de commercialiser les résultats préliminaires des travaux de recherche, l'équipe a fondé l'entreprise "The Captury". La technologie proposée permet de saisir le mouvement de personnes à partir de caméras vidéo classiques. Cela simplifie par exemple l'ajout d'effets visuels, ou l'analyse par les biomécaniciens des mouvements de sportifs. Un médecin pourra suivre non seulement le mouvement d'un patient, mais également apprécier la déformation des muscles dans le corps pour déterminer si une thérapie a un effet positif. Le champ des applications restant très large, il est par ailleurs possible d'imaginer le contrôle d'un ordinateur par le mouvement, voire des applications dans la robotique ou les transports.
