Cette intelligence artificielle conçoit des vidéos où vous pouvez vous promener

Des professionnels ont conçu une méthode permettant de mélanger des extraits vidéos en une virtualisation 4D de la scène, offrant ainsi la possibilité de faire bouger une caméra virtuelle ou de remplacer des morceaux d’image. Au contraire de méthodes déjà présentes, cette dernière demande plusieurs smartphones.

Quelle est cette intelligence artificielle ?

Des experts de l’université de Carnegie Mellon, une école privée à Pittsburgh en Pennsylvanie aux USA, ont dévoilé une IA pouvant mêler des vidéos pris via smartphones afin de concevoir une visualisation en 4D. Cela offre la possibilité de notamment effectuer une multitude d’opérations incroyables. Dans différentes vidéos de démonstration, on peut apercevoir les professionnels enlever des personnages au premier plan.

Si on se fit aux dires de ces professionnels, on peut même effectuer un transfert en filmant une personne dans un environnement, et ensuite la mettre dans un deuxième paysage. Cette intelligence artificielle unique et stupéfiante donne la possibilité de voir la scène avec des angles différents, n’ayant absolument rien à voir avec l’emplacement originale de la caméra. Et évidemment, cette technologie ne se sert pas d’écran vert !

Afin de démontrer la fiabilité de leur IA, les experts se sont servis d’environ quinze mobiles différents (plus précisément d’iPhones) afin de prendre des extraits de scènes différentes. Une manière de prouver que tout le monde peut se servir du système. Néanmoins, signalons qu’il peut y avoir des artefacts (défauts si vous préférez), encore plus quand la caméra virtuelle pivote beaucoup. Or, le résultat reste tout de même incroyable, même pour des situations compliquées comme par exemple quand une robe bouge.

L’avenir de la réalité augmentée mais aussi de la post-production ?

Il faut savoir que des technologies de ce genre existent déjà, et cela depuis longtemps. Les exemples sont multiples et variés : l’un des plus connus est le film de science-fiction Matrix, apparu il y a plus de 20 ans en 1999. Ce classique offre une scène restée dans les mémoires. Dans cette dernière, l’acteur principal du film Keanu Reeves a été filmé par de multiples caméras synchronisées. Tout cela a été effectué sur un plateau entièrement vert, avant un assemblage en post-production, fait avec énormément de ténacité. À part cela, une render farm très puissante a été utilisée.

Depuis Matrix, des méthodes nettement plus poussées ont été conçues afin d’optimiser cet effet visuel et le rendre plus réaliste. L’école Carnegie Mellon est très productive à ce niveau. Cette université américaine a aussi érigé le CMU Panoptic Studio. Il s’agit d’un studio sphérique rempli de haute technologie, avec la présence d’environ 500 caméras, et dont le but est l’étude des mouvements. Néanmoins, ce qui fait que leur nouvelle IA est totalement unique, c’est qu’elle ne demande ni l’infrastructure, ni la puissance de calcul des précédentes : le tout peut être effectué en temps réel via de simples images prises avec des smartphones. Ainsi, il ne faut même pas un jeu de caméras calibrées au micromètre et parfaitement synchronisées afin de se servir de cette intelligence artificielle unique.

Quelles sont les techniques utilisées ?

Afin de réussir cette IA, les experts se sont servis d’un réseau neuronal convolutif. Ce genre d’algorithme de deep learning est extrêmement répandu et populaire auprès des scientifiques se penchant sur l’IA par rapport aux données visuelles. Les experts de l’université de Carnegie Mellon se sont aussi rendus compte qu’ils pouvaient assembler une multitude d’extraits dans une scène 4D.

Cela est la même chose qu’une scène 3D, mais avec une dimension en plus par rapport au mouvement de la caméra. Une telle méthode offre un champ d’applications gigantesque, encore plus si on s’en sert avec des équipements de qualité professionnelle à grande échelle. Or, le réel intérêt se fera sans aucun doute sentir à la suite d’autres recherches : une fois qu’elle sera totalement finalisée, cette intelligence artificielle pourrait élargir les champs d’utilisation pour par exemple un réalisateur au budget serré. Elle pourrait même être utile pour quelque chose de plus négatif : les vidéos truquées. En effet, cette IA pourrait les rendre beaucoup plus réalistes.