L’utilisation de la réflexion permet de voir le monde sous de nouvelles perspectives.

Réflexion
Dans les séries policières télévisées, les personnages font souvent des zooms avant et améliorent les images de vidéosurveillance pour capter les reflets – peut-être ceux des lunettes de soleil du suspect – qui les aident à élucider le crime.

« Dans la vie réelle, l’utilisation de ces réflexes n’est pas aussi simple que d’appuyer sur le bouton d’amélioration. Il est difficile d’en tirer des informations utiles, car ils nous donnent une vision déformée du monde », explique Akshat Dave , coauteur de l’étude à l’université de Rice.

Cette distorsion dépend de la forme de l’objet et du monde qu’il reflète, sur lesquels les chercheurs peuvent disposer d’informations incomplètes. En outre, la couleur et la texture d’un objet brillant peuvent être mélangées aux reflets, qui sont des projections bidimensionnelles d’un monde tridimensionnel. Il est donc difficile d’estimer la profondeur dans les scènes reflétées.

L’équipe a trouvé un moyen de surmonter ces difficultés. Leur méthode, connue sous le nom de ORCa (object radiation field cameras), se compose de trois étapes. Tout d’abord, ils acquièrent des images d’un objet à partir de plusieurs points en capturant plusieurs reflets dans un objet brillant.

Ensuite, pour chaque image provenant de la caméra réelle, ORCa utilise l’apprentissage automatique pour convertir la surface de l’objet en un capteur virtuel qui capte la lumière et les réflexions frappant chaque pixel virtuel de la surface. Enfin, le système utilise ces pixels pour simuler l’environnement tridimensionnel du point de vue de l’objet.

Attraper les rayons
En capturant des images d’un objet sous différents angles, ORCa est capable de combiner des réflexions multivues. Celles-ci sont utilisées par le système pour estimer la profondeur entre l’objet brillant et les autres objets de la scène, et pour décrire la forme de l’objet brillant. Cette technologie modélise la scène comme un champ de rayonnement 5D , qui recueille des informations supplémentaires sur l’intensité et la direction des rayons lumineux émanant de chaque point et tombant sur lui.

Les informations supplémentaires contenues dans ce champ de luminance 5D aident également l’ORCa à estimer la profondeur avec précision. Au lieu d’une image en 2D, l’utilisateur peut voir des éléments cachés qui seraient autrement bloqués par des angles ou des obstacles.

En fait, une fois qu’ORCa a capturé ce champ de rayonnement 5D, l’utilisateur peut placer une caméra virtuelle n’importe où dans la scène et synthétiser ce que voit cette caméra, explique Dave. Il est également possible d’insérer des objets virtuels dans l’environnement ou d’en modifier l’apparence, par exemple en passant de la céramique au métal.

« Le passage de l’imagerie 2D à un environnement 5D a été particulièrement difficile. Il faut s’assurer que la cartographie fonctionne et qu’elle est physiquement exacte, c’est-à-dire qu’elle est basée sur la façon dont la lumière se propage dans l’espace et sur la façon dont elle interagit avec l’environnement. Nous passons beaucoup de temps à réfléchir à la manière de modéliser la surface », explique M. Tiwari.