Investigadores de la Universidad de Maryland han desarrollado una técnica que puede reconstruir imágenes en 3D de las escenas que han visto los ojos de una persona. Un modelo de red neuronal lo consigue a partir de los reflejos oculares que esas escenas han dejado en la retina.
Existe un viejo truco de ilusionismo que consiste en adivinar, por ejemplo, la carta que ha visto una persona observando detenidamente su ojo. La sorpresa es mayúscula cuando el ilusionista le dice qué carta ha visto, asegurando que la imagen del naipe ha quedado retenida en su retina y que con una especial pericia “mágica” es posible recuperarla. Pura ficción.
Pero la tecnología puede ahora hacerlo realidad: permite ver lo que está observando otra persona, aunque no esté a la vista de una cámara, así como recrear en 3D una escena que solo ha sido reflejada en los ojos de alguien.
Nueva técnica
Se trata de una nueva técnica de reconstrucción 3D desarrollada por un equipo de investigadores de la Universidad de Maryland, que adelantan los resultados de su trabajo en un artículo publicado en arXiv. Toda esta tecnología está ampliamente explicada en su web.
La técnica se basa en el hecho de que el ojo humano es reflectante y en que la córnea tiene una geometría aproximadamente igual en todos los adultos sanos.
La técnica puede reconstruir imágenes en 3D a partir de los reflejos que los objetos vistos han dejado en los ojos, mediante la construcción de un modelo de red neuronal llamado campos de radiación neuronal (NeRF), explica The Byte.
Proceso de captura del reflejo que deja en los ojos las imágenes que hemos visto. / Hadi Alzayer et al.
Una sola cámara
Aunque la mayoría de las aplicaciones de NeRF requieren múltiples cámaras en movimiento que capturen una escena para generar una representación 3D, la nueva técnica solo requiere una sola cámara fija y un globo ocular, añade la citada revista.
Así, a partir de unas pocas fotos del rostro de una persona, los investigadores pueden estimar la posición y la orientación de sus ojos, y luego lanzar rayos desde la cámara que se reflejan en la córnea y captan la luz que proviene de la escena contemplada.
Con esta información, pueden entrenar un campo de radiancia que representa la escena en 3D. Así podemos ver la carta de la baraja que ha visto esa persona. Sin truco ni cartón.
Desafíos por resolver
Sin embargo, aunque la tecnología es sorprendente y prometedora, tiene todavía algunos desafíos, como separar la textura del iris del ojo de la textura de la escena reflejada, o refinar la estimación de la posición del ojo para mejorar la calidad de la reconstrucción. Para ello, los investigadores proponen unos métodos basados en la descomposición de texturas y la optimización de poses para mejorar los resultados.
Los investigadores han demostrado su técnica con varios experimentos en escenas sintéticas y reales, con personas de diferentes colores de ojos.
Incluso han intentado reconstruir lo que observan algunas celebridades como Miley Cyrus o Lady Gaga en sus vídeos musicales, aunque con resultados menos claros debido a la calidad de las imágenes.
Potenciales aplicaciones
Los investigadores afirman que su técnica tiene potenciales aplicaciones en áreas como la realidad virtual, el arte, la medicina o la seguridad. ¿Tal vez también en el ilusionismo?
Por ejemplo, podría servir para crear experiencias inmersivas que permitan ver el mundo desde diferentes perspectivas, para generar obras artísticas que exploren las posibilidades creativas de los reflejos oculares, para diagnosticar enfermedades oculares o cerebrales a partir de las imágenes de los ojos, o para identificar sospechosos o testigos a partir de las escenas que han visto.
Cuestiones éticas
Sin embargo, también reconocen que su técnica plantea algunas cuestiones éticas sobre el derecho a la privacidad y el consentimiento de las personas cuyos ojos se utilizan para ver el mundo.
¿Hasta qué punto es lícito acceder a lo que ven los demás sin su permiso? ¿Qué riesgos hay de que se manipulen o se difundan imágenes sensibles o comprometedoras? ¿Qué normas legales y morales deberían regular este tipo de tecnologías?
Estas son algunas de las preguntas que surgen ante este innovador proyecto, que abre nuevas posibilidades y desafíos para la ciencia y la sociedad.
Referencia
Seeing the World through Your Eyes. Hadi Alzayer et al. arXiv:2306.09348v1 [cs.CV]. DOI:https://doi.org/10.48550/arXiv.2306.09348
(Una primera versión de este artículo se publicó el 7 de julio de 2023).
