El vídeo proporcionado por META explica cómo el sistema de seguimiento Oculus Insight k rastrea de forma precisa y eficiente los movimientos de las manos y la cabeza. Los acelerómetros, giroscopios y cámaras integradas en el propio hardware proporcionan un flujo de datos (esencialmente cada vez que la luz blanca está encendida en la parte superior del Quest) que se analiza constantemente para predecir el movimiento. Estas predicciones se utilizan para dibujar las imágenes de su mundo virtual exactamente donde estará su cabeza en el momento justo.

LABORATORIOS DE REALIDAD

Del laboratorio a la sala de estar: la historia detrás de la tecnología Oculus Insight de Facebook y una nueva era de la realidad virtual para el consumidor

El hardware de realidad virtual estaba conectado a una PC, hasta que un equipo de ingeniería de Facebook encontró una manera de cortar el cable.

22 DE AGOSTO DE 2019

Compartir en FacebookCompartir en TwitterCompartir en LinkedInCompartir por correo electrónico

Cuando Anna Kozminski se unió a Facebook como gerente de programas de software en 2018, su mandato era claro: ayudar a cortar el cable de los dispositivos de realidad virtual, para que cualquiera, en cualquier lugar, pudiera ponerse unos auriculares y sumergirse instantáneamente en la realidad virtual, sin tener que configurar dispositivos externos. Cámaras de seguimiento para capturar sus movimientos.

“Queríamos crear un sistema que le permitiera moverse y explorar un mundo de realidad virtual con tanta naturalidad y facilidad como lo haría en la vida real”, dice Kozminski.

Kozminski se unió a un equipo cuya misión era crear el primer sistema de seguimiento “de adentro hacia afuera” con todas las funciones para un dispositivo de realidad virtual de consumo. La tecnología tendría que rastrear todo el rango de movimientos de una persona (conocido como seis grados de libertad) y ser capaz de señalar la ubicación de los dos controladores portátiles, así como de los auriculares.

Anteriormente, los dispositivos de realidad virtual dependían de sensores externos para rastrear estos movimientos. Estas cámaras se conectan a una PC y, si bien funcionan bien, hacen que la realidad virtual sea menos portátil y más complicada de configurar. 

“Con el seguimiento de adentro hacia afuera en los auriculares, la realidad virtual se vuelve tan fácil como ponerse los auriculares para escuchar música”, dice Kozminski.

Pero la misión del equipo no fue nada fácil. Tuvieron que tomar tecnología de visión por computadora de última generación del laboratorio de investigación y hacerla funcionar en un dispositivo de consumo que cualquiera pudiera usar. El seguimiento tenía que ser preciso hasta menos de un milímetro, suficiente para capturar una inclinación sutil de la cabeza o un movimiento de la mano. Tenía que ser lo suficientemente robusto para funcionar en una variedad casi infinita de condiciones que se encuentran en los hogares del mundo real. Y tenía que ser lo suficientemente eficiente como para funcionar en un dispositivo que funciona con batería como Oculus Quest.

Para hacer esto, Kozminski y su equipo utilizaron visión por computadora y algoritmos construidos a mano para generar un mapa 3D en tiempo real de su entorno inmediato para que los auriculares pudieran calcular su posición dentro del mapa y traducirlo a realidad virtual. 

A este sistema lo llamamos Oculus Insight y es lo que hace posibles nuestros nuevos auriculares Oculus Quest y Rift S. Y hoy, revelamos cómo un equipo de ingenieros en Zurich, Menlo Park y Seattle dieron vida a esa tecnología. 

https://www.facebook.com/v19.0/plugins/video.php?allowfullscreen=true&app_id=&channel=https%3A%2F%2Fstaticxx.facebook.com%2Fx%2Fconnect%2Fxd_arbiter%2F%3Fversion%3D46%23cb%3Df9c176906b9d880d9%26domain%3Dtech.facebook.com%26is_canvas%3Dfalse%26origin%3Dhttps%253A%252F%252Ftech.facebook.com%252Ff8d76ceb98d003f10%26relation%3Dparent.parent&container_width=1060&href=https%3A%2F%2Fwww.facebook.com%2Fwatch%2F%3Fv%3D527223911184073&lazy=true&locale=en_US&sdk=joey&width=autoEste video muestra las cámaras y los sensores de seguimiento del visor Oculus Quest.

Tomando la tecnología SLAM… 

La base del seguimiento de adentro hacia afuera de Oculus Insight es la localización y el mapeo simultáneos, o SLAM , que utiliza algoritmos CV de visión por computadora para esencialmente fusionar datos entrantes de múltiples sensores para fijar la posición de un objeto dentro de un mapa digital constantemente actualizado. SLAM se ha utilizado en robótica y en efectos de cámara AR en teléfonos inteligentes y se demostró en el prototipo de casco VR Oculus Santa Cruz en 2016. Pero Oculus Insight requería un nivel de precisión y eficiencia sin precedentes, y eso significó adaptar las últimas investigaciones sobre seguimiento y computación. visión.

“Muchas de estas tecnologías realmente comienzan en el mundo académico, dentro del laboratorio”, señala Kozminski. No es coincidencia, entonces, que ella sea parte del equipo de ingenieros de Facebook con sede en Zurich, muchos de los cuales provienen de Zurich Eye , un programa conjunto de la prestigiosa Universidad ETH y la Universidad de Zurich  que investigó sistemas de navegación autónoma.

Para construir una versión nueva y más avanzada de SLAM, el equipo de ingeniería se basó en los años de investigación e ingeniería de inteligencia artificial de Facebook, construyendo sistemas para comprender los objetos y acciones que aparecen en los videos y creando algoritmos de visión por computadora altamente eficientes que funcionan bien en dispositivos móviles. . 

…y hacerlo funcionar con dispositivos VR de última generación

Oskar Linde, el arquitecto principal de percepción de máquinas del equipo de Facebook que trabajó en Oculus Insight, ya tenía experiencia en la construcción de sistemas SLAM ultraeficientes. Linde había cofundado 13th Lab, una startup que demostró el primer uso mundial de SLAM visual en una aplicación de consumo como parte de un juego AR móvil en 2011. Cuando Facebook adquirió 13th Lab y su tecnología SLAM en 2014 , Linde se unió a la empresa para desarrollar aplicaciones independientes. seguimiento de adentro hacia afuera para cascos de realidad virtual, formando el equipo que inició el desarrollo continuo de Oculus Insight. 

En 2017, el equipo de Oculus Insight estaba en pleno apogeo, aunque se enfrentaban a un desafío central: crear un seguimiento basado en SLAM que fuera extremadamente preciso y lo suficientemente eficiente como para ejecutarse en un dispositivo móvil como Oculus Quest. A Linde se unió el gerente de ingeniería Joel Hesch, quien anteriormente había estudiado aplicaciones SLAM utilizando sensores visuales, láser e inerciales para ayudar a la navegación del robot, y trabajó en aplicaciones móviles de AR y VR. Hesch se unió a Facebook para liderar el equipo que llevaría Oculus Insight a Quest y Rift S.

https://www.facebook.com/v19.0/plugins/video.php?allowfullscreen=true&app_id=&channel=https%3A%2F%2Fstaticxx.facebook.com%2Fx%2Fconnect%2Fxd_arbiter%2F%3Fversion%3D46%23cb%3Dfd8b81eb697c73e83%26domain%3Dtech.facebook.com%26is_canvas%3Dfalse%26origin%3Dhttps%253A%252F%252Ftech.facebook.com%252Ff8d76ceb98d003f10%26relation%3Dparent.parent&container_width=1060&href=https%3A%2F%2Fwww.facebook.com%2Fwatch%2F%3Fv%3D498533174029482&lazy=true&locale=en_US&sdk=joey&width=autoEste vídeo proporciona una descripción técnica de cómo funciona Oculus Insight.

Linde, Hesch, Kozminski y su equipo se basaron en el trabajo SLAM anterior de Facebook para el uso de AR móvil, así como en la tecnología de seguimiento del sistema Oculus Rift VR original, pero tuvieron que encontrar nuevas formas de adaptarlos y rediseñarlos para el seguimiento de adentro hacia afuera. en cascos de realidad virtual. 

En un teléfono inteligente, SLAM usa la cámara del teléfono para crear efectos de fotografía y video “mundiales”. Pero con la realidad virtual, hay múltiples cámaras, sensores adicionales y tres objetos diferentes para rastrear en el espacio 3D.

“Tenemos tres piezas móviles a la vez: los auriculares y luego dos controladores adicionales”, dice Kozminski. “Necesitamos conseguir esa postura exactamente correcta cada vez”.

También hay otras complicaciones. Los LED infrarrojos de los dos controladores manuales cambian drásticamente de apariencia cuando se acercan o se alejan de los auriculares mientras mueves una espada virtual o maniobras una nave espacial virtual. Oculus Insight también utiliza otros sensores, extrayendo datos de aceleración y velocidad de las unidades de medición inercial (IMU) ubicadas en los auriculares y los controladores. El sistema debe procesar todos estos puntos de datos en tiempo real y, en el caso de Quest, en un chipset móvil.

Precisión hasta el milímetro

Para abordar todos estos desafíos, el equipo de Oculus Insight perfeccionó metódicamente su sistema. Construyeron nuevos algoritmos de visión por computadora para aumentar la precisión y velocidad de seguimiento del sistema. Grabaron miles de horas de vídeo en una amplia gama de entornos de muestra y luego utilizaron el metraje para enseñar al sistema a identificar características en su entorno. Al detectar y rastrear, digamos, las esquinas de un sofá o el borde de una mesa, Oculus Insight puede triangular la ubicación exacta de una persona dentro de una habitación, en tiempo real, de manera similar a la forma en que nuestros ojos detectan objetos para ayudarnos a orientarnos.

El equipo también utilizó conjuntos de cámaras de captura de movimiento OptiTrack extremadamente precisas, el mismo tipo de cámaras utilizadas para las producciones VFX de Hollywood. Al comparar las mediciones registradas con las cámaras OptiTrack con los datos de Oculus Insight, los ingenieros pudieron ajustar los algoritmos de visión por computadora del sistema para que tuvieran una precisión de un milímetro.

Obtener las matemáticas (y los toques humanos) adecuados para la mejor experiencia de realidad virtual posible

Si bien el enfoque dentro de un laboratorio de investigación es lograr resultados mensurables, precisos y repetibles, construir con un enfoque en las personas que usarían esta tecnología en su vida diaria requirió un cambio de enfoque hacia métricas de percepción. En otras palabras: ¿Cómo se siente realmente una experiencia determinada para la persona dentro de la realidad virtual?

Para abordar artefactos perceptivos como la natación (la sensación de desorientación que se tiene cuando las posiciones y movimientos físicos y virtuales no se alinean) y la vibración (estroboscópico visual y manchas entre fotogramas), el equipo de ingeniería se volvió creativo.

El equipo de Zurich dedicó una cantidad exhaustiva de tiempo y energía a probar Oculus Insight con el sistema de captura de movimiento OptiTrack en varios entornos y bajo diversas condiciones, utilizándose ellos mismos como sujetos de prueba.

Llevando el seguimiento de adentro hacia afuera más allá de la realidad virtual

Hoy, Oculus Insight hace que sea más fácil que nunca para las personas experimentar la realidad virtual. Con Rift S, simplemente conecta sus auriculares a su PC, sin necesidad de otros cables ni conexiones. Quest elimina la computadora por completo para permitir experiencias a escala de habitación desde el primer momento. Pero nuestra visión del futuro va más allá de lo que es posible hoy.

La misma tecnología que actualmente impulsa Oculus Insight (así como las experiencias de AR en Facebook, Instagram, Messenger) finalmente se traducirá en nuevas experiencias en dispositivos futuros. Con el tiempo, será la base de las gafas AR livianas y elegantes. 

Todavía nos queda un largo camino por recorrer, pero Oculus Insight nos acerca un paso más.