REALITY LABS
Meta x BMW Research Update: Taking AR/VR Experiences on the Road
https://tech.facebook.com/reality-labs/2023/5/meta-bmw-quest-pro-project-aria-news
Experiencias AR/VR a la carretera, porque no hay nada como la llamada de la carretera. Ya sea que se trate de una conversación de calidad con un amigo o familiar en un viaje épico por carretera, disfrutar de un podcast o de su álbum favorito mientras conduce solo, o algo intermedio, casi todos tenemos buenos recuerdos al volante o en el asiento del pasajero. Pero, ¿qué pasaría si pudiéramos hacer que el tiempo que pasamos en los automóviles fuera más productivo, social y entretenido que nunca?
A primera vista, puede no parecer obvio por qué sería un problema ofrecer contenido AR y VR de calidad para un pasajero de un automóvil. Después de todo, los cascos de realidad virtual modernos están equipados con varios sensores. Y desde el debut comercial en 2019 de la tecnología Oculus Insight de Meta , que combinaba visión por computadora de última generación y tecnología de estimación del estado, hemos podido cortar el cable y ofrecer un sistema de seguimiento que puede adaptarse a toda la gama de los movimientos de la persona (conocidos como seis grados de libertad, o 6DOF) y al mismo tiempo señala la ubicación de dos controladores portátiles, así como los auriculares en el espacio, todo con una precisión de menos de un milímetro.
Pero los vehículos en movimiento plantean un desafío complicado: la tecnología de seguimiento como Oculus Insight utiliza sensores de movimiento inercial (IMU) y cámaras para estimar con precisión la ubicación y el movimiento de los auriculares. Sin embargo, en un entorno en movimiento (más precisamente, en un marco de referencia no inercial ), estas dos modalidades están en conflicto ya que las cámaras observan el movimiento en relación con el interior del automóvil, mientras que las IMU miden la aceleración y la velocidad de rotación en relación con el mundo. Esa discrepancia significa que los cascos de realidad virtual actuales no pueden mostrar contenido virtual estable cuando se viaja dentro de un vehículo mientras gira y/o acelera.
Al menos hasta ahora.*
Desafío acepatado
Para resolver este problema, colaboramos con BMW para incorporar datos IMU del conjunto de sensores de un automóvil BMW en tiempo real en el sistema de seguimiento de nuestras gafas de investigación del Proyecto Aria . Esta información adicional permite al sistema calcular la ubicación de las gafas en relación con el coche. Fue una gran hazaña porque, después de transferir el sistema de seguimiento a un Quest Pro, nos permitió anclar con precisión objetos virtuales a un automóvil en movimiento utilizando un gemelo digital del automóvil. Hemos podido demostrar algunas experiencias convincentes de pasajeros de realidad virtual y mixta en automóviles en movimiento utilizando este nuevo sistema de seguimiento y Meta Quest Pro . El siguiente paso será agregar la ubicación del automóvil en relación con el mundo, lo que permitiría la renderización bloqueada por el mundo.
“Nuestro prototipo de investigación muestra que podemos permitir experiencias entretenidas y cómodas para los pasajeros ancladas al propio automóvil, incluidos juegos de realidad virtual y resonancia magnética, entretenimiento, productividad e incluso capacidades de meditación”, dice Richard Newcombe, vicepresidente de investigación científica de Reality Labs. Investigación. “La tecnología tiene el potencial de transformar la forma en que podemos interactuar de forma segura con nuestro entorno mientras viajamos y, a medida que avanzamos hacia contenido confiable y bloqueado en el camino hacia las gafas AR, tenemos la esperanza de que los pasajeros puedan ver cosas como marcadores de monumentos, restaurantes, lugares de interés y más”.
Initial research findings
Our work with BMW has demonstrated that with the additional IMU measurements from the vehicle, we can display stable car-locked VR and MR content to passengers when driving — even when making rapid turns, going over road bumps, or accelerating.
“Es demasiado pronto para decir exactamente cómo o cuándo esta tecnología llegará a manos de los clientes, pero imaginamos una serie de casos de uso potenciales para los dispositivos XR en vehículos, desde ayudar al conductor a localizar su automóvil en un estacionamiento lleno de gente hasta alertándoles sobre peligros en la carretera y mostrándoles información importante sobre el estado del vehículo”, señala Claus Dorrer, director de la Oficina de Tecnología de BMW Group en EE. UU. en Mountain View. “Las implicaciones de las futuras gafas AR y dispositivos VR, tanto para los pasajeros como para los conductores, son prometedoras. La asociación de investigación con Meta nos permitirá descubrir cómo podrían ser las experiencias XR inmersivas en el vehículo en el futuro y encabezar la integración perfecta de dichos dispositivos en los automóviles”.
El camino por delante
A largo plazo, esperamos seguir trabajando con BMW para aprovechar aún más las capacidades cada vez mayores de percepción de las máquinas de los automóviles modernos para permitir casos de uso futuros. El acceso al preciso sistema de posicionamiento 6DOF del automóvil podría permitir reproducir contenido virtual bloqueado fuera del vehículo, como identificar puntos de referencia y otros puntos de interés. Esperamos que esta capacidad sea invaluable para las futuras gafas AR y asistentes personalizados de IA.
Si lo hacemos bien, esta tecnología podría revolucionar los viajes en automóviles, trenes, aviones y más, desbloqueando nuevas formas de comunicación, entretenimiento y utilidad manos libres, dándonos mucho más valor que las pantallas y los instrumentos a los que estamos acostumbrados. ver en los vehículos hoy en día.
Es una visión emocionante, sin duda. Y es un camino que estamos comprometidos a recorrer.
El metaverso no lo construirá una sola empresa. Será necesario que empresas grandes y pequeñas trabajen junto a desarrolladores, creadores, académicos y formuladores de políticas. Nuestra asociación con BMW es un ejemplo de ello en Europa. Las instituciones de investigación académica e industrial interesadas en participar en el Proyecto Aria pueden presentar sus propuestas aquí .
Al igual que nuestros socios académicos, BMW y cualquier futuro socio industrial deben cumplir con nuestras Pautas de la comunidad de investigación del Proyecto Aria .
*Nota: Los productos Meta Quest no están diseñados para su uso en vehículos en movimiento o al aire libre. Se trata de una investigación con visión de futuro que imagina qué posibilidades podría deparar el futuro.