Apple Glass puede acelerar la realidad aumentada al representar solo lo que está en la mirada del usuario

Analizar lo que mira un usuario puede ayudar Apple Glass o un auricular AR mejoran su rendimiento en el procesamiento de video, utilizando la mirada para priorizar elementos de la alimentación de una cámara para su análisis.

Los sistemas de realidad aumentada se basan en la recopilación de datos sobre el entorno para proporcionar mejor una imagen de realidad mixta al usuario. Para la mayoría de las personas, esto se reduce en gran medida a tomar una transmisión de la cámara en vivo desde cerca del ojo del usuario, manipularla digitalmente y luego mostrársela al usuario en su estado alterado, aunque esto también puede cubrir otros tipos de datos como el mapeo de profundidad.

Con muchos sistemas de realidad virtual y realidad aumentada que usan auriculares conectados a una computadora host, esta necesidad de ingresar datos sobre el entorno puede causar un problema, ya que solo hay una cantidad limitada de datos que puede canalizar a través de esa correa a la vez. Las mejoras en las cámaras a lo largo de los años, incluidas resoluciones y velocidades de cuadro más altas, significan que hay aún más datos para analizar y procesar, y potencialmente demasiados para que los maneje esa correa.

  

También hay que considerar los recursos de procesamiento, ya que cuantos más datos haya, más procesamiento se necesitará para crear la imagen AR.

En una patente otorgada por la Oficina de Patentes y Marcas de Estados Unidos el martes titulada “Prefiltrado adaptativo basado en la dirección de la mirada de datos de video”, Apple intenta combatir el problema del ingreso reduciendo los datos de video que necesitan ser procesados, antes de que tenga lugar el procesamiento principal.

En resumen, la patente sugiere que los auriculares podrían tomar una imagen del entorno y aplicar algunos filtros a la escena, cada uno cubriendo diferentes áreas del cuadro de video. Estos filtros, que determinan los datos que se transmiten al host para su procesamiento, se colocan en función de la mirada del usuario, así como puntos de datos típicos de AR y VR, como la posición y el movimiento de la cabeza.

Las capas de datos filtradas se envían al host, ya sea por cable o de forma inalámbrica, que luego se procesan y se envían a los auriculares para su visualización. Luego, el bucle se repite.

La lógica detrás de esto es que no todos los datos recogidos por una cámara son necesariamente necesarios para procesar lo que el usuario realmente ve. Si bien el usuario puede estar mirando en una dirección, sus ojos pueden apuntar hacia un lado, haciendo que la reproducción del contenido en el otro lado de su vista sea prácticamente inútil.

AppleIlustración de una pantalla montada en la cabeza que puede monitorear la mirada del usuario y el entorno local.

AppleEl sistema requiere detectar la mirada y luego aplicar ese punto de datos al marco de los datos de la imagen. Múltiples subconjuntos de datos pueden definir varias formas y tamaños de la imagen que se pueden priorizar, con secciones que el usuario está mirando activamente debajo del subconjunto principal mientras que una versión secundaria más grande cubre el área circundante.

Al subconjunto más pequeño y principal se le daría prioridad de procesamiento, debido a que el usuario lo mira activamente. El subconjunto secundario más amplio podría requerir menos procesamiento debido a que se encuentra en la periferia del usuario y, por lo tanto, es menos importante. Es posible que estos datos secundarios tampoco se transmitan con la máxima calidad al host, debido a que no son tan importantes como el subconjunto de datos prioritarios.

Al representar la imagen final para el usuario, los datos pueden tener más filtros aplicados para unirlos de manera efectiva de la manera más discreta posible. En efecto, el sistema difuminaría las líneas entre el subconjunto primario de alta calidad y el subconjunto de periferia de menor calidad, y el resto de la alimentación de la cámara se superpone en la aplicación AR.

El centro de la mirada del usuario se renderizará por completo, con renderizados de menor calidad más lejos.

El centro de la mirada del usuario se renderizará por completo, con renderizados de menor calidad más lejos.

La identificación de subconjunto no tiene que generarse necesariamente de una vez. Apple sugiere la posibilidad de que el subconjunto primario pueda crearse después de que las cámaras generen el primer fotograma de datos visuales, pero las áreas del subconjunto secundario podrían determinarse durante la creación del segundo fotograma.

Además, los datos de detección de la mirada asociados con la segunda trama podrían informar a las regiones del subconjunto secundario en la primera trama para su procesamiento. Esto sería útil para los casos en los que los ojos de un usuario se mueven, ya que esto podría suavizar los efectos no deseados del cambio de punto de vista para el usuario y el sistema que tiene que ponerse al día y colocar datos en su campo de visión.

La patente enumera a sus inventores como Can Jin, Nicholas Pierre Marie Frederic Bonnier y Hao Pan. Originalmente se presentó en julio 19, 2018.

Apple presenta numerosas solicitudes de patente semanalmente, pero si bien la existencia de una presentación indica áreas de interés para Appleesfuerzos de investigación y desarrollo, no garantizan su uso en un producto o servicio futuro.

Apple Se rumorea que está trabajando en algún tipo de visor de realidad aumentada o realidad virtual durante varios años, y la mayor parte de las especulaciones más recientes en torno a lo que se conoce como “Apple Vidrio “. Se piensa que podría tomar la forma de un auricular AR, y posiblemente lentes inteligentes más adelante, los rumores insinúan que podría tomar la forma de lentes que son similares en tamaño a los anteojos típicos.

Naturalmente, Apple ha presentado muchas solicitudes de patente relacionadas con el campo, pero una que es muy similar en concepto central es la de “Foveated Display” de junio de 2019. En esa solicitud, Apple sugirió que podría haber una manera de mejorar el rendimiento de procesamiento y reproducción de la pantalla de un auricular al limitar la cantidad de datos que se procesan.

En lugar de limitar los datos que llegan al dispositivo host, el archivo se trata de llevar los datos a la pantalla. De manera similar a los subconjuntos de datos, Apple sugiere que la pantalla podría utilizar dos flujos de datos diferentes, que consisten en imágenes de alta y baja resolución.

Al usar la detección de mirada, el sistema colocaría solo imágenes de alta resolución donde el usuario mira, seguidas de datos de menor resolución para las áreas circundantes. Al hacer esto, la pantalla en sí tiene menos datos con los que tiene que lidiar al actualizar cada actualización, lo que puede permitir el uso de frecuencias de actualización más altas.