Apple trabajando en software para din√°mica ‘Apple Mezcla de audio e imagen AR de Glass

Apple Las gafas de realidad aumentada o los auriculares de realidad virtual pueden incluir un sistema de audio conmutable que puede proporcionar una variedad de modos de audición diferentes, al tiempo que incorpora un sistema que podría combinar sin problemas una vista del mundo real con imágenes virtuales a gran velocidad.

Art√≠culos como el que se rumorea a menudo Apple Las gafas inteligentes de vidrio o los cascos de realidad aumentada o de realidad virtual tienen que depender de proporcionar a los usuarios im√°genes convincentes y suficiente audio para una inmersi√≥n total. Sin embargo, ambos elementos ofrecen su propio problema √ļnico que las empresas que producen pantallas montadas en la cabeza tienen que conquistar.

Audio de auriculares

  

Para el audio, hay un mundo de diferencia entre las necesidades de audio de la realidad aumentada y las gafas inteligentes y las de la realidad virtual. Si bien el primero puede querer un audio limitado y a√ļn poder escuchar el resto del entorno, el uso de la realidad virtual generalmente se basa en bloquear los sonidos externos, dejando solo el audio del mundo virtual.

Los audífonos actuales pueden lograr esto si requieren que los usuarios proporcionen sus propios audífonos, pero aquellos con sistemas de audio incorporados generalmente no ofrecen tanta flexibilidad como un usuario podría desear.

En una patente otorgada por la Oficina de Patentes y Marcas de EE. UU. El martes titulada “Dispositivos de visualizaci√≥n con audio multimodal”, Apple describe los sistemas de visi√≥n montados en la cabeza con un componente de audio que puede cambiar de posici√≥n en la estructura de soporte de los auriculares.

En la posición elevada, el auricular actuaría como altavoz.

En la posición elevada, el auricular actuaría como altavoz.

Apple propone que el sistema de audio podr√≠a cambiar entre un modo extraaural, donde los altavoces de un sistema de auriculares m√≥viles se sostienen y utilizan a una peque√Īa distancia de los o√≠dos, y un modo intraaural que coloca los altavoces en el canal auditivo. En extraaural, el sistema permitir√≠a que los sonidos externos se escuchen con mayor claridad, mientras que la segunda versi√≥n har√≠a m√°s para impedir que el usuario escuche los sonidos ambientales.

Cambiar entre los modos, Apple sugiere el uso de un controlador en cada auricular, que puede cambiar la forma en que proyecta el sonido a través de diferentes puertos para que coincida con las dos posiciones diferentes. Esto incluye ajustar el nivel de potencia del woofer dependiendo de si está cerca del oído o no, e incluso un elemento físico conmutable que podría alterar los movimientos del sonido.

Bajado, el auricular bloquearía el ruido externo y actuaría como auriculares integrados.

Bajado, el auricular bloquearía el ruido externo y actuaría como auriculares integrados.

El módulo de generación de sonido usaría un brazo corto en un pivote, con el punto más alejado del pivote que contiene elementos para colocar en el oído. Dependiendo de cómo se pivote, la unidad alimenta audio al oído a través de un método o utiliza el otro para un sonido extraaural, y el cambio se realiza automáticamente.

Además de pivotar, Apple sugiere que el elemento de audio también puede inclinarse hacia y desde la oreja para una colocación más fácil, y puede incluir una sección telescópica.

Presentado originalmente en abril 11, 2019, enumera a sus inventores como Robert D. Silfvast, James W.VanDyle, Jeremy C.Franklin, Neal D. Evans y Christopher T.Eubank.

Visión combinada

En la segunda patente, Apple intenta abordar cómo un auricular AR presenta objetos virtuales en una transmisión de video del mundo real, con la combinación de datos de cámara del mundo real y versiones producidas digitalmente realizadas sobre la marcha para el usuario. Como esto debe realizarse con precisión y rapidez, dichos procesos podrían requerir considerables recursos computacionales para lograr un alto nivel.

En la patente titulada “M√©todo y dispositivo para combinar im√°genes reales y virtuales”, Apple sugiere una forma en que un sistema podr√≠a calcular la imagen virtual combinada con el m√≠nimo de recursos posible.

Para el sistema, la patente menciona c√≥mo la alimentaci√≥n de una c√°mara puede crear una serie de valores para “p√≠xeles reales”, que tiene su contraparte virtual en forma de “p√≠xel virtual”. Cada uno tiene sus propios valores de p√≠xel, que se utilizan para realizar c√°lculos para determinar qu√© valor de p√≠xel final debe usarse y mostrarse al usuario.

Los dos valores de píxeles se pueden combinar en un solo valor, que puede basarse en un promedio ponderado entre los valores de píxeles reales y virtuales. Apple considera que la ponderación se puede determinar en parte en función de los valores alfa o de transparencia de los píxeles reales o virtuales.

La combinaci√≥n de valores alfa podr√≠a permitir que los objetos virtuales sean transparentes o transl√ļcidos en una vista del mundo real

La combinaci√≥n de valores alfa podr√≠a permitir que los objetos virtuales sean transparentes o transl√ļcidos en una vista del mundo real

La determinación del valor alfa para el píxel real se puede crear reduciendo la resolución de la imagen completa de la cámara, creando una plantilla basada en la imagen de la cámara y produciendo una matriz de parámetros de matting basada tanto en la imagen reducida como en la plantilla. Esta imagen de parámetro de matting se puede muestrear hacia arriba, lo que a su vez puede crear el alfa para el valor de píxel.

Este valor alfa también se puede utilizar para crear valores de píxel de componente de color para un píxel en particular, lo que permite mezclar colores individuales en lugar de todo el valor de píxel en sí.

Al usar la t√©cnica, se piensa que la cantidad de ancho de banda requerida para transmitir la imagen a la pantalla podr√≠a ser “menos de una d√©cima parte” de los datos generados por la c√°mara sola.

La patente enumera a sus inventores como Pedro Manuel Da Silva Quelhas y Stefan Auer, y se presentó en agosto 14, 2018.

Apple presenta numerosas solicitudes de patente semanalmente, pero si bien la existencia de patentes indica áreas de interés para los esfuerzos de investigación y desarrollo de la empresa, no garantizan la aparición de los conceptos en un producto o servicio futuro.

Trabajo previo

Apple ha realizado numerosas presentaciones en relación con los auriculares de realidad virtual y realidad aumentada en el pasado, incluido un sistema para evitar que los usuarios de realidad virtual se topen con objetos, la descarga de procesamiento gráfico a estaciones base inalámbricas y el uso de un iPhone para mapear una habitación con fines de realidad aumentada en lugar de usar sensores a bordo, entre otras ideas.