Apple desarrollando un nuevo formato de audio espacial 3D para ‘Apple Glass ‘y otros usos de RA

Como lo hizo con los modelos 3D para ARKit, Apple está desarrollando un nuevo formato de audio que facilita la colocación de sonidos alrededor de un usuario, incluso cuando ese usuario se está moviendo, cuando lleva puesto “Apple Glass “u otros dispositivos AR, posiblemente basados ​​en el trabajo de la compañía con Pixar.

Apple Anteriormente se ha demostrado que está trabajando en la creación de imágenes de video de alta resolución para Apple AR, pero ahora también tiene como objetivo producir audio de alta calidad para acompañarlo. En un par de nuevas solicitudes de patente, la empresa está investigando opciones relacionadas con el audio espacial.

Específicamente, Apple quiere establecer un formato de audio como .MP3 o .AAC que se convierta en estándar y que incorpore la información espacial extra que requiere la RA. El formato debe contener el audio real, pero también mucho más que si un elemento debe reproducirse en el lado izquierdo o derecho de la imagen estéreo. Apple ha trabajado anteriormente con Pixar en un formato llamado USDZ, que tenía que ver con colocar audio en un espacio 3D alrededor de un usuario.

  

“Formato de archivo para audio espacial” es una nueva solicitud de patente, que puede estar documentando al menos parte de ese trabajo de Pixar. Sin emabargo, Apple ha dicho anteriormente que su objetivo con USDZ es ayudar a compartir entre aplicaciones como Mensajes, Noticias y Correo.

“Producir efectos de sonido tridimensionales (3D) en aplicaciones de realidad aumentada (AR), realidad virtual (VR) y realidad mixta (MR) … es un desafío porque los formatos de audio existentes se diseñaron originalmente para producir sonido 3D en un entorno físico con ubicaciones fijas de altavoces y oyentes fijos “, dice Apple en la nueva aplicación, “como en un cine”.

Apple se refiere a AR, VR y MR con el término general Simulated Reality (SR), y dice que quiere aprovechar los muchos formatos existentes para audio 3D. “[For example] Los formatos de audio espacial diseñados para producir sonido 3D incluyen estándares de audio 3D MPEG-H (Moving Picture Experts Group), técnicas de audio espacial HOA (Higher-order Ambisonics) y tecnología de sonido envolvente DOLBY ATMOS “, continúa.

Los problemas tienen que ver con dónde la audiencia percibe el sonido y dónde los creadores pueden elegir colocar efectos o música. “Una alternativa para producir efectos de sonido 3D en entornos SR es manipular sonidos discretos individuales contenidos en objetos de audio que pueden ubicarse virtualmente en cualquier lugar del entorno 3D”, dice Apple.

“[However, composing] El audio para aplicaciones SR que utilizan formatos y objetos de audio espacial existentes es difícil, ya que no existe una forma uniforme de acceder a una variedad de fuentes de sonido e incorporarlas en un entorno SR dinámico “, continúa.

AppleLa solución propuesta es crear un formato similar a la forma en que .m4v y .mp4 son formatos “contenedores” que agrupan diferentes elementos. En el caso de AppleSegún los nuevos requisitos de audio espacial, la empresa sugiere crear una “biblioteca de activos de audio … [which] incluye metadatos de activos que permiten a los desarrolladores de aplicaciones de realidad simulada (SR) componer sonidos para su uso en aplicaciones de SR “.

“Los recursos de audio están formateados”, dice Apple, “para incluir datos de audio que codifican un sonido capaz de componerse en una aplicación SR junto con metadatos de activos que describen no solo cómo se codificó el sonido, sino también cómo un oyente en un entorno SR experimenta el sonido.

Esta solicitud de patente se acredita a cuatro inventores, dos de los cuales tienen patentes anteriores relacionadas. Stephen E. Pinto aparece en una patente relacionada con la navegación de audio espacial para “Apple Glass “, por ejemplo, mientras que Christopher T. Eubank ha trabajado en los planes para hacer imágenes de alta resolución en Apple Dispositivos AR.

Ambos inventores también se encuentran entre los acreditados en otro recientemente revelado y

“> patente relevante

que ver con “Spatial Audio Upmixing”.

Detalle de la patente que muestra cómo se puede combinar el audio en un formato 3D

Detalle de la patente que muestra cómo se puede combinar el audio en un formato 3D

En el audio convencional, la música que puede reproducirse silenciosamente debajo de un presentador que habla se suele denominar cama. AppleLa propuesta toma este término y lo usa para un sistema de audio espacial mucho más complejo.

“Un lecho espacial es un contenido de audio multicanal que representa una descripción completa del campo de sonido, por ejemplo, una esfera virtual de sonido, por ejemplo, rodeando a un oyente de realidad simulada en un entorno de realidad simulada”, dice. “Se genera un nuevo lecho espacial combinando secciones de al menos dos de esos lechos espaciales”.

Donde los profesionales de audio actuales estarán conscientes de la posición izquierda y derecha de instrumentos o elementos, Apple se basa en esta idea de pensar en una esfera.

“El nuevo objeto de audio espacial puede comprender una matriz esférica de fuentes de sonido virtuales (esfera virtual) que definen un campo de sonido que rodea una posición de escucha del nuevo objeto de audio espacial, por ejemplo, en el centro de la esfera de mezcla personalizada”, dice Apple.

Donde una aplicación de edición de sonido típica ahora tiene una pantalla gráfica plana del audio como una forma de onda, Apple propone un nuevo sistema que muestra el audio en un globo.

“El proceso también puede visualizar el nuevo objeto de audio espacial (nuevo lecho espacial) como un nuevo globo independiente, por ejemplo, en un entorno SR, mostrando la superficie del nuevo globo desde el punto de vista del diseñador de sonido que puede estar dentro el nuevo globo, por ejemplo, en el centro o fuera del nuevo globo “, dice la aplicación.

“Esto puede presentarse en el entorno de SR como una mano virtual del diseñador de sonido que extiende la mano y pinta con un pincel de mano o un dispositivo rociador el interior (o el exterior) de una pared del nuevo globo”, continúa, “donde el sonido seleccionado (del objeto de audio espacial de entrada) será renderizado “.

Apple no se refiere a alguna versión futura en 3D de Logic Pro por su nombre en esta aplicación. Tampoco propone un nombre específico para el formato de archivo en el primero.

Sin embargo, esta no es la primera vez que Apple ha defendido un formato de audio debido a sus ventajas tecnológicas percibidas. Ha creado su propio formato ALAC sin pérdidas y también eligió AAC sobre MP3 para iTunes Store.