Apple puede utilizar el sonido para identificar personas u objetos, y dónde se encuentran

Nuevas investigaciones muestran Apple está investigando cómo HomePod u otros dispositivos pueden usar el audio para estimar la distancia a un usuario que habla y también para identificar los sonidos a su alrededor.

AppleEl HomePod ya es muy bueno para escuchar tu voz, incluso cuando reproduce música a un volumen alto. Dos nuevas solicitudes de patente distintas muestran que Apple quiere mejorar esto y llevar la capacidad de los dispositivos para escuchar a un nuevo nivel.

Uno de ellos, “Estimación a distancia basada en el aprendizaje”, se ocupa del uso de audio no solo para reconocer a un usuario, sino para averiguar dónde se encuentra.

  

“A menudo es deseable que el dispositivo calcule la distancia desde el dispositivo hasta el usuario usando [its] matriz de micrófonos compactos “, dice la solicitud de patente.” Por ejemplo, el dispositivo puede ajustar el volumen de reproducción o la respuesta de un dispositivo de asistencia inteligente en función de la distancia estimada del usuario desde el dispositivo “.

“[So] si el usuario está muy cerca del dispositivo, la música o el habla no se reproducirán a un volumen alto, “continúa”. Alternativamente, si el usuario está lejos, la reproducción de medios o la respuesta de un dispositivo asistente inteligente puede ajustarse a un volumen más alto “.

Esta misma idea también está destinada a alimentar AppleActualmente es un sistema impresionante, pero algo defectuoso, en el que todos tus dispositivos intentan determinar a cuál dijiste “Oye, Siri”.

A pesar de este dibujo en la patente, es poco probable que el iPhone original obtenga las nuevas tecnologías propuestas.

A pesar de este dibujo en la patente, es poco probable que el iPhone original obtenga las nuevas tecnologías propuestas.

“En aplicaciones donde hay varios dispositivos”, dice Apple, “los dispositivos pueden coordinarse o arbitrar entre ellos para decidir cuál o más dispositivos deben responder a una consulta en función de la distancia de cada dispositivo al usuario”.

Apple propone soluciones sencillas y más complejas, que pueden utilizarse en conjunto. La más simple es hacer que el dispositivo haga lo que hace el HomePod y primero trazar un mapa de su entorno.

Luego, efectivamente tiene una “cuadrícula de puntos medidos o simulados en un entorno acústico”. En ese caso, se puede comparar un sonido con esta “cuadrícula” para aproximar dónde está la persona que habla.

Sin emabargo, Apple no cree que esto sea lo suficientemente bueno por sí solo, y también dice que es de menor utilidad con Siri. Esto se debe a que una persona puede moverse mientras habla y también a que exige una respuesta rápida, para lo cual esta propuesta no es adecuada.

Alternativamente, entonces, “si al menos dos conjuntos de micrófonos están disponibles”, entonces “la distancia de la fuente de voz puede estimarse usando un método de triangulación”.

Sin embargo, la parte clave es la necesidad de al menos dos dispositivos con micrófonos. Como consecuencia, Apple tiene otra solución más complicada que implica un “sistema basado en el aprendizaje, como una red neuronal profunda (DNN)”, y no necesita tener varios dispositivos.

“El sistema de aprendizaje profundo puede estimar la distancia de la fuente de voz en cada marco de tiempo en función de las señales de voz recibidas por una matriz de micrófonos compactos”, dice la solicitud de patente.

Lo que podría hacer este sistema DNN es determinar qué es el habla y qué es el ruido de fondo. Entonces puede calcular “información sobre la propagación directa de la señal” y también el “efecto de reverberación y ruido”.

Esta aplicación se atribuye a tres inventores, incluidos Mehrez Souden y Joshua D. Atkins. Su trabajo anterior relacionado incluye patentes concedidas sobre cómo grabar sonido espacial completo utilizando menos micrófonos de los normales.

Eso está específicamente relacionado con el audio en Apple AR, donde esta última solicitud de patente trata sobre dispositivos físicos en entornos reales. Sin embargo, si parece ser un gran problema ir solo para evitar volarle los oídos a alguien con un HomePod mini demasiado ruidoso, hay mucho más.

“Por ejemplo, los dispositivos de audición asistidos y aumentados, como los audífonos, pueden mejorar las señales de audio en función de la distancia de la fuente de voz”, dice esta solicitud de patente.

Eso es también en lo que se concentra la segunda solicitud de patente recientemente revelada.

Identificar sonidos importantes

“Sistemas y métodos para identificar una fuente acústica basada en el sonido observado” se trata de hacer que algunos dispositivos reconozcan los sonidos de otros y reaccionen a ellos por nosotros.

“Muchos electrodomésticos, como, por ejemplo, hornos microondas, lavadoras, lavavajillas y timbres, emiten sonidos para alertar al usuario de que ha cambiado una condición del electrodoméstico”, comienza la solicitud de patente.

A futuro Apple El dispositivo podría reconocer sonidos como alarmas y notificar al usuario, oa las autoridades, según sea necesario.

A futuro Apple El dispositivo podría reconocer sonidos como alarmas y notificar al usuario, oa las autoridades, según sea necesario.

“Sin embargo, es posible que los usuarios no puedan escuchar una alerta audible emitida por un electrodoméstico por una variedad de razones”, continúa. “Por ejemplo, un usuario puede tener una discapacidad auditiva, un usuario puede estar afuera o en otra habitación, o el aparato puede emitir un sonido oscurecido por una escena acústica doméstica”.

Tampoco es necesario que suene el temporizador de huevos. Esta patente se refiere igualmente a los sonidos en “espacios públicos (edificios gubernamentales), espacios semipúblicos (vestíbulos de oficinas) y espacios privados (residencias o edificios de oficinas)”.

“[These] también tienen escenas acústicas que pueden contener sonidos que transmiten información “, dice.” Por ejemplo, una campana, un timbre o un timbre puede indicar que se ha abierto o cerrado una puerta, o una alarma puede emitir una sirena u otro sonido que alerta a las personas cercanas de un peligro (por ejemplo, humo, fuego o monóxido de carbono) “.

En general, esta solicitud de patente detalla principalmente métodos mediante los cuales un dispositivo puede ser “entrenado” para reconocer “sonidos que ocurren comúnmente”. Luego seguirá escuchando a cualquiera de ellos, y cuando escuche uno, puede emitir “una salida seleccionada en respuesta a determinar que el sonido está presente en la escena acústica”.

En otras palabras, si es su temporizador de huevos sonando, tal vez el dispositivo pueda hacer que su Apple Watch tocarte en la muñeca. O si se trata de una alarma antirrobo, el mismo dispositivo podría notificar a las autoridades.

“El sonido lleva una gran cantidad de información contextual”, dice Apple. “El reconocimiento de los sonidos que ocurren comúnmente puede permitir que los dispositivos electrónicos adapten su comportamiento o proporcionen servicios que respondan a un contexto observado (por ejemplo, según se determine a partir del sonido observado), aumentando su relevancia y valor para los usuarios al tiempo que requieren menos ayuda o información de los usuarios”.

Esta segunda solicitud de patente se acredita a cuatro inventores, incluido Daniel C. Klinger. Su trabajo anterior incluye una solicitud de patente para recibir llamadas telefónicas seguras a través de HomePod u otros dispositivos.