Apple puede agregar imágenes térmicas infrarrojas al iPhone para ayudar a la precisión de AR

Los futuros iPhones podrían usar imágenes térmicas o infrarrojas para complementar las cámaras de visión normales, lo que facilita su uso Apple RA en entornos oscuros u ocupados.

Apple realmente quiere que nos alejemos de la idea de que la realidad aumentada nos implique cubrirnos la cabeza con gafas gigantes y estar de pie en el lugar mientras los juegos se mueven a nuestro alrededor. En cambio, ha estado buscando auriculares menos molestos como “Apple Glass “, y ahora también está investigando cómo solucionar los problemas extra que trae el movimiento.

“Método y sistema para determinar al menos una propiedad relacionada con al menos parte de un entorno real” es una solicitud de patente recientemente revelada que con 22.000 palabras es solo un poco más larga que su título. Sin embargo, si bien entra en detalles grandes y específicos sobre los múltiples métodos para lograr sus objetivos, todo se centra en el mismo problema.

  

“Los métodos de visión por computadora que implican el análisis de imágenes se utilizan a menudo, por ejemplo, en la navegación, el reconocimiento de objetos, la reconstrucción 3D, la estimación de la pose de la cámara y las aplicaciones de realidad aumentada, por nombrar algunas”, destaca la solicitud de patente.

“[However, when] un algoritmo de estimación de pose de cámara, reconocimiento de objetos, seguimiento de objetos, localización y seguimiento simultáneos (SLAM) o estructura a partir del movimiento (SfM) se utiliza en entornos dinámicos donde al menos un objeto real se está moviendo, la precisión del algoritmo a menudo se reduce significativamente “, dice,” con frecuentes fallas de seguimiento, a pesar de las sólidas técnicas de optimización empleadas en los algoritmos reales “.

Detalle de la patente que muestra un método de uso de imágenes térmicas para ayudar a la RA

Detalle de la patente que muestra un método de uso de imágenes térmicas para ayudar a la RA

El problema claro resultante es que la RA puede equivocarse cuando intenta colocar un objeto virtual dentro del entorno real. Apple dice que en realidad el problema es un poco más profundo que eso, por lo que la solución también debe serlo.

“Esto se debe a que varios de estos algoritmos de visión por computadora asumen un entorno estático y que el único objeto en movimiento en la escena es la propia cámara, cuya pose puede ser rastreada”, continúa. “Esta suposición a menudo se rompe, dado que en muchos escenarios varios objetos en movimiento podrían estar presentes en el frustum de visualización de la cámara”.

Por lo tanto, cualquier sistema AR tendrá todos los detalles de posicionamiento posibles sobre sí mismo (los auriculares o la cámara en los auriculares), pero rastrear todo lo demás es difícil. Y es difícil por una combinación de problemas, incluido el procesamiento de datos.

“Existen en el estado actual de la técnica muchos algoritmos para la detección y segmentación de objetos dinámicos (es decir, en movimiento) en la escena”, dice Apple. “Sin embargo, estos enfoques suelen ser costosos desde el punto de vista computacional y se basan en técnicas de segmentación de movimiento y / o flujo óptico”.

Según se informa, esas técnicas requieren una “gran cantidad de cuadros es necesaria para realizar una detección confiable de objetos en movimiento”. Apple describe varias otras alternativas, pero dice que cada una implica “mayor complejidad y costo computacional”.

AppleLa solución es aumentar las cámaras visuales AR con cámaras que se basan en imágenes térmicas o infrarrojas. “[Thermal] las propiedades de los objetos reales en la escena podrían usarse para mejorar la robustez y precisión de los algoritmos de visión por computadora (por ejemplo, seguimiento y reconocimiento de objetos basados ​​en la visión) “, dice.

Si el sistema puede conocer las “propiedades térmicas” de los no reconocidos o qué Apple llama “objetos poco fiables”, luego “se podría utilizar un dispositivo de imagen térmica para detectar … objetos”.

Si bien la solicitud de patente describe casi exclusivamente el uso de estos métodos para mejorar la precisión en entornos concurridos y en movimiento, hay otro elemento. El uso de imágenes térmicas significa que la RA no dependerá tanto de su uso en situaciones perfectamente iluminadas.

La aplicación se atribuye a Darko Stanimirovic y Daniel Kurz. Este último tiene un crédito de patente anterior sobre un método para usar AR para convertir cualquier superficie en una pantalla con controles táctiles.