Apple quiere llevar el reemplazo de fondo similar a Zoom a ‘Apple Vidrio’

Futuro “Apple Vidrio “u otro Apple auriculares, pueden reemplazar un fondo con cualquier imagen elegida por el usuario.

Apple ha estado investigando cómo hacer un “Apple Los auriculares de estilo “Glass” realizan la incrustación cromática o el reemplazo de fondos de color sólido con Apple Imágenes de RA. En la mayoría de los casos, el objetivo es que este procesamiento lo realice el auricular para que el resultado sea lo suficientemente rápido como para que los retrasos no agraven el mareo por movimiento.

“La codificación cromática de baja latencia incrustada en una pantalla montada en la cabeza para la realidad mixta” es una solicitud de patente de EE. UU. Que se presentó en febrero de 2020, pero solo se reveló esta semana. Desde esa presentación, todos hemos experimentado el bloqueo del coronavirus y su explosión concomitante en las videoconferencias.

  

En consecuencia, ahora todos estamos familiarizados con la idea de reemplazar los fondos de nuestras oficinas y hogares con otras imágenes, como logotipos o escenas de playa. También estamos familiarizados con la poca frecuencia con la que funcionan bien, especialmente si el altavoz se mueve.

Esto se debe en parte a que, incluso cuando no se realiza de manera muy eficaz, dicho reemplazo de fondo requiere una potencia de procesamiento significativa. Hasta una actualización de julio de 2020, Microsoft Skype para iOS ni siquiera podía difuminar los fondos de la forma en que lo haría una Mac o una PC.

Este desenfoque es un proceso complejo, pero parte de él implica determinar dónde termina la cabeza de una persona y dónde comienza su fondo. Chroma key hace que esto sea mucho más fácil porque la persona se coloca frente a un único fondo de color sólido. Es el mismo proceso de pantalla verde o azul que se usa en las películas.

Cuando es muy evidente qué parte del marco de una videoconferencia es la persona que habla y cuál es su origen, un sistema como Zoom o Skype puede reemplazar más fácilmente el fondo. Sin embargo, esos son sistemas 2D y “Apple Glass “tiene como objetivo hacerlo en 3D para que los fondos se puedan reemplazar cuando el usuario está caminando, en lugar de simplemente mirar una pantalla plana.

Izquierda: una figura se para frente a una pared de color sólido.  Derecha: el auricular reemplaza el fondo

Izquierda: una figura se para frente a una pared de color sólido. Derecha: el auricular reemplaza el fondo

AppleLa solicitud de patente, por lo tanto, trata simultáneamente sobre la realización de una versión estereoscópica 3D del reemplazo de fondo para Apple AR, y hacer que funcione lo suficientemente rápido. Parte de eso tiene que ver con la potencia de procesamiento de los auriculares, pero también tiene que ver con la velocidad de devolución de datos a la vista del usuario.

“[What is needed is] una pantalla portátil de inmersión montada en la cabeza (HMD) que realiza codificación de color en tiempo real utilizando cámaras RGB estéreo integradas para capturar el entorno “, dice la aplicación,” y un sistema de visualización para mostrar imágenes del mundo real aumentadas con contenido virtual “.

“El sistema funciona a una alta velocidad de fotogramas (normalmente 75 fps o más)”, continúa, “y logra una latencia de menos de un fotograma al capturar imágenes y formatearlas para mostrarlas en el propio HMD”.

Y qué AppleLa propuesta dice que una pantalla montada en la cabeza tiene “sensores de cámara para realizar la incrustación cromática en un contexto de realidad mixta” y para hacerlo con un mínimo de retraso o latencia para el usuario. “La baja latencia se logra al incrustar el procesamiento en el propio HMD, específicamente, formatear las imágenes de la cámara, detectar el rango de color seleccionado y hacer una composición con el contenido virtual”.

“La baja latencia es un elemento clave necesario para lograr una gran inmersión (a menudo llamada” Presencia “)”, continúa la aplicación.

Detalle que muestra un ejemplo de vista de auriculares antes de que se hayan reemplazado las imágenes

Detalle que muestra un ejemplo de vista de auriculares antes de que se hayan reemplazado las imágenes

Para hacer esto más complejo, tal sistema tendría que crear dos imágenes. “El sistema logra una realidad mixta al hacer que el usuario mire una pantalla a través de lentes de gran angular (el campo de visión es típicamente de 110 grados o más)”, dice. “Dos cámaras ubicadas detrás de la pantalla HMD capturan el entorno desde puntos de vista ubicados a pocos centímetros frente a cada ojo”.

La aplicación no aborda el problema de dónde provienen las imágenes de reemplazo. En un Zoom o Skype conferencia, será la elección del orador que haya elegido presentar en un contexto diferente.

En el caso de esta aplicación, no hay detalles de cómo un orador parado frente a un “Apple El usuario de vidrio “indicaría qué imagen reemplazaría su pantalla azul o verde. Sin embargo, la patente dice que las aplicaciones prácticas incluyen el uso de juegos, videos y objetos virtuales”.

La aplicación se acredita a siete inventores. Entre ellos se encuentran Vincent Chapdelaine-Couture, cuyo trabajo anterior relacionado incluye una patente sobre “imágenes omnistereo”. Y Bertrand Nepveu, que es el

“> inventor acreditado único

en una patente sobre el procesamiento digital de una señal de video.

Detalle que muestra un ejemplo de vista de auriculares cuando se han reemplazado las imágenes

Detalle que muestra un ejemplo de vista de auriculares cuando se han reemplazado las imágenes

Por separado, Apple anteriormente ha solicitado patentes, incluida una para difuminar automáticamente imágenes de fondo o de primer plano en videoconferencias.