Apple está buscando agregar Apple Tecnología AR a la aplicación Measure en el iPhone, haciéndola más precisa y anotando automáticamente los objetos con sus medidas.
La aplicación Measure en iPhone se volvió útil y más precisa una vez que se introdujo LiDAR. Ahora Apple ha estado investigando acercando su Apple Tecnología AR para hacerlo más rápido y preciso.
En el futuro, apuntar la cámara de su iPhone a un objeto podría obtener automáticamente una notificación en pantalla de sus medidas. Lo hará a través de AR, y lo hará en parte a través de Machine Learning sobre diferentes tipos de objetos.
“Mediciones automáticas basadas en la clasificación de objetos”, es una solicitud de patente recientemente revelada. Se trata de cómo determinar qué objeto te interesa y luego cómo medirlo con precisión.
La solicitud de patente es particularmente amplia e incluye “dispositivos, sistemas y métodos que obtienen una representación tridimensional (3D) de un entorno físico”. El detalle generado se basa en toda una serie de diferentes sensores y mediciones que tienen que ver con “datos de profundidad e imágenes de intensidad de luz”.
“[These] generar un cuadro delimitador 3D correspondiente a un objeto en el entorno físico basado en la representación 3D”, dice Apple, “clasifica el objeto en función del cuadro delimitador 3D y los datos semánticos 3D, y muestra una medida del objeto, donde la medida del objeto se determina utilizando una de una pluralidad de redes neuronales específicas de clase seleccionadas en función de la clasificación de el objeto.”
Primero, AR determinará qué objeto le interesa. La solicitud de patente no se detiene en cómo se toma esa determinación. Aún así, puede inferir que es similar a cómo el modo Retrato reconoce que está enfocando a la persona en primer plano.
“La generación de detección de objetos y mediciones de objetos se facilita en algunas implementaciones utilizando representaciones 3D etiquetadas semánticamente de un entorno físico”, dice la solicitud de patente. “Algunas implementaciones realizan segmentación semántica y etiquetado de nubes de puntos 3D de un entorno físico”.
Sin embargo, determina lo que está interesado en medir y lo que no, esta futura aplicación de Medición puede usar “técnicas múltiples y diferentes”.
“En algunas implementaciones, un objeto se mide generando primero un cuadro delimitador 3D para el objeto en función de los datos de profundidad”, dice Apple, “refinando el cuadro delimitador usando varias redes neuronales y refinando los algoritmos descritos en este documento”.
Un cuadro delimitador podría comenzar determinando el ancho, la altura y la profundidad básicos de un objeto. Luego, la aplicación Measure va más allá al intentar clasificar el objeto, por ejemplo, si es una silla o un televisor.
“[For example, an] el objeto se mide usando diferentes tipos de mediciones para diferentes tipos de objetos usando técnicas de aprendizaje automático (por ejemplo, redes neuronales)”, dice Apple. “[Different] los tipos de medidas pueden incluir la altura del asiento para las sillas, el diámetro de la pantalla para los televisores, el diámetro de la mesa para las mesas redondas, el largo de la mesa para las mesas rectangulares y similares”.
Machine Learning ya es capaz de reconocer y clasificar objetos, incluso a partir de imágenes planas. Los editores de imágenes de Mac como Pixelmator Pro lo usan para etiquetar capas automáticamente, por ejemplo.
Detalle de la patente que muestra a un usuario midiendo diferentes objetos
Apple quiere “entrenar” el aprendizaje automático para que sea bueno para medir objetos particulares.
“Por ejemplo, un modelo puede entrenarse y usarse para determinar las medidas de objetos tipo silla (p. ej., determinar la altura del asiento, la longitud del brazo, etc.)”, dice Apple, “y se puede entrenar y usar otro modelo para determinar las medidas de objetos de tipo TV (p. ej., determinar el tamaño de una pantalla diagonal, la mayor profundidad de TV, etc.)”.
La idea es que si mides una mesa, querrás conocer los detalles de su superficie. Mientras que si mide un televisor, es posible que desee tanto el ancho físico como el tamaño diagonal de la pantalla, sin contar los biseles.
Realmente, el objetivo de esta nueva aplicación de Medir potencial es que no tiene que preocuparse ni conocer ninguno de los detalles de cómo se mide un objeto. En su lugar, simplemente apunta el iPhone, y toda esta tecnología propuesta da como resultado una etiqueta en la pantalla que le muestra qué tan ancho, profundo o alto es un objeto.
Esta solicitud de patente se atribuye a cinco inventores. Eso incluye a Aditya Sankar, cuyo trabajo anterior incluye una patente sobre la captura de escenas en interiores.
