¿Cómo funciona la búsqueda inversa de imágenes?

Su imagen promedio probablemente vale mucho menos que mil palabras donde solo puede aprender de selfies. Pero a veces solo necesita saber de dónde vino una imagen, sin importar cuántas palabras valga.

Para eso, hay motores de búsqueda inversa proporcionados por Google, TinEye, Bing, Yandex, Pixsy y muchos más. Sin embargo, dado que no da ninguna palabra en su pregunta, ¿cómo saben qué buscar? Y, lo más importante, ¿cómo lo encuentran? La forma en que los diferentes motores de búsqueda invierten la búsqueda de imágenes varía, y mantienen sus algoritmos exactos en secreto, pero las ideas básicas están disponibles y no son tan difíciles de entender.

huella dactilar

Las imágenes en realidad pueden ser más únicas que las huellas dactilares humanas, ya que las probabilidades de que dos imágenes contengan exactamente la misma disposición de píxeles son inconcebiblemente infinitas, mientras que el riesgo de una colisión de huellas digitales es de aproximadamente 64 mil millones de probabilidades comparativamente buenas. Pero, ¿cómo huellas digitales de una imagen? Los pasos varían según el algoritmo, pero la mayoría de ellos siguen la misma fórmula básica.

Primero, debe medir las características de la imagen, que pueden incluir color, texturas, gradientes, formas, relaciones entre diferentes piezas de imagen e incluso cosas como las transformadas de Fourier (un método para descomponer imágenes en el seno y el coseno).

Digamos que estábamos buscando la siguiente imagen y necesitamos una huella digital.

Para hacerlo, podemos usar, entre otras cosas, las imágenes de histograma, la Transformada de Fourier y el mapa de textura, que todos pueden ver a continuación.

Si una imagen fue cambiada, borrosa, rotada o manipulada de otra manera, habría una serie de algoritmos con las funciones anteriores y otras para tratar de encontrar resultados.

Codificación, almacenamiento y búsqueda.

Cada característica de la imagen en la huella digital se puede codificar como cadenas de letras y números, que son fáciles de almacenar e indexar en una base de datos. Independientemente de qué combinación de características se extraiga y almacene, la imagen inversa del motor de búsqueda se convierte en esa imagen. Por ejemplo, la base de datos de TinEye contiene aproximadamente 39.6 miles de millones de imágenes indexadas desde febrero de 2020, lo que significa que han ejecutado su algoritmo en tantas imágenes y almacenan todas estas huellas digitales para compararlas con las imágenes buscadas.

La otra parte principal del algoritmo es calcular qué imágenes son similares. Cuando carga una imagen, pasa por el algoritmo de huellas digitales del motor de búsqueda. Luego, el motor de búsqueda intenta encontrar los elementos con la huella digital más cercana, llamada espaciado de imagen. Decidir qué factores comparar y cómo sopesarlos también depende de cada motor de búsqueda, pero su objetivo principal es encontrar una distancia de imagen total lo más cercana posible a cero.

¿Qué tal el aprendizaje automático / IA?

Gracias a las técnicas de huella digital / indexación descritas anteriormente, la búsqueda inversa de imágenes era bastante buena incluso antes de que fuera práctico usar AI en ella. Sin embargo, dado que la inteligencia artificial es excelente para procesar imágenes, muchos de los principales motores de búsqueda utilizan elementos como redes neuronales retractadas (CNN) para extraer y etiquetar características. Por ejemplo, Google puede usar una CNN en su búsqueda de imágenes inversas, lo que le permite encontrar palabras clave plausibles para la imagen y producir resultados web e imágenes relevantes, como lo han hecho en Google Photos desde hace bastante tiempo.

Esto lleva la búsqueda inversa de imágenes un paso por encima de la operación fácil y las distancias de imagen. Las redes neuronales convolucionales esencialmente ejecutan imágenes a través de múltiples filtros que mapean varios tipos diferentes de funciones y luego intentan clasificarlas en función de la educación previa. Por supuesto, esto es una simplificación excesiva, pero es suficiente decir que las CNN hacen que la búsqueda de imágenes sea mucho más precisa y útil y probablemente se lleve a cabo junto con los métodos de huellas digitales computarizados más antiguos.

¿Cuál es el mejor motor de búsqueda de imágenes inversas?

Los diferentes algoritmos significan que los diferentes motores de búsqueda de imágenes son buenos para diferentes cosas, a pesar de que todos apuntan al mismo objetivo: encontrar una coincidencia para la imagen que cargó. Imágenes de Google por ejemplo, tiene una tasa de éxito bastante buena, pero hace muchas conjeturas, lo que hace que muchas fotos sean similares pero no idénticas. Es bueno si buscas un estado de ánimo o una categoría general, pero un motor como ese TinEye está mucho más centrado en encontrar imágenes idénticas, incluso si están muy editadas, e incluso puede identificar fotos dentro de las fotos, lo que lo hace un poco mejor si necesita una coincidencia exacta.

El motor de búsqueda ruso Yandex también es conocido por tener una excelente herramienta de búsqueda de imágenes, aunque es probable que tenga mejores resultados en temas rusos. Las herramientas como Pixsy e ImageRaider se centran en identificar instancias de uso no autorizado, por lo que tienden a incluir más funciones como alertas y se centran en monitorear las bibliotecas de fotos de los usuarios.

Dado que los algoritmos cambian todo el tiempo y generalmente están bloqueados, vale la pena verificar varios motores diferentes si no devuelve los resultados después.

Crédito de la imagen: Vapor desde una calle de la ciudad de Nueva York, DB Icono de base de datos

¿Es útil este artículo?