Bing Chat, ChatGPT y otras herramientas de IA generativa similares se han centrado principalmente en comprender el contenido del texto y proporcionar respuestas. Sin embargo, también es increíblemente útil comprender imágenes, y eso es lo que Microsoft está implementando ahora en su Bing Chat AI.
En una publicación de blog reciente, Microsoft anunció una nueva característica para Bing Chat, llamada Búsqueda Visual. Con Visual Search, puede cargar una imagen o seleccionar una imagen existente en la web, y Bing intentará comprenderla y utilizar ese contexto en las respuestas. El vídeo de demostración de Microsoft (incluido a continuación) muestra a alguien cargando una maqueta dibujada a mano de un formulario web y pidiendo a Bing que genere código HTML y CSS para hacerlo funcional.
Microsoft explicó en la publicación del blog: “Ya sea que viaje a una nueva ciudad de vacaciones y pregunte sobre la arquitectura de un edificio en particular o en casa tratando de pensar en ideas para el almuerzo basadas en el contenido de su refrigerador, cargue la imagen en Bing Chat y utilícelo para aprovechar el conocimiento de la web y obtener respuestas”.
El software que puede detectar el contenido de las imágenes no es nada nuevo. Google Lens ha podido identificar personas, animales, plantas, puntos de referencia y otros objetos en fotografías desde 2017, y su predecesor más limitado, Google Goggles, se remonta a 2010. Microsoft está utilizando las funciones de detección de imágenes de GPT-4, que es el mismo modelo de lenguaje utilizado por la versión premium de ChatGPT. Sin embargo, las entradas de imágenes aún no están disponibles en ChatGPT, por lo que esta es la primera vez que vemos esa función ampliamente disponible.
Probé Visual Search con algunas fotos y los resultados fueron impresionantes. Pedirle a Bing que describa imágenes le brinda respuestas mucho más detalladas que las que obtendría de Google Lens. Por ejemplo, al subir una foto de mi perro, respondí: “Esta es una foto de un perro negro y fuego sentado sobre una alfombra marrón esponjosa. El perro lleva un collar rojo con una etiqueta plateada. El perro está mirando a la cámara”. con las orejas levantadas. El fondo consiste en un sofá blanco con almohadas azules y blancas. La foto está tomada desde un ángulo alto.” También interpretó correctamente que la imagen se subió de lado.
Puedes probar la función abriendo el chat de Bing en Microsoft Edge (Microsoft todavía lo bloquea en otros navegadores) y haciendo clic en el icono del contorno de la cámara en el campo de texto.
Fuente: microsoft
