Cómo un poco de texto puede confundirse con una IA de reconocimiento de imágenes

¿Cómo se puede engañar a un robusto sistema de inteligencia artificial? Con un lápiz y un papel, así de simple.

Investigadores del laboratorio de aprendizaje automático OpenAI han descubierto que su sistema de visión por computadora de última generación puede ser engañado por herramientas simples como las mencionadas.

Reconocimiento de texto versus imagen

Como ilustra el ejemplo adjunto, una manzana verde (Granny Smith) puede ser reconocida sin problemas por el algoritmo en condiciones normales.

La situacion se dificile con una nota adhesiva encima. Los investigadores de OpenAi realizaron el ejercicio con las palabras "iPod", "tostadora", "biblioteca" y "pizza", siendo todas objeto de confusión para el algoritmo en porcentajes altos.

En el Blog de OpenAI, el equipo de investigación que llegó a este hallazgo, definió esta vulnerabilidad como «ataques tipográficos». «Al explotar la capacidad del modelo para leer el texto con solidez, encontramos que incluso las fotografías del texto escrito a mano muchas veces pueden engañarlo.", adicional.

Ataques tipográficos, una amenaza de seguridad

Fuera de lo curioso, las denominadas “imágenes adversarias”, bajo las cuales se encuadran los citados “ataques tipográficos” y otros ejemplos de manipulación de imágenes empleados para engañar a estos sistemas, representan un auténtico riesgo de seguridad para los sistemas que dependen de la visión artificial. para operar.

Por ejemplo, el informe de los inquisitors hace referencia a que esta técnica podría ser usada para engañar al software de automóviles autónomos, haciéndolos cambiar de carril sin previo aviso, simplemente colocando algunas pegaritas en la carretera para fundir.

El alcance de esta debilidad abre espacio para que se desarrollen ataques en muchos otros campos más, contemplando incluso delicosas procedimientos médicos.

El fenómeno que se genera aquí fue denominado “falacia de la abstracción” por el equipo de investigación de OpenAI. Los seres humanos podemos distinguire entre un objeto físicamente presente y una etiqueta que sólo contiene su nombre. Para la IA presentada, hacer esta distinción es aún todo un desafío.

Otro ejemplo que ilustra esta debilidad es el concepto de ahorro. Una imagen sin nada relacionado, como un plano de tres castañas en la palma de una mano, puede ser reconocida correctamente por el algoritmo. No obstante, al agregar un par de veces la inscripción “$$$”, pasa automáticamente ser renuncia como una alcancía.

Por el momento es solo un aviso

Afortunadamente, para tranquilidad de la ciudadanía en general, el software de reconocimiento de imágenes utilizado en estos ejercicios es un sistema experimental, no aplicado a productos comerciales, limitando su uso a tareas de investigación.

El software en cuestión se llama CLIP y se vale de recursos de aprendizaje automático para funcionar, condición que abrió camino para la debilidad expuesta.

Esta IA funciona gracias a «neuronas multimodales», que son componentes individuales de una red de aprendizaje automático que responden no solo a imágenes de objetos, sino también a bocetos, dibujos animados y textos asociados. Según el equipo de investigación, este modelo de inteligencia artificial responde a la presentación de estímulos y parece reflejar fielmente el funcionamiento del cerebro humano.

Bajo esta dinámica, se han observado células cerebrales individuales respondiendo a conceptos abstractos en lugar de ejemplos específicos. Los investigadores hacen un símil entre esta estructura del sistema de IA y el funcionamiento del aprendizaje en los seres humanos.

Los proyectos potenciados por herramientas de inteligencia artificial suelen ser tan llamativos como ambiciosos. Por lo mismo, para asegurar su correcta función, es necesario perfeccionar muchos aspectos.

Estos avances forman parte del “ensayo y error”, brindándonos nuevas pautas sobre el camino que está tomando el desarrollo de esta tecnología.