Counterfit, una herramienta de código abierto para analizar la seguridad de la inteligencia artificial

A medida que se presentan soluciones de inteligencia artificial en diferentes sectores, las amenazas potenciales aumentan, por lo que es necesario contar con una plataforma que de alguna manera garantice que el sistema de IA es seguro.

Esto es lo que Microsoft acaba de lanzar ahora, una herramienta de código abierto llamada Counterfit que ayuda a los desarrolladores a probar la seguridad de estos sistemas.

lo publicó y GitHub, comentando que la razón por la que estaban trabajando en algo como esto era obvia, ya que la mayoría de las organizaciones carecían de las herramientas para lidiar con la oposición al aprendizaje automático.

Nació de la propia necesidad de Microsoft de evaluar los sistemas de inteligencia artificial en busca de vulnerabilidades. Es una herramienta de automatización común para atacar múltiples sistemas de IA a gran escala, y aunque está diseñado para probar sistemas, también están explorando el uso de Counterfit en la fase de desarrollo de IA.

La herramienta puede implementarse a través de Azure Shell desde un navegador o instalarse localmente en un entorno Anaconda Python.

en tu blog comenta sobre esto puede evaluar modelos alojados en cualquier nube o entorno local. Counterfit es independiente del modelo y se esfuerza por ser independiente de los datos, aplicable a modelos que usan texto, imágenes o entrada compartida.

Aprendizaje automático adverso

Lo que desea evitar es que el atacante pueda engañar a un modelo de aprendizaje automático con datos manipulables. Esto es algo que ya sucedió, como engañar a Tesla para que leyera mal el límite de velocidad al poner una barra negra en las señales de velocidad, por ejemplo.

Otro ejemplo fue cuando un chatbot comenzó a publicar comentarios racistas en Twitter después de analizar datos que sí eran racistas, alimentados por un troll.

La herramienta viene con algoritmos de ataque publicados preinstalados que se pueden usar para iniciar las operaciones necesarias para evitar y robar modelos de IA y puede ayudar a escanear vulnerabilidades en estos sistemas.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir
error: Content is protected !!