Modelo de IA desarrollado con éxito que puede traducir el lenguaje en movimiento físico

Los investigadores de IA de la Universidad Carnegie Mellon de Pensilvania han desarrollado recientemente un modelo intensivo de IA que puede traducir el lenguaje (texto, habla) en acciones y gestos. La precisión física es relativamente alta.

Este modelo de IA se llama Joint Language-to-Pose (JL2P), también conocido como un método para combinar de manera efectiva el lenguaje natural con modelos 3D para simular la postura. aplicación práctica en un futuro próximo.

1. Los modelos de DeepMind AI pueden aprender a crear videos mirando videos de YouTube

Este modelo de IA se llama Joint Language-to-Pose (JL2P)

La capacidad de JL2P para analizar y simular posturas y gestos en tres dimensiones ha sido cuidadosamente entrenada a través de un procedimiento de extremo a extremo: un método poderoso y efectivo para las cabezas. El entrenamiento se "destruye" como una sola cadena. Los modelos de IA necesitan realizar tareas cortas antes de pasar a objetivos más complejos.

Actualmente, la capacidad de JL2P para simular animación se limita a la forma de imágenes básicas (compuestas de líneas simples), sino más bien a la capacidad de simular el movimiento humano basado en el lenguaje modelo. Este modo AI es relativamente preciso e intuitivo. El equipo cree que modelos como JL2P algún día pueden ayudar a los robots a realizar tareas físicas del mundo real o apoyar la creación de personajes de videojuegos animados virtuales. y películas

1. Bicicleta autopropulsada, desarrollada con éxito con la ayuda de un chip de IA, que puede pensar y aprender como las personas

La capacidad de JL2P para simular animación se limita a imágenes simples y aproximadas.

De hecho, la idea de desarrollar modelos de IA capaces de traducir el lenguaje en movimiento físico no es nueva. Antes de que la Universidad Carnegie Mellon lanzara JL2P, Microsoft también desarrolló con éxito un modelo llamado ObjGAN, que se encargó de especializarse en dibujo y guión gráfico. Subtítulos de idioma. Otro modelo de Disney AI también es conocido por su capacidad de usar palabras de guiones para crear guiones gráficos. O más conocido como GauGAN de Nvidia, que convierte dibujos de trackpad o Microsoft Paint en bocetos digitales inteligentes con la mejor estética.

Volviendo a JL2P, este modelo de IA ahora puede simular con mucha precisión algunos movimientos simples o relativamente complejos, como caminar o correr, tocar un instrumento musical (como una guitarra o un violín), siguiendo las instrucciones dadas. Dirección (izquierda o derecha) o control de velocidad (rápido o lento).

1. Pantalla táctil desarrollada con éxito basada en inteligencia artificial y "teclado de ensueño" VR

JL2P ahora puede simular con precisión algunos movimientos simples a relativamente complejos

"Primero, optimizamos el modelo para predecir 2 pasos de tiempo a partir de oraciones completas de palabras. Esta sencilla tarea ayuda al modelo de IA a aprender cómo simular conjuntos muy cortos de poses, como movimientos de piernas al caminar, movimientos de brazos o gestos al saludar y posturas corporales al inclinarse. Una vez que JL2P haya aprendido a simular tales gestos con mucha precisión, pasaremos a la siguiente etapa del curso. Según el equipo de investigación de la Universidad Carnegie Mellon, el modelo ya cuenta con dos poses (figuras) para hacer predicciones al mismo tiempo.

1. AI sabe cómo jugar al póquer, vencer a los mejores del mundo en juegos para 6 jugadores

Simular la postura de correr de una persona normal

Los detalles de cómo funciona JL2P y los "trabajos" típicos se describen por primera vez en un artículo científico publicado en arXiv.org el 2 de julio y se espera que se presenten. Los autores e investigadores de la Escuela de Tecnología del Lenguaje de CMU, Chaitanya Ahuja, presentaron en la Conferencia Internacional 3D Vision en Quebec, Canadá, el 19 de septiembre.

El equipo afirma con confianza que JL2P puede proporcionar una postura y movimientos corporales un 9 % más precisos que otro modelo de IA "mejor en su clase", desarrollado por expertos en inteligencia artificial de SRI International. 2018

1. Deepfake de Samsung podría hacer que el baterista oscuro Rasputin cantara como si fuera real

JL2P simula la acción de pararse contra manos humanas

Producto creado por JL2P después de ser entrenado en el conjunto de datos de movimiento KIT Motion-Language.

JL2P simula saltar obstáculos y correr

Presentado por primera vez en 2016 por Performance Humanoid Technologies en Alemania, el conjunto de datos combina el movimiento humano con descripciones en lenguaje natural para mapear 11 horas de movimiento continuo. Las personas registraron más de 6.200 oraciones en inglés, cada oración tiene aproximadamente 8 palabras.