El nuevo modelo de IA de Google puede leer un libro completo

Uno de los mayores desafíos que enfrentan los modelos de inteligencia artificial (IA) en el procesamiento del lenguaje en la actualidad es comprender el contexto y el contexto de cada fragmento en particular y, por lo tanto, comprender el contenido de todo el pasaje. O, más ampliamente, una comprensión correcta del significado de toda la obra, en lugar de simplemente comprender el significado de cada palabra tal como es hoy.

Para abordar esto, Google ha introducido un nuevo modelo de aprendizaje automático llamado Reformer, que puede comprender el contenido y el contexto de un millón de líneas de trabajo, el equivalente a una novela, utilizando solo unos 16 GB de almacenamiento. Reformer está diseñado para superar las deficiencias de Transformer, una red neuronal anticuada que entiende la relación entre palabras comparándolas en párrafos.

Sin embargo, al trabajar en modo de emparejamiento combinatorio, Transformer ocupará mucho espacio de datos en caso de que necesite procesar textos de más de unos pocos miles de palabras. Esta debilidad hace que sea extremadamente imposible usar Transformer para procesar un artículo o libro largo.

Google ha desarrollado Reformador para abordar dos problemas clave: la capacidad de procesar texto largo y el consumo de memoria de los modelos más antiguos.

Para abordar el primer problema, el nuevo modelo de Google utiliza un método llamado hashing sensible local (LSH). Es decir, en lugar de comparar todas las palabras juntas como antes, el nuevo modelo usa una función hash para asociar palabras similares en un grupo y luego compara palabras dentro del mismo grupo o grupos. Al lado para ayudar a limitar la congestión, así como la capacidad de procesar grandes cantidades de texto.

Para abordar el problema del consumo de memoria, los investigadores utilizaron una técnica llamada red residual reversible (RevNet). RevNet fue desarrollado por ResNets, una técnica que mejora la eficiencia a medida que la red se vuelve más profunda y más amplia. Las RevNet tienen capas, la salida de cada capa se puede reconstruir y usar en otra capa. Como resultado, la salida de la mayoría de las clases apenas necesita almacenarse en la memoria durante la transferencia inversa.

Para probar la efectividad de este modelo, Google proporcionó a Reformer algunas imágenes recortadas pequeñas y creó una imagen de fotograma completo a partir de ahí.

Los ingenieros de Google dicen que el nuevo modelo puede manejar libros completos con facilidad y precisión, abriendo el potencial para el procesamiento de textos a gran escala.