Una de las tendencias más importantes en IA recientemente ha sido la creación de modelos de aprendizaje automático que pueden generar la palabra escrita con una fluidez sin precedentes. Estos programas cambian las reglas del juego y potencialmente sobrealimentan la capacidad de las computadoras para analizar y producir lenguaje.
Pero algo que ha pasado desapercibido en gran medida es una tendencia secundaria, una sombra de la primera, y es que un número sorprendente de estas herramientas lleva el nombre de Muppets.
Hasta la fecha, esta nueva generación de IA de lenguaje incluye un ELMo , un BERT , un Grover , un Big BIRD , una Rosita , una RoBERTa , al menos dos ERNIE s (tres si incluye ERNIE 2.0 ), y un KERMIT . Los grandes jugadores tecnológicos como Google, Facebook y el Instituto Allen para IA están involucrados, y la locura tiene alcance global, con el gigante chino de búsqueda Baidu y los modelos contribuyentes de la Universidad Tsinghua de Beijing. La convención de nomenclatura está tan bien establecida que estos sistemas a veces se denominan “Muppetware”. Pero, ¿quién inició la convención y por qué?
Como habrás adivinado, la respuesta simple es: es una broma interna, con investigadores que nombran modelos AI después de Muppets porque otros investigadores han nombrado modelos AI después de Muppets. Pero es una broma que destaca una característica particular de la investigación de IA, que demuestra cómo los laboratorios rinden homenaje y se basan en el trabajo de los demás.
2018: Language model papers have to introduce Sesame Street-related acronyms
2019: Language model papers need Sesame Street jokes in the title, all talks need at least one Sesame Street image.
2020: ACL/NAACL co-located with Sesame Street convention, Big Bird gives a keynote.
— Miles Brundage (@Miles_Brundage) June 11, 2019
2018: los documentos de modelo de idioma deben presentar siglas relacionadas con Sesame Street
2019: los documentos de modelo de idioma necesitan chistes de Sesame Street en el título, todas las charlas necesitan al menos una imagen de Sesame Street.
2020: ACL / NAACL co-ubicada con la convención de Sesame Street, Big Bird da una nota clave.
La tendencia comenzó con ELMo, un modelo diseñado por el Instituto Allen y publicado por primera vez en línea en octubre de 2017. Como suele ser el caso con la investigación que abre nuevos caminos, el equipo detrás del trabajo quería encontrar un acrónimo ágil para su modelo El autor principal del artículo, Matt Peters, dijo a The Verge por correo electrónico que hicieron una lluvia de ideas sobre Slack.
“Teníamos una lista de letras utilizables en un acrónimo”, dice Peters. “Modelo de lenguaje, contextual, incrustaciones, etc.” Fue un ingeniero llamado Joel Grus quien ideó “ELMo” para representar “Incrustaciones de modelos de lenguaje”, dice, y el nombre “se pegó al instante”.
“Mi hijo mayor tenía unos tres años en ese momento y también fue mi forma de dedicarle el papel”.
“Me gustó porque es algo caprichoso pero memorable”, dice Peters. “Mi hijo mayor tenía unos tres años en ese momento y también era mi forma de dedicarle el papel”.
ELMo podría haber sido excepcional si no hubiera sido por BERT, un modelo de lenguaje creado por el equipo de inteligencia artificial de Google en 2018. Este modelo demostró ser poderoso e influyente, e impulsó una serie de ideas novedosas sobre la generación de lenguaje en el AI convencional.
El propio BERT representa oficialmente las representaciones de codificador bidireccional de Transformers, y aunque Google rechazó múltiples solicitudes de The Verge para discutir los orígenes del nombre, se asume ampliamente que los investigadores, como los de Allen, tenían los Muppets en mente. En la propia publicación de blog de Google sobre el tema, la compañía dice “BERT se basa en el trabajo reciente en representaciones contextuales previas a la capacitación, incluido … ELMo”.
BERT logró resultados de vanguardia en una serie de pruebas, y ha tenido tanto éxito que Google recientemente lo incorporó a su motor de búsqueda . Una vez que se lanzó el modelo, se abrieron las compuertas de Muppetware, y pronto fueron seguidos por muchos algoritmos inteligentes con acrónimos de fuerza bruta, incluidos ERNIE (Representación mejorada a través de la integración del conocimiento), KERMIT (Representaciones de codificador Kontextuell hechas por transformaciones de inserción) y Big BIRD (Grandes representaciones de inserción bidireccional para documentos).
Pero la tendencia es más que una broma. Como explica Oren Etzioni, CEO del Instituto Allen, también es una forma seria de reconocer la “deuda intelectual” en el mundo de la IA. “ELMo fue nombrado así como un capricho, pero BERT se basa directamente en los conocimientos de ELMo; Grover utiliza BERT, etc. ”, dijo Etzioni The Verge por correo electrónico. “Enfatizar el crédito que se debe a ELMo es muy importante para nosotros … ¡Snuffaluffagus no puede estar muy lejos!”
Mitchell Stern, un estudiante de doctorado en Berkeley que ayudó a crear KERMIT y Big BIRD, dijo que la convención de nombres fue principalmente divertida, pero también tenía un “aspecto de marca”.
Nombrar modelos después de Muppets es una forma de reconocer la deuda intelectual
“Dada la extensión de esta tendencia, las personas que trabajan en esta área reconocerán naturalmente los nuevos documentos que contengan un nombre con el tema Sesame Street “, dijo Stern The Verge por correo electrónico. Y aunque no todos los modelos de lenguaje AI que usan estas nuevas técnicas llevan el nombre de un Muppet (los sistemas GPT-2 de OpenAI son una excepción), es bastante seguro que si ves un modelo de Muppetware sabes qué enfoques está usando.
Todo esto, a su vez, nos ayuda a comprender cómo el mundo de la IA depende de la apertura y la colaboración para generar y refinar ideas. La IA no es una disciplina en la que los científicos solitarios trabajen en el laboratorio por la noche, bombeando electricidad a través de procesadores y gritando “Está vivo” sobre una línea de comando brillante. (Descargo de responsabilidad: esto ciertamente sucede, pero no siempre es el enfoque más productivo). En cambio, los avances tienden a ser iterativos y colaborativos, con grupos de investigadores que se basan en el trabajo y las ideas de los demás.
Y aunque es posible que la broma de Muppetware se agote pronto, hasta que eso suceda, es una tradición adecuada. Después de todo, la colaboración y el respeto son exactamente el tipo de características de las que los personajes de Sesame Street estarían orgullosos.
