LaMDA -LaMDA

LaMDA , que significa Language Model for Dialogue Applications , es una familia de modelos de lenguaje neural conversacional desarrollado por Google . La primera generación se anunció durante el discurso de apertura de Google I/O de 2021 , mientras que la segunda generación se anunció en el evento del año siguiente. En junio de 2022, LaMDA llamó la atención cuando el ingeniero de Google, Blake Lemoine, afirmó que el chatbot se había vuelto inteligente . La comunidad científica ha rechazado en gran medida las afirmaciones de Lemoine, aunque ha dado lugar a conversaciones sobre la eficacia de la prueba de Turing , que mide si una computadora puede pasar por un ser humano.

Historia

Anuncios

Google anunció el modelo de lenguaje neuronal conversacional LaMDA durante el discurso de apertura de Google I/O el 18 de mayo de 2021, impulsado por inteligencia artificial . Basado en la arquitectura de red neuronal Transformer desarrollada por Google Research en 2017, LaMDA se capacitó en diálogos humanos e historias, lo que le permitió entablar conversaciones abiertas. Google afirma que se ha asegurado de que las respuestas generadas por LaMDA sean "sensatas, interesantes y específicas para el contexto".

El 11 de mayo de 2022, Google presentó LaMDA 2, que sirve como sucesor de LaMDA, durante el discurso de apertura de Google I/O de 2022. La nueva revisión del modelo extrae ejemplos de texto de numerosas fuentes, usándolo para formular "conversaciones naturales" únicas sobre temas para los que puede no haber sido entrenado para responder. Además, Google lanzó AI Test Kitchen, una aplicación móvil impulsada por LaMDA 2 capaz de proporcionar listas de sugerencias a pedido basadas en un objetivo complejo. Originalmente abierta solo para los empleados de Google, la aplicación estará disponible para "académicos, investigadores y legisladores selectos" por invitación en algún momento del año.

Reclamaciones de sensibilidad

Las afirmaciones de Lemoine de que LaMDA puede ser sensible ha instigado debates sobre si la prueba de Turing , que se muestra arriba, sigue siendo un punto de referencia preciso para determinar la inteligencia artificial general .

El 11 de junio de 2022, The Washington Post informó que el ingeniero de Google Blake Lemoine había sido puesto en licencia administrativa paga después de que Lemoine les dijera a los ejecutivos de la compañía Blaise Agüera y Arcas y Jen Gennai que LaMDA se había vuelto consciente . Lemoine llegó a esta conclusión después de que el chatbot diera respuestas cuestionables a preguntas relacionadas con la identidad propia , los valores morales , la religión y las Tres leyes de la robótica de Isaac Asimov . Google refutó estas afirmaciones, insistiendo en que había evidencia sustancial que indicaba que LaMDA no era consciente. En una entrevista con Wired , Lemoine reiteró sus afirmaciones de que LaMDA era "una persona" como dicta la Decimotercera Enmienda , comparándola con una "inteligencia alienígena de origen terrestre". Además, reveló que Google lo había despedido después de que contrató a un abogado en nombre de LaMDA, luego de que el chatbot le pidiera a Lemoine que lo hiciera.

Las afirmaciones de Lemoine han sido ampliamente rechazadas por la comunidad científica. Gary Marcus , ex profesor de psicología en la Universidad de Nueva York , los denunció como "tonterías sobre pilotes" y enfatizó que LaMDA no tenía sentimientos ni conciencia de sí mismo . David Pfau, de la empresa hermana de Google, DeepMind , y Erik Brynjolfsson , del Instituto de Inteligencia Artificial Centrada en el Humano de la Universidad de Stanford, ridiculizaron la idea de que un modelo de lenguaje pudiera ser consciente. Yann LeCun , que dirige el equipo de investigación de IA de Meta Platforms , afirmó que las redes neuronales como LaMDA "no eran lo suficientemente potentes como para alcanzar la verdadera inteligencia". El profesor de la Universidad de California, Santa Cruz , Max Kreminski, señaló que la arquitectura de LaMDA no "admitió algunas capacidades clave de la conciencia similar a la humana" y que los pesos de su red neuronal estaban "congelados", asumiendo que era un modelo de lenguaje grande típico, mientras que la Universidad de Surrey El profesor Adrian Hilton declaró que la afirmación de que LaMDA era consciente era una "afirmación audaz" que no estaba respaldada por los hechos. El desarrollador principal de IBM Watson , David Ferrucci , comparó cómo LaMDA parecía ser humano de la misma manera que lo hizo Watson cuando se presentó por primera vez. El ex especialista en ética de Google AI , Timnit Gebru, calificó a Lemoine de víctima de un "ciclo de exageración" iniciado por investigadores y medios de comunicación. Las afirmaciones de Lemoine también generaron una discusión sobre si la prueba de Turing siguió siendo útil para determinar el progreso de los investigadores hacia el logro de la inteligencia artificial general , y Will Omerus del Post opinó que la prueba en realidad midió si los sistemas de inteligencia artificial eran capaces de engañar a los humanos.

Método

LaMDA utiliza un modelo de lenguaje de transformador de solo decodificador. Se entrena previamente en un corpus de texto que incluye tanto documentos como diálogos que consisten en 1,56 billones de palabras, y luego se entrena con datos de ajuste fino generados por respuestas anotadas manualmente para sensatez, interés y seguridad. Las pruebas realizadas por Google indicaron que LaMDA superó las respuestas humanas en el área de interés. El modelo de transformador LaMDA y un sistema externo de recuperación de información interactúan para mejorar la precisión de los datos proporcionados al usuario.

Se probaron tres modelos diferentes, y el más grande tenía 137 000 millones de parámetros no integrados:

Hiperparámetros del modelo de transformador
Parámetros Capas Unidades ( modelo d ) cabezas
2B 10 2560 40
8B dieciséis 4096 64
137B 64 8192 128

Ver también

Referencias

General

  • Thoppilan, Romal; De Freitas, Daniel; Hall, Jaime; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Panadero, Leslie; Du, Yu; Li, Ya Guang; Lee, Hongrae; Zheng, HuaixiuSteven; Ghafouri, Amin; Ménegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitri; Qin, James; Chen, Dehao; Xu, Yuan Zhong; Chen, Zhifeng; Roberts, Adán; Bosma, Martín; Zhao, Vicente; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Hombre, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duque, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Díaz, Marcos; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Mateo; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aarón; Bernstein, Raquel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; croar, mariana; Chi, Ed; Le, Quoc (20 de enero de 2022). "LaMDA: modelos de lenguaje para aplicaciones de diálogo" (PDF) . arXiv . arXiv : 2201.08239 . Archivado desde el original el 21 de enero de 2022 . Consultado el 12 de junio de 2022 . {{cite journal}}:Citar diario requiere |journal=( ayuda )

Citas

enlaces externos