GPT-3 NO es algo completamente nuevo, estrictamente hablando, yo te conté al respecto en este video del 2020 (el límite actual de la inteligencia artificial), repentinamente GPT-3 se ha vuelto algo muy sonado en las redes porque la empresa OpenAI puso a disposición de la gente de manera gratuita un chat… y mucha gente ha comenzado a hacer una de dos cosas: temer por sus vidas, sus empleos y hasta el futuro de Google como buscador… o entusiasmarse sobremanera.
Así que decidí hacer este video platicando con el chat GPT-3 para que me ayude a explicarte con una perspectiva menos extremista el panorama.
La voz que vas a escuchar, aparte de la mía, es también una voz generada con inteligencia artificial pero no con este chat sino con otra herramienta.
¿Qué es GPT-3?
GPT-3 (Generative Pre-trained Transformer 3) es un modelo de generación de lenguaje desarrollado por OpenAI. Utiliza técnicas de aprendizaje profundo, en concreto una arquitectura de red neuronal transformadora, para generar texto similar al humano. El modelo está preentrenado en un conjunto de datos masivo de texto y se ha ajustado para tareas específicas de generación de lenguaje, como la traducción de idiomas, el resumen y la respuesta a preguntas. GPT-3 es capaz de generar textos similares a los escritos por humanos, así como de comprender y responder a entradas en lenguaje natural. Está considerado uno de los modelos de generación de lenguaje más avanzados de la actualidad.
Si no viste mi video del 2020 rápidamente te explico que esto de tener computadoras que intenten producir lenguaje natural tiene varios años. En el 2010 la lingüística computacional se parecía mucho a lo que aprendemos de gramática en la escuela. La idea era que el software distinguiera verbos, sujetos, complementos, oraciones, etc.
En el 2011 se empieza a hacer estadística en lenguaje escrito, una de las formas en que esto se aprecia aún hoy es en las famosas nubes de palabras.
En el 2013 aparecen redes neuronales que podían escribir cosas sin ningún sentido pero gramaticalmente correctas.
En el 2018, se comenzó a trabajar con equipos computacionales enormes… enormes, tamaño Google: se entrenaron computadoras a partir de una colección masiva de libros de texto. El acercamiento que tomaron fue muy distinto al gramatical. Era algo así como las actividades que alguna vez hicimos en la escuela: te daban un texto sobre un tema y le ocultaban el 15% de las palabras… después, le pedían al modelo que adivinara esas palabras faltantes.
Resulta que si le enseñas al modelo estadístico suficientes datos -del tamaño de una red enorme, tamaño Google-… es el equivalente a enseñarle a producir lenguaje, aún sin explicar reglas gramaticales… el primer sistema de este tipo se llamaba BERT y a partir de aquí viene una generación nueva de sistemas que de manera probabilística adivinan qué palabras utilizar para producir lenguaje.
Le pregunté al Chat GPT-3 en qué se diferencia de BERT
BERT (Bidirectional Encoder Representations from Transformers) y GPT-3 (Generative Pre-trained Transformer 3) son modelos de generación de lenguaje desarrollados a partir de la arquitectura de transformadores, pero tienen objetivos de entrenamiento y casos de uso diferentes.
BERT es un modelo preentrenado y perfeccionado para una amplia gama de tareas de comprensión del lenguaje natural, como la respuesta a preguntas y el análisis de sentimientos. Está entrenado para comprender el significado de las palabras en su contexto observando las palabras que las preceden y las que las siguen. BERT se utiliza principalmente para tareas de comprensión del lenguaje como el reconocimiento de entidades con nombre, la respuesta a preguntas y el análisis de sentimientos.
Por otro lado, GPT-3 es un modelo de lenguaje generativo que se entrena para generar texto similar al humano. Se preentrena en un conjunto de datos masivo de texto y se ajusta para tareas específicas de generación de lenguaje, como la traducción, el resumen y la respuesta a preguntas. Se utiliza principalmente para tareas de generación de lenguaje como completar textos, traducir y resumir.
En resumen, BERT se utiliza principalmente para comprender el lenguaje y GPT-3 para generarlo.
“Después de BERT vinieron los sistemas GPT y la diferencia en sus números es el tamaño, cada vez más grande, más masivo, del texto que se utilizó para entrenar el sistema”
¿Con qué material se entrenó chat GPT-3?
GPT-3 se ha entrenado con un conjunto de datos de texto de Internet que incluye páginas web, artículos, libros y mucho más. Se cree que este conjunto de datos es uno de los más grandes utilizados para entrenar un modelo lingüístico, ya que contiene miles de millones de palabras. Los datos de entrenamiento proceden de una amplia gama de fuentes, como Wikipedia, Common Crawl y libros disponibles en Internet. El conjunto de datos también incluye un conjunto diverso de textos de varios dominios y géneros, como noticias, ficción, artículos científicos y más. Además, GPT-3 se perfeccionó en tareas específicas como traducción de idiomas, resumen y respuesta a preguntas utilizando datos adicionales y etiquetas específicas de cada tarea. Este proceso permite al modelo aprender a generar texto relevante para tareas y dominios específicos.
¿GPT-3 sabe si lo que responde tiene sentido?
GPT-3 genera texto utilizando los patrones y relaciones que aprendió durante su preentrenamiento en un gran conjunto de datos de texto. El modelo se entrena para predecir la siguiente palabra de una frase a partir de las palabras anteriores. Durante este proceso, aprende la estructura y el significado del lenguaje, lo que le permite generar textos gramaticalmente correctos y coherentes. Sin embargo, GPT-3 no tiene un sentido directo de lo que tiene sentido y lo que no, sino que se basa en la coherencia del texto generado por la probabilidad de cada palabra dadas las palabras anteriores de la secuencia, es la razón por la que a veces el texto generado por GPT-3 puede no ser del todo coherente o no tener sentido en determinados contextos.
Durante el desarrollo de chat GPT-3, tengo entendido se utilizaron dos cosas: aprendizaje supervisado y aprendizaje por refuerzo. Ambos enfoques requirieron entrenadores humanos para mejorar el rendimiento del modelo. Es decir, estamos hablando de estrategias distintas en que la inteligencia artificial aprendió, pero siempre con un grupo de humanos ahí.
En el aprendizaje supervisado, el modelo disponía de conversaciones en las que los formadores interpretaban a ambas partes: el usuario y el asistente de IA.
En el paso de refuerzo, los formadores humanos clasificaban primero las respuestas que el modelo había creado en una conversación anterior.
¿Es correcto?
Sí, es correcto. El proceso de entrenamiento de GPT-3 y otros modelos de generación de lenguaje suele implicar tanto aprendizaje supervisado como aprendizaje por refuerzo.
En el caso del aprendizaje supervisado, el modelo se entrena en un gran conjunto de datos de texto, que incluye conversaciones entre usuarios y asistentes de IA. El modelo se entrena para predecir la siguiente palabra de una frase a partir de las palabras anteriores, y aprende la estructura y el significado del lenguaje entrenándose en este conjunto de datos.
El aprendizaje por refuerzo también se utiliza durante el proceso de entrenamiento, en el que se recurre a instructores humanos para evaluar y clasificar las respuestas generadas por el modelo en conversaciones anteriores. El modelo se refuerza con respuestas positivas cuando genera respuestas adecuadas y con respuestas negativas cuando genera respuestas inadecuadas. Esto ayuda al modelo a aprender de sus errores y mejorar su rendimiento con el tiempo.
Cabe señalar que el rendimiento del modelo también se evalúa y mejora continuamente a través de la investigación y el desarrollo continuos en el campo de “deep learning” y el procesamiento del lenguaje natural
He observado que junto a su texto tenemos un botón de «pulgares arriba» y «pulgares abajo», ¿se utiliza nuestra calificación de algún modo para mejorar su sistema?
Los botones de «pulgar arriba» y «pulgar abajo» son una función que proporciona la plataforma que estás utilizando para interactuar conmigo, no están relacionados con mi formación o rendimiento. Estos botones permiten a los usuarios dar su opinión sobre la calidad de las respuestas generadas por el modelo, pero esta opinión no se utiliza directamente para mejorar el modelo.
Los desarrolladores de la plataforma u OpenAI podrían utilizar los comentarios para supervisar el rendimiento del modelo y comprender hasta qué punto satisface las necesidades de sus usuarios. Sin embargo, la forma principal en que GPT-3 y otros modelos lingüísticos se entrenan y mejoran es a través del proceso de preentrenamiento y puesta a punto utilizando grandes cantidades de datos, así como a través de la investigación y el desarrollo continuos en el campo del aprendizaje profundo y el procesamiento del lenguaje natural.
El genio en la botella
Quizás te haya tocado enterarte que en junio del 2022, un ingeniero de Google dio a conocer públicamente su preocupación después de trabajar con un sistema de inteligencia artificial de esta empresa llamado LaMDA, que también es un chat bot. El tema es que el percibía que este chat bot tenía sentimientos… también en julio 2022 se hizo público que algunos investigadores habían identificado que algunos bots de inteligencia artificial terminaban con discursos racistas y sesgados… la expectativa es que chat GPT-3 tenga menos de estos problemas, aunque ya encontré una nota periodística donde reportan que el chat habla con cierto sesgo de personas de algunas regiones específicas del mundo. Pero bueno, le pregunté sobre esto al chat GPT-3:
¿Cómo se aseguraron tus desarrolladores de que no crearías respuestas racistas?
Como modelo de generación de lenguaje, GPT-3 se entrena en un conjunto masivo de datos de texto extraídos de Internet. El conjunto de datos es diverso, pero también incluye sesgos y estereotipos que existen en el mundo real. Para mitigar estos sesgos y estereotipos en el texto generado, los desarrolladores de GPT-3 y otros modelos lingüísticos utilizan varias técnicas:
Limpieza de datos: Antes del entrenamiento, los datos se limpian para eliminar cualquier sesgo o estereotipo explícito o implícito en ellos.
Ajuste: El modelo puede ajustarse en un conjunto de datos más pequeño y específico de la tarea, menos propenso a sesgos.
Regularización: Para evitar que el modelo memorice sesgos y estereotipos de los datos de entrenamiento, se pueden utilizar técnicas de regularización como la reducción del peso, el abandono y el suavizado de etiquetas.
Evaluación humana: El texto generado por el modelo es evaluado por evaluadores humanos para identificar y corregir cualquier sesgo o estereotipo.
Sin embargo, cabe señalar que, a pesar de estos esfuerzos, los modelos lingüísticos como GPT-3 pueden generar respuestas sesgadas o racistas. Por lo tanto, es importante utilizar estos modelos con precaución y supervisar continuamente sus resultados, especialmente cuando se utilizan en aplicaciones sensibles.
También es importante tener en cuenta que GPT-3 es un modelo de aprendizaje automático, no tiene brújula moral ni ningún tipo de conciencia, por lo que puede generar texto coherente con sus datos de entrenamiento, refleja los sesgos y estereotipos que existen en el mundo.
¿Te expresarás siempre con la misma “personalidad” o es posible que un usuario te obligue a volverte grosero?
Como modelo de generación de lenguaje, GPT-3 no tiene una personalidad fija, sino que genera texto basándose en patrones y relaciones que aprendió durante su preentrenamiento en un gran conjunto de datos de texto. El modelo no es capaz de tener personalidad, emociones o sentimientos.
Sin embargo, el texto generado por el modelo puede parecer que tiene un cierto tono o estilo, dependiendo del contexto y de la tarea o dominio específico para el que se esté utilizando. Por ejemplo, cuando se afina en una tarea que requiere un lenguaje más formal o profesional, el texto generado reflejará ese estilo.
Cabe señalar que las aportaciones del usuario también desempeñan un papel importante a la hora de dar forma al tono y el estilo del texto generado. El modelo genera texto basándose en las entradas que recibe, y si éstas contienen lenguaje grosero u ofensivo, el modelo puede generar texto que refleje ese tono.
Por tanto, es importante que los usuarios sean conscientes del lenguaje y el tono que emplean al interactuar con el modelo y que lo utilicen con responsabilidad, sobre todo cuando se emplea en aplicaciones delicadas.
También un detalle de chat GPT que noté cuando le pedí que me contara chistes… es que después de hacerlo me aclaró:
Espero que te hayan gustado estos chistes, pero es importante mencionar que estos chistes son solo una broma y no tienen la intención de ofender a ninguna IA o persona relacionada con ella, recordando siempre que ChatGPT es una herramienta y no tiene emociones o capacidades humanas.
Es posible que el proceso de entrenamiento de chat GPT acotara mejor a este asistente para que no dé respuestas “de miedo”… el tiempo dirá.
¿Qué ocurre cuando te preguntamos sobre un tema para el que no has sido entrenado?
Cuando un usuario formula una pregunta o proporciona información sobre un tema para el que el modelo no se ha entrenado específicamente, éste genera una respuesta basada en los patrones y relaciones que ha aprendido durante el preentrenamiento. El modelo intentará generar un texto coherente y relevante para la entrada, pero la precisión y relevancia de la respuesta puede variar dependiendo del tema específico y de la cantidad de datos de entrenamiento disponibles para ese tema.
En algunos casos, es posible que el modelo no disponga de información suficiente para generar una respuesta coherente y relevante, y que genere un texto que no sea del todo preciso o que no tenga sentido. En otros casos, el modelo puede generar una respuesta que sea parcialmente precisa o pertinente, pero que aún contenga errores o conceptos erróneos.
Es importante tener en cuenta que GPT-3 es un modelo de aprendizaje automático, no tiene una comprensión general del mundo, sólo puede generar texto basado en los patrones que aprendió durante su entrenamiento. Por lo tanto, siempre es una buena idea contrastar la información proporcionada por el modelo con otras fuentes.
¿Puedes obtener información de Internet, por ejemplo, en tiempo real?
GPT-3 no puede acceder a Internet en tiempo real para recabar nueva información. Genera texto basándose en los patrones y relaciones que aprendió durante su preentrenamiento en un gran conjunto de datos de texto. Este conjunto de datos procede de Internet y se cree que es uno de los mayores utilizados para entrenar un modelo lingüístico, ya que contiene miles de millones de palabras. Los datos de entrenamiento proceden de una amplia gama de fuentes, como Wikipedia, Common Crawl y libros disponibles en Internet.
La fecha límite de conocimiento para mi entrenamiento fue 2021, por lo que la información que puedo proporcionar se limita a lo que estaba disponible hasta esa fecha. Si busca información más reciente o datos en tiempo real, sería mejor que consultara otras fuentes, como sitios web de noticias, bases de datos especializadas o expertos en la materia.
Además, GPT-3 puede afinarse en una tarea específica utilizando un conjunto de datos más pequeño que sea relevante para esa tarea, lo que permite al modelo generar texto más preciso y relevante para esa tarea o dominio específico. Pero, una vez más, la información se limita a lo que está disponible en el conjunto de datos de ajuste.
¿Puedo «enseñarte» sobre un tema concreto?
GPT-3 puede ajustarse a una tarea específica utilizando un conjunto de datos más pequeño que sea relevante para esa tarea. Este proceso permite que el modelo aprenda a generar texto más relevante y coherente para el tema o dominio específico.
Este proceso de ajuste se realiza normalmente proporcionando al modelo un conjunto de datos de texto etiquetado relevante para el tema o dominio específico. A continuación, el modelo aprende a generar texto coherente con los patrones y relaciones presentes en este conjunto de datos.
Sin embargo, como usuario, usted no puede ajustar el modelo por sí mismo, ya que requiere conocimientos y recursos técnicos específicos, como el acceso a una infraestructura informática de alto rendimiento y el conocimiento de la arquitectura y el proceso de entrenamiento del modelo.
Pero si quieres proporcionarme información sobre un tema concreto, puedes darme ejemplos de texto o hacerme preguntas sobre ese tema, y yo haré todo lo posible por darte una respuesta precisa e informativa basada en la información y los patrones aprendidos durante el preentrenamiento.
¿Qué trabajos humanos podrían ser sustituidos por ti?
GPT-3 tiene la capacidad de realizar una amplia gama de tareas basadas en el lenguaje, como la traducción de idiomas, el resumen, la respuesta a preguntas y la generación de textos. Por ello, es idóneo para sustituir o ayudar a trabajadores humanos en tareas que impliquen el procesamiento del lenguaje natural y la generación de textos.
Algunos ejemplos de tareas que podrían ser sustituidas o asistidas por GPT-3 son:
Creación de contenidos: GPT-3 puede utilizarse para generar texto de alta calidad para diversas aplicaciones, como la redacción de artículos, la creación de publicaciones en redes sociales y la redacción de correos electrónicos.
Traducción de idiomas: GPT-3 puede utilizarse para traducir texto de un idioma a otro, lo que podría sustituir a los traductores humanos en algunos casos.
Introducción de datos: GPT-3 puede utilizarse para extraer automáticamente información de un texto, lo que podría sustituir a los trabajadores humanos en tareas de introducción de datos.
Atención al cliente: GPT-3 puede utilizarse para generar automáticamente respuestas a las consultas de los clientes, lo que podría sustituir a los representantes de atención al cliente en algunos casos.
Es importante señalar que GPT-3 es una herramienta y, aunque puede utilizarse para automatizar determinadas tareas, no sustituye a la inteligencia y la creatividad humanas. En muchos casos, se utilizará como asistente de los trabajadores humanos, ayudándoles a realizar determinadas tareas de forma más eficiente o precisa. Además, el uso de la GPT-3 y otros modelos de IA en un contexto profesional debe guiarse por principios y normas éticas.
En el video que hice sobre este tema en el 2020 les decía que una limitante de la inteligencia artificial es que no puede salir al mundo real por ejemplo para convertirse en reportero de lo que ocurre… pero que sí podía escribir textos que podrían parecer de estudiantes de bachillerato. Este es uno de los temas más discutidos… qué pasa con las tareas estudiantiles, qué pasa con la capacidad de los docentes para pedir una tarea que valga la pena, que realmente vaya a hacer un estudiante y cómo saber si lo hizo el estudiante o estamos calificando a un bot.
Hay un artículo reciente en The New York Times que justamente fue escrito basado en un pequeño experimento… tomaron tareas típicas de escritura de 4o grado de primaria y le pidieron al chat GPT que hiciera la actividad como si fuera un niño pequeño… después pusieron a 4 personas a intentar distinguir si el autor era un niño real o la inteligencia artificial: una profesora de ese grado, un tutor profesional de escritura, un profesor de Stanford y Judy Blume, una autora de libros infantiles. Todos tuvieron fallos al distinguir el verdadero autor.
He leído algunos profesores sugerir que ahora será tiempo de apoyarse más en la evaluación oral que la escrita para reducir el tema de que el texto lo escriba un bot… otros sugieren dejar de pedir tareas para la casa para así poder ver qué está haciendo el estudiante… otros más piensan que utilizar al chat como punto de partida va a ser el camino: que le de ejemplos al estudiante, que le dé al estudiante una base qué criticar, que revise las fuentes a ver si son reales o se las inventó el chat, que cuestione la calidad del documento, que lo mejore, que muestre qué aportación hizo él versus lo que el chat creó por sí mismo… ¿ustedes qué opinan?
En términos generales los bots pueden ser ùtiles como asistentes… es muy interesante esta tendencia en la tecnología. La llegada de nuevas tecnologías siempre han implicado cambios laborales… un tractor susittuye a muchos recolectores y no tiene sentido evitar el uso de tractores…
En el caso de la inteligencia artificial quizás que la dificultad para acceder a ciertas cosas va a bajar… que quienes no contamos con grandes recursos para hacer algunas cosas vamos a poder hacerlo a menor costo, por ejemplo producir imágenes y multimedia, esto nos puede permitir ser más creativos. Quizás aparecerán personas especializadas en ayudarte a lograr que una inteligencia artificial haga eso que tienes en mente.
Yo no sé escribir música, le he pedido al chat que genere unas cuantas letras y sus acordes… y he pedido entonces a varios humanos que traten de interpretar eso… ¿nos va a gustar? ¿será terrible el resultado? de entrada, el chat no hizo muchas rimas, pero ya veremos…
Referencias
ChatGPT: Optimizing Language Models for Dialogue. (2023, 6 enero). OpenAI. Recuperado 14 de enero de 2023, de https://openai.com/blog/chatgpt/
Lemoine, B. (2022, 6 julio). Is LaMDA Sentient? — an Interview – Blake Lemoine. Medium. https://cajundiscordian.medium.com/is-lamda-sentient-an-interview-ea64d916d917
Luscombe, R. (2022, 13 junio). Google engineer put on leave after saying AI chatbot has become sentient. the Guardian. https://www.theguardian.com/technology/2022/jun/12/google-engineer-ai-bot-sentient-blake-lemoine
Mayadeen, A. (2022, 10 diciembre). ChatGPT: La nueva inteligencia artificial racista de Internet. Red El Mayadeen. Recuperado 15 de enero de 2023, de https://espanol.almayadeen.net/news/technology/1655272/chatgpt:-la-nueva-inteligencia-artificial-racista-de-interne
Miller, C. C., Playford, A., Buchanan, L., & Krolik, A. (2022, 28 diciembre). Did a Fourth Grader Write This? Or the New Chatbot? The New York Times. https://www.nytimes.com/interactive/2022/12/26/upshot/chatgpt-child-essays.html
Verma, P. (2022, 16 julio). These robots were trained on AI. They became racist and sexist. The Washington Post. Recuperado 14 de enero de 2023, de https://www.washingtonpost.com/technology/2022/07/16/racist-robots-ai/
Un comentario sobre “ChatGPT: LIMITANTES y EMPLEOS/TAREAS que PUEDE ARRUINAR”