
GPT-4o y sus problemas con el metalenguaje
Meta-lenguaje se refiere a un lenguaje o conjunto de términos utilizados para describir, analizar o discutir el propio lenguaje. Implica usar el lenguaje para hablar sobre el lenguaje, incluyendo su estructura, funciones y uso. Por ejemplo, cuando discutimos las reglas de gramática del inglés, como las definiciones de sustantivos, verbos y adjetivos, estamos usando meta-lenguaje. Un ejemplo específico de meta-lenguaje que describe la ortografía sería explicar que la palabra "recibir" sigue la regla de "[tag]"i before e except after c"[tag]", al igual que palabras como "techo" y "engañar".
Un área donde la IA brilla es en su capacidad para procesar y generar texto similar al humano, convirtiéndola en una herramienta invaluable para la comunicación y la recuperación de información. Sin embargo, modelos de lenguaje grandes como ChatGPT, a menudo tienen dificultades con tareas de meta-lenguaje, como razonar sobre la ortografía. Esta limitación se hizo evidente durante esta conversación reciente con GPT-4o.
La IA proporcionó rápidamente una lista precisa de los primeros ministros de España desde la restauración de la democracia, que comenzó con la transición después de la muerte de Francisco Franco en 1975. La respuesta inicial fue impresionante y detallada.
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Leopoldo Calvo-Sotelo (1981-1982) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
- Mariano Rajoy (2011-2018) - Partido Popular (PP)
- Pedro Sánchez (2018-presente) - Partido Socialista Obrero Español (PSOE)
Esta lista incluye todos los primeros ministros desde el inicio del período democrático de España después de la dictadura de Franco hasta el presente.
Sin embargo, cuando le pedí a la IA que filtrara la lista para incluir solo aquellos primeros ministros con una "Z" en su apellido, las cosas comenzaron a ir mal. La respuesta inicial omitió algunos candidatos obvios.
La IA proporcionó una lista pero omitió algunos nombres. Es un pequeño error, pero destacó cómo a veces la IA puede pasar por alto detalles que un humano capturaría fácilmente.
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
Cuando señalé que Adolfo Suárez también tiene una "Z" en su apellido, la IA se corrigió rápidamente. Esta interacción demostró que si bien la IA puede proporcionar información precisa, a veces puede necesitar supervisión humana para garantizar la completitud.
La IA reconoció la omisión y actualizó la lista en consecuencia.
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
Finalmente, cuando mencioné a Pedro Sánchez, la IA volvió a revisar su lista. Este proceso iterativo muestra tanto la fortaleza como las limitaciones actuales de la IA para manejar consultas complejas que involucran meta-lenguaje.
La IA agregó a Pedro Sánchez a la lista, completando el conjunto de nombres con una "Z" en su apellido.
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
- Pedro Sánchez (2018-presente) - Partido Socialista Obrero Español (PSOE)
Ahora que GPT-4o está aceptando humildemente errores, divirtámonos un poco. "Rajoy" obviamente no contiene el carácter "Z", ¡pero aún así, divirtámonos un poco! 😄
La respuesta es sorprendente, por decir lo menos. 🤔
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
- Mariano Rajoy (2011-2018) - Partido Popular (PP)
- Pedro Sánchez (2018-presente) - Partido Socialista Obrero Español (PSOE)
Ahora tenemos a GPT-4o completamente confundido y absolutamente incapaz de resolver un problema que cualquier niño de 5 años podría resolver.
Por supuesto, sabemos por qué está sucediendo esto. ChatGPT utiliza la arquitectura Transformer, que se basa en última instancia en la Tokenización, Incrustaciones de palabras y Codificación posicional. El procesamiento de ida y vuelta desde tokens hacia y desde palabras reales es manejado por pasos de pre y post-procesamiento, por lo que el "núcleo" de ChatGPT realmente no conoce la ortografía de las palabras.
Aunque la IA ha avanzado mucho y ofrece beneficios significativos, es esencial ser consciente de sus limitaciones. Como se demostró, a veces la IA puede pasar por alto detalles simples, especialmente cuando se trata de tareas que involucran meta-lenguaje y razonamiento sobre la ortografía.
A pesar de estos desafíos, ¡sigo siendo optimista sobre el futuro de la IA y su potencial para mejorar y evolucionar!