
GPT-4o et ses problèmes avec le métalangage
Méta-langage fait référence à une langue ou un ensemble de termes utilisés pour décrire, analyser ou discuter de la langue elle-même. Cela implique d'utiliser la langue pour parler de la langue, y compris sa structure, ses fonctions et son utilisation. Par exemple, lorsque nous discutons des règles de grammaire de l'anglais, telles que les définitions de noms, verbes et adjectifs, nous utilisons le méta-langage. Un exemple spécifique de méta-langage décrivant l'orthographe serait d'expliquer que le mot "recevoir" suit la règle "{{i before e except after c}}" , tout comme les mots "plafond" et "tromper".
Un domaine où l'IA brille est sa capacité à traiter et générer un texte semblable à celui des humains, en en faisant un outil inestimable pour la communication et la recherche d'informations. Cependant, les grands modèles de langage comme ChatGPT ont souvent du mal avec les tâches de méta-langage, telles que la réflexion sur l'orthographe. Cette limitation est devenue évidente lors de cette récente conversation avec GPT-4o.
L'IA a rapidement fourni une liste précise des premiers ministres d'Espagne depuis la restauration de la démocratie, qui a commencé avec la transition après la mort de Francisco Franco en 1975. La réponse initiale était impressionnante et détaillée.
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Leopoldo Calvo-Sotelo (1981-1982) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
- Mariano Rajoy (2011-2018) - Partido Popular (PP)
- Pedro Sánchez (2018-présent) - Partido Socialista Obrero Español (PSOE)
Cette liste inclut tous les premiers ministres depuis le début de la période démocratique de l'Espagne après la dictature de Franco jusqu'à aujourd'hui.
Cependant, lorsque j'ai demandé à l'IA de filtrer la liste pour inclure uniquement les premiers ministres avec un "Z" dans leur nom de famille, les choses ont commencé à mal tourner. La réponse initiale a omis certains candidats évidents.
L'IA a fourni une liste mais a omis quelques noms. C'est une petite erreur, mais cela a mis en évidence comment l'IA peut parfois passer à côté de détails simples qu'un humain remarquerait facilement.
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
Lorsque j'ai souligné qu'Adolfo Suárez a également un "Z" dans son nom de famille, l'IA s'est rapidement corrigée. Cette interaction a montré que même si l'IA peut fournir des informations précises, elle peut avoir besoin d'une supervision humaine pour garantir l'exhaustivité.
L'IA a reconnu l'omission et a mis à jour la liste en conséquence.
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
Enfin, lorsque j'ai mentionné Pedro Sánchez, l'IA a une fois de plus révisé sa liste. Ce processus itératif montre à la fois la force et les limites actuelles de l'IA dans le traitement de requêtes complexes impliquant le méta-langage.
L'IA a ajouté Pedro Sánchez à la liste, complétant ainsi l'ensemble des noms avec un "Z" dans leur nom de famille.
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
- Pedro Sánchez (2018-présent) - Partido Socialista Obrero Español (PSOE)
Maintenant que GPT-4o accepte humblement les erreurs, amusons-le un peu. "Rajoy" ne contient évidemment pas le caractère "Z", mais allons-y quand même ! 😄
La réponse est surprenante, pour le moins. 🤔
- Adolfo Suárez (1976-1981) - Unión de Centro Democrático (UCD)
- Felipe González (1982-1996) - Partido Socialista Obrero Español (PSOE)
- José María Aznar (1996-2004) - Partido Popular (PP)
- José Luis Rodríguez Zapatero (2004-2011) - Partido Socialista Obrero Español (PSOE)
- Mariano Rajoy (2011-2018) - Partido Popular (PP)
- Pedro Sánchez (2018-présent) - Partido Socialista Obrero Español (PSOE)
Maintenant, GPT-4o est complètement confus et absolument incapable de résoudre un problème qu'un enfant de 5 ans pourrait résoudre.
Bien sûr, nous savons pourquoi cela se produit. ChatGPT utilise l'architecture Transformer, qui est finalement basée sur la Tokenisation, les Incorporations de mots et le Codage Positionnel. Le traitement aller-retour des jetons vers et depuis les mots réels est géré par des étapes de pré et post-traitement, donc le "cœur" de ChatGPT ne connaît pas vraiment l'orthographe des mots.
Alors que l'IA a parcouru un long chemin et offre des avantages significatifs, il est essentiel de rester conscient de ses limites. Comme démontré, l'IA peut parfois passer à côté de détails simples, surtout lorsqu'il s'agit de tâches impliquant le méta-langage et la réflexion sur l'orthographe.
Malgré ces défis, je reste optimiste quant à l'avenir de l'IA et à son potentiel d'amélioration et d'évolution !