ChatGPT-4 e i dialetti italiani. Una valutazione della competenza linguistica

Abstract

Questo studio si pone come obiettivo la valutazione della competenza linguistica di ChatGPT-4 in relazione ai dialetti italiani. Per prima cosa, viene chiarito cosa si intende per ‘abilità linguistica’ nel contesto dei Large Language Models: ciò significa identificare concretamente le attività in cui ChatGPT potrebbe essere coinvolta in situazioni reali, dalle quali derivare conclusioni inferenziale sulle sue abilità linguistiche. Le competenze individuate, alla base dei test di valutazione elaborati, sono le seguenti: comprensione e traduzione, riconoscimento dei dialetti, analisi delle caratteristiche distintive, individuazione degli errori, produzione testuale, interazione, conoscenze teoriche e autovalutazione. I test sono stati elaborati cercando di riprodurre situazioni reali che richiedono l’impiego di queste abilità, simulando un’interazione autentica tra ChatGPT e utente. I risultati hanno rivelato un’eccellente capacità da parte di ChatGPT nella comprensione e nel riconoscimento dei dialetti italiani e delle loro varianti, così come un solido background teorico e una buona consapevolezza delle proprie conoscenze. D’altra parte, il modello presenta importanti lacune nell’analisi linguistica e difficoltà nella produzione di testi e nell’interazione conversazionale, suggerendo una maggiore attitudine per le capacità linguistiche passive rispetto a quelle attive.