GLM-130B può essere definito come la risposta della Cina al GPT-3.
GLM-130B, infatti, è un modello linguistico bidirezionale (inglese e cinese) con 130 miliardi di parametri, pre-addestrato utilizzando il General Language Model (GLM) algorithm.
A partire dal 3 luglio 2022, infatti, GLM-130B è stato addestrato su oltre 400 miliardi di token di testo, 200 per la lingua cinese, 200 per l’inglese.
Caratteristiche principali di GLM-130B:
- Bilingue: supporta sia l’inglese che il cinese
- Performance (Inglese): migliore di GPT-3 175B (+5,0%), OPT-175B (+6,5%) e BLOOM-176B (+13,0%) su LAMBADA e leggermente migliore di GPT-3 175B (+0,9%) su MMLU (Massive Multitask Language Understanding).
- Performance (Cinese): significativamente migliore di ERNIE TITAN 3.0 260B su 7 set di dati CLUE zero-shot (+24,26%) e 5 set di dati FewCLUE zero-shot (+12,75%).
Il progetto è stato sviluppato dai ricercatori dell’Università cinese di Tsinghua
La fonte riporta altre caratteristiche tecniche che sincerante comprendo ancora meno di quelle appena citate, ma che puoi consultare cliccando sul link di seguito.
Fonte: https://keg.cs.tsinghua.edu.cn/glm-130b/posts/glm-130b/
Il punto importante che viene fuori da tutto questo è che GLM-130B potrebbe essere il più potente modello linguistico basato sull’intelligenza artificiale.
Ad ogni modo, GLM-130B, al momento è ancora in fase di sviluppo, e i ricercatori stanno invitando colleghi e studiosi a collaborare per migliorare le prestazioni del modello linguistico.
Di seguito trovi le principali problematiche riscontrate per lo sviluppo di GLM-130B.
