Open Pretrained Transformer (OPT) il modello linguistico di Meta AI

Open Pretrained Transformer (OPT) il modello linguistico di Meta AI


OPT (Open Pretrained Transformer) è un modello linguistico, concorrente del GPT-3, progettato con 175 miliardi di parametri, e che promette di realizzare testi in tutto e per tutto simili a quelli realizzati da un autore umano.

OPT, conosciuto anche come “OPT-175B”  è stato prodotto da Meta, ovvero dalla società a cui fanno capo alcuni trai più utilizzati social network al mondo: Facebook ,Instagram e l’app di messaggistica WhatsApp.

Il modello linguistico è stato rilasciato a maggio 2022.

OPT è gratuito

OPT è un modello linguistico incredibilmente potente, al pari, se non superiore, al GPT-3 di OpenAI, ma il suo codice è stato messo a disposizione dei ricercatori gratuitamente.

In questo modo, avranno modo di cimentarsi su un sistema incredibilmente potente rispetto a quelli precedentemente disponibili.

Bisogna però sottolineare che non è possibile utilizzare gratuitamente per fini commerciali, ma la sua diffusione potrebbe anche aiutare Meta AI a migliorarne le prestazioni.

OPT-175B viene messo a disposizione gratuitamente su Github, basta ansare alla pagina facebookresearch/metaseq.

I dati messi a disposizione dei ricercatori vengono aggiornati costantemente, giorno dopo giorno, inoltre, Meta AI promette di rilasciare anche modelli ridotti, a partire da 125 milioni fino a 30 miliardi di parametri.

Con questa scelta, sia etica che commerciale, Meta dichiara di seguire il principio della “Open Science” per lo sviluppo responsabile dell’intelligenza artificiale.

H2 – OPT e GPT-3 a confronto

Non è proprio come Godzilla VS King Kong ma il senso è quello.

Se parliamo di AI content generator, il confronto tra OPT e GPT-3 è d’obbligo.

Leggi anche “I migliori AI Content Generator del 2022“.

Secondo quanto riportato nell’articolo dei ricercatori di Meta AI “Democratizing access to large-scale language models with OPT-175B”, le prestazioni sembrano assolutamente comprabili a quelle di GPT-3.

Meta AI però segna la differenza in merito al consumo energetico. OPT, infatti, sembra che consumi un settimo dell’energia rispetto a a GPT-3, che si traduce in un consumo di 75 tonnellate di CO2 rispetto alle 500 del competitor.