LOGIN
Realizzata nel 2022 da OpenAI, l’azienda per l’intelligenza artificiale di Elon Musk, ChatGPT o Generative Pretrained Transformer è un potente modello conversazionale, che utilizza algoritmi di apprendimento automatico per intrattenere conversazioni complesse e scrivere testi utilizzando il linguaggio naturale. Tuttavia, ChatGPT non è open source, il che ne ha limitato l'accessibilità. Ma ora è arrivata una nuova alternativa: PaLM + RLHF
Philip Wang, sviluppatore di sistemi di IA tra cui Make-A-Video di Meta (che genera video da input testuali), ha rilasciato PaLM + RLHF, uno strumento di elaborazione del linguaggio naturale che si comporta in modo simile a ChatGPT.
Il sistema combina PaLM, un modello linguistico di Google, e una tecnica chiamata Reinforcement Learning with Human Feedback (RLHF) per creare un sistema in grado di svolgere qualsiasi attività di ChatGPT, inclusa la composizione di e-mail e il suggerimento di codice per computer.
Come funziona l’alternativa open source a ChatGPT
Come ChatGPT, PaLM + RLHF è uno strumento statistico di previsione delle parole. Se alimentato con un elevato numero di dati di addestramento (post da Reddit, articoli di notizie ed e-book), apprende la probabilità che le parole si presentino in base a schemi come il contesto semantico.
Inoltre, condividono l’apprendimento tramite rinforzo umano che mira ad allineare i modelli linguistici con ciò che gli utenti desiderano.
In pratica, l’addestramento del modello linguistico (in questo caso il Pathways Language Model) avviene rispetto a un set di dati che include suggerimenti (“Spiega l’apprendimento automatico a un bambino di sei anni”), insieme a ciò che i volontari umani si aspettano dal modello (“L’apprendimento automatico è una forma di intelligenza artificiale…”).
I volontari classificano le risposte che vengono utilizzate per addestrare un “modello di ricompensa” che filtra le risposte migliori a un determinato prompt.
Le difficoltà dietro l’addestramento
Sebbene PaLM + RLHF possa svolgere molte delle attività di ChatGPT, non è pre-addestrato e quindi richiede risorse significative per essere addestrato ed eseguito. Ciò include la compilazione di gigabyte di testo da cui il modello può apprendere e la ricerca di hardware sufficientemente potente per gestire il carico di lavoro di addestramento.
PaLM + RLHF non sostituirà ChatGPT, a meno che un’azienda (o persona) ben finanziata si prenda la briga di addestrarlo e renderlo disponibile al pubblico. In effetti, PaLM + RLHF è così grande (540 miliardi di parametri) che richiede un PC dedicato con tantissime GPU Nvidia A100 per funzionare e un singolo A100 costa migliaia di dollari.
Anche le alternative cloud sono costose, con il costo di esecuzione del GPT-3 di generazione di testo di OpenAI (che ha circa 175 miliardi di parametri) su una singola istanza di Amazon Web Services stimato a 87 mila dollari all’anno.
Altre possibili alternative
Nel frattempo, emergono altri tentativi per replicare ChatGPT, incluso quello guidato dal gruppo di ricerca CarperAI che, con l’organizzazione EleutherAI e le startup Scale AI e Hugging Face, prevede di rilasciare il primo modello di IA simile a ChatGPT pronto per l’uso addestrato con feedback umano.
LAION, l’organizzazione no profit che ha fornito il set di dati per addestrare Stable Diffusion, sta conducendo un progetto per replicare ChatGPT con le più recenti tecniche di machine learning. L’obiettivo è costruire un “assistente del futuro” che non solo scrive e-mail e lettere, ma “fa un lavoro significativo, utilizza API, ricerca dinamicamente informazioni e molto altro”.
