Open Source GPT Chat ha fatto un altro passo avanti con il rilascio del Dolly Large Language Model (DLL) creato dalla società di software aziendale Databricks.
Il nuovo clone di ChatGPT si chiama Dolly, dal nome della famosa pecora con quel nome, il primo mammifero ad essere clonato.
Modelli di linguaggi di grandi dimensioni open source
Il Dolly LLM è l'ultima manifestazione del crescente movimento di intelligenza artificiale open source che cerca di offrire un maggiore accesso alla tecnologia in modo che non sia monopolizzata e controllata da grandi aziende.
Una delle preoccupazioni che guidano il movimento dell'IA open source è che le aziende potrebbero essere riluttanti a consegnare dati sensibili a una terza parte che controlla la tecnologia AI.
Basato sull'Open Source
Dolly è stato creato da un modello open source creato dall'istituto di ricerca senza scopo di lucro EleutherAI e dal modello Alpaca della Stanford University, a sua volta creato dal modello LLaMA open source da 65 miliardi di parametri creato da Meta.
LLaMA, che sta per Large Language Model Meta AI, è un modello linguistico addestrato su dati pubblicamente disponibili.
Secondo un articolo di Weights & Biases, LLaMA può superare molti dei migliori modelli linguistici (OpenAI GPT-3, Gopher di Deep Mind e Chinchilla di DeepMind) nonostante sia più piccolo.
Creazione di un set di dati migliore
Un'altra ispirazione è venuta da un documento di ricerca accademica (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF) che ha delineato un modo per creare una domanda generata automaticamente di alta qualità e dati di formazione di risposta che sono migliori dei dati pubblici limitati.
Il documento di ricerca Self-Instruct spiega:
"... curiamo una serie di istruzioni scritte da esperti per nuove attività e mostriamo attraverso la valutazione umana che l'ottimizzazione di GPT3 con SELF-INSTRUCT supera di gran lunga l'utilizzo di set di dati di istruzione pubblica esistenti, lasciando solo un divario assoluto del 5% rispetto a InstructGPT...
…Applicando il nostro metodo a vanilla GPT3, dimostriamo un miglioramento assoluto del 33% rispetto al modello originale su SUPERNATURALINSTRUCTIONS, alla pari con le prestazioni di InstructGPT… che viene addestrato con dati utente privati e annotazioni umane.”
L'importanza di Dolly è che dimostra che è possibile creare un utile modello di linguaggio di grandi dimensioni con un set di dati più piccolo ma di alta qualità.
Databricks osserva:
“Dolly funziona prendendo un modello esistente di 6 miliardi di parametri open source da EleutherAI e modificandolo leggermente per ottenere istruzioni che seguono capacità come il brainstorming e la generazione di testo non presenti nel modello originale, utilizzando i dati di Alpaca.
… Dimostriamo che chiunque può prendere un modello di linguaggio di grandi dimensioni (LLM) open source datato e dargli istruzioni magiche simili a ChatGPT seguendo l'abilità addestrandolo in 30 minuti su una macchina, utilizzando dati di addestramento di alta qualità.
Sorprendentemente, seguire le istruzioni non sembra richiedere i modelli più recenti o più grandi: il nostro modello ha solo 6 miliardi di parametri, rispetto ai 175 miliardi per GPT-3.
Databricks IA open source
Si dice che Dolly democratizzi l'IA. Fa parte di un movimento di vestizione a cui si è recentemente unita l'organizzazione senza scopo di lucro Mozilla con la fondazione di Mozilla.ai. Mozilla è l'editore del browser Firefox e di altri software open source.
Leggi l'annuncio completo di Databricks:
Hello Dolly: democratizzare la magia di ChatGPT con modelli aperti
