Un promemoria di Google trapelato offre un riepilogo punto per punto del motivo per cui Google sta perdendo contro l'intelligenza artificiale open source e suggerisce un percorso per tornare al dominio e possedere la piattaforma.
Il promemoria si apre riconoscendo che il loro concorrente non è mai stato OpenAI e sarebbe sempre stato Open Source.
Non può competere con l'open source
Inoltre, ammettono di non essere in alcun modo posizionati per competere contro l'open source, riconoscendo di aver già perso la lotta per il dominio dell'IA.
Scrissero:
“Abbiamo esaminato molto le nostre spalle in OpenAI. Chi supererà il prossimo traguardo? Quale sarà la prossima mossa?
Ma la scomoda verità è che non siamo nella posizione per vincere questa corsa agli armamenti e nemmeno OpenAI. Mentre litigavamo, una terza fazione ha tranquillamente consumato il nostro pranzo.
Sto parlando, ovviamente, di open source.
In parole povere, ci stanno lambendo. Le cose che consideriamo “grandi problemi aperti” sono risolte e nelle mani delle persone oggi”.
La maggior parte del promemoria viene spesa per descrivere come Google viene superato dall'open source.
E anche se Google ha un leggero vantaggio sull'open source, l'autore del promemoria riconosce che sta scivolando via e non tornerà mai più.
L'autoanalisi delle carte metaforiche che hanno distribuito loro stessi è decisamente pessimistica:
“Sebbene i nostri modelli mantengano ancora un leggero vantaggio in termini di qualità, il divario si sta colmando in modo sorprendentemente rapido.
I modelli open source sono più veloci, più personalizzabili, più privati e più capaci.
Stanno facendo cose con parametri da $ 100 e 13 miliardi con cui lottiamo a $ 10 milioni e 540 miliardi.
E lo stanno facendo in settimane, non mesi.
La dimensione del modello linguistico di grandi dimensioni non è un vantaggio
Forse la realizzazione più agghiacciante espressa nel promemoria è che le dimensioni di Google non sono più un vantaggio.
Le dimensioni stravaganti dei loro modelli sono ora viste come svantaggi e non in alcun modo come il vantaggio insormontabile che pensavano fossero.
Il promemoria trapelato elenca una serie di eventi che segnalano che il controllo dell'IA da parte di Google (e OpenAI) potrebbe finire rapidamente.
Racconta che appena un mese fa, nel marzo 2023, la comunità open source ha ottenuto un modello di linguaggio di grandi dimensioni del modello open source trapelato sviluppato da Meta chiamato LLaMA.
In pochi giorni e settimane la comunità open source globale ha sviluppato tutte le parti di costruzione necessarie per creare cloni di Bard e ChatGPT.
Passaggi sofisticati come l'ottimizzazione delle istruzioni e l'apprendimento per rinforzo dal feedback umano (RLHF) sono stati rapidamente replicati dalla comunità open source globale, a buon mercato.
- Messa a punto delle istruzioni
Un processo di messa a punto di un modello linguistico per fargli fare qualcosa di specifico che inizialmente non era stato addestrato a fare. - Apprendimento di rinforzo dal feedback umano (RLHF)
Una tecnica in cui gli esseri umani valutano un output dei modelli linguistici in modo che apprenda quali output sono soddisfacenti per gli esseri umani.
RLHF è la tecnica utilizzata da OpenAI per creare InstructGPT, che è un modello alla base di ChatGPT e consente ai modelli GPT-3.5 e GPT-4 di ricevere istruzioni e completare attività.
RLHF è il fuoco da cui l'open source ha attinto
La portata dell'open source spaventa Google
Ciò che spaventa Google in particolare è il fatto che il movimento Open Source sia in grado di ridimensionare i propri progetti in un modo che il closed source non può.
Il set di dati di domande e risposte utilizzato per creare il clone di ChatGPT open source, Dolly 2.0, è stato interamente creato da migliaia di dipendenti volontari.
Google e OpenAI si sono basati in parte su domande e risposte tratte da siti come Reddit.
Si afferma che il set di dati di domande e risposte open source creato da Databricks sia di qualità superiore perché gli esseri umani che hanno contribuito a crearlo erano professionisti e le risposte che hanno fornito erano più lunghe e sostanziali di quelle che si trovano in un tipico set di dati di domande e risposte estratto da un foro pubblico.
Il promemoria trapelato osservava:
“All'inizio di marzo la comunità open source ha messo le mani sul suo primo modello di base davvero capace, quando LLaMA di Meta è trapelato al pubblico.
Non aveva istruzioni o sintonizzazione della conversazione e nessun RLHF.
Tuttavia, la comunità ha subito compreso il significato di quanto era stato donato.
Seguì un'enorme ondata di innovazione, con solo pochi giorni tra i principali sviluppi...
Eccoci qui, appena un mese dopo, e ci sono varianti con messa a punto delle istruzioni, quantizzazione, miglioramenti della qualità, valutazioni umane, multimodalità, RLHF, ecc. ecc., molte delle quali si basano l'una sull'altra.
Soprattutto, hanno risolto il problema del ridimensionamento nella misura in cui chiunque può armeggiare.
Molte delle nuove idee provengono da persone comuni.
La barriera all'ingresso per la formazione e la sperimentazione è scesa dalla produzione totale di un'importante organizzazione di ricerca a una persona, una serata e un robusto laptop.
In altre parole, ciò che ha richiesto mesi e anni a Google e OpenAI per addestrarsi e costruire ha richiesto solo pochi giorni per la comunità open source.
Questo deve essere uno scenario davvero spaventoso per Google.
È uno dei motivi per cui ho scritto così tanto sul movimento dell'IA open source in quanto sembra davvero dove sarà il futuro dell'IA generativa in un periodo di tempo relativamente breve.
L'open source ha storicamente superato il closed source
Il promemoria cita la recente esperienza con DALL-E di OpenAI, il modello di deep learning utilizzato per creare immagini rispetto all'open source Stable Diffusion come presagio di ciò che sta attualmente accadendo all'IA generativa come Bard e ChatGPT.
Dall-e è stato rilasciato da OpenAI nel gennaio 2021. Stable Diffusion, la versione open source, è stata rilasciata un anno e mezzo dopo nell'agosto 2022 e in poche settimane ha superato la popolarità di Dall-E.
Questo grafico temporale mostra la velocità con cui Stable Diffusion ha superato Dall-E:
La sequenza temporale di Google Trends sopra mostra come l'interesse per il modello di diffusione stabile open source abbia ampiamente superato quello di Dall-E nel giro di tre settimane dal suo rilascio.
E sebbene Dall-E fosse uscito da un anno e mezzo, l'interesse per Stable Diffusion continuava a crescere in modo esponenziale mentre Dall-E di OpenAI rimaneva stagnante.
La minaccia esistenziale di eventi simili che sorpassano Bard (e OpenAI) sta facendo venire gli incubi a Google.
Il processo di creazione del modello open source è superiore
Un altro fattore che allarma gli ingegneri di Google è che il processo di creazione e miglioramento dei modelli open source è rapido, poco costoso e si presta perfettamente a un approccio collaborativo globale comune ai progetti open source.
Il promemoria osserva che nuove tecniche come LoRA (Low-Rank Adaptation of Large Language Models), consentono la messa a punto dei modelli linguistici in pochi giorni con un costo estremamente basso, con l'LLM finale paragonabile agli LLM estremamente più costosi creato da Google e OpenAI.
Un altro vantaggio è che gli ingegneri open source possono basarsi sul lavoro precedente, iterare, invece di dover ricominciare da capo.
Costruire modelli linguistici di grandi dimensioni con miliardi di parametri nel modo in cui hanno fatto OpenAI e Google non è necessario oggi.
Questo potrebbe essere il punto a cui Sam Alton ha accennato di recente quando ha recentemente affermato che l'era dei grandi modelli linguistici di grandi dimensioni è finita.
L'autore del memo di Google ha messo a confronto l'approccio LoRA economico e veloce alla creazione di LLM con l'attuale approccio di grande intelligenza artificiale.
L'autore del promemoria riflette sulla mancanza di Google:
“Al contrario, l'addestramento di modelli giganti da zero non solo elimina il preaddestramento, ma anche eventuali miglioramenti iterativi che sono stati apportati. Nel mondo open source, non ci vuole molto prima che questi miglioramenti prevalgano, rendendo estremamente costosa una riqualificazione completa.
Dovremmo riflettere attentamente sul fatto che ogni nuova applicazione o idea abbia davvero bisogno di un modello completamente nuovo.
…In effetti, in termini di ore di ingegnere, il ritmo di miglioramento di questi modelli supera di gran lunga quello che possiamo fare con le nostre varianti più grandi, e le migliori sono già in gran parte indistinguibili da ChatGPT.”
L'autore conclude con la consapevolezza che quello che pensavano fosse il loro vantaggio, i loro modelli giganti e il concomitante costo proibitivo, era in realtà uno svantaggio.
La natura collaborativa globale dell'Open Source è più efficiente e gli ordini di grandezza più rapidi nell'innovazione.
Come può un sistema closed-source competere con la schiacciante moltitudine di ingegneri in tutto il mondo?
L'autore conclude che non possono competere e che la concorrenza diretta è, nelle loro parole, una "proposta perdente".
Questa è la crisi, la tempesta, che si sta sviluppando al di fuori di Google.
Se non riesci a battere l'open source, unisciti a loro
L'unica consolazione che l'autore del promemoria trova nell'open source è che, poiché le innovazioni open source sono gratuite, anche Google può trarne vantaggio.
Infine, l'autore conclude che l'unico approccio aperto a Google è possedere la piattaforma nello stesso modo in cui dominano le piattaforme open source Chrome e Android.
Sottolineano come Meta tragga vantaggio dal rilascio del loro modello di linguaggio di grandi dimensioni LLaMA per la ricerca e come ora hanno migliaia di persone che svolgono il loro lavoro gratuitamente.
Forse la grande conclusione del promemoria è che Google potrebbe nel prossimo futuro tentare di replicare il proprio dominio open source rilasciando i propri progetti su base open source e quindi possedere la piattaforma.
Il promemoria conclude che l'open source è l'opzione più praticabile:
“Google dovrebbe affermarsi come leader nella comunità open source, assumendo la guida cooperando con, piuttosto che ignorando, la conversazione più ampia.
Questo probabilmente significa intraprendere alcuni passaggi scomodi, come pubblicare i pesi del modello per piccole varianti ULM. Ciò significa necessariamente rinunciare a un certo controllo sui nostri modelli.
Ma questo compromesso è inevitabile.
Non possiamo sperare di guidare l'innovazione e controllarla".
L'open source se ne va con l'IA Fire
La scorsa settimana ho fatto un'allusione al mito greco dell'eroe umano Prometeo che ruba il fuoco agli dei sul Monte Olimpo, mettendo l'open source di Prometeo contro gli "dei dell'Olimpo" di Google e OpenAI:
Ho twittato:
"Mentre Google, Microsoft e Open AI litigano tra loro e voltano le spalle, l'Open Source se ne va con il fuoco?"
La fuga della nota di Google conferma questa osservazione, ma indica anche un possibile cambio di strategia di Google per unirsi al movimento open source e quindi cooptarlo e dominarlo nello stesso modo in cui hanno fatto con Chrome e Android.
Leggi il promemoria di Google trapelato qui:
Google "Non abbiamo fossato, e nemmeno OpenAI"
