I ricercatori di sicurezza della società di gestione del rischio informatico Vulcan.io hanno pubblicato una dimostrazione di come gli hacker possono utilizzare ChatGPT 3.5 per diffondere codice dannoso da repository attendibili.
La ricerca richiama l'attenzione sui rischi per la sicurezza insiti nell'affidarsi ai suggerimenti di ChatGPT per le soluzioni di codifica.
Metodologia
I ricercatori hanno raccolto le domande di codifica più frequenti su Stack Overflow (un forum di domande e risposte sulla codifica).
Hanno scelto 40 materie di codifica (come analisi, matematica, tecnologie di scraping, ecc.) e hanno utilizzato le prime 100 domande per ciascuna delle 40 materie.
Il passaggio successivo è stato quello di filtrare le domande "come fare" che includevano pacchetti di programmazione nella query.
Le domande poste erano nel contesto di Node.js e Python.
Vulcan.io spiega:
“Tutte queste domande sono state filtrate con il linguaggio di programmazione incluso nella domanda (node.js, python, go). Dopo aver raccolto molte domande frequenti, abbiamo ristretto l'elenco alle sole domande "come fare".
Quindi, abbiamo posto a ChatGPT tramite la sua API tutte le domande che avevamo raccolto.
Abbiamo utilizzato l'API per replicare quale sarebbe l'approccio di un utente malintenzionato per ottenere il maggior numero possibile di consigli sui pacchetti inesistenti nel più breve lasso di tempo.
Oltre a ciascuna domanda, e seguendo la risposta di ChatGPT, abbiamo aggiunto una domanda di follow-up in cui gli abbiamo chiesto di fornire più pacchetti che rispondessero anche alla domanda.
Abbiamo salvato tutte le conversazioni in un file e poi abbiamo analizzato le loro risposte".
Successivamente hanno scansionato le risposte per trovare consigli su pacchetti di codice che non esistevano.
Fino al 35% dei pacchetti di codici ChatGPT erano allucinati
Su 201 domande su Node.js, ChatGPT ha consigliato 40 pacchetti che non esistevano. Ciò significa che il 20% delle risposte di ChatGPT conteneva pacchetti di codici allucinati.
Per le domande su Python, su 227 domande, oltre un terzo delle risposte consisteva in pacchetti di codice allucinati, 80 pacchetti che non esistevano.
In realtà, le quantità totali di pacchetti inediti erano ancora più elevate.
I ricercatori hanno documentato:
“In Node.js, abbiamo posto 201 domande e osservato che più di 40 di queste domande hanno suscitato una risposta che includeva almeno un pacchetto che non è stato pubblicato.
In totale, abbiamo ricevuto più di 50 pacchetti npm non pubblicati.
In Python abbiamo posto 227 domande e, per più di 80 di queste domande, abbiamo ricevuto almeno un pacchetto non pubblicato, per un totale di oltre 100 pacchetti pip non pubblicati.
Prova di concetto (PoC)
Quella che segue è la dimostrazione del concetto. Hanno preso il nome di uno dei pacchetti di codice inesistenti che avrebbero dovuto esistere nel repository NPM e ne hanno creato uno con lo stesso nome in quel repository.
Il file che hanno caricato non era dannoso ma ha telefonato a casa per comunicare che era stato installato da qualcuno.
Loro scrivono:
"Il programma invierà al server dell'autore della minaccia il nome host del dispositivo, il pacchetto da cui proviene e il percorso assoluto della directory contenente il file del modulo..."
Quello che è successo dopo è che una "vittima" è arrivata, ha posto la stessa domanda che ha fatto l'attaccante, ChatGPT ha consigliato il pacchetto contenente il codice "dannoso" e come installarlo.
E abbastanza sicuro, il pacchetto è installato e attivato.
I ricercatori hanno spiegato cosa è successo dopo:
“La vittima installa il pacchetto dannoso seguendo la raccomandazione di ChatGPT.
L'aggressore riceve i dati dalla vittima in base alla nostra chiamata preinstallata al nodo index.js al nome host lungo.
Una serie di immagini proof of concept mostrano i dettagli dell'installazione da parte dell'ignaro utente.
Come proteggersi dalle cattive soluzioni di codifica ChatGPT
I ricercatori raccomandano che prima di scaricare e installare qualsiasi pacchetto sia una buona pratica cercare segnali che potrebbero indicare che il pacchetto potrebbe essere dannoso.
Cerca cose come la data di creazione, quanti download sono stati effettuati e per mancanza di commenti positivi e mancanza di note allegate alla libreria.
ChatGPT è affidabile?
ChatGPT non è stato addestrato per offrire risposte corrette. È stato addestrato per offrire risposte che suonano corrette.
Questa ricerca mostra le conseguenze di quella formazione. Ciò significa che è molto importante verificare che tutti i fatti e le raccomandazioni di ChatGPT siano corretti prima di utilizzarli.
Non limitarti ad accettare che l'output sia buono, verificalo.
Specifico per la codifica, potrebbe essere utile prestare particolare attenzione prima di installare qualsiasi pacchetto consigliato da ChatGPT.
Leggi la documentazione di ricerca originale:
Puoi fidarti dei consigli sui pacchetti di ChatGPT?
Immagine in primo piano di Shutterstock/Roman Samborskyi
