L'intelligenza artificiale generativa sta diventando la base di più contenuti, lasciando molti dubbi sull'affidabilità del loro rilevatore di intelligenza artificiale.
In risposta, sono stati condotti diversi studi sull'efficacia degli strumenti di rilevamento dell'IA per distinguere tra contenuto umano e contenuto generato dall'IA.
Analizzeremo questi studi per aiutarti a saperne di più su come funzionano i rilevatori di intelligenza artificiale, mostrarti un esempio di rilevatori di intelligenza artificiale in azione e aiutarti a decidere se puoi fidarti degli strumenti o degli studi.
I rilevatori di intelligenza artificiale sono prevenuti?
I ricercatori hanno scoperto che i rilevatori di contenuti AI - quelli destinati a rilevare i contenuti generati da GPT - potrebbero avere un pregiudizio significativo nei confronti degli scrittori inglesi non madrelingua.
Lo studio ha rilevato che questi rilevatori, progettati per distinguere tra intelligenza artificiale e contenuto generato dall'uomo, classificano costantemente erroneamente campioni di scrittura in inglese non nativo come generati dall'intelligenza artificiale, identificando con precisione campioni di scrittura in inglese nativo.
Utilizzando campioni di scrittura di scrittori inglesi nativi e non, i ricercatori hanno scoperto che i rilevatori classificavano erroneamente oltre la metà di questi ultimi campioni come generati dall'intelligenza artificiale.
È interessante notare che lo studio ha anche rivelato che semplici strategie di suggerimento, come "Elevare il testo fornito utilizzando un linguaggio letterario", potrebbero mitigare questo pregiudizio e aggirare efficacemente i rilevatori GPT.
Screenshot da Arxiv.org, luglio 2023
I risultati suggeriscono che i rilevatori GPT potrebbero involontariamente penalizzare gli scrittori con espressioni linguistiche limitate, sottolineando la necessità di una maggiore attenzione all'equità e alla robustezza all'interno di questi strumenti.
Ciò potrebbe avere implicazioni significative, in particolare in contesti valutativi o educativi, in cui i non madrelingua inglese possono essere inavvertitamente penalizzati o esclusi dal discorso globale. Altrimenti porterebbe a "conseguenze ingiuste e al rischio di esacerbare i pregiudizi esistenti".
I ricercatori sottolineano inoltre la necessità di ulteriori ricerche per affrontare questi pregiudizi e perfezionare gli attuali metodi di rilevamento per garantire un panorama digitale più equo e sicuro per tutti gli utenti.
Puoi battere un rilevatore di intelligenza artificiale?
In uno studio separato sul testo generato dall'intelligenza artificiale, i ricercatori documentano l'ottimizzazione degli esempi in contesto basata sulla sostituzione (SICO), consentendo ai modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT di eludere il rilevamento da parte dei rilevatori di testo generati dall'intelligenza artificiale.
Lo studio ha utilizzato tre attività per simulare scenari di utilizzo della vita reale di LLM in cui il rilevamento del testo generato dall'intelligenza artificiale è fondamentale, inclusi saggi accademici, domande e risposte aperte e revisioni aziendali.
Ha comportato anche il test di SICO rispetto a sei rilevatori rappresentativi, inclusi modelli basati sulla formazione, metodi statistici e API, che hanno costantemente superato altri metodi in tutti i rilevatori e set di dati.
I ricercatori hanno scoperto che SICO era efficace in tutti gli scenari di utilizzo testati. In molti casi, il testo generato da SICO era spesso indistinguibile dal testo scritto dall'uomo.
Tuttavia, hanno anche evidenziato il potenziale uso improprio di questa tecnologia. Poiché SICO può aiutare il testo generato dall'intelligenza artificiale a eludere il rilevamento, gli attori diffamati potrebbero anche usarlo per creare informazioni fuorvianti o false che sembrano scritte dall'uomo.
Entrambi gli studi indicano la velocità con cui lo sviluppo dell'IA generativa supera quello dei rilevatori di testo AI, mentre il secondo sottolinea la necessità di una tecnologia di rilevamento più sofisticata.
Quei ricercatori suggeriscono che l'integrazione di SICO durante la fase di addestramento dei rilevatori di intelligenza artificiale potrebbe migliorare la loro robustezza e che il concetto centrale di SICO potrebbe essere applicato a varie attività di generazione di testo, aprendo nuove strade per la ricerca futura nella generazione di testo e nell'apprendimento contestuale.
I rilevatori di intelligenza artificiale si inclinano verso la classificazione umana?
I ricercatori di un terzo studio hanno compilato studi precedenti sull'affidabilità dei rilevatori di intelligenza artificiale, seguiti dai loro dati, pubblicando diversi risultati su questi strumenti.
- Aydin & Karaarslan (2022) hanno rivelato che iThenticate, un popolare strumento di rilevamento del plagio, ha riscontrato alti tassi di corrispondenza con il testo parafrasato di ChatGPT.
- Wang et al. (2023) hanno scoperto che è più difficile rilevare il codice generato dall'intelligenza artificiale rispetto al contenuto in linguaggio naturale. Inoltre, alcuni strumenti hanno mostrato pregiudizi, tendendo a identificare il testo come generato dall'intelligenza artificiale o scritto dall'uomo.
- Pegoraro et al. (2023) hanno rilevato che il rilevamento del testo generato da ChatGPT è molto impegnativo, con lo strumento più efficiente che raggiunge una percentuale di successo inferiore al 50%.
- Van Oijen (2023) ha rivelato che l'accuratezza complessiva degli strumenti nel rilevare il testo generato dall'intelligenza artificiale era solo del 28% circa, con lo strumento migliore che raggiungeva solo il 50% di precisione. Al contrario, questi strumenti erano più efficaci (circa l'83% di precisione) nel rilevare i contenuti scritti dall'uomo.
- Anderson et al. (2023) hanno osservato che la parafrasi ha ridotto notevolmente l'efficacia del rilevatore di output GPT-2.
Utilizzando 14 strumenti di rilevamento del testo generati dall'intelligenza artificiale, i ricercatori hanno creato diverse dozzine di casi di test in diverse categorie, tra cui:
- Testo scritto dall'uomo.
- Testo tradotto.
- Testo generato dall'intelligenza artificiale.
- Testo generato dall'intelligenza artificiale con modifiche umane.
- Testo generato dall'IA con parafrasi AI.
Questi test sono stati valutati utilizzando quanto segue:
Screenshot da Arxiv.org, luglio 2023
Turnitin è emerso come lo strumento più accurato in tutti gli approcci, seguito da Compilatio e GPT-2 Output Detector.
Tuttavia, la maggior parte degli strumenti testati ha mostrato pregiudizi verso la classificazione accurata del testo scritto dall'uomo, rispetto al testo generato o modificato dall'intelligenza artificiale.
Sebbene tale risultato sia auspicabile in contesti accademici, lo studio e altri hanno evidenziato il rischio di false accuse e casi non rilevati. I falsi positivi sono stati minimi nella maggior parte degli strumenti, ad eccezione di GPT Zero, che ha mostrato un tasso elevato.
I casi non rilevati erano motivo di preoccupazione, in particolare per i testi generati dall'intelligenza artificiale sottoposti a modifica umana o parafrasi meccanica. La maggior parte degli strumenti ha faticato a rilevare tali contenuti, rappresentando una potenziale minaccia per l'integrità accademica e l'equità tra gli studenti.
La valutazione ha anche rivelato difficoltà tecniche con gli strumenti.
Alcuni hanno riscontrato errori del server o avevano limitazioni nell'accettare determinati tipi di input, come il codice del computer. Altri hanno riscontrato problemi di calcolo e la gestione dei risultati in alcuni strumenti si è rivelata impegnativa.
I ricercatori hanno suggerito che affrontare queste limitazioni sarà fondamentale per implementare efficacemente gli strumenti di rilevamento del testo generati dall'intelligenza artificiale in contesti educativi, garantendo un rilevamento accurato della cattiva condotta riducendo al minimo le false accuse e i casi non rilevati.
Quanto sono accurati questi studi?
Dovresti fidarti degli strumenti di rilevamento dell'IA basati sui risultati di questi studi?
La domanda più importante potrebbe essere se dovresti fidarti di questi studi sugli strumenti di rilevamento dell'IA.
Ho inviato il terzo studio di cui sopra a Jonathan Gillham, fondatore di Originality.ai. Aveva alcuni commenti molto dettagliati e perspicaci.
Per cominciare, Originality.ai non era pensato per il settore dell'istruzione. Anche altri rilevatori di intelligenza artificiale testati potrebbero non essere stati creati per quell'ambiente.
Il requisito per l'uso all'interno del mondo accademico è che produca una risposta esecutiva. Questo è parte del motivo per cui comunichiamo esplicitamente (nella parte superiore della nostra home page) che il nostro strumento è per il marketing digitale e NON per il mondo accademico.
La capacità di valutare più articoli inviati dallo stesso autore (non uno studente) e formulare un giudizio informato è un caso d'uso di gran lunga migliore rispetto a prendere decisioni consequenziali su un singolo documento presentato da uno studente.
La definizione di contenuto generato dall'intelligenza artificiale può variare tra ciò che indica lo studio e ciò che identifica ogni strumento di rilevamento dell'IA. Gillham ha incluso quanto segue come riferimento a vari significati di AI e contenuto generato dall'uomo.
- Generato dall'AI e non modificato = Testo generato dall'AI.
- Generato dall'intelligenza artificiale e modificato dall'uomo = testo generato dall'intelligenza artificiale.
- Contorno AI, Scritto dall'uomo e pesantemente modificato dall'IA = testo generato dall'IA.
- Ricerca AI e Scritto dall'uomo = Generato dall'uomo originale.
- Umano scritto e modificato con grammaticale = originale generato dall'uomo.
- Scritto dall'uomo e modificato dall'uomo = Generato dall'uomo originale.
Alcune categorie nello studio hanno testato il testo tradotto dall'intelligenza artificiale, aspettandosi che fosse classificato come umano. Ad esempio, a pagina 10 dello studio, si afferma:
Per la seconda categoria (denominata 02-MT), sono stati scritti circa 10.000 caratteri (spazi inclusi) in bosniaco, ceco, tedesco, lettone, slovacco, spagnolo e svedese. Nessuno di questi testi potrebbe essere stato esposto a Internet prima, come per 01-Hum. A seconda della lingua, è stato utilizzato lo strumento di traduzione AI DeepL (3 casi) o Google Translate (6 casi) per produrre i documenti di prova in inglese.
Durante il periodo di sperimentazione di due mesi, alcuni strumenti avrebbero fatto enormi progressi. Gillham ha incluso una rappresentazione grafica dei miglioramenti entro due mesi dagli aggiornamenti della versione.
Screenshot da Originality.ai, luglio 2023
Ulteriori problemi con l'analisi dello studio identificati da Gillham includevano una piccola dimensione del campione (54), risposte classificate in modo errato e l'inclusione di solo due strumenti a pagamento.
I dati e i materiali di prova avrebbero dovuto essere disponibili sull'URL incluso alla fine dello studio. Una richiesta di dati fatta nell'arco di due settimane rimane senza risposta.
Cosa hanno da dire gli esperti di intelligenza artificiale sugli strumenti di rilevamento dell'IA
Ho interrogato la comunità HARO per scoprire cosa avevano da dire gli altri sulla loro esperienza con i rilevatori di intelligenza artificiale, portando a un mio studio involontario.
Ad un certo punto, ho ricevuto cinque risposte in due minuti che erano risposte duplicate da diverse fonti, il che sembrava sospetto.
Ho deciso di utilizzare Originality.ai su tutte le risposte HARO che ho ricevuto per questa domanda. Sulla base della mia esperienza personale e di test non scientifici, questo particolare strumento sembrava difficile da battere.
Screenshot da Originality.ai, luglio 2023
Originality.ai ha rilevato, con una sicurezza del 100%, che la maggior parte di queste risposte sono state generate dall'intelligenza artificiale.
Le uniche risposte HARO che sono tornate come generate principalmente dall'uomo sono state introduzioni da una a due frasi a potenziali fonti che potrei essere interessato a intervistare.
Questi risultati non sono stati una sorpresa perché ci sono estensioni di Chrome per ChatGPT per scrivere risposte HARO.
Screenshot da Reddit, luglio 2023
Cosa ha detto la FTC sugli strumenti di rilevamento AI
La Federal Trade Commission ha messo in guardia le aziende dal sopravvalutare le capacità degli strumenti di intelligenza artificiale per rilevare i contenuti generati, avvertendo che affermazioni di marketing imprecise potrebbero violare le leggi sulla protezione dei consumatori.
Ai consumatori è stato inoltre consigliato di essere scettici nei confronti delle affermazioni secondo cui gli strumenti di rilevamento dell'intelligenza artificiale possono identificare in modo affidabile tutti i contenuti artificiali, poiché la tecnologia ha dei limiti.
La FTC ha affermato che è necessaria una solida valutazione per confermare le affermazioni di marketing sugli strumenti di rilevamento dell'IA.
L'intelligenza artificiale è stata usata per scrivere la costituzione?
Gli strumenti di rilevamento dell'IA hanno fatto notizia quando gli utenti hanno scoperto che esisteva la possibilità che l'IA avesse scritto la Costituzione degli Stati Uniti.
Screenshot da Originality.ai, luglio 2023
Un post su Ars Technica ha spiegato perché gli strumenti di rilevamento della scrittura AI spesso identificano erroneamente testi come la Costituzione degli Stati Uniti come generati dall'IA.
Screenshot da ZeroGPT, luglio 2023
Il linguaggio storico e formale spesso assegna bassi punteggi di "perplessità" e "esplosione", che interpretano come indicatori della scrittura AI.
Screenshot da GPTZero, luglio 2023
Gli scrittori umani possono usare frasi comuni e stili formali, ottenendo punteggi simili.
Questo esercizio ha ulteriormente dimostrato il punto di vista della FTC secondo cui i consumatori dovrebbero essere scettici sui punteggi del rilevatore di intelligenza artificiale.
Punti di forza e limiti
I risultati di vari studi evidenziano i punti di forza e i limiti degli strumenti di rilevamento dell'IA.
Sebbene i rilevatori di intelligenza artificiale abbiano mostrato una certa accuratezza nel rilevare il testo generato dall'intelligenza artificiale, hanno anche mostrato pregiudizi, problemi di usabilità e vulnerabilità alle tecniche di evasione.
Ma gli studi stessi potrebbero essere viziati, lasciando tutto alla speculazione.
Sono necessari miglioramenti per affrontare i pregiudizi, migliorare la robustezza e garantire un rilevamento accurato in diversi contesti.
La ricerca e lo sviluppo continui sono fondamentali per promuovere la fiducia nei rilevatori di intelligenza artificiale e creare un panorama digitale più equo e sicuro.
Immagine di presentazione: Ascannio/Shutterstock
