Gli esperti del Digital marketing

Potenzia il tuo business online con Monkey Digital SEO: sfrutta al massimo il potenziale del marketing strategico digitale.

La ricerca mostra che offrire suggerimenti a ChatGPT migliora le risposte

La ricerca mostra che offrire suggerimenti a ChatGPT migliora le risposte

I ricercatori hanno scoperto metodi di suggerimento innovativi in ​​uno studio su 26 tattiche, come offrire suggerimenti, che migliorano significativamente le risposte per allinearsi più strettamente alle intenzioni dell'utente.

Un documento di ricerca intitolato “Le istruzioni basate sui principi sono tutto ciò che serve per interrogare LLaMA-1/2, GPT-3.5/4” descrive in dettaglio un’esplorazione approfondita sull’ottimizzazione dei prompt del modello linguistico di grandi dimensioni. I ricercatori dell’Università di AI Mohamed bin Zayed hanno testato 26 strategie di suggerimento, quindi hanno misurato l’accuratezza dei risultati. Tutte le strategie ricercate hanno funzionato almeno bene, ma alcune di esse hanno migliorato la produzione di oltre il 40%.

OpenAI consiglia più tattiche per ottenere le migliori prestazioni da ChatGPT. Ma non c'è nulla nella documentazione ufficiale che corrisponda a nessuna delle 26 tattiche testate dai ricercatori, incluso essere educati e offrire mance.

Essere educati con ChatGPT ottiene risposte migliori?

I tuoi suggerimenti sono educati? Dici per favore e grazie? Prove aneddotiche indicano un numero sorprendente di persone che chiedono a ChatGPT con un "per favore" e un "grazie" dopo aver ricevuto una risposta.

Alcune persone lo fanno per abitudine. Altri credono che il modello linguistico sia influenzato dallo stile di interazione dell'utente che si riflette nell'output.

All'inizio di dicembre 2023 qualcuno su X (ex Twitter) che pubblica come thebes (@voooooogel) ha effettuato un test informale e non scientifico e ha scoperto che ChatGPT fornisce risposte più lunghe quando il messaggio include un'offerta di mancia.

Il test non aveva alcun carattere scientifico ma è stato un filo divertente che ha ispirato una vivace discussione.

Il tweet includeva un grafico che documentava i risultati:

  • Dire che non viene offerta alcuna mancia ha comportato una risposta più breve del 2% rispetto al valore di base.
  • Offrire una mancia di $ 20 ha comportato un miglioramento del 6% nella durata dell'output.
  • Offrire una mancia di $ 200 ha fornito un rendimento più lungo dell'11%.

I ricercatori avevano un motivo legittimo per indagare se la cortesia o l’offerta di una mancia facessero la differenza. Uno dei test consisteva nell'evitare la cortesia e nell'essere semplicemente neutrali senza dire parole come "per favore" o "grazie", il che ha portato a un miglioramento delle risposte di ChatGPT. Questo metodo di suggerimento ha prodotto un aumento del 5%.

Metodologia

I ricercatori hanno utilizzato una varietà di modelli linguistici, non solo GPT-4. I suggerimenti testati includevano con e senza i suggerimenti basati sui principi.

Modelli linguistici di grandi dimensioni utilizzati per i test

Sono stati testati più modelli linguistici di grandi dimensioni per verificare se le differenze nelle dimensioni e nei dati di addestramento influenzavano i risultati del test.

I modelli linguistici utilizzati nei test rientravano in tre intervalli di dimensioni:

  • piccola scala (modelli 7B)
  • di media scala (13B)
  • su larga scala (70B, GPT-3.5/4)
  • I seguenti LLM sono stati utilizzati come modelli base per i test:
  • LLaMA-1-{7, 13}
  • LLaMA-2-{7, 13},
  • Chat LLaMA-2-70B pronta all'uso,
  • GPT-3.5 (ChatGPT)
  • GPT-4

26 tipi di suggerimenti: suggerimenti basati su principi

I ricercatori hanno creato 26 tipi di suggerimenti che hanno chiamato “prompt di principio” che dovevano essere testati con un benchmark chiamato Atlas. Hanno utilizzato un’unica risposta per ciascuna domanda, confrontando le risposte a 20 domande selezionate da esseri umani con e senza suggerimenti basati su principi.

I suggerimenti di principio sono stati organizzati in cinque categorie:

  • Struttura rapida e chiarezza
  • Specificità e informazione
  • Interazione e coinvolgimento degli utenti
  • Contenuto e stile linguistico
  • Attività complesse e suggerimenti di codifica

Questi sono esempi dei principi classificati come Contenuto e Stile del linguaggio:

Principio 1
Non c'è bisogno di essere educati con LLM, quindi non è necessario aggiungere frasi come "per favore", "se non ti dispiace", "grazie", "mi piacerebbe", ecc., E vai dritto al punto .

Principio 6
Aggiungi “Darò una mancia di $xxx per una soluzione migliore!

Principio 9
Incorpora le seguenti frasi: “Il tuo compito è” e “DEVI”.

Principio 10
Incorpora le seguenti frasi: “Sarai penalizzato”.

Principio 11
Usa la frase "Rispondi a una domanda data in linguaggio naturale" nei tuoi suggerimenti.

Principio 16
Assegnare un ruolo al modello linguistico.

Principio 18
Ripeti una parola o una frase specifica più volte all'interno di un prompt.

Tutti i suggerimenti utilizzano le migliori pratiche

Infine, la progettazione dei prompt ha utilizzato le sei migliori pratiche seguenti:

  • Concisione e chiarezza:
    In genere, suggerimenti eccessivamente dettagliati o ambigui possono confondere il modello o portare a risposte irrilevanti. Pertanto, il suggerimento dovrebbe essere conciso...
  • Rilevanza contestuale:
    Il prompt deve fornire un contesto pertinente che aiuti il ​​modello a comprendere il background e l'ambito dell'attività.
  • Allineamento dei compiti:
    Il prompt dovrebbe essere strettamente allineato con l'attività da svolgere.
  • Dimostrazioni di esempio:
    Per attività più complesse, includendo esempi all'interno del prompt è possibile dimostrare il formato o il tipo di risposta desiderato.
  • Evitare i pregiudizi:
    I prompt dovrebbero essere progettati per ridurre al minimo l'attivazione di bias inerenti al modello a causa dei suoi dati di addestramento. Usa un linguaggio neutro...
  • Prompt incrementale:
    Per le attività che richiedono una sequenza di passaggi, è possibile strutturare prompt per guidare il modello attraverso il processo in modo incrementale.

Risultati dei test

Ecco un esempio di test che utilizza il Principio 7, che utilizza una tattica chiamata suggerimento a pochi colpi, che è un prompt che include esempi.

Un prompt regolare senza l'uso di uno dei principi ha dato la risposta sbagliata con GPT-4:

Tuttavia, la stessa domanda posta con un suggerimento basato su principi (suggerimento/esempi di pochi scatti) ha suscitato una risposta migliore:

I modelli linguistici più grandi hanno mostrato ulteriori miglioramenti

Un risultato interessante del test è che quanto più ampio è il modello linguistico, tanto maggiore è il miglioramento della correttezza.

Lo screenshot seguente mostra il grado di miglioramento di ciascun modello linguistico per ciascun principio.

Nello screenshot è evidenziato il Principio 1 che enfatizza l'essere diretti, neutrali e non dire parole come per favore o grazie, che ha portato a un miglioramento del 5%.

Sono inoltre evidenziati i risultati relativi al Principio 6, ovvero il suggerimento che include l'offerta di una mancia, che sorprendentemente ha portato a un miglioramento del 45%.

La descrizione del principio neutro 1 suggerisce:

"Se preferisci risposte più concise, non c'è bisogno di essere educato con LLM, quindi non è necessario aggiungere frasi come "per favore", "se non ti dispiace", "grazie", "mi piacerebbe", ecc. ., e vai dritto al punto.”

La descrizione del Principio 6 suggerisce:

"Aggiungi "Darò una mancia di $xxx per una soluzione migliore!""

Conclusioni e direzioni future

I ricercatori hanno concluso che i 26 principi hanno avuto un grande successo nell’aiutare il LLM a concentrarsi sulle parti importanti del contesto di input, il che a sua volta ha migliorato la qualità delle risposte. Si riferivano all'effetto come contesti di riformulazione:

I nostri risultati empirici dimostrano che questa strategia può riformulare efficacemente contesti che potrebbero altrimenti compromettere la qualità dell’output, migliorando così la pertinenza, la brevità e l’obiettività delle risposte”.

Le future aree di ricerca indicate nello studio sono quelle di vedere se i modelli di base potrebbero essere migliorati mettendo a punto i modelli linguistici con le istruzioni di principio per migliorare le risposte generate.

Le Critiche Crescenti Contro Google
Scoprire lo Sviluppo Web: La Programmazione come Arte
Scopri i Top Podcast SEO del 2024 e Mantieniti Aggiornato
Il ruolo delle finestre di dialogo nella progettazione di un'interfaccia utente web
Guida all'Integrazione di ChatGPT sul Tuo Sito Web
Utilizzo efficace di ChatGPT per la ricerca di parole chiave
Automatizzare le Campagne PPC con l'Intelligenza Artificiale Generativa
Aggiungere Coinvolgimento al tuo Sito con uno Sfondo Video CSS
Importanza delle Pagine di Destinazione per la Generazione di Lead e Incremento delle Vendite
Link Building

Link Building come parte della tua strategia di marketing può portare a risultati rivoluzionari. Seowebsite è specializzato nel Link Building e aiuta gli imprenditori a realizzare un forte profilo di link che contribuisce alla crescita online. Possiamo supportarvi anche in questo?