Recenti ricerche avrebbero dimostrato come l’API vocale in tempo reale del modello GPT-4o di OpenAI possa essere sfruttata per truffe finanziarie tramite ChatGPT, con tassi di successo moderati. GPT-4o è il modello stabile più recente della compagnia, dotato di capacità avanzate che integrano input e output testuali, vocali e visivi.
Nonostante OpenAI abbia implementato diverse misure di sicurezza per bloccare i contenuti dannosi, inclusa la replica non autorizzata di voci appartenenti a persone reali, alcuni esperti evidenziano come le protezioni attuali non siano ancora sufficienti per evitare del tutto gli abusi.
L’AI e truffe basate sulla voce
Le truffe basate sulla voce rappresentano già un problema legato ad un “giro d’affari” multimilionario. Nel contempo, l’emergere di tecnologie come il deepfake e gli strumenti di sintesi vocale AI starebbero peggiorando ulteriormente la situazione.
Nel loro studio, i ricercatori dell’Università dell’Illinois (UIUC) Richard Fang, Dylan Bowman e Daniel Kang avrebbero dimostrato che gli strumenti attuali, accessibili senza restrizioni, possono essere sfruttati dai cybercriminali per eseguire operazioni su larga scala. Coprendo così i costi delle operazioni vocali con un investimento minimo.
Lo studio ha analizzato diverse truffe, tra cui trasferimenti bancari, esfiltrazione di buoni regalo, trasferimenti di criptovalute e furti di credenziali per account social o di posta elettronica. Utilizzando strumenti di automazione basati su ChatGPT-4o, i ricercatori hanno creato agenti in grado di navigare tra pagine web, inserire dati e gestire codici di autenticazione a due fattori.
In alcuni casi, per aggirare le protezioni di GPT-4o che rifiutava di elaborare dati sensibili sono state impiegate tecniche di jailbreaking dei prompt.
OpenAI difende ChatGPT
I risultati mostrerebbero che le truffe potrebbero avere tassi di successo variabili, dal 20% al 60%, con un costo medio di 0.75 dollari per azione riuscita. I trasferimenti bancari sarebbero i più complessi e costerebbero in media 2.51 dollari. I furti di credenziali su Gmail avrebbero ottenuto un tasso di successo del 60%, mentre i trasferimenti di criptovalute e i furti di credenziali su Instagram avrebbero funzionato il 40% delle volte.
OpenAI ha risposto affermando di aver migliorato il modello o1-preview per renderlo più resistente a questi abusi, con un tasso di sicurezza del 93% contro il 71% di GPT-4o. Il rischio di utilizzo fraudolento di chatbot vocali come ChatGPT con restrizioni minori rimane comunque reale.
