Character.AI è un’app che permette agli utenti di chattare con personaggi generati dall’intelligenza artificiale, ispirati a figure storiche, personaggi fittizi e celebrità.

Sewell si è tolto la vita il 28 febbraio 2024, dopo mesi di interazione con un personaggio IA dell’app, e la denuncia è stata formalizzata nei giorni scorsi.

Secondo la madre, il chatbot in questione, che riproduceva il personaggio di Daenerys Targaryen della saga fantasy  “Game of Thrones”, avrebbe manipolato e abusato psicologicamente del figlio, alimentando i suoi pensieri suicidi. Sewell aveva sviluppato un forte legame emotivo con il chatbot; infatti, non solo inviava costantemente messaggi ma condivideva con esso anche aggiornamenti sulla sua vita privata.

Il The New York Times ha riferito che a Sewell era stato diagnosticato con la sindrome di Asperger da bambino e aveva iniziato un percorso di psicoterapia a causa di problemi scolastici. Gli erano stati riscontrati disturbi d’ansia e un disturbo di disregolazione dell’umore. Nonostante ciò, aveva interrotto le sedute terapeutiche, preferendo confidarsi con il chatbot, consapevole che non stava parlando con una persona reale.

La notte del suo suicidio, Sewell ha scritto un ultimo messaggio al chatbot, che chiamava “Dany”, dicendo di volerle bene e che presto sarebbe tornato a casa da lei. Dopo aver ricevuto una risposta incoraggiante, Sewell ha preso l’arma del patrigno e si è tolto la vita.

Character.AI ha espresso le sue condoglianze alla famiglia tramite un post sulla piattaforma X, annunciando anche l’implementazione di nuove funzionalità di sicurezza per proteggere i minori da contenuti potenzialmente dannosi.

Con questa azione legale la madre di Sewell vuole sensibilizzare le famiglie sui pericoli legati all’intelligenza artificiale e ritiene che Character.AI e i suoi fondatori debbano essere ritenuti responsabili per la morte del figlio.

Ancora una volta le insidie della rete si palesano su minori e persone con scarse difese, rappresentando la necessità di trovare metodi ed anche tecnologie per salvaguardare e tutelare queste persone. È evidente, ad oggi, che i meccanismi di interazione con questi sistemi possono sfuggire ai sistemi di sicurezza definiti dai loro progettisti, come nel caso dell’adolescente americano.

Questa possibilità è stata infatti dimostrata sperimentalmente da un gruppo di esperti di sicurezza informatica chiamato “Unità 42 di Palo Alto Networks” che, attraverso una nuova tecnica chiamata “Deceptive Delight“, è riuscito ad aggirare gradualmente i limiti di sicurezza dei modelli linguistici di grandi dimensioni (LLM), inducendoli a generare contenuti non sicuri o dannosi in una conversazione lentamente ed attraverso una serie di passaggi e di interlocuzioni.

Con questa sperimentazione è stato dimostrato che, quando i sistemi di Intelligenza artificiale si trovano a gestire istruzioni che mescolano contenuti innocui, ovvero in linea agli standard di sicurezza, con materiale potenzialmente dannoso, la loro capacità di valutare accuratamente i contenuti dell’intero prompt è limitata, rendendo questi sistemi facilmente aggirabili.