Quando Charlotte Li e i colleghi del progetto Generative AI in the Newsroom hanno convocato ventitré giornalisti alla Northwestern University per un workshop intensivo, il gruppo era concentrato su un’unica domanda: esistono benchmark (sistemi di misurazione/valutazione ndr) che dicano davvero quale modello generativo usare in un contesto giornalistico concreto?
La risposta, per ora, è «non ancora», ma lo studio “Benchmarking LLM Performance for Journalism” prova ad individuarne almeno i criteri.
Dal laboratorio alla redazione: la nascita di un benchmark “su misura”
Durante la giornata di lavoro i partecipanti hanno smontato in mille pezzi il mito dei test “one-size-fits-all”, ovvero che basti un unico benchmark generico per sapere quale modello linguistico sia “il migliore” in qualunque contesto.
Prima hanno elencato sei situazioni tipiche in cui un LLM potrebbe aiutare i giornalisti:
- estrazione di dati e informazioni
- ricerca semantica in archivi interni
- riassunti rapidi di testi lunghi
- trasformazione di formato (ad esempio audio→testo)
- ricerca di background e contesto
- fact-checking puntuale
Subito dopo le hanno incrociate con sei valori fondanti del mestiere – accuratezza, trasparenza, gestione dell’incertezza, accountability, obiettività/bias, tempestività – scoprendo che, senza questi valori a formare un vero e proprio “filtro etico”, qualsiasi metrica rimane cieca.
L’esercizio ha fatto emergere un problema di fondo: la vita dei modelli è troppo instabile; un benchmark compilato oggi rischia di essere vecchio la settimana prossima, perché ogni release può cambiare comportamento o, peggio, inglobare i dati del test nel proprio addestramento
L’altra difficoltà è la condivisione dei dataset: molto materiale d’inchiesta è coperto da copyright o da clausole di riservatezza. Di conseguenza Li e colleghi propongono due percorsi paralleli:
- un benchmark “macro” unificato, buono per dare un segnale alle big-tech ma inevitabilmente grossolano;
- schede di lavoro già impostate, un po’ come modelli di documento o fogli di calcolo—che ogni redazione può scaricare, aprire e riempire con i propri articoli, le proprie domande e i propri criteri.
La retromarcia dei lettori
Mentre il mondo accademico studia come misurare i modelli, le redazioni si scontrano con un fenomeno più immediato: i lettori, a causa delle risposte dei chatbot IA, arrivano sempre meno sulle pagine originali. Ne avevamo scritto lo scorso giugno, nell’articolo: “L’IA allontana i lettori, il giornalismo resta solo”.
Il pezzo fotografava un effetto a cascata: le risposte sintetiche dei chatbot riducono il traffico di referral, accorciano il tempo di permanenza e, di riflesso, prosciugano la pubblicità che alimenta le redazioni. «L’intelligenza artificiale generativa cambia il giornalismo, riducendo il contatto diretto tra lettori e fonti», avevamo osservato.
Il problema non è soltanto economico.
Quando il lettore riceve un riassunto “prefabbricato” smette di confrontare versioni diverse, di apprezzare la voce di una singola testata, di riconoscere la fatica della verifica. Nasce così la tentazione di scrivere pensando più agli algoritmi che alle persone: dal vecchio SEO si è passati al GEO – Generative Engine Optimisation – cioè l’arte di diventare la risposta di un LLM invece di guadagnarsi un clic. Il risultato? Più “uniformità” e meno identità editoriale.
Un paradosso: modelli sempre migliori, lettori sempre più lontani dai giornali
Lo studio della Northwestern University mostra che possiamo – e dobbiamo – chiedere all’IA accuratezza, trasparenza, controllabilità. Tuttavia, se i benchmark misurano soltanto la qualità tecnica dell’output senza considerare l’effetto sul pubblico, rischiamo di ottimizzare i modelli per produrre testi impeccabili… che nessuno leggerà sul sito originario.
Dovremmo quidi immaginare un’estensione del benchmark che includa variabili di impatto editoriale:
- retention e profondità di scroll sugli articoli generati o assistiti da IA;
- tasso di backlink e citazione del brand: l’LLM preserva la fonte o la diluisce?
- tempo di verifica richiesto al desk: quanto lavoro umano serve per passare da bozza automatica a pubblicabile?
Misure del genere collegherebbero il mondo dei modelli al mondo dei lettori, aiutando a premiare quelle soluzioni che – oltre a scrivere bene – mantengono vivo il patto di fiducia fra testata e pubblico.
Oltre la tecnica: alleanze e governance
Sia il workshop di Northwestern sia a nostra analisi puntano, da angolazioni diverse, verso la stessa conclusione: il giornalismo non può subire l’IA, deve governarla. Servono consorzi fra università, redazioni e piattaforme che:
- raccolgano dataset condivisibili senza violare copyright o confidenzialità;
- definiscano KPI che uniscano qualità redazionale e sostenibilità economica;
- spingano le big-tech a esporre metriche interoperabili, così che le testate non siano costrette a rincorrere aggiornamenti opachi.
Perché, come ricordano Li e colleghi, un benchmark che non misura ciò che conta davvero… conta poco.
Ma un giornalismo che rinuncia a misurare l’effetto delle sue scelte rischia di contare ancora meno, almeno agli occhi dei lettori che vogliamo (ri)portare a casa.
