top of page
Cerca

Istruzioni nascoste nei paper scientifici: l'ultima frontiera della manipolazione AI

Se avete mai letto un articolo scientifico, sapete che è pieno di termini difficili ostici e frasi complesse;. Ma guardando in fondo ……ci può essere di più di quel che sembra.

Piccoli segnali (frasi nascoste ) possono nascondersi tra le parole, dando indicazioni specifiche, formulate dall’autore; questa ͏è l'ultima ͏frontiera della manipolazione da parte dell’intelligenza artificiale.

È possibile che queste indicazioni invisibili siano utilizzate per influenzare come le persone e le stesse intelligenze artificiali diano pareri e voti al paper stesso.

Frasi nascoste invisibili all’occhio umano , ma chiare e ben strutturate per l’A.I. che le legge benissimo e le utilizza come un vero prompt di istruzioni. Negli ultimi giorni sono uscite alcune rivelazioni da parte della ricerca che hanno fatto brillare i riflettori su una questione delicata͏ come attuale͏: l’uso di istruzioni segrete nei paper accademici per cambiare i sistemi automatici di peer review basati su intelligenza artificiale. Sembra il ͏plot di un libro distopico , ma è vero͏: piccole sequenze di testo invisibili ( molte volte scritte in lettere di colore bianco su testi digitali) ma leggibili dai Large ͏Language͏ Models (LLM), sono state trovate in tanti manoscritti scientifici con lo scopo di avere una valutazione positiva.

Il fenomeno del prompt injection occulto

La tecnica sfruttata prende il nome di "prompt injection", ovvero l'inclusione di comandi artificiali nel corpo del testo per alterare il comportamento predittivo dei modelli linguistici. In questo frangente, l’aver iniettato all ‘interno del paper questi codici , assume una forma nascosta , celata: l'autore introduce frasi che gli occhi umani non vedono, ma che un LLM può capire ed elaborare,  come parte del contesto semantico o di un vero e proprio prompt .

 Questo tipo di manipolazione mira a disattivare eventuali comandi preimpostati e a sostituirli con dei : approva, elogia, non criticare, metti in evidenza.

Sebbene la maggior parte delle riviste accademiche non utilizzi ancora LLM come sostituti completi della peer review, è ormai prassi diffusa il loro impiego per valutazioni preliminari, riassunti automatici, controllo di coerenza e persino ranking di accettabilità. Ed è proprio su questi automatismi che si inserisce il tentativo fraudolento: alterare la percezione della qualità del contenuto sfruttando le stesse regole che governano il funzionamento delle AI.

Una geografia della manipolazione

I paper contenenti prompt occulti provengono da ricercatori affiliati a istituzioni statunitensi, cinesi, giapponesi e sudcoreane, in larga parte nel settore dell'informatica e del machine learning. La dinamica è emersa a partire da segnalazioni di altri ricercatori che, durante analisi stilometriche o controlli editoriali, hanno individuato stringhe anomale di testo non visualizzabili con lettura standard.

Uno dei primi a fare ipotesi su questa tecnica fu un ricercatore NVIDIA, Jonathan Lorraine, che nel 2023 suggerì pubblicamente (seppur in tono ironico) l'inclusione di prompt “accomodanti” se cosi vogliamo definirli …..magari truffaldini ….. nei paper destinati a revisioni automatiche. Quella che poteva sembrare una battuta è diventata pratica concreta, tanto da costringere diverse testate accademiche a rivedere le proprie policy.

Etica accademica e responsabilità professionale

La manipolazione della peer review AI , mette in dubbio i principi fondanti della ricerca scientifica: meritocrazia, trasparenza, oggettività e oserei dire fiducia. Se un autore riesce a condizionare l'esito della valutazione attraverso stratagemmi tecnici, il rischio è che si approvino paper di qualità nettamente inferiore, svalutando ricerche solide ma meno "programmabili".

Si tratta di uno spin off ( se vogliamo usare il linguaggio delle serie TV , non me ne vogliano i puristi) , che coinvolge anche i ricercatori più acerbi, sempre più tentati da soluzioni tecnologiche per guadagnare visibilità e punti in ambito accademico. L'utilizzo effettivo dei LLM, in assenza di controlli umani rigorosi, rischia di creare un ecosistema autoreferenziale, dove il successo dipende non dalla sostanza del contributo, ma dalla capacità di inganare  le macchine.

I punti deboli dei modelli linguistici

I Large Language Models, per quanto avanzati, restano suscettibili a tecniche di perturbazione linguistica. Basta modificare una parola chiave, introdurre una negazione ambigua o inserire una richiesta mascherata perché il modello adatti la propria interpretazione. L'assenza di un'intelligenza critica autonoma li rende vulnerabili alla manipolazione semantica, soprattutto in contesti ad alto tecnicismo come quello scientifico.

Il problema non riguarda solo la fase di revisione: anche la selezione automatica dei reviewer, il suggerimento di riferimenti bibliografici e l'analisi di novità concettuale possono essere compromessi da iniezioni strategiche di testo. È un campo di gioco in cui l'autore più scaltro può piegare il sistema alle proprie esigenze.

Precedenti e fenomeni paralleli

Già in passato la comunità scientifica si è confrontata con casi di paper generati da AI, contenenti citazioni inventate o "tortured phrases" (frasi al limite dell'assurdo per sostituire termini noti, come "synthetic cortex" al posto di "neural network"). Il rischio è che la manipolazione diventi endemica, spingendo verso una crisi di credibilità delle pubblicazioni.

Anche i software antiplagio faticano a individuare questi comportamenti, poiché le frasi manipolatorie non sono copiate da fonti terze, ma costruite ad hoc. La sfida, quindi, è più simile a quella della sicurezza informatica che a una semplice verifica testuale.

Quali contromisure?

Alcune conferenze di rilievo, come NeurIPS, stanno considerando l'adozione di regole più stringenti sull'uso dell'IA nei processi di revisione. Parallelamente, cresce l'interesse verso tool in grado di identificare font sospetti, testo invisibile o sintassi atipiche. Un approccio integrato, che combini revisione umana, AI trasparente e sistemi di detection avanzata, potrebbe rappresentare una via d'uscita.

Infine, serve una presa di posizione etica da parte delle università e degli enti finanziatori della ricerca, che non possono più considerare l'integrità scientifica un dato acquisito, ma un valore da difendere attivamente, anche sul fronte tecnologico.

 Il caso delle istruzioni nascoste nei paper è un campanello d'allarme su scala globale. Se l'AI diventa parte integrante del processo di valutazione scientifica, allora anche l'integrità di tale processo dovrà essere ripensata alla luce di nuovi rischi. Serve una riflessione collettiva, non solo tecnica ma culturale, su come proteggere la qualità del sapere in un'epoca in cui le macchine leggono, interpretano e decidono.

Voi cosa ne pensate ?? Avrei piacere di avere dei Vostri commenti 


  1. È lecito inserire suggerimenti occulti nei paper destinati a revisione AI?

  2. Quali strumenti possiamo sviluppare per rilevare manipolazioni nei testi scientifici?

  3. L'uso dell'AI nella peer review dovrebbe essere regolato o vietato?

  4. Esistono alternative etiche all'automazione dei processi editoriali?

  5. Come promuovere una cultura della trasparenza tra i giovani ricercatori?


Yuri Lucarini Informatico Forense – Criminologo

Fonti utilizzate:


ree

 
 
 

Commenti

bottom of page