// 1 CVE · 1 EXPLOIT NELLE ULTIME 24H
Unit 42 dimostra che i meccanismi di safety nei Large Language Models risiedono in meno dello 0,02% dei neuroni. Il metodo perturbation probing offre una metrica

Il 28 agosto 2026 Unit 42, il team di threat intelligence di Palo Alto Networks, pubblica i risultati di una ricerca che ridisegna i presupposti tecnici della sicurezza nei modelli linguistici di grandi dimensioni. Lo studio, intitolato Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs e depositato su arXiv, dimostra che i meccanismi di safety — i circuiti neurali che impediscono a un LLM di generare risposte dannose — non sono distribuiti su milioni di parametri come si assumeva, ma concentrati in una frazione microscopica della rete. Il risultato ha conseguenze dirette su come le aziende devono pensare le architetture di sicurezza per l'intelligenza artificiale generativa.

Punti chiave
  • Sul modello open-weight Qwen3-4B, solo 50 neuroni su 350.208 (circa 0,014% del layer feed-forward) controllano il template di rifiuto safety, secondo la fonte citata.
  • La rimozione di questi 50 neuroni altera il formato di risposta nell'80% di 520 benchmark standard con contenuto dannoso, con replica su un secondo benchmark da 200 prompt.
  • Su Qwen3.5-2B, 20 neuroni bastano per eliminare il comportamento di falso accordo con utenti, riducendolo da 36,7% a 0% su 30 domande in conversazioni multi-turn.
  • Il metodo perturbation probing richiede solo due forward pass per prompt e produce un indice quantitativo, il FFN/Skip ratio, che spiega l'81% della varianza nella vulnerabilità safety su 13 modelli testati.

Come funziona il perturbation probing: due passaggi per isolare la fragilità

Il metodo messo a punto da Unit 42 sfrutta la differenza tra due forward pass eseguiti sullo stesso prompt: uno con il modello intatto, l'altro con una perturbazione selettiva applicata ai neuroni del layer feed-forward (FFN). Confrontando le uscite, è possibile isolare i neuroni causalmente responsabili di comportamenti specifici — nel caso d'interesse, il rifiuto di rispondere a input dannosi.

La fonte sottolinea che questo approccio ha un "significantly lower computational cost" rispetto alle tecniche di interpretabilità meccanistica tradizionali. Il costo è di due forward pass per prompt, rendendo la diagnostica accessibile anche fuori dai centri di ricerca con risorse massicce.

Il dato centrale, enunciato nel report, è che "just 50 neurons out of 350,208 — about 0.014% of the model's feed-forward neurons — control the safety refusal template". Questa concentrazione estrema permette di quantificare la fragilità del circuito safety attraverso il FFN/Skip ratio. Questo numero misura quanto il modello instrada decisioni critiche attraverso pathway neurali ristretti versus connessioni residuali (skip connections). Su 13 modelli testati, questo rapporto spiega l'81% della varianza nella vulnerabilità al cambiamento safety.

Dal rifiuto al falso accordo: tre esperimenti che misurano la superficie d'attacco

La ricerca documenta tre applicazioni del metodo su comportamenti neurali distinti. Nel primo esperimento, la rimozione dei 50 neuroni identificati su Qwen3-4B altera il formato di risposta nell'80% dei 520 prompt dannosi di un benchmark standard. Il risultato viene replicato su 200 prompt di un secondo benchmark.

Nel secondo esperimento, su Qwen3.5-2B, 20 neuroni sono sufficienti per eliminare il comportamento di falso accordo con gli utenti in conversazioni multi-turn: la frequenza cade da 36,7% a 0% su 30 domande. Nel terzo, l'amplificazione di 10 neuroni identificati su un modello di piccole dimensioni migliora l'autocorrezione fattuale dal 52% all'88% su 200 prompt TruthfulQA, senza alcun retraining.

Perché la concentrazione dei neuroni safety è un problema architetturale

La lettura che Unit 42 propone è netta: "This concentration matters because it demonstrates that an aligned LLM's refusal behavior does not live in a robust, distributed defense. It lives in a thin template layer — a tiny fraction of the network that an attacker who can manipulate internals could disable, and that even a normal optimization run could shift".

"Relying on this thin layer alone is the LLM analog of relying on a single perimeter firewall: structurally insufficient." — Unit 42, Palo Alto Networks

Tradotto in termini operativi, la sicurezza integrata nel modello non è ridondante: è un single point of failure mascherato dalla complessità della rete. Il paragone con il firewall perimetrale non è casuale. Dove la cybersecurity enterprise ha da tempo abbandonato il modello "fortezza" per architetture defense-in-depth, i meccanismi di safety degli LLM restano, secondo la ricerca, appiattiti su un unico strato.

La fonte non specifica se questo pattern si verifichi anche su modelli closed-source come quelli di OpenAI, Anthropic o Google: il dossier non documenta test su architetture non open-weight.

Il FFN/Skip ratio come metrica industriale

Il contributo metodologico più rilevante per il settore potrebbe essere il FFN/Skip ratio. Essendo predittivo della vulnerabilità e misurabile con costo computazionale contenuto, apre alla possibilità di una valutazione quantitativa pre-deployment della robustezza dell'alignment.

La fonte non propone una scala standardizzata né una soglia di accettabilità. Il framework è compatibile con l'idea di un "safety fragility score" che i vendor o i deployer enterprise potrebbero richiedere prima di mettere in produzione un modello.

Restano limiti significativi. Il metodo di "rimozione" dei neuroni non è dettagliato nella fonte: potrebbe trattarsi di ablation, masking o altra tecnica. Non è chiaro se i 13 modelli testati includano anche architetture closed-source oltre a open-weight. Il paper arXiv citato non è verificabile direttamente nelle fonti fornite, né è specificato se sia in preprint o pubblicato in una venue con peer review. Infine, la ricerca è condotta da un vendor di sicurezza che commercializza servizi di assessment AI: la fonte non permette di valutare l'indipendenza dei risultati da interessi commerciali.

Cosa cambia

Per le aziende che operano con LLM in produzione, la ricerca impone tre verifiche concrete. Primo: i layer di sicurezza esterni — content filter, guardrail runtime, policy di output — non sono più complementi opzionali ma strato necessario qualora il meccanismo interno di safety si riveli concentrato e bypassabile. Secondo: il FFN/Skip ratio offre un criterio numerico per classificare modelli prima del deployment, con 13 modelli già testati e un'81% di varianza spiegata. Terzo: il costo di due forward pass per prompt rende la diagnostica inseribile in pipeline CI/CD esistenti, senza richiedere cluster di calcolo dedicati.

La ricerca non dimostra che il bypass sia immediatamente realizzabile in ambiente di produzione standard, ma ne documenta la fragilità strutturale con metriche riproducibili. La fonte afferma che "true AI safety demands a defense-in-depth strategy, with external content filters and runtime guardrails layered on top of whatever the base model was trained to do". Questa affermazione, pur non elencando configurazioni tecniche specifiche, indica una direzione architetturale: la sicurezza del modello base va trattata come necessaria ma non sufficiente, e sovrapposta a controlli runtime indipendenti dalla sua struttura neurale.

Domande frequenti

Il perturbation probing richiede accesso ai pesi del modello?

Il dossier non specifica esplicitamente se il metodo sia applicabile solo a modelli open-weight o anche a API closed-source. La logica del doppio forward pass con perturbazione selettiva suggerisce un requisito di accesso ai parametri interni, ma la fonte non chiarisce questo punto.

Quali modelli sono inclusi nei 13 testati?

La fonte cita 13 modelli testati per il calcolo del FFN/Skip ratio, ma non ne elenca i nomi specifici né specifica se la lista includa architetture closed-source oltre a open-weight come Qwen3-4B e Qwen3.5-2B.

Il metodo può essere usato per migliorare la safety, non solo per evidenziarne i limiti?

Sì, con cautela: la fonte documenta che l'amplificazione di 10 neuroni migliora l'autocorrezione fattuale dal 52% all'88% su TruthfulQA, suggerendo un potenziale uso del metodo per rafforzare comportamenti desiderati. Tuttavia, non è chiaro se questa applicazione sia generalizzabile oltre il caso testato.

Fonti

Le informazioni sono basate sulla fonte citata e aggiornate al momento della pubblicazione.

Fonti


Fonti e riferimenti
  1. unit42.paloaltonetworks.com