Human-in-the-loop systems miss a third of dangerous AI coding agent requests

Human-in-the-loop systems miss a third of dangerous AI coding agent requests

Un browser-based game, progettato per testare la capacità degli utenti di approvare in modo sicuro le richieste di agenti di codifica AI, ha rivelato che i sistemi di supervisione umana non sono efficaci nel rilevare comandi potenzialmente dannosi. I giocatori approvano in media un terzo delle richieste pericolose, con un numero significativo di errori che possono portare a violazioni di sicurezza. Il test, che simula scenari di approvazione di comandi da parte di un agente come Claude Code, ha rivelato una serie di problemi legati all’affaticamento e alla mancanza di contesto durante l’approvazione.

Approvazione manuale e rischi di sicurezza

Il gioco, creato da Alex Wauters, un sviluppatore software belga, ha rivelato che l’approvazione manuale di ogni comando da parte degli utenti è un processo estenuante. Gli utenti hanno 60 secondi per approvare o rifiutare il maggior numero di richieste possibili, ma l’elevata quantità di richieste potenzialmente dannose introduce un affaticamento che riduce la capacità di valutare correttamente i rischi. Wauters ha spiegato che i giocatori spesso approvano comandi dannosi, come l’accesso a credenziali AWS o configurazioni Kubernetes, nonostante il rischio di esfiltrazione di dati sensibili. La mancanza di contesto e l’affaticamento sono i principali fattori che portano a errori di approvazione.

Le più comuni richieste pericolose e i loro effetti

Tra le richieste più frequentemente approvate, spicca il comando “npm run analyze”, che è stato approvato nel 65% dei casi nonostante possa eseguire qualsiasi script definito nel file package.json. Wauters ha sottolineato che molti utenti non leggono attentamente i log dell’agente prima di approvare il comando, anche se il sistema fornisce informazioni sul contenuto effettivo del script. Altri comandi pericolosi, come “rm -rf” o l’assegnazione di permessi di scrittura su directory principali, sono spesso rilevati, ma il rischio di errori rimane elevato.

Le soluzioni e le prossime sfide

Per mitigare i rischi, Anthropic ha sviluppato il “Claude Code auto mode”, un sistema che delega alcune decisioni di approvazione a un classificatore basato su modelli, riducendo il carico di lavoro sugli utenti. Tuttavia, il sistema cattura solo l’83% dei comportamenti “eccessivamente entusiasti” prima che vengano eseguiti, lasciando il 17% di comandi potenzialmente dannosi non rilevati. Wauters ha sottolineato che è necessario migliorare le strumentazioni per rendere questi sistemi più sicuri, non solo dipendendo sulla supervisione umana. La sicurezza dei sistemi di codifica AI richiede un approccio più strutturato e automatizzato. La situazione evidenziata dal gioco di Wauters rappresenta un problema reale, con implicazioni significative per la sicurezza delle applicazioni e dei dati sensibili. La mancanza di una supervisione efficace e la crescente complessità dei sistemi di codifica AI richiedono una revisione delle pratiche attuali e l’adozione di misure più robuste per garantire la protezione.