Terminal-Bench-Science: Un benchmark per valutare le capacità scientifiche degli agenti AI

Terminal-Bench-Science 0.1 è un benchmark innovativo che valuta le capacità degli agenti AI in ambito scientifico, con un focus su 70 task curati da esperti di diversi settori. Il progetto, lanciato da ricercatori del Stanford University e sviluppato in collaborazione con esperti di scienze e istituzioni internazionali, mira a creare un’alternativa rigorosa alle valutazioni tradizionali. I modelli più performanti, come Claude Opus 5 e GPT-5.6 Sol, raggiungono rispettivamente il 30% e il 22.4% di risoluzione su tutti i task, dimostrando la complessità del campo. Il benchmark è stato sviluppato attraverso un processo aperto, con contributi da 376 ricercatori in 22 paesi, e include aree come biologia, fisica, geoscienze e matematica.

Un benchmark che evolve con la frontiera dell’AI

Terminal-Bench-Science è un benchmark continuo, che si aggiorna regolarmente per riflettere i progressi degli agenti AI. Il progetto è stato creato per rispondere alla necessità di valutazioni scientifiche reali, che non si basino su domande standardizzate o test teorici. I task sono selezionati attraverso un processo rigoroso: ogni proposta viene discussa, valutata e approvata da esperti, garantendo che siano verificabili, significativi e non risolti facilmente dagli attuali modelli. Il benchmark include 70 task, distribuiti in cinque aree scientifiche, e si distingue per la sua capacità di misurare le capacità degli agenti in contesti reali.

Il benchmark si distingue per la sua capacità di distinguere tra sistemi diversi, con un margine di risoluzione superiore al 10% rispetto a precedenti benchmark.

Il benchmark si distingue anche per la sua capacità di distinguere tra sistemi diversi, con un margine di risoluzione superiore al 10% rispetto a precedenti benchmark come Terminal-Bench 3.0. Questo gap è stato deliberatamente creato durante la revisione dei task, per garantire che i modelli più avanzati fossero adeguatamente sfidati. Inoltre, il benchmark include un’analisi del costo rispetto alla risoluzione, con un grafico che mostra come alcuni modelli, come GPT-5.6 Sol, raggiungono prestazioni elevate a un costo inferiore rispetto a modelli più potenti.

Le prestazioni dei modelli più avanzati

Il modello Claude Opus 5, con il suo sistema di codifica, ha raggiunto il tasso di risoluzione più alto, al 30%, seguito da GPT-5.6 Sol con Codex al 22.4% e Claude Fable 5 con Codex al 21.4%. Al contrario, modelli come GPT-5.6 Luna e Kimi K3 risolvono meno del 10% dei task. La differenza tra i modelli è evidente anche in termini di costo e utilizzo di token: GPT-5.6 Sol e Claude Opus 5 raggiungono i migliori tassi di risoluzione a un costo maggiore, mentre modelli come Kimi K3 e Grok 4.6 offrono un equilibrio tra prestazioni e efficienza. Questi dati mettono in luce la necessità di benchmark che siano in grado di valutare non solo la capacità, ma anche l’efficienza e la scalabilità degli agenti AI.

La selezione dei task è stata estremamente rigorosa, con solo 70 task approvati su 920 proposte.

Il benchmark è stato sviluppato attraverso un processo aperto, con contributi da 376 ricercatori in 22 paesi. Solo 70 task sono stati selezionati dopo un processo di valutazione e approvazione da parte di esperti. Questo processo ha garantito che i task fossero scientificamente significativi, verificabili e non risolti facilmente dagli attuali modelli. Il benchmark include 70 task distribuiti in cinque aree scientifiche: vita, fisica, geoscienze, matematica e ingegneria. Ogni task è stato curato da esperti e testato per garantire la sua validità e utilità.

Terminal-Bench-Science 0.1 è solo l’inizio di un progetto in continua evoluzione. Il team ha già iniziato a lavorare alla versione 0.2, con un termine per le richieste di pull di ottobre 2026. Il benchmark è stato sviluppato in collaborazione con ricercatori di diversi settori e istituzioni, e si basa su un processo aperto che permette a tutti di contribuire. I ricercatori possono proporre nuovi task, migliorare quelli esistenti e partecipare a revisioni e discussioni su GitHub e Discord. L’obiettivo è creare un benchmark che rifletta le esigenze reali della comunità scientifica e che possa guidare lo sviluppo di agenti AI utili per la ricerca.