Un modello AI per decisioni più precise e veloci

Un nuovo modello per la decisione dell’AI sta emergendo come alternativa alle grandi modelli linguistici (LLM) tradizionali, con un focus su efficienza, accuratezza e capacità di calibrazione. TypeSafe.AI ha lanciato Jev, un modello di tipo System One, che si distingue per la sua capacità di produrre risposte strutturate e probabilistiche, adatti a compiti come la classificazione degli intenti in contesti di supporto clienti. L’articolo esplora come Jev si confronta con modelli come Terra e Luna di OpenAI, analizzando i vantaggi e i limiti del nuovo approccio.

Un modello diverso per la decisione

Jev, il modello di TypeSafe.AI, è stato progettato per fornire risposte strutturate e probabilistiche, a differenza dei modelli LLM che generano testi a piacimento. Addestrato con un approccio basato su Reinforcement Learning for Calibrated Decisions (RLCD), Jev è in grado di restituire non solo una risposta, ma anche una misura di confidenza, utile per prendere decisioni informate. Questo metodo permette al modello di valutare lo stato e produrre risposte organizzate, adatte a compiti come la classificazione degli intenti.

La classificazione degli intenti come prova di efficacia

Per testare Jev, l’autore ha utilizzato un dataset di intenti bancari, composto da 77 classi, e ha confrontato i risultati con i modelli Terra e Luna di OpenAI. I dati mostrano che Jev, pur mostrando un’accuratezza inferiore rispetto ai modelli OpenAI, si distingue per una maggiore velocità e una migliore calibrazione delle probabilità. Inoltre, Jev è in grado di restituire una misura di confidenza, un aspetto rilevante per applicazioni che richiedono decisioni basate su dati. Un esempio pratico mostra come Jev classifica una richiesta come “card_linking” con una confidenza del 100%, mentre i modelli OpenAI, pur offrendo un’accuratezza superiore, non forniscono una misura di confidenza diretta. Questo aspetto potrebbe essere cruciale per applicazioni in cui è necessario distinguere tra risposte certe e incerte, ad esempio nel supporto clienti automatico.

La velocità e la calibrazione sono i punti di forza di Jev.

Sebbene Jev mostri vantaggi in termini di velocità e calibrazione, i test indicano che la sua performance si riduce quando si aumenta il numero di classi. Quando il numero di intenti è stato ridotto a 7, i risultati sono migliorati significativamente, raggiungendo un livello di accuratezza simile a quello dei modelli OpenAI. Questo suggerisce che il modello potrebbe non essere ottimizzato per compiti complessi con un elevato numero di classi, ma potrebbe essere utile per applicazioni più semplici o ripetitive.

Jev, inoltre, utilizza un numero maggiore di token rispetto ai modelli OpenAI, soprattutto a causa della restituzione delle probabilità per tutte le classi. Questo potrebbe influire sui costi, anche se il prezzo per token è inferiore. L’autore conclude che, pur non essendo un’alternativa completa ai modelli LLM, Jev potrebbe essere utile in contesti specifici, come la classificazione degli intenti o l’analisi di dati strutturati, dove la velocità e la confidenza sono fattori chiave.

Nonostante i vantaggi, l’autore sottolinea che i benefici reali dipendono dal contesto d’uso e che i risultati dei benchmark non sempre si traducono in miglioramenti diretti. È quindi importante testare il modello su compiti specifici e valutare i vantaggi in base alle esigenze effettive. In sintesi, Jev rappresenta un passo avanti nella direzione della decision-making AI, ma non è una soluzione universale. La scelta del modello dipende dal contesto e dalle esigenze specifiche.