Costi dei modelli frontiera e popolarità dei modelli open-weight spingono domanda per il routing dei modelli
Glean spiega come il routing dei modelli riduce i costi per le aziende e come i modelli open-weight stanno guadagnando popolarità.
Il costo crescente dei modelli frontiera e la popolarità dei modelli open-weight stanno spingendo le aziende a cercare soluzioni di routing dei modelli per ridurre i costi e migliorare l’efficienza. Glean, una società specializzata nell’introduzione dell’AI nei grandi organismi, ha sviluppato un sistema di routing dei modelli che permette di selezionare il modello più adatto per ogni compito, evitando l’uso inutile di modelli avanzati. Questo approccio, spiegato da Arvind Jain, CEO di Glean, ha contribuito a un aumento significativo dell’interesse per i modelli open-weight, in particolare a causa dei loro costi inferiori rispetto ai modelli frontiera.
Modello di routing e costi dei modelli frontiera
Il routing dei modelli è diventato una componente chiave nell’implementazione dell’AI all’interno delle aziende, soprattutto a causa dell’aumento esponenziale dei costi associati ai modelli frontiera. Glean, fondata nel 2019 e guidata da Arvind Jain, ha sviluppato un sistema che permette di selezionare dinamicamente il modello più adatto per ogni compito, riducendo così l’uso di modelli avanzati quando non necessari. “Un grande obiettivo di Glean è evitare l’uso di modelli LLM per compiti in cui non sono necessari”, ha spiegato Jain. “A volte si vedono query in Glean in cui le persone stanno aggiungendo due numeri o moltiplicando due numeri. Potrebbero usare un calcolatore per farlo.”
Un altro aspetto chiave del sistema di routing di Glean è il modello Waldo, introdotto nel mese di aprile come “il primo modello di ricerca agente di Glean”. Waldo riduce il latenza del 50% e il numero di token del 25%, riservando i modelli avanzati solo per compiti che richiedono una maggiore potenza. “Waldo decide come suddividere la domanda, quali strumenti utilizzare, cosa leggere successivamente e quando ha abbastanza dati per passare a un modello frontiera per una risposta di alta qualità”, ha spiegato Jain. Questo processo di routing permette a Glean di selezionare i modelli più adatti, riducendo i costi e migliorando l’efficienza.
Modelli open-weight e loro impatto sui costi aziendali
La crescente popolarità dei modelli open-weight, come Kimi K3 e Qwen3.8-Max, ha portato un interesse significativo da parte delle aziende, principalmente a causa dei loro costi inferiori rispetto ai modelli frontiera. “L’uso dei modelli open source era minimo l’anno scorso e nessuno li considerava seriamente”, ha detto Jain. “Ma negli ultimi tre mesi, a causa del costo elevato dell’AI, le aziende hanno iniziato a trovare insostenibile mantenere questi investimenti.” Glean ha rilevato che i modelli open-weight possono offrire un’alternativa economica e potente, specialmente quando si tratta di compiti complessi ma non richiedenti modelli avanzati.
Un altro aspetto chiave nel successo di Glean è il feedback umano, che permette di migliorare continuamente il sistema di routing. “Siamo in grado di osservare come gli utenti utilizzano l’AI in modo molto ampio”, ha detto Jain. “Possiamo vedere quando utilizzano diversi tipi di compiti, quali modelli selezionano inizialmente e quando non sono soddisfatti e passano a un altro modello che fornisce risultati corretti.” Questo feedback a livello di massa aiuta a migliorare il sistema di routing, rendendolo più efficiente e adatto alle esigenze delle aziende.
Con l’aumento dell’adozione dell’AI all’interno delle aziende, Glean sta diventando un’alternativa sempre più popolare per le aziende che cercano soluzioni economiche e potenti. Il sistema di routing dei modelli, combinato con l’uso di modelli open-weight, sta contribuendo a una transizione verso un’implementazione più completa e integrata dell’AI all’interno delle organizzazioni. Questo trend, che Glean sta monitorando attivamente, potrebbe segnare una nuova era per l’uso dell’AI nel settore aziendale. Il routing dei modelli permette a Glean di selezionare dinamicamente il modello più adatto per ogni compito. La popolarità dei modelli open-weight è cresciuta a causa dei loro costi inferiori rispetto ai modelli frontiera.