Un errore di capitalizzazione ha reso inutilizzabile il mio bot di supporto AI, e non era nel modello nuovo
Un errore di capitalizzazione ha reso inutilizzabile il mio bot di supporto AI, e non era nel modello nuovo
Un errore di capitalizzazione ha reso inutilizzabile il mio bot di supporto AI, e non era nel modello nuovo. Il problema si è verificato in un’applicazione testata su 47 messaggi reali di clienti, dove il modello in produzione ha continuato a fornire risposte con un’etichetta “Request_refund” in maiuscolo, mentre il sistema atteso richiedeva “request_refund” in minuscolo. Il modello più recente, invece, ha sempre rispettato la forma corretta, evitando di causare errori di formattazione o di accuratezza. Questo caso ha messo in luce un problema comune: un modello può sembrare corretto per un utente, ma essere inadatto per un sistema che dipende da una formattazione precisa.
La formattazione è la chiave per il successo
Il sistema di supporto AI utilizzato richiede risposte in formato JSON, con quattro campi specifici: intent, priority, needs_human e reply. Ogni campo deve rispettare una specifica, come l’etichetta esatta per “intent” e i valori previsti per “priority”. Se un campo manca o è scritto in modo diverso, il programma non riesce a interpretare la risposta, causando errori silenziosi. Il modello in produzione ha continuato a fornire “Request_refund” con la prima lettera maiuscola, un errore che il sistema non poteva rilevare automaticamente. Il modello più recente, invece, ha sempre usato la forma corretta, evitando di causare problemi.
Il modello in produzione ha commesso un errore sistematico, mentre il modello nuovo ha rispettato le specifiche. Questo ha dimostrato che il modello più recente non solo ha migliorato l’accuratezza, ma ha anche ridotto il rischio di errori di formattazione. Il sistema ha incluso un “checker” rigoroso che verifica se le risposte rispettano le regole specifiche, come la validità del JSON, la presenza dei campi richiesti e l’uso di etichette corrette. Il modello in produzione ha continuato a violare queste regole, mentre il modello nuovo ha sempre rispettato le specifiche.
Un test rigoroso ha rivelato il problema
Per verificare il comportamento dei modelli, sono stati utilizzati 47 messaggi reali di clienti, provenienti da un dataset pubblico di dati bancari. Ogni messaggio è stato testato con tre versioni di un modello di OpenAI: un modello più vecchio, uno in produzione e uno nuovo. Il modello in produzione ha continuato a fornire risposte con un’etichetta “Request_refund” in maiuscolo, causando errori di formattazione. Il modello nuovo, invece, ha sempre rispettato la forma corretta, garantendo una risposta conforme al sistema.
Il modello nuovo ha dimostrato una maggiore conformità al formato richiesto. Questo ha dimostrato che il modello più recente non solo ha migliorato l’accuratezza, ma ha anche ridotto il rischio di errori di formattazione. Il sistema ha incluso un “checker” rigoroso che verifica se le risposte rispettano le regole specifiche, come la validità del JSON, la presenza dei campi richiesti e l’uso di etichette corrette. Il modello in produzione ha continuato a violare queste regole, mentre il modello nuovo ha sempre rispettato le specifiche.
Un ulteriore test ha rivelato che il modello nuovo non solo ha migliorato l’accuratezza, ma ha anche ridotto il rischio di errori di formattazione. Questo è stato verificato confrontando le risposte dei modelli in base a criteri specifici, come la correttezza dell’etichetta e la conformità al formato richiesto. Il modello in produzione ha continuato a fornire risposte con un’etichetta “Request_refund” in maiuscolo, causando errori di formattazione. Il modello nuovo, invece, ha sempre usato la forma corretta, garantendo una risposta conforme al sistema.