Il conto dell'AI, e il router che lo riduce

La fase pilota è finita. E ora arriva il conto.

Sempre più aziende si scontrano con la stessa cosa: i progetti pilota sull'AI sono finalmente diventati veri rilasci, con un effetto reale sul business. Ed è logico, perché ormai è chiaro che l'AI può davvero creare valore, e su una scala molto più ampia rispetto alle precedenti ondate di automazione.

Proprio per questo diventa visibile ciò che c'era da sempre, ma era troppo piccolo per farsi notare: l'AI su larga scala può diventare parecchio costosa. L'Handelsblatt ne ha scritto questa settimana.

Con l'AI agentica in particolare la cosa corre. Una singola domanda di un utente innesca sullo sfondo decine o centinaia di chiamate al modello. Un agente che lavora un'ora per conto suo fa girare il contatore parecchio.

Per fortuna nel mondo dell'AI le cose si muovono a una velocità enorme, e l'argomento più caldo del momento è proprio la risposta a questo problema. Non tutte le chiamate hanno bisogno del modello più costoso. All'interno di una stessa famiglia di modelli il divario di prezzo tra il più piccolo e il più grande arriva facilmente a un fattore da 18 a 100. E la gran parte di quello che fa un agente è lavoro di routine: riassumere, formattare, richiamare uno strumento. Per quello non serve un modello di frontiera.

Ed ecco: il model router.

Un model router è un piccolo modello di AI che fa da vigile urbano e decide, chiamata per chiamata, quale modello è abbastanza buono. Compito semplice? Modello piccolo ed economico. Analisi difficile? Si tira fuori quello grosso. ChatGPT lo fa internamente già da GPT-5, Microsoft ha ormai un prodotto dedicato, e con strumenti open source come LiteLLM ti costruisci da solo questo strato tra l'applicazione e i modelli.

I fornitori dichiarano risparmi dal 40 al 70%.

Osservazioni (sì, ci sono anche quelle):

• Quelle percentuali arrivano da chi i router li vende. Prendile con abbondante sale.
• Il router è a sua volta un modello, quindi può anche sbagliare stima. Senza una misura della qualità non sai quanto ti costa il tuo risparmio.
• Token più economici non ti sollevano dalla domanda: che cosa ci rende questo flusso di lavoro AI? Tagliare i costi senza conoscere il ritorno è contabilità con una colonna sola.

Quest'ultimo punto è, per noi di BrA1n, il vero segnale. Le aziende che affrontano la cosa in modo sistematico, costo e valore per flusso di lavoro, sono le aziende in cui l'AI sta diventando adulta. È per questo che abbiamo sviluppato il BrA1nScan.

La tua organizzazione sa quanto costano i suoi flussi di lavoro AI? E quanto rendono?