Mistral scommette sui modelli compatti per le serie temporali

Per chi programma la produzione, leggere il valore di un sensore è solo una parte del lavoro. Serve anche capire come potrebbe cambiare, con quanta incertezza e quali conseguenze per l'impianto. È un problema classico dell'analisi predittiva; la novità proposta da Mistral riguarda il modo di affrontarlo.

Nell'annuncio del modello, Mistral presenta Timestral come la sua prima famiglia di foundation model per serie temporali: modelli preaddestrati per prevedere l'evoluzione di dati ordinati nel tempo. La proposta combina previsioni su più variabili, una rappresentazione dell'incertezza e dimensioni abbastanza contenute da consentire, secondo il laboratorio, l'esecuzione anche su CPU.

Che cosa cambia rispetto a ripartire da zero

Le serie temporali attraversano già molte decisioni aziendali: capacità produttiva, energia, catena di fornitura, rischio e manutenzione. Comprendono tanto la telemetria dei sensori quanto le metriche usate per osservare il funzionamento dei sistemi informatici. Il problema non è trovare un impiego alle previsioni. Gli impieghi ci sono da tempo.

In fabbrica, una previsione può collegare l'andamento dei sensori al programma di produzione, aiutare a individuare derive prima di un guasto e sostenere la pianificazione di ricambi e capacità su migliaia di apparecchiature. In finanza, flussi, volumi e volatilità possono orientare posizioni, coperture e gestione della liquidità su migliaia di conti.

Per affrontare questi problemi esistono strumenti consolidati, come ARIMA e regressione lineare. Sono spesso adattati alla singola serie, dalla cui storia ricavano le informazioni necessarie alla previsione. Modelli di deep learning come PatchTST possono invece apprendere relazioni non lineari fra molte serie, ma vengono ancora spesso addestrati da zero per ogni dataset. Ciò che imparano non diventa automaticamente una base riutilizzabile in un altro settore.

Un foundation model sposta una parte di questo lavoro nel preaddestramento. L'obiettivo è apprendere schemi da un insieme ampio e diversificato di dati, per poi applicarli anche a serie mai incontrate prima. È lo stesso principio generale che ha reso importante il preaddestramento nei modelli linguistici, rivolto però a un altro tipo di informazione.

Qui entra in gioco lo zero-shot: produrre previsioni senza un ulteriore addestramento sul dataset di destinazione. Non significa lavorare senza dati; la storia della serie resta un ingresso del modello. Significa non dover ricostruire ogni volta tutte le capacità da zero, una prospettiva interessante soprattutto quando i dati disponibili nel nuovo dominio sono pochi.

Prevedere più grandezze, insieme alla loro incertezza

Timestral viene presentato come multivariato: può elaborare previsioni relative a più serie collegate. Un esempio possibile è considerare insieme produzione solare, produzione eolica e carico energetico, invece di trattare ogni grandezza come un problema completamente isolato.

La componente probabilistica riguarda un'altra distinzione importante. Una previsione non deve necessariamente limitarsi a un unico valore: può rappresentare anche la distribuzione degli esiti possibili. Per chi deve prendere una decisione, sapere quanto sia incerta una stima può contare quanto la stima stessa.

Il supporto alle covariate aggiunge contesto. Sono informazioni ausiliarie che aiutano a spiegare l'andamento della serie. Mistral indica sia variabili disponibili soltanto nel passato sia variabili già note per il periodo da prevedere, come un programma di produzione. Conoscere il calendario futuro non equivale a conoscere in anticipo il comportamento dei sensori, ma può aiutare a interpretarlo.

Le funzionalità descritte comprendono anche covariate categoriche, cioè informazioni espresse attraverso categorie. La ricetta tecnica annunciata combina preaddestramento su dati sintetici, meccanismi di attenzione che tengono conto delle covariate e capacità di usare contesti storici lunghi. Il punto comune è dare al modello una base più ricca della sola sequenza di valori da prolungare.

Quattro taglie e primati dichiarati

La famiglia comprende quattro dimensioni: 5, 28, 123 e 209 milioni di parametri. Tutte condividono architettura e ricetta di addestramento. Le versioni maggiori sono proposte per ottenere più accuratezza; quelle minori per ridurre tempi e costi di esecuzione.

Per il modello da 209 milioni di parametri, Mistral rivendica il primo posto in tre benchmark pubblici e il superamento del precedente riferimento con circa due terzi dei suoi parametri. Fra i confronti citati c'è GIFT-Eval, con 83 voci relative a modelli preaddestrati e valutazioni zero-shot. Il laboratorio segnala inoltre di avere inviato i risultati alle classifiche pubbliche.

Un'altra dichiarazione riguarda l'intera famiglia: ogni taglia si collocherebbe sulla frontiera di Pareto fra accuratezza e dimensione. In termini meno accademici, tra i modelli pubblici considerati non ci sarebbe un'alternativa almeno altrettanto piccola e più accurata. Non è soltanto una gara a chi ottiene il punteggio migliore con il modello più grande.

Il vantaggio descritto non appare però enorme in ogni confronto. Arrivare primi e distanziare nettamente gli altri sono due cose diverse. Anche un miglioramento contenuto può avere interesse quando si producono milioni di previsioni, senza per questo diventare un salto di prestazioni di un altro ordine di grandezza.

La possibilità di lavorare senza GPU

Mistral dichiara che per l'inferenza, cioè l'esecuzione del modello per produrre previsioni, non è necessaria una GPU. Nel caso riportato, una CPU con otto thread impiega circa 10 millisecondi con il modello da 5 milioni di parametri per prevedere un giorno, partendo da tre settimane di osservazioni a intervalli di 15 minuti. Le condizioni del confronto contano: non è un tempo universale per qualsiasi serie.

La taglia da 28 milioni viene descritta come cinque volte più rapida rispetto a quella da 209 milioni. Per il modello da 123 milioni viene indicato uno scarto di punteggio dello 0,2% rispetto al maggiore, con una latenza pari a circa tre quarti. Sono confronti che rendono concreta la scelta fra dimensione, accuratezza e velocità.

Da qui nasce una possibilità interessante per l'industria: eseguire il modello più piccolo direttamente sul computer di una macchina, senza dipendere dal cloud per ogni previsione. Potrebbe consentire un'analisi locale del suo andamento. Resta una prospettiva condizionata all'hardware disponibile, non una conseguenza automatica del basso numero di parametri: anche una soluzione compatta richiede una CPU adeguata al lavoro.

Una base da usare o adattare

I modelli vengono presentati come basi già utilizzabili in modalità zero-shot. L'adattamento ai dati proprietari resta un'opzione distinta: il fine-tuning può specializzare il modello rispetto a un dominio, anziché costruirlo dall'inizio. Mistral indica Mistral Forge per questo percorso e prospetta anche estensioni con covariate specifiche del settore.

Il progetto è indicato come disponibile su GitHub e i modelli come scaricabili da Hugging Face. La licenza annunciata è una MIT modificata: la disponibilità dei pesi non va quindi confusa con una dichiarazione di riuso senza condizioni.

Per noi, l'aspetto strategico è questo: un laboratorio europeo guarda oltre i modelli linguistici e si rivolge a problemi molto presenti nella manifattura e nelle altre attività economiche. La novità non è aver inventato le previsioni. È proporre una base preaddestrata, disponibile in più dimensioni, che si possa usare direttamente oppure adattare ai propri dati. Se le prestazioni dichiarate reggono nei diversi impieghi, è un modo concreto di portare i vantaggi del preaddestramento nelle decisioni di industria, energia e finanza.