Overfitting: perché i modelli di betting che brillano nel backtest perdono soldi veri

Hai passato l'estate a costruire un modello di calcio. Forma degli ultimi cinque, divisioni tra casa e trasferta, tiri, un tocco di dati arbitrale e un filtro per le quote tra 3,20 e 3,60. Lanci il backtest sulla Premier League della scorsa stagione e ti sputa fuori un rendimento del +25%. Stai già sfogliando i cataloghi per una nuova auto.

Poi la stagione si accende e la cosa perde soldi dal primo weekend.

È la storia più conosciuta nell'analisi delle scommesse e ha un nome: overfitting. Il modello non ha trovato un vantaggio. Ha trovato la stagione scorsa. Ogni idiosincrasia, ogni gol fortunato, ogni vittoria bagnata dalla pioggia di un martedì è stata incorporata come se fosse una legge del calcio, e nessuna di queste cose torna.

Ecco la parte buona. L'overfitting è battibile, e le correzioni sono semplici anche se non sono glamour. Tieni il futuro fuori dai tuoi dati. Conta quante idee hai provato. Testa su partite che il modello non ha mai visto, calcola le probabilità correttamente e misura tutto rispetto alla linea di chiusura. Fai così e saprai se il tuo modello funziona prima che i bookmaker te lo dicano nel modo costoso. La nostra linea è netta: se il tuo modello non può battere la linea di chiusura, non funziona.

"La scimmia che ha digitato per caso Il Amlet è davvero una brava scrittrice?"
— Selezione e mediazione dei modelli (2008)

Questa frase va dritta al punto. Un modello che si adatta perfettamente al passato non ha necessariamente imparato nulla, esattamente come una scimmia che produce per caso un testo di Shakespeare non è un drammaturgo. I statistici definiscono l'overfitting come un'analisi che corrisponde "troppo da vicino o esattamente a un particolare set di dati" e quindi non riesce a prevedere in modo affidabile le osservazioni future. In termini semplici, il modello ha scambiato il rumore per la struttura.

Immagina uno studente che memorizza a parola l'esame dello scorso anno. Se gli dai lo stesso esame, ottiene il 100%. Se gli dai uno nuovo, è in tilt. Un modello di scommesse con decine di variabili adattato a una sola stagione di Premier League, con appena 380 partite e 38 per squadra, ha molto più margine di manovra di quanto i dati possano giustificare. Imparerà con entusiasmo che la Squadra X vince quando piove un martedì.

Il calcio rende la situazione peggiore rispetto alla maggior parte degli altri sport. I gol sono rari, quindi i singoli risultati sono rumorosi e su poche centinaia di scommesse un modello decente e un colpo di fortuna sembrano quasi identici. Portando all'estremo, un modello con tanti parametri quanti sono le partite può riprodurre perfettamente i dati di addestramento, per poi crollare completamente alla partita successiva.

I segnali d'allarme

• Il backtest è spettacolare, i risultati live sono mediocri. Un certo calo è normale (i statistici lo chiamano shrinkage), ma un crollo netto non lo è.
• Spostare leggermente una soglia fa evaporare il profitto. I veri vantaggi sopravvivono a piccole modifiche. Quelli derivati da overfitting no.
• La regola vincente è sospettosamente specifica. "Squadre in trasferta, lunedì, quote tra 3,20 e 3,60" è l'impronta digitale del rumore, non dell'ispirazione.

L'underfitting è il fallimento opposto: un modello troppo semplice per catturare i pattern reali, come tracciare una linea retta attraverso una curva. Il punto ideale è ciò che Burnham e Anderson hanno chiamato principio di parsimonia: il più semplice possibile e solo complesso quanto i dati supportano genuinamente. Per i scommettitori andremmo oltre. Il semplice batte l'ingegnoso finché l'ingegnoso non si dimostra valido fuori dal campione.

La leakage è il cugino più furbo dell'overfitting. Al tuo modello vengono alimentate informazioni che non avresti potuto avere nel momento in cui hai effettivamente piazzato la scommessa, e il backtest appare brillante perché ha di fatto letto il giornale di domani.

La perdita di dati classica si annida nei dati storici gratuiti con cui la maggior parte degli appassionati inizia. I file di risultati di Football-Data.co.uk contengono i coefficienti pre-partita da parte di una serie di bookmaker e, usando lo stesso codice con una "C" in più, anche i coefficienti di chiusura: B365CH è il coefficiente di chiusura di Bet365 per la vittoria in casa, e le colonne di Pinnacle seguono lo stesso schema (PSH per il prezzo pre-chiusura, PSCH per la chiusura). I prezzi di chiusura sono informazioni preziose. Usali come feature e poi "scommetti" a un prezzo precedente, o rivendica valore rispetto a un numero che non avresti potuto ottenere, e il tuo backtest sarà una finzione.

Quindi fai una domanda a ogni feature: nel momento esatto in cui piazzerò questa scommessa, avrei potuto conoscere questo numero?

Due perdite più silenziose colpiscono anche i modellatori esperti. Scalare o selezionare le feature sull'intero dataset prima di dividerlo permette alle partite future di influenzare come vengono lette quelle passate. E i rating di forza della squadra stimati dal dataset completo contengono la conoscenza di risultati che non erano ancora avvenuti. La soluzione è noiosa ma infallibile: timestampa ogni feature e scarta qualsiasi cosa che arriva dopo che la tua scommessa sarebbe stata piazzata.

Il bias di previsione è un cugino stretto della perdita di dati, e spesso si nasconde nella colonna dei prezzi piuttosto che nelle feature. Se fai un backtest con prezzi aggiornati dopo le news sulle formazioni, o con un calendario partite riveduto a posteriori, stai barando in silenzio.

Il peggior colpevole è la colonna dei "migliori prezzi". Fare un backtest al miglior prezzo tra una ventina di bookmaker presuppone che tu abbia conti presso tutti e che ognuno di loro accetti la tua puntata intera. La realtà non funziona così. Il paper del 2017 di Kaunitz, Zhong e Kreiner, Beating the bookies with their own numbers, ha riportato una strategia che era profittevole in una simulazione di 10 anni sui closing odds, una simulazione di 6 mesi sui odds minuto per minuto e 5 mesi di scommesse con denaro reale. Hanno anche descritto i bookmaker che limitano i loro conti una volta che iniziano a vincere.

Ecco tutta la lezione. Anche una strategia che funziona può imbattersi in prezzi e stake che semplicemente non puoi ottenere. Fai il backtest a un prezzo che potresti realisticamente aver preso, con lo stake che ti sarebbe realisticamente stato permesso, e considera tutto ciò che va oltre come un bonus. Se il tuo modello si basa sul machine learning, la nostra guida su se il machine learning può battere i bookmaker è la lettura naturale successiva.

È la trappola in cui quasi tutti finiscono, perché non devi fare nulla di sbagliato per incorrervi. Devi solo provare un sacco di idee.

I statisti lo chiamano data dredging, data snooping o p-hacking. Con il livello di significatività standard del 5%, una idea su venti inutile apparirà "significativa" per puro caso. Se ne testi abbastanza, è quasi certo che almeno una lo sarà. I conti sono semplici:

Probabilità che almeno uno dei m test inutili appaia significativo
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Una simulazione semplice mostra cosa succede a un sistema di scommesse. Prendi cento sistemi che sono puro rumore, ognuno con 300 scommesse a quota decimale di 2,00 (quota 1:1 in termini frazionari), dove la vera probabilità di vittoria è 47,6% (il fair 50% con la tipica margine del bookmaker sottratta). Ognuno di questi ha una perdita strutturale di circa 4,8% per scommessa. Ripeti l'intero esperimento 200 volte e il sistema che sembra migliore dei cento mostra un rendimento mediano di circa +9,3%.

ROI reale per sistema         = 2,00 x 0,476 - 1  = -4,8%
Deviazione standard del ROI su 300 scommesse     = 1,0 / sqrt(300)   ≈ 5,8 punti
Migliore di 100 (mediana)        ≈ +9,3%
Distanza dal valore reale    ≈ 14,1 / 5,8        ≈ 2,4 deviazioni standard

Quel "vincitore" è solo fortuna, nient'altro. E non devi costruire 100 sistemi apposta per arrivare a quel punto. Ogni volta che cambi campionato, aggiusti una fascia di quote, modifichi una finestra di forma o aggiungi una caratteristica e rilanci, hai provato un altro sistema. Sei tu stesso la tua macchina di test multipli.

Come difendersi

Scrivi la tua ipotesi e la tua metrica di successo prima di guardare i dati. Tieni un conteggio continuo di ogni variante che provi e alza l'asticella man mano che quel conteggio cresce; è il ragionamento alla base di correzioni come Bonferroni (dividi il tuo livello di significatività per il numero di test) e la più dolce Holm-Bonferroni. Preferisci modelli con pochi parametri e una ragione calcistica per esistere. Un backtest brillante non può creare un vantaggio che non c'è, tanto quanto i sistemi di puntata come il Martingale non possono trasformare una scommessa perdente in una vincente.

Non mescolare mai le partite in modo casuale tra l'insieme di addestramento e quello di test. Una divisione casuale lascia che il modello impari da partite giocate dopo quelle su cui viene testato, il che è di per sé una perdita di informazioni, e mescola la forma delle stesse squadre in entrambi i gruppi. Nel betting, il tempo è l'unico modo onesto per tagliare i dati.

Il metodo standard è la validazione walk-forward. Addestra sulle stagioni da una a cinque, testa sulla sesta. Poi addestra da una a sei, testi sulla sette, e continua così. Regola le tue impostazioni su quelle stagioni di validazione e da nessuna altra parte. Ogni passo riflette esattamente ciò che affronterai in condizioni reali: tutto ciò che è noto fino a oggi, poi una serie di partite che non hai mai visto.

Poi arriva l'esame finale. Metti da parte la stagione più recente e non toccarla mentre costruisci. Hai un solo sguardo. Dà un'occhiata, fai un aggiustamento e guarda di nuovo, e non è più non vista. È diventata un altro insieme di validazione, e stai overfitting attraverso le tue stesse decisioni, un innocuo aggiustamento alla volta.

Dopo arriva lo standard d'oro: il paper trading. Registrare le tue previsioni prima del fischio d'inizio, con timestamp, per diverse centinaia di partite prima di spendere un centesimo. A sette settimane dalla stagione 2026/27, la campagna corrente non è affatto abbastanza grande per giudicare un modello in base a se stesso, e questo è esattamente il punto. Hai bisogno di centinaia di previsioni genuine fuori campione, non di un inizio brillante. La nostra guida completa alla creazione di un modello di betting ti guida passo passo nel setup di quel pipeline da zero.

Chiedi alla maggior parte delle persone quanto sia buono il loro modello e ti citeranno l'accuratezza: quanto spesso la scelta principale ha vinto. Per le scommesse, questo è quasi inutile. Se punti sul favorito ogni settimana, sembrerai molto "accurato", ma le quote hanno già incluso il favorito nel prezzo, quindi non guadagni nulla. Ciò che paga è indovinare la probabilità, soprattutto dove la tua diverge da quella del mercato.

Questa è la calibrazione. Quando dici 40%, succede circa il 40% delle volte? Tre punteggi lo misurano correttamente, e tutti sono regole di scoring "adatte", il che significa che il tuo punteggio atteso è migliore quando riporti ciò che credi genuinamente.

Punteggio di Brier (un evento sì/no)  = (p - o)^2
  Previsione al 70%, si verifica:       (0,7 - 1)^2 = 0,09
  Previsione al 70%, non si verifica:       (0,7 - 0)^2 = 0,49
  Dire sempre 50%:              0,25  (il punteggio "da chi non sa niente")

Log loss = -ln(probabilità data a ciò che è effettivamente accaduto)
  80% sul vincente:  0,22      8% sul vincente:  2,53

RPS (tre esiti, ordinati Casa / Pareggio / Ospite)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Il punteggio di Brier, introdotto da Glenn Brier nel 1950, è l'errore quadratico medio delle tue probabilità, e più basso è meglio. La log loss è brutale sugli errori sicuri. Il Rank Probability Score rispetta il fatto che una vittoria in casa è "più vicina" a un pareggio che a una vittoria in trasferta, e Constantinou e Fenton hanno sostenuto nel 2012 che è la regola che valuta correttamente i modelli di previsione per il calcio.

Prendi una partita illustrativa con tre previsori: un modello sensato (55/25/20), il mercato (45/28/27) e un modello troppo sicuro di sé (80/12/8).

Numeri illustrativi. Più basso è meglio.

Il previsore troppo sicuro di sé sembra un genio quando la squadra di casa vince e viene massacrato negli altri casi. L'accuratezza punterebbe le previsioni al 55% e al 80% allo stesso modo. Solo le medie su centinaia di partite rivelano chi è calibrato, quindi abbina i punteggi a una tabella di calibrazione: raggruppa le tue previsioni (0-10%, 10-20% e così via) e controlla il tasso di successo in ogni gruppo.

Perché conta per il profitto

Walsh e Joshi hanno messo alla prova tutto questo su dati NBA, addestrando modelli su diverse stagioni e conducendo esperimenti di scommessa su una stagione trattenuta con quote pubblicate. Scegliere i modelli in base alla calibrazione ha reso in media +34,69%, contro -35,17% quando si sceglie in base all'accuratezza. È basket e una singola stagione di test, quindi prendilo come un forte sostegno per il principio piuttosto che come una ricetta. Ma è un principio attorno a cui costruire ogni modello: punta le probabilità, non le scelte.

Ogni regola di scoring ha bisogno di un avversario, e il più duro in circolazione è gratis: il prezzo finale del bookmaker con il margine rimosso. Prima converti le quote in probabilità, poi elimina l'overround.

Prezzi esemplificativi: Casa 2,20, Pareggio 3,40, Ospite 3,50

Implicito:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Totale  =  103,44%  -> overround 3,44%

Fair:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Calcola il tuo Brier, log loss e RPS su quelle probabilità fair finali sugli stessi match del tuo modello. Se il tuo modello non li batte, non aggiunge nulla che il mercato non sappia già, e stai pagando il margine per il privilegio. Il closing è così difficile da battere perché ha assorbito le news sulle squadre e i soldi più affilati. Pinnacle stessa dice che i suoi limiti salgono da circa 3.000$ sulle prime linee NFL a oltre 100.000$ al fischio d'inizio man mano che i numeri si consolidano.

Questo non rende il closing imbattibile. Kaunitz e colleghi hanno sostenuto di averlo battuto in simulazione, e lo studio del 2019 di Hubacek, Sourek e Zelezny ha argomentato che un modello deve deliberatamente decorrelarsi dal bookmaker, perché uno che semplicemente rispecchia le quote non può trovare valore. Battere il closing in modo costante è raro, ed è esattamente per questo che è il metro giusto.

Traccia il valore della linea di chiusura (CLV) su ogni scommessa

Valore della linea di chiusura confronta la quota presa con quella finale. Pinnacle definisce il battere costantemente il closing "uno dei più forti indicatori" di un bettatore affilato, e legge molto più velocemente del profitto, che è troppo rumoroso per essere affidabile all'inizio. Una regola approssimativa per quote vicino a 2,00 mostra perché:

CLV = quota presa / quota di chiusura
Prendi 2,20, chiude a 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Scommesse necessarie per distinguere un edge dalla fortuna (circa 95% di confidenza)
  ≈ (2 x SD per scommessa / edge)^2
  SD per scommessa a quota 2,00 ≈ 1,0
  Edge del 5%:  (2 x 1,0 / 0,05)^2 = 40^2 = 1.600 scommesse

Sono circa 1.600 scommesse per dimostrare un edge del 5% solo sui risultati, più di quante la maggior parte dei scommettitori ne registrerà mai. Un CLV positivo su poche centinaia di scommesse ti dice molto prima se sei sulla strada giusta, ed è per questo che si trova al cuore del value betting vero.

• Beati il close o buttali via. Se le tue probabilità fair non superano i closing odds senza margine, il tuo modello è un hobby, non un edge.
• Mettili tutti con data e ora. Qualsiasi feature che non avresti potuto conoscere al momento in cui la scommessa è stata piazzata è una leak, e le leak trasformano ogni backtest in un eroe.
• Conta i tuoi tentativi. Venti tweak significano una probabilità del 64% che qualcosa sembri grande per caso. Alza l'asticella man mano che il numero sale.
• Dividi per tempo, mai a caso. Procedi avanti stagione per stagione e dai alla stagione più recente esattamente un'occhiata.
• Valuta le probabilità, non le scelte. Brier, log loss e RPS più una tabella di calibrazione ti diranno molto più di qualsiasi strike rate.
• Fai il backtest sui prezzi che potresti davvero ottenere. I backtest con le migliori odds sul mercato ignorano i limiti e le stake limitate.
• Prima paper-trade, poi stake piccole. Pochi centinaia di previsioni con data e ora con CLV positivo valgono più di qualsiasi backtest che farai mai.

Qualsiasi cosa dica il tuo modello, mantieni le stake a una fetta fissa e sostenibile della tua banca e non inseguire una settimana negativa aumentandole.

• Come creare un modello di scommesse sportive: la guida completa
• L'IA nelle scommesse sportive: il machine learning può battere i bookmaker?
• Spiegazione del Closing Line Value (CLV)
• Margine del bookmaker e quote giuste: come rimuovere il vig
• Value betting nel calcio: come trovare scommesse con EV

18+. Scommetti in modo responsabile. Per un supporto gratuito e confidenziale visita BeGambleAware.org.