Overfitting: waarom wedmodellen die briljant backtesten in de echte wereld geld verliezen

Je hebt de zomer doorgebracht met het bouwen van een voetbalmodel. Vorm uit de laatste vijf wedstrijden, splits op thuis en uit, schoten, een flinke portie scheidsrechterdata en een filter voor koers tussen de 3,20 en 3,60. Je draait de backtest over het afgelopen Premier League-seizoen en het spuit een +25% rendement uit. Je bent al bezig met het shoppen van een nieuwe auto.

Dan begint het seizoen en het model bloedt geld vanaf het eerste weekend.

Het is het meest herkenbare verhaal in de wed-analytics, en het heeft een naam: overfitting. Het model heeft geen edge gevonden. Het heeft het afgelopen seizoen gevonden. Elke quirk, elke toevallige goal, elke regenachtige dinsdagwinst is erin gebakken alsof het een wet van het voetbal was, en niets daarvan komt weer terug.

Hier is het goede deel. Overfitting is te verslaan, en de oplossingen zijn simpel, al zijn ze niet glamour. Houd de toekomst uit je data. Tel hoeveel ideeën je hebt geprobeerd. Test op wedstrijden die het model nooit heeft gezien, score probabilities correct en meet alles af tegen de closing line. Doe dat en je weet of je model werkt voordat de bookmakers het je op dure manier laten weten. Onze lijn is bluntness: als je model de closing line niet kan verslaan, dan werkt het niet.

"Is de aap die Hamlet typte eigenlijk een goede schrijver?"
— Model Selection and Model Averaging (2008)

Die regel gaat direct tot de kern. Een model dat het verleden perfect dekt, heeft niet per se iets geleerd, net zo weinig als een aap die per toeval Shakespeare typt een toneelschrijver is. Statistici definiëren overfitting als een analyse die "te nauw of exact correspondeert met een specifieke dataset" en daardoor toekomstige observaties niet betrouwbaar kan voorspellen. In gewone woorden heeft het model ruis voor structuur aangenomen.

Denk aan een student die het examen van vorig jaar letterlijk uit het hoofd heeft geleerd. Geef hem hetzelfde examen en hij scoort 100%. Geef hem een nieuw exemplaar en hij zit vast. Een wedmodel met tientallen kenmerken, afgeleid op slechts één Premier League-seizoen, met maar 380 wedstrijden en 38 per team, heeft veel meer vrijheid dan die data kan rechtvaardigen. Het zal met veel enthousiasme "leren" dat Team X wint als het op een dinsdag regent.

Voetbal maakt dit erger dan in de meeste andere sporten. Doelpunten zijn zeldzaam, dus individuele uitkomsten zijn vol ruis, en na een paar honderd weddenschappen lijken een goed model en een gelukkige gok bijna identiek. Push het tot het extreme en een model met zo veel parameters als er wedstrijden zijn, kan de trainingsdata perfect reproduceren, maar valt dan plat in de volgende wedstrijd.

De waarschuwingssignalen

• De backtest is spectaculair, de live-resultaten zijn geweldig. Een beetje daling is normaal (statistici noemen dit shrinkage), maar een afgrond is het niet.
• Pas een drempelwaarde aan en de winst verdwijnt. Echte edges overleven kleine veranderingen. Overfitted edges niet.
• De winnende regel is opvallend specifiek. "Uitteams, maandagen, koers 3,20 tot 3,60" is de vingerafdruk van ruis, niet van inzicht.

Underfitting is het tegenovergestelde falen: een model dat te simpel is om echte patronen te vangen, alsof je een rechte lijn door een curve trekt. Het ideale punt is wat Burnham en Anderson de principie van parsimonie noemden, zo simpel mogelijk en alleen zo complex als de data het écht ondersteunt. Voor wedders gaan we verder. Simpel is beter dan slim, totdat slim zich bewezen heeft buiten de data.

Leakage is de sluikere neef van overfitting. Je model wordt gevoed met informatie die je op het moment dat je de wed zou plaatsen nooit zou hebben kunnen hebben, en de backtest oogst briljant, omdat het effectief de krant van morgen heeft gelezen.

De klassieke wedleak zit in de gratis historische data waarmee de meeste hobbyisten beginnen. De resultatenbestanden van Football-Data.co.uk bevatten pre-match quotes van een reeks bookmakers en, met dezelfde code plus een extra "C", ook de closing quotes: B365CH is de closing home-win quote van Bet365, en de kolommen van Pinnacle volgen hetzelfde patroon (PSH voor de pre-closing quote, PSCH voor de close). Closing quotes zijn superieure informatie. Gebruik ze als een feature en wed dan "op" een eerdere quote, of claim value tegen een getal dat je nooit had kunnen krijgen, en je backtest is fictie.

Stel dus voor elke feature één vraag: op het exacte moment dat ik deze wed plaats, zou ik dit getal hebben kunnen weten?

Twee stillere leaks vangen ook ervaren modelleurs. Features schalen of selecteren op het hele dataset voordat je het split, laat toekomstige wedstrijden bepalen hoe het verleden wordt gelezen. En teamsterkeratings geschat uit de volledige dataset dragen kennis van resultaten die nog niet waren gebeurd. De oplossing is saai maar onschalkbaar: geef elke feature een tijdstempel en gooi alles weg dat na je wed zou zijn binnen gekomen.

Look-ahead bias is een close relative van leakage, en het zit vaak in de odds-colom in plaats van in de features. Als je backtest met prijzen die pas na het teamnews zijn bijgewerkt, of met een speelschema dat achteraf is bijgewerkt, dan bedrieg je je zelf onopgemerkt.

De grootste zondiger is de “beste odds”-kolom. Backtesten op de beste prijs bij zo’n twintig bookmakers gaat ervan uit dat je bij allemaal een account had en dat ze allemaal je volledige stake aannamen. Zo werkt het leven niet. Het paper uit 2017 van Kaunitz, Zhong en Kreiner, Beating the bookies with their own numbers, meldde een strategie die winstgevend was in een simulatie van 10 jaar op closing odds, een simulatie van 6 maanden op minute-van-minute odds en 5 maanden met echte inzetten. Ze beschreven ook hoe bookmakers hun accounts blokkeerden zodra ze winst gingen maken.

Daar zit het hele punt. Zelfs een strategie die werkt kan tegen prijzen en stakes aan lopen die je in de praktijk gewoon niet kunt krijgen. Backtest op een prijs die je realistisch zou kunnen hebben gehaald, met de stake die je realistisch zou hebben mogen inzetten, en beschouw alles daarboven als een bonus. Als je model op machine learning steunt, is onze gids over of machine learning de bookmakers kan verslaan de natuurlijke volgende leestip.

Dit is de valstrik waarin bijna iedereen valt, omdat je niets hoeft mis te doen om er in te belanden. Je hoeft alleen maar veel ideeën te proberen.

Statistici noemen dit data dredging, data snooping of p-hacking. Op het gangbare significantieniveau van 5% lijkt een op de twintig nutloze ideeën puur toevallig "significant". Test je genoeg van deze ideeën, dan is het vrijwel zeker dat er een aantal zo lijkt. De wiskunde is kort:

Kans dat minstens een van m nuteloze tests significant lijkt
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Een eenvoudige simulatie toont wat dit betekent voor een wedstelsel. Neem honderd stelsels die puur ruis zijn, elk met 300 wedden bij decimal odds van 2,00 (even in fracties), waarbij de echte kans op winnen 47,6% is (een eerlijke 50% minus de typische bookmaker margin). Elk van deze stelsels heeft een ingebouwde verlies van ongeveer 4,8% per wed. Herhaal het hele experiment 200 keer en het beste uitziende stelsel van de honderd toont een mediane return van ongeveer +9,3%.

Echte ROI per stelsel         = 2,00 x 0,476 - 1  = -4,8%
SD van ROI over 300 wedden    = 1,0 / sqrt(300)   ≈ 5,8 punten
Beste van 100 (mediaan)       ≈ +9,3%
Afstand van de echte waarde    ≈ 14,1 / 5,8        ≈ 2,4 standaardafwijkingen

Die "winnaar" is geluk en niets anders. En je hoeft niet opzettig 100 stelsels te bouwen om dit te bereiken. Elke keer dat je van liga wisselt, een odds band aanpast, een formaatsvenster verandert of een feature toevoegt en opnieuw draait, heb je weer een ander stelsel geproefd. Je bent je eigen multiple-testing machine.

Hoe je jezelf kunt verdedigen

Schrijf je hypothese en je succesmaatstaf op voordat je naar de data kijkt. Houd een lopende teller bij van elke variant die je probeert, en verhoog de latelijn naarmate dat aantal stijgt; dat is de gedachte achter correcties zoals Bonferroni (deel je significantieniveau door het aantal tests) en de mildere Holm-Bonferroni. Kies voor modellen met weinig parameters en een voetballelijke reden om te bestaan. Een glanzend backtest kan geen edge fabriceren die er niet is, net zo weinig als staking systemen zoals Martingale een verliezende wed in een winnende kunnen omtoveren.

Scheur het data niet willy-willy in een trainingset en een testset. Een willekeurige split laat het model leren van wedstrijden die na de testwedstrijden gespeeld zijn, wat een leak is op zich, en mengt de vorm van dezelfde teams in beide stapels. In het wedden is tijd de enige eerlijke manier om de data te knippen.

De standaard methode is walk-forward validation. Train op seizoenen één tot en met vijf, test op seizoen zes. Dan train op één tot en met zes, test op zeven, en zo rollend door. Stel je instellingen af op die validatieseizoenen en nergens anders. Elke stap is een exacte weerspiegeling van wat je in het echt gaat tegenkomen: alles wat tot vandaag bekend is, gevolgd door een reeks wedstrijden die je nog nooit hebt gezien.

Dan komt het finale examen. Houd het meest recente seizoen achter en laat het onaangetast terwijl je bouwt. Je krijgt één blik. Kijk, pas aan en kijk weer, en het is niet meer onzien. Het is een andere validatiestapels geworden, en je overfitting door je eigen beslissingen, met één onschuldige aanpassing tegelijk.

Daarna komt de gouden standaard: paper trading. Noteer je voorspellingen vóór de aftrap, met tijdstempel, voor een paar honderd wedstrijden voordat er een cent op gaat. Na zeven weken van het seizoen 2026/27 is het huidige seizoen verre van groot genoeg om een model alleen op basis daarvan te beoordelen, en dat is precies het punt. Je hebt honderden echte out-of-sample voorspellingen nodig, geen hot start. Onze complete gids voor het opbouwen van een wedmodel loopt stap voor stap door het opzetten van die pipeline van scratch.

Vraag de meeste mensen hoe goed hun model is en ze noemen accuraatheid: hoe vaak de top-tip won. Voor het wedden is dat vrijwel nutloos. Zet elke week op de favoriet en je lijkt heel erg "accuraat", maar de koers heeft de favoriet al in prijs gesteld, dus je verdient er niks mee. Wat oplevert is als je de kans goed raadt, vooral als die afwijkt van wat de markt verwacht.

Dat is calibratie. Als je 40% zegt, gebeurt het dan ook zo'n 40% van de tijd? Drie scores meten dit correct, en ze zijn allemaal "proper" scoring rules, wat betekent dat je verwachte score het beste is als je rapporteert wat je écht gelooft.

Brier score (één ja/nee-event)  = (p - o)^2
  70% prognose, het gebeurt:       (0,7 - 1)^2 = 0,09
  70% prognose, het gebeurt niet:       (0,7 - 0)^2 = 0,49
  Altijd 50% zeggen:              0,25  (de "ik-heb-geen-idee" score)

Log loss = -ln(kans die je gaf aan wat er in werkelijkheid gebeurde)
  80% op de winnaar:  0,22      8% op de winnaar:  2,53

RPS (drie-weg, georderd Thuis / Gelijk / Uit)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Brier, geïntroduceerd door Glenn Brier in 1950, is de gemiddelde kwadratfout van je kansen, en hoe lager, hoe beter. Log loss is keihard voor zelfverzekerde fouts. De Rank Probability Score respecteert het feit dat een thuisslag "dichter" bij een gelijkspel zit dan bij een uitwedstrijdswinst, en Constantinou en Fenton stelden in 2012 dat dit de regel is die voetbalprognosemodellen correct beoordeelt.

Neem een voorbeeldwedstrijd met drie prognostici: een zinnig model (55/25/20), de markt (45/28/27) en een overconfident model (80/12/8).

Voorbeeldcijfers. Lager is beter.

De overconfidente prognosticus lijkt een genius als de thuisploeg wint, maar wordt anderszins genakt. Accuraatheid zou de prognoses van 55% en 80% identiek scoren. Alleen gemiddeldes over honderden wedstrijden onthullen wie ge calibreerd is, dus combineer de scores met een calibratietafel: groepeer je prognoses (0-10%, 10-20% enz.) en check de hitrate per groep.

Waarom het voor winst uitmaakt

Walsh en Joshi testten dit op NBA-data, waarbij ze modellen trainden over meerdere seizoenen en weddenschappen draaiden op één out-of-sample seizoen met gepubliceerde koersen. Modellen kiezen op basis van calibratie leverde gemiddeld +34,69% op, tegen -35,17% bij keuze op basis van accuraatheid. Het is basketbal en een enkel testseizoen, dus beschouw het als sterke onderbouwing van het principe in plaats van een recept. Maar het is een principe waar we elk model omheen bouwen: score kansen, niet tips.

Elke scoringsregel heeft een tegenstander nodig, en de zwaarste die er is, is gratis: de afsluitprijs van de bookmaker met de margin eruit. Zet de odds eerst om in kansen, en daarna verwijder de overround.

Voorbeeldprijzen: Thuis 2,20, Gelijk 3,40, Uit 3,50

Impliciet:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Totaal  =  103,44%  -> overround 3,44%

Fair:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Draai je Brier, log loss en RPS op die fair afsluitkansen over dezelfde wedstrijden als je model. Als je model ze niet verslaat, voegt het niets toe wat de markt niet al weet, en je betaalt de margin voor het privilege. De close is zo moeilijk te verslaan omdat hij alle teamnews en het scherpste geld heeft opgezogen. Pinnacle zelf zegt dat hun limieten stijgen van ongeveer $3.000 bij vroege NFL-lines tot meer dan $100.000 aan het afsluiten, naarmate de cijfers vastzitten.

Dat maakt de close niet onverslaanbaar. Kaunitz en collega's claimden hem in simulatie te verslaan, en de studie van Hubacek, Sourek en Zelezny uit 2019 stelde dat een model bewust ontkoppeld moet zijn van de bookmaker, omdat een model dat alleen maar de odds naagt geen waarde kan vinden. De close consistent te verslaan is zeldzaam, en dat is precies waarom het de juiste maatstaf is.

Track closing line value (CLV) op elke wed

Closing line value vergelijkt de prijs die je nam met de finale. Pinnacle noemt het consistent verslaan van de close "een van de sterkste indicatoren" van een sharp bettor, en het levert veel sneller resultaten dan winst, die in het begin te ruisig is om op te vertrouwen. Een ruwe regel voor odds rond de 2,00 laat waarom zien:

CLV = odds genomen / closing odds
Je neemt 2,20, het sluit af op 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Benodigde wedden om een edge van geluk te onderscheiden (ongeveer 95% confidentie)
  ≈ (2 x SD per wed / edge)^2
  SD per wed bij odds 2,00 ≈ 1,0
  5% edge:  (2 x 1,0 / 0,05)^2 = 40^2 = 1,600 wedden

Dat is ongeveer 1,600 wedden om een edge van 5% alleen maar op basis van resultaten te bewijzen, meer dan de meeste spelers ooit zullen loggen. Positieve CLV over een paar honderd wedden vertelt je veel sneller of je iets in de hand hebt, wat de reden is waarom het in het hart van proper value betting zit.

• Klop de closing odds of gooi het model weg. Als je eerlijke kansen de closing odds zonder marge niet verslaan, is je model een hobby, geen edge.
• Stempel alles met een tijdstip. Elke feature die je niet kon weten op het moment dat de wedden ging in, is een leak, en leaks maken van elke backtest een heldenfeite.
• Tel je pogingen. Tweintig aanpassingen betekent een 64% kans dat iets per toeval goed lijkt. Verhoog de lat naarmate het aantal pogingen stijgt.
• Splits op tijd, nooit op willekeur. Loop vooruit seizoen per seizoen en geef het meest recente seizoen precies één blik.
• Score kansen, niet picks. Brier, log loss en RPS plus een kalibratietabel vertellen je meer dan elke strike rate.
• Backtest op prijzen die je echt kunt krijgen. Backtests met de beste kansen over de hele markt negeren limieten en beperkte stakes.
• Paper-trade eerst, dan kleine stakes. Een paar honderd met een tijdstip gemerkte forecasts met positieve CLV zijn meer waard dan elke backtest die je ooit zal draaien.

Wat je model ook zegt, houd je stakes vast aan een vaste, betaalbare fractie van je bank en jaag nooit op een slechte week door ze te verhogen.

• Hoe bouw je een sportweddensmodel: de complete gids
• AI in sportweddens: kan machine learning de bookmakers verslaan?
• Closing line value (CLV) uitgelegd
• Boekmakersmarge en eerlijke koers: hoe verijd je de vig
• Value betting in het voetbal: hoe vind je EV-weddens

18+. Wets verantwoord. Voor gratis, vertrouwelijk support ga je naar BeGambleAware.org.