Überoptimierung: Warum Wettdatenmodelle, die im Backtest brillieren, im echten Spiel Geld verlieren

Du bist den ganzen Sommer damit beschäftigt, ein Fußballmodell zu bauen. Form der letzten fünf Spiele, Auf- und Auswärtssplitting, Torschüsse, ein Hauch an Schiedrichterdaten und ein Filter für Quoten zwischen 3,20 und 3,60. Du führst den Backtest über die letzte Premier-League-Saison durch und er spuckt eine Rendite von +25 % aus. Du surfst schon auf der Suche nach einem neuen Auto.

Dann beginnt die Saison und die Sache blutet Geld ab dem ersten Wochenende.

Es ist die bekannteste Geschichte in der Wettanalyse, und sie hat einen Namen: Overfitting. Das Modell hat keinen Vorteil gefunden. Es hat die letzte Saison gefunden. Jede Eigenheit, jeder Zufallstreffer, jeder nasskalte Dienstag-Sieg wurde eingebrannt, als wäre es ein Fußballgesetz, und nichts davon kommt wieder.

Hier ist der gute Teil. Overfitting lässt sich besiegen, und die Lösungen sind einfach, auch wenn sie nicht glamourös sind. Halte die Zukunft aus deinen Daten heraus. Zähle, wie viele Ideen du getestet hast. Teste auf Spielen, die das Modell noch nie gesehen hat, bewerte Wahrscheinlichkeiten korrekt und messe alles gegen die Closing Line. Mach das, und du weißt, ob dein Modell funktioniert, bevor die Buchmacher es dir auf die teure Weise zeigen. Unsere Linie ist klar: Wenn dein Modell die Closing Line nicht schlägt, funktioniert es nicht.

„Ist der Affe, der zufällig Hamlet tippte, wirklich ein guter Schriftsteller?“
— Model Selection and Model Averaging (2008)

Das trifft den Nagel auf den Kopf. Ein Modell, das die Vergangenheit perfekt abbildet, hat nicht unbedingt etwas gelernt – so wenig wie ein Affe, der zufällig Shakespeare tippt, ein Dramatiker ist. Statistiker definieren Overfitting als eine Analyse, die „zu genau oder exakt auf einen bestimmten Datensatz passt“ und daher zukünftige Beobachtungen nicht zuverlässig vorhersagen kann. In einfachen Worten: Das Modell hat Rauschen für Struktur gehalten.

Stell dir einen Studenten vor, der die Klausur aus dem Vorjahr Wort für Wort auswendig lernt. Gibst du ihm dieselbe Klausur, holt er 100 % ab. Gibst du ihm eine neue, ist er ratlos. Ein Wettmodell mit Dutzenden von Merkmalen, das auf eine einzige Premier-League-Saison mit nur 380 Spielen und 38 pro Team angepasst wurde, hat viel mehr Spielraum, als diese Daten rechtfertigen können. Es wird fröhlich „lernen“, dass Team X gewinnt, wenn es am Dienstag regnet.

Der Fußball macht es schlimmer als die meisten anderen Sportarten. Tore sind selten, daher sind einzelne Ergebnisse verrauscht, und über mehrere hundert Wetten hinweg sehen ein gutes Modell und ein glücklicher Tipp fast identisch aus. Push it to the extreme and a model with as many parameters as matches can reproduce the training data perfectly, then fall flat on the very next game.

Die Warnsignale

• Der Backtest ist spektakulär, die Live-Ergebnisse sind durchschnittlich. Ein gewisser Abfall ist normal (Statistiker nennen das Shrinking), aber eine Klippe nicht.
• Du verschiebst einen Schwellenwert und der Gewinn verschwindet. Echte Vorteile überstehen kleine Änderungen. Überoptimierte nicht.
• Die Gewinnregel ist seltsam spezifisch. „Auswärtsmannschaften, Montags, Quoten 3,20 bis 3,60“ ist der Fingerabdruck von Rauschen, nicht von Einsehen.

Underfitting ist der gegenteilige Fehler: Ein Modell, das zu simpel ist, um echte Muster zu erkennen, wie eine gerade Linie durch eine Kurve zu zeichnen. Der Sweet Spot ist das, was Burnham und Anderson das Prinzip der Parsimonie nannten: So einfach wie möglich und nur so komplex, wie die Daten es wirklich unterstützen. Für Wettbewerber würden wir noch weiter gehen. Einfach schlägt Clever, bis Clever sich außerhalb der Stichprobe bewiesen hat.

Leakage ist der schleichendere Cousin des Overfitting. Dein Modell bekommt Infos an die Hand, die zum Zeitpunkt, zu dem du die Wette tatsächlich platzieren würdest, gar nicht verfügbar wären, und der Backtest sieht brillant aus, weil er im Grunde die Zeitung von morgen liest.

Der klassische Betting-Leak sitzt in den kostenlosen historischen Daten, mit denen die meisten Hobbyisten anfangen. Die Ergebnisdateien von Football-Data.co.uk enthalten Vor-Wettquoten von verschiedenen Buchmachern und, mit demselben Code plus einem zusätzlichen „C“, auch die Schlussquoten: B365CH ist Bet365s Schlussquote auf den Heimsieg, und die Pinnacle-Spalten folgen demselben Muster (PSH für den Preis vor der Schließung, PSCH für den Schluss). Schlussquoten sind exzellente Informationen. Verwende sie als Feature und „wetten“ dann zu einem früheren Preis, oder behaupte Value gegenüber einer Zahl, die du nie hättest nehmen können, und dein Backtest ist Fiktion.

Stelle also jedes Feature eine einzige Frage: Kam ich genau in dem Moment, in dem ich diese Wette platziere, in den Genuss dieser Zahl?

Zwei stillere Leaks erwischen auch erfahrene Modellbauer. Das Skalieren oder Auswählen von Features auf dem gesamten Datensatz, bevor du ihn aufteilst, lässt zukünftige Spiele beeinflussen, wie vergangene gelesen werden. Und Teamstärke-Ratings, die aus dem vollständigen Datensatz geschätzt werden, tragen Wissen über Ergebnisse in sich, die zu diesem Zeitpunkt noch nicht stattgefunden hatten. Die Lösung ist langweilig, aber unzerstörbar: stempel jedes Feature mit der Zeit und werfe alles weg, das nach dem Moment deiner Wette ankommt.

Der Look-ahead-Bias ist ein enger Verwandter des Leakage und versteckt sich oft nicht in den Features, sondern in der Quoten-Spalte. Wer bei Backtests mit Preisen arbeitet, die nach der Team-News aktualisiert wurden, oder mit einem Spielplan, der nachträglich angepasst wurde, betreibt still und leise Schwindel.

Der größte Übeltäter ist die „Beste-Quote“-Spalte. Backtests mit der besten Quote über zwanzig oder mehr Buchmacher hinweg gehen davon aus, dass man Konten bei allen geführt hat und dass jeder von ihnen den vollen Einsatz angenommen hat. So funktioniert das reale Leben nicht. Die Studie von Kaunitz, Zhong und Kreiner aus dem Jahr 2017, Beating the bookies with their own numbers, beschrieb eine Strategie, die in einer 10-Jahres-Simulation mit Schlussquoten profitabel war, in einer 6-Monats-Simulation mit Minute-für-Minute-Quoten und in 5 Monaten mit realen Einsätzen. Sie beschrieben auch, dass Buchmacher ihre Konten einschränkten, sobald die Spieler Gewinne verbuchen konnten.

Darin liegt die ganze Lehre. Selbst eine Strategie, die funktioniert, kann auf Preise und Einsätze stoßen, die man schlicht nicht bekommt. Backtestet zu einem Preis, den ihr realistisch hätten ergreifen können, und mit einem Einsatz, den ihr realistisch hätten absetzen dürfen, und behandelt alles darüber hinaus als Bonus. Falls euer Modell auf Machine Learning setzt, ist unser Leitfaden zu der Frage ob Machine Learning die Buchmacher schlagen kann der natürliche nächste Lesestopp.

Das ist die Falle, in die fast jeder stolpert, weil man dafür nichts falsch machen muss. Man muss einfach nur viele Ideen ausprobieren.

Statistiker nennen das Data Dredging, Data Snooping oder p-hacking. Bei der üblichen 5 % Signifikanzstufe wird eine von zwanzig nutzlosen Ideen rein zufällig als „signifikant“ aussehen. Teste genug davon und es ist so gut wie sicher, dass einige davon dazu gehören. Die Mathematik dazu ist kurz:

Wahrscheinlichkeit, dass mindestens m von m nutzlosen Tests signifikant aussehen
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64 %)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4 %)

Eine einfache Simulation zeigt, was das mit einem Wettssystem anrichtet. Nimm hundert Systeme, die reines Rauschen sind, und wende jedes davon auf 300 Wetten an, bei decimalen Quoten von 2,00 (in Bruchteilen: 1:1), wobei die wahre Gewinnchance 47,6 % beträgt (ein fairer 50 % Anteil mit typischer Buchmacher-Marge abgezogen). Jedes dieser Systeme hat einen eingebauten Verlust von etwa 4,8 % pro Wette. Wiederhole das ganze Experiment 200 Mal und das am besten aussehende System von den hundert zeigt eine mediane Rendite von etwa +9,3 %.

Echter ROI pro System         = 2,00 x 0,476 - 1  = -4,8 %
SD des ROI über 300 Wetten    = 1,0 / sqrt(300)   ≈ 5,8 Punkte
Bestes von 100 (Median)       ≈ +9,3 %
Abstand vom echten Wert       ≈ 14,1 / 5,8        ≈ 2,4 Standardabweichungen

Dieser „Sieger“ ist reines Glück und nichts anderes. Und du musst nicht absichtlich 100 Systeme bauen, um dorthin zu kommen. Jedes Mal, wenn du Ligen wechselst, eine Quotenbande anpasst, ein Zeitfenster für die Form änderst oder eine neue Funktion einbaust und dann neu durchläufst, hast du ein weiteres System getestet. Du bist selbst deine Multiple-Testing-Maschine.

Wie du dich schützen kannst

Schreibe deine Hypothese und deine Erfolgsmetrik auf, bevor du dir die Daten anschaust. Halte ein laufendes Auge auf jede Variante, die du testest, und lege die Latte höher, je mehr Varianten du durchprobierst; das ist der Gedanke hinter Korrekturen wie Bonferroni (teile deine Signifikanzstufe durch die Anzahl der Tests) und dem sanfteren Holm-Bonferroni. Bevorzugte Modelle mit wenigen Parametern und einem fußballerischen Grund für ihre Existenz. Ein glänzender Backtest kann keinen Vorteil kreieren, der nicht vorhanden ist, genauso wenig wie Staking-Systeme wie Martingale eine verlierende Wette in eine gewinnende verwandeln können.

Nie Matches zufällig in Trainings- und Testsets aufteilen. Ein zufälliger Split erlaubt es dem Modell, aus Spielen zu lernen, die nach den Testspielen stattfanden – das ist an sich schon ein Leak – und mischt die Form derselben Teams in beide Stapel. Im Wettbereich ist die Zeit der einzige ehrliche Weg, um die Daten zu teilen.

Die Standardmethode ist die Walk-forward-Validierung. Trainiere auf den Saisons 1 bis 5, teste auf Saison 6. Dann trainiere auf 1 bis 6, teste auf 7 und rolle so weiter. Optimiere deine Einstellungen ausschließlich auf diesen Validierungssaisons und nirgendwo else. Jeder Schritt spiegelt genau wider, was du in der Realität zu erwarten hast: alles, was bis heute bekannt ist, gefolgt von einer Serie von Matches, die du noch nie gesehen hast.

Dann kommt die Abschlussprüfung. Halte die jüngste Saison zurück und lass sie in Ruhe, während du das Modell baust. Du bekommst einen einzigen Blick. Wenn du hinsiehst, justierst und wieder hinsiehst, ist sie nicht mehr „unbekannt“. Sie ist zu einem weiteren Validierungssatz geworden, und du überfittest durch deine eigenen Entscheidungen – mit jedem harmlosen Tuning-Schritt.

Danach kommt der Goldstandard: Paper Trading. Notiere deine Prognosen vor dem Anpfiff, mit Zeitstempel, für mehrere hundert Matches, bevor du einen einzigen Cent setzt. Nach sieben Wochen der Saison 2026/27 ist die aktuelle Saison noch lange nicht groß genug, um ein Modell allein darauf zu beurteilen – und genau darum geht es. Du brauchst mehrere hundert echte Out-of-Sample-Prognosen, kein heißes Start. Unser kompletter Leitfaden zum Aufbau eines Wettmodells erklärt Schritt für Schritt, wie du diese Pipeline von Grund auf aufbaust.

Fragt die meisten Leute, wie gut ihr Modell sei, und sie werden die Genauigkeit anführen: Wie oft hat die Top-Auswahl gewonnen? Für den Wetten ist das nahezu nutzlos. Sett ihr jede Woche auf den Favoriten, werdet ihr sehr „genau“ aussehen, aber die Quoten haben den Favoriten bereits eingepreist, also verdient ihr nichts. Was sich lohnt, ist die Wahrscheinlichkeit richtig zu treffen, insbesondere dort, wo eure Sicht vom Markt abweicht.

Das ist die Kalibrierung. Wenn ihr 40 % sagt, passiert es ungefähr 40 % der Zeit? Drei Kenngrößen messen das korrekt, und alle von ihnen sind „angemessene“ Scoring-Regeln, was bedeutet, dass euer erwarteter Score am besten ist, wenn ihr berichtet, was ihr wirklich glaubt.

Brier Score (ein Ja/Nein-Ereignis)  = (p - o)^2
  70 % Prognose, es passiert:       (0,7 - 1)^2 = 0,09
  70 % Prognose, es passiert nicht:       (0,7 - 0)^2 = 0,49
  Immer 50 % sagen:              0,25  (der „Ich-wiss-nichts“-Wert)

Log Loss = -ln(Wahrscheinlichkeit, die ihr dem tatsächlich Geschehen gegeben habt)
  80 % auf den Gewinner:  0,22      8 % auf den Gewinner:  2,53

RPS (drei Wege, geordnet Heim / Unentschieden / Auswärts)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Der Brier Score, eingeführt von Glenn Brier 1950, ist der mittlere quadratische Fehler eurer Wahrscheinlichkeiten, und niedriger ist besser. Log Loss ist grausam bei selbstsicheren Fehlprognosen. Der Rank Probability Score respektiert die Tatsache, dass ein Heimsieg „näher“ an einem Unentschieden ist als an einem Auswärtssieg, und Constantinou und Fenton argumentierten 2012, dass es die Regel ist, die Fußball-Prognosemodelle angemessen bewertet.

Nehmen wir eine illustrative Begegnung mit drei Prognostizieren: ein vernünftiges Modell (55/25/20), der Markt (45/28/27) und ein überconfidentes Modell (80/12/8).

Illustrative Zahlen. Niedriger ist besser.

Der überconfidente Prognose sieht aus wie ein Genie, wenn die Heimmannschaft gewinnt, und wird sonst abgekanoniert. Die Genauigkeit würde die Prognosen von 55 % und 80 % identisch bewerten. Nur Durchschnittswerte über hunderte von Matches zeigen, wer kalibriert ist, also kombiniert ihr die Kenngrößen mit einer Kalibrierungstabelle: Gruppier eure Prognosen (0-10 %, 10-20 % und so weiter) und prüft die Trefferquote in jeder Gruppe.

Warum es für den Profit wichtig ist

Walsh und Joshi haben das an NBA-Daten getestet, indem sie Modelle über mehrere Saisons trainierten und Wetten auf einer zurückgehaltenen Saison mit veröffentlichten Quoten durchführten. Modelle nach Kalibrierung auszuwählen ergab im Durchschnitt +34,69 %, gegenüber -35,17 % bei Auswahl nach Genauigkeit. Es ist Basketball und eine einzelne Test-Saison, also nehmt es als starke Stützung des Prinzips, nicht als Rezept. Aber es ist ein Prinzip, um das wir jedes Modell bauen würden: Wertet Wahrscheinlichkeiten, nicht Tipps.

Jedes Scoring-Kriterium braucht einen Gegenpart, und der härteste, den es gibt, ist gratis: die Schlussquote des Buchmakers, aus der die Marge entfernt wurde. Wandeln Sie die Quoten zuerst in Wahrscheinlichkeiten um, und dann entfernen Sie den Overround.

Illustrative prices: Home 2,20, Draw 3,40, Away 3,50

Implied:  1/2,20 = 45,45 %   1/3,40 = 29,41 %   1/3,50 = 28,57 %
Total  =  103,44 %  -> overround 3,44 %

Fair:     45,45 / 103,44 = 43,94 %
          29,41 / 103,44 = 28,43 %
          28,57 / 103,44 = 27,62 %

Berechnen Sie Ihren Brier, Log-Loss und RPS anhand dieser fairen Schlusswahrscheinlichkeiten über dieselben Spiele wie Ihr Modell. Wenn Ihr Modell sie nicht schlägt, fügt es nichts hinzu, was der Markt nicht schon weiß, und Sie zahlen die Marge für das Privileg. Die Schlussquote ist so schwer zu schlagen, weil sie die Teamnews und das schärfste Geld absorbiert hat. Pinnacle selbst sagt, dass seine Limits von etwa 3.000 Dollar bei frühen NFL-Quoten auf über 100.000 Dollar zum Anpfiff steigen, wenn sich die Zahlen festlegen.

Das macht die Schlussquote nicht unschlagbar. Kaunitz und Kollegen behaupteten, sie in Simulationen geschlagen zu haben, und die 2019er Studie von Hubacek, Sourek und Zelezny argumentierte, dass ein Modell bewusst die Korrelation zum Buchmacher auflösen muss, denn ein Modell, das die Quoten nur nachplappert, kann keinen Wert finden. Die Schlussquote konsistent zu schlagen ist selten, und genau deshalb ist sie der richtige Maßstab.

Closing Line Value (CLV) bei jeder Wette tracken

Closing Line Value vergleicht die Quote, die Sie genommen haben, mit der finalen. Pinnacle bezeichnet das konsistente Schlagen der Schlussquote als „einen der stärksten Indikatoren“ für einen scharfen Wettkunden, und es liest sich viel schneller als Profit, der zu verrauscht ist, um früh darauf zu vertrauen. Eine grobe Regel für Quoten nahe 2,00 zeigt, warum:

CLV = odds taken / closing odds
You take 2,20, it closes 2,05:  2,20 / 2,05 = 1,073  -> +7,3 %

Bets needed to tell an edge from luck (about 95 % confidence)
  ≈ (2 x SD per bet / edge)^2
  SD per bet at odds 2,00 ≈ 1,0
  5 % edge:  (2 x 1,0 / 0,05)^2 = 40^2 = 1,600 bets

Das sind rund 1.600 Wetten, um eine 5 %-Kante allein anhand der Ergebnisse zu beweisen, mehr als die meisten Wettkunden je loggen werden. Positiver CLV über ein paar hundert Wetten sagt Ihnen viel früher, ob Sie auf dem richtigen Weg sind, und deshalb steht er im Herzen des echten Value-Betens.

• Schlag den Closing-Preis oder wirf es weg. Wenn deine fairen Wahrscheinlichkeiten die entmarginalisierten Closing-Odds nicht schlagen, ist dein Modell ein Hobby und kein Vorteil.
• Alles zeitlich markieren. Jedes Feature, das du zum Zeitpunkt des Tipps nicht gekannt haben könntest, ist ein Leak, und Leaks machen aus jedem Backtest einen Held.
• Zähle deine Versuche. Zwanzig Tweaks bedeuten eine 64 % Chance, dass etwas zufällig gut aussieht. Hebe die Latte, je mehr Versuche du machst.
• Aufteilen nach Zeit, nie zufällig. Geh Saison für Saison vorwärts und gib der jüngsten Saison genau einen Blick.
• Bewerte Wahrscheinlichkeiten, nicht Tipps. Brier, Log-Loss und RPS plus eine Kalibrierungstabelle verraten dir mehr als jede Trefferquote.
• Backtest zu Preisen, die du wirklich bekommen könntest. Backtests mit den besten Odds über den ganzen Markt ignorieren Limits und eingeschränkte Einsätze.
• Zuerst Papier-Trading, dann kleine Einsätze. Ein paar hundert zeitlich markierte Prognosen mit positivem CLV sind wertvoller als jeder Backtest, den du je machen wirst.

Was auch immer dein Modell sagt, halte deine Einsätze auf einen festen, bezahlbaren Anteil deines Bankroll und verfolge niemals eine schlechte Woche, indem du sie erhöhst.

• So baust du ein Sportwettenmodell: Der komplette Leitfaden
• KI in den Sportwetten: Kann Machine Learning die Buchmacher schlagen?
• Closing Line Value (CLV) erklärt
• Buchmacher-Marge und faire Quoten: Wie man den Vig entfernt
• Value Bets im Fußball: Wie man EV-Bets findet

18+. Bitte wette verantwortungsvoll. Für kostenlose und vertrauliche Unterstützung besuche BeGambleAware.org.