Overfitting: Dlaczego modele bettingowe świetnie backtestowane tracą realne pieniądze

Spędziłeś lato na budowaniu modelu piłkarskiego. Forma z ostatnich pięciu meczów, podział na dom i wyjazd, strzały, szczypta danych o sędziach oraz filtr na kursy między 3,20 a 3,60. Uruchamiasz backtest na minionym sezonie Premier League i wypluwa +25% zysku. Już przeglądasz oferty na nowy samochód.

Potem sezon się zaczyna i model traci pieniądze od pierwszego weekendu.

To jest najbardziej znana historia w analizie bettingowej i ma swoją nazwę: przeuczenie. Model nie znalazł przewagi. Znalazł miniony sezon. Każdy dziwaczny detal, każdy karygodny gol, każde wygrane w deszczowy wtorek zostało wmurowane tak, jakby była to prawda fizyki w piłce nożnej, i żaden z tych elementów nie powróci.

Oto dobra wiadomość. Przeuczenie da się pokonać, a rozwiązania są proste, choć nie efektowne. Nie włączaj przyszłości do swoich danych. Licz, ile pomysłów przetestowałeś. Testuj na meczach, których model nigdy nie widział, poprawnie oszacowuj prawdopodobieństwa i mierzy wszystko względem linii zamkniętej. Zrób to i dowiesz się, czy twój model działa, zanim bookmakerzy powiedzą ci o tym w drogi sposób. Nasza linia jest bezlitosna: jeśli twój model nie bije linii zamkniętej, to nie działa.

„Czy małpa, która przypadkiem wygenerowała Hamleta, jest w ogóle dobrym pisarzem?”
— Model Selection and Model Averaging (2008)

Ta myśl trafia w sam środek. Model, który idealnie dopasowuje się do przeszłości, nie musi mieć niczego w głowie. Tak samo jak małpa, która przypadkiem wygenerowała Szekspira, nie jest dramaturgiem. Statystycy definiują overfitting jako analizę, która „zbyt ściśle lub dokładnie odpowiada konkretnemu zestawowi danych” i w związku z tym nie jest w stanie wiarygodnie prognozować przyszłych obserwacji. Mówiąc prosto, model bierze szum za strukturę.

Wyobraź sobie studenta, który na blachę zapamiętował zeszłoroczny arkusz egzaminacyjny. Daj mu ten sam arkusz i dostanie 100%. Daj mu nowy i będzie zablokowany. Model typerski z dziesiątkami cech dopasowanych do jednego sezonu Premier League, zaledwie 380 meczami i 38 na zespół, ma znacznie więcej swobody, niż te dane mogą uzasadnić. Z entuzjazmem „nauczy się”, że Zespół X wygrywa, kiedy pada deszcz we wtorek.

Piłka nożna czyni to gorszym niż w większości sportów. Gole są rzadkie, więc pojedyncze wyniki są szumne, a po kilkuset zakładach dobry model i szczęśliwe trafienie wyglądają niemal identycznie. Pchnij to do ekstremum i model z tak wieloma parametrami, ile jest meczów, będzie w stanie perfekcyjnie odtworzyć dane treningowe, a następnie kompletnie spali się w następnym meczu.

Sygnały ostrzegawcze

• Backtest jest spektakularny, a wyniki na żywo są przeciętne. Pewne spadek jest normalny (statystycy nazywają to shrinkage), ale urwistą krawędź nie jest.
• Drobna zmiana progu powoduje zniknięcie zysku. Prawdziwe przewagi przetrwają małe zmiany. Overfitted nie.
• Zasada wygrywająca jest dziwnie specyficzna. „Drużyny wyjazdowe, poniedziałki, kursy 3,20 do 3,60” to odcisk palca szumu, nie wglądu.

Underfitting to odwrotna porażka: model zbyt prosty, by złapać prawdziwe wzorce, jak rysowanie prostej linii przez krzywą. Idealne rozwiązanie to to, co Burnham i Anderson nazwali zasadą parsimony, czyli jak najprostsze i tylko tak złożone, jak dane rzeczywiście wspierają. Dla typersów poszlibyśmy jeszcze dalej. Prostota bije spryt, aż spryt udowodni się poza próbką.

Wyciek danych to bardziej podstępny kuzyn przeuczenia. Twój model dostaje informacje, których w rzeczywistości nie mogłeś mieć w momencie, gdy miałeś postawić zakład, a backtest wygląda świetnie, bo efektywnie czyta gazety z jutra.

Klasyk wycieku danych tkwi w darmowych historycznych danych, od których zaczynają większość hobbystów. Pliki wyników z Football-Data.co.uk zawierają kursy przedmeczowe od różnych bukmacherów i, używając tego samego kodu z dodatkowym „C”, również kursy zamknięcia: B365CH to kurs zamknięcia Bet365 na wyjazdowy remis gospodarza (wygrana gospodarza), a kolumny Pinnacle podążają za tym samym wzorcem (PSH dla kursu przed zamknięciem, PSCH dla zamknięcia). Kursy zamknięcia to świetna informacja. Użyj ich jako cech, a następnie „zagraj” po wcześniejszym kursie, lub twierdź, że znalazłeś wartość względem liczby, której nie mogłeś dostać, i twój backtest będzie fikcją.

Zadaj więc sobie jedno pytanie na każdą cechę: w dokładnym momencie, w którym stawiam ten zakład, czy mogłem znać tę liczbę?

Dwa cichsze wycieki łapią nawet doświadczonych modelarzy. Skalowanie lub selekcja cech na całym zbiorze danych przed jego podziałem pozwala przyszłym meczom kształtować sposób, w jaki interpretujemy przeszłe. A oceny siły zespołu szacowane na podstawie całego zbioru danych zawierają wiedzę o wynikach, które jeszcze się nie wydarzyły. Rozwiązanie jest nudne, ale nie do przełamania: zadatuj czasowo każdą cechę i odrzuć wszystko, co przyjdzie po momencie, gdybyś postawił zakład.

Błąd perspektywy jest bliskim kuzynem wycieków danych i często ukrywa się w kolumnie z kursami, a nie w cechach. Backtest z cenami zaktualizowanymi po ogłoszeniu składów lub z listą meczów poprawioną po fakcie to cicha oszuściwa.

Najgorszym sprawcą jest kolumna „najlepsze kursy”. Backtest na najlepszej cenie spośród dwudziestu kilku bukmacherów zakłada, że miałeś konta u wszystkich i że każdy z nich przyjął pełną stawkę. Życie nie działa w taki sposób. Artykuł Kaunitza, Zhonga i Kreinera z 2017 roku, Beating the bookies with their own numbers, opisywał strategię, która była zyskowna w 10-letniej symulacji na kursach zamknięcia, w 6-miesięcznej symulacji na kursach minutowych oraz w 5 miesiącach stawiania na prawdziwe pieniądze. Opisali również, jak bukmacherzy ograniczali ich konta, gdy zaczęli wygrywać.

W tym jest cała lekcja. Nawet działająca strategia może napotkać ceny i stawki, których po prostu nie da się uzyskać. Backtestuj na cenie, którą realnie mogłeś uzyskać, ze stawką, jaką realnie byś dostał, i traktuj wszystko powyżej tego jako bonus. Jeśli Twój model opiera się na machine learning, nasz przewodnik o tym, czy machine learning może pokonać bukmacherów to naturalna kolejna lektura.

To jest pułapka, w którą wpada niemal każdy, ponieważ nie musisz zrobić nic złego, żeby w nią wpaść. Wystarczy, że przetestujesz dużo pomysłów.

Statystycy nazywają to wyłapywaniem danych (data dredging), sondowaniem danych (data snooping) lub p-hackingiem. Przy standardowym poziomie istotności 5% jeden na dwadzieścia bezużytecznych pomysłów będzie wyglądał „statystycznie istotny” wyłącznie z przypadku. Przetestuj ich wystarczająco dużo i niemal pewne jest, że część z nich tak właśnie będzie. Matematyka jest krótka:

Szansa, że choćby jeden z m bezużytecznych testów wygląda na istotny
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Prosta symulacja pokazuje, co to oznacza dla systemu bukmacherskiego. Weźmy sto systemów, które są czystym szumem, z których każdy składa 300 zakładów po kursie 2,00 (w ułamkach to ewens), gdzie prawdziwa szansa na wygraną wynosi 47,6% (fair 50% z odejmowanym typowym marżą bukmachera). Każdy z nich ma wbudowaną stratę rzędu 4,8% na zakład. Powtórz cały eksperyment 200 razy i najlepiej wyglądający system ze stu pokaże medianę zwrotu rzędu +9,3%.

Prawdziwy ROI na system         = 2,00 x 0,476 - 1  = -4,8%
SD ROI na 300 zakładów     = 1,0 / sqrt(300)   ≈ 5,8 pkt
Najlepszy ze 100 (mediana)        ≈ +9,3%
Odległość od prawdziwej wartości    ≈ 14,1 / 5,8        ≈ 2,4 odchylenia standardowe

Ten „zwycięzca” to wyłącznie szczęście i nic więcej. Nie musisz celowo budować 100 systemów, żeby do tego dojść. Za każdym razem, gdy zmieniasz ligę, regulujesz pasmo kursów, modyfikujesz okno formy lub dokładasz jakąś funkcję i ponownie uruchamiasz test, próbujesz kolejnego systemu. Sam jesteś swoją własną maszyną do testowania wielu hipotez.

Jak się bronić

Zapisz swoją hipotezę i metrykę sukcesu, zanim zaczniesz analizować dane. Prowadź bieżący licznik wszystkich wariantów, które testujesz, i podnosij poprzeczkę wraz z wzrostem tego licznika; to jest myśl stojąca za korekcjami takimi jak Bonferroni (podziel swój poziom istotności przez liczbę testów) oraz łagodniejszy Holm-Bonferroni. Preferuj modele z niewielu parametrami i piłkarskim uzasadnieniem istnienia. Świetny backtest nie jest w stanie wygenerować przewagi, której nie ma, tak samo jak systemy stawiania takie jak Martingale nie są w stanie zamienić przegranej zakładu w wygraną.

Nie wolno losować meczów do zbioru treningowego i testowego. Losowy podział pozwala modelowi uczyć się na meczach rozegranych po tych, na których jest testowany, co jest w sobie wyciekiem danych, a także miesza formę tych samych drużyn w obu zbiorach. W bettingu czas to jedyny uczciwy sposób podziału danych.

Standardową metodą jest walidacja kroczowa (walk-forward). Trening na sezonach od jednego do pięciu, test na sezonie szóstym. Potem trening na sezonach od jednego do sześciu, test na siódmym, i tak dalej. Ustawiasz parametry na tych sezonach walidacyjnych i nigdzie indziej. Każdy krok dokładnie odzwierciedla to, co spotkasz w rzeczywistości: wszystko, co było znane do dziś, a następnie seria meczów, których nigdy nie widziałeś.

Potem przychodzi egzamin końcowy. Zostawiasz najnowszym sezon na później i nie dotykasz go podczas budowy modelu. Dostajesz jedno spojrzenie. Zerkasz, poprawiasz i zerkasz ponownie, a przestaje być „nieznanym”. Zamienia się w kolejny zbiór walidacyjny, a ty przepalasz model na własnych decyzjach, jeden niewinnie wyglądający tuning za drugim.

Po tym następuje złoty standard: trading na papierze. Zapisujesz swoje prognozy przed pierwszym gwizdkiem, z datą i godziną, dla kilkuset meczów, zanim postawisz choćby grosz. Siedem tygodni w sezonie 2026/27, bieżąca kampania jest wciąż zbyt mała, by oceniać model wyłącznie na jego podstawie, i to jest właśnie sedno sprawy. Potrzebujesz setek prawdziwych prognoz z próby zewnętrznej, a nie udanego startu. Nasz kompletny przewodnik do budowy modelu bettingowego przeprowadza Cię krok po kroku przez tworzenie tego pipeline’u od zera.

Zapytaj większość ludzi, jak dobry jest ich model, a podadzą dokładność: jak często ich faworyt wygrał. W kontekście bettingu to jest niemal bezużyteczne. Głosisz na faworyta co tydzień i wyglądasz bardzo „dokładny”, ale kursy już wycenili tego faworyta, więc nie zarabiasz ani grosza. Pieniądze płacisz wtedy, gdy trafiasz prawdopodobieństwo, szczególnie w miejscach, gdzie Twoje odbiega od rynkowego.

To jest kalibracja. Gdy mówisz 40%, czy zdarza się to około 40% razy? Trzy metryki mierzą to właściwie i wszystkie są „właściwymi” zasadami punktacji, co oznacza, że oczekiwany wynik jest najlepszy, gdy raportujesz to, w co naprawdę wierzysz.

Współczynnik Briera (jedno zdarzenie tak/nie)  = (p - o)^2
  Prognoza 70%, zdarzenie miało miejsce:       (0,7 - 1)^2 = 0,09
  Prognoza 70%, zdarzenie nie miało miejsca:   (0,7 - 0)^2 = 0,49
  Zawsze mówienie 50%:                        0,25  (wynik „nie wiem”)

Log loss = -ln(prawdopodobieństwo, które nadałeś temu, co faktycznie się stało)
  80% na zwycięzcę:  0,22      8% na zwycięzcę:  2,53

RPS (trójdrożny, w kolejności Dom / Remis / Goście)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Brier, wprowadzony przez Glena Briera w 1950 roku, to średnia kwadratowa błędu Twoich prawdopodobieństw, a niższa wartość jest lepsza. Log loss jest brutalny wobec pewnych błędów. Rank Probability Score szanuje fakt, że zwycięstwo u siebie jest „bliżej” remisu niż zwycięstwa na wyjeździe, a Constantinou i Fenton argumentowali w 2012 roku, że jest to zasada, która właściwie ocenia modele prognozujące wyniki w piłce nożnej.

Weźmy ilustracyjny mecz z trzema prognozatorami: rozsądny model (55/25/20), rynek (45/28/27) i nadpewny model (80/12/8).

Ilustracyjne liczby. Niższa wartość jest lepsza.

Nadpewny prognozator wygląda jak geniusz, gdy gospodarze wygrywają, a w przeciwnym razie dostaje po łbach. Dokładność oceniłaby prognozy 55% i 80% identycznie. Tylko średnie z setek meczów ujawniają, kto jest dobrze skalibrowany, więc łącz te metryki z tabelą kalibracji: grupuj swoje prognozy (0-10%, 10-20% itd.) i sprawdzaj odsetkę trafień w każdej grupie.

Dlaczego to ma znaczenie dla zysku

Walsh i Joshi przetestowali to na danych z NBA, trenując modele przez kilka sezonów i przeprowadzając eksperymenty bettingowe na jednym sezonie trzymanym na test z opublikowanymi kursami. Wybieranie modeli na podstawie kalibracji przyniosło średnio +34,69%, w porównaniu z -35,17%, gdy wybierano je na podstawie dokładności. To jest koszykówka i pojedynczy sezon testowy, więc traktuj to jako silne wsparcie dla tej zasady, a nie jako gotowy przepis. Ale to jest zasada, wokół której budujemy każdy model: punktuj prawdopodobieństwa, nie wybory.

Każda zasada oceniania wymaga rywala, a najtwardszy z nich jest za darmo: końcowy kurs bukmachera po odjęciu marży. Najpierw zamień kursy na prawdopodobieństwa, a potem usuń overround.

Przykładowe kursy: Dom 2,20, Remis 3,40, Goście 3,50

Zakładane:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Suma  =  103,44%  -> overround 3,44%

Sprawiedliwe:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Oblicz swój Brier, log loss i RPS na tych sprawiedliwych końcowych prawdopodobieństwach dla tych samych meczów, dla których działa Twój model. Jeśli Twój model nie jest lepszy od nich, nie dodaje niczego, czego rynek nie wie już od dawna, a płacisz marżę za to przywilej. Wygranie z końcowym kursem jest tak trudne, ponieważ wchłonął on wszystkie informacje o składach i najostrejsze pieniądze. Sama Pinnacle twierdzi, że jej limity rosną od ok. $3,000 na wczesnych liniach NFL do ponad $100,000 przed gwizdkiem, gdy kursy się stabilizują.

To nie oznacza, że końcowy kurs jest nie do pokonania. Kaunitz i koledzy twierdzili, że pokonali go w symulacji, a w badaniu z 2019 roku Hubacek, Sourek i Zelezny argumentowali, że model musi celowo dekorrelować się od bukmachera, ponieważ model, który jedynie naśladuje kursy, nie jest w stanie znaleźć wartości. Pciągłe pokonywanie końcowego kursu jest rzadkie, i właśnie dlatego to jest właściwa miara.

Śledź wartość końcowego kursu (CLV) przy każdym zakładzie

Wartość końcowego kursu porównuje kurs, który wziąłeś, z końcowym kursem. Pinnacle nazywa ciągłe pokonywanie końcowego kursu „jednym z najsilniejszych wskaźników” ostrego bettora i czyta się to znacznie szybciej niż zysk, który jest zbyt szumny, aby mu ufać na wczesnym etapie. Przybliżona zasada dla kursów w okolicach 2,00 pokazuje, dlaczego:

CLV = wzięty kurs / końcowy kurs
Bierzesz 2,20, kończy na 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Liczba zakładów potrzebna do odróżnienia przewagi od szczęścia (ok. 95% pewności)
  ≈ (2 x SD na zakład / przewaga)^2
  SD na zakład przy kursie 2,00 ≈ 1,0
  5% przewaga:  (2 x 1,0 / 0,05)^2 = 40^2 = 1,600 zakładów

To jest ok. 1,600 zakładów, aby udowodnić 5% przewagę tylko na podstawie wyników, więcej niż większość graczy kiedykolwiek zaksiękuje. Dodatny CLV po kilku setkach zakładów mówi Ci znacznie szybciej, czy jesteś na właściwej drodze, dlatego też jest on sercem prawdziwego value bettingu.

• Pokonaj kurs zamknięcia lub wyrzuć go. Jeśli Twoje „prawdopodobieństwa” nie pokonują kursów zamknięcia po odjęciu marży, Twój model to pasja, a nie przewaga.
• Oznacz wszystko datą i godziną. Każda cecha, której nie mogłeś znać w momencie zamknięcia zakładu, to wyciek, a wycieki zamieniają każdy backtest w bohatera.
• Liczbę prób. Dwadzieścia poprawek oznacza 64% szans, że coś będzie wyglądać świetnie przypadkiem. Podnosij poprzeczkę, wraz ze wzrostem liczby prób.
• Dzielenie w czasie, nigdy losowo. Idź w przód sezon po sezonie i daj najnowszemu sezonowi dokładnie jedno spojrzenie.
• Oceń prawdopodobieństwa, nie typy. Brier, log loss i RPS plus tabela kalibracji powiedzą Ci więcej niż jakikolwiek strike rate.
• Backtestuj po kursach, które mógłbyś realnie dostać. Backtesty „najlepszy kurs na rynku” ignorują limity i ograniczenia stawek.
• Najpierz trade na papierze, potem stawiaj małe kwoty. Kilkaset prognoz z datą i godziną z dodatowym CLV jest warte więcej niż jakikolwiek backtest, jaki kiedykolwiek przeprowadzisz.

Nieważne, co mówi Twój model, trzymaj się stałej, przystępnej części bankrollu i nigdy nie goni złych tygodni podnosząc stawki.

• Jak zbudować model zakładu sportowego: kompletny przewodnik
• AI w zakładach sportowych: czy uczenie maszynowe może pokonać bukmacherów?
• Wartość linii zamknięcia (CLV) wyjaśniona
• Marża bukmachera i uczciwe kursy: jak usunąć vig
• Zakłady wartościowe w piłce nożnej: jak znaleźć zakłady EV

18+. Graj odpowiedzialnie. Darmowe i poufne wsparcie znajdziesz na BeGambleAware.org.