Overfitting: Harika Geriye Dönük Testlerde Başarılı Olan Bahis Modelleri Neden Gerçekte Para Kaybettiriyor

Yaz boyunca bir futbol modeli inşa ettiniz. Son beş maçtaki form, ev ve deplasman ayrımı, şutlar, biraz da hakem verisi ve 3,20 ile 3,60 arasındaki oranlar için bir filtre. Geçtiğimiz sezonun Premier League maçları üzerinde geri test yapıyorsunuz ve model size %25 kazanç sunuyor. Zaten yeni bir araba aramaya bile başlamışsınız.

Sonra sezon başlıyor ve sistem ilk hafta sonundan itibaren parama kaptırıyor.

Betting analiz dünyasının en bilinen hikâyesi budur ve bir adı var: overfitting. Model bir avantaj bulmadı. Geçtiğimiz sezonu buldu. Her bir tuhaflık, her bir şans golü, her bir yağmurlu Salı günü galibiyeti, futbolun bir yasasıymış gibi modele işlendi ve bunların hiçbiri bir daha geri gelmedi.

İyi haber şu ki, overfitting yenilebilir ve çözümleri gösterişli olmasa da basit. Geleceği verilerinizin içine karıştırmayın. Kaç farklı fikri denediğinizi sayın. Modelin daha önce görmediği maçlar üzerinde test edin, olasılıkları doğru şekilde puanlayın ve her şeyi kapanış oranına karşı ölçün. Bunu yaparsanız, bookie'lerin size pahalı bir şekilde bildirmesinden önce modelinizin işe yarayıp yaramadığını bilirseniz. Bizim çizgimiz net: modeliniz kapanış oranını geçemiyorsa, işe yaramıyor demektir.

"Hamlet'i yazan maymun gerçekten iyi bir yazar mı?"
— Model Selection and Model Averaging (2008)

Bu cümle işin özünü hemen ortaya koyuyor. Geçmişe kusursuymuş gibi oturan bir model, bir şey öğrenmemiş olabilir; tıpkı şans eseri Shakespeare yazan bir maymunun oyun yazarı olmaması gibi. İstatistikçiler aşırı uyumu (overfitting), "belirli bir veri setine çok yakın veya tam olarak uyan" bir analiz olarak tanımlar ve bu yüzden gelecekteki gözlem güvenilir bir şekilde öngörilemez. Basitçe ifade etmek gerekirse, model gürültüyü yapı olarak algılamıştır.

Kendi kendine geçen yılki sınav kâğıdını kelimesi kelimesine ezberleyen bir öğrenciyi hayal edin. Aynı kâğıt verildiğinde %100 alır. Yeni bir kâğıt verildiğinde ise çaresiz kalır. Sadece 380 maç ve takıma başına 38 maçlık tek bir Premier League sezonuna, düzinelerce özellik ile oturtulmuş bir bahis modeli, verinin hak edebileceğinden çok daha fazla özgürlüğe sahiptir. Bu model, Perşembe günleri yağmur yağdığında X takımlarının kazanacağını neşeli bir şekilde "öğrenecektir".

Futbol, bu sorunu çoğu spordan daha da kötü hale getiriyor. Goller nadir olduğu için tekil sonuçlar çok gürültülüdür ve birkaç yüz bahiste iyi bir model ile şanslı bir tahmin neredeyse aynı görünür. İşin sonuna kadar götürülmesi, maç sayısı kadar parametreye sahip bir modelin eğitim verilerini mükemmel bir şekilde yeniden üretebileceği, ancak bir sonraki maçta tamamen çökeceği bir durumu ortaya koyar.

Uyarı işaretleri

• Backtest muhteşem, canlı sonuçlar ise sıradan. Bir miktar düşüş normaldir (istatikçiler buna "küçülme" der), ancak bir uçurum değil.
• Eşik değerini bir tık değiştirince kâr buharlaşır. Gerçek avantajlar küçük değişimlere dayanır. Aşırı uymuş olanlar ise dayanmaz.
• Kazanan kural tuhaf derecede spesifik. "Deplasman takımları, Pazartesiler, 3,20 ile 3,60 arası oranlar" bir içgörü değil, gürültünün parmak izidir.

Alt uyum (underfitting) tam tersi bir başarısızlıktır: Gerçek kalıpları yakalayacak kadar basit olmayan bir model, tıpkı bir eğri üzerinden düz bir çizgi çekmeye çalışmak gibidir. İdeal nokta, Burnham ve Anderson'ın "basitlik ilkesi" olarak adlandırdığı şeydir: olabildiğince basit ve verilerin gerçekten desteklediği kadar karmaşık. Bahisçiler için bir adım daha ileri gideriz. Karmaşık, kendisini veri dışı (out of sample) olarak kanıtlayana kadar basit kaybeder.

Sızma, aşırı uyarlamadan daha kurnaz bir kuzindir. Modelinize, bahis yapacağınız anda sahip olamayacağınız bilgiler beslenir ve geri test muhteşem görünür, çünkü model fiilen yarınki gazeteyi okumuştur.

Klasik bahis sızıntısı, çoğu amatörün başladığı ücretsiz geçmiş verilerde yatar. Football-Data.co.uk'in sonuç dosyaları, çeşitli bahisçilerin maç öncesi oranlarını taşır ve aynı koda ek bir "C" harfi ekleyerek kapanış oranlarını da içerir: B365CH, Bet365'in kapanış evi galibiyeti fiyatıdır ve Pinnacle sütunları aynı şebekeyi takip eder (kapanış öncesi fiyat için PSH, kapanış için PSCH). Kapanış fiyatları harika bir bilgidir. Onları bir özellik olarak kullanıp daha düşük bir fiyata "bahis" yapın ya da alabileceğiniz bir sayıya karşı değer iddia edin, geri testiniz kurgu olur.

Her özellik için tek bir soru sorun: Bu bahsi koyacağım kesin anında, bu sayıyı biliyor olabilir miydim?

İki daha sessiz sızıntı, deneyimli modelcileri de yakalar. Veri setini bölmeden önce tüm veri seti üzerinde özellik ölçekleme veya seçimi yapmanız, gelecek maçların geçmiş maçların nasıl okunduğunu şekillendirmesine izin verir. Tam veri setinden tahmin edilen takım güç puanları ise, henüz gerçekleşmemiş sonuçların bilgisini taşır. Çözüm sıkıcı ama sağlam: Her özelliye zaman damgası koyun ve bahsinizden sonra gelen her şeyi çöpe atın.

İleriye dönük yanlılık, sızdırmanın yakın akrabıdır ve çoğu zaman özelliklerde değil, oran kolonunda gizlenir. Takım haberleri geldikten sonra güncellenmiş oranlarla veya maç programı geriden belirlenmiş bir listeyle geriye dönük test yapmak, sessizce hile yapmaktır.

En büyük suçlu, "en iyi oranlar" kolonudur. Yirmi kadar bookmaker arasında en iyi fiyattan geriye dönük test yapmak, hepsinde hesapların olduğunu ve her birinin tam stake alacağını varsayar. Hayat böyle işlemez. Kaunitz, Zhong ve Kreiner'in 2017 tarihli Beating the bookies with their own numbers makalesi, kapanış oranlarında 10 yıllık bir simülasyonda, dakikadan dakikaya değişen oranlarda 6 aylık bir simülasyonda ve 5 ay boyunca gerçek parayla yapılan bahislerde kârlı bir stratejiyi raporladı. Ayrıca, kazanan bir oyuncu olarak hesaplarını kısıtladıklarını da açıkladılar.

İşte dersin tamamı. İşe yarayan bir strateji bile, ulaşamayacağınız fiyatlara ve stake limitlerine takılabilir. Gerçekçi olarak alabileceğiniz bir fiyattan ve gerçekçi olarak izin verilecek bir stake ile geriye dönük test yapın ve bunun üstündeki her şeyi bir bonus olarak değerlendirin. Modeliniz makine öğrenmesine dayanıyorsa, makine öğrenmesi bookmakerleri yenebilir mi rehberimiz doğal olarak sonraki okuma.

Neredeyse herkesin düştüğü bir tuzak bu, çünkü buna düşmek için bir şeyler yanlış yapmak zorunda değilsiniz. Sadece çok fazla fikir denemeniz yeterli.

İstatistikçiler buna veri kazıma, veri karıştırma veya p-hacking diyor. Standart %5 anlamlılık düzeyinde, yirmi kullanımsız fikirden biri saf şansla "anlamlı" görünür. Onun yeterince fazlasını test edin, aralarında bazılarının böyle görünmesi neredeyse kesin. Matematiği kısa:

m tane kullanımsız testten en az birinin anlamlı görünme şansı
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (%64)
m = 100  ->  1 - 0,95^100 = 0,994  (%99,4)

Basit bir simülasyon, bunun bir bahis sistemine ne yaptığını gösteriyor. Saf gürültüden oluşan, her biri 2,00 oranlı (fraksiyon terimleriyle eşit oran) 300 bahis yapan 100 sistem alın, gerçek kazanma şansı %47,6 olan (tipik bir bookmaker marjı çıkarılmış adil %50) bir ortamda. Her birinin bahis başına yaklaşık %4,8'lik bir yapısal kaybı var. Bu deneyi 200 kez tekrarlayın ve 100 sistemin en iyi görüneni yaklaşık +%9,3'lik bir medyan getiri gösterir.

Sistem başına gerçek ROI         = 2,00 x 0,476 - 1  = -%4,8
300 bahiste ROI'nin SD'si     = 1,0 / sqrt(300)   ≈ 5,8 puan
100 sistemin en iyisi (medyan)        ≈ +%9,3
Gerçek değerden uzaklık    ≈ 14,1 / 5,8        ≈ 2,4 standart sapma

O "kazanan" şans ve başka hiçbir şey değil. Ve oraya ulaşmak için özellikle 100 sistem inşa etmeniz gerekmiyor. Her seferinde lig değiştirdiğinizde, oran bandını ayarladığınızda, form penceresini değiştirdiğinizde veya bir özellik ekleyip yeniden çalıştırdığınızda, başka bir sistem denemiş olursunuz. Kendi çoklu test makinenizsiniz.

Kendinizi nasıl savunursunuz

Verilere bakmadan önce hipotezinizi ve başarı metriğinizi yazın. Denediğiniz her varyant için bir sayı tutun ve bu sayı arttık çıtanızı yükseltin; Bonferroni (anlamlılık düzeyinizi test sayısına bölün) ve daha yumuşak Holm-Bonferroni gibi düzeltmelerin arkasındaki düşünce budur. Az parametreli ve futbolcu bir varlık sebebi olan modellere öncelik verin. Pırıltılı bir geri test, olmayan bir avantajı üretemez, tıpkı Martingale gibi bahis sistemleri kaybedilen bir bahisi kazanan bir bahise dönüştürme kapasitesine sahip olmadığı gibi.

Maçları rastgele eğitim ve test setlerine dağıtmayın. Rastgele bir bölme, modelin test edildiği maçlardan sonra oynanan maçlardan öğrenmesine izin verir ki bu da başlı başına bir sızıntıdır ve aynı takımların formunu iki ayrı yığına karıştırır. Bahislerde, veriyi kesmenin tek dürüst yolu zamandır.

Standart yöntem walk-forward validation (zaman ilerlemeli doğrulama)dir. Bir beşinci sezona kadar eğitim verin, altıncı sezonda test edin. Sonra bir altıncıya kadar eğitim verin, yedinci sezonda test edin ve böylece döndürmeye devam edin. Ayarlarınızı bu doğrulama sezonlarında ve başka hiçbir yerde optimize edin. Her adım, gerçek hayatta karşılaşacağınız şeyin birebir aynasıdır: bugüne kadar bilinen her şey, ardından hiç görmediğiniz bir maç serisi.

Sonra nihai sınav gelir. En güncel sezonu kenara ayırın ve modelinizi inşa ederken ona dokunmayın. Sadece bir kez bakma hakkınız var. Bak, ayarla, tekrar bak ve artık 'görülmemiş' sayılmaz. Başka bir doğrulama setine dönüşür ve kendi kararlarınızla aşırı uyuma (overfitting) yaparsınız, masum görünen bir ayarla bir ayarla.

Bunun altın standardı: kâğıt üzerinde işlem yapmaktır (paper trading). Birkaç yüz maç için, tek kuruş bile risk etmeden, maç başlangıcından önce tahminlerinizi zaman damgalı olarak kaydedin. 2026/27 sezonunun 7. haftasında, mevcut sezon bir modeli kendi başına yargılamaya yeterince büyük değil ve bu tam olarak nokta. Yüzlerce gerçek örnek dışı (out-of-sample) tahmine ihtiyacınız var, sıcak bir başlangıca değil. Bahis modeli oluşturma rehberimiz bu hattı sıfırdan kurmayı adım adım anlatıyor.

Çoğu kişiye modelinin ne kadar iyi olduğunu sorsan, doğruluğu (accuracy) söyler: en üst seçimin ne kadar sık kazandığı. Bahis için bu neredeyse işe yaramaz. Her hafta favoriye oynasan, çok "doğru" görünebilirsin, ama oranlar zaten favoriyi fiyata yansıtmıştır, yani bir kâr elde edemezsin. Gerçekten kazandıran şey, olasılığı doğru tahmin etmektir, özellikle de senin tahminin piyasenin tahmininden farklı olduğunda.

İşte kalibrasyon. %40 diyorsan, gerçekten yaklaşık %40 ihtimalle mi gerçekleşiyor? Bunu doğru ölçen üç skor var ve hepsi "doğru" skorlama kurallarıdır; yani dürüstçe inandığın olasılığı bildirdiğinde beklenti skorun en yüksek olur.

Brier skoru (tek evet/hayır olayı)  = (p - o)^2
  %70 tahmin, gerçekleşti:       (0,7 - 1)^2 = 0,09
  %70 tahmin, gerçekleşmedi:       (0,7 - 0)^2 = 0,49
  Her zaman %50 demek:              0,25  ("bilmiyorum" puanı)

Log loss = -ln(gerçekte olan olaya verdiğin olasılık)
  Kazanan için %80:  0,22      Kazanan için %8:  2,53

RPS (üç yönlü, sıralı Ev / Berabere / Deplasman)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Brier, 1950'de Glenn Brier tarafından tanıtıldı ve olasılıklarının ortalama kare hatasıdır; ne kadar düşükse o kadar iyi. Log loss, kendinden emin ama yanlış tahminlere acımasızdır. Rank Probability Score, ev sahibi galibiyetinin bir beraberliğe deplasman galibiyetine göre "daha yakın" olduğu gerçeğini saygı gösterir ve Constantinou ile Fenton 2012'de bunun futbol tahmin modellerini doğru şekilde değerlendiren kural olduğunu savunmuştur.

İllüstratif bir maç için üç tahminci alalım: makul bir model (55/25/20), piyasa (45/28/27) ve aşırı özgüvenli bir model (80/12/8).

İllüstratif rakamlar. Düşük daha iyi.

Aşırı özgüvenli tahminci, ev sahibi kazanınca dahi görünüyor, aksi takdirde ise epeyi kötü puan alıyor. Doğruluk skoru, %55 ve %80 tahminlerini aynı şekilde puanlar. Yüzlerce maçın ortalamaları kimin kalibre olduğunu ortaya koyar, bu yüzden skorları bir kalibrasyon tablosuyla eşleştirin: tahminlerini gruplara ayırın (0-%10, 10-%20 vb.) ve her grupta isabet oranını kontrol edin.

Kâr için neden önemli

Walsh ve Joshi bunu NBA verileriyle test etti, birkaç sezon boyunca modeller eğitti ve yayımlanmış oranlarla tek bir test sezonunda bahis deneyleri yaptı. Kalibrasyona göre model seçimi ortalama +%34,69 getirdi, doğruluğa göre seçimde ise -%35,17 kaybettirdi. Bu basketbol ve tek bir test sezonu, bu yüzden bunu bir tarif değil, prensibin güçlü bir dayanağı olarak kabul et. Ama bu, her modelimizi inşa edeceğimiz bir prensiptir: olasılıkları puanla, seçimleri değil.

Her skorlama kuralının bir rakibi vardır ve en zorlu olanı bedava: marjı çıkarılmış bookmaker'in kapanış fiyatı. Önce oranları olasılıklara çevirin, sonra overround'u çıkarın.

Örnek fiyatlar: Ev 2,20, Beraberlik 3,40, Deplasman 3,50

Tahmini:  1/2,20 = %45,45   1/3,40 = %29,41   1/3,50 = %28,57
Toplam  =  %103,44  -> overround %3,44

Adil:     45,45 / 103,44 = %43,94
          29,41 / 103,44 = %28,43
          28,57 / 103,44 = %27,62

Modelinizin aynı maçlarda bu adil kapanış olasılıkları üzerinden Brier, log loss ve RPS skorlarınızı çalıştırın. Eğer modeliniz bunları yenemezse, piyasanın zaten bildiği hiçbir şeyi eklememiş olur ve bu ayrıcalık için marj ödersiniz. Kapanış o kadar zor yenilir çünkü takım haberlerini ve en keskin parayı içine çekmiştir. Pinnacle, NFL'de erken hatlarda limitlerin yaklaşık $3,000'dan başlaıp, sayılar netleştikçe maça doğru $100,000'un üzerine çıktığını söyler.

Bu, kapanışın yenilmez olduğu anlamına gelmez. Kaunitz ve meslektaşları, simülasyonda onu yendiklerini iddia etti ve Hubacek, Sourek ve Zelezny'nin 2019 tarihli çalışması, bir modelin bookmaker'den bilinçli olarak korelasyonu koparması gerektiğini savundu; çünkü sadece oranları yansıtan bir model değer bulamaz. Kapanışı tutarlı şekilde yenmek nadirdir ve tam da bu yüzden doğru ölçüt budur.

Her bahis için kapanış hattı değerini (CLV) takip edin

Kapanış hattı değerini aldığınız fiyatla son fiyatı karşılaştırır. Pinnacle, kapanışı tutarlı şekilde yenmeyi keskin bir bahisçinin "en güçlü göstergelerinden biri" olarak nitelendiriyor ve kârından çok daha hızlı okunuyor; kâr erken dönemde güvenilir olması için çok fazla gürültülü. Yaklaşık 2,00 civarındaki oranlar için basit bir kural nedenini gösteriyor:

CLV = alınan oran / kapanış oranı
2,20 aldınız, 2,05 kapandı:  2,20 / 2,05 = 1,073  -> +%7,3

Bir avantajı şanstan ayırt etmek için gereken bahis sayısı (yaklaşık %95 güven)
  ≈ (2 x bahis başına SD / avantaj)^2
  2,00 oranında bahis başına SD ≈ 1,0
  %5 avantaj:  (2 x 1,0 / 0,05)^2 = 40^2 = 1,600 bahis

Sadece sonuçlara dayanarak %5 bir avantaj kanıtlamak için yaklaşık 1,600 bahis gerekiyor, bu da çoğu bahisçinin kaydedeceği sayıdan daha fazla. Birkaç yüz bahis üzerinde pozitif CLV, bir şeyin peşinde olup olmadığınızı çok daha erken söyler, bu yüzden gerçek değer bahisçiliğinin merkezinde yer alır.

• Kapanışa karşı kazan ya da elden çıkar. Eğer adil olasılıklarınız, marjı çıkarılmış kapanış oranlarını geçmiyorsa, modeliniz bir hobi, bir avantaj değil.
• Her şeyi zaman damgası ile kaydet. Bahsin yapıldığı anda bilemediğiniz her bir özellik bir sızıntıdır ve sızıntılar her geri testi bir kahramana dönüştürür.
• Denemelerinizi sayın. Yirmi ayar demek, bir şeyin şans eseri harika görünebileceği ihtimalinin %64 olduğu demektir. Sayı arttık standardı yükseltin.
• Zamana göre bölün, rastgele değil. Sezonlar ilerleyerek yürüyün ve en son sezona tam olarak bir bakış verin.
• Olasılıkları puanlayın, seçimleri değil. Brier, log loss ve RPS ile bir kalibrasyon tablosu, herhangi bir isabet oranından daha fazla şey söyleyecektir.
• Gerçekte alabileceğiniz oranlarla geri test yapın. Piyasanın tümündeki en iyi oranlara dayalı geri testler, limitleri ve kısıtılmış bahis tutarlarını görmezden gelir.
• Önce kâğıt üzerinde işlem yapın, sonra küçük tutarlarla başlayın. Pozitif CLV'ye sahip birkaç yüz zaman damgalı tahmin, yapacağınız herhangi bir geri testten daha değerlidir.

Modeliniz ne derse desin, bahis tutarlarınızı bankanızın sabit ve uygun bir dilimine sınırlayın ve kötü bir hafta sonrasında tutarları artırarak telafi etmeye çalışmayın.

• Spor bahis modeli nasıl oluşturulur: kapsamlı rehber
• Spor bahislerinde yapay zekâ: makine öğrenmesi bookmaker'ları yenebilir mi?
• Kapanış çizgisi değeri (CLV) açıklaması
• Bookmaker marjı ve adil oranlar: vig'i nasıl kaldırılır
• Futbolda değer bahisleri: EV bahislerini nasıl bulursunuz

18+. Lütfen sorumlu şekilde bahis oynayın. Ücretsiz ve gizli destek için BeGambleAware.org adresini ziyaret edin.