Overfitting: Mengapa Model Taruhan yang Backtest Sempurna Kalah di Real Money

Kamu sudah menghabiskan musim panas untuk membangun model sepak bola. Performa lima laga terakhir, pemisahan kandang dan tandang, data tendangan, sedikit data wasit, dan filter untuk odds antara 3,20 dan 3,60. Kamu menjalankan backtest atas musim lalu Liga Premier dan hasilnya melontarkan return +25%. Kamu sudah mulai mencari mobil baru.

Lalu musim baru dimulai dan model itu langsung berdarah uang sejak akhir pekan pertama.

Ini adalah cerita paling familiar dalam analitik taruhan, dan punya nama: overfitting. Model itu tidak menemukan keunggulan. Ia menemukan musim lalu. Setiap keanehan, setiap gol aneh, setiap kemenangan Selasa yang basah hujan dibakar sebagai hukum sepak bola, dan tidak ada satu pun yang akan berulang lagi.

Inilah bagian baiknya. Overfitting bisa ditaklukkan, dan solusi-solusinya sederhana meskipun tidak glamor. Jauhkan masa depan dari data kamu. Hitung berapa banyak ide yang sudah kamu coba. Uji pada pertandingan yang tidak pernah dilihat model, skor probabilitas dengan benar dan ukur semuanya terhadap closing line. Lakukan itu dan kamu akan tahu apakah modelmu bekerja sebelum bandar taruhan memberitahukanmu cara yang mahal. Garis kami tegas: jika modelmu tidak bisa mengalahkan closing line, ia tidak bekerja.

"Apakah monyet yang mengetik Hamlet benar-benar seorang penulis yang baik?"
— Model Selection and Model Averaging (2008)

Baris itu langsung pada intinya. Model yang pas sempurna dengan masa lalu belum tentu sudah belajar apa-apa, sama seperti monyet yang secara kebetulan mengocekan karya Shakespeare bukan seorang dramawan. Statistisi mendefinisikan overfitting sebagai analisis yang "terlalu ketat atau persis dengan satu set data tertentu" sehingga gagal memprediksi observasi masa depan secara andal. Dalam istilah sederhana, model tersebut telah mengira suara sebagai pola.

Bayangkan seorang siswa yang menghafal soal ujian tahun lalu kata demi kata. Berikan mereka soal yang sama dan mereka akan mendapat nilai 100%. Berikan mereka soal baru dan mereka akan stuck. Model taruhan dengan puluhan fitur yang disesuaikan untuk satu musim Premier League, hanya 380 pertandingan dan 38 per tim, memiliki kebebasan jauh lebih besar daripada yang bisa dibenarkan oleh data tersebut. Model itu akan dengan gembira "belajar" bahwa Tim X menang ketika hujan pada hari Selasa.

Sepak bola memperburuk hal ini lebih dari olahraga lain. Gol jarang terjadi, sehingga hasil individual adalah berisik, dan dalam beberapa ratus taruhan, model yang baik dan tebakan beruntung terlihat hampir identik. Kembangkan ke ekstrem dan model dengan jumlah parameter yang sama dengan jumlah pertandingan dapat mereproduksi data pelatihan secara sempurna, lalu gagal total pada pertandingan berikutnya.

Tanda-tanda peringatan

• Backtest spektakuler, hasil live biasa-biasa saja. Beberapa penurunan adalah normal (statistisi menyebutnya shrinkage), tapi jurang bukan.
• Geser sedikit ambang batas dan profitnya hilang. Edge nyata bertahan terhadap perubahan kecil. Yang overfitted tidak.
• Aturan menangnya aneh dan sangat spesifik. "Tim tandang, hari Senin, odds 3,20 ke 3,60" adalah sidar jari-jari dari noise, bukan wawasan.

Underfitting adalah kegagalan kebalikan: model terlalu sederhana untuk menangkap pola nyata, seperti menggambar garis lurus melalui kurva. Titik manisnya adalah apa yang Burnham dan Anderson sebut prinsip parsimony, sesederhana mungkin dan hanya sekompleks yang benar-benar didukung oleh data. Untuk para bettor, kami akan pergi lebih jauh. Sederhana menang atas cerdas sampai cerdas membuktikan dirinya out of sample.

Leakage adalah sepupu dari overfitting yang lebih licik. Modelmu diberi informasi yang tidak mungkin bisa kamu miliki pada saat kamu sebenarnya memasang taruhan, dan backtest terlihat sangat bagus karena secara efektif ia sedang membaca koran besok.

Leakage taruhan klasik terletak pada data historis gratis yang kebanyakan pemula gunakan sebagai awal. File hasil dari Football-Data.co.uk membawa odds pra-pertandingan dari berbagai bandar taruhan dan, dengan menggunakan kode yang sama ditambah huruf "C", juga odds penutupan: B365CH adalah harga menang tuan rumah penutupan dari Bet365, dan kolom Pinnacle mengikuti pola yang sama (PSH untuk harga pra-penutupan, PSCH untuk penutupan). Harga penutupan adalah informasi yang sangat berharga. Gunakan mereka sebagai fitur dan kemudian "bertarap" pada harga yang lebih awal, atau klaim nilai terhadap angka yang tidak bisa kamu dapatkan, dan backtest-mu adalah fiksi.

Jadi, tanyakan satu pertanyaan untuk setiap fitur: pada momen tepat saya memasang taruhan ini, bisakah saya tahu angka ini?

Dua kebocoran yang lebih tenang juga menangkap pemodel berpengalaman. Skalasi atau pemilihan fitur pada seluruh dataset sebelum membagi data memungkinkan pertandingan masa depan membentuk cara membaca pertandingan masa lalu. Dan rating kekuatan tim yang diperkirakan dari dataset lengkap membawa pengetahuan tentang hasil yang belum terjadi. Perbaikannya membosankan tapi sangat kuat: beri timestamp setiap fitur dan buang apa pun yang datang setelah taruhanmu seharusnya dipasang.

Bias melihat ke depan adalah saudara dekat kebocoran data, dan sering kali tersembunyi di kolom odds, bukan di fitur. Jika Anda melakukan backtest dengan harga yang diperbaru setelah pengumuman skuad, atau dengan daftar pertandingan yang diperbaru setelah pertandingan selesai, Anda sedang melakukan kecurangan secara diam-diam.

Pelaku terburuk adalah kolom "odds terbaik". Backtesting pada harga terbaik dari dua puluh lebih bandar mengasumsikan bahwa Anda memiliki akun di semua bandar tersebut dan bahwa setiap bandar menerima taruhan penuh Anda. Realitas tidak seperti itu. Paper dari Kaunitz, Zhong, dan Kreiner tahun 2017, Beating the bookies with their own numbers, melaporkan strategi yang menghasilkan keuntungan dalam simulasi 10 tahun pada odds penutupan, simulasi 6 bulan pada odds per menit, dan 5 bulan bertaruh dengan uang sungguhan. Mereka juga menggambarkan bagaimana bandar membatasi akun mereka setelah para bettor mulai menang.

Inilah pelajaran utamanya. Bahkan strategi yang berfungsi bisa menghadapi harga dan jumlah taruhan yang tidak bisa Anda dapatkan. Backtest pada harga yang secara realistis bisa Anda dapatkan, dengan jumlah taruhan yang secara realistis akan diizinkan, dan perlakukan apa pun di atas itu sebagai bonus. Jika model Anda mengandalkan machine learning, panduan kami tentang apakah machine learning bisa mengalahkan bandar adalah bacaan selanjutnya yang alami.

Ini adalah jebakan yang hampir semua orang alami, karena kamu tidak perlu melakukan kesalahan apa pun untuk terjebak di dalamnya. Kamu hanya perlu mencoba banyak ide.

Para ahli statistik menyebutnya sebagai data dredging, data snooping, atau p-hacking. Pada tingkat signifikansi standar 5%, satu dari dua puluh ide yang tidak berguna akan tampak "signifikant" hanya karena kebetulan saja. Uji cukup banyak dari mereka dan hampir pasti ada beberapa yang akan tampak demikian. Matemikanya singkat:

Peluang setidaknya satu dari m tes tidak berguna terlihat signifikan
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Simulasi sederhana menunjukkan apa yang terjadi pada sistem taruhan. Ambil seratus sistem yang murni kebisingan, masing-masing memasang 300 taruhan pada odds desimal 2,00 (setara dengan even money dalam odds fraksi), di mana peluang menang sebenarnya adalah 47,6% (fair 50% dikurangi margin tipikal bandar). Setiap satu dari mereka memiliki kerugian bawaan sekitar 4,8% per taruhan. Ulangi seluruh eksperimen 200 kali dan sistem yang terlihat terbaik dari seratus tersebut menunjukkan median return sekitar +9,3%.

ROI sebenarnya per sistem     = 2,00 x 0,476 - 1  = -4,8%
SD ROI atas 300 taruhan      = 1,0 / sqrt(300)   ≈ 5,8 poin
Terbaik dari 100 (median)    ≈ +9,3%
Jarak dari nilai sebenarnya  ≈ 14,1 / 5,8        ≈ 2,4 deviasi standar

"Pemenang" itu hanyalah keberuntungan dan tidak ada apa-apa lagi. Dan kamu tidak perlu sengaja membangun 100 sistem untuk mencapai situasinya. Setiap kali kamu mengganti liga, menyesuaikan rentang odds, mengubah jendela performa, atau menambahkan fitur lalu menjalankan ulang, kamu telah mencoba sistem lain. Kamu adalah mesin pengujian multi-mu sendiri.

Cara membela diri

Tuliskan hipotesis dan metrik suksesmu sebelum kamu melihat data. Simpan penghitungan berjalan untuk setiap varian yang kamu coba, dan naikkan standar seiring dengan bertambahnya jumlah tersebut; itulah pemikiran di balik koreksi seperti Bonferroni (bagi tingkat signifikansimu dengan jumlah tes) dan Holm-Bonferroni yang lebih lembut. Favoritkan model dengan sedikit parameter dan alasan sepak bola untuk ada. Backtest yang berkilau tidak bisa menciptakan edge yang tidak ada, sama seperti sistem staking seperti Martingale tidak bisa mengubah taruhan yang kalah menjadi yang menang.

Jangan pernah mengacak acak pertandingan ke dalam set pelatihan dan pengujian. Pembagian acak memungkinkan model belajar dari pertandingan yang dimainkan setelah pertandingan yang sedang diujinya, yang merupakan kebocoran data tersendiri, dan mencampur bentuk tim yang sama ke dalam kedua tumpukan. Dalam betting, waktu adalah satu-satunya cara jujur untuk memotong data.

Metode standar adalah validasi walk-forward. Latih pada musim satu hingga lima, uji pada musim enam. Kemudian latih pada satu hingga enam, uji pada tujuh, dan terus bergulir. Atur pengatur Anda pada musim validasi tersebut dan di tempat lain mana pun. Setiap langkah mencerminkan persis apa yang akan Anda hadapi secara nyata: semua yang diketahui hingga hari ini, lalu rangkaian pertandingan yang belum pernah Anda lihat.

Kemudian datang ujian final. Simpan musim terbaru dan biarkan saja saat Anda membangun. Anda mendapatkan satu pandangan. Intip, sesuaikan, dan intip lagi, dan itu bukan lagi tidak terlihat. Itu telah berubah menjadi set validasi lain, dan Anda sedang overfitting melalui keputusan Anda sendiri, satu penyesuaian kecil yang tampak tidak bersalah pada satu waktu.

Setelah itu datang standar emas: paper trading. Catat prediksi Anda sebelum kick-off, dengan stempel waktu, untuk beberapa ratus pertandingan sebelum satu sen pun dipasang. Tujuh minggu ke musim 2026/27, kampanye saat ini masih jauh dari cukup besar untuk menilai model secara mandiri, dan itulah poinnya. Anda membutuhkan ratusan prediksi asli out-of-sample, bukan awal yang panas. Panduan lengkap kami untuk membangun model betting membahas pengaturan pipeline tersebut dari nol.

Tanyakan pada kebanyakan orang seberapa bagus model mereka dan mereka akan mengutip akurasi: seberapa sering pilihan utama mereka menang. Untuk taruhan, itu hampir tidak berguna. Mendukung favorit setiap minggu dan Anda akan terlihat sangat "akurat", tapi odds sudah memperhitungkan harga favorit, jadi Anda tidak menghasilkan apa-apa. Yang membayar adalah mendapatkan probabilitas yang benar, terutama di mana prediksi Anda berbeda dengan pasar.

Itu adalah kalibrasi. Ketika Anda mengatakan 40%, apakah itu terjadi sekitar 40% dari waktu? Tiga skor mengukur ini dengan benar, dan semuanya adalah aturan penilaian "proper", yang berarti skor ekspektasi Anda terbaik ketika Anda melaporkan apa yang Anda benar-benar yakini.

Brier score (satu kejadian ya/tidak)  = (p - o)^2
  Prediksi 70%, terjadi:       (0,7 - 1)^2 = 0,09
  Prediksi 70%, tidak terjadi:       (0,7 - 0)^2 = 0,49
  Selalu mengatakan 50%:              0,25  (tanda "tidak tahu apa-apa")

Log loss = -ln(probabilitas yang Anda berikan untuk apa yang benar-benar terjadi)
  80% pada pemenang:  0,22      8% pada pemenang:  2,53

RPS (tiga arah, urut Home / Draw / Away)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Brier, yang diperkenalkan oleh Glenn Brier pada tahun 1950, adalah rata-rata kesalahan kuadrat dari probabilitas Anda, dan lebih rendah lebih baik. Log loss sangat kejam pada kesalahan yang penuh keyakinan. Rank Probability Score menghormati fakta bahwa kemenangan home lebih "dekat" ke draw daripada ke kemenangan away, dan Constantinou dan Fenton berargumen pada tahun 2012 bahwa ini adalah aturan yang benar-benar menilai model prediksi sepak bola.

Ambil pertandingan ilustratif dengan tiga peramalan: model yang masuk akal (55/25/20), pasar (45/28/27) dan model yang terlalu percaya diri (80/12/8).

Angka ilustratif. Lebih rendah lebih baik.

Peramalan yang terlalu percaya diri terlihat seperti jenius ketika tim home menang dan dihajar di lain waktu. Akurasi akan memberikan skor identik untuk prediksi 55% dan 80%. Hanya rata-rata dari ratusan pertandingan yang mengungkap siapa yang terkalibrasi, jadi pasangan skor dengan tabel kalibrasi: kelompokkan prediksi Anda (0-10%, 10-20% dan seterusnya) dan cek tingkat ketepatan di masing-masing.

Mengapa ini penting untuk keuntungan

Walsh dan Joshi menguji ini pada data NBA, melatih model selama beberapa musim dan menjalankan eksperimen taruhan pada satu musim yang ditahan dengan odds yang dipublikasikan. Memilih model berdasarkan kalibrasi menghasilkan rata-rata +34,69%, berbanding -35,17% ketika memilih berdasarkan akurasi. Ini basket dan satu musim tes, jadi jadikan ini sebagai dukungan kuat untuk prinsipnya daripada resep. Tapi ini adalah prinsip yang akan kita bangun setiap model di sekitarnya: skor probabilitas, bukan pilihan.

Setiap aturan penilaian butuh pesaing, dan yang paling berat saat ini gratis: harga penutupan bandar taruhan dengan margin yang sudah dibersihkan. Ubah odds menjadi probabilitas dulu, lalu hilangkan overround.

Harga ilustratif: Home 2,20, Draw 3,40, Away 3,50

Implied:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Total  =  103,44%  -> overround 3,44%

Fair:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Jalankan Brier, log loss, dan RPS Anda pada probabilitas penutupan fair tersebut untuk pertandingan yang sama dengan model Anda. Jika model Anda tidak bisa mengalahkannya, itu tidak menambah apa pun yang tidak sudah diketahui pasar, dan Anda sedang membayar margin untuk hak istimewa tersebut. Penutupan sangat sulit untuk dikalahkan karena telah menyerap berita tim dan uang dari bettor paling tajam. Pinnacle sendiri mengatakan batasannya naik dari sekitar $3.000 pada garis awal NFL menjadi lebih dari $100.000 saat kick-off karena angka semakin pasti.

Itu tidak membuat penutupan tidak bisa ditaklukkan. Kaunitz dan rekan-rekan mengklaim berhasil mengalahkannya dalam simulasi, dan studi 2019 dari Hubacek, Sourek, dan Zelezny berargumen bahwa sebuah model harus sengaja memisahkan korelasi dari bandar, karena model yang hanya menggemakan odds tidak bisa menemukan nilai. Mengalahkan penutupan secara konsisten itu jarang, dan itulah mengapa ini adalah standar yang tepat.

Lacak nilai garis penutupan (CLV) pada setiap taruhan

Nilai garis penutupan membandingkan harga yang Anda ambil dengan harga finalnya. Pinnacle menyebut secara konsisten mengalahkan penutupan sebagai "salah satu indikator terkuat" dari bettor tajam, dan ini jauh lebih cepat dibaca daripada profit, yang terlalu berisik untuk dipercaya di awal. Aturan kasar untuk odds di sekitar 2,00 menunjukkan mengapa:

CLV = odds diambil / odds penutupan
Anda mengambil 2,20, penutupan 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Taruh yang dibutuhkan untuk membedakan edge dari luck (sekitar 95% confidence)
  ≈ (2 x SD per bet / edge)^2
  SD per bet pada odds 2,00 ≈ 1,0
  Edge 5%:  (2 x 1,0 / 0,05)^2 = 40^2 = 1.600 bets

Itu sekitar 1.600 bets untuk membuktikan edge 5% hanya berdasarkan hasil, lebih dari yang pernah dicatat oleh kebanyakan bettor. CLV positif di beberapa ratus bets memberi tahu Anda jauh lebih cepat apakah Anda sedang menemukan sesuatu, itulah mengapa ini berada di inti dari value betting yang benar.

• Kalahkan harga penutup atau buang modelnya. Jika probabilitas wajar Anda tidak bisa menghasilkan skor lebih tinggi daripada harga penutup tanpa margin, model Anda hanyalah hobi, bukan keunggulan.
• Beri stempel waktu pada segalanya. Setiap fitur yang tidak bisa Anda ketahui ketika taruhan dipasang adalah kebocoran, dan kebocoran membuat setiap backtest terlihat seperti pahlawan.
• Hitung jumlah percobaan Anda. Dua puluh penyesuaian berarti ada peluang 64% sesuatu terlihat bagus hanya karena kebetulan. Naikkan standar saat jumlah percobaan meningkat.
• Pisahkan berdasarkan waktu, bukan secara acak. Berjalan maju musim demi musim dan berikan musim terbaru hanya satu kali kesempatan untuk dilihat.
• Skor probabilitas, bukan pilihan. Brier, log loss, dan RPS plus tabel kalibrasi akan memberi Anda lebih banyak informasi daripada angka strike rate.
• Backtest pada harga yang benar-benar bisa Anda dapatkan. Backtest dengan harga terbaik di seluruh pasar mengabaikan batas dan taruhan yang dibatasi.
• Simulasikan terlebih dahulu, lalu pasang taruhan kecil. Beberapa ratus prediksi berstempel waktu dengan CLV positif lebih berharga daripada backtest apa pun yang pernah Anda jalankan.

Apa pun yang dikatakan model Anda, jaga agar ukuran taruhan tetap pada porsi tetap dan terjangkau dari bankroll Anda, dan jangan pernah mengejar minggu yang buruk dengan menaikkan ukuran taruhan.

• Cara membangun model taruhan olahraga: panduan lengkap
• AI dalam taruhan olahraga: apakah machine learning bisa mengalahkan bandar?
• Penjelasan nilai garis penutupan (CLV)
• Margin bandar dan odds fair: cara menghilangkan vig
• Value betting di sepak bola: cara menemukan taruhan EV

18+. Silakan berjudi secara bertanggung jawab. Untuk dukungan gratis dan rahasia, kunjungi BeGambleAware.org.