Sobreajuste: por qué los modelos de apuestas que se lucran en backtesting pierden dinero real

Llevas todo el verano construyendo un modelo de fútbol. Forma de los últimos cinco partidos, división local y visitante, tiros, un toque de datos arbitrales y un filtro para cuotas entre 3.20 y 3.60. Corres la retrovalidación sobre la temporada pasada de la Premier League y arroja un retorno del +25%. Ya estás buscando un auto nuevo.

Luego arranca la temporada y la cosa pierde dinero desde el primer fin de semana.

Es la historia más conocida en la analítica de apuestas, y tiene un nombre: sobreajuste. El modelo no encontró una ventaja. Encontró la temporada anterior. Cada particularidad, cada gol de la suerte, cada victoria bajo la lluvia del martes quedó cocida como si fuera una ley del fútbol, y nada de eso vuelve a aparecer.

Aquí está la parte buena. El sobreajuste se puede vencer, y las soluciones son simples aunque no sean glamorosas. Mantén el futuro fuera de tus datos. Cuenta cuántas ideas has probado. Prueba en partidos que el modelo nunca ha visto, puntúa las probabilidades correctamente y mide todo contra la línea de cierre. Haz eso y sabrás si tu modelo funciona antes de que los bookies te lo digan de la manera cara. Nuestra línea es directa: si tu modelo no puede vencer la línea de cierre, no funciona.

"¿Es el mono que tecleó Hamlet realmente un buen escritor?"
— Selección de modelos y promediado de modelos (2008)

Esa frase va al grano. Un modelo que se ajusta perfectamente al pasado no necesariamente ha aprendido algo, igual que un mono que por azar está escribiendo a Shakespeare no es un dramaturgo. Los estadísticos definen el sobreajuste como un análisis que se ajusta "demasiado de cerca o exactamente a un conjunto particular de datos" y por lo tanto no predice de manera confiable observaciones futuras. En términos simples, el modelo ha confundido ruido por estructura.

Imagina a un estudiante que se memoriza la prueba de exámenes del año anterior palabra por palabra. Si le das la misma prueba, saca 100%. Si le das una nueva, queda atascado. Un modelo de apuestas con decenas de características ajustadas a una sola temporada de la Premier League, con solo 380 partidos y 38 por equipo, tiene mucha más libertad de la que esos datos pueden justificar. Con gusto "aprenderá" que el Equipo X gana cuando llueve un martes.

El fútbol lo hace peor que la mayoría de los deportes. Los goles son escasos, por lo que los resultados individuales son ruidosos, y a lo largo de unas pocas cientos de apuestas, un modelo decente y una apuesta afortunada parecen casi idénticos. Llevado al extremo, un modelo con tantos parámetros como partidos puede reproducir perfectamente los datos de entrenamiento, para luego fallar de plano en el siguiente partido.

Las señales de alerta

• La retrovalidación es espectacular, los resultados en vivo son ordinarios. Algún descenso es normal (los estadísticos lo llaman contracción), pero un barranco no lo es.
• Ajustar un umbral hace que la ganancia desaparezca. Las ventajas reales sobreviven a pequeños cambios. Las sobreajustadas no.
• La regla ganadora es sorprendentemente específica. "Equipos visitantes, lunes, cuotas de 3.20 a 3.60" es la huella dactilar del ruido, no del ingenio.

El bajo ajuste es el fallo opuesto: un modelo demasiado simple para captar patrones reales, como dibujar una línea recta a través de una curva. El punto óptimo es lo que Burnham y Anderson llamaron el principio de parsimonia: tan simple como posible y tan complejo como los datos realmente lo respaldan. Para los apostadores, iríamos más lejos. Lo simple supera a lo ingenioso hasta que lo ingenioso se demuestre fuera de la muestra.

La fuga de datos es el primo más astuto del sobreajuste. Tu modelo se alimenta de información que nunca podría haber tenido en el momento en que realmente colocarías la apuesta, y la retroprueba se ve brillante porque, en la práctica, ha estado leyendo el periódico de mañana.

La fuga de apuestas clásica reside en los datos históricos gratuitos con los que la mayoría de los aficionados empiezan. Los archivos de resultados de Football-Data.co.uk incluyen cuotas prepartido de una serie de casas de apuestas y, usando el mismo código con una "C" extra, las cuotas de cierre también: B365CH es la cuota de cierre de Bet365 para la victoria local, y las columnas de Pinnacle siguen el mismo patrón (PSH para la cuota pre-cierre, PSCH para el cierre). Las cuotas de cierre son una información excelente. Si las usas como variable y luego "apuestas" a una cuota anterior, o reclamas valor frente a un número que no habrías podido tomar, tu retroprueba es ficción.

Así que hazte una pregunta sobre cada variable: ¿en el momento exacto en que coloco esta apuesta, habría podido conocer este número?

Dos fugas más silenciosas también atrapan a modeladores experimentados. Escalar o seleccionar variables en el conjunto de datos completo antes de dividirlo permite que los partidos futuros formen cómo se leen los pasados. Y las ratings de fuerza del equipo estimadas desde el conjunto de datos completo llevan consigo el conocimiento de resultados que aún no habían ocurrido. La solución es aburrida pero a prueba de balas: marcar con la fecha y hora cada variable y descartar cualquier cosa que llegue después de cuando tu apuesta habría salido.

El sesgo de mirar hacia adelante es un pariente cercano de la fuga de información, y suele esconderse en la columna de cuotas en lugar de en las variables. Si haces la retroalimentación con precios actualizados después de que salga la noticia de los equipos, o con un calendario de partidos reescrito después de hecho, estás engañando en silencio.

El peor culpable es la columna de "mejores cuotas". Hacer la retroalimentación con el mejor precio entre unas veinte casas de apuestas asume que tenías cuentas con todas ellas y que cada una aceptó tu apuesta completa. La vida no funciona así. El artículo de 2017 de Kaunitz, Zhong y Kreiner, Beating the bookies with their own numbers, reportó una estrategia que fue rentable en una simulación de 10 años con cuotas de cierre, una simulación de 6 meses con cuotas minuto a minuto y 5 meses de apuestas con dinero real. También describieron cómo las casas de apuestas limitaban sus cuentas una vez que empezaban a ganar.

Ahí está toda la lección. Incluso una estrategia que funciona puede toparse con precios y apuestas que simplemente no puedes obtener. Haz la retroalimentación con un precio que podrías haber tomado de forma realista, con la apuesta que te habrían permitido de forma realista, y trata todo lo que esté por encima de eso como un bonus. Si tu modelo se basa en aprendizaje automático, nuestra guía sobre si el aprendizaje automático puede vencer a las casas de apuestas es la lectura natural siguiente.

Esta es la trampa en la que cae casi todo el mundo, porque no tienes que hacer nada mal para meterte en ella. Solo tienes que probar muchas ideas.

Los estadísticos lo llaman data dredging, data snooping o p-hacking. Con el nivel de significancia habitual del 5%, una de cada veinte ideas inútiles se verá "significativa" por puro azar. Prueba suficientes y es prácticamente seguro que alguna lo será. La matemática es breve:

Probabilidad de que al menos uno de m tests inútiles se vea significativo
  = 1 - (1 - 0.05)^m

m = 20   ->  1 - 0.95^20  = 0.64   (64%)
m = 100  ->  1 - 0.95^100 = 0.994  (99.4%)

Una simulación sencilla muestra lo que esto hace a un sistema de apuestas. Toma cien sistemas que son puro ruido, cada uno realizando 300 apuestas a cuotas decimales de 2.00 (empate en términos fraccionales), donde la probabilidad real de ganar es 47.6% (un 50% justo con el margen típico de la casa de apuestas descontado). Todos ellos tienen una pérdida incorporada de aproximadamente 4.8% por apuesta. Repite todo el experimento 200 veces y el sistema que mejor se ve de los cien muestra un retorno mediano de aproximadamente +9.3%.

ROI real por sistema         = 2.00 x 0.476 - 1  = -4.8%
Desviación estándar del ROI en 300 apuestas     = 1.0 / sqrt(300)   ≈ 5.8 puntos
Mejor de 100 (mediana)        ≈ +9.3%
Distancia desde el valor real    ≈ 14.1 / 5.8        ≈ 2.4 desviaciones estándar

Ese "ganador" es suerte y nada más. Y no necesitas construir 100 sistemas a propósito para llegar allí. Cada vez que cambias de liga, ajustas un rango de cuotas, modificas una ventana de forma o añades una característica y vuelves a ejecutar, has probado otro sistema. Tú mismo eres tu máquina de pruebas múltiples.

Cómo defenderte

Escribe tu hipótesis y tu métrica de éxito antes de mirar los datos. Mantén un registro continuo de todas las variantes que pruebes y sube la barra a medida que ese conteo sube; ese es el razonamiento detrás de correcciones como Bonferroni (divide tu nivel de significancia por el número de pruebas) y el más suave Holm-Bonferroni. Prefiere modelos con pocos parámetros y una razón futbolística para existir. Un backtest brillante no puede fabricar una ventaja que no existe, igual que los sistemas de staking como la Martingala no pueden convertir una apuesta perdida en una ganadora.

Nunca mezcles los partidos aleatoriamente en los conjuntos de entrenamiento y prueba. Una división aleatoria permite que el modelo aprenda de partidos jugados después de los que se están evaluando, lo cual es una fuga de información en sí misma, y además mezcla la forma de los mismos equipos en ambas pilas. En las apuestas, el tiempo es la única forma honesta de cortar los datos.

El método estándar es la validación walk-forward. Entrena con las temporadas uno a cinco y prueba con la temporada seis. Luego entrena con la uno a seis y prueba con la siete, y así sucesivamente. Ajusta tus configuraciones en esas temporadas de validación y en ningún otro lugar. Cada paso refleja exactamente lo que enfrentarás en la realidad: todo lo que se sabe hasta hoy, y luego una serie de partidos que nunca has visto.

Luego viene el examen final. Deja de lado la temporada más reciente y no la toques mientras construyes. Tienes una sola mirada. Si asomas la nariz, ajustas algo y vuelves a mirar, ya no es un conjunto de datos no visto. Se ha convertido en otro conjunto de validación y estás sobreajustando a través de tus propias decisiones, un pequeño ajuste inocente a la vez.

Después viene el estándar de oro: el trading en papel. Registra tus predicciones antes del pitazo inicial, con marca de tiempo, para unos cientos de partidos antes de poner un centavo. A siete semanas de la temporada 2026/27, la campaña actual no es lo suficientemente grande para juzgar un modelo por sí solo, y ese es exactamente el punto. Necesitas cientos de predicciones genuinas fuera de la muestra, no un buen comienzo. Nuestra guía completa para construir un modelo de apuestas explica cómo configurar esa línea de trabajo desde cero.

Pregunta a la mayoría de las personas qué tan bueno es su modelo y te van a citar la precisión: con qué frecuencia ganó su apuesta principal. Para las apuestas, eso es casi inútil. Si respaldas al favorito cada semana, parecerás muy "preciso", pero las cuotas ya tienen en cuenta al favorito, así que no ganas nada. Lo que realmente paga es acertar la probabilidad, especialmente cuando la tuya difiere de la del mercado.

Eso es la calibración. Cuando dices 40%, ¿ocurre eso aproximadamente el 40% de las veces? Tres puntajes lo miden adecuadamente, y todos son reglas de puntuación "adecuadas", lo que significa que tu puntuación esperada es la mejor cuando reportas lo que genuinamente crees.

Puntaje de Brier (un evento sí/no)  = (p - o)^2
  Pronóstico del 70%, ocurre:       (0.7 - 1)^2 = 0.09
  Pronóstico del 70%, no ocurre:       (0.7 - 0)^2 = 0.49
  Decir siempre el 50%:              0.25  (la marca de "no saber nada")

Pérdida de registro = -ln(probabilidad que diste a lo que realmente ocurrió)
  80% en el ganador:  0.22      8% en el ganador:  2.53

RPS (tres vías, ordenadas Local / Empate / Visitante)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

El puntaje de Brier, introducido por Glenn Brier en 1950, es el error cuadrático medio de tus probabilidades, y cuanto más bajo sea, mejor. La pérdida de registro es brutal con los errores de confianza alta. El Puntaje de Probabilidad por Rango respeta el hecho de que una victoria del local está "más cerca" de un empate que de una victoria del visitante, y Constantinou y Fenton argumentaron en 2012 que es la regla que evalúa adecuadamente los modelos de pronóstico de fútbol.

Toma un partido ilustrativo con tres pronosticadores: un modelo sensato (55/25/20), el mercado (45/28/27) y un modelo sobreconfiado (80/12/8).

Números ilustrativos. Menor es mejor.

El pronosticador sobreconfiado parece un genio cuando el equipo local gana y recibe un castigo en los demás casos. La puntuación de precisión puntuaría de manera idéntica los pronósticos del 55% y del 80%. Solo los promedios sobre cientos de partidos revelan quién está calibrado, así que combina los puntajes con una tabla de calibración: clasifica tus pronósticos (0-10%, 10-20% y así sucesivamente) y verifica la tasa de aciertos en cada uno.

Por qué importa para la ganancia

Walsh y Joshi pusieron esto a prueba con datos de la NBA, entrenando modelos durante varias temporadas y realizando experimentos de apuestas en una temporada retenida con cuotas publicadas. Elegir modelos por calibración devolvió un promedio de +34.69%, en contra de -35.17% al elegirlos por precisión. Es baloncesto y una sola temporada de prueba, así que tómalos como un fuerte respaldo para el principio en lugar de una receta. Pero es un principio en el que construiríamos cada modelo: puntuar probabilidades, no apuestas.

Cada regla de puntuación necesita un rival, y el más duro que existe es gratis: el precio de cierre del bookmaker con el margen quitado. Primero, convierte las cuotas en probabilidades y luego elimina el overround.

Precios ilustrativos: Local 2.20, Empate 3.40, Visitante 3.50

Implícitas:  1/2.20 = 45.45%   1/3.40 = 29.41%   1/3.50 = 28.57%
Total  =  103.44%  -> overround 3.44%

Justas:     45.45 / 103.44 = 43.94%
          29.41 / 103.44 = 28.43%
          28.57 / 103.44 = 27.62%

Corre tu Brier, log loss y RPS sobre esas probabilidades justas de cierre en los mismos partidos que tu modelo. Si tu modelo no les gana, no añade nada que el mercado ya no sepa, y estás pagando el margen por el privilegio. El cierre es tan difícil de vencer porque ha absorbido la información de los equipos y el dinero más astuto. Pinnacle misma dice que sus límites suben desde alrededor de $3,000 en líneas iniciales de la NFL hasta más de $100,000 al momento del pitazo inicial a medida que los números se firman.

Eso no hace que el cierre sea invencible. Kaunitz y colegas afirmaron haberlo superado en simulación, y el estudio de 2019 de Hubacek, Sourek y Zelezny argumentó que un modelo debe desasociarse deliberadamente del bookmaker, porque uno que simplemente refleja las cuotas no puede encontrar valor. Ganar consistentemente al cierre es raro, y es exactamente por eso que es la barra correcta.

Rastrear el valor de la línea de cierre (CLV) en cada apuesta

El valor de la línea de cierre compara la cuota que tomaste con la final. Pinnacle llama a vencer consistentemente al cierre "uno de los indicadores más fuertes" de un apostador astuto, y se lee mucho más rápido que la ganancia, que es demasiado ruidosa para confiar en ella al principio. Una regla aproximada para cuotas cercanas a 2.00 muestra por qué:

CLV = cuota tomada / cuota de cierre
Tomas 2.20, cierra en 2.05:  2.20 / 2.05 = 1.073  -> +7.3%

Apuestas necesarias para distinguir una ventaja de la suerte (aproximadamente 95% de confianza)
  ≈ (2 x SD por apuesta / ventaja)^2
  SD por apuesta en cuotas 2.00 ≈ 1.0
  5% de ventaja:  (2 x 1.0 / 0.05)^2 = 40^2 = 1,600 apuestas

Eso son alrededor de 1,600 apuestas para demostrar una ventaja del 5% solo con resultados, más de lo que la mayoría de los apostadores registrarán jamás. Un CLV positivo a través de unas pocas cientos de apuestas te dice mucho más pronto si estás en algo, que es por lo que se encuentra en el corazón del value betting propiamente dicho.

• Ganar al cierre o tirar el modelo. Si tus probabilidades justas no superan a las cuotas de cierre sin margen, tu modelo es un pasatiempo, no una ventaja.
• Ponle fecha y hora a todo. Cualquier característica que no podías conocer cuando la apuesta se colocó es una fuga, y las fugas convierten cada backtest en un héroe.
• Cuenta tus intentos. Veinte ajustes significan un 64% de probabilidad de que algo se vea bien por accidente. Sube la vara a medida que aumente el número.
• Divide por tiempo, nunca al azar. Avanza temporada por temporada y dale a la temporada más reciente exactamente una mirada.
• Califica probabilidades, no selecciones. Brier, log loss y RPS más una tabla de calificación te dirán más que cualquier tasa de aciertos.
• Haz backtests a precios que realmente podrías conseguir. Los backtests de mejores cuotas del mercado ignoran los límites y las apuestas restringidas.
• Practica con dinero ficticio primero, luego apuesta poco. Unos cientos de pronósticos con fecha y hora con CLV positivo valen más que cualquier backtest que jamás ejecutarás.

Sea lo que tu modelo diga, mantén las apuestas en una parte fija y asequible de tu bankroll y nunca persigas una mala semana subiendo las cuotas.

• Cómo construir un modelo de apuestas deportivas: la guía completa
• La IA en las apuestas deportivas: ¿puede el aprendizaje automático vencer a las casas de apuestas?
• El valor de la línea de cierre (CLV) explicado
• El margen de la casa de apuestas y las cuotas justas: cómo eliminar el vig
• Apuestas de valor en el fútbol: cómo encontrar apuestas con EV

18+. Apueste de forma responsable. Para obtener apoyo gratuito y confidencial, visite BeGambleAware.org.