Sobreajuste: por qué los modelos de apuestas que brillan en el backtesting pierden dinero real

Te has pasado el verano construyendo un modelo de fútbol. Racha de las últimas cinco jornadas, partidos en casa y fuera, tiros, un toque de datos arbitrales y un filtro para cuotas entre 3,20 y 3,60. Ejecutas el backtest sobre la Premier League de la temporada pasada y te escupe un retorno del +25%. Ya estás mirando un coche nuevo.

Luego arranca la temporada y la cosa pierde dinero desde el primer fin de semana.

Es la historia más conocida en la analítica de apuestas y tiene nombre: overfitting. El modelo no encontró una ventaja. Encontró la temporada pasada. Cada particularidad, cada gol de la suerte, cada victoria de un martes empapado de lluvia se incorporó como si fuera una ley del fútbol, y nada de eso vuelve a repetirse.

Aquí está la parte buena. El overfitting se puede vencer, y las soluciones son simples aunque no glamurosas. Mantén el futuro fuera de tus datos. Cuenta cuántas ideas has probado. Prueba en partidos que el modelo nunca ha visto, puntúa las probabilidades correctamente y mide todo contra la línea de cierre. Haz eso y sabrás si tu modelo funciona antes de que los bookies te lo digan de la forma cara. Nuestra línea es directa: si tu modelo no puede vencer a la línea de cierre, no funciona.

"¿Es el mono que tecleó Hamlet un buen escritor realmente?"
— Selección y Promedio de Modelos (2008)

Esa frase va al grano. Un modelo que ajusta perfectamente al pasado no ha aprendido necesariamente nada, al igual que un mono que teclea a Shakespeare por azar no es un dramaturgo. Los estadísticos definen el sobreajuste (overfitting) como un análisis que se ajusta "demasiado de cerca o exactamente a un conjunto particular de datos" y por lo tanto no predice de forma fiable las observaciones futuras. En términos llanos, el modelo ha confundido el ruido con la estructura.

Imagina a un estudiante que se memoriza el examen del año anterior palabra por palabra. Si le das el mismo examen, saca un 100%. Si le das uno nuevo, se queda bloqueado. Un modelo de apuestas con decenas de características ajustadas a una sola temporada de la Premier League, solo 380 partidos y 38 por equipo, tiene mucha más libertad de la que esos datos pueden justificar. Aprenderá con gusto que el Equipo X gana cuando llueve un martes.

El fútbol lo hace peor que la mayoría de los deportes. Los goles son escasos, por lo que los resultados individuales son ruidosos, y tras unas pocas cientos de apuestas, un modelo decente y un simple acierto se ven casi idénticos. Llevado al extremo, un modelo con tantos parámetros como partidos puede reproducir los datos de entrenamiento perfectamente, y luego fallar estrepitosamente en el partido siguiente.

Las señales de alerta

• La retroalimentación (backtest) es espectacular, los resultados en directo son ordinarios. Algún descenso es normal (los estadísticos lo llaman contracción o shrinkage), pero un precipicio no lo es.
• Ajustar un umbral hace que el beneficio desaparezca. Las ventajas reales sobreviven a pequeños cambios. Las sobreajustadas no.
• La regla ganadora es extrañamente específica. "Equipos visitantes, lunes, cuotas de 3,20 a 3,60" es la huella dactilar del ruido, no de la perspicacia.

El subajuste (underfitting) es el fallo opuesto: un modelo demasiado simple para captar patrones reales, como trazar una línea recta a través de una curva. El punto óptimo es lo que Burnham y Anderson llamaron el principio de parsimonia: tan simple como posible y solo tan complejo como los datos realmente soportan. Para los apostadores, iríamos más lejos. Lo simple gana a lo ingenioso hasta que lo ingenioso se demuestra fuera de la muestra.

La fuga de datos es el primo más astuto del sobreajuste. Tu modelo recibe información que nunca habría podido tener en el momento en que realmente colocarías la apuesta, y el backtest parece brillante porque, en la práctica, está leyendo el periódico de mañana.

La fuga clásica en las apuestas reside en los datos históricos gratuitos con los que la mayoría de los aficionados empiezan. Los archivos de resultados de Football-Data.co.uk incluyen cuotas previas al partido de una serie de bookmakers y, usando el mismo código con una "C" extra, las cuotas de cierre también: B365CH es la cuota de cierre de Bet365 para la victoria local, y las columnas de Pinnacle siguen el mismo patrón (PSH para la cuota previa al cierre, PSCH para el cierre). Las cuotas de cierre son información excelente. Si las usas como característica y luego "apuestas" a una cuota anterior, o reclamas valor frente a un número que no habrías podido tomar, tu backtest es ficción.

Así que hazte una pregunta sobre cada característica: ¿en el momento exacto en que coloco esta apuesta, ¿habría podido conocer este número?

Dos fugas más discretas también atrapan a modeladores experimentados. Escalar o seleccionar características en todo el conjunto de datos antes de dividirlo permite que los partidos futuros influyan en cómo se interpretan los pasados. Y las valoraciones de fuerza de los equipos estimadas a partir de todo el conjunto de datos contienen conocimiento de resultados que aún no habían ocurrido. La solución es aburrida pero infalible: poner marca temporal a cada característica y descartar lo que llega después de que tu apuesta habría sido colocada.

El sesgo de anticipación es un primo cercano de la fuga de información, y suele esconderse en la columna de cuotas más que en las características. Si haces backtesting con precios actualizados tras el anuncio de los equipos o con un calendario de partidos revisado a posteriori, te estás estafando a ti mismo sin darte cuenta.

El peor culpable es la columna de "mejores cuotas". Hacer backtesting con el mejor precio entre los veinte o veinticinco bookmakers supone que tenías cuentas en todos ellos y que cada uno aceptaba tu apuesta completa. La vida no funciona así. El artículo de 2017 de Kaunitz, Zhong y Kreiner, Beating the bookies with their own numbers, reportó una estrategia que fue rentable en una simulación de 10 años con cuotas de cierre, una simulación de 6 meses con cuotas minuto a minuto y 5 meses de apuestas con dinero real. También describieron cómo los bookmakers limitan sus cuentas una vez que empiezan a ganar.

Esa es toda la lección. Incluso una estrategia que funciona puede toparse con precios y apostillas que simplemente no puedes conseguir. Haz backtesting con un precio que hubieras podido tomar realísticamente, con la apostilla que hubieras podido hacer realísticamente, y trata todo lo que exceda eso como un bonus. Si tu modelo se apoya en el aprendizaje automático, nuestra guía sobre si el aprendizaje automático puede vencer a los bookmakers es la lectura natural siguiente.

Es la trampa en la que casi todo el mundo cae, porque no tienes que hacer nada mal para acabar en ella. Solo tienes que probar muchas ideas.

Los estadísticos lo llaman data dredging, data snooping o p-hacking. Con el nivel de significación habitual del 5%, una de cada veinte ideas inútiles parecerá "significativa" por puro azar. Prueba suficientes y es prácticamente seguro que alguna lo será. La matemática es breve:

Probabilidad de que al menos uno de m tests inútiles parezca significativo
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Una simulación sencilla muestra lo que eso hace a un sistema de apuestas. Toma cien sistemas que son puro ruido, cada uno con 300 apuestas a cuota decimal de 2,00 (doble en fracciones), donde la probabilidad real de ganar es del 47,6% (un 50% justo con el margen típico de la casa de apuestas). Todos tienen una pérdida integrada de aproximadamente el 4,8% por apuesta. Repite el experimento completo 200 veces y el sistema que mejor parece de los cien muestra un retorno mediano de aproximadamente +9,3%.

ROI real por sistema         = 2,00 x 0,476 - 1  = -4,8%
Desviación estándar del ROI en 300 apuestas = 1,0 / sqrt(300)   ≈ 5,8 puntos
Mejor de 100 (mediana)        ≈ +9,3%
Distancia del valor real      ≈ 14,1 / 5,8        ≈ 2,4 desviaciones estándar

Ese "ganador" es suerte y nada más. Y no necesitas construir 100 sistemas a propósito para llegar ahí. Cada vez que cambias de liga, ajustas una banda de cuotas, modificas una ventana de forma o añades una característica y vuelves a ejecutar, has probado otro sistema. Eres tu propia máquina de pruebas múltiples.

Cómo defenderte

Escribe tu hipótesis y tu métrica de éxito antes de mirar los datos. Mantén un conteo continuo de todas las variantes que pruebes y sube el listón a medida que ese número crece; ese es el razonamiento detrás de correcciones como Bonferroni (divide tu nivel de significación por el número de pruebas) y la más suave Holm-Bonferroni. Prefiere modelos con pocos parámetros y una razón futbolística para existir. Un backtest brillante no puede fabricar una ventaja que no existe, igual que sistemas de staking como el Martingale no pueden convertir una apuesta perdedora en ganadora.

Nunca mezcles partidos aleatoriamente en los conjuntos de entrenamiento y prueba. Una división aleatoria permite que el modelo aprenda de partidos jugados después de los que se están usando para probarlo, lo cual es una fuga en sí misma, y además mezcla la forma de los mismos equipos en ambos montones. En las apuestas, el tiempo es la única forma honesta de cortar los datos.

El método estándar es la validación walk-forward. Entrena en las temporadas uno a cinco y prueba en la sexta. Luego entrena en la una a la seis y prueba en la siete, y así, rodando. Ajusta tus parámetros en esas temporadas de validación y en ningún otro lugar. Cada paso refleja exactamente lo que te encontrarás en la realidad: todo lo conocido hasta hoy y luego una racha de partidos que nunca has visto.

Luego llega el examen final. Reserva la temporada más reciente y déjala en paz mientras construyes. Tienes un solo vistazo. Si miras, ajustas y vuelves a mirar, ya no es algo visto. Se ha convertido en otro conjunto de validación y estás sobreajustando a través de tus propias decisiones, con un pequeño ajuste inocente a la vez.

Después viene el estándar de oro: el trading en papel. Registra tus predicciones antes del pitillo, con marca de tiempo, para varios cientos de partidos antes de apostar un céntimo. A siete semanas de la temporada 2026/27, la campaña actual está lejos de ser lo suficientemente grande para juzgar un modelo por sí solo, y ese es exactamente el punto. Necesitas cientos de predicciones genuinas fuera de muestra, no un buen inicio. Nuestra guía completa para construir un modelo de apuestas explica paso a paso cómo establecer esa línea de producción desde cero.

Pregunta a la mayoría de la gente qué tan bueno es su modelo y te darán la precisión: con qué frecuencia ganó su apuesta principal. Para las apuestas, eso es casi inútil. Apuesta al favorito cada semana y parecerás muy "preciso", pero las cuotas ya tienen en cuenta al favorito, así que no ganas nada. Lo que de verdad paga es acertar la probabilidad, sobre todo cuando la tuya difiere de la del mercado.

Eso es la calibración. Cuando dices un 40%, ¿ocurre eso aproximadamente el 40% de las veces? Tres puntuaciones miden esto correctamente, y todas son reglas de puntuación "apropiadas", lo que significa que tu puntuación esperada es la mejor cuando reportas lo que realmente crees.

Puntuación de Brier (un evento sí/no)  = (p - o)^2
  Pronóstico del 70%, ocurre:       (0,7 - 1)^2 = 0,09
  Pronóstico del 70%, no ocurre:       (0,7 - 0)^2 = 0,49
  Decir siempre el 50%:              0,25  (la marca del "que no sabe nada")

Pérdida logarítmica = -ln(probabilidad que diste a lo que realmente ocurrió)
  80% en el ganador:  0,22      8% en el ganador:  2,53

RPS (tres vías, ordenadas Local / Empate / Visitante)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Brier, introducido por Glenn Brier en 1950, es el error cuadrático medio de tus probabilidades, y cuanto más bajo, mejor. La pérdida logarítmica es brutal con los errores de alta confianza. La Puntuación de Probabilidad por Rango respeta el hecho de que una victoria local está "más cerca" de un empate que de una victoria visitante, y Constantinou y Fenton argumentaron en 2012 que es la regla que evalúa adecuadamente los modelos de predicción de fútbol.

Toma un partido ilustrativo con tres pronosticadores: un modelo sensato (55/25/20), el mercado (45/28/27) y un modelo sobreconfiado (80/12/8).

Números ilustrativos. Cuanto más bajo, mejor.

El pronosticador sobreconfiado parece un genio cuando gana el equipo local y se lleva una paliza en los demás casos. La puntuación daría la misma nota a los pronósticos del 55% y del 80%. Solo los promedios sobre cientos de partidos revelan quién está calibrado, así que combina las puntuaciones con una tabla de calibración: agrupa tus pronósticos (0-10%, 10-20% y así sucesivamente) y comprueba la tasa de aciertos en cada grupo.

Por qué importa para el beneficio

Walsh y Joshi pusieron esto a prueba con datos de la NBA, entrenando modelos durante varias temporadas y realizando experimentos de apuestas en una temporada retenida con cuotas publicadas. Elegir modelos por calibración devolvió una media de +34,69%, frente a -35,17% al elegir por precisión. Es baloncesto y una única temporada de prueba, así que tómalos como un fuerte respaldo para el principio en lugar de una receta. Pero es un principio en el que construiríamos cada modelo: puntuar probabilidades, no apuestas.

Cada sistema de puntuación necesita un rival, y el más duro que existe es gratis: la cuota de cierre del bookmaker sin la comisión. Primero, convierte las cuotas en probabilidades y luego elimina el overround.

Cuotas ilustrativas: Local 2,20, Empate 3,40, Visitante 3,50

Implícitas:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Total  =  103,44%  -> overround 3,44%

Justas:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Calcula tu Brier, log loss y RPS con esas probabilidades justas de cierre sobre los mismos partidos que tu modelo. Si tu modelo no les supera, no aporta nada que el mercado no sepa ya, y estás pagando la comisión por el privilegio. El cierre es tan difícil de batir porque se ha tragado las noticias de los equipos y el dinero más inteligente. Pinnacle mismo dice que sus límites suben desde unos $3.000 en las líneas iniciales de la NFL hasta más de $100.000 en el pitcheo a medida que las cifras se asientan.

Eso no hace al cierre invencible. Kaunitz y colegas afirmaron haberlo superado en simulación, y el estudio de 2019 de Hubacek, Sourek y Zelezny argumentó que un modelo debe desasociarse deliberadamente del bookmaker, porque uno que simplemente repite las cuotas no puede encontrar valor. Superar el cierre de forma consistente es raro, y esa es exactamente la razón por la que es el estándar correcto.

Trazar el valor de la línea de cierre (CLV) en cada apuesta

El valor de la línea de cierre compara la cuota que tomaste con la final. Pinnacle llama a superar consistentemente el cierre "uno de los indicadores más fuertes" de un apostador hábil, y se lee mucho más rápido que la ganancia, que es demasiado ruidosa para confiar en ella al principio. Una regla aproximada para cuotas cercanas a 2,00 muestra por qué:

CLV = cuota tomada / cuota de cierre
Tomas 2,20, cierra en 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Apuestas necesarias para distinguir una ventaja de la suerte (confianza del 95% aprox.)
  ≈ (2 x SD por apuesta / ventaja)^2
  SD por apuesta en cuota 2,00 ≈ 1,0
  Ventaja del 5%:  (2 x 1,0 / 0,05)^2 = 40^2 = 1.600 apuestas

Eso son unas 1.600 apuestas para demostrar una ventaja del 5% solo con los resultados, más de las que la mayoría de los apostadores registrarán jamás. Un CLV positivo a lo largo de unas pocas cientos de apuestas te dice mucho antes si estás por algo, y por eso está en el corazón del value betting de verdad.

• Pega el cierre o tira el modelo. Si tus probabilidades justas no superan las cuotas de cierre sin margen, tu modelo es un pasatiempo, no una ventaja.
• Marca la hora a todo. Cualquier dato que no pudiste conocer cuando se colocó la apuesta es una fuga, y las fugas convierten cada backtest en un héroe.
• Cuenta tus intentos. Veinte ajustes significan un 64% de probabilidad de que algo parezca genial por accidente. Sube la vara a medida que aumenta el número.
• Divide por tiempo, nunca al azar. Avanza temporada por temporada y da exactamente un vistazo a la temporada más reciente.
• Puntuas probabilidades, no selecciones. Brier, pérdida de logs y RPS más una tabla de calibración te dirán más que cualquier tasa de aciertos.
• Prueba retroactivamente a precios que podrías obtener realmente. Las pruebas retroactivas con las mejores cuotas de todo el mercado ignoran los límites y las apuestas restringidas.
• Prueba con dinero ficticio primero, luego apuesta poco. Unos cientos de predicciones con marca de tiempo y CLV positivo valen más que cualquier prueba retroactiva que jamás ejecutarás.

Sea lo que diga tu modelo, mantén las apuestas a una parte fija y asequible de tu banca y nunca persigas una mala semana subiendo las cantidades.

• Cómo crear un modelo de apuestas deportivas: la guía completa
• La IA en las apuestas deportivas: ¿puede el aprendizaje automático vencer a los bookmakers?
• El valor de la línea de cierre (CLV) explicado
• Margen del bookmaker y cuotas justas: cómo eliminar el vig
• Apuestas de valor en el fútbol: cómo encontrar apuestas con EV

18+. Apuesta con responsabilidad. Para obtener apoyo gratuito y confidencial, visita BeGambleAware.org.