Overfitting: Por que é que modelos de apostas que se saem bem nos backtests perdem dinheiro real

Passaste o verão a construir um modelo de futebol. Forma dos últimos cinco jogos, divisão entre casa e fora, remates, uma pitada de dados de árbitros e um filtro para odds entre 3,20 e 3,60. Corres o backtest sobre a Premier League da época passada e ele devolve-te um retorno de +25%. Já estás a fazer pesquisas para um carro novo.

Depois a época começa e a coisa perde dinheiro desde o primeiro fim de semana.

É a história mais comum em análise de apostas e tem um nome: overfitting. O modelo não encontrou uma vantagem. Encontrou a época passada. Cada peculiaridade, cada gol de sorte, cada vitória numa terça-feira encharcada ficou gravada como se fosse uma lei do futebol, e nada disso volta a acontecer.

Aqui está a parte boa. O overfitting é vencível e as soluções são simples, mesmo que não sejam glamorosas. Mantém o futuro fora dos teus dados. Conta quantas ideias já tentaste. Testa em jogos que o modelo nunca viu, calcula as probabilidades de forma correta e mede tudo em relação à linha de fecho. Faz isso e saberás se o teu modelo funciona antes de as casas de apostas te dizerem da maneira cara. A nossa linha é direta: se o teu modelo não consegue vencer a linha de fecho, não funciona.

"O macaco que digitou Hamlet é, de facto, um bom escritor?"
— Seleção de Modelos e Média de Modelos (2008)

Esta frase vai direto ao ponto. Um modelo que ajusta o passado com perfeição não aprendeu necessariamente nada, tal como um macaco a bater Shakespeare ao acaso não é um dramaturgo. Os estatísticos definem o overfitting como uma análise que corresponde "de forma demasiado próxima ou exata a um conjunto particular de dados" e, por isso, falha em prever observações futuras de forma fiável. Em termos simples, o modelo confundiu ruído com estrutura.

Imagine um estudante que memoriza o exame do ano passado palavra por palavra. Se lhe derem o mesmo exame, ele faz 100%. Se lhe derem um novo, fica bloqueado. Um modelo de apostas com dezenas de variáveis ajustado a uma única temporada da Premier League, com apenas 380 jogos e 38 por equipa, tem muito mais liberdade do que esses dados podem justificar. Ele vai aprender alegremente que a Equipa X ganha quando chove numa terça-feira.

O futebol torna a situação pior do que na maioria dos desportos. Os golos são raros, por isso os resultados individuais são ruidosos, e em algumas centenas de apostas, um modelo decente e um palpite afortunado parecem quase idênticos. Levado ao extremo, um modelo com tantos parâmetros como jogos pode reproduzir os dados de treino perfeitamente, para depois cair de par em par no jogo seguinte.

Os sinais de alerta

• O backtest é espetacular, os resultados ao vivo são ordinários. Alguma perda de desempenho é normal (os estatísticos chamam-lhe shrinkage), mas um precipício não é.
• Ajustar um pouco o limiar e o lucro desaparece. Vantagens reais sobrevivem a pequenas alterações. As de modelos com overfitting não.
• A regra vencedora é estritamente específica. "Equipas fora, segundas-feiras, odds 3,20 a 3,60" é a marca dos ruídos, não do insight.

O underfitting é o oposto do overfitting: um modelo demasiado simples para captar padrões reais, como desenhar uma linha reta através de uma curva. O ponto ideal é o que Burnham e Anderson chamaram princípio de parcimónia: tão simples quanto possível e apenas tão complexo quanto os dados genuinamente suportam. Para apostadores, iríamos mais longe. Simples vence inteligente até o inteligente provar-se fora da amostra.

A fuga de dados é o primo mais discreto do overfitting. O teu modelo recebe informação que nunca poderia ter tido no momento em que realmente farias a aposta, e o backtest parece brilhante porque está, na prática, a ler o jornal de amanhã.

A fuga de dados clássica está nos dados históricos gratuitos com que a maioria dos entusiistas começa. Os ficheiros de resultados do Football-Data.co.uk trazem as odds pré-jogo de vários bookmakers e, usando o mesmo código com um "C" extra, também as odds de fecho: B365CH é o preço de fecho da vitória da equipa da casa na Bet365, e as colunas da Pinnacle seguem o mesmo padrão (PSH para o preço antes do fecho, PSCH para o fecho). Os preços de fecho são informação excelente. Usá-los como característica e depois "apostar" a um preço anterior, ou alegar valor face a um número que não terias conseguido, e o teu backtest é ficção.

Põe então uma pergunta a cada característica: no momento exato em que faço esta aposta, seria possível saber este número?

Duas fugas mais discretas também apanham modeladores experientes. Escalar ou selecionar características no conjunto de dados completo antes de o dividir permite que jogos futuros moldem a forma como os passados são interpretados. E as avaliações de força das equipas estimadas a partir do conjunto de dados completo carregam conhecimento de resultados que ainda não tinham acontecido. A solução é chata mas à prova de balas: colocar carimbo de tempo a todas as características e descartar tudo o que chega depois do momento em que a aposta teria sido colocada.

O viés de antecipação é um primo próximo da fuga de informação, e frequentemente esconde-se na coluna de cotações em vez de nas características. Se fazes backtesting com preços atualizados depois das notícias de equipas, ou com uma lista de jogos reformulada a posteriori, estás a fazer trapaça silenciosamente.

O pior culpado é a coluna das "melhores cotações". Fazer backtesting ao melhor preço entre uma vintena de casas de apostas assume que tinhas contas em todas elas e que cada uma aceitava a tua aposta total. A vida não funciona assim. O artigo de 2017 de Kaunitz, Zhong e Kreiner, Beating the bookies with their own numbers, reportou uma estratégia que foi lucrativa numa simulação de 10 anos com cotações finais, numa simulação de 6 meses com cotações minuto a minuto e em 5 meses de apostas com dinheiro real. Descreveram também as casas de apostas a limitar as suas contas assim que começaram a ganhar.

Aqui está a lição inteira. Mesmo uma estratégia que funciona pode encontrar-se com cotações e apostas que simplesmente não consegues obter. Faz backtesting a um preço que realista­mente terias conseguido, com a aposta que realista­mente terias sido autorizado a fazer, e trata qualquer coisa acima disso como um bónus. Se o teu modelo depende de machine learning, o nosso guia sobre se o machine learning pode vencer as casas de apostas é a leitura natural seguinte.

É a armadilha em que quase todos caem, porque não é preciso fazer nada de errado para lá chegar. Basta tentar muitas ideias.

Os estatísticos chamam-lhe data dredging, data snooping ou p-hacking. Com o nível de significância habitual de 5%, uma em vinte ideias inúteis vai parecer "significativa" por puro acaso. Se testares suficientes delas, é virtualmente certo que algumas vão. A matemática é curta:

Probabilidade de pelo menos um de m testes inúteis parecer significativo
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Uma simulação simples mostra o que isso faz a um sistema de apostas. Toma cem sistemas que são puro ruído, cada um a fazer 300 apostas a odds de 2,00 (empate em termos fracionários), onde a verdadeira probabilidade de ganhar é de 47,6% (um justo 50% com a margem típica de uma casa de apostas descontada). Todos eles têm uma perda embutida de cerca de 4,8% por aposta. Repete o experimento todo 200 vezes e o sistema que melhor parece dos cem mostra um retorno mediano de cerca de +9,3%.

ROI verdadeiro por sistema     = 2,00 x 0,476 - 1  = -4,8%
DP do ROI em 300 apostas     = 1,0 / sqrt(300)   ≈ 5,8 pontos
Melhor de 100 (mediana)        ≈ +9,3%
Distância do valor verdadeiro    ≈ 14,1 / 5,8        ≈ 2,4 desvios padrão

Esse "vencedor" é sorte e nada mais. E não precisas de construir 100 sistemas de propósito para chegar lá. Cada vez que trocas de ligas, ajustas uma faixa de odds, mudas uma janela de forma ou acrescentas uma característica e voltas a correr, tentaste outro sistema. Tu próprio és uma máquina de testes múltiplos.

Como te defender

Escreve a tua hipótese e a tua métrica de sucesso antes de olhar para os dados. Mantém uma contagem contínua de todas as variantes que tentas e eleva a barra à medida que essa contagem sobe; esse é o raciocínio por trás de correções como Bonferroni (divide o teu nível de significância pelo número de testes) e o mais suave Holm-Bonferroni. Prefere modelos com poucos parâmetros e uma razão futebolística para existirem. Um backtest brilhante não consegue fabricar uma vantagem que não existe, tal como sistemas de staking como o Martingale não conseguem transformar uma aposta perdedora numa vencedora.

Nunca embaralhe aleatoriamente os jogos para os conjuntos de treino e de teste. Uma divisão aleatória permite que o modelo aprenda com jogos disputados depois dos que estão a ser usados para o testar, o que é, por si só, uma fuga de informação, e mista a forma das mesmas equipas em ambos os conjuntos. Nas apostas, o tempo é a única forma honesta de cortar os dados.

O método padrão é a validação walk-forward. Treine nas temporadas um a cinco, teste na temporada seis. Depois treine em um a seis, teste na sete, e continue a fazer rolar. Ajuste as suas configurações nessas temporadas de validação e em nenhum outro lugar. Cada passo espelha exatamente aquilo que vai enfrentar na realidade: tudo o que é conhecido até hoje, seguido de uma série de jogos que nunca viu.

Depois vem o exame final. Reserve a temporada mais recente e deixe-a de lado enquanto constrói. Tem uma única vista. Espreite, ajuste e volte a espreitar, e já não é não vista. Transformou-se num outro conjunto de validação, e está a fazer overfitting através das suas próprias decisões, um pequeno ajuste inocente de cada vez.

Depois vem o padrão de ouro: trading de papel. Registe as suas previsões antes do apito inicial, com carimbo de tempo, para algumas centenas de jogos antes de colocar um centavo. A sete semanas do arranque da temporada 2026/27, a campanha atual está longe de ser grande o suficiente para avaliar um modelo por si só, e esse é exatamente o ponto. Precisa de centenas de previsões genuínas fora da amostra, não de um arranque quente. O nosso guia completo para construir um modelo de apostas explica como configurar essa pipeline do zero.

Pergunte à maioria das pessoas como é bom o seu modelo e eles vão citar a acurácia: com que frequência a aposta principal venceu. Para apostas, isso é quase inútil. Apostar no favorito todas as semanas e você vai parecer muito "acurado", mas as odds já têm o favorito embutido, por isso não ganha nada. O que paga é acertar com a probabilidade, especialmente onde a sua diverge da do mercado.

É isso que se chama calibração. Quando diz 40%, acontece cerca de 40% das vezes? Três métricas medem isso corretamente, e todas são regras de pontuação "adequadas", o que significa que a sua pontuação esperada é melhor quando reporta aquilo em que genuinamente acredita.

Pontuação de Brier (um evento sim/não)  = (p - o)^2
  Previsão de 70%, acontece:       (0,7 - 1)^2 = 0,09
  Previsão de 70%, não acontece:       (0,7 - 0)^2 = 0,49
  Dizer sempre 50%:              0,25  (a marca do "não sei nada")

Log loss = -ln(probabilidade que deu ao que realmente aconteceu)
  80% no vencedor:  0,22      8% no vencedor:  2,53

RPS (três vias, ordenado Casa / Empate / Fora)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

A pontuação de Brier, introduzida por Glenn Brier em 1950, é o erro quadrático médio das suas probabilidades, e quanto menor, melhor. A log loss é brutal em erros confiantes. A Rank Probability Score respeita o facto de que uma vitória da equipa da casa está "mais perto" de um empate do que de uma vitória da equipa visitante, e Constantinou e Fenton argumentaram em 2012 que é a regra que avalia adequadamente modelos de previsão de futebol.

Tomemos um jogo ilustrativo com três previsores: um modelo sensato (55/25/20), o mercado (45/28/27) e um modelo excessivamente confiante (80/12/8).

Números ilustrativos. Quanto menor, melhor.

O previsor excessivamente confiante parece um génio quando a equipa da casa ganha e é massacrado nos outros casos. A acurácia pontuaria as previsões de 55% e 80% de forma idêntica. Só as médias ao longo de centenas de jogos revelam quem está calibrado, por isso combine as métricas com uma tabela de calibração: agrupe as suas previsões (0-10%, 10-20% e assim por diante) e verifique a taxa de acerto em cada grupo.

Porquê é importante para o lucro

Walsh e Joshi testaram isto em dados da NBA, treinando modelos ao longo de várias temporadas e a realizar experimentos de apostas numa temporada de teste com odds publicadas. Escolher modelos pela calibração retornou uma média de +34,69%, contra -35,17% quando se escolhia pela acurácia. É basquetebol e uma única temporada de teste, por isso tome isto como um forte apoio ao princípio em vez de uma receita. Mas é um princípio em torno do qual construiríamos todos os modelos: pontue probabilidades, não apostas.

Cada regra de pontuação precisa de um rival, e o mais duro que existe é grátis: a cotação final da casa de apostas com a margem removida. Primeiro, converte as odds em probabilidades, depois remove o overround.

Cotações ilustrativas: Casa 2,20, Empate 3,40, Fora 3,50

Implícito:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Total  =  103,44%  -> overround 3,44%

Justo:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Corre o teu Brier, log loss e RPS sobre essas probabilidades finais justas nos mesmos jogos do teu modelo. Se o teu modelo não os supera, não acrescenta nada que o mercado já não saiba, e estás a pagar a margem pelo privilégio. A linha final é tão difícil de vencer porque já absorveu as notícias das equipas e o dinheiro mais afiado. A própria Pinnacle diz que os seus limites sobem de cerca de $3.000 em linhas iniciais da NFL para mais de $100.000 no momento do pontapé de saída, à medida que os números se firmam.

Isso não torna a linha final invencível. Kaunitz e colegas afirmaram ter vencido em simulação, e o estudo de 2019 de Hubacek, Sourek e Zelezny argumentou que um modelo tem de se desacorrelacionar deliberadamente da casa de apostas, porque um que apenas ecoa as odds não consegue encontrar valor. Vencer a linha final consistentemente é raro, e é exatamente por isso que é a barra certa.

Acompanhar o valor da linha final (CLV) em todas as apostas

Valor da linha final compara a cotação que pegaste com a final. A Pinnacle chama a vencer consistentemente a linha final "um dos indicadores mais fortes" de um apostador afiado, e lê-se muito mais rápido do que o lucro, que é demasiado ruidoso para confiar no início. Uma regra aproximada para odds perto de 2,00 mostra porquê:

CLV = odds pegadas / odds finais
Pegas 2,20, fecha em 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Apostas necessárias para distinguir vantagem de sorte (cerca de 95% de confiança)
  ≈ (2 x DP por aposta / vantagem)^2
  DP por aposta em odds 2,00 ≈ 1,0
  5% de vantagem:  (2 x 1,0 / 0,05)^2 = 40^2 = 1.600 apostas

Isso são cerca de 1.600 apostas para provar uma vantagem de 5% apenas com base nos resultados, mais do que a maioria dos apostadores jamais fará. CLV positivo em algumas centenas de apostas diz-te muito mais cedo se estás a acertar, o que é a razão pela qual está no coração das apostas de valor genuínas.

• Vencer o fecho ou descartar. Se as tuas probabilidades justas não superarem as odds de fecho sem margem, o teu modelo é um hobby, não uma vantagem.
• Colocar carimbo de data a tudo. Qualquer característica que não poderia ter conhecido quando a aposta foi feita é uma fuga, e as fugas transformam qualquer backtest num herói.
• Contar as tentativas. Vinte ajustes significam uma probabilidade de 64% de algo parecer ótimo por acidente. Aumenta o padrão à medida que o número de tentativas sobe.
• Dividir pelo tempo, nunca aleatoriamente. Avança temporada a temporada e dá exatamente uma vista à temporada mais recente.
• Pontuar probabilidades, não escolhas. Brier, log loss e RPS, além de uma tabela de calibração, dir-te-ão mais do que qualquer taxa de acerto.
• Fazer backtest com preços que realmente conseguirias obter. Backtests com as melhores odds do mercado ignoram limites e apostas restritas.
• Fazer simulações primeiro, depois apostar pouco. Algumas centenas de previsões com carimbo de data e CLV positivo valem mais do que qualquer backtest que alguma vez vais executar.

Independentemente do que o teu modelo diga, mantém as apostas numa fatia fixa e acessível do teu bankroll e nunca persigas uma semana má aumentando-as.

• Como construir um modelo de apostas desportivas: o guia completo
• IA nas apostas desportivas: o machine learning consegue vencer as casas de apostas?
• Explicação do valor da linha de fecho (CLV)
• Margem da casa de apostas e odds justas: como remover a vig
• Apostas de valor no futebol: como encontrar apostas com EV

18+. Aposte de forma responsável. Para apoio gratuito e confidencial, visite BeGambleAware.org.