Sobreajuste: Por que modelos de apostas que brilham no backtest perdem dinheiro de verdade

Você passou o verão construindo um modelo de futebol. Forma dos últimos cinco jogos, divisão entre casa e fora, finalizações, um toque de dados de arbitragem e um filtro para odds entre 3,20 e 3,60. Você roda o backtest sobre a Premier League da última temporada e ele devolve um retorno de +25%. Você já está procurando um carro novo.

Depois a temporada começa e a coisa sangra dinheiro desde o primeiro fim de semana.

É a história mais conhecida na análise de apostas, e tem um nome: overfitting. O modelo não encontrou uma vantagem. Encontrou a temporada passada. Cada peculiaridade, cada gol bisonho, cada vitória numa terça-feira de chuva foi assada como se fosse uma lei do futebol, e nada disso volta a acontecer.

Aqui está a parte boa. O overfitting é vencível, e as correções são simples, mesmo que não sejam glamurosas. Mantenha o futuro fora dos seus dados. Conte quantas ideias você tentou. Teste em jogos que o modelo nunca viu, pontue as probabilidades corretamente e meça tudo contra a linha de fechamento. Faça isso e saberá se seu modelo funciona antes que as casas de apostas te digam da maneira cara. Nossa linha é direta: se o seu modelo não consegue vencer a linha de fechamento, ele não funciona.

"O macaco que digitou Hamlet é, na verdade, um bom escritor?"
— Seleção e Média de Modelos (2008)

Essa frase vai direto ao ponto. Um modelo que se ajusta perfeitamente ao passado não necessariamente aprendeu nada, assim como um macaco que digita Shakespeare por acaso não é um dramaturgo. Estatísticos definem overfitting (sobreajuste) como uma análise que corresponde "de perto ou exatamente a um conjunto específico de dados" e, por isso, falha em prever observações futuras de forma confiável. Em termos simples, o modelo confundiu ruído com estrutura.

Imagine um estudante que memoriza a prova do ano passado palavra por palavra. Se entregar a mesma prova, ele tira 100%. Se entregar uma nova, ele fica perdido. Um modelo de apostas com dezenas de variáveis ajustado a uma única temporada da Premier League, com apenas 380 jogos e 38 por time, tem muito mais liberdade do que esses dados podem justificar. Ele vai alegremente "aprender" que a Equipe X vence quando chove numa terça-feira.

O futebol torna isso pior do que na maioria dos esportes. Gols são raros, então resultados únicos são barulhentos, e em algumas centenas de apostas, um modelo decente e um palpite afortunado parecem quase idênticos. Leve isso ao extremo e um modelo com tantos parâmetros quanto jogos pode reproduzir os dados de treinamento perfeitamente, para depois cair de cara no jogo seguinte.

Os sinais de alerta

• O backtest é espetacular, os resultados ao vivo são medíocres. Alguma queda é normal (estatísticos chamam isso de shrinkage), mas uma queda abrupta não é.
• Ajuste levemente um limiar e o lucro desaparece. Vantagens reais sobrevivem a pequenas mudanças. As sobreajustadas não.
• A regra vencedora é estritamente específica. "Times visitantes, segundas-feiras, odds de 3,20 a 3,60" é a assinatura de ruído, não de insight.

Underfitting (subajuste) é a falha oposta: um modelo simples demais para captar padrões reais, como traçar uma linha reta através de uma curva. O ponto ideal é o que Burnham e Anderson chamaram de princípio da parcimônia: o mais simples possível e apenas tão complexo quanto os dados genuinamente suportam. Para apostadores, iríamos além. Simples vence inteligente até o inteligente provar seu valor fora da amostra.

O vazamento é o primo mais discreto do overfitting. Seu modelo recebe informações que você jamais teria tido no momento em que de fato colocaria a aposta, e o backtest parece brilhante porque, na prática, ele está lendo o jornal de amanhã.

O vazamento clássico de apostas está nos dados históricos gratuitos com que a maioria dos amadores começa. Os arquivos de resultados da Football-Data.co.uk trazem odds pré-jogo de uma variedade de casas de apostas e, usando o mesmo código com um "C" a mais, as odds de fechamento também: B365CH é o preço de fechamento da vitória do mandante na Bet365, e as colunas da Pinnacle seguem o mesmo padrão (PSH para o preço pré-fechamento, PSCH para o fechamento). Os preços de fechamento são uma informação excelente. Use-os como uma feature e depois "aposte" em um preço anterior, ou reclame valor contra um número que você não teria conseguido pegar, e seu backtest é ficção.

Então, faça uma pergunta a cada feature: no momento exato em que coloco esta aposta, eu poderia ter conhecido este número?

Dois vazamentos mais discretos também pegam modeladores experientes. Escalar ou selecionar features no conjunto de dados inteiro antes de dividi-lo permite que jogos futuros moldem como os passados são lidos. E avaliações de força de time estimadas a partir do conjunto de dados completo carregam conhecimento de resultados que ainda não haviam acontecido. A correção é chata, mas à prova de falhas: dar timestamp a cada feature e descartar qualquer coisa que chegue depois de quando sua aposta teria sido feita.

O viés de olhar para frente é parente próximo da fuga de informação e, muitas vezes, se esconde na coluna de odds em vez de nas características. Fazer backtest com preços atualizados após a confirmação da escalação, ou com a lista de jogos reafirmada depois do fato, é uma forma silenciosa de trapaça.

O maior culpado é a coluna de "melhores odds". Fazer backtest no melhor preço entre uma dúzia de casas de apostas pressupõe que você tinha contas em todas elas e que cada uma aceitou sua aposta completa. A vida não funciona assim. O artigo de 2017 de Kaunitz, Zhong e Kreiner, Beating the bookies with their own numbers, reportou uma estratégia que foi lucrativa em uma simulação de 10 anos com odds de fechamento, uma simulação de 6 meses com odds minuto a minuto e 5 meses de apostas com dinheiro real. Eles também descreveram as casas de apostas limitando as contas dos apostadores assim que eles começaram a ganhar.

Aqui está toda a lição. Mesmo uma estratégia que funciona pode se deparar com preços e stakes que simplesmente não é possível obter. Faça backtest em um preço que você poderia ter aceitado de forma realista, com a stake que você teria sido autorizado a fazer de forma realista, e trate qualquer valor acima disso como um bônus. Se o seu modelo depende de machine learning, nosso guia sobre se machine learning pode vencer as casas de apostas é a próxima leitura natural.

É a armadilha em que quase todo mundo cai, e você não precisa fazer nada de errado para acabar nela. Basta testar um monte de ideias.

Estatísticos chamam isso de mineração de dados, data snooping ou p-hacking. No nível de significância padrão de 5%, uma em cada vinte ideias inúteis vai parecer "significativa" pura sorte. Teste suficientes delas e é praticamente certo que pelo menos uma vai. A matemática é curta:

Chance de pelo menos um de m testes inúteis parecer significativo
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64%)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4%)

Uma simulação simples mostra o que isso faz com um sistema de apostas. Pegue cem sistemas que são puro ruído, cada um fazendo 300 apostas em odds decimais de 2,00 (empate em termos fracionários), onde a chance real de ganhar é 47,6% (um justo 50% com a margem típica da casa de apostas descontada). Todos eles têm uma perda embutida de cerca de 4,8% por aposta. Repita o experimento inteiro 200 vezes e o sistema que mais parece lucrativo entre os cem mostra um retorno mediano de cerca de +9,3%.

ROI real por sistema         = 2,00 x 0,476 - 1  = -4,8%
DP do ROI em 300 apostas     = 1,0 / sqrt(300)   ≈ 5,8 pontos
Melhor de 100 (mediana)      ≈ +9,3%
Distância do valor real      ≈ 14,1 / 5,8        ≈ 2,4 desvios padrão

Esse "vencedor" é sorte e nada mais. E você não precisa construir 100 sistemas de propósito para chegar lá. Toda vez que você troca de liga, ajusta uma faixa de odds, muda a janela de forma ou adiciona uma característica e roda de novo, você testou outro sistema. Você é a sua própria máquina de testes múltiplos.

Como se defender

Escreva sua hipótese e sua métrica de sucesso antes de olhar para os dados. Mantenha uma contagem de todas as variantes que você tenta e suba a barra conforme essa contagem cresce; esse é o raciocínio por trás de correções como Bonferroni (divida seu nível de significância pelo número de testes) e o mais suave Holm-Bonferroni. Prefira modelos com poucos parâmetros e uma razão futebolística para existir. Um backtest brilhante não consegue fabricar uma vantagem que não existe, assim como sistemas de stake como a Martingale não podem transformar uma aposta perdedora em uma vencedora.

Nunca embaralhe os jogos aleatoriamente para os conjuntos de treino e teste. Uma divisão aleatória deixa o modelo aprender com jogos disputados depois dos que ele está sendo testado, o que é um vazamento em si, e mistura a forma dos mesmos times em ambas as pilhas. Nas apostas, o tempo é a única forma honesta de cortar os dados.

O método padrão é a validação walk-forward. Treine nas temporadas de 1 a 5 e teste na temporada 6. Depois treine de 1 a 6 e teste na 7, e assim por diante. Ajuste suas configurações nessas temporadas de validação e em nenhum outro lugar. Cada etapa espelha exatamente o que você enfrentará na prática: tudo o que é conhecido até hoje, seguido de uma sequência de jogos que você nunca viu.

Então vem a prova final. Guarde a temporada mais recente e deixe-a de lado enquanto você constrói. Você tem uma única olhada. Espiare, ajustar e olhar de novo, e ela deixa de ser não vista. Ela se tornou outro conjunto de validação, e você está sobreajustando por meio de suas próprias decisões, um pequeno ajuste inocente de cada vez.

Depois disso vem o padrão ouro: trading de papel. Registre suas previsões antes do apito inicial, com marca de tempo, para algumas centenas de jogos antes de colocar um centavo. Sete semanas na temporada 2026/27, a campanha atual está longe de ser grande o suficiente para julgar um modelo por conta própria, e esse é exatamente o ponto. Você precisa de centenas de previsões genuínas fora da amostra, não de um começo promissor. Nosso guia completo para construir um modelo de apostas passa pelo processo de configuração desse pipeline do zero.

Pergunte à maioria das pessoas como é o seu modelo e elas vão citar a acurácia: com que frequência a melhor palpiteiro ganhou. Para apostas, isso é quase inútil. Aposte no favorito toda semana e você vai parecer muito "acurata", mas as odds já embutem o favorito, então você não ganha nada. O que paga é acertar a probabilidade, especialmente onde a sua diverge da do mercado.

Isso é calibração. Quando você diz 40%, isso acontece cerca de 40% das vezes? Três métricas medem isso corretamente, e todas elas são regras de pontuação "adequadas", o que significa que sua pontuação esperada é a melhor quando você reporta o que você genuinamente acredita.

Brier score (um evento sim/não)  = (p - o)^2
  Previsão de 70%, acontece:       (0,7 - 1)^2 = 0,09
  Previsão de 70%, não acontece:   (0,7 - 0)^2 = 0,49
  Sempre dizendo 50%:             0,25  (a marca do "não sei nada")

Log loss = -ln(probabilidade que você deu ao que realmente aconteceu)
  80% no vencedor:  0,22      8% no vencedor:  2,53

RPS (três vias, ordenado Casa / Empate / Fora)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

Brier, introduzido por Glenn Brier em 1950, é o erro quadrático médio das suas probabilidades, e quanto menor, melhor. Log loss é brutal em erros confiantes. O Rank Probability Score respeita o fato de que uma vitória em casa está "mais perto" de um empate do que de uma derrota fora, e Constantinou e Fenton argumentaram em 2012 que é a regra que avalia adequadamente modelos de previsão de futebol.

Pegue uma partida ilustrativa com três previsoristas: um modelo sensato (55/25/20), o mercado (45/28/27) e um modelo excessivamente confiante (80/12/8).

Números ilustrativos. Quanto menor, melhor.

O previsorista excessivamente confiante parece um gênio quando a equipe da casa vence e é massacrado de outra forma. A acurácia pontuaria as previsões de 55% e 80% de forma idêntica. Só as médias sobre centenas de partidas revelam quem está calibrado, então combine as métricas com uma tabela de calibração: agrupe suas previsões (0-10%, 10-20% e assim por diante) e verifique a taxa de acerto em cada grupo.

Por que isso importa para o lucro

Walsh e Joshi testaram isso em dados da NBA, treinando modelos ao longo de várias temporadas e realizando experimentos de apostas em uma temporada de teste com odds publicadas. Escolher modelos por calibração retornou uma média de +34,69%, contra -35,17% quando escolhidos por acurácia. É basquete e uma única temporada de teste, então leve isso como um forte respaldo para o princípio, não como uma receita. Mas é um princípio em que construiríamos todos os modelos: pontue probabilidades, não palpiteiros.

Toda regra de pontuação precisa de um rival, e o mais difícil em jogo é grátis: o preço final da casa de apostas com a margem removida. Primeiro, converta as odds em probabilidades, depois remova o overround.

Preços ilustrativos: Casa 2,20, Empate 3,40, Fora 3,50

Implícito:  1/2,20 = 45,45%   1/3,40 = 29,41%   1/3,50 = 28,57%
Total  =  103,44%  -> overround 3,44%

Justo:     45,45 / 103,44 = 43,94%
          29,41 / 103,44 = 28,43%
          28,57 / 103,44 = 27,62%

Rode seu Brier, log loss e RPS sobre essas probabilidades finais justas nos mesmos jogos do seu modelo. Se o seu modelo não supera essas probabilidades, ele não adiciona nada que o mercado já não saiba, e você está pagando a margem pelo privilégio. O fechamento é tão difícil de vencer porque absorveu as notícias de escalação e o dinheiro mais afiado. A própria Pinnacle diz que seus limites sobem de cerca de $3.000 nas linhas iniciais da NFL para mais de $100.000 no kickoff, conforme os números se firmam.

Isso não torna o fechamento invencível. Kaunitz e colegas afirmaram ter superado a linha final em simulação, e o estudo de 2019 de Hubacek, Sourek e Zelezny argumentou que um modelo precisa deliberadamente descorelar da casa de apostas, pois um que apenas ecoa as odds não consegue encontrar valor. Superar a linha final consistentemente é raro, e é exatamente por isso que é a barra certa.

Rastreie o valor da linha final (CLV) em toda aposta

Valor da linha final compara o preço que você pegou com o final. A Pinnacle chama de "um dos indicadores mais fortes" de um apostador afiado a superação consistente da linha final, e ela lê muito mais rápido do que o lucro, que é barulhento demais para confiar no início. Uma regra aproximada para odds próximas de 2,00 mostra por quê:

CLV = odds pegadas / odds finais
Você pega 2,20, fecha em 2,05:  2,20 / 2,05 = 1,073  -> +7,3%

Apostas necessárias para distinguir vantagem de sorte (cerca de 95% de confiança)
  ≈ (2 x DP por aposta / vantagem)^2
  DP por aposta em odds 2,00 ≈ 1,0
  Vantagem de 5%:  (2 x 1,0 / 0,05)^2 = 40^2 = 1.600 apostas

Isso é cerca de 1.600 apostas para provar uma vantagem de 5% apenas com resultados, mais do que a maioria dos apostadores jamais registrará. CLV positivo em algumas centenas de apostas diz a você muito mais cedo se você está no caminho certo, o que é por que ele está no coração do valor betting adequado.

• Vencer a linha fechada ou jogar. Se suas probabilidades justas não superarem as odds de fechamento sem margem, seu modelo é um passatempo, não uma vantagem.
• Colocar timestamp em tudo. Qualquer característica que você não poderia ter sabido quando a aposta foi feita é uma fuga de informação, e fugas transformam qualquer backtest em um herói.
• Contar suas tentativas. Vinte ajustes significam uma chance de 64% de algo parecer ótimo por acaso. Aumente o padrão conforme o número de tentativas sobe.
• Dividir por tempo, nunca aleatoriamente. Avance temporada por temporada e dê exatamente uma olhada na temporada mais recente.
• Pontuar probabilidades, não seleções. Brier, log loss e RPS, além de uma tabela de calibração, dirão mais do que qualquer taxa de acerto.
• Fazer backtest com preços que você realmente conseguiria. Backtests com as melhores odds do mercado ignoram limites e stakes restritas.
• Fazer paper trading primeiro, depois apostar pouco. Algumas centenas de previsões com timestamp e CLV positivo valem mais do que qualquer backtest que você já fez.

Independentemente do que seu modelo diz, mantenha suas stakes em uma fatia fixa e acessível do seu bank e nunca aumente-as para tentar compensar uma semana ruim.

• Como construir um modelo de apostas esportivas: o guia completo
• IA em apostas esportivas: a aprendizagem de máquina pode vencer as casas de apostas?
• Valor da linha de fechamento (CLV) explicado
• Margem da casa de apostas e odds justas: como remover a vig
• Apostas de valor no futebol: como encontrar apostas com EV

18+. Aposte com responsabilidade. Para obter apoio gratuito e confidencial, visite BeGambleAware.org.