Sur-apprentissage : pourquoi les modèles de paris qui excellent en backtest perdent de l'argent réel

Vous avez passé l'été à construire un modèle de football. La forme des cinq derniers matchs, les splits domicile/extérieur, les tirs, une pointe de données arbitrales et un filtre pour les cotes entre 3,20 et 3,60. Vous lancez le backtest sur la Premier League de la saison dernière et il crache un rendement de +25 %. Vous êtes déjà en train de parcourir les annonces pour une nouvelle voiture.

Puis la saison démarre et l'engin saigne de l'argent dès le premier week-end.

C'est l'histoire la plus familière dans l'analyse des paris, et elle a un nom : surapprentissage. Le modèle n'a pas trouvé un avantage. Il a trouvé la saison dernière. Chaque particularité, chaque but chance, chaque victoire sous la pluie d'un mardi a été intégrée comme si c'était une loi du football, et rien de tout cela ne se reproduira.

Voici la bonne nouvelle. Le surapprentissage est battable, et les correctifs sont simples, même s'ils ne sont pas glamour. Gardez le futur hors de vos données. Comptez combien d'idées vous avez essayées. Testez sur des matchs que le modèle n'a jamais vus, notez les probabilités correctement et mesurez tout par rapport à la cote finale. Faites ça et vous saurez si votre modèle fonctionne avant que les bookmakers ne vous le disent de la manière coûteuse. Notre ligne est tranchante : si votre modèle ne peut pas battre la cote finale, il ne fonctionne pas.

« Est-ce que le singe qui a tapé Hamlet est vraiment un bon écrivain ? »
— Model Selection and Model Averaging (2008)

Cette phrase va droit au but. Un modèle qui s'ajuste parfaitement au passé n'a pas forcément appris grand-chose, tout comme un singe qui tape Shakespeare par hasard n'est pas un dramaturge. Les statisticiens définissent le surapprentissage comme une analyse qui correspond « trop étroitement ou exactement à un jeu de données particulier » et qui échoue donc à prédire de manière fiable les observations futures. En termes simples, le modèle a pris du bruit pour de la structure.

Imaginez un étudiant qui a mémorisé mot pour mot le sujet de l'année précédente. On lui donne le même sujet et il obtient 100 %. On lui donne un nouveau sujet et il est perdu. Un modèle de paris qui intègre des dizaines de variables calées sur une seule saison de Premier League, soit seulement 380 matchs et 38 par équipe, a beaucoup plus de liberté que ces données ne le permettent. Il va joyeusement « apprendre » que l'équipe X gagne quand il pleut un mardi.

Le football aggrave le problème par rapport à la plupart des autres sports. Les buts sont rares, les résultats individuels sont donc bruyants, et sur quelques centaines de paris, un modèle correct et un coup de chance semblent quasi identiques. Poussez l'extrême et un modèle avec autant de paramètres que de matchs peut reproduire parfaitement les données d'entraînement, puis s'effondre dès le match suivant.

Les signaux d'alerte

• Le backtest est spectaculaire, les résultats en direct sont ordinaires. Une certaine baisse est normale (les statisticiens l'appellent la contraction), mais une chute vertigineuse, non.
• On ajuste légèrement un seuil et le profit disparaît. Les vrais avantages survivent aux petits changements. Les modèles sur-apprentis, non.
• La règle gagnante est étrangement spécifique. « Équipes à l'extérieur, lundi, cotes entre 3,20 et 3,60 » est l'empreinte du bruit, pas de l'insight.

Le sous-apprentissage est l'échec inverse : un modèle trop simple pour capturer de vrais patterns, comme tracer une ligne droite à travers une courbe. Le bon équilibre, c'est ce que Burnham et Anderson ont appelé le principe de parcimonie : aussi simple que possible et aussi complexe que les données le permettent réellement. Pour les parieurs, on irait plus loin. Le simple bat le complexe tant que le complexe ne prouve pas son efficacité hors échantillon.

Le leakage est le cousin plus sournois du surapprentissage. Votre modèle se nourrit d’informations qu’il n’aurait jamais pu avoir au moment où vous placez réellement votre pari, et le backtest paraît brillant car il a, en pratique, lu le journal de demain.

La fuite classique se trouve dans les données historiques gratuites dont la plupart des amateurs partent. Les fichiers de résultats de Football-Data.co.uk contiennent les cotes pré-match d’un panel de bookmakers et, en utilisant le même code avec un « C » en plus, les cotes de clôture : B365CH est le prix de la victoire à domicile de clôture de Bet365, et les colonnes de Pinnacle suivent le même schéma (PSH pour le prix avant la clôture, PSCH pour la clôture). Les cotes de clôture sont une information précieuse. Si vous les utilisez comme variable et que vous « pariez » ensuite à un prix antérieur, ou si vous prétendez avoir de la valeur face à un nombre que vous n’auriez pas pu obtenir, votre backtest est une fiction.

Posez donc une seule question à chaque variable : au moment exact où je place ce pari, aurais-je pu connaître ce chiffre ?

Deux fuites plus discrètes piègent aussi les modélisateurs expérimentés. Faire l’ajustement ou la sélection des variables sur l’ensemble du jeu de données avant de le scinder permet aux matchs futurs de façonner la lecture des matchs passés. Et les ratings de force d’équipe estimés à partir du jeu de données complet portent la connaissance de résultats qui n’avaient pas encore eu lieu. La solution est ennuyeuse mais infaillible : horrodatez chaque variable et éliminez tout ce qui arrive après le moment où votre pari aurait été placé.

Le biais de rétrovision est le cousin proche de la fuite de données, et il se cache souvent dans la colonne des cotes plutôt que dans les caractéristiques. Si vous faites un backtest avec des cotes mises à jour après l'annonce des compositions d'équipe, ou avec un calendrier de matchs révisé après coup, vous vous trahissez discrètement.

Le pire coupable est la colonne « meilleures cotes ». Faire un backtest sur la meilleure cote parmi une vingtaine de bookmakers suppose que vous aviez des comptes chez tous et que chacun acceptait votre mise totale. La réalité ne fonctionne pas ainsi. L'article de 2017 de Kaunitz, Zhong et Kreiner, Beating the bookies with their own numbers, a rapporté une stratégie rentable dans une simulation de 10 ans sur les cotes de clôture, une simulation de 6 mois sur les cotes minute par minute et 5 mois de mises réelles. Ils ont également décrit les bookmakers limitant leurs comptes une fois qu'ils commençaient à gagner.

Voilà toute la leçon. Même une stratégie qui fonctionne peut se heurter à des cotes et des mises que vous ne pouvez tout simplement pas obtenir. Faites votre backtest à une cote que vous auriez pu prendre de façon réaliste, avec la mise que vous auriez été autorisé à placer, et considérez tout ce qui dépasse comme un bonus. Si votre modèle s'appuie sur l'apprentissage automatique, notre guide sur si l'apprentissage automatique peut battre les bookmakers est la lecture naturelle suivante.

C'est le piège dans lequel presque tout le monde tombe, car on n'a pas besoin de faire quoi que ce soit de mal pour s'y retrouver. Il suffit d'essayer beaucoup d'idées.

Les statisticiens l'appellent le « data dredging », le « data snooping » ou le « p-hacking ». Au seuil de signification habituel de 5 %, une idée sur vingt inutile paraîtra « significative » par simple hasard. Testez-en suffisamment et il est quasi certain qu'au moins une le sera. Le calcul est court :

Probabilité qu'au moins un des m tests inutiles paraisse significatif
  = 1 - (1 - 0,05)^m

m = 20   ->  1 - 0,95^20  = 0,64   (64 %)
m = 100  ->  1 - 0,95^100 = 0,994  (99,4 %)

Une simulation simple montre l'impact de tout cela sur un système de paris. Prenez cent systèmes qui ne sont que du bruit pur, chacun passant 300 paris à une cote de 2,00 (cote à l'égalité en termes fractionnaires), où la probabilité réelle de gagner est de 47,6 % (un 50 % juste, une fois la marge typique du bookmaker déduite). Chacun d'eux a une perte intégrée d'environ 4,8 % par pari. Répétez l'expérience entière 200 fois et le système le plus prometteur parmi les cent affiche un rendement médian d'environ +9,3 %.

ROI réel par système        = 2,00 x 0,476 - 1  = -4,8 %
Écart-type du ROI sur 300 paris = 1,0 / sqrt(300)   ≈ 5,8 points
Meilleur des 100 (médiane)   ≈ +9,3 %
Distance par rapport à la valeur réelle ≈ 14,1 / 5,8        ≈ 2,4 écarts-types

Ce « gagnant » est de la chance et rien d'autre. Et vous n'avez pas besoin de construire 100 systèmes exprès pour arriver là. Chaque fois que vous changez de championnat, ajustez une fourchette de cotes, modifiez une fenêtre de forme ou ajoutez un critère avant de relancer la simulation, vous avez testé un autre système. Vous êtes votre propre machine de tests multiples.

Comment vous protéger

Notez votre hypothèse et votre indicateur de succès avant de regarder les données. Tenez un compteur de toutes les variantes que vous essayez, et haussez la barre à mesure que ce compteur augmente ; c'est le raisonnement derrière des corrections comme Bonferroni (divisez votre niveau de signification par le nombre de tests) et la plus douce Holm-Bonferroni. Privilégiez les modèles avec peu de paramètres et une raison footballistique d'exister. Un backtest brillant ne peut pas fabriquer un avantage qui n'existe pas, tout comme les systèmes de mise comme le Martingale ne peuvent pas transformer un pari perdant en pari gagnant.

On ne mélange jamais les matchs au hasard entre les ensembles d'entraînement et de test. Une partition aléatoire permet au modèle d'apprendre à partir de matchs joués après ceux sur lesquels il est testé, ce qui constitue en soi une fuite de données, et elle mélange la forme des mêmes équipes dans les deux tas. En paris sportifs, le temps est la seule façon honnête de couper les données.

La méthode standard est la validation walk-forward. Entraîner sur les saisons un à cinq, tester sur la saison six. Puis entraîner sur les saisons un à six, tester sur la saison sept, et continuer ainsi. Ajustez vos paramètres sur ces saisons de validation et nulle part ailleurs. Chaque étape reflète exactement ce à quoi vous serez confronté en conditions réelles : tout ce qui est connu jusqu'à aujourd'hui, puis une série de matchs que vous n'avez jamais vus.

Ensuite vient l'examen final. Mettez de côté la saison la plus récente et ne la touchez pas pendant la construction. Vous n'avez droit qu'à un seul regard. Regardez, ajustez et regardez à nouveau, et ce n'est plus non vu. Elle est devenue un autre ensemble de validation, et vous surajustez par vos propres décisions, un petit ajustement innocent à la fois.

Après cela vient le critère d'or : le trading sur papier. Enregistrez vos prédictions avant le coup d'envoi, avec horodatage, pour quelques centaines de matchs avant de mettre un seul centime. Sept semaines dans la saison 2026/27, la campagne actuelle est loin d'être assez grande pour juger un modèle sur sa seule base, et c'est exactement le point. Vous avez besoin de centaines de prédictions réelles hors échantillon, pas d'un bon départ. Notre guide complet pour construire un modèle de paris détaille la mise en place de cette chaîne de traitement de zéro.

Si vous demandez à la plupart des gens l'efficacité de leur modèle, ils vous donneront le taux de réussite : la fréquence avec laquelle leur pronostic principal a gagné. Pour le paris sportifs, c'est quasi inutile. Misez sur le favori chaque semaine et vous aurez l'air très « précis », mais les cotes intègrent déjà la probabilité du favori, donc vous ne gagnez rien. Ce qui rapporte, c'est d'avoir la probabilité juste, surtout là où elle diverge de celle du marché.

C'est ce qu'on appelle la calibration. Quand vous annoncez 40 %, est-ce que cela se produit environ 40 % du temps ? Trois indices mesurent cela correctement, et tous sont des règles de notation « appropriées », ce qui signifie que votre score attendu est optimal quand vous rapportez ce que vous croyez sincèrement.

Indice de Brier (un événement oui/non)  = (p - o)^2
  Pronostic à 70 %, cela arrive :       (0,7 - 1)^2 = 0,09
  Pronostic à 70 %, cela n'arrive pas :       (0,7 - 0)^2 = 0,49
  Toujours dire 50 % :              0,25  (le score « ne sachant rien »)

Log loss = -ln(probabilité attribuée à ce qui s'est réellement passé)
  80 % sur le gagnant :  0,22      8 % sur le gagnant :  2,53

RPS (trois issues, ordonnées Domicile / Nul / Extérieur)
  = 1/2 x [ (pH - oH)^2 + (pH + pD - oH - oD)^2 ]

L'indice de Brier, introduit par Glenn Brier en 1950, est l'erreur quadratique moyenne de vos probabilités, et plus c'est bas, mieux c'est. La log loss est impitoyable face aux erreurs faites avec une grande confiance. Le Rank Probability Score (RPS) respecte le fait qu'une victoire à domicile est « plus proche » d'un nul que d'une victoire à l'extérieur, et Constantinou et Fenton ont soutenu en 2012 que c'est la règle qui évalue correctement les modèles de prévision de football.

Prenons un match illustratif avec trois prévisionnistes : un modèle raisonnable (55/25/20), le marché (45/28/27) et un modèle trop confiant (80/12/8).

Chiffres illustratifs. Plus c'est bas, mieux c'est.

Le prévisionniste trop confiant a l'air d'un génie quand l'équipe à domicile gagne et se fait démolir dans les autres cas. Le taux de réussite classerait les pronostics à 55 % et 80 % exactement de la même manière. Seuls les moyennes sur des centaines de matchs révèlent qui est bien calibré, alors associez les indices à un tableau de calibration : classez vos pronostics (0-10 %, 10-20 %, etc.) et vérifiez le taux de réussite dans chaque classe.

Pourquoi c'est important pour le profit

Walsh et Joshi ont mis cela à l'épreuve sur des données NBA, en entraînant des modèles sur plusieurs saisons et en menant des expériences de paris sur une saison de test avec des cotes publiées. Choisir les modèles selon la calibration a rapporté en moyenne +34,69 %, contre -35,17 % quand on choisissait selon le taux de réussite. C'est du basket et une seule saison de test, donc prenez cela comme un fort argument en faveur du principe plutôt que comme une recette. Mais c'est un principe autour duquel nous devrions construire chaque modèle : noter les probabilités, pas les pronostics.

Chaque règle de notation a son adversaire, et le plus coriace est gratuit : la cote de clôture du bookmaker une fois la marge retirée. Convertissez d'abord les cotes en probabilités, puis supprimez l'overround.

Cotes illustratives : Domicile 2,20, Nul 3,40, Extérieur 3,50

Probabilités implicites : 1/2,20 = 45,45 %   1/3,40 = 29,41 %   1/3,50 = 28,57 %
Total  =  103,44 %  -> overround 3,44 %

Équitable :     45,45 / 103,44 = 43,94 %
          29,41 / 103,44 = 28,43 %
          28,57 / 103,44 = 27,62 %

Calculez votre score de Brier, votre log loss et votre RPS sur ces probabilités de clôture équitables, sur les mêmes matchs que votre modèle. Si votre modèle ne les bat pas, il n'apporte rien que le marché ne sait déjà, et vous payez la marge pour le privilège. La cote de clôture est si difficile à battre car elle a absorbé les nouvelles d'équipe et les paris les plus affûtés. Pinnacle lui-même indique que ses limites montent d'environ 3 000 $ sur les lignes NFL précoces à plus de 100 000 $ au coup d'envoi, à mesure que les chiffres se stabilisent.

Cela ne rend pas la cote de clôture invincible. Kaunitz et ses collègues ont prétendu la battre en simulation, et l'étude de 2019 de Hubacek, Sourek et Zelezny soutenait qu'un modèle doit délibérément se décorrélérer du bookmaker, car celui qui se contente de refléter les cotes ne peut pas trouver de valeur. Battre la cote de clôture régulièrement est rare, et c'est exactement pour cela qu'elle est le bon critère.

Suivre la valeur de la cote de clôture (CLV) sur chaque pari

La valeur de la cote de clôture compare la cote que vous avez prise avec la cote finale. Pinnacle appelle le fait de battre régulièrement la cote de clôture « l'un des indicateurs les plus forts » d'un parieur affûté, et cela se lit beaucoup plus vite que le profit, qui est trop bruyant pour être fiable tôt. Une règle approximative pour les cotes proches de 2,00 montre pourquoi :

CLV = cote prise / cote de clôture
Vous prenez 2,20, elle ferme à 2,05 :  2,20 / 2,05 = 1,073  -> +7,3 %

Paris nécessaires pour distinguer un avantage du hasard (environ 95 % de confiance)
  ≈ (2 x écart-type par pari / avantage)^2
  Écart-type par pari à cote 2,00 ≈ 1,0
  Avantage de 5 % :  (2 x 1,0 / 0,05)^2 = 40^2 = 1,600 paris

C'est environ 1,600 paris pour prouver un avantage de 5 % sur les résultats seuls, plus que la plupart des parieurs n'en feront jamais. Une CLV positive sur quelques centaines de paris vous dit bien plus tôt si vous êtes sur la bonne voie, c'est pourquoi elle se trouve au cœur du pari sur la valeur.

• Battez les cotes de clôture ou jetez le modèle. Si vos probabilités justes ne surpassent pas les cotes de clôture dépourvues de marge, votre modèle est un loisir, pas un avantage.
• Mettez tout à l'heure. Toute information que vous ne pouviez pas connaître au moment où le pari a été pris est une fuite, et les fuites transforment chaque backtest en héros.
• Comptez vos tentatives. Vingt ajustements signifient une probabilité de 64 % que quelque chose paraisse excellent par accident. Augmentez la barre à mesure que le nombre de tentatives grimpe.
• Divisez par le temps, jamais au hasard. Avancez saison après saison et accordez exactement un seul regard à la saison la plus récente.
• Notez les probabilités, pas les choix. Brier, log loss et RPS ainsi qu'un tableau de calibration vous en diront plus que n'importe quel taux de réussite.
• Faites le backtest à des cotes que vous pourriez réellement obtenir. Les backtests aux meilleures cotes du marché ignorent les limites et les mises restreintes.
• Tradez sur papier d'abord, puis misez peu. Quelques centaines de prévisions horodatées avec un CLV positif valent plus que n'importe quel backtest que vous ferez jamais.

Peu importe ce que votre modèle dit, maintenez vos mises à une part fixe et abordable de votre bank et ne chasez jamais une mauvaise semaine en les augmentant.

• Comment construire un modèle de paris sportifs : le guide complet
• L'IA dans les paris sportifs : le machine learning peut-il battre les bookmakers ?
• La valeur de la ligne de clôture (CLV) expliquée
• La marge du bookmaker et les cotes justes : comment retirer le vig
• Le value betting en football : comment trouver des paris à EV

18+. Jouez de manière responsable. Pour un soutien gratuit et confidentiel, rendez-vous sur BeGambleAware.org.