lundi 11 juin 2018

Post-mortem de la projection en Ontario

Je dois avouer que j'étais nerveux de finalement tester le modèle électoral Qc125, particulièrement auprès d'un électorat que je connaissais peu en janvier dernier. Néanmoins, au cours de l'hiver, alors que j'observais la campagne officieuse s'entamer en Ontario, je me suis dit qu'il s'agirait d'un bel exercice pour parfaire le modèle et ainsi être mieux préparé pour l'élection québécoise d'octobre.

Je vous propose ici un certain post-mortem de cette élection et de la performance du modèle Qc125.


La performance des sondages


Les derniers sondages de la campagne ont raisonnablement bien performé, capturant avec précision le vote libéral et le vote vert.

Toutefois, le vote conservateur a été quelque sous-estimé, mais pas par de grands écart hors d'une marge d'erreur normale. Le PPCO a obtenu 40,6% du vote alors que les sondages de la dernière semaine de campagne accordaient plutôt entre 37% et 39% à l'équipe de Doug Ford.

Pour les néo-démocrates, c'est le scénario inverse. Certaines firmes comme Recherche Mainstreet et Forum Research ont publié des appuis de 34% pour le NPDO dans la dernière semaine de la campagne. EKOS avait 35%, Ipsos 36%, Pollara et Léger 38%. Les troupes de Andrea Horwatt ont finalement obtenu 33,7% des suffrages.

Néanmoins, considérant la figure ci-dessus, il serait injustifié d'affirmer que « les sondages se sont trompé » en Ontario. Certains sondages, de peu, mais pas «  les sondages ».



La projection de sièges Qc125


Le modèle électoral Qc125 a correctement prédit le vainqueur de 111 des 124 circonscriptions. Certes, j'aurais aimé avoir un score parfait, mais nous verrons plus bas que le modèle a performé « pile-poil» par rapport aux attentes - telles que statistiquement définies.

Toujours est-il que la projection finale a aussi identifié le bon résultat de l'élection, soit une victoire conservatrice majoritaire, et que le résultat de chaque parti se trouvait non seulement dans les intervalles de confiance, mais à moins d'un écart-type des moyennes de sièges:


Le modèle Qc125 classifie les projections de circonscription comme suit:

  • Les comtés solides, où la probabilité de victoire est supérieure à 95%;
  • Les comtés probables, où la probabilité de victoire est de 80% à 95%;
  • Les comtés pivots, où la probabilité de victoire est de 60% à 80%;
  • Les comtés blancs, où aucun parti ne remporte au moins 60% des simulations.

Gardez en tête ce que signifie les probabilités: si un événement possède une probabilité de 60% de survenir, c'est qu'il ne survient pas quatre fois sur 10.

Supposons par exemple que le modèle prédit correctement le vainqueur de 9 comtés blancs sur 10, soit un taux de réussite de 90%, il s'agirait alors soit d'un coup de chance ou d'une mauvaise estimation des probabilités.

Il en est de même pour les comtés solides. Si le modèle prédit correctement 35 comtés solides sur 50 (taux de réussite de 70%), alors il s'agirait d'une piètre performance du modèle.

Bref, le taux de réussite doit s'approcher des probabilités calculées le matin avant l'élection.

Jetons un coup d'oeil à la performance du modèle en Ontario.

Les comtés solides


La dernière projection Qc125 pour l'Ontario contenait 68 circonscriptions dont la projection était considérée « solide». La probabilité moyenne du vainqueur de ces 68 circonscriptions était de 99%.

Heureusement, le modèle a correctement prédit le vainqueur de l'entièreté de ces comtés. Oui, 68 sur 68, un taux de réussite de 100%.


via GIPHY




Les comtés probables


Au total, 22 circonscriptions étaient jugées comme «  probables ». En faisant la moyenne de probabilité du vainqueur de ces 22 comtés, nous obtenions une probabilité de 88%.

Sur ces 22 circonscriptions, le modèle a prédit correctement le vainqueur dans 20 d'entre elles, soit un taux de réussite de 91%.

Pile-poil.

Voici les deux circonscriptions probables où la projection n'a pas obtenu le bon vainqueur: Scarborough Centre (dans l'est de Toronto) et Brantford-Brant (à l'ouest d'Hamilton).

Dans Scarborough Centre, le modèle a surestimé les appuis aux PLO et NDPO. Les conservateurs ont donc surperformé par rapport à la projection pour l'emporter avec 38% des voix.


Dans Brantford-Brant, le modèle a correctement évalué les appuis aux NPDO (41%), mais n'avait pas prédit une telle chute du PLO (seulement 9,5% des voix) au profit du PPCO. Le candidat conservateur Will Bouma a donc remporté l'élection avec à peine 1% d'avance sur la néo-démocrate Alex Felsky.


D'un autre côté, la meilleure performance du modèle parmi les circonscriptions probables a été Flamborough-Glambrook (près d'Hamilton):


«  Nailed it. »


via GIPHY

Les comtés pivots


Les comtés pivots sont ceux où le modèle parvient à évaluer un favori, mais celui-ci remporte moins de 8 simulations sur 10. Généralement, le parti qui parvient à arracher le plus de pivots sort favori d'une soirée électorale.

Il y avait 21 pivots selon la projection finale Qc125 le matin du 7 juin. La probabilité de victoire moyenne du vainqueur de ces 21 comtés était de 69%.

Le modèle a correctement identifié le gagnant dans 16 des 21 circonscriptions, soit un taux de réussite de 76%.


via GIPHY



Les comtés blancs


Finalement, 13 circonscriptions étaient trop serrées pour se mériter une couleur sur la carte de la projection. Ces comtés «  too close to call » étaient considérés comme des pile-ou-face, avec une probabilité de victoire moyenne de 52%.

Parmi ces treize comtés, le parti considéré favori l'a remporté à 7 reprises, soit un taux de réussite de 54%.

Est-ce que j'aurai aimé les réussir tous? Évidemment. Mais ce n'est pas un pari sportif de Mise au Jeu: c'est un modèle de probabilités et statistiques. Le simple fait que j'aie prédit le vainqueur dans un peu plus de la moitié de ces comtés indiquent qu'ils étaient bel et bien incertains.

Bref, le modèle a fonctionné comme il se devait.


En conclusion


Je suis particulièrement fier d'avoir réussi 88 des 90 circonscriptions solides et probables en Ontario. Cela augure bien pour le Québec. Car je ne mentirai pas là-dessus: l'élection en Ontario était pour moi une pratique pour l'élection québécoise du 1er octobre prochain.

Je conclus en vous présentant les deux projections les plus réussies en Ontario: London-Fanshawe et Dufferin-Caledon:







Bonne journée à tous et toutes!





Philippe J. Fournier est le créateur de Qc125. Il est professeur de physique et d'astronomie au Cégep de Saint-Laurent à Montréal. Pour toute information ou pour une demande d'entrevue médiatique, écrivez à info@Qc125.com.

Philippe J. Fournier is the creator of Qc125. He teaches physics and astronomy at Cégep de Saint-Laurent in Montreal. For information or media request, please write to info@Qc125.com.