mercredi 2 août 2017

Qu'aurait prédit Qc125 en 2014?

À l'automne 2016, alors que j'étais - sans le savoir encore - en train de créer Qc125 (l'ancienne version du logiciel, celle qui était entièrement écrite en VBA), je me questionnais sur l'historique de la performance des sondages politiques au Québec. Quelques années plus tôt, plusieurs firmes de sondages canadiennes avaient complètement raté les élections provinciales en Alberta (2012) et en Colombie britannique (2013).

Était-ce une nouvelle tendance? Ces firmes étaient-elles incapables de s'adapter aux nouvelles réalités? Ou est-ce que ces deux élections furent en fait des données aberrantes dans l'univers des sondages?

Une fois la première version de Qc125 complétée, j'ai tenté de reproduire les campagnes électorales de 2014, 2012, 2008... et à ma grande surprise, le modèle concordait merveilleusement bien avec les résultats. Manifestement, les firmes de sondages qui ont travaillé au Québec ces dernières années ont tâté le pouls de l'électorat avec succès

Et pour Qc125? Ce fut un moment « eurêka ».

Dans ce premier billet au retour des vacances, je vous propose de retourner à l'automne 2012.

* * *

Pauline Marois devient la première femme Première Ministre de l'histoire du Québec. Les Libéraux de Jean Charest, vaincus - de justesse - après trois mandats consécutifs (dont deux majoritaires), retournent sur les bancs de l'opposition. La CAQ de François Legault, à sa toute première élection, obtient un vote populaire respectable de 27,1%. Québec solidaire double son total de sièges avec Françoise David qui parvient à prendre Gouin au Parti québécois (une circonscription qui avait voté péquiste sans interruption de 1976 à 2012).

Regardons la liste des sondages Léger et CROP entre l'élection de 2012 et la dissolution de l'Assemblée en mars 2014:



Que remarquons-nous? Peu après l'élection, le PQ jouit d'une période de grâce. La CAQ glisse quelque peu et il en est de même pour les Libéraux (qui n'avaient pas encore de chef suite à la démission de Jean Charest).

Puis, au printemps 2013, après la nomination de Philippe Couillard à la tête du PLQ, le nouveau chef libéral entre dans une lune de miel - ce qui est courant après l'élection d'un nouveau chef. Selon les sondages, cette montée libérale se fit à la fois aux dépens du PQ et de la CAQ.

Toutefois, la fameuse saga autour de la défunte Charte des valeurs fait tourner le vent en faveur du PQ au détriment de la CAQ. Nous semblions, encore une fois, nous diriger vers une course à deux classique entre le PLQ et le PQ. Au cours de cette période, les appuis à QS demeurent stables entre 7% et 11%.

Entre Noël 2013 et la dissolution de l'Assemblée en mars 2014, le PQ prend les devants dans les sondages.

Les chiffres sont serrés, mais rappelez-vous: pour l'emporter, le PQ n'a pas besoin de battre le PLQ au vote populaire, en particulier si la CAQ baisse entre 15% et 20% (comme c'était le cas en février
2014).

Quelles auraient été, hypothétiquement, les projections Qc125 au début et à la fin de la campagne électorale de 2014? Voici.


Projection Qc125 avant la campagne de 2014


Avec la méthode de calcul actuellement utilisée par le modèle Qc125, la projection du vote populaire au début de la campagne aurait été la suivante:

PQ 37,6% 
PLQ 33,8% 
CAQ 16,8% 
QS 7,7%

Voici les distributions statistiques basées sur les sondages avant la campagne (figure plus haut).



Avec une avance moyenne de près de 4% au vote populaire, le PQ se dirige non seulement vers une réélection, mais probablement vers une victoire majoritaire. En utilisant seulement les données qui étaient disponibles jusqu'au printemps 2014, j'ai lancé le simulateur avec les chiffres et incertitudes indiqués ci-dessus. Voici les projections de sièges:



En début de campagne, le PQ aurait été projeté, en moyenne, à plus de 68 sièges à l'Assemblée nationale. Les Libéraux aurait formé l'opposition officielle et la CAQ aurait été décimée, obtenant moins d'une douzaine de sièges.

Toujours en début de campagne, voici ce qu'aurait donné la projection du vainqueur de l'élection:



Vous lisez bien: plus de huit simulations sur dix accordaient au Parti québécois un gouvernement majoritaire.

Mais bien sûr, tout cela c'était avant la campagne électorale.



Projection Qc125 après la campagne de 2014


Le 6 avril 2014, la veille de l'élection générale, armée de sondages des firmes Léger, CROP, Forum, EKOS, Ipsos et Angus Reid, la projection Qc125 aurait changé dramatiquement.

Voici les sondages publiés pendant la campagne électorale, soit en mars et avril 2014:





Dès le début de la campagne, deux sondages placent le PQ et le PLQ à égalité. Toutefois, rappelez-vous: une égalité au vote populaire signifie une victoire pour le PQ en terme de sièges.

Mais la campagne avance et les sondeurs mesurent tous la même tendance: le PQ glisse graduellement au profit des Libéraux. Puis, dans les dix derniers jours de la campagne, la CAQ grimpe abruptement dans les intentions de votes - aux dépens du PQ.

Utilisons cette série de sondages afin de projeter le vote populaire. Voici ce que le modèle Qc125 aurait produit en se basant sur les chiffres disponibles à l'époque:

PLQ 39,0% 
PQ 26,5% 
CAQ 22,0% 
QS 7,6%

Comparons cette projection aux résultats de l'élection générale:



Voici donc la comparaison entre la projection moyenne du vote populaire de Qc125 avec les résultats réels de l'élection:

Projection Résultats 2014 Écart
PLQ 39,0%  41,5%  -2,5% 
PQ 26,5%  25,4%  +1,1% 
CAQ 22,0%  23,1%  -1,1% 
QS 7,6% 7,6% 0%


Quelques observations:

  • Les sondeurs avaient vu juste quant à l'avance des Libéraux, mais force est de constater que le PLQ aurait encore une fois joui d'une « prime à l'urne ». Le résultat de 41,5% est à l'intérieur de la marge d'erreur de la projection, mais il s'agit du plus grand écart entre les projections moyennes du modèle et les résultats finaux;
  • Les votes populaires du PQ et de la CAQ sont tous deux à environ 1% de la moyenne calculée par le modèle, ce qui est en soi bien satisfaisant. Toutefois, comme nous le verrons plus bas, un échange d'environ 2% de vote entre le PQ et la CAQ (soit PQ -1% et CAQ +1%), aura un effet significatif sur la projection de sièges.
  • Le vote populaire de QS est « pile-poil » avec la projection.


Voici donc quelle aurait été la projection de sièges de Qc125 la veille de l'élection de 2014:


Projection Résultats 2014
PLQ 66,2 70
PQ 36,4 30
CAQ 19,9 22
QS 2,6 3

  • Chacun des totaux de sièges se trouve à l'intérieur de la marge d'erreur du modèle. Plus encore, ils se trouvent tous à moins d'un écart-type de la moyenne (barres foncées).
  • Le PLQ, sous-estimé quelque peu dans les sondages, aurait aussi été légèrement sous-estimé dans la projection de sièges, mais le résultat final, soit PLQ majoritaire, aurait été le scénario le plus plausible la veille de l'élection (voir figure ci-dessous).
  • Comme le vote péquiste a beaucoup bougé dans les sondages lors des dernières semaines de la campagne, la marge d'erreur de la projection de sièges péquistes est considérable. Toutefois, le total de 30 sièges obtenu par l'équipe de Pauline Marois se trouve tout juste sous la moyenne de la projection péquiste.
  • L'échange de 2% entre le PQ et la CAQ (mentionné plus haut) vient à la fois surestimer le total péquiste et sous-estimé le total caquiste.
  • Pour QS, les résultats parlent d'eux-mêmes. 


Avec cette projection de sièges, voici qu'elle aurait été la projection du vainqueur la veille de l'élection de 2014:



Il aurait fallu une catastrophe de multiples firmes de sondage pour que les Libéraux soient écartés du pouvoir en 2014. En effet, avec les chiffres disponibles à la fin de la campagne électorale, le PLQ remporte plus de 99% des simulations.



En conclusion


Il est certainement vrai que le modèle Qc125 n'a pas encore fait ses preuves. J'attends impatiemment la prochaine élection.

Je vous ai présenté dans ce billet un des quelques scénarios qui m'ont convaincu de commencer ce blogue et qui m'ont persuadé de publier mes projections en ligne: si les sondages sont de qualité - et l'histoire nous dit qu'au Québec, ils le sont - le modèle sera probablement capable de calculer une projection près du résultat de l'élection.

Mais en réponse à quelques mauvaises langues sur les réseaux sociaux qui m'ont écrit: « Les sondages ne servent à rien, surtout à plus d'un an des élections! » Laissez-moi vous répondre ceci:

Si par « ne servir à rien », vous voulez dire que les sondages à un an des élections ne servent pas à prédire le prochain gouvernement, et bien vous avez parfaitement raison. Je n'ai jamais affirmé le contraire. Toutefois, pour comprendre les mouvements (les sautes d'humeur?) dans l'opinion publique, il est primordial de l'étudier et de suivre sa progression au fil du temps.

Sauf quand viendra la veille d'une élection générale, les projections Qc125 ne sont pas des prédictions sur le futur. Elles sont des captures d'écran du « maintenant ».

Une seule projection - comme un sondage unique - ne nous renseigne pas beaucoup. Mais une série de projections appuyée par des sondages de plusieurs firmes utilisant des méthodes variées (panel internet, questionnaire téléphonique, etc.) peut nous donner une bonne représentation du portrait politique à venir.

Et si la prochaine élection arrive et que le modèle se trompe, que ferai-je?

Je suis un scientifique: j'admettrai mes erreurs, tenterai de comprendre pourquoi et comment le modèle s'est trompé et travaillerai pour l'améliorer et le rendre plus performant.

Bon mois d'août à tous et toutes!





Philippe J. Fournier est le créateur de Qc125. Il est professeur de physique et d'astronomie au Cégep de Saint-Laurent à Montréal. Pour toute information ou pour une demande d'entrevue médiatique, écrivez à info@Qc125.com.

Philippe J. Fournier is the creator of Qc125. He teaches physics and astronomy at Cégep de Saint-Laurent in Montreal. For information or media request, please write to info@Qc125.com.

Twitter: @Qc_125

Facebook: @Qc125