mardi 30 octobre 2018

Québec 2018: post-mortem électoral du modèle Qc125

Il y a trente jours, le Québec est sorti du bipartisme péquiste et libéral qui régnait depuis 1970 en élisant la Coalition avenir Québec avec un mandat majoritaire de 74 sièges.

Commençons ce post-mortem avec un petit récit des événements...

En suivant l'évolution des sondages depuis le début de 2017, nous avons constaté les mouvements suivants auprès de l'électorat québécois:

  • Les Libéraux ont commencé l'année 2017 en tête des intentions de vote, mais avec des appuis moindres que leurs résultats de l'élection 2014. Le Parti québécois n'était pas loin derrière (le sondage Léger de décembre 2016 mesurait même une égalité entre le PQ et le PLQ). La CAQ se situait alors à un niveau similaire à 2014;
  • Au printemps 2017, après que Gabriel Nadeau-Dubois ait annoncé son arrivée chez QS solidaire, les appuis au PQ ont chuté au profit de QS. En mai 2017, sans une hausse significative de ses intentions de vote, la CAQ a pris le deuxième rang - le PQ n'allait jamais s'en remettre.
  • Puis vint l'élection partielle dans Louis-Hébert le 2 octobre 2017. Bastion libéral depuis 2003 avec Sam Hamad, la nouvelle candidate caquiste Genevière Guilbeault remporte avec un score fracassant de 51% des voix, plus de trente points devant la candidate libérale. (Dans mon billet du 3 octobre 2017, j'ai écrit: « Il est certainement possible que cette partielle puisse avoir un effet sur toute la région de Québec. » )
  • À la fin du mois d'octobre, un premier sondage mesurant la CAQ en tête au niveau national est  publié par Léger. En décembre, Qc125 publie un sondage Mainstreet ayant des résultats similaires. La CAQ ne perdra plus cette avance d'ici l'élection générale.
  • En décembre 2017, après la fusion avec Option nationale (et l'épisode du patrimoine/matrimoine/héritage culturel), QS retombe à ses niveaux pré-GND. Toutefois, le PQ se trouve sous la barre des 20% pour la première fois depuis la création de Qc125. 
  • En 2018, avec du recul, nous pouvons constater que les intentions de vote ont été incroyablement stables jusqu'à ce que la campagne s'amorce à la fin août. 

Maintenant, la campagne...

Sondages imprécis, mais pas catastrophiques?


Voici les sondages de la campagne électorale Québec 2018. Les lignes pâles représentent les moyennes pondérées telles que calculées par le modèle Qc125:





La moyenne des sondages dans la dernière semaine de campagne accordait une avance d'environ deux points à la CAQ sur le PLQ. Avec une distribution non proportionnelle des indécis (qui accordait une plus grande fraction des indécis au PLQ), voici la projection finale du vote populaire - publiée le 30 septembre dans L'actualité (« La CAQ aux portes du pouvoir »).




Nous remarquons que les résultats du PQ et de QS se trouvent dans l'intervalle de confiance, mais que les sondages ont été imprécis pour le PLQ et la CAQ. Il est à noter que même avec une répartition proportionnelle des indécis, les résultats caquistes et libéraux seraient tombés hors des intervalles de confiance.

Les sondages auront-ils été affreux? Non, mais ils ont certainement été imprécis pour les deux partis de tête. Cette erreur combinée d'environ 10 points pour le PLQ et la CAQ représente la plus grande erreur des sondages politiques nationaux au Québec. Aucune des élections générales depuis 1998 n'a été aussi mal mesurée par les sondages. Néanmoins, je me permets d'agir en avocat du diable en soulignant ceci:

  1. Les sondages ont tous (à l'exception de CROP) mesuré la CAQ en tête et le PLQ deuxième, même si l'écart entre les deux partis aura été grandement sous-estimé.
  2. Les sondages ont tous mesuré la baisse du PQ. On se rappellera que plusieurs doutaient que le PQ puisse vraiment se trouver sous la barre des 20% comme l'avaient indiqué certains sondages au printemps 2018;
  3. Les sondages ont correctement mesuré la hausse de QS pendant la campagne.


Performance du modèle selon la moyenne de sièges

La veille de l'élection, j'ai publié dans L'actualité que le scénario le plus probable avec les chiffres disponibles était une majorité de la CAQ (probabilités de 55%).

Voici les moyennes de sièges de la projection finale:





Alors que la projection finale accordait à la CAQ la victoire dans près de 90% des simulations, la majorité de ces victoires simulées donnaient à la CAQ une avance de 20 à 35 sièges sur le PLQ - elle l'a finalement remporté 43 sièges de plus que le PLQ (flèche violette sur la figure suivante):





Les moyennes de la projection finale ne pouvaient donc pas être précises si les sondages qui ont nourri le modèle ne l'étaient pas non plus. Toutefois, en regardant les 125 circonscriptions individuellement, nous pouvons remarquer que le modèle n'a pas performé si mal...



Performance du modèle selon les 125 gagnants par circonscription


Le modèle Qc125 classe les circonscriptions selon la probabilité de victoire du parti en tête:

  • Circonscription solide: probabilités de victoire supérieures à 95%;
  • Circonscription probable: probabilités de victoire entre 80% et 95%;
  • Circonscription encline: probabilités de victoire entre 60% et 80%;
  • Circonscription pivot: probabilité de victoire inférieures à 60%;

Voici le nombre de comtés solides, probables, enclins et pivots de la projection finale Qc125 et le taux de réussite de l'identification du gagnant des comtés:






Quatre circonscriptions « solides » ont raté leur marque, une première pour le modèle Qc125 (lors de l'élection du 7 juin 2018 en Ontario, sur 68 circonscriptions dites « solides » le modèle Qc125 avait prédit le bon gagnant dans... la totalité des 68 comtés). Ces circonscriptions sont: Châteauguay, Gatineau, Papineau et Chapleau (trois comtés sur quatre dans la région de l'Outaouais, plus de détails plus bas).

Par définition, une circonscription solide possède une probabilité de victoire de 95% et plus. Ce n'est donc pas surprenant que le modèle ait identifié le bon gagnant dans 95% des circonscriptions solides (70 sur 74). Toutefois, est-ce que de meilleurs sondages auraient changé la projection dans ces quatre comtés?

Dans Châteauguay et Chapleau, la réponse à cette question est: probablement, mais pas assurément. Considérez la projection et les résultats dans Châteauguay:




La projection donnait en moyenne 10 points d'avance au PLQ et il a perdu par 3,4 points. Ici, des sondages plus précis auraient certainement aidé, mais l'historique électoral et la démographie de Châteauguay (33% de non-francophones) faisaient de ce comté un bastion libéral quasi imbattable.

Toutefois, dans Gatineau et Papineau, même des sondages plus précis auraient probablement quand même identifié le PLQ comme favori. Considérez la projection et les résultats dans Gatineau:


Il s'agit ici d'une victoire éclatante pour la CAQ. Afin d'illustrer ce point, considérez l'historique des élections générales dans la circonscription de Gatineau:



Depuis 2003, le PLQ a obtenu au pire 45% du vote populaire dans Gatineau. Au cours de la même période, l'élection la plus serrée avait été celle de 2012, où le PLQ n'avait gagné que par 18 points sur le PQ. En 2014, le PLQ avait obtenu 47 points de plus que la CAQ et il a perdu par 11 points le 1er octobre dernier. Il s'agit d'un « swing » de 58 points! C'est peu donc probable de meilleurs sondages nationaux auraient aidé le modèle dans ce cas.


Les deux circonscriptions « probables » erronées ont été Soulanges et Ungava, toutes deux identifiées comme probable au PLQ et ultimement remportées par la CAQ. Dans ces deux cas, il n'y a aucun doute que des sondages plus précis auraient mené à des projections favorables à la CAQ.

Les quatre comtés « enclins » où le modèle a identifié le mauvais gagnant sont Bourget, Jean-Lesage, Sherbrooke, Îles-de-la-Madeleine. De meilleurs sondages auraient aidé à correctement identifier la victoire caquiste dans Bourget et la défaite libérale aux Îles-de-la-Madeleine, mais je ne peux pas en dire autant pour Jean-Lesage et Sherbrooke - deux circonscriptions maintenant détenues par Québec solidaire. Le modèle montrait que QS était certes compétitif dans ces deux comtés, mais des sondages nationaux plus précis auraient sans doute projeté la CAQ victorieuse dans les deux cas.

Finalement, les trois comtés « pivots » erronés sont Huntingdon, Abitibi-Est et Rouyn-Noranda-Témiscamingue. Ces trois comtés étaient projetés pivots avec le PLQ comme faible favori. L'effondrement inattendu du vote libéral a certainement contribué à ces résultats.

Donc, parmi les treize circonscriptions où le modèle projetait le mauvais gagnant, onze circonscriptions étaient projetées libérales. Naturellement, avec des sondages de la dernière semaine de campagne qui mesuraient les libéraux autour de 30% en moyenne - alors que le PLQ n'a obtenu que 24,8% - il n'était pas erroné de s'attendre à des victoires du PLQ dans ces comtés.


La CAQ (correctement) favorite et sous-estimée dans 62 comtés



En fait, la CAQ a été identifiée comme favorite, mais a été aussi sous-estimée par le modèle dans 62 des circonscriptions qu'elle a gagnées (sur 74). Ces projections imprécises, mais qui identifiaient quand même le bon gagnant, s'expliquent assurément par le fait que les sondages ont sous-estimé le vote caquiste et ont grandement baissé la moyenne de sièges caquistes de la projection finale (63 au lieu de 74).

Quelques exemples? Considérez Pointe-aux Trembles:




Voici Vachon, en Montérégie:



Voici Côte-du-Sud, à la limite de Chaudière-Appalaches et du Bas-Saint-Laurent:


Dans chacune de ces circonscriptions (et dans 59 autres), la CAQ avait été identifiée comme le parti favori, mais a ultimement été sous-estimée dans la projection finale. Ces circonscriptions ont donc contribué à baisser la moyenne de sièges caquistes de la projection, même si, ultimement, les bons gagnants ont été identifiés.


Des effets hyperlocaux?


L'est de Montréal:

Malgré les victoires caquistes dans Bourget et Pointe-aux-Trembles, la moitié est de Montréal n'a pas été particulièrement favorable à la CAQ. En effet, le modèle a surestimé la CAQ dans les six circonscriptions montréalaises remportées par Québec solidaire. De plus, la CAQ a été sous-estimée dans cinq circonscriptions remportées par le PLQ - où les taux de participation ont d'ailleurs été considérablement plus faibles qu'ailleurs au Québec (voir l'analyse de Dr Claire Durand de l'UdM à ce sujet).

Le Bas-Saint-Laurent et la Gaspésie:

Dans cinq des six circonscriptions de cette région, la CAQ a été surestimée de six à onze points par le modèle Qc125. Ces vastes régions n'ont donc pas suivi les tendances nationales à la hausse pour la CAQ avec la même ampleur. D'ailleurs, la circonscription de Rimouski est un des rares exemples où des sondages plus précis auraient empiré la projection finale:



Il s'agit d'un exemple typique d'un effet hyperlocal: les électeurs rimouskois n'ont pas suivi les tendances nationales, en particulier avec le vote péquiste. Il s'agit d'un des quatre comtés où le PQ a gagné et augmenté sa part du vote par rapport à 2014 (les autres sont Jonquière, Matane-Matapédia et Joliette).


L'Outaouais

En Outaouais, l'effet inverse est survenu: le vote caquiste a grimpé beaucoup plus que la moyenne nationale. Parmi les cinq circonscriptions de la région, la CAQ a été sous-estimée dans chacune d'entre elles et le PLQ a été surestimé dans quatre sur cinq (l'exception était Pontiac).





Conclusion et recommandations



Le modèle Qc125 a correctement identifié 90% des gagnants (112 sur 125) malgré des sondages imprécis justement parce qu'il ne dépend pas uniquement des sondages, mais bien de l'historique des circonscriptions (allant jusqu'à l'élection de 1998), ainsi que des données démographiques des derniers recensements.

Voici quelques recommandations pour les prochaines élections:

  • Augmenter l'incertitude du modèle. Comme l'explique Dr Durand dans son analyse, la qualité des sondages des dernières années au Canada ne s'est pas détériorée, mais les erreurs de sondages sont plus fortement médiatisées que les sondages précis (tout comme les médias ne rapportent pas les avions qui atterrissent en douceur et les trains qui arrivent à l'heure). Néanmoins, même si le gagnant de 90% des circonscriptions a été correctement identifié dans la dernière élection québécoise, plusieurs résultats se trouvaient hors de l'intervalle de confiance de la projection finale.
  • Ajuster la pondération des firmes de sondage. Les firmes Léger, Mainstreet et Ipsos obtiennent tous la même note pour leurs sondages nationaux, car ils étaient tous plutôt similaires (et ont donc tous été imprécis). Toutefois, les firmes CROP et Forum ont publié des chiffres qui ne faisaient aucun sens pendant la campagne - et encore moins de sens après. La pondération des sondages de ces firmes sera révisée à la baisse lors de la prochaine élection. (Angus Reid a publié un sondage qui s'est avéré partiellement précis le 30 septembre après la publication de la projection finale Qc125, alors cette firme n'a donc pas été considérée.)
  • Augmenter la pondération des sondages locaux. La firme Recherche Mainstreet a publié de nombreux sondages de circonscriptions lors de la campagne (pour le compte de Groupe Capitales Médias). Comme il s'agissait d'une nouveauté au Québec, les sondages locaux ont été pondérés avec moins de poids que les sondages nationaux. Il s'agissait d'une mesure de prudence. Toutefois, plusieurs des sondages locaux (mais pas tous) de Mainstreet au Québec et en Ontario (en juin dernier) ont donné des résultats tout à fait respectables. Avec une pondération plus importante aux sondages locaux, le modèle Qc125 aurait mieux performé.
  • Raffiner la variable booléenne des candidats vedettes. Les candidats vedettes, selon le modèle Qc125, sont ceux et celles qui sur-performent leur propre parti. Il s'agit généralement des chefs, de ministres proéminents ou simplement des candidats hautement médiatisés. Par exemple, il est fort probable que, sans Philippe Couillard, Roberval n'aurait pas voté libéral. Il en est de même pour Catherine Fournier dans Marie-Victorin ou Catherine Dorion dans Taschereau. Cette variable a amélioré la projection dans quelques comtés et mérite d'être raffinée avant les prochaines élections.
  • Ajout: Revoir la distribution des indécis. Historiquement, le PLQ récoltait généralement plus d'indécis que ses rivaux - la fameuse « prime à l'urne ». Cette prime à l'urne semblait être causée par un ensemble de facteurs. Avec la fin du bipartisme PLQ-PQ, nous entrons dans une nouvelle ère où les hypothèses du passé pourraient ne plus s'appliquer au contexte actuel.  

Prochain rendez-vous: élection fédérale le 21 octobre 2019.

Ou l'Alberta en mai prochain? À voir.



Philippe J. Fournier est le créateur de Qc125. Il est professeur de physique et d'astronomie au Cégep de Saint-Laurent à Montréal. Pour toute information ou pour une demande d'entrevue médiatique, écrivez à info@Qc125.com.

Philippe J. Fournier is the creator of Qc125. He teaches physics and astronomy at Cégep de Saint-Laurent in Montreal. For information or media request, please write to info@Qc125.com.