jeudi 18 janvier 2018

Comparaison des sondages Léger et Mainstreet de 2017

Avant que les partisans et/ou employés des firmes nommées dans le titre de ce billet se préparent à une fronde collective contre Qc125, permettez-moi un divulgâcheur hâtif: les sondages des intentions de votes des Québécois des firmes Léger et Mainstreet en 2017 ont été hautement similaires. De plus, les deux firmes ont détecté des mouvements d'opinion publique comparables (montée de QS au printemps, montée de la CAQ à l'automne), mais à des amplitudes différentes.

Toujours est-il qu'il ne s'agit pas seulement que de comparer les résultats des firmes, mais bien de comparer les résultats de méthodes utilisées pour sonder les Québécois.


Voici les sondages publiés au cours de 2017:


(Pour consulter la liste des sondages publiés depuis l'été 2016, cliquez ici.)

L'exercice d'aujourd'hui est de comparer les deux firmes qui ont sondé les Québécois à intervalles réguliers au cours de 2017, ainsi que les résultats de leur méthode respective. Nous n'allons donc considérer que les sondages Léger (panel internet) et Recherche Mainstreet (entrevues téléphoniques).

Voici les résultats:



Les courbes semblent se suivre de près, n'est-ce pas? Il serait plus pédagogique d'y aller par parti politique. Commençons avec les données sur le Parti libéral du Québec:



Comme nous pouvons le constater, les données de Léger et de Mainstreet pour le PLQ se superposent presque parfaitement. Les deux firmes ont obtenu, à quelques points près, les mêmes résultats et ont détecté la même faible baisse libérale au cours de 2017.

Regardons maintenant les données de la Coalition Avenir Québec:


Encore une fois, nous pouvons remarquer que les données concordent. En mai, Léger et Mainstreet détectaient toutes deux une montée de la CAQ (elle dépassait le PQ dans les intentions de vote pour la première fois en 2017). Toutefois, le 32% accordé à la CAQ par Mainstreet semble avoir été une donnée quelque peu aberrante. Néanmoins, les chiffres des deux firmes ont été similaires au cours de l'été.

Puis, à l'automne, les firmes ont quelque peu divergé. Dès octobre, Léger mesure des appuis à la CAQ supérieurs à ceux du PLQ (34%). En décembre, la CAQ progressait à nouveau pour atteindre 36% chez Léger. Selon Mainstreet, cette montée de la CAQ est plus modeste: elle atteignait 29% en novembre, puis 31% en décembre.

Regardons maintenant les données du Parti québécois:


Selon Léger, la baisse du PQ en 2017 aura été graduelle et constante. Le PQ aurait commencé 2017 en talonnant les libéraux, puis aurait terminé l'année sous la barre des 20%.

Chez Mainstreet, les chiffres de la première moitié de l'année concordent avec ceux de Léger, mais Mainstreet a mesuré que le PQ a repris un peu de terrain suite à son congrès national de septembre.

Néanmoins, les firmes ont détecté la même tendance au cours de 2017: que le PQ ait glissé en troisième place des intentions de vote et, avec les chiffres actuels, qu'il n'a virtuellement pas de chances réalistes de gagner le pouvoir.

Finalement, regardons les données de Québec solidaire:



En mars, la firme Léger fut la première à détecter l'effet GND sur les chiffres de Québec solidaire. Dans les mois qui ont suivi, les chiffres de QS mesurés par Léger ont ensuite plafonné, puis redescendu. Du côté de Mainstreet, l'amplitude de la hausse de QS fut bien plus importante: avec des d'appuis solidaires atteignant 18% et 19% au cours de l'été, nous étions en droit de croire qu'il pouvait s'agir de données aberrantes.

Les deux firmes ont détecté une faible baisse des appuis à QS au cours de l'automne. Dans leurs sondages respectifs de décembre, Léger accordait à QS 11% d'intention de vote, contre 14% chez Mainstreet.



En conclusion


Ce serait injuste (et même un peu sensationnaliste) d'affirmer qu'il y a quelconque biais politique dans les mesures d'intentions de vote chez Léger ou Mainstreet. Ces deux firmes ont, en gros, mesuré des appuis et tendances similaires auprès de l'électorat québécois au cours de 2017.

Voici les moyennes des deux firmes au cours du calendrier 2017:



Les chiffres libéraux et caquistes sont sensiblement les mêmes. Mainstreet semble surévaluer quelque peu PQ et QS par rapport à Léger.

Pourquoi Mainstreet semble-t-il surévaluer le Parti québécois? À première vue, mon hypothèse initiale était que les sondages téléphoniques pouvaient favoriser un électorat un peu plus âgé que les panels internet. Toutefois, cette hypothèse tombe à l'eau immédiatement, car si elle était vraie, les sondages téléphoniques favoriseraient aussi le PLQ - et certainement pas QS.

Toutefois, en prenant en compte de la marge d'erreur des sondages probabilistes de Mainstreet et l'incertitude (non mesurable) des sondages Léger, aucun statisticien ne pourrait affirmer d'emblée que ces chiffres divergent de quelque façon significative.


Le modèle Qc125 prend en compte tous les sondages des firmes professionnelles, les pondère selon leur date de terrain et la taille de leur échantillon. Il ne corrige pas, pour l'instant, le « House Effect* » des firmes qui sondent les Québécois.

La seule exception est que le modèle donne un peu moins de poids aux sondages IVR (il n'y en a eu qu'un seul en 2017, mais il pourrait y avoir d'autres en 2018). Il s'agit d'une décision éditoriale de Qc125 - et une décision que j'assumerai pleinement si jamais la précision de mes chiffres en souffre.

Bon jeudi à tous et toutes!

- - - - -

*Voici un article de l'excellent Nate Silver sur le House Effect des firmes américaines.





Philippe J. Fournier est le créateur de Qc125. Il est professeur de physique et d'astronomie au Cégep de Saint-Laurent à Montréal. Pour toute information ou pour une demande d'entrevue médiatique, écrivez à info@Qc125.com.

Philippe J. Fournier is the creator of Qc125. He teaches physics and astronomy at Cégep de Saint-Laurent in Montreal. For information or media request, please write to info@Qc125.com.