vendredi 12 mai 2017

Plus ou moins 3%, 19 fois sur 20...

Le billet de dimanche dernier, « Leçon de sondage 101 », avait pour but d'abord et avant tout d'être pédagogique. Clairement, bien des électeurs ne savent pas trop comment lire et interpréter les sondages politiques publiés dans les grands médias et je voulais aider. La Presse, Le Journal de Montréal et Le Devoir semblent tous être enclins à créer un « évènement » lorsqu'ils publient un sondage. Ils citent des chiffres, leur donnent beaucoup trop d'importance, ignorent plus souvent qu'autrement la marge d'erreur et les fluctuations normales des échantillons statistiques.

Bref, ils approchent rarement les sondages avec un esprit scientifique.

À la fin du billet, j'ai inclus ce graphique:




Il s'agissait de 20 sondages fictifs créés à partir d'une banque de données de 5 millions d'entrées. Ces données de base étaient:
Rouges: 32%
Bleus: 28%
Verts: 24%
Orangés: 12%
Autre: 4%

Aucun des partis fictifs (Rouges, Bleus, Verts, Orangés) ne montait ou ne descendait en proportion dans la base de données. Et pourtant, regardez l'ampleur des variations d'un sondage à l'autre. Si vous effectuez la moyenne de ces sondages fictifs, vous obtiendrez, à une fraction de points près, les bons résultats.

Certains ont mal interprété le message de ce billet et ont compris ce qu'ils voulaient comprendre: que les sondages ne sont tout simplement pas fiables.

Non. Le point principal du billet était qu'il ne faut pas accorder trop d'importance à un sondage unique! Les chiffres varient et fluctuent. C'est la nature même des statistiques.

Pour revenir un instant sur la chronique de Joseph Facal (consultez la chronique ici) et son commentaire mal informé sur les divergences entre les chiffres de CROP et ceux de Léger, considérez le graphique suivant:


Il s'agit des neuf sondages Léger entre janvier 2016 et janvier 2017. La ligne grise pointillée représente la date des élections partielles du 5 décembre dernier. On remarque que les Libéraux ont en effet baissé légèrement juste avant et après les partielles pour ensuite remonter quelque peu (non indiqué sur ce graphique est le sondage Léger de mars 2017 qui place les Libéraux à 34% et le le PQ à 25%).

Si vous trouvez que ces chiffres varient de façon significative, c'est que vous n'avez rien compris de l'exercice des sondages fictifs du billet de dimanche dernier. Pendant un an, selon les chiffres Léger, le PQ ne fait qu'osciller entre 29% et 30%. Québec solidaire est à 10% pour huit sondages consécutifs (ce qui est curieux en soit. En fait, si on recule jusqu'en avril 2015, QS est à 10% dans douze sondages Léger consécutifs).

Et les chiffres du PLQ? Je pourrais tracer une ligne à 33%±3% et cette ligne comprendrait toutes les données de Léger au cours de cette période.

Conclusion: les variations de mois en mois sont bien en deçà de la marge d'erreur. On ne peut donc pas affirmer avec certitude que le PLQ avait en effet baissé ponctuellement en décembre.

Affirmer a posteriori qu'il y a une relation entre la faible baisse du PLQ selon Léger et les élections partielles n'est pas statistiquement raisonnable. La variation est trop petite pour être associée à un évènement ou un autre.

Toutefois, je le répète: il n'y a rien de faux ou d'incorrect avec ce sondage! Il entre dans la banque de données avec laquelle nous essayons de décrire l'opinion publique.

Par guise de comparaison, regardons les chiffres de la firme CROP pendant la même période:


À première vue, on remarque que CROP semble placer le PLQ un peu plus haut que Léger et le PQ, un peu plus bas. On observe aussi de la variance pour le chiffre de QS (le 16% de janvier 2016 semble avoir été une anomalie), ce qui est tout à fait normal.

Mais « à première vue » n'est pas une analyse scientifique. En guise de comparaison, superposons les chiffres de CROP et Léger au cours de cette période:


On remarque que les chiffres des deux firmes convergent à l'intérieur d'une marge d'erreur raisonnable. En fait, la seule divergence majeure et significative entre les chiffres de ces deux firmes survient lors des sondages qui ont suivi les partielles de décembre 2016.

...marge d'erreur de ±3%, 19 fois sur 20.

Comme j'ai écrit dimanche dernier: un évènement ayant une probabilité de 1 sur 20... va survenir une fois sur vingt. C'est tout comme, dans le graphique de données fictives (plus haut), lorsque les Bleus étaient à égalité avec les Rouges ou que les Verts avaient passé devant les Bleus.

Fluctuations normales.

* * *

Le mythe ridicule que la firme Léger est biaisée envers le PQ et CROP envers le PLQ n'est que cela: un mythe, une explication incorrecte élaborée par des gens qui ne voient que des conspirations partout.

Et qui, surtout, ne font pas de mathématiques.

Calculons les moyennes des intentions de vote pour chaque parti selon les firmes au cours de la période couvrant janvier 2016 à janvier 2017.


Les écarts entre les firmes existent, mais ils sont bien en deçà de la marge d'erreur. Nous pourrions donc tracer une belle ligne à 34% pour le PLQ, 28% pour le PQ, 23,5% pour la CAQ et 10,5% pour QS.

D'où l'importance, encore une fois, de ne pas trop donner d'importance à un sondage unique.

Je ne pourrai jamais le répéter assez souvent.

Mais que voulez-vous: certains préfèrent voir des conspirations partout.


* * * * * * *

Qc125 sur Twitter: @Qc_125.

Qc125 sur Facebook: @Qc125

Qc125 sur Google+