Nate Silver, le jeune statisticien promu gourou de la prédiction politique
Sur son blog, le FiveThirtyEight (538, référence au nombre de grands électeurs du collège électoral américain), accessible sur la section consacrée aux élections du New York Times, il affirme, sans ciller , que Barack Obama sera réélu. Luxe de précision : il lui donne exactement 79 % de chances d'être reconduit avec un collège électoral de 300 grands électeurs et 50,5 % des votes populaires.
AVEC LUI, L'ÉLECTION PARAÎT SIMPLE
Dans la quinzaine qui a suivi le débat du 3 octobre, à Denver, alors que le président démocrate connaissait un passage à vide dans les sondages et que la dynamique Mitt Romney semblait enclenchée, lui continuait à le donner vainqueur. Avec lui, l'élection paraît simple. Inutile de s'embarrasser des programmes des candidats, de suivre les débats ou le moindre de leurs déplacements. La course s'observe derrière un écran, en suivant les sondages.
Les estimations de Nate Silver lui valent une série d'attaques de la part de médias - conservateurs et autres - qui lui reprochent de rouler pour Barack Obama, mais surtout de tuer le métier de commentateur politique : à quoi bon lire les analyses des uns et des autres s'il affirme que les sondages, donnent, statistiquement, M. Obama gagnant ?
Nate Silver n'est pas le seul à prédire une victoire du président. Le site de paris sportifs BetFair donne une probabilité de réélection de 67,8 % pour M. Obama. Quant au site de paris Intrade, il lui donne 61,7 % de chances. Les amateurs de sondages et de statistiques découvriront au passage qu'il existe d'autres modèles, comme celui de Votamatic ou celui du Princeton Election Consortium qui donnent des résultats encore plus favorables au président, mais sont moins cités.
Avant le débat de Denver, lorsque les sondages donnaient l'avantage à Barack Obama, les partisans de Mitt Romney estimaient que les chiffres étaient biaisés, parce que les électeurs démocrates étaient surreprésentés dans les échantillons, aux dépens des électeurs républicains ou indépendants. Ils disposent désormais de leur baromètre avec le site Unskewedpolls, qui "rectifie" les sondages dans un sens plus favorables à l'ancien gouverneur du Massachusetts.
Le 18 octobre, Nate Silver est allé sur le plateau du "Daily Show" pour dénoncer le cirque médiatique autour de l'élection. Jeudi, il a décidé de répondre à ses détracteurs : lors de l'émission "Morning Joe" sur MSNBC, il a été pris à partie par l'animateur, qui lui a reproché de n'être qu'un "rigolo" ancré dans ses certitudes. Le statisticien l'a défié, promettant de verser 1 000 dollars (770 euros) à la Croix-Rouge si ses prédictions s'avèrent fausses ; l'animateur a promis d'en verser autant. Ce pari fou lui a valu de se faire taper sur les doigts par son employeur.
Le Washington Post est monté au créneau pour défendre le modèle de Nate Silver. Si le statisticien se trompe, c'est que tous les sondages sont faux, ce qui est envisageable pour certains, pas pour tous.
COMPILATION DE 136 INSTITUTS QUI SUIVENT LA CAMPAGNE
Pour établir ses statistiques, Nate Silver compile les sondages des quelque 136 instituts qui suivent la campagne. Parmi ceux-ci, 53 sont actifs et ont publié au moins un sondage depuis le 1er octobre, écrivait-il récemment, pour justifier ses certitudes, après un sondage national de Gallup donnant 7 points d'avance à M. Romney sur M. Obama.
Si l'on veut s'attacher aux sondages nationaux, il ne faut pas se focaliser sur un sondage en particulier - il y en a six tous les jours par Rasmussen Reports, Ipsos, RAND Corporation, Investors'Business Daily, United Press International , et un septième le jeudi, avec Public Policy Polling -, mais sur des sites qui font la moyenne de tous les sondages, comme RealClearPolitics ou Pollster (Huffington Post).
Nate Silver explique sur son site que les résultats quotidiens sont ensuite équilibrés par les sondages réalisés par le New York Times/CBS News ou Wall Street Journal/NBC News, qui sont plus qualitatifs que les séries quotidiennes. A ces premiers sondages, il ajoute les dix ou vingt sondages réalisés par cinq à dix instituts dans les différents Etats, en particulier les swing states (Etats-clés).
Pour ceux qui l'oublient, l'élection ne se joue pas au niveau national, mais Etat par Etat, sachant que certains sont acquis aux démocrates - la Californie - ou aux républicains - le Texas - et ne constituent pas réellement un enjeu pour la campagne.
Résultat de tous les calculs de Nate Silver : le président arrivera en tête dans suffisamment de sondages réalisés dans les Etats-clés - et notamment l'Ohio - pour obtenir les 270 grands électeurs, et donc un renouvellement de son bail à la Maison Blanche. Rendez-vous dans la nuit du 6 au 7 novembre pour vérifier ses prédictions.
Pierre Bouvier
5 leçons scientifiques du succès de Nate Silver
Le 07/11/2012
La communauté scientifico-geek s’est trouvée un nouveau héros au cours de cette élection présidentielle américaine: Nate Silver , l’auteur du formidable blog 538 , qui, à l’heure où je vous parle, a fait un sans faute au niveau de la prédiction des résultats état par état (la Floride restant indéterminée, ce qu’il avait d’ailleurs aussi prévu).
On peut tirer 5 leçons de ce succès de Silver:
- ce n’est pas la première fois que Silver réussit à prédire le résultat d’une élection présidentielle état par état. C’est en réalité la seconde fois après 2008. On dit parfois en science qu’un seul résultat spectaculaire ne vaut rien sans sa confirmation, l’élection de 2012 confirme à mon sens qu’il ne s’agit pas d’un coup de chance, et donc que ses modèles sont capables de correctement capturer une réalité.
- pour qu’un modèle marche, il faut se baser sur des données multiples, bonnes et moins bonnes. Dans le cas présent, tous les sondages accumulés. Le modèle de Silver pondère parfaitement tous ces sondages, et surtout permet de nuancer tous les « outliers ». Par exemple, le 18 Octobre, un sondage Gallup très commenté politiquement donnait Romney 7 points devant Obama. Silver a tout de suite dit qu’il s’agissait de bruit (« polls that look like outliers normally prove to be so »). Une approche raisonnée identifie les tendances, là où le commentaire politique se focalise sur le bruit.
Inspiré de http://xkcd.com/904 . Oui, je sais, c’est du Comic Sans.
- un modèle hyper simple peut pourtant être étonnamment prédictif. Les modèles de Silver reposent sur l’idée que les populations socio-économiquement similaires votent de la même façon. En couplant cette idée avec les données de la démographie et les sondages disponibles, Silver a pu « projeter » les résultats des états même en l’absence de sondage sur ceux-ci. Comme disait quelqu’un sur ma TL ce matin, le modèle tient sur une feuille Excel. Les modèles les plus simples ne sont donc pas les moins efficaces, un principe de parcimonie scientifique souvent absent de nombreuses modélisations (oui, je pense à toi, « systems biology »)
- le corollaire, c’est qu’un système complexe est modélisable tant qu’on identifie correctement des « causes premières ». Nul ne peut contester que les déterminants du vote sont multiples, et que la nature humaine est complexe; pourtant, le modèle de Silver prouve qu’ on peut manifestement arriver à comprendre et prédire relativement finement des comportements. Une leçon à retenir à chaque fois qu’on vous dira que nul ne peut modéliser un système complexe multifactoriels (comme au hasard le climat)
- enfin, la science, ce sont des prédictions. Silver s’est mouillé (allant jusque parier avec un éditorialiste critiquant son modèle ), a été critiqué pour cela y compris dans son propre journal . C’est la grosse différence entre une approche quantitative et le reste: on sort des prédictions, on les valide ou on les réfute, et on améliore ainsi le modèle au cours du temps. Processus totalement inconnu des nombreux éditorialistes.
Résultats des élections américaines de 2012
Résultat général
Barack Obama :303+29 (Floride) =332
Mitt Romney :207
Résultat État par État
- Alabama (9 grands électeurs) :
Obama 38% / Romney 61% (résultat estimé) - Alaska (3 grands électeurs) :
Obama 42% / Romney 55% (résultat estimé) - Arizona (11 grands électeurs) :
Obama 44% / Romney 55% - Arkansas (6 grands électeurs) :
Obama 37% / Romney 61% (résultat estimé) - Californie (55 grands électeurs) :
Obama 59% / Romney 39% - Caroline du Nord (15 grands électeurs) :
Obama 48% / Romney 51% - Caroline du Sud (9 grands électeurs) :
Obama 44% / Romney 55% - Colorado (9 grands électeurs) :
Obama 51% / Romney 47% - Connecticut (7 grands électeurs) :
Obama 58% / Romney 41% - Dakota du Nord (3 grands électeurs) :
Obama 39% / Romney 59% - Dakota du Sud (3 grands électeurs) :
Obama 40% / Romney 58% - Delaware (3 grands électeurs) :
Obama 59% / Romney 40% (résultat estimé) - District of Columbia (3 grands électeurs) :
Obama 91% / Romney 7% - Floride (29 grands électeurs) :
Résultat non communiqué : (victoire d'Obama confirmée) - Géorgie (16 grands électeurs) :
Obama 45% / Romney 53% - Hawaii (4 grands électeurs) :
Obama 71% / Romney 28% - Idaho (4 grands électeurs) :
Obama 33% / Romney 65% - Illinois (20 grands électeurs) :
Obama 57% / Romney 41% - Indiana (11 grands électeurs) :
Obama 44% / Romney 54% - Iowa (6 grands électeurs) :
Obama 52% / Romney 47% - Kansas (6 grands électeurs) :
Obama 38% / Romney 60% - Kentucky (8 grands électeurs) :
Obama 38% / Romney 61% (résultat estimé) - Louisiane (8 grands électeurs) :
Obama 41% / Romney 58% - Maine (4 grands électeurs dont 2 pour Obama et 0 pour Romney) :
Obama 56% / Romney 41% (résultat estimé) - Maryland (10 grands électeurs) :
Obama 62% / Romney 37% - Massachusetts (11 grands électeurs) :
Obama 61% / Romney 38% - Michigan (16 grands électeurs) :
Obama 54% / Romney 45% (résultat estimé) - Minnesota (10 grands électeurs) :
Obama 65% / Romney 31% (résultat estimé) - Mississippi (6 grands électeurs) :
Obama 44% / Romney 55% - Missouri (10 grands électeurs) :
Obama 44% / Romney 54% - Montana (3 grands électeurs) :
Obama 42% / Romney 55% - Nebraska (5 grands électeurs dont 0 pour Obama et 3 pour Romney) :
Obama 38% / Romney 61% - Nevada (6 grands électeurs) :
Obama 52% / Romney 46% (résultat estimé) - New Hampshire (4 grands électeurs) :
Obama 52% / Romney 46% (résultat estimé) - New Jersey (14 grands électeurs) :
Obama 58% / Romney 41% (résultat estimé) - Nouveau-Mexique (5 grands électeurs) :
Obama 53% / Romney 43% - New York (29 grands électeurs) :
Obama 63% / Romney 36% - Ohio (18 grands électeurs) :
Obama 50% / Romney 48% - Oklahoma (7 grands électeurs) :
Obama 33% / Romney 67% - Oregon (7 grands électeurs) :
Obama 54% / Romney 43% - Pennsylvanie (20 grands électeurs) :
Obama 52% / Romney 47% (résultat estimé) - Rhode Island (4 grands électeurs) :
Obama 63% / Romney 35% - Tennessee (11 grands électeurs) :
Obama 39% / Romney 60% - Texas (38 grands électeurs) :
Obama 41% / Romney 57% - Utah (6 grands électeurs) :
Obama 25% / Romney 73% - Vermont (3 grands électeurs) :
Obama 67% / Romney 31% - Virginie (13 grands électeurs) :
Obama 51% / Romney 48% - Virginie-Occidentale (5 grands électeurs) :
Obama 36% / Romney 62% - Washington (12 grands électeurs) :
Obama 55% / Romney 43% (résultat estimé) - Wisconsin (10 grands électeurs) :
Obama 53% / Romney 46% - Wyoming (3 grands électeurs) :
Obama 28% / Romney 69%
Conclusion :
Sur 50 états Nate Silver n'a pas fait une seule erreur ! Et, avant les résultats, tout le monde s'accordait à dire que ce n'était pas évident du tout.
Nos sondagistes hexagonaux ( et je suis poli) auraient tout intéret à demander quelques tuyaux à M. Silver. Le principal étant que " les populations socio-économiquement similaires votent de la même façon."
N'importe quel étudiant en sociologie, ce que je fus jadis, sait tout cela. Mais, comme M. Silver n'est pas du sérail, il est vraisemblable qu'aucun professionnel des sondages n'ira le consulter.
Starlink dans les avions, ça marche !