7.11.12

Comparison of US 2012 election results, polls and forecasts

There have never been more polls and more "predictions" in a US election than in 2012.  So much so of both that we may have reached a point of saturation.

Nonetheless, here is a quick comparison of the actual election result (in terms of national popular vote shares for the two major party candidates) and the last polls from various pollsters as well as the last "predictions" made by various individuals and websites.  The comparison is based in "gross errors" vis-a-vis the actual election result.*

As is evident the poll aggregates do quite well, with the exception of Huffington Post's Pollster, although all get the "outcome" (winner) right.

Among the pollsters the variation is greater, ranging from the very precise (PPP, IBD/TIPP) to the far off (Reuters, Zogby, Pew et al.).  Most pollsters are within the statistical margin of error.  Rasmussen, which did very well in the last two presidential elections, was mediocre this time, while Pew,
which was best in 2008, was worst in 2012.







Election result Obama Romney             Errors
Actual vote share 50,3 48,1
Two-party vote 51,1 48,9
Poll aggregates/averages/forecast models, 6.XI.2012
Silver/538/New York Times, forecast model 50,8 48,30,7
Polltracker/TalkingPointsMemo, unweighted average 48,8 48,1 1,5
RealClearPolitics, unweighted average 48,8 48,1 1,5
Kurrild-Klitgaard, weighted average 49,2 48,7 1,5
Pollster/Huffington Post, forecast model 48,2 46,7 3,5

Average:                                                                                                     1,74
Last polls (last day 3., 4. or 5.XI.2012)
PPP 50 48 0,4
IBD/TIPP 50,3 48,7 0,6
ABC News/WaPo 50 47 1,4
American Research Group 49 49 2,2
CNN 49 49 2,2
Monmouth 48 48 2,4
RAND 49,5 46,2 2,7
Rasmussen 48 49 3,1
Gallup 49 50 3,2


YouGov
48,5 46,5 3,2
NBC/WSJ 48 47 3,4
Politico/GWU 47 47 4,4
Reuters/Ipsos 48 46 4,4
JZ Analytics/Newsmax 47 47 4,4
Zogby 46 48 4,4
Greenberg Quinlan 49 45 4,4
Democracy Corps 49 45 4,4
Pew 48 45 5,4




Average:
??

* An error of 1 percent for one candidate and an error 2 percent for another candidate = an error of 3 pct.

2 kommentarer:

  1. To kommentarer/spørgsmål til opgørelsen:

    1) Du kigger på hvor tæt modellerne rammer hver kandidats %-total, men er det ikke mindst lige så relevant at se på differencen mellem de to kandidater, som modellerne forudsiger? Det er jo det som afgør præsidentvalg og dermed optager de fleste mennesker mest. På det parameter klarer Pollster (O +1,5) sig f.eks. langt bedre end TPM eler RCP (O +0,8), hvor Nate Silver igen er helt overlegen med den difference på O +2,5 som nok bliver meget tæt på det samlede resultat når alle stemmer er talt op. Når man rammer ved siden af i forhold til %-totaler kan det vel også skyldes forskelle i om man medregner f.eks. blanke og/eller ugyldige stemmer i sin opgørelse?

    2) Slipper nogle af meningsmåingsinstitutterne ikke ret nemt ved kun at blive målt på den sidste meningsmåling før valget? Rasmussen (og i nogen grad Gallup) lå jo f.eks. milevidt fra de fleste andre institutter i langt det meste af valgkampen og kun til allersidst blev forskellen indsnævret ret markant - formodentlig fordi Ramussen lavede nogle sidste-øjebliks-justeringer i deres "Likely Voter" model. Selvfølgelig er det utrolig svært at afgøre hvem der havde ret i f.eks. primo-oktober, da man ikke havde noget valg til at give de "sande" tal, men det er vel mest plausibelt, at de mange meningsmålinger havde ret og de få markante outliers som Rasmussen var helt skudt ved siden af. Kan man ikke komme på nogle metoder til at sige hvor plausible og konsistente instittuterne har været løbende i valgkampen? Der er vel ikke nogen, som længere tror på at Romney reelt førte med 6-7 point cirka en uge før valget, som Gallup ellers målte det til?

    SvarSlet
  2. Det er ved at være længe siden, men den glimrende Harry J. Enten på The Guardian har denne kommentar om emnet:http://www.guardian.co.uk/commentisfree/2012/nov/21/2012-election-polling-skewed-for-mitt-romney?INTCMP=SRCH

    SvarSlet