19 juni 2009

Arbeiderpartiets fremgang er reell. Høyres stillstand likeså. Rødt kommer på Tinget

Etterhvert som vi nærmer oss valget, kommer vi til å se mye merkelige meningsmålinger. En del vil skyldes utvalgs- og vektingsmetode, og en del vil skyldes at respondentene begynner å få problemer med å huske hva de stemte sist sånn at byråene ikke klarer å treffe et utvalg som tilsvarer velgermassen i 2005 (eller 2007). Sprikene i målingene denne våren kan dere se i mitt forrige innlegg.

Nå kommer det også målinger som gir merkelige resultater på grunn av selvseleksjon. Svein Tore Marthinsen og Knut Johannessen har kommentert Fredrikstad Blad og Moss Avis i går, og VG er i ferd med å samle sammen et selvselektert velgerpanel (som skal spørres hele 7 ganger--og som underveis vil begynne å manipulere resultatene--noe Henry Valen lærte på tidlig 70-tall). Vi kommer altså til å se mye rart av meningsmålinger fremover, og syv av dem fra norges største avis (ikke det at jeg har så mye tiltro til VG/Infacts automatiske telefonutspørring fra før av).

De fleste bevegelser mellom enkeltmålinger er meningsløse å kommentere. De færreste utslag er statistisk signifikante, og selv de som er signifikante kan være et resultat av måle- eller metodefeil. Meningsmålinger må sees i et større perspektiv, både over tid og på tvers av flere byråer. Det er ikke sikkert at et enkelt utregnet--uvektet--gjennomsnitt er det beste (det kommer jeg tilbake til på et senere tidspunkt), men det er uansett langt mer fornuftig enn å se på enkeltmålinger.

En vesentlig videreutvikling av dette står Marthinsen for, som tar snitt av meningsmålinger, fylkesvis valghistorikk og lokale målinger og lager sine prognoser.

Jeg har en litt annen metode, der jeg legger statistiske analyser av lengre tidsserier til grunn, men uten å gå i dybden lokalt. I april presenterte jeg for Venstres stortingsgruppe mine prediksjoner for stortingsvalget til høsten. Dataene var basert på Bernt Aardals snitt av månedlige målinger for de siste to stortingsperiodene, med unntak av valgmånedene, hvor jeg brukte valgresultatene. Dataene jeg brukte var til og med mars 2009.

På bakgrunn av disse data kjørte jeg så tidsseriedata på de ulike partiene, la inn bestemte begivenheter som jeg antar kan ha en effekt frem mot valget, og la de observerte trendene og effektene til grunn for prediksjonene. På denne måten kan jeg si noe mer substansielt om hvordan meningsmålingene utvikler seg utover sommeren enn bare å se på snitt (eller enkeltmålinger).

Jeg skal ikke kjede leserne mine med detaljene i regresjonene, de som har interesse for koeffisienter og konfidensintervall kan kontakte meg. Det finnes også en omfattende litteratur om prediksjoner basert på tidsseriedata. Se f.eks. forecastingprinciples.com.

Regresjonen for Rødt gir grunnlag for følgende graf:



(Kilde: Bernt Aardal og egne beregninger)


Grafen strekker seg fra oktober 2001 til september 2009. Den heltrukne sorte kurven er den målte oppslutningen om Rødt (tidligere RV), den heltrukne mørkerøde linjen er kurvetilpasningen som følge av regresjon og strekker seg i tid frem mot valget, og de stiplede linjene er grensene for prediksjonsintervallet.

Rødt hadde signifikant positiv effekt av valg og valgkamp, en svakt negativ--men signifikant--effekt av tid i forrige stortingsperiode, og en markant positiv effekt av tid i denne stortingsperioden. I tillegg har Rødt hatt en kraftig--og tiltakende--negativ effekt av finanskrisen. Prediksjonen starter der kurvens fall stopper opp (april 2009). Hvis jeg skulle latt den økende effekten av finanskrisen fortsette også for prediksjonen ville Rødt endt opp med negativ oppslutning på valgdagen. En slik forutsetning kan jeg naturligvis ikke legge til grunn.

Prediksjonen for stortingsvalget for Rødt er 2.0%. Det bør være tilstrekkelig til å gi Torstein Dahle og Erling Folkvord hver sin plass på Tinget, men det forutsetter at økningen i oppslutning relativt sett er like sterk i Hordaland og Oslo som i resten av landet.

Den ultimate testen av prediksjonsmodellen er naturligvis valgresultatet, men den kan måles opp mot meningsmålingene som har kommet etter at prediksjonen ble gjort. Prediksjonene for april, mai og juni var 1.3, 1.3 og 1.4, mens Rødts oppslutning har vært 1.3, 1.4 og 1.8 (så langt i juni). Prediksjonen traff altså meget godt for april og mai, mens det er for tidlig å si om snittet så langt i juni er et tegn på et helt nytt nivå for Rødts vedkommende. I så tilfelle ligger de an til et enda bedre resultat enn 2.0, men det kan jeg p.t. ikke vurdere.

Høyres graf ser slik ut:


(Kilde: Bernt Aardal og egne beregninger)


Jeg har her valgt å ikke legge hele forrige stortingsperiode til grunn fordi det her var bevegelser i Høyres oppslutning som vanskeliggjør analysen og som jeg ikke vil forutsette har betydning for variasjon i Høyres oppslutning i dag. Det som er av størst interesse i Høyres tilfelle er den grunnleggende positive trenden Høyre har hatt denne perioden, samt en økende negativ effekt av krisene som har kommet på rekke og rad i høst og i vinter. På samme måte som i Rødts tilfelle, er jeg ikke villig til å legge til grunn at fallet fortsetter. Det er mer rimelig å anta at Høyre nå har nærmet seg grunnfjellet.

Prediksjonen for valget er på skarve 14.3% ettersom det er lite som viser at Høyre evner å mobilisere ekstra med velgere i siste liten (slik tilfellet er med Rødt og Venstre). Det er likevel et noe bredere prediksjonsintervall knyttet til Høyre enn det langt mindre Rødt, så prediksjonen faller innenfor et intervall mellom 11.7 og 16.9. Intervallet til tross, prediksjonene for april, mai og juni har vært 13.8, 13.9 og 14.0, mens meningsmålingene har vist 13.9, 13.8 og 13.9. Jeg har altså truffet spot-on for Høyre så langt, noe som lover bra for prediksjonsmodellen, men ikke for Høyre. Høyre synes altså å ha truffet dødvann, og det er ingen tegn til bedre vind i vente.

Det partiet som derimot synes å seile i medvind, er Arbeiderpartiet, som trosser prediksjonene.

Grafen for Arbeiderpartiet er:


(Kilde: Bernt Aardal og egne beregninger)


Arbeiderpartiet hadde en sterk gevinst av å sitte i opposisjon, og en bortimot tilsvarende regjeringsslitasje. De viser en signifikant økning i valg, og ikke uventet en signifikant positiv effekt av finanskrisen, og ytterligere positive effekter av Gazakrigen, Hijabstriden og en sprikende opposisjon i vinter. Jeg kan ikke si med sikkerhet at det er disse stridighetene som slår ut positivt for AP, men AP har signifikante økninger i sin oppslutning som sammenfaller med disse tidspunktene.

Fra det nivået AP hadde i mars ble så den grunnleggende negative trenden i APs oppslutning, sammen med den signifikante økningen i valg, lagt til grunn for prediksjonene. Prediksjonen for valget er 32.3% (intervall 27.7-36.8), mens prediksjonene for april, mai og juni har vært 31.9, 31.4 og 31.1. Regjeringsslitasjen som legges til grunn er altså på nesten 0.3 prosentpoeng per måned. Stikk i strid mot dette har AP vist en positiv utvikling de siste månedene. Oppslutningen i april, mai og (så langt i) juni har vært 32.5, 32.9 og 33.3, altså en økning på 0.4 per måned.

Dette er fremdeles godt innenfor prediksjonsintervallet, men det har altså vært en konsistent økning i APs oppslutning der jeg har forventet en reduksjon. Det tegner virkelig godt for AP til høsten. Hvis den utviklingen fortsetter ligger AP an til å ende på 36.2%. Uansett er tegningen for AP at de kommer til å havne i øvre del av prediksjonsintervallet, og ikke på 32.3% som predikert.

Det sies at det er vanskelig å spå--spesielt om fremtiden. Det er en sannhet med modifikasjoner. Partienes oppslutning er naturligvis ikke uavhengig av hverandre, og et partis oppslutning fra en måned til den neste er ikke uavhengig av oppslutningen partiet hadde måneden før. For flere partier kan jeg forklare hele 90% av oppslutningen bare ved å se på hvilken oppslutning partiet hadde forrige måned. Likevel er det en spesiell øvelse å predikere et valgresultat et halvt år frem i tid (som det var på det tidspunktet prediksjonene ble beregnet). I utgangspunktet forventet jeg at KrF ville være enklest å predikere (pga et sterkt ideologisk grunnfjell), at regjeringspartiene også ville være relativt enkle å predikere (pga at velgerne nødvendigvis får mer daglig informasjon om regjeringen enn opposisjonen), og at FrP ville være vanskeligst å predikere (pga store svingninger i mobiliseringen av velgerne og mange hjemmesittere). FrP var riktignok vanskelig å gjøre beregninger for, men avvikene mellom prediksjon og meningsmålinger har vært mindre--og mindre konsistente--enn for Arbeiderpartiet.

Denne måte å vurdere meningsmålinger på gir mer substans enn å henge seg opp i detaljer i enkeltmålingene. Selv om det ikke trengs statistisk tidsserieanalyse for å slå fast at Høyre står fast i gjørmen, er jeg langt mer komfortabel med å slå fast at Arbeiderpartiets fremgang er reell når jeg kan vurdere fremgangen opp mot den negative trenden som kommer frem når tidsserien er vasket for effekter av andre begivenheter--og annet (ikke-signifikant) støy.

Jeg kommer ikke med flere detaljer her, men summen av prediksjonene viser at det blir et meget tett løp til høsten. Rødt ligger etter mine beregninger ikke an til å komme i vippeposisjon selv om de ligger an til å komme inn med to representanter, men det vil de gjøre dersom de rødgrønne tar ett mandat fra de ikke-sosialistiske. I så tilfelle får vi en situasjon hvor SV ikke kan se seg tjent med Rødt på Tinget, fordi Stoltenberg da vil være mer tjent med å fortsette på egenhånd og heller søke støtte i sak til sak fra hele spekteret av stortingspartier.

Selv om det er vanskelig å spå, kan jeg med trygghet slå fast to ting: Det blir et nervepirrende valg, og regjeringsforhandlingene i etterkant kan bli langdryge.

De andre partiene venter jeg med å kommentere.

9 kommentarer:

stianlud sa...

Jeg kan legge til at av de 26 nasjonale målingene som har vært i perioden jeg har predikert, så er det kun 7 som gir AP en oppslutning under den predikerte trenden. Det styrker min oppfatning av at AP gjør det bedre enn forventet.

I Høyres tilfelle er 12 målinger lavere, 13 høyere og 1 lik prediksjonen.

Bjørn Jarle Røberg-Larsen sa...

Bra jobba, Stian. Som jeg nevnte for deg på Twitter har jeg jobbet med en annen analysemetode, der jeg vekter byråmålinger, historiske byråmålinger, historisk valgkampinnsats og kulturelle/geografiske forskjeller - og foreløpig kun sett på Frp og Ap.

Rundt regnet får jeg et resultat for Frp på 18 - 19 % og Ap på 37 - 38 % med denne metoden.

Men la oss være helt klare på at valgresultat ikek kun er matematiske kalkyler, statistiske beregninger og trendanalyser - det er noe politikk inne i bildet også... :)

Mvh
Bjørn Jarle

stianlud sa...

Takker!

Og som du sikkert forstod på Twitter, så gleder jeg meg til å se din analyse!

Selvsagt kommer politikk inn i bildet, og de fleste partier--mitt eget inkludert--vil forhåpentligvis gjøre det de kan for at jeg tar feil :-)

18-19% for FrP høres veldig lavt ut. De kommer høyere ut i min aggregerte analyse, men den mangler som du (og Svein Tore) er inne på det lokale element.

Valghistorikken til FrP kan dog ikke legges inn mekanisk, fordi de har aldri vært bedre organisert enn det de er nå. De har fremdeles mange hjemmesittere på målingene, så valgresultatet kommer til å bli dårligere enn målingene, men jeg tror likevel de kommer til å gjøre sitt beste valg noensinne. Mer om det senere.

Kapitalismus sa...

Som alltid Stian - meget grundig og god analyse. Jeg får forsøke mitt beste for å sørge for at du tar feil :)

stianlud sa...

Statsviterkollega Sveinung Arnesen blogger om prediksjoner og prediksjonsmarkeder. Første innlegg:
http://voxpublica.no/2009/06/tilbake-til-framtiden/

- O. sa...

Spennende greier, selv om det selvsagt er temmelig upresist. Men bare en ting; Ved begge de to forrige Stortingsvalg mener jeg at Rødt, i hvert fall i Hordaland, hadde klart bedre målinger enn det de har nå. Like fullt kom de ikke inn. Hva er det egentlig som overbeviser deg sånn om at dette skal gå annerledes nå?

stianlud sa...

Odd:

Takk for kritikk!

Jeg har kun tatt utgangspunkt i de aggregerte tallene (på nasjonsnivå), og det er strengt tatt prosentoppslutningen jeg predikerer, ikke mandatfordelingen. Når det er gjort er det likevel naturlig å taste prosentene inn i mandatberegningsprogrammet Celius. Celius forutsetter så at "valgvinden" blåser likt som ved forrige valg.

Som jeg skriver er Dahles evt. plass på Tinget betinget av at økningen i oppslutning relativt sett er like sterk i Hordaland som i resten av landet.

Når det er sagt er jeg spent på hvordan partiutmeldingene i fjor spiller inn på Rødts valgkamporganisasjon i Hordaland.

Lokale tall kan ikke brukes til statistiske analyser som produserer prediksjonsintervall fordi det er for få observasjoner til å regne ut standardavviket i målingene.

Mangel på lokale tall gjør at mandatberegningen kan bli basert på "økologiske feilslutninger", men fordelen med min metode er at jeg får et statistisk beregnet prediksjonsintervall som andre prognoser ikke gir.

Det blir, som du skriver, "temmelig upresist", men dette mener jeg er en styrke sammenliknet med prognoser som ikke er basert på tidsserieregresjon. Mandatberegningene burde da selvsagt også gjøres innenfor dette prediksjonsintervallet, men det blir komplisert fordi mandatfordelingen er avhengig av at summen av partiene gir 169 representanter. Mandatfordelingen skal altså kun ses som en illustrasjon av hva et utfall likt midtverdien i prediksjonsintervallet vil bli. Det kunne jeg selvsagt skrevet tydeligere i blogginnlegget mitt. For den upresisheten tar jeg selvkritikk.

S.

Bjørn sa...

Hei Stian,

Først: Det er interessante saker du driver med her.

Jeg hadde likt det meget godt om du ville skrive et par ord om hvordan modellene du arbeider med ser ut. Når alt henger sammen med alt må det forenkles, og det er de valgene som er vanskelige.

Tidsserieregreson har sine begrensinger mtp. seriell korrelasjon blant annet, så hvordan blir dette fanget opp, for eksempel?

Hvordan tar du høyde for observasjonsusikkerhet (målefeil) i datagrunnlaget?

Håper du har tid tid å svare nå midt i sommerferie-tiden.

stianlud sa...

Hei Bjørn, og takk for din interesse!

Jeg har ikke villet at den slags detaljer i selve blogginnlegget skulle ta fokus bort fra hovedpoenget. I en kommentar går det derimot fint å skrive om det :-)

Modellene varierer noe fra parti til parti avhengig av hvilke variabler som er signifikante, men grunnleggende er det variabler for valg, for måneden før og etter valg, for å kontrollere for stortingsperiode eller regjeringsdeltakelse, for tid, for tid interagert med regjeringsdeltakelse eller stortingsperiode, for Venstres nei til FrP, for Hagas avgang, for finanskrisen, for Gazakrigen, og for hijab-, blasfemi- og intern strid i Høyre i februar 09. Deretter har jeg estimert hvor raskt effekten av de politiske variablene avtar, for å finne hvor mye av dem som gjenstår ved valget.

Noen av de politiske variablene øker i effekt (finanskrise for Høyre og Rødt), men disse har jeg satt som forutsetning har nådd bunnen ved starten av prediksjonsperioden. Blogginnlegget som oppdaterer prediksjonene viser at det virker som om jeg traff korrekt der.

Jeg har kun fått oversendt snitttallene til Aardal, så jeg har ikke tilgang til de faktiske målingene tilbake i tid, men som en tommelfingerregel kan du halvere feilmarginene ved å bruke snitt av målinger. Videre bruker jeg prediksjonsintervall som er bredere enn konfidensintervall, så jeg har tatt høyde for målefeilene så godt jeg kan uten å ha tilgang til orginalmaterialet.

Den vanligste måtenen å håndtere seriell korrelasjon (autokorrelasjon) på er å bruke førstegrads endringer i dataene i stedet for dataenes nivå, men dette kan ikke brukes til prediksjon. En annen vanlig måte er å inkludere tidligere måneders observasjoner av den avhengige variabel blant de uavhengige. I politiske serier fanger forrige måneds målinger alene ofte opp mot 90% av variasjonen, men dette kan heller ikke brukes til prediksjon, fordi jeg da må bruke estimert oppslutning én måned til å predikere estimert oppslutning måneden etter. Det gir et nedadgående bias fordi jeg vil aldri få koeffisienter på den variabelen som er større enn 1. Derfor kan det heller ikke brukes til prediksjon.

Det største problemet med autokorrelasjon er at jeg risikerer å overvurdere sammenhengene, mens bruk av førstegrads endringer (som jeg uansett ikke kan bruke til prediksjon) risikerer å undervurdere sammenhengene.

Det jeg derimot har gjort for å håndtere autokorrelasjon er å inkludere TID som en variabel i seg selv. Dette regnes som en tilfredsstillende kontroll for trender i prediksjoner og er med til å redusere risikoen for å overvurdere de øvrige effektene. Se f.eks. David Sanders (2005): "Popularity function forecasts for the 2005 UK General Election", British Journal of Politics and International Relations 7(2), 174-190.

Hvis du vil se de utregnede regresjonsmodellene som ligger til grunn for prediksjonene kan du sende en mail til
stian(snabel-a)ps.au.dk

Mvh Stian