Suurten lukujen laki vaalistatistiikalle

Tämä sivu on tutkimus. Sivutunniste: Op_fi2800
Moderaattori:smxb (katso kaikki) Sivun edistymistä ei ole arvioitu. Arvostuksen määrää ei ole arvioitu (ks. peer review).
Lisää dataa

Gaussinen jakauma raja-arvona

Tässä kappaleessa perustellaan gaussisen jakautuman käyttöä vaalidatan aktiivisuus- ja kannatausprosenttijakautumien sovituksessa.

Useista aineistoista voidaan havaita että puoluekohtaisten kannatusprosenttien jakautumat kuten maakohtaiset äänestysaktiivisuusjakautumat ovat usein likipitäen normaalijakatuneita. Poikkeamille löytyy syitä, jotka vaihtelevat äänestäjien määrästä tahalliseen huijaukseen. Näiden vaikutusten erottaminen toisistaan on tärkeää oikean tulkinnan varmistamiseksi. Tämän vuoksi tutkimme alla millaisia jakaumia on odotettavissa ns. rehellisissä vaaleissa ja kuinka lähellä ne ovat normaalijakaumaa.

Jos äänestäjät olisivat täysin riippumattomia toisistaan, rehellisissä vaaleissa kokonaisaktiivisuus noudattaisi binomijakaumaa ja puolueiden kannatusjakauma noudattaa M-komponenttista multinomijakaumaa. Näiden jatkuvat vastineet ovat gaussisia normaalijakaumia (riippumattomuus implikoi korreloitumattomuutta). Todellisessa elämässä äänestäjien välillä on kuitenkin riippuvuuksia kuten mm. se että äänestäjät saattavat kuulua samaan puolueeseen tai esim. elää samalla maantieteellisellä alueella. Myös vaalivilppi kuten pakottaminen tai uurnien manipulointi voi indusoida korrelaatiota äänestystuloksiin. Korrelaatiolla ei kuitenkaan ole merkitystä, jos ne ovat ns. heikkoja ja äänestäjiä on riittävän suuri määrä. Heikko korrelaatio tarkoittaa sitä että äänestäjät eivät voi vuorovaikuttaa toistensa kanssa mielivaltaisen pitkän 'etäisyyden' yli (etäisyys voi olla konkreettinen (esim. maantieteellinen) tai abstrakti (esim. tuloluokka). Heikot korrelaatiot tyypillisesti vaimenevat nopeammin kuin potenssilakimuotoisena etäisyyden funktiona.

Mille tahansa satunnaismuuttujan, jolle on tehty affiininen muunnos niin että sen keskiarvo on saatettu nollaan ja varianssi ykköseksi , jakauman karakteristiselle funktiolle pätee seuraava Taylor-laajennos pienillä Y:n arvoilla: $p(t) = 1 + \frac{1}{2!}(\imath t)^2 + \frac{1}{3!} (\imath t)^3 + \ldots$,

missä $\imath$ tarkoittaa imaginaariyksikköä. N:n samasta jakaumasta generoidun satunnaismuuttujan summan

$Y \equiv (x_1 + x_2 + \ldots + x_N)/\sqrt{N}\ \ \ (1)$

karakteristinen funktio puolestaan toteuttaa

$p_N\left( \frac{t}{\sqrt{N}} \right) = \left[ p\left( \frac{t}{\sqrt{N}} \right) \right]^N \approx \left[ 1 + \frac{1}{N} \left(-\frac{t^2}{2} - \frac{\imath t^3}{6 \sqrt{N}} + \ldots \right) \right]^N \to e^{-t^2/2}\, \left( 1 - \frac{\imath t^3}{6 \sqrt{N}} + \ldots \right)\, ,\ \ N \to \infty\ ,\ \ \ (2)$

missä suluissa olevat termit ovat äärelliselle summalle päteviä lisätermejä, jotka tekevät jakautumasta mahdollisesti epäsymmetrisen ja ei-gaussisen. Suorittamalla käänteis-Fourier -muunnoksen ja ottamalla palauttamalla ykkösestä poikkeavan varianssin $\langle x^2 \rangle$ saamme jakauman

$P_N(Y) = \frac{1}{ \pi \langle x^2 \rangle }\, \exp\left( -\frac{Y^2}{2 \langle x^2 \rangle} + \frac{1}{\sqrt{N}} [\ldots] \right)\ ,$

Hakasuluissa oleva lauseke riippuu jakatuman $p(x)$ korkeammista kuin toisesta momentista. Se on lisäksi epäuniversaali siinä mielessä että kertoimet riippuvat satunnaisprosessin yksityiskohdista . Jakautuman kertoimia voidaan käyttää sovitusparametreinä, joita voidaan arvioida erilaisilla tekniikoilla ml. Bayes-inferenssi, jota sovelletaan arvioinnin pääsivulla kappaleessa Hierarkkinen Bayes-malli.

Yllä olevat kaavat pätisivät eksaktisti, mikäli oletamme että satunnaismuuttujat, jotka esiintyvät summassa (1) kuvaavat riippumattomia äänestäjiä ja ovat identtisesti jakautuneita. Kaavat pätevät asymptoottisesti myös ei-identtisille jakaumille ja vaikka äänestäjien päätökset riippuisivatkin toisistaan tietyin edellytyksin. Tarkastellaan ensin kokonaisäänestysaktiivisuutta ja jaetaan summamuuttuja osasummiin

$\sqrt{N}\, Y = \sum_{n=1}^M y_n\ ,\ \ \ (0)$

jossa osasummassa

$y_n \equiv \sum_{i \in B_n} x_i$

on $N_n$ alkiota, joista jokainen kuuluu joukkoon $B_n$. Joukot $B_n$ oletetaan toisensa poissulkeviksi. Mikäli osasummien lukumäärä $M$ on riittävän suuri, voidaan tarkastella kokonaissummaan liittyvää normeerattua muuttujaa

$Y' = \sum_{n=1}^M y'_n\ \ \ y'_n \equiv \frac{y_n - \mu_n}{\sigma(M)}\ ,$

missä siis

$\sigma^2(M) \equiv \sum_{n=1}^M \sigma_n^2\ .$

Yksittäisen (alijono)muuttujan $y_n$ varianssi on siis $\sigma_n$ ja keskiarvo $\mu_n$. Jos

$N \gg M \gg 1\ ,$

kaavassa (2) esitetty eksponentiaalinen muoto pätee Lyapunovin teoreeman perusteella kuten alla osoitetaan. Karakteristinen funktio summamuuttujan $Y'$ jakaumalle:

$p_M(t) \propto \left\{ \prod_{n=1}^M \int\!\! dy_n \right\} \int dy'\, e^{\imath y' t}\, \delta(y' - Y') \left\{ \prod_{n=1}^M P_n(y_n) \right\}\ .\ \ \ (3)$

Tulon ositus antaa

$p_M(t) \propto \prod_{n=1}^M \int\!\! dy_n\, e^{\imath y'_n t}\, P_n(y_n)\ .$

Laajentaen jokaisen tulon jäsenen pienen argumentin rajalla saamme

$p_M(t) \propto \prod_{n=1}^M \left( \int\!\! dy_n\, P_n(y_n) (1 + \imath t y'_n - \frac{1}{2} t^2 (y'_n)^2 + \ldots ) \right) = \prod_{n=1}^M \left( 1 - \frac{1}{2} t^2 \sigma_n^2/\sigma^2(M) + \ldots \right)\ .$

Eksponentioimalla saadaan

$p_M(t) \approx \prod_{n=1}^M \exp\left( -\frac{1}{2} t^2 \sigma_n^2/\sigma^2(M) + \ldots \right) \to \exp\left( -\frac{t^2}{2} \right)\ .$

Toisin sanoen, vaikka muuttujat $y'_n$ eivät olisi identtisesti jakautuneita, pätee kaava (2) erittäin tarkasti pienille poikkeamille keskiarvon ympäristössä myös kun $M$ on äärellinen.

Kaavassa (3) on oletettu todennäköisyysjakauman $P_M$ faktoroituvan täydellisesti:

$P_M(y'_1, \ldots, y'_M) = \prod_{n=1}^M P_n(y'_n)\ .\ \ \ (4)$

Tämä oletus on liian vahva käytäntöön sovellettuna, ja se voidaan korvata heikommalla oletuksella (vrt. ns. klusterihajotelma kenttäteoriassa). Toisin sanoen, oletus (4) voidaan relaksoida sallimalla osasummamuuttujien $y'_n$ heikot korrelaatiot, siten että

$\langle y'_i y'_j \rangle = f(|i-j|)\ ,\ \ \ (5)$

missä odotusarvo on laskettu alkuperäisen mikroskooppisen (mahdollisesti korreloituneen) äänestäjäjakauman yli:

$\langle (\cdot) \rangle \equiv \prod_n \int\!\! dx_n\, P_N(x_1, \ldots, x_N) (\cdot)\ .$

Edelleen kaavassa (5) korrelaatiofunktio $f(|r|)$ heikkenee riittävän nopeasti 'etäisyyden' $|r| = |i-j|$ funktiona. Tällöin lisäämällä osasummamuuttujien summattavien määrää voidaan käytännön laskutoimituksia suorittaa käyttäen approksimaatiota (4) kokonaistodennäköisyysjakaumalle, vaikka se ei eksaktisti pätisikään. Etäisyysparametrina voidaan käyttää esim. maantieteellistä etäisyyttä. Jakaumaa karakterisoivia parametrejä voi olla useita muitakin mutta vaalidata ilmentää eksplisiittisesti ainoastaan vaalipiirien paikkatietoja.

Yllä mainitut seikat pätevät erityisen hyvin äänestysaktiivisuus-muuttujalle, joka on periaatteessa kaksiarvoinen muuttuja (joka saa arvot 'äänestää' tai 'ei äänestä'). Kokonaisäänestysaktiivisuus määritetään kaikkien äänten summana, joten kaikki summamuuttujille kirjattu päättely yllä pätee suoraan. Korrelaatiot ovat myös pienemmät kuin tarkasteltaessa puoluekohtaisia kannatuksia johtuen mm. suuremmasta summan jäsenten lukumäärästä ja siitä että puoluevalintaan kohdistuu monenlaisia vuorovaikutustekijöitä.

Tarkastellaan seuraavaksi puoluekohtaisia kannatusjakaumia. Rehellisissä vaaleissa puoluekohtaisen kannatuksen todennäköisyystiheys K:lle puolueelle mallinetaan multinomijakaumana

$P(n_1, \ldots, n_K; p_1, \ldots, p_K, N)\ ,\ \ \ (6)$

jossa $n_i$ on puoluetta i äänestäneiden määrä, $p_i$ on puolueen i keskimääräinen kannatustodennäköisyys ja $N$ on äänestäjien kokonaislukumäärä. Yksinkertaisuuden vuoksi oletamme ensin että äänestäjät ovat toisistaan riippumattomia, jolloin yhtälö pätee pienemmillekin äänestäjämäärille. Kun $N$ kasvaa suureksi ja todennäköisyydet $p_i$ eivät lähesty nollaa, jakautuma (6) lähestyy uusien muuttujien

$\tilde{n}_i \equiv (n_i - N p_i)/\sigma\ \ \ ;\ \ \ \sigma \equiv \sqrt{\det\Sigma}\ ,\ \ \ (7)$

(missä $\Sigma_{i j}$ on kovarianssimatriisi) normaalijakaumaa . Ilman affiinimuunnosta saadaan gaussinen jakauma jossa singulaarinen kovarianssi (7) . Kun $M=2$ voidaan tämä tulos johtaa tarkastelemalla satulapistelaajennusta keskiarvon ympärillä kuten lähteessä . Jos äänestäjät eivät ole toisistaan riippumattomia, voimme taas olettaa että käytettäessä sopivia summamuuttujia (0) yhdessä klusteroituvuusoletuksen kanssa, ovat summamuuttujat

$y_i \equiv \sum_{s \in B_i} n_s\ .\ \ \ (8)$

toisistaan riippumattomia, kun summaaan on sisällytetty keskenään korreloituneet satunnaismuuttujat. Jatkamalla summamuuttujien summausta päästään skaalaan jossa summamuuttujien summat ovat gaussisesti jakatuneita. Tämä voidaan edelleen ilmaista yhtälön (8) avulla yksinkertaisesti tekemällä osajoukot $B_i$ riittävän laajoiksi (esim. vaalipiirin kokoisiksi mutta pienemmiksi kuin esim. hallintoalueen koko.) Tällöin pätee

$P_M(y_1,\ldots,y_M) \to \frac{1}{\sqrt{\det\Sigma}} \exp\left(-(y_i - \mu_i) \Sigma^{-1}_{i j} (y_j - \mu_j)\right)\ .\ \ \ (9)$

Kaava (9) pätee siis riippumattomille muuttujille, joita voivat olla summamuuttujat $y_i$ tai 'mikroskooppiset' riippumattomat muuttujat $n_i$, jotka noudattavat esim. multinomijakaumaa (6). Jälkimmäisessä tapauksessa $\mu_i \equiv N p_i$ rajalla $N \to \infty$ ja $p_i$ ei-infinitesimaalinen.

Indeksijoukko $B_i$ voidaan jakaa osiin mielivaltaisen monilla tavoilla. Yksi mahdollinen jako on erotella eri äänestyskäyttäytymiseen vaikuttavat selittäjät omiksi dimensioikseen. Tällaisia voivat olla esim. maantieteellinen paikka (useita eri resoluutiota vaikka kylätasolle asti riippuen korrelaatioiden kantamasta) $\mathbf{r}$, tuloluokka $T$ jne. Siis $i = [\mathbf{r}, T, \ldots]$. Voimme siis kirjoittaa yhtälön (9) uudelleen:

$P[y(\mathbf{r}, T, \ldots)] \to \frac{1}{\sqrt{\det\Sigma}} \prod_{\mathbf{r}, T} \prod_{\mathbf{r}', T'} \exp\left(-(y(\mathbf{r}, T) - \mu(\mathbf{r}, T)) \Sigma^{-1}(\mathbf{r}, T; \mathbf{r}', T') (y(\mathbf{r}', T') - \mu(\mathbf{r}', T')) \right)\ .\ \ \ (10)$

Kaavat (9) ja (10) pätevät modulo normalisaatio

$\int\!\! {\mathcal D}y(\mathbf{r}, T, \ldots)\, P[y(\mathbf{r}, T, \ldots)] = 1\ .$.

Mikäli jakautuma (10) on syntynyt esim. multinomiaaliprosessista rajalla $N \to \infty$, jolloin $\mu(\mathbf{r}, T) = N p(\mathbf{r}, T)$ voidaan maantieteellinen indeksi $\mathbf{r}$ liittää esim. jokaiseen vaalipiiriin (tällöin sillä on siis diskreetti määrittelyjoukko). Olettamalla vaalipiirit toisistaan riippumattomiksi saadaan täysin faktorisoituva jakauma (10). Myös korrelaatioita voidaan vaalipiirien välillä karkeimmillaan mallintaa olettamalla kovarianssimatriisi $\Sigma$ sellaiseksi että odotusarvot $\langle y(\mathbf{r}, T) y(\mathbf{r}', T') \rangle$ (laskettuna yli jakauman (10)) eivät faktoroidu vaan säilyttävät sellaisen korrelaation asteen, jota vaalidatasetti tukee. Mikäli korrelaatiot ovat voimakkaita, ei oletus jakauman (10) gaussisesta muodosta ole enää välttämättä järkevä ja vaihtoehtoisia muotoja on testattava.

Tuntemattomien selittäjien (piilomuuttujien) olemassaolon vaikutukset (esim. korrelaatiota lisäävät puoluesidonnaisuudet, vaalivilppi tms.) voidaan riittävän heikkojen korrelaatioiden tapauksessa minimoida tai jopa eliminoida summaamalla 'ylimääräisten' muuttujien yli. Esim. summaamalla tuloluokan $T$ yli saadaan muuttuja

$\hat{y}(\mathbf{r}) \equiv \sum_T y(\mathbf{r}, T)$

joka summamuuttujana voi olla huomatavasti gaussisemmin jakautunut kuin $y(\mathbf{r}, T)$ (ts. summaamalla yli tuloluokan tai puoluesidonnaisuuden saadaan kaikkien samaan vaalipiiriin kuuluvien eri tuloluokkia tai puolueita edustustavien äänestäjien vaikutus 'keskiarvostettua pois'). Jos siis

$\langle y(\mathbf{r}, T) y(\mathbf{r}', T') \rangle \propto e^{-|\mathbf{r} - \mathbf{r}'|/\xi_1} e^{-|T - T'|/\xi_2}\ \ \ \Rightarrow\ \ \ \langle \hat{y}(\mathbf{r}) \hat{y}(\mathbf{r}') \rangle \propto e^{-|\mathbf{r} - \mathbf{r}'|/\xi_1}\ ,$

missä mahdollisesti $\xi_2 > \xi_1$ (anisotrooppisessa korrelaatiossa piilomuuttujan $T$ korrelaatiopituus on suurempi). Summauksen (piilomuuttujakeskiarvostuksen) jälkeen ainoastaan maantieteellisellä korrelaatiopituudella $\xi_1$ on merkitystä. Keskiarvostusargumentti tukee jakautuman muuttumista gaussisempaan suuntaan monijäsenisille summamuuttujille vaikka emme edes pysty tunnistamaan kaikkia $y$:n argumentteina olevia (piilo)muuttujia.

Maantieteellisessä mielessä pitkänkantaman korrelaatiota voi syntyä esim. puoluesidonnaisuuksista vaikka oletusarvoisesti myös puoluekohtaiset jakautumat ovat likimain gaussisia. Voimaakkaasti ei-gaussinen anomalia, erityisesti suurten kannatusprosenttiosuuksien kohdalla, voi olla myös signaali vaalivilpistä.

Jakautuma pienillä ja suurillä äänestysprosenteilla

Lopuksi voimme todeta, että pyrkimällä suurempiin yksiköihin äänestyskäyttäytymisen tarkastelussa (esim. vaalipiiritasolta hallintoalue/tasavaltatasolle) pitäisi summamuuttujien tulla aina tarkemmin gaussisiksi satunnaismuuttujiksi. Koska pienillä äänestäjämäärillä summamuuttujat sisältävät vähemmän summattavia, eivät korrelaatiot tule välttämättä eliminoiduiksi kovin tehokkasta, ja tästä syystä sekä kokokonaisäänestysaktiivisuuden että puoluekohtaisten kannatusjakaumien käyttäytyminen pienillä äänestysprosenteilla voivat poiketa huomattavasti Bellin käyrän muodosta. Tämä ilmiö onkin näkyvissä monien jakautumien kaksoispiikkirakenteena se. toinen piikki on ilmenee pienillä äänestysprosenteilla lähellä nollaa. Sama poikkeaman mahdollisuus pätee tietysti myös suurilla prosenttiosuuksilla jos vaalipiiri on kooltaan hyvin pieni. Tällaiset vaalipiirit voidaan kuitenkin helposti eliminoida statistiikasta ja voimme olettaa että suurilla prosenttiosuuksilla jakautumien pitäisi käyttäytyä tarkemmin normaalikautuman mukaisesti kuin pienillä.

Huomioita

• Berry–Esséen theorem
• korreloimattomuus ei implikoi riippumattomuutta mutta päinvastainen pitää paikkansa .
• Jo muutama konvoluutio riittää tuottamaan likimain Bellin käyrän muodon jopa vahvasti ei-gaussiselle muuttujalle
• marginal distriubution (how to construct joint probability distributions with hidden variables using conditional probabilities and chain rule of probability .))
• Multinomial distribution (continuous analogue is multivariate normal distribution)
• Election fraud investigation in US electronic polling (partywise data comparison and Gaussian distribution of support)
• Gaussianity of support in Malaysia 2008 compared with Singapore 2006 showing that even in a fair election the won seats a 50%-50% result split between opposition and governing parties may result in a massively non-balanced distribution of seats in the parliament
• Skewness (actual numbers and the skewness of the distribution demonstrated)
• Marginal distribution (hidden var.)
• Basic statistical inference (parameter estimation for fitting distributions to a single realization of a random process )
• Marginal distribution of the multinomial distribution

Katso myös

• Arvioinnin pääsivu: Venäjän_vaalit_2011