Pienimmän neliösumman menetelmä

Pienimmän neliösumman menetelmä (PNS-menetelmä, engl. ordinary least squares, OLS) on matemaattisen optimoinnin menetelmä, jolla pyritään löytämään aineistolle paras sovite. Pienimmän neliösumman menetelmässä regressiokertoimien estimaattorit määrätään minimoimalla jäännös- eli virhetermien neliösumma^[1]. Saaduilla estimaateilla voidaan siten muodostaa estimoitu regressiosuora eli malli kuvaamaan selitettävän muuttujan vaihtelua. Visuaalisesti tarkasteltuna PNS-menetelmällä saadaan laskettua havaintopisteiden pystysuuntainen etäisyys regressiosuorasta. Mitä pienempi etäisyys PNS-menetelmällä saadaan, sitä paremmin regressiosuora mallintaa havaintopisteiden käytöstä ja sitä parempi selittävyysaste mallilla on.

PNS-menetelmä on käytettävyytensä takia suosittu menetelmä, jonka sovelluskohteita ovat muun muassa ekonometria, aikasarja-analyysi, sähkötekniikka sekä monet muut empiirisen tutkimuksen alat.

Lineaarisen mallin tapauksessa pienimmän neliösumman menetelmä tuottaa tehokkaimman harhattoman estimaattorin, jos Gauss—Markov-oletukset ovat voimassa.

Olkoon

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\dots +\beta _{k}x_{ik}+\varepsilon _{i},i=1,2,\dots ,n}$ , jossa

• ${\displaystyle x_{ik}}$ on selittävän muuttujan kiinteä, ei-satunnainen ${\displaystyle x_{k}}$ arvo havaintoyksikössä i
• ${\displaystyle y_{i}}$ on selitettävän muuttujan y satunnainen arvo havaintoyksikössä i
• ${\displaystyle \varepsilon _{i}}$ on jäännös- eli virhetermi havaintoyksikössä i
• ${\displaystyle \beta _{0}}$ on vakioselittäjän regressiokerroin
• ${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{k}}$ ovat selittävän muuttujan x regressiokertoimet, jotka eivät riipu havaintoyksiköstä i

Nimitystä yleinen lineaarinen malli käytetään, sillä sen erikoistapauksina saadaan monia erilaisia tilastollisia malleja. PNS-menetelmää voidaan käyttää sellaisenaan yleiseen lineaariseen malliin, joka toteuttaa standardioletukset.

Yleistä lineaarista mallia koskee tyypillisesti kuusi oletusta, joita kutsutaan standardioletuksiksi. Näiden oletusten ehtojen täyttyessä malliin voidaan soveltaa tilastollisen analyysin tavanomaisia estimointi- ja testausmenetelmiä mukaan lukien pienimmän neliösumman menetelmää.

1. Selittäjän ${\displaystyle x_{k}}$ arvot ${\displaystyle x_{ik}}$ ovat kiinteitä, ei-satunnaisia vakioita, eli selittäjien arvot ovat valittu
2. Selittäjien välillä ei ole lineaarisia riippuvuuksia, eli toisin sanoen selittäjää ${\displaystyle x_{k}}$ ei voida esittää muiden ${\displaystyle x}$:n arvojen lineaarikombinaationa
• Ehto takaa sen, että PNS-menetelmä tuottaa yksiselitteiset ratkaisut regressiokertoimille ${\displaystyle \beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{k}}$
3. Kaikkien virhetermien ${\displaystyle \varepsilon _{i}}$ odotusarvo on nolla. Tällöin taataan, ettei mallin rakenneosaan sisälly systemaattista virhettä ${\displaystyle \beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\dots +\beta _{k}x_{i}k}$
4. Kaikilla virhetermeillä ${\displaystyle \varepsilon _{i}}$ on sama varianssi ${\displaystyle \sigma ^{2}}$, eli niin kutsuttu heteroskedastisuusoletus ei päde
5. Jäännös- eli virhetermit ${\displaystyle \varepsilon _{i},\varepsilon _{j}}$ eivät korreloi keskenään.
6. Jäännös- eli virhetermit ${\displaystyle \varepsilon _{i}}$ ovat normaalijakautuneita. Oletus vi. sisältää oletukset iii. ja iv.

Selittävät muuttujat saattavat saada satunnaisia, ei-kiinteitä arvoja. Näin käy esimerkiksi stokastisissa prosesseissa. Jos selittäjistä muodostuva matriisi X on satunnainen, PNS-menetelmä saattaa tuottaa harhaisia tai epätarkentuvia estimaattoreita regressiokertoimille. Tällöin voidaan testata, mikäli kiinteille selittäjille esitetty teoria toteutuu ehdollisesti.

Lineaarisen mallin regressiokertoimien β PNS-estimaattori on

${\displaystyle \mathbf {b} =(\mathbf {X} '\mathbf {X} )^{-1}\mathbf {X} '\mathbf {y} \Leftrightarrow \mathbf {b} ={\boldsymbol {\beta }}+(\mathbf {X} '\mathbf {X} )^{-1}\mathbf {X} '\mathbf {\varepsilon } }$, missä ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$.

Jos matriisi on satunnainen, mutta standardioletuksen iii. mukaan virhetermin ε odotusarvo on nolla, estimaattorin ehdolliselle odotusarvolle pätee

${\displaystyle \operatorname {E} ={\boldsymbol {\beta }}+\operatorname {E} ={\boldsymbol {\beta }}+(\mathbf {X} '\mathbf {X} )^{-1}\mathbf {X} '\operatorname {E} }$

Vastaava ehdollinen korjaus muihin (iii-vi) yleisen lineaarisen mallin standardioletuksiin mahdollistaa oletusten yleistämisen myös satunnaisille selittäjille. Siitä huolimatta modifioidut ehdot ovat rajoittavia ja mahdollisesti epäpäteviä eri aineistoille, esimerkiksi aikasarjoille. Mikäli näin on, tällaisissa tilanteissa ei pidä käyttää PNS-menetelmää parametrien estimointiin, vaan hyödyntää dynaamisia regressiomalleja. Dynaamisilla regressiomalleilla on mahdollista huomioida paitsi havaitun prosessin (tyypillisesti jonkin aikasarjan) oma historia, myös muiden tunnettujen prosessin käyttäytymismallit ja näiden keskinäiset riippuvuudet.

${\displaystyle \min _{\beta _{0},\dots ,\beta _{k}}\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}(y-\beta _{0}-\beta _{1}x_{i1}-\beta _{2}x_{i2}-\dots -\beta _{k}x_{ik})^{2}}$

Neliösumman ${\displaystyle \sum \varepsilon _{i}^{2}}$ minimointi tapahtuu osittaisderivoimalla regressiokertoimien suhteen ja merkitsemällä derivaatat nolliksi. Tämän tuloksena saadaan lineaarinen yhtälöryhmä regressiokertoimien suhteen. Yhtälöryhmässä on ${\displaystyle k+1}$ yhtälöä (${\displaystyle k+1}$, sillä mukana on myös vakiokerroin ${\displaystyle \beta _{0}}$), ja yhtälöryhmällä on yksikäsitteinen ratkaisu mikäli ylempänä esitetty standardioletus ii. pätee.

Yhtälöryhmän ratkaisuna saadaan regressiokertoimien ${\displaystyle \beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{k}}$ PNS-estimaattorit. Estimaattorit voidaan merkitä vastaavilla latinalaisilla kirjaimilla ${\displaystyle b_{0},b_{1},b_{2},\dots ,b_{k}}$, siten että ${\displaystyle b_{1}}$ on regressiokertoimen ${\displaystyle \beta _{1}}$ PNS-estimaattori ja niin edelleen.

Olkoon ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$ standardioletuksen ii. ${\displaystyle r(\mathbf {X} )=k+1}$ täyttävä yleinen lineaarinen malli.

• Regressiokertoimien vektorin β PNS-estimaattori on ${\displaystyle \mathbf {b} =(b_{0},b_{1},b_{2},\dots ,b_{k})'=(\mathbf {X} '\mathbf {X} )^{-1}\mathbf {X} '\mathbf {y} }$
• Jos standardioletukset i-iv. pätevät, niin ${\displaystyle \operatorname {E} ={\boldsymbol {\beta }},\operatorname {Cov} (\mathbf {b} )=\sigma ^{2}(\mathbf {X} '\mathbf {X} )^{-1}}$ ja koska ${\displaystyle \operatorname {E} ={\boldsymbol {\beta }}}$, seuraa, että PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori.

• Lineaarinen regressioanalyysi
• Pienimmän neliösumman suora