Pienimmän neliösumman suora

Pienimmän neliösumman suora on käytännöllinen menetelmä lineaarisen mallin sovittamiseksi havaintoaineistoon, jossa jonkin muuttujan voidaan olettaa riippuvan lineaarisesti toisen muuttujan arvoista.

Menetelmän lähtökohtana on valita lineaarisen mallin kertoimet siten, että havaittujen arvojen ja mallin antamien arvojen erotuksista laskettujen neliöiden summa saa pienimmän mahdollisen arvonsa.

Tarkastellaan data-aineistoa, joka sisältää ${\displaystyle n}$ kappaletta havaintopareja ${\displaystyle (x_{i},y_{i})}$. Oletetaan, että ${\displaystyle y}$-arvot riippuvat ${\displaystyle x}$-arvoista lineaarisen mallin ${\displaystyle y=A+Bx}$ mukaisesti. Tehtävänä on löytää kertoimille ${\displaystyle A}$ ja ${\displaystyle B}$ sellaiset arvot, että virheneliösumma

${\displaystyle S=\sum _{i=1}^{n}(y_{i}-(A+Bx_{i}))^{2}}$

saa pienimmän mahdollisen arvonsa.

Kun summan termissä esiintyvä neliö puretaan auki, summa hajotetaan osasummiin, asetetaan näin saadun lausekkeen osittaisderivaatat kertoimien ${\displaystyle A}$ ja ${\displaystyle B}$ suhteen nolliksi ja ratkaistaan näin saatu lineaarinen yhtälöpari kertoimien suhteen, saadaan ratkaisu:

${\displaystyle {\begin{cases}A={\frac {S_{xx}S_{y}-S_{x}S_{xy}}{nS_{xx}-S_{x}^{2}}}\\B={\frac {nS_{xy}-S_{x}S_{y}}{nS_{xx}-S_{x}^{2}}}\end{cases}}}$

missä

${\displaystyle {\begin{cases}S_{x}=\sum _{i=1}^{n}x_{i}\\S_{y}=\sum _{i=1}^{n}y_{i}\\S_{xx}=\sum _{i=1}^{n}x_{i}^{2}\\S_{xy}=\sum _{i=1}^{n}x_{i}y_{i}{\mbox{ ja }}\\S_{yy}=\sum _{i=1}^{n}y_{i}^{2}\end{cases}}}$

Nämä summat voidaan helposti laskea suoraan havaintoarvoista.

Havaintoarvoista voidaan myös laatia taulukko, johon varataan omat sarakkeet arvoille ${\displaystyle x_{i}}$, ${\displaystyle y_{i}}$, ${\displaystyle x_{i}^{2}}$, ${\displaystyle x_{i}y_{i}}$ ja ${\displaystyle y_{i}^{2}}$. Tarvitut summat saadaan tällöin suoraan ko. taulukon sarakesummina.

Tilastollista terminologiaa ja matriisilaskentaa käyttäen samaa asiaa käsittelee artikkeli Lineaarinen regressioanalyysi.