Linearna parna regresijska analiza. Linearna regresija

3. Približevanje funkcij z metodo

najmanjši kvadrati

Metoda najmanjših kvadratov se uporablja pri obdelavi rezultatov poskusa za približki (približki) eksperimentalni podatki analitično formulo. Posebna oblika formule je praviloma izbrana iz fizikalnih razlogov. Te formule so lahko:

in drugi.

Bistvo metode najmanjših kvadratov je naslednje. Naj rezultate meritev predstavimo v tabeli:

Tabela 4

x n

y n

(3.1)

kjer je f je znana funkcija, a 0 , a 1 , …, a m - neznani konstantni parametri, katerih vrednosti je treba najti. Pri metodi najmanjših kvadratov velja, da je približek funkcije (3.1) eksperimentalni odvisnosti najboljši, če je izpolnjen pogoj

(3.2)

to je zneski a kvadratni odmiki želene analitične funkcije od eksperimentalne odvisnosti morajo biti minimalni .

Upoštevajte, da funkcija Q klical neviskoden.


Od neskladja

potem ima minimum. Nujen pogoj za minimum funkcije več spremenljivk je enakost nič vseh parcialnih odvodov te funkcije glede na parametre. Tako je iskanje najboljših vrednosti parametrov aproksimacijske funkcije (3.1), to je tistih vrednosti, za katere Q = Q (a 0 , a 1 , …, a m ) je minimalen, se zmanjša na reševanje sistema enačb:

(3.3)

Metodi najmanjših kvadratov je mogoče podati naslednjo geometrijsko razlago: med neskončno družino črt dane vrste najdemo eno črto, za katero je vsota kvadratov razlik v ordinatah eksperimentalnih točk in ustreznih ordinatah točk ugotovljeno z enačbo te premice bo najmanjša.

Iskanje parametrov linearne funkcije

Naj bodo eksperimentalni podatki predstavljeni z linearno funkcijo:

Takšne vrednosti je potrebno izbrati a in b , za katerega funkcija

(3.4)

bo minimalen. Potrebni pogoji za minimum funkcije (3.4) so ​​reducirani na sistem enačb:

Po transformacijah dobimo sistem dveh linearnih enačb z dvema neznankama:

(3.5)

pri reševanju katere , najdemo želene vrednosti parametrov a in b.

Iskanje parametrov kvadratne funkcije

Če je aproksimirajoča funkcija kvadratna odvisnost

potem njegovi parametri a , b , c poiščite iz minimalnega pogoja funkcije:

(3.6)

Minimalni pogoji za funkcijo (3.6) so reducirani na sistem enačb:


Po transformacijah dobimo sistem treh linearnih enačb s tremi neznankami:

(3.7)

pri reševanje katerega najdemo želene vrednosti parametrov a, b in c.

Primer . Naj bo naslednja tabela vrednosti pridobljena kot rezultat poskusa x in y:

Tabela 5

y i

0,705

0,495

0,426

0,357

0,368

0,406

0,549

0,768

Eksperimentalne podatke je potrebno aproksimirati z linearnimi in kvadratnimi funkcijami.

rešitev. Iskanje parametrov aproksimacijskih funkcij se zmanjša na reševanje sistemov linearnih enačb (3.5) in (3.7). Za rešitev problema uporabimo procesor za preglednice excel.

1. Najprej povežemo list 1 in 2. Vnesemo eksperimentalne vrednosti x i in y i v stolpce A in B, začenši z drugo vrstico (v prvo vrstico vnesemo naslove stolpcev). Nato izračunamo vsote za te stolpce in jih damo v deseto vrstico.

V stolpcih C–G postavite izračun oziroma seštevek

2. Odstranite liste Nadaljnji izračuni bodo izvedeni na podoben način za linearno odvisnost od lista 1 in za kvadratno odvisnost od lista 2.

3. Pod dobljeno tabelo oblikujemo matriko koeficientov in stolpčni vektor prostih členov. Rešimo sistem linearnih enačb po naslednjem algoritmu:

Za izračun inverzne matrike in množilne matrike uporabljamo Mojster funkcije in funkcije MOBR in MUMNOZH.

4. V celičnem bloku H2: H 9 na podlagi dobljenih koeficientov izračunamo vrednosti aproksimacije polinomy i kalk., v bloku I 2: I 9 - odstopanja D y i = y i exp. - y i kalk., v stolpcu J - odstopanje:

Tabele, pridobljene in izdelane z uporabo Čarovniki za grafikone grafi so prikazani na slikah 6, 7, 8.


riž. 6. Tabela za izračun koeficientov linearne funkcije,

približevanje eksperimentalni podatki.


riž. 7. Tabela za izračun koeficientov kvadratne funkcije,

približevanjeeksperimentalni podatki.


riž. 8. Grafični prikaz rezultatov aproksimacije

eksperimentalni podatki linearne in kvadratne funkcije.

Odgovori. Eksperimentalni podatki so bili aproksimirani z linearno odvisnostjo l = 0,07881 x + 0,442262 z ostankom Q = 0,165167 in kvadratna odvisnost l = 3,115476 x 2 – 5,2175 x + 2,529631 z ostankom Q = 0,002103 .

Naloge. Približaj funkcijo, podano s tabelarnimi, linearnimi in kvadratnimi funkcijami.

Tabela 6

№0

x

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

l

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

Funkcijo aproksimiramo s polinomom 2. stopnje. Da bi to naredili, izračunamo koeficiente normalnega sistema enačb:

, ,

Sestavimo normalen sistem najmanjših kvadratov, ki ima obliko:

Rešitev sistema je enostavno najti:, , .

Tako najdemo polinom 2. stopnje: .

Teoretična referenca

Nazaj na stran<Введение в вычислительную математику. Примеры>

Primer 2. Iskanje optimalne stopnje polinoma.

Nazaj na stran<Введение в вычислительную математику. Примеры>

Primer 3. Izpeljava normalnega sistema enačb za iskanje parametrov empirične odvisnosti.

Izpeljimo sistem enačb za določanje koeficientov in funkcij , ki izvede povprečno kvadratno aproksimacijo dane funkcije glede na točke. Sestavite funkcijo in zapišite potrebni ekstremni pogoj za to:

Potem bo normalni sistem dobil obliko:

Dobili smo linearni sistem enačb za neznane parametre in, ki je enostavno rešljiv.

Teoretična referenca

Nazaj na stran<Введение в вычислительную математику. Примеры>

Primer.

Eksperimentalni podatki o vrednostih spremenljivk X in pri so podani v tabeli.

Zaradi njihove poravnave se funkcija

Uporaba metoda najmanjših kvadratov, te podatke približamo z linearno odvisnostjo y=ax+b(poiščite parametre A in b). Ugotovite, katera od obeh črt bolje (v smislu metode najmanjših kvadratov) poravna eksperimentalne podatke. Narišite risbo.

Bistvo metode najmanjših kvadratov (LSM).

Težava je najti koeficiente linearne odvisnosti, za katere je funkcija dveh spremenljivk A in bima najmanjšo vrednost. Se pravi glede na podatke A in b vsota kvadratov odstopanj eksperimentalnih podatkov od najdene premice bo najmanjša. To je bistvo metode najmanjših kvadratov.

Tako se rešitev primera zmanjša na iskanje ekstrema funkcije dveh spremenljivk.

Izpeljava formul za iskanje koeficientov.

Sestavi se in reši sistem dveh enačb z dvema neznankama. Iskanje parcialnih odvodov funkcij po spremenljivkah A in b, te izpeljanke enačimo z nič.

Nastali sistem enačb rešimo s poljubno metodo (npr substitucijska metoda ali Cramerjeva metoda) in pridobiti formule za iskanje koeficientov z uporabo metode najmanjših kvadratov (LSM).

S podatki A in b funkcijo ima najmanjšo vrednost. Dokaz za to dejstvo je podan spodaj v besedilu na koncu strani.

To je celotna metoda najmanjših kvadratov. Formula za iskanje parametra a vsebuje vsote , , , in parameter n je količina eksperimentalnih podatkov. Vrednosti teh vsot je priporočljivo izračunati ločeno.

Koeficient b ugotovljeno po izračunu a.

Čas je, da se spomnimo izvirnega primera.

rešitev.

V našem primeru n=5. Izpolnimo tabelo za lažji izračun zneskov, ki so vključeni v formule zahtevanih koeficientov.

Vrednosti v četrti vrstici tabele dobimo tako, da za vsako številko pomnožimo vrednosti 2. vrstice z vrednostmi 3. vrstice. jaz.

Vrednosti v peti vrstici tabele dobimo s kvadriranjem vrednosti 2. vrstice za vsako število jaz.

Vrednosti zadnjega stolpca tabele so vsote vrednosti v vrsticah.

Za iskanje koeficientov uporabljamo formule metode najmanjših kvadratov A in b. V njih nadomestimo ustrezne vrednosti iz zadnjega stolpca tabele:

torej y=0,165x+2,184 je želena aproksimativna premica.

Še vedno je treba ugotoviti, katera od vrstic y=0,165x+2,184 oz bolje približati izvirne podatke, tj. narediti oceno z uporabo metode najmanjših kvadratov.

Ocena napake metode najmanjših kvadratov.

Če želite to narediti, morate izračunati vsote kvadratov odstopanj izvirnih podatkov od teh vrstic in , manjša vrednost ustreza črti, ki bolje približa izvirne podatke v smislu metode najmanjših kvadratov.

Od , potem vrstica y=0,165x+2,184 bolje približa izvirne podatke.

Grafična ilustracija metode najmanjših kvadratov (LSM).

Na lestvicah je vse videti super. Rdeča črta je najdena črta y=0,165x+2,184, modra črta je , rožnate pike so izvirni podatki.

Čemu služi, čemu so vsi ti približki?

Osebno uporabljam za reševanje težav z glajenjem podatkov, interpolacijo in ekstrapolacijo (v prvotnem primeru bi lahko morali najti vrednost opazovane vrednosti l pri x=3 ali kdaj x=6 po metodi MNC). Toda o tem bomo več govorili kasneje v drugem delu spletnega mesta.

Vrh strani

Dokaz.

Torej, ko najdemo A in b funkcija zavzame najmanjšo vrednost, je nujno, da je na tej točki matrika kvadratne oblike diferenciala drugega reda za funkcijo je bil pozitiven. Pokažimo ga.

Diferencial drugega reda ima obliko:

To je

Zato ima matrika kvadratne oblike obliko

in vrednosti elementov niso odvisne od A in b.

Pokažimo, da je matrika pozitivno določena. To zahteva, da so manjši koti pozitivni.

Kotni minor prvega reda . Neenakost je stroga, saj točke ne sovpadajo. To bo implicirano v nadaljevanju.

Kotni minor drugega reda

Dokažimo to metoda matematične indukcije.

Zaključek: najdene vrednosti A in b ustrezajo najmanjši vrednosti funkcije so torej želeni parametri za metodo najmanjših kvadratov.

Ste kdaj razumeli?
Naročite rešitev

Vrh strani

Izdelava napovedi z metodo najmanjših kvadratov. Primer rešitve problema

Ekstrapolacija - to je metoda znanstvenega raziskovanja, ki temelji na razširjanju preteklih in sedanjih trendov, vzorcev, odnosov do prihodnjega razvoja predmeta napovedovanja. Metode ekstrapolacije vključujejo metoda drsečega povprečja, metoda eksponentnega glajenja, metoda najmanjših kvadratov.

Esenca metoda najmanjših kvadratov sestoji iz minimiziranja vsote kvadratnih odstopanj med opazovanimi in izračunanimi vrednostmi. Izračunane vrednosti se najdejo po izbrani enačbi - regresijski enačbi. Manjša kot je razdalja med dejanskimi vrednostmi in izračunanimi, natančnejša je napoved na podlagi regresijske enačbe.

Osnova za izbiro krivulje je teoretična analiza bistva preučevanega pojava, katerega spremembo prikazuje časovna vrsta. Včasih se upoštevajo premisleki o naravi rasti ravni serije. Torej, če se pričakuje rast proizvodnje v aritmetični progresiji, potem se glajenje izvaja v ravni črti. Če se izkaže, da je rast eksponentna, je treba glajenje opraviti po eksponentni funkciji.

Delovna formula metode najmanjših kvadratov : Y t+1 = a*X + b, kjer je t + 1 obdobje napovedi; Уt+1 – napovedani indikator; a in b sta koeficienta; X je simbol časa.

Koeficienta a in b se izračunata po naslednjih formulah:

kjer, Uf - dejanske vrednosti serije dinamike; n je število ravni v časovni vrsti;

Glajenje časovnih vrst z metodo najmanjših kvadratov služi odražanju vzorcev razvoja preučevanega pojava. V analitičnem izražanju trenda se čas obravnava kot neodvisna spremenljivka, nivoji niza pa delujejo kot funkcija te neodvisne spremenljivke.

Razvoj pojava ni odvisen od tega, koliko let je minilo od izhodišča, temveč od tega, kateri dejavniki so vplivali na njegov razvoj, v katero smer in s kakšno intenzivnostjo. Iz tega je jasno, da se razvoj pojava v času pojavi kot posledica delovanja teh dejavnikov.

Pravilna nastavitev vrste krivulje, vrste analitične odvisnosti od časa je ena najtežjih nalog prednapovedne analize. .

Izbira vrste funkcije, ki opisuje trend, katere parametri so določeni z metodo najmanjših kvadratov, je v večini primerov empirična, s konstruiranjem številnih funkcij in njihovo medsebojno primerjavo z vrednostjo korenske sredine. -kvadratna napaka, izračunana po formuli:

kjer je Uf - dejanske vrednosti serije dinamike; Ur – izračunane (zglajene) vrednosti časovne vrste; n je število ravni v časovni vrsti; p je število parametrov, definiranih v formulah, ki opisujejo trend (trend razvoja).

Slabosti metode najmanjših kvadratov :

  • ko poskušate preučevani ekonomski pojav opisati z matematično enačbo, bo napoved točna za kratek čas, regresijsko enačbo pa je treba znova izračunati, ko bodo na voljo nove informacije;
  • zahtevnost izbire regresijske enačbe, ki je rešljiva s standardnimi računalniškimi programi.

Primer uporabe metode najmanjših kvadratov za razvoj napovedi

Naloga . Obstajajo podatki, ki označujejo stopnjo brezposelnosti v regiji, %

  • Zgradite napoved stopnje brezposelnosti v regiji za mesece november, december, januar z uporabo metod: drsečega povprečja, eksponentnega glajenja, najmanjših kvadratov.
  • Z vsako metodo izračunajte napake v nastalih napovedih.
  • Primerjajte dobljene rezultate, naredite zaključke.

Rešitev najmanjših kvadratov

Za rešitev bomo sestavili tabelo, v kateri bomo naredili potrebne izračune:

ε = 28,63/10 = 2,86 % natančnost napovedi visoka.

Zaključek : Primerjava rezultatov, dobljenih pri izračunih metoda drsečega povprečja , eksponentno glajenje in metodo najmanjših kvadratov, lahko rečemo, da je povprečna relativna napaka pri izračunih z metodo eksponentnega glajenja znotraj 20-50 %. To pomeni, da je natančnost napovedi v tem primeru le zadovoljiva.

V prvem in tretjem primeru je natančnost napovedi visoka, saj je povprečna relativna napaka manjša od 10 %. Toda metoda drsečega povprečja je omogočila pridobitev zanesljivejših rezultatov (napoved za november - 1,52%, napoved za december - 1,53%, napoved za januar - 1,49%), saj je povprečna relativna napaka pri uporabi te metode najmanjša - 1 ,13 %.

Metoda najmanjših kvadratov

Drugi povezani članki:

Seznam uporabljenih virov

  1. Znanstvena in metodološka priporočila o vprašanjih diagnostike družbenih tveganj in napovedovanja izzivov, groženj in družbenih posledic. Ruska državna socialna univerza. Moskva. 2010;
  2. Vladimirova L.P. Napovedovanje in načrtovanje v tržnih razmerah: Uč. dodatek. M .: Založba "Dashkov in Co", 2001;
  3. Novikova N.V., Pozdeeva O.G. Napovedovanje narodnega gospodarstva: Izobraževalno-metodološki vodnik. Jekaterinburg: Založba Ural. država gospodarstvo univerza, 2007;
  4. Slutskin L.N. MBA tečaj poslovne napovedi. Moskva: Alpina Business Books, 2006.

Program MNE

Vnesite podatke

Podatki in približki y = a + b x

jaz- številka poskusne točke;
x i- vrednost fiksnega parametra v točki jaz;
y i- vrednost merjenega parametra v točki jaz;
ω i- merilna teža na točki jaz;
y i, izč.- razlika med izmerjeno vrednostjo in vrednostjo, izračunano iz regresije l na točki jaz;
S x i (x i)- ocena napake x i pri merjenju l na točki jaz.

Podatki in približki y = kx

jaz x i y i ω i y i, izč. Δy i S x i (x i)

Kliknite na grafikon

Uporabniški priročnik za spletni program MNC.

V podatkovno polje vnesite v vsako ločeno vrstico vrednosti `x` in `y` na eni poskusni točki. Vrednosti morajo biti ločene s presledkom (presledek ali tabulator).

Tretja vrednost je lahko utež točke `w`. Če utež točke ni navedena, je enaka ena. V veliki večini primerov uteži eksperimentalnih točk niso znane ali niso izračunane; vsi eksperimentalni podatki veljajo za enakovredne. Včasih uteži v preučevanem razponu vrednosti zagotovo niso enakovredne in jih je mogoče celo teoretično izračunati. Na primer, v spektrofotometriji je mogoče uteži izračunati s preprostimi formulami, čeprav v bistvu vsi to zanemarjajo, da bi zmanjšali stroške dela.

Podatke je mogoče prilepiti skozi odložišče iz preglednice pisarniškega paketa, kot je Excel iz Microsoft Officea ali Calc iz Open Officea. Če želite to narediti, v preglednici izberite obseg podatkov za kopiranje, kopirajte v odložišče in prilepite podatke v podatkovno polje na tej strani.

Za izračun po metodi najmanjših kvadratov sta potrebni vsaj dve točki za določitev dveh koeficientov `b` - tangens kota naklona premice in `a` - vrednost, ki jo premica odseka na `y'. ` os.

Za oceno napake izračunanih regresijskih koeficientov je potrebno število eksperimentalnih točk nastaviti na več kot dve.

Metoda najmanjših kvadratov (LSM).

Večje kot je število eksperimentalnih točk, natančnejša je statistična ocena koeficientov (zaradi znižanja Studentovega koeficienta) in bližje oceni ocene generalnega vzorca.

Pridobivanje vrednosti na vsaki eksperimentalni točki je pogosto povezano z znatnimi stroški dela, zato se pogosto izvaja kompromisno število poskusov, ki daje prebavljivo oceno in ne vodi do previsokih stroškov dela. Praviloma je število eksperimentalnih točk za linearno odvisnost najmanjših kvadratov z dvema koeficientoma izbrano v območju 5-7 točk.

Kratka teorija najmanjših kvadratov za linearno odvisnost

Recimo, da imamo nabor eksperimentalnih podatkov v obliki parov vrednosti [`y_i`, `x_i`], kjer je `i` število ene eksperimentalne meritve od 1 do `n`; `y_i` - vrednost izmerjene vrednosti v točki `i`; `x_i` - vrednost parametra, ki smo ga nastavili na točki `i`.

Primer je delovanje Ohmovega zakona. S spreminjanjem napetosti (potencialne razlike) med odseki električnega tokokroga merimo količino toka, ki teče skozi ta odsek. Fizika nam daje eksperimentalno ugotovljeno odvisnost:

`I=U/R`,
kjer je "I" - jakost toka; `R` - odpornost; `U` - napetost.

V tem primeru je `y_i` izmerjena vrednost toka, `x_i` pa vrednost napetosti.

Kot drug primer razmislite o absorpciji svetlobe z raztopino snovi v raztopini. Kemija nam daje formulo:

`A = εl C`,
kjer je "A" optična gostota raztopine; `ε` - prepustnost topljenca; `l` - dolžina poti, ko svetloba prehaja skozi kiveto z raztopino; `C` je koncentracija topljenca.

V tem primeru je `y_i` izmerjena optična gostota `A`, `x_i` pa koncentracija snovi, ki jo nastavimo.

Upoštevali bomo primer, ko je relativna napaka pri nastavitvi `x_i` veliko manjša od relativne napake pri merjenju `y_i`. Predpostavili bomo tudi, da so vse izmerjene vrednosti `y_i` naključne in normalno porazdeljene, tj. upoštevati normalni zakon porazdelitve.

V primeru linearne odvisnosti `y` od `x` lahko zapišemo teoretično odvisnost:
`y = a + bx`.

Z geometrijskega vidika koeficient "b" označuje tangens kota naklona premice na os "x", koeficient "a" pa vrednost "y" na presečišču osi. črto z osjo "y" (za "x = 0").

Iskanje parametrov regresijske črte.

V poskusu izmerjene vrednosti `y_i` ne morejo ležati točno na teoretični črti zaradi merilnih napak, ki so vedno neločljivo povezane z resničnim življenjem. Zato mora biti linearna enačba predstavljena s sistemom enačb:
`y_i = a + b x_i + ε_i` (1),
kjer je `ε_i` neznana merilna napaka `y` v `i` poskusu.

Imenuje se tudi odvisnost (1). regresija, tj. odvisnost obeh količin ena od druge s statistično pomembnostjo.

Naloga obnovitve odvisnosti je najti koeficienta `a` in `b` iz eksperimentalnih točk [`y_i`, `x_i`].

Za iskanje koeficientov `a` in `b` se običajno uporabljata metoda najmanjših kvadratov(MNK). Je poseben primer načela največje verjetnosti.

Zapišimo (1) kot `ε_i = y_i - a - b x_i`.

Potem bo vsota kvadratov napak
`Φ = vsota_(i=1)^(n) ε_i^2 = vsota_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Načelo metode najmanjših kvadratov je minimizacija vsote (2) glede na parametra `a` in `b`.

Minimum je dosežen, ko so parcialni odvodi vsote (2) glede na koeficienta `a` in `b` enaki nič:
`frac(delno Φ)(delno a) = frac(delna vsota_(i=1)^(n) (y_i - a - b x_i)^2)(delno a) = 0`
`frac(delno Φ)(delno b) = frac(delna vsota_(i=1)^(n) (y_i - a - b x_i)^2)(delno b) = 0`

Če razširimo odvode, dobimo sistem dveh enačb z dvema neznankama:
`vsota_(i=1)^(n) (2a + 2bx_i - 2y_i) = vsota_(i=1)^(n) (a + bx_i - y_i) = 0`
`vsota_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = vsota_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Odpremo oklepaje in prenesemo vsote neodvisne od želenih koeficientov na drugo polovico, dobimo sistem linearnih enačb:
`vsota_(i=1)^(n) y_i = a n + b vsota_(i=1)^(n) bx_i`
`vsota_(i=1)^(n) x_iy_i = a vsota_(i=1)^(n) x_i + b vsota_(i=1)^(n) x_i^2`

Z reševanjem nastalega sistema najdemo formule za koeficienta `a` in `b`:

`a = frac(vsota_(i=1)^(n) y_i vsota_(i=1)^(n) x_i^2 - vsota_(i=1)^(n) x_i vsota_(i=1)^(n ) x_iy_i) (n vsota_(i=1)^(n) x_i^2 — (vsota_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n vsota_(i=1)^(n) x_iy_i - vsota_(i=1)^(n) x_i vsota_(i=1)^(n) y_i) (n vsota_(i=1)^ (n) x_i^2 - (vsota_(i=1)^(n) x_i)^2)` (3.2)

Te formule imajo rešitve, ko je `n > 1` (črta se lahko nariše z uporabo vsaj 2 točk) in ko je determinanta `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, tj. ko so točke `x_i` v poskusu različne (tj. ko črta ni navpična).

Ocena napak v koeficientih regresijske premice

Za natančnejšo oceno napake pri izračunu koeficientov `a` in `b` je zaželeno veliko število eksperimentalnih točk. Ko je `n = 2`, je nemogoče oceniti napako koeficientov, ker aproksimirajoča premica bo enolično potekala skozi dve točki.

Določena je napaka slučajne spremenljivke `V` zakon kopičenja napak
`S_V^2 = vsota_(i=1)^p (frac(delni f)(delni z_i))^2 S_(z_i)^2`,
kjer je `p` število parametrov `z_i` z napako `S_(z_i)`, ki vplivajo na napako `S_V`;
`f` je funkcija odvisnosti `V` od `z_i`.

Zapišimo zakon kopičenja napak za napako koeficientov `a` in `b`
`S_a^2 = vsota_(i=1)^(n)(frac(delni a)(delni y_i))^2 S_(y_i)^2 + vsota_(i=1)^(n)(frac(delni a )(delni x_i))^2 S_(x_i)^2 = S_y^2 vsota_(i=1)^(n)(frac(delni a)(delni y_i))^2 `,
`S_b^2 = vsota_(i=1)^(n)(frac(delni b)(delni y_i))^2 S_(y_i)^2 + vsota_(i=1)^(n)(frac(delni b )(delno x_i))^2 S_(x_i)^2 = S_y^2 vsota_(i=1)^(n)(frac(delno b)(delno y_i))^2 `,
Ker `S_(x_i)^2 = 0` (prej smo rezervirali, da je napaka `x` zanemarljiva).

`S_y^2 = S_(y_i)^2` - napaka (varianca, kvadrat standardnega odklona) v dimenziji `y` ob predpostavki, da je napaka enotna za vse vrednosti `y`.

Če v nastale izraze nadomestimo formule za izračun `a` in `b`, dobimo

`S_a^2 = S_y^2 frac(vsota_(i=1)^(n) (vsota_(i=1)^(n) x_i^2 - x_i vsota_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n vsota_(i=1)^(n) x_i^2 - (vsota_(i=1)^(n) x_i)^2) vsota_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(vsota_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(vsota_(i=1)^(n) (n x_i - vsota_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n vsota_(i=1)^(n) x_i^2 - (vsota_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4,2)

V večini resničnih poskusov se vrednost "Sy" ne meri. Za to je potrebno izvesti več vzporednih meritev (eksperimentov) na eni ali več točkah načrta, kar poveča čas (in morda stroške) eksperimenta. Zato se običajno domneva, da se odstopanje y od regresijske črte lahko šteje za naključno. Ocena variance `y` se v tem primeru izračuna po formuli.

`S_y^2 = S_(y, ostalo)^2 = frac(vsota_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Delitelj `n-2` se pojavi, ker smo zaradi izračuna dveh koeficientov za isti vzorec eksperimentalnih podatkov zmanjšali število prostostnih stopinj.

Ta ocena se imenuje tudi preostala varianca glede na regresijsko premico `S_(y, ostalo)^2`.

Ocenjevanje pomembnosti koeficientov poteka po Studentovem kriteriju

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Če sta izračunana kriterija `t_a`, `t_b` manjša od merila tabele `t(P, n-2)`, se šteje, da ustrezni koeficient ni bistveno drugačen od nič z dano verjetnostjo `P`.

Če želite oceniti kakovost opisa linearne povezave, lahko primerjate `S_(y, rest)^2` in `S_(bar y)` glede na povprečje z uporabo Fisherjevega kriterija.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - vzorčna ocena variance `y` glede na povprečje.

Za oceno učinkovitosti regresijske enačbe za opis odvisnosti se izračuna Fisherjev koeficient
`F = S_(bar y) / S_(y, počitek)^2`,
ki se primerja s tabelarnim Fisherjevim koeficientom `F(p, n-1, n-2)`.

Če je `F > F(P, n-1, n-2)`, se razlika med opisom odvisnosti `y = f(x)` z uporabo regresijske enačbe in opisom z uporabo povprečja šteje za statistično pomembno z verjetnostjo `P`. Tisti. regresija bolje opisuje odvisnost kot širjenje "y" okoli povprečja.

Kliknite na grafikon
da dodate vrednosti v tabelo

Metoda najmanjših kvadratov. Metoda najmanjših kvadratov pomeni določitev neznanih parametrov a, b, c, sprejete funkcionalne odvisnosti

Metoda najmanjših kvadratov pomeni določanje neznanih parametrov a, b, c, … sprejeta funkcionalna odvisnost

y = f(x,a,b,c,…),

ki bi zagotovil najmanjšo srednjo kvadratno (varianco) napake

, (24)

kjer x i , y i - niz parov števil, dobljenih s poskusom.

Ker je pogoj za ekstrem funkcije več spremenljivk pogoj, da so njeni delni odvodi enaki nič, potem parametri a, b, c, … se določijo iz sistema enačb:

; ; ; … (25)

Ne smemo pozabiti, da se za izbiro parametrov po obliki funkcije uporablja metoda najmanjših kvadratov y = f(x) definiran.

Če iz teoretičnih premislekov ni mogoče sklepati o tem, kakšna naj bi bila empirična formula, potem se je treba osredotočiti na vizualne predstavitve, predvsem grafično predstavitev opazovanih podatkov.

V praksi so najpogosteje omejeni na naslednje vrste funkcij:

1) linearni ;

2) kvadratni a .

Po poravnavi dobimo funkcijo naslednje oblike: g (x) = x + 1 3 + 1 .

Te podatke lahko približamo z linearnim razmerjem y = a x + b z izračunom ustreznih parametrov. Za to bomo morali uporabiti tako imenovano metodo najmanjših kvadratov. Prav tako boste morali narediti risbo, da preverite, katera črta bo najbolje poravnala eksperimentalne podatke.

Kaj točno je OLS (metoda najmanjših kvadratov)

Glavna stvar, ki jo moramo storiti, je najti takšne koeficiente linearne odvisnosti, pri katerih bo vrednost funkcije dveh spremenljivk F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 enaka najmanjši. Z drugimi besedami, za določene vrednosti a in b bo imela vsota kvadratnih odstopanj predstavljenih podatkov od nastale ravne črte najmanjšo vrednost. To je pomen metode najmanjših kvadratov. Vse, kar moramo storiti, da rešimo primer, je, da poiščemo ekstrem funkcije dveh spremenljivk.

Kako izpeljati formule za izračun koeficientov

Za izpeljavo formul za izračun koeficientov je potrebno sestaviti in rešiti sistem enačb z dvema spremenljivkama. Da bi to naredili, izračunamo delne odvode izraza F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 glede na a in b ter jih enačimo z 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Za rešitev sistema enačb lahko uporabite katero koli metodo, na primer substitucijo ali Cramerjevo metodo. Kot rezultat bi morali dobiti formule, ki izračunavajo koeficiente po metodi najmanjših kvadratov.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Izračunali smo vrednosti spremenljivk, za katere je funkcija
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 bo prevzel najmanjšo vrednost. V tretjem odstavku bomo dokazali, zakaj je tako.

To je uporaba metode najmanjših kvadratov v praksi. Njegova formula, ki se uporablja za iskanje parametra a, vključuje ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 in parameter
n - označuje količino eksperimentalnih podatkov. Svetujemo vam, da izračunate vsak znesek posebej. Vrednost koeficienta b se izračuna takoj za a .

Vrnimo se k izvirnemu primeru.

Primer 1

Tukaj imamo n enako pet. Da bi bilo bolj priročno izračunati zahtevane količine, vključene v formule koeficientov, izpolnimo tabelo.

i = 1 i = 2 i = 3 i = 4 i = 5 ∑ i = 1 5
x i 0 1 2 4 5 12
y i 2 , 1 2 , 4 2 , 6 2 , 8 3 12 , 9
x i y i 0 2 , 4 5 , 2 11 , 2 15 33 , 8
x i 2 0 1 4 16 25 46

rešitev

V četrti vrstici so podatki, dobljeni z množenjem vrednosti iz druge vrstice z vrednostmi tretje vrstice za vsako posamezno i. V peti vrstici so podatki iz drugega kvadrata. Zadnji stolpec prikazuje vsote vrednosti posameznih vrstic.

Uporabimo metodo najmanjših kvadratov za izračun koeficientov a in b, ki ju potrebujemo. Če želite to narediti, zamenjajte želene vrednosti iz zadnjega stolpca in izračunajte vsote:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Dobili smo, da bo želena aproksimativna premica izgledala kot y = 0, 165 x + 2, 184. Sedaj moramo ugotoviti, katera vrstica bo najbolje približala podatke - g (x) = x + 1 3 + 1 ali 0 , 165 x + 2 , 184 . Naredimo oceno z metodo najmanjših kvadratov.

Za izračun napake moramo poiskati vsote kvadratov odstopanj podatkov iz vrstic σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 in σ 2 = ∑ i = 1 n (y i - g (x i)) 2 bo najmanjša vrednost ustrezala ustreznejši liniji.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

odgovor: od σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

Metoda najmanjših kvadratov je jasno prikazana na grafični ilustraciji. Rdeča črta označuje premico g (x) = x + 1 3 + 1, modra črta označuje y = 0, 165 x + 2, 184. Neobdelani podatki so označeni z rožnatimi pikami.

Naj pojasnimo, zakaj so potrebni točno taki približki.

Uporabljajo se lahko pri problemih, ki zahtevajo glajenje podatkov, pa tudi pri tistih, kjer je treba podatke interpolirati ali ekstrapolirati. Na primer, v zgoraj obravnavanem problemu bi lahko našli vrednost opazovane količine y pri x = 3 ali pri x = 6. Takim primerom smo posvetili poseben članek.

Dokaz metode LSM

Da funkcija zavzame najmanjšo vrednost pri izračunu a in b, je potrebno, da je v dani točki matrika kvadratne oblike diferenciala funkcije oblike F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 biti pozitivno določen. Pokažimo vam, kako bi moralo izgledati.

Primer 2

Imamo diferencial drugega reda naslednje oblike:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

rešitev

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Z drugimi besedami, to lahko zapišemo takole: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Dobili smo matriko kvadratne oblike M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

V tem primeru se vrednosti posameznih elementov ne bodo spreminjale glede na a in b. Ali je ta matrika pozitivno določena? Da odgovorimo na to vprašanje, preverimo, ali so njegovi kotni minori pozitivni.

Izračunajte kotni minor prvega reda: 2 ∑ i = 1 n (x i) 2 > 0 . Ker točke x i ne sovpadajo, je neenakost stroga. To bomo upoštevali pri nadaljnjih izračunih.

Izračunamo kotni minor drugega reda:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Nato nadaljujemo z dokazom neenakosti n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 z uporabo matematične indukcije.

  1. Preverimo, ali ta neenakost velja za poljuben n. Vzemimo 2 in izračunajmo:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Dobili smo pravilno enakost (če se vrednosti x 1 in x 2 ne ujemata).

  1. Predpostavimo, da bo ta neenakost veljala za n, tj. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – drži.
  2. Zdaj pa dokažimo veljavnost za n + 1, tj. da je (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, če je n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Izračunamo:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Izraz v zavitih oklepajih bo večji od 0 (glede na to, kar smo predpostavili v 2. koraku), preostali členi pa bodo večji od 0, ker so vsi kvadrati števil. Neenakost smo dokazali.

odgovor: najdena a in b bosta ustrezala najmanjši vrednosti funkcije F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, kar pomeni, da sta zahtevana parametra metode najmanjših kvadratov. (LSM).

Če v besedilu opazite napako, jo označite in pritisnite Ctrl+Enter

Če je neka fizikalna količina odvisna od druge količine, potem je to odvisnost mogoče raziskati z merjenjem y pri različnih vrednostih x. Kot rezultat meritev dobimo vrsto vrednosti:

x 1, x 2, ..., x i, ..., x n;

y 1, y 2, ..., y i, ..., y n.

Na podlagi podatkov takšnega poskusa je mogoče izrisati odvisnost y = ƒ(x). Nastala krivulja omogoča presojo oblike funkcije ƒ(x). Vendar konstantni koeficienti, ki vstopajo v to funkcijo, ostajajo neznani. Določimo jih lahko z metodo najmanjših kvadratov. Eksperimentalne točke praviloma ne ležijo natančno na krivulji. Metoda najmanjših kvadratov zahteva, da vsota kvadratov odstopanj eksperimentalnih točk od krivulje, tj. 2 je bil najmanjši.

V praksi se ta metoda najpogosteje (in najenostavneje) uporablja v primeru linearne povezave, tj. Kdaj

y=kx oz y = a + bx.

Linearna odvisnost je v fiziki zelo razširjena. In tudi ko je odvisnost nelinearna, običajno poskušajo zgraditi graf tako, da dobijo ravno črto. Na primer, če predpostavimo, da je lomni količnik stekla n povezan z valovno dolžino svetlobnega vala λ z razmerjem n = a + b/λ 2, potem se odvisnost n od λ -2 nariše na grafu .

Upoštevajte odvisnost y=kx(premica, ki poteka skozi izhodišče). Sestavimo vrednost φ vsoto kvadratov odstopanj naših točk od premice

Vrednost φ je vedno pozitivna in se izkaže za manjšo, čim bližje naši točki ležijo premici. Metoda najmanjših kvadratov pravi, da je treba za k izbrati takšno vrednost, pri kateri ima φ minimum


oz
(19)

Izračun pokaže, da je povprečna kvadratna napaka pri določanju vrednosti k enaka

, (20)
kjer je n število dimenzij.

Oglejmo si zdaj nekoliko težji primer, ko morajo točke zadostiti formuli y = a + bx(ravna črta, ki ne poteka skozi izhodišče).

Naloga je poiskati najboljše vrednosti a in b iz danega nabora vrednosti x i , y i .

Spet sestavimo kvadratno obliko φ, ki je enaka vsoti kvadratov odklonov točk x i , y i od premice

in poiščite vrednosti a in b, za katere ima φ minimum

;

.

.

Skupna rešitev teh enačb daje

(21)

Srednji kvadratni napaki določanja a in b sta enaki

(23)

.  (24)

Pri obdelavi rezultatov meritev s to metodo je priročno povzeti vse podatke v tabeli, v kateri so predhodno izračunane vse količine, vključene v formule (19)(24). Oblike teh tabel so prikazane v spodnjih primerih.

Primer 1 Preučena je bila osnovna enačba dinamike rotacijskega gibanja ε = M/J (premica skozi izhodišče). Za različne vrednosti momenta M je bil izmerjen kotni pospešek ε določenega telesa. Potrebno je določiti vztrajnostni moment tega telesa. V drugem in tretjem stolpcu so navedeni rezultati meritev momenta sile in kotnega pospeška mize 5.

Tabela 5
n M, N m ε, s-1 M2 M ε ε - kM (ε - kM) 2
1 1.44 0.52 2.0736 0.7488 0.039432 0.001555
2 3.12 1.06 9.7344 3.3072 0.018768 0.000352
3 4.59 1.45 21.0681 6.6555 -0.08181 0.006693
4 5.90 1.92 34.81 11.328 -0.049 0.002401
5 7.45 2.56 55.5025 19.072 0.073725 0.005435
– – 123.1886 41.1115 – 0.016436

S formulo (19) določimo:

.

Za določitev srednje kvadratne napake uporabimo formulo (20)

0.005775kg-1 · m -2 .

Po formuli (18) imamo

; .

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m 2.

Glede na zanesljivost P = 0,95 , glede na tabelo Studentovih koeficientov za n = 5, najdemo t = 2,78 in določimo absolutno napako ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m 2.

Rezultate zapišemo v obliki:

J = (3,0 ± 0,2) kg m 2;


Primer 2 Z metodo najmanjših kvadratov izračunamo temperaturni koeficient upora kovine. Odpornost je odvisna od temperature po linearnem zakonu

R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °.

Prosti člen določa upor R 0 pri temperaturi 0 ° C, kotni koeficient pa je produkt temperaturnega koeficienta α in upora R 0 .

Rezultati meritev in izračunov so podani v tabeli ( glej tabelo 6).

Tabela 6
n t°, s r, Ohm t-¯t (t-¯t) 2 (t-¯t)r r-bt-a (r - bt - a) 2,10 -6
1 23 1.242 -62.8333 3948.028 -78.039 0.007673 58.8722
2 59 1.326 -26.8333 720.0278 -35.581 -0.00353 12.4959
3 84 1.386 -1.83333 3.361111 -2.541 -0.00965 93.1506
4 96 1.417 10.16667 103.3611 14.40617 -0.01039 107.898
5 120 1.512 34.16667 1167.361 51.66 0.021141 446.932
6 133 1.520 47.16667 2224.694 71.69333 -0.00524 27.4556
515 8.403 – 8166.833 21.5985 – 746.804
∑/n 85.83333 1.4005 – – – – –

S formulama (21), (22) določimo

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Poiščimo napako v definiciji α. Ker imamo po formuli (18):

.

Z uporabo formul (23), (24) imamo

;

0.014126 Ohm.

Glede na zanesljivost P = 0,95 po tabeli Studentovih koeficientov za n = 6 najdemo t = 2,57 in določimo absolutno napako Δα = 2,57 0,000132 = 0,000338 stopinj -1.

α = (23 ± 4) 10 -4 toča-1 pri P = 0,95.


Primer 3 Potrebno je določiti polmer ukrivljenosti leče iz Newtonovih obročev. Izmerili smo polmere Newtonovih obročev r m in določili število teh obročev m. Polmeri Newtonovih obročev so povezani s polmerom ukrivljenosti leče R in številom obročev z enačbo

r 2 m = mλR - 2d 0 R,

kjer je d 0 debelina reže med lečo in ravninsko vzporedno ploščo (ali deformacija leče),

λ je valovna dolžina vpadne svetlobe.

λ = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

potem bo enačba dobila obliko y = a + bx.

.

Vnesemo rezultate meritev in izračunov tabela 7.

Tabela 7
n x = m y \u003d r 2, 10 -2 mm 2 m-¯m (m-¯m) 2 (m-¯m)y y-bx-a, 10-4 (y - bx - a) 2, 10 -6
1 1 6.101 -2.5 6.25 -0.152525 12.01 1.44229
2 2 11.834 -1.5 2.25 -0.17751 -9.6 0.930766
3 3 17.808 -0.5 0.25 -0.08904 -7.2 0.519086
4 4 23.814 0.5 0.25 0.11907 -1.6 0.0243955
5 5 29.812 1.5 2.25 0.44718 3.28 0.107646
6 6 35.760 2.5 6.25 0.894 3.12 0.0975819
21 125.129 – 17.5 1.041175 – 3.12176
∑/n 3.5 20.8548333 – – – – –

Metoda najmanjših kvadratov se uporablja za oceno parametrov regresijske enačbe.

Ena od metod za proučevanje stohastičnih odnosov med značilnostmi je regresijska analiza.
Regresijska analiza je izpeljava regresijske enačbe, ki se uporablja za iskanje povprečne vrednosti naključne spremenljivke (feature-rezultat), če je znana vrednost druge (ali drugih) spremenljivk (feature-factors). Vključuje naslednje korake:

  1. izbira oblike povezave (tip analitične regresijske enačbe);
  2. ocena parametrov enačbe;
  3. ocena kakovosti analitične regresijske enačbe.
Najpogosteje se linearna oblika uporablja za opis statističnega odnosa značilnosti. Pozornost na linearno razmerje je razloženo z jasno ekonomsko razlago njegovih parametrov, omejeno z variacijo spremenljivk, in z dejstvom, da se v večini primerov nelinearne oblike razmerja pretvorijo (z logaritmiranjem ali spreminjanjem spremenljivk) v linearno obliko za izvajanje izračunov.
V primeru razmerja linearnega para bo regresijska enačba imela obliko: y i =a+b·x i +u i . Parametra te enačbe a in b sta ocenjena iz podatkov statističnega opazovanja x in y. Rezultat takšne ocene je enačba: , kjer je , - oceni parametrov a in b , - vrednost efektivne lastnosti (spremenljivke), dobljene z regresijsko enačbo (izračunana vrednost).

Najpogosteje se uporablja za oceno parametrov metoda najmanjših kvadratov (LSM).
Metoda najmanjših kvadratov daje najboljše (dosledne, učinkovite in nepristranske) ocene parametrov regresijske enačbe. Vendar le, če so izpolnjene določene predpostavke o naključnem členu (u) in neodvisni spremenljivki (x) (glejte predpostavke OLS).

Problem ocenjevanja parametrov enačbe linearnega para z metodo najmanjših kvadratov je sestavljen iz naslednjega: pridobiti takšne ocene parametrov , , pri katerih je vsota kvadratnih odstopanj dejanskih vrednosti efektivne lastnosti - y i od izračunanih vrednosti - minimalna.
Formalno OLS kriterij lahko zapišemo takole: .

Klasifikacija metod najmanjših kvadratov

  1. Metoda najmanjših kvadratov.
  2. Metoda največje verjetnosti (za običajni klasični linearni regresijski model je postulirana normalnost regresijskih ostankov).
  3. Posplošena metoda najmanjših kvadratov GLSM se uporablja v primeru avtokorelacije napak in v primeru heteroskedastičnosti.
  4. Metoda uteženih najmanjših kvadratov (poseben primer GLSM s heteroskedastičnimi ostanki).

Ilustrirajte bistvo klasična metoda najmanjših kvadratov grafično. Da bi to naredili, bomo glede na opazovalne podatke (x i , y i , i=1;n) zgradili pikčasto grafiko v pravokotnem koordinatnem sistemu (tako pikčasto grafiko imenujemo korelacijsko polje). Poskusimo najti ravno črto, ki je najbližje točkam korelacijskega polja. Po metodi najmanjših kvadratov je premica izbrana tako, da je vsota kvadratov navpičnih razdalj med točkami korelacijskega polja in to premico minimalna.

Matematični zapis tega problema: .
Vrednosti y i in x i =1...n so nam znane, to so opazovalni podatki. V funkciji S so konstante. Spremenljivke v tej funkciji so zahtevane ocene parametrov - , . Da bi našli minimum funkcije 2 spremenljivk, je treba izračunati delne odvode te funkcije glede na vsakega od parametrov in jih enačiti na nič, tj. .
Kot rezultat dobimo sistem dveh normalnih linearnih enačb:
Z reševanjem tega sistema najdemo zahtevane ocene parametrov:

Pravilnost izračuna parametrov regresijske enačbe lahko preverimo s primerjavo vsot (možna so odstopanja zaradi zaokroževanja izračunov).
Za izračun ocen parametrov lahko sestavite tabelo 1.
Predznak regresijskega koeficienta b označuje smer povezave (če je b > 0, je povezava direktna, če b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalno je vrednost parametra a povprečna vrednost y za x, ki je enak nič. Če faktor predznaka nima in ne more imeti vrednosti nič, potem zgornja interpretacija parametra a ni smiselna.

Ocena tesnosti razmerja med funkcijami se izvede z uporabo koeficienta linearne parne korelacije - r x,y . Lahko se izračuna po formuli: . Poleg tega se lahko korelacijski koeficient linearnega para določi glede na regresijski koeficient b: .
Razpon dopustnih vrednosti linearnega koeficienta parne korelacije je od –1 do +1. Predznak korelacijskega koeficienta kaže smer razmerja. Če je r x, y >0, je povezava neposredna; če je r x, y<0, то связь обратная.
Če je ta koeficient blizu enote v modulu, potem je razmerje med značilnostmi mogoče interpretirati kot precej tesno linearno. Če je njen modul enak ena ê r x , y ê =1, potem je razmerje med značilnostmi funkcionalno linearno. Če sta lastnosti x in y linearno neodvisni, potem je r x,y blizu 0.
Tabelo 1 lahko uporabite tudi za izračun r x,y.

Za oceno kakovosti dobljene regresijske enačbe se izračuna teoretični koeficient determinacije - R 2 yx:

,
kjer je d 2 varianca y, razložena z regresijsko enačbo;
e 2 - rezidualna (nepojasnjena z regresijsko enačbo) varianca y ;
s 2 y - skupna (skupna) varianca y .
Koeficient determinacije označuje delež variacije (razpršenosti) dobljene lastnosti y, razložene z regresijo (in posledično faktorja x), v skupni variaciji (disperziji) y. Koeficient determinacije R 2 yx ima vrednosti od 0 do 1. V skladu s tem vrednost 1-R 2 yx označuje delež variance y, ki je posledica vpliva drugih dejavnikov, ki niso upoštevani v modelu in specifikacijskih napak.
S parno linearno regresijo R 2 yx =r 2 yx .