Ki najde najširšo uporabo na različnih področjih znanosti in prakse. Lahko je fizika, kemija, biologija, ekonomija, sociologija, psihologija in še in še. Po volji usode se moram pogosto ukvarjati z gospodarstvom, zato vam bom danes uredil vozovnico v čudovito državo, imenovano Ekonometrija=) … Kako si tega ne želiš?! Tam je zelo dobro – le odločiti se morate! …Toda kar si verjetno zagotovo želite, je naučiti se reševati probleme najmanjši kvadrati. In še posebej pridni bralci se jih bodo naučili reševati ne le natančno, ampak tudi ZELO HITRO ;-) Ampak najprej splošna navedba problema+ povezan primer:
Naj se na nekem predmetnem področju preučujejo indikatorji, ki imajo kvantitativni izraz. Hkrati obstajajo vsi razlogi za domnevo, da je kazalnik odvisen od kazalnika. Ta predpostavka je lahko znanstvena hipoteza in temelji na elementarni zdravi pameti. Pustimo znanost ob strani in raziščimo bolj okusna področja – namreč trgovine z živili. Označite z:
– prodajna površina trgovine z živili, m2, - letni promet trgovine z živili, milijonov rubljev.
Povsem jasno je, da večja kot je trgovina, večji je njen promet v večini primerov.
Recimo, da imamo po opazovanju / poskusih / izračunih / plesu s tamburinom na voljo numerične podatke: Z živilskimi trgovinami mislim, da je vse jasno: - to je površina 1. trgovine, - njen letni promet, - površina 2. trgovine, - njen letni promet itd. Mimogrede, sploh ni potrebno imeti dostopa do tajnih gradiv - dokaj natančno oceno prometa je mogoče dobiti z matematična statistika. Vendar naj vas ne moti, tečaj komercialnega vohunjenja je že plačan =)
Tabelarne podatke lahko zapišemo tudi v obliki točk in jih upodobimo na za nas običajen način. kartezični sistem .
Odgovorimo na pomembno vprašanje: koliko točk je potrebnih za kakovosten študij?
Večji kot je, boljši je. Najmanjši dopustni niz je sestavljen iz 5-6 točk. Poleg tega pri majhni količini podatkov "nenormalni" rezultati ne bi smeli biti vključeni v vzorec. Tako lahko na primer majhna elitna trgovina pomaga veliko več kot "njihovi kolegi" in s tem izkrivlja splošni vzorec, ki ga je treba najti!
Če je povsem preprosto, moramo izbrati funkcijo, urnik ki poteka čim bližje točkam . Takšna funkcija se imenuje približevanje(približek - približek) oz teoretična funkcija. Na splošno se tukaj takoj pojavi očiten "pretendent" - polinom visoke stopnje, katerega graf poteka skozi VSE točke. Toda ta možnost je zapletena in pogosto preprosto napačna. (ker bo grafikon ves čas "veter" in slabo odražal glavni trend).
Tako mora biti želena funkcija dovolj enostavna in hkrati ustrezno odražati odvisnost. Kot morda ugibate, se imenuje ena od metod za iskanje takšnih funkcij najmanjši kvadrati. Najprej na splošno analizirajmo njegovo bistvo. Naj neka funkcija približa eksperimentalne podatke:
Kako oceniti točnost tega približka? Izračunajmo še razlike (odklone) med eksperimentalnimi in funkcijskimi vrednostmi (preučujemo risbo). Prva misel, ki pride na misel, je oceniti, kako velika je vsota, vendar je težava v tem, da so lahko razlike negativne. (Na primer, )
in odstopanja kot posledica takega seštevanja se bodo med seboj izničila. Zato je za oceno točnosti približka predlagano vzeti vsoto moduli odstopanja:
ali v zloženi obliki: (nenadoma, kdo ne ve: je ikona vsote in je pomožna spremenljivka - "števec", ki ima vrednosti od 1 do ).
Z aproksimacijo eksperimentalnih točk z različnimi funkcijami bomo dobili različne vrednosti in očitno je, da je tam, kjer je ta vsota manjša, ta funkcija natančnejša.
Takšna metoda obstaja in se imenuje metoda najmanjšega modula. Vendar je v praksi postalo veliko bolj razširjeno. metoda najmanjših kvadratov, pri katerem se možne negativne vrednosti izločijo ne z modulom, temveč s kvadratiranjem odstopanj:
, nato pa se prizadevanja usmerijo v izbiro takšne funkcije, da je vsota kvadratov odklonov je bil čim manjši. Pravzaprav od tod tudi ime metode.
In zdaj se vrnemo k drugi pomembni točki: kot je navedeno zgoraj, mora biti izbrana funkcija precej preprosta - vendar obstaja tudi veliko takih funkcij: linearni, hiperbolično, eksponentno, logaritemski, kvadratni itd. In, seveda, tukaj bi takoj rad "zmanjšal področje dejavnosti." Kateri razred funkcij izbrati za raziskovanje? Primitivna, a učinkovita tehnika:
- Najlažji način za risanje točk na risbo in analizirati njihovo lokacijo. Če so ponavadi v ravni črti, potem morate iskati enačba ravne črtez optimalnimi vrednostmi in. Z drugimi besedami, naloga je najti TAKŠNE koeficiente - tako da je vsota kvadratov odstopanj najmanjša.
Če se točke nahajajo na primer vzdolž hiperbola, potem je jasno, da bo linearna funkcija dala slab približek. V tem primeru iščemo najugodnejše koeficiente za enačbo hiperbole - tiste, ki dajejo najmanjšo vsoto kvadratov .
Upoštevajte, da v obeh primerih govorimo o funkcije dveh spremenljivk, čigar argumenti so iskalne možnosti odvisnosti:
In v bistvu moramo rešiti standardni problem - najti najmanj funkcije dveh spremenljivk.
Spomnimo se našega primera: predpostavimo, da so točke "trgovine" ponavadi nameščene v ravni črti in obstaja vsak razlog za domnevo, da so linearna odvisnost prometa s trgovskega področja. Poiščimo TAKA koeficienta "a" in "be", da bo vsota kvadratov odstopanj je bil najmanjši. Vse kot običajno - najprej delni odvodi 1. reda. Po navedbah pravilo linearnosti lahko razlikujete tik pod ikono vsote:
Če želite te informacije uporabiti za esej ali seminarsko nalogo, vam bom zelo hvaležen za povezavo na seznamu virov, tako podrobnih izračunov ne boste našli nikjer:
Naredimo standardni sistem:
Vsako enačbo zmanjšamo za »dvojko« in poleg tega »razbijemo« vsote:
Opomba: samostojno analizira, zakaj lahko "a" in "be" črtamo iz ikone vsote. Mimogrede, formalno je to mogoče storiti z vsoto
Prepišimo sistem v "uporabni" obliki: po katerem se začne risati algoritem za rešitev našega problema:
Ali poznamo koordinate točk? Vemo. Vsote lahko najdemo? Enostavno. Sestavljamo najpreprostejše sistem dveh linearnih enačb z dvema neznankama("a" in "beh"). Sistem rešimo npr. Cramerjeva metoda, kar povzroči stacionarno točko. Preverjanje zadosten pogoj za ekstrem, lahko preverimo, da je na tej točki funkcija doseže natančno najmanj. Preverjanje je povezano z dodatnimi izračuni, zato ga bomo pustili v ozadju. (po potrebi si lahko ogledate manjkajoči okvir). Naredimo končni zaključek:
funkcija najboljši način (vsaj v primerjavi s katero koli drugo linearno funkcijo) približuje eksperimentalne točke . Grobo rečeno, njegov graf poteka čim bližje tem točkam. V tradiciji ekonometrija nastalo aproksimirajočo funkcijo imenujemo tudi enačba parne linearne regresije.
Obravnavani problem je velikega praktičnega pomena. V situaciji z našim primerom je enačba vam omogoča predvidevanje, kakšen promet ("jig") bo v trgovini s takšno ali drugačno vrednostjo prodajnega prostora (en ali drug pomen "x"). Da, nastala napoved bo le napoved, vendar se bo v mnogih primerih izkazala za precej natančno.
Analiziral bom samo eno težavo s "pravimi" številkami, saj v njej ni težav - vsi izračuni so na ravni šolskega kurikuluma v 7.-8. razredu. V 95 odstotkih primerov boste morali poiskati samo linearno funkcijo, čisto na koncu članka pa bom pokazal, da ni nič težje najti enačb za optimalno hiperbolo, eksponent in nekatere druge funkcije.
Pravzaprav ostane še razdeljevanje obljubljenih dobrot - da se naučite, kako takšne primere rešiti ne le natančno, ampak tudi hitro. Pazljivo preučujemo standard:
Naloga
Kot rezultat preučevanja razmerja med dvema indikatorjema so bili pridobljeni naslednji pari številk: Z uporabo metode najmanjših kvadratov poiščite linearno funkcijo, ki se najbolje približa empirični (izkušen) podatke. Narišite risbo, na kateri v kartezičnem pravokotnem koordinatnem sistemu narišite eksperimentalne točke in graf aproksimacijske funkcije . Poiščite vsoto kvadratov odstopanj med empiričnimi in teoretičnimi vrednostmi. Ugotovite, ali je funkcija boljša (v smislu metode najmanjših kvadratov) približne eksperimentalne točke.
Upoštevajte, da so vrednosti "x" naravne vrednosti in to ima značilen smiseln pomen, o katerem bom govoril malo kasneje; vendar so seveda lahko delni. Poleg tega sta lahko vrednosti "X" in "G" v celoti ali delno negativni, odvisno od vsebine določene naloge. No, dobili smo "brezobrazno" nalogo in se je lotimo rešitev:
Najdemo koeficiente optimalne funkcije kot rešitev sistema:
Za namene bolj kompaktnega zapisa lahko spremenljivko »števec« izpustimo, saj je že jasno, da se seštevanje izvaja od 1 do .
Primerneje je izračunati potrebne količine v obliki tabele:
Izračune je mogoče izvesti na mikrokalkulatorju, vendar je veliko bolje uporabiti Excel - tako hitreje kot brez napak; poglej kratek video:
Tako dobimo naslednje sistem:
Tukaj lahko drugo enačbo pomnožite s 3 in odštej 2. od 1. enačbe člen za členom. A to je sreča - v praksi sistemi pogosto niso obdarjeni in v takih primerih prihrani Cramerjeva metoda: , zato ima sistem edinstveno rešitev.
Naredimo pregled. Razumem, da nočem, ampak zakaj bi preskočil napake, kjer jih nikakor ne moreš zgrešiti? Najdeno rešitev nadomestimo v levo stran vsake enačbe sistema:
Dobljeni so pravi deli pripadajočih enačb, kar pomeni, da je sistem pravilno rešen.
Tako je želena aproksimativna funkcija: – od vse linearne funkcije z njo se najbolje približajo eksperimentalni podatki.
Za razliko od naravnost odvisnost prometa trgovine od njene površine, ugotovljena odvisnost je vzvratno(načelo "več - manj"), in to dejstvo takoj razkrije negativno kotni koeficient. funkcija nam sporoča, da se s povečanjem določenega kazalnika za 1 enoto vrednost odvisnega kazalnika zniža povprečje za 0,65 enote. Kot pravijo, višja kot je cena ajde, manj se prodaja.
Za prikaz aproksimacijske funkcije poiščemo dve njeni vrednosti:
in izvedite risbo:
Konstruirana linija se imenuje linija trenda(in sicer linearna trendna črta, tj. v splošnem primeru trend ni nujno ravna črta). Vsi poznajo izraz »biti v trendu« in menim, da ta izraz ne potrebuje dodatnih komentarjev.
Izračunajte vsoto kvadratov odstopanj med empiričnimi in teoretičnimi vrednostmi. Geometrično je to vsota kvadratov dolžin "škrlatnih" segmentov (dva sta tako majhna, da ju niti ne vidiš).
Povzemimo izračune v tabelo:
Ponovno jih je mogoče izvesti ročno, za vsak slučaj bom dal primer za 1. točko: vendar je veliko bolj učinkovito narediti že znani način:
Ponovimo: kaj pomeni rezultat? Od vse linearne funkcije funkcijo eksponent je najmanjši, kar pomeni, da je najboljši približek v svoji družini. In tukaj, mimogrede, zadnje vprašanje problema ni naključno: kaj če predlagana eksponentna funkcija ali bo bolje približati eksperimentalne točke?
Poiščimo ustrezno vsoto kvadratov odklonov - da jih ločimo, jih bom označil s črko "epsilon". Tehnika je popolnoma enaka:
In spet za vsak požarni izračun za 1. točko: V Excelu uporabljamo standardno funkcijo EXP(Sintakso lahko najdete v pomoči za Excel).
Zaključek: , zato eksponentna funkcija slabše aproksimira eksperimentalne točke kot premica .
Vendar je tukaj treba opozoriti, da je "slabše". še ne pomeni, kaj je narobe. Zdaj sem zgradil graf te eksponentne funkcije - in prav tako poteka blizu točk - tako zelo, da je brez analitične študije težko reči, katera funkcija je natančnejša.
S tem je rešitev zaključena in vračam se k vprašanju naravnih vrednosti argumenta. V različnih raziskavah, ekonomskih ali socioloških, so praviloma meseci, leta ali drugi enaki časovni intervali oštevilčeni z naravnim "X". Razmislite na primer o takšni težavi.
Metoda najmanjših kvadratov (LSM) vam omogoča, da ocenite različne količine z uporabo rezultatov številnih meritev, ki vsebujejo naključne napake.
Značilen MNC
Glavna ideja te metode je, da se vsota kvadratov napak obravnava kot merilo za natančnost rešitve problema, ki jo želimo čim bolj zmanjšati. Pri uporabi te metode je mogoče uporabiti tako numerične kot analitične pristope.
Zlasti kot numerična izvedba metoda najmanjših kvadratov pomeni izvedbo čim več meritev neznane naključne spremenljivke. Še več, več izračunov, natančnejša bo rešitev. Na tem nizu izračunov (začetni podatki) se pridobi še en niz predlaganih rešitev, iz katerih se nato izbere najboljša. Če je množica rešitev parametrizirana, bo metoda najmanjših kvadratov zmanjšana na iskanje optimalne vrednosti parametrov.
Kot analitični pristop k implementaciji LSM na množici začetnih podatkov (meritev) in predlagani množici rešitev je določena neka (funkcionalna), ki jo lahko izrazimo s formulo, ki jo dobimo kot določeno hipotezo, ki jo je potrebno potrditi. V tem primeru se metoda najmanjših kvadratov zmanjša na iskanje minimuma tega funkcionala na množici kvadratov napak začetnih podatkov.
Upoštevajte, da ne napake same, ampak kvadrati napak. Zakaj? Dejstvo je, da so pogosto odstopanja meritev od točne vrednosti tako pozitivna kot negativna. Pri določanju povprečja lahko preprosto seštevanje privede do napačnega zaključka o kakovosti ocene, saj bo medsebojno izničenje pozitivnih in negativnih vrednosti zmanjšalo moč vzorčenja nabora meritev. In posledično točnost ocene.
Da se to ne bi zgodilo, se kvadratna odstopanja seštejejo. Še več, za izenačitev dimenzije izmerjene vrednosti in končne ocene se za izločanje uporabi vsota kvadratov napak.
Nekatere aplikacije MNC
MNC se pogosto uporablja na različnih področjih. Na primer, v teoriji verjetnosti in matematični statistiki se metoda uporablja za določitev takšne značilnosti naključne spremenljivke kot standardni odklon, ki določa širino razpona vrednosti naključne spremenljivke.
3.
Približevanje funkcij z metodo
najmanjši kvadrati
Metoda najmanjših kvadratov se uporablja pri obdelavi rezultatov poskusa za približki(približki) eksperimentalni podatki analitično formulo. Posebna oblika formule je praviloma izbrana iz fizikalnih razlogov. Te formule so lahko:
in drugi.
Bistvo metode najmanjših kvadratov je naslednje. Naj rezultate meritev predstavimo v tabeli:
Tabela 4
x n
y n
(3.1)
kjer je f je znana funkcija, a 0 , a 1 , …, a m - neznani konstantni parametri, katerih vrednosti je treba najti. Pri metodi najmanjših kvadratov velja, da je približek funkcije (3.1) eksperimentalni odvisnosti najboljši, če je izpolnjen pogoj
(3.2)
to je zneskiakvadratni odmiki želene analitične funkcije od eksperimentalne odvisnosti morajo biti minimalni.
Upoštevajte, da funkcija Q klical neviskoden.
Od neskladja
potem ima minimum. Nujen pogoj za minimum funkcije več spremenljivk je enakost nič vseh parcialnih odvodov te funkcije glede na parametre. Tako je iskanje najboljših vrednosti parametrov aproksimacijske funkcije (3.1), to je tistih vrednosti, za katere Q = Q (a 0 , a 1 , …, a m ) je minimalen, se zmanjša na reševanje sistema enačb:
(3.3)
Metodi najmanjših kvadratov je mogoče podati naslednjo geometrijsko razlago: med neskončno družino črt dane vrste najdemo eno črto, za katero je vsota kvadratov razlik v ordinatah eksperimentalnih točk in ustreznih ordinatah točk ugotovljeno z enačbo te premice bo najmanjša.
Iskanje parametrov linearne funkcije
Naj bodo eksperimentalni podatki predstavljeni z linearno funkcijo:
Takšne vrednosti je potrebno izbrati a in b , za katerega funkcija
(3.4)
bo minimalen. Potrebni pogoji za minimum funkcije (3.4) so reducirani na sistem enačb:
Po transformacijah dobimo sistem dveh linearnih enačb z dvema neznankama:
(3.5)
pri reševanju katere , najdemo želene vrednosti parametrov a in b.
Iskanje parametrov kvadratne funkcije
Če je aproksimirajoča funkcija kvadratna odvisnost
potem njegovi parametri a , b , c poiščite iz minimalnega pogoja funkcije:
(3.6)
Minimalni pogoji za funkcijo (3.6) so reducirani na sistem enačb:
Po transformacijah dobimo sistem treh linearnih enačb s tremi neznankami:
(3.7)
pri reševanje katerega najdemo želene vrednosti parametrov a, b in c.
Primer. Naj bo naslednja tabela vrednosti pridobljena kot rezultat poskusa x in y:
Tabela 5
y i
0,705
0,495
0,426
0,357
0,368
0,406
0,549
0,768
Eksperimentalne podatke je potrebno aproksimirati z linearnimi in kvadratnimi funkcijami.
rešitev.Iskanje parametrov aproksimacijskih funkcij se zmanjša na reševanje sistemov linearnih enačb (3.5) in (3.7). Za rešitev problema uporabimo procesor za preglednice excel.
1. Najprej povežemo list 1 in 2. Vnesemo eksperimentalne vrednosti x i in y i v stolpce A in B, začenši z drugo vrstico (v prvo vrstico vnesemo naslove stolpcev). Nato izračunamo vsote za te stolpce in jih damo v deseto vrstico.
V stolpcih C–G postavite izračun oziroma seštevek
2. Odstranite liste Nadaljnji izračuni bodo izvedeni na podoben način za linearno odvisnost od lista 1 in za kvadratno odvisnost od lista 2.
3. Pod dobljeno tabelo oblikujemo matriko koeficientov in stolpčni vektor prostih členov. Rešimo sistem linearnih enačb po naslednjem algoritmu:
Za izračun inverzne matrike in množilne matrike uporabljamo Mojsterfunkcije in funkcije MOBR in MUMNOZH.
4. V celičnem bloku H2: H 9 na podlagi dobljenih koeficientov izračunamo vrednosti aproksimacije polinomy ikalk., v bloku I 2: I 9 - odstopanja D y i =
y iexp. -
y ikalk., v stolpcu J - odstopanje:
Tabele, pridobljene in izdelane z uporabo Čarovniki za grafikone grafi so prikazani na slikah 6, 7, 8.
riž. 6. Tabela za izračun koeficientov linearne funkcije,
približevanje eksperimentalni podatki.
riž. 7. Tabela za izračun koeficientov kvadratne funkcije,
približevanjeeksperimentalni podatki.
riž. 8. Grafični prikaz rezultatov aproksimacije
eksperimentalni podatki linearne in kvadratne funkcije.
Odgovori.Eksperimentalni podatki so bili aproksimirani z linearno odvisnostjo l = 0,07881
x + 0,442262
z ostankom Q = 0,165167
in kvadratna odvisnost l = 3,115476
x 2
– 5,2175
x+
2,529631
z ostankom Q= 0,002103
.
Naloge.Približaj funkcijo, podano s tabelarnimi, linearnimi in kvadratnimi funkcijami.
Tabela 6
№0
x
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
l
3,030
3,142
3,358
3,463
3,772
3,251
3,170
3,665
№
1
3,314
3,278
3,262
3,292
3,332
3,397
3,487
3,563
№
2
1,045
1,162
1,264
1,172
1,070
0,898
0,656
0,344
№
3
6,715
6,735
6,750
6,741
6,645
6,639
6,647
6,612
№
4
2,325
2,515
2,638
2,700
2,696
2,626
2,491
2,291
№
5
1.752
1,762
1,777
1,797
1,821
1,850
1,884
1,944
№
6
1,924
1,710
1,525
1,370
1,264
1,190
1,148
1,127
№
7
1,025
1,144
1,336
1,419
1,479
1,530
1,568
1,248
№
8
5,785
5,685
5,605
5,545
5,505
5,480
5,495
5,510
№
9
4,052
4,092
4,152
4,234
4,338
4,468
4,599
Metoda najmanjših kvadratov (OLS, ang. Ordinary Least Squares, OLS)- matematična metoda za reševanje različnih problemov, ki temelji na minimiziranju vsote kvadratnih odstopanj nekaterih funkcij od želenih spremenljivk. Uporablja se lahko za "reševanje" predoločenih sistemov enačb (ko število enačb presega število neznank), za iskanje rešitve v primeru navadnih (ne predoločenih) nelinearnih sistemov enačb, za aproksimacijo točkovnih vrednosti določene funkcije. OLS je ena od osnovnih metod regresijske analize za ocenjevanje neznanih parametrov regresijskih modelov iz vzorčnih podatkov.
Enciklopedični YouTube
1
/
5
✪ Metoda najmanjših kvadratov. Predmet
✪ Najmanjši kvadrati, lekcija 1/2. Linearna funkcija
✪ Ekonometrija. Predavanje 5. Metoda najmanjših kvadratov
✪ Mitin I. V. - Obdelava rezultatov fizične. eksperiment - Metoda najmanjših kvadratov (predavanje 4)
✪ Ekonometrija: Bistvo metode najmanjših kvadratov #2
Podnapisi
Zgodba
Do začetka XIX stoletja. znanstveniki niso imeli določenih pravil za reševanje sistema enačb, v katerem je število neznank manjše od števila enačb; Do takrat so se uporabljale posebne metode, odvisno od vrste enačb in iznajdljivosti kalkulatorjev, zato so različni kalkulatorji, izhajajoč iz istih opazovalnih podatkov, prišli do različnih zaključkov. Gauss (1795) je zaslužen za prvo uporabo metode, Legendre (1805) pa jo je neodvisno odkril in objavil pod njenim sodobnim imenom (fr. Methode des moindres quarres) . Laplace je metodo povezal s teorijo verjetnosti, ameriški matematik Adrain (1808) pa je obravnaval njene verjetnostne aplikacije. Metoda je razširjena in izboljšana z nadaljnjimi raziskavami Enckeja, Bessela, Hansena in drugih.
Bistvo metode najmanjših kvadratov
Pustiti x (\displaystyle x)- komplet n (\displaystyle n) neznane spremenljivke (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- niz funkcij iz tega niza spremenljivk. Težava je izbrati takšne vrednosti x (\displaystyle x) tako da so vrednosti teh funkcij čim bližje nekaterim vrednostim y i (\displaystyle y_(i)). V bistvu govorimo o »rešitvi« naddoločenega sistema enačb f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) v navedenem smislu največja bližina levega in desnega dela sistema. Bistvo LSM je, da kot "mero bližine" izberemo vsoto kvadratov odstopanj levega in desnega dela. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Tako lahko bistvo LSM izrazimo na naslednji način:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).
Če ima sistem enačb rešitev, potem bo minimum vsote kvadratov enak nič in natančne rešitve sistema enačb lahko najdemo analitično ali na primer z različnimi numeričnimi optimizacijskimi metodami. Če je sistem preveč določen, to je, ohlapno rečeno, da je število neodvisnih enačb večje od števila neznanih spremenljivk, potem sistem nima natančne rešitve in metoda najmanjših kvadratov nam omogoča, da najdemo nek "optimalni" vektor x (\displaystyle x) v smislu največje bližine vektorjev y (\displaystyle y) in f (x) (\displaystyle f(x)) ali največja bližina vektorja odstopanja e (\displaystyle e) na nič (bližino razumemo v smislu evklidske razdalje).
Primer - sistem linearnih enačb
Zlasti metodo najmanjših kvadratov lahko uporabimo za "reševanje" sistema linearnih enačb
A x = b (\displaystyle Ax=b),
Kje A (\displaystyle A) matriko pravokotne velikosti m × n, m > n (\displaystyle m\krat n,m>n)(tj. število vrstic matrike A je večje od števila zahtevanih spremenljivk).
Takšen sistem enačb na splošno nima rešitve. Zato je ta sistem mogoče "rešiti" le v smislu izbire takšnega vektorja x (\displaystyle x) za zmanjšanje "razdalje" med vektorji A x (\displaystyle Ax) in b (\displaystyle b). Če želite to narediti, lahko uporabite kriterij za minimiziranje vsote kvadratov razlik levega in desnega dela enačb sistema, tj. (A x − b) T (A x − b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min _(x)). Enostavno je pokazati, da rešitev tega minimizacijskega problema vodi do rešitve naslednjega sistema enačb
A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).
OLS v regresijski analizi (aproksimacija podatkov)
Naj bo n (\displaystyle n) vrednosti neke spremenljivke y (\displaystyle y)(to so lahko rezultati opazovanj, poskusov itd.) in pripadajočih spremenljivk x (\displaystyle x). Izziv je vzpostaviti odnos med y (\displaystyle y) in x (\displaystyle x) približati z neko znano funkcijo do nekaterih neznanih parametrov b (\displaystyle b), to je dejansko najti najboljše vrednosti parametrov b (\displaystyle b), kar najbolj približa vrednosti f (x, b) (\displaystyle f(x,b)) na dejanske vrednosti y (\displaystyle y). Pravzaprav se to zmanjša na primer "rešitve" preveč določenega sistema enačb glede na b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
V regresijski analizi, predvsem pa v ekonometriji, se uporabljajo verjetnostni modeli razmerja med spremenljivkami.
Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
Kje ε t (\displaystyle \varepsilon _(t))- tako imenovani naključne napake modeli.
Skladno s tem odstopanja opazovanih vrednosti y (\displaystyle y) od modela f (x, b) (\displaystyle f(x,b)) predvidena že v samem modelu. Bistvo LSM (navadnega, klasičnega) je iskanje takih parametrov b (\displaystyle b), pri kateri je vsota kvadratov odstopanj (napak, za regresijske modele jih pogosto imenujemo regresijski ostanki) e t (\displaystyle e_(t)) bo minimalen:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),
Kje R S S (\displaystyle RSS)- Angleščina. Preostala vsota kvadratov je opredeljena kot:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\vsota _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).
V splošnem primeru je ta problem mogoče rešiti z numeričnimi metodami optimizacije (minimizacije). V tem primeru se govori o nelinearni najmanjši kvadrati(NLS ali NLLS - angl. Non-Linear Least Squares). V mnogih primerih je mogoče dobiti analitično rešitev. Za rešitev problema minimizacije je potrebno najti stacionarne točke funkcije R S S (b) (\displaystyle RSS(b)), ki ga razlikuje glede na neznane parametre b (\displaystyle b), enačenje odvodov na nič in reševanje nastalega sistema enačb:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\delni f(x_(t),b))(\delni b))=0).
LSM v primeru linearne regresije
Naj bo regresijska odvisnost linearna:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).
Pustiti l je vektor stolpca opazovanj razložene spremenljivke in X (\displaystyle X)- To (n × k) (\displaystyle ((n\krat k)))- matrika opazovanj faktorjev (vrstice matrike - vektorji vrednosti faktorjev v danem opazovanju, po stolpcih - vektorji vrednosti danega faktorja v vseh opazovanjih). Matrična predstavitev linearnega modela ima obliko:
y = Xb + ε (\displaystyle y=Xb+\varepsilon ).
Takrat bosta vektor ocen pojasnjene spremenljivke in vektor regresijskih ostankov enaka
y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).
v skladu s tem bo vsota kvadratov regresijskih ostankov enaka
R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).
Razlikovanje te funkcije glede na vektor parametrov b (\displaystyle b) in enačenje odvodov na nič, dobimo sistem enačb (v matrični obliki):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).
V dešifrirani matrični obliki je ta sistem enačb videti takole:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\vsota x_(t1)x_(tk)\\\vsota x_(t2)x_(t1)&\vsota x_(t2)^(2)&\vsota x_(t2)x_(t3)&\lpike &\ vsota x_(t2)x_(tk)\\\vsota x_(t3)x_(t1)&\vsota x_(t3)x_(t2)&\vsota x_(t3)^(2)&\ldots &\vsota x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \vsota x_(t3)y_(t)\\\vdots \\\vsota x_(tk)y_(t)\\\end(pmatrika)),) kjer so vse vsote prevzete čez vse dopustne vrednosti t (\displaystyle t).
Če je v model vključena konstanta (kot običajno), potem x t 1 = 1 (\displaystyle x_(t1)=1) za vse t (\displaystyle t), zato je v zgornjem levem kotu matrike sistema enačb število opazovanj n (\displaystyle n), in v preostalih elementih prve vrstice in prvega stolpca - samo vsota vrednosti spremenljivk: ∑ x t j (\displaystyle \sum x_(tj)) in prvi element desne strani sistema - ∑ y t (\displaystyle \sum y_(t)).
Rešitev tega sistema enačb daje splošno formulo za ocene najmanjših kvadratov za linearni model:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\levo((\frac (1)(n))X^(T)X\desno)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).
Za analitične namene se zadnja predstavitev te formule izkaže za uporabno (v sistemu enačb se pri deljenju z n namesto vsot pojavijo aritmetične sredine). Če podatki v regresijskem modelu sredinsko, potem ima v tej predstavitvi prva matrika pomen vzorčne kovariančne matrike faktorjev, druga pa je vektor kovarianc faktorjev z odvisno spremenljivko. Če je poleg tega podatek tudi normalizirana na SKO (torej na koncu standardizirana), potem ima prva matrika pomen vzorčne korelacijske matrike faktorjev, drugi vektor - vektor vzorčnih korelacijskih faktorjev z odvisno spremenljivko.
Pomembna lastnost ocen LLS za modele s konstanto- premica konstruirane regresije poteka skozi težišče vzorčnih podatkov, to pomeni, da je izpolnjena enakost:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).
Zlasti v skrajnem primeru, ko je edini regresor konstanta, ugotovimo, da je OLS ocena posameznega parametra (sama konstanta) enaka srednji vrednosti pojasnjene spremenljivke. To pomeni, da je aritmetična sredina, znana po svojih dobrih lastnostih iz zakonov velikih števil, tudi ocena najmanjših kvadratov – izpolnjuje merilo za najmanjšo vsoto kvadratov odstopanj od nje.
Najenostavnejši posebni primeri
V primeru parne linearne regresije y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), ko je ocenjena linearna odvisnost ene spremenljivke od druge, so formule za izračun poenostavljene (lahko storite brez matrične algebre). Sistem enačb ima obliko:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).
Od tu je enostavno najti ocene za koeficiente:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))
Kljub dejstvu, da imajo na splošno prednost modeli s konstanto, je v nekaterih primerih iz teoretičnih premislekov znano, da konstanta a (\displaystyle a) mora biti enako nič. Na primer, v fiziki ima razmerje med napetostjo in tokom obliko U = I ⋅ R (\displaystyle U=I\cdot R); pri merjenju napetosti in toka je treba oceniti upor. V tem primeru govorimo o modelu y = b x (\displaystyle y=bx). V tem primeru imamo namesto sistema enačb eno samo enačbo
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\desno)b=\sum x_(t)y_(t)).
Zato ima formula za oceno posameznega koeficienta obliko
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Primer polinomskega modela
Če so podatki prilagojeni polinomski regresijski funkciji ene spremenljivke f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), torej zaznavanje stopinj x i (\displaystyle x^(i)) kot neodvisni dejavniki za vsakega i (\displaystyle i) možno je oceniti parametre modela na podlagi splošne formule za ocenjevanje parametrov linearnega modela. Za to zadostuje, da v splošni formuli upoštevamo, da s takšno razlago x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) in x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Zato bodo matrične enačbe v tem primeru imele obliko:
(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ vsota \meje _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
Statistične lastnosti ocen OLS
Najprej ugotavljamo, da so za linearne modele ocene najmanjših kvadratov linearne ocene, kot izhaja iz zgornje formule. Za nepristranskost ocen najmanjših kvadratov je potrebno in zadostno izpolniti najpomembnejši pogoj regresijske analize: matematično pričakovanje naključne napake, pogojene s faktorji, mora biti enako nič. Ta pogoj je izpolnjen zlasti, če
matematično pričakovanje naključnih napak je nič in
faktorji in naključne napake so neodvisne naključne vrednosti.
Drugi pogoj - pogoj eksogenih dejavnikov - je temeljni. Če ta lastnost ni izpolnjena, potem lahko domnevamo, da bodo skoraj vse ocene zelo nezadovoljive: ne bodo niti konsistentne (to pomeni, da tudi zelo velika količina podatkov v tem primeru ne omogoča pridobitve kvalitativnih ocen). V klasičnem primeru je podana močnejša predpostavka o determiniranosti dejavnikov, v nasprotju z naključno napako, kar samodejno pomeni, da je eksogeni pogoj izpolnjen. V splošnem primeru za konsistentnost ocen zadošča izpolnitev pogoja eksogenosti skupaj s konvergenco matrike V x (\displaystyle V_(x)) na neko nedegenerirano matriko, ko se velikost vzorca poveča v neskončnost.
Da bi bile ocene (običajnih) najmanjših kvadratov poleg konsistentnosti in nepristranskosti tudi učinkovite (najboljše v razredu linearnih nepristranskih ocen), je treba izpolniti dodatne lastnosti naključne napake:
Te predpostavke je mogoče oblikovati za kovariančno matriko vektorja naključnih napak V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Linearni model, ki izpolnjuje te pogoje, se imenuje klasična. Ocene OLS za klasično linearno regresijo so nepristranske, dosledne in najučinkovitejše ocene v razredu vseh linearnih nepristranskih ocen (v angleški literaturi se včasih uporablja okrajšava modra (Najboljši linearni nepristranski ocenjevalec) je najboljša linearna nepristranska ocena; v domači literaturi se pogosteje navaja Gauss - Markov izrek). Kot je enostavno pokazati, bo kovariančna matrika vektorja ocen koeficientov enaka:
V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
Učinkovitost pomeni, da je ta kovariančna matrika "minimalna" (vsaka linearna kombinacija koeficientov in zlasti koeficienti sami imajo minimalno varianco), to pomeni, da so v razredu linearnih nepristranskih ocen najboljše ocene OLS. Diagonalni elementi te matrike - variance ocen koeficientov - so pomembni parametri kakovosti dobljenih ocen. Vendar pa kovariančne matrike ni mogoče izračunati, ker varianca naključne napake ni znana. Dokažemo lahko, da je nepristranska in konsistentna (za klasični linearni model) ocena variance naključnih napak vrednost:
S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).
Če to vrednost nadomestimo v formulo za kovariančno matriko, dobimo oceno kovariančne matrike. Dobljene ocene so prav tako nepristranske in dosledne. Pomembno je tudi, da sta ocena variance napake (in s tem variance koeficientov) in ocene parametrov modela neodvisne naključne spremenljivke, kar omogoča pridobivanje testnih statistik za preverjanje hipotez o koeficientih modela.
Upoštevati je treba, da če klasične predpostavke niso izpolnjene, ocene parametrov najmanjših kvadratov niso najučinkovitejše in kjer W (\displaystyle W) je neka simetrična pozitivno določena utežna matrika. Navadni najmanjši kvadrati so poseben primer tega pristopa, ko je utežna matrika sorazmerna z identitetno matriko. Kot je znano, za simetrične matrike (ali operaterje) obstaja dekompozicija W = P T P (\displaystyle W=P^(T)P). Zato lahko to funkcijo predstavimo na naslednji način e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), kar pomeni, da je ta funkcional mogoče predstaviti kot vsoto kvadratov nekaterih transformiranih "ostankov". Tako lahko ločimo razred metod najmanjših kvadratov - LS-metod (Least Squares).
Dokazano je (Aitkenov izrek), da so za posplošen linearni regresijski model (v katerem ni nobenih omejitev na kovariančno matriko naključnih napak) najučinkovitejše (v razredu linearnih nepristranskih ocen) ocene t.i. generalizirani OLS (OMNK, GLS - generalizirani najmanjši kvadrati)- LS-metoda z matriko uteži, ki je enaka inverzni kovariančni matriki naključnih napak: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).
Lahko se pokaže, da ima formula za GLS-ocene parametrov linearnega modela obliko
B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Kovariančna matrika teh ocen bo enaka
V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).
Pravzaprav je bistvo OLS v določeni (linearni) transformaciji (P) izvirnih podatkov in uporabi običajnih najmanjših kvadratov na transformirane podatke. Namen te transformacije je, da za transformirane podatke naključne napake že zadostijo klasičnim predpostavkam.
Uteženi najmanjši kvadrati
V primeru diagonalne matrike uteži (in s tem kovariančne matrike naključnih napak) imamo tako imenovane utežene najmanjše kvadrate (WLS - Weighted Least Squares). V tem primeru je utežena vsota kvadratov ostankov modela minimizirana, kar pomeni, da vsako opazovanje prejme "utež", ki je obratno sorazmerna z varianco naključne napake v tem opazovanju: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). Pravzaprav se podatki preoblikujejo s tehtanjem opazovanj (deljenjem s količino, ki je sorazmerna s predpostavljenim standardnim odklonom naključnih napak), za utežene podatke pa se uporabijo običajni najmanjši kvadrati.
ISBN 978-5-7749-0473-0.
Ekonometrija. Učbenik / ur. Eliseeva I. I. - 2. izd. - M.: Finance in statistika, 2006. - 576 str. - ISBN 5-279-02786-3.
Aleksandrova N.V. Zgodovina matematičnih izrazov, konceptov, oznak: slovar-priročnik. - 3. izd. - M.: LKI, 2008. - 248 str. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Analiza in obdelava eksperimentalnih podatkov - 5. izdaja - 24str.
Če je neka fizikalna količina odvisna od druge količine, potem je to odvisnost mogoče raziskati z merjenjem y pri različnih vrednostih x. Kot rezultat meritev dobimo vrsto vrednosti:
x 1, x 2, ..., x i, ..., x n;
y 1, y 2, ..., y i, ..., y n.
Na podlagi podatkov takšnega poskusa je mogoče izrisati odvisnost y = ƒ(x). Nastala krivulja omogoča presojo oblike funkcije ƒ(x). Vendar konstantni koeficienti, ki vstopajo v to funkcijo, ostajajo neznani. Določimo jih lahko z metodo najmanjših kvadratov. Eksperimentalne točke praviloma ne ležijo natančno na krivulji. Metoda najmanjših kvadratov zahteva, da vsota kvadratov odstopanj eksperimentalnih točk od krivulje, tj. 2 je bil najmanjši.
V praksi se ta metoda najpogosteje (in najenostavneje) uporablja v primeru linearne povezave, tj. Kdaj
y=kx oz y = a + bx.
Linearna odvisnost je v fiziki zelo razširjena. In tudi ko je odvisnost nelinearna, običajno poskušajo zgraditi graf tako, da dobijo ravno črto. Na primer, če predpostavimo, da je lomni količnik stekla n povezan z valovno dolžino svetlobnega vala λ z razmerjem n = a + b/λ 2, potem se odvisnost n od λ -2 nariše na grafu .
Upoštevajte odvisnost y=kx(premica, ki poteka skozi izhodišče). Sestavimo vrednost φ vsoto kvadratov odstopanj naših točk od premice
Vrednost φ je vedno pozitivna in se izkaže za manjšo, čim bližje naši točki ležijo premici. Metoda najmanjših kvadratov pravi, da je treba za k izbrati takšno vrednost, pri kateri ima φ minimum
oz (19)
Izračun pokaže, da je povprečna kvadratna napaka pri določanju vrednosti k enaka
, (20) kjer je n število dimenzij.
Oglejmo si zdaj nekoliko težji primer, ko morajo točke zadostiti formuli y = a + bx(ravna črta, ki ne poteka skozi izhodišče).
Naloga je poiskati najboljše vrednosti a in b iz danega nabora vrednosti x i , y i .
Spet sestavimo kvadratno obliko φ, ki je enaka vsoti kvadratov odklonov točk x i , y i od premice
in poiščite vrednosti a in b, za katere ima φ minimum
;
.
.
Skupna rešitev teh enačb daje
(21)
Srednji kvadratni napaki določanja a in b sta enaki
(23)
. (24)
Pri obdelavi rezultatov meritev s to metodo je priročno povzeti vse podatke v tabeli, v kateri so predhodno izračunane vse količine, vključene v formule (19)(24). Oblike teh tabel so prikazane v spodnjih primerih.
Primer 1 Preučena je bila osnovna enačba dinamike rotacijskega gibanja ε = M/J (premica skozi izhodišče). Za različne vrednosti momenta M je bil izmerjen kotni pospešek ε določenega telesa. Potrebno je določiti vztrajnostni moment tega telesa. V drugem in tretjem stolpcu so navedeni rezultati meritev momenta sile in kotnega pospeška mize 5.
Tabela 5
n
M, N m
ε, s-1
M2
M ε
ε - kM
(ε - kM) 2
1
1.44
0.52
2.0736
0.7488
0.039432
0.001555
2
3.12
1.06
9.7344
3.3072
0.018768
0.000352
3
4.59
1.45
21.0681
6.6555
-0.08181
0.006693
4
5.90
1.92
34.81
11.328
-0.049
0.002401
5
7.45
2.56
55.5025
19.072
0.073725
0.005435
∑
123.1886
41.1115
0.016436
S formulo (19) določimo:
.
Za določitev srednje kvadratne napake uporabimo formulo (20)
0.005775kg-1 · m -2 .
Po formuli (18) imamo
;
.
SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m 2.
Glede na zanesljivost P = 0,95 , glede na tabelo Studentovih koeficientov za n = 5, najdemo t = 2,78 in določimo absolutno napako ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m 2.
Rezultate zapišemo v obliki:
J = (3,0 ± 0,2) kg m 2;
Primer 2 Z metodo najmanjših kvadratov izračunamo temperaturni koeficient upora kovine. Odpornost je odvisna od temperature po linearnem zakonu
R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °.
Prosti člen določa upor R 0 pri temperaturi 0 ° C, kotni koeficient pa je produkt temperaturnega koeficienta α in upora R 0 .
Rezultati meritev in izračunov so podani v tabeli ( glej tabelo 6).
Tabela 6
n
t°, s
r, Ohm
t-¯t
(t-¯t) 2
(t-¯t)r
r-bt-a
(r - bt - a) 2,10 -6
1
23
1.242
-62.8333
3948.028
-78.039
0.007673
58.8722
2
59
1.326
-26.8333
720.0278
-35.581
-0.00353
12.4959
3
84
1.386
-1.83333
3.361111
-2.541
-0.00965
93.1506
4
96
1.417
10.16667
103.3611
14.40617
-0.01039
107.898
5
120
1.512
34.16667
1167.361
51.66
0.021141
446.932
6
133
1.520
47.16667
2224.694
71.69333
-0.00524
27.4556
∑
515
8.403
8166.833
21.5985
746.804
∑/n
85.83333
1.4005
S formulama (21), (22) določimo
R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.
Poiščimo napako v definiciji α. Ker imamo po formuli (18):
.
Z uporabo formul (23), (24) imamo
;
0.014126 Ohm.
Glede na zanesljivost P = 0,95 po tabeli Studentovih koeficientov za n = 6 najdemo t = 2,57 in določimo absolutno napako Δα = 2,57 0,000132 = 0,000338 stopinj -1.
α = (23 ± 4) 10 -4 toča-1 pri P = 0,95.
Primer 3 Potrebno je določiti polmer ukrivljenosti leče iz Newtonovih obročev. Izmerili smo polmere Newtonovih obročev r m in določili število teh obročev m. Polmeri Newtonovih obročev so povezani s polmerom ukrivljenosti leče R in številom obročev z enačbo
r 2 m = mλR - 2d 0 R,
kjer je d 0 debelina reže med lečo in ravninsko vzporedno ploščo (ali deformacija leče),
λ je valovna dolžina vpadne svetlobe.
λ = (600 ± 6) nm; r 2 m = y; m = x; λR = b; -2d 0 R = a,
. Takšna funkcija se imenuje približevanje
(približek - približek) oz teoretična funkcija
. Na splošno se tukaj takoj pojavi očiten "pretendent" - polinom visoke stopnje, katerega graf poteka skozi VSE točke. Toda ta možnost je zapletena in pogosto preprosto napačna. (ker bo grafikon ves čas "veter" in slabo odražal glavni trend).
)
in odstopanja kot posledica takega seštevanja se bodo med seboj izničila. Zato je za oceno točnosti približka predlagano vzeti vsoto moduli odstopanja:
ali v zloženi obliki: (nenadoma, kdo ne ve: je ikona vsote in je pomožna spremenljivka - "števec", ki ima vrednosti od 1 do ).
, nato pa se prizadevanja usmerijo v izbiro takšne funkcije, da je vsota kvadratov odklonov 
je bil čim manjši. Pravzaprav od tod tudi ime metode.
na risbo in analizirati njihovo lokacijo. Če so ponavadi v ravni črti, potem morate iskati enačba ravne črte 
z optimalnimi vrednostmi in. Z drugimi besedami, naloga je najti TAKŠNE koeficiente - tako da je vsota kvadratov odstopanj najmanjša.
- tiste, ki dajejo najmanjšo vsoto kvadratov 
.
je bil najmanjši. Vse kot običajno - najprej delni odvodi 1. reda. Po navedbah pravilo linearnosti lahko razlikujete tik pod ikono vsote: 
lahko najdemo? Enostavno. Sestavljamo najpreprostejše sistem dveh linearnih enačb z dvema neznankama("a" in "beh"). Sistem rešimo npr. Cramerjeva metoda, kar povzroči stacionarno točko. Preverjanje zadosten pogoj za ekstrem, lahko preverimo, da je na tej točki funkcija 
doseže natančno najmanj. Preverjanje je povezano z dodatnimi izračuni, zato ga bomo pustili v ozadju. (po potrebi si lahko ogledate manjkajoči okvir). Naredimo končni zaključek:
najboljši način (vsaj v primerjavi s katero koli drugo linearno funkcijo) približuje eksperimentalne točke 
. Grobo rečeno, njegov graf poteka čim bližje tem točkam. V tradiciji ekonometrija nastalo aproksimirajočo funkcijo imenujemo tudi enačba parne linearne regresije
.
vam omogoča predvidevanje, kakšen promet ("jig") bo v trgovini s takšno ali drugačno vrednostjo prodajnega prostora (en ali drug pomen "x"). Da, nastala napoved bo le napoved, vendar se bo v mnogih primerih izkazala za precej natančno.
. Poiščite vsoto kvadratov odstopanj med empiričnimi in teoretičnimi vrednostmi. Ugotovite, ali je funkcija boljša (v smislu metode najmanjših kvadratov) približne eksperimentalne točke.
nam sporoča, da se s povečanjem določenega kazalnika za 1 enoto vrednost odvisnega kazalnika zniža povprečje za 0,65 enote. Kot pravijo, višja kot je cena ajde, manj se prodaja.
med empiričnimi in teoretičnimi vrednostmi. Geometrično je to vsota kvadratov dolžin "škrlatnih" segmentov (dva sta tako majhna, da ju niti ne vidiš).
eksponent je najmanjši, kar pomeni, da je najboljši približek v svoji družini. In tukaj, mimogrede, zadnje vprašanje problema ni naključno: kaj če predlagana eksponentna funkcija 
ali bo bolje približati eksperimentalne točke?
.
- tako zelo, da je brez analitične študije težko reči, katera funkcija je natančnejša.
, (20)
;
.
(21)
(23)
. (24)
.
.
;
