Analiza glavnih komponenti je metoda koja prevodi veliki broj međusobno povezanih (zavisnih, koreliranih) varijabli u manji broj nezavisnih varijabli, budući da veliki broj varijabli često otežava analizu i interpretaciju informacija. Strogo govoreći, ova metoda se ne primjenjuje na faktorsku analizu, iako s njom ima mnogo zajedničkog. Specifičnost je, prvo, to što se u toku računskih postupaka istovremeno dobijaju sve glavne komponente i njihov broj je inicijalno jednak broju početnih varijabli; drugo, postulira se mogućnost potpune dekompozicije varijanse svih početnih varijabli, tj. njegovo potpuno objašnjenje kroz latentne faktore (generalizovane karakteristike).

Na primjer, zamislite da smo proveli istraživanje u kojem smo mjerili inteligenciju učenika na Wechslerovom, Eysenckovom, Ravenovom testu, kao i akademski učinak u društvenim, kognitivnim i opšta psihologija. Sasvim je moguće da će izvođenje različitih testova inteligencije međusobno korelirati, jer oni ipak mjere jednu karakteristiku subjekta - njegove intelektualne sposobnosti, doduše na različite načine. Ako postoji previše varijabli u studiji ( x 1 , x 2 , …, x str ) , a neki od njih su međusobno povezani, istraživač ponekad ima želju da smanji složenost podataka smanjenjem broja varijabli. To je ono čemu služi metoda glavne komponente, koja stvara nekoliko novih varijabli. y 1 , y 2 , …, y str, od kojih je svaka linearna kombinacija originalnih varijabli x 1 , x 2 , …, x str :

y 1 =a 11 x 1 +a 12 x 2 +…+a 1p x p

y 2 \u003d a 21 x 1 + a 22 x 2 + ... + a 2p x p

… (1)

y p =a p1 x 1 +a p2 x 2 +…+a pp x p

Varijable y 1 , y 2 , …, y str nazivaju se glavnim komponentama ili faktorima. Dakle, faktor je umjetni statistički pokazatelj koji je rezultat posebnih transformacija korelacijske matrice . Procedura za izdvajanje faktora naziva se matrična faktorizacija. Kao rezultat faktorizacije, različit broj faktora se može izdvojiti iz matrice korelacije do broja jednakog broju originalnih varijabli. Međutim, faktori određeni kao rezultat faktorizacije, po pravilu, nisu ekvivalentni po svojoj vrijednosti.

Odds a ij, definišući novu varijablu, biraju se na način da nove varijable (glavne komponente, faktori) opisuju maksimalnu količinu varijabilnosti podataka i ne koreliraju jedna s drugom. Često je korisno predstaviti koeficijente a ij tako da predstavljaju koeficijent korelacije između originalne varijable i nove varijable (faktora). To se postiže množenjem a ij na standardna devijacija faktor a. To se radi u većini statističkih paketa (i u programu STATISTICA). Oddsa ij Obično su predstavljeni u obliku tabele, gde su faktori raspoređeni u kolone, a varijable u redove:

Takva tabela se zove tabela (matrica) faktorskih opterećenja. Brojevi navedeni u njemu su koeficijenti a ij.Broj 0,86 znači da je korelacija između prvog faktora i vrijednosti Wechslerovog testa 0,86. Što je veće faktorsko opterećenje u apsolutnoj vrijednosti, to je jača veza između varijable i faktora.

PRIMJENA METODE GLAVNE KOMPONENTE

ZA OBRADU MULTIDIMENZIONALNIH STATISTIČKIH PODATAKA

Razmatraju se pitanja obrade višedimenzionalnih statističkih podataka rejting ocjene studenata na osnovu primjene metode glavnih komponenti.

Ključne riječi: multivarijantna analiza podataka, redukcija dimenzionalnosti, analiza glavnih komponenti, rejting.

U praksi se često susrećemo sa situacijom u kojoj predmet proučavanja karakteriše niz parametara, od kojih se svaki meri ili vrednuje. Analiza početnog niza podataka dobijenog kao rezultat proučavanja više objekata istog tipa je praktično nerješiv zadatak. Stoga istraživač treba analizirati veze i međuzavisnosti između početnih parametara kako bi neke od njih odbacio ili ih zamijenio manjim brojem bilo kojih funkcija iz njih, a da, ako je moguće, zadrži sve informacije koje se nalaze u njima.

U tom smislu nameću se zadaci redukcije dimenzionalnosti, odnosno prelaska sa izvornog niza podataka na značajno manji broj indikatora odabranih između originalnih ili dobijenih nekom transformacijom (uz najmanji gubitak informacija sadržanih u originalnom nizu). ), i klasifikacija - razdvajanje razmatranih kolekcija objekata u homogene (u nekom smislu) grupe. If by veliki broj heterogenih i stohastički međusobno povezanih indikatora, dobijeni su rezultati statističkog istraživanja čitavog skupa objekata, zatim za rješavanje problema klasifikacije i redukcije dimenzije treba koristiti alate multivarijantne statističke analize, posebno metodu glavne komponente.

U članku se predlaže tehnika primjene metode glavne komponente za obradu multivarijantnih statističkih podataka. Kao primjer dato je rješenje problema statističke obrade multivarijantnih rezultata ocjena studenata.

1. Definicija i proračun glavnih komponenti..png" height="22 src="> karakteristike. Kao rezultat, dobijamo višedimenzionalna zapažanja, od kojih se svako može predstaviti kao vektorsko posmatranje

gdje je https://pandia.ru/text/79/206/images/image005.png" height="22 src=">.png" height="22 src="> simbol operacije transpozicije.

Rezultirajuća multidimenzionalna zapažanja moraju se statistički obraditi..png" height="22 src=">.png" height="22 src=">.png" width="132" height="25 src=">.png" width ="33" height="22 src="> dozvoljene transformacije proučavanih karakteristika 0 " style="border-collapse:collapse">

	je uslov normalizacije;
	– uslov ortogonalnosti

Dobija se sličnom transformacijom https://pandia.ru/text/79/206/images/image018.png" width="79" height="23 src="> i predstavlja glavne komponente. Od njih, varijable sa minimalnim varijanse su isključene iz dalje analize, tj.png" width="131" height="22 src="> u transformaciji (2)..png" width="13" height="22 src="> ove matrice jednake su varijansama glavnih komponenti .

Dakle, prvi glavna komponenta https://pandia.ru/text/79/206/images/image013.png" width="80" height="23 src="> je takva normalizirano centrirana linearna kombinacija ovih indikatora, koja između svih ostalih slične kombinacije, ima najveću disperziju..png" width="12" height="22 src="> – prilagođeni vektor matrice https://pandia.ru/text/79/206/images/image025.png" width="15" height="22 src=">.png" width="80" height="23 src= "> je takva normalizirano centrirana linearna kombinacija ovih indikatora, koja nije u korelaciji sa https://pandia.ru/text/79/206/images/image013.png" width="80" height="23 src= ">. png" width="80" height="23 src="> se mjere u različitim jedinicama, tada će rezultati studije korištenjem glavnih komponenti značajno ovisiti o izboru skale i prirodi mjernih jedinica , i dobijeni rezultati linearne kombinacije originalne varijable će biti teško protumačiti. S tim u vezi, sa različitim mjernim jedinicama početnih karakteristika DIV_ADBLOCK310 ">

https://pandia.ru/text/79/206/images/image030.png" width="17" height="22 src=">.png" width="56" height="23 src=">. Nakon takve transformacije, glavne komponente se analiziraju u odnosu na vrijednosti https://pandia.ru/text/79/206/images/image033.png" width="17" height="22 src="> , koja je ujedno i matrica korelacije https://pandia.ru/text/79/206/images/image035.png" width="162" height="22 src=">.png" width="13" height=" 22 src="> do i- izvorna karakteristika ..png" width="14" height="22 src=">.png" width="10" height="22 src="> je jednaka varijansi v- glavne komponentehttps://pandia.ru/text/79/206/images/image038.png" width="10" height="22 src="> se koriste u smislenoj interpretaciji glavnih komponenti..png" širine ="20" height="22 src=">.png" width="251" height="25 src=">

Da bi se izvršili proračuni, vektorska zapažanja se agregiraju u matricu uzorka, u kojoj redovi odgovaraju kontroliranim karakteristikama, a stupci odgovaraju objektima proučavanja (dimenzija matrice je https://pandia.ru/ text/79/206/images/image043.png" width="348 "height="67 src=">

Nakon centriranja početnih podataka, pronalazimo matricu korelacije uzorka koristeći formulu

https://pandia.ru/text/79/206/images/image045.png" width="204" height="69 src=">

Dijagonalni matrični elementi https://pandia.ru/text/79/206/images/image047.png" width="206" height="68 src=">

Nedijagonalni elementi ove matrice su procjene uzorka koeficijenata korelacije između odgovarajućeg para karakteristika.

Kompajliranje karakteristična jednačina za matricu 0 " style="margin-left:5.4pt;border-collapse:collapse">

Pronađite sve njegove korijene:

Sada, da bismo pronašli komponente glavnih vektora, zamjenjujemo sekvencijalno numeričke vrijednosti https://pandia.ru/text/79/206/images/image065.png" width="16" height="22 src=" >.png" width="102 "height="24 src=">

Na primjer, sa https://pandia.ru/text/79/206/images/image069.png" width="262" height="70 src=">

Očigledno je da je rezultirajući sistem jednačina konzistentan zbog homogenosti i da je neodređen, odnosno da ima beskonačan broj rješenja. Da bismo pronašli jedino rješenje koje nas zanima, koristimo sljedeće odredbe:

1. Za korijene sistema, relacija se može napisati

https://pandia.ru/text/79/206/images/image071.png" width="20" height="23 src="> – algebarsko zbrajanje j-th element bilo kojeg i th red sistemske matrice.

2. Prisutnost uslova normalizacije (2) osigurava jedinstvenost rješenja razmatranog sistema jednačina..png" width="13" height="22 src=">, su jednoznačno određene, osim što su svi mogu istovremeno mijenjati predznak.Međutim, predznaci svojstvenih vektora komponenata nemaju značajnu ulogu, budući da njihova promjena ne utiče na rezultat analize, oni samo mogu poslužiti da ukažu na suprotne trendove na odgovarajućoj glavnoj komponenti.

Tako dobijamo vlastiti vektor https://pandia.ru/text/79/206/images/image025.png" width="15" height="22 src=">:

https://pandia.ru/text/79/206/images/image024.png" width="12" height="22 src="> provjeri jednakošću

https://pandia.ru/text/79/206/images/image076.png" width="503" height="22">

… … … … … … … … …

https://pandia.ru/text/79/206/images/image078.png" width="595" height="22 src=">

https://pandia.ru/text/79/206/images/image080.png" width="589" height="22 src=">

gdje https://pandia.ru/text/79/206/images/image082.png" width="16" height="22 src=">.png" width="23" height="22 src="> su standardizirane vrijednosti odgovarajućih početnih karakteristika.

Sastavljamo ortogonalnu matricu linearna transformacija https://pandia.ru/text/79/206/images/image086.png" width="94" height="22 src=">

Pošto je, u skladu sa svojstvima glavnih komponenti, zbir varijansi početnih karakteristika jednak zbiru varijansi svih glavnih komponenti, onda, s obzirom na to da smo smatrali normalizovane početne karakteristike, možemo proceniti koji deo ukupne varijabilnosti početnih karakteristika objašnjava svaku od glavnih komponenti. Na primjer, za prve dvije glavne komponente imamo:

Dakle, u skladu sa kriterijumom informativnosti koji se koristi za glavne komponente pronađene iz korelacione matrice, prvih sedam glavnih komponenti objašnjava 88,97% ukupne varijabilnosti petnaest početnih karakteristika.

Korištenje matrice linearne transformacije https://pandia.ru/text/79/206/images/image038.png" width="10" height="22 src="> (za prvih sedam glavnih komponenti):

https://pandia.ru/text/79/206/images/image090.png" width="16" height="22 src="> - broj diploma dobijenih na konkursu naučnih i teza; https:/ /pandia .ru/text/79/206/images/image092.png" width="16" height="22 src=">.png" width="22" height="22 src=">.png" širina =" 22" height="22 src=">.png" width="22" height="22 src="> – nagrade i nagrade koje se preuzimaju na regionalnim, regionalnim i gradskim sportskim takmičenjima.

3..png" width="16" height="22 src=">(broj sertifikata na osnovu rezultata učešća na naučnim i teze).

4..png" width="22" height="22 src=">(preuzete nagrade i nagrade na univerzitetskim takmičenjima).

6. Šesta glavna komponenta je u pozitivnoj korelaciji sa DIV_ADBLOCK311">

4. Treća glavna komponenta je aktivnost učenika u obrazovnom procesu.

5. Četvrta i šesta komponenta su marljivost studenata tokom proljetnog, odnosno jesenjeg semestra.

6. Peta glavna komponenta je stepen učešća na univerzitetskim sportskim takmičenjima.

U budućnosti, da bi se izvršili svi potrebni proračuni prilikom identifikacije glavnih komponenti, predlaže se korištenje specijalizovanih statističkih softverskih sistema, poput STATISTICA, koji će uvelike olakšati proces analize.

Predlaže se da se proces identifikacije glavnih komponenti opisanih u ovom članku na primjeru rejting ocjene studenata koristi za atestiranje prvostupnika i magistara.

BIBLIOGRAFIJA

1. Primijenjena statistika: Klasifikacija i smanjenje dimenzija: Ref. ed. / , ; ed. . - M.: Finansije i statistika, 1989. - 607 str.

2. Priručnik primijenjene statistike: u 2 toma: [per. sa engleskog] / ur. E. Lloyd, W. Lederman, . - M.: Finansije i statistika, 1990. - T. 2. - 526 str.

3. Primijenjena statistika. Osnove ekonometrije. U 2 tom T.1. Teorija vjerojatnosti i primijenjena statistika: Proc. za univerzitete / , V. S. Mkhitaryan. - 2. izd., Rev. - M: UNITY-DANA, 2001. - 656 str.

4. Afifi, A. Statistička analiza: kompjuterski potpomognut pristup: [prev. s engleskog] / A. Afifi, S. Eisen - M.: Mir, 1982. - 488 str.

5. Dronovi, Statistička analiza: studije. dodatak / . - Barna 3. – 213 str.

6. Anderson, T. Uvod u multivarijantnu statističku analizu / T. Anderson; per. sa engleskog. [i sl.]; ed. . - M.: Država. Izdavačka kuća Phys.-Math. lit., 1963. - 500 str.

7. Lawley, D. Faktorska analiza kao statistička metoda / D. Lawley, A. Maxwell; per. sa engleskog. . – M.: Mir, 1967. – 144 str.

8. Dubrov, statističke metode: udžbenik / , . - M.: Finansije i statistika, 2003. - 352 str.

9. Kendall, M. Multivarijatna statistička analiza i vremenske serije / M. Kendall, A. Stuart, per. sa engleskog. , ; ed. , . – M.: Nauka, 1976. – 736 str.

10. Beloglazov, Analiza u problemima kvalimetrije obrazovanja, Izv. RAN. Teorija i sistemi upravljanja. - 2006. - br. 6. - S. 39 - 52.

Materijal je zaprimljen u uredništvo 8. novembra 2011. godine.

Rad je izveden u okviru federalnog ciljnog programa „Naučno i naučno-pedagoško osoblje inovativne Rusije“ za 2009-2013. (državni ugovor br. P770).

Komponentna analiza se odnosi na multivarijantne metode redukcije dimenzionalnosti. Sadrži jednu metodu - metodu glavne komponente. Glavne komponente su ortogonalni sistem koordinate u kojima disperzije komponenti karakterišu njihova statistička svojstva.

S obzirom na to da objekte proučavanja u privredi karakteriše veliki, ali konačan broj karakteristika, na čiji uticaj utiče veliki broj slučajni razlozi.

Proračun glavne komponente

Prva glavna komponenta Z1 proučavanog sistema obeležja X1, X2, X3, X4, ..., Xn je takva centrirana - normalizovana linearna kombinacija ovih obeležja, koja između ostalih centriran - normalizovanih linearnih kombinacija ovih obeležja ima najvarijabilnija varijansa.

Kao drugu glavnu komponentu Z2, uzet ćemo tako centriranu - normaliziranu kombinaciju ovih karakteristika, koja:

nije u korelaciji sa prvom glavnom komponentom,

nije u korelaciji sa prvom glavnom komponentom, ova kombinacija ima najveću varijansu.

K-tu glavnu komponentu Zk (k=1…m) nazvaćemo takvu centriranu – normalizovanu kombinaciju karakteristika, koja:

nije u korelaciji sa k-1 prethodnim glavnim komponentama,

među svim mogućim kombinacijama početnih karakteristika koje nisu

nije u korelaciji sa prethodnim glavnim komponentama k-1, ova kombinacija ima najveću varijansu.

Uvodimo ortogonalnu matricu U i prelazimo sa X varijabli na Z varijable, i

Vektor se bira tako da je disperzija maksimalna. Nakon dobijanja, bira se tako da varijansa bude maksimalna, pod uslovom da nije u korelaciji sa itd.

Budući da se predznaci mjere u neuporedivim vrijednostima, bit će zgodnije prebaciti se na centrirane normalizirane vrijednosti. Pronalazimo matricu početnih centralno-normaliziranih vrijednosti karakteristika iz relacije:

gdje je nepristrasan, dosljedan i efikasan procjenitelj matematičko očekivanje,

Nepristrasna, dosljedna i efikasna procjena varijanse.

Matrica posmatranih vrednosti početnih karakteristika data je u Dodatku.

Centriranje i normalizacija je obavljena pomoću programa "Stadia".

Budući da su karakteristike centrirane i normalizirane, matrica korelacije se može procijeniti pomoću formule:

Prije izvođenja analize komponenti, analizirat ćemo nezavisnost početnih karakteristika.

Provjera značajnosti matrice korelacije parova korištenjem Wilksovog testa.

Izneli smo hipotezu:

H0: beznačajan

H1: značajno

125,7; (0,05;3,3) = 7,8

budući da je > , tada se hipoteza H0 odbacuje i matrica je značajna, stoga ima smisla provesti analizu komponenti.

Provjerimo hipotezu o dijagonalnosti matrice kovarijanse

Izneli smo hipotezu:

Mi gradimo statistiku, distribuiranu u skladu sa zakonom sa stepenima slobode.

123,21, (0,05;10) =18,307

pošto >, onda se hipoteza H0 odbacuje i ima smisla izvršiti komponentnu analizu.

Za konstruiranje matrice faktorskih opterećenja, potrebno je pronaći vlastite vrijednosti matrice rješavanjem jednadžbe.

Za ovu operaciju koristimo funkciju svojstvenih vrijednosti MathCAD sistema, koja vraća svojstvene vrijednosti matrice:

Jer Budući da su početni podaci uzorak iz opće populacije, tada smo dobili ne svojstvene vrijednosti i svojstvene vektore matrice, već njihove procjene. Zanimaće nas koliko „dobro“ sa statističke tačke gledišta karakteristike uzorka opisuju odgovarajuće parametre za opštu populaciju.

Interval pouzdanosti za i-tu svojstvenu vrijednost se traži po formuli:

Intervali pouzdanosti za sopstvene vrijednosti na kraju poprimi oblik:

Procjena vrijednosti nekoliko svojstvenih vrijednosti spada u interval pouzdanosti drugih svojstvenih vrijednosti. Potrebno je testirati hipotezu o višestrukosti svojstvenih vrijednosti.

Višestrukost se provjerava pomoću statistike

gdje je r broj višestrukih korijena.

Ova statistika, u slučaju pravičnosti, raspoređuje se prema zakonu sa brojem stepeni slobode. Hajde da pretpostavimo:

Budući da je hipoteza odbačena, odnosno sopstvene vrijednosti i nisu višestruke.

Budući da je hipoteza odbačena, odnosno sopstvene vrijednosti i nisu višestruke.

Neophodno je istaknuti glavne komponente na nivou informativnosti od 0,85. Mjera sadržaja informacija pokazuje koji dio ili koji udio varijanse početnih karakteristika su prve k-glavne komponente. Mjera informativnosti nazvat ćemo vrijednost:

Na datom nivou informativnosti razlikuju se tri glavne komponente.

Napišimo matricu =

Za dobijanje normalizovanog prelaznog vektora sa početnih karakteristika na glavne komponente, potrebno je rešiti sistem jednačina: , gde je odgovarajuća svojstvena vrednost. Nakon dobijanja rješenja sistema, potrebno je normalizirati rezultirajući vektor.

Da bismo riješili ovaj problem, koristit ćemo svojstvenu funkciju MathCAD sistema, koja vraća normalizirani vektor za odgovarajuću svojstvenu vrijednost.

U našem slučaju, prve četiri glavne komponente su dovoljne za postizanje datog nivoa informacionog sadržaja, pa je matrica U (matrica prijelaza sa originalne baze na bazu vlastitih vektora)

Gradimo matricu U čiji su stupci svojstveni vektori:

matrica težine:

Koeficijenti matrice A su koeficijenti korelacije između centriranih - normaliziranih početnih karakteristika i nenormaliziranih glavnih komponenti, i pokazuju prisutnost, snagu i smjer linearna veza između odgovarajućih početnih karakteristika i odgovarajućih glavnih komponenti.

Prilikom modeliranja proizvodno-ekonomskih procesa, što je niži nivo proizvodnog podsistema koji se razmatra (strukturna podjela, proces koji se proučava), to je tipičnija za ulazne parametre relativna nezavisnost faktora koji ih određuju. Kada se analiziraju glavni kvalitativni pokazatelji rada preduzeća (produktivnost rada, troškovi proizvodnje, profiti i drugi pokazatelji), treba se baviti modeliranjem procesa sa međusobno povezanim sistemom ulaznih parametara (faktora). Istovremeno, proces statističkog modeliranja sistema karakteriše jaka korelacija, au nekim slučajevima i skoro linearna zavisnost određujući faktori (ulazni parametri procesa). Ovo je slučaj multikolinearnosti, tj. značajne međuzavisnosti (korelacije) ulaznih parametara, regresijski model ovdje ne odražava na adekvatan način stvarni proces koji se proučava. Ako koristite dodavanje ili odbacivanje niza faktora, povećanje ili smanjenje količine početnih informacija (broja zapažanja), to će značajno promijeniti model procesa koji se proučava. Primjena ovog pristupa može dramatično promijeniti vrijednosti koeficijenata regresije koji karakteriziraju utjecaj faktora koji se proučavaju, pa čak i smjer njihovog utjecaja (predznak koeficijenata regresije može se promijeniti u suprotan pri prelasku s jednog modela drugome).

Iz iskustva naučno istraživanje Poznato je da je većina ekonomskih procesa različita visok stepen međusobni uticaj (interkorelacija) parametara (proučavanih faktora). Prilikom izračunavanja regresije modeliranih indikatora za ove faktore nastaju poteškoće u tumačenju vrijednosti koeficijenata u modelu. Često je takva multikolinearnost parametara modela lokalnog karaktera, odnosno nisu svi proučavani faktori međusobno značajno povezani, već odvojene grupe ulaznih parametara. Najopštiji slučaj multikolinearnih sistema karakteriše takav skup proučavanih faktora, od kojih neki čine zasebne grupe sa snažno povezanom unutrašnjom strukturom i praktično nisu međusobno povezani, a neki su zasebni faktori koji nisu formirani u blokove i koji su nisu značajno povezani i jedni sa drugima i sa ostalim faktorima uključenim u grupe sa jakom interkorelacijom.

Za modeliranje ove vrste procesa potrebno je riješiti problem kako zamijeniti skup značajno međusobno povezanih faktora nekim drugim skupom nekoreliranih parametara koji ima jedno važno svojstvo: novi skup nezavisnih parametara mora nositi sve potrebne informacije o varijacija ili disperzija početnog skupa faktora procesa koji se proučava. Efikasno sredstvo za rješavanje takvog problema je korištenje metode glavne komponente. Prilikom upotrebe ove metode javlja se problem ekonomske interpretacije kombinacija početnih faktora uključenih u skupove glavnih komponenti. Metoda omogućava smanjenje broja ulaznih parametara modela, što pojednostavljuje korištenje rezultirajućih regresionih jednačina.

Suština izračunavanja glavnih komponenti je određivanje matrice korelacije (kovarijance) za početne faktore X j i pronalaženje karakterističnih brojeva (svojstvenih vrijednosti) matrice i odgovarajućih vektora. Karakteristični brojevi su varijanse novih transformiranih varijabli, a za svaki karakterističan broj odgovarajući vektor daje težinu s kojom stare varijable ulaze u nove. Glavne komponente su linearne kombinacije originalne statistike. Prijelaz sa početnih (opaženih) faktora na vektore glavne komponente se vrši rotacijom koordinatne ose.

Za regresijsku analizu, po pravilu se koristi samo nekoliko prvih glavnih komponenti, koje zajedno objašnjavaju od 80 do 90% cjelokupne početne varijacije faktora, ostale se odbacuju. Ako su sve komponente uključene u regresiju, njen rezultat, izražen kroz početne varijable, bit će identičan jednačini višestruke regresije.

Algoritam za izračunavanje glavne komponente

Recimo da postoji m vektori (početni faktori) sa dimenzijom n(broj dimenzija) koje čine X matricu:

Budući da po pravilu glavni faktori simuliranog procesa imaju različite mjerne jedinice (neki su izraženi u kg, drugi u km, treći u novčanim jedinicama, itd.), da ih uporedimo, uporedimo stepen uticaja, operacija koristi se skaliranje i centriranje. Označimo transformisane ulazne faktore sa yij. Kao skale najčešće se biraju vrijednosti standardnih (srednji kvadratni) odstupanja:

gdje je σ j standardna devijacija X j ; σ j 2 - disperzija; - prosječna vrijednost početnih faktora u datoj j-toj seriji posmatranja

(Centrirana slučajna varijabla naziva se devijacija slučajna varijabla od svog matematičkog očekivanja. Normalizirati vrijednost x znači preći na novu vrijednost y, za koju je srednja vrijednost nula, a varijansa jedan).

Definirajmo matricu koeficijenata korelacije parova

gdje je y ij normalizirana i centrirana vrijednost x j -te slučajne varijable za i-to mjerenje; y ik – vrijednost za k-ti slučajni količine.

Vrijednost r jk karakteriše stepen širenja tačaka u odnosu na liniju regresije.

Željena matrica glavnih komponenti F određena je iz sljedeće relacije (ovdje koristimo transponiranu, - “rotiranu za 90 0” - matricu vrijednosti y ij):

ili koristeći vektorski oblik:

,

gdje je F matrica glavnih komponenti, uključujući skup n dobijene vrijednosti za m glavne komponente; elementi matrice A su težinski koeficijenti koji određuju udio svake glavne komponente u izvornim faktorima.

Elementi matrice A nalaze se iz sljedećeg izraza

gdje je u j svojstveni vektor matrice koeficijenata korelacije R; λ j je odgovarajuća vlastita vrijednost.

Broj λ se naziva svojstvenom vrijednošću (ili karakterističnim brojem) kvadratne matrice R reda m ako je moguće izabrati m-dimenzionalni nenulti svojstveni vektor u takav da je Ru = λu.

Skup svih svojstvenih vrijednosti matrice R poklapa se sa skupom svih rješenja jednadžbe |R - λE| = 0. Proširujući determinantu det |R - λE|, dobijamo karakteristični polinom matrice R. Jednačina |R - λE| = 0 naziva se karakteristična jednačina matrice R.

Primjer definiranja svojstvenih vrijednosti i svojstvenih vektora. Zadana matrica.

Njegova karakteristična jednačina

Ova jednadžba ima korijene λ 1 =18, λ 2 =6, λ 3 =3. pronaći svojstveni vektor (smjer) koji odgovara λ 3 . Zamjenom λ 3 u sistem dobijamo:

8u 1 – 6u 2 +2u 3 = 0

6u 1 + 7u 2 - 4u 3 = 0

2u 1 - 4u 2 + 3u 3 = 0

Budući da je determinanta ovog sistema jednaka nuli, tada, prema pravilima linearne algebre, možete odbaciti posljednju jednadžbu i riješiti rezultirajući sistem u odnosu na proizvoljnu varijablu, na primjer, u 1 \u003d c \u003d 1

6u2 + 2u3 = - 8c

7 u 2 - 4 u 3 \u003d 6 s

Odavde dobijamo sopstveni pravac (vektor) za λ 3 =3

1 na isti način možete pronaći svojstvene vektore

Opšti princip, u osnovi procedure za pronalaženje glavnih komponenti prikazana je na Sl. 29.

Rice. 29. Šema povezivanja glavnih komponenti sa varijablama

Težinski koeficijenti karakterišu stepen uticaja (i orijentacije) ovog „skrivenog“ generalizacionog svojstva (globalnog koncepta) na vrednosti izmerenih indikatora H j .

Primjer interpretacije rezultata analize komponenti:

Naziv glavne komponente F 1 određen je prisustvom u njenoj strukturi značajnih karakteristika X 1 , X 2 , X 4 , X 6 , sve one predstavljaju karakteristike efikasnosti proizvodne aktivnosti, tj. F1- efikasnost proizvodnje.

Naziv glavne komponente F 2 određen je prisustvom u njenoj strukturi značajnih karakteristika X 3 , X 5 , X 7, tj. F 2 je veličina proizvodnih resursa.

ZAKLJUČAK

Dato u priručniku nastavni materijali, dizajniran za savladavanje ekonomskog i matematičkog modeliranja u cilju opravdavanja upravljačkih odluka. Velika pažnja se poklanja matematičkom programiranju, uključujući cjelobrojno programiranje, nelinearno programiranje, dinamičko programiranje, probleme transportnog tipa, teoriju čekanja, analizu glavnih komponenti. Modeliranje se detaljno razmatra u praksi organizovanja i upravljanja proizvodnim sistemima, u preduzetničkoj delatnosti i finansijskom menadžmentu. Proučavanje prikazanog materijala podrazumijeva široku primjenu tehnika modeliranja i proračuna korištenjem softverskog paketa PRIMA i u okruženju Excel tabela.

Glavne komponente

5.1 Metode višestruke regresije i kanonske korelacije uključuju cijepanje postojećeg skupa karakteristika na dva dijela. Međutim, daleko od uvijek takva podjela može biti objektivno utemeljena, te stoga postoji potreba za takvim pristupima analizi odnosa indikatora koji bi uključivali sagledavanje vektora obilježja u cjelini. Naravno, prilikom implementacije ovakvih pristupa može se uočiti određena heterogenost u ovoj bateriji karakteristika, kada se objektivno identifikuje nekoliko grupa varijabli. Za karakteristike iz jedne takve grupe unakrsne korelacije biće mnogo veći u poređenju sa kombinacijama indikatora iz različitih grupa. Međutim, ovo grupisanje će se zasnivati ​​na rezultatima objektivne analize podataka, a ne na apriorno proizvoljnim razmatranjima istraživača.

5.2 Prilikom proučavanja korelacija unutar nekih single set m karakteristike

X"= X 1 X 2 X 3 ... X m

možete koristiti istu metodu koja je korišćena u analizi višestruke regresije i metodu kanonskih korelacija - dobijanje novih varijabli, čije varijacije u potpunosti odražavaju postojanje multivarijantnih korelacija.

Svrha razmatranja unutargrupnih odnosa jednog skupa karakteristika je da se odrede i vizualizuju objektivno postojeći glavni pravci korelativne varijacije ovih varijabli. Stoga, u ove svrhe, možete uvesti neke nove varijable Y i , pronađene kao linearne kombinacije originalnog skupa karakteristika X

Y 1 = b 1"X= b 11 X 1 + b 12 X 2 + b 13 X 3 + ... + b 1m X m

Y 2 = b 2"X= b 21 X 1 + b 22 X 2 + b 23 X 3 + ... + b 2m X m

Y 3 = b 3"X= b 31 X 1 + b 32 X 2 + b 33 X 3 + ... + b 3m X m (5.1)

... ... ... ... ... ... ...

Y m = b m "X= b m1 X 1 + b m2 X 2 + b m3 X 3 + ... + b m m X m

i ima niz poželjnih svojstava. Neka je, radi određenosti, broj novih karakteristika jednak broju originalnih indikatora (m).

Jedno od takvih poželjnih optimalnih svojstava može biti međusobna nekorelacija novih varijabli, odnosno dijagonalni oblik njihove matrice kovarijanse.

S y1 2 0 0 ... 0

0 s y2 2 0 ... 0

Sy= 0 0 s y3 2 ... 0 , (5.2)

... ... ... ... ...

0 0 0 … s ym 2

gdje je s yi 2 varijansa i-te nove karakteristike Y i . Nekoreliranost novih varijabli, pored svoje očigledne pogodnosti, ima važno svojstvo - svaka nova karakteristika Y i će uzeti u obzir samo svoj nezavisni dio informacija o varijabilnosti i korelaciji izvornih indikatora X.

Drugo neophodno svojstvo novih znakova je uredno obračunavanje varijacija početnih indikatora. Dakle, neka prva nova varijabla Y 1 uzme u obzir maksimalan udio ukupne varijacije karakteristika X. Ovo je, kao što ćemo kasnije vidjeti, ekvivalentno zahtjevu da Y 1 ima maksimalnu moguću varijansu s y1 2 . Uzimajući u obzir jednakost (1.17), ovaj uslov se može zapisati kao

s y1 2 = b 1 "Sb 1= max , (5.3)

gdje S- kovarijansna matrica početnih karakteristika X, b 1- vektor koji uključuje koeficijente b 11 , b 12 , b 13 , ..., b 1m sa kojima se po vrijednostima X 1 , X 2 , X 3 , ..., X m može dobiti vrijednost Y 1 .

Neka druga nova varijabla Y 2 opisuje maksimalni dio te komponente ukupne varijacije koja je ostala nakon uzimanja u obzir njenog najvećeg udjela u varijabilnosti prve nove karakteristike Y 1 . Da bi se to postiglo, potrebno je ispuniti uslov

s y2 2 = b 2 "Sb 2= max , (5.4)

na nultom spoju Y 1 sa Y 2 , (tj. r y1y2 = 0) i na s y1 2 > s y2 2 .

Slično, treća nova karakteristika Y 3 bi trebala opisati treći najvažniji dio varijacije originalnih karakteristika, za koju bi njegova varijacija također trebala biti maksimalna

s y3 2 = b 3 "Sb 3= max , (5.5)

pod uslovom da Y 3 nije u korelaciji sa prva dva nova svojstva Y 1 i Y 2 (tj. r y1y3 = 0, r y2y3 = 0) i s y1 2 > s y2 > s y3 2 .

Dakle, varijanse svih novih varijabli karakteriziraju redoslijed po veličini

s y1 2 > s y2 2 > s y3 2 > ... > s y m 2 . (5.6)

5.3 Vektori iz formule (5.1) b 1 , b 2 , b 3 , ..., b m , uz pomoć kojih treba izvršiti prijelaz na nove varijable Y i, može se zapisati u obliku matrice

B = b 1 b 2 b 3 ... b m . (5.7)

Prelazak sa skupa početnih karakteristika X na skup novih varijabli Y može se predstaviti kao matrična formula

Y = B" X , (5.8)

a dobijanje matrice kovarijanse novih karakteristika i postizanje uslova (5.2) nekoreliranih novih varijabli u skladu sa formulom (1.19) može se predstaviti kao

B"SB= Sy , (5.9)

gdje je matrica kovarijanse novih varijabli Sy zbog njihove nekorelacije ima dijagonalni oblik. Iz teorije matrica (odjeljak A.25 Dodatak A) poznato je da, dobivši za neku simetričnu matricu A sopstveni vektori u i i brojevi l i i

pozivanje matrica iz njih U i L, moguće je, u skladu sa formulom (A.31), dobiti rezultat

U "AU= L ,

gdje L je dijagonalna matrica koja uključuje vlastite vrijednosti simetrične matrice A. Lako je vidjeti da se posljednja jednakost u potpunosti poklapa sa formulom (5.9). Stoga se može izvući sljedeći zaključak. Poželjna svojstva novih varijabli Y može se osigurati ako vektori b 1 , b 2 , b 3 , ..., b m , uz pomoć kojih treba izvršiti prijelaz na ove varijable, bit će svojstveni vektori matrice kovarijanse početnih karakteristika S. Tada će disperzije novih karakteristika s yi 2 biti vlastite vrijednosti

s y1 2 = l 1 , s y2 2 = l 2 , s y3 2 = l 3 , ... , s ym 2 = l m (5.10)

Nove varijable, na koje se prijelaz prema formulama (5.1) i (5.8) vrši korištenjem vlastitih vektora matrice kovarijanse originalnih karakteristika, nazivaju se glavne komponente. Zbog činjenice da je broj svojstvenih vektora matrice kovarijanse općenito jednak m - broju početnih karakteristika za ovu matricu, broj glavnih komponenti je također jednak m.

U skladu s teorijom matrica, da bi se pronašle vlastite vrijednosti i vektori matrice kovarijanse, treba riješiti jednačinu

(S-l i I)b i = 0 . (5.11)

Ova jednadžba ima rješenje ako je zadovoljen uslov da je determinanta jednaka nuli

½ S-l i I½ = 0. (5.12)

Ovaj uslov u suštini takođe se ispostavlja kao jednačina čiji su koreni sve sopstvene vrednosti l 1 , l 2 , l 3 , ..., lm matrice kovarijanse koje se istovremeno poklapaju sa varijacijama glavnih komponenti. Nakon dobijanja ovih brojeva, za svaki i-ti od njih, prema jednačini (5.11), možete dobiti odgovarajući svojstveni vektor b i . U praksi se koriste posebne iterativne procedure za izračunavanje svojstvenih vrijednosti i vektora (Dodatak B).

Svi sopstveni vektori se mogu zapisati kao matrica B, što će biti ortonormalna matrica, tako da (odjeljak A.24 Dodatak A) za njega se izvodi

B"B = bb" = I . (5.13)

Ovo posljednje znači da za bilo koji par vlastitih vektora, b i "b j= 0, a za svaki takav vektor jednakost b i "b i = 1.

5.4 Ilustrujmo izvođenje glavnih komponenti za najjednostavniji slučaj dvije početne karakteristike X 1 i X 2 . Matrica kovarijanse za ovaj skup je

gdje su s 1 i s 2 standardne devijacije karakteristika X 1 i X 2, a r je koeficijent korelacije između njih. Tada se uslov (5.12) može zapisati kao

S 1 2 - l i rs 1 s 2

rs 1 s 2 s 2 2 - l i

Slika 5.1.Geometrijsko značenje glavnih komponenti

Proširujući determinantu, možemo dobiti jednačinu

l 2 - l(s 1 2 + s 2 2) + s 1 2 s 2 2 (1 - r 2) = 0,

rješavajući koje, možete dobiti dva korijena l 1 i l 2 . Jednačina (5.11) se može napisati i kao

s 1 2 - l i r s 1 s 2 b i1 = 0

r s 1 s 2 s 2 2 - l i b i2 0

Zamjenom l 1 u ovu jednačinu dobijamo linearni sistem

(s 1 2 - l 1) b 11 + rs 1 s 2 b 12 = 0

rs 1 s 2 b 11 + (s 2 2 - l 1)b 12 = 0,

čije su rješenje elementi prvog svojstvenog vektora b 11 i b 12 . Nakon slične zamjene drugog korijena l 2 nalazimo elemente drugog svojstvenog vektora b 21 i b 22 .

5.5 Saznajmo geometrijskog smisla glavne komponente. Ovo se može uraditi vizuelno samo za najjednostavniji slučaj dve karakteristike X 1 i X 2 . Neka ih karakteriše dvodimenzionalno normalna distribucija sa pozitivnom vrijednošću koeficijenta korelacije. Ako se sva pojedinačna zapažanja primjenjuju na ravninu koju čine osi karakteristika, tada će se tačke koje im odgovaraju nalaziti unutar određene korelacijske elipse (slika 5.1). Nove karakteristike Y 1 i Y 2 se također mogu prikazati na istoj ravni kao nove ose. Prema značenju metode za prvu glavnu komponentu Y 1 , koja uzima u obzir najveću moguću ukupnu varijansu karakteristika X 1 i X 2 , treba postići maksimum njene varijanse. To znači da za Y 1 treba pronaći takav

osi tako da širina distribucije njegovih vrijednosti bude najveća. Očigledno, to će se postići ako se ova osa poklapa u pravcu sa najvećom osom korelacione elipse. Zaista, ako projektujemo sve tačke koje odgovaraju pojedinačnim opažanjima na ovu koordinatu, dobićemo normalnu distribuciju sa najvećim mogućim rasponom i najvećom disperzijom. Ovo će biti raspodjela pojedinačnih vrijednosti prve glavne komponente Y 1 .

Os koja odgovara drugoj glavnoj komponenti Y 2 mora biti povučena okomito na prvu osu, kao što to slijedi iz uvjeta nekoreliranih glavnih komponenti. Zaista, u ovom slučaju dobićemo novi koordinatni sistem sa osama Y 1 i Y 2 koje se poklapaju u pravcu sa osovinama korelacione elipse. Može se vidjeti da korelacija elipsa, kada se razmatra u novi sistem koordinate prikazuje nekorelirane pojedinačne vrijednosti Y 1 i Y 2 , dok je za vrijednosti originalnih karakteristika X 1 i X 2 uočena korelacija.

Prelazak sa osa povezanih sa originalnim karakteristikama X 1 i X 2 na novi koordinatni sistem orijentisan na glavne komponente Y 1 i Y 2 je ekvivalentan rotiranju starih osa za neki ugao j. Njegova vrijednost se može naći po formuli

Tg 2j = . (5.14)

Prijelaz sa vrijednosti karakteristika X 1 i X 2 na glavne komponente može se izvršiti u skladu s rezultatima analitičke geometrije u obliku

Y 1 \u003d X 1 cos j + X 2 sin j

Y 2 \u003d - X 1 sin j + X 2 cos j.

Isti rezultat se može zapisati u matričnom obliku

Y 1 \u003d cos j sin j X 1 i Y 2 \u003d -sin j cos j X 1,

što tačno odgovara transformaciji Y 1 = b 1"X i Y 2 = b 2"X. Drugim riječima,

= B" . (5.15)

Prema tome, matrica svojstvenog vektora također se može tretirati kao uključena trigonometrijske funkcije ugao rotacije koji treba izvesti da bi se pomaknuo od koordinatnog sistema povezanog sa originalnim karakteristikama na nove ose zasnovane na glavnim komponentama.

Ako imamo m početnih karakteristika X 1 , X 2 , X 3 , ..., X m , tada će zapažanja koja čine uzorak koji se razmatra biti smještena unutar nekog m-dimenzionalnog korelacionog elipsoida. Tada će se osa prve glavne komponente poklapati u pravcu sa najvećom osom ovog elipsoida, osa druge glavne komponente će se poklapati sa drugom osom ovog elipsoida, itd. Prelazak sa originalnog koordinatnog sistema povezanog sa osama karakteristika X 1 , X 2 , X 3 , ..., X m na nove ose glavnih komponenti biće ekvivalentan implementaciji nekoliko rotacija starih osa po uglovi j 1 , j 2 , j 3 , .. ., i matrica prijelaza B off set X na sistem glavnih komponenti Y, koji se sastoji od vlastitih kapaka-

tori matrice kovarijanse, uključuje trigonometrijske funkcije uglova novih koordinatnih osa sa starim osovinama originalnih karakteristika.

5.6 U skladu sa svojstvima svojstvenih vrijednosti i vektora, tragovi kovarijansnih matrica početnih karakteristika i glavnih komponenti su jednaki. Drugim riječima

tr S= tr S y = tr L (5.16)

s 11 + s 22 + ... + s mm \u003d l 1 + l 2 + ... + l m,

one. zbroj svojstvenih vrijednosti matrice kovarijanse jednak je zbroju varijansi svih početnih karakteristika. Stoga se može govoriti o nekoj ukupnoj vrijednosti varijanse početnih karakteristika jednakoj tr S, i uzima se u obzir sistemom svojstvenih vrijednosti.

Činjenica da prva glavna komponenta ima maksimalnu varijansu jednaku l 1 automatski znači da ona također opisuje maksimalni udio ukupne varijacije originalnih karakteristika tr S. Slično, druga glavna komponenta ima drugu najveću varijansu l 2, koja odgovara drugom najvećem obračunatom udjelu ukupne varijacije originalnih karakteristika, i tako dalje.

Za svaku glavnu komponentu moguće je odrediti udio ukupne vrijednosti varijabilnosti početnih karakteristika koje ona opisuje

5.7 Očigledno, ideja ukupne varijacije skupa početnih karakteristika X 1 , X 2 , X 3 , ..., X m , mjereno vrijednošću tr S, ima smisla samo kada se sve ove karakteristike mjere u istim jedinicama. U suprotnom ćete morati da dodate disperzije različitih karakteristika, od kojih će neke biti izražene u kvadratima milimetara, druge u kvadratima kilograma, treće u kvadratima radijana ili stepeni, itd. Ova poteškoća se lako može izbjeći ako se sa imenovanih vrijednosti karakteristika X ij prijeđe na njihove normalizirane vrijednosti z ij = (X ij - M i)./ S i gdje su M i i S i aritmetička sredina i standardna devijacija i-te karakteristike. Normalizovane karakteristike z imaju nultu sredinu, jedinične varijanse i nisu povezane ni sa jednom jedinicom mere. Kovarijansna matrica početnih karakteristika Sće se pretvoriti u matricu korelacije R.

Sve što je rečeno o glavnim komponentama pronađenim za matricu kovarijanse ostaje tačno za matricu R. Ovdje je također moguće, oslanjajući se na svojstvene vektore korelacijske matrice b 1 , b 2 , b 3 , ..., b m , idite od početnih karakteristika z i na glavne komponente y 1 , y 2 , y 3 , ..., y m

y 1 = b 1 "z

y 2 = b 2 "z

y 3 = b 3 "z

y m = b m "z .

Ova transformacija se također može napisati u kompaktnom obliku

y = B"z ,

Slika 5.2. Geometrijsko značenje glavnih komponenti za dvije normalizirane karakteristike z 1 i z 2

gdje y- vektor vrijednosti glavnih komponenti, B- matrica uključujući sopstvene vektore, z- vektor početnih normalizovanih karakteristika. Jednakost je takođe istinita

B „RB= ... ... … , (5.18)

gdje su l 1 , l 2 , l 3 , ..., l m vlastite vrijednosti korelacijske matrice.

Rezultati dobiveni analizom korelacijske matrice razlikuju se od sličnih rezultata za matricu kovarijanse. Prvo, sada je moguće razmotriti karakteristike mjerene u različitim jedinicama. Drugo, svojstveni vektori i brojevi pronađeni za matrice R i S, takođe su različiti. Treće, glavne komponente određene korelacionom matricom i zasnovane na normalizovanim vrednostima karakteristika z ispadaju centrirane - tj. imaju nulte srednje vrijednosti.

Nažalost, nakon što smo odredili svojstvene vektore i brojeve za matricu korelacije, nemoguće je prijeći sa njih na slične vektore i brojeve matrice kovarijanse. U praksi se glavne komponente zasnovane na korelacionoj matrici obično koriste kao univerzalnije.

5.8 Razmotrimo geometrijsko značenje glavnih komponenti koje su određene iz korelacijske matrice. Slučaj dvije karakteristike z 1 i z 2 je ovdje ilustrativan. Koordinatni sistem povezan sa ovim normalizovanim karakteristikama ima nultu tačku koja se nalazi u centru grafa (slika 5.2). Centralna tačka korelacione elipse,

uključujući sva pojedinačna zapažanja, poklapa se sa centrom koordinatnog sistema. Očigledno je da će se os prve glavne komponente, koja ima maksimalnu varijaciju, poklopiti sa najvećom osom korelacione elipse, a koordinata druge glavne komponente će biti orijentisana duž druge ose ove elipse.

Prelazak sa koordinatnog sistema povezanog sa originalnim karakteristikama z 1 i z 2 na nove ose glavnih komponenti je ekvivalentan rotiranju prvih ose za neki ugao j. Varijance normalizovanih karakteristika su jednake 1 i po formuli (5.14) može se naći vrednost ugla rotacije j jednaka 45 o . Tada će matrica vlastitih vektora, koja se može odrediti u smislu trigonometrijskih funkcija ovog ugla pomoću formule (5.15), biti jednaka

Cos j sin j 1 1 1

B" = = .

Sin j cos j (2) 1/2 -1 1

Vrijednosti vlastitih vrijednosti za dvodimenzionalni slučaj je također lako pronaći. Ispada da je uslov (5.12) u obliku

što odgovara jednačini

l 2 - 2l + 1 - r 2 \u003d 0,

koji ima dva korena

l 1 = 1 + r (5.19)

Dakle, glavne komponente korelacijske matrice za dvije normalizirane karakteristike mogu se pronaći korištenjem vrlo jednostavnih formula

Y 1 = (z 1 + z 2) (5.20)

Y 2 \u003d (z 1 - z 2)

Njihove aritmetičke srednje vrijednosti su jednake nuli, a standardne devijacije su

s y1 = (l 1) 1/2 = (1 + r) 1/2

s y2 = (l 2) 1/2 = (1 - r) 1/2

5.9 U skladu sa svojstvima svojstvenih vrijednosti i vektora, tragovi korelacijske matrice početnih karakteristika i matrice svojstvenih vrijednosti su jednaki. Ukupna varijacija m normalizovanih karakteristika jednaka je m. Drugim riječima

tr R= m = tr L (5.21)

l 1 + l 2 + l 3 + ... + l m = m .

Tada je udio ukupne varijacije početnih karakteristika, opisanih i-tom glavnom komponentom, jednak

Također možete uvesti koncept P cn - udio ukupne varijacije originalnih karakteristika, opisan sa prvih n glavnih komponenti,

n l 1 + l 2 + ... + l n

P cn = S P i = . (5.23)

Činjenica da za svojstvene vrijednosti postoji poredak oblika l 1 > l 2 > > l 3 > ... > l m znači da će slični odnosi biti karakteristični i za udjele opisane glavnim komponentama varijacije

P 1 > P 2 > P 3 > ... > P m . (5.24)

Svojstvo (5.24) podrazumeva specifičan oblik zavisnosti akumuliranog udela P sn od n (slika 5.3). U ovom slučaju, prve tri glavne komponente opisuju glavni dio varijabilnosti karakteristika. To znači da često nekoliko prvih glavnih komponenti može zajedno činiti do 80 - 90% ukupne varijacije karakteristika, dok će svaka naredna glavna komponenta vrlo malo povećati ovaj udio. Zatim, za dalje razmatranje i tumačenje, samo ovih nekoliko prvih glavnih komponenti može se koristiti sa sigurnošću da opisuju najvažnije obrasce unutargrupne varijabilnosti i korelacije.

Slika 5.3. Zavisnost udjela ukupne varijacije karakteristika P cn, opisanih sa n prvih glavnih komponenti, od vrijednosti n. Broj karakteristika m = 9

Slika 5.4. Definiciji konstrukcije kriterija za izdvajanje glavnih komponenti

znakovi. Zahvaljujući tome, broj novih informativnih varijabli za rad može se smanjiti za faktor 2 - 3. Dakle, glavne komponente imaju još jednu bitnu i korisno svojstvo- uvelike pojednostavljuju opis varijacije originalnih karakteristika i čine ga kompaktnijim. Takvo smanjenje broja varijabli je uvijek poželjno, ali je povezano sa određenim distorzijama. relativnu poziciju tačke koje odgovaraju pojedinačnim zapažanjima u prostoru nekoliko prvih glavnih komponenti u poređenju sa m-dimenzionalnim prostorom originalnih karakteristika. Ova izobličenja proizlaze iz pokušaja da se prostor karakteristika stisne u prostor prvih glavnih komponenti. Međutim, u matematičkoj statistici je dokazano da od svih metoda koje mogu značajno smanjiti broj varijabli, prijelaz na glavne komponente dovodi do najmanjeg izobličenja u strukturi opservacija povezanih s ovim smanjenjem.

5.10 Važno pitanje u analizi glavnih komponenti je problem određivanja njihovog broja za dalje razmatranje. Očigledno, povećanje broja glavnih komponenti povećava kumulativni udio razmatrane varijabilnosti P cn i približava je 1. Istovremeno, kompaktnost rezultirajućeg opisa opada. Izbor broja glavnih komponenti, koji istovremeno obezbeđuje i potpunost i kompaktnost opisa, može se zasnivati ​​na različitim kriterijumima koji se koriste u praksi. Navodimo najčešće od njih.

Prvi kriterijum se zasniva na razmatranju da broj glavnih komponenti koje se uzimaju u obzir treba da obezbedi dovoljnu informativnu potpunost opisa. Drugim riječima, glavne komponente koje se razmatraju trebale bi opisati većinu ukupne varijabilnosti početnih karakteristika: do 75 - 90%. Izbor određenog nivoa akumuliranog udjela P cn ostaje subjektivan i zavisi kako od mišljenja istraživača tako i od problema koji se rješava.

Drugi sličan kriterij (Kaiserov kriterij) nam omogućava da uključimo glavne komponente sa svojstvenim vrijednostima većim od 1. Zasnovan je na pretpostavci da je 1 varijansa jedne normalizirane početne karakteristike. pjesnik-

Stoga, uključivanje u dalje razmatranje svih glavnih komponenti sa svojstvenim vrijednostima većim od 1 znači da razmatramo samo one nove varijable koje imaju varijanse barem jedne originalne karakteristike. Kaiserov kriterijum je vrlo čest i njegova upotreba je ugrađena u mnoge softverske pakete za statističku obradu podataka kada je potrebno postaviti minimalnu vrijednost razmatrane vlastite vrijednosti, a zadana vrijednost se često uzima jednakom 1.

Cattellov kriterij prosijavanja je teorijski potkrijepljen nešto bolje. Njegova primjena se zasniva na razmatranju grafa na kojem su vrijednosti svih svojstvenih vrijednosti iscrtane u opadajućem redoslijedu (slika 5.4). Cattellov kriterij se temelji na učinku koji je ucrtan na graf, slijed vrijednosti dobijenih svojstvenih vrijednosti obično daje konkavnu liniju. Prvih nekoliko svojstvenih vrijednosti pokazuje nepravolinijski pad njihovog nivoa. Međutim, počevši od neke vlastite vrijednosti, smanjenje ovog nivoa postaje približno pravolinijsko i prilično blago. Uključivanje glavnih komponenti u razmatranje završava se onom čija vlastita vrijednost počinje pravolinijski ravan dio grafa. Dakle, na slici 5.4, u skladu sa Cattellovim kriterijem, u razmatranje treba uključiti samo prve tri glavne komponente, jer se treća vlastita vrijednost nalazi na samom početku pravolinijskog ravnog dijela grafa.

Cattellov kriterijum se zasniva na sledećem. Ako uzmemo u obzir podatke o m karakteristikama, veštački dobijene iz tabele normalno raspoređenih slučajni brojevi, tada će za njih korelacije između karakteristika biti potpuno nasumične i bit će blizu 0. Kada se ovdje pronađu glavne komponente, moći će se uočiti postepeno smanjenje veličine njihovih vlastitih vrijednosti, koje ima pravolinijski karakter. Drugim riječima, pravolinijski pad vlastitih vrijednosti može ukazivati ​​na odsustvo odgovarajućih informacija o korelaciji znakova neslučajnih odnosa.

5.11 Prilikom tumačenja glavnih komponenti najčešće se koriste svojstveni vektori predstavljeni u obliku tzv. opterećenja – koeficijenata korelacije izvornih karakteristika sa glavnim komponentama. Vlastiti vektori b i koje zadovoljavaju jednakost (5.18) dobijaju se u normalizovanom obliku, tako da b i "b i= 1. To znači da je zbir kvadrata elemenata svakog svojstvenog vektora 1. Svojstveni vektori čiji su elementi opterećenja mogu se lako pronaći po formuli

a i= (l i) 1/2 b i . (5.25)

Drugim riječima, množenjem normaliziranog oblika svojstvenog vektora s kvadratnim korijenom njegove vlastite vrijednosti, može se dobiti skup početnih opterećenja karakteristika na odgovarajuću glavnu komponentu. Za vektore opterećenja ispada da je jednakost tačna a i "a i= l i , što znači da je zbir opterećenja na kvadrat i-ti glavni komponenta je jednaka i-toj svojstvenoj vrijednosti. Računalni programi obično daju svojstvene vektore u obliku opterećenja. Ako je potrebno ove vektore dobiti u normaliziranom obliku b i ovo se može učiniti jednostavnom formulom b i = a i/ (l i) 1/2 .

5.12 Matematička svojstva svojstvenih vrijednosti i vektora su takva da, u skladu sa odjeljkom A.25 Aneksi A inicijal korelacione matrice R može se predstaviti u obliku R = BLB", što se takođe može napisati kao

R= l 1 b 1 b 1 "+ l 2 b 2 b 2 "+ l 3 b 3 b 3 "+ ... + lm b m b m " . (5.26)

Treba napomenuti da bilo koji od pojmova l i b i b i ", odgovarajući i-ti glavni komponenta je kvadratna matrica

L i b i1 2 l i b i1 b i2 l i b i1 b i3 … l i b i1 b im

l i b i b i "= l i b i1 b i2 l i b i2 2 l i b i2 b i3 ... l i b i2 b im . (5.27)

... ... ... ... ...

l i b i1 b im l i b i2 b im l i b i3 b im ... l i b im 2

Ovdje je b ij element i-tog svojstvenog vektora j-te originalne karakteristike. Svaki dijagonalni član takve matrice l i b ij 2 je neki dio varijacije j-tog atributa, opisanog i-tom glavnom komponentom. Tada se varijansa bilo koje j-te karakteristike može predstaviti kao

1 = l 1 b 1j 2 + l 2 b 2j 2 + l 3 b 3j 2 + ... + l m b mj 2 , (5.28)

što znači njeno proširenje u smislu doprinosa u zavisnosti od svih glavnih komponenti.

Slično, bilo koji vandijagonalni član l i b ij b ik matrice (5.27) je određeni dio koeficijenta korelacije r jk j-te i k-te karakteristike uzete u obzir od strane i-te glavne komponente. Tada možemo zapisati proširenje ovog koeficijenta kao zbir

r jk = l 1 b 1j b 1k + l 2 b 2j b 2k + ... + l m b mj b mk , (5.29)

doprinose svih m glavnih komponenti tome.

Dakle, iz formula (5.28) i (5.29) se jasno vidi da svaka glavna komponenta opisuje određeni dio varijanse svake početne karakteristike i koeficijent korelacije svake njihove kombinacije.

Uzimajući u obzir činjenicu da su elementi normalizovanog oblika svojstvenih vektora b ij povezani sa opterećenjem a ij jednostavnom relacijom (5.25), proširenje (5.26) se takođe može zapisati u terminima sopstvenih vektora opterećenja R = AA", koji se takođe može predstaviti kao

R = a 1 a 1" + a 2 a 2" + a 3 a 3" + ... + a m a m" , (5.30)

one. kao zbir doprinosa svake od m glavnih komponenti. Svaki od ovih doprinosa a i a ja" može se napisati kao matrica

A i1 2 a i1 a i2 a i1 a i3 ... a i1 a im

a i1 a i2 a i2 2 a i2 a i3 ... a i2 a im

a i a ja"= a i1 a i3 a i2 a i3 a i3 2 ... a i3 a im , (5.31)

... ... ... ... ...

a i1 a im a i2 a im a i3 a im ... a im 2

na čijim dijagonalama su postavljeni a ij 2 - doprinosi varijansi j-te početne karakteristike, i vandijagonalni elementi a ij a ik - slični su doprinosi koeficijentu korelacije r jk j-te i k- th karakteristike.