Ko je Bayes? I kakve to veze ima sa menadžmentom? – može biti praćeno sasvim poštenim pitanjem. Za sada, vjerujte mi na riječ: ovo je jako važno!.. i zanimljivo (barem za mene).

U kojoj paradigmi većina menadžera radi: ako nešto posmatram, koje zaključke mogu izvući iz toga? Šta Bayes uči: šta zapravo mora biti da bih ja to nešto posmatrao? Ovako se razvijaju sve nauke, a on o tome piše (citiram po sjećanju): osoba koja nema teoriju u glavi će zazirati od jedne ideje do druge pod utjecajem raznih događaja (zapažanja). Ne uzalud kažu: nema ništa praktičnije od dobre teorije.

Primjer iz prakse. Moj podređeni pravi grešku, a moj kolega (šef drugog odjela) kaže da bi bilo potrebno izvršiti menadžerski uticaj na nemarnog radnika (drugim riječima kazniti/grditi). A znam da ovaj zaposleni napravi 4-5 hiljada istih operacija mjesečno, a za to vrijeme ne napravi više od 10 grešaka. Osjetite razliku u paradigmi? Moj kolega reaguje na zapažanje, a ja a priori znam da zaposleni pravi određeni broj grešaka, tako da još jedna nije uticala na to saznanje... E sad, ako se na kraju meseca ispostavi da ima, na primjer, 15 takvih grešaka! .. Ovo će već postati razlog za istraživanje uzroka neusklađenosti sa standardima.

Uvjereni u važnost Bayesovog pristupa? Zaintrigirani? Nadam se". A sada muva u masti. Nažalost, Bayesovske ideje rijetko se daju iz prve ruke. Iskreno nisam imao sreće, jer sam se sa ovim idejama upoznao kroz popularnu literaturu, nakon čitanja koje su ostala mnoga pitanja. Kada sam planirao da napišem belešku, sakupio sam sve što sam prethodno naveo prema Bayesu, a takođe sam proučio šta pišu na internetu. Predstavljam vam svoju najbolju pretpostavku o ovoj temi. Uvod u Bayesovu vjerovatnoću.

Derivacija Bayesove teoreme

Razmotrimo sljedeći eksperiment: imenujemo bilo koji broj koji leži na segmentu i fiksiramo kada je taj broj, na primjer, između 0,1 i 0,4 (slika 1a). Vjerovatnoća ovog događaja jednaka je omjeru dužine segmenta i ukupne dužine segmenta, pod uslovom da se pojavljivanje brojeva na segmentu equiprobable. Matematički, ovo se može napisati str(0,1 <= x <= 0,4) = 0,3, или кратко R(X) = 0,3, gdje je R- vjerovatnoća, X je slučajna varijabla u rasponu, X je slučajna varijabla u rasponu . Odnosno, vjerovatnoća pogađanja segmenta je 30%.

Rice. 1. Grafička interpretacija vjerovatnoća

Sada razmotrite kvadrat x (slika 1b). Recimo da moramo imenovati parove brojeva ( x, y), od kojih je svaki veći od nule i manji od jedan. Verovatnoća da x(prvi broj) će biti unutar segmenta (plavo područje 1), jednako omjeru površine plave površine i površine cijelog kvadrata, odnosno (0,4 - 0,1 ) * (1 - 0) / (1 * 1) = 0, 3, odnosno istih 30%. Verovatnoća da y je unutar segmenta (zelena površina 2) jednaka je omjeru površine zelene površine i površine cijelog kvadrata str(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.

Šta se istovremeno može naučiti o vrijednostima x i y. Na primjer, kolika je vjerovatnoća da oboje x i y nalaze se u odgovarajućim datim segmentima? Da biste to učinili, morate izračunati omjer površine domene 3 (presjek zelenih i plavih pruga) i površine cijelog kvadrata: str(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Pretpostavimo sada da želimo da znamo kolika je to verovatnoća y je u intervalu ako x je već u rasponu. To jest, u stvari, imamo filter i kada zovemo parove ( x, y), tada odmah odbacujemo one parove koji ne zadovoljavaju uslov za pronalaženje x u datom intervalu, a zatim od filtriranih parova računamo one za koje y zadovoljava naš uslov i smatramo vjerovatnoću kao omjer broja parova za koji y leži u gornjem segmentu do ukupnog broja filtriranih parova (odnosno za koje x leži u segmentu). Ovu vjerovatnoću možemo zapisati kao str(Y|X at X pogoditi u dometu." Očigledno, ova vjerovatnoća je jednaka omjeru površine površine 3 i površine plave površine 1. Površina površine 3 je (0,4 - 0,1) * (0,7 - 0,5) = 0,06, a površina plave površine 1 ( 0,4 - 0,1) * (1 - 0) = 0,3, tada je njihov omjer 0,06 / 0,3 = 0,2. Drugim riječima, vjerovatnoća pronalaska y na segmentu, pod uslovom da x pripada segmentu str(Y|X) = 0,2.

U prethodnom pasusu smo zapravo formulirali identitet: str(Y|X) = str(X, Y) /p( X). Piše: "vjerovatnoća udarca at u opsegu, pod uslovom da X pogodak u rasponu jednak je omjeru vjerovatnoće istovremenog pogotka X u dometu i at u dometu, do vjerovatnoće udarca X u domet."

Analogno, razmotrite vjerovatnoću str(X|Y). Zovemo parove x, y) i filtrirajte one za koje y leži između 0,5 i 0,7, tada je vjerovatnoća da x je u segmentu pod uslovom da y pripada segmentu jednak je omjeru površine površine 3 i površine zelene površine 2: str(X|Y) = str(X, Y) / str(Y).

Imajte na umu da su vjerovatnoće str(X, Y) i str(Y, X) su jednaki, a oba su jednaka omjeru površine zone 3 i površine cijelog kvadrata, ali vjerovatnoće str(Y|X) i str(X|Y) nije jednako; dok je vjerovatnoća str(Y|X) jednak je omjeru površine površine 3 prema površini 1, i str(X|Y) – domena 3 do domena 2. Imajte na umu i to str(X, Y) se često označava kao str(X&Y).

Dakle, imamo dvije definicije: str(Y|X) = str(X, Y) /p( X) i str(X|Y) = str(X, Y) / str(Y)

Zapišimo ove jednakosti kao: str(X, Y) = str(Y|X)*p( X) i str(X, Y) = str(X|Y) * str(Y)

Pošto su leve strane jednake, jednake su i desne: str(Y|X)*p( X) = str(X|Y) * str(Y)

Ili možemo prepisati posljednju jednakost kao:

Ovo je Bayesova teorema!

Je li moguće da takve jednostavne (gotovo tautološke) transformacije dovode do velike teoreme!? Nemojte žuriti sa zaključcima. Hajde da ponovo razgovaramo o tome šta imamo. Postojala je neka početna (a priori) vjerovatnoća R(X) da je slučajna varijabla X ravnomjerno raspoređen po segmentu spada u raspon X. Desio se neki događaj Y, kao rezultat čega smo dobili aposteriornu vjerovatnoću iste slučajne varijable X: R(X|Y), a ova vjerovatnoća se razlikuje od R(X) koeficijentom . Događaj Y koji se nazivaju dokazi, koji manje-više potvrđuju ili opovrgavaju X. Ovaj koeficijent se ponekad naziva moć dokaza. Što je dokaz jači, to više činjenica posmatranja Y mijenja prethodnu vjerovatnoću, to se posteriorna vjerovatnoća više razlikuje od prethodne. Ako su dokazi slabi, posterior je skoro jednak prethodnom.

Bayesova formula za diskretne slučajne varijable

U prethodnom dijelu smo izveli Bayesovu formulu za kontinuirane slučajne varijable x i y definirane na intervalu . Razmotrimo primjer s diskretnim slučajnim varijablama, od kojih svaka ima dvije moguće vrijednosti. Prilikom rutinskih ljekarskih pregleda ustanovljeno je da u četrdesetoj godini života 1% žena boluje od raka dojke. 80% žena oboljelih od raka dobije pozitivne rezultate mamografije. 9,6% zdravih žena takođe ima pozitivne rezultate mamografije. Prilikom pregleda, žena ove starosne grupe dobila je pozitivan nalaz mamografije. Kolika je vjerovatnoća da ona zaista ima rak dojke?

Tok rezonovanja/kalkulacije je sljedeći. Od 1% pacijenata oboljelih od raka, mamografija će dati 80% pozitivnih rezultata = 1% * 80% = 0,8%. Od 99% zdravih žena, mamografija će dati 9,6% pozitivnih rezultata = 99% * 9,6% = 9,504%. Ukupno, od 10,304% (9,504% + 0,8%) sa pozitivnim rezultatima mamografije, samo 0,8% je bolesno, a preostalih 9,504% je zdravo. Dakle, vjerovatnoća da žena sa pozitivnim mamografom ima rak je 0,8% / 10,304% = 7,764%. Da li ste mislili 80% ili tako nešto?

U našem primjeru, Bayesova formula ima sljedeći oblik:

Razgovarajmo još jednom o "fizičkom" značenju ove formule. X je slučajna varijabla (dijagnoza), koja uzima sljedeće vrijednosti: X 1- bolestan i X 2- zdravo; Y– slučajna varijabla (rezultat mjerenja - mamografija), koja uzima vrijednosti: Y 1- pozitivan rezultat i Y2- negativan rezultat; p(X 1)- vjerovatnoća bolesti prije mamografije (a priori vjerovatnoća), jednaka 1%; R(Y 1 |X 1 ) – vjerovatnoća pozitivnog rezultata ako je pacijent bolestan (uslovna vjerovatnoća, pošto se mora specificirati u uslovima zadatka), jednaka 80%; R(Y 1 |X 2 ) – vjerovatnoća pozitivnog rezultata ako je pacijent zdrav (također uslovna vjerovatnoća), jednaka 9,6%; p(X 2)- vjerovatnoća da je pacijentkinja zdrava prije mamografije (a priori vjerovatnoća), jednaka 99%; p(X 1|Y 1 ) – vjerovatnoća da je pacijentkinja bolesna, s obzirom na pozitivan rezultat mamografije (posteriorna vjerovatnoća).

Može se vidjeti da je posteriorna vjerovatnoća (ono što tražimo) proporcionalna prethodnoj vjerovatnoći (početnoj) sa malo složenijim koeficijentom . Još jednom ću naglasiti. Po mom mišljenju, ovo je fundamentalni aspekt Bayesovskog pristupa. Dimenzija ( Y) je dodao određenu količinu informacija prvobitno dostupnim (a priori), što je razjasnilo naše znanje o objektu.

Primjeri

Da biste konsolidirali obrađeni materijal, pokušajte riješiti nekoliko problema.

Primjer 1 Postoje 3 urne; u prve 3 bijele kuglice i 1 crna; u drugom - 2 bijele lopte i 3 crne; u trećoj - 3 bele lopte. Neko nasumično priđe jednoj od urni i izvuče 1 loptu iz nje. Ova lopta je bijela. Odrediti posteriorne vjerovatnoće da je lopta izvučena iz 1., 2., 3. urne.

Odluka. Imamo tri hipoteze: H 1 = (odabrana prva urna), H 2 = (odabrana druga urna), H 3 = (izabrana treća urna). Pošto je urna nasumično odabrana, apriorne vjerovatnoće hipoteza su: R(N 1) = R(N 2) = R(N 3) = 1/3.

Kao rezultat eksperimenta, pojavio se događaj A = (iz odabrane urne je izvađena bijela kugla). Uslovne vjerovatnoće događaja A pod hipotezama H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Na primjer, prva jednakost glasi ovako: “vjerovatnoća izvlačenja bijele kugle ako se izabere prva urna je 3/4 (pošto u prvoj urni ima 4 kugle, a 3 su bijele)”.

Primjenom Bayesove formule nalazimo posteriorne vjerovatnoće hipoteza:

Tako su se u svjetlu informacija o nastanku događaja A promijenile vjerovatnoće hipoteza: najvjerovatnija je postala hipoteza H 3 , najmanje vjerovatna hipoteza H 2 .

Primjer 2 Dva strijelca nezavisno pucaju u istu metu, svaki ispaljuje po jedan hitac. Verovatnoća da pogodi metu za prvog strelca je 0,8, za drugog - 0,4. Nakon gađanja pronađena je jedna rupa na meti. Pronađite vjerovatnoću da ova rupa pripada prvom strijelcu (odbacimo ishod (obje rupe su se poklopile) kao zanemarljivo malo vjerojatan).

Odluka. Prije eksperimenta moguće su sljedeće hipoteze: H 1 = (neće pogoditi ni prva ni druga strijela), H 2 = (obje strijele će pogoditi), H 3 - (prvi strijelac će pogoditi, a drugi neće ), H 4 = (prvi strijelac neće pogoditi, a drugi će pogoditi). Prethodne vjerovatnoće hipoteza:

P (H 1) = 0,2 * 0,6 \u003d 0,12; P (H 2) = 0,8 * 0,4 \u003d 0,32; P (H 3) = 0,8 * 0,6 \u003d 0,48; P (H 4) = 0,2 * 0,4 \u003d 0,08.

Uslovne vjerovatnoće posmatranog događaja A = (postoji jedna rupa u meti) prema ovim hipotezama su: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

Nakon iskustva, hipoteze H 1 i H 2 postaju nemoguće, a posteriorne vjerovatnoće hipoteza H 3 i H 4 prema Bayesovoj formuli će biti:

Bayes protiv neželjene pošte

Bayesova formula je našla široku primjenu u razvoju filtera za neželjenu poštu. Recimo da želite da obučite računar da odredi koje su e-poruke neželjena pošta. Krenut ćemo od rječnika i kombinacija riječi koristeći Bayesove procjene. Hajde da prvo napravimo prostor hipoteza. Hajde da imamo 2 hipoteze u vezi sa bilo kojim slovom: H A je neželjena pošta, H B nije neželjena pošta, već normalno, neophodno pismo.

Prvo, hajde da "obučimo" naš budući anti-spam sistem. Uzmimo sva slova koja imamo i podijelimo ih u dvije "hrpe" od 10 slova. U jedan stavljamo neželjena pisma i zovemo ga H A hrpa, u drugi stavljamo potrebnu korespondenciju i zovemo ga H B hrpa. Sada da vidimo: koje riječi i fraze se nalaze u neželjenoj pošti i potrebnim e-porukama i s kojom učestalošću? Ove riječi i fraze će se zvati dokazi i označavati ih sa E 1 , E 2 ... Ispostavilo se da se najčešće korištene riječi (na primjer, riječi “like”, “vaš”) u hrpama H A i H B javljaju s približno istu frekvenciju. Dakle, prisustvo ovih riječi u pismu ne govori nam ništa o tome kojoj hrpi pripada (slab dokaz). Dodijelimo ovim riječima neutralnu vrijednost procjene vjerovatnoće "spama", recimo, 0,5.

Neka se fraza "konverzacijski engleski" pojavljuje u samo 10 slova, i to češće u neželjenim e-porukama (na primjer, u 7 neželjenih poruka od svih 10) nego u pravim (u 3 od 10). Dajmo ovoj frazi višu ocjenu od 7/10 za neželjenu poštu i nižu ocjenu za normalne e-poruke: 3/10. Suprotno tome, pokazalo se da je riječ "prijatelj" češća u normalnim slovima (6 od 10). I tako smo dobili kratko pismo: “Prijatelju! Kakav je tvoj govorni engleski?. Pokušajmo procijeniti njegovu "spamnost". Stavit ćemo opće procjene P(H A), P(H B) pripadnosti svakoj hrpi koristeći donekle pojednostavljenu Bayesovu formulu i naše približne procjene:

P(H A) = A/(A+B), gdje A \u003d p a1 * p a2 * ... * tava, B \u003d p b1 * p b2 * ... * p b n \u003d (1 - p a1) * (1 - p a2) * ... * ( 1 - p an).

Tabela 1. Pojednostavljena (i nepotpuna) Bayesova evaluacija pisanja

Tako je naše hipotetičko pismo dobilo ocjenu vjerovatnoće pripadnosti s naglaskom u pravcu „spam“. Možemo li odlučiti da pismo bacimo na jednu od gomila? Postavimo pragove odluke:

Pretpostavit ćemo da slovo pripada hrpi H i ako je P(H i) ≥ T.
Slovo ne pripada hrpi ako je P(H i) ≤ L.
Ako je L ≤ P(H i) ≤ T, onda se odluka ne može donijeti.

Možete uzeti T = 0,95 i L = 0,05. Budući da je za predmetno pismo i 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Da. Hajde da izračunamo rezultat za svaki dokaz na drugačiji način, baš kao što je Bayes predložio. neka bude:

F a je ukupan broj neželjenih e-poruka;

F ai je broj slova sa sertifikatom i u gomili neželjene pošte;

F b je ukupan broj potrebnih slova;

F bi je broj slova sa sertifikatom i u gomili potrebnih (relevantnih) slova.

Tada je: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), gdje A = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Imajte na umu da su rezultati dokaznih riječi p ai i p bi postali objektivni i da se mogu izračunati bez ljudskog učešća.

Tabela 2. Tačnija (ali nepotpuna) Bayesova procjena za dostupne karakteristike iz pisma

Dobili smo sasvim definitivan rezultat - sa velikom marginom vjerovatnoće, slovo se može pripisati potrebnim slovima, budući da je P(H B) = 0,997 > T = 0,95. Zašto se rezultat promijenio? Pošto smo koristili više informacija - uzeli smo u obzir broj slova u svakoj od hrpa i, usput rečeno, mnogo tačnije odredili procjene p ai i p bi. One su određene na isti način kao i sam Bayes, izračunavanjem uslovnih vjerovatnoća. Drugim riječima, p a3 je vjerovatnoća da će se riječ "prijatelj" pojaviti u e-poruci, s obzirom da e-pošta već pripada spam hrpi H A . Rezultat nije dugo čekao - čini se da možemo sa većom sigurnošću donijeti odluku.

Bayes protiv korporativnih prijevara

Zanimljivu primjenu Bayesovog pristupa opisao je MAGNUS8.

Moj trenutni projekat (IS za otkrivanje prevare u proizvodnom preduzeću) koristi Bayesovu formulu za određivanje verovatnoće prevare (prevare) u prisustvu/odsustvu nekoliko činjenica indirektno u prilog hipotezi o mogućnosti prevare. Algoritam se samouči (sa povratnom spregom), tj. preračunava svoje koeficijente (uslovne vjerovatnoće) nakon stvarne potvrde ili nepotvrđivanja prijevare prilikom provjere službe ekonomske sigurnosti.

Vjerovatno je vrijedno reći da takve metode pri dizajniranju algoritama zahtijevaju prilično visoku matematičku kulturu programera, jer najmanja greška u izvođenju i/ili implementaciji računskih formula će poništiti i diskreditovati čitav metod. Za to su posebno krive probabilističke metode, jer ljudsko razmišljanje nije prilagođeno radu sa probabilističkim kategorijama i, shodno tome, nema „vidljivosti“ i razumijevanja „fizičkog značenja“ među- i konačnih probabilističkih parametara. Takvo shvatanje postoji samo za osnovne koncepte teorije verovatnoće, a onda samo treba veoma pažljivo kombinovati i izvoditi složene stvari prema zakonima teorije verovatnoće - zdrav razum više neće pomoći za kompozitne objekte. Ovo je posebno povezano s prilično ozbiljnim metodološkim bitkama koje se odvijaju na stranicama modernih knjiga o filozofiji vjerojatnosti, kao i velikim brojem sofizama, paradoksa i zagonetki radoznalosti na ovu temu.

Još jedna nijansa sa kojom sam se morao suočiti je da je, nažalost, skoro sve što je manje-više KORISNO U PRAKSI na ovu temu napisano na engleskom jeziku. U izvorima na ruskom jeziku u osnovi postoji samo dobro poznata teorija s demonstracionim primjerima samo za najprimitivnije slučajeve.

U potpunosti se slazem sa zadnjim komentarom. Na primjer, Google, kada je pokušavao pronaći nešto poput knjige “Bayesian Probability”, nije dao ništa razumljivo. Istina, rekao je da je knjiga sa bajesovskom statistikom zabranjena u Kini. (Profesor statistike Andrew Gelman izvijestio je na blogu Univerziteta Columbia da je njegova knjiga, Analiza podataka s regresijom i višerazinskim/hijerarhijskim modelima, zabranjena za objavljivanje u Kini. tekst.”) Pitam se da li je sličan razlog doveo do izostanka knjiga o Bayesianu vjerovatnoća u Rusiji?

Konzervativizam u procesu obrade ljudskih informacija

Vjerovatnoće određuju stepen neizvjesnosti. Vjerovatnoća, kako prema Bayesu tako i prema našoj intuiciji, je jednostavno broj između nule i onoga što predstavlja stepen do kojeg pomalo idealizirana osoba vjeruje da je izjava istinita. Razlog zašto je čovjek donekle idealiziran je taj što zbir njegovih vjerovatnoća za dva međusobno isključiva događaja mora biti jednak njegovoj vjerovatnoći da se dogodi bilo koji od tih događaja. Svojstvo aditivnosti ima takve implikacije da malo stvarnih ljudi može da im parira svima.

Bayesova teorema je trivijalna posljedica svojstva aditivnosti, neporeciva i s kojom se slažu svi probabilisti, Bayesovi i drugi. Jedan od načina da to napišete je sljedeći. Ako je P(H A |D) naknadna vjerovatnoća da je hipoteza A bila nakon što je uočena data vrijednost D, P(H A) je njena prethodna vjerovatnoća prije nego što je data vrijednost D uočena, P(D|H A ) je vjerovatnoća da je a data vrijednost D će se posmatrati, ako je H A tačno, a P(D) je bezuslovna vjerovatnoća date vrijednosti D, tada

(1) P(H A |D) = P(D|H A) * P(H A) / P(D)

P(D) je najbolje smatrati normalizujućom konstantom, koja uzrokuje da se aposteriorne vjerovatnoće zbroje u jedan preko iscrpnog skupa međusobno isključivih hipoteza koje se razmatraju. Ako je potrebno izračunati, može biti ovako:

Ali češće se P(D) eliminiše, a ne broji. Pogodan način da se to eliminiše je transformacija Bayesove teoreme u oblik relacije vjerovatnoća-izgled.

Razmotrite drugu hipotezu, H B , koja se međusobno isključuje za HA, i promijenite svoje mišljenje o njoj na osnovu iste date količine koja je promijenila vaše mišljenje o HA. Bayesova teorema kaže da

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Sada dijelimo jednačinu 1 sa jednačinom 2; rezultat će biti ovakav:

gdje su Ω 1 posteriorne šanse u korist H A u smislu H B , Ω 0 su prethodne šanse, a L je broj poznat statističarima kao omjer vjerovatnoća. Jednačina 3 je ista relevantna verzija Bayesove teoreme kao i jednačina 1, i često je mnogo korisnija, posebno za eksperimente koji uključuju hipoteze. Bayesovi zagovornici tvrde da je Bayesova teorema formalno optimalno pravilo za reviziju mišljenja u svjetlu novih podataka.

Zainteresovani smo da uporedimo idealno ponašanje definisano Bayesovom teoremom sa stvarnim ponašanjem ljudi. Da bismo vam dali neku ideju o tome šta ovo znači, hajde da pokušamo da eksperimentišemo sa vama kao subjektom. Ova torba sadrži 1000 žetona za poker. Imam dvije takve torbe, jednu sa 700 crvenih i 300 plavih čipsa, a drugu sa 300 crvenih i 700 plavih. Bacio sam novčić da odredim koji da upotrebim. Dakle, ako su naša mišljenja ista, vaša trenutna vjerovatnoća da izvučete vrećicu s više crvenih čipova je 0,5. Sada nasumično uzorkujete, vraćajući se nakon svakog tokena. U 12 žetona dobijate 8 crvenih i 4 plava. Sada, na osnovu svega što znate, kolika je vjerovatnoća da je torba dobila više crvenih? Jasno je da je veći od 0,5. Nemojte nastaviti čitati dok ne snimite svoju ocjenu.

Ako izgledate kao tipičan subjekt, vaš rezultat pada između 0,7 i 0,8. Međutim, ako bismo uradili odgovarajući proračun, odgovor bi bio 0,97. Zaista, vrlo je rijetko da osoba kojoj se ranije nije pokazao utjecaj konzervativizma može doći do tako visoke procjene, čak i ako je bila upoznata s Bayesovom teoremom.

Ako je udio crvenog čipsa u vrećici R, zatim vjerovatnoća dobivanja r crveni čips i ( n-r) plava u n uzorci sa povratkom - p r (1–p)n–r. Dakle, u tipičnom eksperimentu sa torbama i poker čipovima, ako HA znači da je udio crvenih čipsa r A i HB znači da je udio RB, zatim omjer vjerovatnoće:

Prilikom primjene Bayesove formule, mora se uzeti u obzir samo vjerovatnoća stvarnog zapažanja, a ne vjerovatnoće drugih zapažanja koje je on mogao napraviti, ali nije. Ovaj princip ima široke implikacije za sve statističke i nestatističke primjene Bayesove teoreme; to je najvažnije tehničko oruđe Bayesovskog mišljenja.

Bayesova revolucija

Vaši prijatelji i kolege govore o nečemu što se zove "Bayesova teorema" ili "Bayesovo pravilo" ili o nečemu što se zove Bayesovo razmišljanje. Oni su stvarno u tome, pa odete na internet i nađete stranicu o Bayesovoj teoremi i... To je jednačina. I to je sve... Zašto matematički koncept izaziva takav entuzijazam u glavama? Kakva se to „Bajesova revolucija“ dešava među naučnicima, a tvrdi se da se čak i sam eksperimentalni pristup može opisati kao njegov poseban slučaj? Koja je tajna koju znaju Bayesovi sljedbenici? Kakvu vrstu svjetlosti vide?

Bayesova revolucija u nauci nije se dogodila jer je sve više kognitivnih naučnika odjednom počelo primjećivati da mentalni fenomeni imaju Bayesovu strukturu; ne zato što su naučnici u svim oblastima počeli da koriste Bayesovu metodu; već zato što je sama nauka poseban slučaj Bayesove teoreme; eksperimentalni dokazi su Bayesovski dokazi. Bayesovi revolucionari tvrde da kada napravite eksperiment i dobijete dokaze koji "podržavaju" ili "pobijaju" vašu teoriju, ta potvrda ili opovrgavanje se događa prema Bayesovim pravilima. Na primjer, morate uzeti u obzir ne samo da vaša teorija može objasniti fenomen, već i da postoje druga moguća objašnjenja koja također mogu predvidjeti ovaj fenomen.

Ranije je najpopularnija filozofija nauke bila stara filozofija koja je istisnuta Bajesovskom revolucijom. Ideja Karla Poppera da se teorije mogu potpuno krivotvoriti, ali nikada potpuno potvrditi, još je jedan poseban slučaj Bayesovih pravila; ako je p(X|A) ≈ 1 - ako teorija daje ispravna predviđanja, onda posmatranje ~X vrlo snažno krivotvori A. S druge strane, ako je p(X|A) ≈ 1 i mi posmatramo X, to nije puno podržavaju teoriju; neki drugi uslov B je moguć, takav da je p(X|B) ≈ 1, i pod kojim posmatranje X ne dokazuje za A već dokaz za B. Da bismo primetili da X definitivno potvrđuje A, ne bismo morali da znamo da je p( X|A) ≈ 1 i da je p(X|~A) ≈ 0, što ne možemo znati jer ne možemo razmotriti sva moguća alternativna objašnjenja. Na primjer, kada je Einsteinova teorija opće relativnosti nadmašila Newtonovu vrlo provjerljivu teoriju gravitacije, učinila je sva predviđanja Newtonove teorije posebnim slučajem Ajnštajnove.

Slično, Popperova tvrdnja da ideja mora biti falsifikabilna može se tumačiti kao manifestacija Bayesovog pravila o očuvanju vjerovatnoće; ako je rezultat X pozitivan dokaz za teoriju, onda rezultat ~X mora do neke mjere krivotvoriti teoriju. Ako pokušavate protumačiti i X i ~X kao "podržavanje" teorije, Bayesova pravila kažu da je to nemoguće! Da biste povećali vjerovatnoću teorije, morate je podvrgnuti testovima koji potencijalno mogu smanjiti njenu vjerovatnoću; ovo nije samo pravilo za otkrivanje šarlatana u nauci, već posljedica Bayesove teoreme vjerovatnoće. S druge strane, Popperova ideja da je potreban samo falsifikat i da nije potrebna potvrda je pogrešna. Bayesova teorema pokazuje da je krivotvorenje vrlo jak dokaz u poređenju sa potvrdom, ali je krivotvorenje i dalje vjerovatnoće po prirodi; ne upravlja se fundamentalno drugačijim pravilima i po tome se ne razlikuje od potvrde, kao što Popper tvrdi.

Tako nalazimo da su mnoge pojave u kognitivnim naukama, plus statističke metode koje koriste naučnici, plus sama naučna metoda, posebni slučajevi Bayesove teoreme. To je ono što je Bayesova revolucija.

Dobrodošli u Bayesian Conspiration!

Literatura o Bayesovoj vjerojatnosti

2. Nobelovac za ekonomiju Kahneman (et al.) opisuje mnogo različitih Bayesovih primjena u divnoj knjizi. Samo u svom sažetku ove veoma velike knjige, izbrojao sam 27 referenci na ime jednog prezbiterijanskog sveštenika. Minimalne formule. (.. baš mi se dopalo. Istina, komplikovano je, puno matematike (i gde bez toga), ali pojedina poglavlja (npr. Poglavlje 4. Informacije), jasno na temu. Savetujem svima. Čak i ako je matematika teško za tebe, čitaj red, preskačući matematiku i pecaj korisne žitarice...

14. (dodatak od 15.01.2017), poglavlje iz knjige Tonija Krilija. 50 ideja o kojima trebate znati. Matematika.

Nobelovac fizičar Richard Feynman, govoreći o posebno egoističnom filozofu, jednom je rekao: „Nije me iritira filozofija kao nauka, već pompa koja je stvorena oko nje. Kad bi se samo filozofi mogli smijati sami sebi! Kad bi samo mogli da kažu: "Ja kažem da je ovako, ali Fon Lajpcig je mislio da je drugačije, i on takođe zna nešto o tome." Kad bi se barem sjetili pojasniti da je to samo njihovo .

Sibirski državni univerzitet za telekomunikacije i informatiku

Odsjek za višu matematiku

disciplina: "Teorija vjerovatnoće i matematička statistika"

"Formula ukupne vjerovatnoće i Bayesova (Bayesova) formula i njihova primjena"

Završeno:

Rukovodilac: profesor B.P. Zelentsov

Novosibirsk, 2010

Uvod 3

1. Formula ukupne vjerovatnoće 4-5

2. Bayesova formula (Bayes) 5-6

3. Problemi sa rješenjima 7-11

4. Glavna područja primjene Bayesove formule (Bayes) 11

Zaključak 12

Literatura 13

Uvod

Teorija vjerovatnoće je jedna od klasičnih grana matematike. Ima dugu istoriju. Osnove ovoj grani nauke postavili su veliki matematičari. Nazvat ću, na primjer, Ferma, Bernoullija, Pascal.
Kasnije je razvoj teorije vjerovatnoće određen u radovima mnogih naučnika.
Naučnici naše zemlje dali su veliki doprinos teoriji vjerovatnoće:
P. L. Čebišev, A. M. Ljapunov, A. A. Markov, A. N. Kolmogorov. Probabilističke i statističke metode su sada duboko usađene u aplikacije. Koriste se u fizici, inženjerstvu, ekonomiji, biologiji i medicini. Njihova uloga je posebno porasla u vezi sa razvojem računarske tehnologije.

Na primjer, radi proučavanja fizičkih pojava vrše se zapažanja ili eksperimenti. Njihovi rezultati se obično bilježe kao vrijednosti nekih posmatranih veličina. Prilikom ponavljanja eksperimenata nalazimo rasipanje u njihovim rezultatima. Na primjer, ponavljanjem mjerenja iste količine istim uređajem uz održavanje određenih uvjeta (temperatura, vlažnost itd.), dobivamo rezultate koji se barem malo razlikuju, ali se ipak razlikuju jedni od drugih. Čak i višestruka mjerenja ne omogućavaju precizno predviđanje rezultata sljedećeg mjerenja. U tom smislu, za rezultat mjerenja se kaže da je slučajna veličina. Još jasniji primjer slučajne varijable je broj dobitne srećke. Mogu se dati mnogi drugi primjeri slučajnih varijabli. Ipak, u svijetu nesreća postoje određeni obrasci. Matematički aparat za proučavanje ovakvih pravilnosti obezbeđuje teorija verovatnoće.
Dakle, teorija vjerovatnoće se bavi matematičkom analizom slučajnih događaja i slučajnih varijabli povezanih s njima.

1. Formula ukupne vjerovatnoće.

Neka postoji grupa događaja H 1 ,H 2 ,..., H n, koji ima sljedeća svojstva:

1) svi događaji su parovi nekompatibilni: H i

Hj=Æ; i, j=1,2,...,n; i¹ j;

2) njihov spoj čini prostor elementarnih ishoda W:

Fig.8

U ovom slučaju ćemo to reći H 1 , H 2 ,...,H n formu kompletna grupa događaja. Takvi događaji se ponekad nazivaju hipoteze.

Neka bude ALI- neki događaj: ALIÌW (Venn dijagram prikazan na slici 8). Onda postoji formula ukupne vjerovatnoće:

P(A) = P(A/H 1)P(H 1) + P(A/H 2)P(H 2) + ...+P(A/H n)P(H n) =

Dokaz. Očigledno: A=

, i svi događaji ( i = 1,2,...,n) su parovi nedosljedni. Odavde, teoremom o dodavanju vjerovatnoće, dobijamo

P(A) = P(

) + P( ) +...+ P(

S obzirom na to teoremom množenja P(

) = P(A/H i) P(H i)( i= 1,2,...,n), onda je iz posljednje formule lako dobiti gornju formulu za ukupnu vjerovatnoću.

Primjer. U prodavnici se prodaju električne lampe koje proizvode tri fabrike, sa učešćem prve fabrike - 30%, druge - 50%, treće - 20%. Brak u njihovim proizvodima je 5%, 3% i 2%. Kolika je vjerovatnoća da je lampa slučajno odabrana u radnji neispravna?

Neka događaj H 1 je da se odabrana lampa proizvodi u prvoj fabrici, H 2 na drugom H 3 - kod trećeg pogona. Očigledno:

P(H 1) = 3/10, P(H 2) = 5/10, P(H 3) = 2/10.

Neka događaj ALI sastoji se u činjenici da se odabrana lampa pokazala neispravnom; A/H i označava događaj koji se sastoji u činjenici da je neispravna lampa odabrana od lampi proizvedenih u i th fabrici. Iz stanja problema proizilazi:

P (A/ H 1) = 5/10; P(A/ H 2) = 3/10; P(A/ H 3) = 2/10

Prema formuli ukupne vjerovatnoće dobijamo

2. Bayesova formula (Bayes)

Neka bude H 1 ,H 2 ,...,H n- kompletna grupa događaja i ALIÌ W je neki događaj. Zatim prema formuli za uslovnu vjerovatnoću

(1)

Evo P(H k/A) je uslovna vjerovatnoća događaja (hipoteza) H k ili vjerovatnoća da H k sprovodi se pod uslovom da se događaj ALI dogodilo.

Prema teoremi množenja vjerovatnoće, brojilac formule (1) se može predstaviti kao

P = P = P(A/H k)P(H k)

Za predstavljanje nazivnika formule (1), može se koristiti formula ukupne vjerovatnoće

P(A)

Sada se iz (1) može dobiti formula tzv Bayesova formula:

Po Bayesovoj formuli izračunava se vjerovatnoća realizacije hipoteze H k pod uslovom da je događaj ALI dogodilo. Bayesova formula se također naziva formula vjerovatnoće hipoteze. Vjerovatnoća P(H k) naziva se prethodna vjerovatnoća hipoteze H k, i vjerovatnoća P(H k/A) je posteriorna vjerovatnoća.

Teorema. Vjerovatnoća hipoteze nakon testiranja jednaka je proizvodu vjerovatnoće hipoteze prije testiranja sa odgovarajućom uslovnom vjerovatnoćom događaja koji se dogodio tokom testiranja, podijeljenom sa ukupnom vjerovatnoćom ovog događaja.

Primjer. Razmotrite gornji problem o električnim lampama, samo promijenite pitanje problema. Neka kupac kupi električnu lampu u ovoj radnji, a ispostavilo se da je neispravna. Pronađite vjerovatnoću da je ova lampa proizvedena u drugoj fabrici. Vrijednost P(H 2) = 0,5 u ovom slučaju, ovo je apriorna vjerovatnoća da se kupljena lampa proizvodi u drugoj fabrici. Dobivši informaciju da je kupljena lampa neispravna, možemo korigovati našu procjenu mogućnosti proizvodnje ove lampe u drugom pogonu tako što ćemo izračunati posteriornu vjerovatnoću ovog događaja.

Napišimo Bayesovu formulu za ovaj slučaj

Iz ove formule dobijamo: P(H 2 /A) = 15/34. Kao što se vidi, dobijene informacije su dovele do toga da je verovatnoća događaja koji nas interesuje manja od apriorne verovatnoće.

3. Problemi sa rješenjima.

Zadatak 1. Prodavnica je dobila nove proizvode od tri preduzeća. Procentualni sastav ovih proizvoda je sledeći: 20% - proizvodi prvog preduzeća, 30% - proizvodi drugog preduzeća, 50% - proizvodi trećeg preduzeća; dalje, 10% proizvoda prvog preduzeća najvišeg kvaliteta, drugog preduzeća - 5% i trećeg - 20% proizvoda najvišeg kvaliteta. Pronađite vjerovatnoću da će slučajno kupljeni novi proizvod biti najvišeg kvaliteta.

Odluka. Označiti sa AT slučaj da će se kupiti premium proizvod, putem

Označimo događaje koji se sastoje od kupovine proizvoda koji pripadaju prvom, drugom i trećem preduzeću.

Možemo primijeniti formulu ukupne vjerovatnoće, au našoj notaciji:

Zamjenom ovih vrijednosti u formulu ukupne vjerovatnoće dobijamo traženu vjerovatnoću:

Zadatak 2. Jedan od trojice strijelaca se poziva na liniju vatre i ispaljuje dva hica. Vjerovatnoća pogađanja mete jednim udarcem za prvog strijelca je 0,3, za drugog - 0,5; za treći - 0,8. Cilj nije pogođen. Pronađite vjerovatnoću da je hitac ispalio prvi strijelac.

Možda nikada niste čuli za Bayesovu teoremu, ali ste je stalno koristili. Na primjer, inicijalno ste procijenili vjerovatnoću da dobijete povećanje plate na 50%. Nakon što ste dobili pozitivne povratne informacije od menadžera, prilagodili ste svoju ocjenu na bolje i, obrnuto, smanjili je ako ste pokvarili aparat za kavu na poslu. Ovako se vrijednost vjerovatnoće rafinira kako se informacije akumuliraju.

Glavna ideja Bayesove teoreme je da se dobije veća tačnost procjene vjerovatnoće događaja uzimajući u obzir dodatne podatke.

Princip je jednostavan: postoji početna osnovna procjena vjerovatnoće, koja je dopunjena više informacija.

Bayesova formula

Intuitivne akcije su formalizirane u jednostavnu, ali moćnu jednačinu ( Bayesova formula vjerovatnoće):

Lijeva strana jednačine je aposteriori procjena vjerovatnoće događaja A pod uslovom da se dogodi događaj B (tzv. uslovna vjerovatnoća).

P(A)- vjerovatnoća događaja A (osnovna, a priori procjena);
P(B|A) — vjerovatnoća (takođe uslovna) koju dobijamo iz naših podataka;
a P(B) je konstanta normalizacije koja ograničava vjerovatnoću na 1.

Ova kratka jednačina je osnova Bayesova metoda.

Apstraktna priroda događaja A i B ne dozvoljava nam da jasno shvatimo značenje ove formule. Da bismo razumjeli suštinu Bayesove teoreme, razmotrimo pravi problem.

Primjer

Jedna od tema na kojima radim je proučavanje obrazaca spavanja. Imam dva mjeseca podataka snimljenih mojim Garmin Vivosmart satom koji pokazuju u koliko sati idem na spavanje i kada se budim. Prikaz konačnog modela najvjerovatnije Distribucija vjerovatnoće spavanja kao funkcija vremena (MCMC je približna metoda) je data u nastavku.

Grafikon pokazuje vjerovatnoću da spavam, ovisno samo o vremenu. Kako će se to promijeniti ako uzmete u obzir vrijeme tokom kojeg je upaljeno svjetlo u spavaćoj sobi? Za preciziranje procjene potrebna je Bayesova teorema. Rafinirana procjena je zasnovana na apriornoj i ima oblik:

Izraz na lijevoj strani je vjerovatnoća da spavam, s obzirom da se zna da je upaljeno svjetlo u mojoj spavaćoj sobi. Prethodna procjena u datom trenutku (prikazano na grafikonu iznad) je označena kao P (spavanje). Na primjer, u 22:00 prethodna vjerovatnoća da spavam je 27,34%.

Dodajte više informacija koristeći vjerovatnoću P (svjetlo u spavaćoj sobi | spavanje) proizilaze iz posmatranih podataka.

Iz sopstvenih zapažanja znam sledeće: verovatnoća da spavam kada je svetlo upaljeno je 1%.

Verovatnoća da se svetlo ugasi tokom spavanja je 1-0,01 = 0,99 (znak "-" u formuli znači suprotan događaj), jer je zbir verovatnoća suprotnih događaja 1. Kada spavam, svetlo u spavaćoj sobi ili omogućeno ili onemogućeno.

Konačno, jednačina uključuje i normalizacijske konstante P (svjetlo) vjerovatnoća da je svjetlo upaljeno. Svetlo je upaljeno i kada spavam i kada sam budan. Stoga, znajući apriornu vjerovatnoću spavanja, izračunavamo konstantu normalizacije na sljedeći način:

Vjerovatnoća da je svjetlo upaljeno uzima se u obzir u obje opcije: ili spavam ili ne ( P(-spavanje) = 1 — P (spavanje) je vjerovatnoća da sam budan.)

Verovatnoća da je svetlo upaljeno kada sam budan je P(lagano|-spavanje), i utvrđeno posmatranjem. Znam da postoji 80% šanse da je lampica upaljena kada sam budan (što znači da postoji 20% šanse da lampica nije upaljena ako sam budan).

Konačna Bayesova jednačina postaje:

Omogućava vam da izračunate vjerovatnoću da spavam, s obzirom da je svjetlo uključeno. Ako nas zanima vjerovatnoća da je svjetlo ugašeno, potrebna nam je svaka konstrukcija P(svjetlo|… zamijenjen sa P(-svjetlo|….

Pogledajmo kako se rezultirajuće simboličke jednačine koriste u praksi.

Primijenimo formulu na vrijeme 22:30 i vodimo računa da je svjetlo upaljeno. Znamo da postoji 73,90% šanse da sam spavao. Ovaj broj je početna tačka za našu procjenu.

Hajde da ga preciziramo, uzimajući u obzir informacije o rasvjeti. Znajući da je svjetlo upaljeno, zamjenjujemo brojeve u Bayesovu formulu:

Dodatni podaci su dramatično promijenili procjenu vjerovatnoće, sa preko 70% na 3,42%. Ovo pokazuje snagu Bayesove teoreme: bili smo u mogućnosti da preciziramo našu početnu procjenu situacije uključivanjem više informacija. Možda smo to intuitivno radili ranije, ali sada, razmišljajući o tome u smislu formalnih jednačina, uspjeli smo potvrditi naša predviđanja.

Razmotrimo još jedan primjer. Šta ako je sat 21:45 i svjetla su ugašena? Pokušajte sami izračunati vjerovatnoću, pretpostavljajući prethodnu procjenu od 0,1206.

Umjesto ručnog brojanja svaki put, napisao sam jednostavan Python kod za ove proračune, koje možete isprobati u Jupyter Notebook-u. Dobićete sledeći odgovor:

Vrijeme: 21:45:00 Svjetlo je ISKLJUČENO.

Prethodna vjerovatnoća spavanja: 12,06%
Ažurirana vjerovatnoća spavanja: 40,44%

Opet, dodatne informacije mijenjaju našu procjenu. Sada, ako moja sestra želi da me nazove u 21:45 znajući da mi je lampica upaljena, može koristiti ovu jednačinu da odredi da li mogu da podignem telefon (pod pretpostavkom da se javljam samo kada sam budan)! Ko kaže da statistika nije primjenjiva na svakodnevni život?

Vizualizacija vjerovatnoće

Promatranje proračuna je korisno, ali vizualizacija pomaže da se dobije dublje razumijevanje rezultata. Uvijek pokušavam koristiti grafove za generiranje ideja ako one ne dolaze prirodno iz samog proučavanja jednačina. Možemo vizualizirati prethodnu i posteriornu distribuciju vjerovatnoće spavanja koristeći dodatne podatke:

Kada je svjetlo uključeno, grafikon se pomiče udesno, što ukazuje da je manje vjerovatno da ću spavati u to vrijeme. Isto tako, grafikon se pomiče ulijevo ako je moje svjetlo isključeno. Razumijevanje značenja Bayesove teoreme nije lako, ali ova ilustracija jasno pokazuje zašto je trebate koristiti. Bayesova formula je alat za preciziranje prognoza s dodatnim podacima.

Šta ako ima još više podataka?

Zašto se zaustaviti na rasvjeti spavaće sobe? Možemo koristiti još više podataka u našem modelu da dodatno preciziramo procjenu (sve dok podaci ostaju korisni za slučaj koji se razmatra). Na primjer, znam da ako se moj telefon puni, onda postoji 95% šanse da ću zaspati. Ova činjenica se može uzeti u obzir u našem modelu.

Pretpostavimo da je vjerovatnoća da se moj telefon puni neovisna o osvjetljenju u spavaćoj sobi (nezavisnost događaja je jako pojednostavljenje, ali će znatno olakšati zadatak). Hajde da napravimo novi, još precizniji izraz za vjerovatnoću:

Rezultirajuća formula izgleda glomazno, ali koristeći Python kod, možemo napisati funkciju koja će izvršiti proračun. Za bilo koji trenutak i bilo koju kombinaciju osvjetljenja/punjenja telefona, ova funkcija vraća prilagođenu vjerovatnoću da spavam.

Vrijeme je 23:00:00 Svjetlo je UKLJUČENO Telefon se NE puni.

Prethodna vjerovatnoća spavanja: 95,52%
Ažurirana vjerovatnoća spavanja: 1,74%

U 23:00, bez dodatnih informacija, gotovo sigurno bismo mogli reći da sam sanjao. Međutim, kada imamo dodatne informacije da je lampica upaljena, a telefon se ne puni, zaključujemo da je vjerovatnoća da spavam praktički nula. Evo još jednog primjera:

Vrijeme je 22:15:00 Svjetlo je ISKLJUČENO Telefon se puni.

Prethodna vjerovatnoća spavanja: 50,79%
Ažurirana vjerovatnoća spavanja: 95,10%

Vjerovatnoća se pomjera prema dolje ili prema gore ovisno o specifičnoj situaciji. Da biste to pokazali, razmotrite četiri dodatne konfiguracije podataka i kako one mijenjaju distribuciju vjerovatnoće:

Na ovom grafikonu ima mnogo informacija, ali glavna stvar je da se kriva vjerovatnoće mijenja ovisno o dodatnim faktorima. Kako se bude dodavalo više podataka, dobićemo precizniju procjenu.

Zaključak

Bayesovu teoremu i druge statističke koncepte može biti teško razumjeti kada su predstavljeni apstraktnim jednadžbama koristeći samo slova ili imaginarne situacije. Pravo učenje dolazi kada primjenjujemo apstraktne koncepte na stvarne probleme.

Uspjeh u nauci o podacima svodi se na kontinuirano učenje, dodavanje novih metoda vašem skupu vještina i pronalaženje najbolje metode za rješavanje problema. Bayesova teorema nam omogućava da preciziramo naše procjene vjerovatnoće s dodatnim informacijama kako bismo bolje modelirali stvarnost. Povećanje količine informacija omogućava preciznija predviđanja, a Bayes se pokazao korisnim alatom za ovaj zadatak.

Pozdravljam povratne informacije, diskusiju i konstruktivnu kritiku. Možete me kontaktirati na Twitteru.

Bayesova formula:

Vjerovatnoće P(H i) hipoteza H i nazivaju se apriorne vjerovatnoće – vjerovatnoće prije eksperimenata.
Vjerovatnoće P(A/H i) se nazivaju aposteriorne vjerovatnoće - vjerovatnoće hipoteza H i rafiniranih kao rezultat eksperimenta.

Primjer #1. Uređaj se može sastaviti od visokokvalitetnih delova i od delova običnog kvaliteta. Oko 40% uređaja sastavljeno je od visokokvalitetnih dijelova. Ako je uređaj sastavljen od visokokvalitetnih dijelova, njegova pouzdanost (vjerovatnoća neometanog rada) tokom vremena t iznosi 0,95; ako je od dijelova običnog kvaliteta - njegova pouzdanost je 0,7. Uređaj je testiran za vrijeme t i radio je besprijekorno. Pronađite vjerovatnoću da je sastavljen od visokokvalitetnih dijelova.
Odluka. Moguće su dvije hipoteze: H 1 - uređaj je sastavljen od visokokvalitetnih dijelova; H 2 - uređaj je sastavljen od dijelova običnog kvaliteta. Vjerovatnoće ovih hipoteza prije eksperimenta: P(H 1) = 0,4, P(H 2) = 0,6. Kao rezultat eksperimenta, uočen je događaj A - uređaj je radio besprijekorno za vrijeme t. Uslovne vjerovatnoće ovog događaja pod hipotezama H 1 i H 2 su: P(A|H 1) = 0,95; P(A|H 2) = 0,7. Koristeći formulu (12) nalazimo vjerovatnoću hipoteze H 1 nakon eksperimenta:

Primjer #2. Dva strijelca nezavisno pucaju u istu metu, svaki ispaljuje po jedan hitac. Vjerovatnoća pogađanja mete za prvog strijelca je 0,8, za drugog 0,4. Nakon gađanja pronađena je jedna rupa na meti. Uz pretpostavku da dva strijelca ne mogu pogoditi istu tačku, pronađite vjerovatnoću da je prvi strijelac pogodio metu.
Odluka. Neka događaj A bude jedna rupa pronađena u meti nakon gađanja. Prije početka snimanja moguće su hipoteze:
H 1 - ni prvi ni drugi strijelac neće pogoditi, vjerovatnoća ove hipoteze: P(H 1) = 0,2 0,6 = 0,12.
H 2 - oba strijelca će pogoditi, P(H 2) = 0,8 0,4 = 0,32.
H 3 - prvi strijelac će pogoditi, a drugi neće pogoditi, P(H 3) = 0,8 0,6 = 0,48.
H 4 - prvi strijelac neće pogoditi, ali će drugi pogoditi, P (H 4) = 0,2 0,4 = 0,08.
Uslovne vjerovatnoće događaja A prema ovim hipotezama su:

Nakon iskustva, hipoteze H 1 i H 2 postaju nemoguće, a vjerovatnoće hipoteza H 3 i H 4
će biti jednako:

Dakle, najvjerovatnije je da je metu pogodio prvi strijelac.

Primjer #3. U montažnoj radnji na uređaj je priključen elektromotor. Elektromotore isporučuju tri proizvođača. U skladištu se nalazi 19,6 odnosno 11 elektromotora pomenutih fabrika, koji mogu da rade bez kvara do isteka garantnog roka, respektivno, sa verovatnoćom od 0,85, 0,76 i 0,71. Radnik nasumično uzima jedan motor i montira ga na uređaj. Odrediti vjerovatnoću da je elektromotor, montiran i radi bez greške do kraja garantnog roka, isporučen od prvog, drugog ili trećeg proizvođača.
Odluka. Prvi test je izbor elektromotora, drugi je rad elektromotora u garantnom roku. Razmotrite sljedeće događaje:
A - elektromotor radi besprijekorno do kraja garantnog roka;
H 1 - monter će uzeti motor iz proizvoda prve fabrike;
H 2 - monter će uzeti motor iz proizvoda druge fabrike;
H 3 - monter će uzeti motor iz proizvoda treće fabrike.
Vjerovatnoća događaja A izračunava se po formuli ukupne vjerovatnoće:

Uslovne vjerovatnoće su navedene u iskazu problema:

Nađimo vjerovatnoće

Koristeći Bayesove formule (12), izračunavamo uslovne vjerovatnoće hipoteza H i:

Primjer #4. Vjerovatnoće da će tokom rada sistema, koji se sastoji od tri elementa, otkazati elementi sa brojevima 1, 2 i 3, odnose se na 3:2:5. Vjerovatnoće otkrivanja kvarova ovih elemenata su 0,95; 0,9 i 0,6.

b) U uslovima ovog zadatka, otkriven je kvar tokom rada sistema. Koji element će najvjerovatnije otkazati?

Odluka.
Neka je A događaj neuspjeha. Uvedemo sistem hipoteza H1 - kvar prvog elementa, H2 - kvar drugog elementa, H3 - otkaz trećeg elementa.
Pronalazimo vjerovatnoće hipoteza:
P(H1) = 3/(3+2+5) = 0,3
P(H2) = 2/(3+2+5) = 0,2
P(H3) = 5/(3+2+5) = 0,5

U skladu sa uslovom problema, uslovne verovatnoće događaja A su:
P(A|H1) = 0,95, P(A|H2) = 0,9, P(A|H3) = 0,6

a) Pronađite vjerovatnoću otkrivanja kvara u sistemu.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0,3*0,95 + 0,2*0,9 + 0,5 *0,6 = 0,765

b) U uslovima ovog zadatka, otkriven je kvar tokom rada sistema. Koji element će najvjerovatnije otkazati?
P1 = P(H1)*P(A|H1)/ P(A) = 0,3*0,95 / 0,765 = 0,373
P2 = P(H2)*P(A|H2)/ P(A) = 0,2*0,9 / 0,765 = 0,235
P3 = P(H3)*P(A|H3)/ P(A) = 0,5*0,6 / 0,765 = 0,392

Maksimalna vjerovatnoća trećeg elementa.

Bayesova formula

Bayesova teorema- jedna od glavnih teorema elementarne teorije vjerovatnoće, koja određuje vjerovatnoću da se događaj desi pod uslovima kada su na osnovu posmatranja poznate samo neke djelimične informacije o događajima. Prema Bayesovoj formuli moguće je preciznije preračunati vjerovatnoću, uzimajući u obzir i ranije poznate informacije i podatke iz novih opservacija.

"Fizičko značenje" i terminologija

Bayesova formula vam omogućava da "preuredite uzrok i posljedicu": s obzirom na poznatu činjenicu događaja, izračunajte vjerovatnoću da je on uzrokovan datim uzrokom.

Događaji koji odražavaju djelovanje "uzroka" u ovom slučaju se obično nazivaju hipoteze, jer jesu pretpostavljeno događaje koji su tome doveli. Bezuslovna vjerovatnoća valjanosti hipoteze se naziva a priori(Koliko je vjerojatan uzrok? općenito), i uslovno - uzimajući u obzir činjenicu događaja - a posteriori(Koliko je vjerojatan uzrok? pokazalo se da uzima u obzir podatke o događajima).

Posljedica

Važna posljedica Bayesove formule je formula za ukupnu vjerovatnoću događaja u zavisnosti od nekoliko nedosljedne hipoteze ( i samo od njih!).

- vjerovatnoća da će se događaj dogoditi B, u zavisnosti od brojnih hipoteza A i, ako su stepeni pouzdanosti ovih hipoteza poznati (na primjer, izmjereni eksperimentalno);

Izvođenje formule

Ako događaj zavisi samo od uzroka A i, onda ako se desilo, to znači da se neki od razloga nužno desio, tj.

Po Bayesovoj formuli

transfer P(B) desno, dobijamo željeni izraz.

Metoda filtriranja neželjene pošte

Metoda zasnovana na Bayesovoj teoremi uspješno je primijenjena u filtriranju neželjene pošte.

Opis

Prilikom obuke filtera, za svaku riječ koja se naiđe u slovima, izračunava se i pohranjuje njena „težina“ - vjerovatnoća da je pismo s ovom riječju neželjena pošta (u najjednostavnijem slučaju, prema klasičnoj definiciji vjerovatnoće: „pojavljivanja u neželjenoj pošti / izgled svega”).

Prilikom provjere novopristiglog pisma, vjerovatnoća da se radi o neželjenoj pošti izračunava se prema gornjoj formuli za skup hipoteza. U ovom slučaju, "hipoteze" su riječi, a za svaku riječ "pouzdanost hipoteze" -% ove riječi u slovu, i "ovisnost događaja od hipoteze" P(B | A i) - prethodno izračunata "težina" riječi. Odnosno, "težina" slova u ovom slučaju nije ništa drugo do prosječna "težina" svih njegovih riječi.

Pismo se klasifikuje kao "spam" ili "ne-spam" prema tome da li njegova "težina" prelazi određenu granicu koju je postavio korisnik (obično zauzimaju 60-80%). Nakon što se donese odluka o slovu, “težine” za riječi koje su u njemu uključene se ažuriraju u bazi podataka.

Karakteristično

Ova metoda je jednostavna (algoritmi su elementarni), praktična (omogućava vam da bez "crnih lista" i sličnih umjetnih trikova), učinkovita (nakon treninga na dovoljno velikom uzorku, odsiječe do 95-97% neželjene pošte i u slučaju bilo kakvih grešaka može se dodatno obučiti). Općenito, postoje sve indikacije za njegovu široku upotrebu, što se i događa u praksi - na njegovoj osnovi su izgrađeni gotovo svi moderni filteri za neželjenu poštu.

Međutim, metoda ima i fundamentalni nedostatak: to na osnovu pretpostavke, šta neke su riječi češće u neželjenoj pošti, dok su druge češće u redovnim e-porukama, i neefikasna je ako je ova pretpostavka netačna. Međutim, kao što praksa pokazuje, čak ni osoba nije u stanju odrediti takvu neželjenu poštu "na oko" - tek nakon što pročita pismo i shvati njegovo značenje.

Još jedan, ne fundamentalni, nedostatak povezan s implementacijom - metoda radi samo s tekstom. Znajući za ovo ograničenje, spameri su počeli da stavljaju reklamne informacije na sliku, dok tekst u pismu ili nema ili nema smisla. Protiv toga se moraju koristiti ili alati za prepoznavanje teksta ("skupa" procedura, koja se koristi samo kada je to apsolutno neophodno), ili stare metode filtriranja - "crne liste" i regularni izrazi (pošto takva pisma često imaju stereotipni oblik).

vidi takođe

Bilješke

Linkovi

Književnost

Byrd Kiwi. Rev. Bayesova teorema. // Computerra magazin, 24. avgust 2001
Paul Graham. Plan za spam. // Osobna web stranica Paula Grahama.

Wikimedia fondacija. 2010 .

Pogledajte šta je "Bayesova formula" u drugim rječnicima:

Formula koja izgleda ovako: gdje su a1, A2, ..., An nekompatibilni događaji, Opća shema za primjenu F. in. g.: ako se događaj B može dogoditi u dekomp. uslova pod kojima se postavljaju n hipoteza A1, A2, ..., An sa vjerovatnoćama P (A1), ... poznatim prije eksperimenta, ... ... Geološka enciklopedija

Omogućava vam da izračunate vjerovatnoću događaja od interesa kroz uslovne vjerovatnoće ovog događaja, uz pretpostavku određenih hipoteza, kao i vjerovatnoće ovih hipoteza. Formulacija Neka je dat prostor vjerovatnoće i kompletna grupa u parovima ... ... Wikipedia

- (ili Bayesova formula) je jedna od glavnih teorema teorije vjerovatnoće, koja vam omogućava da odredite vjerovatnoću da se događaj (hipoteza) dogodio uz prisustvo samo indirektnih dokaza (podataka) koji mogu biti netačni... Wikipedia

Bayesova teorema je jedna od glavnih teorema elementarne teorije vjerovatnoće, koja određuje vjerovatnoću da će se događaj desiti pod uslovima kada su na osnovu posmatranja poznate samo neke djelimične informacije o događajima. Prema Bayesovoj formuli, možete ... ... Wikipedia

Bayes, Thomas Thomas Bayes Velečasni Thomas Bayes Datum rođenja: 1702. (1702.) Mjesto rođenja ... Wikipedia

Thomas Bayes Velečasni Thomas Bayes Datum rođenja: 1702. (1702.) Mjesto rođenja: London ... Wikipedia

Bayesova inferencija je jedna od metoda statističkog zaključivanja, u kojoj se Bayesova formula koristi za pročišćavanje probabilističkih procjena istinitosti hipoteza kada stignu dokazi. Upotreba Bayesovog ažuriranja je posebno važna u ... ... Wikipediji

Želite li poboljšati ovaj članak?: Pronađite i navedite fusnote za reference na autoritativne izvore koji potvrđuju ono što je napisano. Stavljajući fusnote, preciznije naznačite izvore. Pere ... Wikipedia

Hoće li zatvorenici izdati jedni druge, slijedeći vlastite sebične interese, ili će šutjeti i time minimizirati ukupnu kaznu? Prisoner's dilemma (eng. Prisoner's dilemma, naziv "dilemma" se rjeđe koristi... Wikipedia

Knjige

Teorija vjerojatnosti i matematička statistika u zadacima. Više od 360 zadataka i vježbi, Borzykh D.A. Predloženi priručnik sadrži zadatke različitih nivoa složenosti. Međutim, glavni naglasak je stavljen na zadatke srednje složenosti. Ovo je namjerno učinjeno kako bi se učenici podstakli da…