Cine este Bayes? Și ce legătură are cu managementul? – poate fi urmată de o întrebare destul de corectă. Deocamdată, credeți-mă pe cuvânt: asta este foarte important! .. și interesant (cel puțin pentru mine).

În ce paradigmă operează majoritatea managerilor: dacă observ ceva, ce concluzii pot trage din el? Ce învață Bayes: ce trebuie să fie de fapt pentru ca eu să observ acest ceva? Așa se dezvoltă toate științele și despre asta scrie (citez din memorie): o persoană care nu are o teorie în cap se va sfii de la o idee la alta sub influența diverselor evenimente (observații). Nu degeaba se spune: nu există nimic mai practic decât o teorie bună.

Un exemplu din practică. Subordonatul meu greșește, iar colegul meu (șeful altui departament) spune că ar fi necesar să se exercite o influență managerială asupra angajatului neglijent (cu alte cuvinte, pedepsire / certa). Și știu că acest angajat face 4-5 mii de operațiuni de același tip pe lună, iar în acest timp nu face mai mult de 10 greșeli. Simți diferența în paradigmă? Colegul meu reacționează la observație, iar eu știu a priori că un angajat face un anumit număr de greșeli, astfel încât încă una nu a afectat aceste cunoștințe... Acum, dacă la sfârșitul lunii se dovedește că există, de exemplu, 15 astfel de erori! .. Acesta va deveni deja un motiv pentru a investiga cauzele nerespectării standardelor.

Sunteți convins de importanța abordării bayesiene? Intrigat? Așa sper". Și acum o muscă în unguent. Din nefericire, ideile bayesiene sunt rareori date din prima. Am avut sincer ghinion, căci am făcut cunoștință cu aceste idei prin literatura populară, după ce am citit că au rămas multe întrebări. Când plănuiam să scriu o notă, am adunat tot ceea ce am subliniat anterior conform lui Bayes și am studiat, de asemenea, ceea ce scriu ei pe Internet. Vă prezint cea mai bună presupunere a mea pe această temă. Introducere în Probabilitatea Bayesiană.

Derivarea teoremei lui Bayes

Luați în considerare următorul experiment: numim orice număr situat pe segment și fixăm când acest număr este, de exemplu, între 0,1 și 0,4 (Fig. 1a). Probabilitatea acestui eveniment este egală cu raportul dintre lungimea segmentului și lungimea totală a segmentului, cu condiția ca apariția numerelor pe segment echiprobabil. Din punct de vedere matematic, acest lucru poate fi scris p(0,1 <= X <= 0,4) = 0,3, или кратко R(X) = 0,3, unde R- probabilitate, X este o variabilă aleatorie în intervalul , X este o variabilă aleatoare în intervalul . Adică, probabilitatea de a atinge segmentul este de 30%.

Orez. 1. Interpretarea grafică a probabilităților

Acum luați în considerare pătratul x (Fig. 1b). Să presupunem că trebuie să numim perechi de numere ( X, y), fiecare dintre ele mai mare decât zero și mai mic decât unu. Probabilitatea ca X(primul număr) va fi în cadrul segmentului (zona albastră 1), egal cu raportul dintre aria zonei albastre și aria întregului pătrat, adică (0,4 - 0,1 ) * (1 - 0) / (1 * 1) \u003d 0, 3, adică același 30%. Probabilitatea ca y este în interiorul segmentului (zona verde 2) este egal cu raportul dintre suprafața zonei verzi și aria întregului pătrat p(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.

Ce se poate învăța despre valori în același timp XȘi y. De exemplu, care este probabilitatea ca ambele XȘi y sunt în segmentele date corespunzătoare? Pentru a face acest lucru, trebuie să calculați raportul dintre aria domeniului 3 (intersecția dungilor verzi și albastre) și aria întregului pătrat: p(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Acum să presupunem că vrem să știm care este probabilitatea ca y este în intervalul dacă X este deja în gamă. Adică, de fapt, avem un filtru și când numim perechi ( X, y), apoi aruncăm imediat acele perechi care nu îndeplinesc condiția de găsire Xîntr-un interval dat, iar apoi din perechile filtrate numărăm cele pentru care y satisface condiţia noastră şi consideră probabilitatea ca raport al numărului de perechi pentru care y se află în segmentul de mai sus la numărul total de perechi filtrate (adică pentru care X se află în segment). Putem scrie această probabilitate ca p(Y|X la X lovit în rază”. Evident, această probabilitate este egală cu raportul dintre zona zonei 3 și zona zonei albastre 1. Zona zonei 3 este (0,4 - 0,1) * (0,7 - 0,5) = 0,06 și zona zonei albastre 1 ( 0,4 - 0,1) * (1 - 0) = 0,3, atunci raportul lor este 0,06 / 0,3 = 0,2. Cu alte cuvinte, probabilitatea de a găsi y pe segment, cu condiția ca X aparține segmentului p(Y|X) = 0,2.

În paragraful anterior, am formulat de fapt identitatea: p(Y|X) = p(X, Y) /p( X). Se scrie: „probabilitate de lovire laîn gamă, cu condiţia ca X lovirea în interval este egală cu raportul dintre probabilitatea de lovire simultană Xîn raza de acţiune şi laîn interval, la probabilitatea de a lovi Xîn rază”.

Prin analogie, luați în considerare probabilitatea p(X|Y). Sunăm cupluri X, y) și filtrează pe cele pentru care y se situează între 0,5 și 0,7, atunci probabilitatea ca X este în segment cu condiția ca y aparține segmentului este egal cu raportul dintre suprafața zonei 3 și zona zonei verzi 2: p(X|Y) = p(X, Y) / p(Y).

Rețineți că probabilitățile p(X, Y) Și p(Y, X) sunt egale și ambele sunt egale cu raportul dintre aria zonei 3 și aria întregului pătrat, dar probabilitățile p(Y|X) Și p(X|Y) nu este egal; în timp ce probabilitatea p(Y|X) este egal cu raportul dintre suprafața zonei 3 și zona 1 și p(X|Y) – domeniul 3 la domeniul 2. De asemenea, rețineți că p(X, Y) este adesea notat ca p(X&Y).

Deci avem două definiții: p(Y|X) = p(X, Y) /p( X) Și p(X|Y) = p(X, Y) / p(Y)

Să rescriem aceste egalități ca: p(X, Y) = p(Y|X)*p( X) Și p(X, Y) = p(X|Y) * p(Y)

Deoarece laturile stângi sunt egale, la fel sunt și cele din dreapta: p(Y|X)*p( X) = p(X|Y) * p(Y)

Sau putem rescrie ultima egalitate ca:

Aceasta este teorema lui Bayes!

Este posibil ca astfel de transformări simple (aproape tautologice) să dea naștere unei teoreme grozave!? Nu te grăbi să tragi concluzii. Să vorbim din nou despre ce avem. A existat o probabilitate inițială (a priori). R(X) că variabila aleatoare X distribuit uniform pe segment se încadrează în interval X. S-a întâmplat un eveniment Y, în urma căreia am obţinut probabilitatea a posteriori a aceleiaşi variabile aleatoare X: R(X|Y), iar această probabilitate diferă de R(X) prin coeficientul . Eveniment Y numite dovezi, mai mult sau mai puțin care confirmă sau infirmă X. Acest coeficient este uneori numit puterea probei. Cu cât dovezile sunt mai puternice, cu atât faptul observării Y modifică mai mult probabilitatea anterioară, cu atât probabilitatea posterioară diferă de cea anterioară. Dacă dovezile sunt slabe, posteriorul este aproape egal cu precedentul.

Formula Bayes pentru variabile aleatoare discrete

În secțiunea anterioară, am derivat formula Bayes pentru variabile aleatoare continue x și y definite pe intervalul . Luați în considerare un exemplu cu variabile aleatoare discrete, fiecare luând două valori posibile. În cursul examinărilor medicale de rutină, s-a constatat că la vârsta de patruzeci de ani, 1% dintre femei suferă de cancer la sân. 80% dintre femeile cu cancer obțin rezultate pozitive la mamografie. 9,6% dintre femeile sănătoase obțin și rezultate pozitive la mamografie. În timpul examinării, o femeie din această grupă de vârstă a primit un rezultat pozitiv al mamografiei. Care este probabilitatea ca ea să aibă de fapt cancer la sân?

Cursul raționamentului/calculelor este următorul. Dintre cei 1% dintre bolnavii de cancer, mamografia va da 80% rezultate pozitive = 1% * 80% = 0,8%. Dintre 99% dintre femeile sănătoase, mamografia va da 9,6% rezultate pozitive = 99% * 9,6% = 9,504%. În total, din 10,304% (9,504% + 0,8%) cu rezultate pozitive la mamografie, doar 0,8% sunt bolnavi, iar restul de 9,504% sunt sănătoși. Astfel, probabilitatea ca o femeie cu o mamografie pozitivă să aibă cancer este de 0,8% / 10,304% = 7,764%. Ai crezut că 80% sau cam asa ceva?

În exemplul nostru, formula Bayes ia următoarea formă:

Să vorbim încă o dată despre sensul „fizic” al acestei formule. X este o variabilă aleatoare (diagnostic), care ia următoarele valori: X 1- bolnav si X 2- sănătos; Y– variabilă aleatoare (rezultatul măsurării - mamografie), care ia valorile: Y 1- un rezultat pozitiv și Y2- rezultat negativ; p(X 1)- probabilitatea de îmbolnăvire înainte de mamografie (probabilitate a priori), egală cu 1%; R(Y 1 |X 1 ) - probabilitatea unui rezultat pozitiv dacă pacientul este bolnav (probabilitate condiționată, deoarece trebuie specificată în condițiile problemei), egală cu 80%; R(Y 1 |X 2 ) – probabilitatea unui rezultat pozitiv dacă pacientul este sănătos (și probabilitate condiționată), egală cu 9,6%; p(X 2)- probabilitatea ca pacientul să fie sănătos înainte de mamografie (probabilitate a priori), egală cu 99%; p(X 1|Y 1 ) – probabilitatea ca pacientul să fie bolnav, având în vedere un rezultat pozitiv al mamografiei (probabilitate posterioară).

Se poate observa că probabilitatea posterioară (ceea ce căutăm) este proporțională cu probabilitatea anterioară (inițială) cu un coeficient ceva mai complex . Voi sublinia din nou. În opinia mea, acesta este un aspect fundamental al abordării bayesiene. Dimensiunea ( Y) a adăugat o anumită cantitate de informații la cele disponibile inițial (a priori), ceea ce ne-a clarificat cunoștințele despre obiect.

Exemple

Pentru a consolida materialul acoperit, încercați să rezolvați mai multe probleme.

Exemplul 1 Sunt 3 urne; in primele 3 bile albe si 1 neagra; în al doilea - 2 bile albe și 3 negre; în a treia - 3 bile albe. Cineva se apropie aleatoriu de una dintre urne și trage 1 minge din ea. Această minge este albă. Găsiți probabilitățile posterioare ca mingea să fie extrasă din prima, a doua, a treia urnă.

Soluţie. Avem trei ipoteze: H 1 = (prima urna selectata), H 2 = (a doua urna selectata), H 3 = (a treia urna selectata). Deoarece urna este aleasă la întâmplare, probabilitățile a priori ale ipotezelor sunt: Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

În urma experimentului a apărut evenimentul A = (din urna selectată a fost scoasă o bilă albă). Probabilități condiționate ale evenimentului A în ipotezele H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. De exemplu, prima egalitate arată astfel: „probabilitatea de a extrage o bilă albă dacă se alege prima urna este de 3/4 (deoarece sunt 4 bile în prima urna, iar 3 dintre ele sunt albe)”.

Aplicând formula Bayes, găsim probabilitățile posterioare ale ipotezelor:

Astfel, în lumina informațiilor despre apariția evenimentului A, probabilitățile ipotezelor s-au schimbat: cea mai probabilă a devenit ipoteza H 3 , cea mai puțin probabilă - ipoteza H 2 .

Exemplul 2 Doi trăgători trag în mod independent în aceeași țintă, fiecare trăgând o lovitură. Probabilitatea de a lovi ținta pentru primul trăgător este de 0,8, pentru al doilea - 0,4. După împușcare, a fost găsită o gaură în țintă. Găsiți probabilitatea ca această gaură să aparțină primului trăgător (eliminăm rezultatul (ambele găuri au coincis) ca fiind puțin probabil).

Soluţie. Înainte de experiment, sunt posibile următoarele ipoteze: H 1 = (nici prima și nici a doua săgeată nu vor lovi), H 2 = (ambele săgeți vor lovi), H 3 - (primul trăgător va lovi, iar al doilea nu va lovi). ), H 4 = (primul trăgător nu va lovi, iar al doilea va lovi). Probabilități anterioare ale ipotezelor:

P (H 1) \u003d 0,2 * 0,6 \u003d 0,12; P (H 2) \u003d 0,8 * 0,4 \u003d 0,32; P (H 3) \u003d 0,8 * 0,6 \u003d 0,48; P (H 4) \u003d 0,2 * 0,4 \u003d 0,08.

Probabilitățile condiționate ale evenimentului observat A = (există o gaură în țintă) în aceste ipoteze sunt: P(A|H 1) = P(A|H 2) = 0; P(A|H3) = P(A|H4) = 1

După experiență, ipotezele H 1 și H 2 devin imposibile, iar probabilitățile posterioare ale ipotezelor H 3 și H 4 conform formulei Bayes vor fi:

Bayes împotriva spam-ului

Formula lui Bayes și-a găsit o aplicație largă în dezvoltarea filtrelor de spam. Să presupunem că doriți să instruiți un computer pentru a determina ce e-mailuri sunt spam. Vom începe de la dicționar și combinații de cuvinte folosind estimări bayesiene. Să creăm mai întâi un spațiu de ipoteze. Să avem 2 ipoteze cu privire la orice scrisoare: H A este spam, H B nu este spam, ci o scrisoare normală, necesară.

În primul rând, să „antrenăm” viitorul nostru sistem anti-spam. Să luăm toate literele pe care le avem și să le împărțim în două „grămădițe” de 10 litere. Într-una punem scrisori spam și o numim grămada H A, în cealaltă punem corespondența necesară și o numim grămada H B. Acum să vedem: ce cuvinte și expresii se găsesc în spam și e-mailuri necesare și cu ce frecvență? Aceste cuvinte și expresii vor fi numite dovezi și notate cu E 1 , E 2 ... Se dovedește că cuvintele utilizate în mod obișnuit (de exemplu, cuvintele „ca”, „al tău”) din grămezile HA și HB apar cu aproximativ aceeasi frecventa. Astfel, prezența acestor cuvinte într-o scrisoare nu ne spune nimic despre care grămadă îi aparține (dovezi slabe). Să atribuim acestor cuvinte o valoare neutră a estimării probabilității de „spam”, să spunem, 0,5.

Lasă expresia „engleză conversațională” să apară în doar 10 litere și mai des în e-mailurile spam (de exemplu, în 7 e-mailuri spam din toate cele 10) decât în cele potrivite (în 3 din 10). Să dăm acestei fraze un scor mai mare de 7/10 pentru spam și un scor mai mic pentru e-mailurile normale: 3/10. În schimb, s-a dovedit că cuvântul „buddy” era mai frecvent în litere normale (6 din 10). Și așa am primit o scrisoare scurtă: „Prietene! Cum e engleza ta vorbita?. Să încercăm să-i evaluăm „spam-ul”. Vom pune estimările generale P(HA), P(H B) ale apartenenței la fiecare grămadă folosind o formulă Bayes oarecum simplificată și estimările noastre aproximative:

P(H A) = A/(A+B), Unde A \u003d p a1 * p a2 * ... * pan, B \u003d p b1 * p b2 * ... * pbn \u003d (1 - p a1) * (1 - p a2) * ... * ( 1 - p an).

Tabelul 1. Evaluarea bayesiană simplificată (și incompletă) a scrisului

Astfel, scrisoarea noastră ipotetică a primit o evaluare a probabilității de apartenență cu accent în direcția „spam”. Putem decide să aruncăm scrisoarea într-una dintre grămezi? Să stabilim pragurile de decizie:

Vom presupune că litera aparține mormanului H i dacă P(H i) ≥ T.
Litera nu aparține mormanului dacă P(H i) ≤ L.
Dacă L ≤ P(H i) ≤ T, atunci nu se poate lua nicio decizie.

Puteți lua T = 0,95 și L = 0,05. Întrucât pentru scrisoarea în cauză și 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Da. Să calculăm scorul pentru fiecare dovadă într-un mod diferit, așa cum a sugerat Bayes. Lasa:

F a este numărul total de e-mailuri spam;

F ai este numărul de litere cu un certificat iîntr-un morman de spam;

F b este numărul total de litere necesare;

F bi este numărul de litere cu un certificat iîntr-un morman de scrisori necesare (relevante).

Atunci: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), UndeА = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Vă rugăm să rețineți că scorurile cuvintelor dovezi p ai și p bi au devenit obiective și pot fi calculate fără intervenția umană.

Tabelul 2. O estimare bayesiană mai precisă (dar incompletă) pentru caracteristicile disponibile dintr-o scrisoare

Am obținut un rezultat destul de cert - cu o marjă mare de probabilitate, litera poate fi atribuită literelor necesare, deoarece P(H B) = 0,997 > T = 0,95. De ce s-a schimbat rezultatul? Pentru că am folosit mai multe informații - am ținut cont de numărul de litere din fiecare dintre grămezi și, apropo, am determinat estimările p ai și p bi mult mai corect. Ele au fost determinate în același mod ca și Bayes însuși, prin calcularea probabilităților condiționate. Cu alte cuvinte, p a3 este probabilitatea ca cuvântul „buddy” să apară în e-mail, având în vedere că e-mailul aparține deja heap-ului de spam H A . Rezultatul nu a întârziat să apară – se pare că putem lua o decizie cu o mai mare certitudine.

Bayes vs Frauda corporativă

O aplicație interesantă a abordării bayesiene a fost descrisă de MAGNUS8.

Proiectul meu actual (IS pentru detectarea fraudei într-o întreprindere de producție) folosește formula Bayes pentru a determina probabilitatea de fraudă (fraudă) în prezența/absența mai multor fapte indirect în favoarea ipotezei posibilității de fraudă. Algoritmul este de auto-învățare (cu feedback), adică. își recalculează coeficienții (probabilitățile condiționate) la confirmarea sau neconfirmarea efectivă a fraudei în timpul verificării de către serviciul de securitate economică.

Probabil că merită să spunem că astfel de metode la proiectarea algoritmilor necesită o cultură matematică destul de ridicată a dezvoltatorului, deoarece cea mai mică eroare în derivarea și/sau implementarea formulelor de calcul va anula și discredita întreaga metodă. Metodele probabilistice sunt vinovate în special de acest lucru, deoarece gândirea umană nu este adaptată să lucreze cu categorii probabiliste și, în consecință, nu există „vizibilitate” și înțelegere a „semnificației fizice” a parametrilor probabilistici intermediari și finali. O astfel de înțelegere există numai pentru conceptele de bază ale teoriei probabilităților și atunci trebuie doar să combinați cu mare atenție și să derivați lucruri complexe conform legile teoriei probabilităților - bunul simț nu va mai ajuta pentru obiectele compuse. Acest lucru, în special, este asociat cu bătălii metodologice destul de serioase care au loc pe paginile cărților moderne despre filosofia probabilității, precum și cu un număr mare de sofisme, paradoxuri și puzzle-uri de curiozitate pe această temă.

Încă o nuanță pe care a trebuit să o înfrunt – din păcate, aproape tot ce este mai mult sau mai puțin util ÎN PRACTIC pe această temă este scris în engleză. În sursele în limba rusă, există practic doar o teorie binecunoscută cu exemple demonstrative doar pentru cazurile cele mai primitive.

Sunt pe deplin de acord cu ultimul comentariu. De exemplu, Google, când a încercat să găsească ceva de genul cartea „Probabilitatea Bayesiană”, nu a dat nimic inteligibil. Adevărat, el a spus că o carte cu statistici bayesiene a fost interzisă în China. (Profesorul de statistică Andrew Gelman a raportat pe un blog al Universității Columbia că cartea sa, Data Analysis with Regression and Multilevel/Hierarchical Models, a fost interzisă de la publicarea în China. text.”) Mă întreb dacă un motiv similar a dus la absența cărților despre Bayesian. probabilitate în Rusia?

Conservatorismul în procesul de prelucrare a informațiilor umane

Probabilitățile determină gradul de incertitudine. Probabilitatea, atât conform lui Bayes, cât și al intuiției noastre, este pur și simplu un număr între zero și ceea ce reprezintă gradul în care o persoană oarecum idealizată crede că afirmația este adevărată. Motivul pentru care omul este oarecum idealizat este că suma probabilităților sale pentru două evenimente care se exclud reciproc trebuie să fie egală cu probabilitatea sa ca oricare dintre aceste evenimente să aibă loc. Proprietatea aditivității are astfel de implicații încât puțini oameni reali le pot egala pe toate.

Teorema lui Bayes este o consecință banală a proprietății aditivității, de netăgăduit și agreată de toți probabiliștii, bayesieni și de altă natură. O modalitate de a o scrie este următoarea. Dacă P(H A |D) este probabilitatea ulterioară ca ipoteza A să fie după ce valoarea dată D a fost observată, P(H A) este probabilitatea sa anterioară înainte ca valoarea dată D să fie observată, P(D|H A ) este probabilitatea ca a se va observa valoarea dată D, dacă HA este adevărată și P(D) este probabilitatea necondiționată a unei valori date D, atunci

(1) P(H A |D) = P(D|H A) * P(H A) / P(D)

P(D) este cel mai bine gândit ca o constantă de normalizare care face ca probabilitățile posterioare să se adună la unu peste setul exhaustiv de ipoteze care se exclud reciproc care sunt luate în considerare. Dacă trebuie calculat, poate fi așa:

Dar mai des, P(D) este eliminat mai degrabă decât numărat. O modalitate convenabilă de a o elimina este de a transforma teorema lui Bayes în forma unei relații probabilitate-cote.

Luați în considerare o altă ipoteză, H B , care se exclud reciproc pentru H A, și răzgândiți-vă despre ea pe baza aceleiași cantități date care v-a răzgândit despre H A. Teorema lui Bayes spune că

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Acum împărțim ecuația 1 la ecuația 2; rezultatul va fi astfel:

unde Ω 1 sunt cotele posterioare în favoarea lui H A în termeni de H B , Ω 0 sunt cotele anterioare, iar L este un număr familiar statisticienilor ca raport al probabilităților. Ecuația 3 este aceeași versiune relevantă a teoremei lui Bayes ca și ecuația 1 și este adesea mult mai utilă în special pentru experimente care implică ipoteze. Susținătorii bayesieni susțin că teorema lui Bayes este o regulă optimă din punct de vedere formal pentru modul de revizuire a opiniilor în lumina noilor date.

Suntem interesați să comparăm comportamentul ideal definit de teorema lui Bayes cu comportamentul real al oamenilor. Pentru a vă face o idee despre ce înseamnă asta, să încercăm un experiment cu tine ca subiect. Această pungă conține 1000 de jetoane de poker. Am două dintre aceste genți, unul cu 700 roșii și 300 albastre, iar celălalt cu 300 roșii și 700 albastre. Am aruncat o monedă pentru a stabili pe care să o folosesc. Astfel, dacă opiniile noastre sunt aceleași, probabilitatea dvs. actuală de a extrage o pungă cu mai multe jetoane roșii este de 0,5. Acum, eșantionați aleatoriu, revenind după fiecare simbol. În 12 jetoane, primești 8 roșii și 4 albastre. Acum, pe baza a tot ceea ce știți, care este probabilitatea ca o geantă să vină cu mai multe roșii? Este clar că este mai mare de 0,5. Vă rugăm să nu continuați să citiți până nu ați înregistrat evaluarea.

Dacă arăți ca un subiect tipic, scorul tău se încadrează între 0,7 și 0,8. Dacă am face calculul corespunzător, însă, răspunsul ar fi 0,97. Într-adevăr, este foarte rar ca o persoană căreia nu i s-a arătat anterior influența conservatorismului să vină cu o estimare atât de mare, chiar dacă era familiarizat cu teorema lui Bayes.

Dacă proporția de jetoane roșii din pungă este R, apoi probabilitatea de a obține r jetoane roșii și ( n-r) albastru în n mostre cu returnare - p r (1–p)n–r. Astfel, într-un experiment tipic de pungă și jetoane de poker, dacă HAînseamnă că proporția de jetoane roșii este r AȘi HBînseamnă că cota este RB, atunci raportul de probabilitate:

Atunci când se aplică formula lui Bayes, trebuie să se țină cont doar de probabilitatea observației reale, și nu de probabilitățile altor observații pe care el ar fi putut să le fi făcut, dar nu a făcut-o. Acest principiu are implicații largi pentru toate aplicațiile statistice și non-statistice ale teoremei lui Bayes; este cel mai important instrument tehnic al gândirii bayesiene.

revoluția bayesiană

Prietenii și colegii tăi vorbesc despre ceva numit „teorema lui Bayes” sau „regula bayesiană” sau ceva numit gândire bayesiană. Sunt foarte interesați de asta, așa că intri online și găsești o pagină despre teorema lui Bayes și... Este o ecuație. Și asta-i tot... De ce un concept matematic dă naștere unui asemenea entuziasm în minte? Ce fel de „revoluție bayesiană” are loc în rândul oamenilor de știință și se susține că chiar și abordarea experimentală în sine poate fi descrisă ca fiind cazul său special? Care este secretul pe care îl cunosc adepții lui Bayes? Ce fel de lumină văd ei?

Revoluția bayesiană în știință nu s-a produs pentru că tot mai mulți oameni de știință cognitiv au început brusc să observe că fenomenele mentale au o structură bayesiană; nu pentru că oamenii de știință din toate domeniile au început să folosească metoda bayesiană; ci pentru că știința însăși este un caz special al teoremei lui Bayes; dovezile experimentale sunt dovezi bayesiene. Revoluționarii bayesieni susțin că atunci când faci un experiment și obții dovezi care „susțin” sau „infirma” teoria ta, acea confirmare sau respingere are loc conform regulilor bayesiene. De exemplu, trebuie să ții cont nu doar că teoria ta poate explica fenomenul, ci și că există și alte explicații posibile care pot prezice și acest fenomen.

Anterior, cea mai populară filozofie a științei era vechea filozofie care a fost înlocuită de revoluția bayesiană. Ideea lui Karl Popper că teoriile pot fi complet falsificate, dar niciodată complet confirmate, este un alt caz special de reguli bayesiene; dacă p(X|A) ≈ 1 - dacă teoria face predicții corecte, atunci observarea lui ~X falsifică foarte puternic A. Pe de altă parte, dacă p(X|A) ≈ 1 și observăm X, aceasta nu susține foarte mult teoria; este posibilă o altă condiție B, astfel încât p(X|B) ≈ 1 și în care observarea lui X nu dovedește pentru A, ci pentru B. Pentru a observa X confirmând cu siguranță A, ar trebui să știm nu că p( X|A) ≈ 1 și acel p(X|~A) ≈ 0, pe care nu îl putem ști deoarece nu putem lua în considerare toate explicațiile alternative posibile. De exemplu, când teoria relativității generale a lui Einstein a depășit teoria gravitațională a lui Newton, extrem de verificabilă, a făcut din toate predicțiile teoriei lui Newton un caz special al lui Einstein.

În mod similar, afirmația lui Popper că o idee trebuie să fie falsificabilă poate fi interpretată ca o manifestare a regulii bayesiene despre conservarea probabilității; dacă rezultatul X este o dovadă pozitivă pentru teorie, atunci rezultatul ~X trebuie să falsifice teoria într-o oarecare măsură. Dacă încercați să interpretați atât X, cât și ~X ca „susținând” o teorie, regulile bayesiene spun că este imposibil! Pentru a crește probabilitatea unei teorii, trebuie să o supui unor teste care pot reduce probabilitatea acesteia; aceasta nu este doar o regulă pentru a detecta șarlatani în știință, ci o consecință a teoremei probabilității bayesiene. Pe de altă parte, ideea lui Popper că este nevoie doar de falsificare și nu este necesară nicio confirmare este greșită. Teorema lui Bayes arată că falsificarea este o dovadă foarte puternică în comparație cu confirmarea, dar falsificarea este încă probabilistică în natură; nu este guvernată de reguli fundamental diferite și nu diferă în acest sens de confirmare, așa cum susține Popper.

Astfel constatăm că multe fenomene din științele cognitive, plus metodele statistice folosite de oameni de știință, plus metoda științifică în sine, sunt toate cazuri speciale ale teoremei lui Bayes. Despre aceasta este revoluția bayesiană.

Bun venit la Conspirația Bayesiană!

Literatură despre probabilitatea bayesiană

2. Multe aplicații diferite ale lui Bayes sunt descrise de laureatul Nobel pentru economie Kahneman (et al.) într-o carte minunată. Numai în rezumatul meu al acestei cărți foarte mari, am numărat 27 de referințe la numele unui pastor prezbiterian. Formule minime. (.. Mi-a plăcut foarte mult. Adevărat, e complicat, multă matematică (și unde fără ea), dar capitole individuale (de exemplu, Capitolul 4. Informații), clar pe subiect. Îi sfătuiesc pe toată lumea. Chiar dacă matematica este dificil pentru tine, citește peste rând, sări peste matematică și pescuiește cereale utile...

14. (supliment din 15 ianuarie 2017), un capitol din cartea lui Tony Crilly. 50 de idei despre care trebuie să știi. Matematica.

Fizicianul laureat al Nobel Richard Feynman, vorbind despre un filozof deosebit de egoist, a spus odată: „Nu filosofia ca știință mă irită, ci fastul care a fost creat în jurul ei. Dacă filozofii ar putea râde de ei înșiși! Dacă ar putea spune: „Eu zic că este așa, iar Von Leipzig a crezut că este diferit și știe și el ceva despre asta”. Dacă și-ar fi amintit să clarifice că era doar a lor .

Universitatea de Stat din Siberia de Telecomunicații și Informatică

Catedra de Matematică Superioară

disciplina: „Teoria probabilității și statistica matematică”

„Formula probabilității totale și formula Bayes (Bayes) și aplicarea lor”

Efectuat:

Șef: profesorul B.P. Zelentsov

Novosibirsk, 2010

Introducere 3

1. Formula probabilității totale 4-5

2. Formula Bayes (Bayes) 5-6

3. Probleme cu soluțiile 7-11

4. Principalele domenii de aplicare ale formulei Bayes (Bayes) 11

Concluzia 12

Literatura 13

Introducere

Teoria probabilității este una dintre ramurile clasice ale matematicii. Are o istorie lungă. Bazele acestei ramuri a științei au fost puse de mari matematicieni. Voi numi, de exemplu, Fermat, Bernoulli, Pascal.
Mai târziu, dezvoltarea teoriei probabilităților a fost determinată în lucrările multor oameni de știință.
Oamenii de știință din țara noastră au adus o mare contribuție la teoria probabilității:
P.L. Cebyshev, A.M. Lyapunov, A.A. Markov, A.N. Kolmogorov. Metodele probabilistice și statistice sunt acum profund încorporate în aplicații. Sunt folosite în fizică, inginerie, economie, biologie și medicină. Rolul lor a crescut mai ales în legătură cu dezvoltarea tehnologiei informatice.

De exemplu, pentru a studia fenomene fizice, se fac observații sau experimente. Rezultatele lor sunt de obicei înregistrate ca valori ale unor cantități observate. La repetarea experimentelor, găsim o împrăștiere în rezultatele acestora. De exemplu, prin repetarea măsurătorilor aceleiași cantități cu același dispozitiv în timp ce mențin anumite condiții (temperatură, umiditate etc.), obținem rezultate care diferă cel puțin ușor, dar totuși diferă unele de altele. Nici măcar măsurătorile multiple nu fac posibilă prezicerea cu precizie a rezultatului următoarei măsurători. În acest sens, se spune că rezultatul unei măsurători este o mărime aleatorie. Un exemplu și mai clar de variabilă aleatorie este numărul unui bilet de loterie câștigător. Pot fi date multe alte exemple de variabile aleatoare. Cu toate acestea, în lumea accidentelor se găsesc anumite tipare. Aparatul matematic pentru studierea unor astfel de regularități este asigurat de teoria probabilității.
Astfel, teoria probabilității se ocupă de analiza matematică a evenimentelor aleatoare și a variabilelor aleatoare asociate acestora.

1. Formula probabilității totale.

Să fie un grup de evenimente H 1 ,H 2 ,..., H n, care are următoarele proprietăți:

1) toate evenimentele sunt incompatibile perechi: Bună

Hj=Æ; i, j=1,2,...,n; i¹ j;

2) unirea lor formează spațiul rezultatelor elementare W:

Fig.8

În acest caz, vom spune că H 1 , H 2 ,...,H n formă grup complet de evenimente. Astfel de evenimente sunt uneori numite ipoteze.

Lasa DAR-un eveniment: DARÌW (diagrama Venn prezentată în Figura 8). Apoi există formula probabilitatii totale:

P(A) = P(A/H 1)P(H 1) + P(A/H 2)P(H 2) + ...+P(A/H n)P(H n) =

Dovada. Evident: A=

, și toate evenimentele ( i = 1,2,...,n) sunt inconsecvente pe perechi. De aici, prin teorema de adunare a probabilității, obținem

P(A) = P(

) + P( ) +...+ P(

Avand in vedere ca prin teorema inmultirii P(

) = P(AH i) P(H i)( i= 1,2,...,n), apoi din ultima formulă se obține ușor formula de mai sus pentru probabilitatea totală.

Exemplu. Magazinul vinde lămpi electrice produse de trei fabrici, cu ponderea primei fabrici - 30%, a doua - 50%, a treia - 20%. Căsătoria în produsele lor este de 5%, 3% și respectiv 2%. Care este probabilitatea ca o lampă aleasă aleatoriu într-un magazin să fie defectă?

Lasă evenimentul H 1 este că lampa selectată este produsă în prima fabrică, H 2 pe al doilea H 3 - la a treia plantă. Evident:

P(H 1) = 3/10, P(H 2) = 5/10, P(H 3) = 2/10.

Lasă evenimentul DAR constă în faptul că lampa selectată s-a dovedit a fi defectă; A/H iînseamnă un eveniment constând în faptul că o lampă defectă este selectată dintre lămpile fabricate la i a-a fabrică. Din starea problemei rezultă:

P (A/ H 1) = 5/10; P(A/ H 2) = 3/10; P(A/ H 3) = 2/10

Conform formulei probabilității totale, obținem

2. Formula Bayes (Bayes)

Lasa H 1 ,H 2 ,...,H n- grup complet de evenimente și DARÌ W este un eveniment. Apoi, conform formulei pentru probabilitatea condiționată

(1)

Aici P(H k/A) este probabilitatea condiționată a evenimentului (ipoteză) H k sau probabilitatea ca H k este implementat cu condiția ca evenimentul DAR s-a întâmplat.

Conform teoremei înmulțirii probabilităților, numărătorul cu formula (1) poate fi reprezentat ca

P = P = P(A/H k)P(H k)

Pentru a reprezenta numitorul formulei (1), se poate folosi formula probabilității totale

P(A)

Acum din (1) se poate obține o formulă numită Formula Bayes:

Prin formula Bayes se calculează probabilitatea de realizare a ipotezei H k cu condiția ca evenimentul DAR s-a întâmplat. Se mai numește și formula Bayes formula probabilității ipotezei. Probabilitate P(H k) se numește probabilitatea anterioară a ipotezei H k, și probabilitatea P(H k/A) este probabilitatea posterioară.

Teorema. Probabilitatea unei ipoteze după testare este egală cu produsul probabilității ipotezei înainte de testare cu probabilitatea condiționată corespunzătoare a evenimentului care a avut loc în timpul testului, împărțit la probabilitatea totală a acestui eveniment.

Exemplu. Luați în considerare problema de mai sus despre lămpile electrice, schimbați doar întrebarea problemei. Lăsați cumpărătorul să cumpere o lampă electrică în acest magazin și s-a dovedit a fi defectă. Găsiți probabilitatea ca această lampă să fie fabricată la a doua fabrică. Valoare P(H 2) = 0,5 în acest caz, aceasta este probabilitatea a priori a evenimentului ca lampa achiziționată să fie fabricată la a doua fabrică. După ce am primit informații că lampa achiziționată este defectă, ne putem corecta estimarea posibilității de a produce această lampă la a doua fabrică, calculând probabilitatea posterioară a acestui eveniment.

Să scriem formula Bayes pentru acest caz

Din această formulă obținem: P(H 2 /A) = 15/34. După cum se poate observa, informațiile obținute au condus la faptul că probabilitatea evenimentului care ne interesează este mai mică decât probabilitatea a priori.

3. Probleme cu soluții.

Sarcina 1. Magazinul a primit produse noi de la trei întreprinderi. Compoziția procentuală a acestor produse este următoarea: 20% - produse ale primei întreprinderi, 30% - produse ale celei de-a doua întreprinderi, 50% - produse ale celei de-a treia întreprinderi; în continuare, 10% din produsele primei întreprinderi de cel mai înalt grad, la a doua întreprindere - 5% și la a treia - 20% din produsele de cea mai înaltă clasă. Găsiți probabilitatea ca un produs nou achiziționat aleatoriu să fie de cea mai bună calitate.

Soluţie. Notează prin ÎNîn cazul în care un produs premium va fi achiziționat, prin

Să notăm evenimentele care constau în achiziționarea de produse aparținând primei, a doua și, respectiv, a treia întreprinderi.

Putem aplica formula probabilității totale, iar în notația noastră:

Înlocuind aceste valori în formula probabilității totale, obținem probabilitatea dorită:

Sarcina 2. Unul dintre cei trei trăgători este chemat pe linia de foc și trage două focuri. Probabilitatea de a lovi ținta cu o singură lovitură pentru primul trăgător este de 0,3, pentru al doilea - 0,5; pentru al treilea - 0,8. Ținta nu este lovită. Găsiți probabilitatea ca focurile să fi fost trase de primul trăgător.

Poate că nu ați auzit niciodată de teorema lui Bayes, dar ați folosit-o tot timpul. De exemplu, ați estimat inițial probabilitatea de a primi o creștere a salariului la 50%. După ce ați primit feedback pozitiv de la manager, v-ați ajustat ratingul în bine și, dimpotrivă, l-ați redus dacă ați spart cafetiera la serviciu. Acesta este modul în care valoarea probabilității este rafinată pe măsură ce se acumulează informații.

Ideea principală a teoremei lui Bayes este de a obține o mai mare acuratețe a estimării probabilității evenimentului prin luarea în considerare a datelor suplimentare.

Principiul este simplu: există o estimare de bază inițială a probabilității, care este rafinată cu mai multe informații.

Formula Bayes

Acțiunile intuitive sunt formalizate într-o ecuație simplă, dar puternică ( Formula de probabilitate Bayes):

Partea stângă a ecuației este o estimare a posteriori a probabilității evenimentului A în condiția apariției evenimentului B (așa-numita probabilitate condiționată).

P(A)- probabilitatea evenimentului A (estimare de bază, a priori);
P(B|A) — probabilitatea (de asemenea, condiționată) pe care o obținem din datele noastre;
dar P(B) este o constantă de normalizare care limitează probabilitatea la 1.

Această ecuație scurtă este baza Metoda bayesiana.

Natura abstractă a evenimentelor A și B nu ne permite să înțelegem clar sensul acestei formule. Pentru a înțelege esența teoremei lui Bayes, să luăm în considerare o problemă reală.

Exemplu

Unul dintre subiectele la care lucrez este studiul tiparelor de somn. Am două luni de date înregistrate cu ceasul meu Garmin Vivosmart care arată la ce oră merg la culcare și mă trezesc. Arata modelul final cel mai probabil Distribuția probabilității de somn în funcție de timp (MCMC este o metodă aproximativă) este prezentată mai jos.

Graficul arată probabilitatea ca eu să dorm, în funcție doar de oră. Cum se va schimba dacă țineți cont de timpul în care lumina este aprinsă în dormitor? Pentru a rafina estimarea, este nevoie de teorema lui Bayes. Estimarea rafinată se bazează pe cea a priori și are forma:

Expresia din stânga este probabilitatea ca eu să dorm, având în vedere că se știe că lumina din dormitorul meu este aprinsă. Estimarea anterioară la un moment dat în timp (prezentată în graficul de mai sus) este notată ca P(somn). De exemplu, la ora 22:00, probabilitatea anterioară ca eu să dorm este de 27,34%.

Adăugați mai multe informații folosind probabilitatea P (lumină dormitor | somn) derivate din datele observate.

Din propriile mele observații, știu următoarele: probabilitatea ca eu să dorm când lumina este aprinsă este de 1%.

Probabilitatea ca lumina să se stingă în timpul somnului este 1-0,01 = 0,99 (semnul „-” din formulă înseamnă evenimentul opus), deoarece suma probabilităților evenimentelor opuse este 1. Când dorm, lumina în dormitor fie activat, fie dezactivat.

În cele din urmă, ecuația include și constanta de normalizare P(lumină) probabilitatea ca lumina să fie aprinsă. Lumina este aprinsă atât când dorm, cât și când sunt treaz. Prin urmare, cunoscând probabilitatea a priori de somn, calculăm constanta de normalizare după cum urmează:

Probabilitatea ca lumina să fie aprinsă este luată în considerare în ambele opțiuni: fie dorm, fie nu ( P(-somn) = 1 — P (somn) este probabilitatea ca eu să fiu treaz.)

Probabilitatea ca lumina să fie aprinsă când sunt treaz este P(ușoară|-somn),și determinată prin observație. Știu că există o șansă de 80% ca lumina să fie aprinsă când sunt treaz (adică există o șansă de 20% ca lumina să nu fie aprinsă dacă sunt treaz).

Ecuația Bayes finală devine:

Vă permite să calculați probabilitatea ca eu să dorm, având în vedere că lumina este aprinsă. Dacă ne interesează probabilitatea ca lumina să fie stinsă, avem nevoie de fiecare construcție P(lumină|… inlocuit de P(-lumină|….

Să vedem cum sunt utilizate în practică ecuațiile simbolice rezultate.

Sa aplicam formula la ora 22:30 si sa tinem cont ca lumina este aprinsa. Știm că există o șansă de 73,90% să fi adormit. Acest număr este punctul de plecare pentru evaluarea noastră.

Să o rafinăm, ținând cont de informațiile despre iluminat. Știind că lumina este aprinsă, înlocuim numerele în formula lui Bayes:

Datele suplimentare au schimbat dramatic estimarea probabilității, de la peste 70% la 3,42%. Aceasta arată puterea teoremei lui Bayes: am putut să ne rafinam evaluarea inițială a situației prin includerea mai multor informații. Poate că am făcut acest lucru în mod intuitiv înainte, dar acum, gândindu-ne la asta în termeni de ecuații formale, am putut să ne confirmăm predicțiile.

Să luăm în considerare încă un exemplu. Ce se întâmplă dacă ceasul este 21:45 și luminile sunt stinse? Încercați să calculați singur probabilitatea, presupunând o estimare anterioară de 0,1206.

În loc să număr manual de fiecare dată, am scris un cod Python simplu pentru a face aceste calcule, pe care le puteți încerca în Jupyter Notebook. Veți primi următorul răspuns:

Ora: 09:45:00 Lumina este stinsă.

Probabilitatea anterioară de somn: 12,06%
Probabilitatea de somn actualizată: 40,44%

Din nou, informațiile suplimentare ne modifică estimarea. Acum, dacă sora mea vrea să mă sune la 21:45 știind că lumina mea este aprinsă, ea poate folosi această ecuație pentru a determina dacă pot ridica telefonul (presupunând că răspund doar când sunt treaz)! Cine spune că statisticile nu sunt aplicabile în viața de zi cu zi?

Vizualizarea probabilității

Observarea calculelor este utilă, dar vizualizarea ajută la o înțelegere mai profundă a rezultatului. Încerc întotdeauna să folosesc grafice pentru a genera idei dacă acestea nu provin în mod natural doar din studierea ecuațiilor. Putem vizualiza distribuțiile de probabilitate anterioare și posterioare ale somnului folosind date suplimentare:

Când lumina este aprinsă, graficul se deplasează la dreapta, indicând că sunt mai puțin probabil să dorm în acel moment. De asemenea, graficul se deplasează la stânga dacă lumina mea este stinsă. Înțelegerea sensului teoremei lui Bayes nu este ușoară, dar această ilustrație demonstrează clar de ce trebuie să o utilizați. Formula Bayes este un instrument pentru rafinarea prognozelor cu date suplimentare.

Ce se întâmplă dacă există și mai multe date?

De ce să te oprești la iluminatul dormitorului? Putem folosi și mai multe date în modelul nostru pentru a rafina și mai mult estimarea (atâta timp cât datele rămân utile pentru cazul în cauză). De exemplu, știu că dacă telefonul meu se încarcă, atunci există o șansă de 95% să dorm. Acest fapt poate fi luat în considerare în modelul nostru.

Să presupunem că probabilitatea ca telefonul meu să se încarce este independentă de iluminatul din dormitor (independența evenimentelor este o simplificare puternică, dar va ușura sarcina). Să facem o nouă expresie și mai precisă pentru probabilitate:

Formula rezultată pare greoaie, dar folosind codul Python, putem scrie o funcție care va face calculul. Pentru orice moment din timp și orice combinație de iluminare/încărcare a telefonului, această funcție returnează probabilitatea ajustată ca eu să dorm.

Ora este 23:00:00 Lumina este aprinsă Telefonul NU se încarcă.

Probabilitatea anterioară de somn: 95,52%
Probabilitatea de somn actualizată: 1,74%

La ora 23:00, fără alte informații, aproape sigur am putea spune că visez. Totuși, odată ce avem informații suplimentare că lumina este aprinsă și telefonul nu se încarcă, ajungem la concluzia că probabilitatea ca eu să dorm este practic zero. Iată un alt exemplu:

Ora este 22:15:00 Lumina este stinsă Telefonul se încarcă.

Probabilitatea anterioară de somn: 50,79%
Probabilitatea de somn actualizată: 95,10%

Probabilitatea se schimbă în jos sau în sus, în funcție de situația specifică. Pentru a demonstra acest lucru, luați în considerare patru configurații suplimentare de date și modul în care acestea modifică distribuția probabilității:

Acest grafic oferă o mulțime de informații, dar punctul principal este că curba de probabilitate se modifică în funcție de factori suplimentari. Pe măsură ce se adaugă mai multe date, vom obține o estimare mai precisă.

Concluzie

Teorema lui Bayes și alte concepte statistice pot fi dificil de înțeles atunci când sunt reprezentate prin ecuații abstracte folosind doar litere sau situații imaginare. Învățarea reală vine atunci când aplicăm concepte abstracte problemelor reale.

Succesul în știința datelor înseamnă învățarea continuă, adăugarea de noi metode la setul de abilități și găsirea celei mai bune metode de rezolvare a problemelor. Teorema lui Bayes ne permite să ne rafinam estimările de probabilitate cu informații suplimentare pentru a modela mai bine realitatea. Creșterea cantității de informații permite predicții mai precise, iar Bayes se dovedește a fi un instrument util pentru această sarcină.

Apreciez feedback-ul, discuțiile și criticile constructive. Ma puteti contacta pe Twitter.

Formula Bayes:

Probabilitățile P(H i) ale ipotezelor H i se numesc probabilități a priori - probabilitățile dinaintea experimentelor.
Probabilitățile P(A/H i) se numesc probabilități a posteriori - probabilitățile ipotezelor H i rafinate ca urmare a experimentului.

Exemplul #1. Aparatul poate fi asamblat din piese de înaltă calitate și din piese de calitate obișnuită. Aproximativ 40% dintre dispozitive sunt asamblate din piese de înaltă calitate. Dacă dispozitivul este asamblat din piese de înaltă calitate, fiabilitatea acestuia (probabilitatea de funcționare fără defecțiuni) în timpul t este de 0,95; dacă din părți de calitate obișnuită - fiabilitatea sa este de 0,7. Dispozitivul a fost testat pentru timpul t și a funcționat impecabil. Găsiți probabilitatea ca acesta să fie asamblat din piese de înaltă calitate.
Soluţie. Sunt posibile două ipoteze: H 1 - dispozitivul este asamblat din piese de înaltă calitate; H 2 - dispozitivul este asamblat din piese de calitate obișnuită. Probabilitățile acestor ipoteze înainte de experiment: P(H 1) = 0,4, P(H 2) = 0,6. Ca rezultat al experimentului, a fost observat evenimentul A - dispozitivul a funcționat impecabil pentru timpul t. Probabilitățile condiționate ale acestui eveniment conform ipotezelor H 1 și H 2 sunt: P(A|H 1) = 0,95; P(A|H2) = 0,7. Folosind formula (12), găsim probabilitatea ipotezei H 1 după experiment:

Exemplul #2. Doi trăgători trag în mod independent în aceeași țintă, fiecare trăgând o lovitură. Probabilitatea de a lovi ținta pentru primul trăgător este de 0,8, pentru al doilea 0,4. După împușcare, a fost găsită o gaură în țintă. Presupunând că doi trăgători nu pot atinge același punct, găsiți probabilitatea ca primul trăgător să lovească ținta.
Soluţie. Fie evenimentul A o gaură găsită în țintă după împușcare. Înainte de începerea filmării, sunt posibile ipoteze:
H 1 - nici primul, nici al doilea trăgător nu va lovi, probabilitatea acestei ipoteze: P(H 1) = 0,2 0,6 = 0,12.
H 2 - ambii trăgători vor lovi, P(H 2) = 0,8 0,4 = 0,32.
H 3 - primul trăgător va lovi, iar al doilea nu va lovi, P(H 3) = 0,8 0,6 = 0,48.
H 4 - primul trăgător nu va lovi, dar al doilea va lovi, P (H 4) = 0,2 0,4 = 0,08.
Probabilitățile condiționate ale evenimentului A în aceste ipoteze sunt:

După experiență, ipotezele H 1 și H 2 devin imposibile, iar probabilitățile ipotezelor H 3 și H 4
va fi egal:

Deci, cel mai probabil este ca ținta să fie lovită de primul trăgător.

Exemplul #3. În atelierul de asamblare, un motor electric este conectat la dispozitiv. Motoarele electrice sunt furnizate de trei producători. În depozit sunt 19,6, respectiv 11 motoare electrice ale fabricilor menționate, care pot funcționa fără defecțiuni până la sfârșitul perioadei de garanție, cu probabilități de 0,85, 0,76 și 0,71. Lucrătorul ia la întâmplare un motor și îl montează pe dispozitiv. Găsiți probabilitatea ca motorul electric, montat și funcțional fără greșeli până la sfârșitul perioadei de garanție, să fi fost furnizat de primul, al doilea sau, respectiv, al treilea producător.
Soluţie. Primul test este alegerea motorului electric, al doilea este funcționarea motorului electric în perioada de garanție. Luați în considerare următoarele evenimente:
A - electromotorul functioneaza impecabil pana la sfarsitul perioadei de garantie;
H 1 - montatorul va prelua motorul din produsele primei fabrici;
H 2 - montatorul va prelua motorul din produsele celei de-a doua fabrici;
H 3 - montatorul va prelua motorul din produsele celei de-a treia fabrici.
Probabilitatea evenimentului A este calculată prin formula probabilității totale:

Probabilitățile condiționate sunt specificate în enunțul problemei:

Să găsim probabilitățile

Folosind formulele Bayes (12), calculăm probabilitățile condiționate ale ipotezelor H i:

Exemplul #4. Probabilitățile ca în timpul funcționării sistemului, care constă din trei elemente, elementele cu numerele 1, 2 și 3 să cedeze, sunt legate ca 3: 2: 5. Probabilitățile de detectare a defecțiunilor acestor elemente sunt, respectiv, de 0,95; 0,9 și 0,6.

b) În condițiile acestei sarcini, a fost detectată o defecțiune în timpul funcționării sistemului. Care element este cel mai probabil să eșueze?

Soluţie.
Fie A un eveniment de eșec. Sa introducem un sistem de ipoteze H1 - defectarea primului element, H2 - defectarea celui de-al doilea element, H3 - defectarea celui de-al treilea element.
Găsim probabilitățile ipotezelor:
P(H1) = 3/(3+2+5) = 0,3
P(H2) = 2/(3+2+5) = 0,2
P(H3) = 5/(3+2+5) = 0,5

În funcție de starea problemei, probabilitățile condiționate ale evenimentului A sunt:
P(A|H1) = 0,95, P(A|H2) = 0,9, P(A|H3) = 0,6

a) Găsiți probabilitatea detectării unei defecțiuni în sistem.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0,3*0,95 + 0,2*0,9 + 0,5 *0,6 = 0,765

b) În condițiile acestei sarcini, a fost detectată o defecțiune în timpul funcționării sistemului. Care element este cel mai probabil să eșueze?
P1 = P(H1)*P(A|H1)/ P(A) = 0,3*0,95 / 0,765 = 0,373
P2 = P(H2)*P(A|H2)/ P(A) = 0,2*0,9 / 0,765 = 0,235
P3 = P(H3)*P(A|H3)/ P(A) = 0,5*0,6 / 0,765 = 0,392

Probabilitatea maximă a celui de-al treilea element.

Formula Bayes

teorema lui Bayes- una dintre principalele teoreme ale teoriei probabilităților elementare, care determină probabilitatea ca un eveniment să se producă în condițiile în care pe baza observațiilor se cunosc doar unele informații parțiale despre evenimente. Conform formulei Bayes, este posibil să se recalculeze mai precis probabilitatea, luând în considerare atât informațiile cunoscute anterior, cât și datele din observații noi.

„Sens fizic” și terminologie

Formula lui Bayes vă permite să „rearanjați cauza și efectul”: având în vedere faptul cunoscut al unui eveniment, calculați probabilitatea ca acesta să fi fost cauzat de o cauză dată.

Evenimentele care reflectă acțiunea „cauzelor” în acest caz sunt de obicei numite ipoteze, pentru ca sunt pretins evenimentele care au condus la aceasta. Se numește probabilitatea necondiționată a validității unei ipoteze a priori(Cât de probabilă este cauza? deloc), și condiționat - ținând cont de faptul evenimentului - a posteriori(Cât de probabilă este cauza? s-a dovedit a ține cont de datele evenimentului).

Consecinţă

O consecință importantă a formulei Bayes este formula pentru probabilitatea totală a unui eveniment în funcție de mai multe ipoteze inconsistente ( si numai de la ei!).

- probabilitatea producerii evenimentului B, în funcție de un număr de ipoteze A i, dacă se cunosc gradele de fiabilitate ale acestor ipoteze (de exemplu, măsurate experimental);

Derivarea formulei

Dacă un eveniment depinde numai de cauze A i, atunci dacă s-a întâmplat, înseamnă că unul dintre motive s-a întâmplat în mod necesar, adică.

Prin formula Bayes

transfer P(B) în dreapta, obținem expresia dorită.

Metoda de filtrare a spamului

O metodă bazată pe teorema lui Bayes a fost aplicată cu succes în filtrarea spam-ului.

Descriere

La antrenamentul filtrului, pentru fiecare cuvânt întâlnit în litere, „greutatea” acestuia este calculată și stocată - probabilitatea ca o literă cu acest cuvânt să fie spam (în cel mai simplu caz, conform definiției clasice a probabilității: „apariții în spam / aparițiile tuturor”).

La verificarea unei scrisori nou sosite, probabilitatea ca aceasta să fie spam este calculată folosind formula de mai sus pentru un set de ipoteze. În acest caz, „ipotezele” sunt cuvinte, iar pentru fiecare cuvânt „fiabilitatea ipotezei” -% din acest cuvânt din scrisoare și „dependența evenimentului de ipoteză” P(B | A i) - „greutatea” cuvântului calculată anterior. Adică, „greutatea” literei în acest caz nu este altceva decât „greutatea” medie a tuturor cuvintelor sale.

O scrisoare este clasificată ca „spam” sau „non-spam” în funcție de dacă „greutatea” ei depășește o anumită bară stabilită de utilizator (de obicei, acestea iau 60-80%). După ce se ia o decizie asupra unei scrisori, „greutățile” pentru cuvintele incluse în aceasta sunt actualizate în baza de date.

Caracteristică

Această metodă este simplă (algoritmii sunt elementari), convenabilă (vă permite să faceți fără „liste negre” și trucuri artificiale similare), eficientă (după antrenamentul pe un eșantion suficient de mare, reduce până la 95-97% din spam și în cazul oricăror erori poate fi instruit în continuare). În general, există toate indicațiile pentru utilizarea sa pe scară largă, ceea ce se întâmplă în practică - aproape toate filtrele moderne de spam sunt construite pe baza ei.

Cu toate acestea, metoda are și un dezavantaj fundamental: acesta pe baza presupunerii, ce unele cuvinte sunt mai frecvente în spam, în timp ce altele sunt mai frecvente în e-mailurile obișnuite, și este ineficientă dacă această ipoteză este falsă. Cu toate acestea, așa cum arată practica, nici măcar o persoană nu este capabilă să determine un astfel de spam „prin ochi” - numai după ce a citit scrisoarea și a înțeles sensul acesteia.

Un alt dezavantaj, nu fundamental, asociat implementării - metoda funcționează numai cu text. Știind despre această limitare, spammerii au început să pună informații publicitare în imagine, în timp ce textul din scrisoare fie este absent, fie nu are sens. Față de aceasta, trebuie să folosiți fie instrumente de recunoaștere a textului (o procedură „costisitoare”, folosită numai atunci când este absolut necesar), fie metode vechi de filtrare - „liste negre” și expresii regulate (deoarece astfel de litere au adesea o formă stereotipă).

Vezi si

Note

Legături

Literatură

Byrd Kiwi. Teorema lui Bayes. // Revista Computerra, 24 august 2001
Paul Graham. Un plan pentru spam. // Site-ul web personal al lui Paul Graham.

Fundația Wikimedia. 2010 .

Vedeți care este „formula Bayes” în alte dicționare:

O formulă care arată astfel: unde a1, A2, ..., An sunt evenimente incompatibile, Schema generală de aplicare a lui F. în. ex.: dacă evenimentul B poate apărea în decomp. condiţiile în care se fac n ipoteze A1, A2, ..., An cu probabilităţi P (A1), ... cunoscute înainte de experiment, ... ... Enciclopedia Geologică

Vă permite să calculați probabilitatea unui eveniment de interes prin probabilitățile condiționate ale acestui eveniment, presupunând anumite ipoteze, precum și probabilitățile acestor ipoteze. Formulare Să fie dat un spațiu de probabilitate și un grup complet în perechi ... ... Wikipedia

- (sau formula lui Bayes) este una dintre principalele teoreme ale teoriei probabilităților, care vă permite să determinați probabilitatea ca un eveniment (ipoteză) să fi avut loc în prezența doar a unor dovezi indirecte (date) care pot fi inexacte... Wikipedia

Teorema lui Bayes este una dintre principalele teoreme ale teoriei probabilităților elementare, care determină probabilitatea ca un eveniment să se producă în condițiile în care pe baza observațiilor se cunosc doar unele informații parțiale despre evenimente. Conform formulei Bayes, puteți ... ... Wikipedia

Bayes, Thomas Thomas Bayes Reverendul Thomas Bayes Data nașterii: 1702 (1702) Locul nașterii ... Wikipedia

Thomas Bayes Reverendul Thomas Bayes Data nașterii: 1702 (1702) Locul nașterii: Londra ... Wikipedia

Inferența bayesiană este una dintre metodele de inferență statistică, în care formula Bayes este utilizată pentru a rafina estimările probabilistice ale adevărului ipotezelor atunci când apar dovezi. Utilizarea actualizării bayesiene este deosebit de importantă în ... ... Wikipedia

Doriți să îmbunătățiți acest articol?: găsiți și furnizați note de subsol pentru referințe la surse autorizate care confirmă ceea ce a fost scris. Punând note de subsol, faceți indicații mai precise ale surselor. Pere ... Wikipedia

Se vor trăda deținuții unul pe altul, urmând propriile interese egoiste, sau vor rămâne tăcuți, reducând astfel la minimum durata totală? Dilema prizonierului (ing. Dilema prizonierului, denumirea de „dilema” este mai puțin folosită... Wikipedia

Cărți

Teoria probabilităților și statistica matematică în probleme. Peste 360 de sarcini și exerciții, Borzykh D.A. Manualul propus conține sarcini de diferite niveluri de complexitate. Cu toate acestea, accentul principal este pus pe sarcini de complexitate medie. Acest lucru este făcut în mod intenționat pentru a încuraja elevii să...