Chi è Bayes? E cosa c'entra con la gestione? – può essere seguito da una domanda abbastanza giusta. Per ora, credetemi sulla parola: questo è molto importante!.. e interessante (almeno per me).

In quale paradigma opera la maggior parte dei manager: se osservo qualcosa, quali conclusioni posso trarne? Cosa insegna Bayes: cosa deve esserci effettivamente perché io possa osservare questo qualcosa? È così che si sviluppano tutte le scienze, e di questo scrive (cito dalla memoria): una persona che non ha una teoria in testa eviterà un'idea all'altra sotto l'influenza di vari eventi (osservazioni). Non per niente dicono: non c'è niente di più pratico di una buona teoria.

Un esempio dalla pratica. Il mio subordinato commette un errore e il mio collega (il capo di un altro dipartimento) afferma che sarebbe necessario esercitare un'influenza manageriale sul dipendente negligente (in altre parole, punire / rimproverare). E so che questo dipendente fa 4-5 mila operazioni dello stesso tipo al mese e durante questo periodo non commette più di 10 errori. Senti la differenza nel paradigma? Il mio collega reagisce all'osservazione e so a priori che un dipendente commette un certo numero di errori, in modo che uno in più non abbia influito su questa conoscenza ... Ora, se alla fine del mese risulta che ci sono, ad esempio, 15 errori del genere!.. Questo diventerà già un motivo per indagare sulle cause del mancato rispetto delle norme.

Convinto dell'importanza dell'approccio bayesiano? Incuriosito? Lo spero". E ora l'unico neo. Sfortunatamente, le idee bayesiane vengono date raramente al primo tentativo. Sono stato francamente sfortunato, poiché ho conosciuto queste idee attraverso la letteratura popolare, dopo aver letto la quale sono rimaste molte domande. Quando ho pianificato di scrivere una nota, ho raccolto tutto ciò che avevo precedentemente delineato secondo Bayes e ho anche studiato ciò che scrivono su Internet. Vi presento la mia migliore ipotesi sull'argomento. Introduzione alla probabilità bayesiana.

Derivazione del teorema di Bayes

Si consideri il seguente esperimento: nomiamo qualsiasi numero che giace sul segmento e fissiamo quando questo numero è, ad esempio, compreso tra 0,1 e 0,4 (Fig. 1a). La probabilità di questo evento è uguale al rapporto tra la lunghezza del segmento e la lunghezza totale del segmento, a condizione che il verificarsi di numeri sul segmento equiprobabile. Matematicamente, questo può essere scritto P(0,1 <= X <= 0,4) = 0,3, или кратко R(X) = 0,3, dove R- probabilità, Xè una variabile casuale nell'intervallo , Xè una variabile casuale nell'intervallo . Cioè, la probabilità di colpire il segmento è del 30%.

Riso. 1. Interpretazione grafica delle probabilità

Consideriamo ora il quadrato x (Fig. 1b). Diciamo che dobbiamo nominare coppie di numeri ( X, y), ciascuno dei quali è maggiore di zero e minore di uno. La probabilità che X(primo numero) sarà all'interno del segmento (area blu 1), pari al rapporto tra l'area dell'area blu e l'area dell'intero quadrato, ovvero (0,4 - 0,1 ) * (1 - 0) / (1 * 1) = 0, 3, ovvero lo stesso 30%. La probabilità che yè all'interno del segmento (area verde 2) è uguale al rapporto tra l'area dell'area verde e l'area dell'intera piazza P(0,5 <= y <= 0,7) = 0,2, или кратко R(Y) = 0,2.

Cosa si può imparare sui valori allo stesso tempo X e y. Ad esempio, qual è la probabilità che entrambi X e y sono nei segmenti dati corrispondenti? Per fare ciò, è necessario calcolare il rapporto tra l'area del dominio 3 (l'intersezione delle strisce verde e blu) e l'area dell'intero quadrato: P(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

Supponiamo ora di voler sapere qual è la probabilità che yè nell'intervallo se Xè già nell'intervallo. Cioè, infatti, abbiamo un filtro e quando chiamiamo coppie ( X, y), quindi scartiamo immediatamente quelle coppie che non soddisfano la condizione per la ricerca X in un dato intervallo, e poi dalle coppie filtrate contiamo quelle per cui y soddisfa la nostra condizione e consideriamo la probabilità come il rapporto tra il numero di coppie per le quali y si trova nel segmento sopra al numero totale di coppie filtrate (ovvero per cui X si trova nel segmento). Possiamo scrivere questa probabilità come P(Y|X a X colpito nel raggio d'azione". Ovviamente, questa probabilità è uguale al rapporto tra l'area dell'area 3 e l'area dell'area blu 1. L'area dell'area 3 è (0,4 - 0,1) * (0,7 - 0,5) = 0,06 e l'area dell'area blu 1 ( 0,4 - 0,1) * (1 - 0) = 0,3, quindi il loro rapporto è 0,06 / 0,3 = 0,2. In altre parole, la probabilità di trovare y sul segmento, a condizione che X appartiene al segmento P(Y|X) = 0,2.

Nel paragrafo precedente, infatti, abbiamo formulato l'identità: P(Y|X) = P(X, Y) /P( X). Si legge: "probabilità di colpire a nell'intervallo, a condizione che X hit nell'intervallo è uguale al rapporto tra la probabilità di hit simultanea X nel raggio d'azione e a nell'intervallo, alla probabilità di colpire X nella gamma".

Per analogia, considera la probabilità P(X|Y). Chiamiamo coppie X, y) e filtra quelli per cui yè compreso tra 0,5 e 0,7, quindi la probabilità che Xè nel segmento fornito che y appartiene al segmento è uguale al rapporto tra l'area dell'area 3 e l'area dell'area verde 2: P(X|Y) = P(X, Y) / P(Y).

Nota che le probabilità P(X, Y) E P(Y, X) sono uguali ed entrambi sono uguali al rapporto tra l'area della zona 3 e l'area dell'intero quadrato, ma le probabilità P(Y|X) E P(X|Y) non uguale; mentre la probabilità P(Y|X) è uguale al rapporto tra l'area dell'area 3 e l'area 1, e P(X|Y) – da dominio 3 a dominio 2. Nota anche quello P(X, Y) è spesso indicato come P(X&Y).

Quindi abbiamo due definizioni: P(Y|X) = P(X, Y) /P( X) E P(X|Y) = P(X, Y) / P(Y)

Riscriviamo queste uguaglianze come: P(X, Y) = P(Y|X)*P( X) E P(X, Y) = P(X|Y) * P(Y)

Poiché i lati di sinistra sono uguali, lo sono anche quelli di destra: P(Y|X)*P( X) = P(X|Y) * P(Y)

Oppure possiamo riscrivere l'ultima uguaglianza come:

Questo è il teorema di Bayes!

Possibile che trasformazioni così semplici (quasi tautologiche) diano origine a un grande teorema!? Non correre alle conclusioni. Parliamo ancora di quello che abbiamo. C'era una certa probabilità iniziale (a priori). R(X) che la variabile casuale X uniformemente distribuito sul segmento rientra nel range X. Si è verificato un evento Y, per cui abbiamo ottenuto la probabilità a posteriori della stessa variabile aleatoria X: R(X|Y), e questa probabilità differisce da R(X) dal coefficiente . Evento Y chiamate prove, più o meno confermanti o confutanti X. Questo coefficiente è talvolta chiamato potere di prova. Più forte è l'evidenza, più il fatto dell'osservazione Y cambia la probabilità a priori, più la probabilità a posteriori differisce dalla precedente. Se l'evidenza è debole, il posteriore è quasi uguale al precedente.

Formula di Bayes per variabili casuali discrete

Nella sezione precedente, abbiamo derivato la formula di Bayes per le variabili casuali continue xey definite sull'intervallo . Si consideri un esempio con variabili casuali discrete, ciascuna delle quali assume due possibili valori. Nel corso delle visite mediche di routine, è stato riscontrato che all'età di quarant'anni, l'1% delle donne soffre di cancro al seno. L'80% delle donne con cancro ottiene risultati positivi alla mammografia. Anche il 9,6% delle donne sane ottiene risultati positivi alla mammografia. Durante l'esame, una donna di questa fascia di età ha ricevuto un risultato mammografico positivo. Qual è la probabilità che abbia effettivamente un cancro al seno?

Il corso del ragionamento/calcolo è il seguente. Dell'1% dei malati di cancro, la mammografia darà l'80% di risultati positivi = 1% * 80% = 0,8%. Del 99% delle donne sane, la mammografia darà il 9,6% di risultati positivi = 99% * 9,6% = 9,504%. In totale, del 10,304% (9,504% + 0,8%) con risultati positivi alla mammografia, solo lo 0,8% è malato e il restante 9,504% è sano. Pertanto, la probabilità che una donna con una mammografia positiva abbia il cancro è 0,8% / 10,304% = 7,764%. Pensavi all'80% o giù di lì?

Nel nostro esempio, la formula di Bayes assume la forma seguente:

Parliamo ancora una volta del significato "fisico" di questa formula. Xè una variabile casuale (diagnosi), che assume i seguenti valori: x 1- malato e X 2- sano; Y– variabile casuale (risultato della misurazione - mammografia), che assume i valori: Sì 1- un risultato positivo e Y2- risultato negativo; p(X 1)- la probabilità di malattia prima della mammografia (probabilità a priori), pari all'1%; R(Y 1 |X 1 ) – la probabilità di esito positivo se il paziente è malato (probabilità condizionata, poiché deve essere specificata nelle condizioni del compito), pari all'80%; R(Y 1 |X 2 ) – la probabilità di esito positivo se il paziente è sano (probabilità anche condizionata), pari al 9,6%; p(X 2)- la probabilità che il paziente sia sano prima della mammografia (probabilità a priori), pari al 99%; p(X 1|Y 1 ) – la probabilità che il paziente sia malato, dato un risultato mammografico positivo (probabilità a posteriori).

Si può notare che la probabilità a posteriori (quella che stiamo cercando) è proporzionale alla probabilità a priori (iniziale) con un coefficiente leggermente più complesso . Sottolineerò ancora. A mio avviso, questo è un aspetto fondamentale dell'approccio bayesiano. dimensione ( Y) ha aggiunto una certa quantità di informazioni a quelle inizialmente disponibili (a priori), che hanno chiarito le nostre conoscenze sull'oggetto.

Esempi

Per consolidare il materiale coperto, provare a risolvere diversi problemi.

Esempio 1 Ci sono 3 urne; nelle prime 3 palline bianche e 1 nera; nel secondo - 2 palline bianche e 3 nere; nel terzo - 3 palline bianche. Qualcuno si avvicina casualmente a una delle urne e ne estrae 1 pallina. Questa palla è bianca. Trova le probabilità a posteriori che la pallina sia estratta dalla 1a, 2a, 3a urna.

Soluzione. Abbiamo tre ipotesi: H 1 = (prima urna selezionata), H 2 = (seconda urna selezionata), H 3 = (terza urna selezionata). Poiché l'urna è scelta a caso, le probabilità a priori delle ipotesi sono: Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

Come risultato dell'esperimento, è apparso l'evento A = (una pallina bianca è stata estratta dall'urna selezionata). Probabilità condizionali dell'evento A sotto ipotesi H 1, H 2, H 3: P(A|H 1) = 3/4, P(A|H 2) = 2/5, P(A|H 3) = 1. Ad esempio la prima uguaglianza recita così: “la probabilità di estrarre una pallina bianca se si sceglie la prima urna è 3/4 (poiché ci sono 4 palline nella prima urna e 3 di esse sono bianche)”.

Applicando la formula di Bayes, troviamo le probabilità a posteriori delle ipotesi:

Così, alla luce delle informazioni sul verificarsi dell'evento A, le probabilità delle ipotesi sono cambiate: la più probabile è diventata l'ipotesi H 3 , la meno probabile - l'ipotesi H 2 .

Esempio 2 Due tiratori sparano indipendentemente allo stesso bersaglio, ciascuno sparando un colpo. La probabilità di colpire il bersaglio per il primo tiratore è 0,8, per il secondo - 0,4. Dopo aver sparato, è stato trovato un buco nel bersaglio. Trova la probabilità che questa buca appartenga al primo tiratore (scartiamo il risultato (entrambe le buche coincidono) come trascurabilmente improbabile).

Soluzione. Prima dell'esperimento, sono possibili le seguenti ipotesi: H 1 = (né la prima né la seconda freccia colpiranno), H 2 = (entrambe le frecce colpiranno), H 3 - (il primo tiratore colpirà e il secondo no ), H 4 = (il primo tiratore non colpirà e il secondo colpirà). Probabilità a priori delle ipotesi:

P (H 1) \u003d 0,2 * 0,6 \u003d 0,12; P (H 2) \u003d 0,8 * 0,4 \u003d 0,32; P (H 3) \u003d 0,8 * 0,6 \u003d 0,48; P (H 4) \u003d 0,2 * 0,4 \u003d 0,08.

Le probabilità condizionali dell'evento osservato A = (c'è un buco nel bersaglio) sotto queste ipotesi sono: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

Dopo l'esperienza, le ipotesi H 1 e H 2 diventano impossibili e le probabilità a posteriori delle ipotesi H 3 e H 4 secondo la formula di Bayes saranno:

Bayes contro lo spam

La formula di Bayes ha trovato ampia applicazione nello sviluppo di filtri antispam. Supponiamo che tu voglia addestrare un computer per determinare quali e-mail sono spam. Inizieremo dal dizionario e dalle combinazioni di parole utilizzando le stime bayesiane. Creiamo prima uno spazio di ipotesi. Facciamo 2 ipotesi su qualsiasi lettera: H A è spam, H B non è spam, ma una lettera normale e necessaria.

Per prima cosa, "addestriamo" il nostro futuro sistema anti-spam. Prendiamo tutte le lettere che abbiamo e dividiamole in due "mucchi" di 10 lettere. In uno mettiamo lettere di spam e lo chiamiamo heap H A, nell'altro mettiamo la corrispondenza necessaria e lo chiamiamo heap HB. Ora vediamo: quali parole e frasi si trovano nello spam e nelle email necessarie e con quale frequenza? Queste parole e frasi saranno chiamate prove e denotate da E 1 , E 2 ... Si scopre che le parole comunemente usate (ad esempio, le parole "mi piace", "tuo") negli heap HA e HB si verificano con approssimativamente il stessa frequenza. Quindi, la presenza di queste parole in una lettera non ci dice nulla di quale mucchio appartenga (prove deboli). Assegniamo a queste parole un valore neutro della stima della probabilità di "spam", diciamo, 0,5.

Lascia che la frase "inglese colloquiale" appaia solo in 10 lettere e più spesso nelle e-mail di spam (ad esempio, in 7 e-mail di spam su tutte e 10) che in quelle giuste (in 3 su 10). Diamo a questa frase un punteggio più alto di 7/10 per lo spam e un punteggio più basso per le email normali: 3/10. Al contrario, si è scoperto che la parola "compagno" era più comune nelle lettere normali (6 su 10). E così abbiamo ricevuto una breve lettera: “Amico! Com'è il tuo inglese parlato?. Proviamo a valutarne lo "spam". Metteremo le stime generali P(H A), P(H B) di appartenenza a ciascun heap usando una formula di Bayes alquanto semplificata e le nostre stime approssimative:

P(H A) = A/(A+B), dove A \u003d p a1 * p a2 * ... * pan, B \u003d p b1 * p b2 * ... * pbn \u003d (1 - p a1) * (1 - p a2) * ... * ( 1 - p an).

Tabella 1. Valutazione bayesiana semplificata (e incompleta) della scrittura

Pertanto, la nostra ipotetica lettera ha ricevuto una valutazione della probabilità di appartenenza con un'enfasi nella direzione dello "spam". Possiamo decidere di gettare la lettera in una delle pile? Definiamo le soglie di decisione:

Assumiamo che la lettera appartenga all'heap H i se P(H i) ≥ T.
La lettera non appartiene all'heap se P(H i) ≤ L.
Se L ≤ P(H i) ≤ T, non è possibile prendere alcuna decisione.

Puoi prendere T = 0,95 e L = 0,05. Poiché per la lettera in questione e 0.05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Sì. Calcoliamo il punteggio per ogni prova in un modo diverso, proprio come suggerito da Bayes. Sia:

F a è il numero totale di e-mail di spam;

F ai è il numero di lettere con un certificato io in un mucchio di spam;

F b è il numero totale di lettere necessarie;

F bi è il numero di lettere con un certificato io in una pila di lettere necessarie (rilevanti).

Allora: p ai = F ai /F a , p bi = F bi /F b . P(H A) = LA/(LA+B), P(H B) = B/(LA+B), doveÀ = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Si noti che i punteggi delle parole di prova p ai e p bi sono diventati oggettivi e possono essere calcolati senza l'intervento umano.

Tabella 2. Una stima bayesiana più accurata (ma incompleta) delle funzionalità disponibili da una lettera

Abbiamo ottenuto un risultato abbastanza preciso: con un ampio margine di probabilità, la lettera può essere attribuita alle lettere necessarie, poiché P(H B) = 0,997 > T = 0,95. Perché il risultato è cambiato? Poiché abbiamo utilizzato più informazioni, abbiamo preso in considerazione il numero di lettere in ciascuno degli heap e, a proposito, abbiamo determinato le stime p ai e p bi molto più correttamente. Sono stati determinati allo stesso modo di Bayes stesso, calcolando le probabilità condizionali. In altre parole, p a3 è la probabilità che la parola "amico" appaia nell'e-mail, dato che l'e-mail appartiene già all'heap di spam H A . Il risultato non si è fatto attendere: sembra che possiamo prendere una decisione con maggiore certezza.

Bayes contro la frode aziendale

Un'interessante applicazione dell'approccio bayesiano è stata descritta da MAGNUS8.

Il mio attuale progetto (IS per il rilevamento delle frodi in un'impresa manifatturiera) utilizza la formula di Bayes per determinare la probabilità di frode (frode) in presenza/assenza di diversi fatti indirettamente a favore dell'ipotesi della possibilità di frode. L'algoritmo è ad autoapprendimento (con feedback), ovvero ricalcola i propri coefficienti (probabilità condizionali) all'effettiva conferma o meno della frode in sede di verifica da parte del servizio di previdenza economica.

Probabilmente vale la pena dire che tali metodi durante la progettazione di algoritmi richiedono una cultura matematica abbastanza elevata dello sviluppatore, perché il minimo errore nella derivazione e/o implementazione di formule computazionali annullerà e screditerà l'intero metodo. I metodi probabilistici sono particolarmente colpevoli di ciò, poiché il pensiero umano non è adatto a lavorare con categorie probabilistiche e, di conseguenza, non esiste "visibilità" e comprensione del "significato fisico" dei parametri probabilistici intermedi e finali. Una tale comprensione esiste solo per i concetti di base della teoria della probabilità, quindi devi solo combinare e derivare con molta attenzione cose complesse secondo le leggi della teoria della probabilità: il buon senso non sarà più di aiuto per gli oggetti composti. Questo, in particolare, è associato a battaglie metodologiche piuttosto serie che si svolgono sulle pagine dei libri moderni sulla filosofia della probabilità, nonché a un gran numero di sofismi, paradossi e enigmi di curiosità su questo argomento.

Un'altra sfumatura che ho dovuto affrontare è che, purtroppo, quasi tutto ciò che è più o meno UTILE NELLA PRATICA su questo argomento è scritto in inglese. Nelle fonti in lingua russa esiste fondamentalmente solo una teoria ben nota con esempi dimostrativi solo per i casi più primitivi.

Concordo pienamente con l'ultimo commento. Ad esempio, Google, quando ha cercato di trovare qualcosa come il libro "Probabilità bayesiana", non ha fornito nulla di intelligibile. È vero, ha detto che un libro con statistiche bayesiane è stato bandito in Cina. (Il professore di statistica Andrew Gelman ha riferito su un blog della Columbia University che il suo libro, Data Analysis with Regression and Multilevel/Hierarchical Models, è stato bandito dalla pubblicazione in Cina. testo.) Mi chiedo se una ragione simile abbia portato all'assenza di libri sul bayesiano probabilità in Russia?

Il conservatorismo nel processo di elaborazione delle informazioni umane

Le probabilità determinano il grado di incertezza. La probabilità, sia secondo Bayes che secondo la nostra intuizione, è semplicemente un numero compreso tra zero e ciò che rappresenta il grado in cui una persona alquanto idealizzata crede che l'affermazione sia vera. Il motivo per cui l'uomo è in qualche modo idealizzato è che la somma delle sue probabilità per due eventi che si escludono a vicenda deve essere uguale alla sua probabilità che uno di questi eventi si verifichi. La proprietà dell'additività ha tali implicazioni che poche persone reali possono eguagliarle tutte.

Il teorema di Bayes è una banale conseguenza della proprietà dell'additività, innegabile e condivisa da tutti i probabilisti, bayesiani e non. Un modo per scriverlo è il seguente. Se P(H A |D) è la probabilità successiva che l'ipotesi A fosse successiva all'osservazione del dato valore D, P(H A) è la sua probabilità a priori prima che il dato valore D fosse osservato, P(D|H A ) è la probabilità che a si osserverà un dato valore D, se HA è vero, e P(D) è la probabilità incondizionata di un dato valore D, allora

(1) P(HA |D) = P(D|HA) * P(HA) / P(D)

È meglio pensare a P(D) come a una costante normalizzante, che fa sì che le probabilità a posteriori si sommino a uno sull'insieme esaustivo di ipotesi che si escludono a vicenda che vengono prese in considerazione. Se deve essere calcolato, può essere così:

Ma più spesso P(D) viene eliminato piuttosto che contato. Un modo conveniente per eliminarlo è trasformare il teorema di Bayes nella forma di una relazione probabilità-quota.

Considera un'altra ipotesi, HB , mutuamente esclusiva di HA, e cambia idea su di essa in base alla stessa quantità data che ti ha fatto cambiare idea su HA. Il teorema di Bayes dice che

(2) P(H B |D) = P(D|H B) * P(H B) / P(D)

Ora dividiamo l'Equazione 1 per l'Equazione 2; il risultato sarà questo:

dove Ω 1 sono le quote a posteriori a favore di H A in termini di HB , Ω 0 sono le quote a priori e L è un numero familiare agli statistici come rapporto di probabilità. L'equazione 3 è la stessa versione rilevante del teorema di Bayes dell'equazione 1 ed è spesso molto più utile soprattutto per esperimenti che coinvolgono ipotesi. I sostenitori bayesiani sostengono che il teorema di Bayes è una regola formalmente ottimale su come rivedere le opinioni alla luce di nuovi dati.

Ci interessa confrontare il comportamento ideale definito dal teorema di Bayes con il comportamento reale delle persone. Per darti un'idea di cosa significhi, proviamo un esperimento con te come soggetto. Questa borsa contiene 1000 fiches da poker. Ho due di queste borse, una con 700 fiches rosse e 300 blu, e l'altra con 300 rosse e 700 blu. Ho lanciato una moneta per determinare quale usare. Quindi, se le nostre opinioni sono le stesse, la tua attuale probabilità di pescare una borsa con più gettoni rossi è 0,5. Ora, campioni casualmente, tornando dopo ogni token. In 12 gettoni, ottieni 8 rossi e 4 blu. Ora, in base a tutto quello che sai, qual è la probabilità che una borsa esca con più rossi? È chiaro che è maggiore di 0,5. Per favore, non continuare a leggere finché non hai registrato la tua valutazione.

Se sembri un soggetto tipico, il tuo punteggio è compreso tra 0,7 e 0,8. Se facessimo il calcolo corrispondente, tuttavia, la risposta sarebbe 0,97. In effetti, è molto raro che una persona a cui non è stata precedentemente mostrata l'influenza del conservatorismo ottenga una stima così alta, anche se aveva familiarità con il teorema di Bayes.

Se la proporzione di fiches rosse nella borsa è R, quindi la probabilità di ottenere R patatine rosse e ( n-R) blu dentro n campioni con reso - p r (1–P)n-R. Quindi, in un tipico esperimento con borsa e fiches da poker, se hUN significa che la proporzione di gettoni rossi è RA e hB significa che la quota è RB, quindi il rapporto di probabilità:

Quando si applica la formula di Bayes, deve essere presa in considerazione solo la probabilità dell'osservazione effettiva e non le probabilità di altre osservazioni che avrebbe potuto fare ma non l'ha fatto. Questo principio ha ampie implicazioni per tutte le applicazioni statistiche e non statistiche del teorema di Bayes; è lo strumento tecnico più importante del pensiero bayesiano.

Rivoluzione bayesiana

I tuoi amici e colleghi stanno parlando di qualcosa chiamato "Teorema di Bayes" o "regola bayesiana" o qualcosa chiamato pensiero bayesiano. Sono davvero interessati, quindi vai online e trovi una pagina sul teorema di Bayes e... È un'equazione. E questo è tutto... Perché un concetto matematico suscita tanto entusiasmo nelle menti? Che tipo di "rivoluzione bayesiana" sta avvenendo tra gli scienziati, e si sostiene che anche l'approccio sperimentale stesso può essere descritto come il suo caso speciale? Qual è il segreto che conoscono i seguaci di Bayes? Che tipo di luce vedono?

La rivoluzione bayesiana nella scienza non è avvenuta perché sempre più scienziati cognitivi hanno improvvisamente iniziato a notare che i fenomeni mentali hanno una struttura bayesiana; non perché scienziati di ogni campo abbiano iniziato a usare il metodo bayesiano; ma perché la scienza stessa è un caso speciale del teorema di Bayes; l'evidenza sperimentale è l'evidenza bayesiana. I rivoluzionari bayesiani sostengono che quando fai un esperimento e ottieni prove che "supportano" o "confutano" la tua teoria, quella conferma o confutazione avviene secondo le regole bayesiane. Ad esempio, devi considerare non solo che la tua teoria può spiegare il fenomeno, ma anche che ci sono altre possibili spiegazioni che possono anche prevedere questo fenomeno.

In precedenza, la filosofia della scienza più popolare era la vecchia filosofia che fu rimpiazzata dalla rivoluzione bayesiana. L'idea di Karl Popper che le teorie possono essere completamente falsificate, ma mai completamente confermate, è un altro caso speciale di regole bayesiane; se p(X|A) ≈ 1 - se la teoria fa previsioni corrette, allora l'osservazione di ~X falsifica molto A. D'altra parte, se p(X|A) ≈ 1 e osserviamo X, questo non sostenere molto la teoria; è possibile qualche altra condizione B, tale che p(X|B) ≈ 1, e sotto la quale l'osservazione di X non prova per A ma evidenza per B. Per osservare X che conferma definitivamente A, dovremmo sapere non che p( X|A) ≈ 1 e che p(X|~A) ≈ 0, che non possiamo conoscere perché non possiamo considerare tutte le possibili spiegazioni alternative. Ad esempio, quando la teoria della relatività generale di Einstein ha superato la teoria della gravità altamente verificabile di Newton, ha reso tutte le previsioni della teoria di Newton un caso speciale di Einstein.

Allo stesso modo, l'affermazione di Popper secondo cui un'idea deve essere falsificabile può essere interpretata come una manifestazione della regola bayesiana sulla conservazione della probabilità; se il risultato X è una prova positiva per la teoria, allora il risultato ~X deve falsificare la teoria in una certa misura. Se stai cercando di interpretare sia X che ~X come "supporto" di una teoria, le regole bayesiane dicono che è impossibile! Per aumentare la probabilità di una teoria, è necessario sottoporla a test che possono potenzialmente ridurne la probabilità; questa non è solo una regola per rilevare i ciarlatani nella scienza, ma una conseguenza del teorema della probabilità bayesiano. D'altra parte, l'idea di Popper secondo cui è necessaria solo la falsificazione e non è necessaria alcuna conferma è sbagliata. Il teorema di Bayes mostra che la falsificazione è una prova molto forte rispetto alla conferma, ma la falsificazione è ancora di natura probabilistica; non è governato da regole fondamentalmente diverse e non differisce in questo dalla conferma, come sostiene Popper.

Così troviamo che molti fenomeni nelle scienze cognitive, più i metodi statistici usati dagli scienziati, più il metodo scientifico stesso, sono tutti casi speciali del teorema di Bayes. Questo è ciò che riguarda la rivoluzione bayesiana.

Benvenuti nella cospirazione bayesiana!

Letteratura sulla probabilità bayesiana

2. Il premio Nobel per l'economia Kahneman (et al.) descrive molte diverse applicazioni di Bayes in un libro meraviglioso. Solo nel mio riassunto di questo libro molto grande, ho contato 27 riferimenti al nome di un ministro presbiteriano. Formule minime. (.. Mi è piaciuto molto. Vero, è complicato, molta matematica (e dove senza), ma singoli capitoli (ad esempio, Capitolo 4. Informazioni), chiaramente sull'argomento. Consiglio a tutti. Anche se la matematica è difficile per te, leggere la riga, saltare la matematica e pescare cereali utili...

14. (supplemento del 15 gennaio 2017), un capitolo del libro di Tony Crilly. 50 idee che devi conoscere Matematica.

Il fisico premio Nobel Richard Feynman, parlando di un filosofo particolarmente egoista, una volta disse: “Non è la filosofia come scienza che mi irrita, ma lo sfarzo che si è creato attorno ad essa. Se solo i filosofi potessero ridere di se stessi! Se solo potessero dire: "Io dico che è così, ma Von Leipzig pensava che fosse diverso, e anche lui ne sa qualcosa". Se solo si ricordassero di chiarire che era solo loro .

Università statale siberiana di telecomunicazioni e informatica

Dipartimento di Matematica Superiore

disciplina: "Teoria della probabilità e statistica matematica"

"Formula della probabilità totale e formula di Bayes (Bayes) e loro applicazione"

Completato:

Responsabile: Professor B.P. Zelentsov

Novosibirsk, 2010

Introduzione 3

1. Formula di probabilità totale 4-5

2. Formula di Bayes (Bayes) 5-6

3. Problemi con le soluzioni 7-11

4. I principali ambiti di applicazione della formula di Bayes (Bayes) 11

Conclusione 12

Letteratura 13

introduzione

La teoria della probabilità è una delle branche classiche della matematica. Ha una lunga storia. Le basi di questo ramo della scienza furono gettate da grandi matematici. Nominerò, ad esempio, Fermat, Bernoulli, Pascal.
Successivamente, lo sviluppo della teoria della probabilità è stato determinato nelle opere di molti scienziati.
Gli scienziati del nostro paese hanno dato un grande contributo alla teoria della probabilità:
PL Chebyshev, AM Lyapunov, AA Markov, AN Kolmogorov. I metodi probabilistici e statistici sono ora profondamente radicati nelle applicazioni. Sono usati in fisica, ingegneria, economia, biologia e medicina. Il loro ruolo è particolarmente aumentato in connessione con lo sviluppo della tecnologia informatica.

Ad esempio, per studiare i fenomeni fisici, vengono fatte osservazioni o esperimenti. I loro risultati sono solitamente registrati come valori di alcune grandezze osservate. Quando ripetiamo gli esperimenti, troviamo una dispersione nei loro risultati. Ad esempio, ripetendo misurazioni della stessa quantità con lo stesso dispositivo mantenendo determinate condizioni (temperatura, umidità, ecc.), otteniamo risultati che differiscono almeno leggermente, ma differiscono comunque tra loro. Anche misurazioni multiple non consentono di prevedere con precisione il risultato della misurazione successiva. In questo senso, si dice che il risultato di una misurazione è una quantità casuale. Un esempio ancora più chiaro di variabile casuale è il numero di un biglietto vincente della lotteria. Possono essere forniti molti altri esempi di variabili casuali. Tuttavia, nel mondo degli incidenti, si trovano determinati schemi. L'apparato matematico per lo studio di tali regolarità è fornito dalla teoria della probabilità.
Pertanto, la teoria della probabilità si occupa dell'analisi matematica di eventi casuali e variabili casuali ad essi associati.

1. Formula di probabilità totale.

Che ci sia un gruppo di eventi h 1 ,h 2 ,..., H n, che ha le seguenti proprietà:

1) tutti gli eventi sono incompatibili a coppie: Ciao

Hj=Æ; io, J=1,2,...,n; io¹ J;

2) la loro unione forma lo spazio degli esiti elementari W:

Fig.8

In questo caso, lo diremo h 1 , h 2 ,...,H n modulo gruppo completo di eventi. Tali eventi sono talvolta chiamati ipotesi.

Lascia stare MA- qualche evento: MAÌW (diagramma di Venn mostrato nella Figura 8). Poi c'è formula di probabilità totale:

P(UN) = P(UN/h 1)P(h 1) + P(UN/h 2)P(h 2) + ...+P(UN/H n)P(H n) =

Prova. Ovviamente: A=

e tutti gli eventi ( io = 1,2,...,n) sono incoerenti a coppie. Da qui, per il teorema dell'addizione di probabilità, otteniamo

P(UN) = P(

) + P( ) +...+ P(

Considerando che per il teorema della moltiplicazione P(

) = P(A/H io) P(h io)( io= 1,2,...,n), quindi dall'ultima formula è facile ottenere la formula sopra per la probabilità totale.

Esempio. Il negozio vende lampade elettriche prodotte da tre stabilimenti, con la quota del primo impianto - 30%, il secondo - 50%, il terzo - 20%. Il matrimonio nei loro prodotti è rispettivamente del 5%, 3% e 2%. Qual è la probabilità che una lampada scelta a caso in un negozio sia difettosa?

Lascia che l'evento h 1 è che la lampada scelta è prodotta nella prima fabbrica, h 2 sul secondo h 3 - al terzo impianto. Ovviamente:

P(h 1) = 3/10, P(h 2) = 5/10, P(h 3) = 2/10.

Lascia che l'evento MA consiste nel fatto che la lampada selezionata si è rivelata difettosa; A/H i indica un evento consistente nel fatto che una lampada difettosa viene scelta tra le lampade prodotte a io la fabbrica. Dalla condizione del problema segue:

P (UN/ h 1) = 5/10; P(UN/ h 2) = 3/10; P(UN/ h 3) = 2/10

Secondo la formula della probabilità totale, otteniamo

2. Formula di Bayes (Bayes)

Lascia stare h 1 ,h 2 ,...,H n- gruppo completo di eventi e MAÌ W è un evento. Quindi secondo la formula per la probabilità condizionata

(1)

Qui P(HK/UN) è la probabilità condizionata dell'evento (ipotesi) HK o la probabilità che HKè implementato a condizione che l'evento MAè accaduto.

Secondo il teorema della moltiplicazione di probabilità, il numeratore di formula (1) può essere rappresentato come

P = P = P(UN/HK)P(HK)

Per rappresentare il denominatore della formula (1), si può utilizzare la formula della probabilità totale

P(UN)

Ora dalla (1) si ottiene una formula chiamata Formula di Bayes:

Con la formula di Bayes si calcola la probabilità di realizzazione dell'ipotesi HK a condizione che l'evento MAè accaduto. Viene anche chiamata formula di Bayes formula di probabilità di ipotesi. Probabilità P(HK) è chiamata probabilità a priori dell'ipotesi HK, e la probabilità P(HK/UN) è la probabilità a posteriori.

Teorema. La probabilità di un'ipotesi dopo il test è uguale al prodotto della probabilità dell'ipotesi prima del test per la corrispondente probabilità condizionata dell'evento che si è verificato durante il test, diviso per la probabilità totale di questo evento.

Esempio. Considera il problema di cui sopra sulle lampade elettriche, cambia solo la domanda del problema. Consenti all'acquirente di acquistare una lampada elettrica in questo negozio e si è rivelata difettosa. Trova la probabilità che questa lampada sia prodotta nella seconda fabbrica. Valore P(h 2) = 0,5 in questo caso è la probabilità a priori che la lampada acquistata sia prodotta nel secondo stabilimento. Avendo ricevuto l'informazione che la lampada acquistata è difettosa, possiamo correggere la nostra stima della possibilità di produrre questa lampada nel secondo stabilimento calcolando la probabilità a posteriori di questo evento.

Scriviamo la formula di Bayes per questo caso

Da questa formula otteniamo: P(h 2 /UN) = 15/34. Come si vede, le informazioni ottenute hanno portato al fatto che la probabilità dell'evento di nostro interesse è inferiore alla probabilità a priori.

3. Problemi con soluzioni.

Compito 1. Il negozio ha ricevuto nuovi prodotti da tre imprese. La composizione percentuale di questi prodotti è la seguente: 20% - prodotti della prima impresa, 30% - prodotti della seconda impresa, 50% - prodotti della terza impresa; inoltre, il 10% dei prodotti della prima impresa con il grado più alto, nella seconda impresa - 5% e nella terza - il 20% dei prodotti con il grado più alto. Trova la probabilità che un nuovo prodotto acquistato a caso sia della massima qualità.

Soluzione. Indica con IN nel caso in cui venga acquistato un prodotto premium, tramite

Indichiamo gli eventi che consistono nell'acquisto di prodotti appartenenti rispettivamente alla prima, seconda e terza impresa.

Possiamo applicare la formula della probabilità totale e nella nostra notazione:

Sostituendo questi valori nella formula della probabilità totale, otteniamo la probabilità richiesta:

Compito 2. Uno dei tre tiratori viene chiamato sulla linea di tiro e spara due colpi. La probabilità di colpire il bersaglio con un colpo per il primo tiratore è 0,3, per il secondo - 0,5; per il terzo - 0,8. Il bersaglio non viene colpito. Trova la probabilità che i colpi siano stati sparati dal primo tiratore.

Potresti non aver mai sentito parlare del teorema di Bayes, ma l'hai usato tutto il tempo. Ad esempio, inizialmente hai stimato la probabilità di ricevere un aumento di stipendio del 50%. Dopo aver ricevuto un feedback positivo dal manager, hai aggiustato la tua valutazione in meglio e, al contrario, l'hai ridotta se hai rotto la caffettiera al lavoro. Questo è il modo in cui il valore di probabilità viene raffinato man mano che le informazioni vengono accumulate.

L'idea principale del teorema di Bayes consiste nell'ottenere una maggiore accuratezza della stima della probabilità dell'evento tenendo conto di dati aggiuntivi.

Il principio è semplice: esiste una stima di base iniziale della probabilità, che viene affinata con maggiori informazioni.

Formula di Bayes

Le azioni intuitive sono formalizzate in una semplice ma potente equazione ( Formula di probabilità di Bayes):

Il lato sinistro dell'equazione è una stima a posteriori della probabilità dell'evento A nella condizione del verificarsi dell'evento B (la cosiddetta probabilità condizionata).

PAPÀ)- probabilità dell'evento A (di base, stima a priori);
P(B|A) — la probabilità (anche condizionata) che otteniamo dai nostri dati;
ma P(B)è una costante di normalizzazione che limita la probabilità a 1.

Questa breve equazione è la base metodo bayesiano.

La natura astratta degli eventi A e B non permette di comprendere chiaramente il significato di questa formula. Per comprendere l'essenza del teorema di Bayes, consideriamo un problema reale.

Esempio

Uno degli argomenti su cui sto lavorando è lo studio dei modelli di sonno. Ho due mesi di dati registrati con il mio orologio Garmin Vivosmart che mostrano a che ora vado a dormire e mi sveglio. Il modello finale in mostra più probabilmente La distribuzione della probabilità del sonno in funzione del tempo (MCMC è un metodo approssimativo) è riportata di seguito.

Il grafico mostra la probabilità che dorma, a seconda solo del tempo. Come cambierà se si tiene conto del tempo durante il quale la luce è accesa in camera da letto? Per affinare la stima è necessario il teorema di Bayes. Il preventivo raffinato è basato su quello a priori e ha la forma:

L'espressione a sinistra è la probabilità che io stia dormendo, dato che si sa che la luce nella mia camera da letto è accesa. La stima precedente in un dato momento (mostrata nel grafico sopra) è indicata come P(sonno). Ad esempio, alle 22:00, la probabilità a priori che io dorma è del 27,34%.

Aggiungi più informazioni usando la probabilità P(luce camera da letto|sonno) derivato dai dati osservati.

Dalle mie stesse osservazioni, so quanto segue: la probabilità che dorma quando la luce è accesa è dell'1%.

La probabilità che la luce si spenga durante il sonno è 1-0,01 = 0,99 (il segno "-" nella formula indica l'evento opposto), perché la somma delle probabilità degli eventi opposti è 1. Quando dormo, la luce in camera abilitati o disabili.

Infine, l'equazione include anche la costante di normalizzazione P(luce) la probabilità che la luce sia accesa. La luce è accesa sia quando dormo che quando sono sveglio. Pertanto, conoscendo la probabilità a priori del sonno, calcoliamo la costante di normalizzazione come segue:

La probabilità che la luce sia accesa viene presa in considerazione in entrambe le opzioni: o dormo o no ( P(-sonno) = 1 — P (sonno)è la probabilità che io sia sveglio.)

La probabilità che la luce sia accesa quando sono sveglio è P(luce|-sonno), e determinato dall'osservazione. So che c'è una probabilità dell'80% che la luce sia accesa quando sono sveglio (il che significa che c'è una probabilità del 20% che la luce non sia accesa se sono sveglio).

L'equazione finale di Bayes diventa:

Ti permette di calcolare la probabilità che io dorma, dato che la luce è accesa. Se siamo interessati alla probabilità che la luce sia spenta, abbiamo bisogno di ogni costruzione P(luce|… sostituito da P(-luce|….

Vediamo come vengono utilizzate in pratica le equazioni simboliche risultanti.

Applichiamo la formula all'ora 22:30 e teniamo conto che la luce è accesa. Sappiamo che c'è una probabilità del 73,90% che stavo dormendo. Questo numero è il punto di partenza per la nostra valutazione.

Perfezioniamolo, tenendo conto delle informazioni sull'illuminazione. Sapendo che la spia è accesa, sostituiamo i numeri nella formula di Bayes:

I dati aggiuntivi hanno cambiato drasticamente la stima della probabilità, da oltre il 70% al 3,42%. Questo mostra la potenza del teorema di Bayes: siamo stati in grado di affinare la nostra valutazione iniziale della situazione includendo più informazioni. Potremmo averlo fatto intuitivamente prima, ma ora, pensandoci in termini di equazioni formali, siamo stati in grado di confermare le nostre previsioni.

Consideriamo un altro esempio. Cosa succede se l'orologio è alle 21:45 e le luci sono spente? Prova a calcolare tu stesso la probabilità, assumendo una stima a priori di 0,1206.

Invece di contare manualmente ogni volta, ho scritto un semplice codice Python per eseguire questi calcoli, che puoi provare in Jupyter Notebook. Riceverai la seguente risposta:

Ora: 21:45:00 La luce è spenta.

La probabilità precedente di dormire: 12,06%
La probabilità aggiornata di dormire: 40,44%

Anche in questo caso, ulteriori informazioni cambiano la nostra stima. Ora, se mia sorella vuole chiamarmi alle 21:45 sapendo che la mia luce è accesa, può usare questa equazione per determinare se posso alzare il telefono (supponendo che risponda solo quando sono sveglio)! Chi dice che le statistiche non sono applicabili alla vita di tutti i giorni?

Visualizzazione delle probabilità

L'osservazione dei calcoli è utile, ma la visualizzazione aiuta ad ottenere una comprensione più profonda del risultato. Cerco sempre di usare i grafici per generare idee se non vengono naturalmente dallo studio delle equazioni. Possiamo visualizzare le distribuzioni di probabilità a priori e a posteriori del sonno utilizzando dati aggiuntivi:

Quando la luce è accesa, il grafico si sposta a destra, indicando che è meno probabile che io dorma in quel momento. Allo stesso modo, il grafico si sposta a sinistra se la mia luce è spenta. Comprendere il significato del teorema di Bayes non è facile, ma questa illustrazione dimostra chiaramente perché è necessario utilizzarlo. La formula di Bayes è uno strumento per perfezionare le previsioni con dati aggiuntivi.

E se ci fossero ancora più dati?

Perché fermarsi all'illuminazione della camera da letto? Possiamo utilizzare ancora più dati nel nostro modello per perfezionare ulteriormente la stima (purché i dati rimangano utili per il caso in esame). Ad esempio, so che se il mio telefono è in carica, c'è una probabilità del 95% che io dorma. Questo fatto può essere preso in considerazione nel nostro modello.

Assumiamo che la probabilità che il mio telefono si stia caricando sia indipendente dall'illuminazione della camera da letto (l'indipendenza dagli eventi è una forte semplificazione eccessiva, ma renderà il compito molto più semplice). Facciamo una nuova, ancora più precisa espressione per la probabilità:

La formula risultante sembra ingombrante, ma usando il codice Python possiamo scrivere una funzione che eseguirà il calcolo. Per qualsiasi momento e qualsiasi combinazione di illuminazione/carica del telefono, questa funzione restituisce la probabilità regolata che io stia dormendo.

L'ora è alle 23:00:00 La spia è accesa Il telefono NON è in carica.

La probabilità precedente di dormire: 95,52%
La probabilità aggiornata di dormire: 1,74%

Alle 23:00, senza ulteriori informazioni, potremmo quasi sicuramente dire che stavo sognando. Tuttavia, una volta che abbiamo ulteriori informazioni che la spia è accesa e il telefono non si sta caricando, concludiamo che la probabilità che io stia dormendo è praticamente zero. Ecco un altro esempio:

L'ora è alle 22:15:00 La spia è spenta Il telefono è in carica.

La probabilità precedente di dormire: 50,79%
La probabilità aggiornata di dormire: 95,10%

La probabilità si sposta verso il basso o verso l'alto a seconda della situazione specifica. Per dimostrarlo, considera quattro configurazioni di dati aggiuntive e come cambiano la distribuzione di probabilità:

Ci sono molte informazioni su questo grafico, ma il punto principale è che la curva di probabilità cambia in base a fattori aggiuntivi. Man mano che verranno aggiunti più dati, otterremo una stima più accurata.

Conclusione

Il teorema di Bayes e altri concetti statistici possono essere difficili da comprendere quando sono rappresentati da equazioni astratte che utilizzano solo lettere o situazioni immaginarie. Il vero apprendimento arriva quando applichiamo concetti astratti a problemi reali.

Il successo nella scienza dei dati dipende dall'apprendimento continuo, dall'aggiunta di nuovi metodi alle tue competenze e dalla ricerca del metodo migliore per risolvere i problemi. Il teorema di Bayes ci consente di perfezionare le nostre stime di probabilità con informazioni aggiuntive per modellare meglio la realtà. L'aumento della quantità di informazioni consente previsioni più accurate e Bayes si sta rivelando uno strumento utile per questo compito.

Accetto feedback, discussioni e critiche costruttive. Potete contattarmi su Twitter.

Formula di Bayes:

Le probabilità P(H i) delle ipotesi H i sono dette probabilità a priori - le probabilità prima degli esperimenti.
Le probabilità P(A/H i) sono dette probabilità a posteriori - le probabilità delle ipotesi H i raffinate come risultato dell'esperimento.

Esempio 1. Il dispositivo può essere assemblato da parti di alta qualità e da parti di qualità ordinaria. Circa il 40% dei dispositivi è assemblato da parti di alta qualità. Se il dispositivo è assemblato da parti di alta qualità, la sua affidabilità (probabilità di funzionamento senza guasti) nel tempo t è 0,95; se da parti di qualità ordinaria, la sua affidabilità è 0,7. Il dispositivo è stato testato per il tempo t e ha funzionato perfettamente. Trova la probabilità che sia assemblato da parti di alta qualità.
Soluzione. Sono possibili due ipotesi: H 1 - il dispositivo è assemblato da parti di alta qualità; H 2: il dispositivo è assemblato da parti di qualità ordinaria. Le probabilità di queste ipotesi prima dell'esperimento: P(H 1) = 0,4, P(H 2) = 0,6. Come risultato dell'esperimento, è stato osservato l'evento A: il dispositivo ha funzionato perfettamente per il tempo t. Le probabilità condizionali di questo evento sotto le ipotesi H 1 e H 2 sono: P(A|H 1) = 0,95; P(A|H 2) = 0,7. Usando la formula (12), troviamo la probabilità dell'ipotesi H 1 dopo l'esperimento:

Esempio #2. Due tiratori sparano indipendentemente allo stesso bersaglio, ciascuno sparando un colpo. La probabilità di colpire il bersaglio per il primo tiratore è 0,8, per il secondo 0,4. Dopo aver sparato, è stato trovato un buco nel bersaglio. Supponendo che due tiratori non possano colpire lo stesso punto, trova la probabilità che il primo tiratore abbia colpito il bersaglio.
Soluzione. Sia l'evento A una buca trovata nel bersaglio dopo il tiro. Prima dell'inizio delle riprese, sono possibili ipotesi:
H 1 - non colpiranno né il primo né il secondo tiratore, la probabilità di questa ipotesi: P(H 1) = 0,2 0,6 = 0,12.
H 2 - entrambi i tiratori colpiranno, P(H 2) = 0,8 0,4 = 0,32.
H 3 - il primo tiratore colpirà e il secondo non colpirà, P(H 3) = 0,8 0,6 = 0,48.
H 4 - il primo tiratore non colpirà, ma il secondo colpirà, P (H 4) = 0,2 0,4 = 0,08.
Le probabilità condizionate dell'evento A in queste ipotesi sono:

Dopo l'esperienza, le ipotesi H 1 e H 2 diventano impossibili e le probabilità delle ipotesi H 3 e H 4
sarà uguale:

Quindi, è molto probabile che il bersaglio venga colpito dal primo tiratore.

Esempio #3. Nell'officina di montaggio, un motore elettrico è collegato al dispositivo. I motori elettrici sono forniti da tre produttori. Sono presenti a magazzino rispettivamente 19,6 e 11 motori elettrici degli stabilimenti citati, che possono funzionare senza guasti fino alla fine del periodo di garanzia, rispettivamente, con probabilità di 0,85, 0,76 e 0,71. Il lavoratore prende a caso un motore e lo monta sul dispositivo. Trova la probabilità che il motore elettrico, montato e funzionante fino al termine del periodo di garanzia, sia stato fornito rispettivamente dal primo, secondo o terzo produttore.
Soluzione. Il primo test è la scelta del motore elettrico, il secondo è il funzionamento del motore elettrico durante il periodo di garanzia. Considera i seguenti eventi:
A - il motore elettrico funziona perfettamente fino al termine del periodo di garanzia;
H 1 - l'installatore prenderà il motore dai prodotti del primo impianto;
H 2 - l'installatore prenderà il motore dai prodotti del secondo impianto;
H 3 - l'installatore prenderà il motore dai prodotti del terzo impianto.
La probabilità dell'evento A è calcolata dalla formula della probabilità totale:

Le probabilità condizionali sono specificate nella dichiarazione del problema:

Troviamo le probabilità

Utilizzando le formule di Bayes (12), calcoliamo le probabilità condizionali delle ipotesi H i:

Esempio #4. Le probabilità che durante il funzionamento del sistema, che consiste di tre elementi, gli elementi con i numeri 1, 2 e 3 falliscano, sono correlate come 3: 2: 5. Le probabilità di rilevare guasti di questi elementi sono rispettivamente 0,95; 0,9 e 0,6.

b) Nelle condizioni di questo compito, è stato rilevato un guasto durante il funzionamento del sistema. Quale elemento ha maggiori probabilità di fallire?

Soluzione.
Sia A un evento di fallimento. Introduciamo un sistema di ipotesi H1 - guasto del primo elemento, H2 - guasto del secondo elemento, H3 - guasto del terzo elemento.
Troviamo le probabilità delle ipotesi:
P(H1) = 3/(3+2+5) = 0,3
P(H2) = 2/(3+2+5) = 0,2
P(H3) = 5/(3+2+5) = 0,5

Secondo la condizione del problema, le probabilità condizionate dell'evento A sono:
P(A|H1) = 0,95, P(A|H2) = 0,9, P(A|H3) = 0,6

a) Trova la probabilità di rilevare un guasto nel sistema.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0,3*0,95 + 0,2*0,9 + 0,5 *0,6 = 0,765

b) Nelle condizioni di questo compito, è stato rilevato un guasto durante il funzionamento del sistema. Quale elemento ha maggiori probabilità di fallire?
P1 = P(H1)*P(A|H1)/ P(A) = 0,3*0,95 / 0,765 = 0,373
P2 = P(H2)*P(A|H2)/ P(A) = 0,2*0,9 / 0,765 = 0,235
P3 = P(H3)*P(A|H3)/ P(A) = 0,5*0,6 / 0,765 = 0,392

La probabilità massima del terzo elemento.

Formula di Bayes

Teorema di Bayes- uno dei principali teoremi della teoria della probabilità elementare, che determina la probabilità che un evento si verifichi in condizioni in cui solo alcune informazioni parziali sugli eventi sono note sulla base delle osservazioni. Secondo la formula di Bayes, è possibile ricalcolare più accuratamente la probabilità, tenendo conto sia delle informazioni precedentemente note che dei dati di nuove osservazioni.

"Significato fisico" e terminologia

La formula di Bayes consente di "riordinare causa ed effetto": dato il fatto noto di un evento, calcola la probabilità che sia stato causato da una determinata causa.

Gli eventi che riflettono l'azione delle "cause" in questo caso vengono solitamente chiamati ipotesi, perchè loro sono ipotetico gli eventi che l'hanno preceduta. Viene chiamata la probabilità incondizionata della validità di un'ipotesi a priori(Quanto è probabile la causa? affatto), e condizionale - tenuto conto del fatto dell'evento - a posteriori(Quanto è probabile la causa? si è rivelato prendere in considerazione i dati dell'evento).

Conseguenza

Un'importante conseguenza della formula di Bayes è la formula per la probabilità totale di un evento a seconda parecchi ipotesi inconsistenti ( e solo da loro!).

- la probabilità che si verifichi l'evento B, a seconda di una serie di ipotesi UN io se sono noti i gradi di affidabilità di queste ipotesi (ad esempio misurate sperimentalmente);

Derivazione della formula

Se un evento dipende solo dalle cause UN io, quindi se è successo, significa che alcuni dei motivi sono necessariamente accaduti, ovvero

Dalla formula di Bayes

trasferimento P(B) a destra, otteniamo l'espressione desiderata.

Metodo di filtro antispam

Un metodo basato sul teorema di Bayes è stato applicato con successo nel filtraggio dello spam.

Descrizione

Durante l'addestramento del filtro, per ogni parola incontrata in lettere, viene calcolato e memorizzato il suo "peso" - la probabilità che una lettera con questa parola sia spam (nel caso più semplice, secondo la classica definizione di probabilità: "apparizioni nello spam / apparenze di tutto”).

Quando si controlla una lettera appena arrivata, la probabilità che sia spam viene calcolata secondo la formula sopra per una serie di ipotesi. In questo caso, "ipotesi" sono parole, e per ogni parola "affidabilità dell'ipotesi" -% di questa parola nella lettera, e "dipendenza dell'evento dall'ipotesi" P(B | UN io) - "peso" della parola precedentemente calcolato. Cioè, il "peso" della lettera in questo caso non è altro che il "peso" medio di tutte le sue parole.

Una lettera è classificata come "spam" o "non spam" se il suo "peso" supera una determinata barra impostata dall'utente (di solito viene preso il 60-80%). Dopo aver preso una decisione su una lettera, i "pesi" per le parole in essa incluse vengono aggiornati nel database.

Caratteristica

Questo metodo è semplice (gli algoritmi sono elementari), conveniente (consente di fare a meno delle "liste nere" e simili trucchi artificiali), efficace (dopo l'allenamento su un campione sufficientemente ampio, taglia fino al 95-97% dello spam e in caso di errori può essere ulteriormente addestrato). In generale, ci sono tutte le indicazioni per un suo uso diffuso, che è ciò che accade nella pratica: quasi tutti i moderni filtri antispam sono costruiti sulla sua base.

Tuttavia, il metodo ha anche uno svantaggio fondamentale: esso sulla base del presupposto, che cosa alcune parole sono più comuni nello spam, mentre altre sono più comuni nelle normali e-mail, ed è inefficiente se questa ipotesi è falsa. Tuttavia, come mostra la pratica, anche una persona non è in grado di determinare tale spam "a occhio", solo dopo aver letto la lettera e averne compreso il significato.

Un altro svantaggio, non fondamentale, associato all'implementazione: il metodo funziona solo con il testo. Conoscendo questa limitazione, gli spammer hanno iniziato a inserire informazioni pubblicitarie nell'immagine, mentre il testo nella lettera è assente o non ha senso. Contro questo, è necessario utilizzare strumenti di riconoscimento del testo (una procedura "costosa", utilizzata solo quando assolutamente necessario), o vecchi metodi di filtraggio - "liste nere" ed espressioni regolari (poiché tali lettere hanno spesso una forma stereotipata).

Guarda anche

Appunti

Collegamenti

Letteratura

Byrd Kiwi. Teorema del Rev. Bayes. // Rivista Computerra, 24 agosto 2001
Paolo Graham. Un piano per lo spam. // Sito personale di Paul Graham.

Fondazione Wikimedia. 2010.

Guarda cos'è la "formula Bayes" in altri dizionari:

Una formula che assomiglia a: dove a1, A2, ..., An sono eventi incompatibili, Lo schema generale per l'applicazione di F. in. g.: se l'evento B può verificarsi in decomp. condizioni in cui n ipotesi A1, A2, ..., An sono fatte con probabilità P (A1), ... note prima dell'esperimento, ... ... Enciclopedia geologica

Consente di calcolare la probabilità di un evento di interesse attraverso le probabilità condizionate di tale evento, assumendo determinate ipotesi, nonché le probabilità di queste ipotesi. Formulazione Sia dato uno spazio di probabilità e un gruppo completo a coppie ... ... Wikipedia

- (o formula di Bayes) è uno dei principali teoremi della teoria della probabilità, che permette di determinare la probabilità che un evento (ipotesi) si sia verificato in presenza di sole prove indirette (dati) che potrebbero essere imprecise... Wikipedia

Il teorema di Bayes è uno dei principali teoremi della teoria della probabilità elementare, che determina la probabilità che un evento si verifichi in condizioni in cui solo alcune informazioni parziali sugli eventi sono note sulla base delle osservazioni. Secondo la formula di Bayes, puoi ... ... Wikipedia

Bayes, Thomas Thomas Bayes Reverendo Thomas Bayes Data di nascita: 1702 (1702) Luogo di nascita ... Wikipedia

Thomas Bayes Reverendo Thomas Bayes Data di nascita: 1702 (1702) Luogo di nascita: Londra ... Wikipedia

L'inferenza bayesiana è uno dei metodi di inferenza statistica, in cui la formula di Bayes viene utilizzata per perfezionare le stime probabilistiche della verità delle ipotesi quando arrivano le prove. L'uso dell'aggiornamento bayesiano è particolarmente importante in ... ... Wikipedia

Per migliorare questo articolo, è auspicabile?: Trovare e disporre sotto forma di note a piè di pagina collegamenti a fonti autorevoli che confermino quanto scritto. Mettendo giù note a piè di pagina, dare indicazioni più precise sulle fonti. Pere... Wikipedia

I prigionieri si tradiranno a vicenda, seguendo i propri interessi egoistici, o rimarranno in silenzio, riducendo così al minimo la pena totale? Dilemma del prigioniero (Eng. Dilemma del prigioniero, il nome "dilemma" è usato meno comunemente ... Wikipedia

Libri

Teoria della probabilità e statistica matematica nei problemi. Più di 360 compiti ed esercizi, Borzykh D.A. Il manuale proposto contiene compiti di vari livelli di complessità. Tuttavia, l'enfasi principale è posta su compiti di media complessità. Questo è fatto intenzionalmente per incoraggiare gli studenti a...