Muokataan osiota sivusta Bayesin teoreema

== Bayesin kaavan rakenne ==

Tässä osiossa pureudutaan kaavamuodossa esitetyn Bayesin teoreeman yksityiskohtiin.

=== Wikipedia-artikkelien vertailua<ref>Vertailu perustuu tiistain 2.2.2010 tilanteeseen n. puoliltapäivin Suomen aikaa.</ref> ===

Bayesin teoreeman mielekkäiden käyttötapojen ymmärtämisen lähtökohtana on itse kaavan hahmottaminen. Tämä ei näköjään välttämättä ole kovinkaan helppoa, kuten seuraava esimerkkiparikin osoittanee.<ref>Esimerkit ovat tässä myös perusteluna sille, miksi suomenkielisen Wikipedian kirjoittamishetkisestä esityksestä on täällä poikettu.</ref>

==== Englanninkielisen Wikipedia-artikkelin ''Simple statement of theorem'' -osio ====
{{Malline:quotation|
Bayes gave a special case involving [http://en.wikipedia.org/wiki/Continuous_probability_distribution continuous] prior and posterior probability distributions and [http://en.wikipedia.org/wiki/Discrete_probability_distribution discrete probability distributions] of data, but in its simplest setting involving only discrete distributions, Bayes' theorem relates the [http://en.wikipedia.org/wiki/Conditional_probability conditional] and [http://en.wikipedia.org/wiki/Marginal_probability marginal] probabilities of events ''A'' and ''B'', where ''B'' has a non-vanishing probability:

:<math>P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}\,\! </math>.

Each term in Bayes' theorem has a conventional name:
* P(''A'') is the [http://en.wikipedia.org/wiki/Prior_probability prior probability] or [http://en.wikipedia.org/wiki/Marginal_probability marginal probability] of ''A''. It is "prior" in the sense that it does not take into account any information about&nbsp;''B''.
* P(''A''{{!}}''B'') is the [http://en.wikipedia.org/wiki/Conditional_probability conditional probability] of ''A'', given ''B''. It is also called the [http://en.wikipedia.org/wiki/Posterior_probability posterior probability] because it is derived from or depends upon the specified value of&nbsp;''B''.
* P(''B''{{!}}''A'') is the conditional probability of ''B'' given ''A''.
* P(''B'') is the prior or marginal probability of ''B'', and acts as a [http://en.wikipedia.org/wiki/Normalizing_constant normalizing constant]. 

Bayes' theorem in this form gives a mathematical representation of how the conditional probability of event ''A'' given ''B'' is related to the converse conditional probability of ''B'' given ''A''.}}

==== Suomenkielisen Wikipedia-artikkelin ''Teoreeman esittely'' -osio ====
{{Malline:Quotation|
Tapahtuman ''A'' todennäköisyys ehdolla ''B'' (merkitään P(A{{!}}B)) on yleisessä tapauksessa eri asia kuin todennäköisyys tapahtumalle ''B'' ehdolla ''A'' (merkitään P(B{{!}}A)). Näiden kahden ehdollisen todennäköisyyden välillä on kuitenkin suhde, jota Bayesin teoreema kuvaa. Teoreema kuuluu seuraavasti:

:<math>P(B | A) = \frac{P(A | B)\;P(B)}{P(A)}\!</math>

missä
* <math>P(A)\,</math> on ''A'':n priori-todennäköisyys. Se ei riipu ''B'':stä (jota joskus kutsutaan havainnoksi).
* <math>P(A \mid B)</math> on ''A'':n todennäköisyys ehdolla ''B''. Tätä kutsutaan myös posterioritodennäköisyydeksi.
* <math>P(B \mid A)</math> on ''B'':n todennäköisyys ehdolla ''A''.
* <math>P(B)\,</math> on B:n priori-todennäköisyys.
}}

==== Vertailevaa kommentointia ====

Huomataan, että näissä selosteissa kaavan rakenne on sinänsä sama, mutta suomenkielisessä versiossa A ja B ovat vaihtaneet paikkaa englanninkieliseen verrattuna. Tämä ei kuitenkaan näy merkintöjen selitteissä, vaan A:n priori- ja posterioritodennäköisyyksistä puhutaan kummassakin selitteessä samaan tapaan, aivan kuin olisi samantekevää, onko yhtälön vasemmalla puolella P(A|B) vaiko P(B|A). Todennäköisyyslaskennassahan siis tapahtuman ''A'' todennäköisyys ehdolla ''B'' on kuitenkin yleisesti eri asia kuin ''B'' ehdolla ''A''.<ref>Esim. todennäköisyys, että nopan silmäluku on parillinen ehdolla, että se on kolmella jaollinen, on 1/2 (6 on parillinen, 3 taas ei), kun taas todennäköisyys, että nopan silmäluku on kolmella jaollinen ehdolla, että se on parillinen, on vain 1/3 (6 on kolmella jaollinen, mutta 2 ja 4 eivät ole).</ref> Näiden kahden ehdollisen todennäköisyyden välisen suhteen ja sitä kuvaavan Bayesin teoreeman ymmärtämisen kannalta on tärkeää ensinnäkin varmistua siitä, että kaavan kirjoitusasu ja sen osien selitteet vastaavat toisiaan.

Kuten matematiikassa yleensäkin, merkinnät voivat periaatteessa tarkoittaa, mitä niiden vain kulloinkin määritellään tarkoittavan, mutta toisaalta käytännössä kuitenkin tietyt merkintätavat vakiintuvat tiettyihin käyttöihin. Bayesin teoreeman luonteesta kyllä seuraa, että sekä <math>A</math> että <math>B</math> (mihin ne sitten kulloinkin viittasivatkin) voidaan joka tapauksessa ratkaista toistensa avulla. Siinä mielessä tilanne siis on symmetrinen. Bayesin kaavan hyöty tulee kuitenkin esiin nimenomaan epäsymmetrisissä tilanteissa, joissa toinen tapahtuma on havaittu, toisen todennäköisyyttä vain arvioidaan, ja samoin toinen ehdollinen todennäköisyys on tiedossa, toinen taas jää tällä kaavalla laskettavaksi. Siksi on järkevää antaa A:lle ja B:lle kaavaa kirjoitettaessa eri roolit: toinen kuvaa välittömästi havaittavaa asiaa, toinen ei.

Tämä epäsymmetria tuleekin esiin englanninkielisessä versiossa, jossa P(''A''|''B''):stä käytetään ''posterior probability'' -nimitystä, mutta P(''B''|''A''):sta ei. Vastaavasti P(''B''):n sanotaan toimivan normalisointivakiona, mutta P(''A'') ei sellaisena toimi. Näin siksi, että ideana on, että kaavan oikean puolen lausekkeessa olevat arvot ovat tunnettuja, mutta vasemman puolen lauseke, siis juuri tämä ''posterior probability'', on etukäteen tuntematon.

Asetelma on siis sellainen, että lähtökohdaksi otetaan P(''A''):n, P(''B''|''A''):n ja P(''B''):n arvot ja näistä lasketaan P(''A''|''B'').<ref>Vaikka tässä artikkelissa keskitytäänkin tietynlaisiin sovelluksiin, itse kaavaa voi käyttää todennäköisyyksiä laskettaessa aina, kun lähtökohdiksi tarvitut tiedot ovat käytettävissä. Noppaesimerkki: Jos tiedetään, että P(parillinen) = <math>\tfrac{3}{6}</math>, P(kolmella jaollinen) = <math>\tfrac{2}{6}</math> ja P(parillinen|kolmella jaollinen) = <math>\tfrac{1}{2}</math>, niin P(kolmella jaollinen|parillinen) = <math>\frac{\tfrac{1}{2} \cdot \tfrac{2}{6}}{\tfrac{3}{6}} = \tfrac{1}{3}</math>.</ref> Yleensä siis kiinnostuksen kohteena ovat tässä A:n todennäköisyydet, ja siksi juuri niitä sanotaan '''prioritodennäköisyydeksi''' (P(A)) ja '''posterioritodennäköisyydeksi''' (P(A|B)). Nämä nimitykset taas saavat selityksensä siitä, että ajatellaan tilannetta, jossa ensin A:n todennäköisyys on P(A), sitten B tapahtuu (tai havaitaan tapahtuneeksi), ja tämän havainnon perusteella tarkennetaan käsitystä A:n todennäköisyydestä, jolloin sen uudeksi arvoksi B:n tapahtumisen huomioonottamisen jälkeen saadaan P(A|B). P(A) siis kuvaa alkuperäistodennäköisyyttä (todennäköisyyttä ''a priori'') ja P(A|B) puolestaan jälkikäteistodennäköisyyttä (todennäköisyyttä ''a posteriori'').<ref>Noppaesimerkki: Tilanteessa, jossa noppaa on heitetty, mutta heiton tuloksesta ei ole mitään tietoa, kolmella jaollisen tuloksen todennäköisyys on <math>\tfrac{2}{6}=\tfrac{1}{3}</math> ja tilanteessa, jossa tiedetään, että heittotulos on parillinen, kolmella jaollisen tuloksen todennäköisyys on edellälasketun mukaisesti edelleenkin <math>\tfrac{1}{3}</math>. Tämä johtuu siitä, että parillisuus ja kolmella jaollisuus ovat noppanheittotulosten toisistaan riippumattomia ominaisuuksia. Jos kuitenkin tiedettäisiinkin tuloksen olevan neljällä jaollinen, voitaisiin päätellä, että kolmella jaollisuuden posterioritodennäköisyys putosi nollaan &ndash; eihän (kuutio)nopan silmäluku voi olla yhtäaikaa jaollinen sekä 3:lla että 4:llä. Bayesin säännön lausekkeesta voi helposti nähdä, että jos P(B|A) = 0, niin myös P(A|B) = 0.</ref>

=== Bayesin kaava selityksineen ===

Teoreeman perussisällön voi siis ilmaista seuraavalla kaavalla<ref>Tässä on seurattu sisäisesti johdonmukaista englanninkielisen Wikipedian merkintätapaa.</ref>:

:<math>P(A|B) = \frac{P(B|A)\;P(A)}{P(B)}\!</math>
 
* <math>P(A)\!</math> on ''A'':n priori- eli marginaalitodennäköisyys. Se on apriorinen siinä mielessä, että sen määrittämisessä ei oteta huomioon mitään ''B'':hen liittyvää informaatiota.
* <math>P(A|B)\!</math> on ''A'':n todennäköisyys ehdolla ''B''. Tätä kutsutaan myös posteriori-todennäköisyydeksi ja sen arvo halutaan Bayesin sääntöä soveltamalla selvittää.
* <math>P(B|A)\!</math> on ''B'':n todennäköisyys ehdolla ''A''. Tämä todennäköisyys voidaan tietää tai arvioida siksi, että tyypillisessä tapauksessa ''A'':n merkitys ''B'':n kannalta on helpommin hahmotettavissa kuin ''B'':n merkitys ''A'':n kannalta. Keksiesimerkeissä pakettisisällöt olivat selvillä etukäteen, ja usein muulloinkin ''A'' on jonkinlainen jakaumahypoteesi tai muu laaja-alainen oletus, jonka voimassaollessa erilaisten tapahtumaskenaarioiden todennäköisyyksiä voidaan arvioida tai laskea varsin suoraviivaisesti.
* <math>P(B)\!</math> on ''B'':n priori- eli marginaalitodennäköisyys. P(B) toimii Bayesin säännön ''normalisointi-'' eli ''skaalausvakiona''<ref>''B'' on Bayesin sääntöä sovellettaessa vakio siinä mielessä, että '''vertailevassa hypoteesitestauksessa''', jossa yhden "''A''":n sijasta tarkastellaankin useampia hypoteeseja rinnakkain ja sovelletaan Bayesin sääntöä kuhunkin niistä erikseen, kaikki ''A'':n sisältävät lausekkeet riippuvat kulloisestakin hypoteesista mutta P(B) (kaavan ainoa lauseke, joka ei sisällä ''A'':ta) pysyy vakiona hypoteesista riippumatta. Näin ollen hypoteesien keskinäisissä uskottavuusvertailuissa P(B):n voi jättää huomiottakin (eli vertailla pelkkien <math>P(B|A) \cdot P(A)</math> -tyyppisten lausekkeiden arvoja), mutta jos vertailuarvot halutaan pitää todennäköisyyksinä eikä pelkkinä "suurempi on parempi" -vertailulukuina, ne on normalisoitava eli skaalattava P(B):llä jakamalla. &ndash; Todennäköisyytenä P(B) on aina suljetulla reaalilukuvälillä [0,1], ja jotta sitä voisi käyttää Bayesin kaavan mukaisella tavalla, sen arvo ei saa olla tasan 0, kuten englanninkielinen Wikipedia edellä toteaakin.</ref>. ''B'':tä kutsutaan joskus havainnoksi, ja Bayesin teoreeman tyypillinen käyttötapa lähtee siitä, että ''B'':n on havaittu tapahtuneen tai olevan voimassa ja että nyt halutaan tietää, miten tämän seikan huomioon ottaminen vaikuttaa ''A'':n todennäköisyyteen eli miten ''A'':n prioritodennäköisyys ''B'':tä koskevan informaation huomioonottamisen myötä päivittyy ''A'':n posterioritodennäköisyydeksi.

'''Marginaalitodennäköisyyksistä''' puhuminen liittyy ajatukseen, että nämä todennäköisyydet summaavat kyseisten tapahtumien todennäköisyydet kaikkien vaihtoehtoisten tilanteiden "yli": kun mitään lisäinformaatiota ei käytetä näiden todennäköisyyksien laskemiseen, mitään vaihtoehtoja ei ole suljettu niistä pois. Taulukkomuotoisissa esityksissä nämä arvot saadaan ristiintaulukoitujen yhteistapahtumien todennäköisyyksien summina taulukon reunoihin eli marginaaleihin. Tätä toimenpidettä<ref>ja sen tulosten jatkokäyttöä &ndash; esim. sillä tavoin havaintoaineistosta lasketun jonkin tapahtuman suhteellisen frekvenssin arvon käyttöä kyseisen tapahtuman todennäköisyyden arviona eli estimaattina tai jonkin muuttujan vaikutuksen eliminointia yhdistämällä sen eri arvoilla saadut havaintotulokset ja poistamalla kyseinen muuttuja huomioon otettavien selitystekijöiden joukosta</ref> sanotaan ''marginalisoinniksi''.