Feltételes valószínűség és feltételes várható érték

A „Valószínűségi mezők és a Kolmogorov-axiómák” című lecke a valószínűséget a kimenetelek terének egy egységnyi összmértékű mértékeként fogta fel, a „Várható érték, szórásnégyzet és egyenlőtlenségek” a $\mathbb{E}[X]$ várható értéket egy valószínűségi változó e mérték szerinti integrálájaként definiálta, a „Függetlenség és szorzatmértékek” pedig röviden bevezette a $\mathbb{P}(A \mid B)$ feltételes valószínűséget, mint amire a függetlenségnek szüksége volt. Mindez olyan tudásállapotot ír le, amelyben még semmit sem figyeltünk meg. Ez a lecke azt kérdezi, mi változik, ha a válasz egy részét megtudjuk. Egyetlen eseményre való feltételezéssel indul, levezeti a szorzási szabályt és a Bayes-tételt, majd rátér egy valószínűségi változó partícióra, végül σ-algebrára vonatkozó feltételes várható értékére, amely a rendelkezésre álló információ által megengedett legjobb előrejelzés.

Feltételes valószínűség

Idézd fel a „Függetlenség és szorzatmértékek” két kockáját, $(a, b)$ kimenetelekkel, ahol $a$ az első, $b$ a második kocka értéke. A 8-as összeg valószínűsége $5/36 \approx 0{,}1389$, és amint megtudod, hogy az első kocka 3-ast mutat, csak a hat $(3, 1), \ldots, (3, 6)$ kimenetel marad, ezek közül egynek, a $(3, 5)$-nek 8 az összege, így a valószínűség $1/6 \approx 0{,}1667$ lesz. Ez a lecke ebből a példából indul újra, és teljes egészében kifejti a feltételes valószínűséget.

A számítás mögötti recept: a kimenetelek terét a megfigyelt eseményre szűkítjük, majd átskálázzuk, hogy az összvalószínűség ismét 1 legyen. Ha $A$ és $B$ események, és $\mathbb{P}(B) > 0$, akkor $A$ feltételes valószínűsége $B$-re nézve

Szavakban: vedd $A$-nak azt a részét, amely $B$-ben van, és mérd a $B$ méretéhez. A számláló eldobja a $B$-n kívüli mindent, a $\mathbb{P}(B)$-vel való osztás pedig elintézi, hogy maga $B$ valószínűsége $\mathbb{P}(B \mid B) = 1$ legyen. Gyakoriságként: dobj sokszor a kockákkal, tartsd meg csak azokat a dobásokat, amelyekben az első kocka 3-as, és ezek körülbelül $1/6$-ának 8 az összege.

Ahogy a „Függetlenség és szorzatmértékek” megjegyezte, az új $\mathbb{P}(\cdot \mid B)$ valószínűség maga is valószínűségi mérték ugyanazokon az eseményeken, és ennek ellenőrzése rövid. Értékei nemnegatívak, mert nemnegatív számok hányadosai; a biztos eseményhez a $\mathbb{P}(\Omega \mid B) = \mathbb{P}(B)/\mathbb{P}(B) = 1$ értéket rendeli; és ha $A_1, A_2, \ldots$ diszjunkt események, akkor az $A_i \cap B$ darabok is diszjunktak, így $\mathbb{P}$ megszámlálható additivitása szerint

A „Valószínűségi mezők és a Kolmogorov-axiómák” axiómáiból levezetett minden szabály ezért a feltételes valószínűségekre is igaz. Például $\mathbb{P}(A^c \mid B) = 1 - \mathbb{P}(A \mid B)$. Az információ növelheti és csökkentheti is a valószínűséget. Annak az esélye, hogy az összeg legalább 10, $6/36 = 1/6$. Ha az első kocka 6-os, a hat lehetséges kimenetel közül három éri el, és a valószínűség $1/2$; ha 1-es, egyik sem, és a valószínűség 0.

A feltételezés nem szimmetrikus. Cseréld fel a szerepeket, és kérdezd meg, mekkora a valószínűsége, hogy az első kocka 3-as, ha az összeg 8. Csak öt kimenetelnek 8 az összege, és pontosan az egyiknek van elöl 3-as:

A számlálók egyeznek, mert mindkettő a $(3, 5)$ kimenetelt írja le, a nevezők viszont különböznek: az egyik univerzumban hat, a másikban öt kimenetel van. A két feltételes valószínűség összekeverése a leggyakoribb hiba a tárgyban, és a Bayes-tételről szóló szakasz megmutatja, mennyibe kerülhet.

A képlethez $\mathbb{P}(B) > 0$ kell, különben $0/0$ lenne. Ez több puszta technikai megjegyzésnél: egy $[0, 1]$-ből egyenletesen húzott szám bármely megadott értékkel nulla valószínűséggel egyenlő, mégis van értelme a róla szóló információra feltételezni. A σ-algebrákról szóló szakasz úgy definiálja a feltételezést, hogy nem kell a megfigyelés valószínűségével osztani.

A szorzási szabály és a teljes valószínűség tétele

A definíciót $\mathbb{P}(B)$-vel megszorozva kapjuk a szorzási szabályt:

Szavakban: annak az esélye, hogy mindkét esemény bekövetkezik, egyenlő annak az esélyével, hogy az első bekövetkezik, szorozva annak az esélyével, hogy a második is, ha az első már megtörtént. A szabályt kétszer alkalmazva láncokra is kiterjed:

Vegyünk egy urnát 3 piros és 2 kék golyóval, és húzzunk három golyót visszatevés nélkül. Az első $3/5$ valószínűséggel piros. Ha az, 4 golyó közül 2 piros marad, így a második $2/4$ valószínűséggel piros; ha mindkettő piros, 3 golyó közül 1 piros marad. Annak az esélye, hogy mindhárom piros, $\tfrac35 \cdot \tfrac24 \cdot \tfrac13 = \tfrac1{10}$, ami egyezik a megszámolással: a háromgolyós halmazok 10 egyformán valószínű választása közül pontosan egy áll a három piros golyóból.

A második szabály a valószínűséget esetekre bontja. Az $\Omega$ partíciója pozitív valószínűségű, diszjunkt $B_1, \ldots, B_m$ események listája, amelyek együtt lefedik $\Omega$-t, ahogy a „σ-algebrák és Borel-halmazok” leckében. Bármely $A$ esemény szétesik az $A \cap B_1, \ldots, A \cap B_m$ diszjunkt darabokra, és a valószínűségeiket összeadva, mindegyiket a szorzási szabállyal felírva kapjuk a teljes valószínűség tételét:

Szavakban: $A$ valószínűsége a külön esetekbeli valószínűségei súlyozott átlaga, a súlyok az esetek valószínűségei. Bontsd a két kockát az első kocka értéke szerint. Mindegyik eset valószínűsége $1/6$. Ha az első $= 1$, a 8-as összeg lehetetlen; ha az első $= 2, \ldots, 6$, a második kockának egy meghatározott számot kell mutatnia, így a feltételes valószínűség $1/6$. Ekkor

ahogy lennie kell. Egy második példa: ugyanabban az urnában, ha az első húzásról semmit sem tudunk, a második golyó $\tfrac35 \cdot \tfrac24 + \tfrac25 \cdot \tfrac34 = \tfrac35$ valószínűséggel piros, pontosan annyival, mint az első. Az az ötlet, hogy az eseteknek megfelelő válaszokat az esetek valószínűségeivel súlyozzuk, lent visszatér, valószínűségek helyett várható értékekkel.

A Bayes-tétel

A szorzási szabály két sorrendben is alkalmazható: $\mathbb{P}(A \cap B) = \mathbb{P}(A \mid B)\,\mathbb{P}(B) = \mathbb{P}(B \mid A)\,\mathbb{P}(A)$. $\mathbb{P}(A)$-val osztva az egyik feltételes valószínűségből a másik lesz. Ez a Bayes-tétel:

A nevező kifejthető a teljes valószínűség tételével. Az olvasata a hiedelmek változása: $\mathbb{P}(B)$ az előzetes (a priori) valószínűség, $B$ valószínűsége, mielőtt bármit megfigyeltünk, $\mathbb{P}(B \mid A)$ pedig az utólagos (a posteriori) valószínűség, $B$ valószínűsége, miután $A$-t megfigyeltük.

Íme a szokásos példa. Egy betegség a népesség 1%-át érinti, így a prevalencia $0{,}01$. Egy teszt a betegek 99%-ánál pozitív, ez az érzékenység (szenzitivitás), $\mathbb{P}(\text{pozitív} \mid \text{beteg}) = 0{,}99$. Az egészségesek 95%-ánál negatív, ez a specificitás, $\mathbb{P}(\text{negatív} \mid \text{egészséges}) = 0{,}95$, tehát az egészségesek másik 5%-ánál pozitív. Egy véletlenül választott ember tesztje pozitív. Mekkora az esélye, hogy beteg? Sokan 99%-hoz közeli választ adnak. A szorzási szabály megadja a pozitívvá válás két módját:

Összegük a teljes valószínűség tétele szerint $\mathbb{P}(\text{poz}) = 0{,}0594$, és a Bayes-tétel adja:

Ugyanez a számítás valószínűségek helyett emberekkel hihetőbbé teszi az eredményt. Vegyünk 10 000 embert. Közülük 100 beteg, és ezek közül 99-nek pozitív a tesztje. A másik 9 900 egészséges, és az 5%-ukat, 495 embert, szintén pozitívnak mutatja a teszt. Összesen 594 ember pozitív, és közülük csak 99 beteg: $99/594 = 1/6$.

Az intuíció az alaparány miatt csődöt mond. Az érzékenység a $\mathbb{P}(\text{pozitív} \mid \text{beteg})$ kérdésre felel, de a feltett kérdés a fordítottja volt, $\mathbb{P}(\text{beteg} \mid \text{pozitív})$, és ez két különböző szám. Kevesen betegek, ezért még a kis téves riasztási arány is, a sok egészségesre alkalmazva, több téves riasztást (495) ad, mint helyes felismerést (99). Egy erős teszt az 1%-os valószínűséget 16,7%-ra emeli, nem 99%-ra.

Az utólagos valószínűség újra frissíthető: ha az illető egy második tesztet is elvégez, és az is pozitív, az első teszt utólagos valószínűsége lesz a második előzetes valószínűsége. A két eredményt függetlennek tekintjük, ha az illető tényleges egészségi állapota rögzített. A kidolgozott példa mindkét lépést elvégzi.

Feltételes várható érték egy eseményre nézve

A $\mathbb{P}(\cdot \mid B)$ feltételes mérték valószínűségi mérték, így van várható értéke, mint bármelyiknek. Az $X$ valószínűségi változó feltételes várható értéke egy $\mathbb{P}(B) > 0$ eseményre nézve $X$ várható értéke a $\mathbb{P}(\cdot \mid B)$ szerint:

Szavakban: átlagold $X$-et csak $B$-n, a $\mathbb{P}$ adta súlyokkal, és skálázd át $B$ méretével. Az $\mathbf{1}_B$ indikátor kikapcsolja $X$-et $B$-n kívül, így a számláló $X$ integrálja $B$ felett, a nevező pedig átlaggá alakítja.

Legyen $X$ egy kocka értéke, $B$ pedig az az esemény, hogy az érték páros. Ekkor $\mathbb{E}[X\,\mathbf{1}_B] = (2 + 4 + 6)/6 = 2$, $\mathbb{P}(B) = 1/2$, és $\mathbb{E}[X \mid B] = 2 / (1/2) = 4$, ami egyszerűen a három egyformán valószínű érték, 2, 4 és 6 átlaga. A páratlan értékekre ugyanez 3-at ad. Két kockával $\mathbb{E}[\text{első} \mid \text{összeg} = 8] = (2 + 3 + 4 + 5 + 6)/5 = 4$, mert a 8 összegű öt kimenetel egyformán valószínű. Információ nélkül az első kocka átlaga $3{,}5$, így annak megtudása, hogy az összeg 8, a szokásos 7 fölött, a legjobb tippet $4$-re emeli. Rögzített eseményre $\mathbb{E}[X \mid B]$ egyetlen szám; a következő szakasz az eseményt a kimenettől teszi függővé.

Feltételes várható érték egy partícióra nézve

Képzelj el egy megfigyelőt, aki nem látja az $\omega$ kimenetelt, de megmondják neki, hogy a $B_1, \ldots, B_m$ partíció melyik blokkjában van. A „σ-algebrák és Borel-halmazok” ilyen megfigyelőt a blokkok összes unióinak $\mathcal{G}$ σ-algebrájával írt le, amelynek atomjai maguk a blokkok. Mit jósoljon ez a megfigyelő az $X$ valószínűségi változóra? A $B_i$ blokkon belül a természetes jóslat $\mathbb{E}[X \mid B_i]$. Ez a jóslat $\omega$-tól csak a blokkon át függ, tehát valószínűségi változó, neve $X$ feltételes várható értéke $\mathcal{G}$-re nézve:

Szavakban: lapítsd el $X$-et minden blokkon a blokkbeli átlagára. Az eredmény $\mathcal{G}$ minden atomján állandó, és a „Mérhető függvények” szerint pontosan ezt jelenti, hogy egy függvény mérhető egy partíció által generált σ-algebrára nézve. Így $\mathbb{E}[X \mid \mathcal{G}]$ $\mathcal{G}$-mérhető: a blokkokon túli információt nem használ.

Vegyük egy kocka $X$ értékét négy különböző megfigyelővel. Az egyik csak a paritást látja, blokkjai $\{1, 3, 5\}$ és $\{2, 4, 6\}$, és az elsőn $3$-at, a másodikon $4$-et jósol. A másik csak azt látja, hogy az érték legfeljebb 2-e, blokkjai $\{1, 2\}$ és $\{3, 4, 5, 6\}$, és $1{,}5$-et, illetve $4{,}5$-et jósol. A harmadik semmit sem lát, az egyetlen blokk $\Omega$, és a jóslat a $3{,}5$ állandó. A negyedik magát az értéket látja, mind a hat blokk egyetlen pont, és a jóslat $X$. Minél többet tud a megfigyelő, annál közelebb követi a jóslat $X$-et.

Egy nagyobb példa: legyen $\mathcal{G}$ a két kocka összege által generált, ennek 11 lehetséges értéke van, tehát 11 blokk. Szimmetria miatt $\mathbb{E}[\text{első} \mid \text{összeg}] = \text{összeg}/2$: az $(a, b)$ és $(b, a)$ kimeneteleknek ugyanaz az összege és egyformán valószínűek, így minden blokkon belül a két kockának ugyanaz az átlaga, és e két átlag összege az összeg. A 7 összegű blokknak hat kimenetele van, és az átlag $3{,}5$; a 8-asé $4$, a 12-esé $6$, a 2-esé pedig $1$.

A blokkátlagok, a blokkok valószínűségeivel súlyozva, a sima várható értékre adódnak össze. Ez a teljes várható érték tétele:

Az első egyenlőség minden blokkátlagot a blokk valószínűségével súlyoz, a második $\mathbb{E}[X \mid B_i]$ definícióját használja, a harmadik összeadja $X$ darabjait. A paritás-megfigyelőre $\tfrac12 \cdot 3 + \tfrac12 \cdot 4 = 3{,}5$, a „legfeljebb 2” megfigyelőre $\tfrac13 \cdot 1{,}5 + \tfrac23 \cdot 4{,}5 = 3{,}5$, az összeget látó megfigyelőre $\sum_s \mathbb{P}(\text{összeg} = s)\, s/2 = 126/36 = 3{,}5$: mindháromszor az egy kocka várható értéke.

Feltételes várható érték egy σ-algebrára nézve

A partíciók nem elegendők. Legyen $\omega$ egyenletes eloszlású $[0, 1]$-en, és $D = |\omega - \tfrac12|$ a távolsága a középponttól. Az a megfigyelő, akinek megmondják, hogy $D = d$, tudja, hogy $\omega$ a két pont, $\tfrac12 - d$ és $\tfrac12 + d$ egyike, de minden $\{D = d\}$ esemény valószínűsége nulla, így az $\mathbb{E}[X \mid B] = \mathbb{E}[X\,\mathbf{1}_B]/\mathbb{P}(B)$ képlet $0/0$ lenne. Mégis, a „mennyi $\omega^2$ átlaga, ha $D = d$?” kérdésre magától értetődő a válasz: a két pont egyformán valószínű, tehát $\tfrac12\big((\tfrac12 - d)^2 + (\tfrac12 + d)^2\big) = \tfrac14 + d^2$, ami $d = 0{,}1$-re $0{,}26$, $d = 0{,}25$-re $0{,}3125$. Olyan definíció kell, amely ilyen válaszokat ad anélkül, hogy nulla valószínűséggel osztana. A kiút az, hogy azt mondjuk meg, mit kell teljesítenie a válasznak, nem azt, hogyan számoljuk ki.

Legyen $X$ integrálható valószínűségi változó, és $\mathcal{G} \subseteq \mathcal{F}$ egy rész-σ-algebra, azok az események, amelyekről a megfigyelő dönteni tud. Az $\mathbb{E}[X \mid \mathcal{G}]$ feltételes várható érték az a $Z$ valószínűségi változó, amelyre két tulajdonság teljesül:

Az (i) tulajdonság azt mondja, hogy $Z$ csak a megfigyelő információjából épül fel: minden $Z$-re vonatkozó kérdés, például „legfeljebb 0,3-e $Z$?”, olyan, amelyre $\mathcal{G}$ tud válaszolni. A (ii) azt mondja, hogy minden eseményen, amelyet a megfigyelő megnevezhet, $Z$ összege ugyanaz, mint $X$-é, így $Z$ torzítatlan. Ez $X$ úgy, hogy mindazt a részletet, amelyet $\mathcal{G}$ nem lát, kiátlagoltuk.

A blokkátlagok mindkét tulajdonságot teljesítik. A blokkátlag minden blokkon állandó, ez az (i). A $G = B_j$ esetén $\int_{B_j} Z \, d\mathbb{P} = \mathbb{E}[X \mid B_j]\,\mathbb{P}(B_j) = \mathbb{E}[X\,\mathbf{1}_{B_j}] = \int_{B_j} X \, d\mathbb{P}$, és $\mathcal{G}$ minden más $G$ eseménye blokkok uniója, amelyeken mindkét oldal összeadódik. A távolságos példa is megfelel. Legyen $G = \{D \le 0{,}1\} = [0{,}4; 0{,}6]$, ennek valószínűsége $0{,}2$. Az egyik oldalon $\int_G \omega^2 \, d\omega = (0{,}6^3 - 0{,}4^3)/3 \approx 0{,}050667$. A másikon $Z = \tfrac14 + D^2$, és $D$ sűrűségfüggvénye 2 a $[0, \tfrac12]$ intervallumon, így $\int_G Z \, d\mathbb{P} = 0{,}25 \cdot 0{,}2 + \int_0^{0{,}1} 2d^2 \, dd \approx 0{,}05 + 0{,}000667 = 0{,}050667$.

Van-e ilyen $Z$, és csak egy van-e? Az egyértelműségnek rövid bizonyítása van. Tegyük fel, hogy $Z$ és $Z'$ is teljesíti az (i)-et és a (ii)-t. A $G = \{Z > Z'\}$ esemény $\mathcal{G}$-be tartozik, és a (ii) szerint $\int_G (Z - Z') \, d\mathbb{P} = 0$. Az integrandus $G$-n pozitív, tehát $G$ nullmértékű; ugyanez igaz a $\{Z < Z'\}$ halmazra, így $Z = Z'$ majdnem biztosan. A feltételes várható érték nullmértékű halmaztól eltekintve egyértelmű, és a feltételes várható értékek közötti egyenlőségeket mindig majdnem biztosan értjük. A létezés minden integrálható $X$-re a Radon–Nikodym-tétel, amelyet a pálya egy későbbi leckéje mond ki. Partíció esetén a fenti explicit képlet megadja.

A leggyakoribb eset egy $Y$ valószínűségi változóra való feltételezés. Ekkor $\mathbb{E}[X \mid Y]$ jelentése $\mathbb{E}[X \mid \sigma(Y)]$, ahol $\sigma(Y)$ az $\{Y \in B\}$ események σ-algebrája a „Mérhető függvények” leckéből. A $\sigma(Y)$-mérhető valószínűségi változó $Y$ függvénye, így $\mathbb{E}[X \mid Y] = g(Y)$ valamilyen $g$ függvénnyel, és a $g(y)$ érték az, amit $\mathbb{E}[X \mid Y = y]$-nak szokás nevezni. A kockákra $g(s) = s/2$; a távolságos példára $g(d) = \tfrac14 + d^2$.

Az $\mathbb{E}[X \mid \mathcal{G}]$ feltételes várható érték valószínűségi változó, nem szám: minden $\omega$-hoz értéket rendel, azt a legjobb választ, amelyet adott, hogy $\mathcal{G}$ mit árult el $\omega$-ról. Csak az $\mathbb{E}[X \mid B]$ szám, rögzített eseményre.

Konkrét σ-algebrát ad a „Valószínűségi mezők és a Kolmogorov-axiómák” érmemodellje, ahol az egyenletes $\omega \in [0, 1]$ egy végtelen szabályos érmedobás-sorozatnak, a bináris jegyeinek felel meg. Az első $k$ dobás ismerete azt jelenti, hogy tudjuk, a $2^k$ diadikus blokk, $[j/2^k, (j+1)/2^k)$, közül melyikben van $\omega$, és az e blokkok által generált $\mathcal{G}_k$ σ-algebra a $k$ dobás utáni megfigyelő. Az $X = \omega^2$ és $k = 2$ esetén a blokkok a $[0, 1]$ négy negyede, a blokkátlagok $\tfrac1{48}, \tfrac7{48}, \tfrac{19}{48}, \tfrac{37}{48}$, azaz $0{,}0208$, $0{,}1458$, $0{,}3958$ és $0{,}7708$. Az átlaguk $\tfrac13 = \mathbb{E}[\omega^2]$. Ismert dobások nélkül a jóslat a $\tfrac13$ állandó; egy dobás után a bal félen $\tfrac1{12} \approx 0{,}0833$, a jobb félen $\tfrac7{12} \approx 0{,}5833$.

Az ábra ezt a lépcsőt mutatja. Válassz egy $X$ változót, mozgasd a $k$ csúszkát 0-tól 4-ig, és figyeld: $k = 0$-nál a lépcső egyetlen vízszintes egyenes $\mathbb{E}[X]$ magasságban, és minden további dobás kettéosztja a blokkokat, így közelebb követi $X$-et. Az első kijelzett érték nem változik $k$-val, mert a blokkátlagok átlaga mindig $\mathbb{E}[X]$. Az alapértelmezett $X = \omega^2$, $k = 2$ esetén négy blokk van, $\mathbb{E}[X] = 0{,}3333$, és a hiba kijelzője $0{,}006858$-at mutat, amit a következő szakasz magyaráz meg. Kapcsold be az összehasonlító tippet, hogy egy második lépcsőt is láss.

Legjobb előrejelzés

Miért a blokkon belüli átlagot vesszük, és miért nem más értéket? Mert az átlag pontos értelemben a legjobb előrejelzés. Tegyük fel, hogy a megfigyelőnek $X$-et egy $\mathcal{G}$-mérhető, $\mathbb{E}[Z^2] < \infty$ valószínűségi változóval, $Z$-vel kell jeleznie, és a minőségét az átlagos négyzetes hibával, $\mathbb{E}[(X - Z)^2]$-tel mérjük. Információ nélkül $Z$ állandó kell legyen, a legjobb állandó $\mathbb{E}[X]$, a hiba pedig $X$ szórásnégyzete a „Várható érték, szórásnégyzet és egyenlőtlenségek” leckéből. Az állítás az, hogy információval az $M = \mathbb{E}[X \mid \mathcal{G}]$ mindegyiknél jobb.

A bizonyításnak két lépése van. Először: $X - M$ merőleges mindarra, amit a megfigyelő felépíthet: $\mathbb{E}[(X - M)\,Z] = 0$ minden véges második momentumú, $\mathcal{G}$-mérhető $Z$-re. A $Z = \mathbf{1}_G$, $G \in \mathcal{G}$ esetben ez pontosan a (ii) tulajdonság, mert $\mathbb{E}[(X - M)\,\mathbf{1}_G] = \int_G X \, d\mathbb{P} - \int_G M \, d\mathbb{P} = 0$. A linearitás kiterjeszti az $\sum a_i \mathbf{1}_{G_i}$ véges összegekre, egy általános $Z$ pedig ilyen összegek határértéke (ez ötlet, nem teljes bizonyítás). Másodszor: írd fel $X - Z = (X - M) + (M - Z)$ alakban. Az $M - Z$ különbség $\mathcal{G}$-mérhető, így a kereszttag a merőlegesség miatt eltűnik, és a négyzetek összeadódnak:

A második tag soha nem negatív, és csak akkor nulla, ha $Z = M$ majdnem biztosan. Tehát $M$ a legjobb előrejelzés, és minden más pontosan az $M$-től mért négyzetes távolsággal rosszabb. Ez a Pitagorasz-tétel valószínűségi változókra: $X - M$ merőleges mindenre, amit $\mathcal{G}$ felépíthet.

Az ábra számai ezt illusztrálják. Az $X = \omega^2$ és négy blokk esetén a legjobb lépcső hibája $0{,}006858$. Vegyük ehelyett azt a tippet, amely $X$-et a blokkok felezőpontjában értékeli ki, $\tfrac1{64}, \tfrac9{64}, \tfrac{25}{64}, \tfrac{49}{64}$ értékekkel. Mindegyik $1/192 = 0{,}005208$-cal tér el a blokkátlagtól, így a többlethiba $0{,}005208^2 = 0{,}0000271$, a tipp hibája pedig $0{,}006885$, amit az ábra mutat, ha az összehasonlító tipp be van kapcsolva. A tipp jó, mert a négyzetfüggvény rövid blokkokon közel lineáris, de a blokkátlagot nem tudja megelőzni.

Több információ csak segíthet. Ha $\mathcal{G} \subseteq \mathcal{H}$, minden $\mathcal{G}$-mérhető előrejelzés $\mathcal{H}$-mérhető is, így a nagyobb osztályon vett minimum legfeljebb akkora, mint a kisebbiken vett. Az $X = \omega^2$ esetén a hiba 1 blokkal (ismert dobások nélkül) $0{,}0889$, 2, 4 és 8 blokkal pedig $0{,}0264$, $0{,}0069$ és $0{,}0017$. Minden további dobás a hibát rendre 3,4-del, 3,8-del, majd 4,0-val osztja. A Pitagorasz-azonosságot a $Z = \mathbb{E}[X]$ állandó előrejelzésre alkalmazva a szórásnégyzet is két részre bomlik:

Az első rész az, amit az információ megmagyarázatlanul hagy, a második az, amit megmagyaráz. Négy blokknál $0{,}0889 = 0{,}0069 + 0{,}0820$: az első két dobás megmagyarázza $\omega^2$ szórásnégyzetének mintegy 92%-át.

A feltételes várható érték szabályai

Az alábbi szabályok mind a két definiáló tulajdonságból következnek, és van egyszerű blokkos képük. Majdnem biztosan teljesülnek, mert a feltételes várható érték csak nullmértékű halmaztól eltekintve meghatározott.

Linearitás. $\mathbb{E}[aX + bY \mid \mathcal{G}] = a\,\mathbb{E}[X \mid \mathcal{G}] + b\,\mathbb{E}[Y \mid \mathcal{G}]$. Egy blokkon átlagolni lineáris művelet. Két kockára $\mathbb{E}[\text{első} + \text{második} \mid \text{összeg}] = \text{összeg}$, ami $\text{összeg}/2 + \text{összeg}/2$. Vele jár a monotonitás: ha $X \le Y$, akkor $\mathbb{E}[X \mid \mathcal{G}] \le \mathbb{E}[Y \mid \mathcal{G}]$, mert az átlagolás megőrzi a rendezést.

Az ismert tényező kiemelése. Ha $Z$ $\mathcal{G}$-mérhető, akkor

Egy blokkon belül $Z$ állandó, az állandó pedig kiemelhető az átlagból. Két kockára $Z = \text{összeg}$ ismert, amint az összeget megmondják, így $\mathbb{E}[\text{első} \cdot \text{összeg} \mid \text{összeg}] = \text{összeg}^2/2$; a 8 összegnél az érték $32$, vagyis $8$ szorozva a $4$ blokkátlaggal. Az $X = 1$ esetben a szabály $\mathbb{E}[Z \mid \mathcal{G}] = Z$-t adja: amit a megfigyelő tud, azt nem kell jósolni.

A toronytulajdonság. Ha $\mathcal{G} \subseteq \mathcal{H}$, akkor

Szavakban: ha a finomabb információból jósolunk, majd a részleteket $\mathcal{G}$-ig elfelejtjük, az ugyanaz, mintha rögtön $\mathcal{G}$-ből jósolnánk, vagyis a durvább információ győz. Minden durva blokk finom blokkok uniója, és az átlaga a finom blokkátlagok valószínűséggel súlyozott átlaga. Az $X = \omega^2$ esetén, négy blokkról kettőre: a bal fél finom átlagai $\tfrac1{48}$ és $\tfrac7{48}$, átlaguk $\tfrac1{12}$, a jobb félé $\tfrac{19}{48}$ és $\tfrac{37}{48}$, átlaguk $\tfrac7{12}$, pontosan a fent talált kétblokkos átlagok. A triviális σ-algebra $\mathcal{G}$-nek a teljes várható érték tételét adja.

Függetlenség. Ha $X$ független $\mathcal{G}$-től a „Függetlenség és szorzatmértékek” értelmében, akkor $\mathbb{E}[X \mid \mathcal{G}] = \mathbb{E}[X]$: az olyan információ, amelynek semmi köze $X$-hez, nem változtatja meg a jóslatot. Két kockára $\mathbb{E}[\text{második} \mid \text{első}] = 3{,}5$. Az ábra egy meglepőbb esetet mutat. Az $X = 4\omega(1 - \omega)$ értékei az $\omega$ és $1 - \omega$ tükörpontokban megegyeznek, így a $[0, 1]$ két fele egyforma, és az első dobás semmit sem árul el $X$-ről. Válaszd ezt az $X$-et, és állítsd $k = 1$-re: mindkét blokkátlag $2/3$, a hiba pedig az információ nélküli $0{,}0889$ értéken marad.

Feltételes Jensen-egyenlőtlenség. Ha $\varphi$ konvex, akkor $\mathbb{E}[\varphi(X) \mid \mathcal{G}] \ge \varphi(\mathbb{E}[X \mid \mathcal{G}])$, ami a „Várható érték, szórásnégyzet és egyenlőtlenségek” Jensen-egyenlőtlensége minden blokkon belül alkalmazva. A $\varphi(x) = x^2$ esetén a különbség egy blokkban $X$ szórásnégyzete a blokkon belül: az $X = \omega^2$ és a $[0, \tfrac12)$ blokk esetén $\mathbb{E}[X^2 \mid \text{blokk}] = 0{,}0125$, a blokkátlag négyzete $(1/12)^2 = 0{,}006944$, a különbség, $1/180 \approx 0{,}005556$, pedig $\omega^2$ szórásnégyzete ezen a felén belül.

Összefoglalás

• A $\mathbb{P}(A \mid B) = \mathbb{P}(A \cap B)/\mathbb{P}(B)$ a teret $B$-re szűkíti és átskálázza; valószínűségi mérték, de általában $\mathbb{P}(A \mid B) \ne \mathbb{P}(B \mid A)$.
• A szorzási szabály, a teljes valószínűség tétele és a Bayes-tétel a definícióból következik; 1%-os alaparánynál egy 99%-os érzékenységű, 95%-os specificitású teszt pozitív eredménye mellett a betegség valószínűsége mindössze $1/6$.
• Partíció esetén $\mathbb{E}[X \mid \mathcal{G}]$ minden blokkon $X$ átlagával helyettesíti $X$-et, és a blokkátlagok átlaga visszaadja $\mathbb{E}[X]$-et.
• σ-algebra esetén $\mathbb{E}[X \mid \mathcal{G}]$ az a $\mathcal{G}$-mérhető valószínűségi változó, amelynek $\mathcal{G}$ minden eseményén ugyanaz az integrálja, mint $X$-nek; nullmértékű halmaztól eltekintve egyértelmű.
• Ez $X$ legjobb négyzetes közepű előrejelzése $\mathcal{G}$-ből: minden más az attól mért négyzetes távolsággal rosszabb, és több információ soha nem növeli a hibát.
• A szabályok: linearitás, monotonitás, az ismert tényező kiemelése, a toronytulajdonság, függetlenség, feltételes Jensen-egyenlőtlenség.