Függetlenség és szorzatmértékek

A „Valószínűségi mezők és a Kolmogorov-axiómák” a valószínűséget 1 összmasszájú mértékké tette, és megmutatta, hogy egyetlen egyenletes szám bináris jegyei úgy viselkednek, mint az érmedobások; a „Várható érték, szórásnégyzet és egyenlőtlenségek” az átlagokat integrálokká alakította, a szóródást pedig a szórásnégyzettel mérte. Mindkettő egyszerre egyetlen véletlen mennyiséget vizsgált, a valódi kérdésekben viszont több van: két kocka, egy dartsnyíl vízszintes és függőleges helyzete, tíz érme. Ez a lecke függetlenség néven pontosítja azt az ötletet, hogy egy mennyiség nem hordoz információt egy másikról, előbb eseményekre, majd σ-algebrákra és valószínűségi változókra. Megmutatja, hogy a függetlenség ugyanaz, mint hogy a terület a hosszúság szorozva a hosszúsággal, és ez elvezet a szorzatmértékekhez és a Fubini-tételhez, amely szorzaton vett integrálokról szól. Ezekből adódik az $\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]$ szabály, a kovariancia, az összeg szórásnégyzete, végül a korábban ígért bizonyítás, hogy egy egyenletes szám bináris jegyei független szabályos érmék.

A feltételes valószínűség röviden

Dobj két szabályos kockával, és tegyük fel, hogy megmondják: az első 3-ast mutat. A 36 egyformán valószínű kimenetel arra a hatra szűkül, amelyben az első kocka 3, és az összeg pontosan akkor 8, ha a második kocka 5-öst mutat. A 8-as összeg valószínűsége így $1/6 \approx 0{,}1667$ lett, az információ előtt pedig $5/36 \approx 0{,}1389$ volt. A feltételezés ez a szűkítés: csak annak a $B$ eseménynek a kimeneteleit tartjuk meg, amelyről tudjuk, hogy bekövetkezett, és újraskálázzuk, hogy $B$ összvalószínűsége 1 legyen. Ha $\mathbb{P}(B) > 0$, akkor $A$ feltételes valószínűsége $B$-re nézve

Szavakban: abból a valószínűségből, amelyet $B$ hordoz, mekkora rész esik $A$-ba. A kockáknál $A$ az „az összeg 8”, $B$ pedig az „az első kocka 3”. A metszet egyetlen kimenetel, $(3, 5)$, így $\mathbb{P}(A \cap B) = 1/36$, és $\mathbb{P}(B) = 1/6$; a hányados $1/6$. A $\mathbb{P}(B)$-vel való osztás az újraskálázás. Nélküle a leszűkített valószínűségek összege 1 helyett $\mathbb{P}(B)$ lenne. Rögzített $B$ mellett az $A \mapsto \mathbb{P}(A \mid B)$ leképezés eleget tesz a „Valószínűségi mezők és a Kolmogorov-axiómák” axiómáinak: ismét valószínűségi mérték, a régi mérték $B$-re leszűkítve és újraskálázva. Ez a lecke a feltételes valószínűségből csak annyit használ, amennyit a függetlenség megkíván; a pálya egy későbbi leckéje foglalkozik a feltételezéssel teljes részletességgel.

Független események

Két esemény független, ha az egyik bekövetkezésének megtudása nem változtatja meg a másik valószínűségét: $\mathbb{P}(A \mid B) = \mathbb{P}(A)$. Helyettesítsd be a feltételes valószínűség definícióját, szorozd meg $\mathbb{P}(B)$-vel, és a feltétel a szorzatszabállyá alakul:

A szorzatszabályt vesszük definíciónak, mert nem kell hozzá a $\mathbb{P}(B) > 0$ feltevés, és szimmetrikusan kezeli a két eseményt. Azt mondja, hogy a „mindkettő” a tér akkora részét foglalja el, mint $A$ része szorozva $B$ részével, éppúgy, ahogy egy téglalap területe a szélesség szorozva a magassággal.

A függetlenséghez nem kell két külön fizikai mechanizmus. Vegyünk egyetlen szabályos kockát, $A$ legyen a „páros”, $B = \{1, 2\}$. Ekkor $\mathbb{P}(A) = 1/2$, $\mathbb{P}(B) = 1/3$, és az $A \cap B = \{2\}$ valószínűsége $1/6 = \tfrac12 \cdot \tfrac13$. Az események függetlenek, mert a $B$-beli kimenetelek fele páros, ugyanannyi, mint az egész kockán. Cseréld $B$-t $\{1, 2, 3\}$-ra, és a tulajdonság eltűnik: $\mathbb{P}(A \cap B) = 1/6$, de $\mathbb{P}(A)\mathbb{P}(B) = 1/4$. A függetlenség a valószínűségi téren belüli arányok közötti számszerű összefüggés. Rendszerint azért áll fenn, mert az események különböző kockákra vagy érmékre vonatkoznak, de a definíció csak a számokat nézi.

A 0 vagy 1 valószínűségű esemény minden eseménytől független, hiszen a szorzatszabály mindkét oldala ekkor 0, illetve $\mathbb{P}(A)$. A függetlenség a komplementerképzést is túléli. Ha $A$ és $B$ függetlenek, akkor $A$ és $B^c$ is azok:

Az első lépés a „Halmazok méretének mérése” $\mu(A \setminus B) = \mu(A) - \mu(A \cap B)$ szabálya, a második az $A$-ra és $B$-re vonatkozó szorzatszabály, a harmadik pedig a $\mathbb{P}(B^c) = 1 - \mathbb{P}(B)$. Ugyanezt a lépést $A^c$-re és $B$-re, majd $A^c$-re és $B^c$-re alkalmazva kapjuk, hogy az $A$, $A^c$ és $B$, $B^c$ által alkotott mind a négy pár kielégíti a szorzatszabályt.

A diszjunkt nem ugyanaz, mint a független; majdnem az ellentéte. Ha $A$ és $B$ diszjunktak és pozitív valószínűségűek, akkor $\mathbb{P}(A \cap B) = 0$, miközben $\mathbb{P}(A)\mathbb{P}(B) > 0$. Annak megtudása, hogy $B$ bekövetkezett, teljesen kizárja $A$-t, ez pedig a lehető legerősebb függés.

Páronkénti és együttes függetlenség

Három vagy több eseménynél nem elég, hogy minden pár független. Dobj fel két szabályos érmét, a négy kimenetel, HH, HT, TH, TT, valószínűsége egyenként $1/4$, és legyen

• $A$ = az első érme fej $= \{HH, HT\}$,
• $B$ = a második érme fej $= \{HH, TH\}$,
• $C$ = a két érme ugyanazt az oldalt mutatja $= \{HH, TT\}$.

A három esemény valószínűsége egyenként $1/2$. Minden páronkénti metszet az egyetlen $HH$ kimenetel, $1/4 = \tfrac12 \cdot \tfrac12$ valószínűséggel, így az $A, B$, majd az $A, C$ és a $B, C$ pár is független. A hármas metszet, $A \cap B \cap C = \{HH\}$ viszont szintén $1/4$ valószínűségű, a három valószínűség szorzata pedig $1/8$. Az ok látszik a képen: ha tudod, hogy $A$ és $B$ is bekövetkezett, mindkét érme fej, és akkor $C$ biztos, pedig sem $A$, sem $B$ önmagában semmit sem mond $C$-ről.

Az $A_1, \ldots, A_n$ eseményeket ezért együttesen függetlennek nevezzük, ha a szorzatszabály minden részcsaládra teljesül:

Három eseménynél ez négy egyenlet, három a párokra és egy a hármasra; $n$ eseménynél $2^n - n - 1$ egyenlet. Egy végtelen család együttesen független, ha minden véges részcsaládja az. Ha egy érmedobás-sorozatot függetlennek nevezünk, ezt értjük rajta, és innentől a minősítés nélküli „független” együttesen függetlent jelent. Azokat az eseményeket, amelyek csak páronként függetlenek, páronként függetlennek nevezzük.

Független σ-algebrák és valószínűségi változók

Gyakran azt akarjuk összehasonlítani, ami egy mennyiségről megkérdezhető, mindazzal, ami egy másikról megkérdezhető: az első kockát a másodikkal, egy dartsnyíl vízszintes helyzetét a függőlegessel. A „σ-algebrák és Borel-halmazok” óta tudjuk, hogy a σ-algebra megválaszolható kérdések gyűjteménye, amely zárt a komplementerképzésre és a megszámlálható unióra. Az $\mathcal{F}$ eseményrendszeren belüli két σ-algebra, $\mathcal{G}$ és $\mathcal{H}$ független, ha az egyik minden kérdése független a másik minden kérdésétől:

Két $A$ és $B$ esemény függetlensége a legkisebb σ-algebrák, $\{\emptyset, A, A^c, \Omega\}$ és $\{\emptyset, B, B^c, \Omega\}$ speciális esete: az $A$, $A^c$, $B$ és $B^c$ szerepelte párokat az előző szakasz elintézte, $\emptyset$ és $\Omega$ valószínűsége pedig 0 és 1.

Egy $X$ valószínűségi változóhoz tartozik a „Mérhető függvények” $\sigma(X)$ σ-algebrája, amelyet az összes $\{X \in B\}$ esemény alkot Borel-halmazokra $B$-re, vagyis azok a kérdések, amelyek $X$-et nézve megválaszolhatók. Az $X$ és $Y$ valószínűségi változók függetlenek, ha $\sigma(X)$ és $\sigma(Y)$ függetlenek, azaz ha

Lehetetlennek tűnik minden Borel-halmazpárt ellenőrizni, de a félegyenesek elegendők. Az $X$ és $Y$ pontosan akkor független, ha

ahol $F_X$ és $F_Y$ a „Valószínűségi változók és eloszlásaik” eloszlásfüggvénye. Az ok ugyanaz az érvelés, amely „A Lebesgue-mérték és a nullmértékű halmazok” leckében a hossz egyértelműségét adta: a félegyenesek zártak a metszetképzésre és generálják a Borel-halmazokat, azok a halmazok pedig, amelyekre a szorzatszabály teljesül, zártak a komplementerképzésre és a megszámlálható diszjunkt unióra, így a félegyeneseken teljesülő szorzatszabály minden Borel-halmazon teljesül. Mindkét változóra egyszer alkalmazva ez a bizonyítás ötlete, nem teljes bizonyítás. A két kockára $\mathbb{P}(X \le 3, Y \le 2) = 6/36 = 1/6$, és $F_X(3)F_Y(2) = \tfrac12 \cdot \tfrac13 = 1/6$. Megszámlálhatóan sok értéket felvevő változóknál a feltétel $\mathbb{P}(X = i, Y = j) = \mathbb{P}(X = i)\,\mathbb{P}(Y = j)$ minden $i, j$ értékre.

A függetlenség átmegy a függvényeken. Ha $X$ és $Y$ függetlenek, $g$ és $h$ pedig mérhető függvények, akkor $g(X)$ és $h(Y)$ is függetlenek. Az ok az, hogy egy $g(X)$-szel kapcsolatos esemény $X$-szel kapcsolatos esemény: $\{g(X) \in B\} = \{X \in g^{-1}(B)\}$, és a $g^{-1}(B)$ ősképhalmaz Borel-halmaz, mert $g$ mérhető. Tehát $\sigma(g(X)) \subseteq \sigma(X)$, és egy független pár σ-algebráinak kisebb σ-algebrái is függetlenek maradnak. Az első kocka paritása és a második kocka négyzete ezért független. Végül az $X_1, \ldots, X_n$ valószínűségi változók együttesen függetlenek, ha $\mathbb{P}(X_1 \in B_1, \ldots, X_n \in B_n) = \prod_i \mathbb{P}(X_i \in B_i)$ minden Borel-halmazra, ami a $\sigma(X_i)$ σ-algebrák együttes függetlenségével egyenértékű.

Szorzatmértékek

A $[0, a] \times [0, b]$ téglalap területe az egységnégyzetben $ab$: hosszúság szorozva hosszúsággal. „A Lebesgue-mérték és a nullmértékű halmazok” a területet úgy építette fel, hogy a halmazokat téglalapokkal fedte le. Ugyanez a recept bármely két mértéktérre működik. Vegyük az $(\Omega_1, \mathcal{F}_1, \mu_1)$ és az $(\Omega_2, \mathcal{F}_2, \mu_2)$ mértékteret, és képezzük az $(\omega_1, \omega_2)$ párok $\Omega_1 \times \Omega_2$ halmazát. Téglalapnak nevezzük az $A \times B$ halmazt, ahol $A \in \mathcal{F}_1$ és $B \in \mathcal{F}_2$. A szorzat-σ-algebra, $\mathcal{F}_1 \otimes \mathcal{F}_2$, a téglalapok által generált σ-algebra a „σ-algebrák és Borel-halmazok” értelmében; a Borel-halmazokkal ellátott $\mathbb{R} \times \mathbb{R}$ esetén ez a sík Borel-féle σ-algebrája. A szorzatmérték, $\mu_1 \otimes \mu_2$, az a mérték rajta, amely minden téglalapnak a természetes méretét adja:

Ilyen mérték létezik, a halmazok téglalapokkal való lefedésével és a legkisebb összeg vételével, és egyértelmű véges mértékekre, valamint olyanokra, mint a hossz $\mathbb{R}$-en, amelyek véges darabok megszámlálható összegei. Az egyértelműség érve ugyanaz, mint a hossznál: két téglalap metszete, $(A \times B) \cap (A' \times B') = (A \cap A') \times (B \cap B')$, ismét téglalap, így egy mértéket a téglalapokon felvett értékei meghatároznak. Két példa. Egy kocka hat lapján a számlálómérték kétszer véve a 36 pár számlálómértékét adja, és ha minden lap egyenletes $1/6$ valószínűségű, akkor minden pár valószínűsége $\tfrac16 \cdot \tfrac16 = 1/36$. A $[0, 1]$-en vett hosszúság kétszer véve az egységnégyzet területét adja.

Most a kapcsolat a valószínűséggel. Ugyanazon a valószínűségi téren értelmezett két valószínűségi változónak, $X$-nek és $Y$-nak van együttes eloszlása, ez a síkon az a mérték, amelyre $\mathbb{P}_{(X, Y)}(D) = \mathbb{P}((X, Y) \in D)$, vagyis az $\omega \mapsto (X(\omega), Y(\omega))$ leképezés képmértéke a „Mérhető függvények” értelmében. Téglalapon ez $\mathbb{P}_{(X, Y)}(B \times C) = \mathbb{P}(X \in B, Y \in C)$, a függetlenség definíciója pedig azt mondja, hogy ez egyenlő $\mathbb{P}_X(B)\,\mathbb{P}_Y(C)$-vel. Mivel a téglalapok meghatároznak egy mértéket, a két állítás ugyanaz:

Szavakban: független változók együttes eloszlása a külön eloszlásaik szorzata, és egy párról semmi más nem mondható, hacsak nem mondjuk róla, hogy független. Ha $X$-nek és $Y$-nak van $f_X$ és $f_Y$ sűrűségfüggvénye, akkor egy független pár együttes eloszlásának sűrűségfüggvénye $f_X(x)\,f_Y(y)$, hiszen $\mathbb{P}(X \le a, Y \le b) = F_X(a)F_Y(b)$ az $f_X(x)f_Y(y)$ integrálja a negyedsíkon. Két független, $[0, 1]$-en egyenletes szám pontosan egy, az egységnégyzetben terület szerint választott pontot ad. A „Valószínűségi mezők és a Kolmogorov-axiómák” egyenletesen az egységnégyzetre dobott dartsnyilának ezért független a vízszintes és a függőleges koordinátája.

Az együttes eloszlás több információt tartalmaz, mint a két külön eloszlás. Az ábra az egységnégyzet egy $(X, Y)$ pontját mutatja, amelynek mindkét koordinátája egyenletes $[0, 1]$-en, bármekkora a függőség. Az $A = \{X \le a\}$ esemény az $a$ széles függőleges sáv, a $B = \{Y \le b\}$ esemény a $b$ magas vízszintes sáv, az $A \cap B$ pedig a bal alsó sarokban lévő $[0, a] \times [0, b]$ téglalap. Az árnyékolás a $c(x, y) = 1 + \theta(1 - 2x)(1 - 2y)$ együttes sűrűségfüggvény, így $\theta$ azt szabja meg, mennyire szorosan kötődnek egymáshoz a koordináták. Indulj $\theta = 0$-ról: az árnyékolás egyenletes, a pár két független egyenletes szám, és az $a = 0{,}6$, $b = 0{,}5$ téglalap $\mathbb{P}(A \cap B) = 0{,}3 = 0{,}6 \cdot 0{,}5$ valószínűségű. Told $\theta$-t $1$-re: a valószínűség a bal alsó és a jobb felső sarok felé tolódik, ugyanez a téglalap most $0{,}36$-ot tart, és $\mathbb{P}(A \mid B)$ $0{,}6$-ról $0{,}72$-re nő, vagyis annak megtudása, hogy $Y$ kicsi, valószínűbbé teszi, hogy $X$ is kicsi. $\theta = -1$-nél a téglalap $0{,}24$-et tart, és $\mathbb{P}(A \mid B) = 0{,}48$. Közben $\mathbb{P}(A)$ és $\mathbb{P}(B)$ végig $0{,}6$ és $0{,}5$ marad: a függőség teljes egészében abban rejlik, hogyan kapcsolódnak egymáshoz a koordináták. (A családot Farlie–Gumbel–Morgenstern-családnak hívják; a névre nincs szükség.)

Fubini és Tonelli tétele

A szorzatmérték lehetővé teszi, hogy szorzaton integráljunk, és ennek módja a szeletelés. Egy alakzat területét az egységnégyzetben úgy kapjuk meg, hogy összeadjuk a függőleges szeleteinek hosszát. Általában egy $f(x, y)$ függvényt a szorzaton úgy integrálunk, hogy $x$-et rögzítjük, $y$ szerint integrálunk, az eredményt pedig $x$ szerint integráljuk. Az egységnégyzeten $f(x, y) = xy$-ra

Ha az $x$ szerinti integrált végezzük el előbb, akkor $\int_0^1 y \cdot \tfrac12\,dy = \tfrac14$ jön ki. Két tétel mondja meg, mikor mindegy a sorrend. A Tonelli-tétel: ha $f \ge 0$ mérhető a szorzaton, mindkét iterált integrál létezik, esetleg végtelen, és mindkettő egyenlő $\int f \,d(\mu \otimes \nu)$-vel. A Fubini-tétel: ugyanez igaz minden integrálható $f$-re, azaz ha $\int |f|\,d(\mu \otimes \nu) < \infty$. A bizonyítás „A Lebesgue-integrál” felépítésének sorrendjében halad: téglalap indikátorára az állítás a szorzatszabály; az egyértelműségi érv a szorzat-σ-algebra minden halmazára kiterjeszti; a linearitás az egyszerű függvényeket adja; a monoton konvergencia, a „Konvergenciatételek” tétele, a nemnegatív függvényeket; az $f = f^+ - f^-$ felbontás pedig az integrálhatókat. Ez vázlat, nem bizonyítás.

A Tonelli-tétel egy korábbi képletet is megmagyaráz. Alkalmazd a gráf alatti tartomány indikátorára, $\mathbf{1}\{t < f(x)\}$-re, a tér és a $[0, \infty)$ szorzatán. Ha előbb $t$ szerint integrálsz, $f(x)$ jön ki, ha előbb $x$ szerint, $\mu(f > t)$, így $\int f\,d\mu = \int_0^\infty \mu(f > t)\,dt$, „A Lebesgue-integrál” rétegtortaképlete. $\mu$ helyett $\mathbb{P}$-vel ez a „Várható érték, szórásnégyzet és egyenlőtlenségek” farokképlete.

Most a következmény a valószínűségre. Legyenek $X$ és $Y$ függetlenek és integrálhatók. $XY$ várható értéke az $(x, y) \mapsto xy$ függvény integrálja az együttes eloszlás, a $\mathbb{P}_X \otimes \mathbb{P}_Y$ szorzatmérték szerint. A $|xy|$-ra alkalmazott Tonelli-tétel $\mathbb{E}|XY| = \mathbb{E}|X|\,\mathbb{E}|Y| < \infty$-t ad, így $XY$ integrálható, és a Fubini-tétel alkalmazható:

A két kockára $\mathbb{E}[XY] = 3{,}5 \cdot 3{,}5 = 12{,}25$, amit a 36 pár feletti összeg igazol. Függetlenség nélkül a szabály elbukik: ha $Y = X$, akkor $\mathbb{E}[X^2]$ a szórásnégyzettel nagyobb, mint $\mathbb{E}[X]^2$. Ezt a különbséget méri a következő szakasz.

Az integrálhatóság nem hagyható el a Fubini-tételből. Az egységnégyzeten az $f(x, y) = (x^2 - y^2)/(x^2 + y^2)^2$ függvény két iterált integrálja a két sorrendben $\pi/4$ és $-\pi/4$; nem integrálható, mert $\int |f|$ az origó körül végtelen.

Kovariancia és korreláció

Független változókra $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$. A különbség nagysága azt méri, mennyire tér el egy pár ettől a viselkedéstől. Véges szórásnégyzetű $X$ és $Y$ kovarianciája

A két alak a szorzat kibontása és a várható érték linearitása után megegyezik. A második alak megmutatja, mit jegyez fel a kovariancia: pozitív, ha az átlag feletti $X$ jellemzően átlag feletti $Y$-nal jár együtt, és negatív, ha az egyik átlag feletti értékei a másik átlag alatti értékeivel járnak. Az $Y = X$ választás a $\operatorname{Cov}(X, X) = \operatorname{Var} X$ egyenlőséget adja. A függetlenségből a várható értékek szorzatszabálya miatt $\operatorname{Cov}(X, Y) = 0$ következik.

A kovariancia éppen az, ami az összeg szórásnégyzetéből hiányzik. Legyen $\tilde X = X - \mathbb{E}X$ és $\tilde Y = Y - \mathbb{E}Y$; a középre igazított összeg $\tilde X + \tilde Y$. Ekkor

Az első sor négyzetre emeli az összeget és a linearitást használja; a második felismeri a három várható értéket. Független, sőt csak korrelálatlan változókra a kovarianciatag eltűnik, és a szórásnégyzetek összeadódnak. Ugyanez igaz tetszőleges számú, páronként korrelálatlan változóra.

A tíz kocka megmutatja, mennyit számít ez. Egy kocka szórásnégyzete $35/12 \approx 2{,}917$, szórása $1{,}708$. Tíz független kocka összegének szórásnégyzete $10 \cdot 35/12 \approx 29{,}17$, szórása $\sqrt{29{,}17} \approx 5{,}401$. Ha a tíz kocka ugyanannak a kockának tízszer másolt példánya volna, az összeg $10X$ lenne, $10 \cdot 1{,}708 = 17{,}08$ szórással. A független ingadozások részben kioltják egymást: az egyik kocka magas értéke valószínűleg egy másik alacsony értékével találkozik, ezért az összeg szóródása $\sqrt{n}$ szerint nő, nem $n$ szerint. A tíz kocka átlagának szórása $1{,}708/\sqrt{10} \approx 0{,}5401$, valamivel kevesebb mint egyetlen kocka szóródásának harmada.

A harmadik és negyedik lépés eredménye meglepőnek tűnik az első szakasz mellett, ahol az első kocka megtudása megváltoztatta a 8-as összeg valószínűségét. A 7-es összeg különleges: bármit mutat az első kocka, a második pontosan egy értéke ad 7-et, így az első kocka semmit sem árul el arról, hogy az összeg 7-e. A 8-as összeg lehetetlen, ha az első kocka 1, és ez információ.

A kovariancia függ a mértékegységtől. A korreláció ezt a két szórással való osztással szünteti meg:

A korreláció mindig a $[-1, 1]$ intervallumba esik. Ez a Cauchy–Schwarz-egyenlőtlenség, $\mathbb{E}|\tilde X \tilde Y| \le \sqrt{\mathbb{E}[\tilde X^2]\,\mathbb{E}[\tilde Y^2]}$, amelyet itt bizonyítás nélkül közlünk. Értéke pontosan akkor $+1$ vagy $-1$, ha $Y$ majdnem biztosan $X$ növekvő, illetve csökkenő lineáris függvénye, és $0$, ha a változók korrelálatlanok. Példaként legyen $X$ és $Y$ két független kocka, $S = X + Y$ pedig az összegük. Ekkor $\operatorname{Cov}(X, S) = \operatorname{Var} X + \operatorname{Cov}(X, Y) = 35/12$, mert a második kocka független az elsőtől, és $\rho = (35/12)/(1{,}708 \cdot 2{,}415) \approx 0{,}7071$, ami $1/\sqrt 2$: az első kocka adja az összeg szórásnégyzetének felét, és $\rho^2 = 1/2$.

Korrelálatlan, de nem független változók

A függetlenségből nulla kovariancia következik, de fordítva nem. Legyen $X$ egyenletes a $\{-1, 0, 1\}$ halmazon, minden érték $1/3$ valószínűséggel, és legyen $Y = X^2$. Ekkor $\mathbb{E}[X] = 0$, és mivel ezekre az értékekre $X^3 = X$, $\mathbb{E}[XY] = \mathbb{E}[X^3] = \mathbb{E}[X] = 0$, tehát

Mégis $Y$ az $X$ függvénye, így a pár olyan függő, amilyen egy pár csak lehet. A szorzatszabály azonnal elbukik: az $Y = 1$ valószínűsége $2/3$, az $X = 0$ valószínűsége $1/3$, de $X = 0$ esetén $Y = 0$, tehát $\mathbb{P}(X = 0, Y = 1) = 0$, míg $\mathbb{P}(X = 0)\,\mathbb{P}(Y = 1) = \tfrac13 \cdot \tfrac23 = 2/9$.

A magyarázat az, hogy a kovariancia csak lineáris irányzatot érzékel: azt, hogy a nagyobb $X$ átlagosan nagyobb $Y$-nal jár-e együtt. Itt $Y$ csökken, miközben $X$ $-1$-ről $0$-ra nő, majd újra nő, ahogy $X$ $0$-ról $1$-re nő, és a két irányzat pontosan kioltja egymást. A függetlenség az események összes párjára vonatkozó állítás, a korreláció egyetlen belőlük számolt szám, és a nulla korreláció sosem bizonyítja a függetlenséget.

Független érmedobások egyetlen egyenletes számban

A „Valószínűségi mezők és a Kolmogorov-axiómák” a végtelen sok érmedobást egy $[0, 1)$-ből egyenletesen húzott $\omega$ szám bináris jegyeivel modellezte, amelyeket itt $d_1(\omega), d_2(\omega), \ldots$ jelöl, és különálló szabályos érmékként kezelte őket, anélkül hogy bebizonyította volna a függetlenségüket. Az eszközök most megvannak. Az első jegy pontosan a $[\tfrac12, 1)$ intervallumon 1, így $\mathbb{P}(d_1 = 1) = \tfrac12$. A második jegy a $[\tfrac14, \tfrac12) \cup [\tfrac34, 1)$ halmazon 1, amelynek összhossza megint $\tfrac12$. Általában $d_k = 1$ $2^{k-1}$ darab $2^{-k}$ hosszú intervallumon, tehát minden jegy szabályos érme. Két jegy együtt: $\{d_1 = 1, d_2 = 1\} = [\tfrac34, 1)$ hossza $\tfrac14 = \tfrac12 \cdot \tfrac12$.

Az általános eset ugyanez a számítás. Rögzítsd az első $k$ jegyet előírt értékekre. Ezek egy dyadikus intervallumot határoznak meg, $[m/2^k, (m+1)/2^k)$-t, ahol $m$ az az egész szám, amelynek ezek a bináris jegyei; hossza $2^{-k}$, vagyis $k$ darab $\tfrac12$ szorzata. A tetszőleges $i_1 < \cdots < i_j$ helyeken lévő jegyek sem nehezebbek. Legyen $n = i_j$ az utolsó hely. Az első $n$ jegy közül az $n - j$ kötetlen bármelyik $2^{n-j}$ értéket felveheti, így az esemény $2^{n-j}$ darab $2^{-n}$ hosszú dyadikus intervallum uniója, összhossza $2^{-j}$, ami ismét $j$ darab $\tfrac12$ szorzata. A szorzatszabály tehát jegyek minden véges halmazára teljesül: a $d_1, d_2, \ldots$ jegyek együttesen függetlenek, és mindegyik szabályos érme.

Egyetlen egyenletes szám tehát végtelen sok független szabályos érmét tartalmaz. Ennél sokkal többet is. Oszd szét az $\omega$ jegyeit két sorozatra, a páratlan és a páros helyek jegyeire, és olvasd mindkettőt kettes számrendszerbeli számként: $U = 0{,}d_1 d_3 d_5 \ldots_2$ és $V = 0{,}d_2 d_4 d_6 \ldots_2$. $U$ első $k$ jegye $k$ független szabályos érme, így $U$ minden $2^{-k}$ hosszú dyadikus intervallumba $2^{-k}$ valószínűséggel esik, és mivel a dyadikus intervallumok zártak a metszetképzésre és generálják a Borel-halmazokat, $U$ egyenletes $[0, 1)$-en; ugyanez igaz $V$-re. A két sorozat független érmék diszjunkt csoportjaiból épül fel, és független változók diszjunkt csoportjainak függvényei függetlenek, ugyanazzal az érvvel, mint két változó függvényeire. Tehát $U$ és $V$ független egyenletes számok, és az előző szakaszok szerint $(U, V)$ az egységnégyzetben terület szerint választott pont. Az $\omega \mapsto (U, V)$ leképezés a $[0, 1)$ hosszát az egységnégyzet területére viszi. Az $\omega = 0{,}8$ esetén az első nyolc jegy $U = V = 0{,}625$-öt ad, a teljes kifejtések pedig $U = V = 2/3$-ot.

Ha a jegyeket megszámlálhatóan sok sorozatra osztjuk, egy táblázat soraira, egyetlen számból független egyenletes számok egész sorozatát kapjuk. Mindegyikre alkalmazva a „Valószínűségi változók és eloszlásaik” kvantilisfüggvényét, tetszőleges előírt eloszlású független változókat kapunk. A hosszal ellátott $[0, 1)$ így elég nagy mintatér minden kívánható független valószínűségi változó sorozathoz. Hogy valószínűségi mértékek végtelen szorzata általában létezik, az a Kolmogorov-féle kiterjesztési tétel; a fenti konstrukció ennek egy konkrét esete. A következő lecke, a „Konvergenciafajták és a nagy számok törvénye” független dobásokkal mutatja meg, hogyan állnak be a gyakoriságok.

Összefoglalás

• Az események függetlenek, ha $\mathbb{P}(A \cap B) = \mathbb{P}(A)\mathbb{P}(B)$, ami azzal egyenértékű, hogy az egyikre való feltételezés a másikat nem változtatja; több eseménynél a szorzatszabálynak minden részcsaládra teljesülnie kell, mert a páronkénti függetlenség nem elég.
• A σ-algebrák függetlenek, ha minden eseményük az; a valószínűségi változók függetlenek, ha $\sigma(X)$ és $\sigma(Y)$ azok, ami félegyeneseken ellenőrizhető, és független változók függvényei függetlenek maradnak.
• A $\mu_1 \otimes \mu_2$ szorzatmérték az az egyértelmű mérték, amely minden téglalapnak az oldalak szorzatát adja; a terület hosszúság $\otimes$ hosszúság, és független változók együttes eloszlása a külön eloszlásaik szorzata.
• Fubini és Tonelli tétele lehetővé teszi, hogy szorzaton tetszőleges sorrendben integráljunk, és független változókra az $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$ szabályt adja.
• $\operatorname{Var}(X + Y) = \operatorname{Var} X + \operatorname{Var} Y + 2\operatorname{Cov}(X, Y)$, így független változók szórásnégyzete összeadódik; a korrelálatlanságból nem következik a függetlenség.
• Egy egyenletes szám bináris jegyei független szabályos érmék, és két sorozatra osztva két független egyenletes számot adnak.