Konvergenciafajták és a nagy számok törvénye

A „Konvergenciatételek” című lecke egy mértéktéren értelmezett függvénysorozatokat vizsgált, és azt kérdezte, mikor követik az integrálok a függvényeket a határértékükig. A „Várható érték, szórásnégyzet és egyenlőtlenségek” a valószínűségi mezőn vett integrálokat várható értékké alakította, és megadta a Markov- és a Csebisev-egyenlőtlenséget, a „Függetlenség és szorzatmértékek” pedig megmutatta, hogy független változók összegének szórásnégyzete a szórásnégyzetek összege. Ez a lecke ezeket az eszközöket valószínűségi változók $X_1, X_2, \ldots$ sorozatán használja. Először tisztázza, mit jelenthet az, hogy „$X_n$ konvergál $X$-hez”, mert valószínűségi változóknál négy természetes értelem van, és közülük semelyik kettő sem azonos. Ezután bebizonyítja a nagy számok gyenge törvényét, és kimondja a nagy számok erős törvényét és a centrális határeloszlás-tételt, amelyek két különböző módon azt mondják, hogy sok független kísérlet átlaga egy értékre áll be.

Mit jelenthet a valószínűségi változók konvergenciája

A valószínűségi változó egy $X_n : \Omega \to \mathbb{R}$ függvény, így a valószínűségi változók sorozata függvények sorozata, a függvénysorozatok pedig többféleképpen is közelíthetnek egy határértéket. Egy kép segít. Gondolj az $\omega$-ra úgy, mint egy nagy népességből kiválasztott emberre, az $X_n(\omega)$-ra pedig úgy, mint az illető mérési eredményére az $n$-edik fordulóban. A fordulókról négyféle észszerű dolgot lehet kérni.

• Majdnem biztosan: minden ember saját mérései egy határértékhez állnak be, kivéve egy összesen nulla valószínűségű csoportot.
• Valószínűségben (sztochasztikusan): minden egyes fordulóban a népességnek csak kis hányada van még messze a határértéktől, bár ebben a hányadban fordulóról fordulóra más emberek lehetnek.
• Közepben: a hiba átlagos nagysága, az egész népességre véve, kicsi lesz.
• Eloszlásban: a mérések hisztogramja egy rögzített alakhoz közelít, és nem számít, ki melyik értéket adta.

Az első mód egyes kimeneteleket követ, a második és a harmadik fordulónként méri a hibát, a negyedik pedig egészen megfeledkezik a kimenetelekről. Az alábbi szakaszok egyenként definiálják őket. A példák mind a „Valószínűségi mezők és a Kolmogorov-axiómák” egyenletes valószínűségi mezőjén élnek: $\Omega = [0, 1]$, a $\mathbb{P}$ a Lebesgue-mérték, és $U(\omega) = \omega$ az egyenletes eloszlású valószínűségi változó. Négy sorozat tér vissza: az $U^n$ hatványok, a „Konvergenciatételek” $n\mathbf{1}_{(0, 1/n]}$ tüskéje, a harmadik szakaszban megkonstruált írógép-sorozat, és az ötödik szakaszban leírt előjelváltós sorozat.

Majdnem biztos konvergencia

Az $X_n$ sorozat majdnem biztosan (m.b.) konvergál $X$-hez, ha

Szavakban: egy nullmértékű halmazon kívüli minden kimenetelnél az $X_1(\omega), X_2(\omega), \ldots$ közönséges számsorozat az $X(\omega)$ számhoz tart. Ez a „A Lebesgue-mérték és a nullmértékű halmazok” leckéből ismert „majdnem mindenütt” fogalma valószínűségi mértékre alkalmazva, és ez az a mód, amelyben a közönséges analízis érvényes, kimenetelenként.

Az $U^n$ hatványok majdnem biztosan 0-hoz tartanak. Minden $\omega < 1$ esetén az $\omega^n$ számok 0-hoz zsugorodnak, így a konvergencia csak az $\omega = 1$ kimenetelnél hiúsul meg, ami egyetlen pont, tehát nullmértékű halmaz. Az $X_n = n\mathbf{1}_{(0, 1/n]}$ tüske minden kimenetelnél 0-hoz tart. Adott $\omega > 0$ esetén a tüske az $\omega$-tól balra került, amint $n > 1/\omega$, és attól kezdve $X_n(\omega) = 0$ örökre; az $\omega = 0$ helyen az érték minden $n$-re 0.

Ugyanezt lehet hasznos módon is mondani. Egy számsorozat pontosan akkor tart egy határértékhez, ha minden $\varepsilon > 0$ tűrésnél csak véges sok tagja esik messzebb a határértéktől, mint $\varepsilon$. Az $X_n \to X$ majdnem biztos konvergencia tehát azt jelenti, hogy minden $\varepsilon > 0$ esetén annak az eseménynek a valószínűsége, hogy „$|X_n - X| > \varepsilon$ végtelen sok $n$-re teljesül”, 0. A hetedik szakasz ezt az alakot változtatja eszközzé.

Konvergencia valószínűségben

Az $X_n$ sorozat valószínűségben (sztochasztikusan) konvergál $X$-hez, ha minden $\varepsilon > 0$ esetén

Ez egyszerre egy fordulóról kérdez. Minden $n$-re a rossz kimenetelek halmaza, ahol $X_n$ messzebb van $X$-től, mint $\varepsilon$, egyszerűen egy halmaz, amelynek van valószínűsége, és ennek a valószínűségnek kell csökkennie. Nem kéri, hogy a rossz halmazok fordulóról fordulóra ugyanazok legyenek, vagy hogy egy kis halmazba illeszkedjenek. A hatványok példa arra, hogy teljesül: $\mathbb{P}(U^n > 0{,}1) = 1 - 0{,}1^{1/n}$, ami $n = 10$-re $0{,}2057$, $n = 100$-ra $0{,}02276$, és 0-hoz tart.

Egy második sorozat megmutatja, mennyivel gyengébb ez a mód. Az írógép-sorozat egy intervallumot végigsöpör a $[0, 1)$-en, aztán egy keskenyebbet, és így tovább, mint a kocsi, amely minden sor után visszatér a bal margóhoz. Írj minden indexet $n = 2^k + j$ alakban, ahol $0 \le j < 2^k$, vagyis $k$ a menet sorszáma, $j$ pedig a hely a menetben, és legyen

A $0$. menet az $X_1 = \mathbf{1}_{[0, 1)}$. Az 1. menet az $X_2 = \mathbf{1}_{[0, 1/2)}$ és az $X_3 = \mathbf{1}_{[1/2, 1)}$. A 2. menet a $[0, 1)$ négy negyede balról jobbra, és így tovább: a $k$-adik menet a $[0, 1)$-et $2^k$ darab $2^{-k}$ hosszú darabra vágja, és sorban végigjárja őket. Az intervallumok balról zártak, jobbról nyitottak, hogy egy pont, például az $\tfrac12$, a menet egy darabjába tartozzon, ne kettőbe.

Ekkor $\mathbb{P}(X_n \ne 0) = 2^{-k}$, és mivel $n \to \infty$ esetén $k \to \infty$, az $X_n \to 0$ valószínűségben: bármely $\varepsilon < 1$-re a $|X_n| > \varepsilon$ esemény az $X_n = 1$ esemény. De nézz meg egyetlen kimenetelt. Minden menet kicsempézi a $[0, 1)$-et, így minden $\omega$ minden menet pontosan egy intervallumában van benne, és $X_n(\omega) = 1$ minden menetben egy $n$-re, vagyis összesen végtelen sokszor. Végtelen sokszor 0 is. Az $X_1(\omega), X_2(\omega), \ldots$ számsorozat folyton ugrál 0 és 1 között, és egyetlen $\omega$-ra sem konvergál. A valószínűségben való konvergencia tehát nem vonja maga után a majdnem biztos konvergenciát: minden fordulóban majdnem mindenki rendben van, de a kis csoport, amely nincs rendben, folyton vándorol, és mindenkit végtelen sokszor meglátogat.

Az ábra az írógépet és a tüskét is megmutatja. A felső panel az $X_n$ függvényt rajzolja a $[0, 1)$-en, a választott $\omega$ kimenetelt függőleges vonal jelöli. Az alsó panel az $X_1(\omega), \ldots, X_{63}(\omega)$ értékeket ábrázolja, a nem nulla értékek a felső sorban, az aktuális $n$ karikázva. Mozgasd az $n$-et, és figyeld, hogyan csúszik és zsugorodik a tömb a menetek haladtával; a szélessége $\mathbb{P}(X_n \ne 0)$. Aztán mozgasd az $\omega$-t, és ellenőrizd, hogy akárhogy választasz kimenetelt, minden menetben egyszer jelenik meg pont a felső sorban. Az alapértékeknél, $n = 10$ és $\omega = 0{,}3$ esetén a tömb $[0{,}25; 0{,}375)$, a $\mathbb{P}(X_{10} \ne 0)$ és az $\mathbb{E}X_{10}$ egyaránt $0{,}125$, $X_{10}(0{,}3) = 1$, és az első 10 érték közül 4 nem nulla. Válts a tüskére: a tömb szélessége $1/n$-re szűkül, magassága $n$-re nő, a várható érték 1 marad, és $\omega = 0{,}3$ esetén a pontok az $n = 3$ után elfogynak.

Konvergencia közepben

Az $X_n$ sorozat közepben ($L^1$-ben) konvergál $X$-hez, ha az átlagos távolság nullához tart,

és négyzetes közepben ($L^2$-ben), ha $\mathbb{E}|X_n - X|^2 \to 0$. Általánosabban az $L^p$-konvergencia azt kéri, hogy $\mathbb{E}|X_n - X|^p \to 0$. Ezek a módok a hiba integráljáról szólnak, tehát nemcsak azt látják, mennyire valószínű a hiba, hanem azt is, mekkora. Az írógép közepben 0-hoz tart: $\mathbb{E}|X_n| = \mathbb{P}(X_n = 1) = 2^{-k} \to 0$. A középben való konvergencia tehát a majdnem biztos konvergenciát sem vonja maga után.

A tüske az ellenkező hibát mutatja. Minden kimenetelnél 0-hoz tart, de $\mathbb{E}X_n = n \cdot \tfrac1n = 1$ minden $n$-re, így $\mathbb{E}|X_n - 0| = 1$ nem tart 0-hoz. A majdnem biztos konvergencia nem vonja maga után a középben való konvergenciát, és az ok ugyanaz, mint a „Konvergenciatételek” leckében: a tüske teljes tömege egyre kisebb halmazra, nagyon nagy értékekre menekül, és nincs integrálható függvény, amely a sorozatot dominálná. Négyzetes közepben még rosszabb a helyzet, mert $\mathbb{E}X_n^2 = n^2 \cdot \tfrac1n = n$ minden határon túl nő.

Két következmény gyors. Ha $X_n \to X$ közepben, akkor a „Várható érték, szórásnégyzet és egyenlőtlenségek” Markov-egyenlőtlensége szerint minden $\varepsilon > 0$ esetén

tehát a közepben való konvergencia maga után vonja a valószínűségben való konvergenciát. A négyzetes közép pedig maga után vonja a közepet: a $t \mapsto t^2$ konvex függvényre alkalmazott Jensen-egyenlőtlenség szerint $(\mathbb{E}|Y|)^2 \le \mathbb{E}Y^2$, így $\mathbb{E}|X_n - X| \le \sqrt{\mathbb{E}|X_n - X|^2}$. Ugyanez az érvelés azt is mutatja, hogy az $L^p$-konvergencia minden $q < p$ esetén maga után vonja az $L^q$-konvergenciát.

Konvergencia eloszlásban

Az utolsó mód megfeledkezik a kimenetelekről, és csak az eloszlásfüggvényeket tartja meg, amelyeket a „Valószínűségi változók és eloszlásaik” definiált. Az $X_n$ sorozat eloszlásban konvergál $X$-hez, ha

ahol $F_n$ az $X_n$, $F$ pedig az $X$ eloszlásfüggvénye. A folytonossági pontokra való korlátozásra szükség van, és az ok egy egyszerű példa. Az $X_n = 1/n$ konstansok olyan nyilvánvalóan közelítik az $X = 0$-t, ahogy csak lehet. Mégis $F_n(0) = \mathbb{P}(1/n \le 0) = 0$ minden $n$-re, miközben $F(0) = 1$. Minden $x \ne 0$ helyen az $F_n(x)$ értékek közelítenek $F(x)$-hez, így ha az $F$ egyetlen ugrásánál is követelnénk a konvergenciát, a legtermészetesebb esetet zárnánk ki.

Mivel csak az eloszlások számítanak, ez a mód úgy is fennállhat, hogy $X_n$ és $X$ mint függvények között semmi kapcsolat sincs. Legyen $X$ egyenletes a $[-1, 1]$-en, és $X_n = (-1)^n X$. Minden $X_n$ is egyenletes a $[-1, 1]$-en, így $F_n = F$, és $X_n \to X$ eloszlásban triviálisan. De páratlan $n$-re $X_n = -X$, tehát $|X_n - X| = 2|X|$, és $\mathbb{P}(2|X| > \varepsilon) = 1 - \varepsilon/2$, ha $0 < \varepsilon < 2$. Az $\varepsilon = 0{,}5$ esetén ez minden páratlan fordulóban $0{,}75$, így $X_n$ nem konvergál $X$-hez valószínűségben.

A „Valószínűségi változók és eloszlásaik” már találkozott egy eloszlásbeli határértékkel: a sok próbálkozású, kis sikerűségű binomiális eloszlással. Vegyünk $n$ próbálkozást $2/n$ sikervalószínűséggel, hogy a sikerek várható száma 2 legyen. A nulla siker valószínűsége $n = 10$-re $0{,}1074$, $n = 100$-ra $0{,}1326$, $n = 1000$-re $0{,}1351$, és az $e^{-2} = 0{,}1353$ értékhez tart, ami a 2 várható értékű Poisson-eloszlásban a 0 valószínűsége. Ugyanez történik minden $k$-nál: a binomiális valószínűségek a Poisson-valószínűségekhez tartanak.

Az eloszlásbeli konvergencia az eloszlásokról szóló állítás, így nem kell hozzá közös valószínűségi mező: az egyik kísérletben dobott érme eloszlásban konvergálhat egy másikban értelmezett normális eloszlású változóhoz. Ennek ára, hogy egy szimmetrikus változót nem tud megkülönböztetni a negatívjától, ahogy az előjelváltások mutatják.

A konvergenciafajták kapcsolata

A példák már megmutatták, hogy egyik mód sem speciális esete az összes többinek. Az alábbi lista összegyűjti, mi áll fenn általánosan.

• A majdnem biztos konvergencia maga után vonja a valószínűségben való konvergenciát. Azok a kimenetelek, ahol valamely $m \ge n$ esetén $|X_m - X| > \varepsilon$, $n$ növekedtével zsugorodó halmazokat alkotnak, a metszetük pedig az a nullmértékű halmaz, ahol az egyenlőtlenség végtelen sokszor áll fenn, így a felülről való folytonosság miatt a valószínűségeik 0-hoz tartanak.
• A közepben való konvergencia maga után vonja a valószínűségben való konvergenciát (Markov), az $L^2$-beli konvergencia pedig az $L^1$-beli konvergenciát (Jensen).
• A valószínűségben való konvergencia maga után vonja az eloszlásbeli konvergenciát. Az ötlet: ha $X_n$ nagy valószínűséggel közel van $X$-hez, akkor az $\{X_n \le x\}$ csak kis valószínűségű eseményen különbözik az $\{X \le x\}$-től, kivéve, ha $x$ az $F$ egy ugrásánál van.
• Az eloszlásbeli konvergencia egy konstanshoz, $c$-hez, maga után vonja a valószínűségbeli konvergenciát $c$-hez: $F$ a $c$-nél ugrik 0-ról 1-re, és $\mathbb{P}(|X_n - c| > \varepsilon) \le F_n(c - \varepsilon) + 1 - F_n(c + \varepsilon) \to 0 + 1 - 1 = 0$.

Minden hiányzó nyílra van ellenpélda a fenti sorozatok között. Az írógép valószínűségben és közepben konvergál, de majdnem biztosan nem. A tüske majdnem biztosan konvergál, de közepben nem. Az $(-1)^n X$ előjelváltások eloszlásban konvergálnak, de valószínűségben nem. A majdnem biztos konvergencia és a középbeli konvergencia tehát nem összehasonlíthatók: egyik sem vonja maga után a másikat. Két későbbi szakasz hidat épít vissza. A Borel–Cantelli-lemma megmutatja, hogy a valószínűségbeli konvergenciából részsorozat mentén majdnem biztos konvergencia adódik, az egyenletes integrálhatóság pedig a hiányzó feltétel, amely a valószínűségbeli konvergenciát középbelivé emeli.

A Borel–Cantelli-lemma

Vegyük az $A_1, A_2, \ldots$ eseményeket, és kérdezzük, mekkora a valószínűsége annak, hogy végtelen sok közülük bekövetkezik. Az első Borel–Cantelli-lemma szerint, ha a valószínűségek összege véges,

Szavakban: ha az események elég gyorsan válnak valószínűtlenné, akkor majdnem biztosan csak véges sok következik be közülük. A bizonyítás megszámolja őket. Legyen $N = \sum_{n} \mathbf{1}_{A_n}$, a bekövetkező események száma; értékei a $\{0, 1, 2, \ldots\} \cup \{\infty\}$ halmazból valók. Nemnegatív tagú sort tagonként integrálni szabad, a „Konvergenciatételek” monoton konvergenciája miatt, ezért

Véges várható értékű változó nem lehet pozitív valószínűséggel végtelen. A Markov-egyenlőtlenség szerint $\mathbb{P}(N = \infty) \le \mathbb{P}(N > M) \le \mathbb{E}N / M$ minden $M$-re, és a jobb oldal $M \to \infty$ esetén 0-hoz tart. Tehát $N < \infty$ majdnem biztosan, és ez az állítás.

Az írógép megmutatja, mi történik, ha az összeg divergens. A $k$-adik menet $2^k$ eseményt ad, mindegyik valószínűsége $2^{-k}$, így minden menet pontosan 1-gyel járul hozzá az összeghez, az összeg pedig végtelen. A lemma ekkor semmit sem mond, és valóban minden kimenetelt végtelen sokszor érünk el. A divergens összeg önmagában nem kényszerít végtelen sok eseményt: a második Borel–Cantelli-lemmához független események kellenek, az írógép eseményei pedig nem azok.

Tartsuk meg most csak az egyes menetek elején lévő tagot, $n = 2^k$-t, amelynek intervalluma $[0, 2^{-k})$. A valószínűségek $2^{-k}$, az összegük $1 + \tfrac12 + \tfrac14 + \cdots = 2$, ami véges. A lemma szerint majdnem minden kimenetel csak véges sok ilyen intervallumban van benne, tehát $X_{2^k} \to 0$ majdnem biztosan ezen a részsorozaton.

Ez általános. Tegyük fel, hogy $X_n \to X$ valószínűségben. Válasszunk olyan $n_1 < n_2 < \cdots$ indexeket, hogy $\mathbb{P}(|X_{n_k} - X| > 2^{-k}) < 2^{-k}$, ami lehetséges, mert ezek a valószínűségek 0-hoz tartanak. A korlátok összege véges, így majdnem biztosan valamilyen $k$-tól kezdve $|X_{n_k} - X| \le 2^{-k}$, és $X_{n_k} \to X$ majdnem biztosan. A valószínűségben való konvergenciából mindig adódik majdnem biztos konvergencia valamilyen részsorozat mentén.

Egyenletes integrálhatóság

A valószínűségbeli konvergencia azt mondja, hogy a hiba ritkán nagy, de egy ritka esemény sok várható értéket vihet magával, ha az értékek rajta óriásiak. A tüske a mintapélda: az $\{X_n \ne 0\}$ esemény valószínűsége $1/n$, és rajta $X_n = n$. A középbeli konvergenciához olyan feltétel kell, amely kizárja a tömeg ilyen menekülését. Az $X_n$ sorozat egyenletesen integrálható, ha

Szavakban: egy magas $M$ szint fölött a sorozat egyetlen tagja sem tart meg érezhető részt a várható értékéből, és ugyanaz az $M$ az összes tagra egyszerre jó. A tüskénél az $\mathbb{E}[X_n \mathbf{1}_{\{X_n > M\}}]$ a teljes 1 várható érték, amint $n > M$, így a szuprémum minden $M$-re 1, és a tüske nem egyenletesen integrálható. Konstanssal korlátos sorozat egyenletesen integrálható, mert nagy $M$-re olyan függvény várható értékét vesszük, amely azonosan 0. Az $L^2$-ben korlátos sorozat is az: a $\{|X| > M\}$ eseményen $|X| \le X^2/M$, ezért $\mathbb{E}[|X|\mathbf{1}_{\{|X| > M\}}] \le \mathbb{E}X^2 / M$, ami nagy $M$-re kicsi, $n$-ben egyenletesen.

Vitali tétele szerint $X_n \to X$ $L^1$-ben pontosan akkor, ha $X_n \to X$ valószínűségben és a sorozat egyenletesen integrálható. A bizonyítás ötlete: az $\mathbb{E}|X_n - X|$-et felosztjuk arra a részre, ahol az értékek mérsékeltek, ami kicsi, mert a nagy hibák ritkák, és arra, ahol nagyok, ami az egyenletes integrálhatóság miatt kicsi. A tüske a második feltételen bukik el, ezért nem konvergál középben, az írógép pedig mindkettőt teljesíti, mert értékei 1-nél nem nagyobbak.

Klasszikus eset, ahol a várható érték eltűnik, a duplázó fogadás. Dobj fel egy szabályos érmét; az $\omega$ kettes számrendszerbeli jegyeit használd, mint a „Valószínűségi mezők és a Kolmogorov-axiómák” leckében, és az 1-es jegy legyen a nyerés. Az első dobásra tegyél 1 tétet. Minden vesztés után duplázd a tétet; az első nyerésnél vedd fel a nyereményt, és állj meg. Ha az első nyerés az $r \le n$ fordulóban jön, az előtte elvesztett összeg $1 + 2 + \cdots + 2^{r-2} = 2^{r-1} - 1$, a nyeremény $2^{r-1}$, így az eredmény $2^{r-1} - (2^{r-1} - 1) = 1$. Ha az első $n$ forduló mind veszít, az eredmény $-(1 + 2 + \cdots + 2^{n-1}) = 1 - 2^n$. Ha $X_n$ az eredmény legfeljebb $n$ forduló után,

A várható érték $(1 - 2^{-n}) + (1 - 2^n)\,2^{-n} = 0$ minden $n$-re. Az $n = 10$ esetben az eredmény $1$ $0{,}9990$ valószínűséggel és $-1023$ $0{,}0009766$ valószínűséggel. Mégis $X_n \to 1$ majdnem biztosan: az egyetlen kimenetel, ahol egyáltalán nincs nyerés, a csupa nulla jegyből álló sorozat, ami nullmértékű halmaz, és ha egyszer volt nyerés, az eredmény 1 marad. A pontonkénti határérték tehát 1, miközben minden várható érték 0, és a sorozat nem egyenletesen integrálható: $2^n - 1 > M$ esetén az $\mathbb{E}[|X_n|\mathbf{1}_{\{|X_n| > M\}}]$ értéke $(2^n - 1)\,2^{-n} = 1 - 2^{-n}$, közel 1. A hiányzó 1 tömeg ritka, óriási vesztes sorozatokon ül, amelyek majdnem minden kimenetel számára láthatatlanok, a várható érték számára viszont döntők.

A nagy számok gyenge törvénye

Most minden a helyén van az átlagokról szóló első tételhez. Legyenek az $X_1, X_2, \ldots$ független valószínűségi változók azonos $m$ várható értékkel és azonos $\sigma^2$ szórásnégyzettel, és legyen $\bar X_n = (X_1 + \cdots + X_n)/n$ az első $n$ átlaga. Az átlag várható értéke $m$. A „Függetlenség és szorzatmértékek” szerint független változók összegének szórásnégyzete a szórásnégyzetek összege, egy változó $n$-nel való osztása pedig a szórásnégyzetet $n^2$-tel osztja, tehát

A „Várható érték, szórásnégyzet és egyenlőtlenségek” Csebisev-egyenlőtlensége ezt a szórásnégyzetet valószínűségi korláttá alakítja,

Ez a nagy számok gyenge törvénye: $\bar X_n \to m$ valószínűségben. Független mérések átlagolása $\sqrt{n}$-szeresére csökkenti a szórást, a várható értéket pedig helyén hagyja, és egy rögzített várható érték körüli zsugorodó szórást pontosan a Csebisev-egyenlőtlenség tud valószínűséggé alakítani.

Szabályos érménél legyen $X_i = 1$ fejre és $0$ írásra. Ekkor $m = \tfrac12$ és $\sigma^2 = \tfrac14$, az $\bar X_n$ pedig a fej gyakorisága. $n = 1000$ dobással és $\varepsilon = 0{,}05$-tel a korlát $0{,}25 / (1000 \cdot 0{,}0025) = 0{,}1$: legalább $0{,}9$ valószínűséggel a fejek száma 450 és 550 között van. A korlát minden, adott szórásnégyzetű eloszlásra érvényes, ezért bőkezű. A feltevések is erősebbek a szükségesnél, mert a következtetéshez véges várható érték is elég, de akkor a bizonyításhoz egy egyenlőtlenségnél több munka kell.

Az is fontos, mit nem mond a gyenge törvény. Egyetlen választott $n$-re korlátozza egy eltérés esélyét. Semmit sem ígér egyetlen végtelen dobássorozatra, amelynek gyakorisága kilépegethet a sávból, időnként, örökké. Ehhez a következő szakasz kell.

A nagy számok erős törvénye és a centrális határeloszlás-tétel

A nagy számok erős törvénye többet állít: ha az $X_1, X_2, \ldots$ függetlenek, azonos eloszlásúak és véges az $m$ várható értékük, akkor

Majdnem minden kimenetelre az az egy végtelen sorozat, az $\bar X_n(\omega)$ számai $m$-hez tartanak. Ez az egész sorozatokról szóló állítás, nem egyszerre egy $n$-ről. Nem következik a Csebisev-egyenlőtlenségből: a $\sigma^2 / (n\varepsilon^2)$ korlátok összege a $\sum 1/n$ harmonikus sor, ami divergens, így a Borel–Cantelli-lemma nem alkalmazható. Ha a negyedik momentum véges, elérhető egy $1/n^2$ nagyságrendű, élesebb becslés, ennek összege véges, és a Borel–Cantelli-lemma befejezi a bizonyítást. Az általános esethez ügyesebb érvelés kell, amit itt nem adunk meg.

Indikátorokra alkalmazva az erős törvény igazolja a valószínűség gyakorisági olvasatát a „Valószínűségi mezők és a Kolmogorov-axiómák” leckéből. Ha egy $A$ esemény valószínűsége $p$, és független próbákat végzünk, azoknak a próbáknak a hányada, amelyekben $A$ bekövetkezik, majdnem biztosan $p$-hez tart. Az axiómák ezt sosem tételezték fel: egy modellt rögzítettek, az erős törvény pedig tétel arról, hogy a modell számai a hosszú távú gyakoriságainak határértékei. A pénzfeldobás-modellben egy egyenletes $\omega$ kettes számrendszerbeli jegyei független szabályos érmék, ahogy a „Függetlenség és szorzatmértékek” megmutatta, így majdnem minden $\omega \in [0, 1]$-re az első $n$ kettes jegy közül az 1-esek hányada $\tfrac12$-hez tart. A kivételes halmaz nem üres, hiszen az $\omega = 1/7 = 0{,}001001\ldots_2$ gyakorisága $\tfrac13$, de az összes kivétel együtt nulla hosszú.

A centrális határeloszlás-tétel az ingadozások alakját írja le, amelyeket a törvények összezsugorítanak. Az $X_i$ legyen, mint eddig, független, azonos eloszlású, $m$ várható értékkel és $\sigma^2$ szórásnégyzettel; a standardizált átlag

ahol $\Phi$ a standard normális eloszlásfüggvény. Vagyis $Z_n \to N(0, 1)$ eloszlásban. Szavakban: az átlag $\sigma/\sqrt{n}$ nagyságrendű mértékben tér el $m$-től, és ennek az egységnek a többszöröseiben a hiba standard normális változónak látszik, bármilyen volt is az egyes $X_i$ eloszlása. A gyenge és az erős törvény azt mondja, hogy a hiba 0-hoz tart; a centrális határeloszlás-tétel azt, hogy milyen gyorsan és milyen alakban. Mivel az állítás eloszlásokról szól, eloszlásbeli konvergencia, és a kimenetelekről nem állít semmit.

Az $n = 1000$, $\varepsilon = 0{,}05$ érménél a $0{,}05$ eltérés az átlag szórásának $0{,}05 / \sqrt{0{,}00025} = 3{,}162$-szerese. A tétel azt sugallja, hogy a $\mathbb{P}(|\bar X_n - 0{,}5| \ge 0{,}05)$ körülbelül $2(1 - \Phi(3{,}162)) = 0{,}001566$. A pontos binomiális érték $0{,}001731$, a Csebisev-korlát pedig $0{,}1$ volt, nagyjából hatvanszor túl nagy.

A centrális határeloszlás-tétel határértékállítás: önmagában nem ígéri, hogy a $0{,}001566$ pontos $n = 1000$-nél. A pontos $0{,}001731$-gyel való összevetés mutatja, hogy itt pontos; a mennyiségi változatok, például a Berry–Esseen-korlát, számot adnak a hibáról.

Összefoglalás

• A valószínűségi változók konvergálhatnak majdnem biztosan (kimenetelenként), valószínűségben (ritkán messze), közepben (átlagosan kicsi) vagy eloszlásban (hasonló eloszlások); a majdnem biztos és a középbeli konvergencia egyaránt maga után vonja a valószínűségbelit, az pedig az eloszlásbelit, más nyíl általában nem áll fenn.
• Az ellenpéldák eldöntik a hiányzó nyilakat: az írógép valószínűségben és közepben konvergál, de egyetlen kimenetelnél sem; a tüske minden kimenetelnél konvergál, de közepben nem; az előjelváltások eloszlásban konvergálnak, de valószínűségben nem.
• A Borel–Cantelli-lemma szerint véges valószínűségösszegű események majdnem biztosan csak véges sokszor következnek be, és a valószínűségben konvergáló sorozatokból majdnem biztos konvergenciát ad egy részsorozat mentén.
• Az egyenletes integrálhatóság, vagyis hogy egyetlen tag sem tart tömeget messze kint, pontosan az, amit a valószínűségbeli konvergenciához hozzá kell tenni, hogy közepbeli konvergenciát kapjunk; a tüske és a duplázó fogadás megsérti.
• A gyenge törvény a Csebisev-egyenlőtlenségből és a $\operatorname{Var}\bar X_n = \sigma^2/n$ képletből következik; az erős törvény szerint az átlag majdnem biztosan konvergál, tehát a gyakoriságok a valószínűségekhez tartanak; a centrális határeloszlás-tétel szerint a standardizált átlag eloszlásban $N(0, 1)$-hez tart.