Várható érték, szórásnégyzet és egyenlőtlenségek

A „A Lebesgue-integrál” című lecke bármely mérhető függvényre és bármely mértéktéren definiálta a $\int f\,d\mu$ integrált, a „Valószínűségi változók és eloszlásaik” pedig egy véletlen kísérletből olyan $X$ számot csinált, amelynek a valós számegyenesen van egy $\mathbb{P}_X$ eloszlása. Ez a lecke összekapcsolja a kettőt. Egy valószínűségi változó várható értéke a Lebesgue-integrálja a valószínűségi mérték szerint, így minden, ami az integrálokról korábban bebizonyosodott, most véletlen mennyiségek átlagairól szóló állítássá válik. Három kérdés vezeti a leckét: mit mond valójában egy olyan szám, mint a kockadobás $3{,}5$-ös átlaga, hogyan számolható ki anélkül, hogy visszatérnénk az alapul szolgáló $\Omega$ térre, és milyen messzire térhet el egy valószínűségi változó a várható értékétől. A válaszok az $\mathbb{E}[g(X)]$ képlete, a szórásnégyzet és három egyenlőtlenség, a Markové, a Csebisevé és a Jensené, amelyek egy várható értékből és egy szórásnégyzetből valószínűségekre vonatkozó garanciát csinálnak.

A várható érték mint integrál

Legyen $X$ valószínűségi változó egy $(\Omega, \mathcal{F}, \mathbb{P})$ valószínűségi mezőn. A várható értéke, amelyet átlagnak vagy középértéknek is neveznek, $X$ Lebesgue-integrálja $\mathbb{P}$ szerint:

Egy $X = \sum_k a_k \mathbf{1}_{A_k}$ egyszerű valószínűségi változóra „A Lebesgue-integrál” integrálja a $\sum_k a_k\,\mathbb{P}(A_k)$ összeg: minden $a_k$ értéket annak az eseménynek a valószínűségével súlyozunk, amelyen felveszi. A mintapélda a szabályos kockadobás. Legyen $\Omega = \{1, \ldots, 6\}$, minden oldalon $\tfrac16$ tömeggel, és $X(\omega) = \omega$. Ekkor

A $3{,}5$-öt kétféleképpen lehet olvasni, és mindkettőt érdemes megtartani. Az első a hosszú távú átlag: dobd a kockát sokszor, és az eredmények átlaga $3{,}5$ körül áll meg. Ezt a pálya egy későbbi leckéje a nagy számok törvényeként be is bizonyítja; itt a szemléletet adja. A második olvasat az egyensúlyi pont. Tedd fel $X$ eloszlását homokként egy rúdra, $1, \ldots, 6$ mindegyikén $\tfrac16$ tömegű kupaccal, és a rúd $3{,}5$-nél alátámasztva egyensúlyban van. A várható érték az eloszlás tömegközéppontja.

Egyik olvasat sem mondja, hogy a $3{,}5$ valószínű, vagy akár csak lehetséges kimenetel, és a kocka sosem mutatja. A várható érték azt írja le, hol van az eloszlás közepe, nem azt, hogy mire számítsunk egyetlen dobásnál.

„A Lebesgue-integrál” integrálja nem mindig ad véges számot, és itt is ugyanilyen óvatosság kell. Ha $X \ge 0$, akkor $\mathbb{E}[X]$ mindig létezik, esetleg $+\infty$ értékkel. Általános $X$ esetén bontsd fel $X = X^+ - X^-$ pozitív és negatív részre. A várható érték $\mathbb{E}[X^+] - \mathbb{E}[X^-]$, ha a két tag közül legalább az egyik véges, és $X$ integrálható, ha mindkettő az, ami ugyanaz, mint $\mathbb{E}|X| < \infty$. A linearitás, a monotonitás és az, hogy $X$ megváltoztatása nulla valószínűségű halmazon semmit sem módosít, mind átöröklődik az integráltól, és így az $|\mathbb{E}[X]| \le \mathbb{E}|X|$ is. Konstansra $\mathbb{E}[c] = c$, mert a teljes tömeg $1$.

Várható érték kiszámítása az eloszlásból

A definíció $\Omega$ fölött integrál, de $\Omega$ gyakran nincs szem előtt. A négyzetre dobott nyíl esetén ez maga a négyzet, végtelen pénzfeldobás-sorozatnál bináris jegysorozatok halmaza, és a „Valószínűségi változók és eloszlásaik” lényege éppen az volt, hogy a valós számegyenesen a $\mathbb{P}_X$ eloszlás hordozza $X$ lényegét. A várható érték csak az eloszlásból is kiszámolható. Egy mérhető $g$ függvényre

A $g(x) = x$ választás az eloszlásból adja a várható értéket, a $g(x) = x^2$ pedig a második momentumot, amelyre lentebb szükség lesz. A bizonyítás az integrálokra vonatkozó minden állítás szokásos menetét követi: előbb indikátorok, aztán egyszerű függvények, aztán nemnegatív függvények.

1. Indikátorok. Ha $g = \mathbf{1}_B$ egy $B$ Borel-halmazra, akkor $\mathbf{1}_B(X)$ pontosan akkor 1, ha $X \in B$, így $\mathbb{E}[\mathbf{1}_B(X)] = \mathbb{P}(X \in B) = \mathbb{P}_X(B) = \int \mathbf{1}_B\,d\mathbb{P}_X$. Ez a „Mérhető függvények” képmértékének definíciója.
2. Egyszerű függvények. Az egyszerű $g = \sum_k b_k \mathbf{1}_{B_k}$ indikátorok véges kombinációja, és a képlet mindkét oldala lineáris $g$-ben, így az első lépésből következik a második.
3. Nemnegatív függvények. Válassz egyszerű $g_n \uparrow g$ függvényeket, a „Mérhető függvények” kettes alapú lépcsős közelítéseit. Ekkor $g_n(X) \uparrow g(X)$, és a „Konvergenciatételek” monoton konvergenciája mindkét oldalon megengedi, hogy a határérték bekerüljön az integrál alá, így a képlet $g$-re is igaz.
4. Általános függvények. Alkalmazd az eredményt külön a $g^+$-ra és a $g^-$-ra, majd vond ki őket egymásból.

Két következmény adódik. Először: $\mathbb{E}[g(X)]$ csak $X$ eloszlásán keresztül függ $X$-től; két azonos eloszlású valószínűségi változónak, akár különböző valószínűségi mezőkön is, ugyanaz a várható értéke. Másodszor: a $\mathbb{P}_X$ szerinti integrál „A Lebesgue-integrál” egyik konkrét integrálja, és hogy melyik, azt az eloszlás alakja dönti el:

• Csak atomokból álló (diszkrét) eloszlás: $\mathbb{E}[g(X)] = \sum_x g(x)\,\mathbb{P}(X = x)$, összeg a lehetséges értékeken.
• $f$ sűrűségfüggvényű eloszlás: $\mathbb{E}[g(X)] = \int g(x) f(x)\,dx$.
• Vegyes eloszlás: az atomokra összeg, a sűrűséges részre integrál.

A „Valószínűségi változók és eloszlásaik” közlekedési lámpánál való várakozási ideje vegyes eset. $0{,}7$ valószínűséggel zöld a lámpa és $X = 0$; különben $X$ exponenciális, $2$ perc várható értékkel. Az eloszlás egy $0{,}7$ méretű tömegpont a $0$-ban, plusz egy $0{,}3$ összmértékű sűrűséges rész, így

Egy autós átlagosan $0{,}6$ percet vár, noha a legtöbben egyáltalán nem várnak, a többiek pedig nagyjából két percet. Ugyanez az eloszlás $\mathbb{E}[X^2] = 0{,}7 \cdot 0 + 0{,}3 \cdot 8 = 2{,}4$ értéket ad, mert egy $2$ várható értékű exponenciális eloszlás második momentuma $2 \cdot 2^2 = 8$ (az $1$ várható értékű esetet a szórásnégyzetről szóló szakasz számolja ki).

„A Lebesgue-integrál” céltáblája folytonos téren adott példa. Egy nyíl egyenletesen esik az egységnégyzetre, amelynek területe 1, így a valószínűség egyenlő a területtel. A táblának a négyzet közepe körül koncentrikus gyűrűi vannak, $0{,}1$, $0{,}25$, $0{,}4$ és $0{,}5$ külső sugárral, $10$, $5$, $2$ és $1$ pontot érnek, a sarkok $0$ pontot. A pontszám egyszerű függvény, így a várható értéke az egyes pontszámok és a gyűrűik valószínűségének szorzatösszege, ahol a valószínűség a gyűrű $\pi(r_{\text{külső}}^2 - r_{\text{belső}}^2)$ területe:

Egy dobás $0$, $1$, $2$, $5$ vagy $10$ pontot ér, és egyetlen dobás sem ér $2{,}0342$ pontot. A szám a dobásonkénti pontszám hosszú távú átlaga.

A farokformula

Nemnegatív valószínűségi változóra van egy második módja is a várható érték kiszámításának, amely csak azt használja, hogy mekkora a $\mathbb{P}(X > t)$ valószínűsége annak, hogy az érték túllép egy $t$ szintet. „A Lebesgue-integrál” rétegtorta-formulája, $\int f\,d\mu = \int_0^\infty \mu(f > t)\,dt$, a $\mu = \mathbb{P}$ és $f = X$ választással azt mondja, hogy

Képzeld $X$ értékét vékony rétegek tornyának, minden $t$ magassághoz, $0$ és $X$ között, egy réteggel. A $t$ magasságú réteg pontosan akkor van jelen, ha $X > t$, aminek a valószínűsége $\mathbb{P}(X > t)$, így a torony átlagos magassága ezeknek a valószínűségeknek az összege az összes magasságon. A $t \mapsto \mathbb{P}(X > t)$ függvény az eloszlás farka. $1$-ről vagy kicsit alacsonyabbról indul, és $0$-hoz tart, ha $X$ véges, a várható érték pedig a görbe alatti terület.

Az $1$ várható értékű exponenciális eloszlásnál $\mathbb{P}(X > t) = e^{-t}$, és $\int_0^\infty e^{-t}\,dt = 1$ a várható érték, parciális integrálás nélkül. A szabályos kockánál a farok lépcsős: a $[k, k+1)$ intervallum $t$ értékeire, $k = 0, \ldots, 5$ esetén, $\mathbb{P}(X > t) = \tfrac{6-k}{6}$, egy $1$ széles lépcsőfok, így

Ez ugyanaz a $3{,}5$, mint korábban, csak más szeleteléssel. A korábbi számolás az átlagot oszlopokra vágta, $X$ minden értékéhez egyre; ez rétegekre vágja, minden szinthez eggyel. A $\mathbb{P}(X \ge t)$ használata a $\mathbb{P}(X > t)$ helyett ugyanazt az integrált adja, mert a két függvény csak megszámlálhatóan sok $t$-nél tér el, az eloszlás atomjainál. A formula akkor hasznos, ha a farokvalószínűségeket könnyebb megtalálni, mint a sűrűségfüggvényt, és előkészíti az alábbi egyenlőtlenségeket, amelyek a farokról szólnak.

Linearitás és az indikátorfogás

Az integrál linearitásából következik, hogy ugyanazon a valószínűségi mezőn értelmezett integrálható $X$ és $Y$, valamint tetszőleges $a$ és $b$ konstans esetén

Semmilyen feltevés nem kell arról, hogy $X$ és $Y$ hogyan függ össze. Lehetnek azonosak, ellentétesek vagy bárhogyan összefonódók: két $\Omega$-n értelmezett függvény összegét úgy integráljuk, hogy külön integráljuk őket és összeadjuk. Ez szokatlan, hiszen több valószínűségi változóról szóló állításokhoz többnyire kell valamilyen feltétel arra, hogyan hatnak egymásra. A linearitást az indikátor teszi használhatóvá. Egy $A$ eseményre

Egy véletlen darabszám indikátorok összege, minden megszámolt dologhoz egy indikátor, és a várható értéke a valószínűségek összege, bármennyire összefonódnak is a dolgok. Dobj egy kockával tízszer, és legyen $N$ a hatosok száma. Ekkor $N = \sum_{i=1}^{10} \mathbf{1}_{\{\text{az } i\text{-edik dobás hatos}\}}$, és

A dobások itt nem befolyásolják egymást, de a számolás ezt sehol sem használta, és a következő példa megmutatja, miért számít ez. Egy titkárnőnek $n$ levele és $n$ megcímzett borítékja van, és véletlen sorrendben teszi be a leveleket a borítékokba, minden elrendezés egyformán valószínű. Legyen $M$ azoknak a leveleknek a száma, amelyek a saját borítékjukba kerülnek. Az $i$-edik levél egyforma eséllyel kerül bármelyik az $n$ boríték közül, így $\tfrac1n$ valószínűséggel a sajátjába kerül, és

Az események hatnak egymásra: ha az első $n - 1$ levél a saját borítékjában van, az utolsónak is ott kell lennie. $M$ eloszlása bonyolult, a várható értéke mégis $1$ három levélnél és száz levélnél is. $n = 3$ esetén a hat elrendezés fel is sorolható: az azonosságnál $3$ levél van a helyén, a három cserénél, amikor két levél helyet cserél, $1$-$1$, a két ciklikus eltolásnál pedig $0$, így az átlag $(3 + 1 + 1 + 1 + 0 + 0)/6 = 1$.

A linearitás nem terjed ki a szorzatokra. Általában $\mathbb{E}[XY] \ne \mathbb{E}[X]\,\mathbb{E}[Y]$: a kockánál $\mathbb{E}[X \cdot X] = 91/6 \approx 15{,}17$, míg $\mathbb{E}[X]^2 = 12{,}25$. A következő lecke, a „Függetlenség és szorzatmértékek”, megmutatja, melyik további feltétel teszi igazzá a szorzatszabályt.

Végtelen és nem létező várható érték

Egy nemnegatív valószínűségi változónak mindig van várható értéke, de az lehet végtelen is, akkor is, ha a változó 1 valószínűséggel véges. A szentpétervári játék megmutatja, hogyan. Egy szabályos pénzérmét addig dobunk, amíg először fej nem jön ki. Ha az első fej a $k$-adik dobásra jön, aminek a valószínűsége $2^{-k}$, a nyeremény $2^k$: $2$ $\tfrac12$ valószínűséggel, $4$ $\tfrac14$ valószínűséggel, $8$ $\tfrac18$ valószínűséggel, és így tovább. Minden kimenetelnél véges a nyeremény, mégis

A dobások minden lehetséges száma egy egységet ad a várható értékhez. Ha a játékot legfeljebb $m$ dobás után leállítjuk, és $0$ a nyeremény, ha addig nem jött fej, a várható érték pontosan $m$: $20$, ha $m = 20$, és egymillió, ha egymillió dobásig tart a játék. Korlátozás nélkül a várható érték minden határon túl nő, mert a ritka óriási nyeremények ugyanannyit nyomnak a latban, mint a gyakori kicsik. Nincs olyan véges összeg, amely méltányos átlag volna.

Az olyan változó, amely mindkét előjelet felveszi, másképp is elbukhat. A Cauchy-eloszlás sűrűségfüggvénye az egész számegyenesen $f(x) = \dfrac{1}{\pi(1 + x^2)}$. Ez rendes sűrűségfüggvény, összmértéke $\tfrac1\pi\,[\arctan x]_{-\infty}^{\infty} = 1$, de

Mind $\mathbb{E}[X^+]$, mind $\mathbb{E}[X^-]$ végtelen, így $\mathbb{E}[X^+] - \mathbb{E}[X^-]$ értéke $\infty - \infty$ volna, és nincs várható érték. A szimmetria $0$-t sugall, de a szimmetria a két végtelen felet csak akkor ejti ki egymással szemben, ha előbb eldöntjük, hogyan vágjuk őket, más vágás pedig más eredményt ad; az integrál nem hajlandó választani. A gyakorlati tünet az, hogy egyre több Cauchy-érték átlaga sosem áll be. Ezért kéri a definíció az $\mathbb{E}|X| < \infty$ feltételt, mielőtt egy mindkét előjelű változó várható értékéről beszélne.

Szórásnégyzet és momentumok

A várható érték megmondja, hol van az eloszlás, de semmit sem mond a szóródásáról. Az a változó, amely biztosan $3{,}5$, és a szabályos kocka várható értéke ugyanaz, egyébként alig van bennük közös. A szóródás szokásos mértéke a várható értéktől mért távolság négyzetének átlaga. Ha $\mathbb{E}[X^2] < \infty$ és a várható érték $\mu$, a szórásnégyzet és a szórás

A négyzetre emelés minden eltérést pozitívan számol, így a várható érték fölötti és alatti eltérések nem oltják ki egymást, és az algebra is egyszerű marad. A gyökvonás visszavonja a négyzetre emelést, így $\sigma$ mértékegysége ugyanaz, mint $X$-é. A szórásnégyzet is olyan várható érték, mint a többi, $\int (x - \mu)^2\,d\mathbb{P}_X(x)$, és az eloszlásból számítható. A négyzet kifejtése és a linearitás egy rövidítést ad. Először

Most vegyük az egyes tagok várható értékét. A $\mu$ konstans, így $\mathbb{E}[2\mu X] = 2\mu\,\mathbb{E}[X] = 2\mu^2$ és $\mathbb{E}[\mu^2] = \mu^2$:

A kockánál $\mathbb{E}[X^2] = \tfrac{1 + 4 + 9 + 16 + 25 + 36}{6} = \tfrac{91}{6} \approx 15{,}17$ és $(\mathbb{E}X)^2 = 12{,}25$, így $\operatorname{Var}(X) = \tfrac{35}{12} \approx 2{,}917$ és $\sigma \approx 1{,}708$. Az $1$ várható értékű exponenciális eloszlásnál kétszeri parciális integrálással $\mathbb{E}[X^2] = \int_0^\infty x^2 e^{-x}\,dx = 2$, így $\operatorname{Var}(X) = 2 - 1 = 1$ és $\sigma = 1$. A közlekedési lámpánál $\operatorname{Var}(X) = 2{,}4 - 0{,}6^2 = 2{,}04$ és $\sigma \approx 1{,}428$, több mint kétszerese a várható értéknek, ami a sok nullát és a néhány hosszú várakozást tükrözi.

A szórásnégyzet csak konstansra nulla: $\mathbb{E}[(X - \mu)^2] = 0$ maga után vonja, hogy $(X - \mu)^2 = 0$ majdnem biztosan, „A Lebesgue-integrál” szabálya szerint, amely szerint egy nemnegatív függvény, amelynek integrálja nulla, majdnem mindenütt nulla. Az eltolás és a nyújtás egyszerűen viselkedik. Ha $Y = aX + b$, akkor $\mathbb{E}[Y] = a\mu + b$, így $Y - \mathbb{E}[Y] = a(X - \mu)$, és

Egy konstans hozzáadása az egész eloszlást eltolja, a szóródását nem változtatja, az $a$-val való szorzás pedig a szórást $|a|$-szorosára változtatja. Ha $Y = 2X + 1$ és $X$ egy kockadobás, $\operatorname{Var}(Y) = 4 \cdot \tfrac{35}{12} = \tfrac{35}{3} \approx 11{,}67$. Hogy a szórásnégyzet két valószínűségi változó összegére hogyan viselkedik, a „Függetlenség és szorzatmértékek” témája.

Az $\mathbb{E}[X^p]$ számok $X$ momentumai, a várható érték és a második momentum az első kettő. Azokat a valószínűségi változókat, amelyekre $\mathbb{E}|X|^p < \infty$, az $L^p$ térbe tartozónak mondjuk; $p = 1$ esetén ezek az integrálhatók. Egy változónak lehet várható értéke szórásnégyzet nélkül, de valószínűségi mezőn egy véges magasabb momentum mindig maga után vonja az alacsonyabbak végességét. $p = 2$ esetén az ok az $|x| \le 1 + x^2$ egyenlőtlenség, amely minden valós $x$-re igaz: ha $|x| \le 1$, a jobb oldal legalább $1$, ha pedig $|x| > 1$, akkor $|x| < x^2$. Várható értéket véve $\mathbb{E}|X| \le 1 + \mathbb{E}[X^2] < \infty$, ahol az $1$ az $\mathbb{E}[1]$, ami azért véges, mert a teljes tömeg $1$. A véges szórásnégyzet tehát biztosítja a várható értéket. A Lebesgue-mértékű teljes számegyenesen az $1$ konstans nem integrálható, és az implikáció elbukik.

A Markov-egyenlőtlenség

Mennyi valószínűség lehet messze a várható értéktől? Olyan változónál, amely sosem negatív, a várható érték egyedül is korlátot ad. A Markov-egyenlőtlenség szerint $X \ge 0$ és bármely $a > 0$ esetén

Ha az átlag $3$, és az értékek sosem negatívak, a valószínűség legfeljebb $3/9 = \tfrac13$ része lehet $9$-nél vagy afölött. Képzeld a rúdon lévő homokot; a rúd $0$-nál kezdődik és jobbra nyúlik. Az $a$-n túli homok legalább $a$ távolságra van a bal végtől, így belőle minden egység legalább $a$-val tolja jobbra az egyensúlyi pontot; ha túl sok volna belőle odakint, az egyensúlyi pont nem maradhatna $\mathbb{E}[X]$-nél.

A bizonyítás két függvény összehasonlítása. $X \ge 0$ és $a > 0$ esetén

minden kimenetelnél igaz: ahol $X \ge a$, a bal oldal $a \le X$, másutt pedig $0 \le X$, mert $X$ nem negatív. A várható érték monoton, és $\mathbb{E}[\mathbf{1}_{\{X \ge a\}}] = \mathbb{P}(X \ge a)$, így $a\,\mathbb{P}(X \ge a) \le \mathbb{E}[X]$, és $a$-val osztva kész a bizonyítás.

Az egyenlőtlenség csak a várható értéket használja, ezért minden ilyen várható értékű eloszlásra igaznak kell lennie, és gyakran messze van az igazságtól. Az $1$ várható értékű exponenciális eloszlásnál és $a = 3$ esetén a valódi farok $\mathbb{P}(X \ge 3) = e^{-3} \approx 0{,}0498$, a Markov-korlát pedig $\mathbb{E}[X]/a = 1/3 \approx 0{,}3333$, csaknem hétszer akkora. Nem minden eloszlásnál pazarló. Az az eloszlás, amely $\tfrac23$ tömeget tesz a $0$-ba és $\tfrac13$-ot a $3$-ba, $1$ várható értékű, és $\mathbb{P}(X \ge 3) = \tfrac13$, pontosan a korlát, így a várható értékből semmilyen jobb korlát nem nyerhető. $a \le \mathbb{E}[X]$ esetén a korlát legalább $1$, és semmit sem mond.

A Csebisev-egyenlőtlenség

A Markov-egyenlőtlenség egy nemnegatív változó egyik oldalát korlátozza. Hogy a várható értéktől való távolságot mindkét oldalon korlátozzuk, alkalmazzuk a nemnegatív $(X - \mu)^2$ változóra, amelynek várható értéke a szórásnégyzet, az $a = k^2\sigma^2$ szinten. Az $|X - \mu| \ge k\sigma$ esemény ugyanaz, mint az $(X - \mu)^2 \ge k^2\sigma^2$ esemény, így $\sigma > 0$ és $k > 0$ esetén

Ez a Csebisev-egyenlőtlenség. Bármilyen az eloszlás, a valószínűség legfeljebb $\tfrac14$ része esik a várható értéktől két szórásnyi vagy nagyobb távolságra, legfeljebb $\tfrac19$ része három vagy nagyobbra, és legfeljebb $\tfrac1{16}$ része négy vagy nagyobbra. A szórás vonalzóvá válik a ritka események mérésére, és az egyetlen hozzávaló a várható érték és a szórásnégyzet.

A kockánál $\mu = 3{,}5$ és $\sigma \approx 1{,}708$. Az $|X - 3{,}5| \ge 2{,}5$ esemény az $1$ és a $6$ oldalból áll, így a valószínűsége $\tfrac13$, míg a Csebisev-egyenlőtlenség $k = 2{,}5/\sigma$ mellett $\sigma^2/2{,}5^2 \approx 0{,}4667$ értéket ad. Az $1$ várható értékű és $1$ szórású exponenciális eloszlásnál legyen $k = 2$: az $|X - 1| \ge 2$ esemény az $X \ge 3$ esemény, mert az $X \le -1$ lehetetlen, a valószínűsége $e^{-3} \approx 0{,}0498$, a korlát pedig $\tfrac14$. Még a normális eloszlásnál is bőkezű a korlát, hiszen két szórásnyi távolság együtt mindkét farokban csak mintegy $0{,}0455$ valószínűséget hagy.

Olyan jó-e a korlát, amilyen csak lehet, ha csak a várható értéket és a szórásnégyzetet ismerjük? Igen. $k \ge 1$ esetén vedd a hárompontú eloszlást, amelynek tömegei $\tfrac{1}{2k^2}$, $1 - \tfrac{1}{k^2}$ és $\tfrac{1}{2k^2}$ a $\mu - k\sigma$, $\mu$ és $\mu + k\sigma$ pontban. Szimmetria miatt a várható értéke $\mu$. A szórásnégyzete $(k\sigma)^2 \cdot 2 \cdot \tfrac{1}{2k^2} = \sigma^2$, és $\mathbb{P}(|X - \mu| \ge k\sigma) = \tfrac{1}{k^2}$, pontosan a korlát. Minden $k$-ra van olyan eloszlás ezzel a várható értékkel és szórásnégyzettel, amely eléri, így semmilyen kisebb szám nem állhat az $1/k^2$ helyén olyan állításban, amely csak $\mu$-t és $\sigma$-t használja.

Az ábra összeveti a valódi farkat a korláttal. Válassz eloszlást és korlátot, majd mozgasd a csúszkát: Markovnál $a$-t, ahol az ábra a $\mathbb{P}(X \ge a)$ valószínűséget mutatja az $\mathbb{E}[X]/a$ korlát mellett, Csebisevnél $k$-t, ahol a $\mathbb{P}(|X - \mu| \ge k\sigma)$ valószínűséget az $1/k^2$ korlát mellett. A folytonos görbe mindig a szaggatott alatt marad. Az exponenciális eloszlásnál és a Markov-korlátnál az alapértelmezett $a = 3$ esetén a kijelzők $0{,}0498$-at mutatnak $0{,}3333$ mellett, az arány mintegy $6{,}70$; ha Csebisevre váltasz $k = 2$ mellett, $0{,}0498$ adódik $0{,}25$ mellett, az arány mintegy $5{,}02$. A kocka lépcsőt rajzol, minden oldalnál egy ugrással. Az utolsó eloszlás a csúszkával együtt változik: Markovnál a kétpontú, Csebisevnél a hárompontú eloszlás, amely a megjelölt értéknél eléri a korlátot, ott a folytonos görbe érinti a szaggatottat, és az arány pontosan $1$.

A Jensen-egyenlőtlenség

Az utolsó egyenlőtlenség egy függvény átlagát hasonlítja a függvény átlagára. Egy $\varphi$ függvény konvex, ha grafikonjának két pontját összekötő minden húr a grafikon fölött van:

Olvasd ezt várható értékként. Legyen $X$ értéke $x$ $t$ valószínűséggel és $y$ $1 - t$ valószínűséggel. Ekkor $tx + (1-t)y$ az $\mathbb{E}[X]$, a jobb oldal pedig az $\mathbb{E}[\varphi(X)]$, így az állítás $\varphi(\mathbb{E}[X]) \le \mathbb{E}[\varphi(X)]$. A Jensen-egyenlőtlenség ugyanezt mondja minden integrálható $X$ valószínűségi változóra, amelyre $\varphi(X)$ is integrálható, és minden konvex $\varphi$-re. Képben: egy konvex görbe pontjainak átlaga a görbe fölött van, az átlagos helyen.

Az általános $X$-re szóló bizonyítás a húrt érintőre cseréli. Egy konvex függvény az érintői fölött van, így az $m = \mathbb{E}[X]$ pontban van olyan $c$ meredekség (a grafikon csúcsánál a bal és a jobb meredekség közötti bármely érték), hogy

Írj $x$ helyére $X$-et, és vegyél várható értéket. Az $\mathbb{E}[X - m]$ tag eltűnik, és ami marad, az a Jensen-egyenlőtlenség:

Három következmény folyton előkerül. A $\varphi(x) = x^2$ esetén az egyenlőtlenség $\mathbb{E}[X^2] \ge (\mathbb{E}X)^2$, ami azt mondja, hogy a szórásnégyzet nem negatív; a szórásnégyzet éppen a Jensen-egyenlőtlenség hézaga $x^2$-re. A kockánál $\mathbb{E}[X^2] = 91/6 \approx 15{,}17 \ge 12{,}25 = (\mathbb{E}X)^2$, a hézag pedig $35/12$. A $\varphi(x) = |x|$ esetén $|\mathbb{E}X| \le \mathbb{E}|X|$ adódik. A $\varphi(x) = e^x$ esetén $\mathbb{E}[e^X] \ge e^{\mathbb{E}X}$: a kockánál $\mathbb{E}[e^X] = \tfrac{e + e^2 + \cdots + e^6}{6} \approx 106{,}1$, messze az $e^{3{,}5} \approx 33{,}12$ fölött.

Konkáv függvénynél az egyenlőtlenség megfordul, és ez figyelmeztetés egy gyakori hiba ellen: általában $\mathbb{E}[g(X)] \ne g(\mathbb{E}[X])$. A konkáv $g(x) = \sqrt{x}$ és egy kockadobás esetén $\mathbb{E}\sqrt{X} \approx 1{,}805$, vagyis kisebb, mint $\sqrt{3{,}5} \approx 1{,}871$. A kettő csak a $g(x) = ax + b$ alakú affin függvényeknél egyezik, ami megint a linearitás.

Összefoglalás

• Az $\mathbb{E}[X] = \int X\,d\mathbb{P}$ várható érték a Lebesgue-integrál valószínűségi mérték szerint: a hosszú távú átlag és az eloszlás egyensúlyi pontja. $X \ge 0$ esetén létezik (esetleg végtelen), és integrálható $X$ esetén is.
• Az $\mathbb{E}[g(X)] = \int g\,d\mathbb{P}_X$ az eloszlásból számolja ki: atomokra összeggel, sűrűségfüggvényre $\int g f\,dx$ integrállal, vegyes eloszlásra mindkettővel. $X \ge 0$ esetén $\mathbb{E}[X] = \int_0^\infty \mathbb{P}(X > t)\,dt$.
• A várható érték lineáris, $X$-re és $Y$-ra semmilyen feltétel nélkül, és $\mathbb{E}[\mathbf{1}_A] = \mathbb{P}(A)$, így a darabszámok átlagát valószínűségek összeadásával kapjuk. A várható érték lehet végtelen (szentpétervári játék) vagy nem létező (Cauchy).
• A $\operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}X)^2$ a szóródást méri, $\operatorname{Var}(aX + b) = a^2 \operatorname{Var}(X)$, és a véges második momentum véges első momentumot ad.
• Markov: $\mathbb{P}(X \ge a) \le \mathbb{E}[X]/a$. Csebisev: $\mathbb{P}(|X - \mu| \ge k\sigma) \le 1/k^2$, hárompontú eloszlásra éles. Jensen: $\varphi(\mathbb{E}X) \le \mathbb{E}\varphi(X)$ konvex $\varphi$-re.