Konvergence náhodných proměnných
V teorii pravděpodobnosti existuje několik různých pojmů konvergence náhodných proměnných. Konvergence posloupnosti náhodných proměnných k nějaké limitní náhodné proměnné je důležitým konceptem v teorii pravděpodobnosti, a v jejích aplikacích na statistiku a náhodné procesy. Stejné koncepty jsou známy v matematice obecněji jako stochastická konvergence a formalizují očekávání, že chování posloupnosti v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit do formy, která se v zásadě nemění, když zkoumáme položky, které jsou v posloupnosti dostatečně daleko. Různé typy konvergence se odvíjejí od toho, jak lze takové chování charakterizovat: dva snadno představitelné případy jsou, že posloupnost začne být od určitého členu konstantní, nebo že hodnoty posloupnosti se budou dále měnit, ale bude možné je popsat nějakým pevným rozdělením pravděpodobnosti.
Pozadí
„Stochastická konvergence“ formalizuje myšlenku, že můžeme očekávat, že posloupnost v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit a vyhovovat určitému vzoru. Tímto vzorem může například být
- Konvergence v klasickém smyslu k pevné hodnotě, která snad vychází z náhodné události
- Rostoucí podobnost výsledků s tím, co by produkovala čistě deterministická funkce
- Rostoucí preference k určitému výsledku
- Rostoucí „odpor“ proti odchylce od určitého výsledku
- Že rozdělení pravděpodobnosti popisující další výsledek se může postupně stále více podobat určitému rozdělení
K méně zjevným, teoretičtějším, vzorům patří
- Že posloupnost středních hodnot vzdáleností výsledku od určité hodnoty může konvergovat k 0
- Že rozptyl náhodné veličiny popisující další událost se zmenšuje.
Tyto další typy vzorů, které se mohou objevit, jsou popsány různými typy stochastické konvergence, které se zkoumají.
Zatímco výše uvedená diskuze se týkala konvergence jedné posloupnosti k limitní hodnotě, důležitý je také pojem konvergence dvou posloupností k sobě navzájem. Ten však lze snadno převést na studium posloupnosti definované jako rozdíl anebo poměr dvou posloupností.
Pokud je například průměr n statisticky nezávislých náhodných proměnných Yi, i = 1, ..., n, které všechny mají stejnou konečnou střední hodnotu a rozptyl, popsán vztahem
pak, když se n blíží k nekonečnu, konverguje Šablona:Mvar v pravděpodobnosti (viz níže) ke společné střední hodnotě μ, náhodných proměnných Yi. Tento výsledek je znám jako „slabý zákon velkých čísel“. Jiné formy konvergence jsou důležité v jiných užitečných větách, včetně centrální limitní věty.
V následujícím textu předpokládáme, že (Xn) je posloupnost náhodných proměnných a X je náhodná proměnná, přičemž všechny jsou definované na stejném pravděpodobnostním prostoru .
Konvergence v rozděleníŠablona:Kotva
U tohoto typu konvergence stále více očekáváme, že uvidíme, že další výsledek v posloupnosti náhodných pokusů budou lépe modelovat daným rozdělením pravděpodobnosti.
Konvergence v rozdělení je nejslabším z typů konvergence se kterými se běžně pracuje, protože vyplývá ze všech dalších typů konvergence, které popisuje tento článek. Konvergence v rozdělení se však často používá v praxi; nejčastěji se objevuje při použití centrální limitní věty.
Definice
O posloupnosti Šablona:Math reálných náhodných proměnných řekneme, že konverguje v rozdělení nebo konverguje slabě nebo konverguje v zákoně k náhodné proměnné Šablona:Mvar, pokud
pro každou hodnotu v níž je funkce Šablona:Mvar spojitá. Šablona:Mvar a Šablona:Mvar jsou distribuční funkce náhodných proměnných Šablona:Mvar, resp. Šablona:Mvar.
Požadavek, uvažovat pouze body, v nichž je funkce Šablona:Mvar spojitá, je nutný. Pokud například Šablona:Mvar mají rovnoměrné rozdělení na intervalech , pak tato posloupnost konverguje v rozdělení k degenerované náhodné proměnné . Protože pro všechna n, když Šablona:Math, a Šablona:Math pro všechna když Šablona:Math. Ale, pro tuto limitní náhodnou proměnnou Šablona:Math, přestože Šablona:Math pro všechna Šablona:Mvar. Konvergence distribuční funkce tedy selže v bodě Šablona:Math, kde je funkce Šablona:Mvar nespojitá.
Konvergence v rozdělení se značí
kde je zákon (rozdělení pravděpodobnosti) proměnné Šablona:Mvar. Pokud například Šablona:Mvar je standardní normální rozdělení, můžeme psát .
Pro náhodné vektory Šablona:Math je konvergence v rozdělení definována podobně. Říkáme, že tato posloupnost konverguje v rozdělení k náhodnému Šablona:Mvar-vektoru Šablona:Mvar pokud
pro každé Šablona:Math, které je množinou spojitosti proměnné Šablona:Mvar.
Definice konvergence v rozdělení může být rozšířena z náhodných vektorů na obecnější náhodné prvky v libovolných metrických prostorech, a dokonce i na „náhodné proměnné“, které nejsou měřitelné, což je situace, která se objevuje například při studiu empirických procesů. To je „slabá konvergence rozdělení bez toho, že by rozdělení bylo definováno jinak než asymptoticky“.Šablona:Sfn
V tomto případě je vhodnější termín slabá konvergence (viz slabá konvergence míry), a říkáme, že posloupnost náhodných prvků Šablona:Math konverguje slabě k Šablona:Mvar (značíme Šablona:Math), pokud
pro všechny spojité omezené funkce Šablona:Mvar.Šablona:Sfn E* zde označuje vnější očekávanou hodnotu, což je očekávaná hodnota „nejmenší měřitelné funkce Šablona:Mvar, která dominuje Šablona:Math“.
Vlastnosti
- Protože Šablona:Math, konvergence v rozdělení znamená, že pravděpodobnost Šablona:Mvar je v daném rozsahu přibližně rovna pravděpodobnosti, že hodnota Šablona:Mvar je v tomto rozsahu, za předpokladu, že Šablona:Mvar je dostatečně velké.
- Konvergence v rozdělení obecně neznamená, že posloupnost odpovídajících hustot pravděpodobnosti bude také konvergovat. Jako příklad můžeme uvažovat náhodné proměnné s hustotami Šablona:Math. Tyto náhodné proměnné konvergují v rozdělení k rovnoměrnému rozdělení U(0, 1), zatímco jejich hustoty nekonverguje vůbec.Šablona:Sfn
- Ale, podle Schefféovys věty, konvergence hustot pravděpodobností implikuje konvergenci v rozdělení.[1]
- Portmanteauovo lemma poskytuje několik ekvivalentních definic konvergence v rozdělení. Tyto definice jsou sice méně intuitivní, ale používají se pro důkaz několika statistických vět. Lemma říká, že Šablona:Math konverguje v rozdělení k Šablona:Mvar právě tehdy, když je splněno libovolné z následujících tvrzení:Šablona:Sfn
- pro všechny body spojitosti funkce ;
- pro všechny omezené, spojité funkce (kde označuje operátor střední hodnoty);
- pro všechny omezené Lipschitzovské funkce ;
- pro všechny nezáporné spojité funkce ;
- pro každou otevřenou množinu ;
- pro každou uzavřenou množinu ;
- pro všechny množiny spojitosti náhodné proměnné ;
- pro každou shora polospojitou funkci omezenou shora;Šablona:Doplňte zdroj
- pro každou zdola polospojitou funkci omezenou zdola.Šablona:Doplňte zdroj
- Věta o spojitém zobrazení říká, že pro spojité funkce Šablona:Mvar, pokud posloupnost Šablona:Math konverguje v rozdělení k Šablona:Mvar, pak Šablona:Math konverguje v rozdělení k Šablona:Math.
- Všimněte si však, že konvergence v rozdělení proměnné Šablona:Math k Šablona:Mvar a Šablona:Math k Šablona:Mvar obecně neznamená konvergenci v rozdělení Šablona:Math k Šablona:Math nebo Šablona:Math k Šablona:Mvar.
- Lévyho věta o spojitosti: posloupnost Šablona:Math konverguje v rozdělení k Šablona:Mvar právě tehdy, když posloupnost odpovídajících charakteristických funkcí Šablona:Math konverguje bodově k charakteristické funkci Šablona:Mvar proměnné Šablona:Mvar.
- Konvergence v rozdělení je metrizovatelná pomocí Lévyho–Prochorovovy metriky.
- Přirozený odkaz na konvergenci v rozdělení je Skorochodova věta o reprezentaci.
Konvergence v pravděpodobnosti
Základní myšlenka za tímto typem konvergence je, že pravděpodobnost „neobvyklého“ výsledku se s prodlužováním posloupnosti zmenšuje.
Koncept konvergence v pravděpodobnosti se používá velmi často ve statistice. Například odhad se nazývá konzistentní, pokud konverguje v pravděpodobnosti k hodnotě, která je odhadována. Konvergence v pravděpodobnosti je také typem konvergence, která se používá v zákonu velkých čísel.
Definice
Posloupnost {Xn} náhodných proměnných konverguje v pravděpodobnosti k náhodné proměnné X, pokud pro všechna ε > 0
Podrobněji: nechť Pn(ε) je pravděpodobnost, že Xn je mimo kouli o poloměru ε se středem v X. Pak o posloupnosti Šablona:Mvar řekneme, že konverguje v pravděpodobnosti k X, pokud pro jakékoli Šablona:Math a jakékoli δ > 0 existuje číslo N (které může záviset na ε a δ) takové, že pro všechna n ≥ N, Pn(ε) < δ (definice limity).
Všimněte si, že aby podmínka byla splněna, není možné, aby pro každé n byly náhodné proměnné X a Xn nezávislé (a tedy konvergence v pravděpodobnosti je podmínkou na sdružené distribuční funkce, čímž se liší od konvergence v rozdělení, která je podmínkou na jednotlivé distribuční funkce), pokud žádné X není deterministické jako pro slabý zákon velkých čísel. Zároveň případ deterministického X nemůže být, když je deterministickou hodnotou (neizolovaný) bod diskontinuity, proveden na konvergenci v rozdělení, kde body diskontinuity musejí být explicitně vynechané.
Konvergence v pravděpodobnosti se značí písmenem p nad šipkou značící konvergenci nebo pomocí operátoru „plim“ pravděpodobnostní limity:
Pro náhodné prvky {Xn} na separabilním prostoru Šablona:Math je konvergence v pravděpodobnosti definována podobně vztahemŠablona:Sfn
Vlastnosti
- Konvergence v pravděpodobnosti implikuje konvergence v rozdělení.[důkaz]
- V opačném směru konvergence v rozdělení implikuje konvergenci v pravděpodobnosti, když limitní náhodná proměnná X je konstanta.[důkaz]
- Konvergence v pravděpodobnosti neznamená konvergenci skoro jistě.[důkaz]
- Věta o spojitém zobrazení říká, že pro každou spojitou funkci Šablona:Math, pokud , pak také Šablona:Nowrap
- Konvergence v pravděpodobnosti definuje topologii na prostoru náhodných proměnných nad pevným pravděpodobnostním prostorem. Toto topologie je metrizovatelná Ky Fanovou metrikou:Šablona:Sfn případně metrikou
Konvergence skoro jistě
Tento typ stochastické konvergence se nejvíce podobá bodové konvergenci používané v elementární reálné analýze.
Definice
Řekneme, že posloupnost Šablona:Mvar konverguje skoro jistě nebo skoro všude nebo s pravděpodobností 1 nebo silně k X, pokud
To znamená, že hodnoty Šablona:Mvar se blíží k hodnotě X, v tom smyslu (viz skoro jistě), že jevy, pro které Šablona:Mvar nekonverguje k X mají pravděpodobnost 0. Pokud použijeme pravděpodobnostní prostor a koncept náhodné proměnné jako funkce z Ω do R, je tato definice ekvivalentní s
Pomocí pojmu limes superior posloupnosti množin můžeme konvergenci skoro jistě definovat také takto:
Konvergence skoro jistě se často označuje přidáním písmen s.j. (Šablona:Vjazyce2) nad šipku značící konvergenci:
Pro obecné náhodné prvky {Xn} na metrickém prostoru je konvergence skoro jistě definována podobně:
Vlastnosti
- Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti (podle Fatouova lemmatu), a tedy implikuje konvergenci v rozdělení. Je to pojem konvergence používaný v silném zákonu velkých čísel.
- Koncept konvergence skoro jistě nepochází z topologie na prostoru náhodných proměnných. To znamená, že na prostoru náhodných proměnných neexistuje žádná topologie taková, že skoro jistě konvergentní posloupnosti podle této topologie konvergují přesně. Speciálně neexistuje žádná metrika konvergence skoro jistě.
Jistá konvergence nebo bodová konvergence
Řekneme, že posloupnost náhodných veličin (Xn) definovaných na stejném pravděpodobnostním prostoru (tj. náhodný proces) konverguje jistě nebo všude nebo bodově k X pokud kde Ω je prostor elementárních jevů podkladových Pravděpodobnostní prostor, na němž jsou náhodné proměnné definované.
Jedná se o rozšíření pojmu bodové konvergence posloupnosti funkcí na posloupnost náhodných veličin. (Náhodné veličiny samy o sobě jsou funkcemi).
Jistá konvergence náhodné proměnné implikuje všechny další druhy konvergence uvedené výše, ale v teorii pravděpodobnosti nepřináší jistá konvergence žádnou výhodu v porovnání s konvergencí skoro jistě. Tyto dva druhy konvergence se liší pouze na množinách míry nula. To je důvodem, proč se koncept jisté konvergence náhodných proměnných používá velmi zřídka.
Konvergence ve střední hodnotě
Je-li dáno reálné číslo Šablona:Math, pak řekneme, že posloupnost Šablona:Mvar konverguje v r-té střední hodnotě (nebo v Lr-normě) k náhodné proměnné X, pokud existují Šablona:Mvar-té absolutní momenty E(|Xn|r ) a E(|X|r ) proměnných Šablona:Mvar a X, a
kde operátor E označuje střední hodnotu. Konvergence v Šablona:Mvar-té střední hodnotě nám říká, že očekávaná hodnota Šablona:Mvar-té mocniny rozdílu mezi a konverguje k nule.
Tento typ konvergence se obvykle značí písmenem Lr nad šipkou značící konvergenci:
Nejdůležitější případy konvergence v r-té střední hodnotě jsou:
- Když Šablona:Mvar konverguje v r-té střední hodnotě k X pro r = 1, říkáme, že Šablona:Mvar konverguje ve střední hodnotě k X.
- Když Šablona:Mvar konverguje v r-té střední hodnotě k X pro r = 2, říkáme, že Šablona:Mvar konverguje ve čtverci střední hodnoty (nebo v kvadratická střední hodnotě) k X.
Konvergence v r-té střední hodnotě, pro r ≥ 1, implikuje konvergenci v pravděpodobnosti (podle Markovovy nerovnosti). Pokud navíc platí, že r > s ≥ 1, konvergence v r-té střední hodnotě implikuje konvergenci v s-té střední hodnotě. Konvergence ve čtverci střední hodnoty tedy implikuje konvergenci ve střední hodnotě.
Stojí za to také zmínit, že pokud
pak
Vlastnosti
Za předpokladu, že pravděpodobnostní prostor je úplný:
- Pokud a , pak skoro jistě.
- Pokud a , pak skoro jistě.
- Pokud a , pak skoro jistě.
- Pokud a , pak (pro jakákoli reálná čísla Šablona:Mvar a Šablona:Mvar) a .
- Pokud a , pak (pro jakákoli reálná čísla Šablona:Mvar a Šablona:Mvar) a .
- Pokud a , pak (pro jakákoli reálná čísla Šablona:Mvar a Šablona:Mvar).
- Žádné z výše uvedených tvrzení neplatí pro konvergenci v rozdělení.
Implikace mezi různými pojmy konvergence jsou uvedeny v částech o jednotlivých typech konvergence. Platí následující:
Tyto vlastnosti, spolu s několika dalšími speciálními případy, jsou shrnuty v následujícím seznamu:
- Šablona:Kotva Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti:Šablona:Sfn[důkaz]
- Šablona:Kotva Konvergence v pravděpodobnosti implikuje existenci podposloupnosti která konverguje skoro jistě:[2]
- Šablona:Kotva Konvergence v pravděpodobnosti implikuje konvergenci v rozdělení:Šablona:Sfn[důkaz]
- Šablona:Kotva Konvergence v r-tém řádu střední hodnoty implikuje konvergenci v pravděpodobnosti:
- Šablona:Kotva Konvergence v r-tém řádu střední hodnoty implikuje konvergenci v nižším řádu střední hodnoty za předpokladu, že oba řády jsou větší nebo rovny jedné:
- za předpokladu, že r ≥ s ≥ 1.
- Šablona:Kotva Pokud Xn konverguje v rozdělení ke konstantě c, pak Xn konverguje také v pravděpodobnosti k c:Šablona:Sfn[důkaz]
- za předpokladu, že c je konstanta.
- Šablona:Kotva Pokud Šablona:Mvar konverguje v rozdělení k X a rozdíl mezi Xn a Yn konverguje v pravděpodobnosti k nule, pak Yn také konverguje v rozdělení k X:Šablona:Sfn[důkaz]
- Šablona:Kotva Pokud Šablona:Mvar konverguje v rozdělení k X a Yn konverguje v rozdělení ke konstantě c, pak sdružený vektor Šablona:Math konverguje v rozdělení k Šablona:Math: Šablona:Sfn[důkaz]
- za předpokladu, že c je konstanta.
- Všimněte si, že podmínka, že Šablona:Mvar konverguje ke konstantě, je důležitá, pokud by Šablona:Mvar konvergovala k náhodné proměnné Y, pak bychom nebyli schopni dojít k závěru, že Šablona:Math konverguje k Šablona:Math.
- Šablona:Kotva Pokud Xn konverguje v pravděpodobnosti k X a Yn konverguje v pravděpodobnosti k Y, pak sdružený vektor Šablona:Math konverguje v pravděpodobnosti k Šablona:Math: Šablona:Sfn[důkaz]
- Pokud Šablona:Mvar konverguje v pravděpodobnosti k X, a, pokud pro všechna n a nějaké b, pak Šablona:Mvar konverguje v r-té střední hodnotě k X pro všechna Šablona:Math. Jinými slovy, pokud Šablona:Mvar konverguje v pravděpodobnosti k X a všechny náhodné proměnné Šablona:Mvar jsou skoro jistě omezené výše a níže pak Šablona:Mvar konverguje k X také v jakékoli r-té střední hodnotě.Šablona:Sfn
- Skoro jistá reprezentace. Konvergence v rozdělení obvykle neznamená konvergenci skoro jistě. Ale pro danou posloupnost {Xn}, která konverguje v rozdělení k X0 je vždy možné najít jiný pravděpodobnostní prostor (Ω, F, P) a náhodné proměnné {Yn, n = 0, 1, ...} na něm definované takové, že Yn jsou v rozdělení rovny Šablona:Mvar pro každé Šablona:Math, a Yn konverguje k Y0 skoro jistě.Šablona:SfnŠablona:Sfn
- Pokud pro všechna ε > 0,
- pak říkáme, že Šablona:Mvar konverguje téměř úplně nebo téměř v pravděpodobnosti k X. Když Šablona:Mvar konverguje téměř úplně k X pak také konverguje skoro jistě k X. Jinými slovy, pokud Šablona:Mvar konverguje v pravděpodobnosti k X dostatečně rychle (tj. výše uvedenou posloupnost ocasních pravděpodobností lze sčítat pro všechna Šablona:Math), pak Šablona:Mvar také konverguje skoro jistě k X. To je přímým důsledkem Borelova–Cantelliho lemmatu.
- Pokud Šablona:Mvar je suma n reálných nezávislých náhodných proměnných:
- pak Šablona:Mvar konverguje skoro jistě právě tehdy, když Šablona:Mvar konverguje v pravděpodobnosti.
- Lebesgueova věta dává postačující podmínky, aby z konvergence skoro jistě plynula konvergence L1:
- Nutná a postačující podmínka pro L1 konvergenci je a aby posloupnost (Xn) byla stejnoměrně integrovatelná.
Odkazy
Poznámky
Reference
Literatura
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- Šablona:Citace monografie
- https://www.ma.utexas.edu/users/gordanz/notes/weak.pdf
- Tento článek obsahuje materiál z článku „Stochastic convergence“ na webu Citizendium, který je licencován podle Creative Commons Attribution-ShareAlike 3.0 Unported License, ne však podle GFDL.
Související články
- Důkazy konvergence náhodných proměnných
- Konvergence měr
- Konvergence v míře
- Spojitý stochastický proces: otázka spojitosti náhodného procesu je v zásadě otázkou konvergence, a mnoho stejných konceptů a vztahů používaných výše se vztahuje na otázky spojitosti.
- Asymptotické rozdělení
- Velké O v pravděpodobnostní notaci
- Skorochodova věta o reprezentaci
- Tweedieova věta o konvergenci
- Cramérova-Sluckého věta
- Věta o spojitém zobrazení