Rachunek prawdopodobieństwa 1, 2

Rozdział 1 Wstęp

Prezentowany podręcznik odpowiada przedmiotom: Rachunek prawdopodobieństwa 1 (rozdziały 2 – 11) oraz Rachunek prawdopodobieństwa 2 (rozdziały 12 – 20), prowadzonym od kilku lat dla studentów II roku na specjalnościach matematyka stosowana, matematyka w ekonomii i matematyka ogólna na kierunku matematyka, studia I stopnia, na Uniwersytecie Jagiellońskim. Składa się on w dwóch różnych części, Prezentacji oraz Ćwiczeń komputerowych.

1.1 Prezentacja

Prezentacja w sposób dość zwięzły wprowadza podstawowe narzędzia i metody rachunku prawdopodobieństwa niezbędne do studiowania przedmiotów takich jak statystyka, procesy stochastyczne, ekonometria i matematyka finansowa. Stosunkowo dużo miejsca zajmują przykłady, które mają na celu wyrobienie u Studentów intuicji probabilistycznych. Podobną rolę spełnia dość duża liczba zalecanych na bieżąco ćwiczeń.

Zakładamy znajomość podstaw teorii mnogości, analizy matematycznej funkcji jeden zmiennej, algebry liniowej z geometrią i topologii. W trakcie II roku studenci uczestniczą w równoległych zajęciach z analizy matematycznej funkcji wielu zmiennych oraz z teorii miary i całki. Dzięki temu w miarę upływu czasu będziemy w naszym kursie korzystać z powyższego faktu używając poznane na tych kursach pojęcia i metody. Także to jest powodem, że w Prezentacji zdecydowaliśmy się pominąć dowody pewnych twierdzeń stanowiących podstawę rachunku prawdopodobieństwa, gdyż są one omawiane w trakcie wymienionych kursów.

Rachunek prawdopodobieństwa 1, 2

1.2 Ćwiczenia komputerowe

W trakcie kursu warto samodzielnie przeprowadzić odpowiednio dużą liczbę eksperymentów ilustrujących przerabiany materiał oraz rozwiązać szereg zagadnień wykorzystujących możliwości stwarzane obecnie przez komputer. Mogą do tego służyć przygotowane Ćwiczenia komputerowe dające możliwość prowadzenia symulacji, obliczeń oraz prezentacji nawiązujących i rozszerzających program kursu.

Ćwiczenia komputerowe są formalne niezależne od Prezentacji, chociaż tematycznie odpowiadają poszczególnym rozdziałom, a niektóre przykłady z Prezentacji są rozwijane w poszczególnych punktach. Każde z Ćwiczeń zawiera wprowadzenie, wskazówki i komentarze, więc osoby orientujące się w tematyce nie muszą przeglądać Prezentacji przed przystąpieniem do poszczególnych Ćwiczeń. Ich zaletą jest możliwość samodzielnej modyfikacji parametrów, a nawet całych procedur, co powinno inspirować użytkownika do samodzielnych eksperymentów. Ćwiczenia były przygotowywane przy użyciu Maple 18. Zdecydowana większość działa sprawnie w kilku poprzednich wersjach Maple oraz w Maple 2019¹. Do ich przerabiania zalecany jest interface Classic, który wyraźniej niż domyślny interface Standard pozwala na odróżnieniu kodu od tekstu komentarzy, co pozwala myślącemu użytkownikowi na bardziej samodzielną pracę.

Należy podkreślić, że w sieci można znaleźć wiele innych bardzo ciekawych ćwiczeń/demonstracji wspomagających kurs rachunku prawdopodobieństwa. Zostały przygotowane przy użyciu różnorodnego oprogramowania. Także kolejne wersje Maple oferują coraz więcej gotowych aplikacji na ten temat.

Rachunek prawdopodobieństwa 1, 2

1.3 Pomocne podręczniki

W zakresie naszych kursów rachunku prawdopodobieństwa niniejszy podręcznik jest w zasadzie samowystarczalny. Niemniej, warto nieraz porównać lub skonfrontować przerabiany materiał z innymi źródłami. Warto polecić:

• •

  Jakubowski J., Sztencel R., Wstęp do teorii prawdopodobieństwa, Script, Warszawa 2010.

  Jest to poważny i kompletny podręcznik o bardziej teoretycznym charakterze, który w niektórych miejscach istotnie poszerza niniejszy kurs.

• •

  Jakubowski J., Sztencel R., Rachunek prawdopodobieństwa dla prawie każdego, Script, Warszawa 2006. Zawiera mniej treści i szczegółów niż poprzedni, ale osobom mniej zaawansowanym będzie się go dobrze czytać.

• •

  Ash R..B., Doleans-Dade C., Probability and mesure theory 2nd Edition, Academic Press, New York 2000.

  Jest to dość formalny wykład rachunku prawdopodobieństwa z uwypukleniem powiązań z teorią miary, topologią i analizą funkcjonalną.

• •

  Ombach J., Rachunek prawdopodobieństwa wspomagany komputerowo dla studentów matematyki stosowanej, Wydawnictwo UJ, Kraków 2018.

  Najbardziej zbliżony do obecnego podręcznika: jest jednak inaczej zorganizowany, zawiera zestawy zadań do samodzielnego rozwiązania oraz dodatki. Jest silniej niż obecna Prezentacja zależny od wyników ćwiczeń komputerowych. Nie zawiera jednak szeregu ważnych tematów (funkcje tworzące, momenty stopu, i inne), które pojawiają się obecnie. Obecny podręcznik zawiera ponad 100 Pytań sprawdzających stopień zrozumienia poszczególnych rozdziałów, przy czym po każdym Pytaniu Czytelnik może ewentualnie skorzystać z podpowiedzi lub nawet pełnych rozwiązań.

Istnieje wiele innych dobrych podręczników do rachunku prawdopodobieństwa. Część z nich została wskazana na stronie (página for seção 20.5) oraz w podręczniku [20]. Są tam także wymienione pozycje, które w sposób istotny poszerzają omawiany w tym kursie materiał.

Do korzystania z Ćwiczeń komputerowych wystarczy niewielka znajomość Maple. Program ten zapewnia wszechstronny system Pomocy, co daje możliwość pracy nawet mało doświadczonym użytkownikom.

Rachunek prawdopodobieństwa 1, 2

Rozdział 2 Podstawowe schematy probabilistyczne

2.1 Aksjomaty przestrzeni probabilistycznej

Zaczynamy od podania definicji przestrzeni probabilistycznej zaproponowanej prawie sto lat temu i obecnie najczęściej używanej.

Terminologia

Rodzina \(\Sigma \) spełniająca warunki 1 - 3 – \(\sigma \)-algebra,

Funkcja \(P\) spełniająca warunki 4, 5 – miara,

Funkcja \(P\) spełniająca warunki 4 - 6 – miara probabilistyczna,

\(\o \in \Omega \) – zdarzenie elementarne,

\(A \in \Sigma \) – zdarzenie,

\(\Omega \setminus A \) – zdarzenie przeciwne do \(A\),

\(P(A)\) – prawdopodobieństwo zdarzenia \(A\),

\(\emptyset \) – zdarzenie niemożliwe,

\(\Omega \) – zdarzenie pewne.

Uwaga. Nie zawsze \(\{\o \} \in \Sigma \), czyli zdarzenia elementarne nie muszą być zdarzeniami!

Podstawowe własności:

• 1. \(\O \in \Sigma \).
  bo \(\O = \Omega \setminus \Omega \).

• 2. Jeżeli zbiory \(A_1,A_2,A_3,\dots \in \Sigma , \) to \(\bigcap _{i=1}^{\infty }A_i \in \Sigma \),
  bo prawa de Morgana.

• 3. \(\di P(\O )=0\).
  bo \(\di P(\O ) = P(\bigcup _{i=1}^\infty \O ) = \sum _{i=1}^\infty P(\O )\).

• 4. Jeżeli zbiory \(A_1,A_2,A_3,\dots , A_n \in \Sigma \) oraz \(A_{i}\cap A_{j} = \O \) dla \(i\neq j\), to: \(\di P(\bigcup _{i=1}^{n}A_i) = \sum _{i=1}^{n}P(A_i)\).
  bo \(\di P(\bigcup _{i=1}^{n}A_i) = P(\bigcup _{i=1}^{\infty }A_i)\), gdzie \(A_i = \O \) dla \(i > n\).

• 5. Jeżeli \(A\) i \(B\) są takimi zdarzeniami, że \(A\subset B,\) to:

  \[ P(B)=P(A)+P(B\setminus A),\]

  bo \(B = A \cup (B\setminus A)\).

• 6. Dla każdego zdarzenia \(A\):

  \[ P(\Omega \backslash A)=1-P(A),\]

• 7. Jeżeli \(A\) i \(B\) są takimi zdarzeniami, że \(A\subset B\), to:

  \[P(A)\le P(B),\]

• 8. Dla dowolnych zdarzeń \(A\) i \(B\):

  \[P(A\cup B)=P(A)+P(B)-P(A\cap B),\]

  bo \(A\cup B = (A\setminus B) \cup (B \setminus A) \cup (A\cap B)\) – suma zbiorów rozłącznych.

Własności ciągów zdarzeń:

• 1. Dla dowolnych zdarzeń \(A_1, A_2, A_3, \dots \):

  \[P(\bigcup _{i=1}^{\infty }A_i) \le \sum _{i=1}^{\infty }P(A_i),\]

  bo \(\di \bigcup _{i=1}^{\infty }A_i = \bigcup _{i=1}^{\infty }B_i\) – suma zbiorów rozłącznych, gdzie
  \(B_1 = A_1\), \(B_2 = A_2 \setminus A_1\), \(B_3 = A_3 \setminus (A_1 \cup A_2)\), ….

• 2. Jeżeli \(P(A_i) = 0\), \(i = 1, \dots n\), \(n \le \infty \), to \(\di P(\bigcup _{i=1}^{n}A_i) = 0\).

• 3. Jeżeli \(P(A_i) = 1\), \(i = 1, \dots n\), \(n \le \infty \), to \(\di P(\bigcap _{i=1}^{n}A_i) =1 \).
  bo Prawo de Morgana.

Dowód. \(\di P(\bigcup _{n=1}^{\infty }A_n) = P(\bigcup _{n=1}^{\infty }(A_n \setminus A_{n-1})) = \sum _{n=1}^\infty P(A_n \setminus A_{n-1}) = \lim _{N \to \infty } \sum _{n=1}^N P(A_n \setminus A_{n-1}) = \lim _{N \to \infty } P(A_N)\). Tutaj \(A_0 = \O \).   \(\Box \)

Dowód. Prawa de Morgana.   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

2.2 Przykłady przestrzeni probabilistycznych

1. Schemat klasyczny.

Niech: \(\Omega =\{\omega _{1},\dots ,\omega _{n}\}\) oraz niech \(\Sigma \) składa się ze wszystkich podzbiorów zbioru \(\Omega \), czyli: \(\Sigma ={\cal P}(\Omega ).\) Jeżeli \(A\in \Sigma \), to przyjmijmy: \(P(A)={\# A\over n}.\)

Trójka \((\Omega ,\Sigma ,P)\) stanowi przestrzeń probabilistyczną.

Schemat klasyczny jest modelem wielu zjawisk w których liczba zdarzeń elementarnych jest skończona, są one jednakowo prawdopodobne i mamy pełną informację o eksperymencie.

Rzut kostką symetryczną: \(\Omega \) = \(\{1,2,3,4,5,6\}\) – wtedy prawdopodobieństwo każdego zdarzenia elementarnego wynosi \(\frac {1}{6}\).

Rzut dwiema kostkami symetrycznymi: \(\Omega = \{(i,j): i,j = 1,\dots , 6\}\) – zbiór 36 par utworzonych z liczb \(1,2,3,4,5,6\). Wtedy prawdopodobieństwo każdego zdarzenia elementarnego wynosi \(\frac {1}{36}\).

Gdy startując w konkursie wybieramy jedno z 20 pytań, nasz zbiór \(\Omega \) ma 20 elementów i prawdopodobieństwo zdarzenia elementarnego jest równe \(\frac {1}{20}\).

2. Schemat klasyczny z niepełną informacją.

Powyższy przykład można uogólnić.

Niech \(\Omega =\{\omega _{1},\dots ,\omega _{n}\}\).

Niech \(F_1, \dots , F_k\) będą podzbiorami \(\Omega \) spełniającymi warunki:
\(\di \bigcup _{i=1}^k F_i = \Omega \), oraz \(F_i \cap F_j\) dla \(i \neq j\). Określamy:

\[ \Sigma = \left \{\bigcup _{j\ \in J} F_j: J \subset \Omega \right \}. \]

Określamy \(P : \Sigma \to \r \) jako \(P(A) = \frac {\# A}{n}\).

Oczywiście \(\Sigma \) jest \(\sigma \)-algebrą, a (Ω, Σ, P ) przestrzenią probabilistyczną.

3. Schemat dyskretny skończony.

Niech: \(\Omega =\{\omega _{1},\dots ,\omega _{n}\}\), \(\Sigma ={\cal P}(\Omega ).\) Niech \(p_1,p_2, \dots , p_n\) będzie ciągiem liczb dodatnich (lub nieujemnych) takich, że \(\sum _{i=1}^np_i =1\). Określamy:

\[ P(A) = \sum _{i: x_i \in A}p_i, \mbox { dla } A \in \Sigma . \]

Można łatwo sprawdzić (ćwiczenie), że (Ω, Σ, P ) jest przestrzenią probabilistyczną.

Gdy \(p_i = \frac {1}{n}\), to otrzymujemy schemat klasyczny.

Gdy rzucamy fałszywą kostką, to \(p_i\) nie są sobie równe. Na przykład mogą wynosić: \(0.3, 0.15, 0.15, 0.15, 0.15, 0.1\).

Oczywiście \(P(\{\omega _i\}) = p_i\), dla każdego \(i\).

4. Schemat dyskretny nieskończony.

Niech: \(\Omega =\{\omega _{1}, \omega _2, \omega _3,\dots \}\), \(\Sigma ={\cal P}(\Omega ).\) Niech \(p_1,p_2, p_3 \dots \) będzie ciągiem liczb dodatnich (lub nieujemnych) takich, że \(\sum _{i=1}^\infty p_i =1\). Określamy:

\[ P(A) = \sum _{i: x_i \in A}p_i, \mbox { dla } A \in \Sigma . \]

Można sprawdzić, że (Ω, Σ, P ) jest przestrzenią probabilistyczną.

5. Przestrzeń probabilistyczna o nośniku \(\rn \).

Miech \(X\) będzie niepustym zbiorem. Niech \({\cal F} \subset {\cal P}(X)\) będzie rodziną zbiorów. Przez \(\sigma ({\cal F})\) oznaczamy najmniejszą \(\sigma \)-algebrę zawierającą rodzinę \(\cal F\). Zauważmy, że \(\sigma ({\cal F})\) jest iloczynem wszystkich \(\sigma \)-algebr zawierających \(\cal F\).

Jeżeli \(\cal F\) jest rodziną wszystkich zbiorów otwartych w \(X\), to \(\sigma ({\cal F})\) nazywamy \(\sigma \)-algebrą zbiorów borelowskich i oznaczamy \({\cal B}(X)\).

Gdy \(X = \r \), \({\cal B}(\r )\) może być scharakteryzowana również na inne równoważne sposoby. Można udowodnić, że: \({\cal B}(\r ) = \sigma ({\cal G})\), gdzie \(\cal G\) jest:
rodziną wszystkich zbiorów domkniętych, lub
rodziną wszystkich przedziałów \((a,b)\), lub
rodziną wszystkich przedziałów \((a,b]\), lub
rodziną wszystkich przedziałów \((-\infty ,b]\), i t.d. Podobnie można na różne sposoby scharakteryzować \({\cal B}(\rn )\), dla \(n > 1\).

Jakkolwiek \({\cal B}(\rn )\) zawiera większość podzbiorów zawartych w \(\rn \) rozważanych w praktyce i teorii, to istnieją podzbiory \(\rn \), które nie są zbiorami borelowskimi:

\[ {\cal P}(\rn ) \setminus {\cal B}(\rn ) \neq \emptyset !!! \]

Okazuje się, że na zbiorze \({\cal B}(\rn )\) można określić wiele różnych miar. Najważniejszą z nich jest miara Lebesgue’a, która w naturalny sposób uogólnia pojęcie długości w \(\r \), pola w \(\r ^2\) i objętości w \(\r ^3\). Będziemy tę miarę oznaczać przez \(\mu _{L_n}\).

Można pokazać, że miary Lebesgue’a nie można rozszerzyć na \(\sigma \)-algebrę wszystkich zbiorów, \({\cal P}(\rn )\).

Za pomocą miary Lebesgue’a można w różny sposób określać miary probabilistyczne. Najprostszy sposób to:

Prawdopodobieństwo geometryczne.

Niech \(\Omega \in {\cal B}(\rn )\) będzie takim zbiorem, że \(0 < \mu _{L_n}(\Omega ) < \infty \).

Niech \(\Sigma = \{A \subset \Omega : A \in {\cal B}(\rn )\}\).

Niech \(\di P(A) = \frac {\mu _{L_n}(A)}{\mu _{L_n}(\Omega )}\), dla \(A \in \Sigma \).

Można łatwo sprawdzić (ćwiczenie), że (Ω, Σ, P ) jest przestrzenią probabilistyczną.

Wybierając model matematyczny czynimy zawsze pewne założenia, które wydają się odpowiadać rzeczywistej sytuacji. W powyższym przykładzie założyliśmy, że niezależny od siebie wybór dwóch liczb od 0 do 100 jest identyczny z wyborem punktu w kwadracie o boku mającym długość 100. Gdybyśmy jednak wiedzieli, że, na przykład, Kaja będzie wybierać chętniej małe liczby, ten model byłby bezużyteczny.

Zawsze upewnij się, co w danej sytuacji należy rozumieć przez słowa „wybór losowy".

Rozwiązanie:

(1) Mając ustalony jeden z końców cięciwy, wybieramy taki trójkąt równoboczny wpisany, że jego wierzchołek jest w tym punkcie. Losowanie cięciwy oznacza ustalenie drugiego jej końca. Tak więc \(\Omega \) jest całym okręgiem, za \(\Sigma \) naturalnie jest przyjąć rodzinę zbiorów mierzalnych na okręgu, a \(P\) jest miarą Lebesgue’a (długością) podzieloną przez \(2\pi .\) Widać, że prawdopodobieństwo interesującego nas zdarzenia jest równe \(2\over 3\).

(2) Aby wylosować cięciwę, wystarczy podać jej środek. Tutaj \(\Omega \) jest kołem, \(\Sigma \) jest rodziną zbiorów borelowskich zawartych w kole, a \(P\) jest miarą Lebesgue’a podzieloną przez pole koła \(\pi \). Łatwo policzyć, że teraz prawdopodobieństwo naszego zdarzenia jest równe polu pierścienia podzielonemu przez \(\pi \) = \(\frac {\pi - (\frac {1}{2})^2\pi }{\pi }\) = \(3\over 4\).

(3) Losujemy liczbę \(d\) od 0 do 1 i przez dowolnie wybrany punkt odległy od środka okręgu o \(d\) prowadzimy cięciwę prostopadłą do promienia okręgu wyznaczonego przez ten punkt. Teraz \(\Omega \) jest odcinkiem \([0,1]\), a prawdopodobieństwem miara Lebesgue’a. Prawdopodobieństwo, że cięciwa jest krótsza od boku trójkąta wynosi teraz \(\frac 12\).

Gdzie tkwi błąd?

Użyto frazę „losowo wybrana cięciwa" nie precyzując co to znaczy.

Rachunek prawdopodobieństwa 1, 2

2.3 Losowania

Wiele problemów można sprowadzić do kwestii losowania. Omówimy dwa najprostsze schematy losowań.

Wyobraźmy sobie, że w urnie jest \(N = 10\) ponumerowanych kul i że wyciągamy z tej urny po kolei \(n = 5\) kul. Zauważmy, że mogą być tu zastosowane dwie metody losowania:

• • po wyciągnięciu kuli zapisujemy jej numer i wrzucamy ją z powrotem do urny.
  Zdarzeniami są na przykład ciągi:

  \[ (4,2,10,5,7);\ \ (3,3,6,1,2); \ \ (1,2,3,4,5) \ \mbox { lub } \ (7,7,7,7,5); \]

• • kolejne wyciągnięte kule ustawiamy obok urny. Zdarzeniami są na przykład zbiory:
  

  \[ \{3,5,6,7,8\};\ \ \{1,2,4,8,10\}\ \mbox { lub }\ \{2,3,4,5,6\}; \]

Zauważmy, że:

W pierwszym przypadku kule mogą się powtarzać i że musimy uwzględniać kolejność, w jakiej się pojawiają. Gdybyśmy nie uwzględnili kolejności, wynik \((1,2,3,4,5)\) odpowiadałby wielu losowaniom, a wynik \((4,4,4,4,4)\) tylko jednemu, tak więc prawdopodobieństwo drugiego wyniku musiałoby być mniejsze niż prawdopodobieństwo wyniku pierwszego, co w schemacie klasycznym nie może zachodzić – a właśnie ten schemat chcemy wykorzystać.

W drugim przypadku każdy taki zbiór jest dla nas zdarzeniem elementarnym. Zauważmy, że kule nie mogą się oczywiście powtarzać i że nie uwzględniamy kolejności – wyobraźmy sobie, że zamiast wyciągać kule po kolei bierzemy pięć kul jednocześnie (i dopiero wtedy odczytujemy numery).

Sytuacja ogólna:

Losowanie \(n\) elementów ze zwracaniem z \(N\) elementowego zbioru \(X\)

\[ \Omega = X^n = \{(x_1, \dots ,x_n): x_i \in X \textrm { dla }\; i=1,\ldots ,n\}, \ \ \ \# \Omega = N^n. \]

Losowanie \(n\) elementów bez zwracania z \(N\) elementowego zbioru \(X\)

\[ \Omega = \{A \subset X: \# A = n \}, \ \ \ \ \# \Omega = \binom {N}{n}. \]

Rachunek prawdopodobieństwa 1, 2

2.4 Pytania

Wskazówka. \(P(A \cup B) = P(A) + P(B) - P(A\cap B)\), \(P(A \cup B ) = P(A) =1\).

Wskazówka. \(P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A\cap B) - P(A\cap C) - P(B \cap C) + P(A\cap B \cap C)\).

Wskazówka. \(\Omega = \{K \subset \{1,...,52\}: \sharp K = 13\}\) – zdarzenia elementarne.

\(\Sigma = \s (K_{ij} : i = 0,1,2,3,4, j = 0,1,...,12\}\) – zdarzenia, gdzie \(K_{ij} \subset \{1,...,52\}\) – zawiera dokładnie \(i\) asów oraz dokładnie \(j\) pozostałych figur.

Ad (a). Nie. Ad (b). Tak.

Wskazówka. \(\Omega = \{1,2,3, ... \}\), \(\Sigma ={\cal P}(\Omega )\). \(p_i = (\frac {7}{8})^{i-1}\frac 18\).

Wskazówka. Każdy przedział \((a,b)\) należy do \({\cal B}(\r )\), więc \(\s ({\cal F} ) \subset {\cal B}(\r )\).

Niech \(G \subset \r \) będzie zbiorem otwartym. Wtedy \(G = \bigcup _{x \in \mathbb {Q} \cap G} (x- \ve _x,x+\ve _x)\), \(\ve _x >0\) jest tak dobrane, że \((x- \ve _x,x+\ve _x) \subset G\). Więc \(\s ({\cal F})\) zawiera wszystkie zbiory otwarte, a więc zawiera także \({\cal B}(\r )\).

Wskazówka. \(\frac 15\).

Rachunek prawdopodobieństwa 1, 2

Rozdział 3 Prawdopodobieństwo warunkowe i niezależność

3.1 Prawdopodobieństwo warunkowe

Dana jest przestrzeń probabilistyczna \((\Omega ,\Sigma ,P)\) oraz zdarzenie \(W \in \Sigma ,\) przy czym \(P(W) > 0.\)

Dla dowolnego zdarzenia \(A \in \Sigma \) określamy jego prawdopodobieństwo warunkowe \(P(A|W)\) wzorem:

\[ P(A|W) = \frac {P(A\cap W)}{P(W)}. \]

Funkcja \(P(\cdot |W) \) jest miarą probabilistyczną na \(\Sigma \) posiadającą tę właściwość, że dwa zbiory mające jednakowe przecięcia ze zbiorem \(W\), mają także taką samą miarę (ćwiczenie).

Często znamy prawdopodobieństwo warunkowe \(P(A|W)\) oraz prawdopodobieństwo \(P(W)\) i na tej podstawie obliczamy prawdopodobieństw

\[P(A\cap W) = P(A|W)P(W)\]

oraz inne prawdopodobieństwa.

.

Dowód. Ponieważ \(\di A = A\cap \Omega = A\cap (\bigcup _{i=1}^n W_i) = \bigcup _{i=1}^n(A\cap W_i), \) mamy \(\di P(A) = \sum _{i=1}^n P(A\cap W_i) = \sum _{i=1}^n P(A|W_i) P(W_i).\)   \(\Box \)

Powyższe zdarzenia \(W_1 ,\dots , W_n\) nazywamy warunkami.

Poprzedni przykład stanowi ilustrację rozumowania wprowadzonego przez Bayesa. Formalizuje to następujące twierdzenie, a jego dowód jest oczywisty.

Terminologia

\(P(W_i)\) – prawdopodobieństwa a priori,

\(P(W_i|A)\) – prawdopodobieństwa a posteriori.

Rachunek prawdopodobieństwa 1, 2

3.2 Zdarzenia niezależne

Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Niech \(A,B \in \sigma \).

Zauważmy, że gdy \(P(A) > 0\) mamy natychmiastową równoważność:

\(A\), \(B\) są niezależne \(\rwn P(B|A) = P(B)\).

Rachunek prawdopodobieństwa 1, 2

3.3 Iloczyn kartezjański przestrzeni probabilistycznych

Niech będą dane dwie przestrzenie probabilistyczne \((\Omega _1,\Sigma _1,P_1)\) oraz \((\Omega _2,\Sigma _2,P_2)\). Niech

\[ \Omega = \Omega _1 \times \Omega _2 = \{(\omega _1,\omega _2): \omega _1 \in \Omega _1, \o _2 \in \Omega _2\}. \]

Można teraz zbudować \(\sigma \)-algebrę \(\Sigma \) na zbiorze \(\Omega \) oraz miarę probabilistyczną \(P\colon \Sigma \str \r \). Jako \(\Sigma \) bierze się najmniejszą \(\sigma \)-algebrę zawierającą wszystkie iloczyny kartezjańskie \(A_1 \times A_2\), gdzie \(A_1 \in \Sigma _1\) i \(A_2 \in \Sigma _2\):

\[ \Sigma = \sigma (\{A_1\times A_2: A_1 \in \Sigma _1, A_2 \in \Sigma _2\}). \]

Dowodzi się: Istnieje dokładnie jedna miara \(P\) spełniająca warunek: dla każdych dwóch zdarzeń \(A_1 \in \Sigma _1\) i \(A_2 \in \Sigma _2\)

\[ P(A_1 \times A_2) = P_1(A_1) P_2(A_2). \]

Stosujemy często następujące oznaczenia:
\(\Sigma = \Sigma _1\times \Sigma _2 = \Sigma _1\otimes \Sigma _2\) \(P = P_1 \times P_2 = P_1 \otimes P_2\).

Oznaczenie \(\times \) stanowi kolizję z podobnymi oznaczeniami stosowanymi w teorii mnogości, lecz jest często stosowane.

Dowód. \(P(Z_1 \cap Z_2) = P((A_1 \times \Omega _2)\cap (\Omega _1 \times A_2) ) = P(A_1 \times A_2) = P_1(A_1) P_2(A_2) = P_1(A_1) P_2(\Omega _2) P_1(\Omega _1) P_2(A_2) = P(A_1 \times \Omega _2) P(\Omega _1 \times A_2) = P(Z_1)P(Z_2)\).   \(\Box \).

Interpretacja. Przypuśćmy, że prowadzimy dwuetapowy eksperyment, przy czym etapy te są niezależne od siebie (np. wykonujemy dwa kolejne rzuty kostką). Załóżmy, że etapy te są opisywane dwiema przestrzeniami probabilistycznymi \((\Omega _1,\Sigma _1,P_1)\) oraz \((\Omega _2,\Sigma _2,P_2)\). Wtedy ich iloczyn kartezjański odpowiada łącznemu opisowi obydwu etapów, przy czym odpowiednikiem zdarzenia \(A_1\) jest w nowej przestrzeni zdarzenie \(Z_1\), a zdarzenia \(A_2\) zdarzenie \(Z_2\).

Można zdefiniować iloczyn kartezjański skończonej liczby przestrzeni probabilistycznych.

Sposób 1. Wykorzystać zwykłą procedurę indukcyjną (ćwiczenie).

Sposób 2. Powtórzyć poprzednią definicję dla ustalonej liczby przestrzeni \(n\) (ćwiczenie). Można udowodnić, że obydwie procedury dają faktycznie tę samą przestrzeń.

Dowód. (ćwiczenie).   

Gdy \((\Omega _1,\Sigma _1,P_1) = \dots = (\Omega _n,\Sigma _n,P_n) \) = (Ω, Σ, P ) , często oznaczmy iloczyn kartezjański tych przestrzeni symbolem: \((\Omega ^n, \Sigma ^n, P^n)\).

Rachunek prawdopodobieństwa 1, 2

3.4 Schemat Bernoulliego

Niech \(\Omega = \{0,1\}\), \(\Sigma = {\cal P}(\Omega )\), a miara \(P\) zadana jest przez warunki:

\[P(\{0\}) = 1 - p, \ \ P(\{1\}) = p,\]

gdzie \(0 <p < 1\) jest ustaloną liczbą. Taka przestrzeń, próba Bernoulliego, może być matematycznym modelem doświadczenia, które:

• 1. kończy się dokładnie dwoma wynikami,

• 2. znane są prawdopodobieństwa ich uzyskania,

• 3. prawdopodobieństwa te są takie same w każdej próbie.

Używamy często nazw „sukces" oraz „porażka"i w modelu identyfikujemy je jako 1 oraz 0.

Jest to model doświadczenia składającego się z \(n\) niezależnych prób Bernoulliego.

Rachunek prawdopodobieństwa 1, 2

3.5 Pytania

Wskazówka. Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Niech \(W \in \Sigma \), \(P(W) > 0\). Niech \(\Sigma _W = \{A \subset W: A \in \Sigma \}\), Niech \(P_W(A) = P(A|W)\). Wtedy \((W,\Sigma _W,P_W)\) jest przestrzenią probabilistyczną.

Wskazówka. Nie.

Wskazówka.

(i’)

\(P(W_i) > 0\) dla każdego \(i = 1,\dots , N\), \(N \le \infty \)

(ii’)

\(P(W_i\cap W_j) = 0\), dla wszystkich \(i \neq j\),

(iii’)

\(P(W_1 \cup \dots \cup W_N) = 1.\)

Wskazówka. \(\frac {23}{288}\).

Wskazówka. Na przykład: \(A = \{1,2\}\), \(B = \{2,3,4\}\).

Wskazówka. Niech \(\Omega = \{1,2,3\}\), \(\Sigma = {\cal P}(\Omega )\), a miara \(P\) zadana jest przez warunki:

\[P(\{1\}) = p_1, \ \ P(\{2\}) = p_2, P(\{3\}) = p_3 \]

gdzie \(0 < p_i < 1 \) spełniają \(p_1+p_2+p_3 = 1\). Gdy mamy \(n\) doświadczeń rozważamy przestrzeń \((\Omega ^n, \Sigma ^n, P^n)\).

Ustalmy takie \(k_i\), \(0 \le k_i \le n\) dla \(i = 1,2,3\), że \(k_1+k_2+k_3 = n\). Interesuje nas zbiór \(A\) składający się z ciągów, które zawierają dokładnie \(k_1\) jedynek, \(k_2\) dwójek, a więc także \(k_3\) trójek. Chcemy obliczyć \(P^n(A)\), gdzie \(A = \{\o = (\o _1, \dots , \o _n) \in \Omega ^n: \sum _{s:\o _s=i} 1 = k_i\}\).

Dla każdego \(\o = (\o _1, \dots , \o _n) \in A\) mamy \(\di P^n(\{\o \}) = p_1^{k_1}p_2^{k_2}p_3^{k_3}\).

Ponieważ zdarzenie \(A\) składa się z \(\di \frac {n!}{k_1!k_2!k_3!} =\binom {n}{k_1} \binom {n-k_1}{k_2}\) elemetów, to

\[ P^n(A) = \frac {n!}{k_1!k_2!k_3!} p_1^{k_1}p_2^{k_2}p_3^{k_3}. \]

Rachunek prawdopodobieństwa 1, 2

Rozdział 4 Rozkład prawdopodobieństwa w \(R^n\)

Przykłady.

4.1 Rozkład jednowymiarowy. Dystrybuanta

Rozkłady (jednowymiarowe) mają ścisły związek z dystrybuantami.

Dowód. Ad 1. Wynika natychmiast z własności prawdopodobieństwa.

Ad 2. Jeżeli \(x < y\), to \((-\infty ,x ] \subset (-\infty , y]\), a więc \(F(x) = Q(-\infty ,x ] \le Q(-\infty ,y ] = F(y)\).

Ad 3. Niech \(a \in \r \) oraz \(x_n\searrow a\), to znaczy \(\forall n \ x_{n+1} < x_n\), \(\lim _{n\to \infty }x_n = a\).

\(\di ( -\infty ,a] = \bigcap _{n = 1}^\infty (-\infty ,x_n]\) oraz \((-\infty ,x_{n+1} ) \subset (-\infty ,x_n)\).

\(F(a) = Q( -\infty ,a] = \lim _{n\to \infty } Q(-\infty ,x_n] = \lim _{n\to \infty }F(x_n)\).

To oznacza, że \(\lim _{x\rightarrow a^+} F(x) = F(a)\).

Ad 4. Podobnie jak wyżej. Wynika z faktu, że \(\bigcup _{n=1}^\infty (-\infty ,n] = \r \) oraz \(\bigcap _{n=1}^\infty (- \infty ,-n] = \O \) (ćwiczenie).

Zachodzi także twierdzenie odwrotne (dowód pomijamy).

Tak więc istnieje wzajemnie jednoznaczna odpowiedniość (bijekcja) pomiędzy zbiorem rozkładów i zbiorem dystrybuant. Gdy rozkładowi \(Q\) odpowiada dystrybuanta \(F\), piszemy często \(F_Q\) oraz \(Q_F\). Zachodzą więc związki.

\begin{equation} F_Q(x) = Q(-\infty ,x], \ \ \ \ F(x) = Q_F(-\infty ,x] \ \mbox { dla kaÅijdego } x \in \r . \end{equation}

Ponieważ dla każdych \(a,b \in \r \), \(a < b\) zachodzi

\[Q(a,b] = Q((-\infty ,b] \setminus (-\infty ,a] ) = Q(-\infty ,b] - Q(-\infty ,a],\]

to otrzymujemy następujący związek:

\(\seteqnumber{0}{4.}{3}\)

\begin{equation} Q(a,b] = F_Q(b) - F_Q(a). \end{equation}

Przykłady dwóch rozkładów i ich dystrybuant:

Pytanie: W których punktach dystrybuanta jest ciągła?

Dowód. Weźmy ciąg \(x_n \nearrow a\) (to znaczy, że \(\{x_n\}\) jest ciągiem rosnącym, zbieżnym do \(a\)). Wtedy \((-\infty ,a) = \bigcup _n (-\infty ,x_n]\), a więc:

\[F(a)^- = \lim _{n\rightarrow \infty } F(x_n) = \lim _{n\rightarrow \infty } Q(-\infty ,x_n] = Q(-\infty ,a).\]

Stąd:

\[Q(a) = Q((-\infty ,a]\setminus (-\infty ,a)) = Q(-\infty ,a] - Q(-\infty ,a) = F(a) - F(a)^-.\]

\(\hfill { \Box }\)

Dla \(n >1 \) można też zdefiniować dystrybuantę i podać jej związek z rozkładem, jednak definicja nie jest automatycznym powtórzeniem sytuacji jednowymiarowej, gdyż w \(\rn \) nie ma naturalnego porządku.

Rachunek prawdopodobieństwa 1, 2

4.2 Rozkłady dyskretne i rozkłady ciągłe

Najczęściej rozważamy rozkłady dyskretne oraz rozkłady ciągłe (istnieją też inne rozkłady).

Dowód. Zauważmy, że \(K\) można przedstawić jako przeliczalną sumę zbiorów skończonych.

Dokładniej: \(K = \bigcup _{i=1}^{\infty } K_i\), gdzie \(K_i = \{x \in \r ^n : Q(x) \ge \frac {1}{i}\}\).

Widzimy, że \(1 \ge Q(K_i) \ge \#K_i\cdot \frac {1}{i}\), a więc \(\#K_i \le i.\)   

Z powyższej uwagi wynika, iż możemy zbiór \(K\) ustawić w ciąg, powiedzmy \(K = \{x_i: i= 1,\dots ,m\}\), gdzie \(m\) jest liczbą naturalną lub \(m = \infty \), i oznaczyć \(p_i = Q(x_i)\). Mamy wtedy:

\[ \sum _{i=1}^m p_i = 1 \;\;\mbox { oraz }\;\;p_i > 0 \mbox { dla wszystkich } i. \]

Zdefiniowane w ten sposób ciągi \(\{x_i\}\) i \(\{p_i\}\) wyznaczają jednoznacznie rozkład \(Q\). Mianowicie, dla każdego zbioru borelowskiego A mamy \(Q(A) = Q(A\cap K)\) (dlaczego?) i dalej:

\begin{equation} Q(A) = \sum _{i: x_i \in A} p_i. \label {eq:Q(A)} \end{equation}

W związku z powyższym, często używa się sformułowania: rozkład dyskretny zadany przez ciągi \(\{x_i\}\) i \(\{p_i\}\).

Dystrybuanta rozkładu dyskretnego Niech rozkład dyskretny \(Q\) będzie zadany przez ciągi \(\{x_i\}\) oraz \(\{p_i\}\). Wtedy otrzymujemy:

\[ F_Q(x) = \sum _{i:x_i \le x} p_i. \]

Trywialnym przykładem rozkładu dyskretnego jest rozkład jednopunktowy \(\delta _c\). Nietrywialnymi przykładami są kombinacje barycentryczne takich rozkładów.

Rozkład \((0,1,p)\) Jest to rozkład skupiony w dwóch punktach \(0\) oraz \(1\) mający parametr \(0<p<1\). Mianowicie:

\[ Q(0) = 1- p, \ \ \ \ \ Q(1) = p. \]

Jest często używany, jako model doświadczenia, które może dać dokładnie dwa wyniki nazywane często sukcesem – 1 i porażką – 0.

Rozkład dwumianowy, \(B(n,p)\) Jest to rozkład skupiony w punktach \(0,1,\dots , n\), przy czym:

\[Q(k) = \binom {n}{k} p^k(1 -p)^{n-k}\;\;\textrm {dla}\;\;k= 0,1,\dots , n.\]

Pamiętamy, że powyższy wzór określa prawdopodobieństwo dokładnie \(k\) sukcesów w \(n\) niezależnych próbach Bernoulliego.

Widać, że (bierzemy \(A = \rn \)):

\[\int _{\rn } f(x)\,dx = 1.\]

oraz

\[f(x) \ge 0 \mbox { prawie wszÄŹdzie,}\]

co rozumiemy następująco:

\(\mu _{L_n}(\{x \in \rn : f(x) < 0 \}) = 0\), gdzie \(\mu _{L_n}\) oznacza miarę Lebesgue’a.

Gdyby \(\mu _{L_n}(\{x \in \rn : f(x) < 0 \}) > 0\), to \(Q(\{x \in \rn : f(x) < 0 \}) = \int _{\{x \in \rn : f(x) < 0 \}} f(x)\, dx < 0\).

Wystarczy wziąć: \(Q(A) = \int _A f(x)\,dx\), dla \(A \in {\bf B}(\rn )\).

Dystrybuanta rozkładu ciągłego Niech rozkład ciągły \(Q\) ma gęstość \(f\). Wtedy wprost z definicji otrzymujemy:

\[ F_Q(x) = Q(-\infty ,x] = \int _{-\infty }^x f(t)\,dt. \]

Zauważmy, że w rozkładzie ciągłym zbiory jednopunktowe mają miarę zero, a więc dystrybuanta jest ciągłą w każdym punkcie.

Można podać przykład dystrybuanty, która jest funkcją ciągłą w każdym punkcie, ale jej rozkład NIE JEST ciągły.

Jeżeli pewna funkcja \(f\) mierzalna spełnia powyższy wzór, to jest ona gęstością rozkładu, którego dystrybuantą jest \(F\). Jeżeli więc wiemy, że dystrybuanta jest funkcją ciągłą i różniczkowalną, ewentualnie poza skończoną liczbą punktów, to jej pochodna jest gęstością rozważanego rozkładu. Wiadomo ponadto, że w każdym punkcie \(x\), który jest punktem ciągłości \(f\), funkcja górnej granicy całkowania, a więc dystrybuanta, jest różniczkowalna oraz zachodzi wzór:

\[F'(x) = f(x).\]

Przykładem rozkładu ciągłego jest:

Rozkład jednostajny, \(U(G)\). Niech \(G \subset \rn \) będzie zbiorem borelowskim o dodatniej i skończonej mierze Lebesgue’a, to znaczy \(0 < \mu _{L_n}(G) < \infty \). Określmy funkcję:

\[ f(x) = \left \{\begin {array}{rll} 0, & \mbox { gdy } & x \notin G\\[0,3cm] \di \frac {1}{\mu _{L_n}(G)}, & \mbox { gdy } & x \in A. \end {array} \right . \]

Jest oczywiste, że \(f\) spełnia warunki wymagane od gęstości, jest więc gęstością pewnego rozkładu prawdopodobieństwa. Rozkład ten nazywamy rozkładem jednostajnym.

Zauważmy, że \(F\) nie jest różniczkowalna w punktach \(a\), \(b\) i w tych samych punktach \(f\) nie jest ciągła.

Nie jest też istotne ile wynosi \(f(a)\) oraz \(f(b)\).

Rachunek prawdopodobieństwa 1, 2

4.3 Pytania

Wskazówka. Tak.

Wskazówka. \(Q(A) = \frac {5}{11}\). Niech \(B\) będzie zbiorem liczb pierwszych. Biorąc cztery kolejne liczby pierwsze możemy stwierdzić, że \(Q(B) > 0.3908214735 \), więc \(Q(A)Q(B) > 0.1776461243\). Tymczasem \(Q(A\cap B) = Q(\{2\}) = \frac {5}{36} = 0.1388888889\).

Wskazówka. Można wziąć taką funkcję dodatnią, np. ciągłą, \(g\) że \(\int _{-\infty }^\infty g(x)\,dx < \infty \). Gęstością jest wtedy \(f\):

\[ f(x) = \frac {g(x)}{\int _{-\infty }^\infty g(x)\,dx}. \]

Wskazówka. W istocie jest to uogólnienie Uwagi 4.7.

Wskazówka. \(h\) rosnąca, \(\lim _{x\to - \infty }h(x) = - \infty \), \(\lim _{x\to \infty }h(x) = \infty \).

Wskazówka. Ad (a).

\[ F(x) =\left \{ \begin {array}{cl} 0, & x < -2\\[0.2cm] \frac {x+2}{4}, & -2\le x < 2\\[0.3cm] 1, & 2 \le x. \end {array} \right . \]

,

Ad (b).

\[ F(x) =\left \{ \begin {array}{cl} 0, & x < -4\\[0.2cm] \frac {x+4}{4}, & -4 \le x < -2\\[0.3cm] \frac {1}{2}, & -2 \le x < 2 \\[0.3cm] \frac {x}{4}, & 2 \le x < 4 \\[0.3cm] 1, & 4 \le x. \end {array} \right . \]

Rachunek prawdopodobieństwa 1, 2

Rozdział 5 Zmienne i wektory losowe

Rozważając matematyczny model zjawiska o charakterze losowym nie zawsze potrafimy (lub chcemy) opisywać odpowiadającą mu przestrzeń probabilistyczną. Operujemy jednak wielkościami, które są interpretowane jako wartości odpowiednich funkcji określonych na tej przestrzeni. O ile spełniają odpowiednie warunki, funkcje te nazywane są zmiennymi lub wektorami losowymi.

5.1 Definicje i własności

Niech \((\Omega ,\Sigma ,P)\) będzie przestrzenią probabilistyczną.

Wyróżnianie zmiennych losowych nie ma formalnego uzasadnienia, stosuje się je ze względów tradycyjnych. Dość często określenie „wektor losowy"i „zmienna losowaśą używane zamiennie.

Zbiory \(X^{-1}(B)\), gdzie \(B \in {\cal B}({\rn })\), będziemy nazywać zbiorami opisywanymi przez wektor losowy \(X\). Podkreślamy wyraźnie, że są to zbiory postaci \(\{\omega \in \Omega : X(\omega )\in B\}\), co skrótowo będziemy zapisywać \(\{X \in B\}\). Tak więc, na przykład, wyrażenie \(P(X < \varepsilon )\) oznacza: \(P(\{\omega \in \Omega : X(\omega ) < \varepsilon \}).\)

Warunek mierzalności oznacza, że wszystkie zdarzenia opisane przez \(X\) są elementami \(\Sigma \), czyli, że mamy dostępną informację na temat takich zdarzeń.

Odwzorowania mierzalne, a więc także wektory losowe, mają szereg pożytecznych własności dotyczących działań algebraicznych, złożeń, kresów, zbieżności. Znane są one z innych kursów i będziemy z nich wielokrotnie korzystać w dalszej części wykładu. Poniżej podajemy ważniejsze z nich w języku wektorów i zmiennych losowych.

Mierzalność \(X\) gwarantuje sensowność tej definicji – ponieważ \(P\) jest określone na zdarzeniach z \(\Sigma \), musimy mieć gwarancję, że \(X^{-1}(B) \in \Sigma \).

Łatwo sprawdzić, że powyższy wzór określa rzeczywiście rozkład.

Często piszemy \(X \sim Q\), gdy \(P_X = Q\).

Dystrybuantę rozkładu \(P_X\) będziemy nazywać dystrybuantą zmiennej losowej \(X\) i oznaczać często przez \(F_X\).

Zazwyczaj używając pojęcia zmienna losowa (wektor losowy) oraz operując jej (jego) rozkładem nie zwracamy zbytniej uwagi na przestrzeń probabilistyczną na której jest ten obiekt określony. W wielu przypadkach postępowanie takie jest usprawiedliwione dzięki następującemu twierdzeniu:

Dowód. Wystarczy wziąć: \(\Omega = \rn \), \(\Sigma = {\cal B}(\rn )\), \(P = Q\) oraz \(X = id_{\rn }\).   \(\Box \)

Znając gęstość lub dystrybuantę można wyznaczać prawdopodobieństwa zdarzeń opisanych przez \(X\).

\[P(a < X < b) = P(a \le X \le b) = F(b) - F(a) = \int _a^bf(x)\,dx.\]

Jakie jest prawdopodobieństwo tego, że pan Adam spędzi na przystankach co najmniej pięć, lecz nie więcej niż dziesięć minut?

Jakie jest prawdopodobieństwo tego, że pan Adam spędzi na przystankach więcej niż 15 minut?

Jakie jest prawdopodobieństwo tego, że pan Adam spędzi na przystankach dokładnie tyle samo czasu, powiedzmy po \(c\) minut na każdym?

Tego zdarzenia nie opisuje zmienna \(X\)! Jednak, szukane prawdopodobieństwo jest nie większe niż \(P(X=2c) = \int _{2c}^{2c} f(x)\,dx = 0\).

Ile wynosi prawdopodobieństwo tego, że pan Adam spędzi na przystankach rano i wieczorem mniej niż 5 minut na każdym?

Tego zdarzenia nie opisuje zmienna losowa \(X\), niemniej odpowiedź jest oczywista: \(\frac {1}{2} \cdot \frac {1}{2} = \frac {1}{4}\).

Rachunek prawdopodobieństwa 1, 2

5.2 Rozkłady brzegowe i warunkowe

Nazywamy je rozkładami brzegowymi. Ogólnie.

W dalszym ciągu rozważamy przypadek \(n = m = 1\). Uogólnienie na dowolne \(n, m\) jest oczywiste.

Niech \((X,Y)\) będzie dwuwymiarowym wektorem losowym określonym na przestrzeni probabilistycznej (Ω, Σ, P ) i niech \(Q\) będzie jego rozkładem, czyli \(Q = P_{(X,Y)}\). Wtedy: dla dowolnego \(A \in {\cal B}(\r )\) mamy:
\(P_X(A) = P(X \in A) = P(X \in A,Y\in \r ) = P((X,Y) \in A \times \r ) = P_{(X,Y)} (A \times \r ) = Q(A\times \r ) = Q_1(A)\). Tak więc \(P_X = Q_1\). Podobnie \(P_Y = Q_2\).

Niech \(Q\) będzie dyskretnym rozkładem 2-wymiarowym skupionym na zbiorze (co najwyżej przeliczalnym) \(K\). Możemy taki rozkład jednoznacznie scharakteryzować przez podanie dwóch macierzy; punktów oraz ich prawdopodobieństw. Mianowicie, weźmy najmniejsze zbiory co najwyżej przeliczalne \(K_1, K_2 \subset \r \) takie, że \(K \subset K_1 \times K_2\) i ustawmy je w ciągi, powiedzmy \(K_1 = \{x_i\}_{i=1}^M\), \(K_2 = \{y_j\}_{j=1}^N\), \(M, N \le \infty \) oraz niech \(p_{ij} = Q(x_i,y_j)\). Widać, że:

Z doboru zbiorów \(K_1\), \(K_2\) wynika też, że \(\forall \, i \ \exists \, j \ p_{ij} > 0\) oraz \(\forall \, j \ \exists \, i \ p_{ij} > 0\). Gdyby tak nie było, można by zmniejszyć \(K_1\) lub \(K_2\).

Para \((\{(x_i,y_j)\},\{ p_{ij}\} )\) w pełni charakteryzuje rozkład \(Q\).

Wtedy rozkłady brzegowe \(Q_1\), \(Q_2\) są określone odpowiednio przez pary ciągów. \(Q_1\) przez \((\{x_i\}, \{p_{i.}\})\), \(Q_2\) przez \((\{y_j\}, \{p_{.j}\})\), przy czym:

\[ p_{i.} = Q_1(x_i) = Q(\{x_i\} \times \r ) = \sum _{j}p_{ij}, \ \ \‚p_{.j} = Q_2(y_j) = Q(\r \times \{y_j\}) = \sum _{i}p_{ij}. \]

Ponieważ występujące powyżej sumy mają wszystkie składniki nieujemne oraz przynajmniej jeden składnik dodatni, wszystkie liczby \(p_{i.}\) oraz \(p_{.j}\) są dodatnie. W dalszej części mówiąc o rozkładach dyskretnych wielowymiarowych będziemy zawsze zakładać, że mają powyższą własność.

Niech \((X,Y)\) będzie dwuwymiarowym wektorem losowym określonym na przestrzeni probabilistycznej (Ω, Σ, P ) i niech \(Q\) będzie jego rozkładem, czyli \(Q = P_{(X,Y)}\). Jeżeli jest to rozkład dyskretny scharakteryzowany przez parę \((\{(x_i,y_j)\},\{ p_{ij}\} )\), to oznacza, że:

\[P(X=x_i,Y=y_j) = p_{ij},\]

\[P(X= x_i) = P(X = x_i,Y \in \r ) = Q(\{x_i\} \times \r ) = Q_1(x_i) = p_{i.},\]

\[P(Y= y_j) = P(X \in \r ,Y =y_j) = Q(\r \times \{y_j\}) = Q_2(y_j) = p_{.j}.\]

Inaczej:

\[P(X= x_i) = \sum _{j}p_{ij}, \ \ \ P(Y= y_j) = \sum _{i}p_{ij}\]

Niech \(Q\) będzie 2-wymiarowym rozkładem ciągłym o gęstości \(f : \r ^2 \to \r \). Wtedy rozkłady brzegowe też są ciągłe i mają gęstości \(f_1\), \(f_2\) dane wzorami:

\[f_1(x) = \int _\r f(x,y)\,dy, \ \ \ f_2(y) = \int _\r f(x,y)\,dx. \]

Dowód. \(\di Q_1(A) = Q(A\times \r ) = \int _{A\times \r } f(x,y)\,d(x,y) = \)

stosujemy twierdzenie Fubiniego

\(\di = \int _A\left (\int _\r f(x,y)\,dy\right )\,dx\),

Więc \(\di f_1(x) = \int _\r f(x,y)\,dy\).   

W języku zmiennych losowych. Jeżeli \(f\) jest gęstością wektora losowego \((X,Y)\), to \(X\) oraz \(Y\) mają gęstości:

\[f_X(x) = \int _\r f(x,y)\,dy, \ \ \ f_Y(y) = \int _\r f(x,y)\,dx. \]

Pytanie. Czy rozkłady brzegowe wyznaczają jednoznacznie rozkład 2-wymiarowy?

Określimy pojęcie rozkładu warunkowego tylko w kontekście zmiennych losowych. Niech \((X,Y)\) będzie będzie wektorem o dyskretnym rozkładzie 2-wymiarowym danym przez \((\{(x_i,y_j)\},\{ p_{ij}\} )\). Czyli \(P(X = x_i,Y = y_j) = p_{ij}\). Niech:

\[p_{i|j} = P(X=x_i|Y=y_j) = \frac {P(X=x_i,Y=y_j)}{P(Y=y_j)} = \frac {p_{ij}}{P_{.j}}.\]

\[p_{j|i} = P(Y=y_j|X=x_j) = \frac {P(X=x_i,Y=y_j)}{P(X=x_i)} = \frac {p_{ij}}{p_{i.}}.\]

Uwaga. Oznaczenia są formalnie niepoprawne. Ale są zwyczajowo stosowane.

\[ p_{ij} = p_{i|j}p_{.j} = p_{j|i}p_{i.}. \]

Znając rozkłady brzegowe i warunkowe można wyznaczyć rozkład wektora losowego.

Niech \((X,Y)\) będzie będzie wektorem o ciągłym rozkładzie 2-wymiarowym danym przez gęstość \(f\).

Formalnie nie możemy (jeszcze) mówić o rozkładzie warunkowym pod warunkiem, którego prawdopodobieństwo jest równe zeru. Możemy jednak formalnie zdefiniować funkcje:

\[ f_{X|Y=y}(x) = f(x|y) = \left \{\begin {array}{lll} \frac {f(x,y)}{\int _\r f(x,y)\,dx} = \frac {f(x,y)}{f_Y(y)}, & \mbox { gdy } & f_Y(y) >0\\ 0, & \mbox { gdy } & f_Y(y) = 0 \end {array} \right . \]

\[ f_{Y|X=x}(y) = f(y|x) = \left \{\begin {array}{lll} \frac {f(x,y)}{\int _\r f(x,y)\,dy} = \frac {f(x,y)}{f_X(x)}, & \mbox { gdy } & f_X(x) >0\\ 0, & \mbox { gdy } & f_X(x) = 0 \end {array} \right . \]

Są to gęstości (ćwiczenie).

Podobnie jak w przypadku dyskretnym:

\[ f(x,y) = f(y|x)f_X(x) = f(x|y)f_Y(y).\]

Rachunek prawdopodobieństwa 1, 2

5.3 Niezależność zmiennych/wektorów losowych

Dany jest ciąg \(X_1, \dots , X_n\) zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, Σ, P ) .

Załóżmy bez straty ogólności, że \(n= 2\).

Dowód. „\(\imp \)” Pamiętamy, że iloczyn kartezjański dwóch miar probabilistycznych, powiedzmy \(Q_1\), \(Q_2\), jest jednoznacznie określony przez warunek \((Q_1\times Q_2)(A_1 \times A_2) = Q_1(A_1) \cdot Q_2(A_2)\), dla dowolnych mierzalnych \(A_1\), \(A_2\).

Tutaj dla dowolnych \(B_1, B_2 \in {\cal B}(\r )\) mamy: \(P_{(X_1,X_2)}(B_1 \times B_2) = P(X_1 \in B_1,X_2 \in B_2) = P(X_1 \in B_1)\cdot P(X_2 \in B_2) = P_{X_1}(B_1) \cdot P_{X_2}(B_2)\). Czyli \(P_{(X_1,X_2)}\) jest iloczynem kartezjańskim \(P_{X_1}\), \(P_{X_2}\).

„\(\Longleftarrow \)" Oczywiste.   \(\Box \)

Dowód. „\(\imp \)” \(p_{ij} = P(X = x_i,Y = y_j) = P(X=x_i) P(Y=y_j) = p_{i.} p_{.j}\).

„\(\Longleftarrow \)” Niech \(A\) oraz \(B\) będą zbiorami borelowskimi.
\(\di P(X\in A,Y \in B) = \sum _{(i,j): (x_i,y_j) \in A\times B} p_{ij} = \sum _{i,j: x_i\in A,y_j \in B} p_{i.}p_{.j} = \sum _{i: x_i \in A}p_{i.} \sum _{j: y_j \in B}p_{.j} =\) \(P(X \in A)P(Y \in B)\).   \(\Box \)

Dowód. Twierdzenie Fubiniego   \(\Box \)

Prostą ilustację powyższego twierdzenia i uwagi stanowi następujący:

Rachunek prawdopodobieństwa 1, 2

5.4 Funkcje zmiennych/wektorów losowych

Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną, \(X : \Omega \to \r ^n\) wektorem losowym, \(g : \rn \to \r ^m\) funkcją borelowską (\(\forall \ C \in {\cal B}(\r ^m) \ g^{-1}(C) \in {\cal B}(\rn )\)).

Zgodnie ze zwyczajem oznaczamy złożenie \(g \circ X\) symbolem \(g(X)\),

\[ g(X) = g \circ X : \Omega \ni \o \to g(X(\o )) \in \r ^m. \]

Ważny problem praktyczny: znając rozkład \(X\) wyznaczyć rozkład \(Y = g(X)\).

Rozwiązanie formalne. \(P_Y(C) = P(g(X)^{-1}(C)) = P((g\circ X)^{-1}(C)) = P(X^{-1}(g^{-1}(C))) = P_X(g^{-1}(C))\).

\[ P_Y(C) = P_X(g^{-1}(C)). \]

Z praktycznego punktu widzenia jest to wzór mało przydatny. W poszczególnych przypadkach możemy stosować różne sposoby.

Zauważmy, że funkcja \(g(X)\) wektora losowego \(X\) o rozkładzie dyskretnym skupionym na zbiorze \(K\) (o którym wiemy, że jest skończony lub przeliczalny) ma rozkład dyskretny skupiony na zbiorze \(g(K)\). Dla rozkładó ciągłych to nie jest prawdą: na przykład, gdy \(g\) jest funkcją stałą \(g(X)\) ma rozkład jednopunktowy.

Załóżmy teraz dodatkowo, że zmienna \(X\) ma gęstość \(f\) (dla uproszczenia zakładamy, że \(f\) jest ciągła, co w świetle następnego przykładu nie jest konieczne). Wtedy wiemy, że dystrybuanta \(F_X\) jest różniczkowalna; z powyższych wzorów także \(F_Y\) jest różniczkowalna, a więc \(Y\) ma rozkład ciągły o gęstości

\[ g(x) = \frac {1}{|a|} f\left (\frac {x-b}{a}\right ) \]

Powyższy wzór jest szczególnym przypadkiem następującego twierdzenia.

Dowód. Korzystamy z definicji rozkładu ciągłego. Z twierdzenia o zmianie zmiennych mamy dla każdego zbioru borelowskiego \(A\)

\[ P(\f (X) \in A) = P(X \in \f ^{-1}(A)) = \]

\[ \int _{\f ^{-1}(A)}f(x)\,dx = \int _Af(\f ^{-1}(x))\,|Jac_x\f ^{-1}|\,dx. \]

  

Funkcje niezależnych wektorów losowych są niezależne.

Formalnie:

Dowód. Dla dowolnych zbiorów borelowskich \(C\), \(D\) mamy:

\(P(g(X) \in C, h(Y) \in D) = P((g\circ X)^{-1}(C) \cap (h\circ Y)^{-1}(D)) = P(X^{-1}(g^{-1}(C)) \cap Y^{-1}(h^{-1}(D))) = P(X^{-1}(g^{-1}(C))) \cdot P(Y^{-1}(h^{-1}(D)) = P((g\circ X)^{-1}(C)) \cdot P((h\circ Y)^{-1}(D)) = P(g(X) \in C) \cdot P(h(Y) \in D)\).   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

5.5 Pytania

Wskazówka. \(\Omega = \{1,...,6\}^3\), \(\Sigma = \s (A_0,A_1,A_2,A_3)\), gdzie \(A_i = \{\o : \o _i = 6\}\) dla \(i = 1,2,3\), \(A_0 = \Omega \setminus (A_1\cup A_2\cup A_3)\). Zmienną losową na przykład jest: \(S\) – suma „6", które wypadły na kostkach, \(X\) określona jako: \(X=1\), gdy na trzeciej kostce wypadłą „6", \(X= 0\) w przeciwnym przypadku. Zmienną losową nie jest, na przykład: \(S\) – suma uzyskanych oczek, \(X\) – liczba uzyskanych jedynek.

Wskazówka. \(B(10,s)\), gdzie \(s = (1-p)^{15} + 15p(1-p)^{14} = 0.7510544178\).

Wskazówka. \(X\) ma rozkład \(B(1, \frac 12)\). \(Y\) ma rozkład dany przez ciągi \(0,1,2,3, ...\), \(\frac {1}{2}, \frac {1}{2}\frac {1}{6}, \frac {1}{2}\frac {5}{6}\frac {1}{6}, \frac {1}{2}(\frac {5}{6})^2\frac {1}{6}, ...\). Zmienne są zależne, bo na przykład: \(P(X=0,Y=0) = 0\), \(P(X=0) = P(Y=0) = \frac 12\).

Wskazówka. Ad (a). \(G\) jest iloczynem kartezjańskim. Ad (b). \(G\) jest trójkątem.

Wskazówka.

\(F_{\min (X,Y)}(x) = 1 -(1-x)^2\), \(f_{\min (X,Y)}(x) = 2 - 2x\),

\(F_{\max (X,Y)}(x) = x^2\), \(f_{\max (X,Y)}(x) = 2x\),

\(P_{\min (X,Y)|X = a}\) ma dystrybuantę \(F\): \(F(x) = 0\) dla \(x < 0\), \(F(x) = x\) dla \(0\le x < a\), \(F(x) = 1\) dla \(a \le x\).

Wskazówka.

\[ \begin {array}{ccccccc} m\backslash M & 1 & 2 & 3 & 4 & 5 & 6 \\[1mm] 1 & 1 & 2 & 2 & 2 & 2 & 2 \\ 2 & 0 & 1 & 2 & 2 & 2 & 2 \\ 3 & 0 & 0 & 1 & 2 & 2 & 2 \\ 4 & 0 & 0 & 0 & 1 & 2 & 2 \\ 5 & 0 & 0 & 0 & 0 & 1 & 2 \\ 6 & 0 & 0 & 0 & 0 & 0 & 1 \end {array} \]

\[ P_{(m,M)}(\{i,j\}) = \left \{\begin {array}{cc} \frac {1}{36} & \mbox { dla } i = j \\[1mm] \frac {1}{18} & \mbox { dla } i < j \\[1mm] 0 & \mbox { dla } i > j \end {array} \right . , \]

\(P_{M|m=1}\) jest dany przez ciągi \(1,2,3,4,5,6\) oraz \(\frac {1}{11},\frac {2}{11}, ..., \frac {2}{11}\).

Rachunek prawdopodobieństwa 1, 2

Rozdział 6 Nadzieja matematyczna i wariancja

W pewnych zagadnieniach nie jest potrzebna (lub nie jest możliwa) znajomość rozkładu zmiennej losowej lub wektora losowego. Natomiast warto znać pewne parametry tego rozkładu. Najczęściej używanymi parametrami są liczby charakteryzujące tendencję centralną oraz wielkość rozrzutu. Kluczową rolę odgrywa tak zwana nadzieja matematyczna. zwana też wartością oczekiwaną, służąca do opisu tendencji centralnej oraz do budowy wielu innych parametrów, w tym parametrów charakteryzujących rozrzut; wariancji i odchylenia standardowego.

6.1 Nadzieja matematyczna – definicja i własności

Zanim podamy ogólną definicję \(E(X)\), nadziei matematycznej zmiennej losowej \(X\), opartą na pojęciu całki, rozpatrzymy dwa najbardziej typowe sytuacje szczególne.

Motywacja: Dla uproszczenia załóżmy, że \(f :[a,b] \str \r \) jest funkcją ciągłą. Niech \(a = x_0 < x_1 < \dots < x_n = b\) będzie podziałem odcinka \([a,b]\), \(\xi _i \in [x_{i-1},x_i] \) będą takie, że

\[(x_i - x_{i-1}) f(\xi _i) = \int _{x_{i-1}}^{x_i} f(x)\,dx.\]

Określmy zmienną losową \(\hat {X}\) przyjmującą wartości \(\xi _i\) z prawdopodobieństwami \(p_i = P(\hat {X} = \xi _i) = \int _{x_{i-1}}^{x_i} f(x)\,dx\). Intuicja: \(\hat {X}\) przybliża \(X\), więc \(E(\hat {X})\) powinna przybliżać \(E(X)\). Mamy:

\(E(\hat {X}) = \sum _{i=1}^n\xi _i p_i = \sum _{i=1}^n\xi _i (x_i - x_{i-1}) f(\xi _i) = \sum _{i=1}^n\xi _i f(\xi _i) (x_i - x_{i-1})\).

A więc

\[E(\hat {X}) \str \int _a^b x f(x)\,dx.\]

Powyższe dwie definicje stanowią szczególne przypadki definicji opartej na pojęciu całki. Zaczniemy od przypomnienia definicji całki.

Komentarze.

1. Definicja jest poprawna, gdyż dowodzi się, że wielkość zdefiniowana w punkcie 3 nie zależy od wyboru ciągu funkcji \(f_n\).

2. Może się zdarzyć, że definiowane przez nas wielkości są nieskończone. Tak będzie w punkcie 1 oraz 2, gdy miara choćby jednego zbioru \(A_i\) będzie nieskończona, a odpowiadająca mu liczba \(c_i\) (wysokość słupka o podstawie \(A_i\)) będzie dodatnia. W teorii miary przyjmujemy konwencję: \(0\, \infty = 0\), co oznacza, że gdy \(c_i = 0\), to składnik \(c_i \mu (A_i) = 0\).

3. Całka z funkcji nieujemnej \(f\) zdefiniowana w punkcie 3 może być nieskończona, mimo że wszystkie całki \(\di \int _\Omega f_n\,d\mu \) są skończone.

4. Natomiast całka z pewnych funkcji mierzalnych przyjmujących wartości o różnych znakach może nie istnieć. Jest tak wtedy, gdy obie całki \(\di \int _\Omega f^+\,d\mu \) oraz \(\di \int _\Omega f^-\,d\mu \) są nieskończone. W każdym innym przypadku całka istnieje, chociaż może być nieskończona.   

5. Stosuje się różne oznaczenia całki \(\int _\Omega f\,d\mu \). Na przykład: \(\int _\Omega f(x)\,d\mu (x)\), \(\int _\Omega f(s)\,\mu (ds)\).

6. Dla zbioru mierzalnego \(A \in \Sigma \) definiuje się: \(\int _A f \,d\mu = \int _\Omega I_A\cdot f \,d\mu \).

Definicja ogólna nadziei matematycznej.

Uwagi:

• 1. Nadzieja matematyczna może nie istnieć.

• 2. Nadzieja matematyczna może istnieć, ale być nieskończona.

• 3. \(E(X) \in \r \rwn E(|X|) \in \r \). Bo \(X = X^+ - X^-\), \(|X| = X^+ + X^-\).

• 4. Własności nadziei matematycznej wynikają z własności całek: liniowość, nierówności, zbieżność (ćwiczenie: wypisać znane własności).

• 5. Nadzieja matematyczna uogólnia pojęcie prawdopodobieństwa. Mianowicie

  \[ E(I_A) = P(A), \mbox { dla kaÅijdego } A \in \Sigma .\]

• 6. Niech \(X\) ma rozkład dyskretny. Wtedy definicja ogólna pokrywa się z definicją poprzednią.

Powyższa definicja uogólnia poprzednie definicje.

Poniższe twierdzenie pozwala wyznaczać nadzieję matematyczną zmiennej losowej lub funkcji zmiennej losowej poprzez całkowanie odpowiedniej funkcji względem rozkładu zmiennej.

Dowód. I. \(g = I_B\), gdzie \(B \in \b {\rn }\). Wtedy: \(\di E(g(X)) = \int _\Omega I_B \circ X \,dP\) \(\di = \int _{X^{-1}(B)} 1\, dP = P(X^{-1}(B) ) = P_{X}(B) = \int _{\rn } I_B \,dP_X\).

II. \(g\) – funkcja schodkowa, czyli \(g = \sum _{i=1}^kc_i I_{A_i}\), gdzie \(A_I\) są rozkładem \(\rn \) na sumę zbiorów rozłącznych. Wtedy z liniowości: \(\di E(g(X)) = E(\sum _{i=1}^kc_i I_{A_i}) = \sum _{i=1}^kc_i E(I_{A_i}) = \sum _{i=1}^kc_i \int _{\rn }I_{A_i}\,dP_X = \int _{\rn } g \,dP_X\). III. \(g\) dowolna funkcja borelowska nieujemna. Wtedy \(g\) jest granicą punktową ciągu rosnącego funkcji schodkowych \(g_t\). Oczywiście \(g_t(X)\) zmierza punktowo do \(g(X)\).

Z własności całek: \(\di E(g(X)) = \lim E(g_t(X)) = \lim \int _{\rn } g_t\, dP = \int _{\rn } g\,dP\).

IV. \(g\) – dowolna funkcja borelowska. Wtedy \(g = g^+ - g^-\). Więc \(g(X)= g(X)^+ - g(X)^-\). A więc, gdy jedna ze stron istnieje (nie jest symbolem nieoznaczonym), to istnieje druga strona i zachodzi równość.   \(\Box \)

• Uwaga – 6.10 Można spotkać definicję wartości oczekiwanej dowolnego jednowymiarowego rozkładu \(Q\). Mianowicie określa się \(E(Q) = \int _\r x\,dQ(x)\). Wtedy oczywiście \(E(X) = E(P_X)\).

Dowód. Ad 1 – jak poprzednio (ćwiczenie). Ad 2 – jak poprzednio (ćwiczenie).   

Wspomnieliśmy już poprzednio, że nadzieja matematyczna może nie istnieć.

Dowód. W dowodzie skorzystamy z twierdzenia Fubiniego, oraz z twierdzeń 5.24 i 6.8. W pierwszym przypadku mamy

\begin{eqnarray*} E(X Y) & = & \int _{[0,\infty )^2}xy\,dP_{(X,Y)}(x,y) = \int _{[0,\infty )^2}xy\;d(P_X \times P_Y)(x,y) = \\ & = & \int _{[0,\infty )}x\,dP_X(x)\;\int _{[0,\infty )}y\,dP_Y(y) = E(X) E(Y). \end{eqnarray*}

Można było stosować twierdzenie Fubiniego, ponieważ – jak wiemy – zachodzi ono dla wszystkich funkcji mierzalnych nieujemnych.

Załóżmy teraz, że \(E(|X|) < \infty ,\; E(|Y|) < \infty \). Stosujemy udowodniony powyżej wzór dla funkcji nieujemnych \(|X|\) oraz \(|Y|\) i mamy

\[ \int _{{\bf R}^2}|xy|\,dP_{(X,Y)}(x,y)= E(|XY|)= E(|X|)E(|Y|) < \infty . \]

Ale to oznacza, że znowu możemy zastosować twierdzenie Fubiniego i podobnie jak poprzednio

\begin{eqnarray*} E(X Y) & = & \int _{{\bf R}\times {\bf R}}xy\,dP_{(X,Y)}(x,y) = \int _{{\bf R}\times {\bf R}}xy\;d(P_X \times P_Y)(x,y) = \\ & = & \int _{{\r }}x\,dP_X(x)\;\int _{{\r }}y\,dP_Y(y) = E(X) E(Y). \end{eqnarray*}

  

Rachunek prawdopodobieństwa 1, 2

6.2 Wariancja i odchylenie standardowe

Nadzieja matematyczna przynosi informację o tendencji centralnej rozkładu zmiennej losowej. Interesuje nas także informacja jak daleko od nadziei mogą znajdować się wartości tej zmiennej (jak duży jest rozrzut). Najważniejszą miarą rozrzutu jest wariancja oraz jej pierwiastek – odchylenie standardowe. Zaczniemy jednak od definicji momentów.

Niech \(X\) będzie zmienną losową określoną na przestrzeni probabilistycznej (Ω, Σ, P ) . Zakładamy, że \(m = E(X) \in \r \). Niech \(k \ge 1\)

Dowód. \(\di E(|X^k|) = \int _\Omega |X^k| \,dP = \int _{|X| < 1} |X^k|\,dP + \int _{|X| \ge 1} |X^k|\,dP \le \int _{|X| < 1} 1\,dP + \int _{|X| \ge 1} |X^l|\,dP \le 1 + \int _\Omega |X^l|\,dP = 1 + E(|X^l|)\).   

Zakładamy, że zmienna losowa \(X\) ma skończoną nadzieję matematyczną \(m = E(X)\). Wtedy interpretujemy:

Wariancja jest centralnym momentem rzędu 2.

Obliczanie momentów

\begin{equation} \label {eq:m3} D^2(X) = E((X-m)^2) = E(X^2) - 2mE(X) + E(m^2) = E(X^2) - m^2. \end{equation}

\begin{equation} \label {eq:m4} D^2(cX) = c^2D^2(x) , \mbox { gdy } c \in \r . \end{equation}

\begin{equation} \label {eq:m1} E(X^k) = \int _\r x^k \,dP_X(x) = \left \{\begin{array}{ll} \di \sum _i x_i^kp_i , & \mbox { w przypadku dyskretnym},\\ \di \int _\r x^k f(x)\,dx , & \mbox { w przypadku ciÄĚgÅĆym.} \end {array} \right . \end{equation}

\begin{equation} \label {eq:m2} E((X-m)^k) = \int _\r (x-m)^k \,dP_X(x) = \left \{\begin{array}{ll} \di \sum _i (x_i - m)^kp_i , & \mbox { w przypadku dyskretnym,}\\ \di \int _\r (x - m)^k f(x)\,dx , & \mbox { w przypadku ciÄĚgÅĆym.} \end {array} \right . \end{equation}

\begin{equation} \label {eq:m2} D^2(X) = \int _\r (x-m)^2 \,dP_X(x) = \left \{\begin{array}{ll} \di \sum _i (x_i - m)^2p_i , & \mbox { w przypadku dyskretnym,}\\ \di \int _\r (x - m)^2 f(x)\,dx , & \mbox { w przypadku ciÄĚgÅĆym.} \end {array} \right . \end{equation}

\begin{equation} \label {eq:m2} D^2(X) = \int _\r x^2 \,dP_X(x) - m^2 = \left \{\begin{array}{l} \di \sum _i x_i^2p_i - (\sum _i x_ip_i)^2, \mbox {w przypadku dyskretnym,}\\ \di \int _\r x^2 f(x)\,dx - (\int _\r x f(x)\,dx)^2, \mbox {w przypadku ciÄĚgÅĆym.} \end {array} \right . \end{equation}

Rachunek prawdopodobieństwa 1, 2

6.3 Kowariancja i korelacja

Iloczyn skalarny - przypomnienie \(X\) – przestrzeń wektorowa, \(\f :X\times X: \str \r \) – iloczyn skalarny, to znaczy \(\f (x,x) \ge 0\), \(\f (x,x) = 0 \rwn x = 0\), \(\f \) – dwuliniowe, \(\f \) – symetryczne.

Jeżeli \(x \neq 0\) oraz \(y \neq 0\), to są one liniowo zależne \(\rwn \) istnieje takie \(t \neq 0\), że \(y = tx\). Wtedy \(\f (x,y) = t\f (x,x)\). Zatem znak \(\f (x,y)\) = znak \(t\).

Wiadomo też, że \(\sqrt {\f (x,x)}\) jest normą \(x\).

Dane są dwie zmienne losowe \(X\), \(Y\). Oznaczmy \(m_X = E(X)\), \(m_Y = E(Y)\).

Zauważmy, że odwzorowanie

\[\f : (X,Y) \to E(XY)\]

jest iloczynem skalarnym na przestrzeni \(L^2(\Omega ) = \{X : \Omega \to \r : E(X^2) \in \r \}\) (ćwiczenie).

W takim razie \(cov(X,Y)\) jest iloczynem skalarnym odchyleń \(X - m_X\), \(Y-m_Y\): \(cov(X,Y) = \f (X-m_X,Y-m_Y)\), a wariancje są ich kwadratami norm. Z Nierówności Cauchye’go-Schwartza:

Związek między wariancją sumy i kowariancją

Rachunek prawdopodobieństwa 1, 2

6.4 Pytania

Wskazówka. \(P(X=n) = \frac {\pi ^2}{6n^2}\), \(n = 1,2,3, ...\).

Gęstość \(f\): \(f(x) = 0 \) dla \(x < 1\), \(f(x) = \frac {1}{x^2}\) dla \(x \ge 1\).

Wskazówka. \(P(X=n) = \frac {1}{\zeta (3)}\frac {1}{n^3}\), \(n = 1,2,3, ...\), gdzie \(\zeta (3) = \sum _{n=1}^\infty \frac {1}{n^3}\).

Gęstość \(f\): \(f(x) = 0 \) dla \(x < 1\), \(f(x) = \frac {2}{x^3}\) dla \(x \ge 1\).

Wskazówka. Niech \(Z = \min (X,Y)\).

Sposób 1. \(F_Z(z) = 1 - (1-z)^2\), \(f_Z(z) = 2 - 2z\), \(E(Z) = \int _0^1 zf_Z(z)\,dz = \frac 13\).

Sposób 2. \(E(Z) = \int _{[0,1]^2}xy\min (x,y)\,d(x,y) = \frac 13\).

Wskazówka. \(X\) ma rozkład zadany przez ciągi:

\(x_1,x_2, \dots , x_n\), \(p_1,p_2, \dots , p_n\). Czyli \(P(X = x_i) = p_i\).

\(Y\) ma rozkład zadany przez ciągi:

\(y_1,y_2, \dots , y_m\), \(q_1,q_2, \dots , q_m\). Czyli \(P(Y= y_j) = q_j\).

Wtedy rozkład łączny wektora losowego \((X,Y)\) ma rozkład skupiony w punktach \((x_i,y_i)\), a z niezależności wynika, że \(P((X,Y) = (x_i,y_j)) = P(X = x_i,Y = y_j) = P(X = x_i)P(Y=y_j) = p_i q_j \).

Sposób 1. \(XY\) przyjmuje wartości \(z_k\). przy czym \(P(XY = z_k) = \sum _{i,j: z_k = x_iy_j}p_iq_j\). Mamy więc

\[ E(XY) = \sum _k z_kP(XY = z_k) = \sum _{i,j}x_i y_j p_i q_j = \sum _i x_i p_i \sum _j y_j q_j = E(X)E(Y). \]

Sposób 2. Biorąc \(g\) jako \(g(x,y) = xy\) mamy: \(\di E(XY) = \sum _{i,j}x_i y_j p_i q_j = E(X)\cdot E(Y)\).

Wskazówka. \(J = E(X)\), gdzie \(X = (b-a)f(U)\), \(U\) – zmienna losowa o rozkładzie \(U(a,b)\).

Wskazówka. \(\sum _{i=1}^\infty g(i)^+P(X=i) = \infty \), \(\sum _{i=1}^\infty g(i)^-P(X=i) = \infty \), więc \(E(g(X))\) nie istnieje.

\(\sum _{i=1}^\infty g(i) P(X =i) = \sum _{i=1}^\infty \frac {(-1)^{i+1}}{i} = \ln 2 \)

Rachunek prawdopodobieństwa 1, 2

Rozdział 7 Nierówność Czebyszewa i prawa wielkich liczb

Znajomość momentów pozwala oszacować prawdopodobieństwo tego, że zmienna losowa przyjmuje wartość w określonym zbiorze. W szczególności znajomość wariancji pozwala oszacować z góry prawdopodobieństwo tak zwanych ogonów, to znaczy zbiorów postaci \(\{|X - E(X)| \ge \ve \}\).

7.1 Nierówność Czebyszewa

Dowód. Dowód pierwszej nierówności:

\begin{equation} E(X^k) = \int _\Omega X^k \,dP \ge \int _{X\ge \ve } X^k\,dP \ge \int _{X\ge \ve } \ve ^k\,dP = \ve ^k P(X \ge \ve ). \label {dnCz} \end{equation}

Drugą nierówność otrzymujemy stosując nierówność pierwszą dla zmiennej losowej \(|X - m|\) oraz \(k = 2\).

Trzecia nierówność wynika z drugiej, gdy \(\ve = c \sigma \).   

Zauważmy, że w dowodzie, wzór (7.1), wykonaliśmy dwa razy szacowanie, które w wielu przypadkach jest bardzo niedokładne. Dlatego też

Zauważmy, że w dowodzie nierówności Czebyszewa, wzór (7.1), wykonaliśmy dwa szacowanie, które w wielu przypadkach mogą być bardzo niedokładne (gdy \(\ve \) jest duże – pierwsze, gdy \(\ve \) jest małe – drugie). Dlatego też nierówność tę oraz płynące z niej wnioski warto traktować jako niezbyt precyzyjne. W przypadku, gdy znane są rozkłady interesujących nas zmiennych rezultaty otrzymane za pomocą nierówności Czebyszewa mogą być istotnie poprawione. Jednak, gdy nie znamy rozkładów, nierówność Czebyszewa może być bardzo pomocna.

Nierówność Czebyszewa służy do szacowania prawdopodobieństw na podstawie znajomości samych momentów, najczęściej nadziei oraz wariancji:

Rachunek prawdopodobieństwa 1, 2

7.2 Słabe prawo wielkich liczb

Założenia Zakładamy, że: zmienne losowe \(X_1,X_2, X_3, \dots \) są określone na tej samej przestrzenie probabilistycznej (Ω, Σ, P ) , są niezależne, mają skończone nadzieje matematyczne oraz skończone i niezerowe wariancje. Oznaczmy:

\[S_n = X_1 + \dots + X_n, \ \ \ \ \bar {X}_n = \frac {X_1 + \dots + X_n}{n}.\]

Dowód. Ad 1. Z niezależności zmiennych losowych mamy

\[ D^2(S_n) = D^2(X_1) + \dots +D^2(X_n) \le nM. \]

Stosując Nierówność Czebyszewa do dla zmiennej losowej \(S_n\), dostajemy

\[ P(\frac {|S_n - E(S_n)|}{n} \ge \varepsilon ) = P(|S_n - E(S_n)| \ge n \varepsilon ) \le \frac {D^2(S_n)}{(n\varepsilon )^2} \le \frac {M}{n\varepsilon ^2}, \]

co daje tezę (twierdzenie o trzech ciągach). \(\hfill { \Box }\)

Ad 2. Wynika natychmiast z punktu 1, gdyż \(E(S_n) = nm\).

Ad 3. Wynika natychmiast z punktu 2, gdyż \(m = E(X_i) = p\), \(D^2(X_i) = p(1-p)\).

Interpretacja

Punkt 2. Średnia po przestrzeni = średniej po czasie.

Punkt 3. Aksjomatyczna definicja prawdopodobieństwa jest zgodna z dawniej używaną definicją częstościową.

Mocne prawo wielkich liczb

Udowodnimy później tak zwane mocne prawo wielkich liczb (w dwóch wersjach), które – jak sama nazwa wskazuje – jest wynikiem mocniejszym niż udowodnione przed chwilą słabe prawo wielkich liczb. Jego dowód będzie oparty na nierówności Kołnogorowa, która w pewnym szczególnym przypadku wzmacnia nierówność Czebyszewa. Przytoczmy już teraz jedną z wersji mocnego prawa wielkich liczb wzmacniającą istotnie punkt 2 w poprzednim twierdzeniu.

Twierdzenie – 10.16 (Mocne Prawo Wielkich Liczb)
Niech \(X_1,X_2,X_3, \ldots \) będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie i skończonej wartości oczekiwanej \(m\). Niech \(S_n = X_1+X_2 + \ldots + X_n\).

Wtedy

\[ P(\{\o : \lim _{n\to \infty }\frac {S_n(\o )}{n} \longrightarrow m \}) = 1. \]

Rachunek prawdopodobieństwa 1, 2

7.3 Pytania

Wskazówka. Pierwsza część Nierówności Czebyszewa zastosowana do \(|X|\).

Wskazówka. \(\frac {\s ^2}{(m-a)^2}\). \(1 -\frac {\s ^2}{(b-m)^2}\).

Wskazówka. \(E(X) = 1\), \(P(X \ge \ve ) = e^{-\ve } < \frac {1}{\ve }\).

Wskazówka. Gdy \(P_X = U(a,b)\), to \(3\s = \sqrt {3}\frac {b-a}{2}\) i przedział \((a,b) \subset (m - 3\s ,m+3\s )\).

Wskazówka. Niech \(K = \sup |f|\). Ustalmy \(\eta >0\), \(\ve > 0\).

Niech \(\Omega _1 = \{|\frac {S_n}{n} - p| < \ve \}\), \(\Omega _2 = \{|\frac {S_n}{n} - p| \ge \ve \}\) będzie rozkładem \(\Omega \).

\[ \left |E\left (f\left (\frac {S_n}{n}\right ) - f(p)\right )\right | = \left |\int _\Omega f\left (\frac {S_n}{n}\right ) - f(p)\,dP\right | \le \int _\Omega \left |f\left (\frac {S_n}{n}\right ) - f(p)\right |\,dP \le \]

\[ \int _{\Omega _1}\left |f\left (\frac {S_n}{n}\right ) - f(p)\right |\,dP + \int _{\Omega _2}\left |f\left (\frac {S_n}{n}\right ) - f(p)\right |\,dP \le \]

\[ \sup _{|x| \le \ve }\{|f(p+x) - f(p)|\} + 2KP\left (| \frac {S_n}{n} - p| \ge \ve \right ). \]

Ponieważ \(f\) jest jednostajnie ciągła, to pierwszy składnik jest mniejszy od \(\eta /2\) dla dostatecznie małego \(\ve \), natomiast drugi składnik na podstawie Nierówności Czebyszewa zmierza do do 0.

Wskazówka. \(\di W_n(x) = \sum _{k=0}^nf\left (\frac {k}{n}\right )\binom {n}{k}x^k(1-x)^{n-k}\).

Rachunek prawdopodobieństwa 1, 2

Rozdział 8 Wybrane rozkłady prawdopodobieństwa

Ważniejsze rozkłady dyskretne i ciągłe

• 1. Rozkład jednopunktowy, \(\delta \)-Diraca, \(\delta _c\).

• 2. Rozkład jednostajny dyskretny.

• 3. Rozkład jednostajny ciągły.

• 4. Rozkład Bernoulliego (dwupunktowy), \((0,1,p)\) (\(B(1,p)\)).

• 5. Rozkład dwumianowy, \(B(n,p)\).

• 6. Rozkład Poissona, \(P_\lambda \).

• 7. Rozkład geometryczny \(G_p\).

• 8. Rozkład hipergeometryczny.

• 9. Rozkład Pascala.

• 10. Rozkład wykładniczy, \(E_\lambda \).

• 11. Rozkład Erlanga.

• 12. Rozkład normalny, \(N(m,\sigma )\).

List of probability distributions

Rozkład jednopunktowy, \(\delta _c\) Jest to rozkład taki, że \(P(c) =1\), \(c \in \r \).

Zmienna losowa o rozkładzie \(\delta _a \rwn \) stała \(= c\).

Formalnie: jeżeli \(X: \Omega \to \r \) jest zamienną losową, to
\(P_X = \delta _c \rwn P(X=c) = 1\).

\(E(X) = c\), \(D^2(X) = 0\).

Rozkład jednostajny dyskretny na zbiorze skończonym \(K\) Jet to rozkład zadany na zbiorze skończonym \(K = \{x_1,\dots , x_n\}\). jako \(Q(x_i) =\frac {1}{n}\) dla \(i = 1,\dots , n\).

\(X\) – liczba oczek na kostce symetrycznej ma rozkład jednostajny dyskretny.

\(\di E(X) = \bar {x_n} = \frac {1}{n}\sum _{i=1}^nx_i\), \(\di D^2(X) = \frac {1}{n}\sum _{i=1}^n\left (x_i - \bar {x_n}\right )^2 \).

Rozkład jednostajny, \(U(a,b)\). Niech \(a , b \in \r \), \(a < b\). Jest to rozkład o gęstości \(\frac {1}{b-a}I_{[a,b]}\).

Niewiele zjawisk podlega rozkładowi jednostajnemu.

Komputer „potrafi” generować liczby według rozkładu jednostajnego, co z kolei służy do generowania liczb z zadanego z góry innego rozkładu (dyskretnego lub ciągłego), patrz punkt .

\(\di E(X) =\frac {a+b}{2}\) \(\di D^2(X) = \frac {(b-a)^2}{12}\).

Dowód.

\[E(X) = \int _a^b x \frac {1}{b-a}\,dx = \frac {b-a}{2}.\]

\[ D^2(X) = E(X^2) - E(X)^2 = \int _a^b x^2 \frac {1}{b-a}\,dx - \left (\frac {a+b}{2}\right )^2 = ... = \frac {(b-a)^2}{12}. \]

  

Rozkład Bernoulliego, dwupunktowy – \((0,1,p)\) (\(B(1,p)\)). Niech \(0 < p < 1\). Jest to rozkład \(Q\), taki, że \(Q(0) = 1- p\), \(Q(1) = p\).

Gdy \(X\) jest wynikiem doświadczenia, które ma dokładnie dwa możliwe zakończenie (porażka - 0, lub sukces - 1), to \(X\) ma rozkład dwupunktowy.

\(\di E(X) = p\), \(\di D^2(X) = (1-p)p\).

8.1 Rozkład dwumianowy – \(B(n,p)\)

Rozkład \(Q\) nazywamy rozkładem dwumianowym, jeżeli istnieją liczby \(n > 0\) oraz \(p\) i \(q\) takie, że \(0 <p,q <1\), \(p + q = 1\) oraz zachodzi równość:

\[ Q(k) = \binom {n}{k}p^kq^{n-k}\;\; \mbox { dla } k = 0,1,\dots ,n. \]

Dowód. Ustalmy \(k\), \(0 \le k \le n\). Zdarzenie \(\{S_n = k\}\) jest sumą rozłącznych zdarzeń polegających na tym, że dokładnie \(k\) spośród zmiennych losowych \(X_1, \dots , X_n\) przyjmuje wartość \(1\), a więc pozostałe \(n-k\) zmiennych przyjmuje wartość \(0\). Niech \(A_{i_1, \dots , i_k}\) będzie jednym z takich zdarzeń, gdzie \(i_1, \dots , i_k\) oznaczają numery tych zmiennych, które przyjmują wartość \(1\). Z kolei każde zdarzenie \(A_{i_1, \dots , i_k}\) jest iloczynem \(n\) zdarzeń postaci \(\{X_j = \ve _j\}\), gdzie \(\ve _j = 1\) lub \(\ve _j = 0\), a prawdopodobieństwa tych zdarzeń są równe odpowiednio \(p\) i \(q\). Z niezależności zmiennych \(X_1, \dots , X_n\) wynika, że:

\[P(A_{i_1, \dots , i_k} ) = p^kq^{n-k}.\]

Ponieważ wskaźniki \(i_1, \dots , i_k\) można wybrać na \(\binom {n}{k}\) sposobów, więc:

\[ P(S_n = k) = P\left (\bigcup _{i_1, \dots , i_k}A_{i_1, \dots , i_k}\right ) = \sum _{i_1, \dots , i_k}P(A_{i_1, \dots , i_k}) \]

\[ = \sum _{i_1, \dots , i_k}p^kq^{n-k} = \binom {n}{k}p^kq^{n-k}. \]

  

\[ E(X) = np, \hspace {1.5cm} D^2(X) = npq. \]

Dowód. Jest to wniosek z powyższego twierdzenia.   

Losowanie ze zwracaniem Przypuśćmy, że pewna populacja składa się z \(N\) elementów. Niech \(N_0\) elementów tej populacji ma pewną własność, powiedzmy własność \(W\). Niech \(p = \frac {N_0}{N}\) Losujemy ze zwracaniem \(n\) elementów i oznaczamy przez \(X\) liczbę tych spośród nich, które mają własność \(W\). Widać, że zmienna losowa \(X\) ma rozkład dwumianowy \(B(n,p)\).

Rachunek prawdopodobieństwa 1, 2

8.2 Rozkład Poissona – \(P_{\lambda }\)

Rozkład \(Q\) jest rozkładem Poissona, jeżeli istnieje taka liczba \(\lambda > 0\), że:

\[ Q(k) = e^{-\lambda }\,\frac {\lambda ^k}{k!}\;\; \mbox { dla } k = 0,1,2,\dots \]

\(E(X) = \lambda \), \(D^2(X) = \lambda \).

Dowód.

\begin{eqnarray*} E(X) = \sum _{k=0}^\infty k e^{-\lambda }\,\frac {\lambda ^k}{k!} = \lambda \sum _{k=1}^\infty k e^{-\lambda }\,\frac {\lambda ^{k-1}}{k!} = \lambda e^{-\lambda }\sum _{k=1}^\infty \,\frac {\lambda ^{k-1}}{(k-1)!} = \\ \lambda e^{-\lambda }\sum _{k=0}^\infty \,\frac {\lambda ^{k}}{k!} = \lambda e^{-\lambda } e^{\lambda } = \lambda . \end{eqnarray*}

Podobnie dla wariancji (ćwiczenie).   \(\Box \)

Wiele zjawisk podlega rozkładowi Poissona. Zgodność taka została zaobserwowana w wielu konkretnych sytuacjach praktycznych.

Wniosek. \(X\) – liczba śmiertelnych wypadków w ciągu jednego roku w korpusie armii pruskiej ma rozkład Poissona \(P_\lambda \), \(\lambda = 0.61\).

Następujące twierdzenie mówi o tym, że rozkład Poissona jest w pewnym sensie granicą rozkładów dwumianowych. W szczególności, gdy mamy do czynienia z dużą \((n >100)\) liczbą niezależnych prób Bernoulliego, z jednakowym, małym \((p <0.1)\) prawdopodobieństwem sukcesu każda, to liczba wszystkich sukcesów ma niemal dokładnie rozkład Poissona z parametrem \(\lambda = np\). Istnieją dość dokładne oszacowania błędu, jaki popełniamy przybliżając rozkład dwumianowy rozkładem Poissona.

Dowód. Oznaczając \(\lambda _n = np_n\), mamy równość

\[ \binom {n}{k}p_n^k(1-p_n)^{n-k} = \frac {\lambda _n^k}{k!}\cdot \frac {n(n-1)\cdot \dots \cdot (n-k+1)}{n^k}\cdot \left (1- \frac {\lambda _n}{n}\right )^n\cdot \left (1-\frac {\lambda _n}{n}\right )^{-k}\!\!. \]

Ponieważ \(k\) jest ustalone, to ostatni czynnik zmierza do 1. Drugi czynnik jest równy \(1\cdot (1 - \frac {1}{n}) \cdot \dots \cdot (1- \frac {k-1}{n})\), więc też zmierza do 1. Istotne są czynniki pierwszy oraz trzeci i zmierzają one odpowiednio do \(\frac {\lambda ^k}{k!}\) oraz \(e^{-\lambda }\).   

Warto porównać obydwa rozkłady dla wybranych parametrów.

Dowód. Niech \(X\) ma rozkład \(P_\lambda \), a \(Y\) rozkład \(P_\mu \). Niech \(k \ge 0\) będzie ustalone. \(\di P(X+Y = k) = P(\bigcup _{i+j = k} (X=i, Y=j)) = \sum _{i+j = k}P(X=i)P(Y=j) = \) \(\sum _{i = 0}^k P(X=i)P(Y=k-i) = \sum _{i = 0}^k e^{-\lambda } \frac {\lambda ^i}{i!} e^{-\mu } \frac {\mu ^{k-i}}{(k-i)!} = \)

\(\di e^{-(\lambda + \mu )} \sum _{i = 0}^k \frac {\lambda ^i \mu ^{k-i}}{i!(k-i)!} = e^{-(\lambda + \mu )}\frac {(\lambda +\mu )^k}{k!} \).   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

8.3 Rozkład hipergeometryczny

Rozkład \(Q\) nazywamy hipergeometrycznym, jeżeli istnieją liczby naturalne \(N\), \(N_0 \le N\), \(n \le N\) takie, że dla każdego \(k =0,1,2, \dots n\) zachodzi:

\[ Q(k) =\frac {\binom {N_0}{k} \binom {N-N_0}{n-k}} {\binom {N}{n}}, \]

Oznaczając \(p = \frac {N_0}{N}\) oraz \(q = 1 - p\) otrzymujemy:

\[ Q(k) =\frac {\binom {Np}{k} \binom {Nq}{n-k}} {\binom {N}{n}}, \]

Przypuśćmy, że pewna populacja składa się z \(N\) elementów, przy czym \(N_0\) elementów ma własność \(W\). Losujemy bez zwracania \(n\) elementów i oznaczamy przez \(X\) liczbę wylosowanych elementów mających własność \(W\). Łatwo zauważyć, nawiązując do rozważań dotyczących losowania ze zwracaniem, że zmienna losowa \(X\) ma rozkład hipergeometryczny.

\(E(X) = np\), \(\di D^2(X) = npq\frac {N-n}{N-1}\).

Dowód. Maple, Ćwiczenie 8.5.   

Przy losowaniu \(n\) elementów ze zwracaniem i przy losowaniu \(n\) elementów bez zwracania z populacji o liczebności \(N\) z wyróżnioną frakcją losujemy średnio tyle samo elementów z tych frakcji. Jednak przy losowaniu bez zwracania wariancja jest mniejsza.

Porównajmy odpowiednie rozkłady

Rachunek prawdopodobieństwa 1, 2

8.4 Rozkład geometryczny, \(G_p\).

Rozkład \(Q\) jest rozkładem geometrycznym, jeżeli istnieją liczby \(p,\,q\), \(0<p\), \(q <1\), \(p + q = 1\) takie, że

\[ Q(k) = q^{k-1}p, \mbox { dla } k = 1,2,3,\dots \]

Dowód. Zauważmy, że zdarzenie \(\{T = n\}\) jest takie samo jak zdarzenie \(\{X_1 = 0,\dots ,X_{n-1} = 0, X_n = 1\}\). Z niezależności zmiennych losowych \(X_i\) otrzymujemy

\[ P(T=n) = P(X_1 = 0,\dots ,X_{n-1} = 0, X_n = 1) = \]

\[ P(X_1 = 0)\cdot \dots \cdot P(X_{n-1} = 0)\cdot P(X_n = 1) = q^{n-1}p. \]

\(\hfill { \Box }\)

\(\di E(X) = \frac {1}{p}, \) \(\di D^2(X) = \frac {1-p}{p^2 }\)

Dowód. Wiadomo, że

\[ \sum _{i=0}^\infty x^i = \frac {1}{1-x}, \ \mbox { dla } |x| < 1. \]

Po zróżniczkowaniu otrzymujemy:

\[ \sum _{i=1}^\infty ix^{i-1} = \frac {1}{(1-x)^2}, \ \mbox { dla } |x| < 1. \]

Teraz, biorąc \(x = 1-p\) otrzymujemy:

\[E(X) = \sum _{i=1}^\infty i(1-p)^{i-1}p = p\frac {1}{p^2} = \frac {1}{p}. \]

Wariancję oblicza się podobnie (ćwiczenie).   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

8.5 Rozkład Pascala, ujemny rozkład dwumianowy

Rozkład \(Q\) nazywamy ujemnym rozkładem dwumianowym (lub rozkładem Pascala), jeżeli istnieją: liczba naturalna \(r \ge 1\) oraz rzeczywista \(p >0\) takie, że

\[ Q(r+k) = \binom {r+k-1}{\ r-1}p^r(1-p)^k, \mbox { dla } k = 0,1,2,\dots \]

Zauważmy, że rozkład geometryczny jest szczególnym przypadkiem ujemnego rozkładu dwumianowego. \(r=1\).

Dowód. Dowód jest bardzo podobny do analogicznego twierdzenia o rozkładzie geometrycznym.

\[\{T_r = r+k\} = \bigcup \{X_1 = \ve _1, \dots , X_{r+k -1} = \ve _{r+k-1}, X_{r+k} = 1\},\]

gdzie sumowanie odbywa się po wszystkich \(\{\ve _1, \dots , \ve _{r+k-1}\}\) takich, że spośród nich \(r-1 \) ma wartość 1 oraz \(k\). ma wartość 0. Wtedy \(P(\{X_1 = \ve _1, \dots , X_{r+k -1} = \ve _{r+k-1}, X_{r+k} = 1\} ) =p^r(1-p)^k\). \(\hfill { \Box }\)

Można także udowodnić twierdzenie, które jeszcze inaczej pozwala spojrzeć na problem czasów oczekiwania:

Dowód. Indukcja ze względu na \(r\) (ćwiczenie).   \(\Box \)

\(E(X) = \frac {r}{p}\), \(D^2(X) = \frac {r(1-p)}{p^2}.\)

Dowód. Wynika z poprzedniego twierdzenia (ćwiczenie).   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

8.6 Rozkład wykładniczy, \(E_\lambda \)

Rozkład \(Q\) nazywamy rozkładem wykładniczym, jeżeli istnieje taka liczba \(\lambda > 0\), że funkcja \(f\) określona wzorem

\[ f(x) = \left \{ \begin {array}{ll} 0, & \mbox { dla } x<0\\ \lambda e^{-\lambda x}, & \mbox { dla } x \ge 0. \end {array} \right . \]

jest gęstością tego rozkładu.

Dystrybuanta

\[ F(x) = \int _{-\infty }^xf(t)\,dt = \left \{ \begin {array}{ll} 0, & \mbox { dla } x<0\\ 1 - e^{-\lambda x}, & \mbox { dla } x \ge 0. \end {array} \right . \]

\(\seteqnumber{0}{8.}{0}\)

\begin{equation} E(X) = \frac {1}{\lambda }, \hspace {2cm} D^2(X) = \frac {1}{\lambda ^2}. \end{equation}

Dowód. Proste przeliczenie (ćwiczenie).   \(\Box \)

Rozkład wykładniczy jest ciągłym odpowiednikiem rozkładu geometrycznego. Mówiąc nieściśle, czas oczekiwania na pierwszy sukces w nieskończonym ciągu niezależnych prób Bernoulliego ma w przybliżeniu rozkład wykładniczy o parametrze \(\lambda \), o ile czas pomiędzy kolejnymi próbami jest bardzo mały, a prawdopodobieństwo sukcesu w pojedynczej próbie jest małe i proporcjonalne do tego czasu, przy czym parametr \(\lambda \) jest współczynnikiem tej proporcjonalności. Inaczej, gdy jednostką czasu jest \(\delta \) oraz \(p\) jest bliskie zeru, to rozkład geometryczny o parametrze \(p\) i wykładniczy \(\lambda = p\) są podobne. Zobacz sam.

Poniżej formułujemy odpowiednie twierdzenie.

Niech \(\lambda > 0\) będzie ustalone.

Dla \(\delta >0 \) oznaczamy \(p = p_\delta = \lambda \cdot \delta \).

Niech \(X_1,X_2,X_3,\dots \) będzie ciągiem niezależnych zmiennych losowych, z których każda ma rozkład dwupunktowy o parametrze \(p\).

Niech

\[T = \delta \,min\{n \ge 1: X_n = 1\}.\]

Niech \(F\) oznacza dystrybuantę rozkładu wykładniczego o parametrze \(\lambda \).

Dowód. Dla \(t\le 0\) – trywialne. \(\hfill { \Box }\)

Niech \(t > 0\). Zmienna losowa \(\di T\over \delta \) ma rozkład geometryczny. Niech \(n = [\frac {t}{\delta } ]\).

\[ F_T(t) = P(T \le t) = 1 - P(T>t) = 1 - P(\frac {T}{\delta } > \frac {t}{\delta }) = 1 - \sum _{k = n+1}^\infty (1-p)^{k-1}p = \]

\[ 1 - (1 - p)^n = 1 - \left (1 - \frac {\lambda }{\delta ^{-1}}\right )^{\delta ^{-1}t -r_\delta } \longrightarrow 1 - e^{-\lambda t} = F(t), \]

dla \(\delta \rightarrow 0\), gdyż \(0 \le r_\delta = \frac {t}{\delta } - n < 1\), więc \(\di \left (1 - \frac {\lambda }{\delta ^{-1}}\right )^{-r_\delta }\) zmierza do \(1\). \(\hfill { \Box }\)

Ilustracja twierdzenia

Powyższy rozkład nosi nazwę rozkładu Erlanga.

Dowód. Rachunkowy dowód polega na zastosowaniu indukcji oraz następującego wzoru na gęstość sumy niezależnych zmiennych losowych o rozkładach ciągłych (ćwiczenie). \(\hfill { \Box }\)

Dowód wykorzystuje twierdzenie o zmianie zmiennych w całce podwójnej oraz twierdzenie Fubiniego. \(\hfill { \Box }\)

Indukcyjnie można pokazać, że dystrybuanta wyraża się wzorem (ćwiczenie):

\[ F_r(t) = \int _0^t \frac {\lambda (\lambda x)^{r-1}}{(r-1)!} e^{-\lambda x}\, dx = 1 - e^{-\lambda t} \left (1 + \frac {\lambda t}{1!} + \dots + \frac {(\lambda t)^{r-1}}{(r-1)!} \right ). \]

Rachunek prawdopodobieństwa 1, 2

8.7 Proces Poissona

Komentarz. Zmienna \(N_t\) oznacza liczbę sukcesów, które mają miejsce na odcinku czasu \((0,t)\) w ciągu niezależnych prób Bernoulliego, o ile próby te mogą być powtarzane nieskończenie często, a prawdopodobieństwo pojawienia się sukcesu w bardzo małym odcinku czasu \(\Delta t\) wynosi w przybliżeniu \(\lambda \Delta t\).

Dowód. Zauważmy, że zdarzenie \(\{N_t = k\}\) jest równe zdarzeniu \(\{S_k \le t\} \setminus \{S_{k+1} \le t \}\). Tak więc:

\[ P(N_t = k) = F_k(t) - F_{k+1}(t), \]

gdzie \(F_k\) oznacza dystrybuantę zmiennej losowej \(S_k\), która ma rozkład Erlanga. Poprzednio określiliśmy już dystrybuantę \(F_k\).

Stąd łatwo widać, że: \(\di P(N_t = k) = \frac {(\lambda t)^k}{k!}e^{-\lambda t}\). \(\hfill { \Box }\)

Proces stochastyczny Rodzina zmiennych losowych określonych na tej samej przestrzeni probabilistycznej indeksowana przez czas nazywa się procesem stochastycznym. Powyższa rodzina \(\{N_t\}_{t \ge 0}\) jest właśnie takim przypadkiem i nazywa się procesem Poissona.

Rachunek prawdopodobieństwa 1, 2

8.8 Pytania

Wskazówka. \(\di \sum _{k=0}^n\left (\binom {n}{k} \left (\frac {1}{6}\right )^k\left (\frac {5}{6}\right )^{n-k}\right )^2 \cong 0.24209\) dla \(n = 10\).

Wskazówka. Jeżeli \(P_X = B(n,p)\), \(P_Y = B(m,q)\), \(p = q\), to \(P_{X+Y} = B(n+m,p)\).

Wskazówka. \(X\) – liczba rodzynek w bułeczce ma rozkład Poissona \(P_\lambda \), gdyż jest dużo rodzynek (doświadczeń) i małe prawdopodobieństwo, że jedna z nich trafi do danej bułeczki (sukces). Trzeba tak dobrać \(\lambda \), żeby \(P(X \ge 1) \ge 0.95\).

Mamy kolejno \(1 - e^{-\lambda } \ge 0.95\), \(\lambda \ge 2.995732274\). \(P(X \ge 5) \ge 0.1840201545\).

Wskazówka. \(\di F_{X+Y}(z) = P(X+Y \le z) = \int \int _A f_{(X,Y)}(x,y)\,d(x,y) = \int \int _A f_{X}(x)f_Y(y) \,d(x,y) \), gdzie \(A = \{(x,y): x+y \le z \}\). Stosujemy zmianę zmiennych: \(s = x+y\), \(t = x\). Mamy więc:

\[ F_{X+Y}(z) = \int \int _{\r \times (-\infty ,z)}f_X(t)f_Y(s-t)\,d(s,t) = \int _{-\infty }^z\left (\int _{\r }f_X(t)f_Y(s-t)\,dt\right )\,ds. \]

\[ f_{X+Y}(z) = \frac {d}{dz}F_{X+Y}(z) = \int _{\r }f_X(t)f_Y(z-t)\,dt. \]

Wskazówka.

\[ f_{X+Y}(z) = I_{(0.2a)}\left (\frac {1}{a}-\left |\frac {1}{a} - \frac {z}{a^2}\right |\right ). \]

Wskazówka. \(F_{\min (X,Y)}(z) = P(\min (X,Y) \le z) = 1 - P(X >z,Y>z) = 1 - (1 - F_X(z))(1 - F_Y(z)) = 1 - e^{-\lambda z} e^{-\mu z} = 1 - e^{(\lambda +\mu )z}\).

Rachunek prawdopodobieństwa 1, 2

Rozdział 9 Rozkład normalny

Najważniejszym rozkładem jest tak zwany rozkład normalny zwany także rozkładem Gaussa.

Rozkład normalny, \(N(m,\sigma )\). Rozkład \(Q\) nazywamy rozkładem normalnym, jeżeli istnieją takie liczby rzeczywiste \(m\) oraz \(\sigma >0\), że funkcja \(f\colon \r \str \r \), określona wzorem:

\[ f(x) = \frac {1}{\sqrt {2\pi }\sigma }\,e^{-\frac {1}{2}(\frac {x - m}{\sigma })^2}\;\;\mbox { dla } x\in \r , \]

jest gęstością tego rozkładu.

\(f\) jest rzeczywiście gęstością. Wiadomo (ćwiczenie z analizy matem.), że

\[ \int _{-\infty }^\infty e^{-\frac {1}{2}t^2}\,dt = \sqrt {2\pi }. \]

Stosując podstawienie \(t = \frac {x-m}{\sigma }\) otrzymujemy: \(\di \int _{-\infty }^\infty f(x)\,dx = \int _{-\infty }^\infty \frac {1}{\sqrt {2\pi }\sigma }\,e^{-\frac {1}{2}(\frac {x - m}{\sigma })^2}\,dx = \frac {1}{\sqrt {2\pi }} \int _{-\infty }^\infty e^{-\frac {1}{2}t^2}\,dt = 1 \),

Interpretacja parametrów \(m\) – punkt maksimum globalnego gęstości (ćwiczenie).

\(m - \sigma \), \(m +\sigma \) – punkty przegięcia gęstości (ćwiczenie).

\(E(X) = m\), \(D^2(X) = \sigma ^2\).

Dowód. Proste całkowanie przez podstawienie .   \(\Box \)

Oznaczenie. \(\Phi _{m,\sigma }\) – dystrybuanta rozkładu normalnego \(N(m, \sigma )\), czyli

\[ \Phi _{m,\sigma }(x) = \frac {1}{\sqrt {2\pi }\sigma } \int _{-\infty }^x e^{-\frac {1}{2}(\frac {t- m}{\sigma })^2}\,dt \]

9.1 Standardowy rozkład normalny, \(N(0,1)\)

Rozkład \(N(0,1)\) – standardowy rozkład normalny.

\(E(X) = 0\), \(D^2(X) = 1\).

Oznaczenie. \(\Phi \) = \(\Phi _{0,1}\) – dystrybuanta rozkładu normalnego standardowego, czyli

\[ \Phi (x) = \frac {1}{\sqrt {2\pi }} \int _{-\infty }^x e^{-\frac {1}{2}t^2}\,dt. \]

Pożyteczne wzory (ćwiczenie):

\[\Phi (0) = 0.5,\]

\[\Phi (-x) = 1 - \Phi (x),\]

\[P(|X| < \ve ) = \Phi (\ve ) - \Phi (-\ve ) = 2 \Phi (\ve ) - 1, \mbox { gdy } X \sim N(0,1),\]

\[ \Phi _{m,\sigma }(x) = \Phi \left (\frac {x-m}{\sigma }\right ).\]

Przed erą komputerową w powszechnym użyciu były tablice roznkładu \(N(0,1)\).

Rachunek prawdopodobieństwa 1, 2

9.2 Centralne twierdzenie graniczne

W tym punkcie zakładamy, że:

Założenie.
\((\Omega , \Sigma ,P)\) jest przestrzenią probabilistyczną, zaś \(X_1,\,X_2,\, X_3,\dots \) – ciągiem niezależnych zmiennych losowych określonych na \(\Omega .\) Wszystkie zmienne losowe \(X_i\) mają taki sam rozkład, a ich wspólna nadzieja matematyczna \(m\) oraz wariancja \(\sigma ^2\) istnieją i są skończone, przy czym \(\sigma > 0\) (ten ostatni warunek oznacza, że zmienne losowe nie są stałymi).

\[S_n = X_1 + \dots +X_n.\]

Zmienną losową:

\[ Z_n := \frac {S_n -E(S_n)}{\sqrt {D^2(S_n)}} = \frac {S_n -nm}{\sigma \sqrt {n}} \]

nazywamy standaryzacją sumy \(S_n.\)

Jak łatwo zauważyć:

\[E(Z_n) = 0\;\; \textrm {oraz}\;\; D^2(Z_n) = 1.\]

Dowód oparty na teorii funkcji charakterystycznych będzie później.

Centralne twierdzenie graniczne jest prawdziwe przy dużo ogólniejszych założeniach. W szczególności zmienne losowe nie muszą mieć takiego samego rozkładu, a nawet nie muszą być niezależne. Jednakże, różnym wersjom centralnego twierdzenia granicznego przyświeca ta sama idea:

Suma niewiele zależnych od siebie składników losowych, z których żaden nie dominuje istotnie nad pozostałymi, ma w przybliżeniu rozkład normalny.

Z twierdzenia 9.1 otrzymujemy natychmiast klasyczne twierdzenie:

Ilustracja twierdzenia

W istocie nie trzeba rzucać kostką aż 1000 razy aby suma oczek miała rozkład normalny. Faktycznie wystarczy ograniczyć liczbę rzutów do kilkunastu. Może o tym świadczyć porównanie rozkładu sumy z odpowiednim rozkładem normalnym z naturalnie dobranymi parametrami.

Nawet, gdy kostka jest wyraźnie sfałszowana suma oczek dość szybko „normalnieje".

• Uwaga – 9.9 (Reguła 1.96) Jeżeli zmienna losowa \(X\) ma rozkład normalny \(N(m,\sigma )\), to

  \[ P(X \in (m - 1.96\sigma ,m + 1.96\sigma )) \cong 0.95.\]

Dowód.

\[ P(X \in (m - 1.96\sigma ,m + 1.96\sigma )) = \Phi _{m,\sigma }(m+1.96\sigma ) - \Phi _{m,\sigma }(m-1.96\sigma )\]

\[ = 2\Phi (1.96) - 1 \cong 2\cdot 0.975002104851780 - 1 = 0.950004209703559 .\]

  

Dla dowolnej zmiennej losowej \(X\) o parametrach \(m = E(X)\), \(\sigma ^2 = D^2(X)\) z reguły \(3\sigma \) otrzymujemy:

\[ P(X( \in (m - 3\sigma ,m+3\sigma )) \ge \frac 89. \]

Gdy założymy normalność \(X\), to

\[ P(X( \in (m - 3\sigma ,m+3\sigma )) = 2\Phi (3) - 1 \cong 2\cdot 0.999 - 1 \cong 0.997. \]

Wydaje się (potwierdzają to testy statystyczne), że \(T\) ma rzeczywiście rozkład normalny.

3

Rachunek prawdopodobieństwa 1, 2

9.3 Pytania

Wskazówka. Tak, można skorzystać z Twierdzenia 8.10. Jest istotne: \(X + (-X) = 0\).

Wskazówka. Reguła 2.58: Jeżeli zmienna losowa \(X\) ma rozkład normalny \(N(m,\sigma )\), to

\[ P(X \in (m - 2.58\sigma ,m + 2.58\sigma )) \cong 0.99.\]

Wskazówka. Są niezależne: można wykorzystać Twierdzenie 5.33, aby otrzymać gęstość wektora \((X_1 -X_2, X_1+X_2)\), a następnie stwierdzić, że jest ona iloczynem gęstości różnicy i sumy.

Założenie normalności jest istotne. Niech \(X_1\), \(X_2\) będą niezależne i mają rozkład \(B(1,\frac 12)\) każda. Gdy suma = 2, to różnica = 0. Formalnie: \(P(X_1+X_2 =2,X_1 - X_2=0) = \frac 14\), \(P(X_1+X_2 =2)P(X_1 - X_2=0) = \frac 14 \cdot \frac 12 = \frac 18\).

Wskazówka.

\[ n \ge \left ( \frac {\Phi ^{-1} (1-\alpha )}{b} \right )^2\frac {9}{100} \cong 541.189443051267. \]

Wskazówka. Każdy kraj przedstawia listę, powiedzmy \(x_1,x_2, ... , x_k\), gdzie \(x_i\) jest oceną punktową \(i\)-tego kandydata. Na podstawie tej listy można obliczyć średnią: \(\bar {x} = \frac {1}{k}\sum _{i=1}^kx_i\) oraz odchylenie standardowe z próby: \(s = \sqrt {\frac {1}{k}\sum _{i=1}^k(x_i - \bar {X})^2}\). Można wyznaczyć znormalizowane punkty: \(z_i = \frac {x_i - \bar {x}}{\hat {s}}\). Teraz można połączyć tak uzyskane listy ze wszystkich krajów, a następnie uporządkować malejąco całą listę i wybrać pierwszych 1000 kandydatów.

Rachunek prawdopodobieństwa 1, 2

Rozdział 10 Zbieżność zmiennych losowych

10.1 Rodzaje zbieżności

Dany jest ciąg zmiennych losowych \(X_n: \Omega \to \r \), \(n = 1,2,3, \dots \). Dana jest zmienna losowa \(X : \Omega \to \r \).

Rozróżniamy kilka rodzajów zbieżności \(X_n \to X\), gdy \(n \to \infty \). W trakcie tego kursu dyskutujemy głownie:

• 1. Zbieżność z prawdopodobieństwem 1.

• 2. Zbieżność stochastyczna.

• 3. Zbieżność według rozkładów.

Nie rozważa się zbieżności punktowej zmiennych losowych!

Powód: Jeżeli zmienną losową, powiedzmy \(X\), zmienimy na zbiorze miary zero otrzymując zmienną, powiedzmy \(Y\), to obydwie te zmienne mają taki sam rozkład, patrz uwaga poniżej, więc z punktu widzenia rachunku prawdopodobieństwa są sobie równe. Jednak, gdy \(X_n \to X\) punktowo, to wtedy \(X_n\) nie może być zbieżny w niektórych punktach do \(Y\).

Mówimy, że dwa wektory losowe \(X\), \(Y\) określone na przestrzeni probabilistycznej (Ω, Σ, P ) są równe prawie (\(X = Y\) p.w.) względem miary \(P\), gdy \(P(X=Y) =1 \). Często wiadomo, o którą miarę chodzi i wtedy nie musimy tego podkreślać. Można łatwo pokazać następujący fakt.

Ogólniej.

Niech \(F_n\), \(n = 1,2,3, \dots \), oraz \(F\) będą dystrybuantami.

Wtedy:

\[ X_n \stackrel {d}{\longrightarrow } X \rwn \, F_{X_n} \stackrel {d}{\longrightarrow } F_X. \]

Uwagi.

Słabe Prawo Wielkich Liczb, Twierdzenie 7.6, 2 Niech \(X_n\) będą niezależnymi zmiennymi losowymi o wspólnej nadziei matematycznej \(m\) i wspólnie ograniczonych wariancjach. Niech \(S_n = X_1+ \dots + X_n\). Wtedy \(\di \frac {S_n}{n} \stackrel {s}{\longrightarrow } m\).

Centralne twierdzenie graniczne, Twierdzenie 9.1 Niech \(X_n\) będą niezależnymi zmiennymi losowymi o takim samym rozkładzie. Niech \(m\) oznacza nadzieję matematyczną, a \(\sigma \) odchylenie standardowe tego rozkładu. Niech \(\di Z_n = \frac {S_n- m}{\sigma \sqrt {n}}\). Wtedy

\[ F_{Z_n} \stackrel {d}{\longrightarrow } \Phi , \]

gdzie \(\Phi \) jest dystrybuantą rozkładu \(N(0,1)\).

Zbieżność rozkładów geometrycznych do rozkładu wykładniczego. Twierdzenie 8.8 mówi o zbieżności ciągu dystrybuant rozkładów czasu oczekiwania na pierwszy sukces w ciągu niezależnych prób Bernoulliego, gdy odcinki czasowe są coraz krótsze a prawdopodobieństwo sukcesu zmniejsza się proporcjonalnie wraz z ich długością.

Dowód. Miech \(a\) będzie punktem ciągłości dystrybuanty rozkładu Poissona \(P_\lambda \). Korzystając z Twierdzenia 8.2 mamy:

\[\di F_{P_\lambda } (a) = \sum _{k \le a } e^{-\lambda }\frac {\lambda ^k}{k!} = \sum _{k \le a } \lim _{n\rightarrow \infty } \binom {n}{k}p_n^k(1 - p_n)^{n-k} =\]

\[\lim _{n\rightarrow \infty } \sum _{k \le a } \binom {n}{k}p_n^k(1 - p_n)^{n-k} = \lim _{n\rightarrow \infty } F_{B(n,p_n)}(a).\]

  \(\Box \)

Dowód.

Ad 1. Niech \(A = \{\o \in \Omega : X_n(\o ) \to X(\o ), n \to \infty \}\). Z założenia wiemy, że \(P(A) = 1\). Ustalmy \(\ve > 0\). Wiemy, że \(A \subset A_\ve \), gdzie \(\di A_\ve = \bigcup _{N+1}^\infty A_{\ve N}\), gdzie \(A_{\ve N} = \{\o : |X_n(\o ) - X(\o )| < \ve , \mbox {dla } n \ge N\}\). Zbiory \(A_{\ve N}\) tworzą ciąg wstępujący. Mamy więc: \(\di 1 = P(A) \le P(A_\ve ) = \lim _{N\to \infty } P(A_{\ve N}) \le \lim _{N\to \infty } P(\{\o : |X_N(\o ) - X(\o )| < \ve \})\).   \(\Box \)

Ad 2. Niech \(a\) będzie punktem ciągłości dystrybuanty \(F_X\) i niech \(\varepsilon > 0\) będzie ustalone. Dla każdego \(n\) zachodzą dwie oczywiste inkluzje

\[ \{X \le a - \varepsilon \} \subset \{|X_n - X|\ge \varepsilon \} \cup \{X_n \le a\} \]

oraz

\[ \{X_n \le a\} \subset \{|X_n - X|\ge \varepsilon \} \cup \{X \le a +\varepsilon \}. \]

To oznacza, że

\[ F_X(a-\varepsilon ) \le P(\{|X_n - X|\ge \varepsilon \}) + F_{X_n}(a) \le 2 P(\{|X_n - X|\ge \varepsilon \}) + F_X(a + \varepsilon ). \]

Ponieważ \(P(\{|X_n - X|\ge \varepsilon \}) \longrightarrow 0,\) dla \(n \longrightarrow \infty ,\) więc dla każdego \(\varepsilon > 0\) mamy

\[ F_X(a - \varepsilon ) \le \liminf _n F_{X_n}(a) \le \limsup _n F_{X_n}(a) \le F_X(a +\varepsilon ). \]

Przechodząc z \(\varepsilon \) do zera i korzystając z ciągłości \(F_X\) w punkcie \(a\) otrzymujemy w powyższym wzorze same równości, co oznacza istnienie granicy i równość \(\lim _{n\rightarrow \infty }F_{X_n}(a) = F_X(a).\)   \(\Box \)

Ad 3. Dystrybuanta rozkładu skupionego w jednym punkcie \(c\) jest nieciągła tylko w punkcie \(c\). Weźmy dwa punkty ciągłości dystrybuanty \(F_X\), mianowicie punkty \(c - \varepsilon \) oraz \(c +\varepsilon \), gdzie \(\varepsilon > 0\). Dostajemy

\[ P(\{|X_n - c| \le \varepsilon \}) = P(c - \varepsilon \le X_n \le c + \varepsilon ) \ge P(c - \varepsilon < X_n \le c + \varepsilon ) = \]

\[ F_{X_n}(c + \varepsilon ) - F_{X_n}(c - \varepsilon ) \longrightarrow 1 - 0 =1, \]

co oznacza, że dla każdego \(\varepsilon >0\) mamy \(\lim _{n\rightarrow \infty } P(\{|X_n - c| \le \varepsilon \}) = 1\), a to daje stochastyczną zbieżność \(X_n \) do \(c\).   \(\Box \)

Twierdzenie odwrotne do Twierdzenia 10.7,2 nie jest prawdziwe.

Twierdzenie odwrotne do Twierdzenia 10.7,1 nie jest prawdziwe.

Rachunek prawdopodobieństwa 1, 2

10.2 Mocne Prawa Wielkich Liczb

Celem tego punktu jest przedstawienie Mocnego Prawa Wielkich Liczb, które jest odpowiednikiem Słabego Prawa Wielkich Liczb i opiera się na pojęciu zbieżności z prawdopodobieństwem 1. Pierwszym krokiem będzie nierówność Kołmogorowa, która w pewnym szczególnym przypadku wzmacnia nierówność Czebyszewa.

Uwaga. Z nierówności Czebyszewa wynika istotnie mniej, mianowicie:

\[ P\left (|S_n - E(S_n)| \ge \ve \right ) \le \frac {D^2(S_n)}{\ve ^2}. \]

Tymczasem:

\[ \{|S_n - E(S_n)| \ge \ve \} \subset \bigcup _{k=1}^n \{|S_k - E(S_k)| \ge \ve \} = \{\max _{1 \le k \le n}|S_k - E(S_k)| \ge \ve \} \]

Dowód. Bez straty ogólności zakładamy, że wszystkie \(E(X_i) = 0\). Definiujemy zdarzenia: \(\di A = \{\max _{1 \le k \le n}|S_k| \ge \ve \}\) oraz

\(\di A_1 = \{|S_1| \ge \ve \}\). \(\di A_k = \{|S_i| < \ve , i = 1,2,, \dots , k - 1, |S_k| \ge \ve \}\), dla \(k = 2, \dots , n\). Widać, że: \(\di A = \bigcup _{k=1}^n A_k\), oraz \(A_i \cap A_j = \emptyset \) dla \(i\neq j\).

Szacujemy:

\(\di D^2(S_n) = \int _\Omega S_n^2 \,dP \ge \int _A S_n^2 \,dP = \sum _{k=1}^n \int _{A_k} S_n^2 \,dP\).

Ale \(\di S_n = S_k + Y_k\). Zauważmy najpierw, że::

\(\di \int _{A_k} S_kY_k \,dP = \int _{\Omega } I_{A_k} S_k Y_k \,dP = E(I_{A_k}S_k \cdot Y_k) = E(I_{A_k}S_k) \cdot E(Y_k) = 0\), gdyż zmienne losowe \(I_{A_k}S_k\) oraz \(Y_k\) są niezależne jako funkcje wektorów niezależnych.

\(\di \int _{A_k} S_n^2 \,dP = \int _{A_k} (S_k +Y_k)^2 \,dP = \int _{A_k} S_k^2 \,dP + 2\int _{A_k} S_kY _k \,dP + \int _{A_k} Y_k^2 \,dP \ge \int _{A_k} S_k^2 \,dP \ge P(A_k) \ve ^2\), z określenia zdarzenia \(A_k\). Ostatecznie: \(\di D^2(S_n) \ge \sum _{k=1}^nP(A_k)\ve ^2 = P(A) \ve ^2\).   \(\Box \)

Dowód. Bez straty ogólności zakładamy, że \(E(X_i) = 0\). Wystarczy pokazać, że dla każdego \(\omega \) ze zbioru, którego prawdopodobieństwo = 1 spełniony jest warunek Cauchy’ego zbieżności sum częściowych \(S_n(\omega )\) . Chcemy więc pokazać, że:

\[ P\left (\bigcap _{\ve > 0 }\bigcup _N \bigcap _{k,l \ge N} \{\o : |S_k(\o ) - S_l(\o )| < \ve \} \right ) =1. \]

Wystarczy więc pokazać, że:

\[ \forall \ve > 0 \ P\left (\bigcup _N \bigcap _{k,l \ge N} |S_k - S_l| < \ve \right ) =1. \]

Oznaczmy:

\[ A_{N,\ve } = \bigcap _{k,l \ge N} \{|S_k - S_l| < \ve \}, \ \ B_{N,\ve } = \bigcap _{k \ge 1} \{|S_{N+k} - S_N| < \ve \}. \]

Ponieważ zbiory \(A_{N,\ve }\) tworzą ciąg wstępujący, więc wystarczy pokazać, że:

\[ \forall \ve > 0 \lim _{N \to \infty }P(A_{N,\ve }) = 1. \]

Ponieważ \(|S_k - S_l| \le |S_k - S_N| + |S_l - S_N|\), to \(B_{N,\frac {\ve }{2}} \subset A_{N,\ve }\). Wystarczy więc wykazać, że:

Ustalmy \(\ve > 0\) oraz \(N < M\). Teraz, z Nierówności Kołmogorowa:

\[\di P \left ( \bigcup _{k=1}^M |S_{N+k} - S_N| \ge \ve \right ) = P(\max _{1\le k \le M}|S_{N+k} - S_N| \ge \ve ) \le \frac {D^2(S_M - S_N)}{\ve ^2}. \]

Inaczej:

\[\di P \left ( \bigcup _{k=1}^M |S_{N+k} - S_N| \ge \ve \right ) \le \frac {1}{\ve ^2}\sum _{k=N+1}^M D^2(X_k).\]

Niech \(M \to \infty \). Wtedy lewa strona ma granicę (ciąg zbiorów wstępującyh) \(\di P \left ( \bigcup _{k=1}^\infty |S_{N+k} - S_N| \ge \ve \right )\), a prawa strona ma granicę \(\di \frac {1}{\ve ^2}\sum _{k=N+1}^\infty D^2(X_k)\). Zachodzi więc też nierówność:

\(\di P \left ( \bigcup _{k=1}^\infty |S_{N+k} - S_N| \ge \ve \right ) \le \frac {1}{\ve ^2}\sum _{k=N+1}^\infty D^2(X_k)\).

Niech \(N \to \infty \). Wtedy prawa strona, a więc i lewa strona dążą do zera.

Ponieważ \(\di \Omega \setminus B_{N,\ve } = \bigcup _{k=1}^\infty \left \{|S_{N+k} - S_N| \ge \ve \right \}\), otrzymujemy żądaną tezę:

\[ \forall \ve > 0 \lim _{N \to \infty }P(B_{N,\ve }) = 1. \]

  \(\Box \)

W dalszej części będziemy korzystać z dwóch faktów z analizy matematycznej.

Dowód. Niech \(\ve >0\). Istnieje takie \(n_1\), że dla \(n \ge n_1\) \(|x_n - x| < \frac {\ve }{2}\). Istnieje takie \(n_0 > n_1\), że dla \(\di n \ge n_0\) \(\frac {1}{n} \sum _{i=1}^{n_1}|x_i - x| < \frac {\ve }{2}\). Niech \(n\ge n_0\). \(\di \left | \frac {1}{n} \sum _{i=1}^n x_i - x \right | \le \frac {1}{n}\sum _{i=1}^{n_1}|x_i - x | + \frac {1}{n}\sum _{i=n_1+1}^{n}|x_i - x | \le \frac {\ve }{2} + \frac {n-n_1}{n} \frac {\ve }{2} \le \ve \)   \(\Box \)

Dowód. Oznaczmy: \(s_0 = 0\), \(s_n = x_1 + \dots + x_n\). Wtedy. \(\di \sum _{i=1}^n i x_i = s_1 - s_0 + 2(s_2 - s_1) + \dots + n(s_n - s_{n-1}) = \) \(= -s_0 - s_1 - s_2 - \dots - s_{n-1} + ns_n = - \sum _{i=1}^ns_{i-1} + n s_n\).

Niech \(\di s = \sum _{i=1}^\infty x_i\). Z Lematu Toeplitza:

\(\di \frac {1}{n} \sum _{i=1}^n i x_i = -\frac {1}{n} \sum _{i=1}^ns_{i-1} + s_n \to - s + s = 0 \).   \(\Box \).

Jesteśmy przygotowani do dowodu jednego z dwóch głównych twierdzeń tego punktu.

Dowód.

Korzystamy z twierdzenia o zbieżności szeregu oraz z Lematu Kroneckera.

Ponieważ szereg \(\di \sum _{i=1}^\infty D^2\left (\frac {X_i- E(X_i)}{i} \right ) = \sum _{i=1}^\infty D^2\left (\frac {X_i}{i} \right )\) jest zbieżny, więc szereg \(\di \sum _{i=1}^\infty \frac {X_i- E(X_i)}{i}\) jest zbieżny z prawdopodobieństwem 1.

Ale w takim razie: \(\di \frac {S_n- E(S_n)}{n} = \frac {1}{n}\sum _{i=1}^n i \frac {X_i- E(X_i)}{i} \stackrel {1}{\longrightarrow } 0\)   \(\Box \)

Założenie o wariancjach można opuścić, gdy się założy, że wszystkie zmienne losowe mają ten sam rozkład, czyli są i.i.d (independent, identically distributed)

Dowód polega na zastąpieniu ciągu \(\{X_n\}\) innym ciągiem, który spełnia założenia poprzedniego twierdzenia, ale ma średnie tak samo zbieżne jak średnie \(\{X_n\}\).

Wykażemy jednak wcześniej dwa pomocnicze lematy i przypomnimy podstawowe twierdzenie o zbieżności całek.

Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną, \(A_1, A_2,A_3, \dots \in \Sigma \). Interesuje nas zbiór:

\[A =\bigcap _{n=0}^\infty \bigcup _{i=n }^\infty A_i. \]

Zauważmy, że:

\(\o \in A \ \rwn \ \o \) należy do nieskończenie wielu spośród zdarzeń \(A_i\).

Dowód. Ad 1. Dla każdego \(n\) \(\di P(A) \le P\left (\bigcup _{i=n }^\infty A_i\right ) \le \sum _{i=n}^\infty P(A_i)\). Ponieważ jednak szereg \(\di \sum _{i=1}^\infty P(A_i)\) jest zbieżny, to jego „końcówka"\(\di \sum _{i=n}^\infty P(A_i) \to 0\), gdy \(n \to \infty \). Stąd \(P(A) = 0\).

Ad 2. Zauważmy najpierw że korzystając z założenia o niezależności oraz ze standardowej nierówności \(1+x \le e^x \forall x \in \r \), otrzymujemy dla wszystkich \(n < m\):

\[\di P\left (\bigcap _{i=n}^m(\Omega \setminus A_i)\right ) = \prod _{i=n}^m P(\Omega \setminus A_i) = \prod _{i=n}^m (1 - P( A_i)) \le \prod _{i=n}^m e^{- P(A_i)} = e^{-\sum _{i=n}^m P(A_i)}. \]

Ponieważ szereg \(\di \sum _{i=1}^\infty P(A_i)\) jest rozbieżny, więc dla każdego ustalonego \(n\):

\[ P\left (\bigcap _{i=n}^\infty (\Omega \setminus A_i)\right ) = \lim _{m \to \infty } P\left (\bigcap _{i=n}^m(\Omega \setminus A_i)\right ) \le \lim _{m \to \infty }e^{-\sum _{i=n}^m P(A_i)} =0. \]

i stąd kolejno:

\[ P\left (\bigcup _{i=n}^\infty A_i\right ) = 1 \mbox { oraz } P\left ( \bigcap _{n=1}^\infty \bigcup _{i=n}^\infty A_i \right ) = 1. \]

  \(\Box \)

Dowód. Udowodnimy pierwszą nierówność. Dowód drugiej (ćwiczenie). Mamy kolejno:

\[ \sum _{n=1}^\infty P(Y \ge n) = \sum _{n=1}^\infty \sum _{k=n}^\infty P(k \le Y < k+1) = \]

\[ \sum _{k=1}^\infty \sum _{n=1}^k P(k \le Y < k+1) = \sum _{k=1}^\infty k P(k \le Y < k+1)= \]

\[ \sum _{k=0}^\infty \int _{\{k \le Y < k+1 \}} k\,dP \le \sum _{k=0}^\infty \int _{\{k \le Y < k+1 \}} Y\,dP = E(Y). \]

  \(\Box \)

Przypominamy podstawowe twierdzenie o przechodzeniu do granicy pod znakiem całki.

Wracamy do Mocnego Prawa Wielkich Liczb.

Dowód. Definiujemy nowe zmienne losowe:

\[ Y_n = \left \{ \begin {array}{ll} X_n, & \mbox { gdy } |X_n| < n\\ 0, & \mbox { gdy } |X_n| \ge n \end {array} \right . \]

Wykażemy najpierw, że ciąg \(\{Y_n\}\) spełnia założenia Mocnego Prawa Wielkich Liczb, Twierdzenie 10.15. Zauważmy najpierw, że: \(\di Y_n = I_{\{|X_n| < n\}} \cdot X_n \) gdzie \(I_A\) oznacza funkcję charakterystyczną (indykator) zbioru \(A\). W związku z tym zmienne losowe \(Y_n\) są niezależne jako funkcje zmiennych losowych niezależnych.

Wykażemy, że \(\di \sum _{n=1}^\infty \frac {D^2(Y_n)}{n^2} < \infty \). Mamy kolejno:

\[ \sum _{n=1}^\infty \frac {D^2(Y_n)}{n^2} \le \sum _{n=1}^\infty \frac {E(Y^2_n)}{n^2} = \sum _{n=1}^\infty \frac {1}{n^2} E(I_{\{|X_n| < n\}} \cdot X_n^2) = \]

\[ \sum _{n=1}^\infty \frac {1}{n^2} E(I_{\{|X_1| < n\}} \cdot X_1^2) = \sum _{n=1}^\infty \frac {1}{n^2} \sum _{k=1}^n E(I_{\{k-1 \le |X_1| < k\}} \cdot X_1^2) = \]

\[ \sum _{k=1}^\infty E(I_{\{k-1 \le |X_1| < k\}} \cdot X_1^2) \sum _{n=k}^\infty \frac {1}{n^2} \le \]

\[ \sum _{k=1}^\infty E(I_{\{k-1 \le |X_1| < k\}} \cdot |X_1|)\cdot k \cdot (\frac {1}{k} + \frac {1}{k^2}) \le \sum _{k=1}^\infty 2 E(I_{\{k-1 \le |X_1| < k\}}\cdot |X_1|) = 2E(|X_1|) < \infty . \]

Skorzystaliśmy tutaj z nierówności:

\[\di \sum _{n=k}^\infty \frac {1}{n^2} \le \frac {1}{k^2} + \frac {1}{k(k+1)} + \frac {1}{(k+1)(k+2)} + \dots = \frac {1}{k^2} + \frac {1}{k}.\]

Wykazaliśmy więc, że zmienne losowe \(Y_N\) spełniają Mocne Prawo Wielkich Liczb. Czyli:

(MPL) \(\di \frac {\sum _{i=1}^n Y_i - \sum _{i=1}^n E(Y_i)}{n} \stackrel {1}{\longrightarrow } 0\).

Niech \(A_n = \{X_n \neq Y_n\}\). Oczywiście \(A_n \subset \{|X_n| \ge n \}\). Mamy więc:

\[ \sum _{n=1}^\infty P(A_n) \le \sum _{n=1}^\infty P(|X_n| \ge n) = \sum _{n=1}^\infty P(|X_1| \ge n) \le E(|X_1|) < \infty . \]

Z Lematu Borela-Cantellego \(\di P\left (\bigcap _{n=0}^\infty \bigcup _{i=n }^\infty A_i\right ) = 0\). Czyli \(\di P\left (\bigcup _{n=0}^\infty \bigcap _{i=n }^\infty \{X_i = Y_i\}\right ) = 1\). Inaczej: \(\di P(X_i = Y_i\), dla prawie wszystkich \(i ) = 1\).

W szczególności:

(B-C) \(\di \frac {\sum _{i=1}^n X_i}{n} - \frac {\sum _{i=1}^n Y_i}{n} \stackrel {1}{\longrightarrow } 0\).

Zauważmy też, że:

(L+T) \(\di \frac {1}{n}\sum _{i=1}^n E(Y_i) \longrightarrow m \).

Rzeczywiście, korzystając z Twierdzenia Lebesgue’a wiemy, że \(\di E(I_{\{|X_1| <i \}}X_1) \to m \), gdy \(i \to \infty \). Mamy więc \(\di \frac {1}{n}\sum _{i=1}^n E(Y_i) = \frac {1}{n}\sum _{i=1}^n E(I_{\{|X_i| <i \}}X_i) = \frac {1}{n}\sum _{i=1}^n E(I_{\{|X_1| <i \}}X_1) \to m\), co wynika z Lematu Toeplitza.

Wykorzystując kolejno (B-C), (MPL) oraz (L+T), mamy:

\[ \frac {\sum _{i=1}^n X_i}{n} = \frac {\sum _{i=1}^n X_i}{n} - \frac {\sum _{i=1}^n Y_i}{n} + \frac {\sum _{i=1}^n Y_i - \sum _{i=1}^n E(Y_i)}{n} + \frac {1}{n}\sum _{i=1}^n E(Y_i)\]

\[\stackrel {1}{\longrightarrow } 0 + 0 + m = m. \]

  \(\Box \)

Jako natychmiastową konsekwencję mocnego prawa wielkich liczb otrzymujemy:

Komentarz, Przybliżone wyznaczanie nadziei

W wielu przypadkach chcemy poznać nadzieję matematyczną \(m = E(X)\) zmiennej losowej \(X\), ale analitycznie jest to trudne lub niemożliwe. Tymczasem, zarówno słabe prawo wielkich liczb jak i pośrednio centralne twierdzenie graniczne mówią, że \(m\) jest przybliżana w określonym sensie przez średnie \(\frac {S_n}{n}\) ciągu niezależnych zmiennych losowych \(X_1, ..., X_n\) mających ten sam rozkład co zmienna losowa \(X\).

Niekiedy potrafimy generować na komputerze wielkości \(x_1, ... x_n\), które można traktować jako niezależne realizacje zmiennej \(X\), czyli \(x_1 = X_1(\o ), ..., x_n = X_n(\o )\) dla pewnego \(\o \in \Omega \), gdzie \(X_1, ..., X_n\), są niezależnymi zmiennymi losowymi mającymi taki sam rozkład jak \(X\).

Właśnie z mocnego prawa wielkich liczb wynika, że prawie zawsze dla dużych \(n\) średnia \(\di \hat {x_n} = \frac {\sum _{i=1}^nx_i}{n}\) będąca realizacją \(\di \frac {S_n}{n}\) jest blisko \(m\).

Dla każdego zdarzenia \(A\) jego prawdopodobieństwo \(P(A)\) jest równe wartości oczekiwanej \(E(I_A)\), gdzie \(I_A\) jest funkcją charakterystyczną zbioru \(A\). W związku z tym mocne prawo wielkich liczb może być użyte także do szacowania \(P(A)\) przy pomocy komputera.

Konkluzja. Aby wyznaczyć przybliżaną wartość nadziei matematycznej \(m = E(X)\) zmiennej losowej \(X\) (prawdopodobieństwo zdarzenia \(A\)) wystarczy wygenerować odpowiednio dużo niezależnych realizacji tej zmiennej (zmiennej \(I_A\)), a ich średnia jest poszukiwaną wielkością.

Co oznacza zwrot „odpowiednio dużo"będzie częściowo wyjaśnione w trakcie omawiania metod Monte Carlo.

Ponieważ chcemy znaleźć wartości średnie \(E(I_A)\) oraz \(E(I_{A_n})\) będziemy generować \(N\) realizacji zmiennych losowych \(I_A\) oraz \(I_{A_n}\) i wyliczać ich średnie. Przykładowo otrzymaliśmy:

Gdy \(X_i\) mają rozkład jednostajny \(U(-3,5)\), \(n = 10\), \(\ve = 15\), \(N= 100\):
\(P(A) \cong \frac {3}{100}\), \(P(A_n) \cong \frac {2}{100}\), \(\frac {D^2(S_n)}{\ve ^2} = \frac {32}{135}\).

Gdy \(X_i\) mają rozkład Poissona \(P_5\), \(n = 200\), \(\ve = 40\), \(N= 100\):
\(P(A) \cong \frac {32}{100}\), \(P(A_n) \cong \frac {16}{100}\), \(\frac {D^2(S_n)}{\ve ^2} = \frac {5}{8}\)

Gdy \(X_i\) mają rozkład normalny \(N(0,2)\), \(n = 200\), \(\ve = 70\), \(N= 1000\):
\(P(A) \cong \frac {29}{1000}\), \(P(A_n) \cong \frac {17}{1000}\), \(\frac {D^2(S_n)}{\ve ^2} = \frac {8}{49}\).

Mocne Prawo Wielkich Liczb ma szereg innych ważnych konsekwencji. W szczególności stanowi podstawę całej statystyki. O jego kluczowym znaczeniu w metodach Monte Carlo powiemy jeszcze więcej później. Teraz podamy pewne inne zastosowanie.

Komentarz. Ze zbieżności \(X_n\stackrel {1}{\to } X\) nie zawsze wynika zbieżność \(E(X_n) \to E(X)\). Taką zbieżność gwarantuje Twierdzenie Lebesgue’a, o ile jednak są spełnione pewne założenia. Poniższy przykład dotyczy sytuacji, gdy nie są one spełnione.

W powyższym przykładzie:

\(E(X) = 0 \). Zauważmy też (indukcja), że \(E(X_n) = E(X_0) = 1\).

Ciąg \(X_n\) nie jest monotoniczny. Trudno byłoby też wskazać funkcję sumowalną ograniczającą wszystkie \(X_n\) z góry, gdyż nie mogą być one ograniczone od góry przez żadną stałą:

Niech \(A_i = \{\o : U_i(\o ) > \frac {3}{4}\}\). Wtedy \(X_n(\o ) > (\frac {3}{2})^n\) na zbiorze \(\bigcap _{i=1}^nA_i\).

Ponieważ jak widzimy, nie jest spełniona teza Twierdzenia Lebesgue’a, to faktycznie nie istnieje funkcja sumowalna ograniczająca z góry wszystkie \(X_n\).

Przy okazji zauważmy, że: \(D^2(X_n) = E(X_n^2) - E(X_n)^2 = E((2^nU_1\cdot \dots \cdot U_n)^2) - 1 = 4^nE(U_1^2)^n - 1 = \left (\frac 43\right )^n - 1\).

Rachunek prawdopodobieństwa 1, 2

10.3 Pytania

Wskazówka. Niech \(B \in \b (\rn )\). Wtedy \(X^{-1}(B) = (X^{-1}(B)\cap \{X = Y\}) \cup (X^{-1}(B)\cap \{X \neq Y\})\). Stąd \(P(X^{-1}(B)) = P(X^{-1}(B)\cap \{X = Y\})\). Podobnie: \(P(Y^{-1}(B)) = P(Y^{-1}(B)\cap \{X = Y\})\). Wystarczy zauważyć, że \(X^{-1}(B)\cap \{X = Y\}) = Y^{-1}(B)\cap \{X = Y\})\).

Wskazówka. Załóżmy, że \(X_n \stackrel {s}{\to } X\) oraz \(X_n \stackrel {s}{\to } Y\). Wykażemy, że \(P(X= Y) = 1\). Ustalmy \(\ve >0\). Z nierówności trójkąta, \(|X - Y| \le |X - X_n| + |Y -X_n|\), widzimy, że \(\{|X - Y| > \ve \} \subset \{|X - X_n| > \frac {\ve }{2} \} \cup \{|Y - X_n| > \frac {\ve }{2} \}\). Stąd \(P(|X - Y| > \ve ) \le P(|X - X_n| > \frac {\ve }{2}) + P(|Y - X_n| > \frac {\ve }{2})\). Gdy \(n \to \infty \) prawa strona zmierza do 0, a stąd. \(P(|X - Y| > \ve ) = 0 \). Czyli dla każdego \(\ve > 0\) \(P(|X - Y| \le \ve ) = 1\). \(\{X = Y\} = \bigcap _{\ve > 0}\{|X - Y| \le \ve \}\).

Wskazówka. Ad (1). Niech \(\ve < 1\). Wtedy \(\{|X_n| \ge \ve \} = \{X_n = 1\}\)

Ad (2). \(\{X_n \to 0\} = \Omega \setminus \bigcap _N\bigcup _{n \ge N}\{X_n = 1\}\). Stosuje się Lemat Borela-Cantellego do zdarzeń \(A_n = \{X_n=1\}\), gdyż \(X_n \stackrel {1}{\to } 0 \rwn P(A) = 0\).

Wskazówka. Ustalmy \(\ve > 0\) i weźmy takie \(\delta > 0\), że \(|x - y| \le \delta \) implikuje \(|f(x) - f(y)| \le \ve \). W takim razie

\[ P(|X_n - X| \le \delta ) \le P(|f(X_n) - f(X)| \le \ve ) \]

i wystarczy przejść z \(n\) do nieskończoności.

Z dowodu widać, że gdy \(X = c\), lub nawet bardziej ogólnie, gdy \(X\) przyjmuje wartości w zbiorze zwartym, wystarczy założyć, że \(f\) jest ciągła na tym zbiorze.

Wskazówka. Złóżmy, że \(P_X(B) = 0\), gdzie \(B = \{a \in \r : f \mbox { nie jest ciÄĚgÅĆa w } a\}\). Dla dowodu weźmy zbiór \(A = \{\o \in \Omega : X_n(\o ) \to X(\o )\}\). Wtedy dla \(\o \in A \cap (\Omega \setminus X^{-1}(B))\) zachodzi \(f(X_n(\o )) \to f(X(\o ))\), natomiast \(PA \cap (\Omega \setminus X^{-1}(B)) = 1\).

Wskazówka. Kolejno mamy: \(\frac {X_n}{n} = \frac {S_n}{n} - \frac {S_{n-1}}{n} \stackrel {1}{\to } 0\).

\(\{\frac {X_n}{n} \to 0\} \subset \bigcup _N \bigcap _{n \ge N}\{|X_n| < n\} = \Omega \setminus \bigcap _N \bigcup _{n \ge N}\{|X_n| \ge n\}\).

W związku z tym: \(P\left ( \bigcap _N \bigcup _{n \ge N}\{|X_n| \ge n\} \right ) =0\), więc z Lematu Borela-Cantellego \(\sum _{n=1}P(|X_n| \ge n) < \infty \). Ponieważ nasze zmienne losowe mają ten sam rozkład, to \(P(|X_n| \ge n) = P(|X_1| \ge n)\), więc \(\sum _{n=1}P(|X_1| \ge n) < \infty \). Z Lematu 10.18 otrzymujemy wiadomość, że \(E(|X_1|)\) jest skończona, a więc także \(m = E(X_1)\) jest skończona. MPWL dla i.i.d. kończy dowód.

Rachunek prawdopodobieństwa 1, 2

Rozdział 11 Zbieżność rozkładów i funkcje charakterystyczne

Przypominamy, że zdefiniowaliśmy już zbieżność ciągu dystrybuant, patrz Definicja 10.5:

Niech \(F_n\), \(n = 1,2,3, \dots \), oraz \(F\) będą dystrybuantami.

Zbieżność rozkładów. \(F_n \stackrel {d}{\longrightarrow } F \rwn \)

\[ \forall a \in \r , \mbox { punktu ciÄĚgÅĆoÅŻci } F , \, \lim _{n \to \infty } F_n(a) = F(a).\]

Wtedy: \(X_n \stackrel {d}{\longrightarrow } X \rwn \, F_{X_n} \stackrel {d}{\longrightarrow } F_X. \)

Możemy mówić o zbieżności samych rozkładów. Można postawić następującą definicję.

Niech \(P_n\), \(n = 1,2,3, \dots \), oraz \(P\) będą jednowymiarowymi rozkładami.

11.1 Charakteryzacja zbieżności ciągu rozkładów

Okazuje się, że powyżej sformułowana definicja zbieżności ciągu rozkładów może być sformułowana równoważnie na kilka innych sposobów, co nieraz jest wygodne.

Zanim sformułujemy i udowodnimy odpowiednie twierdzenia przytoczymy ważny rezultat pomocniczy.

Funkcja \(F\) nie musi być dystrybuantą Na przykład, biorąc dystrybuanty rozkładów jednopunktowych, \(F_{\delta _n}\), dla \(n = 1,2,3, \dots \), widzimy, że funkcja \(F = 0\).

Dowód. (szkic) Wybieram dowolny zbiór \(D \subset \r \), który jest przeliczalny i gęsty w \(\r \). Iloczyn kartezjański \([0,1]^D\) jest zbiorem zwartym, bo \([0,1]\) jest zwarty. Zacieśnienia \(F_n|D\) są elementami tego zbioru, więc istnieje podciąg \(k_n\) oraz \(F|D \in [0,1]^D\), takie, że \(\forall x \in D\) \(F_{k_n}(x) \to F|D(x)\), gdy \(n \to \infty \). Określamy: \(\di F : \r \to \r \) przez warunek \(F(x) = \inf \{F|D(y): y > x, y \in D \}\). Można teraz sprawdzić , że \(F\) oraz \(F_{k_n}\) spełniają wszystkie żądane warunki.   \(\Box \)

Niech \(\cal P\) oznacza ustaloną rodzinę rozkładów.

Rodzina jednoelementowa \({\cal P} = \{ P \}\) spełnia warunek Prochorowa: dla \(\ve > 0\) dobieramy tak \(a < b\), że \(F_P(a) < \frac {\ve }{2}\) oraz \(F_P(b) > 1 - \frac {\ve }{2}\). Niech \(a' < a\). Wtedy \(P[a',b] \ge P(a,b] = F_P(b) - F_P(a) \ge 1-\ve \).

Łatwo widać, że jeżeli dwie rodziny rozkładów spełniają warunek Prochorowa, to ich suma też spełnia ten warunek. Przez indukcję przenosi się to na skończoną liczbę rodzin rozkładów.

Rodzina rozkładów jednopunktowych \({\cal P } = \{\delta _n: n = 0,1,2, \dots \}\) nie spełnia warunku Prochorowa: dla dowolnego zbioru zwartego \(K\), \(P_{\delta _n}(K) = 0\) dla prawie wszystkich \(n\).

Podobnie rodzina \(\{N(m,1) : m \in \r \}\) oraz rodzina \(\{U(a,b): a < b < 100\}\) nie spełnia warunku Prochorowa. Natomiast rodzina \(\{N(0,\sigma ) : 0 < \sigma < 1 \}\) spełnia ten warunek (ćwiczenie).

Dowód. Niech \(\ve > 0\). Istnieje takie, \(N\), że \(P[-N,N] \ge 1 -\frac {\ve }{2}\). Biorę taką funkcję ciągłą \(g : \r \to \r \), że \(g(x) = 1\) dla \(|x| \le N\), \(g(x) = 0\) dla \(|x | \ge N+1\) oraz \(g\) jest afiniczna na przedziałach \([-N-1, - N]\), \([N, N+1]\). \(\di \int _\r g\,dP \ge \int _\r I_{[-N,N]}dP = P[-N,N] \ge 1 - \frac {\ve }{2}\). Istnieje \(n_0\), takie, że dla \(n \ge n_0\) \(\int _\r g\,dP_n \ge 1 - \ve \). Wtedy

\[ P_n[-N-1,N+1] = \int _\r I_{[-N-1,N+1]} dP_n \ge \int _\r g\,dP_n \ge 1 - \ve . \]

  \(\Box \)

Dowód. Biorę ciąg \(k_n\) oraz funkcję \(F\) z Twierdzenia 11.2 o wyborze zastosowanego do \(F_n = F_{P_n}\). Z monotoniczności \(F\) wynika, że isnieją granice, powiedzmy \(F(-\infty ) = \lim _{x \to - \infty } F(x)\), \(F(\infty ) = \lim _{x \to \infty } F(x)\). Pytamy czy \(F(\infty ) - F(-\infty ) = 1\). Niech \(\ve > 0\). Istnieje zbiór zwarty \(K \subset \r \), taki, że dla każdego \(k_n\) \(P_{k_n}(K) \ge 1 - \ve \). Biorę \(a, b\) – punkty ciągłości \(F\), takie, że \((a,b] \supset K\) (można je znaleźć ). \(F_{k_n}(b) - F_{k_n}(a) = P_{k_n}(a,b] \ge P_{k_n}(K) \ge 1 - \ve \).

W granicy: \(F(b) - F(a) \ge 1 - \ve \). Więc: \(F(\infty ) - F(-\infty ) \ge F(b) - F(a) \ge 1 - \ve \).   \(\Box \)

Naszym celem jest udowodnienie równoważności czterech warunków charakteryzujących na różne sposoby zbieżność ciągu rozkładów, twierdzenie 11.11. Dowód będzie przebiegał etapowo. Na początku wykażemy:

Dowód. Warunek \(P(a) = P(b) = 0\) oznacza, że \(F_P\) jest ciągła w tych punktach, więc \(P_n(a,b] = F_{P_n}(b) - F_{P_n}(a) \to F_P(b) - F_P(a) = P(a,b]\).   \(\Box \)

Dowód.

Niech \(a < b\). Określamy ciąg funkcji ciągłych:

\[ g_n(x) = \left \{ \begin {array}{lll} 1 & , & \mbox {dla } a + \frac {1}{n} \le x \le b\\ 0 & , & \mbox {dla } x \le a \mbox { lub } x \ge b + \frac {1}{n}\\ \mbox {afiniczna} &, & \mbox {na pozostaÅĆych przedziaÅĆach}. \end {array} \right . \]

Ponieważ \(I_{(a,b]} = \lim _{n\to \infty } g_n\), więc z Twierdzenie Lebesgue’a:

\[ P_1(a,b] = \int _{\bf R}I_{(a,b]}\,dP_1 = \lim _{n\rightarrow \infty } \int _{\bf R}g_n\,dP_1 = \]

\[ \lim _{n\rightarrow \infty } \int _{\bf R}g_n\,dP_2 = \int _{\bf R}I_{(a,b]}\,dP_2 = P_2(a,b]. \]

\(F_{P_1}(b) - F_{P_1}(a) = F_{P_2}(b) - F_{P_2}(a) \) i przechodząc z \(a\) do \(-\infty \) otrzymujemy równość dystrybuant, a więc i rozkładów.   

Jest to uogólnienie twierdzenia mówiącego, że rozkład dyskretny jest skupiony na zbiorze co najwyżej przeliczalnym. Dowód jest ten sam (ćwiczenie).

Dowód Twierdzenia 11.8

Krok I. Ustalam \(a < b\) takie, że \(P(a) = P(b) = 0\) oraz funkcję ciągłą i ograniczoną \(f : [a,b] \to \r \). Wykażemy, że:

\[ \int _a^bf\,dP_n \longrightarrow \int _a^bf\,dP. \]

\(f\) jest jednostajnie ciągła na \([a,b]\), więc korzystając z prostego Lematu:

Dla każdego \(\delta > 0\) istnieje podział \(a = x_0 < x_1 < \dots < x_N = b\) taki, że dla każdego \(k = 1,\dots ,N\) oraz \(x\in [x_{k-1},x_k]\) mamy \(|f(x) - f(x_k)| \le \delta ,\) przy czym P(\(x_0) = \dots = P(x_N) = 0.\)

Ustalamy \(\varepsilon > 0\) i dla \(\delta = {\varepsilon \over 3}\) rozważamy powyższy podział \(a = x_0 < x_1 < \dots < x_N = b\), Zdefiniujmy pomocniczą funkcję \(g\)

\[ g(x) = f(x_k) \;\;\; \mbox { dla } x \in (x_{k-1},x_k], \;\;\;k= 1,\dots ,N. \]

Z nierówności trójkąta otrzymujemy oszacowanie

\[ \left |\int _a^bf\,dP_n - \int _a^bf\,dP\right | \le I_1 + I_2 +I_3, \]

gdzie

\[ I_1 = \int _a^b|f-g|\,dP_n, \;\;\; I_2 = \left |\int _a^bg\,dP_n - \int _a^bg\,dP\right |,\;\;\; I_3 = \int _a^b|f-g|\,dP. \]

Całki \(I_1\) oraz \(I_3\) są szacowane z góry odpowiednio przez \(\delta P_n[a,b]\) oraz \(\delta P[a,b],\) a więc każda z nich jest \(\le \delta .\) Natomiast, ponieważ \(g\) jest funkcją schodkową,

\[ I_2 = \left |\sum _{k=1}^Nf(x_k)P_n(x_{k-1},x_k] - \sum _{k=1}^Nf(x_k)P(x_{k-1}, x_{k}]\right | = \]

\[ \left |\sum _{k=1}^Nf(x_k)[ P_n(x_{k-1},x_k]- P(x_{k-1},x_k]]\right | \]

i zmierza do \(0\), gdy \(n\longrightarrow \infty \), więc jest \(\le \delta \) dla dużych \(n\). Dla takich \(n\)
\(\di \left |\int _a^bf\,dP_n - \int _a^bf\,dP\right | \le \varepsilon . \).

Krok 2. Dowodzimy teraz właściwej tezy. Niech \(M = \sup _{\r } | f |\). Ustalamy \(\varepsilon > 0\) i dobierzmy liczby \(a' < b'\) tak, aby \(P(a') = P(b') = 0\) oraz: \(M\,P({\r }\setminus (a',b') ) <{\varepsilon \over 4}\).

Ponieważ \(P_n(a',b'] \longrightarrow P(a',b'],\) dla \(n\longrightarrow \infty \), bierzemy \(n\) tak duże, że \(M\,P_n({\r }\setminus (a',b'] ) \le {\varepsilon \over 4}\). Niech \(a < a'\) oraz \(b > b'\) będą punktem takimi, że \(P(a) = P(b) = 0\). Mamy teraz

\[ \left |\int _{\r }f\,dP_n -\int _{\r }f\,dP\right | \le \]

\[ \left |\int _a^bf\,dP_n -\int _a^bf\,dP\right | + \left |\int _{{\r }\setminus (a,b)}f\,dP_n -\int _{{\r }\setminus (a,b)}f\,dP\right | \le \]

\[ \left |\int _a^bf\,dP_n -\int _a^bf\,dP\right | + M\,P_n({\r }\setminus (a,b)) + M\,P({\r }\setminus (a,b)) \le \varepsilon , \]

dla dużych \(n\).   

Dowód. Z Twierdzenia 11.4 wynika, że ciąg \(\{P_n\}\) spełnia warunek Prochorowa. Z Twierdzenia o względnej zwartości dostajemy podciąg \(k_n\) oraz rozkład, powiedzmy \(Q\), taki, że \(P_{k_n} \stackrel {d}{\longrightarrow } Q\). Z Twierdzenia 11.8 \(\di \int _\r f\,dP_{k_n} \to \int _\r f\,dQ\), Ponieważ także: \(\di \int _\r f\,dP_{k_n} \to \int _\r f\,dP\), więc:

dla każdej funkcji ciągłej o suporcie zwartym zachodzi: \(\di \int _\r f\,dQ = \int _\r f \,dP\).

Z Lematu 11.7, \(Q = P\). Dowodzimy dalej nie wprost. Gdyby \(\sim (P_n \stackrel {d}{\longrightarrow } P)\), to istniałby \(a\) – punkt ciągłości \(F_P\) oraz podciąg \(l_n\) takie, że dla pewnego \(\ve > 0\) \(|F_{l_n} (a) - F_P(a)| \ge \ve \) dla wszystkich \(l_n\). Stosując poprzednie rozumowanie dla ciągu \(P_{l_n}\) otrzymamy jego podciąg, \(P_{m_{l_n}} \stackrel {d}{\longrightarrow } P\), co stanowi sprzeczność.   \(\Box \)

Wykazane poprzednio twierdzenia pozwalają na sformułowanie czterech warunków równoważnych charakteryzujących zbieżność.

Niech \(P_n\) będzie ciągiem rozkładów, \(P\) rozkładem.

Dowód.

(1) \(\imp \) (2) – Twierdzenie 11.6

(2) \(\imp \) (3) – Twierdzenie 11.8

(3) \(\imp \) (4) – oczywiste.

(4) \(\imp \) (1) – Twierdzenie 11.10   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

11.2 Funkcje charakterystyczne

Zamiast badać zbieżność miar, nieraz łatwiej jest badać zbieżność ich funkcji charakterystycznych zdefiniowanych poniżej. Funkcje charakterystyczne wykorzystywane są także do innych celów.3

Niech \(P\) będzie rozkładem na \(\r \).

Jeżeli rozkład ma dystrybuantę \(F\), to piszemy też \(h_F\) zamiast \(h_P\). Podobnie gdy \(P\) jest rozkładem pewnej zmiennej losowej \(X\), to mówimy o funkcji charakterystycznej zmiennej losowej, mając na myśli funkcję charakterystyczną jej rozkładu. Piszemy wtedy \(h_X\).

W tym ostatnim przypadku mamy:

\[ h_X(u) = E(e^{iuX}) = E(\cos uX) + iE(\sin uX). \]

Niech \(h\) będzie funkcją charakterystyczną pewnego rozkładu. Wtedy:

• 1. \(\;\;h(0) = 1.\)

• 2. \(\;\;|h(u)| \le 1\), dla każdego \(u \in {\bf R},\)

• 3. \(\;\;h\) jest funkcją ciągłą.
  
  Dla dowolnej zmiennej losowej \(X\) oraz liczb rzeczywistych \(a,b\) mamy

• 4. \(\;\;h_{aX + b}(u) = e^{iub}\,h_X(au)\).

Dowód. wynika natychmiast z odpowiednich własności całek (ćwiczenie).   \(\Box \)

Dowód. \(X_1,X_2,\,\dots ,X_n\) są niezależne, \(e^{iuX_1},\dots ,e^{iuX_n}\) (traktowane jako wektory losowe o wartościach w \(\r ^2\)), a więc: \(\di h_{X_1+\dots +X_n }(u) = E\left (e^{iu(X_1 + \dots + X_n)} \right ) = E\left (e^{iuX_1} \cdot \dots \cdot e^{iuX_n} \right ) = E\left (e^{iuX_1}\right ) \cdot \dots \cdot E\left (e^{iuX_n} \right ) = h_{X_1}(u) \cdot \dots \cdot h_{X_n}(u)\).   \(\Box \)

Dowód. Jeżeli mamy równość funkcji charakterystycznych \(h_{P_1} = h_{P_2}\), to są sobie równe ich części rzeczywiste i urojone, a więc dla każdego \(u \in \r \) mamy:

\[ \int _{\r }\cos ux\,dP_1(x) = \int _{\r }\cos ux\,dP_2(x), \]

\[ \int _{\r }\sin ux\,dP_1(x) = \int _{\r }\sin ux\,dP_2(x). \]

Z liniowości całek możemy rozszerzyć tę równość na dowolne wielomiany trygonometryczne a następnie na funkcje ciągłe i okresowe \({\r } \longrightarrow {\r }\), gdyż z analizy wiadomo, że każdą funkcję ciągłą i okresową można aproksymować jednostajnie na \(\r \) wielomianami trygonometrycznymi.

Niech teraz \(g\) będzie dowolną funkcją ciągłą o suporcie zwartym. Pokażemy, że równość powyższa zachodzi także dla \(g\), czyli że

\[ \int _{\r }g(x)\,dP_1(x) = \int _{\r }g(x)\,dP_2(x). \]

Ustalmy dowolne \(\varepsilon > 0\) i niech \(M = \sup \{|g(x)|: x\in {\r }\}\). Ponieważ zbiory \({\r }\setminus (-T,T)\,\) tworzą ciąg zstępujący (gdy T rośnie) o części wspólnej \(=\emptyset ,\) więc można znaleźć takie \(T\), że \(P_i({\r } \setminus I) \le {\varepsilon \over 2M}\) dla \(i=1,\,2\) oraz \(supp\,g \subset I\), gdzie \(I\) oznacza przedział \((-T,T).\)

Zmodyfikujmy funkcją \(g\) poza przedziałem \(I\) tak, aby otrzymać funkcję \(\tilde {g}\) okresową i ciągłą, określoną na \(\r \) i taką, że \(g|I = \tilde {g}|I\) .

Oczywiście \(|\tilde {g}(x)| \le M,\) dla każdego \(x \in {\r },\) przy czym:

\[ \int _{\r }\tilde {g}(x)\,dP_1(x) = \int _{\r }\tilde {g}(x)\,dP_2(x). \]

Z równości tej kolejno otrzymujemy:

\[ \int _{I}\tilde {g}(x)\,dP_1(x) + \int _{\r \setminus I}\tilde {g}(x)\,dP_1(x) = \int _{I}\tilde {g}(x)\,dP_2(x) \int _{\r \setminus I}\tilde {g}(x)\,dP_2(x). \]

\[ \left |\int _I\tilde {g}(x)\,dP_1(x) - \int _I\tilde {g}(x)\,dP_2(x)\right | = \left |\int _{{\r }\setminus I}\tilde {g}(x)\,dP_1(x) - \int _{{\r }\setminus I}\tilde {g}(x)\,dP_2(x)\right | \le \]

\[ \left |\int _{{\r }\setminus I}\tilde {g}(x)\,dP_1(x)\right | + \left | \int _{{\r }\setminus I}\tilde {g}(x)\,dP_2(x)\right | \le 2\, M{\varepsilon \over 2M } =\varepsilon . \]

Mamy więc:

\[ \left |\int _{\r }g(x)\,dP_1(x) - \int _{\r }g(x)\,dP_2(x)\right | = \left |\int _I\tilde {g}(x)\,dP_1(x) - \int _I\tilde {g}(x)\,dP_2(x)\right | \le \varepsilon . \]

Ponieważ \(\varepsilon > 0\) jest dowolne, więc dla funkcji ciągłych o suporcie zwartym całki reż są sobie równe.

Z Lematu 11.7, \(P_1 = P_2\).   \(\Box \)

Istnieje iniekcja określona na zbiorze rozkładów w zbiór funkcji ciągłych i ograniczonych \(\r \to K(0,1) \subset \C \), spełniających warunek \(h(0) = 1\). UWAGA. (1) To nie jest suriekcja na powyższy zbiór. (2) Istnieje jednak pełna charakteryzacja obrazu tego odwzorowania.

Dowód. Przeprowadzimy dla \(k = 1\); dla pozostałych \(k\) dowód jest już prosty.

Ponieważ

\[ \int _{\r }\left |\frac {d}{du}e^{iux}\right |dP_X(x) = \int _{\r }|ixe^{iux}|dP_X(x) = \int _{\r }|x|dP_X(x) = E(|X|) < \infty , \]

więc – korzystając ze znanego z kursu analizy twierdzenia – istnieje pochodna funkcji określonej przez całkę: \(\frac {d}{du}\,\int _{\r }e^{iux}dP(x) = h'(u)\), i aby ją obliczyć, można różniczkować pod znakiem całki. Tak więc

\[h'(u) = \int _{\r }ix\,e^{iux}dP_X(x),\]

a kładąc \(u = 0\), mamy \(\di h'(0) =i\,\int _{\r }xdP_X(x) = i\, E(X)\).   \(\Box \)

Większość używanych rozkładów na już dawno wyznaczone swoje funkcje charakterystyczne. Warto jednak zobaczyć choćby jak to się robi.

• 1. Dla rozkładu dyskretnego

  \[ h_P(u) = \sum _{k=0}^Ne^{iux_k}p_k. \]

• 2. Dla rozkładów ciągłych

  \[ h_P(u) = \int _\r e^{iux}f(x)\, dx. \]

Przykład, rozkład \(\delta _c\).

\(h_{\delta _c}(u) = e^{iuc} 1 = e^{iuc}\). Przykład, rozkład \(N(0,1)\).

Dowód. (nieobowiązkowy)

Dopełniając do kwadratu, otrzymujemy

\[ h(u) = \int _\r e^{iux}\frac {1}{\sqrt {2\pi }} e^{-\frac {1}{2}x^2}\,dx = \frac {e^{-\frac {u^2}{2}}} {\sqrt {2\pi }}\int _\r e^{-\frac {1}{2}(x-iu)^2}\,dx \]

Wystarczy udowodnić, że \(I:= \int _\r e^{-\frac {1}{2}(x-iu)^2}\,dx = \sqrt {2\pi }. \)

Wiedząc, że całka z funkcji analitycznej po drodze zamkniętej jest równa zeru, rozważmy funkcję \(f(z)=e^{-\frac {1}{2}z^2}\) oraz prostokąt o wierzchołkach w punktach \(-N - iu,\, N- iu,\,N,\,-N\), gdzie \(N\) oraz \(u\) są ustalonymi liczbami rzeczywistymi.

\[ \int _{-N -iu}^{N-iu}f(z)\,dz + \int _N^{-N}f(z)\,dz + R_N = 0. \]

gdzie \(R_N\) jest sumą dwóch całek po odcinkach pionowych. Niech \(z = x -iu\)

\[ \int _{-N}^Ne^{-\frac {1}{2}(x-iu)^2}\,dx = \int _{-N}^Nf(z)\,dz - R_N = \int _{-N}^Ne^{-\frac {1}{2}x^2}\,dx - R_N. \]

Gdy \(N\longrightarrow \infty \), to \(R_N \longrightarrow 0\), gdyż miara pionowych odcinków jest stała, a funkcja \(f\) na tych odcinkach maleje do \(0\). W takim razie

\[ I = \lim _{N\rightarrow \infty } \int _{-N}^Ne^{-\frac {1}{2}(x-iu)^2}\,dx = \lim _{N\rightarrow \infty }\int _{-N}^Ne^{-\frac {1}{2}x^2}\,dx =\int _{-\infty }^\infty e^{-\frac {1}{2}x^2}\,dx = \sqrt {2\pi }. \]

  

Znajomość funkcji charakterystycznej pozwala czasami na oszacowanie prawdopodobieństwa „ogona" rozkładu:

Dowód. \(\di \int _{-u}^u 1 - h(s)\,ds = \int _{-u}^u \int _\r dP(x) - \int _\r e^{isx}dP(x)\,ds = \) \(\di \int _\r \int _{-u}^u 1 - \cos (sx)\,ds\,dP(x) = \int _\r 2u - 2\frac {\sin (ux)}{x} \,dP(x) = \) \(\di 2u\left (\int _{\{x: |ux| < 2 \}} 1 - \frac {\sin (ux)}{ux} \,dP(x) + \int _{\{x: |ux| \ge 2 \}} 1 - \frac {\sin (ux)}{ux} \,dP(x) \right ) \ge \)

\(\di 2u(0 + \frac {1}{2}P(x: |ux| \ge 2)) = u P(x: |ux| \ge 2)\).   \(\Box \)

Jednym z najważniejszych zalet funkcji charakterystycznych jest zgodność zbieżności ciągu rozkładów ze zbieżnością odpowiedniego ciągu funkcji charakterystycznych. Mówi o tym następujące twierdzenie.

Dowód. Ad 1. Dla każdego \(u\), \(\sin (ux)\) oraz \(\cos (ux)\) są funkcjami ciągłymi i ograniczonymi, więc stosuje się Twierdzenie 11.11 o zbieżności rozkładów.

Ad 2. Udowodnimy, że \(\{P_n\}\) spełnia warunek Prochorowa. Niech \(\ve > 0\). Niech \(0 < \ve ' < \ve \). Istnieje \(u > 0\), takie, że \(|1 - h(s)| \le \frac {\ve '}{2}\), dla \(|s| \le u\).
Z własności całek: \(\di \frac {1}{2u} \int _{-u}^u |1- h(s)|\,ds \le \frac {\ve '}{2}\).
Z twierdzenia Lebesgue’a \(\di \frac {1}{2u} \int _{-u}^u |1- h_n(s)|\,ds \to \frac {1}{2u} \int _{-u}^u |1- h(s)|\,ds\). Istnieje \(n_0\) takie, że dla \(n \ge n_0\) \(\frac {1}{2u} \int _{-u}^u1- h_n(s)\,ds \le \frac {\ve }{2}\). Z poprzedniego twierdzenia: \(P_n(x \in \r : |x| \ge \frac {2}{u}) \le \frac {1}{u}\int _{-u}^u 1 - h_n(s)\,ds \le \ve \).

\(\{P_n\}\) spełnia więc warunek Prochorowa. Istniej podciąg \(\{P_{k_n}\}\) oraz rozkład \(P\), taki, że \(P_{p_n} \stackrel {d}{\longrightarrow } P\). Z punktu 1: \(\forall \, u \in \r \lim _{n\to \infty }h_{P_{k_n}}(u) = h_P(u)\). Ale również \(\forall \, u \in \r \lim _{n\to \infty }h_{P_{k_n}}(u) = h(u)\). Więc \(h_P = h\). Gdyby \(P_n\) nie zmierzał do \(P\), to istniałby podciąg \(P_{l_n}\) oraz rozkład \(Q\) różny od \(P\) taki, że \(P_{l_n} \stackrel {d}{\longrightarrow } Q\). Rozumując jak poprzednio widzimy, że \(h_Q = h = h_P\). Z twierdzenia o jednoznaczności \(P = Q\).   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

11.3 Dowód centralnego twierdzenia granicznego

W oparciu o teorię funkcji charakterystycznych możemy podać dowód Centralnego Twierdzenia Granicznego. Najpierw udowodnimy twierdzenie Lindeberga-Lévy’ego, twierdzenie 9.1, a jak się okaże wynikają z niego twierdzenie 9.2 oraz twierdzenie 9.3.

Przypominamy, że: \(X_1,\,X_2,\, X_3,\dots \) jest ciągiem niezależnych zmiennych losowych określonych (i.i.d.) na przestrzeni probabilistycznej (Ω, Σ, P ) . Wszystkie zmienne losowe \(X_i\) mają taki sam rozkład, a ich wspólna nadzieja matematyczna \(m\) oraz wariancja \(\sigma ^2\) istnieją i są skończone, przy czym \(\sigma > 0\) .

\[S_n = X_1 + \dots +X_n, \ \ \ Z_n := \frac {S_n -E(S_n)}{\sqrt {D^2(S_n)}} = \frac {S_n-nm}{\sigma \sqrt {n}}. \]

Wtedy \(E(Z_n) = 0\) oraz \(D^2(Z_n) = 1\) (ćwiczenie).

Mamy wykazać, że: Dla każdego \(x \in \r \) zachodzi równość:

\[ \lim _{n\rightarrow \infty }P(Z_n \le x) = \Phi (x), \]

gdzie \(\Phi \) jest dystrybuantą standardowego rozkładu normalnego, czyli, że \(P_{Z_n} \stackrel {d}{\str } N(0,1)\).

Dowód. Skorzystamy z drugiej części twierdzenia o ciągłości.

Musimy więc wykazać, że ciąg funkcji charakterystycznych \(h_n := h_{Z_n}\) jest zbieżny do funkcji charakterystycznej \(h_\Phi \), którą to funkcję wyznaczyliśmy.

\[ h_\Phi (u) = e^{-\frac {1}{2}u^2}. \]

Ponieważ

\[ Z_n = \frac {(X_1 -m) + \dots +(X_n - m)}{\sigma \sqrt {n}}, \]

więc korzystając z niezależności zmiennych losowych \((X_1 -m) , \dots ,(X_n - m)\) oraz z własności funkcji charakterystycznych otrzymujemy:

\[ h_n(u) = h\left ( \frac {u}{\sigma \sqrt {n}}\right )^n, \]

gdzie przez \(h\) oznaczamy funkcję charakterystyczną rozkładu zmiennej losowej \(X_i - m\).

Ponieważ zmienne losowe mają z założenia moment rzędu 2, więc wiemy, że funkcja \(h\) jest dwukrotnie różniczkowalna w zerze. Mamy przy tym

\[ h(0) = 1,\;\;\;\;\; h'(0) = i E(X_i - m) = 0,\;\;\;\;\;h''(0) = i^2 E((X_i -m)^2) = - \sigma ^2. \]

Mamy więc:

\[ h(u) = 1 - \frac {1}{2} \sigma ^2 u^2 +o(u^2), \;\;\;\mbox { gdy } u \longrightarrow 0. \]

Przypomnienie Dla funkcji \(f, g\) określonych na przestrzeni topologicznej \(A\) oraz \(a \in A\) definiujemy:

\[ f(x) = o(g(x), x \to a \ \rwn \ \forall \ve > 0 \ \exists U \mbox { otoczenie } a \ \forall x \in U \ |f(x)| \le \ve |g(x)|. \]

Intuicja Gdy \(g(x) \to 0\) dla \(x \to a\) oraz \(f(x) = o(g(x), x \to a\),
to \(f(x)\) ZMIERZA ISTOTNIE SZYBCIEJ do 0 niż \(g(x)\).

Ustalmy teraz \(u\). Mamy wtedy

\[ h\left (\frac {u}{\sigma \sqrt {n}}\right ) = 1 - \frac {1}{2}\frac {u^2}{n} + o\left (\frac {1}{n}\right ),\mbox { gdy } n \longrightarrow \infty . \]

Oznacza to, że dla dużych \(n\) wartości \(h(\frac {u}{\sigma \sqrt {n}})\) leżą w kole o środku w punkcie \(z = 1\) i promieniu \(r = 1\).

Jak wiadomo z kursu funkcji analitycznych, w kole tym istnieje dokładnie jedna funkcja analityczna (nazywa się ją gałęzią logarytmu naturalnego i oznacza przez \(\log \)), taka, że: \(e^{\log z} = z\) oraz \(\log \,1 = 0\). Możemy też skorzystać z faktów, że: \(\log z^n = n \log z\) oraz:

\[ \log \,(1 + z) = z + o(z),\;\;\; \mbox { dla } z \longrightarrow 0 .\]

Kolejno mamy:

\[ \log h_n(u) = n\log h\left (\frac {u}{\sigma \sqrt {n}}\right ) = n\log \left ( 1 - \frac {1}{2}\frac {u^2}{n} + o\left (\frac {1}{n}\right )\right ) ,\mbox { gdy } n \longrightarrow \infty , \]

\[ \log h_n(u) = - \frac {1}{2}u^2 + \phi (n), \]

gdzie \(\phi (n) = o\left (- \frac {1}{2}\frac {u^2}{n}+ n o\left (\frac {1}{n}\right )\right )\) dla \(n \longrightarrow \infty \).

Widać, że \(\phi (n) \longrightarrow 0\) dla \(n \longrightarrow \infty \).

Tak więc ostatecznie

\[ h_n(u) = e^{-\frac {u^2}{2}}e^{\phi (n)} \longrightarrow e^{-\frac {u^2}{2}} = h_\Phi (u), \;\; \mbox { dla }n \longrightarrow \infty .\‚\]

Z twierdzenia o ciągłości \(P_{Z_n} \stackrel {d}{\longrightarrow } N(0,1)\).   \(\Box \)

Komentarz. Wiadomo, że \(\di \lim _{n\to \infty }\left (1 - \frac {1}{2}\frac {u^2}{n} \right )^n = e^{-\frac {u^2}{2}}\). Stosując elementy teorii funkcji analitycznych pokazaliśmy, że również \(\di \lim _{n\to \infty }\left (1 - \frac {1}{2}\frac {u^2}{n} +o\left (\frac {1}{n}\right )\right )^n = e^{-\frac {u^2}{2}}\), co jest raczej zgodne z intuicją.

Jest to konsekwencja następującego lematu.

Dowód lematu. Ustalmy \(\varepsilon > 0\) i bez straty ogólności załóżmy, że \(\varepsilon < 1\). Ponieważ dystrybuanta \(F\) jest funkcją ciągłą, istnieją punkty \(x_1, \dots , x_r\) takie, że \(F(x_k) = \frac {k\varepsilon }{2},\;\; k = 1,\dots ,r\), gdzie \(r\) jest największą liczbą taką, że \(\frac {r\varepsilon }{2} < 1\). Połóżmy dodatkowo \(x_0 = -\infty ,\;x_{r+1} = \infty \). Oczywiście jest \(F(x_{k+1}) - F(x_k) \le {\varepsilon \over 2}.\) Z założenia wiemy, że we wszystkich punktach \(x_k\) mamy \(\lim _{n\rightarrow \infty }F_n(x_k) = F(x_k)\). Ponieważ jest ich skończenie wiele, istnieje takie \(N\), że dla \(n >N\) i dla wszystkich \(k = 1, \dots r\)

\[ |F_n(x_k) - F(x_k)| \le {\varepsilon \over 2}. \]

Niech \(x \in \r \) będzie dowolnie ustalone. Istnieje taki przedział \([x_k,x_{k+1})\), który zawiera \(x\). Mamy teraz

\[ F_n(x) - F(x) \le F_n(x_{k+1}) - F(x_k) \le F(x_{k+1}) +{\varepsilon \over 2} - F(x_k) \le \varepsilon \]

i podobnie

\[ F(x) - F_n(x) \le F(x_{k+1}) - F_n(x_k) \le F(x_{k+1}) - (F(x_k) - {\varepsilon \over 2}) \le \varepsilon , \]

co oznacza, że \(\;\;\;|F_n(x) - F(x)| \le \varepsilon \) dla dowolnego \(x\) oraz \(n >N\).   

Dowód twierdzenia 9.2, CTG dla sum.

Ponieważ z określenia zmiennej losowej \(Z_n\) mamy \(S_n = \sigma \sqrt {n}Z_n + nm\), więc mamy

\[ F_{S_n}(x) = F_{Z_n}\left (\frac {x-nm}{\sigma \sqrt {n}}\right ). \]

Natomiast także w naszym przypadku:

\[ \Phi _{nm,\sigma \sqrt {n}}(x) = \Phi \left (\frac {x-nm}{\sigma \sqrt {n}}\right ). \]

Twierdzenie 11.21 mówi, że: \(\forall \, \ve >0 \ \exists \, n_0 \ \forall n \ge n_0 \ \forall \, x \in \r \)

\[ \left | F_{S_n}(x) - \Phi _{nm,\sigma \sqrt {n}}(x) \right | = \left | F_{Z_n}\left (\frac {x-nm}{\sigma \sqrt {n}}\right ) - \Phi \left (\frac {x-nm}{\sigma \sqrt {n}}\right )\right | < \ve . \]

  

Dowód twierdzenia 9.3, CTG dla średnich (ćwiczenie).   

Rachunek prawdopodobieństwa 1, 2

11.4 Funkcje tworzące

Do badania rozkładów zmiennych losowych przyjmujących wartości całkowite nieujemne zamiast funkcji charakterystycznych można używać tak zwanych funkcji tworzących.

Niech \(a_i\), \(i = 0,1,2,3, \dots \) będzie ciągiem liczb rzeczywistych nieujemnych. Funkcją tworzącą tego ciągu jest funkcja zmiennej zespolonej \(z\):

\begin{equation} \alpha (z) := \sum _{i = 0}^\infty a_i z^i. \label {eq:tw1} \end{equation}

Zauważmy, że jeżeli ciąg \(\{a_i\}\) jest ograniczony, to szereg powyższy jest zbieżny dla \(|z|<1\), a więc funkcja \(\alpha \) jest analityczna w otwartym kole \(K(0,1)\). Jeżeli dodatkowo \(\sum _{i = 0}^\infty a_i = 1\), to szereg (11.1) jest zbieżny także dla \(|z|= 1\).

Niech \(X\) będzie zmienną losową określoną na odpowiedniej przestrzeni probabilistycznej. Załóżmy, że \(X\) przyjmuje jedynie wartožci całkowite nieujemne, czyli \(P\left (\bigcup _{i=0}^\infty \{X = i\}\right ) = 1\). Niech \(p_i = P(X = i)\), \(i = 0,1,2, \dots \). Określamy funkcję tworzącą zmiennej losowej \(X\) jako funkcję tworzącą ciągu \(\{p_i\}\). Jest to więc funkcja:

\begin{equation} \pi _X(z) := \pi (z) = \sum _{i = 0}^\infty p_i z^i. \label {eq:tw2} \end{equation}

Zauważmy, że funkcja tworząca \(\pi _X\) oraz funkcja charakterystyczna \(h_X\) są ze sobą ściśle związane. Mianowicie, stosując wzór na funkcję charakterystyczną rozkładu dyskretnego, strona (página for item 1), mamy dla rzeczywistych \(u\):

\[ h_X(u) = \sum _{k= 0}^\infty e^{iuk}p_k = \sum _{k= 0}^\infty (e^{iu})^kp_k = \pi _X(e^{iu}). \]

Ponieważ funkcja \(\pi \), jako funkcja analityczna w kole \(K(0,1)\), jest wyznaczona jednoznacznie przez swoje wartości na okręgu \(|z|=1\), powyższy związek pozwala wykazać wiele własności funkcji tworzących na podstawie odpowiednich własności funkcji charakterystycznych. Własności te mogą być otrzymane także bezpośrednio – bez odwoływania się do funkcji charakterystycznych. Na przykład, często wykorzystuje się następującą własność będącą konsekwencją (ćwiczenie) twierdzenia 11.13:

Zachodzi także twierdzenie o jednoznaczności rozkładu, które jest szczególnym przypadkiem twierdzenia 11.14 (ćwiczenie).

Podobnie jak funkcje charakterystyczne, funkcje tworzące mogą służyć do wyznaczania momentów.

Dowód. Można zróżniczkować szereg dla \(|z| < 1\). Ponieważ istnieje \(E(X)\), to szereg określający \(\pi _x'\) jest zbieżny dla \(z = 1\) (ćwiczenie).

Podamy teraz trzy proste zastosowania funkcji tworzących:

Spacery losowe po prostej

Wyobraźmy sobie ruch cząstki po osi liczbowej odbywający się według następujących zasad. (1) W chwili \(n=0\) cząstka znajduje się w ustalonym punkcie, powiedzmy w punkcie \(A =0\). (2) Jeżeli w chwili \(n\) cząstka znajduje się w punkcie \(x\), to w chwili \(n+1\) znajduje się w punkcie \(x+1\) z prawdopodobieństwem \(p\) i w punkcie \(x-1\) z prawdopodobieństwem \(q\). Zakładamy, że \(p+q=1\). Interesuje nas czy cząstka musi wrócić do wyjściowego stanu \(A\).

Najpierw sprecyzujemy nasze zadanie. Niech \(X_i\), \(i = 1,2,3, \dots \) będą niezależnymi zmiennymi losowymi o rozkładzie:

\[ P(X_i = -1) = q,\ \ \ \ \ P(X_i= 1) = p. \]

Niech \(S_n = X_1 + \dots + X_n\) i niech

\begin{equation} T = min \{n > 0: S_n = 0 \}. \label {eq:tw8} \end{equation}

Pytanie postawione poprzednio można teraz sformułować następująco: Czy \(P(T< \infty ) = 1\)? Prawdopodobieństwo \(P(T< \infty )\) nazywamy prawdopodobieństwem powrotu.

Rozważmy dwa ciągi liczb \(\{a_n\}\) oraz \(\{f_n\}\) określające odpowiednio prawdopodobieństwa pobytu cząstki w punkcie \(A\) w chwili \(n\) oraz prawdopodobieństwo pierwszego powrotu do \(A\) w chwili \(n\). Definiujemy więc:

\[ a_n = P(S_n=0),\ \ \ \ \ \ \ f_n = P(T = n),\ \ \ \ \ \ \mbox { dla } n = 1,2,3, \dots \]

oraz dookreślamy \(a_0 = 0\), \(f_0 = 0\).

Ponieważ zdarzenia \(\{T = n\}\) są parami rozłączne, więc prawdopodobieństwo powrotu:

\[ P(T < \infty ) = \sum _{n=0}^\infty f_n = \varphi (1), \]

gdzie \(\varphi \) jest funkcją tworzącą ciągu \(\{f_n\}\). Oczywiście \(\varphi (1) \le 1\).

Znajdziemy związek między funkcją \(\varphi \) oraz \(\alpha \), funkcją tworzącą ciągu \(a_n\). Ze wzoru na prawdopodobieństwo całkowite oraz z niezależności zmiennych \(X_k\) mamy dla \(n =1,2,3, \dots \) (ćwiczenie):

\(a_1 =f_1\),
\(a_2 =f_1 a_1 + f_2 \),
\(a_3 =f_1 a_2 + f_2 a_1 + f_3\),
\(a_4 =f_1 a_3 + f_2 a_2 + f_3a_1 + f_4\),
\(\dots \ \ \ \ \ \dots \ \ \ \ \ \dots \ \ \ \ \ \dots \ \ \ \ \‚\dots \ \ \ \ \‚\dots \)

Pomnóżmy te równości odpowiednio przez \(z\), \(z^2\), \(z^3\), \(z^4\), \(\dots \) , \(|z| < 1\), i zsumujmy stronami. Otrzymujemy:

\[ \alpha (z) = f_1z\ (1 + a_1z + a_2 z^2 + \dots ) + f_2z^2\ (1 + a_1z + a_2 z^2 + \dots ) + \]

\[ f_3z^3\ (1 + a_1z + a_2 z^2 + \dots ) + \dots . \]

Mamy więc dla \(|z|<1\)

\[ \alpha (z) = \varphi (z) (1 + \alpha (z)). \]

Niech \(z\) zmierza do \(1\) po osi rzeczywistej w sposób rosnący. Wtedy wartości \(\alpha (z)\), \(\varphi (z)\) rosną i zmierzają odpowiednio do granic \(\alpha (1)\) i \(\varphi (1)\), czyli:

\[ \alpha (1) = \varphi (1) (1 + \alpha (1)), \]

przy czym wiemy, że \(\varphi (1) \le 1\). Widzimy teraz, że \(\varphi (1) = 1\), wtedy i tylko wtedy, gdy \(\alpha (1) = \infty \). Co więcej, gdy \(\alpha (1) < \infty \), to

\begin{equation} \varphi (1) = \frac {\alpha (1)}{1+\alpha (1)} \label {eq:tw3} \end{equation}

Wykazaliśmy więc następujące:

Wyznaczymy teraz liczby \(a_n\). Są to prawdopodobieństwa tego, że cząstka startująca z \(A\) znajdzie się po \(n\) krokach znowu w punkcie \(A\). Cząstka musi więc wykonać tyle samo kroków w prawo co w lewo. Mamy więc:

\[ a_{n} = \left \{ \begin {array}{cl} 0, & \mbox { gdy } n = 2k - 1\\ \left (^{2k}_{\, k} \right ) p^kq^k, & \mbox { gdy } n = 2k \end {array} \right ., \mbox { dla } k = 1,2,3, \dots \]

Do zbadania zbieżności szeregu \(\sum _{n=1}^\infty a_n\) wykorzystamy słynny wzór:

Wzór Stirlinga

\(\seteqnumber{0}{11.}{5}\)

\begin{equation} \lim _{n \to \infty } \frac {n!}{n^n e^{-n} \sqrt {2\pi n} } = 1, \end{equation}

który często używany jest w formie:

\[\di n! \cong n^n e^{-n} \sqrt {2\pi n}, \mbox { dla duÅijych } n.\]

Wzór ten oznacza (ćwiczenie), że:

\begin{equation} a_{2k} \cong \frac {(4pq)^k}{\sqrt {\pi k}}, \ \ \ k \longrightarrow \infty . \label {eq:tw5} \end{equation}

Ponieważ \(pq \le \frac {1}{4}\), a równość zachodzi dokładnie wtedy, gdy \(p = q = \frac {1}{2}\), widzimy, że:

\[ \sum _{n=1}^\infty a_n = \infty \ \ \ \Longleftrightarrow \ \ \ p = q =\frac {1}{2}. \]

Tak więc przy symetrycznym spacerze losowym po prostej cząstka prędzej czy później powróci do stanu wyjściowego. Natomiast, gdy spacer nie jest symetryczny cząstka z dodatnim prawdopodobieństwem nigdy nie powróci do stanu wyjściowego.

Można też bezpośrednio wyznaczyć sumę szeregu \(\sum _{n=1}^\infty a_n\) oraz \(P(T < \infty )\), patrz Ćwiczenie 11.4. Mianowicie:

\[ P(T < \infty ) = 1 - |2p-1| = 1 - |p-q|. \]

Jako, że dyskutowany przez nas spacer losowy jest szczególnym przypadkiem łańcucha Markowa, wrócimy do tego problemu w rozdziale 16. Wykorzystamy wtedy przybliżenie zadane wzorem (11.7).

Suma losowej liczby składników

Niech \(X_1, X_2, X_3, \dots \) oraz \(N\) będą zmiennymi losowymi przyjmującymi wartości całkowite nieujemne. Interesuje nas suma pierwszych \(N\) zmiennych \(X_i\), czyli zmienna losowa:

\[ S := X_1 + \dots + X_N. \]

Wykażemy następujące:

Dowód. Niech \(\pi (z) = \sum _{i=0}^\infty p_iz^i\), \(\nu (z) = \sum _{i=0}^\infty n_iz^i\), \(\sigma (z) = \sum _{i=0}^\infty s_iz^i\). Oznaczmy przez \(\sigma ^{(n)}\) funkcję tworzącą sumy \(S_n = X_1 + X_2 + \dots + X_n\), \(n = 0,1,2,3 \dots \). Niech \(\sigma ^{(n)}(z) = \sum _{i=0}^\infty s^{(n)}_iz^i\). Po pierwsze, z niezależności \(N\) od \(X_i\) mamy dla \(j = 0,1,2,3, \dots \):

\[ s_k = P(S = k) = \sum _{i=0}^\infty P(N=i) P(S_i = k) = \sum _{i=0}^\infty \nu _i s^{(i)}_k. \]

Po drugie, z twierdzenia 11.23 wiemy, że \(\sigma ^{(i)}(z) = \pi (z)^i\) i stąd:

\[ (\nu \circ \pi )(z) = \nu (\pi (z)) = \sum _{i=0}^\infty n_i\pi (z)^i = \sum _{i=0}^\infty n_i \sigma ^{(i)}(z) = \]

\[ \sum _{i=0}^\infty n_i \sum _{k=0}^\infty s^{(i)}_k z^k = \sum _{k=0}^\infty \left ( \sum _{i=0}^\infty \nu _is^{(i)}_k \right ) z^k = \sum _{k=0}^\infty s_k z^k, \]

co oznacza tezę.   

Proces gałązkowy

Rachunek prawdopodobieństwa 1, 2

11.5 Pytania

Wskazówka. Ad 1. Nie. Ustalmy jakikolwiek zbiór zwarty. Jest on zawarty w jakimś przedziale postaci \([-N,N]\). Można obliczyć \(P([-N,N])\) i zobaczyć, że dla dużych \(m\) jest ono dla każdego ustalonego \(N\) małe.

Ad 2. Tak. Rozumowanie podobne jak wyżej.

Ad 3. Nie. Rozumowanie podobne jak wyżej, tylko mniej liczenia.

Wskazówka. Postępujemy podobnie jak w dowodzie CTG. Niech \(h\) będzie funkcją charakterystyczną zmiennej \(X_i\). Wtedy:

\[h(u) = 1 + imu + o(u),\]

\[h_{\frac {S_n}{n}}(u) = h \left (\frac {u}{n}\right )^n = \left (1 + im\frac {u}{n} + o(\frac {1}{n})\right )^n \to e^{ium} = h_m(u).\]

Więc \(\di \frac {S_n}{n} \stackrel {d}{\to } m\), więc także \(\di \frac {S_n}{n} \stackrel {s}{\to } m\).

Wskazówka. Tak samo jak dla sum.

Wskazówka.

Ad 1. \(\di P\left (\left |S_n-\frac {n}{2} \right | \ge \ve \right ) = 2 - 2\Phi \left (\frac {\ve }{2\sqrt {n}}\right ) \to 1\).

Ad 2. \(\di P\left (\left |S_n-\frac {n}{2} \right | \ge \ve n\right ) = 2 - 2\Phi \left (\frac {\ve \sqrt {n}}{2}\right ) \to 0\).

Ad 3. \(\di P\left (\left |S_n-\frac {n}{2} \right | \ge \ve \sqrt {n}\right ) = 2 - 2\Phi \left (\frac {\ve }{2}\right )\).

Wskazówka. Twierdzenie Dla dowolnego \(\ve > 0\):

• 1. \(\di \lim _{n\rightarrow \infty } P\left (\left |S_n-(n-S_n) \right | \ge \ve \right ) = 1, \)

• 2. \(\di \lim _{n\rightarrow \infty } P\left (\left |\frac {n-S_n}{S_n} - 1 \right | \ge \ve \right ) = 0. \)

Dowód. 1. wynika z 1. z punktu 1 w poprzednim pytaniu.

\[ 2. \ \ \ P\left (\left |\frac {n-S_n}{S_n} - 1 \right | \ge \ve \right ) = 1 - \Phi \left (\frac {\ve \sqrt {n}}{2-\ve }\right ) + \Phi \left (\frac {-\ve \sqrt {n}}{2+\ve }\right ) \to 0.\]

Wskazówka. Niech \(\pi _X = \pi _Y\) będą funkcjami tworzącymi zmiennych losowych \(X\), \(Y\). Wtedy zachodzi też równość \(h_X(u) = \pi _X(e^{iu}) = \pi _Y(e^{iu}) = h_Y(u)\) dla \(u \in \r \), gdzie \(h_X\), \(h_Y\) są odpowiednimi funkcjami charakterystycznymi. Z twierdzenia o jednoznaczności dla funkcji charakterystycznych oznacza to, że \(P_X = P_Y\).

Rachunek prawdopodobieństwa 1, 2

Rozdział 12 Metody Monte Carlo

Metody Monte Carlo są rozumiane na różne sposoby. Można powiedzieć, że stanowią one narzędzia numeryczne oparte na teorii rachunku prawdopodobieństwa służące do rozwiązywania problemów, w tym problemów o podłożu deterministycznym, najczęściej wtedy, gdy zawodzą metody analityczne czy klasyczne metody numeryczne. Jednym z twórców współczesnych metod Monte Carlo był polski matematyk Stanisław ULam pracujący w latach 40-tych XX wieku w Stanach Zjednoczonych nad konstrukcją broni jądrowej. Wraz z rozwojem technologii komputerowych metody Monte Carlo osiągnęły zawrotny rozwój i są wykorzystywane obecnie w wielu dziedzinach nauki i techniki.

Już przykład 10.21 oraz przykład 10.22 podane przez na przy okazji omawiania znaczenia mocnego prawa wielkich liczb ilustrowały podstawowe idee metod Monte Carlo. Sygnalizujemy teraz inny klasyczny przykład. Różni się on tym od tych dwóch, że używa narzędzia probabilistyczne do rozwiązania problemu o charakterze deterministycznym.

Uzasadnimy później sensowność powyższego postępowania. Pokażemy istotne uogólnienie. Zaczniemy od wyjaśnienie kwestii losowania.

Metody Monte Carlo bazują na możliwości generowania przez komputer w bardzo krótkim czasie bardzo wielu liczb, które można uważać za wielkości losowe niezależnie od tego, że najczęściej są one generowane przez algorytmy deterministyczne. Takie liczby nazywamy liczbami pseudolosowymi. Po omówieniu sposobów pozyskiwania liczb pseudolosowych powiemy jak mogą być one użyte do przybliżonego wyznaczania całek, a także w problemach optymalizacyjnych.

12.1 Liczby pseudolosowe

Problem pozyskiwania liczb pseudolosowych o dobrych własnościach jest kluczowy dla wielu obliczeń metodami Monte Carlo oraz w symulacjach i nadal pozostaje w centrum uwagi specjalistów.

Jeszcze do niedawna programy komputerowe używały najczęściej następującego algorytmu: dla ustalonych liczb naturalnych \(a\), \(b\) i \(p\) wybieramy dowolną liczbę naturalną \(X_0\), zwaną ziarnem (ang. seed), a następnie określamy rekurencyjnie ciąg:

\[ X_{n+1} = a X_n + b \ (\mbox { mod }\, p). \]

Mówiąc inaczej, za każdym razem obliczamy \(X_{n+1}' = a X_n + b\), a jako \(X_{n+1}\) bierzemy resztę z dzielenia \(X_{n+1}'\) przez \(p\) – tak więc wszystkie wyrazy naszego ciągu są liczbami naturalnymi mniejszymi od \(p\).

Jeżeli parametry \(a\), \(b\), \(p\) i \(X_0\) są odpowiednio dobrane, to okazuje się, że liczby:

\[ U_n = X_n /p \]

mają własności niemal takie same, jak liczby wylosowane niezależnie jedna od drugiej z rozkładu jednostajnego na przedziale \((0,1)\).

Istnieją pewne zasady wybierania parametrów. W szczególności, \(p\) powinno być bardzo duże, aby jak najbardziej ograniczyć zjawisko okresowości. Z podobnych względów także \(a\) powinno być dużą liczbą, najlepiej względnie pierwszą z \(p\). Natomiast wybór \(b\) ma mniejsze znaczenie – często przyjmuje się \(b=0\).

Okazuje się, że przy odpowiednio wybranych parametrach oraz przy zastosowaniu dodatkowych procedur liczby pseudolosowe i ich zestawy mają bardzo dobre własności – potwierdzają to także odpowiednie testy statystyczne.

Przykładowo, program Maple (już w wersji 5) używał generatora liczb pseudolosowych z bardzo dużymi parametrami \(a\) oraz \(p\), mianowicie:

\[a = 427419669081, \;\; p = 999999999989.\]

Wartość ziarna \(X_0\) można w każdej chwili zadać zgodnie z aktualnymi potrzebami. Może nam na przykład zależeć, aby przy powtórzeniach danego losowania zawsze otrzymywać te same liczby pseudolosowe – zadajemy wtedy taką samą (stałą) wartość \(X_0\). Z drugiej strony, możemy żądać, aby w każdym losowaniu otrzymywać inne liczby pseudolosowe – można to na przykład osiągnąć, zadając wartość ziarna w zależności od upływu czasu zużytego przez procesor od rozpoczęcia aktualnej sesji.

Mając liczby pseudolosowe z rozkładu jednostajnego na odcinku \([0,1]\), można, stosując odpowiednią metodę, uzyskać liczby pseudolosowe z innego zadanego rozkładu.

Obecnie chyba najczęściej stosowaną metodę pozyskiwania liczb pseudo losowych z rozkłądu \(U(0,1)\) stanowią różne wersje: Mersenne Twister Algorithm.

Rachunek prawdopodobieństwa 1, 2

12.2 Estymatory i przedziały ufności

Najczęściej mówiąc o estymatorze mamy na myśli, że powinien on w jakimś określonym sensie przybliżać pewną wielkość, na przykład nadzieję matematyczną lub inny parametr rozkładu.

Powyższe definicje są formalnie błędne, niemniej często używane. Powinno się oczywiście mówić o ciągu o wyrazach \(g_n(X_1, X_2, \dots , X_n)\).

Zadanie rozwiązujemy w oparciu o Centralne Twierdzenie Graniczne. Musimy jednak wtedy założyć, że zmienna losowa \(X\), a więc wszystkie zmienne losowe \(X_1, \dots , X_n\), mają skończoną wariancję \(\sigma ^2\). Pamiętając, że \(n\) jest duże możemy przyjąć, że \(\bar {X}_n\) ma rozkład normalny \(N(m,\frac {\sigma }{\sqrt {n}})\).

Rozwiążmy problem (1). Poprzednia nierówność przyjmuje postać:

\[ P(m \in (\bar {X}_n - \ve , \bar {X}_n + \ve )) = 1 - \alpha . \]

Otrzymujemy kolejno:

\[ P(\bar {X}_n \in (m - \ve , m + \ve )) = 1 - \alpha . \]

\[ \Phi _{m,\frac {\sigma }{\sqrt {n}}}(m + \ve ) - \Phi _{m,\frac {\sigma }{\sqrt {n}}}(m - \ve ) = 1 - \alpha . \]

\[ 2 \Phi \left (\frac {\ve \sqrt {n}}{\sigma } - 1 \right ) = 1 - \alpha , \ \ \ \ \Phi \left (\frac {\ve \sqrt {n}}{\sigma } \right ) = 1 - \frac {\alpha }{2}, \]

\[ \frac {\ve \sqrt {n}}{\sigma } = \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ), \]

\[ \ve = \frac {\sigma }{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ). \]

Problem (2) oraz (3) rozwiązuje się podobnie (ćwiczenie), otrzymując w obydwóch przypadkach wzór:

\[ \ve = \frac {\sigma }{\sqrt {n}} \Phi ^{-1}\left (1 - \alpha \right ). \]

W zagadnieniach praktycznych często jednak nie znamy \(\sigma \). W takiej sytuacji możemy użyć jego estymatora \(\di \sqrt {\frac {n}{n-1} \hat {\sigma }^2_n}\), lub \(\di \sqrt {\hat {\sigma }^2_n} = \hat {\sigma }_n\). W tym drugim przypadku wzory na \(\ve \) przyjmują postać:

\[ \ve = \frac {\hat {\sigma }_n}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ). \]

oraz

\[ \ve = \frac {\hat {\sigma }_n}{\sqrt {n}} \Phi ^{-1}\left (1 - \alpha \right ). \]

Rachunek prawdopodobieństwa 1, 2

12.3 Całkowanie metodami Monte Carlo

Chcemy obliczyć całkę \(\di J = \int _a^b f(x)\,dx\).

Metoda I (uogólnienie metody obliczania \(\pi \)), przykład 12.1.

Załóżmy, że \(f\) jest ograniczona, dla uproszczenia, że \(0 \le f(x) \le c\), gdzie \(c \in \r \).

Niech \(U_1 = (U_{11},U_{12}), \dots , U_n = (U_{n1},U_{n2}) \) będą niezależnymi wektorami losowymi o rozkładzie jednostajnym na prostokącie \([a,b]\times [0,c]\). Określamy zmienne losowe:

\[ X_i = \left \{\begin {array}{ll} 1, \mbox { gdy } & f(U_{i1}) \le U_{i2} \\ 0, \mbox { gdy } & f(U_{i1}) > U_{i2} \end {array} \right . \]

Oczywiście zmienne losowe \(X_i\) są niezależne i mają rozkład \((0,1,p)\), gdzie \(\di p = \frac {J}{(b-a)c}\). Mamy więc \(m = E(X_i) = p\), \(\sigma ^2 = D^2(X_i) = p(1-p)\). Ponieważ \(\bar {X}_n\) jest nieobciążonym i silnie zgodnym estymatorem \(m\), to \(\bar {J}_n =(b-a)c\bar {X}_n\) jest nieobciążonym i silnie zgodnym estymatorem całki \(J\).

Znajdziemy dwustronny przedział ufności dla \(J\) na poziomie \(1 - \alpha \). Ponieważ dla \(m\) takim przedziałem jest \((\bar {X}_n - \ve , \bar {X}_n + \ve )\), gdzie \(\ve = \frac {\sigma _X}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ). \), to dla \(J = (b-a)c m\) jest przedział: \((\bar {J}_n - \delta _1,\bar {J}_n + \delta _1)\), gdzie:

\[\di \delta _1 = (b-a)c \ve = (b-a)c \frac {\sqrt {\frac {J}{(b-a)c}(1 - \frac {J}{(b-a)c})}}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ) = \]

\[\sqrt {J(b-a)c - J^2} \frac {1}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ).\]

Metoda II. Zauważmy, że

\[\di J = \int _{a}^b f(x)\,dx = (b-a)\int _{\r }\frac {1}{b-a} I_{[a,b]}(x) f(x)\,dx = (b-a)E(f(X)),\]

gdzie \(X\) jest zmienną losową o rozkładzie \(U(a,b)\).

Stosując Przykład 12.10 do zmiennej \(Y = f(X)\) mamy wzór na estymator nadziei \(m_Y = E(Y)\) oraz umiemy znaleźć przedziały ufności dla \(m_Y\).

Estymatorem \(\hat {J}\) dla całki \(J\) jest więc \(\hat {J} = (b-a) \bar {Y}_n= \frac {b-a}{n} \sum _{i=1}^n Y_i\), gdzie \(Y_i = f(X_i)\), a \(X_1,X_2, \dots , X_n\) jest próbką prostą z rozkładu \(P_X = U(a,b)\).

Przedziałem ufności dla \(J\) jest więc: \(\di ((b-a)\bar {Y}_n - \delta _2, (b-a)\bar {Y}_n + \delta _2)\), gdzie

\[ \delta _2= (b-a)\frac {\sigma _Y}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ), \]

gdzie \(\di \sigma _Y^2 = D^2(Y) = E(f(X)^2) - E(f(X))^2 = \frac {1}{b-a}\int _a^bf(x)^2\,dx - \frac {J^2}{(b-a)^2}\).

Tak więc:

\[ \delta _2 = \sqrt {(b-a) \int _a^b f(x)^2 \,dx - J^2} \frac {1}{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right ). \]

Wzory na przedział ufności otrzymane w powyższych metodach zawierają wielkość \(J\), której nie znamy, więc nie mogą być bezpośrednio stosowane.

Zauważmy jednak, że Metoda II dostarcza potencjalnie lepszy (na ogół mniejszy) przedział ufności niż Metoda I. Mianowicie: \(\di (b-a) \int _a^b f(x)^2 \,dx \le J(b-a)c\). Czyli \(\delta _2 \le \delta _1\). Przy nieuważnym doborze \(c\) ta nierówność może być bardzo istotna.

Faktyczny przedział ufności można wyznaczyć dopiero po przeprowadzeniu eksperymentu.

Uruchamiamy 10 razy metodą 1 i 10 razy metodą 2. Najpierw porównujemy same przybliżenia \(J\), a później odpowiednie przedziały ufności (\(\alpha = 0.05\)). W każdej z metod przeprowadzamy 2000 losowań z rozkładu jednostajnego. Metoda 1 – kolor czerwony, Metoda 2 – kolor niebieski.

• 1. Opisanymi dwiema metodami oraz innymi metodami Monte Carlo można obliczać całki wielowymiarowe:

  \[ \int _D f\, d\mu , \mbox { gdzie } D \subset \rn ,\ \ \mu \mbox { -- dana miara}. \]

• 2. W wielu przypadkach metody Monte Carlo są jedynymi metodami obliczania takich całek!

• 3. Oprócz dwóch omówionych powyżej istnieje więcej metod Monte Carlo obliczania całek. Istotnym problemem jest to, aby do danego problemu dobrać metodę, które dają szansę na mały przedział ufności.

• 4. Wiele problemów obliczeniowych można sprowadzić do odliczania całek.

• 5. Metody Monte Carlo stosowane są też w innych zagadnieniach. W szczególności metami Monte Carlo owiązywane są złożone zadania optymalizacyjne.

Rachunek prawdopodobieństwa 1, 2

12.4 Optymalizacja

Dana jest funkcja \(f : A \longrightarrow \r \). gdzie \(A \subset \rn \).

Należy wyznaczyć efektywnie minimum globalne, to znaczy punt \(a \in A\) taki, że

\[ \forall x \in A \ f(a) \le f(x). \]

lub jego możliwie najlepsze przybliżenie.

Oznaczamy zbiór rozwiązań:

\[ A^{\star } := \{a \in A: \hbox { dla kaÅijdego } x \in A \ \‚f(a) \le f(x)\}. \]

Szukanie maximum globalnego funkcji \(f \rwn \) szukanie minimum globalnego funkcji \(-f\).

Omówimy najprostszy algorytm stochastycznej optymalizacji, Pure Random Search (PRS).

Zakładamy, że \(f : A \to \r \) jest funkcją ciągłą, \(A\) jest zwarty. Dla uproszczenia załóżmy, że \(A = [0,1]^n\).

Algorytm PRS.

• 1. Losujemy punkt ze zbioru \(A\) zgodnie z rozkładem jednostajnym na \(A\). Oznaczamy go jako \(x_0\). Kolejne punkty \(x_1, x_2,x_3 \dots ,\) tworzymy w następujący sposób.

  Dla \(t = 0,1,2,3,\dots \):

• 2. Losujemy punkt \(\by _t \in A\) według rozkładu jednostajnego.

• 3. Jeżeli \(f(\by _t) < f(x_t)\), kładziemy \(x_{t+1} = \by _t\). W przeciwnym przypadku kładziemy \(x_{t+1} = x_t\).

Okazuje się, że punkty \(x_t\) określone powyższym algorytmem zmierzają do zbioru \(A^\star \) z prawdopodobieństwem 1, to znaczy \(dist(x_t,A^\star ) \str 0\), gdy \(t \str \infty \). Bardziej formalnie formułujemy to tak.

Dowód.

Przypominamy drugą część lematu 10.17.

Lemat Borela-Cantellego Niech \((\Omega ,\Sigma ,P)\) będzie przestrzenią probabilistyczną.
Niech \(C_1,C_2,C_3,\dots \in \Sigma \) będzie ciągiem zdarzeń niezależnych:

\[\sum _{i=1}^\infty P(C_i) = \infty \ \imp \‚P\left (\bigcap _{t=1}^\infty \bigcup _{i=t}^\infty C_i \right ) = 1. \]

Oznaczmy \(m = \min _A f\). Wtedy \(A^\star = \{x \in A: f(x) = m\}\).

Ciąg \(f(X_t)\) jest nierosnący i ograniczony z dołu przez \(m\), więc jest zbieżny do pewnej zmiennej losowej \(\eta \ge m\).

Niech \(\bY _t\) będą niezależnymi zmiennymi losowymi o rozkładzie jednostajnym na \(A\), których realizacjami są punkty \(\by _i\).

Ustalmy \(\ve > m\).

Ponieważ funkcja \(f\) jest ciągła, zbiór \(B = \{x \in A: f(x) < \ve \}\) jest niepusty i otwarty, więc jego miara Lebesgue’a, \(\nu (B) = \alpha > 0\).

Określmy:
\(C_t = \{\omega \in \Omega : f(\bY _t(\omega )) < \ve \}\) = \(\bY _t^{-1}(B)\), dla \(t = 1,2,3,\dots \).
\(C_t\) są zdarzeniami niezależnymi.

Ponieważ zmienne losowe \(\bY _t\) mają rozkład \(\nu \), więc \(P(C_t) = P_{\bY _t}(B) = \nu (B) = \alpha \) dla \(t \ge 1\). Jest więc spełnione założenie Lematu Borela-Cantellego.

Na podstawie algorytmu PRS zachodzi implikacja:

\[\eta \ge \ve \‚\imp \ \forall t \ge 1\ f(\bY _t) \ge \eta \ge \ve , \]

czyli

\[\{\eta \ge \ve \} \subset \bigcap _{t=1}^\infty \left (\Omega \setminus C_t\right ) =\Omega \setminus \bigcup _{t=1}^\infty C_t.\]

\[\bigcap _{t=1}^\infty \bigcup _{i=t}^\infty C_i \subset \bigcup _{t=1}^\infty C_t \subset \{\eta < \ve \} \]

Z Lematu Borela-Cantellego: \(P(\{\eta < \ve \}) =1\). Ponieważ, \(\ve >m\) było ustalone dowolnie więc \(\eta = m\). Tak więc: \(P(f(X_t) \to m, \hbox { gdy } t \str \infty ) = 1\).

Z ciągłości \(f\) oraz zwartości \(A\), \(P\,(X_t \str A^\star ,\hbox { gdy } t \str \infty ) = 1\) .   \(\Box \)

Rozwiązywanie równań, bądź układów równań, można sprowadzić do problemu poszukiwania minimum globalnego. Rzeczywiście, zamiast szukać rozwiązania układu \(f_i(x) = 0\), \(i =1,...,n\) można szukać minimum globalnego funkcji \(\di F(x) = \sum _{i=1}^nf_i(x)^2\).

Rachunek prawdopodobieństwa 1, 2

12.5 Pytania

Wskazówka. 2, 2, 2, 2, 0, 1. Trzeba było podzielić odcinek \([0,1]\) punktami \(1/8, 4/8, 7/8\).

Wskazówka. Zgodność. Ustalmy \(0< \ve < a\) i zdefiniujmy zdarzenia \(A_n = \{M_n \le a-\ve \}\). Widać, że \(\di P(A_n) = \left (\frac {a-\ve }{a}\right )^n\). Stąd \(\di \sum _{n=1}^\infty P(A_n) < \infty \), co z Lematu Borela-Canteellego oznacza, że \(\di P\left (\bigcap _{N=1}^\infty \bigcup _{n \ge N} A_n\right ) = 0\).

Inaczej:

\[P\left (\bigcap _{\ve >0} \bigcup _{N=1}^\infty \bigcap _{n \ge N} \{M_n > a-\ve \}\right ) = 1,\]

czyli \(\di M_n \stackrel {1}{\str } a\).

Nieobciążoność.

\[F_{M_n}(x) = \left (\frac {x}{a}\right )^n, \ \ f_{M_n}(x) = n\frac {x^{n-1}}{a^n}, \ \ E(M_n) = \frac {n}{n+1} a.\]

Estymator jest obciążony.

Nieobciążonym i zgodnym estymatorem parametru \(a\) jest więc: \(\di \frac {n+1}{n}M_n\).

Wskazówka. Rozważyć funkcję \(g = f + M\).

Wskazówka. Przedział ufności jest postaci \((\bar {J}_n - \delta ,\bar {J}_n + \delta )\), gdzie \(\bar {J}_n =(b-a)c\bar {X}_n\), \(\delta = (b-a)c \frac {\sigma }{\sqrt {n}} \Phi ^{-1}\left (1 - \frac {\alpha }{2}\right )\). Mamy \(a= -1\), \(b=1\), \(c = 1\), \(n = 1000\), \(\bar {X}_n = \frac {360}{1000} = 0.36\), \(\Phi ^{-1}(1 - \frac {\alpha }{2}) = 1.96\). Nie znamy \(\sigma \), ale na podstawie próby znamy jego przybliżenie, mianowicie \(\hat {\sigma }_X^2 = \frac {1}{n}\sum _{i=1}^n(X_i - \bar {X}_n)^2 = \frac {1}{n}\sum _{i=1}^n X_i^2 - (\bar {X}_n)^2 \). Ponieważ \(X_i = X_i^2\), to \(\hat {\sigma }_X^2 = \frac {360}{1000} - (\frac {360}{1000})^2 = 0.230400\). W takim razie przedział ufności dla \(J\), to: \([0.660498, 0.779501]\).

Wskazówka. \(\di c = (b-a)\left (\frac {s}{n} - \frac {\sqrt {n\,kw - s^2}}{n}\Phi ^{-1}(1- \alpha )\right )\).

Wskazówka. Wystarczy wykazać, że

\[\{f(X_t) \str m, \hbox { gdy } t \str \infty \} \subset \{X_t \str A^\star ,\hbox { gdy } t \str \infty \}.\]

Niech \(\omega \in \{f(X_t(\omega )) \str m, \hbox { gdy } t \str \infty \}\) i niech \(x_t = X_t(\omega )\). Chcemy pokazać, że \(dist(x_t,A^\star ) \str 0\). Gdyby tak nie było, to istniałby taki podciąg \(t_k\) oraz \(\ve >0\), że

\begin{equation} \|x_{t_k} - x \| \ge \ve \hbox { dla kaÅijdego } x \in A^\star . \label {r1} \end{equation}

Ze zwartości \(A\) można wybrać podciąg \(t_{k_l}\) oraz punkt \(x^\star \in A\) takie, że \(x_{t_{k_l}} \str x^\star \). Wtedy z ciągłości \(f\) wiemy, że \(f(x_{t_{k_l}}) \str f(x^\star )\). Ale z naszego założenia: \(f(x_{t_{k_l}}) \str m\). Czyli \(m = f(x^\star )\), co z określenia \(A^\star \) oznacza, że \(x^\star \in A^\star \), więc nierówność (12.2) oznacza, że \(\|x_{t_{k_l}} - x^\star \| \ge \ve \) i w granicy \(\|x^\star - x^\star \| \ge \ve \), co daje sprzeczność.

Rachunek prawdopodobieństwa 1, 2

Rozdział 13 Warunkowa wartość oczekiwana

13.1 Wartości oczekiwana rozkładów warunkowych

Zdefiniowaliśmy poprzednio rozkłady warunkowe w przypadku dwuwymiarowego wektora losowego o rozkładzie dyskretnym lub ciągłym. Można to powtórzyć dla wyżej wymiarowych wektorów losowych:

Niech \((X,Y)\) będzie będzie \(n\times m\)-wymiarowym wektorem losowym o dyskretnym rozkładzie danym przez \((\{(x_i,y_j)\},\{ p_{ij}\} )\). Czyli \(P(X = x_i,Y = y_j) = p_{ij}\). Niech:

\(\seteqnumber{0}{13.}{0}\)

\begin{equation} \label {eq:w1} p_{j|i} = P(Y=y_j|X=x_i) = \frac {P(X=x_i,Y=y_j)}{P(X=x_i)} = \frac {p_{ij}}{p_{i.}} = \frac {p_{ij}}{\sum _kp_{ik}}. \end{equation}

Rozkład dany przez ciągi \(\{y_j\}, \{p_{j|i}\}\) nazywamy rozkładem warunkowym \(Y\) pod warunkiem \(X= x_i\). Oznaczamy go jako \(P_{Y|X=x_i}\)..

Jeżeli \(m=1\), czyli gdy \(Y\) jest zmienną losową, \(P_{Y|X=x_i}\) jest rozkładem jednowymiarowym i wtedy można mówić o jego nadziei matematycznej, patrz Uwaga 6.10. Jeżeli istnieje, to dla powyższego rozkładu będzie to liczba oznaczana przez \(E(Y|X=x_i)\), a więc:

\[ E(Y|X=x_i) = \sum _j y_jp_{j|i} \]

Niech \((X,Y)\) będzie będzie \(n\times m\)-wymiarowym wektorem losowym o ciągłym rozkładzie danym przez gęstość \(f\).

\(\seteqnumber{0}{13.}{1}\)

\begin{equation} \label {eq:w2} f_{Y|X=x}(y) = f(y|x) = \left \{\begin{array}{lll} \frac {f(x,y)}{\int _\r f(x,y)\,dy} = \frac {f(x,y)}{f_X(x)}, & \mbox { gdy } & f_X(x) >0\\ 0, & \mbox { gdy } & f_X(x) = 0 \end {array} \right . \end{equation}

Tutaj \(f_X\) oznacza gęstość wektora losowego \(X\). Przy ustalonym \(x\), takim, że \(f_X(x) >0\) funkcja \(y \to f(y|x)\) jest gęstością. Zakładając, że \(m =1\) możemy więc, podobnie jak w przypadku dyskretnym mówić o nadziei matematycznej \(E(Y|X=x)\) określonej (o ile istnieje) jako:

\[ E(Y|X=x) = \int _\r y f(y|x)\, dy. \]

Oczywiście można w przypadku dyskretnym i w przypadku ciągłym zdefiniować także \(E(X|Y=y)\) dla zmiennej losowej \(X\) i dowolnego wektora losowego \(Y\).

\[ E(X|Y=y_j) = \sum _i x_ip_{i|j}, \ \ \ \‚E(X|Y=y) = \int _\r x f(x|y)\,dx. \]

Naszym celem będzie podanie definicji oraz własności i zastosowań tak zwanej warunkowej nadziei matematycznej zmiennej losowej \(Y\) względem wektora losowego \(X\), \(E(Y|X)\), a także pojęcia bardziej ogólnego, nadziei matematycznej zmiennej losowej \(Y\) względem \(\sigma \)-algebry A, \(E(Y|\a )\). Aby jednak nawiązać do wspomnianych właśnie sytuacji szczególnych zrobimy kilka wstępnych uwag.

Z poprzedniego semestru znamy już podstawowe twierdzenie 6.8:

Twierdzenie. Niech \(X: \Omega \to \rn \) będzie wektorem losowym, \(g: \rn \to \r \) funkcją borelowską. Wtedy:

\[ E(g(X)) = \int _\Omega g(X)\,dP = \int _{\rn } g\,dP_X, \]

przy czym obydwie strony istnieją jednocześnie.

Możemy teraz nieco uogólnić ten wzór:

Dowód. W poprzednim twierdzeniu wystarczy wziąć: \(g(x) = I_B(x)\cdot h(x)\), dla \(x \in \rn \), gdzie \(I_B\) jest funkcją charakterystyczną zbioru \(B\).   \(\Box \)

Podobnie można uogólnić wzór na nadzieję matematyczną dla rozkładów dyskretnych i ciągłych.

Dowód. (ćwiczenie).   

Sformułować odpowiednią wersję w przypadku rozkładów dyskretnych (ćwiczenie).

Wróćmy do nadziei rozkładu warunkowego \(E(Y|X=x)\), w przypadku wektorów losowych \((X,Y)\) o rozkładach dyskretnych i ciągłych. Możemy teraz rozważać następujące odwzorowanie:

\[ \f : \Omega \ni \o \str E(Y|X = X(\o )). \]

Dowód. Przypadek dyskretny. Ustalmy punkt \(x_i\). Wtedy \(\f \) jest funkcją stałą na zbiorze \(X^{-1}(x_i)\) równą \(E(Y|X=x_i)\), a to oznacza mierzalność względem \(\s \)-algebry generowanej przez te zbiory. Niech \(A \in \s (X)\). Wtedy \(A\) jest sumą co najwyżej przeliczalną zbiorów postaci \(X^{-1}(x_i)\). Całka po \(A\) jest więc sumą całek po tych zbiorach. Natomiast

\[ \int _{X^{-1}(x_i)}\f \,dP = E(Y|X=x_i)P(X^{-1}(x_i)) = \sum _j y_j p_{j|i}p_{i.} = \frac {\sum _j y_j p_{ij}}{p_i.} p_{i.}\]

\[= \sum _j y_j p_{ij} = \sum _j y_jP(X=x_i,y=y_j) = \sum _j\int _{\{X=x_i,Y=y_j\}}Y\,dP = \int _{X^{-1}(x_i)} Y\,dP.\]

Przypadek ciągły. \(\f \) wyraża się wzorem:

\[\f (\o ) = \int _\r y(f(y|X(\o ))\,dy , \mbox { gdzie }\]

\[ f(y|x) = \left \{\begin {array}{lll} \frac {f(x,y)}{\int _\r f(x,y)\,dy} = \frac {f(x,y)}{f_X(x)}, & \mbox { gdy } & f_X(x) >0\\ 0, & \mbox { gdy } & f_X(x) = 0 \end {array} \right . \]

Widać, że \(\f \) jest złożeniem funkcji mierzalnych względem \(\s (X)\), a więc jest \(\s (X)\)-mierzalne. Niech \(A \in \s (X)\). Oznacza to, że \(A = X^{-1}(B)\), gdzie \(B \in {\cal B}(\rn )\). \(B = B_1 \cup B_2\), gdzie \(B_1 = \{x \in B : f_X(x) > 0\}\), \(B_2 = \{x \in B : f_X(x) =0\}\). Wtedy \(A = X^{-1}(B_1) \cup X^{-1}(B_2)\) = \(A_1 \cup A_2\).

Zauważmy najpierw, że \(P(A_2) = 0\). Rzeczywiście: \(P(A_2) = P_X(B_2) = \int _{B_2}f_X(x)\,dx = 0\). Tak więc \(\int _{A_2} \f \,dP = \int _{A_2} Y\,dP = 0\).

Natomiast stosując dwukrotnie twierdzenie 13.6 dotyczące zmiany całkowania względem miary \(P\) na całkowanie przy użyciu gęstości \(f_X\) oraz \(f\), z Twierdzenia Fubiniego mamy:

\[\di \int _{A_1} \f \,dP = \]

\[ \int _{B_1} \frac {\int _\r yf(x,y) \,dy}{f_X(x)}f_X(x) \,dx = \int _{B_1} \int _\r yf(x,y) \,dy \,dx = \]

\[ \int _{B_1\times \r } yf(x,y) \,d(x,y) = \ (\mbox { bo } A_1 = (X,Y)^{-1}(B_1 \times \r ) \ ) \]

\[\int _{A_1} Y\,dP.\]

Czyli \(\int _A \f \,dP = \int _A Y\,dP\).   \(\Box \)

Rachunek prawdopodobieństwa 1, 2

13.2 Twierdzenie Radona-Nikodyma

Przypomnimy twierdzenie Radona-Nikodyma, gdyż stanowi ono klucz w kolejnych rozważaniach dotyczących nadziei warunkowych.

Niech \(\a \) będzie \(\s \)-algebrą na zbiorze \(\Omega \).

Funkcję \(\lambda : \a \str \r \) nazywamy przeliczalnie addytywną, jeżeli dla każdego ciągu parami rozłącznych zbiorów \(A_1,A_2,A_3,... \in \a \)

\[ \lambda \left (\bigcup _{i=1}^\infty A_i \right ) = \sum _{i=1}^n \lambda (A_i). \]

Każda miara skończona, w szczególności każda miara probabilistyczna jest przeliczalnie addytywna.

Mówimy, że przeliczalnie addytywna funkcja \(\lambda \) jest absolutnie ciągła względem miary \(\mu : \a \str \, [0,\infty ]\), piszemy często \(\lambda \ll \mu \), jeżeli dla każdego \(A \in \a \) zachodzi implikacja:

\[ \mu (A) = 0 \ \imp \ \lambda (A) = 0. \]

Przy pewnym założeniu powyższą implikację można odwrócić. Mówi o tym twierdzenie Radona-Nikodyma.

Mówimy, że miara \(\mu \) jest \(\sigma \)-skończona, jeżeli istnieją takie zbiory \(A_i \in \a \), że \(\Omega = \bigcup _{i=1}^\infty A_i\) oraz \(\mu (A_i) < \infty \).

Każda miara probabilistyczna jest \(\s \)-skończona. Miara Lebesgue’a jest \(\sigma \)-skończona.

Dowód. Pomijamy.

Rachunek prawdopodobieństwa 1, 2

13.3 Warunkowa wartość oczekiwana – sytuacja ogólna

Nadzieja warunkowa jest jednym z najważniejszych pojęć rachunku prawdopodobieństwa. Jest kilka obiektów, które określa się tym pojęciem i warto zrozumieć różnice i związki między nimi. Jak dotychczas wspomnieliśmy o wielkości \(E(Y|X=x)\) i była ona określona jako „zwykła" nadzieja rozkładu warunkowego \(P_{Y|X=x}\), ale zakładaliśmy, że \((X,Y)\) ma rozkład dyskretny albo rozkład ciągły. A gdy tak nie jest to co? To właśnie zobaczymy. Najważniejszym będzie zdefiniowanie pewnej zmiennej losowej, którą też nazwiemy nadzieją warunkową. Nie będzie to definicja konstruktywna tylko poprzez wymienienie własności, które ta zmienna losowa ma spełniać. Niedawno mówiliśmy już o tych własnościach, nazwaliśmy je (M) oraz (C) i pokazaliśmy, że istnieje obiekt, który je posiada. Więc nasza definicja nie będzie dotyczyć nieistniejących obiektów! Jednak pokażemy coś więcej, mianowicie, że w każdych okolicznościach istnieje zmienna losowa, która spełnia warunki (M), (C). I to tylko jedna z dokładnością do zbiorów miary zero! I to jest niezwykle ważne (i piękne), gdyż dzięki temu będzie można uzyskać szereg ważnych wyników. Na przykład już wkrótce powiemy, że warunkowanie obniża wariancje, co jest kolosalnie ważne w statystyce oraz w metodach Monte Carlo. A nawet wcześniej przedstawimy sposoby obliczania „zwykłej" nadziei poprzez warunkowania.

Prostą konsekwencją twierdzenia Radona-Nikodyma jest następujące:

Dowód. Można skorzystać z twierdzenie Radona-Nikodyma zastosowanego do funkcji \(\lambda \) określonej jako \(\lambda (A) = \int _A Y \,dP\) dla \(A \in \a \) (ponieważ \(E(Y) \in \r \) jest ona przeliczalnie addytywna) oraz miary \(P\).   

Powyższe twierdzenie powoduje, że następująca definicja ma sens.

Poprzednie twierdzenie zapewnia, że \(E(Y|\a )\) jest zbiorem niepustym, a każde dwa jego elementy są sobie równe prawie wszędzie. Najczęściej (nieformalnie) nie rozróżnia się \(E(Y|\a )\) od jego elementów, czyli traktujemy \(E(Y|\a )\) jako odwzorowanie spełniające (M) oraz (C).

Nadzieja warunkowa względem zdarzenia Czasami używa się określenia: nadzieja matematyczna warunkowa \(Y\) pod warunkiem \(W \in \Sigma \) i definiuje się ją jako, zakładając jednak, że \(P(W) > 0\).

\[ E(Y|W) =\frac {\int _{W}Y\,dP}{P(W)}. \]

W sytuacji opisanej w Przykładzie 13.15 widzimy, że \(E(Y|A_i) = E(Y|\a )(\o ) \mbox { dla } \o \in A_i.\)

UWAGA. Mamy tutaj niestety pewną kolizję oznaczeń. \(E(Y|X = x)\) nie zawsze oznacza \(E(Y|\{\o :X(\o ) = x\})\). Chociaż, gdy \(X\) ma rozkład dyskretny oraz \(P(X = x_i) > 0\), to te dwie wielkości są sobie równe.

Z twierdzenia 13.7 wynika następująca uwaga.

\(E(Y|X)\) jest zawsze pewną funkcją \(X \).

Twierdzenie to jest w istocie wnioskiem z bardziej ogólnego twierdzenia.

Dowód. „\(\imp \)” Rozważamy przypadki:

I. \(Z = I_A\), gdzie \(A = X^{-1}(B)\), \(B\) jest zbiorem borelowskim w \(\r ^k\). Wtedy wystarczy wziąć: \(\alpha = I_B\).

II. \(Z\) jest funkcją prostą postaci \(Z = \sum _{i=1}^n c_i I_{A_i}\), gdzie \(A_i \in \s (X)\). Wtedy bierzemy: \(\alpha = \sum _{i=1}^n c_i \alpha _i\), gdzie \(\alpha _i\) są wybrane jak w punkcie I.

III. \(Z\) jest dowolną funkcją \(\s (X)\) mierzalną. Istnieje wtedy ciąg funkcji prostych \(\s (X)\) mierzalnych taki, że dla każdego \(\o \in \Omega \) \(\lim _{n\to \infty }Z_n(\o ) = Z(\o )\). Na podstawie II istnieją funkcje borelowskie \(\alpha _n\) takie, że dla wszystkich \(n\) \(Z_n = \alpha _n \circ X\).

Definiujemy funkcję \(\alpha : \r ^k \str \r \) jako:

\begin{equation} \label {defalfa} \alpha (x) = \left \{ \begin{array}{ll} \lim _{n \to \infty } \alpha _n(x), & \mbox { gdy } x \in X(\Omega )\\ 0, & \mbox { gdy } x \notin X(\Omega ). \end {array} \right . \end{equation}

Oczywiście \(\alpha \) jet borelowska (dlaczego?). Dla \(\o \in \Omega \) zachodzi wzór:

\[ Z_n(\o ) = \lim _{n \to \infty } \alpha _n(X(\o )), \]

więc \(X(\o )\) jest punktem \(x\) w którym istnieje \(\lim _{\to \infty } \alpha _n(x)\) i jest ona równa \(Z(\o )\). Czyli:

\[ Z = \alpha \circ X. \]

„\(\Longleftarrow \)" Dla dowolnego \(B \in {\cal B}(\r )\) \(Z^{-1}(B) = (\alpha \circ X)^{-1}(B) = X^{-1}(\alpha ^{-1}(B)) \in \s (X)\).   \(\Box \)

Zauważmy, że we wzorze (13.4) można by zadać wartość \(\alpha (x)\) dla \(x \notin X(\Omega )\) na wiele różnych sposobów i nie zmieniłoby to dalszego rozumowania. Tak więc funkcja \(\alpha \) nie jest wyznaczona jednoznacznie na zbiorze \(\r ^k \setminus X(\Omega )\).

Gdy wektor losowy \((X,Y)\) ma rozkład dyskretny lub rozkład ciągły możemy w sposób naturalny mówić o nadziejach warunkowych \(E(Y|X=x)\) – tak postąpiliśmy na początku tego rozdziału. Możemy jednak rozszerzyć określenie \(E(Y|X=x)\) nie zakładając nic o rozkładach. Mianowicie możemy postawić następującą definicję:

Ze względu na możliwą niejednoznaczność funkcji \(\alpha \) wielkość powyższa nie jest jednoznacznie określona dla wszystkich \(z \in \r ^k\). Nie ma to jednak istotnego znaczenia. Na przykład, gdy \(X\) ma rozkład dyskretny skupiony na zbiorze \(K\), to wartość funkcji \(\alpha \) poza tym zbiorem są nieistotne. Tak więc, gdy \(x \notin K\), wartości \(E(Y|X=x)\) są niejednoznacznie określone, ale nie ma to dla nas żadnego znaczenia.

Zawsze można mówić o nadziei warunkowej \(E(Y|X)\); jest to pewna zmienna losowa. Natomiast Twierdzenie 13.19 gwarantuje, że zawsze też można mówić o nadziei warunkowej \(E(Y|X=x)\); jest to liczba. W przypadku, gdy wektor losowy ma rozkład dyskretny lub rozkład ciągły pokazaliśmy, że powyższa definicja \(E(Y|X=x)\) pokrywa się z naturalną definicją postawioną w tamtych przypadkach. Także w wielu innych przypadkach można w sposób naturalny zinterpretować \(E(Y|X=x)\).

Rozważa się też prawdopodobieństwo warunkowe zdarzenia względem \(\s \)-algebry, a więc także względem wektora losowego, jako szczególny przypadek nadziei warunkowej.

Gdy \(X :\Omega \str \r ^k\) jest wektorem można więc mówić o \(P(C|X)\) oraz o \(P(C|X=x)\):

\[P(C|X) = P(C|\s (X)) = E(I_C|X) \‚\mbox { oraz } \‚P(C|X=x) = E(I_C|X=x). \]

Dowód. Dowody wszystkich tych własności są standardowe i opierają się na definicji nadziei warunkowej i na klasycznych własnościach całek. Dla przykładu udowodnimy dwie własności.

Własność 2. Korzystając z warunku (C) oraz tego, że \(\Omega \in \a \) mamy: \(E(E(Y|\a )) = \int _\Omega E(Y|\a )\,dP = \int _\Omega Y\,dP =E(Y)\).

Własność 8. Pokażemy, że prawa strona spełnia warunki (C) oraz (M) ze względu na zmienną losową \(E(Y|{\cal B})\) oraz \(\sigma \)-algebrę \(\a \). Zmienna losowa \(E(Y|{\cal B})\) jest \(\cal B\) mierzalna, a więc też A mierzalna. Niech \(A \in \a \). Wtedy \(\int _ A E(E(Y|{\cal B})|\a )\,dP = \int _A E(Y|{\cal B})\,dP\), ale to oznacza żądany warunek (C). Prawa strona jest więc równa \(E(E(Y|{\cal B})|\a )\).   \(\Box \)

Powyższe oraz następne własności można sformułować dla nadziei warunkowych postaci \(E(Y|X=x)\).

Dowód. Własność 1.Załóżmy najpierw, że \(Y = I_A\), gdzie \(A \in \Sigma \). Wtedy \(E(I_A) = P(A)\) jest funkcją stałą i w związku z tym jest mierzalna względem \(\s (X)\). Wtedy też zachodzi warunek (C): dla \(B = X^{-1}(D) \in \s (X)\) mamy:

\[\int _B Y \,dP = \int _A I_B\,dP = \int _{A\cap B}dP = P(Y^{-1}(\{1\})\cap X^{-1}(D) ) = \]

\[ P(Y^{-1}(\{1\})) \cdot P( X^{-1}(D) ) = P(A)P(B) = \int _B E(Y)\,dP.\]

Zachodzi więc własność 1 dla funkcji charakterystycznych \(Y\). Z liniowości zachodzi dla funkcji prostych \(Y\), a poprzez standardowe przejście graniczne dla dowolnych \(Y\).

Własność 2. Dowodzi się jak poprzednio, zaczynając od przypadku \(Z = I_A\), gdzie \(A \in \a \) (ćwiczenie).

Własność 3. Wystarczy wziąć \(Z =g(X)\), \(Y = 1\) oraz \(\a =\s (X)\) i skorzystać z własności 2.

Własność 4. Wystarczy we Własności 3 wziąć \(g(x) = x\).   

Rachunek prawdopodobieństwa 1, 2

13.4 Rozkład nadziei warunkowej

Nadzieja warunkowa \(E(Y|X)\) jest zmienną losową, więc warto się pytać o jej rozkład. Nieraz odpowiedź jest prosta. Jak pamiętamy \(E(Y|X) = \alpha (X)\), \(\alpha (x) = E(Y|X=x)\). Jeżeli więc znamy rozkład \(X\) ora \(]alpha\) możemy na tej podstawie starać się wyznaczać rozkład \(E(Y|X)\). Na przykład widać, że w przypadku, gdy \(X\) ma rozkład dyskretny wyznaczony przez ciągi \(\{x_i\}, \{p_i\}\) to \(E(Y|X)\) ma rozkład dyskretny wyznaczony przez ciągi \(\{x_i\}, \{p_i\}\). Natomiast, gdy \(X\) ma rozkład ciągły, sytuacja jest bardziej skomplikowana.

Rachunek prawdopodobieństwa 1, 2

13.5 Pytania

Wskazówka. Określamy zmienne losowe \(M\) – maksimum oczek oraz \(Y\): \(Y = 0\), gdy na drugiej kostce jest liczba parzysta, \(Y=1\), gdy na drugiej kostce jest liczba nieparzysta. Interesuje nas rozkład \(P_{M|Y=0}\). Wyznaczamy najpierw „na placachżozkład wektora losowego \((Y,M)\).

\[ \begin {array}{ccccccc} $Y$\backslash $M$ & 1 & 2 & 3 & 4 & 5 & 6 \\[1mm] 0 & 0 & 2/36 & 1/36 & 5/36 & 2/36 & 8/36 \\ 1 & 1/36 & 1/36 & 4/36 & 2/36 & 7/36 & 3/36 \end {array} \]

Rozkład \(P_{M|Y=0}\):

\[ \begin {array}{ccccccc} \ \ \ & 1 & 2 & 3 & 4 & 5 & 6 \\[1mm] \ \ \ & 0 & 2/18 & 1/18 & 5/18 & 2/18 & 8/18 \end {array} \]

\(\di E(M|Y=0) = \frac {85}{18}\).

Wskazówka. \(E(X|Y=1/2) = 0\), \(E(Y|X=1/2)= 1/4\).

Wskazówka. \(\sigma (X^2) \subset \sigma (X)\), \(\sigma (X) = \sigma (X^3) \).

Dowód. Niech \(A \in \sigma (X^2)\). Wtedy istnieje taki zbiór borelowski \(B\), że \(A = X^{-2}(B) =\{\omega ; X^2(\omega ) \in B\} = \{\omega : X(\omega ) \in g^{-1}(B)\} = X^{-1}(g^{-1}(B))\), gdzie \(g(x) = x^2\). Ponieważ \(g\) jest funkcją ciągłą, więc funkcją borelowską, więc \(g^{-1}(B)\) jest borelowski, więc \(A \in \sigma (X)\), czyli \(\sigma (X^2) \subset \sigma (X)\).

Podobnie \(\sigma (X^3) \subset \sigma (X)\), tutaj \(g(x) = x^3\). Podobnie \(\sigma (X) \subset \sigma (X^3)\), tutaj \(g(x) = \sqrt [3]{x}\).

Przykład. Niech \(X\) będzie zmienną losowa o rozkładzie \(P(X = -1) = P(X=1)= 1/2\). Wtedy \(X^2\) jest stałą równą 1. \(\sigma (X)\) składa się z czterech elementów, więc nie jest zawarta w \(\sigma (X^2)\) składającej się tylko z dwóch elementów.

Wskazówka. Podobnie jak dowód własności 8 (po zamianie ról przez strony).

Wskazówka. Krok 1. Niech \(Z = I_A\), gdzie \(A \in \a \). Pokażemy, że prawa strona spełnia warunki (M) oraz (C) wymagane od lewej strony. Warunek (M) wynika z faktu, że iloczyn funkcji mierzalnych jest mierzalny. Aby sprawdzić (M) ustalmy dowolne \(B \in \a \). Ponieważ \(A\cap B \in \a \) mamy \(\int _B I_AE(Y|\a )\,dP = \int _{A\cap B}E(Y|\a )\,dP = \int _{A\cap B}Y\,dP = \int _B I_A Y\,dP\), co oznacza warunek (C).

Wskazówka. Ad (1). TAK. Wiemy, że \(E(Y|X) = \alpha \circ X\), gdzie \(\alpha \) jest funkcją borelowską. Z ałożenia istnieje zbiór \(K\) co najwyżej przeliczalny taki, że \(P(X \in K) = 1\). Oczywiście \(\alpha (K)\) jest co najwyżej przeliczalny a \(P(E(Y|X) \in \alpha (K)) \ge P(X \in K) = 1\), więc \(E(Y|X)\) ma rozkład dyskretny.

Ad (2). NIE. Na przykład, gdy \(X, Y\) są niezależne, to \(E(Y|X)\) jest stałą, więc nie ma rozkładu ciągłego

Rachunek prawdopodobieństwa 1, 2

Rozdział 14 Warunkowania

Wyznaczanie oczekiwanych wartości warunkowych może być w wielu przypadkach żmudne. Warto jednak pamiętać, że fakt, iż przy bardzo ogólnych założeniach one istnieją oraz spełniają pewne własności może być bardzo pomocny. Z drugiej strony, w pewnych zagadnieniach warunkowe wartości oczekiwane są w sposób oczywisty znane i wtedy mogą służyć do wyznaczania „zwykłej" nadziei oraz prawdopodobieństw zdarzeń (pamiętamy, że \(P(C) = E(I_C)\) ). Procedura ta jest uogólnieniem poznanej już wcześniej procedury wykorzystującej wzór na prawdopodobieństwo całkowite.

Wiedząc, że \(E(Y) = E(E(Y|X))\), zauważmy, iż na podstawie twierdzenia 13.19 oraz twierdzeń 6.8 i 6.11 otrzymujemy:

14.1 Przykłady

Rachunek prawdopodobieństwa 1, 2

14.2 Nierówność Jensena i obniżanie wariancji

Niech \(\Delta \subset \r \) będzie przedziałem. Funkcję \(g :\Delta \str \r \) nazywamy wypukłą, jeżeli dla każdych \(x,y \in \Delta \) oraz \(0\le p, q \le 1\), \(p+q=1\) zachodzi:

\[ g(px+qy) \le pg(x) + qg(y). \]

Stosując indukcję, łatwo widać (ćwiczenie), że warunek ten jest równoważny warunkowi:

\[ g(\sum _{i=1}x_ip_i) \le \sum _{i=1}g(x_i)p_i, \]

dla dowolnych skończonych ciągów \(\{x_i\}\), \(\{p_i\}\), takich, że \(p_i \ge 0\), \(\sum _{i=1}p_i =1 \). W języku probabilistyki mamy więc natychmiast:

Twierdzenie Dla dowolnej zmiennej losowej o dyskretnym, skończonym rozkładzie prawdopodobieństwa takiej, że \(P(X \in \Delta ) = 1\) i dowolnej funkcji wypukłej \(g :\Delta \str \r \) zachodzi:

\[ g(E(X)) \le E(g(X)). \]

Rezultat ten można znacznie wzmocnić.

Dowód oparty jest na następującej własności funkcji wypukłej.

Dla dowolnej funkcji wypukłej \(g : \Delta \str \r \) określonej na przedziale otwartym istnieją ciągi liczb \(a_n\) oraz \(b_n\), takie, że dla każdego \(y \in \Delta \):

\[ g(y) = \sup _n\{a_ny + b_n\}. \]

Dowód. (nierówność Jensena)

Łatwo pokazać (ćwiczenie), \(E(Y|\a ) \in \Delta \) p.w.

Ponieważ \(g(y) = \sup _n\{a_ny+b_n\}\), to dla każdego \(n\)

\[g(Y) \ge a_nY + b_n.\]

Z własności nadziei warunkowej (ćwiczenia – sformułuj), dla każdego \(n\) zachodzi:

\[E(g(Y)|\a ) \ge E(a_nY + b_n|\a ) = a_nE(Y|\a ) + b_n.\]

Więc

\[E(g(Y)|\a ) \ge \sup _n\{a_nE(Y|\a ) + b_n\} = g (E(Y|\a )).\]

  \(\Box \)

W statystyce ważną rolę odgrywa następująca nierówność:

Dowód. Biorąc funkcję wypukłą \(g : \r \ni x \str x^2 \in \r \) i stosując nierówność Jensena dostajemy:

\[ E(Y|\a )^2 \le E(Y^2|\a ). \]

Teraz:

\[ D^2(E(Y|\a )) = E(E(Y|\a )^2) - E(E(Y|\a ))^2 \le \]

\[E(E(Y^2|\a )) -E(Y)^2 = E(Y^2) -E(Y)^2 = D^2(Y). \]

  \(\Box \)

Metody Monte Carlo i obniżanie wariancji

Jak pamiętamy metody metody Monte Carlo mogą być używane do obliczania wielkości, które dają się interpretować jako wartości oczekiwane pewnych zmiennych losowych. Załóżmy, że chcemy obliczyć wielkość \(m = E(Y)\) i używamy do tego estymatora \(\hat {m}\). Czasem jednak warto i można wyrazić \(m\) jako nadzieję matematyczną nadziei warunkowej \(E(Y|\a )\): \(m = E(E(Y|\a ))\) i wtedy \(m\) estymujemy estymatorem \(\hat {\hat {m}}\). Wariancja \(E(Y|\a )\) może być istotnie mniejsza niż wariancja \(Y\) i okazuje się, że w pewnych przypadkach wariancja estymatora \(\hat {\hat {m}}\) też jest mniejsza od wariancji estymatora \(\hat {m}\). Ponieważ interesuje nas przedział ufności dla \(m\) musimy jeszcze brać pod uwagę koszt (np. liczbę losowań) rozważanych metod wymagany do otrzymania przedziału ufności dla \(m\).

Jako przykład naszkicujemy najprostszy wariant tak zwanej metody warstwowej obliczania całek.

Metoda 2 poznana w poprzednim rozdziale liczenia całek może być łatwo zaadaptowana do obliczania całek wielokrotnych: Dany jest zbiór borelowski \(C\) w \(\rn \) o mierze skończonej i dodatniej, \(\mu _L(C) >0\), oraz funkcja \(f: C \str \r \) sumowalna (to znaczy \(J = \int _C f\,dx \in \r \)).

Ponieważ \(J = \mu _L(C) E(f(X))\), gdzie \(X \sim U(C)\), dobrym estymatorem jest:

\[ \hat {J} = \mu _L(C)\frac {1}{N}\sum _{i=1}^Nf(X_i), \mbox { gdzie } X_1, \dots , X_N \ i.i.d., X_i \sim U(C). \]

Opiszemy Metodę 3.

Niech \(C\) będzie sumą skończoną zbiorów rozłącznych \(C_1, \dots , C_k\).

Niech \(\a = \s (A_1, \dots , A_k)\), gdzie \(A_i = X^{-1}(C_i)\). Oczywiście \(P(A_i) =P_X(C_i) =\frac {\mu _L(C_i)}{\mu _L(C)}\). Wtedy:

\[ E(f(X)) = E(E(f(X)|\a )), \ \mbox {\bf ALE } \ D^2(E(f(X)|\a )) \le D^2(f(X)). \]

Wskażemy estymator nadziei matematycznej zmiennej losowej \(W = E(f(X)|\a )\), który pozwala wyznaczyć przedział ufności dla \(J\). Zachodzi:

\(\di E(f(X)|\a )(\o ) = \frac {\int _{A_i}f(X)\,dP}{P(A_i)} = \frac {\int _{C_i}f(x)\frac {1}{\mu _L(C)}I_C(x)\,dx}{P(A_i)} = \frac {\int _{C_i}f(x)\,dx}{\mu _L(C_i)} \)
dla \(\o \in A_i\), \(i =1, \dots , k\).

Zauważmy, że: \(\int _{C_i}f(x)\,dx = \mu _L(C_i)E(f(X_i))\), gdzie \(X_i \sim U(C_i)\).

Tak więc

\[\di W = \sum _{i=1}^k E(f(X_i))I_{A_i}.\]

Ponieważ \(E(W) = \sum _{i=1}^kE(f(X_i))P(A_i)\) więc wskażemy estymatory \(\hat {m_1}, \dots , \hat {m_k}\) wielkości \(E(f(X_i))\), a jako estymator \(E(W)\) weźmiemy \(\hat {m} = \sum _{i=1}^k \hat {m_i}P(A_i)\).

Oczywiście weźmiemy średnie arytmetyczne: \(\hat {m_i} = \frac {1}{n_i} \sum _{j=1}^{n_i}f(X_{ij})\), gdzie \(X_{i1}, \dots ,W_{in}\) jest próbką prostą z rozkładu \(U(C_i)\). Więc

\[ \hat {m} = \sum _{i=1}^k\frac {1}{n_i} \sum _{j=1}^{n_i}f(X_{ij})P(A_i). \]

Estymatorem całki \(J\) jest:

\[ \hat {\hat {J}} = \mu _L(C) \hat {E} = \sum _{i=1}^k\mu _L(C_i)\frac {1}{n_i}\sum _{j=1}^{n_i}f(X_{ij}). \]

Można na wiele sposobów dobierać podział zbioru \(C\) na zbiory \(C_i\) oraz wielkości \(n_i\). Na przykład załóżmy, że \(\mu _L(C_i) = \frac {\mu _L(C)}{k}\) oraz, że \(n_1 = ... = n_k = n\). Wtedy

\[ \hat {\hat {J}} = \mu _L(C)\frac {1}{kn}\sum _{i=1}^k\sum _{j=1}^nf(X_{ij}) \]

Można pokazać, że przy tej samej liczbie losowań (czyli, gdy \(N = kn\)) przedział ufności dla \(J\) wyznaczony za pomocą \(\hat {\hat {J}}\) jest węższy od analogicznego przedziału ufności wyznaczonego za pomocą \(\hat {J}\).

Istnieje wiele innych sposobów obniżania wariancji w metodach Monte Carlo, patrz [17], [18].

Rachunek prawdopodobieństwa 1, 2

14.3 Pytania

Wskazówka. Całka \(\int _{[0,1]^2} f_{X,Y)}\,d(x,y)\) musi być równa 1, stąd \(c = 2\). Wyznaczamy rozkłady brzegowe i na tej podstawie \(D^2(X) = \frac {1}{18}\), \(D^2(Y) = \frac {1}{12} \). Wyliczamy \(E(Y|X=x) = \frac 12 \), \(E(X|Y = y) = \frac 23\). Tak więc \(E(Y|X) = \frac 12 \), \(E(X|Y) = \frac 23\) są stałymi, więc ich wariancje są równe \(0\).

Wskazówka. \(E(X|\s (A_1,A_2,A_3))\) ma rozkład jednostajny dyskretny skupiony na zbiorze \(\{\frac 12, \frac 32, \frac 52\}\). \(D^2(E(X|\s (A_1,A_2,A_3))) = \frac 23\).

Wskazówka. Ad (a). Jeżeli \(X \le b\), to \(E(X|\a ) \le b\).

Ad (b). Można wziąć \(\a = \{\emptyset ,\Omega \}\).

Wskazówka. . \(D^2(X) = \frac 14\), \(E(X|Y) = 0\), \(D^2(E(X|Y)) = 0\),

\(D^2(Y) = \frac 14 - \frac {16}{9\pi ^2}\), \(E(Y|X) = \frac 12 \sqrt {1 - X^2}\), \(D^2(E(Y|X)) = \frac {3}{16} - \frac {16}{9\pi ^2}\).

Wskazówka. Najpierw wyznaczamy: \(E(Y^2|X = x,Z = 0) = \frac {x^2}{3}\), \(E(Y^2|X = x,Z = 1) = \frac {x^2+x+1}{3}\). Stosując analogiczne rozumowanie jak w Przykładzie 14.9 wyliczamy \(E(Y^2)\) jako \(E(E(Y^2|(X,Z)) = \frac 19 + \frac {1}{2}p\). Mamy więc:

\[D^2(Y) = E(Y^2) - E(Y)^2 = \frac 19 + \frac {1}{2}p - \left (\frac 14 +\frac {p}{2}\right )^2 = \frac {7}{144} + \frac 14 p - \frac 14 p^2.\]

Wynik uzyskany w Przykładzie 14.9 można zapisać w formie:

\[E(Y|(X,Z)) = \frac {X}{2}I_{\{Z=0\}} + \frac {X+1}{2}I_{\{Z=1\}} \mbox { dla } 0 <x<1.\]

Możemy więc policzyć:

\[E(E(Y|(X,Z))^2) = E\left (\left (\frac {X}{2}I_{\{Z=0\}} + \frac {X+1}{2}I_{\{Z=1\}}\right )^2\right )\]

\[ = E\left ((\frac {X}{2}I_{\{Z=0\}})^2\right ) + E\left ((\frac {X+1}{2}I_{\{Z=1\}})^2\right ) + 2\cdot 0\]

\[= \frac 14 E(X^2)(1-p) + \frac 14 E((X+1)^2)p = \frac 14 \left (\frac 13 (1-p) + \frac 73 p\right ) = \frac {1}{12} + \frac 12 p.\]

\[D^2(E(Y|(X,Z))) = \frac {3}{144} +\frac 14 p - \frac 14 p^2.\]

Wskazówka. Stosujemy nierówność Jensena do funkcji wypukłej \(g(x) = \max (0,x)\) oraz \(g(x) = - \max (0,-x)\).

\[ E(X|\a )^+ \le E(X^+|\a ), \ \ \ E(X|\a )^- \ge E(X^-|\a ). \]

Rachunek prawdopodobieństwa 1, 2

Rozdział 15 Martyngały

Wykorzystując pojęcie nadziei warunkowej można badać procesy stochastyczne, czyli ciągi zmiennych losowych, zwane martyngałami, podmartyngałami (submartygałąmi) i nadmartyngałami (supmartyngałami). Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną.

15.1 Definicje i przykłady

Niech \(\{\a _n\}\) będzie ciągiem \(\s \)-algebr: \(\a _1 \subset \a _2 \subset \a _3 \subset \dots \subset \Sigma \). Częsta nazwa – filtracja.

Niech \(X_n :\Omega \str \r \) będzie ciągiem zmiennych losowych, takich, że \(E(X_n) \in \r \) oraz dla każdego \(n\) \(X_n\) jest \(\a _n\)-mierzalna..

Często używana interpretacja.

\(X_n\) – kapitał gracza po \(n\) grach.

\(\a _n\) – dostępna informacja po \(n\) grach.

\(\a _n \subset \a _{n+1}\) – informacja wzrasta w trakcie gry.

\(E(X_{n+1}|\a _n) = X_{n}\) – gra jest sprawiedliwa.

\(E(X_{n+1}|\a _n) \ge X_{n}\) – gra jest korzystna dla gracza.

\(E(X_{n+1}|\a _n) \le X_{n}\) – gra nie jest korzystna dla gracza.

Dowód. W przypadku martyngału dla każdego \(n\) zachodzi równość:

\[E(X_{n+1}|\a _n) = X_{n},\]

a ponieważ dla \(i \le n\) \(X_i\) jest \(\a _i\)-mierzalna, więc jest też \(\a _n\)-mierzalna i stąd wektor \((X_1, ..., X_n)\) jest \(\a _n\)-mierzalny. Tak więc \(\s (X_1, ..., X_n) \subset \a _n\) i korzystając z własności 7 w Twierdzeniu 13.25 oraz własności 4 w Twierdzeniu 13.26 z powyższej równości otrzymujemy kolejno:

\[E(E(X_{n+1}|\a _n)|\s (X_1, ..., X_n)) = E(X_{n}|\s (X_1, ..., X_n)),\]

\[E(X_{n+1}|\s (X_1, ..., X_n)) = X_{n}.\]

Pozostałe przypadki są oczywiste.   

Nierówność Jensena implikuje ważne twierdzenie:

Dowód. (ćwiczenie).

Rachunek prawdopodobieństwa 1, 2

15.2 Wybór strategii w grze

Następujące twierdzenie jest jednym z wielu wyników dotyczących martyngałów i mających interpretację w języku teorii gier.Wyobraźmy sobie, że po każdej grze gracz na podstawie znajomości dotychczasowych rezultatów może podjąć decyzję: gra w kolejnej, lub ją opuszcza. Twierdzenie orzeka, że gdy gra jest sprawiedliwa, lub korzystna, to jakakolwiek strategia tego typu nie zmieni jej charakteru.

Przypomnienie twierdzenia 13.26.

• 1. Jeżeli \(X :\Omega \str \r ^k\) jest wektorem losowym takim, że \(X,Y\) są niezależne, to \(E(Y|X) =E(Y)\).

• 2. Jeżeli \(Z\) jest \(\a \)- mierzalna oraz \(E(ZY) \in \r \), to \(E(ZY|\a ) = ZE(Y|\a )\).

• 3. Jeżeli \(g :\r ^k \str \r \) jest funkcją borelowską, \(E(g(X)) \in \r \), to \(E(g(X)|X) = g(X)\).

• 4. Jeżeli \(X\) jest zmienną losową, \(E(X) \in \r \), to \(E(X|X) = X\).

Dowód. Ad (1). Zmienna losowa \(\ve _n = I_{(X_,\dots ,X_n) \in B_n}\) jest \(\s (X_1,\dots ,X_n)\)-mierzalna, a więc \(\a _n\)-mierzalna. W takim razie zmienna losowa \(Y_n\) jest \(\a _n\) mierzalna.

\[E(Y_{n+1}|\a _n) = E(Y_n+\ve _n(X_{n+1} - X_n)|\a _n) = E(Y_n|\a _n) + \ve _n E(X_{n+1} - X_n|\a _n) \]

\[ = ( \ge ) Y_n + \ve _n(X_n - X_n) = Y_n. \]

Ad (2) Oczywiście \(E(Y_1) = E(X_1)\), czyli \(E(X_1 - Y_1) = 0\). Dalej mamy:

\[X_{n+1} - Y_{n+1} = X_{n+1} - Y_n - \ve _n(X_{n+1} - X_n) = \]

\[ = (1 - \ve _n) (X_{n+1} - X_n) + (X_n - Y_n).\]

Funkcja \(1 - \ve _n\) oraz funkcja \(X_n - Y_n\) są \(\a _n\)-mierzalne, więc z własności 2 z własności 3 w przypomnianym u góry twierdzeniu 13.26 otrzymujemy:

\[E(X_{n+1} - Y_{n+1}|\a _n) = (1 - \ve _n)(E(X_{n+1}|\a _n) - E(X_n|\a _n)) + X_n-Y_n. \]

Z założenia \(E(X_{n+1}|\a _n) = (\ge ) X_n \), więc

\[E(X_{n+1} - Y_{n+1}|\a _n) = ( \ge ) (1 - \ve _n) (X_n - X_n) + (X_n - Y_n) = X_n- Y_n.\]

Gdy weźmiemy nadzieję matematyczną obydwu stron i skorzystamy z założenia indukcyjnego, widzimy, że \(E(X_{n+1} - Y_{n+1}) = ( \ge ) E(X_n- Y_n)\).   \(\Box \)

Twierdzenie Halmosa można uogólnić. Poniżej wypowiedź dla przypadku martyngałów.

Dowód. Powtórzenie dowodu pierwszej części Twierdzenia Halmosa. Uwaga. Założenie o ograniczoność \(v_n\) oznacza, że można skorzystać z punkt 2 Twierdzenia 13.26 i otrzymać równość: \(E(v_n(X_{n+1} - X_n)|\a _n) = v_n E(X_{n+1} - X_n|\a _n)\) (ćwiczenie).   

Gdy obserwujemy wyniki \(X_n\) kolejnych gier pewnego gracza możemy na tej podstawie robić zakłady dotyczące następnej gry i \(v_n\) może być interpretowane jako wysokość zakładu w kolejnej grze, natomiast \(Y_n\) oznacza nasz zysk (stratę). Jeżeli gra jest sprawiedliwa nasz średni zysk (strata) nie zmienia się.

Rachunek prawdopodobieństwa 1, 2

15.3 Momenty stopu

Dana jest filtracja \(\a _1 \subset \a _2 \subset \a _3 \subset \dots \subset \Sigma \) oraz funkcja \(\tau : \Omega \to \N \cup \{\infty \}\).

Dowód. \(\{\tau \le n\} = \bigcup _{k=1}^n\{\tau = k\}\).

\(\{\tau = n \} = \{\tau \le n\} \setminus \{\tau \le n-1\}\)   

Dowód. (ćwiczenie).   

Dla danego ciągu zmiennych losowych \(X_n\) oraz momentu stopu \(\tau \) względem filtracji \(\{\s (X_1,...X_n)\}\) takiego, że \(P(\tau < \infty ) = 1\) określamy funkcję \(X_\tau : \Omega \to \r \) wzorem

\[ X_\tau (\o ) = X_{\tau (\o )}(\o ). \]

\(X_\tau \) jest zmienną losową, gdyż dla każdego zbioru borelowskiego \(B\): \(\{X_\tau \in B\} = \bigcup _{n=1}^\infty \{\tau = n\}\cap \{X_n \in B\} \in \Sigma \).

Następujące twierdzenie Walda pozwala obliczać nadzieję matematyczną sumy losowej liczby składników zmiennych losowych i.i.d.

Dowód. Wykorzystamy lemat, którego dowód jest bardzo podobny do dowodu analogicznego Lematu 10.18 (ćwiczenie).

Zaważmy, że dla ustalonego \(\o \in \Omega \) \(S_{\tau (\o )}(\o ) = X_1(\o ) + ... + X_n(\o )\), gdzie \(n=\tau (\o )\).

Ponieważ \(\Omega \) jest sumą rozłącznych zbiorów \(\{\tau = n\}\), to

\[ S_\tau = X_1 I_{\{\tau \ge 1\}} + X_2 I_{\{\tau \ge 2\}} + X_3 I_{\{\tau \ge 3\}} + ... = \sum _{n=1}^\infty X_n I_{\{\tau \ge n\}}. \]

Przypadek 1. \(X_n \ge 0\) p.w. Wtedy \(\sum _{n=1}^\infty X_n I_{\{\tau \ge n\}}\) jest dobrze określona. Ponieważ \(I_{\{\tau \ge n\}} = I_{\{\tau > n-1\}}\) jest \(\s (X_1,...X_{n-1})\) mierzalna, to zmienne losowe \(X_n\) oraz \(I_{\{\tau \ge n\}}\) są niezależne. Dlatego \(E( X_n I_{\{\tau \ge n\}} ) = E(X_n) E( I_{\{\tau \ge n\}}) = E(X_1) P(\{\tau \ge n\})\). Zatem:

\[ E(S_\tau ) = \sum _{n=1}^\infty E(X_n)E(I_{\{\tau \ge n\}}) = E(X_1)\sum _{n=1}^\infty P(\{\tau \ge n\}) = E(X_1) E(\tau ). \]

Przypadek 2, sytuacja ogólna. Stosujemy Przypadek 1 do ciągów \(\{X_n^+\}\) oraz \(\{X_n^-\}\). Wtedy: \(E(|S_\tau |) = E(S_\tau ^+) + E(S_\tau ^-) = E(X_1^+) E(\tau ) + E(X_1^-) E(\tau ) = E(|X_1|)E(\tau ) < \infty \), więc \(E(X_\tau ) \in \r \) i można powtórzyć rachunki z Przypadku 1.   

Dowód. Ustalmy \(n\ge 1\) oraz \(\o \in \Omega \). Albo \(\tau (\o ) = k\) dla pewnego \(k \le n-1\), albo \(\tau (\o ) \ge n\). W pierwszym przypadku \(Y_n(\o ) = X_k(\o )\), w drugim \(Y_n(\o ) = X_n(\o )\). Zachodzi więc równość:

\[ Y_n = \sum _{k=1}^{n-1}X_k I_{\{\tau = k\}} + X_n I_{\{\tau > n-1\}} \]

\(Y_n\) są \(\a _n\)-mierzalne (złożenia funkcji mierzalnych).

\[ Y_{n+1} - Y_n = (X_{n+1} - X_n)I_{\{\tau > n\}}, \ \ \mbox { bo } X_nI_{\{\tau > n-1\}} = X_nI_{\{\tau = n\}} + X_nI_{\{\tau > n\}} \]

Ponieważ \(\{\tau > n\} \in \a _n\), to \(I_{\{\tau > n\}}\) jest \(\a _n\) mierzalne, więc:

\[ E(Y_{n+1} - Y_n|\a _n) = I_{\{\tau > n\}}E(X_{n+1} - X_n|\a _n), \]

więc łatwo dokończyć dowód.   

Niech \(v_0 = 1000\). Dla \(n = 1, 2, 3, ...\) określamy \(v_n = 2^n1000\) o ile \(X_1 = ... = X_{n-1} = -1\) oraz \(v_n = 0\) w pozostałych przypadkach.

Niech, podobnie jak w Twierdzeniu 15.12

\[ K_1 = v_0S_1, \ \ \ K_{n+1} = K_n + v_n (S_{n+1} - S_n), \ \ n \ge 1. \]

Więc \((\{K_n\},\{\s (X_1,...,X_n)\})\) jest martyngałem.

Mamy

\[K_{n} = v_0X_1 + v_1X_2 + ... +v_{n-1}X_n,\]

co oznacza stan konta gracza po \(n\) grach.

Niech \(\tau = \min (k: X_k = 1)\). Oczywiście jest to moment stopu względem filtracji \(\{\s (X_1,...,X_n)\}\). Co więcej, \(\tau \) ma rozkład geometryczny \(G_{\frac 12}\), co oznacza, że \(P(\tau < \infty ) = 1\). więc gra się kiedyś skończy.

Gdy \(\tau = 1\), to \(X_1 = 1\), to oznacza, że \(K_1 = 1000\). Ustalmy \(n > 1\). Gdy \(\tau = n\), to oznacza, że \(X_1 = ... = X_{n-1} = - 1\) oraz \(X_n = 1\). Wtedy: \(K_n = -v_0 - ...- v_{n-2} + v_{n-1} = -1000 - \dots - 2^{n-2}1000 + 2^{n-1}1000 = -1000\frac {2^{n-1}-1}{2-1} + 2^{n-1}1000 = 1000\).

Więc \(K_\tau \) jest stałą równą 1000.

Rachunek prawdopodobieństwa 1, 2

15.4 Twierdzenie o zbieżności

Jednym z ważniejszych twierdzeń w teorii martyngałów jest:

Dowód. Pomijamy.

Łatwo sprawdzić (ćwiczenie)

Jako wniosek otrzymujemy:

Rachunek prawdopodobieństwa 1, 2

15.5 Pytania

Wskazówka. Skoro \(X_{n+1}\) jest wylosowany według rozkładu jednostajnego na określonym przedziale, to jej nadzieja matematyczna jest środkiem tego przedziału. Inaczej

\[E(X_{n+1}|\s (X_1, ...,X_n)) = \frac {aX_n}{2} = \frac {a}{2}X_n.\]

Dla \(a = 2\) mamy martyngał dla \(a <2 \) – supmartymgał, \(a > 2 \) – submartymgał.

Wskazówka. Ad (a). Niech \(n = 1\). Biorę \(A_1 = \{X_1=0\}\), \(A_2 = \{X_1=1\}\). Chociaż nie znamy \((\Omega ,\Sigma ,P)\), to widzimy, że \(A_i\) są rozłączne, a także, że \(P(A_1 \cup A_2) = 1\). Oczywiście \(\s (A_1,A_2) \subset \s (X_1)\). Dla dowolnego zbioru borelowskiego \(B \subset \r \) mamy \(X_1^{-1}(B) = X_1^{-1}(B\cap \{0,1\})\) Ten ostatni zbiór jest równy albo zbiorowi pustemu, albo \(A_1\), albo \(A_2\), albo \(\Omega \). Stąd \(\s (X_1) \subset \s (A_1,A_2)\). Dla \(n = 2\) mamy cztery zbiory: \(A_1 = \{X_1=0,X_2 = 0\}\), \(A_2 = \{X_1=0,X_2 = 1\}\), \(A_3 = \{X_1=1,X_2 = 0\}\), \(A_4 = \{X_1=1,X_2 = 1\}\). Podobnie dla większych \(n\). Formalnie można napisać. tak. Niech \(N = 2^n\). Dla \(1 \le i \le N\) niech \(\ve _1, ..., \ve _n\) będzie rozwinięciem liczby \(i - 1\) w systemie dwójkowym. Określamy: \(A_i = \{X_1 = \ve _1, ... , X_n = \ve _n\}\).

Ad (b). Ponieważ \(S_n\) jest funkcją borelowską zmiennych \(X_1, ..., X_n\), to zawieranie jest oczywiste. Niech \(n = 2\) i niech \(A = \{X_1 = 0, X_2 = 1\}\). Widzimy, że \(A \in \s (X_1,X_2)\). Natomiast \(\s (S_2) = \s (\{S_2 = 0\}, \{S_2 = 1\}, \{S_2 = 2\})\), więc nie zawiera \(A\) (nie można go przedstawić jako sumę generatorów). Podobnie jest dla większych \(n\).

Ad (c). Wektor \((S_1, ... , S_n)\) jest borelowską funkcją wektora \((X_1, ..., X_n)\). Mamy też równości: \(X_1 = S_1, X_2 = S_2 - S_1, ... , X_n = S_n - S_{n-1}\), więc wektor \((X_1, ..., X_n)\) jest borelowską funkcją \((S_1, ..., S_n)\).

Wskazówka. Oznaczmy: \(X_n = E(X|\a _n)\). \(E(X_n) = E(X|\a _n) = E(X) \in \r \). Ponieważ \(\a _n \subset \a _{n+1}\), to \(E(E(X|\a _{n+1})|\a _{n }) = E(X|\a _n)\), więc \(\{E(X|\a _n)\}\) jest martyngałem względem filtracji \(\{\a _n\}\). Dla każdego \(n\) zachodzi więc równość:

\[E(X_{n+1}|\a _n) = X_{n},\]

a ponieważ dla \(i \le n\) \(X_i\) jest \(\a _i\)-mierzalna, więc jest też \(\a _n\)-mierzalna i stąd wektor \((X_1, ..., X_n)\) jest \(\a _n\)-mierzalny. Tak więc \(\s (X_1, ..., X_n) \subset \a _n\) i korzystając z poznanych już własności z powyższej równości otrzymujemy kolejno:

\[E(E(X_{n+1}|\a _n)|\s (X_1, ..., X_n)) = E(X_{n}|\s (X_1, ..., X_n)),\]

\[E(X_{n+1}|\s (X_1, ..., X_n)) = X_{n}.\]

Wskazówka. Suma tak. \(\{\tau _1 + \tau _2 = n\} = \bigcup _{k=1}^{n-1}\{\tau _1 = k,\tau _2 = n - k\} \in \a _n\).

Iloczyn tak. Podobnie jak wyżej: \(\{\tau _1 \cdot \tau _2 = n\}\) jest sumą zbiorów postaci
\(\{\tau _1 = k,\tau _2 = l\}\), gdzie \(kl = n\).

Różnica na ogół nie. Moment stopu ma być większy niż 0.

Wskazówka. \(\{\max (\tau _1,\tau _2) \le n\} = \{\tau _1 \le n\} \cap \{\tau _2 \le n\}\)

\(\{\min (\tau _1,\tau _2) \le n\} = \{\tau _1 \le n\} \cup \{\tau _2 \le n\}\).

Wskazówka. Dowód Uwagi 15.22. Warunek (15.1) oznacza, że ciąg o wyrazach \(E(|X_n|)\) jest ograniczony. Wiemy też, że \(E(|X_n|) = E(X_n^+) + E(X_n^-)\). Ciągi o wyrazach nieujemnych \(E(X_n^+)\) oraz \(E(X_n^-)\) są więc tym bardziej ograniczone. Załóżmy teraz, ze ciąg o wyrazach \(E(X_n^+)\) jest ograniczony i, że mamy do czynienia z submartyngałem. Zachodzą więc nierówności:

\[ E(X_{n+1}|\a _n) \ge X_n \ \mbox { i stÄĚd dla kaÅijdego } n \ E(X_n) = E(X_n^+) - E(X_n^-) \ge E(X_1), \]

czyli \(E(X_n^-) \le E(X_n^+) - E(X_1)\). Stąd

\[ E(|X_n|) = E(X_n^+) + E(X_n^-) \le 2E(X_n^+) - E(X_1). \]

Zachodzi więc warunek (15.1). W przypadku supmartyngału jest podobnie.

Dowód Wniosku 15.23. Skoro \(X_n \ge 0\), to \(X_n^- = 0\) i możemy stosować pierwszą część Uwagi 15.22, są więc spełnione założenia twierdzenia 15.21 o zbieżności.

Rachunek prawdopodobieństwa 1, 2

Rozdział 16 Definicja i przykłady łańcuchów Markowa

Przedstawimy jedną z najprostszych sytuacji, gdy rozważne zmienne losowe są zależne. Warto podkreślić, że łańcuchy Markowa, które będziemy za chwilę omawiać, stanowią bardzo interesujący przykład procesów stochastycznych. Ich teoria ma z kolei podstawowe znaczenie przy budowie probabilistycznych modeli wielu zjawisk przyrodniczych, technicznych, a także ekonomicznych. W szczególności, teoria procesów stochastycznych znajduje w ostatnich latach coraz większe znaczenie w wycenie instrumentów finansowych.

16.1 Jednorodny łańcuch Markowa

Niech \(M\subset \r ^d\) będzie zbiorem skończonym lub przeliczalnym i niech:
\({\P } : M \times M \to \r \), \({\p } :M \to \r \).

Będziemy myśleć o \(\P \) i \(\p \) jako o skończonej lub przeliczalnej macierzy o wyrazach \(\P (i,j)\) oraz wektorze (macierzy jedno kolumnowej) o współrzędnych \({\p }(i)\), gdzie \(i,j \in M\).

Interpretacja.

• 1. \(M\) – zbiór wszystkich możliwych stanów pewnego systemu.

• 2. \(X_n\) – stan, w którym znajduje się system w chwili czasowej \(n\).

• 3. Warunek, że \(X_n\) jest zmienną losową, oznacza, że faktycznie nie znamy dokładnie tego położenia.

• 4. Znamy rozkład prawdopodobieństwa położenia systemu w chwili zerowej,

• 5. Prawdopodobieństwo przejścia układu z jednego stanu do innego stanu w jednostkowym odcinku czasu zależy jedynie od samych stanów, a nie zależy od historii układu ani od konkretnej chwili, w której to przejście następuje.

• 6. Układ nigdy nie opuści swojej przestrzeni stanów \(M\), gdyż \(\di P(X_0 \in M) = \sum _{i \in M}{\p }_i = 1, \) a wzór na prawdopodobieństwo całkowite oraz warunek 4 implikują:

  \[ P(X_{n+1} \in M) = \sum _{j \in M}P(X_{n+1} = j) \]

  \[ = \sum _{j \in M} \sum _{i \in M}P(X_{n+1}= j|X_n = i)P(X_n=i) = \]

  \[ \sum _{i \in M} \sum _{j \in M}\P (i,j)P(X_n=i) = \sum _{i \in M} 1 P(X_n=i) = 1. \]

W związku z powyższą interpretacją będziemy nazywać;

\(M\) – zbiorem stanów, lub przestrzenią stanów,

\(\p \) – rozkładem początkowym,

\(\P \) – macierzą przejścia łańcucha Markowa.

Rozważa się też niejednorodne łańcuchy Markowa dopuszczając możliwość, że prawdopodobieństwo przejścia zależy od chwili w której to przejście następuje. W tym kursie nie zajmujemy się jednak takimi łańcuchami i w dalszym ciągu dla prostoty wypowiedzi opuszczamy słowo „ jednorodny".

Dyskutowaliśmy już poprzednio spacery losowe po prostej, patrz sekcja 11.4. Jak się okazuje są one łańcuchami Markowa.

Określony powyżej spacer losowy może być modyfikowany na różne sposoby. Na przykład, załóżmy, że cząsteczka może nie zmieniać swojego położenia z prawdopodobieństwem \(r\). Oczywiście wtedy zakładamy, że \(p + q + r = 1\). Inną modyfikacją jest założenie o istnieniu jednej lub dwóch barier (ekranów), które ograniczają możliwość ruchu cząsteczki i są usytuowane w punktach, powiedzmy, \(A < 0 < B\).

Wtedy zbiór \(M\) składa się \(A+B+1\) stanów, a \((A+B+1)\)-wymiarowa macierz \(\P \) może być zdefiniowana na przykład tak:

\[ {\P } = \left [ \begin {array}{cccccc} sa & 1 - sa & 0 & 0 & \cdots & 0 \\ q & r & p & 0 & \ddots & \vdots \\ 0 & \ddots & \ddots & \ddots & \ddots & 0\\ 0 & \ddots & \ddots & \ddots & \ddots & 0\\ \vdots & \ddots & 0 & q & r & p \\ 0 & \cdots & 0 & 0 & 1 - sb & sb \end {array} \right ]. \]

Liczby \(sa\) oraz \(sb\) oznaczają prawdopodobieństwa tego, że cząsteczka jest pochłaniana przez barierę \(A\) lub \(B\). Dwa interesujące przypadki skrajne są wtedy, gdy liczby te są albo zerami, co oznacza pełną elastyczność barier, albo są jedynkami, co oznacza pełną absorbcję cząsteczki z chwilą jej dojścia do bariery.

Można też opisać spacer losowy, używając innego podejścia.

Załóżmy, nieco ogólniej niż poprzednio, że cząsteczka startuje w chwili zero z punktu \(i\). Gdy nie uwzględniamy barier, mamy:

\[ X_0 = i, \ \mbox { oraz } \ \ X_{n} = X_{n-1} + \xi _{n}, \mbox { dla } n = 1,2,3, \dots , \]

gdzie \(\xi _1\), \(\xi _2\), \(\xi _3\), …są niezależnymi zmiennymi losowymi przyjmującymi wartości \(-1\), \(0\), \(1\) z prawdopodobieństwami odpowiednio \(q, \ r, \ p\).

Można także rozpatrywać spacery losowe na płaszczyźnie i ogólnie w przestrzeni wielowymiarowej.

Zauważmy, że współrzędnymi \(d\)-wymiarowego spaceru losowego są niezależne jednowymiarowe standardowe spacery losowe.

Prezentowany powyżej mechanizm tworzenia łańcucha Markowa można istotnie uogólnić.

Dowód. Niech \(\p (i) = P(\eta = i)\) oraz \(\P (i,j) = P(T(i, \xi _n) = j )\) dla \(i, j \in M\). Wtedy:

\begin{eqnarray*} & & P(X_{n+1} = i_{n+1}|(X_0 = i_0, \dots , X_n = i_n)) = \frac {P(X_{n+1} = i_{n+1},X_0 = i_0, \dots , X_n = i_n)}{P(X_0 = i_0, \dots , X_n = i_n)}\\ & = & \frac {P(T(i_n,\xi _{n+1}) = i_{n+1},X_0 = i_0, \dots , X_n = i_n)}{P(X_0 = i_0, \dots , X_n = i_n)} \\ & = & \frac {P(T(i_n,\xi _{n+1}) = i_{n+1}) P(X_0 = i_0, \dots , X_n = i_n)}{P(X_0 = i_0, \dots , X_n = i_n)} = P(T(i_n,\xi _{n+1}) = i_{n+1}) =\P (i_n,i_{n+1}). \end{eqnarray*}

Podobnie \(\di P(X_{n+1} = i_{n+1}|X_n = i_n) = \frac {P(T(i_n,\xi _{n+1}) = i_{n+1}) P(X_n = i_n)}{P(X_n = i_n)}\) \(= \di P(T(i_n,\xi _{n+1}) = i_{n+1}) =\P (i_n,i_{n+1})\).   

Rachunek prawdopodobieństwa 1, 2

16.2 Macierz przejścia i jej potęgi

Wyznaczymy rozkłady zmiennych losowych \(X_n\) tworzących łańcuch Markowa.

\[ {\p }_n(j) = P(X_n = j) \]

dla wszystkich \(n \ge 1\) oraz \(j \in M\).

Stosując wzór na prawdopodobieństwo całkowite, mamy:

\[ {\p }_n(j) = P(X_n = j) = \sum _{i \in M}P(X_n = j|X_{n-1} = i)P(X_{n-1} = i) = \sum _{i \in M}{\P }(i,j){\p }_{n-1}(i). \]

Czyli

\[ {\p }_n = {\P }^T{\p }_{n-1}, \]

gdzie \({\P }^T\) oznacza transpozycje macierzy \(\P \).

Oznaczając \(n\)-tą potęgę macierzy \(\P \) przez \({\P }^n\), otrzymujemy wreszcie poszukiwany rozkład:

\[ {\p }_n = \left ({\P }^T\right )^n{\p }_0. \]

W szczególności, jeżeli wiemy, że \(X_0 = i\), czyli że łańcuch znajduje się w stanie \(i\) z prawdopodobieństwem 1, powyższy wzór implikuje:

\[ {\p }_n(j) = {\P }^n(i,j), \mbox { dla wszystkich } n, \]

co wyjaśnia znaczenie współczynników \({\P }^n(i,j)\) \(n\)-tej potęgi macierzy przejścia \(\P \).

Niech \(A\) oznacza zbiór opisany przez zmienne losowe \(X_0, \dots X_{n-1}\), czyli \(A\) ma postać:

\[ A = \bigcup \{X_0 = i_0, \dots ,X_{n-1} = i_{n-1} \}, \]

gdzie suma jest brana po pewnym zbiorze, powiedzmy \(B\), indeksów \(i_0, \dots ,\) \(i_{n-1}\). Mamy wtedy:

Dowód. Zauważmy najpierw, że:

\[ P(X_{n+1} = j|(X_{n} = i \mbox { oraz } A)) = \frac {P(X_{n+1} = j,X_{n} = i, A)}{P(X_{n} = i, A)} \]

\[ = \frac {\sum P(X_{n+1} = j,X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0) }{\sum P(X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0)}, \]

gdzie obie sumy brane są po zbiorze \(B\).

Z własności 2 w definicji łańcucha Markowa mamy:

\begin{eqnarray*} P(X_{n+1} = j,X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0) & = & \\ P(X_{n+1} = j|(X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0)) \cdot & & \\ P(X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0) & = &\\ P(X_{n+1} = j|X_{n} = i) P(X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0) & = &\\ {\P }(i,j)P(X_{n} = i, X_{n-1} = i_{n-1}, \dots X_0 = i_0), & & \end{eqnarray*}

więc

\[ P(X_{n+1} = j|(X_{n} = i \mbox { oraz } A)) = {\P }(i,j). \]

  \(\Box \)

Następne twierdzenie daje inną, bardziej ogólną, interpretację współczynników \({\P }^k(i,j)\) macierzy \({\P }^k\) jako prawdopodobieństw przejścia w \(k\) krokach ze stanu \(i\) do stanu \(j\).

Dowód. Dla \(k = 1\) formuła jest konsekwencją własności 2 w definicji łańcuchu Markowa.

Załóżmy dla przeprowadzenia kroku indukcyjnego, że zachodzi powyższy wzór dla pewnego \(k\). Wykażemy go dla \(k +1\). Mamy:

\[ P(X_{n+k+1} = j|X_n = i) = \frac {P(X_{n+k+1} = j,X_n = i)}{P(X_n = i)} \]

\[ = \frac {\sum _{l \in M}P(X_{n+k+1} = j,X_{n+k} = l,X_n = i)}{P(X_n = i)} \]

\[ = \frac {\sum _{l \in M}P(X_{n+k+1} = j|X_{n+k} = l,X_n = i) P(X_{n+k} = l,X_n = i)}{P(X_n = i)}. \]

Założenie indukcyjne oraz poprzednie Twierdzenie daje:

\[ P(X_{n+k+1} = j|X_n = i) \]

\[ = \frac {\sum _{l \in M}P(X_{n+k+1} = j|X_{n+k} = l) P(X_{n+k} = l|X_n = i)P(X_n = i)}{P(X_n = i)} \]

\[ =\sum _{l \in M}{\P }(l,j){\P }^k(i,l) = {\P }^{k+1}(i,j). \]

  \(\Box \)

Tak więc \({\P }^k(i,j)\) jest prawdopodobieństwem przejścia w \(k\) krokach ze stanu \(i\) do stanu \(j\).

Warunek \({\P }^k(i,j) > 0\) oznacza, że takie przejście jest możliwe.

Zauważmy dalej, że dla każdych trzech stanów \(i, j, k\):

\[ {\P }^{m+n}(i,j) = \sum _{l\in M}{\P }^m(i,l){\P }^n(l,j) \ge {\P }^m(i,k){\P }^n(k,j). \]

Odpowiada to naszej intuicji, która podpowiada, że jeżeli jest możliwe przejście ze stanu \(i\) od stanu \(k\) oraz ze stanu \(k\) do stanu \(j\), to możliwe jest także przejście ze stanu \(i\) od \(j\).

Rachunek prawdopodobieństwa 1, 2

16.3 Pytania

Wskazówka. Można wyliczyć bezpośrednio sosując twierdzenie o prawdopodobieństwie całkowitym.

\(P(C_3 =0) = \frac {9}{72}\), \(P(C_3 =1) = \frac {37}{72}\), \(P(C_3 =2) = \frac {24}{72}\), \(P(C_3 =3) = \frac {2}{72}\).

Warto było rozważyć łańcuch Markowa na \(M = \{0,1,2,3\}\) z parametrami:

\[ \p = \left [\begin {array}{c} 1 \\ 0 \\ 0 \\ 0 \end {array} \right ], \ \ \‚\P = \left [\begin {array}{cccc} 1/2 & 1/2 & 0 & 0\\ 0 & 2/3 & 1/3 & 0 \\ 0 & 0 & 5/6 & 1/6 \\ 0 & 0 & 0 & 1 \end {array} \right ]. \]

i wyznaczyć \(\P ^3\).

Wskazówka. Ad (1). \(\frac {23}{72}\), \(\frac {43}{72}\).

Ad (2). Rozkład łańcucha w chwili \(t\) można otrzymać za pomocą \(t\)-tej potęgi macierzy przejścia. Odpowiedzi to: \(\frac {12024881}{20155392} \approx 0.5966086395 \) oraz \(\approx 0. 4 6000000000\).

Wskazówka. \(\sum _i\p (i) = \sum _iP(\eta =i) = P(\bigcup _i\{\eta = i\}) = P(\eta \in M) = P(\Omega ) = 1.\)

\(\sum _j\P (i,j) = \sum _jP(T(i,\xi _n) = j) = P(\bigcup _j\{T(i,\xi _n) = j\}) = P(T(i,\xi _n) \in M) = P(\Omega ) = 1\).

Wskazówka. Niech \(\p \) oraz \(\P \) będą danymi parametrami naszego łańcucha. Wtedy z Twierdzenia 16.10 wynika, że:

parametrami łańcucha \((X_1,X_3,X_5, ... )\) są \(\P ^T\p \) oraz \(\P ^2\),

parametrami łańcucha \((X_2,X_4,X_6, ... )\) są \((\P ^2)^T\p \) oraz \(\P ^2\).

Wskazówka. Oznaczenia ze strony (página for ?? 12.18). Określamy \(X_0= Y_0\), \(X_t = T(X_{t-1},Y_t)\), \(t =1,2,3,...\), gdzie \(Y_0,Y_1,Y_2,...\) i.i.d. o rozkładzie \(U(A)\),

\[ T(x,y) = \left \{\begin {array}{l} x, \mbox { gdy } f(x) \le f(y)\\ y, \mbox { gdy } f(x) > f(y) \end {array} \right . \]

\[ \P (x,y) = P(Y_t \in A: T(x,Y_t) = y) = \left \{\begin {array}{cl} \frac {\sharp \{z\in A: f(z) \ge f(x)\}}{\sharp A}, & \mbox { gdy } y = x \\[2mm] \frac {1}{\sharp A}, & \mbox { gdy } y \neq x, \ f(x) > f(y) \\[2mm] 0 , & \mbox { gdy } y \neq x, \ f(x) \le f(y) \end {array} \right . . \]

Wskazówka. Ad (1). Standardowy spacer losowy.

Ad (2). \(X_0 = 0\), \(X_{t+1} = X_t+Z_{t+1}\) dla \(t = 0,1,2,...\), gdzie \(Z_1,Z_2,Z_3,...\) – niezależne zmienne losowe przyjmujące wartości całkowite o wspólnej nadziei matematycznej \(m =0\). \(X_t\) tworzą martyngał.

\[ E(X_{t+1}|\s (X_1,...,X_t)) = E(X_{t}|\s (X_1,...,X_t))+E(Z_{t+1}|\s (X_1,...,X_t)) = X_t+E(Z_{t+1}) = X_t. \]

Gdy rozkłady \(Z_i\) się zmieniają, to \(X_t\) nie tworzą łańcucha Markowa (jednorodnego):

\[ P(X_{t+1} =j|X_t=i) = P(Z_{t+1} =j -i) = P_{Z_{t+1}}(j-i) \]

zależy od \(t\).

Ad (3). Spacer losowy po prostej, gdy \(p \neq q\).

Ad (4). Podobnie jak (2), tylko z różnymi nadziejami.

Rachunek prawdopodobieństwa 1, 2

Rozdział 17 Nieredukowalne łańcuchy Markowa

Większość łańcuchów Markowa spotykanych w zastosowaniach jest nieredukowalna, jakkolwiek łatwo pokazać przykłady łańcuchów, które nie spełniają tej własności.

Spacer losowy z ekranami pochłaniającymi nie jest nieredukowalny, gdyż prawdopodobieństwo przejścia z jednego do drugiego ekranu jest równe zeru.

17.1 Powracanie

Dla nieredukowalnego łańcucha Markowa oznaczmy prawdopodobieństwo pierwszego powrotu do stanu \(i\) dokładnie w \(n\) krokach przez \(f_n(i)\), czyli

\[ f_n(i) = P(X_n = i,X_{n-1} \neq i, \dots , X_1 \neq i|X_0 = i). \]

Określmy \(F(i)\) jako \(\di F(i) = \sum _{n=1}^\infty f_n(i). \) Jest to więc prawdopodobieństwo pierwszego powrotu do stanu \(i\) w czasie skończonym.

Jako prawdopodobieństwo, \(F(i)\) jest nie większe niż \(1\). Będziemy mówić, że stan \(i\) jest powracający, jeżeli \(F(i) = 1\) i niepowracający, jeżeli \(F(i) < 1\).

Następujące twierdzenie jest prostym uogólnieniem twierdzenia 11.25. Pozwala ono w wielu przypadkach stwierdzić, czy stan łańcucha Markowa jest powracający, czy niepowracający. Oznaczmy:

\[ \P (i) = \sum _{n = 1}^\infty {\P }^n(i,i). \]

Dowód. Dowód polega na powtórzenia rozumowania zastosowanego w uzasadnieniu twierdzenia 11.25, które dotyczyło szczególnego łańcucha Markowa. Zauważmy, że zdefiniowane tam prawdopodobieństwa \(a_n\) oraz \(f_n\) są szczególnymi przypadkami \(\P ^n(i,i)\) oraz \(f_n(i)\). Szczegóły pozostawiamy Czytelnikowi (ćwiczenie).   

Wykażemy, że albo wszystkie stany są powracające, albo wszystkie stany są niepowracające. W związku z tym mówimy, że łańcuch Markowa (nieredukowalny) jest odpowiednio powracający albo niepowracający.

Dowód. Istnieją takie liczby \(s, t\), że \(\P ^s(i,j) > 0\) oraz \(\P ^t(j,i) > 0\). Oznaczmy te dwie ostatnie wielkości odpowiednio przez \(c\) oraz \(d\). Wybierzmy dowolną liczbę naturalną \(n\). Wtedy

\[ \P ^{n+t+s}(i,i) \ge \P ^s(i,j)\P ^n(j,j)\P ^t(j,i) = cd \P ^n(j,j). \]

Jeżeli szereg \(\sum _{n = 1}^\infty {\P }^n(i,i)\) jest zbieżny, to oczywiście \(\sum _{n = 1}^\infty {\P }^{n+t+s}(i,i)\) jest zbieżny i stosując kryterium porównawcze zbieżności szeregów widzimy, że \(\sum _{n = 1}^\infty {\P }^n(j,j)\) też jest zbieżny. Rozumowanie symetryczne kończy dowód.   

Liczby \(\P (i)\) mają także nieco inną interpretację. Oznaczmy przez \(r_i\) liczbę wszystkich powrotów do stanu \(i\).

Dowód. Załóżmy, że w chwili \(0\) system znajdował się w stanie \(i\). W takim razie \({\p }(i) = 1\) oraz \({\p }(j) = 0\) dla \(j \neq i\). Mamy więc

\[ P(X_n = i) = P(X_n = i|X_0 = i) = {\P }^n(i,i). \]

Wiemy, że wartość oczekiwana funkcji charakterystycznej \(I_{\{X_n = i\}}\) wynosi \({\P }^n(i,i)\). Mamy też: \(\di r_i = \sum _{n=1}^\infty I_{\{X_n = i\}}\), co właśnie oznacza tezę.   \(\Box \)

Stosując twierdzenie 11.25 wykazaliśmy, że standardowy spacer losowy po prostej jest łańcuchem powracającym. Co więcej, okazało się w istocie, że dla dowolnego stanu \(i \in \Z \): \(\P ^n(i,i) = 0\) dla nieparzystych \(n\) oraz \(\P ^{2k}(i,i) = a_{2k} \cong \frac {1}{\sqrt {\pi k}}\) dla dużych \(k\).

Rachunek prawdopodobieństwa 1, 2

17.2 Okresowość i ergodyczność

Rozważmy nieredukowalny łańcuch Markowa i ustalmy pewien jego stan \(i \in M\). Określamy:

\[ N_i = \{n: {\P }^n(i,i)> 0\}. \]

Ponieważ \(i\) komunikuje się z samym sobą, to \(N_i \neq \emptyset \).

Jeżeli \(m,n\in N_i\), to także \(m + n \in N_i\), gdyż \({\P }^{m+n}(i,i) \ge {\P }^m(i,i){\P }^n(i,i) >0.\)

Dowód. Ponieważ łańcuch jest nieredukowalny, to istnieją takie liczby \(n, m\), że \(\P ^n(i,j) > 0\) oraz \(\P ^m(j,i) > 0\). W takim razie \(\P ^{n+m}(i,i) \ge \P ^n(i,j)\P ^m(j,i) > 0\), a więc \(n+m \in N_i\). Podobnie \(n+m \in N_j\). Niech \(t\in N_i\). Wtedy \(P^{n+t+m}(j,j) \ge \P ^n(i,j)\P ^t(i,i)\P ^m(j,i) >0\), a więc \(n+t+m \in N_j\). Więc \(\nu _j\) dzieli zarówno \(n+t+m\) jak i \(n+m\), czyli \(\nu _j\) dzieli \(t\). Ponieważ \(\nu _i\) jest największym wspólnym dzielnikiem \(N_i\), to \(\nu _j \ge \nu _i\). Podobnie dowodzimy, że \(\nu _i \ge \nu _j\).   

Wykazaliśmy więc, że w nieredukowalnym łańcuchu Markowa: albo wszystkie stany są okresowe i mają wspólny okres, albo żaden ze stanów nie jest okresowy. W pierwszym z tych przypadków mówimy, że łańcuch Markowa jest okresowy, a jego okresem jest okres każdego jego stanu. W drugim przypadku mówimy, że łańcuch jest nieokresowy.