I.2.1.3. Markov-láncok és állapotainak osztályozása


Azt mondjuk, hogy az $E_k$ állapot elérhető az $E_j$ állapotból, ha létezik olyan $n$, hogy $p_{ij}^{(n)}>0$. Egy Markov-láncot irreducibilisnek nevezünk akkor, ha minden állapota elérhető minden állapotából. A nem irreducibilis Markov-láncok vizsgálata visszavezethető egymástól független irreducibilis Markov-láncok tárgyalására. Egy Markov-lánc állapotainak $C$ halmazát zártnak mondjuk, ha egylépéses átmenettel nem lehet kijutni ebből a halmazból, azaz $p_{jk}=0$, ha $E_j\in C$, és $E_k\not\in C$. Nyilvánvalóan ekkor tetszőleges $n$-re is fennáll $p_{jk}^{(n)}=0$, ha $E_j\in C$ és $E_k\not\in C$. Az irreducibilis Markov-láncok állapotai egyetlen zárt halmazt alkotnak. Ha csupán egy zárt $C$ halmaz állapotait tekintjük, úgy egy rész Markov-láncot nyerünk, amely a többi állapottól függetlenül vizsgálható. Egy Markov-láncot szétbonthatónak mondunk, ha állapotai két vagy több zárt halmazra bomlanak. Ha egyetlen $E_k$ állapot képez egy zárt halmazt, akkor az $E_k$ állapotot abszorbeáló állapotnak nevezzük. Ekkor $p_{kk}=1$. Tekintsünk egy tetszőleges, de rögzített $E_j$ állapotot. Tegyük fel, hogy a rendszer kezdetben $E_j$ állapotban van $(\xi_0=j)$. Jelölje $f_j^{(n)}$ annak a valószínűségét, hogy az első visszatérés az $E_j$ állapotba az $n$-edik lépésnél következik be $(f_j^{(0)}=1)$. Az $f_j^{(n)},\ \ n=1,2,3,\ldots$ valószínűségek sorban meghatározhatók a

\begin{displaymath}
p_{ij}^{(n)}=\sum\limits_{m=1}^n f_i^{(m)}p_{ij}^{(n-m)}\leqno(7)
\end{displaymath}

rekurzív képletek alapján. Annak a valószínűsége, hogy a rendszer valamikor visszatér az $E_j$ állapotba,

\begin{displaymath}
f_j=\sum\limits_{n=1}^\infty f_j^{(n)}.\leqno(8)
\end{displaymath}

Ha $f_j=1$, azaz a visszatérés biztos, úgy a visszatérésig megtett lépésszám várható értéke, az átlagos visszatérési idő

\begin{displaymath}
\mu_j=\sum\limits_{n=1}^\infty nf_j^{(n)}.\leqno(9)
\end{displaymath}


A fentiek előrebocsátása után a Markov-lánc állapotait a következőképpen osztályozhatjuk: Az $E_j$ állapotot rekurrens állapotnak mondjuk, ha az $E_j$ állapotba való visszatérés biztos, azaz $f_j=1$. Az $E_j$ állapotot tranziens állapotnak mondjuk, ha az $E_j$ állapotba való visszatérés nem biztos, azaz $f_j<1$. Az $E_j$ rekurrens állapotot zérus állapotnak nevezzük, ha az átlagos visszatérési idő végtelen, azaz $f_j=1$ és $\mu_j=\infty$. Az $E_j$ állapotot periodikusnak mondjuk, $t$ periódussal, ha az $E_j$ állapotba való visszatérés csupán a $t, 2t, 3t,
\ldots$ lépésnél következhet be, és $t>1$ a legnagyobb ilyen tulajdonsággal rendelkező szám. Ekkor $p_{jj}^{(n)}=0$, ha $n$ nem osztható $t$-vel. Az $E_j$ rekurrens állapotot ergodikusnak mondjuk, ha nem zérus állapot és nem periodikus.

1. Tétel: Egy irreducibilis Markov-lánc állapotai mind ugyanazon osztályhoz tartoznak: vagy mind tranziensek, vagy rekurrens zérus állapotok, vagy rekurrens nem zérus állapotok. Mindegyik esetben az összes állapot periódusa megegyezik. Megjegyzés. Egy véges sok állapotú láncnak nem lehet zérus állapota, és nem lehet az összes állapota tranziens.

Nyitólap    Tartalomjegyzék    Fejezetek ( B I II III IV F )    Letöltések
FRAME-mel FRAME nélkül
<<   Előző Következő  >>