I.2. Markov-folyamatok

    I.2.1. Markov-láncok

      I.2.1. Markov-lánc definíciója


A Markov-lánc fogalmához legegyszerűbben a független kísérletek fogalmának általánosításával jutunk el. Tekintsük egymás után végrehajtott kísérletek sorozatát. Legyen $E_1, E_2\ldots, E_i,\ldots$ egy teljes eseményrendszer. Vizsgáljuk az egyes kísérletek eredményét az $E_i$ események bekövetkezése szempontjából. Definiáljuk a $\xi_n\ (n=0,1,2,\ldots)$ valószínűségi változókat úgy, hogy $\xi_n=i$, ha az $n$-edik kísérletnél az $E_i$ esemény fordul elő. Független kísérletek esetén érvényes, hogy

\begin{displaymath} P(\xi_n=j\ \vert\ \xi_1=i_1,\xi_2=i_2,\ldots,\xi_{n-1} =i_{n-1})=P(\xi_n=j) \end{displaymath}

minden $n$-re, és a szóban forgó valószínűségi változók valamennyi lehetséges értékére. A Markov-lánc fogalmához akkor jutunk, ha a fenti valószínűségnél feltesszük, hogy a $\xi_n$ változó valószínűségeloszlása függ az előző $\xi_1,\ldots,\xi_{n-1}$ változóktól is. Ha fennáll minden $n$-re és a változók összes lehetséges értékeire, hogy

\begin{displaymath} P(\xi_n=j\ \vert\ \xi_1=i_1, \xi_2=i_2,\ldots, \xi_{n-1}=i_{n-1})= P(\xi_n=j\ \vert\ \xi_{n-1}=i_{n-1}) \leqno(1) \end{displaymath}

úgy azt mondjuk, hogy az egymást követő kísérletek, illetve a $(\xi_n)$ valószínűségi változók egyszerű Markov-láncot alkotnak. Megjegyezzük, hogy $r$-edrendű Markov-láncról beszélünk akkor, ha rögzített $r$-nél minden $n$-re és a változók összes lehetséges értékeire fennáll

\begin{displaymath} P(\xi_n=j\ \vert\ \xi_1=i_1, \xi _2=i_2,\ldots, \xi_{n-1}=i_{n-1})= \end{displaymath}


\begin{displaymath} P(\xi_n=j\ \vert\ \xi_{n-r}=i_{n-r},\ldots, \xi_{n-1}=i_{n-1}). \end{displaymath}

Így az előbbi definíciót, az elsőrendű (vagy egyszerű) Markov-lánc definíciójának tekinthetjük. A következőkben csupán elsőrendű Markov-láncokkal foglalkozunk, anélkül, hogy ezt külön mondanánk. A Markov-láncok fontos speciális esetét képezik a homogén Markov-láncok. Ezeknél a $P(\xi_n=j\ \vert\ \xi_{n-1}=i)$ átmenetvalószínűségek függetlenek az $n$-től, azaz

\begin{displaymath} P(\xi_n=j\ \vert\ \xi_{n-1}=i)=p_{ij} \end{displaymath}

írható. Ha az átmenetvalószínűségek $n$-től is függnek, úgy inhomogén Markov-láncról beszélünk. A továbbiakban csak homogén Markov-láncokkal foglalkozunk. Fizikai alkalmazásokat szem előtt tartva a Markov-láncokkal kapcsolatban rendszerint a következő terminológia szokásos: az $E_i$ eseményeket a rendszer állapotainak nevezzük. A $\xi_0$ változó $P(\xi_0=i)=P_i(0)$ eloszlását kezdeti eloszlásnak és a $P(\xi_n=j\ \vert\ \xi_{n-1}=i)$ feltételes valószínűséget átmenetvalószínűségnek nevezzük. Ha pedig $\xi_{n-1}=i$ és $\xi_n=j$, akkor azt mondjuk, hogy a rendszer az $n$-edik lépésben átmenetet tett. Ha egy Markov-láncnál ismerjük a kezdeti eloszlást és az átmenetvalószínűségeket, úgy ezek segítségével az összes $\xi_n$ változó eloszlása egyértelműen meghatározható. Fontos feladat annak megvizsgálása, hogy a $\xi_n$ változóknak $n\to\infty$-re létezik-e határeloszlása, és ha létezik, hogyan határozható meg.

Nyitólap    Tartalomjegyzék    Fejezetek ( B I II III IV F )    Letöltések
FRAME-mel FRAME nélkül
<<   Előző Következő  >>