I.2.2.3.Markov-folyamat megszámlálható sok állapottal


Tegyük fel, hogy a vizsgált fizikai rendszer véges vagy megszámlálhatóan végtelen sok $E_1, E_2,\ldots, E_n,\ldots $ leh etséges állapottal rendelkezik, és legyen $\xi_t=j$, ha $t$ időpontban $E_j$ állapotban van a rendszer. Az átmenetvalószínűségeket definiáljuk most a következőképpen:

\begin{displaymath} P(\xi_t=j\ \vert\ \xi_s=i_j=p_{ij}(s,t) \ \ \ (s<t).\leqno(16) \end{displaymath}


Ennek segítségével a $(14)$ alatti átmenetvalószínűségek a következőképpen fejezhetők ki:

\begin{displaymath} F(s,y,t,x)= \sum\limits_{i\le x} p_{yi}(s,t). \end{displaymath}

A Chapman-Kolmogorov-egyenlet ebben az esetben a következő, egyszerűbb alakban is kifejezhető:

\begin{displaymath} p_{ik}(s,t)=\sum\limits_j p_{ij}(s,u) p_{jk}(u,t).\leqno(17) \end{displaymath}

A Kolmogorov-féle egyenletek: Tegyük fel, hogy 1. Minden egyes $E_n$ állapotnak megfelel egy folytonos $c_n(t) \ge 0$ függvény úgy, hogy $t$-ben egyenletesen

\begin{displaymath} \lim\limits_{\Delta t\to 0} {1-p_{nn}(t,t+\Delta t)\over \Delta t}= c_n(t). \leqno(18) \end{displaymath}


Ez a feltétel a következőt jelenti: Ha $t$ időpontban a rendszer $E_n$ állapotban van, úgy annak a valószínűsége, hogy $(t,t+\Delta t)$ időközben változás történik: $c_n(t)\Delta t+o(\Delta t)$. 2. Bármely két különböző $E_j$ és $E_k$ állapothoz tartozik egy $\hat{p}_{jk}(t)$ átmenetvalószínűség úgy, hogy $t$-ben egyenletesen fennáll

\begin{displaymath} \lim\limits_{\Delta t\to 0} {p_{jk}(t,t+\Delta t)\over \Delta t}= c_j(t) \hat{p}_{jk}(t). \leqno(19) \end{displaymath}


A $\hat{p}_{jk}(t)$-k $t$-ben folytonosak, $\hat{p}_{jj}(t)=0$ és

\begin{displaymath} \sum\limits_k \hat{p}_{jk}(t)=1. \leqno(20) \end{displaymath}


A $\hat{p}_{jk}(t)$ annak a feltételes valószínűségét jelenti, hogy ha a $t$ időpontban a rendszer $E_j$ állapotban van, és változás történik, akkor ezzel a rendszer $E_k$ állapotba jut. 3. Rögzített $k$ esetén a $(19)$ határátmenet $j$-ben egyenletes. Az 1., 2. és 3. feltételek teljesülése esetén fennáll Kolmogorov első differenciálegyenlet-rendszere:

\begin{displaymath} {\partial p_{ik}(s,t)\over \partial t}= -c_k(t) p_{ik}(s,t)... ...imits_{j\ne k} p_{ij}(s,t) c_j(t) \hat{p}_{jk}(t). \leqno(21) \end{displaymath}


Ez a $\lim\limits_{\Delta t\to 0} {p_{ik}(s,t+\Delta t)- p_{ik}(s,t)\over \Delta t}$ határátmenet elvégzésével adódik, ha még tekintetbe vesszük, hogy $p_{ik}(s,t+\Delta t)=\sum\limits_j p_{ij}(s,t) p_{jk }(t,t+\Delta t)$. A $(12)$ egyenletrendszerben $i$ és $s$ paraméterek, amelyek csupán a

\begin{displaymath} p_{ik}(s,s)=\cases{1 &, ha $k=i$,\cr 0 &, ha $k\ne i$,\cr} \end{displaymath}

kezdeti feltételekben mutatkoznak. Hasonlóképpen nyerjük az 1. és 2. feltételek teljesülése esetén a Kolmogorov második differenciálegyenlet-rendszerét:

\begin{displaymath} {\partial p_{ik}(s,t)\over \partial s}= c_i(s) p_{ik}(s,t)-... ...) \sum\limits_{j\ne i} \hat{p}_{ij}(s)p_{jk}(s,t). \leqno(25) \end{displaymath}


Ez az egyenletrendszer $\lim\limits_{\Delta s\to 0} {p_{ik}(s- \Delta s,t)- p_{ik}(s,t)\over \Delta s}$ határátmenet elvégzésével adódik, ha előbb $p_{ik}(s-\Delta s,t)= \sum\limits_j p_{ij}(s-\Delta s,s) p_{jk}(s,t)$ előállítást alkalmazzuk. Most a kezdeti feltételek:

\begin{displaymath} \sum\limits_k p_{ik}(s,t)=\cases{1 &, ha $i=k$,\cr 0 &, ha $i\ne k$.\cr} \end{displaymath}

A $(21)$ és $(22)$ differenciálegyenlet-rendszerek mindegyike a megfelelő kezdeti feltételekkel egyértelműen meghatározza a $p_{ik}(s,t)$ átmenetvalószínűségeket. Megjegyezzük, hogy $((p_{ik}(s,t))$ nem mindig szolgáltat valódi eloszlásfüggvényt, megtörténhet, hogy

\begin{displaymath} \sum\limits_k p_{ik}(s,t)<1. \end{displaymath}

Ekkor $1-\sum\limits_k p_{ik}(s,t)$ annak a valószínűségét jelenti, hogy $(s,t)$ időintervallumban végtelen sok átmenet történik. Ha a $\xi_t$ változó eloszlását $P(\xi_t=k)= P_k(t) $ jelöli, akkor, ha ismerjük a $(P_k(0))$ kezdeti eloszlását, felírható, hogy

\begin{displaymath} P_k(t)= \sum\limits_i P_i(0) p_{ik}(0,t) , \end{displaymath}

és $P_k(t)$ $(21)$ szerint kielégíti a

\begin{displaymath} {dP_k(t)\over dt}= -c_k(t) P_k(t)+ \sum\limits_{j\ne k} c_j(t) \hat{p}_{jk}(t) P_j(t) , \leqno(23) \end{displaymath}


differenciálegyenlet-rendszert. Ha a $(\xi_t)$ Markov-folyamat homogén, akkor $c_i(t) \equiv c_i$ és $\hat{p}_{jk}(t)\equiv \hat{p}_{jk}$ $t$-től független állandók. Ekkor $p_{ik}(s,t)= p_{ik}(t-s)$ írható, és az első differenciálegyenlet-rendszer,

\begin{displaymath} {dp_{ik}(t)\over dt}= -c_k p_{ik}(t)+ \sum\limits_{j\ne k} c_j \hat{p}_{jk} p_{ij}(t), \leqno(24) \end{displaymath}


a második differenciálegyenlet-rendszer pedig

\begin{displaymath} {dp_{ik}(t)\over dt}= -c_i p_{ik}(t)+ c_i\sum\limits_{j\ne i} \hat{p}_{jk} p_{jk}(t) ,\leqno(25) \end{displaymath}


lesz. Most, ha $P(\xi_t=k)= P_k(t) $, úgy $(21)$ szerint ez kielégíti a

\begin{displaymath} {dP_k(t)\over dt}= -c_k P_k(t)+ \sum\limits_{j\ne k} c_j \hat{p}_{jk} P_j(t) \leqno(26) \end{displaymath}


differenciálegyenlet-rendszert. A $(\xi_t)$ homogén Markov-folyamat ergodikus, ha a $\lim\limits_{t\to\infty}p_{jk}(t)= P_k$ határértékek léteznek, $j$-től függetlenek, és $(P_k)$ valószínűségeloszlás. Ha $(\xi_t)$ ergodikus, úgy $\lim\limits_{t\to\infty} P_k(t)= P_k$ is fennáll. $(23)$-ból következik, hogy a $(P_k)$ határeloszlás a

\begin{displaymath} c_k P_k= \sum\limits_{j\ne k} c_j \hat{p}_{jk}P_j \leqno(27) \end{displaymath}


lineáris egyenletrendszer megoldásával egyértelműen meghatározható. Ha a $(\xi_t)$ homogén Markov-folyamatnál az állapotok száma véges, és bármely más állapotból elérhető, úgy $(\xi_t)$ ergodikus, és a $(P_k)$ határeloszlás a $(27)$ egyenletrendszer megoldásával egyértelműen meghatározható. Gyakorlati alkalmazásoknál nagyon fontos az alábbi tétel

3. Tétel: Legyen $(\xi_t, t\ge 0)$ ergodikus Markov-folyamat. Ekkor $1$ valószínűséggel

\begin{displaymath} P_k=\lim\limits_{T\to\infty}{1\over T}\int\limits_0^T\chi(\xi_t=k)dt= {1\over c_km_{kk}} , \end{displaymath}

ahol $m_{kk}$ : a $k$ állapotba való első visszatérési idő várható értéke, $\chi(A)$ : az $A$ esemény indikátorfüggvénye. Szavakban: hosszútávon a $k$ állapotban való tartózkodási idő osztva az időintervallum hosszával az ergodikus eloszláshoz konvergál. Mivel $\xi_t$ a $k$ állapotban $c_k$ paraméterű exponenciális eloszlású ideig tartózkodik, ezért

\begin{displaymath} P_k={\hbox{a $k$ \'allapotban val\'o \'atlagos tart\'ozkod\... ...ba val\'o első visszat\'er\'esi idő v\'arhat\'o \'ert\'eke}}. \end{displaymath}

Nyitólap    Tartalomjegyzék    Fejezetek ( B I II III IV F )    Letöltések
FRAME-mel FRAME nélkül
<<   Előző Következő  >>