I.2.1. Markov-láncok
I.2.1. Markov-lánc definíciója
A Markov-lánc fogalmához legegyszerűbben a független kísérletek
fogalmának általánosításával jutunk el. Tekintsük
egymás után végrehajtott kísérletek sorozatát.
Legyen egy teljes eseményrendszer. Vizsgáljuk
az egyes kísérletek eredményét az
események bekövetkezése szempontjából.
Definiáljuk a
valószínűségi változókat
úgy, hogy
, ha az
-edik kísérletnél az
esemény fordul elő. Független kísérletek esetén
érvényes, hogy
írható. Ha az átmenetvalószínűségek -től is függnek, úgy inhomogén Markov-láncról
beszélünk. A továbbiakban csak homogén Markov-láncokkal
foglalkozunk. Fizikai alkalmazásokat szem előtt tartva a Markov-láncokkal
kapcsolatban rendszerint a következő terminológia szokásos: az
eseményeket a rendszer állapotainak nevezzük.
A
változó
eloszlását kezdeti eloszlásnak
és a
feltételes valószínűséget
átmenetvalószínűségnek nevezzük. Ha pedig
és
, akkor azt mondjuk, hogy a rendszer az
-edik lépésben átmenetet tett. Ha egy Markov-láncnál
ismerjük a kezdeti eloszlást és az átmenetvalószínűségeket,
úgy ezek segítségével az összes
változó eloszlása egyértelműen meghatározható.
Fontos feladat annak megvizsgálása, hogy a
változóknak
-re létezik-e határeloszlása, és ha létezik,
hogyan határozható meg.
|