Chaînes de Markov

Une suite ${\left({\mathrm{X}}_n\right)}_{n⩾0}$ de variables aléatoires est une chaîne de Markov à deux états $a$ et $b$ (respectivement à trois états $a$, $b$ et $c$) lorsque, pour tous $x_0$, $x_1$, … , $x_k$, $x_{k+1}$ dans $\{a;b\}$ (respectivement dans $\{a;b;c\}$), on a : $p_{{\mathrm{X}}_0=x_0,{\mathrm{X}}_1=x_1,\dots ,{\mathrm{X}}_k=x_k}\left({\mathrm{X}}_{k+1}=x_{k+1}\right)=p_{{\mathrm{X}}_k=x_k}\left({\mathrm{X}}_{k+1}=x_{k+1}\right)$. La probabilité $p_{{\mathrm{X}}_k=x_k}\left({\mathrm{X}}_{k+1}=x_{k+1}\right)$ s'appelle probabilité de transition de l'état $x_k$ à l'état $x_{k+1}$.
L'ensemble $\{a;b\}$ (respectivement $\{a;b;c\}$) est appelé espace des états.


On peut représenter une chaîne de Markov à l'aide d'un graphe probabiliste. Chaque sommet représente un état de la chaîne de Markov et les poids portés par les arêtes orientées représentent les probabilités de transitions.

1. La chaîne de Markov représentée ci‑dessous par un graphe probabiliste a pour matrice de transition $\left(\begin{array}{ll}0,5& 0,5\\ 0,8& 0,2\end{array}\right)$.
Le coefficient surligné $0,8$ indique que la probabilité de passer de l'état 2 à l'état 1 vaut $0,8$.

2. La chaîne de Markov représentée par le graphe probabiliste ci‑dessous a pour matrice de transition $\left(\begin{array}{ccc}0,5& 0,1& 0,4\\ 0,7& 0,2& 0,1\\ 0,3& 0,4& 0,3\end{array}\right)$.