2

Chaînes de Markov

Exemple

Le graphe suivant est un graphe probabiliste à deux états ($\mathrm{C}$ et $\mathrm{T}$). On a $0,22+0,78=1$ et $0,47+0,53=1$.

La définition d’une chaîne de Markov signifie que les états passés n’ont aucune influence sur les états futurs : seul l’état présent a son importance.

Les variables aléatoires $\left({\mathrm{X}}_n\right)$ ne sont pas nécessairement à valeurs réelles.

La somme des probabilités de transition issues d’un même état est égale à $1$.

Illustration à l’aide d’un graphe probabiliste :

On peut représenter une chaîne de Markov à l’aide d’un graphe probabiliste. Chaque sommet représente un état de la chaîne de Markov et les poids portés par les arêtes orientées représentent les probabilités de transitions.

Graphe d’une chaîne de Markov à deux états

$p_{{\mathrm{X}}_k=a}\left({\mathrm{X}}_{k+1}=b\right)=p_{a,b}$

Graphe d’une chaîne de Markov à trois états

$p_{{\mathrm{X}}_k=c}\left({\mathrm{X}}_{k+1}=b\right)=p_{c,b}$

Ike n’aime pas prendre le bus pour aller à l’école et préfère prendre son vélo. Il n’utilise pas d’autre moyen de locomotion.
Chaque jour de la semaine, il va à l’école en bus avec une probabilité de $0,8$ s’il ne l’a pas emprunté la fois précédente et avec une probabilité de $0,3$ sinon.
Représenter la situation par un graphe probabiliste.

Dans le programme, on se limite au cas où $n=2$ ou $n=3$.

Exemples

1. La chaîne de Markov représentée ci‑dessous par un graphe probabiliste a pour matrice de transition $\left(\begin{array}{ll}0,5& 0,5\\ 0,8& 0,2\end{array}\right)$.
Le coefficient surligné $0,8$ indique que la probabilité de passer de l’état 2 à l’état 1 vaut $0,8$.

2. La chaîne de Markov représentée par le graphe probabiliste ci‑dessous a pour matrice de transition $\left(\begin{array}{ccc}0,5& 0,1& 0,4\\ 0,7& 0,2& 0,1\\ 0,3& 0,4& 0,3\end{array}\right)$.

La distribution initiale peut être représentée par une matrice ligne, souvent notée ${\pi }_0$, dont le $k$‑ième coefficient correspond à la probabilité de l’état $k$ à l’instant initial.