Propriété

On considère une chaîne de Markov $\left({\mathrm{X}}_n\right)$ dont on note $\mathrm{P}$ la matrice de transition associée et ${\pi }_0$ la distribution initiale. On note ${\pi }_n$ la loi de ${\mathrm{X}}_n$.
On a, pour tout entier $n$, ${\pi }_{n+1}={\pi }_n\mathrm{P}$ et ${\pi }_n={\pi }_0{\mathrm{P}}^n$.

Propriété (admise)

Soit $\left({\mathrm{X}}_n\right)$ une chaîne de Markov à 2 ou 3 états de matrice de transition $\mathrm{P}$.
Il existe au moins une distribution initiale $\pi$ telle que $\pi \mathrm{P}=\pi$.
Une telle distribution est appelée distribution invariante de la chaîne de Markov.

Propriété

On considère une chaîne de Markov $\left({\mathrm{X}}_n\right)$ dont on note $\mathrm{P}$ la matrice de transition et ${\pi }_0$ la distribution initiale.
Pour tout entier naturel $n$, on note ${\pi }_n$ la distribution de ${\mathrm{X}}_n$.
Si $\mathrm{P}$ ne contient aucun $0$, alors la suite de matrices lignes $({\pi }_n)$ converge vers l’unique distribution invariante de la chaîne de Markov.