Chargement de l'audio en cours
Plus

Plus

3. Évolution d’une chaîne de Markov
P.214-215
Mode édition
Ajouter

Ajouter

Terminer

Terminer

COURS 3


3
Évolution d’une chaîne de Markov




A
Étude sur plusieurs rangs


Propriété
On considère une chaîne de Markov (Xn)\left(\mathrm{X}_{n}\right) dont on note P\mathrm{P} la matrice de transition associée et π0\pi_{0} la distribution initiale. On note πn\pi_{n} la loi de Xn\mathrm{X}_{n}.
On a, pour tout entier nn, πn+1=πnP\pi_{n+1}=\pi_{n} \mathrm{P} et πn=π0Pn\pi_{n}=\pi_{0} \mathrm{P}^{n}.

Remarques

Une chaîne de Markov est donc entièrement déterminée par sa distribution initiale et par sa matrice de transition.

DÉMONSTRATION

Voir exercice
78
p. 227.

Exemple
On considère la chaîne de Markov définie par le graphe probabiliste ci‑contre et par la distribution initiale π0=(0,50,5)\pi_{0}=(0,5 \quad 0,5). Alors la loi de probabilité π0\pi_{0} de X3\mathrm{X}_3 est donné par π3=π0P3\pi_{3}=\pi_{0} \mathrm{P}^{3} avec P=(0,30,70,90,1)\mathrm{P}=\left(\begin{array}{ll}0{,}3 & 0{,}7 \\ 0{,}9 & 0{,}1\end{array}\right).
On a ainsi π3=(0,5760,424)\pi_{3}=(0{,}576 \quad 0{,}424).
La loi de probabilité de X3\mathrm{X}_3 est donc la suivante.

x\boldsymbol{x} 11 22
P(X3=x)\boldsymbol{\mathrm{P}\left(\mathrm{X}_{3}=x\right)} 0,5760{,}576 0,4240{,}424



maths expertes - chapitre 7 - Suites et matrices - Cours - Évolution d’une chaîne de Markov

Remarques

Le coefficient d’indice (i ,j)(i\,, j) de la matrice Pn\mathrm{P}^n correspont à la probabilité de passer de l’état ii à l’état jj en nn transitions.

Application et méthode - 4

Énoncé

On reprend l’exemple précédent. Le lundi, premier jour de l’année scolaire, Ike va à l’école en bus avec une probabilité de 0,50{,}5. Quelle est la probabilité qu’il aille à l’école en bus le jeudi de cette même semaine ?

Solution


En rangeant les sommets dans l’ordre alphabétique, la matrice de transition est P=(0,30,70,80,2)\mathrm{P}=\left(\begin{array}{ll}0{,}3 & 0{,}7 \\ 0{,}8 & 0{,}2\end{array}\right) et la distribution initiale correspondant au lundi de la rentrée est π0=(0,50,5)\pi_{0}=(0,5 \quad 0,5). On veut donc déterminer π3=π0P3\pi_{3}=\pi_{0} \mathrm{P}^{3}.
Or P3=(0,4750,5250,60,4)\mathrm{P}^{3}=\left(\begin{array}{cc}0{,}475 & 0{,}525 \\ 0{,}6 & 0{,}4\end{array}\right) donc π3=(0,53750,4625)\pi_{3}=(0{,}5375 \quad 0{,}4625).
La probabilité qu’Ike aille à l’école en bus le jeudi de la semaine de la rentrée est donc de 0,53750{,}5375.

Pour s'entraîner : exercices 33 et 34 p. 221

Méthode

  • On détermine la matrice de transition liée au graphe probabiliste.
  • On calcule ensuite la puissance de la matrice de transition qui correspond au rang pour lequel on veut trouver la distribution de probabilité.


B
Distribution invariante d’une chaîne de Markov


Propriété (admise)
Soit (Xn)\left(\mathrm{X}_{n}\right) une chaîne de Markov à 2 ou 3 états de matrice de transition P\mathrm{P}.
Il existe au moins une distribution initiale π\pi telle que πP=π\pi \mathrm{P}=\pi.
Une telle distribution est appelée distribution invariante de la chaîne de Markov.

Remarque

On parle aussi d’état stable de la chaîne de Markov.

Exemple
On considère une chaîne de Markov dont la matrice de transition est P=(0,40,60,90,1)\mathrm{P}=\left(\begin{array}{ll}0{,}4 & 0{,}6 \\ 0{,}9 & 0{,}1\end{array}\right).
Alors π=(0,60,4)\pi=(0,6 \quad 0,4) est une distribution invariante.
En effet, πP=(0,60,4)(0,40,60,90,1)\pi \mathrm{P}=(0,6 \quad 0,4)\left(\begin{array}{ll}0{,}4 & 0{,}6 \\ 0{,}9 & 0{,}1\end{array}\right)
=(0,6×0,4+0,4×0,90,6×0,6+0,4×0,1)=(0{,}6 \times 0{,}4+0{,}4 \times 0{,}9 \quad 0{,}6 \times 0{,}6+0{,}4 \times 0{,}1)
=(0,60,4)=(0{,}6 \quad 0{,}4)
=π= \pi.

Remarque

L’existence de la distribution invariante peut également être démontrée pour une chaîne de Markov ayant un nombre d’états quelconque.

Propriété
On considère une chaîne de Markov (Xn)\left(\mathrm{X}_{n}\right) dont on note P\mathrm{P} la matrice de transition et π0\pi_{0} la distribution initiale.
Pour tout entier naturel nn, on note πn\pi_{n} la distribution de Xn\mathrm{X}_{n}.
Si P\mathrm{P} ne contient aucun 00, alors la suite de matrices lignes (πn)(\pi_{n}) converge vers l’unique distribution invariante de la chaîne de Markov.

Remarque

Dans le cas où la matrice de transition ne contient pas de 00, la distribution invariante s’interprète de la même manière qu’une limite de suite.

Application et méthode - 5

Énoncé

On reprend l’exemple précédent.
Déterminer la probabilité qu’Ike aille à l’école en vélo à très long terme.

Solution


La matrice de transition P\mathrm{P} ne contient pas de 00 : il existe donc une unique distribution invariante π\pi.
Si on note π=(xy)\pi=(x \quad y) cette distribution invariante, alors on a x+y=1x+y=1 et la relation πP=π\pi \mathrm{P}=\pi, c’est‑à‑dire 0,3x+0,8y=x0{,}3 x+0{,}8 y=x et 0,7x+0,2y=y0{,}7x+0{,}2 y=y.
Les deux dernières égalités se ramenant en réalité à la même équation, on ne va travailler qu’avec les deux premières, soit {0,3x+0,8y=xx+y=1\left\{\begin{array}{r}0{,}3 x+0{,}8 y=x \\ x+y=1\end{array}\right. c’est‑à‑dire {−0,7x+0,8y=0x+y=1\left\{\begin{aligned}-0{,}7 x+0{,}8 y &=0 \\ x+y &=1 \end{aligned}\right..
Ce système a pour solution (x ;y)=(815 ;715)(x\,; y)=\left(\dfrac{8}{15}\,; \dfrac{7}{15}\right).
La distribution invariante est donc π=(815  715)\pi=\left(\dfrac{8}{15}\:\: \dfrac{7}{15}\right). La probabilité qu’Ike aille à l’école en vélo à très long terme vaut 715\dfrac{7}{15}.

Pour s'entraîner : exercices 35 et 36 p. 221

Méthode

La notion de distribution invariante permet de modéliser cette notion de « long terme ».
On commence par noter (xy)(x \quad y) la (lorsqu’elle est unique) distribution invariante puis on remarque qu’on doit avoir x+y=1x+y=1.
On traduit ensuite sous forme de système la relation πP=π\pi \mathrm{P}=\pi : on obtient alors deux nouvelles relations qui s’avèrent être équivalentes.
On dispose donc au total de deux équations qui nous permettent de trouver xx et yy.
Utilisation des cookies
En poursuivant votre navigation sans modifier vos paramètres, vous acceptez l'utilisation des cookies permettant le bon fonctionnement du service.
Pour plus d’informations, cliquez ici.