On considère une chaîne de Markov (Xn) dont on note P la matrice de transition associée et π0 la distribution initiale. On note πn la loi de Xn.
On a, pour tout entier n, πn+1=πnP et πn=π0Pn.
Remarques
Une chaîne de Markov est donc entièrement déterminée par sa distribution initiale et par sa matrice de transition.
On considère la chaîne de Markov définie par le graphe probabiliste ci‑contre et par la distribution initiale π0=(0,50,5). Alors la loi de probabilité π0 de X3 est donné par π3=π0P3 avec P=(0,30,90,70,1).
On a ainsi π3=(0,5760,424).
La loi de probabilité de X3 est donc la suivante.
x
1
2
P(X3=x)
0,576
0,424
Remarques
Le coefficient d’indice (i,j) de la matrice Pn correspont à la probabilité de passer de l’état i à l’état j en n transitions.
Application et méthode - 4
Énoncé
On reprend l’exemple précédent. Le lundi, premier jour de l’année scolaire, Ike va à l’école en bus avec une probabilité de 0,5. Quelle est la probabilité qu’il aille à l’école en bus le jeudi de cette même semaine ?
B
Distribution invariante d’une chaîne de Markov
Propriété (admise)
Soit (Xn) une chaîne de Markov à 2 ou 3 états de matrice de transition P.
Il existe au moins une distribution initiale π telle que πP=π.
Une telle distribution est appelée distribution invariante de la chaîne de Markov.
Remarque
On parle aussi d’état stable de la chaîne de Markov.
Exemple
On considère une chaîne de Markov dont la matrice de transition est P=(0,40,90,60,1).
Alors π=(0,60,4) est une distribution invariante.
En effet, πP=(0,60,4)(0,40,90,60,1) =(0,6×0,4+0,4×0,90,6×0,6+0,4×0,1) =(0,60,4) =π.
Remarque
L’existence de la distribution invariante peut également être démontrée pour une chaîne de Markov ayant un nombre d’états quelconque.
Propriété
On considère une chaîne de Markov (Xn) dont on note P la matrice de transition et π0 la distribution initiale.
Pour tout entier naturel n, on note πn la distribution de Xn.
Si P ne contient aucun 0, alors la suite de matrices lignes (πn) converge vers l’unique distribution invariante de la chaîne de Markov.
Remarque
Dans le cas où la matrice de transition ne contient pas de 0, la distribution invariante s’interprète de la même manière qu’une limite de suite.
Application et méthode - 5
Énoncé
On reprend l’exemple précédent.
Déterminer la probabilité qu’Ike aille à l’école en vélo à très long terme.
Utilisation des cookies
Lors de votre navigation sur ce site, des cookies nécessaires au bon fonctionnement et exemptés de consentement sont déposés.