3. Évolution d’une chaîne de Markov
P.214-215
COURS 3
3Évolution d’une chaîne de Markov
3
AÉtude sur plusieurs rangs
A
Propriété
On considère une chaîne de Markov dont on note la matrice de transition associée et la distribution initiale. On note la loi de .
On a, pour tout entier , et .
Remarques
Une chaîne de Markov est donc entièrement déterminée par sa distribution initiale et par sa matrice de transition.
Exemple
On considère la chaîne de Markov définie par le graphe probabiliste ci‑contre et par la distribution initiale . Alors la loi de probabilité de est donné par avec .
On a ainsi .
La loi de probabilité de est donc la suivante.
Remarques
Le coefficient d’indice de la matrice correspont à la probabilité de passer de l’état à l’état en transitions.
Application et méthode - 4
Énoncé
On reprend l’exemple précédent. Le lundi, premier jour de l’année scolaire, Ike va à l’école en bus avec une probabilité de . Quelle est la probabilité qu’il aille à l’école en bus le jeudi de cette même semaine ?
Solution
En rangeant les sommets dans l’ordre alphabétique, la matrice de transition est et la distribution initiale correspondant au lundi de la rentrée est . On veut donc déterminer .
Or donc .
La probabilité qu’Ike aille à l’école en bus le jeudi de la semaine de la rentrée est donc de .
Méthode
- On détermine la matrice de transition liée au graphe probabiliste.
- On calcule ensuite la puissance de la matrice de transition qui correspond au rang pour lequel on veut trouver la distribution de probabilité.
BDistribution invariante d’une chaîne de Markov
B
Propriété (admise)
Soit une chaîne de Markov à 2 ou 3 états de matrice de transition .
Il existe au moins une distribution initiale telle que .
Une telle distribution est appelée distribution invariante de la chaîne de Markov.
Remarque
On parle aussi d’état stable de la chaîne de Markov.
Exemple
On considère une chaîne de Markov dont la matrice de transition est .
Alors est une distribution invariante.
En effet,
.
Remarque
L’existence de la distribution invariante peut également être démontrée pour une chaîne de Markov ayant un nombre d’états quelconque.
Propriété
On considère une chaîne de Markov dont on note la matrice de transition et la distribution initiale.
Pour tout entier naturel , on note la distribution de .
Si ne contient aucun , alors la suite de matrices lignes converge vers l’unique distribution invariante de la chaîne de Markov.
Remarque
Dans le cas où la matrice de transition ne contient pas de , la distribution invariante s’interprète de la même manière qu’une limite de suite.
Application et méthode - 5
Énoncé
On reprend l’exemple précédent.
Déterminer la probabilité qu’Ike aille à l’école en vélo à très long terme.
Déterminer la probabilité qu’Ike aille à l’école en vélo à très long terme.
Solution
La matrice de transition ne contient pas de : il existe donc une unique distribution invariante .
Si on note cette distribution invariante, alors on a et la relation , c’est‑à‑dire et .
Les deux dernières égalités se ramenant en réalité à la même équation, on ne va travailler qu’avec les deux premières, soit c’est‑à‑dire .
Ce système a pour solution .
La distribution invariante est donc . La probabilité qu’Ike aille à l’école en vélo à très long terme vaut .
Méthode
La notion de distribution invariante permet de modéliser cette notion de « long terme ».
On commence par noter la (lorsqu’elle est unique) distribution invariante puis on remarque qu’on doit avoir .
On traduit ensuite sous forme de système la relation : on obtient alors deux nouvelles relations qui s’avèrent être équivalentes.
On dispose donc au total de deux équations qui nous permettent de trouver et .
On commence par noter la (lorsqu’elle est unique) distribution invariante puis on remarque qu’on doit avoir .
On traduit ensuite sous forme de système la relation : on obtient alors deux nouvelles relations qui s’avèrent être équivalentes.
On dispose donc au total de deux équations qui nous permettent de trouver et .