Chargement de l'audio en cours
Plus

Plus

3. Évolution d’une chaîne de Markov
P.214-215

COURS 3


3
Évolution d’une chaîne de Markov




A
Étude sur plusieurs rangs


Propriété

On considère une chaîne de Markov dont on note la matrice de transition associée et la distribution initiale. On note la loi de .
On a, pour tout entier , et .

Remarques

Une chaîne de Markov est donc entièrement déterminée par sa distribution initiale et par sa matrice de transition.

DÉMONSTRATION

Voir exercice
78
p. 227
.

Exemple

On considère la chaîne de Markov définie par le graphe probabiliste ci‑contre et par la distribution initiale . Alors la loi de probabilité de est donné par avec .
On a ainsi .
La loi de probabilité de est donc la suivante.




maths expertes - chapitre 7 - Suites et matrices - Cours - Évolution d’une chaîne de Markov

Remarques

Le coefficient d’indice de la matrice correspont à la probabilité de passer de l’état à l’état en transitions.

Application et méthode - 4

Énoncé

On reprend l’exemple précédent. Le lundi, premier jour de l’année scolaire, Ike va à l’école en bus avec une probabilité de . Quelle est la probabilité qu’il aille à l’école en bus le jeudi de cette même semaine ?

B
Distribution invariante d’une chaîne de Markov


Propriété (admise)

Soit une chaîne de Markov à 2 ou 3 états de matrice de transition .
Il existe au moins une distribution initiale telle que .
Une telle distribution est appelée distribution invariante de la chaîne de Markov.

Remarque

On parle aussi d’état stable de la chaîne de Markov.

Exemple

On considère une chaîne de Markov dont la matrice de transition est .
Alors est une distribution invariante.
En effet,


.

Remarque

L’existence de la distribution invariante peut également être démontrée pour une chaîne de Markov ayant un nombre d’états quelconque.

Propriété

On considère une chaîne de Markov dont on note la matrice de transition et la distribution initiale.
Pour tout entier naturel , on note la distribution de .
Si ne contient aucun , alors la suite de matrices lignes converge vers l’unique distribution invariante de la chaîne de Markov.

Remarque

Dans le cas où la matrice de transition ne contient pas de , la distribution invariante s’interprète de la même manière qu’une limite de suite.

Application et méthode - 5

Énoncé

On reprend l’exemple précédent.
Déterminer la probabilité qu’Ike aille à l’école en vélo à très long terme.
Utilisation des cookies
Lors de votre navigation sur ce site, des cookies nécessaires au bon fonctionnement et exemptés de consentement sont déposés.