Chargement de l'audio en cours
Plus

Plus

2. Chaînes de Markov
P.212-213

Mode édition
Ajouter

Ajouter

Terminer

Terminer

COURS 2


2
Chaînes de Markov




A
Définitions et aspect probabiliste


Définitions

Un graphe pondéré est un graphe dans lequel chaque arête est affectée d’un nombre réel positif appelé poids de cette arête.

Définition

Un graphe probabiliste est un graphe orienté pondéré par des réels compris entre 00 et 11 et dans lequel la somme des poids des arêtes issues de chaque sommet est égale à 11.

Exemple

Le graphe suivant est un graphe probabiliste à deux états (C\mathrm{C} et T\mathrm{T}). On a 0,22+0,78=10{,}22 + 0{,}78 = 1 et 0,47+0,53=10{,}47 + 0{,}53 = 1.

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Définitions

Une suite (Xn)n0\left(\mathrm{X}_{n}\right)_{n \geqslant 0} de variables aléatoires est une chaîne de Markov à deux états aa et bb (respectivement à trois états aa, bb et cc) lorsque, pour tous x0x_0, x1x_1, … , xkx_k, xk+1x_{k+1} dans {a;b}\{a\,; b\} (respectivement dans {a;b;c}\{a\,; b\,; c\}), on a :
pX0=x0,X1=x1,,Xk=xk(Xk+1=xk+1)=pXk=xk(Xk+1=xk+1)p_{\mathrm{X}_{0}=x_{0}, \mathrm{X}_{1}=x_{1}, \ldots, \mathrm{X}_{k}=x_{k}}\left(\mathrm{X}_{k+1}=x_{k+1}\right)=p_{\mathrm{X}_{k}=x_{k}}\left(\mathrm{X}_{k+1}=x_{k+1}\right).
La probabilité pXk=xk(Xk+1=xk+1)p_{\mathrm{X}_{k}=x_{k}}\left(\mathrm{X}_{k+1}=x_{k+1}\right) s’appelle probabilité de transition de l’état xkx_k à l’état xk+1x_{k+1}.
L’ensemble {a;b}\{a\,; b\} (respectivement {a;b;c}\{a\,; b\,; c\}) est appelé espace des états.

Remarques

La définition d’une chaîne de Markov signifie que les états passés n’ont aucune influence sur les états futurs : seul l’état présent a son importance.

Remarques

Les variables aléatoires (Xn)\left(\mathrm{X}_{n}\right) ne sont pas nécessairement à valeurs réelles.

Remarques

La somme des probabilités de transition issues d’un même état est égale à 11.

Illustration à l’aide d’un graphe probabiliste :

On peut représenter une chaîne de Markov à l’aide d’un graphe probabiliste. Chaque sommet représente un état de la chaîne de Markov et les poids portés par les arêtes orientées représentent les probabilités de transitions.

Graphe d’une chaîne de Markov à deux états

pXk=a(Xk+1=b)=pa,bp_{\mathrm{X}_{k}=a}\left(\mathrm{X}_{k+1}=b\right)=p_{a, b}

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Graphe d’une chaîne de Markov à trois états

pXk=c(Xk+1=b)=pc,bp_{\mathrm{X}_{k}=c}\left(\mathrm{X}_{k+1}=b\right)=p_{c, b}

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Définition

La distribution initiale d’une chaîne de Markov (Xn)\left(\mathrm{X}_{n}\right) est la loi de probabilité de X0\mathrm{X}_{0}.

Application et méthode - 3

Énoncé

Ike n’aime pas prendre le bus pour aller à l’école et préfère prendre son vélo. Il n’utilise pas d’autre moyen de locomotion.
Chaque jour de la semaine, il va à l’école en bus avec une probabilité de 0,80{,}8 s’il ne l’a pas emprunté la fois précédente et avec une probabilité de 0,30{,}3 sinon.
Représenter la situation par un graphe probabiliste.

Solution


maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov


Pour s'entraîner : exercices 28 et 29 p. 221

Méthode

  • On repère en premier lieu le nombre d’états : on en a ici deux.
  • On construit alors un graphe probabiliste à deux sommets (un pour chaque état) et on traduit les probabilités de l’énoncé sous forme de pondérations dans le graphe
  • On complète en utilisant le fait que la somme des probabilités portées par les arêtes issues d’un même état vaut 11.

B
Représentation matricielle d’une chaîne de Markov


Définition

On considère une chaîne de Markov à nn états, numérotés 11 ; … ; nn, et on note E={1;;n}\mathrm{E}=\{1\,; \ldots\,; n\} l’espace des états.
La matrice de transition P\mathbf{P} associée à cette chaîne de Markov est la matrice carrée d’ordre nn telle que, pour tout iEi \in \mathrm{E} et pour tout jEj \in \mathrm{E}, le coefficient pi,jp_{i,j} correspond à la probabilité de transition de l’état ii vers l’état jj.

Remarque

Dans le programme, on se limite au cas où n=2n=2 ou n=3n=3.

Exemples

1. La chaîne de Markov représentée ci‑dessous par un graphe probabiliste a pour matrice de transition (0,50,50,80,2)\left(\begin{array}{ll}0{,}5 & 0{,}5 \\ \colorbox{#f7cc91}{0{,}8} & 0{,}2\end{array}\right).
Le coefficient surligné 0,80{,}8 indique que la probabilité de passer de l’état 2 à l’état 1 vaut 0,80{,}8.

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

2. La chaîne de Markov représentée par le graphe probabiliste ci‑dessous a pour matrice de transition (0,50,10,40,70,20,10,30,40,3)\left(\begin{array}{ccc}0{,}5 & 0{,}1 & 0{,}4 \\ 0{,}7 & 0{,}2 & 0{,}1 \\ 0{,}3 & 0{,}4 & 0{,}3\end{array}\right).

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Remarque

La distribution initiale peut être représentée par une matrice ligne, souvent notée π0\pi_0, dont le kk‑ième coefficient correspond à la probabilité de l’état kk à l’instant initial.

Propriétés

1. Les coefficients de la matrice de transition d’une chaîne de Markov sont des nombres appartenant à l’intervalle [0;1][0\,; 1].
2. La somme des coefficients d’une ligne donnée de la matrice de transition est égale à 11.
Utilisation des cookies
En poursuivant votre navigation sans modifier vos paramètres, vous acceptez l'utilisation des cookies permettant le bon fonctionnement du service.
Pour plus d’informations, cliquez ici.