Mathématiques Expertes Terminale

Feuilleter la version papier










Chargement de l'audio en cours
Plus

Plus

2. Chaînes de Markov
P.212-213

COURS 2


2
Chaînes de Markov




A
Définitions et aspect probabiliste


Définitions

Un graphe pondéré est un graphe dans lequel chaque arête est affectée d’un nombre réel positif appelé poids de cette arête.

Définition

Un graphe probabiliste est un graphe orienté pondéré par des réels compris entre et et dans lequel la somme des poids des arêtes issues de chaque sommet est égale à .

Exemple

Le graphe suivant est un graphe probabiliste à deux états ( et ). On a et .

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Définitions

Une suite de variables aléatoires est une chaîne de Markov à deux états et (respectivement à trois états , et ) lorsque, pour tous , , … , , dans (respectivement dans ), on a :
.
La probabilité s’appelle probabilité de transition de l’état à l’état .
L’ensemble (respectivement ) est appelé espace des états.

Remarques

La définition d’une chaîne de Markov signifie que les états passés n’ont aucune influence sur les états futurs : seul l’état présent a son importance.

Remarques

Les variables aléatoires ne sont pas nécessairement à valeurs réelles.

Remarques

La somme des probabilités de transition issues d’un même état est égale à .

Illustration à l’aide d’un graphe probabiliste :

On peut représenter une chaîne de Markov à l’aide d’un graphe probabiliste. Chaque sommet représente un état de la chaîne de Markov et les poids portés par les arêtes orientées représentent les probabilités de transitions.

Graphe d’une chaîne de Markov à deux états



maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Graphe d’une chaîne de Markov à trois états



maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Définition

La distribution initiale d’une chaîne de Markov est la loi de probabilité de .

Application et méthode - 3

Énoncé

Ike n’aime pas prendre le bus pour aller à l’école et préfère prendre son vélo. Il n’utilise pas d’autre moyen de locomotion.
Chaque jour de la semaine, il va à l’école en bus avec une probabilité de s’il ne l’a pas emprunté la fois précédente et avec une probabilité de sinon.
Représenter la situation par un graphe probabiliste.

B
Représentation matricielle d’une chaîne de Markov


Définition

On considère une chaîne de Markov à états, numérotés  ; … ; , et on note l’espace des états.
La matrice de transition associée à cette chaîne de Markov est la matrice carrée d’ordre telle que, pour tout et pour tout , le coefficient correspond à la probabilité de transition de l’état vers l’état .

Remarque

Dans le programme, on se limite au cas où ou .

Exemples

1. La chaîne de Markov représentée ci‑dessous par un graphe probabiliste a pour matrice de transition .
Le coefficient surligné indique que la probabilité de passer de l’état 2 à l’état 1 vaut .

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

2. La chaîne de Markov représentée par le graphe probabiliste ci‑dessous a pour matrice de transition .

maths expertes - chapitre 7 - Suites et matrices - Cours - Chaînes de Markov

Remarque

La distribution initiale peut être représentée par une matrice ligne, souvent notée , dont le ‑ième coefficient correspond à la probabilité de l’état à l’instant initial.

Propriétés

1. Les coefficients de la matrice de transition d’une chaîne de Markov sont des nombres appartenant à l’intervalle .
2. La somme des coefficients d’une ligne donnée de la matrice de transition est égale à .
Utilisation des cookies
Lors de votre navigation sur ce site, des cookies nécessaires au bon fonctionnement et exemptés de consentement sont déposés.