La chaine de Markov

 La Chaine de Markov :

Définition : On appelle chaîne de Markov une suite de variables aléatoires (Xn) à valeurs dans un espace probabilisé (E,P) avec E fini telle que, pour chaque n∈N P(Xn+1=in+1|X1=i1,…,Xn=in)= P(Xn+1=in+1|Xn=in).

L'ensemble E où la suite (Xn) prend ses valeurs s'appelle l'espace des états de la suite de Markov, chaque élément de E étant un état possible de la chaîne.

Exemple : Tirage avec remise différée. Dans une urne, on a placé 2 boules rouges et 2 boules noires. On effectue des tirages successifs, avec remise différée d'un tour:

• au 1er tirage : on enlève une boule choisie au hasard dans l'urne
• au ii-ème tirage : on enlève une boule choisie au hasard parmi les boules de l'urne et on remet la boule tirée au (i−1)(i−1)-ème tirage.

On désigne ensuite par Xn la couleur de la boule prise au n-ème tirage.

Si on connait la couleur de la boule tirée à la n-ième étape, alors on connait la constitution de l'urne lorsqu'on effectuera le n+1n+1-ième tirage et donc on a tout ce qui faut pour prédire de la façon la plus précise possible ce qui se passera la n+1n+1-ième tirage :

• sachant que la n-ème boule tire est rouge, la probabilité de tirer une boule rouge au n+1 -ème tirage est de 1/3;
• sachant que la n-ème boule tire est noire, la probabilité de tirer une boule rouge au n+1n+1 -ème tirage est de 2/3.

Le fait de connaitre, en plus de la couleur de la nième boule tirée, le résultat des informations sur les n-1 premiers tirages ne permet pas de modifier les prédictions précédentes.

Dans ce cas, la loi des grands nombres énoncée par Markov affirme qu'après un grand nombre de tirages, on aura tiré à peu près autant de boules rouges que de boules noires.

...