Graphe d'une chaîne de Markov et classification des états

Le graphe d'une chaîne de Markov et la classification des états sont des notions de la théorie des graphes utilisées en calcul des probabilités.

Graphe d'une chaîne de Markov

Graphe d'une chaîne de Markov non irréductible à espace d'états fini, possédant 3 classes : et Les classes et sont finales.

Le graphe d'une chaîne de Markov est un graphe orienté défini à partir de l'espace d'états et de la matrice de transition

de cette chaîne de Markov :

  • les sommets de sont les éléments de
  • les arêtes de sont les couples vérifiant

Classification des états

Pour , on dit que est accessible à partir de si et seulement s'il existe tel que On note :

On dit que et communiquent si et seulement s'il existe tels que et On note :

La relation communiquer, notée est une relation d'équivalence. Quand on parle de classe en parlant des états d'une chaîne de Markov, c'est généralement aux classes d'équivalence pour la relation qu'on fait référence. Si tous les états communiquent, la chaîne de Markov est dite irréductible.

La relation être accessible, notée s'étend aux classes d'équivalence : pour deux classes et , on a

La relation est une relation d'ordre entre les classes d'équivalence.


Une classe est dite finale si elle ne conduit à aucune autre, i.e. si la classe est minimale pour la relation Sinon, la classe est dite transitoire.

Soit

La période d'un état est le PGCD de l'ensemble Si deux états communiquent, ils ont la même période : on peut donc parler de la période d'une classe d'états. Si la période vaut 1, la classe est dite apériodique.

Classes, modulo différents sous-groupes, du cube vu comme le groupe et classes finales de certaines marches aléatoires sur le cube.

La classification des états se lit de manière simple sur le graphe de la chaîne de Markov.

Marche aléatoire sur un groupe fini :

On se donne un groupe et une mesure de probabilité sur ce groupe, ainsi qu'une suite de variables aléatoires indépendantes de loi On pose

Alors est appelée marche aléatoire de pas sur le groupe Le processus stochastique est un processus de Markov. C'est une chaîne de Markov si est fini ou dénombrable (en ce cas ). Notons le support de  :

et notons le sous-groupe engendré par Alors les classes à droite modulo (de type ) sont aussi les classes pour la relation Ces classes sont toutes finales.

Marches sur le cube :
  • La marche aléatoire sur les arêtes du cube peut être vue comme la marche sur le groupe de pas en effet ajouter un des 3 vecteurs de la base canonique revient à changer une des trois coordonnées du point de départ, i.e. cela revient à emprunter, au hasard, une des 3 arêtes issues du point de départ. En ce cas et la marche est irréductible.
  • Si le pas est et la marche a deux classes finales : les 2 faces horizontales.
  • Si le pas est et la marche a 4 classes finales : les 4 arêtes verticales.
  • Si le pas est et la marche a deux classes finales : les 2 tétraèdres inscrits.
Graphe de 2 marches aléatoires élémentaires, respectivement sur le groupe cyclique et sur le groupe diédral
Marches aléatoires sur l'octogone :
  • La 1re chaîne de Markov de la figure ci-contre est une marche aléatoire sur le groupe cyclique de pas Dans cet exemple,
  • La 2e chaîne de Markov de la figure ci-contre est une marche aléatoire sur le groupe diédral de pas est la symétrie du carré (abcd) par rapport à la diagonale (a,c), où est la symétrie du carré par rapport à son axe horizontal, les deux autres symétries étant et ; est la rotation d'angle Dans cet exemple,

Les deux chaînes sont donc irréductibles et récurrentes positives, de loi stationnaire uniforme.

Lexique : graphes-chaînes de Markov

  • L'état est accessible à partir de l'état si et seulement si l'une des deux conditions suivantes est remplie :
    • il existe un chemin allant du sommet au sommet dans le graphe
  • Une chaîne de Markov est irréductible si et seulement si son graphe est fortement connexe, i.e. si pour tout couple de sommets du graphe il existe un chemin de à et un chemin de à
  • Une classe d'une chaîne de Markov est une composante fortement connexe de son graphe. Dans la première figure en haut de page (avec les états 1, 2, 3, 4, 5), le graphe non orienté induit par le graphe de la chaîne de Markov a 2 composantes connexes, mais le graphe de la chaîne de Markov (qui est un graphe orienté) a 3 composantes fortement connexes, car 2 ne communique ni avec 1, ni avec 3.

Graphe d'une chaîne de Markov et propriétés probabilistes

Certaines propriétés probabilistes des états d'une chaîne de Markov sont partagées par tous les états d'une même classe. Plus précisément:

  • si une classe n'est pas finale, tous ses états sont transients (ou transitoires),
  • si une classe est à la fois finale et finie, tous ses états sont récurrents positifs.

Les états d'une classe finale peuvent très bien être tous transients (par exemple dans le cas de la marche simple biaisée sur ou bien être tous récurrents nuls (par exemple dans le cas de la marche simple symétrique sur Tout au plus faut-il pour cela que la classe finale en question soit infinie. Il existe également des exemples de classe finale infinie récurrente positive.

Par ailleurs,

  • s'il existe récurrent dans la classe , alors tout état de est récurrent,
  • s'il existe récurrent positif dans la classe , alors tout état de est récurrent positif,
  • s'il existe récurrent nul dans la classe , alors tout état de est récurrent nul,
  • s'il existe transient dans la classe , alors tout état de est transient,
  • s'il existe de période dans la classe , alors tout état de est de période
  • s'il existe apériodique dans la classe , alors tout état de est apériodique.

On dit donc que la classe est transiente, récurrente, apériodique, etc. puisqu'il s'agit en fait de propriétés de la classe tout autant que de propriétés d'un état particulier.


  • Portail des probabilités et de la statistique
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Sharealike. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.