Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . Comme les autres entropies, elle se mesure généralement en bits.

Définitions

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Par le calcul

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de relativement à  :

En notant en cohérence avec la définition de l'entropie, on peut donc noter plus simplement

Par l'entropie conjointe

Étant donné deux variables aléatoires et avec pour entropies respectives et , et pour entropie conjointe , l'entropie conditionnelle de sachant est définie par :

Équivalence des définitions


Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de ,


Propriétés

  • si et seulement si et sont indépendantes.


  • Règle de la chaîne. Avec variables aléatoires,


Intuition

Intuitivement, si le système combiné contient bits d'information, et si nous connaissons parfaitement la variable aléatoire , pour coder le système on peut économiser bits, et on n'a plus besoin que de bits.


Voir aussi

  • Portail des mathématiques
  • Portail de l’informatique
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Sharealike. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.