S3-B2-UE6 : Théorie de l’information

Descriptif : On propose une introduction à la théorie statistique de l’information et ses applications. 

1. Concepts de base : Entropie, entropie conjointe, entropie conditionnelle. Information mutuelle.
2. Sources d'information : Entropie, débits d'entropie. Sources indépendantes, sources dépendantes, sources markoviennes.
3. Codage de source : Problématique, compression. Théorème du codage de source (1er théorème de Shannon). Méthodes pratiques : Huffman, arithmétique, Lempel-Ziv.
4. Codage de canal : Problématique, information mutuelle, capacité. Théorème du codage de canal (2ème théorème de Shannon). Méthodes pratiques : Codes en blocs, linéaires, codes convolutifs, turbo codes.
5. Cryptographie : Problématique, cryptage à clé publique. Point de vue informationnel.
6. Principe de longueur de description minimale : Inférence statistique. Applications à la modélisation paramétrique de données.

Un TP permet de mettre en œuvre des problématiques et traitements de base, principalement en codage de source et communication sur canal bruité. 

Mots clés : Information ; Entropie ; Codage de source ; Codage de canal ; Télécommunication.

Voir la page complète