Théorie de l’information

Descriptif : On propose une introduction à la théorie statistique de l’information et ses applications. 

1. Concepts de base : Entropie, entropie conjointe, entropie conditionnelle. Information mutuelle.
2. Sources d'information : Entropie, débits d'entropie. Sources indépendantes, sources dépendantes, sources markoviennes.
3. Codage de source : Problématique, compression. Théorème du codage de source (1er théorème de Shannon). Méthodes pratiques : Huffman, arithmétique, Lempel-Ziv.
4. Codage de canal : Problématique, information mutuelle, capacité. Théorème du codage de canal (2ème théorème de Shannon). Méthodes pratiques : Codes en blocs, linéaires, codes convolutifs, turbo codes.
5. Cryptographie : Problématique, cryptage à clé publique. Point de vue informationnel.
6. Principe de longueur de description minimale : Inférence statistique. Applications à la modélisation paramétrique de données.

Un TP permet de mettre en œuvre des problématiques et traitements de base, principalement en codage de source et communication sur canal bruité. 

Mots clés : Information ; Entropie ; Codage de source ; Codage de canal ; Télécommunication.

Prendre connaissance d'un cadre formalisé et quantitatif pour la description de l'information. Connaître des problématiques et applications clés en sciences et technologies de l'information qui peuvent ainsi être traitées. 

Notions et contenus :

Bases mathématiques en probabilités et statistiques.  

Bases de programmation informatique et calcul numérique. 

Compétences

Capacité au raisonnement scientifique suivi.  

Capacité à mobiliser des notions mathématiques pour les appliquer sur des situations concrètes concernant l’information physique. 

Capacité à mettre en œuvre de façon numérique des méthodologies d’étude et de résolution.