Shannon et la théorie de l'information - Télécom Paris Accéder directement au contenu
Communication Dans Un Congrès Année : 2018

Shannon et la théorie de l'information

Olivier Rioul

Résumé

Nous fêtions en 2016 le centenaire de la naissance de Claude Shannon, un mathématicien et ingénieur américain considéré comme le “père de l’Age de l’information”. Son nom ne vous dit peut-être pas grand chose : Hollywood a glorifie d’autres héros scientifiques comme Alan Turing ou John Nash. Shannon, lui, a eu une vie rangée, modeste... et surtout ludique : adepte du monocycle et du jonglage, il s’est amusé à construire des machines plus ou moins loufoques. Dans le même temps, il a fait des avancées théoriques décisives dans des domaines aussi divers que les circuits logiques, la cryptographie, l’intelligence artificielle, l’investissement boursier, le wearable computing. . . et surtout, la théorie de l’information. Son article fondateur de 1948 rassemble tellement d’avancées fondamentales et de coups de génie que Shannon est aujourd’hui le héros de milliers de chercheurs, loué presque comme une divinité. On peut dire, sans exagérer, que c’est le mathématicien dont les théorèmes ont rendu possible le monde du numérique que nous connaissons aujourd’hui. Dans cet exposé on décrit ses contributions les plus marquantes : le paradigme de Shannon; les modèles probabilistes des données; l’unité logarithmique d’information; les limites de performances; l’entropie, l’entropie relative et la définition mathématique de l’information; la technique du codage aléatoire; la formule de capacité. On va jusqu’`a présenter les idées des démonstrations des premier et second théorèmes de Shannon avec des moyens élémentaires. Si le temps le permet, on abordera une preuve récente de l'inégalité de la puissance entropique dont Shannon a eu l’intuition géniale
shannon-handout.pdf (9.57 Mo) Télécharger le fichier

Dates et versions

hal-02300673 , version 1 (21-08-2022)

Identifiants

  • HAL Id : hal-02300673 , version 1

Citer

Olivier Rioul. Shannon et la théorie de l'information. Premier Congrès Franco-Marocain de Mathématiques Appliquées, Apr 2018, Marrakech, Maroc. ⟨hal-02300673⟩
115 Consultations
29 Téléchargements

Partager

Gmail Facebook X LinkedIn More