rached-innov: Bayes ou le vivant réduit au calcul

lundi 14 mai 2012

Bayes ou le vivant réduit au calcul

14/05/2012
By Xochipilli

On a vu dans les billets précédents que notre cerveau fonctionnerait selon un algorithme bayésien dès qu’il s’agit d’apprendre (une tâche), d’interpréter (un signal sensoriel), de comprendre (un phénomène) etc. Pourquoi la nature a-t-elle choisi ce modèle précis -ou quelque chose s’en approchant- et pas un autre, plus simple? Le calcul bayésien n’est-il pas une construction tout droit sortie de l’esprit humain? J’ai découvert au hasard de mes lectures, que la logique bayésienne n’est pas une logique comme les autres. Ses propriétés assez exceptionnelles ont inspiré en particulier trois chercheurs dans des domaines aussi différents que fascinants:
- Edwin Jaynes a montré qu’elle constitue LA logique « naturelle » du vivant, l’équivalent pour l’esprit de la géométrie euclidienne pour les sens, dont découle par exemple le principe du « rasoir d’Ockham »;
- Karl Friston y a puisé un principe universel, une sorte de seconde loi thermodynamique du vivant!
- Enfin Jurgen Schmidhuber y voit carrément la source de la créativité, de l’art, de l’humour et de la science. Rien que ça!

1) Une théorie naturelle

Dans les années 1995, un physicien américain, Edwin Jaynes [1], s’attaqua à cette question de façon originale. Il imagina une machine capable de raisonner par déduction et par induction, c’est-à-dire pouvant formuler des modèles explicatifs et ne retenir que le modèle le plus plausible par rapport à ses observations. Encore faut-il pouvoir définir ce que signifie plausible. Jaynes supposa que la plausibilité d’une explication peut se mesurer et proposa trois exigences très simples que la machine devrait respecter pour que son raisonnement soit cohérent:

Non contradictoire: deux raisonnements différents (mais corrects) doivent aboutir au même résultat;
Non-biaisé: le raisonnement doit tenir compte de toutes les informations utiles disponibles;
Réplicable: deux problèmes équivalents doivent aboutir nécessairement aux mêmes résultats.

Les trois hypothèses de Jaynes

Aussi incroyable que ça puisse paraître, Jaynes démontra que tout raisonnement qui respecte ces trois conditions est forcément équivalent à un calcul bayésien. Autrement dit, ces trois principes de raisonnement suffisent à fonder toute la logique bayésienne, de la même façon que les cinq postulats d’Euclide suffisent à déduire toutes les règles de notre géométrie au quotidien. Le raisonnement bayésien semble donc une forme de raisonnement aussi naturelle pour l’esprit que peut l’être la géométrie euclidienne pour nos sens! Pas étonnant qu’on la retrouve aussi souvent chez les êtres vivants, sous une forme ou sous une autre, et que tous les hommes de science l’aient adoptée depuis toujours sans aucun débat.

Le rasoir d’Ockham « automatisé »

Mais il y a plus. L’approche scientifique veut qu’on ne multiplie pas les hypothèses plus qu’il n’est nécessaire pour expliquer un phénomène, selon l’adage « les explications les plus simples sont souvent les meilleures ». Je pensais jusqu’ici que ce principe de parcimonie était un simple biais culturel, dérivé de notre goût pour la simplicité. Or il semble que le « rasoir d’Ockham » soit lui aussi une simple conséquence du raisonnement bayésien. Pour le comprendre, il faut rappeler la formule de Bayes (et puis ça fera plaisir à Marc) qui exprime la plausibilité d’une hypothèse a posteriori (c’est-à-dire elle qui tient compte des observations):

P(hypothèses|observations) ~ P(observations|hypothèses) x Pa priori (hypothèses).

Le dernier terme à droite exprime la probabilité a priori d’être dans une situation où les hypothèses sont remplies. Plus ces hypothèses sont nombreuses, moins une telle situation est probable et plus ce terme est donc faible. A vraisemblance égale (le terme du milieu), c’est le modèle faisant appel au plus petit nombre d’hypothèses qui est donc le plus plausible. Par conséquent la logique bayésienne sélectionne automatiquement les modèles les plus « parcimonieux » en hypothèses, ce qui est précisément l’exigence du « rasoir » d’Ockham!

2) Prédire, une question de survie

Ce principe de parcimonie, ce goût pour la « réduction » semble profondément ancré dans nos têtes de Bayésiens. Reste à comprendre pourquoi. Pourquoi cherche-t-on toujours à généraliser, à abstraire, à simplifier, à expliquer? Pour Karl Friston [2], de l’Université de Londres, c’est tout simplement une question de survie. Pour être capable d’éviter les pièges, de saisir les opportunités de se nourrir et de se reproduire, tous les êtres vivants doivent en mesure de comprendre leur environnement et d’apprendre à anticiper ses évolutions immédiates. Survivre exige de prédire en permanence ce qui va se passer pour s’y adapter. Il n’est donc pas étonnant que l’évolution ait doté tous les êtres vivants d’une certaine capacité d’apprentissage, et la forme bayésienne en constitue l’expression la plus naturelle. Il faut être bayésien pour survivre.

Le phénomène d’habituation de nos sens fournit quotidiennement une preuve de cette propension du système nerveux à la prédiction automatique. A force d’être exposé au bruit de la pluie qui tombe ou des voitures qui passent, on finit par ne plus les entendre. Ce n’est pas que notre ouïe soit « saturée » par ces bruits particuliers, car plusieurs études montrent que le même phénomène d’habituation se produit pour l’absence de signal ou pour la répétition d’un motif particulier de sons par exemple. Simplement notre cerveau anticipe les perceptions à venir et occulte celles qui sont les plus prévisibles. Pour Stanislas Dehaene [3], ce système de prédiction permanente a plusieurs avantages: elle permet bien sûr d’accélérer nos réactions par rapport à nos perceptions, mais elle a aussi comme avantage de focaliser l’attention sur ce qui n’est pas prévu, en filtrant tout le reste. Ce modèle est aussi bien plus économe en ressources de traitement…

Bref notre système nerveux réagit uniquement à ce qu’il n’a pas complètement prévu! Voilà pourquoi on ne s’entend pas ronfler, pourquoi on ne sent pas sa propre odeur, pourquoi notre vision du monde ne ressemble pas du tout à un film tourné en caméra subjective, pourquoi on ne perçoit pas l’interruption de lumière quand on cligne des yeux, Toutes ces absences de sensation reflètent simplement notre anticipation automatique de ce qui va se produire à l’instant suivant. On peut même supposer que nos neurones miroirs, ceux qui anticipent en nous les états physiques ou émotionnels de l’autre, utilisent aussi cette anticipation automatique de ce qu’on perçoit.

Un principe général du vivant?

Pour Karl Fiston ce codage prédictif de l’information, propre au monde du vivant fait partie d’un cadre théorique beaucoup plus large. Son modèle montre que pour limiter « l’erreur de prédiction », les êtres vivants ont intérêt à minimiser une certaine fonction mathématique, connue en physique statistique sous le nom « d’énergie libre » . Ce principe de minimisation leur permettrait de maintenir leur état malgré les variations de leur environnement et de résister à la dégradation naturelle (cliquez l’image pour élargir).

D'après K. Friston (2009)

L’algorithme qu’il dérive de ce principe rend assez bien compte de plusieurs processus cérébraux (l’onde d’erreur par exemple, dont je vous avais parlé ici), mais il a surtout le mérite de bien coller avec l’anatomie même du cortex (je vous renvoie aux papiers cités plus bas pour plus de détails).

Ce principe de « minimisation de l’énergie libre » serait ainsi le pendant, pour le monde du vivant, du second principe de thermodynamique (l’augmentation de l’entropie) qui régit le monde de l’inerte! Appliqué au niveau supérieur (à l’espèce plutôt qu’à l’individu), ce même principe expliquerait l’évolution vers plus de fitness, à rebours du sort d’un système inerte livré à lui-même.

3) Une théorie générale de la culture, des arts et des sciences

Puisque ce n’est pas la culture qui nous rend « bayésiens », un autre chercheur, Jurgen Schmidhuber [4] propose du coup l’hypothèse inverse. Notre goût inné pour la « réduction explicative » serait selon lui le fondement même de l’émotion esthétique! Je trouve son explication un peu tarabiscotée, alors je la reformule à ma sauce. On a tous ressenti un jour ce fameux pincement au coeur quand on trouve la solution à un problème compliqué. Or « résoudre un problème » signifie le décomposer en une combinaison de règles simples, donc réduire la quantité d’information qu’il recèle. Selon Schmidhuber, l’émotion de la découverte serait la récompense naturelle de notre système nerveux pour la compression d’information qu’il vient de réaliser. On éprouve la même émotion qui nous saisit lorsqu’on découvre subitement des régularités cachées derrière une oeuvre d’art, émotion d’autant plus forte que cette réduction d’information est importante. Il donne l’exemple de cette « Femme fractale », dessinée à partir d’arcs de cercle issus d’une construction géométrique assez simple:

La « femme fractale » de Jurgen Schmidhuber. Les artistes (et les amateurs d’art) sont récompensés lorsqu’ils créent (ou observent) des données, dont le motif ne soit ni arbitraire (comme du bruit blanc incompressible) ni déjà très connu de l’observateur. Ce motif doit être à la fois nouveau et perceptible pour l’observateur. L’art de « faible complexité » dont la Femme Fractale ci-dessus est une illustration s’appuie sur ce principe. Le système de rosace servant de trame à l’oeuvre lui donne une très faible complexité algorithmique. Beaucoup d’observateurs disent éprouver du plaisir à découvrir des motifs simples mais nouveaux en regardant l’image et ce processus d’apprentissage -correspondant à une compression subjective de l’information contenue dans l’oeuvre- provoque chez eux une sensation forte et temporaire de beauté. La récompense qui en résulte les pousse à continuer à regarder l’image pour trouver de nouveaux motifs. Lorsque tous les motifs ont été découverts, la compressibilité subjective de l’oeuvre diminue et l’intérêt pour l’oeuvre s’émousse.

Les scientifiques fonctionnent sur le même mode. Comme l’écrit Marcus du Sautoy dans son dernier livre: « Un mathématicien est un chercheur de motifs. J’essaie de trouver la logique ou le motif qui permet de comprendre le monde autour de moi. » Et un peu plus loin: « Les plupart des mathématiciens sont guidés dans leurs travaux par un très fort sens de l’esthétique et le bon chemin à suivre est très souvent le plus beau ».

Au jeu de qui surprendra l’autre

Ce serait la même chose en musique: on éprouverait un grand plaisir quand on (re)découvre le motif musical qui permet de comprendre l’esprit d’un morceau. Pareil pour l’humour: est drôle ce qui fait brusquement apparaître une règle inattendue qui « résout » une histoire par une chute imprévue.

Cette théorie pourrait sembler contradictoire avec celle de Friston et son énergie libre: d’un côté on soutient que le vivant déteste les surprises et fait tout pour les éviter. De l’autre, Schmidhuber explique au contraire que cet effet de surprise est fondamental dans l’art, dans l’humour et dans la science. Je pense que la contradiction n’est qu’apparente: ce n’est pas parce que le vivant tend à minimiser les surprises, qu’il ne les recherche pas, au contraire! D’une part résoudre ces surprises est effectivement un moment d’émotion intense: les rechercher semble donc naturel. Mais on peut aussi adorer se laisser surprendre, si l’on est sûr qu’il n’y a pas de danger. C’est même le principe de tous les jeux!

Les petits enfants détestent les films d’épouvante ou ceux qui finissent mal, parce qu’ils n’ont pas encore bien compris qu’il ne s’agit que de fiction. Mais les adultes au contraire éprouvent (parfois!) beaucoup d’excitation et de plaisir au défi que leur lance le réalisateur à ne pas se laisser (sur)prendre par son film.

Le plaisir de la compression…

Vivre c'est comprimer: nouvelle devise Shadocks!

Perso, je ne suis pas très frappé par la beauté de cette « Femme fractale » et je doute qu’on puisse réduire la Joconde en quelques règles très simples. La beauté d’une oeuvre ne me semble donc pas réductible à sa « compressibilité ». En revanche, cette théorie a le mérite de répondre à une question que je me pose depuis longtemps: pourquoi la suggestion procure-t-elle autant d’émotions -voire plus- que l’exhibition crue de ce qu’on désire? Pour rester sur un registre sobre, pourquoi est-on au moins aussi excité par le fumet d’un bon plat que par sa consommation? La réponse de Schmidhuber (du moins celle que j’extrapole à partir de sa théorie) est simple: ce que récompense notre système nerveux ne serait pas tant l’accomplissement du désir, mais le travail d’imagination qui anticipe ce qu’il faut faire pour le réaliser. Se rapprocher du but, voilà ce qui nous rend accrocs, au point d’ailleurs que le but, une fois atteint, nous laisse parfois une légère sensation de déception ou d’ennui.

L’autre idée que je trouve intéressante dans la théorie de Schmidhuber, c’est que l’émotion soit liée à un « taux de compression ». Dansce billet j’avais émis l’idée que le beau est ce qui ne peut se résumer davantage. Comme dit Saint-Exupery, « La perfection est atteinte, non pas lorsqu’il n’y a plus rien à ajouter, mais lorsqu’il n’y a plus rien à retirer » Mais tout ce qui est irréductible n’est pas forcément beau! L’élégance d’une formule, en poésie comme en physique ou en maths, se mesure à l’écart entre la concision de son énoncé et l’étendue des phénomènes qu’elle embrasse. D’où le succès de E=mc²…

Selon ce même critère, la formule de Bayes est-elle émouvante? Certes son champ d’application est immense -j’espère vous en avoir convaincu!- mais sa « beauté » souffre malheureusement de sa formulation laborieuse: