Jardin

Notes🌿 Pousse

Qu'est-ce qui fonctionne comme récompense pour un animal ?

Créé le 15 novembre 2026

Le cadre de la récompense et de la valeur est l’un des plus solides des neurosciences du comportement. Il relie un formalisme précis, l’apprentissage par renforcement, à un signal mesurable, l’activité des neurones dopaminergiques. Cette note cherche à expliciter ce que ce cadre suppose, ce qui en découle, et où il cesse de suffire. J’emploie quelques termes dans un sens fixe. L’agent est l’animal dont on étudie le comportement ; l’observateur est le chercheur qui le décrit, avec ses mesures et ses modèles. Un étalon est ce par rapport à quoi un comportement ou un résultat est jugé meilleur ou moins bon.

Dans le cadre de l’apprentissage par renforcement, l’agent se trouve dans des états, choisit des actions et reçoit des récompenses. La récompense est un nombre associé à ce qui arrive à l’agent. La valeur d’un état, ou d’une action dans un état, est l’estimation de la somme des récompenses futures qu’on peut en attendre, les récompenses lointaines comptant moins que les proches. L’erreur de prédiction de récompense est l’écart entre ce qui est obtenu (la récompense présente plus la valeur de l’état suivant) et la valeur attendue ; elle sert à mettre à jour les valeurs, c’est l’apprentissage par différence temporelle (Sutton & Barto 2018). La politique est la règle qui choisit les actions à partir des valeurs. Le succès du cadre tient à la correspondance entre cette erreur de prédiction et les réponses phasiques des neurones dopaminergiques : elles augmentent pour une récompense inattendue, se déplacent vers le stimulus qui l’annonce au cours de l’apprentissage, et diminuent quand une récompense attendue est omise (Schultz, Dayan & Montague 1997).

Ce cadre repose sur plusieurs présupposés, qui ne sont pas toujours dits. Le premier est une monnaie commune : toutes les conséquences d’une action se ramènent à un seul nombre, qui permet de les comparer. Le deuxième est que la récompense est donnée de l’extérieur du calcul. Le modèle apprend des valeurs à partir des récompenses, mais il ne dit pas d’où viennent les récompenses : dans le modèle, c’est le modélisateur qui fixe la fonction de récompense ; chez l’animal, on suppose qu’un petit nombre de récompenses primaires (nourriture, eau, certains contacts) ont une valeur fixée par l’évolution, avant tout apprentissage. Le troisième est que la valeur apprise dérive de ces récompenses primaires par transfert. Un stimulus qui annonce une récompense acquiert de la valeur, et cette valeur sert à son tour à apprendre ce qui le précède ; le conditionnement de second ordre et le renforçateur conditionné en sont des conséquences, pas des exceptions. L’apprentissage ne crée pas de valeur, il la déplace. Le quatrième est souvent implicite : la valeur d’une récompense primaire est stable, comme si c’était une propriété de l’objet. Le cinquième est que le signal de récompense reflète fidèlement cette valeur primaire ; l’apprentissage modifie les valeurs, pas les récompenses. Le sixième est que les états et les actions sont donnés : le modèle calcule sur une description de la situation que l’observateur a fixée à l’avance. Le dernier est l’objectif lui-même : l’agent cherche à maximiser la somme des récompenses futures.

En laboratoire, ces présupposés posent rarement problème, et il faut dire pourquoi. Ce n’est pas que l’expérimentateur fixerait la valeur de la récompense : la valeur de la nourriture vient de l’organisme. Ce que l’expérimentateur fixe, c’est quel résultat compte dans la tâche, en quelle quantité, et dans quel état se trouve l’animal, par exemple par une privation standardisée qui rend ce résultat important pour lui. Il fixe aussi la description, en définissant les états et les actions de la tâche. Dans le modèle, il donne ensuite à ce résultat une valeur fixe et juge le comportement par rapport à elle. Il s’arrange ainsi pour que l’étalon du modèle coïncide avec celui de l’animal. Tant que cette coïncidence tient, l’écart de l’animal à l’étalon du modèle renseigne sur l’animal. Elle cesse quand l’état de l’animal change, quand autre chose que le résultat mesuré compte pour lui, ou quand il découpe la situation autrement que l’observateur.

Ces présupposés ont des implications. Dans le cadre, la récompense est l’étalon : c’est elle qui donne son sens à une erreur positive (mieux que prévu) ou négative (moins bien que prévu), et le modèle n’a pas d’autre notion de ce qui est bon ou mauvais pour l’agent. La valeur n’est donc définie que relativement à une fonction de récompense et à une description ; ce n’est pas une grandeur qui existerait indépendamment d’elles. Tout ce que l’animal apprend à rechercher est, dans ce cadre, un moyen d’obtenir des récompenses primaires. Il en découle qu’un comportement qui persiste contre les récompenses primaires ne peut être lu que de deux façons : comme une erreur d’apprentissage, ou comme une erreur du modèle sur la fonction de récompense ou sur la description. Enfin, dire que la dopamine « code la valeur » hérite de tous ces présupposés : l’affirmation n’a de sens qu’une fois précisées la récompense et la description par rapport auxquelles la valeur est calculée.

Le présupposé de stabilité est le premier à céder. Robinson & Berridge (2013) ont associé un levier à une solution très salée, que les rats évitaient. Placés ensuite dans un état de déplétion en sodium, les rats se sont dirigés vers ce levier dès sa première présentation, sans nouvel apprentissage. Les auteurs en concluent que l’attrait d’un indice est recalculé au moment de la rencontre en fonction de l’état physiologique, et n’est pas seulement lu dans des valeurs apprises. La correction minimale est de faire de la valeur d’une récompense primaire une fonction de l’état interne, et non un nombre attaché à l’objet. C’est ce que font les modèles d’apprentissage par renforcement homéostatique, où la récompense est définie comme la réduction d’un écart entre l’état interne et un point d’équilibre (Keramati & Gutkin 2014). Cette correction a une conséquence : si la nourriture vaut plus quand l’animal a faim, c’est en raison de sa relation au maintien de l’organisme. La viabilité de l’animal entre ainsi dans le modèle, sans y être nommée.

Le présupposé de fidélité cède à son tour avec la stimulation électrique du faisceau médian du télencéphale. Ici, il n’y a pas d’objet, donc pas de récompense primaire : on active directement les circuits qui, normalement, signalent qu’un événement compte pour l’organisme. L’animal travaille pour cette stimulation (Olds & Milner 1954), parfois au détriment de son alimentation (Routtenberg & Lindy 1965). L’effet immédiat d’une drogue est du même type : elle agit sur la même machinerie sans passer par une récompense primaire. Ces cas montrent que la machinerie ne lit pas fidèlement des valeurs primaires ; elle répond à son propre signal, quelle qu’en soit la source. Dans ces situations, l’expérimentateur fixe vraiment la récompense, au sens strict, puisqu’il décide quand le circuit est activé et pour quelle action.

Le présupposé d’une description donnée est mis en cause par un travail de notre équipe (Come, Lespart et al. 2024). Les souris y obtiennent une autostimulation intracrânienne en se déplaçant entre trois cibles, selon trois règles de délivrance successives. Leurs mouvements restent les mêmes, mais les libérations brèves de dopamine dans le noyau accumbens se réorganisent d’une règle à l’autre : elles reflètent tantôt la direction de l’action, tantôt les résultats récents, tantôt l’identité de la cible. La comparaison de modèles montre que ces signaux s’expliquent mieux par des erreurs de prédiction calculées sur des descriptions différentes de la situation que par un schéma unique et fixe, et un agent entraîné par différence temporelle, qui apprend lui-même sa description, reproduit à la fois les comportements et les signaux. La récompense, fixée par l’expérimentateur, ne change pas ; c’est la description qui est apprise. Cela pèse sur l’idée que la dopamine représente une valeur : si la valeur n’est définie que dans une description qui change avec la règle, il faut préciser laquelle avant de dire ce que représente le signal.

Restent les cas où un comportement persiste contre l’intérêt de l’animal. Dans l’habitude, un comportement longuement renforcé persiste après dévaluation de son résultat : après un entraînement court, associer la nourriture à un malaise réduit l’appui sur le levier qui la procure ; après un entraînement prolongé, non (Adams & Dickinson 1981 ; Adams 1982). Dans l’addiction, la drogue ne fait pas qu’utiliser la machinerie, elle la transforme avec la répétition. L’attrait des indices associés à la drogue augmente avec l’usage, indépendamment du plaisir (Robinson & Berridge 1993) ; l’usage chronique déplace le point d’équilibre du système, de sorte que l’absence de drogue devient un état négatif (Koob & Le Moal 2001) ; et seule une petite partie des animaux exposés développe des comportements de type addictif (Deroche-Gamonet, Belin & Piazza 2004). Deux lectures sont possibles. Dans la première, il s’agit d’une panne : un système d’apprentissage l’emporte à tort sur un autre, par exemple des valeurs apprises et stockées qui ne se mettent plus à jour (Daw, Niv & Dayan 2005), ou une régulation déréglée. C’est la seule lecture que le cadre permet, comme on l’a vu plus haut. Dans la seconde, un étalon issu d’un mécanisme qui servait l’animal est désormais maintenu par l’animal lui-même et l’emporte sur ses récompenses primaires. Ce qui sépare les deux lectures est de savoir si le nouvel équilibre est activement maintenu ou simplement subi ; je la laisse ouverte ici.

D’autres façons de penser la récompense abandonnent l’un ou l’autre des présupposés. La saillance motivationnelle distingue trois composantes que la valeur réunit : l’apprentissage des prédictions, l’attrait présent d’un indice (« vouloir ») et le plaisir (« aimer ») ; elle attribue à la dopamine la deuxième (Berridge & Robinson 1998). Les effets de contraste, où la même récompense vaut moins après une récompense plus grande (Crespi 1942), et la normalisation de la valeur par le contexte (Louie & Glimcher 2012) abandonnent l’idée d’une valeur absolue au profit d’une valeur relative à une référence construite par l’histoire de l’individu. Les modèles de motivation intrinsèque abandonnent le transfert depuis les seules récompenses primaires : la curiosité ou le progrès d’apprentissage y sont des sources de valeur, et la fonction de récompense de l’agent peut être un intermédiaire sélectionné parce qu’il fait mieux apprendre (Singh et al. 2010). L’inférence active supprime la récompense comme notion de base et la remplace par des préférences a priori sur les observations, dont l’origine reste à expliquer (Friston, Thornton & Clark 2012). Un modèle proposé par notre équipe déplace aussi la notion de valeur (Naudé et al. 2024). Les buts y sont des attracteurs de la dynamique d’un réseau récurrent, couplé à l’environnement par une boucle entre action et perception. La plasticité dépendante de la dopamine construit ces attracteurs, qui restent d’abord latents : ils n’attirent la dynamique que lorsqu’elle en est proche. L’effet de la dopamine sur l’excitabilité élargit et approfondit leurs bassins, ce qui rend les buts accessibles de loin. Ce qui a été appris y prend la forme d’un relief dans la dynamique du réseau plutôt que d’une valeur attachée à chaque état puis lue par une règle de choix, et l’apprentissage et la motivation y relèvent d’un même mécanisme. Le modèle prédit que l’effet de la dopamine dépend de la distance au but, ce que les auteurs vérifient chez la souris. Enfin, certains travaux proposent que la dopamine ne signale pas une erreur sur la valeur mais l’apprentissage d’associations causales (Jeong et al. 2022).

À développer : la discussion des limites de l’erreur de prédiction de récompense et de ses généralisations (Gershman et al. 2024) ; des erreurs de prédiction dopaminergiques portant sur l’action plutôt que sur la valeur, qui renforcent la répétition indépendamment de la récompense (Greenstreet et al. 2025) ; l’idée que le signal qui soutient le renforcement par la nourriture est produit de l’intérieur, pendant la digestion, et dépend de l’état physiologique (Weber et al. 2025).

Plusieurs questions restent ouvertes. Quand le cadre est corrigé pour tenir compte de l’état, de la description et des références construites, que reste-t-il de la notion de valeur comme grandeur que l’agent estimerait ? La distinction entre une récompense fixée par l’évolution et une valeur apprise tient-elle, si des références et des descriptions construites au cours de la vie modulent ce qui compte comme récompense ? Comment trancher entre la lecture en termes de panne et celle d’un étalon maintenu par l’animal dans l’addiction et l’habitude ? Et, pour la dopamine, quelles expériences permettraient de dire par rapport à quelle description et à quelle récompense un signal doit être interprété, avant de lui attribuer un contenu ?

Références

Réagir à ce texte par e-mail

Cité par…

Notes voisines