Chapitre 08Chapter 08· 9 min de lecture· 9 min read
Le jour où plus rien ne surprendThe day nothing surprises anymore
La dopamine ne code pas le plaisirDopamine does not encode pleasure
Au début des années 1990, dans un laboratoire de Fribourg, Wolfram Schultz enregistre l'activité de neurones dopaminergiques chez le singe.
Le protocole est simple : l'animal reçoit une goutte de jus, on observe la réponse neuronale. La théorie établie est également simple : la dopamine signale le plaisir. Jus, décharge.
Puis Schultz introduit un signal lumineux qui précède le jus. L'animal apprend rapidement à l'anticiper.
Et la réponse neuronale change.
Le signal se déplace
Une fois l'association apprise, les neurones ne réagissent plus à l'arrivée du jus. Ils réagissent à la lumière.
Et quand le jus arrive exactement comme prévu ? Les neurones restent silencieux.
Schultz raconte la difficulté qu'a posée ce résultat : pourquoi ce neurone ne répond-il plus à la récompense, alors que l'animal la reçoit, quand il y répondait une minute plus tôt ?
La réponse a demandé de renoncer à l'hypothèse du plaisir.
Trois états, pas un
Ce que ces neurones signalent n'est pas la récompense. C'est l'écart entre la récompense prévue et la récompense reçue : ce qu'on appelle l'erreur de prédiction de récompense.
Mieux que prévu : décharge forte. C'est le signal d'apprentissage : quelque chose vaut mieux que ce qu'on croyait, il faut mettre à jour.
Exactement comme prévu : activité de base. Rien à apprendre.
Moins que prévu : activité déprimée, sous la ligne de base. La prédiction était trop optimiste, il faut la corriger à la baisse.
Ce mécanisme est aujourd'hui l'un des mieux établis de la neurobiologie. Il vaut chez l'humain, le singe et le rongeur.
Et il a une conséquence qui va nous occuper : un bon résultat, parfaitement attendu, ne produit aucun signal.
Le kaizen, mécaniquement
Reprenons la scène du chantier avec cette grille.
Semaine un. Tout est nouveau. Une idée proposée est testée dans l'heure. Inattendu. Un bac déplacé fait baisser le temps de cycle, mesuré devant l'équipe, inattendu. Le responsable passe et remercie, inattendu.
Chaque événement produit un écart positif à la prédiction. L'énergie qu'on observe dans l'atelier n'est pas de l'enthousiasme pour le Lean : c'est un système qui reçoit des signaux d'apprentissage en continu.
Semaine six. Le poste fonctionne bien. Les temps sont tenus. Le responsable passe toujours.
Mais tout cela est désormais prévu.
Le résultat n'a pas baissé : il est même meilleur qu'au départ. Ce qui a disparu, c'est l'écart. Et sans écart, pas de signal.
L'équipe n'est pas devenue moins motivée. Son système d'apprentissage n'a simplement plus rien à apprendre de cette situation.
Ce que ça change dans la façon de piloter
Cette lecture invalide une intuition très répandue : qu'il faudrait « maintenir l'énergie ».
L'énergie va retomber. C'est mécanique, et ce n'est pas un échec. Un système qui continuerait à s'exciter pour un résultat parfaitement prévisible serait un système défaillant.
La vraie question est celle-ci : le transfert vers le striatum a-t-il eu lieu avant l'extinction du signal ?
Si oui, la pratique se poursuit sans énergie, parce qu'elle ne coûte plus rien : c'est exactement ce qu'on cherchait.
Si non, il ne reste ni signal ni automatisme. Rien ne porte plus la pratique, et elle s'efface.
Voilà pourquoi la durée du chapitre 2 et le renforcement de ce chapitre sont deux faces du même problème. On dispose d'une fenêtre, quelques semaines pendant lesquelles le signal est encore actif, pour installer un automatisme qui n'en aura plus besoin.
Le chantier ne sert pas à convaincre. Il sert à tenir la pratique assez longtemps pour qu'elle bascule.
Ce que ça dit des retours différés
Un dernier point, qui éclaire le chapitre 3.
Nous avions dit qu'un standard dont le bénéfice apparaît dans un indicateur mensuel ne renforce rien. Le mécanisme permet maintenant de dire pourquoi précisément.
Pour qu'un geste soit renforcé, le système doit pouvoir attribuer l'écart de prédiction à ce geste. Cela suppose une proximité temporelle : le signal arrive, on sait à quoi il se rapporte.
Un bénéfice agrégé sur quatre semaines, présenté en réunion à des gens qui n'étaient pas au poste, ne peut être attribué à aucun geste particulier. Il peut être compris intellectuellement, le cortex préfrontal en fait très bien son affaire, mais il ne renforce aucune séquence.
D'où la recommandation du chapitre 3 : quand un standard n'a pas de retour naturel, il faut en fabriquer un. Un gabarit qui dit oui ou non dans la seconde produit un écart de prédiction attribuable, à chaque pièce.
Une limite qu'il faut poser
Trois précautions, et elles comptent car ce domaine est le plus déformé par la vulgarisation.
Sur la dopamine en général. Elle ne fait pas que coder l'erreur de prédiction. Elle intervient dans le contrôle moteur, la motivation, l'apprentissage, et ses rôles varient selon les circuits. La formule « la dopamine, molécule du plaisir » est fausse, mais « la dopamine code l'erreur de prédiction » est une simplification d'un système plus riche.
Sur les mesures. Les enregistrements de Schultz portent sur des neurones individuels chez le singe, avec des récompenses primaires : du jus, de l'eau. Transposer à la satisfaction d'un opérateur devant un temps de cycle amélioré est une extrapolation considérable.
Sur l'usage managérial. Tout ce chapitre peut servir à justifier des dispositifs de gratification artificielle : surprises, récompenses variables, gamification. Ce serait un contresens. Ces mécanismes sont ceux qu'exploitent les machines à sous, et les adultes détectent très vite ce qui est instrumental.
Ce qui reste utilisable sans dérive : un retour informationnel et immédiat, la pièce est bonne ou non, produit naturellement l'écart de prédiction qui renforce. Un retour évaluatif et différé ne le produit pas.
Ce qu'il faut retenir
La dopamine ne code pas le plaisir. Elle code l'écart entre le prévu et le reçu.
Trois états. Mieux que prévu : décharge. Comme prévu : rien. Moins que prévu : activité déprimée.
Le signal migre vers l'annonce. Une fois la récompense prévisible, la réponse remonte au premier indice qui permet de la prédire.
L'énergie d'un chantier s'éteint mécaniquement. Pas parce que le résultat se dégrade, mais parce qu'il devient attendu.
La fenêtre est le vrai sujet. Le transfert vers le striatum doit avoir eu lieu avant l'extinction du signal.
Un retour informe, il n'évalue pas. La gratification artificielle produit l'effet inverse.
In the early 1990s, in a laboratory in Fribourg, Wolfram Schultz recorded the activity of dopamine neurons in monkeys.
The protocol was simple: the animal receives a drop of juice, you observe the neural response. The established theory was equally simple: dopamine signals pleasure. Juice, firing.
Then Schultz introduced a light that preceded the juice. The animal quickly learned to anticipate it.
And the neural response changed.
The signal moves
Once the association was learned, the neurons no longer responded to the arrival of the juice. They responded to the light.
And when the juice arrives exactly as predicted? The neurons stay silent.
Schultz has described the difficulty this result posed: why does this neuron no longer respond to the reward, when the animal is receiving it, when it responded a minute earlier?
Answering required abandoning the pleasure hypothesis.
Three states, not one
What these neurons signal is not reward. It is the gap between predicted and received reward, what is called reward prediction error.
Better than predicted: strong firing. This is the learning signal: something is better than you believed, update.
Exactly as predicted: baseline activity. Nothing to learn.
Worse than predicted: activity depressed below baseline. The prediction was too optimistic, correct it downward.
This mechanism is now among the best established in neurobiology. It holds in humans, monkeys and rodents.
And it has a consequence that will occupy us: a good result, perfectly expected, produces no signal.
Kaizen, mechanically
Let's revisit the improvement-project scene through this lens.
Week one. Everything is new. An idea is proposed and tested within the hour: unexpected. A bin is moved and cycle time drops, measured in front of the team: unexpected. The supervisor comes by and thanks people: unexpected.
Every event produces a positive prediction error. The energy you see on the floor isn't enthusiasm for Lean: it's a system receiving learning signals continuously.
Week six. The station runs well. Times are held. The supervisor still comes by.
But all of it is now predicted.
The result hasn't dropped; it's better than at the start. What has disappeared is the gap. And without a gap, no signal.
The team hasn't become less motivated. Its learning system simply has nothing left to learn from this situation.
What this changes about steering
This reading invalidates a widespread intuition: that you should "maintain the energy".
The energy is going to fall. That's mechanical, and it isn't a failure. A system that kept getting excited about a perfectly predictable result would be a malfunctioning system.
The real question is this: did the transfer to the striatum happen before the signal died out?
If it did, the practice continues without energy, because it no longer costs anything. That is exactly what you were after.
If it didn't, there is neither signal nor automatism left. Nothing carries the practice, and it fades.
That is why the duration of chapter 2 and the reinforcement of this chapter are two faces of one problem. You have a window, a few weeks during which the signal is still active, to install an automatism that will no longer need it.
The project isn't there to convince. It's there to hold the practice long enough for it to switch.
What this says about delayed feedback
One last point, which illuminates chapter 3.
We said that a standard whose benefit appears in a monthly indicator reinforces nothing. The mechanism now lets us say precisely why.
For an action to be reinforced, the system must be able to attribute the prediction error to that action. That requires temporal proximity: the signal arrives, and you know what it relates to.
A benefit aggregated over four weeks, presented in a meeting to people who weren't at the station, cannot be attributed to any particular action. It can be understood intellectually, the prefrontal cortex handles that perfectly well, but it reinforces no sequence.
Hence the recommendation of chapter 3: when a standard has no natural feedback, you have to build one. A gauge that says yes or no within a second produces an attributable prediction error, on every part.
A limit worth stating
Three cautions, and they matter, because this field is the most distorted by popular accounts.
On dopamine in general. It doesn't only encode prediction error. It is involved in motor control, motivation and learning, and its roles vary across circuits. "Dopamine, the pleasure molecule" is false, but "dopamine encodes prediction error" is a simplification of a richer system.
On the measurements. Schultz's recordings are of single neurons in monkeys, with primary rewards: juice, water. Transposing to an operator's satisfaction at an improved cycle time is a considerable extrapolation.
On managerial use. This whole chapter could be used to justify artificial gratification: surprises, variable rewards, gamification. That would be a misreading. These are the mechanisms slot machines exploit, and adults detect very quickly what is instrumental.
What remains usable without drift: informational and immediate feedback, the part is good or it isn't, naturally produces the prediction error that reinforces. Evaluative, delayed feedback does not.
What to take away
Dopamine does not encode pleasure. It encodes the gap between predicted and received.
Three states. Better than predicted: firing. As predicted: nothing. Worse than predicted: depressed activity.
The signal migrates to the cue. Once the reward is predictable, the response moves back to the first cue that predicts it.
The energy of an improvement project dies out mechanically. Not because the result degrades, but because it becomes expected.
The window is the real subject. The transfer to the striatum must have happened before the signal died out.
Feedback informs, it doesn't evaluate. Artificial gratification produces the opposite effect.
Sources
Schultz, W. (2016). Dopamine reward prediction error coding. Dialogues in Clinical Neuroscience, 18(1), 23–32.
Hollerman, J. R. & Schultz, W. (1998). Dopamine neurons report an error in the temporal prediction of reward during learning. Nature Neuroscience.
Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science. Formalisation du modèle d'apprentissage par différence temporelle.
Sur les localisations : les neurones concernés se situent principalement dans la substance noire et l'aire tegmentale ventrale.
Sur la mise en garde contre la lecture « molécule du plaisir » : Schultz lui-même souligne que le signal est un signal d'enseignement, non de satisfaction.
Sources
Schultz, W. (2016). Dopamine reward prediction error coding. Dialogues in Clinical Neuroscience, 18(1), 23–32.
Hollerman, J. R. & Schultz, W. (1998). Dopamine neurons report an error in the temporal prediction of reward during learning. Nature Neuroscience.
Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science. Formalisation of the temporal difference learning model.
On localisation: the neurons concerned lie mainly in the substantia nigra and the ventral tegmental area.
On the warning against the "pleasure molecule" reading: Schultz himself stresses that the signal is a teaching signal, not one of satisfaction.