多巴胺能神经元在决策中的作用

动物和人类生存的一个关键因素是学习如何获得有价值的刺激——食物、性和社会奖励。虽然学习是一项强大的技能，但世界上没有什么是长期不变的，学习必须是适应性的，以便让动物能够灵活地在不断变化的环境中生存下来。长期以来，多巴胺因其在提示-奖励关联中的关键作用而为人所知，新的数据为多巴胺能神经元的功能提供了更加丰富和复杂的图像。

对即将发生的行动做出决定需要理解结果的预期价值、选择之间产生的相对成本，以及实现可能结果的概率。中脑多巴胺神经元的神经活动被认为发挥着至关重要的作用，它通过将已知预期结果的值告知决策过程，并在做出决定后，通过告知动物结果是更好、更差还是如预期的那样。因此，中脑多巴胺神经元对于激励旨在获得大量预期奖励的行为和在决策结果显示时调整行为至关重要。

这个理论

在20世纪90年代末，科学家们一直在寻找大脑中的教学信号——学习可能通过这种机制发生。一个这样的教学信号，由Rescorla和Wagner在20世纪70年代提出¹它基于这样一个理念，即完全预期的结果并不新奇(例如，你走进一间黑暗的房间，按下电灯开关，一盏灯就亮了)。学习要发生，就必须有意想不到的事情发生。想象一下，你从未见过电灯开关，你走进一间黑暗的房间，但你想把灯打开。在摸索了一段时间后，你不小心按对了开关——惊喜!-灯亮了。这是一个积极的结果，也是意料之外的。根据Rescorla和Wagner的说法，由于预期结果(没有变化，灯不亮)和实际结果(大变化，灯亮)之间的差异，这应该会引发教学信号。此外，由于预期结果和实际结果之间的差异是在期望的方向上，结果是令人渴望的，这个信号被称为“积极预测误差”。随着时间的推移，你知道了哪个开关是亮灯的，这个信号应该会减少，因为你知道了拨动那个开关的结果。然而有一天，你走进这个黑暗的房间，轻按开关——惊喜!-不开灯。这个结果令人惊讶，而且是负面的。 This is theorized to induce a ‘negative prediction error’, and if this switch continues over time to not turn the lights on, you will learn to avoid it when trying to do so. These are the basics of prediction error signals, that to see a prediction error, outcomes of actions must be unexpected and they can have either an unexpectedly positive or unexpectedly negative value.

的数据

在20世纪90年代末，有了一个重要的发现。猴子中脑的多巴胺神经元被观察到对意外的积极结果(即意想不到的奖励)增加刺激。这种增加是短暂的，随着更多的试验发生，奖励被预测，多巴胺神经元的放电减少。然后，当这一结果成为预期的结果时，研究人员意外地取消了奖励，多巴胺神经元暂停了放电^{2 - 5}．这一发现引发了一系列研究，并在包括人类在内的物种中得到了复制⁶,老鼠⁷和老鼠⁸．此外，多巴胺神经元活动的增加对结果的影响发生了变化，这样一个预测某些结果的线索本身就会诱导多巴胺神经元放电。

突然间，科学家们发现了一种合理的适应性学习神经机制。最近，研究人员使用了光遗传学验证人们所观察到的神经活动的相关性是因果关系。Steinberg等人(2013)使用阻塞范式直接测试多巴胺神经元预测错误信号在学习中的作用。阻塞范式是指动物无法学习新信息的情况，因为这种新的学习被旧的联想“阻塞”了。例如，当一只动物学会用一种音调预测结果(水)后，实验者就会将这种音调与另一种线索(光)配对。在测试当天，只向动物展示“阻塞”的线索(光)，以观察动物是否学习到新信息。然而，由于成对的光线和色调的结果与单独的色调的结果完全相同，因此结果应该没有差异，并且不会产生预测错误。Steinberg等人在色调和光线配对过程中通过光遗传学激活多巴胺神经元，能够人为地诱导积极的预测误差并创造新的学习，标志着支持这一理论的第一个因果证据⁹．这些数据巩固了中脑多巴胺神经元在信号积极预测错误中的作用，并展示了这些预测错误信号如何驱动行为。

未回答的问题

与此同时，中脑多巴胺神经元在信号预测错误中的作用得到了证实，其他实验数据的发展表明，真实的情况不那么清晰。在一些记录实验中，一些神经元对意想不到的消极和积极结果也增加了放电，与上述结果相反。这些神经元被认为是突出的信号，因为一个意想不到的事件，无论效价如何，都可能是非常重要的，行为需要被激发起来，要么重复所需的行动来复制这个意想不到的积极结果(在食欲的情况下)，要么在未来逃避/避免这个，就像在厌恶的情况下。这些结果最近在有行为的灵长类动物身上得到了证实，它们要么为了液体奖励而工作，要么为了避免眼睛受到空气的影响而工作¹⁰．此外，多巴胺神经元的信号值、显著性和预测误差的位置并不是完全离散的，而是有相对较大的重叠区域¹¹．这种重叠是神经发育的功能还是功能经验的功能还有待观察。

那么中脑多巴胺神经元在决策过程中扮演什么角色呢?似乎有些神经元在提供警报信号方面至关重要，它们能识别出什么时候发生了出乎意料的事情，无论是食欲还是本质上的厌恶。与此同时，有一些神经元同时提供了这种意外结果的相对效价，表明发生了好事还是坏事。这两个神经群体必须协同工作，提供一个教学信号，帮助动物了解哪些线索可以预测什么结果，并在未来的决策中引导行为走向更有食欲的选择。总之，中脑多巴胺神经元的阶段性活动起到提醒、教导和通知的作用，这些都是生物体适应生活所必需的基本关键功能。

参考文献

1. 1.Rescorla RA和Wagner AR(1972)经典条件反射II:当前研究和理论(Appleton-Century-Crofts)。埃德兹·a·布莱克，w·f·普罗卡西)64-99。
2. 2.Schultz W(1998)多巴胺神经元的预测奖励信号。神经生理学杂志80:1-27。
3. 3.Schultz W(1999)中脑多巴胺神经元的奖赏信号。生理科学新闻:由国际生理科学联合会和美国生理学会联合出版的国际生理学杂志14(6):249-255。
4. 4.李志强，李志强(1997)预测与奖励的神经基质。科学》275(5306):1593 - 1599。
5. 5.舒尔茨W和迪金森A (2000)预测误差的神经元编码。神经科学年度评论23:473-500。doi: 10.1146 / annurev.neuro.23.1.473
6. 6.D 'Ardenne Ket al。(2008)人腹侧被盖区反映多巴胺能信号的BOLD反应。科学》319(5867):1264 - 1267。doi: 10.1126 / science.1150605
7. 7.MR Roesch, DJ Calu, Schoenbaum G (2007)多巴胺神经元编码老鼠在不同延迟或大小的奖励之间做出更好的选择。自然神经科学:1615 - 1624。doi: 10.1038 / nn2013
8. 8.科恩JY等人(2012)腹侧被盖区奖励和惩罚的神经元类型特异性信号。自然482:85 - 88。doi: 10.1038 / nature10754
9. 9.斯坦伯格EEet al。(2013)预测错误、多巴胺神经元和学习之间的因果关系。自然神经科学doi: 10.1038/nn.3413
10. 10.松本M和Hikosaka O (2009)两种类型的多巴胺神经元分别传递积极和消极的动机信号。自然459:837 - 841。doi: 10.1038 / nature08028
11. 11.布朗伯格-马丁ES，松本M, Hikosaka O (2010)动机控制中的多巴胺:奖励、厌恶和警觉。神经元68:815 - 834。doi: 10.1016 / j.neuron.2010.11.022