title: Reward and prediction errors in Bayesian sensorimotor control
Creators: name: Galetzka, Cedric
Publisher: name: Universität Potsdam
Year: 2021
Subjects: subject: 150 Psychologie

description: Midbrain dopamine neurons invigorate responses by signaling opportunity costs (tonic dopamine) and promote associative learning by encoding a reward prediction error signal (phasic dopamine). Recent studies on Bayesian sensorimotor control have implicated midbrain dopamine concentration in the integration of prior knowledge and current sensory information. The present behavioral study addressed the contributions of tonic and phasic dopamine in a Bayesian decision-making task by alternating reward magnitude and inferring reward prediction errors. Twenty-four participants were asked to indicate the position of a hidden target stimulus under varying prior and likelihood uncertainty. Trial-by-trial rewards were allocated based on performance and two different reward maxima. Overall, participants’ behavior agreed with Bayesian decision theory, but indicated excessive reliance on likelihood information. These results thus oppose accounts of statistically optimal integration in sensorimotor control, and suggest that the sensorimotor system is subject to additional decision heuristics. Moreover, higher reward magnitude was not observed to induce enhanced response vigor, and was associated with less Bayes-like integration. In addition, the weighting of prior knowledge and current sensory information proceeded independently of reward prediction errors. Taken together, these findings suggest that the process of combining prior and likelihood uncertainties in sensorimotor control is largely robust to variations in reward.
description: Inwieweit prägen Belohnungen die Integration von vorherigem Wissen und sensorischen Informationen im Kontext der Bayesianischen Entscheidungstheorie? Untersuchungen mit Parkinson-Patienten haben gezeigt, dass die Dopamin-Verfügbarkeit in den Basalganglien Integrationsprozesse in der Sensomotorik beeinflussen. Dopaminerge Neuronen schütten Dopamin tonisch und phasisch aus, wobei diese Modi verschiedenen Funktionen unterliegen, wie dem Signalisieren von Opportunitätskosten oder der Unterstützung assoziativen Lernens. Die Konzentration tonisch freigesetzten Dopamins richtet sich nach Belohnungsgrößen, wogegen phasische Dopamin-Komponenten durch Fehler in der Belohnungserwartung hervorgerufen werden. Die Bedeutung dieser Variablen in sensomotorischem Lernen ist jedoch größtenteils unerforscht. In der vorliegenden Verhaltensstudie wurden vierundzwanzig gesunde Teilnehmer gebeten, eine sensomotorische Schätzaufgabe durchzuführen, in der Belohnungsgrößen manipuliert und Belohnungserwartungsfehler abgeleitet wurden. Es wurde vermutet, dass positive Abweichungen in der Belohnungsvorhersage zu erhöhter Gewichtung von sensorischen Informationen durch den Influx phasischen Dopamins führen. Höhere Belohnungsgrößen sollten dagegen aufgrund vermehrter Opportunitätskosten mit beschleunigten Reaktionen verbunden sein. Das Verhalten der Teilnehmer hat gezeigt, dass aktuelle und a priori Informationen größtenteils unabhängig von Belohnungsgrößen und Belohungserwartungsfehlern integriert werden. Dieses Ergebnis deutet darauf hin, dass “Prior” und “Likelihood” unabhängig von belohnungsrelevanten Prozessen repräsentiert werden, welche in Zusammenhang mit der Dopamin-Konzentration in den Basalganglien stehen. Darüber hinaus entsprachen die Resultate lediglich qualitativ der Bayesianischen Entscheidungstheorie und widersprechen somit früheren Berichten von statistisch-optimaler Integration. Da sensorische Informationen über alle Bedingungen hinweg übermäßig hoch gewichtet wurden, legt diese Studie nahe, dass das sensomotorische System zusätzlichen systematischen Urteilsverzerrungen unterliegt.