幼児の音声獲得に関わる神経機構と学習原理の計算論的研究
15500166

平成1 5年度 平成1 7年度科学研究費補助金(基盤研究(C)) 研究成果報告書

平成1 8年6月

研究代表者 二見亮弘
福島大学共生システム理工学類教授

1

はしがき
ヒ トが言葉を獲得していく過程を計算論的に理解するために, 聴覚短期記憶の時系
列情報に対する特性や, 言語が関わる各種高次機能に関わる弁別課題におけるヒ トの

心理物理特性を知った上で, それらを計算論的に表現する神経機構モデルを構成するという研究手法がある。本研究ではそのような立場から, 言語課題の評価に新しい計算論的背景を与えるための 「ヒ トの反応時間に関する心理物理実験およびそのモデリング」 と, 「ヒ トの時系列情報短期記憶特性の解析」 を行った。本報告はそれらの結果をまとめたものである。

研究組織
研究代表者 二見亮弘
(東北大学大学院工学研究科助教授 ; 平成17年3月まで)(福島大学共生システム理工学類教授 ; 平成17年4月以降)
研究分担者 なし

交付決定額 (配分額)

平成1 5年度
平成1 6年度

直接経費

間接経費

合計

2 500 000

2f500,000

600 000000

3 700 00003;700,000l

平成17年度
総 計(金額単位:円)l600,000l1

1

600 000t

600,000

研究発表(1)学会誌等

0 加納慎一郎, 二見亮弘, 星宮望:ヒト聴覚系の感覚記憶における時間統合過程のミスマッチ陰性電位による解析, 生体医工学, Vol.41,No.2,pp.97̲104(2003)
O S.Kanoh,R.Futaali and N.Hoshimiya:Sequential groupingof tonesequence
asreflectedbythemismatchnegativity̲ Biological Cybernetics,Vol.91,

No.6,pp̲388‑395(2004)◎Iwaizumi A,Futami R,KanohS,GyobaJ:Characteristicsof Human
LuminanceDiscriminationandModelingaNeural Network Based ontheResponse
Ptopertiesof theVisual Cortex,Biological Cybernetics,2006 Mar 18;[E‑pub
ahead of printl ISSN:0340‑1200(Paper)1432‑0770(Online).
O Iwaizumi A,Futami R,Matsuki H,Suz
uki Y:Aneural network model ofhumanresponse insingle‑ortwo‑choisehlminance‑discriminationreaction
timetask,Biological Cybernetics,発表予定

2

(2)口頭発表

0 岩泉, 加納, 二見:ヒトの輝度弁別特性とその神経回路モデル, 電子情報通信学会
技術研究報告, NC2004‑1(2004)
0 A̲Iwaiz
umi,S.Kanohand R.Futami:Psychophysical experimentsof humanluminancediscrimination andthe model neural network,Proc.of theFourthinternational SymposiumonHuman and Artificial IntelligenceSystems,
pp.467‑472(2004)
0 岩泉, 加納, 二見:視覚野応答の時間特性を考慮した輝度弁別神経回路モデル,
電子情報通信学会技術研究報告, NC2005‑2(2005)◎岩泉, 二見, 松木, 鈴木:2刺激に微小な呈示時間差を持った輝度弁別RTタスクの弁別特性を有する神経回路モデル, 電子情報通信学会技術研究報告NC2006‑5(2006)(3)その他◎坂井靖文:短音と長音で構成される時系列の短期記憶に関する研究, 東北大学工学部電子工学科卒業論文(2005)
研究成果による工業所有権の出願・取得状況
該当なし
研究成果
脳における言語処理などの高次機能について定量的に調べる際には, 被験者に視聴
覚的な言語課題を呈示し, スイッチ押しまでの反応時間の平均や分散を課題の困難さの指標として用いることが多い。本研究では, 各種の高次機能に関わる遂行課題の反応時間や誤り率に新しい計算論的背景を与えることを目的として, 心理実験における反応時間分布の生成モデルを構成し, 単純化された輝度弁別課題の結果との比較検討を行ってきた。実験では, 被験者に左右二つの光刺激の内, より明るいと判断した方に対応するボタンをできるだけ早く押してもらい, 刺激からボタン押しまでの反応時間を測定する心理物理実験を行うとともに, その反応時間分布と誤り率を再現できる

winner̲take̲an型のパルス神経回路網モデルを生理学的知見に基づいて構成して評価した。
さらに, 2刺激の輝度弁別タスクにおいて呈示刺激がより多様な時間構造をもつ場
合, すなわち2刺激のオンセットに微小な時間差がある場合, および閾上単一刺激を用いた場合の実験と行うとともに; その結果を説明するためのモデルの拡張を行つた。
2刺激の実験では, 強刺激と弱刺激のオンセット時刻差が一20ms, 0ms, +20msの3条件の刺激対を用いた。これらは, 視覚的に時間差を知覚できない程度の小さな時間差であり, 競合型の強弱判定モデルの妥当性を評価するために重要な意味をもつ刺激である。実験の結果から, 呈示条件によって反応時間と誤り率に統計的に有意な差があることが明らかになった。また, その実験事実を説明するためのモデルの拡張が必要であることが分かった。モデルの自然な拡張として, 時間差を強調する機能を導入するなど3種類の新しいモデルを構成し, 評価したところ, 競合回路へのグローバル
抑制と二ューロンチェーンによる時間差強調機構を有するモデルが最もよく実験結果を再現できることが明らかになった。
以上の成果に対応する研究発表として, 前項の研究発表リストで◎印を付したもの
を次頁以降に掲載する。

3

Characteristics of human luminance discriminationand modeling a neural network based on the response
properties of the visual cortex
Akiko Iwaiz
umi1,Ryoko Ftltami2,Shin'ichiro Kanoh1,Jiro Gyoba3' Department of Electronic Engineering,Tohoku University,Sendai 980‑8579,Japan
2 Department of Human Support System,Fukushima University,Fukushima 960‑1296,Japan
3 Department of Psychology Tohoku University,Sendai 980̲8576,h pan
Received:date / Revised version:date

Abstract Reaction time (RT) and error rate that depend on stimulus duration were measured ina luminance‑discrimiaation reactioa time task̲Two patches of light with different luminance were
presented to participants for 'short'(150 ms)or 'long'(I s)period on each trial.Vyhen the stimulus
duration was 'short',the participants responded more ra,pidIy with poorer discrimination performance
than they did in the longer duration̲The results suggested that different sensory responses in thevisual cortices were responsible for the dependence of response speed and a,ccuracy on the stimulus
duration during the luminance‑discrimination reaction time task.It was shown that the simplewinner‑take‑a11‑type neural network model receiving transient and sustained stimulus information from theprimary visual cortex (V1)successfu通y reproduced RT distributions for correct responses and error
rates.Moreover,temporal spike sequences obtained from the model network closely resembled to theneura」 activity in the monkey prefrontal or parietal area during other visua」 decision tasks such as
motion disa imination and oddball detection tasks̲
Cor respondence to:A、Iwai2umi

e‑mail:akiko@ecei.tohoku.ac.jp,
Tel.:十81‑22‑7957059,Fax:十81‑22‑2639307

4

2

Akiko Iwaiz
umi et a」

1 Introduction
Measuring reaction time (1RT)in sensorydiscrimination or detection tasks is oneof the most popularmethods to investigate the information system of the brain from sensory to higher‑order processing,
because response speed and tria]‑to‑trial fhlctuation of RT are considered to reflect the neural pro‑cessing for decision formation in the brain.So far many psycho1ogical and computational models have
tried to explain responses that depend on various stimulus factor such as luminance,contrast,spatial
frequellcy;etc.The most typical is Evidenceaccruai models (Sequential‑sampling models)',in which
the information of stimulus,'evidence',is collected and integrated,and discriminatio11is completed
when the 'evidence' reaches a threshold (cf.Rouder 2000;Smith and RatcMf 2004;Ratcliff 2002).
Among those models,the diffusion models and several leaky competing accumulator models success‑fully reproduced RT and accuracy, or error rate in various discrimination tasks (cf. Ratcliff 2002;
Ratcliff and Smith 2004;Usher and McClelland 2001),however,they were insufficient to account forneural mechanism that enables perceivers to discriminate stimuli.
Meanwhae,neural activity showing similar temporal development to the'evidence'in accumulator
models has been found in monkey's parietal and piefrontal area such as the lateral intraparietal area
(LIP)and the fronta」eye fields (FEFs)during visual motioa discrimination tasks in which a monkey
reported its decision by saccadic eye movements (Roitman and Shadlen 2002;Schall and Bichot 1998;
Shadlen and Newsome 1996; Smith and Ratcliff 2004).According to the studies,the neura」 firing
ra;tes in those decision‑related areas increased gradually;the saccadic eye movements theli occurred

after a fixed period when thefiringrates reached a threshold.Moreover,response speed and monkey's
decision seemed to be predicted by the neural activity of those decision‑related areas
As for the real neural circuits in the brain which accomplish to integrate and discriminate sensory
stimuli,several models have given plaasible explanations for the relation between neural activity ofdecision‑related areas and perceptual decisions (Maaurek et al 2003;Machens et al 2005;Shadlen
et al. 1996; Wang 2002).For example, monkey's psychometric function and the neural activity in
LP during visual motion discrimination tasks were reproduced by the biophysically realistic neuralnetwork model that included fast and slow recurrent excitation and feedback inhibition (Wang 2002)̲
But these models did not address the detailed description of RT distributions for both correct aIid error

5Luminance discrimination and the model neural network

3

responses.The models are mainly for neural computation in fixed‑delaly tasks where pa;rtieipants ormonkeys need to keep their decisions during delay period before response.Sensorystimuli represented
in their models are relatively too simplified compared to the real activity in sensory cortices;thesestudies are,therefore,insufficient to discuss the contribution of various response dynamics in sensory
cortices to decision formation̲

Kinoshita and Komatsu (2001) recorded strong transient visua」 responses at the onset and ofEsetof a pulsed surface stimulus aad sustained activity accompanying luminance intensity durmg stimulus
presentation in monkey's primary visual cortex,V1.Moreover,it has been suggested that these V1
activities are involved with the dependence of brightness perception on the temporal context between
two neighboring stimuli (Eagleman et at.2004).Therefore,we should investigate more carefully the
relation between sensory response dynamics and perception.

In this paper,we conducted a psychophysical experiments of luminance‑discrimination reaction
time tasks in which participants discriminated two fiashes with a slight difference in luminance.They
responded more rapidly and with more errors in shorter stimuhls duration (max i50ms)than they did
111 longer stimulus duration (max l second).Next.assuming that the brain utiliz
es not o11ly sustamed
information but also transient information of the stimuli,we proposed a neurally appropriate networkmodel that receives both transient and sustained inputs representing sensory responses in V1 andthat comprises fast and slow excitation as introduced i;a Wang's model̲The predicted data from themodel such as changes in shape of RT distributio・as a通d error rates that occur across conditions are
consistent with those of our experiments.The spike sequences produced by the model have common
features to those of neural activity in the decision‑related areas during visual motion discrimination

tasks.According to the model,more rapid responses in shorter stimulus presentation is due to thetransient iliput at the offset of stimuli,and smaller difference of synapticinput freqtlencies between thestronger and weaker flashes results in an increase of error respoIlses.Ftlrthermote,we evahlated thepower ratio of the transient and sustained inputs sufficient for our experimental results by modulating
relative synaptic strengths of the two i1lputs.

6

Akiko Iwaiz
umi et al4

2 Psychophysical experiments of luminance discrimination
2.1 Methods

Five uaiversity students (GA,SS NS,SY,KT,YS;three females and three males,mean age 24.2 years
ranging from 22 to 26 years) participated in the e・1tperiment.A1l had normal or corrected‑to‑Itormal vision.
Eadt participant was required to compare two fiashes appeaf ing simultaneously on the right and the left of a
fixation point (FP),keeping his/her gaz
e to the FP and to press a button that correspolads to the perceived

brightef fiash as rapidly and accura;tely as possible using his/her index er middle finger.Since the stronger
fiash was presented randoml;y on each side with equal probability,the diaefence in response speed between
those two fingers was counterbalanced,if any.The participants were not forced to respond;they did not preas
a button if they could not recognize the h,minaace difference between the two flashes.

Green light̲emitting diodes (LEDS)with dim white coy,ors set on a.grey board (20.2 degrees high and 14.4
degrees long) were used for stimulus and the FP.Luminance of the boafd was 3 cd/m2 when a1l the LEDS

were extinguished.As in Fig.1,the two LEDSfo, stimulus (0.57 degrees each)were placed at theleft aad theright (2.7 degrees)of the FP.
The two flashes of those stimuhls LEDS had a slil ght difference in l,lminance on each trial . In 'hard'condition,the stronger luminance was 10.3 cd/m2 and the weaker was 7.7 cd/m2,while in 'easy'condmon
the stronger was te.g od/m2 and the weaker wa.s 7.2 cd/m21the average luminance of two flashes was fixed to

9cd/m2 for both conditions.The luminance of the FP was 20 cd/m2.A luminance meter (Minolta,LS‑100)
was used for meastlremeat of luminance.
On each ttial the two flashes were presented simultaneotlsly te a participant af ter vaf iable intervals (tanging

600‑ 1000 ms.800 ms on a,verage)of FP presentation (Fig.1b).The pulsed stimulus flashed for i 50 ms in
the 'short conditions and for l second 111 the 'long'conditions.lrrespective of the stimulus duratiorl,all lights
were extinguished at the time the participant responded to the stimulus、Four conditions (the two lumitia;nee

diffetences and the two stimulus durations)were chosen in random otder through the task.It took 4 seconds
for one tria」 Each participant took an appropriate break after every 100 trials aad perfofmed approximately
800 trials,which resulted in approximately 200 responsesfor each condition、
Stimulus presentation and collection of responses were controlled by a laptop computer (CPU= 700MHz,
RTLinux)through an analogue multi‑function I/0 card (Contec AD12‑8PM)with a sampling time of 100 ｵs.
If the participant mistakenly pressed a button inconsistent with his/her decision,the response was exchlded

as a motor error by pressing a cancellation button by the end of the trial.The time from stimulus onset

7

Luminance discrimination and the model neural network

5

to the button pressing was defined as aa RT at each trial.RTs that exceeded 700 ms were removed fromdata analysis.An R:T distribution as a probab能tv dot3sity fuflction for eat̲h stimuius condition was caiculated

by fixed‑width histogram estimate with smoothing para neter of 2 ms (Zandt TV,2000).An error rate foreach condition represents the ratio of error responses to the total responses excluding the motor errors.An

aaswering rate is defined as the ratio of response occurrences to total trials for each condition.

2̲2 Results

Mean RT and standard deviation (SD)of RT on correct responses for each participant are presented
in Fig.2.RT distributions of three participants in the hard condition are shown in Fig̲3.As can beseen from Fig̲2 alid 3,the participants responded faster in the short condition than they did in thelong condition (**p <̲01,F = 126.1,Two̲factor ANOVA),and the SDs werealso biggerin the shortthan in the long condition (本本
p < .01,F = 29̲8)̲Tolhurst (1975)also found smaller RT variability inshorter stimulus presentation through the luminance detection tasks of sinusoidal gratings;he usednear threshold contrast.0n the other hand,suprathreshold stimulus was used for our experiment,
therefore the answering rates of mo,st et participants reached nearly 100 % in both short and long
conditions (see Fig.3).
As is seen from Fig̲4,the shorter stimulus duration brought about more error responses;the
diff;erence that depends on stimulus duration was statistically significant (*'p く̲01,F = 45.1).As

the task gets easier,the difference between the short and the long conditions of error rates would be

reduced.
In the following chapter we discuss the dependency of luminance discrimination perf;ormance on
stimalus durations,providing a simple neun l network model based on the response dynamics of visualcortex.

3 Mode通ng of lmninance discrimination
3.1 Methods

3.1.1 Visu.ai stimuii The brain should ha;ve different channels that encode specific stimulus attributes
such as intensity;it should select among these channels as sensory information which is necessary to

8

6

Akiko Iwaiz
tlmi et al

execute a task,and integrate them to decision fom ation.Tolhurst (1975)predicted the contribution ofa transient pathway encoding sudden changes of stimulus inteIlsity ruder luminance detectio通tasks

Moreover several computational models for luminance detection and discrimination tasks have been
proposed in which both transient and sustained information are crucial (e.g.Rouder,2000)̲
From electrophysiological recordings of surface‑responsive neurons in V1 during surface lumi‑
nance stimulation,the transient and sustained responses have been observed;those neurons responded

sharply at the onset and the offset of an uniform surface stimulus and show sustained activity during
stimulus presentation (Kinoshita and Komatsu,2001)̲The intensity of both transient and sustained
responses varies as a fmction of luminance when the surface hlminance is stronger than that of its

surrouild.
How did these two different response dynamics infiuencelumiIlance discriminatio11in cur reaction
time task? It seems reasonable to suppose that a transient information accompanying the stimulus
offset we・uld influence at least the short condition but not the long condition,because all participants
completed their responses within 700 ms from the onset on almost a1l trials whereas the flashes lasted
1 second mless they pressed a decision button in the long condition (see answering rate in Fig.3).
Thus transient,offset̲responses would be essential as well as onset‑responses for discrimination in the

short condition̲
Although luminance processing begins in the retilia,there is no doubt that luminance discrimi‑
nation takes place in the higher̲order cortices above V1 a.s suggested in other visual discrimination
tasks (Shadlen and Newsome,1996;Rome and Sa」inas 2003;Eagleman et a1.,2004 etc).Thus the
netlral responses to lumi11ance in Vl would indicate more valid or essentia」sensory information thatthe higher cortices use for decision formation than the responses in the retina or the lateral geniculate
nucleus (LGN).
Althoagh most responses of single surface̲responsive neurons in Vl have both transient and sus‑
tained components te a pulsed surface stimulus,(・:ompletely separated transient and sustained re‑sponses were prepared for sensory information in our model to study contributions of the respective
responses to lumiftance discrimination. The dependence of response intensity on luminance in thetransient and stlstained pathways was on the other hand,based on the data from surface‑luminance9Luminance dtscriminatiort and the model neural network

7

stimulation by Kinoshita and Komatsu (2001)̲Time courses of the transient and sustamed responses
derived from our model are depicted in Fig.5(also see Appendix)̲Interspike intervals (ISIs)with cer‑tain a;verage spike frequency that depends on luminance are noisy on every trial in idelltical stimulus
conditions;the ISis obey inhomogeneous Poisson process (Dayan and Abbott,2001;Koch and Segev,

1998).

3.1.2 Neu・rat netωerk model for luminance discrimination The model network realiz
es a typicalwiMler‑take‑all typed structure representing the cerebral cortices higher than V1,such as LIP.As
indicated in Fig.6,two groups (1 aad 2)comprising excitatory and inhibitory neurons compete eachother through mutual inhibition according to the essential neural computation for comparison anddiscrimination of stimu「l (for example,Machens et a」,2005).The excitatory neurons Ell (i = 1or 2,j= 1to 20)in each group receive sensory input through AMPA‑mediatedsynapses and excite other E
neurons through AMPA̲and NMDA̲mediated synapses.Theinterneurons Iり(i = 1or 2,j ‑̲ 1to 5)
receivingexcitatory inputsirom E neurons of thesa;megroup i weakly inhibit E neurons in the groupl and strongly those in the opposite group j (j ≠i)through GABA‑mediated synapses Neurons Y,(i= 1or 2)are mtroduced for detection of strong network activity by excitation from alt o neurons of
the group i through AMPA̲and NMDA̲mediated synapses.Patternsof sparse connections between
Ej3 neurons or Eり neurons and Iり neurons are randomized̲ Since our goal here is to provide anessentia」 and sufficient model that explains the neural computation of the luminance‑discrimination
reaction time task,detailed description of neuronal or synaptic mechaaisms and cortical connectivity
were beyond the scopeof our study.
It can beassumed that each group (1or 2)receives sensory inputs corresponding to either stronger
or weakerftash respectively because the two flashes were fu通
y separated (5.3 degrees)from each other;each stimulus would be, therefore,encoded in the different places at least in V1. Although in cur
experiments the stronger f ash appeared in the left or the right side of the FP.for simplicity,the side
for the stronger flash was fixed ‑ that is,the group l always receiv;ed the stronger flash and group 2
received the weaker flash̲

10

8

Akiko Iwa2umi et a1

3.1.3 Decision rttle In the experiments,participants were instructed to press a decision button at
the time he/she discrimiIlated the brighter flash by using the specified fmgers;the index finger to theleft and the middle finger to the right.Thus a restricted area that controls the movement of either
finger in the motor cortices would be activated when a participant started the response.In the model,
the firing of neuron Yj (see Fig.6)is assumed to correspond to the origin of motor program or motor
signa1.We defined an RT as thefirstfiring time of neuron Yj (t = 1or 2)from the stimuhls onset.Since
excitatory spike input representi:n.g the stronger flash is always presented to the group 1,a decision
is corTect whe1l neuron Yl first starts firing,then it b・ecomes an error response when neuron Y2 firststarts firing̲

3.2 Resuhs

3.2 1Reprodtictton of discrimination properties Mean and standard deviation (SD)of RT derived

from the model and the experimental data are shown in Fig̲7a.respectively;eadi value is an averageof five different patterns of the random interconnections in the model and of six participants in theexperiment,respectively̲The dependence of mean RT and response variability on stimulus duration
derived from the model is consistent with that of the experiments.In the model,the faster and theless variable responses in the short presentation are due to the transient input at the stimulus offset̲
The predicted mean RTs are.however,approximately 170 ms shorter than those of the experiment.
The reason for this would be that the model only expresses encoding and discrimination process ofstimuli but not including motor programming and signal transmission to the peripheral nerves andmuscuio̲skeletal system.I.n view of the fact that the motor preparation time was optimiz
ed to beapproximately 200 ms through neural a.ctivity in moIlkey's LIP during motion detection task (Cookand Maunse1l,2002),the discrepancy between the predicted and experimental values of mean RT
would be compensated.
Regarding error rates the model also reproduces the similar features to those of the experiment:
the number of error responses increases in the shorter presentation (Fig̲7b)̲This would be due to thefrequency difference of the stronger and the weaker synaptic iIiputsassociated with stimulus durationin each sensory pathwa;y;the bigger the frequency difference becomes the more easily the activity of11Luminance disa m ination and the model neural network

9group l that receives stronger inpat grows enough to activa,to Yl neuron,which results 111 less error

responses.In the short condition the frequency difllerence in a sustained pathwaygrowsfirst but starts
to decrease appfoximately af t50 ms due to the stimulus of通
set,while the dif erence st組grows in thelong cotldition at least about 150 ms (see thick lines in Fig̲5 a and b,and continuous lines in Fig̲8).This is one reason for error increase ill the short condition.Another reason lies in the frequency
difference in transient inputs since sufficient amount of the dif演
erence can only be found a,t limited
phase of the onset and offset of stimulus (see thin lines in Fig.5 a and b,and broken lines in Fig̲8).
In simulations,the synaptic strength of the transie11t pathways Ctra was set to 36 % of that of thesustained pathways Csus (Ctra= 0.35,Cgus=0.97).Since a weak connection causes low spike sensitivity,
the frequency difference of the stronger and the weaker inputs wotlld have only a little effect on E
neurons̲I・n the following chapter we discuss how strengths of synaptic input from the transie1lt andsustained pathways to the network affect response characterist,ics that the model predicts̲
Although the model successfully reproduced the dependence of error rates on stimuhls durations,the predicted values were rather inconsistent with experimenta1oiles especially on the hard condition̲
One possible explanation would be that the model estimates smauer frequency dif5erence of visual
responses between the stronger and weaker fiashes compared with real ones in human V1.Since thelevel of error rate level can be controlled by modulat‑mg the frequency difference iIi our model,thisdifierence between the model and the experiments is,therefore,not a critical point to be addressed
3.2.2 New a1attimties durin9 stimulus discrimination Fig.9 shows the time courses of average activ‑

ity functions among neurons E フin respective groups (for the methods,see Appendix).Both activitiesof two groups start rising at the onset,then,on correct responses (thick lines in Fig̲9),the activityof group 1(thick continuous line)sharply increases while the activity of group 2 (thick broken line)
is suppressed.0n the other hand,an opposite characteristicis seen on error responses (thin lines inFig̲9).In this case the rising rate in early period is smaller than that on correct responses which
results in fo通
ger mean RT (indicated by perpendicular lines within Fig.9).This would be due to theweaker sensory inputs to the group 2 compared with those to the group 1̲It should be noted thatsuch temporal activities have been observed in decision‑related cortices during motion discrimination(Roitman aEd Shadleli,2002;Schall and Bichot,1998;Shadlen and Newsome,1996;etc)and oddball

12

10

AkikoIwaiz
umi et a1(Murthy et a1̲,2001)tasks although the activities show a small dip immediately after the onset
in those cortices,which is not observed in our model̲As a whole,our model can predict not only
behavioral response properties but also ramped̲like activity of decision‑related cortices during visual
discrimination.

3'.2.3 The role of s1ola.integration througk.NMDA‑mediated s・yr1,apses The decaying time constantof NMDA̲mediated synapse is much longer thaa that of AMPA‑mediated synapse (see e̲g̲,Dayanand Abbott,2001): in our simulatiolis,・NMDA,d = 100 ms and rAMpA ‑ 2 mS、The Slow time Con‑
stant 通keNMDA̲type synapse enables the recurrent network to integrate firing information in longer
past period,which is impossible for the network with AMPA‑media1ted excitation alone.Wang (2002)
introduced NMDA̲mediated synapses te a biophysically realistic neural network model that repro‑
duced both neural activities in LIP aad monkey's psychometric function durmg random dot motion
discrimination tasks (ShadleI1and Newsome,2001),in which a monkey was required to maintain its
decision during a fixed delay period before the response by saccadic eye movement to the target.He
suggested that slow i11tegration would be also important for reaction time tasks like our experiments.
In cur model,if NMDA̲mediated synapses are not included,synaptic connections of AMPA‑mediatedsynapses need to be much stronger to ensure signal propagatioli.In this case howev;or,mean RT andtrial̲to̲trial variability in RT get much smaller than the experimenta」values.while precise data are
not shown in the present paper̲In addition,too strong connections of AMPA‑and NMDA‑mediatedsynapses result in too rapid excitation within a group,which also diminishes the diffeience between
mean RTsor error rates of the short and the long conditions.

3.2.4 Slynaptic parameters that modulate absolute RT We confirmed that synaptic strengths between
E neurons and Yj neuron,CY,fa t and CY,sj。w,did not affect fm damental features of discriminatio通if

they were within a proper range.For example 30 % loss of CY,fas, did not affect RT variability (SD)and error rate,but mean RTs became longer approximately by 12 ms due to the weak connection
to neuroIi Yj.Another example is that one and a half as strong as normal strength (CY,fast ‑̲ 1̲46)
led to shorter mean RT appraximateIy by 13 ms while SD and error rate were unchanged̲Further

13

Luminance discrimination aad the model neural networkllintensification of the synaptic strength,however,diminished the differences of RT and error rate
between the short and the long conditioIls̲

4 Discussion
4.1 fnf iuence of dy7tamlcs m sensory respo・nse tipon himin anee perceptionn om the psychophysical experiments and mode通ng study as we have seen,dynamics in sensory rep‑resentation in the brain influences luminance discrimi1lation̲Recently Eagleman et al.(2004)reported
an interesting phenomenon 'Tempera」 Conten Effect,TeE',in which the perceived brightness of abrief flash with identical luminance intensity was modulated as a function of the temporal coatext
between the flash and the spatially neighboring object with constant luminance̲They suggested that
the TeE would be produced by adapting and non‑adapting sensory responses seen among surface‑responsiveneurons 111V1.Although the phenomenon would support our model in termof participationof detailed dynamics of sensory response,it needs further investigation about how temporal dynamics
of sensory responses infiaence perception.Besides if other kind of stimuli of visual or other sensory
modalities cause the similar sensory responses as surfaa ‑responsive neurons of V1,we might get thesame discrimination properties dependent on stimulus durations as our experiments,
Our model suggests that the faster responses for the short stimulus duration ma;y be due totransient responses in the sensory cortices ‑ that is, the experimenta」 results are mamly based on
the response dynamics in the sensory processing stage among the whole process inchlding sensory
encoding, comparison and decision. and motor programming.This assumption would be plausible
because the participants could not switch their strategies corresponding to each stimulus durationin advance due to the random presentation of either the short or the long duration.However wecannot completely exclude the possibility of the ilivolvement of some perceptual biases.For example,
the participant might have decided that he/she would make a response as rapidly as possibie when
he/she noticed a sudden disappearance of stimulus,while the rapid response due to the perceptual
bias would be driven fundamenta通y by sensory information of the sudden disappearance.Since faster
responses would be based on rapid increase in neural activity of the decision‑related networks thus,
even without the transient inputs from the sensory cortex,the network will receive positive feedback

14

12

Akiko lwaiz
umi et althat has sim通ar feature to the transient sensory responses from other cerebral cortices in the shortcondition under perceptual biases̲

4.2 Relation of synapti c strengths bettileen tran si ent and stistained pathulatls to task performance

In simulations,as we noted in 3.2.1,the synaptic strength of traasient pathways Ctn was 36 % ofthat of sustained pathways Cns (Ctra‑0.35,Csus= 0̲97)̲Then how does the intensity differe11ce ofthe two pathways influence decision formation in thehlminance‑discrimination reaction time task?To
examine it quantitatively,we compared SD of RT and answeri!lg rate with seven d温erent proportionsof C'tn to Csus from 0.1to 0.7m the hard coIldition,keeping the total synaptic strength to be 1.32 as
used in previous simulatioIis.As Fig.10a indicates,the increase of transient strength results in lower
RT variab通
itv for the short condition whereas inverse cha acteristic is observed i11the 1ong condition.
The tow variab通tv in the short condition is due to the stronger transient inptlts,especially thosecaused by stimulus offset,and the more dispersive RT in the long condition results from considerable
weak sustained inputs.The low proportioIi of transient input strength such as 0.1produces different
discrimination tea;tures compared with the experiment,nm ely thelargerRT variability for the longer
stimulus duration.The ans,o.1ering rate derived from the model is also inconsistent with empirical value
for the too low or too high proportions of transient input strength as seen in Fig̲lOb.The drops in
the answeriIlg rate for the short coadition would be because the transient input in a part of trials
was too weak to make the network activity readi the threshold.Sim通
arty,in the long condition,theanswering rate at low proportions of sustained input strength such as 0.6 and 0.7 decrease due tothe considerable weak sustained inputs.From these considerations,it would be entirely valid to saythat the brain uses not only the sustamed information but also the transient information to process
the luminance discrimination task,although the sustained inputs are main source.The appropriate
ratio of transient input strength to sustained input strength predicted at least from the model will bewithin the range of 0.3‑0̲5.

15Luminance discrimi1,ation and the model neural network

13

4.3'Reh tion bettoeen properties of the P and M pathu ays and luminance discnf ruriati on

Many studies have attempted to determine the link between RTs and the neural mechanisms in theearly stages of visual processing (Murray and Plainis, 2003; Burr and Corsale, 2001;.Plainis andMurray,2000).From physiolog;leaf and psychological studies it is we通known that there are two mainrefine‑cortical path・ways,called the magnoce11ular (M)and parvoce通
ular (P) pathways.The M andP neurons have distinct contrast gain properties depending oIi luminance and spatial frequency ofsimlsoidal gratings(e.g̲Murray andPlainis,2003;Purpura eta1̲,1990 Purpura,Kaplan and Shapley,1988).They arealso different in the siz
e of receptive fields (RFs)̲In this study,we did not design theexperiment taking precisely account of neura」interactions between neurons each RF of which covers
distinct region of a flash, and the model has minimal network structure to demonstrate response
characteristics in the experiment̲Although it is hard to conduct a direct comparisoa between the M
and P pathwa;ys and the model of neural processing fori・uminance‑discrimination,we shall consider it

for the moment̲
It is well known that M neurons ha;ve high luminance contrast sensitivity (high contrast gain),but
saturate at fairly low contrasts,on the other hand.P neurons have low contrast gain but specializ
e inextracting colour and,high spatial frequency information (Murra;y and Plainis 2003;Purpura et al̲1990).Since the stimulus used in cur experiments was chromatic and far above detection threshold,P neurons may contribute maiIily to luminance discrimination.As many studies like those by Plainisand Murray (2000)show,M neurons almost exclusively contribute to stimulus detection under thecondition of 1ow luminanceor low contrast,it remains uncertain how the processing of suprathreshold
contrast infiuences RTs (Murray and Plainis,2003)̲
Sensory responses in the transient and sustained pathways of the model at 1ow luminance leve1
have similar gain properties to those of the P and M pathways.According to equations (1)and (6)i通Appendix,the response gain in the transient pathway at low luminance near background is relatively
high,but that in the sustained pathwayisextremely 1ow̲Therefore,for stimulus detection of such low
luminance and low contrast,the transient pathway is crucia1.As for this point the transient pathway
can be regarded as M pathway and the sustained pathway as p pathway̲ At the low luminance,
however,current response freq・uency and synaptic com ection with decision network in the transient

16

14

Akiko Iwaiz
umi et a1.

pathwa;y are too weak to e:Kcite the network a.ctivity above the decision threshold with probab通
itv
at least above chance level̲For exan,pie,we pre通minarily measured RT to smgle stimultls of 4 or 5
cd/m2 aIld obtained 100 % of answering rate,but the answering rate derived from the model dropped
markedly.Since reaction time tasks are biased toward transient activity of the stimulus (Murray
and Plainis,2003),the buildup of synaptic strength from transient pathway would be one way ofrepresenting the above biases with almost perfect answering rates.
RT vs.the reciprocal of coIitrast (l/C)functions are hi‑linear in v;arious spatial frequencies ofgratings (Murray and Plainis ,2003).They account for the RT‑contrast relationship by that at low
contrasts only M neurons having high gain and fast response are activated and as the contrast of
the stimuhls increases,P neurons are recruited̲The similar relationship a」so can be expected at low
luminance for the model,the gain of the transient response is constantly high whereas that of thesustained response increases with stimulus intensity.Since the synaptic strength of sensory input
from the transient and sustained pathways to the decision network is tuned best to the task at mean]uminanceof 9 cd/m2in the present model,it needs further discussion about how the network adjusts
luminance̲discrimination tasks at various luminance levels,which is due to dealt with in cur study inthe near future.

4.4 Eff ects of mstruction f or parh ctpants

In our experiments, participants were required to respond as rapidly and・accurately as possible.
Empirically,speed stress instructions result in faster and less accurate responses whereas acc1lracy‑
stress instructions result in the converse which is called ?speed‑accuracy trade‑off (Smith and Ratcliff
2004;Reddi and Carpenter,2000).The phenomenon can be explained computationa選
y by centre通
ing
the level of a decision threshold according to instructions;low threshold for speed instructions andhigh threshold for accuracy instructions (Reddi aIld Carpenter,2000).
Is it possible to incorporate the speed̲accuracy trade‑off in cur model? One possible neural rep‑resentation would be to modulate the synaptic strength of connections between sensory neurons anddecision network.,where the stronger connections correspond to speed stress and the weaker comec‑
tions correspond to accuracy̲stress The other would be iIltroducing a global inhibition to excitatory

17

Luminance discrimi!n tiori and the model neural network

15

neurons of group l and 2,intensity of the inhibition will control a decision‑threshold in the network
activity.The stronger inhibition causes the network to integrate visual i1lformation more slowly andsecurely,which would correspond to accuracy̲stress.This issue deserves to be studied more in detail
but is beyond the scope of the present paper.

4 5 0 ri9i n of RT lyan ability

Trial to‑trial variab通
itv of RT in cur model depends on the variability in spike sequences at which
frequency F,(t)represents temporal intensity of sensory stimulus (see Appendix)̲The moment‑to‑moment and trial‑to‑trial fiuctuation of sensory responses in MT (V5)is thought to be responsible forthevariability of RT in visua」motion discrimination tasks(Shadlen et a1.,1996).Our model,therefore,
is compatible with their argtlment.However,there should be also fhlctuation of neural a.ctivity inparietal and prefrontal cortices,which are higher than sensory cortices.Thus more empirical andtheoretical discussion will be needed to elucidate which fhlctuation in the brain is essential or howeach fluctuation influences decision and perception̲

4.6 Er roT・di stributio,n s

Our model succeeded in reprodueirlg RT distributions on correct responses and error rates for two
different stimulus durations and difficulties̲Neural network models that explain the behavioral re‑sponses of discrimination tasks are,however,desirable to also describe RT distribution in error re‑sponses (Smith and Ratcliff 2004).Our model prodtlced error distributions of both short and long
conditions as in Fig̲11;rightward shift of the error distributioIls in the short condition (Fig,Ila)isdue to the small difference of input frequency between transient and sustained pathways.However,
we could not compare the model and the experimental results because of too sma1l empirical data、
10 error responses occurred approximately in 200 responses for each condition.Thus we should haveneeded to get more responses from the participants or to manipulate difficulty of discrimination inorder to get enough error responses out of the limited trials.

18

16

Akjko Iwajm mj et al

5 Conclusions
Our network model based on the response dynamics in the primary visual cortex reproduced success‑fully behavioral responses and the dependencies on stimulus duration in the luminance‑discrimination
reaction time task.Moreover,the spike sequences of the model network closely resembled to decision‑
related cortical activities during other visual discrimination tasks.Theseresults lead to the conciusio通that our model is oneof the neurally plausible models that link neurobiology and psychology.Models
based on more detailed sensory responses would give us better understanding of decision making at
the fey;el of neural mechanism.

Appendix
Spike so9uence representing transient and n stained responses of V1
The dynamieal change of firing rate for the transient and sustained responses in surface‑responsive net,rons of

V1 (F,̲ (t) and FM j(t),i ‑ 1 or 2)were modeled computationally,then these firing rates were converted
into spike sequences for synaptic input to the decision network. A transient respoase obeyed the absolute
first̲order differential equation with second‑order decay and a sustairled tesponse obeyed the first‑order decayof a pulsed stim ulation;

(
3
(
4

df2.i(t)/dt ‑ (f1,i(t)‑ f 2.(t))/1‑tn(
2

df 1,i(t)/dt = (11tn,.(t)‑ zi(t)l ‑ f 1,i (t))/r,ra(1dz
i (t)/dt ̲ (ftn ,二(t)‑ 21(t))/・t,a) ) ) ) ) ) )1,ra、j(t) = 25{
tanh(log(Lt(t)/5))十1}(5

Ft ra,i (t ) = G ・f ?,t(t )(6lm。,j(t)= 25{
tanh(5109(Li (t)/13))十1}十17(
7

dF.u.,.(t)/dt ‑ (1su。j (t)‑ Fs‑ (t))/''su.

where L (t )represented the magnitude of luminance (L, ̲10.3cd/m2,L2 ==7.7cd/m2 for the hard condition
and L, = 10.god/m 2,Lt = 7.2cd/m2 for the easy condition),decay constants of traasient aad sastained path‑ways ,tra,1・。u. were 30.100 ms、respectively The gaMl constant G was 1l .The firing frequeItcies F? i(t )were

19

17

Luminance discriminatioa a,1d the model neura」networktransformed into spike sequences accof ding to the inhomogeneous Poisson process by 'thinning technique'with

absolute refractory period of 5 ms (Dayan and Abbot,2001).
Netira1 netti1ork mode1
For sensory input to the decisioa network,20 % of E ; neurons m.group i (t= f or 2)received two independent

excitatory synaptic inputs respectively;both inputs represented identical transient or sustained information
about stronger or weaker fiash.Every E ;neuron oonnected with other half of Ell neurons tha;t were raadomiy̲
chosen,and every Iii neuron was excited by 20 % of Ell neurons in the same group̲Eadl Ell nearon was

weakly inhibited by 20% ofI,,nearons in the same group and strongly inhibited by 20% of Ik1nearons (k? i)in the opponent group.In simulations;each group was coristituted by twenty E.j netlrons and five Iリ neu̲rons respectively Patterns of sparse connections between E̲to̲E neurons or E̲to̲I neurons were randomized.

Neurons Yl and Y2 received excitatory inputsffom a11Ejj neu,ons of group 1 or 2、respectively.

Sin 91e‑net,ron modelAll neurons were described by conductance‑based,leaky integrat? m d̲fire,single compartment model that wascharacteriz
ed by a resting potential Vr= ‑70 mV,a firing thteshold Vjh= ‑50 mV?a reset potential V.̲ ,= ‑ 70
mV;a membrane time constant ‑rm= 20 ms and a absolute refractory pefiod Tref = 2 ms.The temporal changeof membra.ne potential l,'(t)of neuron i was determined by,dVj(t)
τm dt = ‑(V;(t)‑ V )十1gyn(t)(8)

where I̲ (t)represented the total postsynaptic ctlrrent flowing into the neuron

Slf na pses

Excitatofy postsynaptic currents (EPSCs)with regard to E neuron‑to‑E neuron aad E neuroti‑to‑Y rieuron
conne(1tions havetwo componentsmediated by AMPA and NMDA receptors,respectively,although theEPSCs
for sensory inputs are mediated exch,siveiy by AMPA receptors.Theinhibitory synaptic currents aredescribedby GABA receptors.Thus the total postsynaptic c、
an ents in the network are given by
I y n E (t ) ‑I ・n (t 1 十 f u. (t ) 十 i f ..・ (t ) ・l ・ f l ow (・t )十l B j,, (t 1 十 l B j .1(i )(9 )I yn I (t) = I E (t1(10)

f ・n.Y(t) ‑ fY .f..t (tj ‑l・ f Y ..jew (t)

(11)

1

Akiko Iwaiz
umi et al

(12)

(13)
114)

5)
(1
6)
(
‑

(17)
(18)
(19)

(20)

where VEt = 0 mV, VI = ̲ 77mV, lMg2+l‑ 1mM (see Dayan and Abbott, 20011 Wa g. 2002). The C二
represents the strength of synaptic connection where e x = 1 indicates the threshold sufficie1,t foi a neuron to
fire only by single spike mediated through a certain receptor type X ,and the ntlmerical constant Ax represents
the scaling patameter to staadatdize the synaptic strength to Cx .The synaptic strengths for interconnectionsin the network were modt11ated to make the gradual bu通dup of the activity (通ke Fig.9).Fo11owing vahles
wete used for computer simulations.C,T。̲ 0.35,C'.u. = 0、97,CfMt = 0.06,Cd。w = 0.043,C'lE = 0.25,CEI,.=‑ 0.05,C ot,1= ‑0.11CY,fast = 0.0651CY,slow = 0.015,AAMpA = 446.2,ANMDA = 56.3?and AGABA ‑ ‑ 2230.1.

The time courses of gating variabies sX caused by an activation of AMPA,NMDA and GABA receptors

respectively were described as follows、
1)
(
2
2)
(
2
3)
(2

(24)

With τ
Au pA = 2 mS,'‑NMoA . ‑ 2 mS,「NMDA,d = 100 ms,01 ‑ 0.5 mS‑1, and ‑「GABA = 5 mS

2

19

Luminance discriminatio,t and the model neural network
Neur al a ctitli t11f unctton

An average activity fanction of group t was obtained by counting total spikes emitted by a1l E neurons within
the time window of past 25 ms from present time t,slid with a time step of 5 ms,and being multipf ed by 40.

Si mulatio1,tsComputer simalations were run on a Unix worksta,tion using a third order Runge‑Kt,tta method,with atime step di =0.01 ms.For a given pm meter set,discrimination properties such as RT distribtltion and error
rate tot each stimalus condition were derived from an average of five sets comprising 300 independeat trials

respectively; diff;erent random irtteroonnections within a groap were prepared for each set、An RT and adecision rest,lt (correct or errot response)of the model for each trial were obtained from the outpnt of themodel network wit hin total time steps of 550 ms.

320

Akiko Iwaiz
umi et ai

References
1. Burr DC and Corsale B (2001) Dependeacy of rea.ction tiirles to motion onset on luminance and chromatic
cofltrast.Vision Res 41:1039‑1048

2. Cook EP aad Maunsel1JHR (2002)Dynamics of neural responses in macaque MT and VIP during motion
detection.Nat Neurosci 5:985‑'S94
3. Da;van P and Abbott LF (2001) Thet,refl oat No,,rosci ence・C'omputati onai and Mathemattca1 Modeiin9 of
Net mi st,stems.The MIT Press、Cambridge,Massachusetts London,England

4. Eagleman DM,Jacobson JE and Sejnowski TJ (2004) Perceived luminance depends on tempora1oorltext .
Nature 4281854‑856
5. Kinoshita M and Komatsu H (2001) Neural representatio,,of the luminance and brightness of a uniform

surface in the macaque primary visual cortex.J Neurophysiol S6・2559‑2570
6. edited by Koch C and Segev I (1998)Methods in Neural Modeling.‑.Fir・om i ons to Nettoorks.The MIT Press
7. Maaurek ME,Roitman JD,Ditterich J and Shadlen MN (2003)A role for neural integrators in perceptual

decision making.Cereb Cortex 13:1257‑1269
8. Machens OK,Rome R Brody CD (2005)Flexible control of muttlai inhibition;a neural model of two‑interva」discrimlna;tion.Science 307:1121‑1124
9. Murray Ii and PIainis S (2003)Contrast coding and magno/parvo segregation revealed in reaction timestudies.Vision Res 43:2707‑2719

10. Murthy A et a1.(2001)Dynamic dissociation of visual selection from saccade programming in f ontal eye
field.J Neurophysiol 86:2634‑2637
11. Plainis S and Murray Ii (2000) Neurophysiological interpretation of human visual reaction times effectof contrast spatial frequency and luminance.Neuropsychologia 38:1555‑1564

12. Purpura K,Kaplan E and Shapley M (1988)Backgroand light and the contrast gain of primate P and M
retmal ganglion ce理
s.Proc Natl Acad Sci USA g5.4534‑4537

13. Pufpura K et a1.(1990)Light adaptation in the primate retina:analysis of changes in gain and dynamics
of monkey retinal ganglion cells.Vis Neurosci 4 75‑93
14. Ratcliff R (2002)A diffusion modeI a.ccount of response time and accuracy in a brightness discrimination
task:Fitting real data and failing to fit fake but plausible data.Psychon Bun Rev 9:278‑291
15. Ratdiff R and Smith PL (2004) A compalrison of sequential sa1,1piing models tot two‑choice reaction time.

Psychol Rev 111:333‑367
16. Reddi BAJ and Carpenter PHS (2000)The influence of urgency on decision time.Nat Neurosci 3:827‑830

4Luminance discrimina;tion a.nd the model neural network

21

17. Roitman JD and Shadlen MN (2002) Response of neurons in the lateral intraparietal area duriag a
combined visual discrimination reactioa time task.J Neurosci 22:9475‑9489
18. Rome R a取d Salinas E (2a03) Fltl tter discrimina1tion: Neural codes peroeption memory aad decision

making.Nat Rev Neurosci 41203‑218
19. Rouder IN (2000) Assessing the roles of change discrimination and luminance integration:evidence for a

hybrid race model of perceptual decision maklrig in luminance discriminaltion.J Exp Psychol Hum Percept
Perform 26:359‑378
20. Shadlen MN et at.(1996) A computatio nal analysis of the relationship between net,ronal and behavion l

respolises to visual motion.J Neurosci 16:1486‑1510
21. Shadlen MN and Newsome WT (l996)Motion perception;Seeing and deciding.Proc Natl Acad S'i USA
93:628‑633
22. Shadlen MN and News,erne WT (2001) Neural basis of a perceptual decision in the parieta」 cortex (atea

LiP)of the rhesus monkey.J Neurophysiol 86:1916‑1936
23. Schail JD and Bichot NP (1998) Neural correlates of visual and motor decision processes Curr Opin

Neurobiol 8.211‑217
24. Smith PL and Ratdiff (2004)Psychology aad neurobiology of simpledecisions.Trends Neurosci 27:161‑168
25̲ Toihutst DJ (1975) Reaction times in the detection of gratings by human observers:a probabilistic mech‑anism.Vision Res 15:1143‑1149
26. Usher M and McClelland JL(2001)The timecourse of perceptual choice‑the lea,ky,oompeting a.ccumulator
model.Psychol Rev 108.550‑592
27. Wang XJ (2002)Probabilistic decision making by slow reverberation in cortica」circuits.Neuron 36:955‑
968
28. Zandt TV (2000)How to fit a response time distrib,,tion.Psychon Bull Rev 7:424‑465

522

AkikoIwaiz
umi et al

a
0̲57°
t
◆̲

0.57°

b

̲

2.7°

Stimulus
Foreperiod duration

FP pre̲sentation

timeoffsetonset

Fig。1 Vistlal stimulus aad its time course.(a)Two LEDS for vistlal stimulus were spatially arranged on eitherside of the fixation point (FP).Two stimulus LEDS flashed simultaneously after variable foreperiod (rarlging
600̲ 1000 ms,800 ms on average)of the FP presentation.(b)Luminaace of stimt11us increased abruptly tocertain magnitude of L keeping the intensity level during a fixed period (short'or 'long?),and dropped tothe baseline (3cd/m2).
90
80
60
S0
40

一
s‑
n一J= o(
I
S

70
30
20

280

300

320

340

36(1

380

400

420

440

Mean RT lrns1

Fig. 2 Mean and standard devia;tion (SD)of individual RT distributions.The abscissa !epresents mean RT

and the ordinate represents SD.Data of each participant is represented by ideIttical marks.Thick arrowdenotes the hard condition with a mark at its origin representing the short condition and with a mark a.t its
tip represeating the long condition̲Right upward arrows represent mean and variance of RT are bigger on
the long condition.

6

23

Laminance discrimination and the model neural network
GA

KT

SS

Fig.3 Example of RT derlsity distributions (in the hard condition)of threeparticipaats (GA,SS and KT).
The abscissa represents time from stimulus onset and the ofdina;to represents probab出tv density of certain
RT (continuous 性
nes ter the short condition and broken lines for the lei,g condition)̲Numbers inside windows
represent answering rate (npper1the short condition,lower:the long condition).

hard
h‑

‑

‑

s

long

easy
short
Condition

Fig. 4 Errot ra;to associated with each condition.Individual data ls represented by identicaf marks.Thickarro、
w denotes the hard condition with a mark at its origin representing the short condition and with a markat its tip representing the long condition.

7

24

Akiko Iwaiz
1umi et al

0

50

10 0

15a

200

250

30 0

Time from stimulus onset lms1

Fig.5 Example of time courses of sensory input frequet,oles,F,‑ (t)and F。‑ (t) (i = f or 2),on the shortcondition a and the long condition b (thin lines for the transient input and thick lines for the sustained input).

Continuous lines are for the stfonger fiash and broken lines for the weaker fiash.The thick black line lyitig
center within each figaro indicates the period of stimulus presentation.

8

25

Ltlminance discrimination and the model neural network

Fig.6 Structure of the neurai netwotk model.Neurons Ej:f ia each group i (i ̲ 1 or 2)are intercomectedwith half of other Ell, (k ・≠3)neurons in the same group through excitatory AMPA‑ and NMDA‑mediatedsynapses A part of E:, neurons receives sensory inputs from transient aad sustained pathways,For the sakeof simplicity,we assume that neurons in group l a,1ways receive the inputs representing thestronger flash andneutons in group 2 receive the inputs representing the weaker fiash.An Eり neuron in group i sends excitatory
input to several intemeuro11s Iり in the same group.Neuron Yl is excited by all Ell neurons of the group t.

The faster firing of neuron Yj than neuron Y:l(i ≠3)represents the winning of the group i.Interneurons Iり
weakly inhibit Ell neurons of the same group and strongly inhibit Ekj (k ≠i) of the opponent grotip.

9

26

Akiko Iwaiz
umi et a1

Fig.7 (a)Mean RT (the abscissa)and SD of RT (the ordinate)obtained from the experiments and themodeI.Black marks indicate the hard condition and grey marks signify the easy condition.A mark at theorigin of a!row represents the short condition and a mark at the tip represents the long conditiot1.At bothlevel of diffi culty,an average RT predicted from the model is appraximateIy 170 ms shorter than that of theexperiments.(b )Error rate of the experiments and the model on each condition.
a

l5
5.

s
/
s
?
一
一
一
dS b

10
0
5

s
/
3一
一
一
dS

10
0

0

50

100 i50 200 250 300

Time from stimuhls oasetlms1

Fig.8 En mple of time courses of input frequency difference between the stronger aad weaker flashes for thetransient (continuous line) and the stlstamed (broken line)pathways.(a) The hard and short cofldition.(b)The hard and long condition.

10Luminance discrimination and the model neural network

/

/
/1

100

15C

l

̲

s/s
a一
一
一
(
i
S

/

/
̲

b

̲
50

一
、
一

/

/

・

s/3一
一
一
dS

20 00 80 60 40 20 0 8 80 e 40 20 0a'short and hard'

27

200

250

Time from stimuhls ollsot lms1

Fig.9 The average spike density functions of group 1 and 2 on the short and hard condition (a)and shortand easy condition (b).Continuous lines indicate average activities of the group l and dashed lines i:adicate
activities of the group 2.The thick lines staad for correct responses and thin lines for error responses。Twovertical lines represent average RT on correct a,nd e,ror responses,respectively.

a

b
十 一
一
一
十 一
一
十一
+一
一
‑
十
一
一
+
L
一
一
一
・ 1
1
・

‑‑

■‑l ‑ i

● i

Fig.10 SD (a)aad aMwering rate (b)of seven different proportions of the transient inptlt stteilgth to thesustained input strength (C,n /C.u.)in the hard condition with squaf es representing data from the model on

the short condition aad crosses representing those on the long conditioa.Dotted lines indicate experimenta」
valtles on the short condition and broken lines imdicate that on the long condition.
ab

Fig.11 RT distributions on correct (continuous lines)and error (dotted lines)in the short and hard (a)andthe long and hafd (b)conditions.

11

社國法入 電子情報通信学会

信学技報

TECHNICAL REPORIT OF iEICE

THE INSTITUTE OF ELBCTRONICS.
INFORMATION AND COMMUNICATION ENGINEERS

2刺激に微小な呈示時間差を持った輝度弁別RTタスクの弁別特性を有する神経回路モデル
岩泉亜希子t

二見 亮弘11

松木 英敏†

鈴木 陽一tit†東北大学工学研究科 〒980‑8579仙台市青葉区荒巻字青葉6‑6‑05†t 福島大学共生システム理工学類 〒960‑1296福島県福島市金谷川1t††東北大学情報科学研究科 〒980‑8577仙台市青葉区片平2‑1‑1

E‑mail:t{
akiko,matsuki,yoh}@ecei.tohoku.ac.jp,††futami@sss.fukushima‑u.ac.jp
あらまし 2副激の輝度弁別タスクにおいて, より多様な副激時間構造の輝度弁別における神経機構を探るため, 2刺激のオンセットに微小な時間差(Stimulus Onset Asynchrony,SeA) を持った輝度弁別RT タスクを行った. そして,これまでの研究から提案された2 刺激同時呈示の輝度弁別特性を説明する神経国路モデルに対して, 感覚情報の不要な蓄積を禁止する機構と2刺激の非同時性を検出する機構を追加することで, モデルが2刺激同時・非同時呈示の両方の反応を再現するだけでなく, 開上単一刺激検出タスクの実験結果も説明することを示した.
キーワード 弁別, SeA, 反応時間, フィードフォワード抑制

Model neural network for responses in two‑choiceluminance‑discrimination RT task with stimulus onset asynchrony
Akiko IWAIZUMI1 RvokoFUTAMIt† Hidetoshi MATSUKIt̲and Yoiti SUZUKI†行
1

1

1

t Graduate School of Engineering,Tohoku University Az
aaoba 6‑6‑05 Aramaki,Aoba‑ku,Sendai,
980‑8579 Japan††Faculty of Symbiotic Systems Science Fukushima University Kanetanikawa 1,Fukushima‑shi,
Fukushima 960‑1296 Japan††j Graduate School of Information Sciences,Tohoku University Katahira 2‑1‑1,Aoba‑ku,Sendai,
980‑8577 JapanE‑mail: †{akiko,matsuki,yoh}@ecei.tohoku.ac.jp,††futami@sss.fukushima‑u.ac.jp
Abstract Reaction time (RT)and error rate were influenced by small stimulus onset asynchrony (Se A)in a two‑choice luminance‑discrimination RT task.The dependence on the Se Awas successfu通y reproduced by introducing
global inhibitors to prevent unnecessary integration of sensory information, and nenron chains with feedforward
mutual inhibition as aasynchronism detector of two flashes into the previous model that Iwaiz
umi et al.proposed.

The revisedmodel notonly reproduced responses of thesetwo̲choiceluminancediscrimination tasks both with andwithout the SeA but also reproduced those of suprathreshold single‑stimulus detection tasks in a wide range ofstimulus luminance.
Key words discrimination,Se A,react,ion time,feedforward inhibition
1. はじめに
我々はこれまで, 2刺激の輝度弁別反応時間(RT) タスク
において, 被験者の反応時間やエラ一率が創激時間長によって有意に変化することを見つけた. また, 一次視覚野 (V1) で見られる輝度に対する神経活動同を模擬したtransient 応答とsustained 応答を感覚入力として受け取るパルス型Winner̲
Take‑All 型神経回路モデルにより, 実験で得られた刺激時間長に依存した反応特性を再現した111. 具体的には, 2刺激の呈示
時間長が150ms ('short 条件) の場合, ls ('long 条件) の場
合に比べて平均反応時間とそのばらつきが小さくなる一方, エラ一率は上昇した. しかし, 一般的な輝度弁別処理の神経機構を考察する上で, 一実験結果を説明する上記のモデルを提案するだけでは不十分であり. タスクにおける刺激面積や刺激時間構造などさまざまな刺激要因に対する反応特性を神経回路レべ
̲ 1‑

12

20 ms‑‑i i・l‑TD1

二i
150 ms

TD2

TD3

400

[
s
,
u一雲

ルで自然に説明する必要がある. そのためには, 上記モデルにどのような点が足りないかを検'護̲し, 必要な修正をするぺきである.
今回, 以上の背景を受け,Iwaiz
umi et a1.111が用いた2刺激同時呈示の実験環境と同じ条件で,2利激のオンセットに微小な時間差 (Stimulus Onset Asynchrony,Se A) を設け, 反応
特性を調べ, 同時呈示・非同時呈示のいずれの輝度弁別特性も説明する神経回路モデルについて検討する. そして最終的に,様々な劇激時間構造を持つ視覚刺激強度弁別を可能にする神経C
50

図1 各条件TD1,TD2.TD3 における強劃激と弱1割該の輝度の時間
変化. 黒の実線は弱刺激f 灰色の実線は強剩激を表す.なお.本
タスクではRr の基準値を強刺様のオンセットと定義する.

MM口
TT

TD1

TD2

TD3

呈示時間差f 職 に対する各被験者のエラー反応時の RT 、建軸ま平均 RTを表す. 工ラーパーは各時間差条件 l積軸左から TD1. TD2 TD3) の被験者毎のRT の標準偏差 (SD) を表す.
5040

回路構成および処理メカニズムについて, 神経回路モデルの立場から今後の生理学的・人間工学的研究の指針となるようなモデルを提案することを本研究の目的とする.

2̲ オンセット時間差を刺激要因とした2刺激輝度弁別
実験
2.1 実験条件と方法
本研究では, 輝度の異なる 2 刷;機のオンセットの時間差(se A) を劍激要因とし, 3条件を設定した̲ 具体的には, 弱刺激が強表
Ii激よりも先行するTD1条件(SOA=‑20ms). 弱利激と強索1臓が同時に呈示されるTD2条件 (Se A=0ms), 強刺激が弱剰激より も先行するTD3条件 (Se A=20ms) である.
なお, 設定したSe Aの大きさは検知閾値以下であり, 試行錯
誤的に求められた. 被験者には刺激にSe Aが含まれることは知らせずに実験を行い,l‑2 刷激のう ち明るい方をできるだけ早く正確に弁別」 するよう教示を与えた. 試行中にSe A に気づく被験者はいなかった. オンセットと異なり, オフセットは
強刺激と弱刺激で同時刻とした. 利激時間長はSe A を除いて150ms としたので. Se Aが0で無い場合, 先行する刺激は呈示時間長が180ms, 遅れて呈示される刺激は150msの呈示時間長になる. 反応時間は強刺激のオンセットを基準とした.
当該実験では, 2 刺激の輝度差は1 条件のみと した, 強期激

TD1
図4

TD2

TD3

呈示時間差素11激に対する各被験者のエラー率. 選l能tエラー率を,機軸ま左からTD1.TD2,TD3 条件を表す.

の降度は9.5cd/m2, 弱藏
線の輝度は8.5cd/m2とした. 2刺激の輝度差は, 10%程度のエラー反応が生じるよう試行錯誤により決定した.
一回の試行に要する時間は6秒である.連続90 試行で1セッ
トとし, 1セット中に1呈示時間差条件当たり 30試行が含まれる. 適度に体番、を入れながら被験者ごとに合計8セット前後行った. 以後, ある 1条件のデータは各被験者当たり合計約240試行分から得られたものである.
2.2 実験i言果

まず,全被験者の各SOA条件における正解反応およびエラー
‑‑2‑

13

反応時のRT を図2 と図3に示す. 正解反応時の平均RT に関して,SOA を要因とした1要因の分散分析を行なった所, 主効
果が認められた (F ‑ 32.4,n p < .01). 平均RT に関する違いを明確にするため, Tukey 法により多重比較を行なった141.
その結果, TD1条件とTD3条件の間, TD2条件とTD3条件の間に水準5% で有意差が見られた. また, エラー反応時の平均RT についても同様の分析を行なった所, Se A要因に関する主効果が認められた (F ̲ 7.9, 本
p く .05) . 分散分析の結果, TD1条件と TD3条件の間に有意水準5% で有意差が認められた,
エラ一率の2刺激のSe A に対する変化を図4 に示す. 弱刺激が強刺激より先行することで明らかにエラー率が上昇している. 前節と同様の分散分析を行なった所, 呈示時間差に対する主効果が認められた (F = 28.3,‑p < .01). さらに, Tukey
法により多重比較を行なった結果, 全ての呈示時間差条件間で有意水準5% 以下の有意差が見られた.
以上の結果から, 脳には2窺重激の微小なSe Aが輝度弁別処
理に影響するような機構が存在する事が強く示唆される.ただし,Se Aは検知関値以下であることから, このようなSe A依
存性がトップダウン的な修飾により引き起こされたとは考え難い.具体的な神経機構としては, 弱刺激が先行する場合 (TD1条件), 強刺激が先行する場合(TD3条件) よりエラー反応時のRT が小さくなり, かつエラー率が增加したのは, 弱剌激が先行している時間帯に脳内でレベル付けされた弱劍激の強度がTD3 条件時よりも高まることで. 刺激開始後直ちに脳内蓄積機構が関値を越える割合が增えたためと考えられる. さらに,TD1条件と TD2 条件を比較した場合, 強刺激の呈示時間長は同じであるにも関わらず, TD1条件の正解反応の平均RT がTD2条件のそれより遅れ, エラーが增えたのは, TD1条件において弱劍激情報を蓄積する腦内機構から強副激情報を蓄積す

る脳内機構の方に一時的に強い税l制が存在していると考えられる.

3. 神経回路モデル
Iwaiz
umi et ai.は, 2剰激同時呈示の輝度弁別RT タスク
における反応時間やエラー率を再現する神経国路モデルを提案した[11. このモデル(今後モデルA と定義する) は, 図5に示すように, 初期視覚経路の輝度に対するtransient 応答とsustained 応答同において強刺激か弱類要激のいずれかに対応す

る応答を感覚入力として受け取る2つの神経集団(集団1 と2)と, 集団の活動状態を比較するために2集団のうち一方のみか

ら興奮入力を受けるニューロン (Y) から成る. 各集団は, 興
書性ニューロンと抑制性介在ニューロンから構成され, 集団内の興書性ニューロンによる再帰的興奮性シナプス結合により,各集団は感覚情報を蓄積し 介在ニューロンを介した優1抑制結合により他方の集団の活動を抑制する. なお, 輝度刺激を表象する感覚入力は, Poisson 過程に従うスパイク時系列に変換し,各集団の興舊ニューロンに対する興奮性シナプス入力として各集団に与えた. モデルでは,Y = ューロンが一方よりも先に発火する場合, そのY ニューロンが結合する集団が受け取る刺激

函5 ii 度弁別i申経国路モデル (モデルA) の構成

図6 モデルB の構成に対応するものを 「より明るい」 と弁別するよう定義した.
今回, 様々な刺激条件下で自然な動作をし, かつ刺減時間構造などの刺激要因に対する反応特性を再現可能なモデルを構築するためにモデルA に必要な修正について検討した.
3.l グ口一パj開制の追加モデルA の問題点としてまず挙げられるのは, 無劍識の状
態では背景輝度 (3cd/m2) に対応するsustained 入力が平均17Hzの持続的でランダムな興奮入力として集団に与えられるが, sustained 入力の比較的強い興書性シナプス結合強度が原因で, 無刺激状態1でも400ms 程度の時問で入力を蓄積してY
ニューロンが発火する蘭値まで達してしまう割合が高い (約34%) という問題である. つまり, 剌激が呈示されていないのに勝手に2劍激の明るさの判断をしてしまうという非現実的な動作をすることになる. このようなモデルの動作の原因として.
刺激が無い時には弁別国路の段階において感覚情報の蓄積を行なわないという機構が抜け落ちているためと考えられる.
そこで,モデルA に 図6 で示されるようなグローバル榔制
ニューロン (以下G= ュ一口ンと呼ぶ) を導入する̲ 2つのG
一3‑14

フォワード抑制付の二ューロンチェーンを提案した. 興書性シ
ナプス結合をする2本の二ューロンチエーンが相互にフィードフォワード1成l制性シナプス結合を持つ構造により,2本のチエー
ンは2刷激の非同時性を検出する機能を持つ. このチェーンをモデルB に導入したものをモデルC と定義し;神経国路構造を
図7 に示す.

第2節の実験について, 提案した3モデルA, B,C 間の出力を比較する.まず図8 に各モデルが出力した正解反応における平均RT .RT の標準偏差 (SD) の特性を示す. ただし, モ

図7 モデルC の構成

ニューロンは常に平均60 spikes/s のランダムな興奮性入力を受け, それそれが各集団の全てのE ニューロンをtill制シナプス
結合 (強度はCEG) を介して抑制する. 一方, G二ユーロンは
transient 経路からの強い抑制性シナプス結合 (C,a.G) を持つので, 一日刺激がオンになると, E ニューロンはG 二ユーロンによる抑制から解放されることにより集団内の副激情報の蓄積が可能になる. sustained 経路からG 二ユーロンへの入力強度(csus G) は, 背景輝度のよう な, 持続的な弱い輝度入力時に神経集団内の発火活動が伝搬するのを抑制するために, transient
入力強度よりも大幅に小さく設定した. 今後, このようなグ
口一パル抑制ニューロンを導入したモデルを'モデルB'を呼ぶ. この修正により, 無刺激条件において誤って集団の勝者が決まってしまう割合を1.5% まで低減した.

3.2 フィードフォワード押制付き= ユ一口ンチ工一ンの追加
次に, 第2節の実験から, 検知関値以下の徽小なSe A刺激に対して反応が有意に変化したことから, 輝度弁別において集団はse A情報を何らかの形で受け取っているはずである. 実
験で, 例えばエラー反応時にTD1条件ではTD3条件と比べて被験者の反応が早くなったことから, TD1条件では一時的に弱輝度入力先行に伴う強い興舊入力があったと考えられる. モデ
ルには集団同士の側抑制結合が存在するので, 同樣の機構が正解反応時におけるTD1条件での反応時間の増大の原因と して説明できるだろう. 以上をまとめると, 2藏
要
激が同時に存在しない時だけ, その情報を集団に興奮入力として強く伝える神経機構が存在すると考えられる.
集団に対するtransient 入力はその候補となり得るが, 設定したtransient 入力シナプス強度は非常に弱く, 20ms のSe Aにより実験で得られたオーダーで集団の活動をより早く関値まで興舊させる効果は期待できない. また, transient 入力強度を強くするという方法も考えられるが, その場合, Iwaiz
umi etat.の実験から得られた反応時間やエラー率の歳線呈示時間長に対する依存性が失われてしまう.
そこで, 別の方法として, transient 入力から興奮入力を受け, いずれかの集団の興書ニューロンに興奮入力するフィード

デルの平均RT 値は運動プログラムにかかると推定される時間(200ms) を加算した値となっている.モデルC の出力は, 実
験と同様に弱割激が先行すると正解反応時のRT が大きくな
るse Aに依存した反応時間変化を示すが, モデルA と B ではTD1,TD2, TD3の3条件に大きな違いは見られなかった.
よって, モデルC に導入した2劍激の非同時性に関する情報を集団に入力する機能を持つチェーンの効果が大きいことが分
かる. 次にエラー反応における反応時間について比較する.実験では,エラー反応時の平均RIT 特性は正解反応とは全く逆になった. 図9 に示されるように, モデルA,B の出力はその変化率が実験よりも多少小さく, また, モデルC では変化率が実験値よりも大きいものの, 全てのモデルがSe A に対する反応の変化領向を再現しているのが認められる.
エラ一率の比較を図10 に示す. 2刺激の非同時性を検出す
るチ工一ンが存在しないモデルA では条件間の変化率は非常に小さいものの強劍激が先行するほどエラー率は低下するが,エラー率のばらつきが小さくなっていく傾向を全く示さなかつた.また モデルB ではエラー率にSOA依存性は見られなかった.一方,モデルCでは(変化率は大きいものの)実験と同様の
Se A依存性を明瞭に再現できた.
以上のシミュレーションから,第2節で行なった2刺激のオンセットに時間差がある輝度弁別実験に関して, 提案した3モ
デルの内,Se A を検出するフィードフォワード抑制付きチエーンを導入したモデルC のみが実験で得られた全ての劃激呈示
時間差依存性 (正解およびエラー反応時の平均RT. エラー率)を再現できることが示された.
モデルCは, 上記の2劍激弁別タスクである2実験における反応特性だけでなく, 注視点を挟んだ左右の刺激用LEDの内, 磋率的に一方のみが検知関値以上の輝度で呈示される, いわゆる単一劃激検出タスクにおける反応時間をも, 広い剰激輝
度レペルに渡って再現することに成功した. 図11に実験値と3モデルの出力を示す.
しかし, Eagleman et al.(2005)が行った, 2章
理
激に大きな呈示時間長 (長刺激:768ms,短劍激:54ms) およびオンセット
あるいはオフセットの呈示時問差を持った輝度弁別タスクl21の場合に本研究で提案したモデルは適用できない事が示唆された. 彼らの実験では同輝度でも短刺激が長劍激のオフセット時に呈示されると短刺激の方が明るく知覚されるというものだが,本研究のモデルは感覚情報を蓄積する神経集団の高い活動状態の持続を抑制する効果が弱いために, 先行する長刺激が常に明るく知覚される結果になってしまった. Eagieman et al.が用
‑ 4‑

15

キ

一

十

00

200

el e‑

250

[
(
ま 一 9'
一一
一J J〇J﹂a

一38

一90 80 70 60 50 40 30‑20

一

350

一
s
,
n
lM u
8‑

TD2

一 一 一 BC400

一 一 一 d
o od
一 一一
一口
MM
ー
ド
X

450

TD1

一 一
‑

+

500
Model A

在

一

※

TD3

TD1

Conditior1

TD2

TD3

Condition

図8 平均HT(正解反応時)と 3 モデルの出力:モデルの平均RT はエラ一率と3モデルの出力

速動処理推定時間 (200ms) を加算して表示. エラーバーはRTのSD を表す.

800
700
600

550
500
450

500

[
S
uI
]‑H ud〇:W

400
38

150

28

200
TD1

TD2

Condition

TD3

3

4 5 6 7 8 910

2030Luminance lcd/m21

図9 平均RIT (エラー反応時) と 3 モデルの出力:モデルの平均RT

國11 単一a 上割激検出実験の平均RIT と 3 モデルの出力。エラー
バーはRT の標準偏差を表す.

は連動処理推定時間 (200ms) を加算して表示. エラーバーは

RT のSD を表す.

いたようなより大きな刺激呈示時間差の輝度弁別処理においては短期記憶の関与が大きいと考えられ, その神経機構の表現はより複雜になると思われる.

4. 結

刺激時間構造に対する実験・モデルを使ったさらなる検討により, より多様な劇激時間構造の刺激強度弁別に関する脳の情報処理機構の解明が前進することが期待される.
文

設

111 lwaizumi A et at、 Cha racteristics of huma n luminance論

本研究では, より多様な刺激条件下においても実験結果と対応する自然な動作をするモデルにするためにモデルA に対する必要な修正として輝度情報の不要な害積を禁止する機構や
2東基激の非同時性検出機構の追加を提案した. グローパル抑制
ニュ一口ンとフィードフォワード抑制付二ューロンチ工一ンを導入したモデルCは, 無劍激状態や同時呈示あるいは徴小な
Se A を持った2刺激弁別タスクおよび問上単一認激検出タス
クにおけるどの実験結果をも再現することに成功した. モデル
C は, 検知関値以下のある程度小さな呈示時間差の範囲においてのみ有効であるものの. 脳の視覚翻激弁別処理機構を統一的に理解するモデルとして, モデルAやB と比べてより妥当性が高いと思われる. 今後, 本研究で提案したモデルについて生
理学的・心理実験的検証が成されることが期待される. また,discrimination aad modeling a neun l network based on
the response properties of the visual cortex. Biol C、
ybern
DOI:10 1007/sec422‑006‑0058‑8 (in printing)
l21 Eagleman DM,Jacobson JE and Sej nowski TJ (2004)Pet‑
ceived h,minance depends on tempora l context. Na ture

428:854‑856

国 Kinoshita M and Komatsu H (2001)Neural representationof the luminance and brightness of a uniform surface inthe macaque primary visual cortex .J Neurophysiol 86:2559‑

2570
l41 森敏昭.吉田寿夫編著(1990) 心理学のためのデータ解析テ

クニカルプック',北大路書房

一5 ‑

16

卒業論文

短音と長音で構成される時系列の短期記憶に関する研究

東北大学

工学部

電子工学科

坂井靖文

2005年3月24日

指導教員：

二見亮弘（東北大学大学院工学研究科）

目次

第1章 序論第2章 知見1
3

2．1

記憶システム・・・・・・・・・・・・・・・・・・・・・…

3

2．2

二重貯蔵モデルにおける短期記憶・・・・・・・・・・・・…

3

2．2．1

短期記憶と長期記憶の区分・・・・・・・・・…

4

2．2．2 短期記憶の特性・・一・・・・・・・・・・…
2．2．3 二重貯蔵モデルにおける短期記憶概念の問題点…

5
6

2．3

作動記憶・・・・・・・・・・・・・・・・・・・・・・・…

6

2．4

記憶測定の方法・・・・・・・・・・・・・・・・・・・・…

7

2．4．1

再生・・・・・・・・・・・・・・・・・・・…

7

2．4．2

再認・・・・・・・・・・・・・・・・・・・…

7

第3章 短音と長音からなる信号による再生実験
3．1

目的・・・・・・・・・・…

雫・・・・・・・・・・・…

9

3．2

実験方法・・・・・・・・・・・・・・・・・・・・・・・…

g

3．3

実験装置・・・・…

●

。9

3．4

実験・・・・・・・・・・・・・・・・・・・・・・・・・…

10

3．5
第4章

●。

●

。

3．4．1

7音から構成される信号による再生実験・・・…

11

3．4．2

多数の音から構成される信号による再生実験・…

13

3．4．3

7音から構成される信号による再生実験（複数被験者）・15

考察・・・・・・・・・・・・・・・・・・・・・・・・・…

4．1

はじめに・・・・・・・…

4．2

目的・・・・・・・・・…

4．3

実験方法・・・・・・・…

4．4

実験・・・・・・・・・…

4．

5

16

17
17
17
17
18

短音と長音からなる信号による再認実験

1

熟練被験者による再認実験・・・・・・・・・…

18

4．4．2

非熟練被験者による再認実験・・・・・・・・…

22

系列位置曲線の比較・・・・・・・・・・・・・・・・・・…

24

4．4．

第5章

9

結論

25

謝辞・・・・・・・・・・・・・・・・・…

・・・・・・・・・…

。…

27

参考文献・・・・・・・・・・・・・・・…

・・・・・・・・・・・・・…

28

1

第1章
序論
脳は多くの画期的な発見が行われる可能性を秘めている研究対象であり、21世紀に残された数少ない巨大フロンティアのひとつである。また、脳科学の進歩は、人間たる所以の根元である脳を知ることにつながり、脳を知ることは即
ち人間を理解することにつながる。また、脳科学研究の成果は、脳の老化の防止、アルツハイマー病等脳・神経系の困難な病気の克服、脳の原理を生かしたコンピュータやロボットの開発による新技術・新産業の創出につながる。このような意味で脳科学の推進を図り、脳機能の解明を行うことは、正に人類的課
題となってきている11］。また、脳における時系列パターン処理、特に音声処理の原理や機構を明らかにすることは、言語を介した人間の知的情報処理への一つのアプローチであり、非常に重要である［2］。

時系列パターンの処理（認識・発生）に関する神経回路モデルでは、相互結合型
モデルに非対称結合を持たせて状態遷移を起こす機構［3］がよく用いられる。しかし、状態遷移型モデルだけで脳における種々の時間の取り扱いをうまく説明できるわけではない。特に、聴覚系における比較的短い時間オーダーの時系
列パターンの知覚や短期記憶の機能を説明できる処理原理・機構モデルに関しては未解決の問題が残されている。また、短期記憶に限らず、脳機能研究において、聴覚の研究もあまり多くないのが現状である［4］。

ここで、モールス信号について考えてみる。国際的規約によるモールス信号は図1に示すような符号の列であるが、音声に見られるような時間伸縮の影響を受けにくい特徴は何もない。よって、モールス信号のような短音と長音のみで構成される信号を取り上げることによって聴覚系における情報処理の原理・機構について考えるとき 時間 に関するより本質的な問題に注意を集中しやすくなる可能性があると考える。また呈示する刺激の種類は短音と長音の2種類しかないため、刺激の種類は2種類なのだが、信号構成音がスロット数を上回ることにより、短期記憶機能を調べるにあたって新たな視点から探れるかも
しれない。

2

そこで、本研究ではモールス信号を元として、最も重要な要素音である短音と長音を用いた実験により、聴覚系の時系列における短期記憶に関する考察を
行う。

一一一r6

，

■

r

二：『
』

』

一

一

噛
A

一

一

一

図1．欧文モールス符号
本論文の構成は以下の通りである。

第1章は序論である。

第2章では本研究の背景となる知見を述べる。
第3章では短音と長音より構成される信号による再生実験について述べる。
第4章では短音と長音より構成される信号による再認実験について述べる。
第5章は結論である。

3

第2章
知見
2．1

記憶システム

人間の記憶はただ一つの過程からなるものではない。記憶の働きには少なくとも三つの異なる相があることがわかっている［5】。第一の相は、主としてパターン認知のメカニズムを含めて、知覚処理が適切に働く上で重要なものである。

特定の感覚器官に到達した感覚情報の詳細なイメージを（数分の一秒間）保持
しつづける記憶システムで、感覚情報貯蔵（SensoryI㎡brmationStorage：SIS）と呼ばれている。第二の相は、数秒間、場合によっては数分間情報を保持しつづける短期記憶（Short−TermMemory：STM）システムである。しかし、STMとSISは同じものでない。STMにおいて情報はすでにパターン認知機構によってコード化され、カテゴリー化されているからである。STMは必要な情報を数分間保持し続けたり、情報を体制化して、永久に貯蔵しようとする段階でもある。記憶の第3の相は、長期記憶（Long−Term Memory）システムである。ここでは、私たちの経験の記録がほぼ永久に保存される。この記憶層の容量には本来限りがないと考えられている。
2．2

二重貯蔵モデルにおける短期記憶［6】

過去の出来事や知識のデータベースをなす記憶と異なる、限られた量の情報を短期間保持しておくための記憶システムの存在は、かなり前から想定されていた（James，1890）。この直観的にうなずける記憶システムの区分を情報処理の観点から本格的に理論化したのが、二重貯蔵モデルである。その集大成である、アトキンソンとシフリン（Atkinson＆Shiffhn，1968）のモデルの機略を図2に示す。

4

リ■︑1サル

埴期貯蔵庫

感覚登録器

≡⁝⁝⁝i

選択的渉怠

スロット3

感覚晋録器
かもの忘却

＿＿＿

レによる転送

スロット何

＿

りノ︑1サ

インプット

スbツト2

リノ︑1サルパツフア1

ス回ット1

長期貯蔵庫

短期好劇睾
からの海部

図2．アトキンソンとシフリンの二重貯蔵モデルの概略（Atkinson＆Shif艶n，
1968）

このモデルによると、外界からの情報は、まず感覚登録器に入り、選択的注
意によって選び出されたものだけが、短期貯蔵庫に送られ、そこで一定期間保持される。しかし、短期貯蔵庫の容量は限られていて、新しい情報がつぎつぎと入ってくると、古い情報は押し出され忘却してしまう。そこで、情報を忘れないように頭の中で繰り返し唱えるように情報をリフレッシュさせるリハーサ
ルと呼ばれる活動が必要になる。短期貯蔵庫には、このために一定数のスロットを持つリハーサルバッファーが想定されていて、スロットの数と同じか、それ以下の量の情報を繰り返し循環させることで情報の保持が可能になるという。

この情報保持の機能に加えて、リハーサルには、情報を次の貯蔵構造である
長期貯蔵庫に転送する機能もあるとされる。短期貯蔵庫内に滞在している時間が長いほど、その情報が長期貯蔵庫に転送される確率が高いと仮定されているため、リハーサルの回数が多いほど、その情報が長期記憶として定着する可能性も高いことになる。

2．2．1

短期記憶と長期記憶の区分

被験者にある項目を提示してそれを順序かまわず再生させたとき（自由再生）、

リスト内の項目数に関わらず、最初と最後の数項目の再生率が、リストの中間

5部の再生率と比べて高くなる。これを系列位置効果（serial

position

effect）という。

二重貯蔵モデルによると、系列の最初の部分の再生率が高いという初頭効果（primacyef旧ect）が見られるのは、最初の数項目が、まだ空の短期貯蔵庫に入る

ため、必然的にリハーサルを多く受け長期記憶として定着する可能性が高いからとされる。これに対して、最後の数項目の再生率が高いという新近性効果（recencyeffbct）は、リスト提示直後、それらの項目はまだ短期貯蔵庫の中にあって、そこから直接読み出せるからとされる。実際、数字の逆唱などの妨害課題

を再生前に課し、再生を遅延させると図3に示されているように、初頭効果には変化がないが新近性効果は消失する。このように短期記憶を長期記憶とは別の散在と仮定することで、系列位置効果がうまく説明できる。

■一一一一一司直←一一一一●1項目9秒間

後。一一一一一〇30秒間の遅延ド

再生率︵％︶

60
T0

ヘ

70

く｝一＿・一一q1項目3秒間

100

新近性効果

、■

、憶軸

・黛

！

再

斬返性効果
、・

75・

生

版》》託〜 率50『
蕗 し騒

S0
R0

〕

v

20

ユ
》％弱、〜qρ

25

d「

ご

︒

1

5

15

10
系列位置

0

5

10

15

20

系列位置

図3．遅延時間と単語の呈示測度が系列位置曲線に及ぼす効果（Glanzer＆Cunitz，1966）

左の図は遅延時間の効果，右の図は呈示測度の効果を示している。

2．2．2

短期記憶の特性短期記憶の容量を見積もるにあたり、情報理論の観点からチャンクという概念を導入したのがミラー（Miller，1956）である【71。チャンクというのは何らかのまとまりを持つ情報のかたまりのことで、ミラーによれば人間が一度に保持できる情報の量はおよそ7±2チャンクに限られているという。短期貯蔵庫のリハーサルバッファーの観点から言えば、1スロットに1チャンクの情報が入るとして、約7±2個のスロットがあるということになる。

6

2．2．3

二重貯蔵モデルにおける短期記憶概念の問題点

以上述べたように、二重貯蔵モデルの理論的枠組みの中では、短期記憶は限られた数のスロットからなるリハーサルバッファーの中心的役割に象徴されているように、主に言語的情報を単調な繰り返しによって保持し、長期記憶に転送するための、単純かつ受動的なシステムとして捉えられていたと言える。しかし、二重貯蔵モデルの根本をなす、短期記憶と長期記憶の構造的区分の仮定を疑問視させるデータが数多く示された［81〜［10］。また二重貯蔵モデルの短期記憶概念における大きな問題点として、処理的観念が欠如していることが挙げられ
る。

2．3

作動記憶

二重貯蔵モデルの短期記憶の概念では、情報の処理的観念が欠如していた。
そこで、バドリーとヒッチ（Baddley＆Hitch，1974）によって短期記憶の概念を発展させた作動記憶の概念が提唱された。作動記憶の大きな特色は保持機能と処理機能の長方を兼ね備えていることにある。
作動記憶の概念を理解する上で重要なのが、処理資源（processing resources）という概念である。作動記憶（workingmemory）は短期記憶の概念を発展させたものであるが、短期記憶が情報の保持などの貯蔵記憶を重視するのに対し、作動記憶は会話、読書、計算、推理など種々の認知課題の遂行中に情報がいかに操作され変換されるといった、情報の処理機能を重視している。すなわち、記憶の中で静的なものである短期記憶に対して、作動記憶は動的な記憶であると考えられている。

A．
⑪一

象馬
蕪襲
併留
．蟹

『
1一

＿

作動記愴

リハーサル

、、

一一一、｝一一、一一
1最期記憶

図4．バドリーの作動記憶のモデルの概略図（Baddeleエ1986，1992）

7

Baddeley

andHitch（1990）の作動記憶システムのモデルは主に、下位システムの働きを管理し制御する中央実行系と、下位システムとして音韻情報の保持と処理を行う音韻ループと、視覚情報や空間情報の処理と保持を行う視空間スケッチパッドの3つから構成されているが、それらは入力された情報を操作するためのそれぞれ資源（処理資源）を有し、その資源には一定の容量限界があると考えられている。そして、その資源を利用して下位システムは情報の処理作業および保持作業を行うことができるとされている。しかし、処理および保持される情報量が下位システムの容量限界を超過する場合には中央実行系の資源もその作業に充てられ、他の下位システムの作業に支障が生じることになる。

このような干渉が起こる現象をトレードオフと言う。またこの現象は、二重課題法のような2つの課題（例えば、記憶をしながら問題を解いたり、文章を読みながら単語を記憶する）を同時に行わせた時に生じる。
2．4

記憶測定の方法【11】一般に再生は提示された刺激を正確に再現する必要があるために、虚答率はは低いが正答率も低くなるために短期記憶の容量を測る点においては不満足な実験方法である。再認は刺激を呈示後、新たに呈示される項目が刺激と同様か指摘させるために、正答率は高くなるので短期記憶の容量を測るのに適した測度であるが、当て推量で答えても一定の正答率が得られる。このように再生と再認には互いに補完するような長所と短所がある。

2．4．1再生
被験者に刺激項目を呈示して、被験者がそれを思い出して正確に再現する方法を再生（recall）と呼ぶ。再生には自由再生（f拍ereca11）・系列再生（serial

recall）・手がかり再生（cuedrecall）等の種類がある。自由再生は、被験者が想起した順に自由に再生する方法である。系列再生は刺激を呈示された順序どおりに再生する方法である。手がかり再生は刺激項目に対する手がかりを与え、それをもとに再生する方法である。

2．4．2

再認

被験者に刺激を提示した後、刺激項目と同じ項目（ターゲット：target）と異なる項目（ディストラクタ：distracter）を呈示し、ターゲットを指摘させる方法を再認という。再認はターゲットとディストラクタの中からターゲットを指摘さ8せる方法なので、当て推量で答えても一定の正答率が得られる（チャンスレベルが存在する）。

表1．再生と再認の長所と短所

短所

長所

再生 再認

虚答率が低い正答率が低い^動系の影響が除去できない
記憶の検索過程が不要

チャンスレベルが存在9第3章
短音と長音からなる信号による再生
実験
3．1

目的

二重貯蔵モデルにおいて短期記憶の容量は、数字、アルファベットなどの記
憶項目に関わらず7±2チャンクといわれる。そこで、二重貯蔵モデルにのっとり、直後記憶範囲の実験において、七つ程度の短い音（短音）と長い音（長音）からランダム構成されるパターン信号を被験者に聴取させ、信号を順序どおりに再生（系列再生）してもらうことにより、聴覚系における短期記憶機能を調べ
る。

3．2

実験方法

標準的なモールス信号に合わせて、信号を構成する各音の長さを短音：長音：

文字内空白で1：3：1の比率とする。呈示信号の速さは、短音の長さにして100m sとする。短音と長音をいくつか組み合わせた信号を被験者に聴取させ、これを1試行として1セット100試行行う。
信号を聞かせ終わった直後被験者に回答入力装置（電鍵）を使って系列再生させる。この際、誤りの傾向を調べたいので聴取し終わったらなるべく早く入力してもらうよう、指示を前もって与えておく。

3．3

実験装置

実験系は二入力の低周波発振器（1kHz）、スピーカ、直流電圧が出力可能なコンピュータ（動作環境：RTLinux）、電鍵により構成される。発振器は二つの入力に電圧が加わると発振し、入力の一つでも電圧が入力されないと発振しない機構である。スピーカから発生させる音の制御は、発振器の二入力の一つを直流電源（6V）につなげ、もう一つの入力をコンピュータにつなぎ発振器に入10カする電圧を制御することにより行う。電鍵はコンピュータにつながっており、被験者が入力した回答をファイルに格納する。

口
口

発振器

ON／OFF

図5．実験系

3．4

実験

聴取実験を行うにあたり被験者が短音と長音を区別する時間長を調べるために、6人の被験者に短音と長音・合計7音より構成された、短音の長さにして100msの速さの信号を100試行聴取・再生させ、再生した際の電鍵を押した時間を計測した。以下がそのヒストグラムである。
PuShed糊ttime

On7SOunds

90

Subject：1−

Subject：〜

一

Subject：3

60

Subject4−
Subject5一一一

70

Subject：6一

60
50

ぺ

40

フ

30

20
10
0

0

10

20

30

40

50

pushedtime［10ms】

図6．複数被験者による短音・長音の解答時間分布

60

11

図6の分布図において、大きな分布が二つあることがわかる。左の分布が短音を再生したときの分布であり、右の分布が長音を再生したときの分布であると考えられる。この分布図より、被験者は信号を電鍵で再生するとき短音と長音を明確に区別する事が可能であるといえる。

今回の再生実験では単音の長さにして100m sの速さの信号のみを扱うので、被験者の回答を短点と長点を区別する際の基準点を二つの分布の谷となっている点（18ms）とした。

3．4．1

7音から構成される信号による再生実験

はじめに一人の被験者のみで再生実験を行った。

まず7音から構成された信号を再生させ、系列位置ごとの正解率を求めた。
100
CO『Tect
standard

I

l
95汁
i

u
85 P

go

ぎヤ

ぎ

rate

deviation、〜〜〜〜〜／

ノ

ノラ

一
1

75r
l
I

﹁1一1⁝﹁﹇ぷ︼Φ逼一8﹄﹄8

801

70！

65

P

60

1

2

3

5

4
serial6order

図7．7音の正解率
正解率は前から順に低くなっていき、最後部で高くなった。

ところで、図7は回答の前から正解と照合させた結果である。次に正解の後ろから解答と照合させた。照合例は図8の通りである。

7

12

前から照合

1

2

3

4

後ろから照合

1

5

2

3

4

5

解答：短、長、短、短、長解答：

短、長、短、短、長

回答：短、長、長、短、短、長回答：

短、長、長、短、短、長

結果：○、○、×、○、x、×

結果：

×、×、○、O、○、○

図8．照合例
後ろから照合させた理由は、上の照合例のように回答を後ろから照合させると正解と同じになる回答例があり、また聴取させた信号の初めの方は正答率が高いために初めの方は短期記憶ではなく次の段階の記憶に移行していて、後ろの方は短期記憶より再生されているのではないかと考えたためである。後ろから照合させた結果が図9である。
100←〜＿＿＿一。よ、一．
＝T

go

l

ヘト
︑

95

、、

ヤ

x専一〜

プ

〜〜一〜一r／

／

ノ

ノマ

一

v

﹇ぷ︼Φ一〇﹄一〇〇﹂﹂OO

85一
！

80ド
！

75−

i

70H
Forward：con』ect
Back：cαTect

65一

Fon

601

1

vard：standard

Back：standard

2

3

5

4
serialrate
rate

deviation

一一≠←

deviation

・

一

6

order

図9．7音の正解率（前と後ろから照合）
図9より、後半部の正解率は後ろから照合させたときの方が前から照合した
ときの正解率よりも高いことがわかる。この結果より、信号の前半部と後半部とでは信号を再生している記憶箇所が異なると推測される。

7

13

3．4．2

多数の音から構成される信号による再生実験

次に、信号の構成音数が変化した場合における正解率の変化を調べるために、

6音・8音・9音から構成された信号の再生実験を行った。実験結果は以下のとおりである。
1001！

一〜一一 ﾈ＿一一＿

951
go

…

L

P

801
：

75L

鴻1

﹇ぷ﹈①一①﹂︸OO﹄﹄OO

り

85

Fon

》ard：correct

Back：correct

：1「

2

1

3

・一

rate

Forward：standard

deviation

一◇一

Back：standard

deviation

・

6

5

4

serial

rate

order

図10． 6音の正解率
100

・天 ム

マ

95

P

9・1

Forward：coπect rate
Back：coπect rate

あ

ヘナハ
−
＼

Forward：standard
Back：standard

deviation

deviation＋

一一一一一……

＼〆＋〉一＿＿一
∀

一

一．

一一一一一

圏

執

﹇器︼Φ一①﹄↑OΦ﹂﹄OO

85長

覧、詮，

一

一

、、、

80し

τ

、令
」

i

751
…
70

P

65L
「

l

60I
1

2

3

4
serial5order

図11． 8音の正解率

6

7

8

14

100
よ＿＿一強＼r

Forward：correct

95h

＼＼．．

弩〜＼．

！

了
歪

80←

リ

リ

ロ

9

deviation・

一一

」
『轟

﹂工

ぷ

85r

Back：standard

＼、

90卜
＿

rate

＿㏄朧翻曾＿1

＼＼

隔t

ド

i
ラ

6

75−

o

■＿

辱〜一

す

メマン

〜〜＿／一

﹂

T
d

70−
65一

60

1

2

3

4

5
sehal

6

7

8

order

図12．9音の正解率
6・7・8・9音の再生実験結果より、構成音数が少ない方が全体的な正解率が高いことが確認された。しかし、構成音数が異なる場合でも系列位置における前半部の正解率が後半部よりも高く、また、後ろから照合させた場合の正解率は前から照合させたときの正解率よりも高くなるという共通点も確認され
た。

9

15

3．4．3

7音から構成される信号の再生実験（複数被験者）

次に、再現性を確認するため5人の被験者に、短音と長音・合計7音より構成された、短音の長さにして100msの速さの信号の再生実験を行った。実験
結果は以下のとおりである。
100

100
Subiect1■一

＼．＼

95

＼、

90r
85

＼＼

ぺ

＼

Subject4

＼、

一．〆一長
＼

＼

、

＼

、

＿＿

6

〜

窪70
o
0

A＿

ヤヘ

／へ
ろ

逼75

……

＼＼

、

＿
＼．

Sublect1−、

Sublec仁〜

9。r㎜一

@

§麟二1

コ
；

1η1

＼−一一

△、

651

＼圏

60

／

6・1

−／

ゾ

55

！

＼

ゾ／

2

3

senal

4

5

6

7

50
1

2

3

senal

order

4

1

＼＼1
＼

55・
1

→

1ii∵ゴン湘
＼
…

65

50

1
95し

Subject5一
、』

E80
ゆ

i

Sublect2
Subl㏄t3

5

6

7

order

図13．図14．複数被験者による再生実験結果（左：前から照合，右：後ろから照合）

図12，13よりどの被験者でも系列位置における前半部の正解率が後半部よりも高くなることが確認された。また、系列位置の後半部について、わずかではあるが後ろから照合させたときの正解率が前から照合させたときの正解率よりも高いことがわかる。

以上の結果より、聴覚系における時系列上における信号の長短の弁別において、短音の時間長が同じ場合には、構成音数が異なる場合においても、後半に入ってくる信号よりも前半に入ってくる信号の方がより弁別できると考えられる。また、信号の前半部と後半部とでは、信号を再生している記憶箇所が異なると推測される。

16

3．5

考察

ここで、一般的な短期記憶研究での系列位置曲線と、今回の再生実験の培較を行う。下の図15の右図は被験者にいくつかの単語を1秒または2秒呈示して、それを被験者に自由再生させた実験結果である。単語の自由再生実験と本研究の再生実験の大きな違いは、本研究は意味のない時系列上の音を刺激に用いているのに対し、単語の再生実験は意味のある 単語 を刺激に用いている
点である。
1傾目

100

ド

F。㎜ard：ooπedrate

ム

ピ＼

951
；

国

Back：oorr㏄t
For稲rd：standard

Back：standard

1の

至85t
Φ
1

deviation・｛一「deviation一

一

《

1801

腸

再業
ム

蓉75・

欄1
傾目翻

rate

90L

『㌧

纐目
（1項目1樹1頭目

U項目舳臓目翻

ト、参陣／

ゆ

源昌
率 ｛1項目瀬目｛嘲1秒｝
ハ

％葡

2樹

70・
65！

1
1 2 3 4 5 6 7 8 g

60−

sehal

order

O

1

5

10

15

20

箆

30

鍾

40

系附置

図15．単語を呈示した場合の系列位置曲線（自由再生）と再生実験結果例
両者の系列位置曲線の共通点としては、呈示刺激項目数が多いほど系列位置
における再生率が低い点が挙げられる。これは、呈示刺激項目数の違いによる全体的な再生率の変化については、刺激項目が多くなるにつれて、1つの項目にかけるリハーサルの量が減少するので情報が短期記憶貯蔵庫から忘却されやすくなるため、結果的に全体の再生率が低くなると考えられる。
両者の相違点としては、系列位置曲線の形状が大きく異なることが挙げられる。系列位置効果に注目すると、初頭効果は音系列の再生に強く見られ、新近性効果は単語の再生に強く見られる。二重貯蔵モデルにおける系列位置効果の観点から考えると、音系列の再生時においてはリハーサルを多く受ける初めの方にインプットされる情報は再生しやすいが、言葉の再生では短期記憶貯蔵庫
から直接取り出せる最後部の情報が再生しやすいことになる。よって、意味のない時系列上の音と、意味のある言葉とでは短期記憶の運用が異なることを表していると考えられる。

17

第4章
短音と長音より構成される信号による再認実験
4．1はじめに一般に再生は提示された刺激を正確に再現する必要があるために、虚答率はは低いが正答率も低くなるために短期記憶の容量を測る点においては不満足な実験方法である。再認は刺激を呈示後、新たに呈示される項目が刺激と同様か指摘させるために、正答率は高くなるので短期記憶の容量を測るのに適した測度であるが、当て推量で答えても一定の正答率が得られる。このように再生と再認には互いに補完するような長所と短所がある。

4．2

目的

再生実験では、一概には比較できないが、意味のない音系列と意味のある言
葉とでは短期記憶の運用方法が異なることを示唆する結果が得られた。そこで、再生実験のデータを補完する実験として、また詳しい短期記憶の容量を測るために再認実験を行う。

4．3

実験方法

はじめに複数の短音と長音から構成された信号（刺激）を流す。次に刺激と同じ項目（ターゲット）か刺激と1音だけ異なる項目（ディストラクタ）をながし、同じ項目を指摘させる。ターゲットとディストラクタは1：2の比率で呈示される。これを1試行とし、50試行を1セットとして信号の各構成音につき5セット行う。

18

4．4

実験

4．4．

熟練被験者による再認実験

1

はじめに、記憶できる信号の長さに限界がある可能性があるために、100m sと50m sの二種類の信号の速さ（短音の長さ）を用いて十分再認実験になれている被験者で再認実験を行った。
4001
よ

キ

一

を一一

＿＿＿＿一一一ゑ

t＼、

90←

＼、

i

1
I

＼

｝

｝

、〈…沢一
−

！

一

一

〜

〜

丁

、愚
＼＼

零﹈①一〇﹄↑OO﹂﹄OO

80旨

1

一

＼、
一＼

！

＼

70←

二

II
l
60h
50L

100ms：correctrate

50ms：oorrect rate
100ms：standard deviation一←

2
1
40 2

50ms：standard

8

7

9

deviation一…一一

of

12

11

10

numberTsounds

図16． 信号の速さの違いによる正解率
100

100

博／一

竅A／一＼＼』イ鴉◇奔シヘ

1＼
一

P

80

ヨででハラ

り

＼、／

1

■雪ぐ

＼．、

1

＼、。ノ

ハ

喜6，・

すロヘ
／炉…＼

1

▽▽』』訓
！

ド

@
2。1

＿コ
琶13朧l

140」

1
…

7sounds
8sounds
9sounds

20！

i

10sounds…

I

10sounds

11sounds
12sounds
24681012serial

i

話
し

§40卜

0

．

＼＿一ノ烈

ぢ

奮

ズ

1

￡601
2

1

80」

i

＿

＼

order

一一■一

11sounds−〇一246

12sounds一・8
10
12

serialorder

図17． 図18．系列位置における正解率（右：50ms，左： 100ms）

19

図16の結果より、信号の速さによって正解率が変化したことがわかる。また図17，18より再生実験結果と同じく正解率が前半部の方が後半部よりも高い事が確認された。

この再認実験より確認された信号の速さの違いによる正解率の変化は、二重貯蔵モデルにおいて短期記憶の容量はスロットの数のみするという絶対容量的な考えを否定するものである。しかし、信号の速さが異なっていても、構成音数が増えると正解率が低下していることから、絶対容量的な考えが間違っているわけではない。むしろ、今回の結果は、短期記憶容量は絶対的なものと時間的なものの両者に関係している事を示唆していると考える。

次に、信号の速さによって正解率が変化したので、信号の速さを100m
から50m sまで10m sずつ変化させて再び再認実験を行った。

100s

100 P細：高
狩

go

go

＼

＼ミ＼

雪70

l
や短・

＼

つ

し

稻訓

80・

缶

釜

び

．．

避？
垂｝

糞

鼻

80

シ

す

』

5

x

ヒ

0

8601

ロ

0

i
1・・ms詞60・

100ms一一一

90ms

80ms■

50

70ms一一一一

離÷

50・

18累：専

60ms

50ms・・■

40

50ms＋1

一

40一

7

8

9

number10

ofsounds

11

12

T刻

70・

7

8

9

10

11

numberofsounds

図19．20．信号の速さの違いによる正解率（右図：標準偏差）

12

20

7sounds−……■■■

図21から図26は信号の速さ別の系列位置における正解率

8sounds

9sounds−
11sounds−

であり、グラフの色の違いは構成音の違いであり、凡例は右の10sou幡一

とおりである。

12soりnds一

100

ぺ

、、＞◇／

＼

＼、

80
邑

60

＼』ノ／ゾ

薯㈹

茗

響

ピ

2

＼．

8

§40−

20

20

0
serial

2

4

叉＼＼畝
＼
へ＼ ／

80

・／

一＼

＼

80

ペ

▽

8

訓14・

2

4

6

謝al

8

＼、

＼

O耐er

2

100卜

＼
．吟・

！
、／
80

8・

＼、、

誤

＿

匹

2

60

、

8

、／

き40
0

＼ソ／

＼跨

ペ

＼

＼
X／

！

1

4

6

蜘al

Oπ」er

8

／d

謹
も

ど、一

@

0

1☆▽

1〉

＼▽／／ノ＼／

ノ

ド

1糾

〉

2

se

al

4

order

図25．90ms

12

／

V
ヤ

2。1

20

10

P ノ『1

蕃・・1＼／

／や＜＼

ろ／

＼
＼＿

図24．80ms

￥

ト

＼

v

図23．70ms
100

＼

、1

0

12

10

ヨき

、一一
1
／

、

0

＼＼

．

20

20

／一

11
！

＼
＼

60

§4。

O融

＼

ざ

2

100

＼》◇△1・・

雰
＿

一

き

12

曝

ヤ

10

8

図22．60ms

図21．50ms
100

6

謝al

order

6
ser白l

図26．

8
order

100ms

10

12

21

100msから50msまで10msごとに再認実験を行ったのだが、先程とは異なり信号の速さの違いによる正解率の変化は見られなかった。むしろ図20の標準偏差が異なる速さの信号でも重なる結果となったことにより、全ての正解率がある曲線に収束するのではないか。これは再認実験を長期にわたって行ったために、被験者が記憶可能な範囲が増大したために、遅い信号（100m s等）の正解率が全体的に上昇し、その結果速い信号の正解率に近づいたためと考えられる【121。

また、系列位置曲線における正解率については、系列位置曲線が信号の速さの違いと関係なく、再生実験と同様の形状となったことより、再生実験のデー
タが補完されるものと考える。

22

4．4．2

非熟練被験者者による再認実験

次に、再現性の確認と長期訓練による記憶範囲の増大、再認実験になれていな

い非熟練者によって短音の長さにして100msと50msの信号の再認実験
を行った。
100

ず

90r

colTed rate：100ms一一
correct rate：50ms
standard deviation：100ms一ザ

こ

◇一〜一
丁

deviation：50ms一一『一一τ
一〜一＿．一ド

standard

ヌ

80L器︼Φ一①﹂一〇Φ﹂﹄OO

蘇

；

70一

蘇＼

！
！

＼ 、＼＼

一

60じ

丼．｝

50r
I

！
1
！

40

8

7

9
number

of

12

11

10
sounds

図27．信号の速さの違いによる正解率（被験者B）ラ》8衡．．1

1007…
で＼、＼量
、■

ト、／／

、＼

・

2

」

8

す

話

ぢ

〆

辞

雀

令

／

「

︑

、、図

竃60！

＼

I
I

̲＼

＼ゼ

80ドー，

！

＼

…

・曽》込

＼1

ノ◇／◇＼

8

1

1

5

40」

0

40L

・／・

20一

201
1

0

0
2

4

6

se−al

8

order

10

12

2

4

6

8

10

se舶10π」er

図28．図29．系列位置における正解率（左：50ms，右：100ms）

12

23

100
・募＿
・意

〜

9。！

oorrect rate：100ms
oorrect rate：50ms

・翻謡翻淫1朧一到

＼

寧

塁80 u

■半一

@

＼

＼
＼

一

＼、二

ぐこk

￡

＼＼
＼

＼＼ 車＿．

70

ぢ

廻

2

お

＼、

0

ｳ

60r
50

40
8

7

9

number

﹄一△

100

C

｝

茶}

！

／ ハヘ
・へ＼

8。旨一＼☆ ＼ん一／
⁝区

﹃

︑︐／

一

／

︑

＼

︑

＼︑︐一丈一・卜！

／∠翼一2巴一8ヒ8㌧@
菊誤︼2謹ち︒ヒ8

60
U0

浦﹁

￥＼

￨一〆

＼救＼

W0

ofsounds

図30．信号の速さの違いによる正解率（被験者C）

瑳隈

隠︒

4 oo

12

11

10

20

／熊

ノ

楽風／＼△、

6㌧

「

401

！

1
1
20レ

0

0
2

4

6
serial

8

10

12

order

24681012
se曲l

o「de「

図31．図32．系列位置における正解率（左：50ms，右：100ms）
2人の被験者について、信号の速さの違いによる正解率の変化が見られた。
系列位置曲線についても、正解率は前半部のほうが後半部よりも高かった。よって再現性が確認されたと考える。

また、系列位置曲線においても熟練被験者と同様の形状となったことにより、再生実験のデータが補完されるものと考える。

24

4．5

系列位置曲線の比較

100
き一メ・、
95h

F・rward：o・rect「ate

100＼』

お
ニ ロ ぽド に『〜Fo酬ard：standarddeviati・n・

Back：standard

r−『

80・

90・

ヤ

＼マ

覧！

ミ＼
Oト一〇一瓢﹄一〇 〇 ﹂ ﹂ O O

85・

■＼

＼）

deviation−

博

§
一60一
9

801

＼

ノー＼圏

＼
．

／

1

「

オy／

／

ぐ
、

翌

5

i

の
搾・一一一・

75−

＝

÷一

＝）

40・

i

つ

7sounds一一一1
70一8soundS
9sounds一■一

20・

651

10sounds−

2468101二123456789
serialserial

order

10項目

15項目

order

40項l

30項「；

（1項目1秒）（1項目2秒）（1項巨2秒）

100

1
1
I

11sounds…・一 1
12sounds 一一一i

0

60

i
4

I

〔1川目1秒）

80

@
20項目

（1項目

40

再生率︹％

60

20項目

（1項目1秒）

2秒）

20

0

0

5

10

15

20

25

30

35

40

系列位置

図33．系列位置曲線の比較
再生実験結果と再認実験結果を比較してみると、共に系列位置の前半部の正解率が高く後半部が低いという同じ形状の系列位置曲線である。よって、再生と再認の実験手法の違いによる実験結果の違いは見られない。ゆえに、今回の再生・再認実験から、時系列上の音系列は意味のある言葉とは異なり、初頭効
果が新近性効果よりも強く見られることが確認された。

ここで、改めて単語を自由再生させた場合の系列位置曲線と今回の再生・再認実験を比較してみると、系列位置曲線の形状の違いは明確である。よって、
言葉と時系列とでの記憶の運用方法の違いが明確に言えるのではないか。

25

第5章
結論
再生・再認実験による系列位置による正解率は、前半部が高く後半になるにつれ低くなっていき、最後部でまた高くなった。両実験により得られた系列位
置曲線と一般的な系列位置効果を表す系列位置曲線との比較により、時系列上の音系列における短期記憶は言葉や絵などの意味を持つ短期記憶とはその運用方法が大きく異なる事が裏付けられたと考える。
熟練被験者の初期データと非熟練被験者の再認実験結果より、信号が速さで正解率が変化したことは、時系列上の音系列における短期記憶容量が絶対量だ
けでなく時間も関係していることを示唆するものと考える。また、熟練被験者の実験後期データだと、信号時間の違いによる正解率の差は多少あるものの、実験初期のような大きな差はなかった。これは長期訓練により数字記憶範囲の増大した可能性が考えられる。

本研究結果より、私は、少なくとも時系列上の音系列における短期記憶では、二重貯蔵モデルで想定されているスロットはなく、作動記憶における処理資源の容量が限られていて、インプットされた情報の処理レベルが高いほど多くの処理資源（メモリ）を必要とするものと考える。（例えば本研究の再認実験だと、1つの刺激項目（音）に対し50msの場合は少しのメモリ、100msの場合は多くのメモリを要すると想定する。）そして、短期記憶内で情報を処理している

とき、使用していないメモリが多いと、その分を処理にまわせるので処理速度が速くなると考えられる。また、熟練被験者の実験後期データより、信号の速さの違いによる正解率の差が見られなくなったことより、訓練を行うことにより、CPUのクロック周波数のようなものが速くなり（神経回路の信号伝達速度が上がる？）、多くのメモリを要するタスクでも時間的に速く処理できると考える。この考えだと、本研究の構成音数が多いほど正解率が低くなることと、信号の速さの違いによる正解率の変化が説明できるのではないか。
今後の課題として、再認実験の試行回数をさらに重ねることにより、系列位
置における信号の速さの違いによる特徴が見られると思う。被験者数が少ない
ので、多くの被験者で試行を重ね、再現性を確認する必要がある。また、熟練
被験者の再認実験において、異なる速さの信号でも正解率がある曲線に収束し

26ているように見えることから、多くのデータを積み重ねることにより時系列上における短期記憶容量のスロット数と時間の関係をモデル化できるのではないか。また、もしモデル化できたら、現在のコンピュータの音声認識における処理機構よりも、さらに効率のよい音声処理機構が構築可能ではないか。

27

謝辞
も
卒業研究を進めるにあたり、本研究の機会を与えてくださった東北大学大学
院工学研究科電子工学専攻 内田 龍雄 教授に心より御礼申し上げます。

本研究の全般に渡り、適切な御意見・御助言を頂きました東北大学大学院工学研究科電子工学専攻 二見 亮弘 助教授に心より感謝いたします。
本研究を進めるにあたり、貴重な御助言を頂きました東北大学大学院工学研
究科電子工学専攻 加納 慎一郎 助手に厚く御礼申し上げます。
本研究のプログラム作成にあたり、快く協力していただいた本研究室の岩泉亜希子氏に心より感謝いたします。岩泉氏のご協力がなければプログラムを組
むのに多大な時間を労したでしょう。本当にありがとうございます。
本研究において、精神的負担の大きい実験の被験者を快く受けてもらいまし
た、本研究室の鈴木 信太郎氏，杉山 貴也氏，伊藤 選氏、東北大学大学院
技術社会システム専攻の須田 洋行氏，牧野研究室の梶浦 泰智氏に心より御礼申し上げます。本研究は被験者の方のご協力がなければ成り立ちませんでした。被験者の方々には感謝の気持ちでいっぱいです。特に伊藤 選氏につきましては多くの実験に協力していただき本当にありがとうございます。

最後に内田・二見研の皆様のおかげで、1年間楽しく有意義な研究室生活が送れました。皆様、本当にありがとうございました。

28

参考文献
［11

科学技術振興事業団：

報告

脳機能の解明・戦略目標

htt：〃wwwjst．om1

平成13年度研究年報［31

二見亮弘，星宮望：

［41

河原英紀：

，日本音響学会

時間情報処理のモデル，

ouO3．htst．o−傭soken／crestlintro！

toPsychology2n（1Edition

Atkinson，R．C．＆Sh置rin，R．M．：

Advancesinresearch

M皿e蔦GA．：

capacity

for

The

an（l

magicalprocessing

Learning

and

丘℃e

recan

，Cognitive［101Crowbe蔦R．G
21，142−145（1993）

psychology

oflearningminus

seven，plusor，PsychologicalTree

recencyef旧ects

Recency−sensitibe

memory：WherePr㏄essingAn

andtwo：Some

motivation

hmits

on

our

Review63，81・97．（1956）

Behavior22，375−384

Phychology6，173−189

中間評価結Press（1977）

numberVbrbalShort・term

lnfbrmation

Press（1968）

i㎡brmation

Bjork，RA．＆Whitten，WIB．：

Human

theoryVb1．2．Academic

Watkins，M．」．＆Peynircioglu，Z．E：

ofVbrbal，科学技術振興事業団

iou．htm1（1998），Aca（lemicThe（1989）

電気通信学会

平成9年度採択研究課題・脳を創る

PeteLH．Lin（isay＆Dona1（1．A．Norman：

lntroduction［91

聴覚研究会資料H・90−23

聴覚の情景分析に基づく音声・音響処理システム

果htt二〃www［8】

ou／mokuh

聴覚系の時系列パターン識別機能について一可変スピードのモー

戦略的創造研究推進事業CREST［7】

ort／heisei13！htmレmokuh（2002）

ルス符号列を用いた聴取実験一

［6］

研究実施

，

／kisoken／crestlre［2］二見亮弘，星宮望：［5］

戦略的基礎研究推進事業

atthesametime，Joumal（1983）

retrievalprocessesinlong−term（1974）

dowestand？

，Memory＆Cognition

29［111高野陽太郎

編：

認知心理学2：記憶［12］Chase，WIG．＆Ericsson，KA．：

AcademicPress（1982）

The，東京大学出版会

psychology

oflearning（2003）

andmotivation，Vbl．16，