『経営学論集』第 巻第 号， ‐ 頁，
年 月
KYUSHU SANGYO UNIVERSITY, KEIEIGAKU RONSHU（BUSINESS REVIEW） Vol.

〔論，No.

， ‐ ，説〕

高い時間精度での視聴覚刺激の呈示と反応データの取得のために必要なハードウェアとソフトウェア
菅野

禎

［要旨］

盛

本論文では，視聴覚刺激の呈示とユーザの反応データの取得に高い時間的な精度が要求される実験システムを構築する際に留意すべき事がらについてソフトウェアとハードウェアの両面から解説する。現在の PC は非常に高速な処理が可能であるが，ミリ秒の時間精度でデータを取得することは実は非常に難しい。本論文では比較的入手しやすいソフトウェアと入出力デバイスを紹介しつつ，高い時間精度で視聴覚刺激を PC で呈示し，ユーザの反応データを取得するためのポイントについて解説する。

．はじめに人を対象とした知覚実験や行動実験では信号の呈示や反応の取得にミリ秒の時間分解能が必要と言われる ）。しかし意外と知られていないことは，現在のパーソナルコンピュータ（PC）を使ってミリ秒の時間精度で音や画像を呈示しユーザからの反応データを取得することは，実は非常に難しい，ということである。その主な理由は，PC を動かす基本ソフトウェア（OS）が複数の処理を同時並行的に実行するマルチタスク方式で動作しており，個々の処理の実行タイミングがユーザではなく OS により管理されているためである。このため，マルチタスク OS
では実験者が望んだタイミングで特定の処理が実行されることは保証されない ），）。では，ごく普通の PC を利用して高精度のタイミング管理をするためには，どのようなソフトウェアとハードウェアを用意しなければならないのであろうか。

．必要なソフトウェアソフトウェアに関して考えなければならないのは，どのような OS を使うかということと，どのようなアプリケーションソフトウェアを使うか，ということである。OS については大き菅野禎盛

く分けると，シングルタスク OS を利用するケースと，現在の主流であるマルチタスク OS を利用するケースがある。シングルタスク OS（代表的なものは MS-DOS）は一度に一つの処理しか実行できないため，処理能力の面ではマルチタスク OS に大きく劣るが，逆にタイミングについてはユーザが作成した制御プログラム，つまり実験者による正確な制御が可能である。
しかし，マルチタスク OS（例えば，Windows）で動作するソフトウェアは，シングルタスクOS に対する下位互換性を持たないことがほとんどである。そのためシングルタスク OS を使う道を選択すると，実験制御やデータ分析のために普段から使用している様々なアプリケーションソフトウェアが使えなくなってしまうという大きなデメリットがある。さらに，シング
ルタスク OS を選択するとほとんどの場合，実験者が C 言語などで独自に実験制御プログラムを作成しなければならない ）。
一方，現在の主流であるマルチタスク OS を利用する場合は，リアルタイム処理可能な特殊な OS を使用する方法 ）と，ごく一般的な Windows，MacOS，GNU/Linux などの非リアルタ
イム OS 上で，ミリ秒の時間精度での制御を可能にする専用のアプリケーションソフトウェアを使って実験を制御する方法がある ）。高い時間精度でのユーザの反応データの取得，文字，図形，動画の画面への呈示，そして音の入出力を行なうための専用のアプリケーションソフト
ウェアとしては，E-Prime ）をはじめとして様々なものが出回っている ），）。
図は E-Prime を起動し，音を繰り返し出力する簡単なプログラムを書いている画面の例である。E-Prime では要素（部品）を視覚的に配置することでプログラムを簡単に作成することができる。その利点は，予め文字や画像，音を呈示するための豊富なサブルーチンが用意されており，GUI で直感的にプログラミング可能なこと，また多くの研究で使用されている実績があり，研究者間でのプログラムの共有もしやすいこと，などが挙げられる。ただし，細かい制御をする場合には，実験者が E-Basic という言語による制御スクリプトを書く必要があることが多い。また，実際にミリ秒の時間精度を保つためには実験プログラムに対する様々な外部からの干渉を極力小さくするように気をつける必要がある。具体的には，実験を制御する PCをネットワークに接続せずスタンドアローンで実行させること，プリントサービスやネットワークサービスなど，実験の実施に必ずしも必要ないサービスはできるだけ停止させておくこと，などである ）。

高い時間精度での視聴覚刺激の呈示と反応データの取得のために必要なハードウェアとソフトウェア

図実験プログラム作成ソフトウェア E-Prime の起動画面例

E-Prime の欠点は，Windows 版のみである点と，商用ソフトウェアであり非常に高価であるという点である。動作プラットフォームが Windows に限定されないこと，安価であること，という欠点を解消するためには，OpenSesami ）や PsychoPy ）といった無償のオープンソースソフトウェアで実験システムを構築するという選択肢がある。さらにこれらを組み合わせる方法も提案されている。例えば，Psychophysics Toolbox，GNU/Octave，GNU/Linux（例えばUbuntu など）を組み合わせる方法 ），タッピング実験用に開発された FTAP というソフトウェ
アを GNU/Linux 上で動かす方法 ）などである。

．必要なハードウェアハードウェアに関しては，PC 本体と入出力デバイスの時間精度を考慮しなければならない。
PC 本体の時間精度については，実験制御プログラムがプロセッサ上の高精度の水晶クロックを正確に読み出せるかどうかがポイントとなる。クロックの読み出しエラーが生じるのは，OSが他の処理を実行させるために実験制御プログラムの処理を一時的にブロックしてしまうときである。これは一般的なマルチタスク OS を使用する場合に避けられない問題となる。しかし

菅野禎盛

重要なのは，そのようなエラーが実用上無視できるほど少ない頻度に抑えられているかどうかということである。E-Prime ではこの精度を測定するための専用の測定プログラムが用意されている ）。
入出力デバイスの時間精度についてはどうであろうか。マウスやキーボード，そしてディスプレイやオーディオ出力といった入出力デバイスに関しては，データ処理の遅延時間とそのばらつきがどの程度か，ということを考慮しなければならない。これは製品により大きな違いがあり，使用するデバイスドライバーによっても大きく変わってくる ），）， ）。例えば，ごく普通のキーボードの場合でもキー入力にあたって 〜 ms もの一定でない遅延が発生する ）。この問題は主として，デバイスのポーリングレート（データ更新間隔）が低いことと，OS がデバイスからの処理要求を予測不可能なタイミングで実行することから生じている。本来はミリ秒の精度による入力が可能な専用デバイスを用いるのが望ましいが ），）， ），高価であったり，入手困難であったり，あるいは自作する必要がある場合が少なくない。そこで，ポーリングレートの高いゲーム用途のマウスとキーボードを用いる方法が手軽でよいと思われる。

．．マウスとキーボード
一般的なマウスのポーリングレートはHz であり， ms の間隔でクリックの有無を）チェックしている 。これは，クリックが PC に検出されるまでに最大でこの時間間隔，平均するとその半分のランダムな遅延が生じるということを意味している。これがゲーム用マウスになると，Hz からHz，つまりms からms となる ）， ）。このほかに，マウスおよびPC 本体のクリック検出のための電子回路やデバイスドライバーソフトなどに由来する遅延が加わり，最終的な遅延はゲーム用マウスでms 程度，一般的なマウスで ms にもなること）がある 。
一方，一般的なキーボードのポーリングレートは 〜Hz であり，およそ〜 ms の間隔でデータの更新をチェックしている ）， ）。マウスの場合と同様，これはキー入力が PC に検出されるまでに最大でこの時間間隔，平均するとその半分のランダムな遅延が生じるということを意味している。一方でゲーム用キーボードのポーリングレートは一般的なキーボードと比較してはるかに高く〜Hz 程度，つまり〜ms の間隔でキー入力を検出することが可能である ）。

．．ゲーム用入力デバイス
ゲーム用デバイスは処理の遅延時間が短く高い時間精度をもつ機器が多く，マウスやキー高い時間精度での視聴覚刺激の呈示と反応データの取得のために必要なハードウェアとソフトウェアボードでは検出できないデータ（例えば加速度データ）を測定できるものもある。例えば，任天堂が発売しているゲーム機の Wii をタッピングの検出に使用した研究がある ）。しかし，タッピング時刻の正確な検出という点では少々難があるようだ。また，この研究はデバイスの時間精度をきちんと測定したかどうかの記載が無い点も問題である。

．．サウンドボード
音を PC から出力する場合に問題となるのはプログラムが音出力を指示してから実際に音が出力されるまでの遅延時間（レイテンシ）である。このレイテンシはハードウェアとソフトウェアの組み合わせによって大きく変わってくることが知られている ）。一般的に，ゲーム用のサウンドボードは遅延時間が短いので実験に向いていると言えるが，ハードウェアとソフトウェアの組み合わせによって同じサウンドボードでも性能が大きく変化するので十分に注意する必要がある。

．．ディスプレイとグラフィックボード
画像をディスプレイ装置に呈示する場合に最も問題となるのはディスプレイの画面書き換えの頻度（リフレッシュレート）である。注意すべきは，リフレッシュレート以上の精度での視覚刺激の呈示タイミングを制御することはできないということである。例えばディスプレイによってはHz 程度まで画面の描画リフレッシュレートを上げることができるものがあるが，これでも ミリ秒より短い時間の制御はできない。
ところで，ディスプレイ装置のタイプによって画面描画の時間精度に違いが出るであろうか。
これまでは，ブラウン管型モニター（CRT）と液晶型モニター（LCD）を比較した場合，応答速度の面から CRT を用いることが望ましいとされてきた ）。しかし最近の研究からは，LCDも CRT と遜色ない時間精度を持つことが示されている ）， ）。近年は CRT を入手することが非常に困難であることを考えると，今後は LCD の使用も検討すべきと思われる。
なおグラフィックボードについては，静止視覚刺激を呈示するだけであれば標準的なもの，例えばマザーボードに組み込まれているもの（オンボードグラフィックス）で十分であると思われる ），）。しかし

D 動画などの複雑な映像を使う実験の場合はゲーム用の高性能なグラフィックボードを使用した方が無難であろう。

．．MIDI デバイス
MIDI デバイスによる入力（例えば MIDI キーボード）については，MS-DOS のようなシン菅野禎盛

グルタスク OS を使うか ），マルチタスク OS を使う場合はプログラムの実行優先度を高くしたり遅延時間の短い MIDI デバイスとドライバソフトを使用したりするなど細部にわたりチューニングすることによりミリ秒の時間精度を実現することが可能である ）。しかし逆に，このようなチューニングを施さないシステムの時間精度は必ずしも保証されない。MIDI デバ
イスを用いた出力（例えば外部ハードウェア音源）を使用する場合も同様のチューニングが必要である ）。

．オシロスコープによるタイミングの測定例
ソフトウェアとハードウェアが準備できたら次にすべきことはそれらを使って，実験に要求されている時間精度を実現できているかをマルチチャンネルオシロスコープによって実際に測定することである。図は PC に接続して使用するタイプのマルチチャンネルオシロスコープである。視覚刺激の検出はフォトトランジスタを使った光センサによって，聴覚刺激の検出はPC のオーディオ出力によって，そしてユーザの反応の検出はマウスクリックによって，それぞれ測定する。ここで，マウスクリックのタイミングを測定する方法はいくつかあるが，本論文ではクリック音をマイクで拾うことによりマウスクリックのタイミングを測定するやり方を紹介する。他にはマウスのボタン部分に簡単なスイッチをとりつける方法も提案されている ）。

図PC に接続して使用するタイプのマルチチャンネルオシロスコープの例（Pico Technology 社製 PicoScope 2203）

高い時間精度での視聴覚刺激の呈示と反応データの取得のために必要なハードウェアとソフトウェア

図マルチチャンネルオシロスコープで機器の時間精度を測定する際の接続例

測定に必要なものは，マルチチャンネルオシロスコープ，フォトトランジスタを使った光センサー，マイクロフォン，パラレルポートを備えた PC，測定用プログラム（E-Prime 等）である。図はチャンネルオシロスコープを使った場合の機器の接続例である。オシロスコー

プの一つの入力には PC のパラレルポート出力（これが基準時刻となる）を接続し，もう一つの入力には，光検出器，PC のオーディオ出力，マウスクリック音検出用マイクロフォンのいずれかを接続する。
測定用プログラムはマウスクリックを検出すると即座にパラレルポートに信号を出力し，同時にオーディオ出力端子を介して音を出力するか，もしくは画面に図形を表示する。このようなシステムで複数回の測定を行い，遅延時間の平均値と標準偏差を確認する。特に遅延時間の標準偏差が実験に要求される精度を満たしているかを確認することが重要である。
音出力の遅延時間を測定した結果の一例を図に示す。使用した PC は Dell Precision T

で OS は Windows である。サウンドボードはオンボードのものを用いた。パラレルポート
出力に要する時間はほぼミリ秒とみなせるため ），オーディオ出力とパラレルポート出力の検出時刻の差が音出力の遅延時間となる。図の測定例では，音の出力に約 ミリ秒もの遅延が生じていることが分かる。しかしながら，遅延の標準偏差は 回の測定で ．ミリ秒と非常に安定しており，実験に要求されるミリ秒の精度を十分に満たしていた。

菅野禎盛

図

音出力の遅延時間の測定結果例．まとめ
現在の PC は非常に性能が高いが，高精度の刺激制御やデータ取得は実は非常に難しい。本
論文ではソフトウェアとハードウェアの両面から留意すべき点を挙げ，システムの時間精度を測定により確認する方法について具体例を挙げて説明した。処理速度が速い最新のパーソナルコンピューターといえども必ずしもタイミングの測定が正確には行われないことに十分注意する必要がある。

引用文献（ ）W. Schneider, A. Eschman and A. Zuccolotto:. Psychology Software Incorporated,(2002).
（ ）H. Shimizu: Measuring keyboard response delays by comparing keyboard and joystick inputs.
. 34, 250-256 (2002).
（ ）P. Garaizar, M. a Vadillo, D. López-de-Ipiña and H. Matute: Measuring software timing errors in thepresentation of visual stimuli in cognitive neuroscience experiments.

9, e 85108 (2014).

（ ）Y. Miyake, Y. Onishi and E. Pöppel: Two types of anticipation in synchronization tapping.
. 64, 415-426 (2004).
（ ）Y. Sugano, M. Keetels and J. Vroomen: The build-up and transfer of sensorimotor temporal recalibration
measured via a synchronization task.

. 3, (2012).

（ ）R. Canto, I. Bufalari and A. DʼAusilio: A convenient and accurate parallel Input/Output USB device for E-高い時間精度での視聴覚刺激の呈示と反応データの取得のために必要なハードウェアとソフトウェア
Prime.

43, 292-296 (2011).

（ ）S. Mathôt, D. Schreij and J. Theeuwes: OpenSesame: an open-source, graphical experiment builder for thesocial sciences.

44, 314-324 (2012).

（ ）J. W. Peirce: PsychoPy-Psychophysics software in Python.

162, 8-13 (2007).

（ ）小林晃洋，大久保街亜：Ubuntu, Octave, Psychtoolbox によるフリーウェア実験環境の構築．専修大学社
会知性開発研究センター／心理科学研究センター年報：融合的心理科学の創成；心の連続性を探る ，（（-）．

）S. A. Finney: FTAP: a Linux-based program for tapping and music experiments.

,Instruments, Comput. 33, 65-72 (2001).
（）X. Li, Z. Liang, M. Kleiner and Z.-L. Lu: RTbox: a device for highly accurate response time measurements.
42, 212-225 (2010).

（）M. Y. Khitrov, S. Laxminarayan, D. Thorsley, S. Ramakrishnan, S. Rajaraman, N. J. Wesensten and J.
Reifman: PC-PVT: A platform for psychomotor vigilance task testing, analysis, and prediction.
46, 140-147 (2013).

（）S. T. Mueller and B. J. Piper: The Psychology Experiment Building Language ( PEBL ) and PEBL Test
Battery.

（

222, 250-259 (2014).

）J. Phillips-Silver, P. Toiviainen, N. Gosselin, O. Piché, S. Nozaradan, C. Palmer, and I. Peretz: Born to dance
but beat deaf: a new form of congenital amusia.

（characteristics of perception and attention.
（49, 961-969 (2011).

）K. Kihara, J.-I. Kawahara and Y. Takeda: Usability of liquid crystal displays for research in the temporal42, 1105-1113 (2010).

）H. E. P. Lagroix, M. R. Yanko and T. M. Spalek: LCDs are better: psychophysical and photometricestimates of the temporal characteristics of CRT and LCD monitors.

. 74, 1033-1041 (2012).
（）長嶋洋一：MIDI 音源の発音遅延と音源アルゴリズムに関する検討．情報処理学会研究報告， （‐ （）．

）