情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-24
2020/3/9

視覚的注意反応を利用したバイオパンク・インタラクティブコン
テンツ「GAZE EATER」の制作
脇阪颯太†1

斎藤進也†1

概要：本研究の目的は，アイトラッキングセンサーを用いた次世代インタラクティブコンテンツの制作を行うことである．ここで課題となるのは，アイトラッキングセンサーによる視線入力値をコンテンツの作品性やエンターテイメント性に効果的に反映させるモデルを設計することである．今回の制作では，生物と SF を融合させた“バイオパンク”というジャンルをもとにした世界観を設定したうえで，視線を食べる仮想生物「GAZE EATER」というコンセプトを見いだし，プレイヤーの視覚的注意反応を利用した遺伝ゲームを開発した．これまでのシステム運用では，アイトラッキングセンサーを用いることで独特の世界観を持つ作品が実現しているといったフィードバックが得られている．

1. 背景と目的
1.1 背景本研究では，この知見を踏まえ，“生物と視覚反応の関係”を制作上の視点として設定することとした．またその視点から，生物的な怖さや怪しさ，不気味さなどをエンタ

近年では，VR や AR など様々な技術を用いたエンターーテイメントの要素として組み込むというビジョンに親和テインメントが制作されている．商用ソフトを開発するデ性の高い「バイオパンク」という作品ジャンルを本制作にベロッパー企業からインディーゲームシーンにおいて活動おける世界観構築のフレームワークとして採用することとするアマチュアのゲーム作家に至るまで，こうした技術をした．

用いて，多くのコンテンツが制作されている．一方で，エ加えて，本作はアイトラッキングセンサーを用いたコンターテインメント分野への活用可能性が期待されながらンテンツであることから，“視線を集める”ことをいかにも，VR や AR などと比べ，普及が進んでいない技術も存在ゲームデザインに落とし込むのかという点も一つの課題とする．例えば，アイトラッキングセンサーはそのひとつでいえる．そこで，上記の「バイオパンク」（本稿 2.2 参あるといえる．アイトラッキングセンサーは，心理学や脳照）の世界観を背景としつつ，そこに生物の生存競争や遺神経学スポーツ科学などの研究や企業の消費者分析やユー伝ゲームの枠組みを導入し，視線入力をゲーム要素に関わザビリティ評価などaに用いられているが，キャリブレーシるパラメータとして設定するというインタラクティブデザョン等の設定が必要であり，誰でも簡単に活用するには難インの構築を目指すこととした．

しい面もあるためか大衆向けのエンターテインメントにおいて活用される例は多くない．

2. 作品コンセプトの構築

アイトラッキングセンサーは，手を使わずに，眼球の動

本制作では，アイトラッキングセンサーを用いたきによる独特の直感的操作感が得られることや，視線その「GAZE EATER」というインタラクティブコンテンツをもののもつ社会文化的な意味合いがあることを考えると，制作していく．

効果的に活用することで，独特の世界観もつエンターテイ

2.1 コンテンツのテーマンメント作品を構築できる可能性があると考えられる．
1.2 目的「GAZE EATER」は「視線を食べる生命体」「無意識を盗み見る」をそれぞれテーマ・裏テーマとしている．

以上の背景を踏まえ，本研究では，アイトラッキングセ

このコンテンツでは視線を食べるという設定の仮想生ンサーを使用して視覚的注意反応を利用するエンターテイ物が画面に表示され，プレイヤーの視線を多く獲得した個メント作品の制作を行い，アイトラッキングセンサーのエ体は繁殖し，その個体の特徴が遺伝した個体が生成されンターテインメント作品への活用可能性について模索する．視線をあまり獲得できなかった個体は淘汰され，そのる．

個体の特徴は失われる．この視線による自然選択によって柴崎は，人間の視覚的注意反応は，その人物にとって最終的に生み出された個体はプレイヤーの視線を獲得する“怖い”という感情を抱かされる動物に対してより強く作能力が高い個体であるといえる．ここで，プレイヤーが個用するという知見を述べている[1]．

体を意識的に選択したのでなければ，最終的に生み出され†1 立命館大学大学院映像研究科
a tobii pro 事例 https://www.tobiipro.com/ja/fields-of-use/ （参照2019.12.16）© 2020 Information Processing Society of Japan271

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

た個体はプレイヤーの無意識的な反応の影響を強く受けた

1B-24
2020/3/9

3.2 視線情報に関する先行研究ものであるといえる．意識的に選択した場合においてもそ

絵本の読み聞かせにおける視線運動と表情から子供のの生物を選択するプロセスにおいて，動き，外見に対する嗜好を抽出することを研究した渡部らは，アイトラッキン選好の影響を受けているものであるといえる．

グセンサーと感情判定サービスを使用して研究を行った．

2.2 バイオパンク

その結果，ポジティブな感情を持っている対象とネガティ「視線を食べる生命体」「無意識を盗み見る」というテブな感情を持っている対象の両方に視線が集中し，その時ーマを表現するうえで，バイオパンクというジャンルに沿の顔を感情認識サービスで判定したところ，感情判定が中って表現することが効果的であると考え，デザインやスト立であったため判断できなかったと述べている[5]．視線ーリーにバイオパンクの要素を取り入れることとした．一と感情判定による嗜好の抽出はアイトラッキングセンサー

般的なバイオパンクは，生物と SF を組み合わせたもののエンターテインメントへの利用に効果的であるように思（小説や映画等）で，退廃的かつ反体制的な作風を特徴とわれるが，実際の利用には感情判定の精度の向上が必要でするジャンルを指す．本制作では，そうしたバイオパンクある．本制作において感情判定は行わず，身体的反応の利の世界観を踏襲しつつ，（小説やリニア映像といった形態用にとどめる．

をとる既存作品とは異なり）アイトラッキングセンサーをまた，物体運動の速度変化とランダム性が能動的注視用いたインタラクションを導入することで，新たな世界観と選好形成に及ぼす効果について，松田らが研究を行っての開拓を試みる．

いる．松田らは実験から，複雑な動きに対して直接的に刺3. 先行研究・作品レビュー
本章では，上記の研究目的及び，作品の世界観設定を激への関心度や面白さが高まる一方で，動きの複雑性が高いほど刺激への選好は生物性認知を介在した間接効果が強まると述べている[6]．

踏まえ，（a） 仮想生物の進化をテーマにするもの，加え3.3 先行研究・作品と本制作の視角の違いて，（b） 視覚反応の活用をテーマにするものという観点

3.1 にみた先行作品では，生物遺伝の要素をもつインタラから，先行の研究および作品のレビューを行う．

クティブコンテンツという点において本制作と類似するが，3.1 仮想生物の進化をテーマとする作品

本制作がアイトラッキングセンサーを用いた選択機能を導『Biomorph』はリチャード・ドーキンスが「盲目の時入している点，および，バイオパンクという世界観をもつ計職人」[2]で提示したコンピュータープログラムであ点において異なる．

る．ドーキンスはバイオモルフによってランダムな突然変3.2 にみた先行研究は，本制作を進める上で，視覚的注意異と累積的な自然淘汰によって生物の形状が複雑化するこ反応に関する知見が参考になるが，作品制作という観点のとを示した．この作品では，画面上に単純な線からなる 9有無において異なる視角を持つといえる．

つの遺伝子の異なる個体が表示され，ユーザーはそれをマウスで選択する．選択された個体の遺伝子を変異させた 9

4. システム構成

つの遺伝子の異なる個体を表示し，同様に選択することを

図１は，「GAZE EATER」のシステム構成図である．

繰り返す．ユーザーが複雑な個体を好んで選択すると，複「GAZE EATER」に用いるハードウェアとしては，Unity雑な個体が生成されるようになる．

プログラムを実行するための PC に加え，プレイヤーの視また，『Galapagos』はカール・シムズが作成し，1997 年

線を感知するためのアイトラッキングセンサー（Tobii Eyeに NTT インターコミュニケーション・センター 「ICC」

Tracker 4C），および，世界観の構築に必要な演出画面表示で展示されていた作品である[3][4]．この作品では 12 個ののために RasberryPi3 を使用する．

モニターに，コンピューターによってシミュレートされた独自開発の Unity プログラムにおいては，仮想生物とし抽象的な形態を持つ生命体が映し出される．そして，モニての「GAZE EATER」の生成やシーン制御，アイトラッター前のセンサーを踏むと個体が選択され，選択された個キングセンサーからの入力処理などを実現する．

体の遺伝子を変異させた 12 の異なる遺伝子を持つ個体が生成される． 選択を繰り返しながら，好みによって個体を進化させていく．
この 2 つの作品の構造はとても良く似ているが，マウスによる選択と，センサーによる選択という点において異なっている．マウスによる選択ではユーザーが個体を直接選択する必要があるが，センサーによる選択はユーザーが個体を選択するつもりがなくとも，センサーを踏んだ場合に選択される．

© 2020 Information Processing Society of Japan272

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図1

1B-24
2020/3/9

図3システム構成図

4.1 仮想生物の造形の生成

個体の遺伝方法

図 4 は実際に生成された仮想生物の例である．なお，肢「GAZE EATER」の個体（仮想生物）には，その造形の造形の変形に関しては，キャロル[7]を参考にし，生物を司る「DNA 配列」が２つ用意される．DNA 配列には，の造形のデザインに関しては，ヘッケル[8]を参考にし①体節の基本データ（体節の数，足の数，色）②肢の基本た．そして，遺伝プログラムの制作にあたっては，シフマ

形③体節ごとの肢の変化という３つの部分の情報が格納さン[9]を参考にした．

れている．そして，２つある DNA 配列を足し合わせた情報をもとに，ある個体の造形が描画される（図 2）．１つの個体に，２つの DNA 配列を用意する理由は，遺伝の仕組みを考える上で，親となる個体と子となる個体の間で，類似する部分と異なる部分をバランスよくつくるためである．

図4

実際に生成される生命体の例

4.2 仮想生物の名前の生成
本制作では，エンターテインメント性の付与という観点で，各仮想生物の個体にプレイヤーの興味をひくような名前をつける仕組みを考案した．
個体の名前について，配列の要素の数値が指定の閾値以上であれは，あらかじめ設定された言葉が個体の名前に追
図2

個体の形の生成方法加されるようになっている．また，配列の要素の位置が先頭に近ければ，対応する言葉も名前の先頭の方に使用され遺伝の仕組みとしては，先ず，視線が向けられる度合るようになっている（図 5）．

いの高い個体（「個体 A」とする）が一体選択され，ランダムでもう一体（「個体 B」とする）が抽出される．そして，個体 A の２つの DNA 配列をかけ合わせ，第３のDNA 配列を生成する．つまり一旦，個体 A について３つの DNA 配列が備わることとなる．同じ要領で，個体 B についても３つの DNA 配列が用意される．その上で，ランダムに個体 A，個体 B からそれぞれ１つ（計２つ）のDNA 配列が抽出され，その２つの DNA 配列をもとに個

図5

個体の名前の生成方法

体 C が誕生することとなる．この際に，第３の DNA 配列を用意する理由は，それぞれの個体の特色を適度に抽出し，遺伝させるためである（図 3）．

© 2020 Information Processing Society of Japan273

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-24
2020/3/9

4.3 シーン構成
本制作では，ゲームエンジン Unity を用いてコンテンツ制作を行う．本作品のシーン構成は，Title，Main，Result，Secret という 4 シーンからなる（図 6）．

図8

Result シーン

Secret シーンでは，ストーリーを用いてコンテンツについての解説を行う．ここで本制作の「無意識を盗み見る」
図6

コンテンツのシーン構成という裏テーマをプレイヤーに対して明らかにする（図 9）．

Title シーンでは，「GAZE EATER」というタイトル表示を行うとともに，コンテンツの基本的な世界観を表現する．
Main シーンでは，プレイヤーが視線を使って，仮想生物を生成する．初期画面では, 10 匹の生物が表示され，多くの視線を集めた仮想生物は繁殖し，あまり視線を得られなかった生物は淘汰される．これを最後の 1 匹になるまで続ける．時間経過によってランダムなイベントが生じるようになっており，ゲームが進行するにつれ，生存が難しくなるようになっている．実質のプレイ時間は約 3~5 分程

図9Secret シーン度である（図 7）．
4.4 展示のための演出
本作では，展示作品として演出設計にも留意し，独自の筐体の制作（図 10）や RaspberryPi3 を用いて，仮想生物がプレイヤーの“視線をスキャンする”というニュアンスを演出するため，プレイヤーの目元を PC の内蔵カメラで撮影し，その画像を小型モニターに表示する機能を実装した（図 11）．またこれは，「無意識を盗み見る」というバイオパンク的意味合いを持つ本作の“裏テーマ”の設定にもつながる．

図7

Main シーン

Result シーンでは，生き残った生物に関する情報を表示する．このシーンでは，生成された生物のモデル，生成された生物の名前，プレイヤーの顔画像，家系図などを表示する．また Secret シーンへ移動するためのゲージも表示する（図 8）．

図 10© 2020 Information Processing Society of Japan

筐体のプロトタイプ

274

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-24
2020/3/9

全国大会講演論文集．2019，vol.81．
松田憲，楠見考，小林剛史，一川誠，興梠盛剛，黒川正弘．
物体運動の速度変化とランダム性が能動的注視と選好形成に及ぼす効果．認知心理学研究．2013，vol.10， p.133-150．
[7] ショーン・B・キャロル．シマウマの縞 蝶の模様 : エボデ
ボ革命が解き明かす生物デザインの起源．光文社，2007．
[8] エルンスト・ヘッケル．生物の驚異的な形．河出書房新社，
2014．
[9] ダニエル・シフマン．Nature of code : processing ではじめる
自然現象のシミュレーション．ボーンデジタル，2014．
[6]

図 11

RaspberryPi3 と小型モニター

5. 考察
本制作では，アイトラッキングセンサーを活用したバイオパンク的世界観を持つインタラクティブコンテンツのプロトタイピングを行った．
設計段階で想定した機能の実装，および，バイオパン的な世界観の構築を概ね実現することができた．
現段階において，定量的なシステム評価は行っていないが，立命館大学大学院映像研究科において，３度の試験運用を実施し，5 名からフィードバックを得ている．その結果，アイトラッキングセンサーを用いた仮想生物とのインタラクションは，斬新なものであり，操作感と世界観が調和した作品であるとの感想が得られている．
一方で，文字の表示速度や視線誘導の設計が甘く，使いづらい点があること，および，より臨場感を与えるため背景画像に工夫が必要であるといった課題も指摘されている．
今後は，こうした課題を解決しつつ，アイトラッキングセンサーを用いるからこそ表現できるインタラクティブ表
現の可能性をさらに追求していきたい．
謝辞

本研究にご協力頂いた，立命館大学渡辺修司先生，立命館大学映像学部・研究科の皆様に，謹んで感謝の意を表する．

参考文献
[1]

[2]
[3]

[4]
[5]

柴崎全弘．ヘビはヒトにとって特別な存在か？ ―心理学者によるヘビの研究．名古屋学院大学論文集．2017，社会科学
編，vol.54，no.2，p.183-196．
リチャード・ドーキンス．盲目の時計職人．早川書房，2004（原著 1986）．
カール・シムズ．ガラパゴス．NTT インターコミュニケーション・センター，「ICC」季刊 Inter Communication，1997，no.21．
“カール・シムズ氏による作品解説の WEB サイト”．
http://www.karlsims.com/galapagos，（参照 2017.12.15）．
渡部幹久，松村敦，宇陀則彦．絵本の読み聞かせにおける視線運動と表情から子供の嗜好を抽出する試み．情報処理学会© 2020 Information Processing Society of Japan275