コンテンツ論文

におけるインタラクティブ性と美
渡邊 淳司

田畑 哲稔
安藤 英由樹前田 太郎

はじめに「美」の本論文における定義

近年，コンピュータを使用し，体験者の動きに応じて作品が様々に反応するメディアアートと呼ばれる芸術作品が数多く制作されている．そして，そのコンピュータを使用したインタラクション技術は舞台芸術の演出にも応用されつつある．本論文では，このようなインタラクション技術を使用して舞台演出を行うパフォーマンス（以後，マルチメディアパフォーマンスと記す）における，インタラクティブ性と「美」の関係について考察し，その考察に基づいた舞台演出の実現例を示す．

本章においては，本論文において使用するメディアアート及びマルチメディアパフォーマンスの定義を行い，それらを鑑賞することによって生じる「美」との関係について述べる．
：東京大学大学院 情報理工学系研究科：：：日本電信電話株式会社
コミュニケーション科学基礎研究所：

本論文では，物理的相互作用（てこの原理，ばねによる反力）とは異なる作用・反作用の関係（どこかを見るとその部分の色が変わる）をコンピュータを使用することによって実現し，体験者の動きに応じて作品が様々に変化する芸術作品をメディアアート
呼ぶ．また，このようなコンピュータによるインタラクション技術を使用して舞台演出を行ったパフォーマンスをマルチメディアパフォーマンスと呼ぶ．例えば，パフォーマーにセンサを装着し，その動きに合わせて舞台に投影される映像の位置や大きさを変化させるよと美：：：舘暲

うなパフォーマンスはマルチメディアパフォーマンスの一例といえる．

次に，「美」の概念について，本論文における定義を行う．古代ギリシャから世紀，写真が発明されるまでの芸術表現を辿ると，美の概念においては写実的であることが重要な意味を持っていた．写真以前の絵画
芸術では，奥行きを再現するための遠近法，材質感を再現するための陰影法，色を再現するための併置法等が考案され，キャンバスを現実世界と見間違うような写実的な絵画が美しいとされていた．しかし，

年ダゲールによって発明された写真術（ダゲレオタイプ）によって現実世界を完璧な精度で写し取ることが誰にでも可能となった．それによって，写実を理想とした

日本バーチャルリアリティ学会論文誌

美の探究が写真術の出現によって揺らぎ，芸術家は写実性以外の要素にも美を求めるようになった．以

後，幾何学的抽象表現やキュビズム等，写実とは異なる要素に美を探求した作品群が制作されるようになった．そして，作品が写実的でなくなるにつれ，鑑賞者側が想像力を働かせて作品のイメージを膨らませるようになった．このように，写真の発明以降の美の概念は鑑賞者個人の想像力による非再現性や個人性を含んで語られるようになった．そこで，本論文においては，写実性によってではなく，鑑賞者に様々な思いを想起させて心を動かす，非再現性・個人性を持った作品をより美しい作品と考えることとする．
非再現性・個人性を含んだ美
近年，体験者の動きに反応するインタラクティブ性を持ったメディアアートと呼ばれる作品が多く制作され，それらを鑑賞する機会も増加した．しかし，一部の作品を除いては，鑑賞者に様々な思いを想起させる非再現性・個人性を含んだ美を作品から感じることは少ないように思われる．
この原因のひとつとして，メディアアートでは鑑賞

図

インタラクション技術を利用した舞台演出（ ）パフォーマーと映像のあいだのインタ
ラクション（ ）観客と映像のあいだのインタラクション

者の動きによって引き起こされる反応の意外性や派手さが作品の評価につながることがあるため，その関係性を強調するあまり，作品の反応が非常にわかりやす
く，写実的に表現される傾向があることが考えられる．

たとしても，見る位置による違いを除けば，どの観客例えば，触ったところが光って音が聞こえるという作も同じシーンを知覚することになる．一方で，図品があったとしても，触る場所に対する光と音の関係のように，観客個人個人が多少なりとも異なる知覚，性が単純すぎると，ただのインタラクション技術のデ体験を得られる舞台は，非再現性・個人性を併せ持っモンストレーションに感じられてしまう．つまり，表た美へつながると考えられる．これまで，観客が各所現が写実的過ぎると，鑑賞者が何かを思い起こす余地で行われているパフォーマンスの中を歩き回るようながなくなり，単純すぎる反応は非再現性・個人性を持っ演出によって，観客が個人的な体験を得られる作品はた美へつながることが少なくなる．

存在していた．しかし，観客席と舞台が分けられた

また，マルチメディアパフォーマンスにおいても，映一般的な舞台芸術においては，観客個人個人が異なる像や音楽とパフォーマーを結び付けているデバイスの体験を得ることは，これまでの演出手法では困難であデモンストレーションのような写実的な演出がなされると考えられる．

ることがあり，そこから非再現性や個人性を併せ持った美しさを感じることは難しい．
このように，非再現性・個人性を備えた美という観点から考えると，そのインタラクティブ性を写実的に観客とのインタラクションを実現した舞台演出
実現手法
非再現性・個人性を併せ持った美を舞台芸術におい表現することよりも，作品全体から受ける造形美や，て実現するひとつの手法として，図鑑賞者に何かを思い起こさせるような表現性が重要と客一人一人に合わせて映像等の舞台演出が変化する手なる．

法が考えられる．しかし，これまで，観客全体の動きにおける美近年では，コンピュータによるインタラクション技術を利用した舞台演出も多く見られるようになってきのような，観に応じて舞台上の映像が実時間で変化するという演出手法は存在していたが，観客一人一人と舞台演出が何らかの関係性を持つ演出は殆ど行われてこなかった．

．これらのインタラクション技術は，主に映像観客一人一人に対して舞台演出を変化させる手法とや音楽等の舞台演出とパフォーマーの動きの関係性のしては つの手法が考えられる．観客一人一人に何らなかで使用されている．このような舞台演出では，図かのデバイスを持ってもらいそれを使用する手法と，たのように，舞台上でインタラクションが起きてい観客自身の個人的な動きを利用する手法である．

渡邊・図・田畑・安藤・前田・舘

におけるインタラクティブ性と美光点列の移動による情報提示デバイス社（ ）と眼球運動を利用した情報提示システム（ ）デバイスを使用して，それぞれの観客の見える映像や聞こえる音楽を変化させる試み自体は，これまでもイベント等では試みられている．例えば，観客にラジ図オチューナーのようなデバイスを持ってもらい，観客観察者の眼球運動と知覚されるイメージの関係の好みに合わせて聞こえる音楽を変化させるイベン
トや見ている方向の音だけが聞こえるデバイスの提案もなされている．

もうひとつの，観客の何らかの運動を利用して，観に配置する代わりに次元の光点列を物理的に高速客と舞台のインタラクションを実現する手法について移動させ，人間の視覚残像を利用することで 次元情

考えると，一般的な舞台芸術において，観客の座って報提示を行う図

いる位置は固定であるが，観客それぞれの視線の動るのようなデバイスが存在してい．一方で，筆者らが利用した手法は，逆に，図きや手足の細かな動きは異なっている．そこで，デバのように 列の光点列を固定し，サッカードと呼イスなしに，観客の動きに応じて映像や音楽を変化さばれる高速眼球運動中に光点列の点滅パターンを高速せることができれば，簡便に舞台と観客それぞれとので時間変化させると，点滅パターンが眼球運動によりインタラクションを実現可能である．また，実現可能空間パターンに展開されて 次元イメージが知覚され性を考えると，この観客自身の運動を利用した手法のることを利用するものである（ただし，本手法は残像ほうが，多人数の観客が鑑賞する舞台演出では有効でを利用しているので暗い提示環境においてより明確にある．

像を知覚可能となる．

）．

観客が舞台を見ている際に異なる動きを示すもののこの情報提示手法は，人間の眼球運動自体を利用しひとつとして視線の移動が挙げられる．観客は興味のているので，十分暗い環境においてならば，空中等の対象を追いかけるように様々なタイミング，様々な場投影面のない空間に対しても提示が可能である．そし所に視線を移動させている．そこで，本論文では，観て，知覚される像の形態は観察者の眼球運動によって客それぞれの視線の動きと筆者らが研究を行ってきた決定されるため，同じような位置から観察したとして眼球運動を利用した情報提示手法

も，観察者の眼球運動が異なれば，知覚像も異ったもを組み合わせることで，舞台と観客のインタラクションのとなる．また，図 にあるように，ある時刻を実現することを考えた

いて，観察者．そうすることで，それが眼球運動を行い，時刻ぞれの観客は視線に動きに応じた異なるイメージを知観察者

覚し，舞台は，より非再現性・個人性を持ったものと異なるパターンでなる．

者
眼球運動を利用した舞台演出におにおいて，が眼球運動を行った場合，それぞれの時刻で光源が点滅していると，観察， はパターン自体が異なる像を知覚する．
パフォーマンスを鑑賞する際，観客はパフォーマー

本節では舞台演出に使用した眼球運動を利用した情の動きやスポットライトによって様々なタイミング，報提示手法について述べる．これまで，光源を 次元様々な場所に眼球運動を行う．本情報提示手法を利用

日本バーチャルリアリティ学会論文誌

したパフォーマンスでは，舞台上に高速点滅する 次元光源を設置し，身体運動や映像によって観客の眼球運動を誘導して，それぞれの観客に様々な 次元イメージを提示する．知覚される像の形態は観客一人一人の眼球運動の大きさ，タイミングによって異なるため，観客は，自身の眼球運動によってそれぞれ異なるイメージを知覚することになる．
提案する演出手法の実現
舞台構成
年 月日（東京）及び年月日（韓国ソウル）のメディアパフォーマンスグループの公演において本手法を利用したパフォーマンスを行った．高さの 次元，縦方向の画素数

アレイ アビックス株式会社製 を 本舞台後方に設置し，の前で 人のパフォーマーがパフォーマンスを行った．

は図のようにパフォーマーを照らす照明として，また，図のように観客の眼球運動によって像を生み出す装置として機能していた 図
た ．

はカメラを高速回転させて撮影し図（ ）固視時に知覚されるパフォーマーと（ ）眼球運動時のに知覚される像（この画像はビデオカメラを高速回転させることによって撮影した）はあるパターンで高速点滅しており，観客がパフォーマーの動きに合わせて水平方向の眼球運動を起こすと，眼球運動によって列の点滅パターンが網膜上で空間的に展開されて， 次元イメージが知覚される．サッカードの持続時間は約は，周期で点灯しているため，この装置によって知覚される像の横方向の画素数は約である．

本演出手法の特徴
舞台においては，眼球運動時に生じる残像を利用して， 次元の列から次元像を提示しているがその残像は眼球運動終了後も知覚され続け，眼球運動後のイメージと重なることになる．図 のように，パフォーマーよりもステージ奥にあるて知覚される像は，の光によっよりも前にいるパフォーマーの身体の上に描かれる形で知覚される．実際にが存在する位置よりも前の位置に像が知覚されるということは 図のように残像が重なるパフォーマーの位置によって像の知覚される大きさが変化し 残像が身体と結びつくことにより，ステージ上の物理的な奥行き関係とは異なる奥行き関係が生み出されている．
具体的には程度離れた位置に観察するとの位置よりもをおいて像を～程度前にパフォーマーが立っていても像が身体に重なって知覚される．パフォーマーがある程度以上近づくと知覚像が身体をよけるように知覚されたり，知覚像が極端に小さくなったり，知覚像の奥行き関係をうまく構築することが困難となる．また 像を知覚するためには：全体が見えている必要は無く 両脚の間から像が広がり身体に重なるような演出も可能となる．
演出に対するコメント
本節では，演出手法の評価として，舞台を鑑賞した人から得られたコメントを記す． 月公演及び月日の東京

日ソウル公演，各公演約人からコメントが得られた．コメントを寄せた殆どの人は，の光から何らかの次元イメージを知覚していた．コメントの多くは，何より 次元イメージが知覚されたことに対する驚きについてであった．日常生活においてあまり意識しない自分の視線の動きによって，イメージが知覚されることが，多くの人には新鮮な体験であるようであった．そして，公演後，隣に座っていた観客同士が見えたものについて話をしても，それぞれが異なるイメージを知覚しており（ 次元イメー
ジが見えずに列のが光っているだけだと思った観客も存在した），同じ公演を見たにも関わらず異なる舞台が知覚されることが面白いというコメントも多かった．また， 次元イメージが見える原理について考え，首を振っている観客も存在した（情報提示の渡邊・・田畑・安藤・前田・舘

におけるインタラクティブ性と美高速に点滅が可能であり，寿命も長く，発光による発程度の熱も少ない等利点が多い．本公演では，眼球運動中に像を提示するために， 秒間に以上の点滅を行う必要があったが，回であればこそ実現可能であった．これまで，新技術が新たな芸術表現手段として使用されてきたように，も，その明るさ，時間特性から，今後ますます舞台演出に図パフォーマーの背後のが身体の上に重なるによる知覚像使用されていくと考えられる．
おわりに
本論文では，非再現性・個人性を併せ持った美を舞台芸術において実現するひとつの手法として，観客の眼球運動を利用し，それぞれの観客に異なる像を提示する演出手法を提案した．本手法を使用した舞台では，物理的存在（ 列の図パフォーマーの位置による知覚像の大きさの違い）以上のイメージを観客は自身の眼球運動から知覚するとともに，観客と舞台演出の間にインタラクティブ性を導入している．そして，そのインタラクティブ性は非常に個人的な営みである
眼球運動の大きさや方向，タイミングといった個人差がそのまま観客の知覚として現れるが ある観客の眼原理的には首を動かす必要は無い）．
考察

球運動が隣の観客の知覚に影響を与えることはない
本作品はとともにそれを見る観客の眼球運動がこれまでの多くのパフォーマンスは，舞台側から一あって初めて成立する作品であり，本演出によって観方的にシーンを観客に提供するものであった．一方，客と作品を一体化する一方で，一人一人の観客にとっ本公演は観客の眼球運動自体をもシーンの構成要素とて舞台をオリジナルなものにしている．

し，観客と舞台との間にインタラクティブ性を構築した新たな特徴を持ったパフォーマンスである．一般的謝辞には，観客がステージから受ける心的印象は異なることがあっても，舞台を見ることによる知覚は殆ど変わ舞台を共同で制作したの皆様，装置ることはない．しかし，本公演は舞台から生じる印象のご協力を頂いたアビックス株式会社様に，ここに深だけでなく，見えているもの自体，知覚レベルで異なく感謝の意を記します．

るものが提示されている．
本手法を使用した舞台において，観客は自身の眼球運動という普段は意識しない主体的な働きかけを再認識する．何かを見るという行為は，周りの環境を脳内に写し取る受動的な過程ではなく，環境の中から自分の興味の対象を自分自身の運動によって選び取り，解釈する過程である．普段は環境から選び取られた結果しか意識に上ることはないが，本公演ではその「見るという行為」自体が，自らの知覚像として具現化されている．本演出は，古くは年代モホイ・ナジが行ったように，人間がどのように環境を解釈しているかというコンセプトから，視覚的演出を行ったものである．今後は，視覚的要素だけでなく，音など聴覚的な要素を含めて演出手法を考えていきたい．
また，近年，は高輝度化によりスポットライ

トや舞台全体を照らすフラッドライトとして使用されるようになった．

は他の照明機材と比べて，

日本バーチャルリアリティ学会論文誌

参考文献［著 者 紹 介］

インターコミュニケーション・センター
特集インタラクティブアート出版
伊藤俊治 電子美術論
出版
インターコミュニケーション・センター
ダンスフロンティア 身体のテク出版
ノロジー
渡邊淳司
田畑哲稔

渡邊 淳司 （学生会員）
年 東京大学大学院情報理工学系研究科 博士課程修了 情報理工学博
士 ．眼球運動を利用したディスプレイ及び眼球運動中の視覚特性の研究を行う 日本バーチャルリアリティ学会論
年 ，同学会学術奨励
文賞受賞
賞受賞
年
電子情報通信学会
ヒューマンコミュニケーション賞受賞
年 ．
“”
入賞
年 ，日本視覚学会ベストプ
レゼンテーション賞受賞
年 ．また，身体性と表現という視点から作品展
示及びパフォーマンスの舞台演出も行う．のメンバーとともに，
年 ，日本バーチャルリアリ
ティ学会大会
年 ，
年 等において公演を行う．
～

日本バーチャルリアリティ学会論文誌，京都造形大学 舞台芸術研究センター 舞台芸術
メディア・テクノロジー 作品社
乗越 たかお コンテンポラリー・ダンス徹底ガイド
作品社
三井秀樹 メディアと芸術 デジタル化社会はアートをどう捉えるか 集英社新書
伊藤キム 輝く未来

渡邊淳司，前田太郎 舘暲 サッケードを利用した新
しい情報提示手法の提案 日本バーチャルリアリティ学会論文誌
渡邊淳司 前田太郎 舘暲 サッカード前中後に渡って提示される連続点滅光点刺激の知覚と眼球運動との時間関係 電子情報通信学会論文誌
渡邊淳司，坂本憲久，則武厚，前田太郎，舘暲 サッ
カード残像の視覚的持続時間の研究 映像情報メディ
ア学会誌

オーム社 編プレイ オーム社

光シリーズ

光ディス

藤田昌彦 雨海明博 眼球運動中のアイコニック・メモリ
電子情報通信学会技術研究報告の性質

日本視覚学会 編 視覚情報処理ハンドブック 朝倉書店
井口寿乃 ハンガリー・アヴァンギャルドとモホ
イ・ナジ 彩流社
社団法人 日本建築学会 光と色の環境デザイン，オーム社
インターコミュニケーション・センター “
芸術と技術の実験 ”
出版

年

月日受付

田畑哲稔

渡邊・・田畑・安藤・前田・舘

安藤 英由樹 （正会員）
年 愛知工業大学大学院 工 電気電子工 修士課程修了．
年 同大学
工学研究科 電気材料工博士課程．
年 理化学研究所配属．
年「協調と制御」領域グループメンバーとして東大情報学環研究員を経て現在
コミュニケーション科学基礎研究所 リサーチアソシエイト．博士（情報理工学）生体工学，ヒューマンインタ
フェース，ＶＲ，ウェアラブルなどの研究に従事．
年
部門 奨励賞
受賞～

前田 太郎 （正会員）
年 東大・工・計数工卒 工博
年 通産省工業技術院機械技術研究所．
年 東大先端科学技術研究セン
ター助手，
年 同大大学院・工 助手，
年 同大大学院・工 講師，
年
同大大学院情報学環 講師．
年 日本
電信電話株式会社 主幹研究員．人間の知覚特性・神経回路のモデル化，テレイグジスタンスの研究に従事．計測自動制
御学会論文賞 学術奨励賞，日本ロボット学会技術賞受賞．

舘 暲 （正会員）
年 東大・工・計数卒．
年同大大学院博士課程了 工博．同年同大助
手．
年 通産省工技院機械技研研究員 マサチューセッツ工科大学客員研究員を経て，
年 東大先端科学技術研究センター助教授．
年 同センター
年 同大大学院・工・計数工教教授．
授
年 同大大学院・情報理工・シス
テム情学専攻教授．テレイグジスタンス，人工現実感の研究に従事．
学会賞，通産大臣賞，国際計測連合特別勲功賞など受賞
ロボティクス
フェロー，日本バーチャ会議議長，ルリアリティ学会前会長．

におけるインタラクティブ性と美