情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-52
2020/3/9

インタラクティブな時間操作を伴う映像インスタレーションの制作

陳品瑜†1

斎藤進也†2望月茂徳†2

概要：本研究は，鑑賞者によるインタラクションを通じて，鑑賞者の目前の空間に付随する「時間の地層」を掘り起こすような体験が行える映像インスタレーションの制作を目的とし，リアルタイムに記録されるカメラからの映像に対して，鑑賞者が選択した箇所の時間が遅延するソフトウェアの開発を行った，また，映像内外の空間の異なりや映像の時間を操作できる特性を鑑賞者に意識させることを目的として，２回の展示実験を行い，鑑賞者アンケートを用いて考察を行った．

1. はじめにし続ける映像を「時間の地層」と捉えたとき，どのようなインタラクティブ映像表現が可能かについて探る．

本研究は映像と空間の関係に着目して，その空間と映像リアルタイムに蓄積された映像に対して実験的な芸術表の変化を組み合わせることのできる表現，また，各自が持現を行う関連研究についても触れておきたい．井藤らは，っている時間特性や意義をこれらは鑑賞者にどんな感覚を映像のフレームの蓄積から，動き補償フレーム間予測に対感じさせるのかを考えた上で，インタラクティブな時間操して意図的にエラーを起こすデータモッシングという映像作を伴う新しい映像インスタレーションを制作した．映像表現に着目し，通常ならば排除すべきノイズやエラーをア

内外の空間の異なり，また，映像の操作できる特性を鑑賞ート表現として利用するグリッチ（Glitch）作品の表現方者に意識させることを目的にする．

法に取り組んでいる[5]．このような表現手法に鑑賞者との2. 研究の背景と目的インタラクションを取り入れることで，リアルタイムのカ

時間と空間を映像によって再構成する芸術表現は様々な作品に観られる．日本を代表する実験映像作家の一人である松本俊夫の作品『Shift』[1]はカメラのパンやチルト，ズームに伴う映像の変化に対し，画面上の区画ごとに映像変化が遅延する仕組みを用いている．具体的な形態を持つメラが取得する「現在」の映像に対して，パラレルな世界を映し出し，エラー表現を故意に作り出し，芸術として体現することで，現代社会での正しいことや間違っていることの本質について考えるきっかけを作り出すと考えられる[6]と述べている．

建物の映像が，この仕組みによって新しい奇妙な空間になるような表現効果を表している．岩井俊雄による『Another

3. 制作Space, Another Time』[2]や『マシュマロモニター』[3]では，3.1 映像の遅延方法

リアルタイム映像に対してスリットスキャン等による走査本研究では空間，映像の時間性に着目する．空間は，線ごとの時間遅延を導入することにより，鑑賞者の動きに過去から今まで存在している．例えば，建物は何もないと伴って姿や形が変形される芸術表現を実現している．

ころで建てられ，現在我々が生活している場所として存在『クロノスプロジェクタ』[4]は，あらかじめ録画されてする．鑑賞者に観賞，または体験できるのは，その展示場いる映像の時間軸と変形可能なスクリーンの奥行きを対応に居る時だけである．そこで，過去を代表する「空間」とさせ，スクリーンを手で触ることにより，映像の時間を一現在を代表する「鑑賞者」，その間に立つ「撮影」三者の関部だけ進ませたり，巻き戻したりできる．鑑賞者のインタ係性を考え，スクリーンをセグメント化し，インタラクシ

ラクションにより映像内の時間が影響され，映像と空間がョンによって各セグメントにおいて映像を遅延させるソフ操作できる作品である．

トウェアを開発した（図１）．

本研究では，上記のような時間と空間に関する映像表現

このソフトウェアでは，まず，カメラで撮影している映の実験的な取り組みを背景として，鑑賞者によるインタラ像を格子状に分割する．分割された映像の各セグメントはクションを通じて，鑑賞者の目前の空間に付随する「時間それぞれの時間を持ち，鑑賞者によって選択されたセグメの地層」を掘り起こすような体験が行える映像インスタレ

ントは次第に一定の秒数前のフレームの同箇所が割り当てーションの制作と展示方式を探ることを目的とする．展示られる．鑑賞者が選択し続けることで，さらに前のフレーにおいては，鑑賞者は常に現在を代表する存在であるが，ムが割り当てられる．このセグメント化された映像の遅延

そこに置かれる目に見えない時間の蓄積を伴うものが空間を基本構成として，映像インスタレーションとして展示形である．この時間とともにある空間をリアルタイムに記録

態の実験を２種類行った．

†1 立命館大学映像研究科†2 立命館大学映像学部© 2020 Information Processing Society of Japan373

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-52
2020/3/9分割(16×16 分割)して，スクリーンに投影した（図 3）．
Kinect は鑑賞者の左手の動きを認知し，対応する位置に赤い長方形を画面上に描く．Kinect の前に立て，画面上の長方形も鑑賞者の左手の動きに合わせて動く．この赤い長方形は鑑賞者が触っているところを表示して，触られた映像の部分は 1 秒の遅延になる（図 4）．触れ続けた場合は 1 秒ずつ遅延が加算され，現状のシステムでは最大で 10 秒まで遅延する．

図 1：セグメント化されたスクリーンへのインタラクシ
ョンによって，映像の遅延を発生させる
3.2 展示実験１について
第１回目の展示実験は，東山いきいき市民センターの交流スペース（京都市）の窓がある場所で行った(図２）．カメラが撮っている外の景色の映像はプログラミングで遅延して，室内の展示場の壁に投影する．Kinect で鑑賞者の動図 3：鑑賞者が体験している様子

きを取り，鑑賞者の手の座標に対応したセグメントが遅延していくこととした．窓のある場所を選択した理由は，どんな先端的な機材でも，録画という媒介は必ず遅延があり，窓を通して見る景色に現在の時間としたからである．そのため効果がわかりやすいように，窓の周りにスクリーンを用意した．

図 4：システム運行中の画面．赤い長方形は鑑賞者が触っているところを表示し，手の動きに合わせて動く．
3.3 展示実験 2 について
1 回目の展示後，システム精度の欠点を改良するため，第 2 回の展示を行った．今回は 1 回目の展示を反転して，異なった展示で行う．映像に投影する大きい幕の真中に現実を見せる小さい窓を設置するのではなく，小さいスクリ
図 2：展示実験１ーンを空間の中に設置することで，2 回目の展示を行った．
（図 5）これはベルギー籍の画家ルネ．マグリットの作品

展示スペースの壁は外向きの大きい窓があり，黒幕に白『The Promenades of Euclid』[6]の概念を参考させ，窓の周紙を貼ったものをスクリーンとした．ワイヤレスカメラでりに投影するではなく，録画している映像をスクリーンで外の景色を撮り，撮影している映像を四角形にセグメント窓の手前に置くことになった．

© 2020 Information Processing Society of Japan374

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-52
2020/3/9

システム方面，Kinect とワイヤレスカメラの組合の代わ

形は鑑賞者が触っているところに合わせて動き，画面が触りに，幕に投影するではなく，タッチディスプレイを映像れたことを表す．触れたところは遅延になり，画面上の時を映す媒体に使用した．キネクトで鑑賞者の動きを取るで間が観賞者の動きによる異なりになる．

はなく，鑑賞者はディスプレイを触り，触ったところの映像の時間を遅延させるという仕組みで，2 回目の展示を行うことである．

図 7：展示中の画面．赤い長方形は鑑賞者が触っているところを示す

4. 考察
4.1 アンケートの結果
二回目の展示でアンケート調査を行い，このアンケート
図 5：第二回展示概要図

はタッチパネルを触わることで，空間と時間の操作できると感じたかどうか，目の前の空間を意識させる映像を見る

第二回の展示は立命館大学（京都市）の作品展示会で行と感じたどうか，スクリーン内の映像と目の前や周りの景った．展示場所は，景色の多い変化を得るため，カメラは色を比較することはできたかどうかについて質問した．

室内に向け，ディスプレイの後ろではなく，鑑賞者と装置タッチパネルを触わることで，操作できると感じた鑑賞も含めて全体の展示空間を撮ることとした．鑑賞者は自分

者は時間も空間も多かったが，時間は操作できると感じたの動きや，他の作品とその作品を体験している参加者の行

鑑賞者は空間の方より多い，また，空間は操作できたとあ動，展示場という空間で発生している様子を映像内で操作

まり感じてなかった鑑賞者は四分の一に超えた．（図 8）できることになる．

タッチパネルを触わることで、「空間は操作できる」と感じたか？
タッチパネルを触わることで、「時間は操作できる」と感じたか？

よくできた

0%
5.88%
58.82%できたあまり〜

23.53%なかった

5.88%

〜なかった

図 6：展示実験２での設置の様子

76.47%

17.64%
11.60%

0.00% 20.00% 40.00% 60.00% 80.00% 100.00%
図 8：タッチパネルを触わることで，展示中でのスクリーン画面は（図 7）の通り，赤い長方© 2020 Information Processing Society of Japan

空間と時間の操作できると感じたか375

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-52
2020/3/9

タッチパネルを触って，目の前の空間を意識させる映像

4.2 課題を見ると，感じたかどうかのアンケートについては，四分本研究で時間と空間と観賞者の関係を明らかにし，映像の一の鑑賞者はよくできたと感じた．できた鑑賞者も七割

作品の新しい展示方式を探ることを目的として，二回の展に近い，90％以上の鑑賞者は目の前の空間を意識しながら示で異なった方式を行った．結果から見ると，鑑賞者の身映像の体験を行った．（図 9）

長や作品を鑑賞する位置に関わり，映像と空間の展示的な整合性が課題となった．VR グラスなど用いることも検討したいが，我々人間の肉体が存在しているこの現実空間の重タッチパネルを触って，「⽬の前の空間を要性も無視できないため，映像，空間と人間の関係を含め意識させる映像を⾒る」と，感じたか？

た展示設計を重ねていく必要がある．

よくできた

25%

できた

5. おわりに

68.75%

本研究は空間，映像の時間性に着目し，スクリーンと投あまり〜… 6.25%〜なかった

影両種類の映像放映方式で，映像とそれを展示する空間の0%0%関係，また，この両者は鑑賞者に感じることについて実際20%40%60%80%に展示で実験を行った．一般向けの展示会と学内展示会で

図 9：タッチパネルを触って，「目の前の空間を映像インスタレーションを体験，アンケート調査を行った．

意識させる映像を見る」と，感じたかインタラクティブな時間操作による時間と空間の操作できることに対する感じは良い結果が得られた．引き続き，映だが，体験の過程中，スクリーン内の映像と目の前や周りの景色を比較することはできたかどうかについての質問
中，あまりできなかったという回答数は 12.5%に上昇し，よくできたという回答数も半分に減少した．（図 10）

体験の過程中，スクリーン内の映像と目の前や周りの景色を比較することはできたか？
よくできた像の展示方式によって鑑賞者の感覚，また，拡張された現実としてメディアアートへの応用が課題である．

参考文献
[1]
[2]

[3]

12.50%

[4]

できた

75%

[5]

あまり〜… 12.50%
0%

〜なかった
0%

20%

40%

60%

80%

[6]

図 10：体験過程中，スクリーン内の映像と目の前や周りの景色を比較することはできたか[7]

松本俊夫,『Shift』,1982
岩井俊雄, 『Another Time, Another Space』, 1993,https://www.ntticc.or.jp/ja/archive/works/another-time-anotherspace/, （2019 年 12 月 13 日取得）
岩井俊雄, 2002,『マシュマロモニター』,〈https://www.ntticc.or.jp/ja/archive/works/marshmallowmonitor/〉,（2019 年 12 月 13 日取得）
Cassinelli, Alvaro, and Masatoshi Ishikawa. "Khronos projector."
ACM SIGGRAPH 2005 Emerging technologies. ACM, 2005.
井藤 雄一,ストーンカール,浦正広,山田雅之,宮崎慎也，
2013,「データモッシングに基づく動画の表現と制御手法」 ,37.17 巻, p. 39-42,映像情報メディア学会技術報
告,2013
井藤 雄一,ストーン カール,浦正広,山田雅之,宮崎慎也，
2013,「Web カメラの入力を用いたリアルタイムデータモッ
シングの表現手法」, 67 巻 11 号, p. J413-J416, 映像情報メデ
ィア学会誌,2013
René Magritte,『The Promenades of Euclid』, 1955

アンケート調査の結果から見ると，空間より時間の操作はよりよく感じた理由は，鑑賞者はタッチパネルを触ると映像の時間がすぐに戻り，効果は顕著だという理由に考えられる．多数の鑑賞者は展示する空間を意識しながら体験したが，空間の中で変化の発生が少ない時，或いは変化が起こってないところは触っても変化がない．また，カメラ一部で撮れる範囲は限られ，鑑賞者が居る展示の空間はより大きくて，操作できる範囲が足りなかった．その原因で，空間の操作は顕著な効果が出なかったと考えられる．

© 2020 Information Processing Society of Japan376