情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A59
2015/3/5

映像における特徴シーン自動検出とインタラクション自動付加システムの検討と開発
丹生谷 祐一郎†1	  	  串山 久美子†2	  	  馬場 哲晃†2	 	  	 概要：近年，プロジェクションマッピングや体験型シアターである４DX システムを利用し、映像にインタラクションを付加することによってより臨場感のある映像表現が可能となっている．しかし、映像の臨場感を家庭でも簡易に楽しめるシステムは少ない． 本研究では openframeworks と Arduino を用いてユーザが用意した映像を検知し、特徴的なシーンに合わせて温度や振動などを自動で制御し呈示することで、映像の臨場感やエンターテイメント性を付加できるシステムを提案する.

The Automatic Detection of the Characteristic Scene in the Pictureand Examination and Development of the Interaction Automatic
Addition SystemYUICHIROU NYUNOYA†1	  KUMIKO KUSHIYAMA†2	  	 TETSUAKI BABA†2	  	 	  	 Abstract: In late years, using the 4DX system which is projection mapping and an experience-based theater, picture expression
with a sense of reality is enabled more by adding an interaction to a picture. However, there are few systems which can enjoy asense of reality of the picture easily at the home. I detect the picture which a user prepared using openframeworks and Arduino inthis study and suggest the system which can add sense of reality and entertainment characteristics of the picture to thecharacteristic scene in what it is automatic and controls temperature or vibration in total and exhibits.

1. は じ め にンクし，前後上下左右へ稼働する．また，風，水（ミスト），香り，煙りなど，各種演出も体感できるアトラクション効	  近年，映画館をはじめとしたアミューズメント施設では，果も搭載している．本研究ではこのシステムを簡易的なもエンターテイメントコンテンツの一つとして，体験型シアのにするため，触覚呈示を最低限にしぼる予定である．シ

ターである 4DX システムやプロジェクションマッピング

ーン検出システムについては，多くの方法が研究されていなどの映像とインタラクションを掛け合わせた作品[1]をる[2]．しかし本研究では，特徴シーン検出と同時にインタ多く取り扱っている．しかしそういったコンテンツを制作ラクションを付加するシステムとするため，独自の検出シするためにはかなりのコストと専門の知識，高価な機器がステムを提案し実装する． また高価な機器や技能を必要と必要になるのが現状である．	  その一方で映像やインタラする映像制作を，簡単かつ安価に制作することのできるシクションコンテンツを制作したいという需要は増している．

ステム開発の例として，鹿児島大学と京都産業大学の古川	  そこで本研究では簡易的にインタラクティブ映像の一種

らは，Kinect を利用した簡易 3D アニメーション制作シスである超臨場感映像を制作できるシステムを FFT 解析情テム[3]を提案している．

報を用いた動画のシーンの検出によって抽出し、シーンに合わせた触覚呈示提案することで，家庭でも楽しめるよう

3. 簡 易 超 臨 場 感 映 像 シ ス テ ム の 提 案

な映像の臨場感やエンターテイメント性を高めコンテンツ

3.1 概 要を楽しむことができる事を目指す．

本稿では簡易的なインタラクティブ映像制作の手法として，

2. 関 連 研 究 ・ 作 品	  3D のその先「体感型（4D）」を演出するための最新劇場
上映 4DX システムでは，座席が作品中のシーンと完璧にリ†1 首都大学東京 システムデザイン学部
Faculty of System Design Tokyo Metropolitan University†2 首都大学東京 システムデザイン研究科
Graduate School of System Design Tokyo Metropolitan University© 2015 Information Processing Society of Japan

簡易超臨場感映像システムを提案する．
本システムを使用する流れを以下に示す．
①	  ユーザが任意に用意，または制作した映像ファイルを本システムに認識させる．
②	  動画内の特徴的シーンを自動で検出．（RGB 値と音声の FFT 解析情報[4]を用いた独自の検出方法を使用）③	  検出したシーンに合わせた触覚呈示をデバイスで行う

379

3.2 シ ス テ ム の 設 計 に つ い て本システムでは，動画のシーン検出に openframeworks，触覚呈示のデバイスとして Arduino を使用する．また今回のシーン検出のシステムでは，音声を FFT 解析による音声の特徴分析と，動画内のピクセルから RGB 値を取得し全体の値を平均化しその値の１フレームごとの変化を分析し，特徴シーンの定義付けを行う．（図１）
現在はこの検出システムと Arduino をシリアル通信によって連動させるプログラムを製作している．	  図２	  システムイメージ
3.3 検 出 シ ス テ ム に つ い て	  映像における特徴的なシーンの定義付けについて，本シ
ステムでは独自の方法を提案している．現在はこの特徴的なシーンについて，「爆発，炎，雪，水」などの温度や振動を連想させるシーンを特定できるように定義付けのためのデータを収集している．今後は特定できるシーンの数を増やしていく事を考えている．	  また触覚呈示を行うためのデバイスには，温冷呈示にペルチェ素子[5]，振動呈示には振動モータを使用する．本シ
図１	  RGB モニタ（１F ごとの RGB それぞれの値の平均

ステムの目的は自動でインタラクションを付加する手法を値をモニタリングするシステム）提案する事にあるので，実際のインタラクション（触覚呈示）については最小限の要素に絞って制作している．	  図１の右上に表示されている長方形が，表示されている動画の現在のフレームにおける RGB それぞれの数値を表

4. 今 後 の 課 題示している．また画面下側にはそれぞれの値の変化を観察	  現在は検出システムと触覚呈示デバイス双方の改善と，するため線グラフを動画の進行と平行して更新しながら表シリアル通信システムの制作中だが，今後このシステムを示させている．また現在はこの二つに加えて音声情報を使った評価実験を行いより具体的なデータを用いて検出シ

FFT 解析し，グラフとして表示させるプログラムを実装さーンの定義付けと触覚呈示の関連付けを行う事が必要となせている．この三つの情報をもとに特徴シーンの定義付けると考えられる．

を行う．
また図 2 のインタラクション呈示用デバイスの具体的な形としては現在，スマートフォンやコントローラーのような手で触れる形のもの，または椅子や机に取り付けられるような形のものを想定している．あくまで家庭でも楽しめるような規模のものを想定し，高価でなく扱いに専門の知識を必要としないデバイスを製作する．

© 2015 Information Processing Society of Japan

参考文献
1) 4DX システム｜コロナワールド，シネマサンシャイン
http://www.4dx.korona.co.jp/
http://www.cinemasunshine.co.jp/4dx/about/2) 藤吉 弘亘，村井 陽介：動き特徴に基づくシーン解析に関する研究：2008 年度修士論文
3) 古川 真行，赤木 康宏，河合 由起子，川崎 洋：
Kinect を用いた簡易 3D アニメーション制作システムの提案：情報処理学会 インタラクション 2014 /A0-64) 東 恒人，島田 恭宏，島田 英之，大倉 充，野中 亮宏：
FFT 成分を用いた波形の定式化（研究速報）
5)馬場 哲晃 ，笠松 慶子， 土井 幸輝， 串山 久美子，温冷呈示を利用したビデオゲームインタラクションにおける手法の検討と開発， 情報処理学会論文誌 53(3),	 1082-1091,	 2012-03-15

380