Mind Studio：撮影者の生体情報を用いたリプレイ自動生成システムの試作
中村亮太；

市村 哲；

東京工科大学大学院

1．はじめに

松下 温；
工学研究科

３．リプレイ映像効果

近年、ディジタルビデオカメラやキャプチャー編集時において、並び替えられた映像にメリハカードなどが普及し、今後個人による映像制作・リや豊かさを与えるために映像効果が導入される配信が盛んに行われることが予想される。著者らことが多い。特にリプレイはスポーツ中継で多用

は、個人が撮影した映像を魅力ある映像に自動編されている映像効果である。この映像表現は重要集する技術について研究を行っている。本稿では、なシーンなどを繰り返し再生することでそのイベスポーツ中継で多用されているリプレイの有効性ントを強調させ、また視聴者に分かりやすく伝えに着目し、この映像効果を個人撮影映像に適用するのに非常に有効である。このように、リプレイることを考え、リプレイ自動生成システム

映像効果は個人撮影映像（特にスポーツ）に対しMindStudio の試作を試みた[1]。MindStudio は脳ても容易に魅力ある映像に作り変える手法の一つ

波の特徴変化により重要シーンを自動検出し、スであると考え、リプレイ映像の自動生成を試みた。

ポーツ中継から得られた知識を用いてリプレイを自動生成・挿入するシステムである。
２．背景

４．システム構成
自動システム

撮影者

個人映像制作において、民生用ビデオ機器が日々高画質・多機能化しているにも拘らず、映像カメラ撮影重要度算出

コンテンツとしての完成度は依然向上していないのが現状である。その要因のひとつは映像の編集

脳波測定

撮影日時情報

動画編集

脳波分析

ツール

方法にあると考えられる。編集は内容を整理し、ストーリーを見る人へ分かりやすく、また面白く伝えるための重要な作業であり、テレビ番組制作者のような長年の経験によって培われた知識が必図 1．Mind Studio システム概要
Mind Studio の主な機能要である。個人がこのような技術を身に付けるこ・撮影映像中の重要なシーンを自動検出とも、実際行うこともかなり負担が大きい。この・抽出されたシーンを自動リプレイ化

編集作業の効率化・自動化を実現するために従来、4.1 重要シーンの検出

色情報、動き情報、形状情報、テクスチャ情報な

著者らは、あるシーンが重要か否かの判断は人どの画像の特徴量や周波数、音声情報などの音の間の感性及び感情による部分が大きいと考えた。

特徴量を用いて映像を構造化する手法が研究され人間は、人や景色の変化などの視覚的刺激およびてきた。しかし、これらの多くは、対象とする映心理的影響受けることにより無意識的に生体変化像に特化した処理を行うことで映像の意味内容をを起こすといわれている。そこで脳波による特徴抽出するものであり、ある程度映像の特性に依存変化に着目し、重要シーンとの関連性を見出した。

してしまうことは避けられない。したがって、個

一般に脳波の 14〜30 以上[Hz]成分であるβ波は速人撮影映像のように映像が構造化されていないも波と呼ばれ、意識レベルの高い状態や興奮した状のに従来の手法を適用することは困難であると考態のときに現れることが報告されている。また、えられる。また、従来の研究は映像要約が中心でこの現象は、α減衰とも呼ばれる[1]。年齢、意識あり、魅力的な映像を作り上げるために映像効果レベル、外界からの刺激などによって影響されるを導入するといった映像の自動編集に関する研究ため、はっきり脳波と精神状態の関係を決めるこは極めて少ない。とは困難であるが、おおよその心理状態を判定でMind Studio：A System for Automatic Replay Creation Using EEG
Ryota Nakamura; Satoshi Ichimura; Yutaka Matsushita

Graduate school of engineering, Tokyo University of Technologyきる。今回、我々が用いた脳波測定器（Mind Force）は、ヘッドバンド型の非常に小型かつ軽量なものであり、またワイヤレスでデータの送信を行えるため携帯性に優れている。また、着脱も数秒で行え、脳波測定者の自由度は大きい。各研究機関や大学で、リラクゼーションやコミュニケーションなどの研究が行われている。
4.2 リプレイ生成
重要なシーンをリプレイとして映像に挿入する
際、どのようなタイミング・表現を用いて行うかが重要となる。そこで著者らは重要なシーンをリプレイ化する過程に NBA(アメリカプロバスケットボールリーグ)中継で用いられている映像技法を分析し、知識を獲得した。

タイムストップ

試合経過

動画編集作業中の画面

本システムでのリプレイ映像生成の過程を時間軸
試合経過

図 3．MindStudio

以下に示す。
タイムストップ①

試合経過①撮影者は、脳波計を装着し、ビデオ撮影と脳波測定を同時に行う。
②DV テープに映像と共に記録されている撮影日時② ③
補助映像情報を分析し、撮影一時停止時刻とそのファイルリプレイシーン名をデータベースに登録する。

図2．ＮＢＡの映像構成①タイムストップ平均時間(27.9 秒) ②リプレイ平均時間（10.4 秒）③リプレイ平均待ち時間(9.8 秒)リプレイ平均頻度数(41.2 回 / 試合）
補助映像：リプレイシーンに関連した④各抽出シーンの重要度を脳波の特徴変化量・NBAの設計データを動画編集ツールへ送る。

・重要シーン発生からタイムストップまでの時間⑤動画編集ツールによって送られてきた各データを・重要シーンの持続時間 ・タイムストップ持続時間など

NBA のリプレイ映像表現は、スローモーションや多視点アングルなど様々なパターンがあり、非常に効果的なリプレイ映像の適用を行っている。
映像構成において、バスケットボールのように試合中に何度もタイムストップする模様は、普段私たちがビデオカメラで撮影している状況に似ている。実際に個人が撮影した映像を見ると、固定カメラによる長時間の連続撮影映像を除いて、ハンディカメラなどで撮影された映像のほとんどは、細切れの映像になっていることが多いことに気付く。これは多くの個人撮影者がイベントに対してすべてを連続的に撮影する必要はないと考え、断続的に撮影を行うために起こる。したがって撮影が一時中断された時を NBA でいうタイムストップとみなし、重要シーンのリプレイ映像を挿入するタイミングと考えた。

要シーンとし、その時刻を抽出・登録する。の分析パラメータより算出する。最適な映像構成＜その他のパラメータ＞

・カメラアングルの選択 ・スローモーション方法③脳波データを分析し、特徴変化があった箇所を重時間軸上並べ、動画ファイルを編集する。

５．まとめ
リプレイ映像を自動的に生成するシステム
MindStudio を提案した。本システムを用いることで自動的に重要シーンを検出し、リプレイ映像を生成することが可能となった。これにより単調であった個人撮影映像にリズムを与え、重要シーンの強調という面白みを加えることができた。今後さらなる自動映像編集について検討していく予定である。
６．参考文献[1] 宮田洋

八木昭宏

他：“現代心理学シリーズ２,6”脳と心”“知覚と認知“倍風館 ,1996[2] 中村亮太,市村 哲,松下 温：スポーツ中継の知識を用いた多視点リプレイ自動生成システム GN-49-22（2003）