WISS 2016

IllumiFrame: 錯視図形を用いた額縁型音楽動画体験拡張システム
福地 翼*

又吉 康綱*

松井 啓司*

中村 聡史*

概要．動画共有サイトの普及により，膨大な高品質の動画を視聴できるようになってきた．しかし，視聴体験の質は向上していても視聴体験を拡張するまでには至っておらず，同じ動画を何度も視聴するうちに動画に対して物足りなさを感じてしまうという人も多数存在している．そこで我々は，音楽動画の視聴体験を拡張することを目的とした手法を提案する．具体的には，音楽動画の縁部分に対し，その音楽動画の特徴を反映したエフェクトに加え，錯覚を引き起こす「錯視図形」を提示することで視聴体験の拡張を目指す．本稿では，提案手法のプロトタイプ実装の概要と今後の展開について述べる．

1

はじめに

YouTube やニコニコ動画に代表される動画共有サイトの普及により，映像コンテンツに触れる機会が増え，映像コンテンツを手軽に楽しめるようになってきた．特に，音楽動画はボーカロイドの登場や動画編集や作曲の敷居が下がったことで著しく増加していると言える．一方で，コンテンツが豊富になったことで廃れていく音楽動画も増加している．
こういった何度も視聴していく中で楽しみが薄れ，廃れてしまった音楽動画の新たな面白さの発見につながる視聴環境を提供することで同一の音楽動画をより長い期間楽しむことができると考える．
映像コンテンツの視聴体験拡張を目的とした研究は多数存在する．IllumiRoom[1]や松井ら[2]の研究では，映像コンテンツの周辺にエフェクトを提示することで，エフェクト提示による視聴の阻害の抑制しつつ映像コンテンツの印象を変化させることに成功している．しかし，これまでの手法は周辺に提示するエフェクトが意味をもつものであり，応用が容易ではないことから，我々は錯覚現象の「実際とは異なる知覚をもたらす」という特性を利用して動画の周囲に錯視図形を提示することで視聴体験を拡張する手法を実現してきた[3]．また実験により，この手法により映像コンテンツの周辺に錯視図形を提示することでユーザの映像コンテンツに対する印象・知覚が変化することが明らかになった．
そこで本稿では，過去の研究[1][2]により明らかにされている「映像コンテンツの周囲に動画の特徴を考慮したエフェクトを提示する」という手法と，我々の研究[3]により明らかにした「錯視図形提示による映像コンテンツの印象変化」を組み合わせ，また音楽動画の理解技術をもとに連動したエフェクトを付与可能とすることにより，膨大なコンテンツに対して様々な楽しみを実現する．

2

システム概要本システムは音楽動画に直接加工を施さずに視聴体験の拡張を目指すため，音楽動画の周囲に対して錯視図形の提示を行う．
先行調査では錯視図形を提示する際に映像コンテンツを表示できる最大サイズより小さく提示し，生まれた余白（縁）部分に対して錯視図形の提示を行うことで実装した．これによって，システムの提示をディスプレイ内で済ますことができるようになったが，その一方で，映像コンテンツの提示領域が減少することが問題と考えられた．また，余白部分の色に動画と同系統の色を使用した場合に錯視効果が大きい傾向が見られた．このことを顧慮し，本シス
テムではシステム提示を行う余白部分に動画の特徴を反映したエフェクトの提示を行うことで，余白を生み出すために損なわれた表示できる最大サイズの音楽動画との差を補完することを狙う．
また，あらかじめ音楽動画の特徴を考慮し，エフェクトを作成する手間を軽減するため視聴する音楽

Copyright is held by the author(s).
* 明治大学 総合数理学部 先端メディアサイエンス学科
図 1．余白に輝度を下げた動画を提示した様子

WISS 2016

動画の輝度を落とした映像を図 1 のように視聴する
音楽動画の背景に提示したものをエフェクトとした．

図 2．グリッド錯視の例
次に，音楽動画の周囲へ提示する錯視図形について，先行調査[3]では 4 つの錯視図形について調査を行っていた．この中でグリッド錯視（格子図形を歪ませることで奥行や大きさに対して錯覚をもたらす錯視図形）が多くの印象・知覚項目に対して変化が見られ，音楽動画において複数の印象・知覚を柔軟に表現することが可能になるなど最も応用可能性が高かったため，グリッド錯視を本システムで採用する．
このグリッドの動きに意味をもたせるため，音楽の特徴を考慮する．具体的には，音楽のビートに合わせて錯視効果（奥行など）の度合いを変化させ，リズムを刻むように動作するようにする．また，グリッドのストロークの色については，音楽のパート（A メロ，B メロ，サビなど）によって色が変化するものとしており，サビ部分など盛り上がる部分では錯視図形の動きを大きくする．
実際のシステムとしては，最前面に視聴する音楽動画を配置し，最背面には元の音楽動画の輝度を落とし，サイズを大きくした映像を配置し，その 2 つの中間に錯視エフェクトを配置するという 3 段のレイヤに分かれた構造となっている．の最大サイズに合わせた動画の上に半透明なキャンバスを用意し，そのキャンバスの色と透過度を変えることで実装している．
次に，音楽に合わせて動作と色を変化させる錯視エフェクトについては Songle API を利用して視聴する音楽動画の BPM とパート構成を取得し，その情報をもとに錯視エフェクトの描画を行っている．
また，現状では錯視エフェクトのストロークの色はパートごとにシステム利用者が編集・作成を行うことができるようになっており，変更内容を保存することが可能となっている．

4

まとめと今後の展望

本稿では，従来の視聴体験拡張に関する手法と先行調査によって印象変化に効果の見られた錯視図形を組み合わせ，さらに音楽理解技術を取り入れ，提示する錯視図形を動的かつ音楽に合わせて動作させるようにすることで音楽動画における視聴体験拡張手法の提案と実装を行った．
本システムを明治大学のオープンキャンパスにおいて実施したところ，「面白い」や「飽きない」といった肯定的な意見が多く得られた．その一方で，「見ていると疲れる」や「酔う」といった意見も見られたため，その点については今後改善を行っていく．
また，今回使用した錯視図形（グリッド錯視）以外にもさまざまな種類の錯視図形を実装して欲しいという意見があっため今後追加予定である．さらに，システムを改良したのち，実験協力者を募り，システムの有用性について音楽動画に対する印象変化やエフェクト提示による疲労感といった側面から検証を行う予定である．

謝辞
本研究の一部は JST CREST および JST ACCELの支援を受けたものである．
参考文献[1] Brett R. Jones, Hrvoje Benko，Eyal Ofek, Andres
D. Wilson: IllumiRoom:

peripheral

projected

illusion for interactive experiences,Proc. of CHI

図３．錯視を適用した例

3実装

提案システムは Web 上で動作するものとなっており，実装には JavaScript と Processing.js を使用して実装している．背景エフェクトとなる輝度を落とした音楽動画については，サイズをディスプレイ

2013, pp.869-878, (2013).
[2] 松井啓司, 中村聡史, 大島遼:周辺視へのエフェクト
提 示 に よ る 動 画 視 聴 体 験 拡 張 , Entertainment
Computing 2015 (2015).
[3] 福地翼，松井啓司，中村聡史: 周辺視への錯視図形提示によるコンテンツ視聴手法の提案，情報処理学会
ヒューマンコンピュータインタラクション研究会(2016)．