CONCERT VIEWING HEADPHONES:
音と映像によるコンサート鑑賞インタフェース
宮下佐和子†
浜中厚田和也†雅俊†

李宇佐美敦志†昇姫‡

本稿では，プロジェクタ，方位センサ，仰角センサ，距離センサを搭載したヘッドフォン
CONCERT VIEWING HEADPHONES について述べる．従来のライブ映像は，カメラの撮影範囲が狭く，ライブの一部分のみしか見ることができず，自分が見たいときに特定の奏者の演奏を見るということはできなかった．これに対し CONCERT VIEWING HEADPHONES ではユーザが左右に頭を動かしたり，耳に手をかざす動作に応じて，プロジェクタから出力される映像とヘッドフォンから出力される音を変化させることを可能にする．

CONCERT VIEWING HEADPHONES:An Audiovisual Interface for Concert Viewing
SAWAKO MIYASHITA†KAZUYA ATSUTA‡MASATOSHI HAMANAKA†

ATSUSHI USAMI†SEUNGHEE LEE††

In this paper, we describe a headphone called CONCERT VIEWING HEADPHONES which equipped with aprojector, a compass sensor, an elevation sensor, and the distance sensor. Usually, music live video image istaken within the narrow range, and the range where the image can be seen is a part of a music live stage.
Therefore a user was not able to see the performance of the specific player when the user wants to see. TheCONCERT VIEWING HEADPHONES detects operation that the user moves his head toward right and left, andprick up his ears by the user cups his hands beside ears, and the system switches the sound and the image
output from headphone and projector.

1. はじめにることができる．映像と同様に音源も，頭の向きや手と耳との距離に応じて，ミキシング（複数音源の混合

本稿では，プロジェクタを搭載したヘッドフォン比）を変更する．したがって，コンサートの映像を使CONCERT VIEWING HEADPHONES について述べる．

用した場合，頭を左右上下に動かしたり，手を耳に近CONCERT VIEWING HEADPHONES は広い画角で撮づけたりすることで，自分がそのとき見たい演奏者を影された映像および様々な位置で録音した音源から，探しながら楽しむことが可能である．

人間が音を聴くときの直感的な動きにより，映像や音従来の DVD などで市販されているライブ映像は，源を選択的に再生することを可能とする．具体的には，画角の狭い通常のカメラで撮影されていたため，ステヘッドフォンに搭載された方位センサと傾斜センサにージの一部しか撮影されていなかった．本研究ではスより頭の向きを検出し，向いている方向に応じてヘッテージ全体を撮影するために，広い画角の映像が得ら

ドフォンに搭載したプロジェクタから出力される映像れる円周魚眼レンズを用いて撮影する．円周魚眼レンを切り替えることができる．また距離センサにより，ズとは，180°の画角の映像を円形に投影することの耳に手をかざし音を注聴するポーズをとると，手と耳できるカメラレンズで，中心の画像は歪みが少ないがとの距離に応じて現在見ている映像を拡大して表示す周辺部の画像は歪みが大きいという特徴がある．

† 筑波大学 大学院 システム情報工学研究科て，その一部を平面ディスプレイに表示して見渡すこ従来，魚眼レンズ等を用いて球面パノラマを生成しUniversity of Tsukuba, Graduate School of Systems andInformation Engineering‡筑波大学 大学院 人間総合科学研究科
University of Tsukuba, Graduate School of CHSとのできるシステムとして，CubicVR1)という技術があったが，CubicVR はマウス操作でディスプレイ上の映像を回転する必要があり，長時間使用すると疲労情報処理学会 インタラクション 2011するという問題があった．そこで我々は，方位センサ位角に対応した映像を切り取り，プロジェクタに出力と傾斜センサを搭載したヘッドフォンを用い，頭部のする．また，切り取った映像にあわせて，その映像中方向に応じて映像を切り替えることで直感的な操作をにある仮想マイクの音をミキシングして出力する．

可能にした．

2.1

映像処理機能CONCERT VIEWING HEADPHONES では映像にあ

映像処理機能は，ユーザの頭部の変化により映像をわせて音源のミキシングも変更する．従来の DVD な

変化させる視野画像切り出し部，プロジェクタ用の映どのライブ映像の音量バランスは，予めミックスダウ像に変形する台形補正部，プロジェクタによって壁にンされていたため，自分の聴きたい演奏者の音を選択投影する出力部からなる．

的に聴くことはできなかった．一方，頭部の方向に応じてミキシングを変更する Sound Scope Headphones2)

視野画像切り出し部というシステムが提案されていたが ，Sound Scope

仰角Headphones では映像については扱っていなかった．

方位角

手との距離

本研究では魚眼カメラでの撮影とともに，ステージの様々な箇所にマイクを設置することで，表示されている映像の中の複数箇所で録音した音源を用意する．このとき，マイクは映像上のあらゆる点に用意するのが理想であるが，それは現実的には困難で，マイクの無い位置の映像が表示されたときに，どのようにミキシングするのかが問題となる．本研究では，各演奏者の台形補正部

位置に仮想のマイクがあると考え，その仮想マイクの画面上の位置と画面の中心との距離に基づき，ミキシングすることで映像に対応した音を出力できるようにした．

プロジェクタ出力部

3軸加速度センサ

距離センサ

図2 映像処理機能の全体の流れ

視野画像切り出し部：方位センサと傾斜センサからユーザの頭部の仰角と方位角を検出し，それに対応した
図1 CONCERT VIEWING HEADPHONES

ステージ上の箇所の周辺を中心に，魚眼レンズの映像

魚眼カメラおよび 37 台のマイクを用いてコンサーの歪みを補正し，標準レンズ映像に変換した画像を切トを記録し，システムを動作させた結果，ユーザは自り取る．また，距離センサに手をかざし，耳をすます

分の聴きたい演奏者を探しながらコンサートの映像お動作をとることによって，切り取られた映像がズームよび音を楽しむことができた．

され，さらに詳細な範囲の映像が表示される．ズーム

2. CONCERT VIEWING HEADPHONESの倍率は，手と距離センサとの距離に比例する．
台形補正部：ユーザが左右を向きステージの端を写す

方位センサと傾斜センサ，距離センサを搭載した

場合，プロジェクタを傾けて壁に投影することになる．

CONCERT VIEWING HEADPHONES は，映像処理機

このようにして投影された映像は，正面で投影したと能と音源処理機能の二つから構成される．方位センサ

きよりも拡大・縮小され，台形になるため，台形歪みと傾斜センサによりユーザの頭部の仰角と方位角を検と呼ばれる．本研究ではプロジェクタを傾けて投影し出する．そして魚眼カメラの映像から，その仰角，方た場合も映像が変形しないように，仰角・方位角に応Head Mount Projector: 音と映像によるコンサート鑑賞インタフェース

じて映像の処理を行う．具体的には，台形歪みと逆方理想的であるが，数十人から百人近くまで及ぶオーケ向に歪みを加える処理を行う．このとき，方位センサストラ等においては全員に取り付けることは現実的でと傾斜センサの情報から投影距離を算出し，正面でのはなく，音源データも膨大になる．そこで，楽曲のパ投影距離と比較することによって映像の拡大・縮小率

ート数分のマイクにより録音することにする．つまり，を決定する．

同じパートを複数の演奏者が演奏する場合には，その元の画像

プロジェクタうち 1 名にマイクを取り付ける．マイクを取り付けなかった演奏者に関しては，その演奏者から距離の近いマイクの音源を距離に応じてミックスしたものを仮想マイクとし，各演奏者のミキシング比率をコントロー

スクリーン
本来の長さよりも縮小される本来の長さよりも拡大されるルするのに用いることにする．
投影される画像
仮想マイク生成部

図3 プロジェクタを傾けたときの投影

マイクなし

マイクあり

マイクあり

出力部：映像をプロジェクタに出力する．平面のスクリーンに 180°にわたる画像をすべて表示すると，視仮想マイク

覚的に不自然となるため，屋内で使用することを前提として，正面だけではなく左右の壁を利用して映像を距離算出部
ユーザ視野投影する．

演奏音

左右の壁に映す場合，角を超えて映像を撮影すると中心中心からの距離台形補正が各壁に対応した変形に切り替わる．
CONCERT VIEWING HEADPHONES では，使用前に左右の角に向けてスイッチを押し，角までの角度をキ

音源ミックス部
演奏音1ャリブレーションする．例えば，左の角を超えた場合，プロジェクタを右端に向けたときの台形補正に切り替

ミックス
演奏音2

わる．

壁図5 音源ミックス機能の全体の流れ

距離算出部：魚眼カメラで撮影した映像を切り出した
ユーザ視野の中心から演奏者までの距離をもとに演奏

正面 モード者毎のミキシング比率を求める．距離の算出方法は魚眼カメラで撮影した映像の座標系における現在のユー
左モード

右モード

ザ視野および各演奏者の位置から算出する．
音源ミックス部：距離算出部で求めた位置情報より現在のユーザ視野内に各演奏者がいるかどうか判定する．

ユーザ位置

視野外の演奏者については演奏音に対するミキシング比率を 0 としてミュートにする．視野内の奏者につい

図4 角度情報による壁のモード切り替え

2.2

音源ミックス機能ては視野中心に近い演奏者の音ほど強調されるように，距離算出部で求めた距離が小さいほどミキシング比率

音源ミックス機能は，マイクを取り付けなかった演奏が大きくなるような関数を設定してその比率を求める．

者に対して行う仮想マイク生成部，ユーザ視野中心からそして各演奏音に求めた比率を掛け，それらを足し合

各演奏者の距離を求める距離算出部，ヘッドフォンからわせたものを最終的なヘッドフォンからの出力とする．

出力する音を決定する音源ミックス部からなる．

ミキシング比率算出の関数は図 6 に示す 5 種類を用意

仮想マイク生成部：本システムではステージ上の各演し，3 節の評価実験でそれらを比較・評価した．図中

奏者の演奏音を，ユーザが個別に操作できるようにすの画面中央との距離は画面の縦幅を 1 としており，各る．このとき，全演奏者にマイクを取り付けることが関数は画面中央との距離が 0 のときミキシング比率が１情報処理学会 インタラクション 2011に，0.5 のとき 0.1 になるように調整してある．

た．音の位置はランダムで 5 回の試行を行った．被験者は 10 人でその平均を求めた．

表1 正弦波を見つけるまでの時間

関数

ズームなし[s]ズームあり[s]

一定

112.5

56.2

傾き負の直線

29.2

24.0

正規分布

32.6

17.8

距離の逆数

30.9

20.8

逆数の 2 乗

23.8

16.9

図6 ミキシングに用いる関数

ユーザの頭の動きによってユーザ視野が変化するためミキシングも変化する．耳に手を近づけて映像のズームを行った場合には，画面周辺にいた演奏者は画面の外に出てしまったり，中心から遠ざかるため，中心付近にいる演奏者の音が，さらに強調される．とがわかった．また，ズーム機能を用いると，さらに早く探せることがわかった．また実験直後に，各関数について特徴や違いについてアンケートした結果，逆数の 2 乗に対して「音の違いがよくわかった」「様々な楽器音を最も聴き分けられた」という意見が多かった．

3. 実験結果
本システムで用いる映像・音源は，コンサートホール (Nova ホール) で行われた筑波大学吹奏楽団の演奏会において収録した．
マイクとカメラの位置については図 7 に示す．マイクを取り付けた演奏者は黄色で示す．今回はパート数が 37 パートであったため 37 台のコンデンサマイクによる多チャンネル録音を行った．カメラは図中下部の設置場所の高さ

この結果より逆数の 2 乗の関数が最も早く探せるこ

2.5m の位置から魚眼カメラにより，4. おわりに本論文では，方位センサと傾斜センサ，距離センサを搭載した CONCERT VIEWING HEADPHONES を開発し，その処理機能について映像･音源に分けて述べた．実験の結果，仮想マイクを用いた 37 台の音源のミキシングは自然に切り替わることがわかった．また，聴きたい音を探すために，映像の音源のズーム機能は有用であることがわかった．
今後，映像に関しても評価実験を行い，映像の切りパーカス

ティンパニ

トランペットホルン
パーカス：演奏者：譜面台：スタンド：反響板

替えやズームなどが自然であるかを検討していきたい．

トロンボーン

ユーホニューム
Tサックス
ドラム
Bサックス

Bbクラリネットピアノ
チューバ

Acクラリネット
ファゴット

フルート

ベース
オーボエ

指揮者台

Bクラリネット
Alサックス

カメラ設置場所

図7 マイクの取り付け配置図

奏者の全員が映るよう撮影した．
2.2 節の音源ミックス部で述べた 5 種の関数のうち，いずれを用いると映像の変化とミキシングの変化の対応関係が自然となるのか実験を行った．具体的には映像上の 1 点に 440Hz の正弦波を置き，聴覚のみでその音を探すタスクを行い，より早く探せる関数を求め謝辞

本研究の演奏映像を提供してくださった筑波大学 吹奏楽団の皆様に感謝いたします．

参考文献

1) Apple,QuickTimeTutorials,
http://www.apple.com/quicktime/tutorials/.
2) 浜中雅俊, 李 昇姫: サウンドスコープヘッド
フォン, 日本バーチャルリアリティ学会論文誌，
Vol.12, No.3,pp.295-304 (2007).