情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-19
2020/3/9

ステレオ全天球カメラによる距離推定と「音の AR」への活用
池田輝政†1遠藤正隆†2中嶋裕一†2松井瑠偉人†2菱田隆彰†1

概要：魚眼カメラを前後両面に配置することで，360 度の範囲を同時に撮影することが可能な全天球カメラが普及し始めている．このカメラで撮影される画像は，撮影範囲の広さから様々な用途での利用が期待される．もし，カメラから画像中の被写体までの距離が取得できれば更に活用の幅も広がるが，現行の全天球カメラには距離を測定する機構は搭載されていない．本研究ではこれまで，全天球カメラのステレオ撮影による距離推定の手法を提案し，手法の妥当性を検証してきた．本稿では，改良したシステムを用い取得した距離情報の活用事例として，被写体の 3 次元位置を音声の定位として表現することで，被写体の位置を音で知覚するシステムを製作した．

1. 全天球カメラによる距離推定
全天球カメラは 2 つの魚眼レンズが前後両面に配置されており，カメラを中心とした 360 度の範囲を一度に撮影することが可能である．現状では VR コンテンツの素材として用いられることが多いが，画角が有限である一般的な広角レンズのカメラと比べて撮影範囲が広く，一度に取得できる情報が増えるため，娯楽目的以外にも監視カメラなど様々な用途への活用が期待できる．
全天球カメラを有効に活用できる場面を増やすためには，

図 1 ステレオ全天球カメラ

画像以外にも情報が取得できた方が望ましい．例えば，カメラに映る被写体をリアルタイムで検出し，その被写体とイメージ形式への変換，パターンマッチングによる繋ぎ処の間の距離を取得できれば，それを反映した VR コンテン理などを内部処理として行い，本体の周囲 360 度をカバーツやシステムの製作が可能となる．しかし，現行の全天球する 1 枚の正距円筒図として出力する[2]．この THETA をカメラには被写体の検出や距離を測定する機能は搭載されベースライン上に平行に並べたステレオ全天球カメラ（図ていない．また，一般的な深度センサに用いられるパター1）を用意し，ステレオ撮影された動画像の各フレームを対ン照射型や飛行時間型の測定手法は，全天球カメラの画角象に被写体の検出，測定点の特定，距離推定を行う．に対応させることが容易ではない．したがって，これらの本システムでは次のような手順で距離推定を行う．まず，手法を用いることなく，現行の全天球カメラで取得できる片方の画像（A）と事前に撮影しておいた背景画像との差分撮影画像から距離を推定する手法を検討する必要がある．

を取り，被写体を検出する．次に，被写体を含む矩形領域

我々はこれまでに，ベースライン上に並べた 2 台の全天ともう片方の画像（B）との間で A-KAZE アルゴリズムに球カメラによるステレオ撮影を行い，その視差から三角測よる特徴点抽出とマッチングを行う．この時，画像（B）に量の要領でベースラインから被写体までの距離を推定する

被写体が出現する位置は限定されるので，検索範囲を狭め手法を提案した．そして，動画像に対してリアルタイムでて処理を減らすことができる．マッチングされた特徴点の被写体の検出と測定点の特定，距離の推定を行うシステム

中から距離が中央値になる組み合わせを左右の測定点とすを製作し，手法の妥当性を検証した[1]．本稿では提案シスる．そして，カメラと測定点を結んだ線とベースラインとテムに対して改良を行い，精度，速度の向上を目指す．の間の角度を算出する．THETA の出力画像は正距円筒図な

2. システムの概要とその実証ので，単純な計算で画像上の座標をレンズ球面に写る被写本システムでは全天球カメラとして RICOH の「THETA」を採用している．THETA は前，後面に設置された 2 枚の魚眼レンズで撮影された画像に対して，画質の調整，全天球体の緯度，経度に変換することが可能である．両画像から得られた被写体との角度により，三角測量の要領でベースラインからの距離を算出する．
今回は既存のシステムのプログラムを見直し，処理の最†1 愛知工業大学†2 株式会社リオ© 2020 Information Processing Society of Japan256

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-19
2020/3/9

適化を行い実行速度の向上を図った．また，背景差分生成時の下処理で行っていたコントラスト調整などに用いるパラメータの適正化を行い，被写体の検出精度向上を試みた．
表 1 は改良後のシステムにおける測定精度の検証をすべく，両カメラの中央で被写体を前後させつつ距離推定を行った結果の一例である．測定点の特定が適切に行われた場合，どの距離でも誤差率 3%以内で推定することができた．
しかし，照明の影響などで被写体の検出が適切でない場合は測定点を的確に特定することができず，精度が落ちて
図2

しまう．被写体検出の手法の変更も含め今後の課題となる．

BOSE FRAMES

処理速度については，各部の計算量が減少するよう改変を行ったが，既存のシステムからの課題となっている，被写で，カメラ内での被写体の動きを音声の定位の動きに置き体の大きさによって必要な処理量の変動が大きいという点換えてユーザに提供できる．前述の BOSE FLAMES を装着を解消するには至らず，結果として表示のフレームレートしてシステムに接続してみると，実際に被写体の動きと音が安定しないため目に見える高速化は得られなかった．

声の定位が連動することが確認できた．

3. 音声の定位による被写体位置の知覚

4. まとめ

ステレオ全天球カメラによって得られる被写体までの距

ステレオ全天球カメラによる被写体までの距離推定手法

離情報を活用する一例として，被写体の 3 次元位置を音声について提案し，改良を加えた距離推定システムによっての定位によって知覚する機能をシステムに追加した．昨今

推定値の妥当性を検証した．また，取得した距離情報を用

では，視覚だけでなく聴覚から得る情報で現実を拡張する

いて被写体の 3 次元位置を割り出し，その位置に応じて音「音の AR」と呼ばれる仕組みが提唱されており，音の AR

声の定位を変化させることで，視覚情報を聴覚情報に置きを利用することを前提としたウェアラブルデバイスも登場

換える音の AR 機能を追加し，その動作を確認した．

し始めている．図 2 の「BOSE FRAMES」はサングラスに新しいシステムによる距離推定については，測定点の特スピーカ，マイク，モーションセンサが内蔵されており，定が上手くいった場合，実用に足る精度で距離を推定できスマートフォンなどの外部デバイスと連携することで，音ることが分かった．今後も処理の高速化と測定点特定の精の AR を利用することができる[3]．本システムではカメラ度向上が課題となる．また，ステレオ動画像による距離推で得た視覚情報を聴覚情報に置き換えることで，音の AR定で本来重要となるカメラ間のフレーム同期[4]についてによる新たなユーザ体験を提供する．

も導入を検討していきたい．

具体的には，ステレオ全天球カメラで得られたベースラ

音の AR 機能については，ひとまず目的であった視覚情インから被写体までの距離，及びカメラから見た被写体の報を聴覚情報に置き換えたユーザ体験の実現は達成できた．

緯度，経度より，カメラと被写体を結ぶ 3 次元ベクトルの今後は実際の位置情報と音声の定位がより妥当に感じるよ

距離を求める．これらの情報を元に，カメラをユーザ，被うにチューニングをしていく必要がある．

写体を点音源とした時にユーザに聞こえる音声に生じるで本研究は JSPS 科研費 JP19K12073 の助成を受けたあろう両耳間時間差や両耳間強度差を計算し，それを反映謝辞した音声データを生成する．また，3 次元ベクトルの距離ものです．に応じて音量を調節し，音源の遠近を表現する．これらの処理をリアルタイム距離推定と並行して行い再生すること
表 1 実際の距離と推定値の例
実際の推定値[m]誤差率[%]

1.0

1.01

1.0

2.0

1.97

1.5

3.0

2.98

0.6

4.0

3.91

2.3

距離[m]

© 2020 Information Processing Society of Japan

参考文献
[1]

池田輝政，遠藤正隆，中嶋裕一，三浦哲郎，菱田隆彰. 2 台の全天球カメラを用いた距離推定手法. マルチメディア、分散、協調とモバイル(DICOMO2019)シンポジウム論文集,
pp.147-150, 2019.
[2] “製品紹介 | RICOH THETA”.
https://theta360.com/ja/about/theta/technology.html, (参照 201912-15).
[3] “ボーズ、革新的な「BOSE FRAMES」の国内販売を本日より開始”. https://globalpressroom.bose.com/jpjp/pressrelease/view/2024, (参照 2019-12-15).
[4] 関晃仁，奥富正敏. 非同期ステレオ動画像を用いた同時最適化による位置とモーションの推定. 情報処理学会論文誌コンピュータビジョンとイメージメディア, vol. 49, pp.22-34,
2018.

257