情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-02
2024/2/28

超高速パンチルトカメラを用いた
VR 遠隔拡大視システム
田原 大輔1,a)

阿部 勇太1

入山 太嗣1

小室 孝1

島崎 航平2

石井 抱2

概要：本研究では，遠隔地にいるユーザーが現地に行かなくても HMD を通してその場所の映像を見つつ，気になるところを高解像度で拡大した映像も同時に見ることのできるシステムを提案する．提案するシス
テムでは，超高速ミラー駆動パンチルトカメラから広角映像と望遠映像を取得し，その映像を HMD 上に表示する．HMD の動きとミラーの動きを連動させることによって，ユーザーは見たいところへスムーズに視線を動かすことができることを確認した．それに加えて，望遠映像を表示するかどうかをコントロー
ラーを操作することで任意のタイミングで切り替えられるようにしたことにより，注目したい対象物を見つけやすくなることを確認した．

1. はじめに
我々の身近には防犯カメラや監視カメラなど，取得した映像を離れた場所で観測し，現地の状況をリアルタイムに確認できるシステムが普及している．これらのシステムの普及により，遠隔地のモニタリングをするハードルが非常に低くなった．
また近年，遠隔地から情報を観測する手段として，遠隔地の映像をビデオカメラや 360°カメラなどで撮影し，VRHMD で視る VR 遠隔視システム [1] が用いられるようになってきた．この VR 遠隔視システムでは，遠隔地にいるユーザーが視線を自由に動かし，より直感的に見たいところを見れるシステムとなっている．しかし，従来の VR遠隔視システムでは，見たい部分を拡大すると解像度が落ちてしまうため，遠隔地の詳細な情報を取得するのが難しいという問題がある．
そこで，本研究では，超高速ミラー駆動パンチルトカメ
ラ [2] を用いることで，従来の VR 遠隔視システムと同様に広角映像を HMD 上に表示しつつ，視線の先にある場所の望遠映像をリアルタイムに表示する．これにより従来のVR 遠隔視システムの，直感的に見たいところを見られると言う利点を残しつつ，遠隔地の細かい部分などの詳細な情報も取得することができる．

2. VR 遠隔拡大視システム
2.1 システムの概要
提案する VR 遠隔拡大視システムの概要を図 1 に示す．
本システムではユーザーが HMD を装着し，超高速ミラー駆動パンチルトカメラから取得した広角映像と望遠映像をHMD に表示する．次にユーザーが頭を動かし注視方向を制御する様子を図 2 に示す．頭を上下左右に動かした際の角度を HMD から取得し，その角度をパンチルトカメラの制御プログラムへ受け渡す．これによりユーザーが視線を向けた方向の望遠映像を表示することができる．ユーザー
は VR 空間内にある広角映像の中で，頭を動かしながら注目したい場所を探し，その場所を向いた状態で手元のコントローラーを押すことで見たい部分の望遠映像が表示される．望遠映像の表示切り替え手法については，視線を一定時間止めた際に望遠映像を表示する方法や，常に望遠映像を表示したままにする手法も検討したが，ユーザーが切り替えを容易に行えることや，広角映像内に望遠映像が表示されたままだと注目したい場所を探しづらい [3] ということを踏まえて，コントローラーを用いた切り替えとした．

2.2 カメラシステムの構成
本システムでは，超高速ミラー駆動パンチルトカメラを利用する．超高速ミラー駆動パンチルトカメラを搭載したカメラモジュールの外観を図 3 に示す．このカメラモ

12a)

埼玉大学
広島大学
d.tahara.417@ms.saitama-u.ac.jp© 2024 Information Processing Society of Japan

ジュールは，対象物検出用の広視野カメラ (30fps) と，対象物注視用の超高速ミラー駆動パンチルトカメラ (120fps)

1073

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-02
2024/2/28

り，その視野角は水平視野角 8.5°，垂直視野角 11.4°である．これらのカメラで前方 5m の映像を撮影した場合，広視野カメラの 1440 × 1080 画素の広角映像は 5.6 × 4.2m，1 画素は 3.9mm である．また，超高速パンチルトカメラモ
ジュールの 480 × 640 画素の望遠映像は 0.6 × 0.8m，1 画素は 1.25mm である．広角視点に対する望遠視点の映像の解像度の倍率は 7.1 倍となった．

3. 実装
3.1 デバイス
提案する VR 遠隔拡大視システムを，超高速パンチルトカメラを用いて実装した．カメラから取得した映像を表示した VR 空間をユーザーに提供するために VR HMD の
図 1: VR 遠隔拡大視システムの概要

Meta Quest3 を利用し，取得した映像を VR 空間上に表示するために Unity を利用した．

3.2 望遠映像の切り替え
コントローラを押して望遠映像を広角映像上に表示した
際のユーザーが観測する映像を図 4 に示す．ユーザーは広角映像内で注目したい対象物の場所を探し，対象物を見た状態でコントローラーを押す．ユーザーの任意のタイミン
グで望遠映像を表示することにより，注目したい対象物を見つけやすくなることを確認した．

図 2: 注視方向の制御の様子から構成されている．注視用のカメラの視線の先をガルバノミラーで高速に制御することにより，注視方向の制御をスムーズに行うことができる．

(a) 広角映像

図 3: 超高速ミラー駆動パンチルトカメラを搭載したカメラモ
ジュールの外観

実験で使用したカメラについて，広視野カメラのレンズの焦点距離は 3.5mm であり，その視野角は水平視野角 70.7°，垂直視野角 56.6°である．また，超高速パンチルトカ(b) 望遠映像

図 4: 対象を見つけ詳細な情報を取得するときの映像

メラモジュールにおけるレンズの焦点距離は 25mm であ© 2024 Information Processing Society of Japan1074

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-02
2024/2/28(a) ユーザーが HMD 上で観測する映像 (左)(b) ユーザーが HMD 上で観測する映像 (右)(c) 外観 (左)(d) 外観 (右)図 5: 頭の動きと連動したユーザーが実際に見る映像

3.3 視線方向の制御
ユーザーが実際に HMD をつけた状態で対象物を探索た際に映像の表示の遅延が予想されるため，この問題を解決する必要がある．

した際の，ユーザーの見ている映像と外観を図 5 に示す．

HMD の動きと，超高速ミラー駆動パンチルトカメラの動

参考文献

きを連動させることによって，ユーザーが向いた方向の望[1]

遠映像を取得することができ，ユーザーが見たいところへスムーズに視線を動かすことができることを確認した．

4. まとめと今後の課題
本研究では超高速ミラー駆動パンチルトカメラを用いることで，遠隔地の情報をより詳細に取得できる VR 遠隔拡

[2]

[3]

Regalbuto, A.: Remote Visual Observation of Real Places
through Virtual Reality Headsets (2019).
Hu et al., S.: A Simultaneous Multi-Object Zooming System using an Ultrafast Pan-Tilt Camera, IEEE Sens. J.,
Vol. 21, No. 7, pp. 9436–9448 (2021).
Chang, H. and Cohen, M. F.: Panning and zooming highresolution panoramas in virtual reality devices, Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, pp. 279–288 (2017).

大視システムを提案した．HMD の動きとカメラモジュー
ルのミラーの動きを連動させることで，ユーザーは見たいところへスムーズに視線を動かすことができることを確認した．加えて，望遠映像の表示をユーザーが任意のタイミングで行うことで，見たい場所に視線を動かしたあとにその場所の詳細な情報を取得できることを確認した．
今後の課題として，本システムを複数人で同時に利用することが考えられる．本研究では一人での利用しか実現していないが，利用している超高速ミラー駆動パンチルトカ
メラは複数の望遠視点を同時に取得することができるため，複数のユーザーが同じ広角映像を見ながらそれぞれの見たい場所の望遠映像を取得することも可能となる．
また，現在は同一の室内で実装を行なっているため，遠隔地との通信を確認できていない．今後遠隔地と通信をし© 2024 Information Processing Society of Japan1075