論 文
見回し動作に対応した再帰性投影技術による乗り物の視野外情報提示s

A Display System for Vehicle Blind Spot Information
Using Head Tracked Retro-reﬂective Projection Technology
吉 田
匠† ，
新 居 英 明†† ，城
堅 誠† ，
川 上 直 樹† ，

南 澤 孝 太† ，暲 ††舘

Takumi Yoshida† , Kensei Jo† , Kouta Minamimzawa† , Hideaki Nii†† , Naoki Kawakami† and Susumu Tachi††
Abstract

A wide ﬁeld of vision is important for driver safety and vehicle operability. However, the window area ofvehicles is limited. Therefore, we developed head-tracked retro-reﬂective projection technology that displays vehicle blindspot information. The system enables the driver to observe the surroundings in the blind spot as if seeing through the innerwall of the vehicle. The system uses a head-mounted projector and multiple cameras. We describe the system design, the implementation of a prototype, and performance evaluation experiments. Early experiments showed that the system eﬀectively
displayed the blind spot information corresponding to the operator’s looking around motion.

キーワード：再帰性投影技術, 頭部搭載型プロジェクタ, 拡張現実感

多く行われており，例えば，自動車のピラーはできるだけ

1. ま え が き

細く設計することで操縦者の視野を広げることができるが，

1. 1 乗り物における視野外情報の提示

車体の強度や衝突時の安全性との兼ね合いから，構造の工自動車や航空機といった乗り物において，安全性や操作夫により死角を減少させるには限界がある．

性の向上を目的として，様々な操縦者支援システムの技術

ここで，操縦者からは見えない死角部分の情報を取得し，開発が盛んに行われている．近年では，計測技術や動画像

操縦者に提示することを考える．本稿では，以下この情報認識技術の発達，計算処理速度の高速化に伴い，多くのシを視野外情報と呼ぶ．視野外情報の提示によって，操縦者

ステムが実用化しつつある．例えば，自動車での夜間走行

は乗り物の周囲の状況をより認識しやすくなり，安全性や時に肉眼では見えにくい前方の歩行者，障害物，道路状況

操作性の向上が期待される．

を近赤外線カメラで撮影・映像化してヘッドアップディス
1)

視野外情報の提示方法としては，音声や警告音，警告ラ

や，車外に配置

ンプなどによって操縦者に危険を伝えることも考えられる

した複数のカメラ映像を繋ぎ合わせて車上からの視点に変が，その場合，操縦者はどのような危険が接近しているの換する駐車支援システム 2) などが提案されている．

かを瞬時に判断することは難しい．そのため，死角領域をプレイに映し出すナイトビューシステム

乗り物の安全性や操作性を保つ上で，操縦者の視認性の乗り物外部に設置したカメラで撮影し，取得した映像を操確保は非常に重要である．ところが視野を確保するための

縦者に視覚的に提示する手法が望ましいと考えられる．こ窓は乗り物の構造上，限られた箇所にしか設置できず，死のような視野外情報を視覚的に提示する先行技術として，角が生じてしまう．乗り物の死角を減らそうという試みはカメラで撮影した死角部分の映像を車載ディスプレイに表2008 年 11 月 4 日受付，2009 年 4 月 17 日最終受付，2009 年 4 月 24 日
採録
† 東京大学大学院情報理工学系研究科（〒 113–8656 文京区本郷 7–3–1, 03–5841–6917）†† 慶應義塾大学大学院メディアデザイン研究科（〒 223–8526 横浜市港北区日吉 4–1–1, 045–564–2517）† The University of Tokyo(7–3–1 Hongo, Bunkyo-ku, Tokyo, 113–8656, Japan)†† Keio University(4–1–1 Hiyoshi, Kohoku-ku, Yokohama-city, Kanagawa, 223–8526,
Japan)

映像情報メディア学会誌 Vol. 63, No. 6, pp. 1〜9 (2009)示する Blind Spot Monitor3) が実用化されている．しかしこの方式には，操縦者がディスプレイの画面を注視しているときは，画面に提示されていない周囲への注意が疎かになる恐れがある．また，操縦者が見たい方向とディスプレ
イの位置が異なるため，直感的な操作が難しくなるといった問題がある．
そこで我々は，乗り物の床，ドア，ピラーといった内壁部分に視野外情報を提示することで，死角領域を透視表示(1) 1

は，これまで様々な提案がなされている．ここでは，乗り物の内壁部分に視野外情報を提示するために適したディスプレイ方式を検討する．
まず，据え置き型の LCD パネルを内壁に設置する方式が考えられる．この方式を用いた例として，ピラー内部にLCD パネルを配置したシースルーピラー 5) が提案されている．しかし，この方式は乗り物内のあらゆる場所へ適用できるわけではない．現行の乗り物内部には平面かつ長方形のディスプレイを配置できる場所は限られている．また，ドア等の機能を保ったまま設置することは難しいと言える．
次に，シースルー型 Head-Mounted Display（HMD）を用いる方式 6) が考えられる．HMD は装着型であるため，上に述べたような乗り物内部への設置の困難さは生じない．
頭部位置姿勢を計測するデバイスと併用することで，どの方向にも映像を提示することが可能である．しかし，シー
図1

再帰性投影技術（RPT）を用いた乗り物における視野外
情報提示システム
Display system of blind spot information for vehicle using
retro-reﬂective projection technology.

スルー型 HMD は観察者の眼前に映像を提示するため，実世界の視認性が悪化する恐れがある．操縦者自身の腕や，計器類など透明化したくない部分が提示映像によって遮蔽され，操縦の妨げになる可能性が考えられる．
続いて，乗り物の天井などにプロジェクタを取り付け，内することが可能な方式を提案する．本方式を用いることに壁部分に投影する方式が考えられる．この方式では，提示より，内壁部分があたかも透明な窓であるかのように，本映像の輝度が問題となる．通常，プロジェクタは屋内での来遮蔽されて見ることができなかった部分が観察可能にな使用が想定されている．日中の明るい車内に耐えうる輝度

る．この結果，従来方式とは異なり，操縦者は周囲の状況を得るためには強力な光源を要するため，大型のプロジェと同時に視野外情報を認識できる．また，操縦者が見たいクタを使用しなければならず，狭い乗り物の操縦席には適方向に情報が提示されるため，直感的な操作を行うことが用できない．また，複雑な形状の内壁に画像を投影するたできると考えられる．例として，ヘリコプターにこの機能

め，画像が歪んでしまう．歪みをなくすためには，内壁のを搭載すれば，床部分に提示された地面を見ながら安全に曲面形状や操縦者の視点位置に応じた補正を行う必要があ

離着陸を行うことが可能となる．

る．さらに，自動車の後方やピラー部など様々な方向に視

本研究の目的は，乗り物において死角領域を透視表示す

野外情報を提示する場合，複数のプロジェクタを設置する

る視野外情報提示システムの構築である．我々は，ディス必要があり，やはりスペースを要するという問題がある．

プレイ方式として再帰性反射材にプロジェクタで映像を投影する再帰性投影技術（RPT: Retro-reﬂective Projection

Technology）4) を用いることで，乗り物の内壁部分に視野
外情報を提示するシステム（図 1）の構築を目指す．
1. 2 本論文の構成

2. 2 再帰性投影技術による視野外情報の提示
以上の考察により，乗り物の内部に視覚提示デバイスを導入し，実用的に用いるためには，実世界の視認性を阻害せず，かつ省スペースで現行の乗り物の操縦席に実装可能な方法が要求される．

本論文は以下のような構成とする．2 章において，乗り物

そこで，透視を実現する方法の一つとして提案されいての視野外情報の提示に最適なディスプレイ方式を検討する．

いる，再帰性投影技術（RPT）を用いた光学迷彩手法 7) をさらに，乗り物に実装する上での課題を明らかにし，それ応用することを考える．RPT では，スクリーンとして再帰を解決するためのアプローチを述べる．3 章では，見回し

性反射材を使用する．再帰性反射材は， 極小のガラスビー動作に対応した再帰性投影技術による視野外情報提示シスズあるいはコーナキューブを敷き詰めた構造の素材であり，テムを提案する．4 章では試作した提案システムの実装に入射光を光源方向に強く反射する特性を持つ．この特性をついて述べる．5 章では，試作したシステムがどの程度透再帰性反射と呼ぶ．RPT を用いて視野外情報を提示する視を実現できているかを定量的に示す実験について述べる．

ためには，遮蔽物体の表面に再帰性反射材を貼付し，カメ

最後に 6 章で本論文をまとめる．

ラで撮影した遮蔽物体の背後の映像を観察者の眼の近傍に

2. 関 連 研 究

配置したプロジェクタから投影する．すると，観察者は遮蔽物体をバーチャルに透過して背後の映像を観察すること

2. 1 ディスプレイ方式の検討ができる．遮蔽物体が透過したように観察者が感じるため観察者の死角領域を透視するディスプレイ方式についてには，カメラで撮影した映像を観察者視点の映像に変換し2 (2)映像情報メディア学会誌 Vol. 63, No. 6 (2009)

て投影する必要がある．カメラとプロジェクタの相対的な位置関係に基づいてカメラからの映像に変形を施すことで，観察者視点の映像を生成することができる．ただし，適切に観察者視点の映像を生成できるのは，プロジェクタとカ
メラの相対位置関係，およびカメラと被写体間の距離が既知であり，時間的な変動がない場合に限られる．

RPT を用いると，以下のような利点がある．まず，再帰性反射材の中には布状の薄く柔軟な素材があり，ドア等の複雑な形状を持つ内壁にも簡単に貼付することができる．ま図 2

再帰性投影技術によって自動車の内装に視野外情報を提示した結果
Displaying blind spot information on the interior of a car
using retro-reﬂective projection technology.

た，RPT の光学系では，観察者の視点と光学的に共役な位置から画像を投影するため，投影面がどんな曲面であっても画像が歪むことはない．さらに，再帰性反射によってプ
ロジェクタから投影した光が操縦者の視点の方向に反射するため，小型のプロジェクタであっても乗り物内で充分に置したプロジェクタの位置に固定されている．そのため視強い輝度の映像を提示できることが示されている 8) ．一方，

野外情報を観察可能な範囲は必然的にプロジェクタの画角

プロジェクタの光量を絞ることで，再帰性反射材以外の通に依存する．さらに，視野外にある物体の距離情報が既知

常の物体に投影された映像が観察者から視認されない程度であるという条件がある．視野外を撮影するカメラと被写に調整することができる．このため，あらかじめ再帰性反体間の距離があらかじめ定めた値と大きく異なっていた場

射材を貼付した部分の形状を把握していなくても，再帰性

合，被写体の大きさと位置が誤って提示されてしまう．こ反射材部分にのみ映像を提示することが可能である．シー

れらの「観察者の視点が固定である」，「距離情報が既知でスルー型 HMD で問題となったような，実世界の視認性をある」という制約のため，従来手法を用いて構築可能なア

阻害するようなことは起こりえない．

プリケーションは非常に限定されていた．そこで本論文でこれらの利点から，我々は乗り物における視野外情報のは，RPT における観察者の視域を拡大し，さらに任意の距

ディスプレイ方式として RPT を用いた手法を採用する．

離にある被写体に対応することで乗り物の操縦席での視野

RPT を視野外情報の提示に用いる場合，再帰性反射材が遮外情報提示を可能にするシステムの構築を目指す．

蔽されると当然その部分の映像は提示されない．例えば，自さて，本システムを実現するためには，乗り物の外側に置

動車の助手席に人が座っている場合は，助手席側のドアにかれた複数のカメラで撮影した映像から，操縦者視点の映投影された映像は見ることが困難になる．また，乗り物が像をリアルタイムに生成しなければならない．ある視点画像

高速に移動している際は，カメラ映像取得の時間遅延によから別の視点画像を生成する手法は，Image-Based Mod-る提示画像と現実とのずれが顕著になる．しかし，例えば，
い道を走行しているときや，駐車しているときなど，比較

eling and Rendering (IBMR) と呼ばれ，コンピュータグ
ラフィクス（CG）やバーチャルリアリティ（VR）の分野
で活発に研究されている 9)10) ．IBMR は，対象の 3 次元形

的低速で走行している場合が多い．よって，本手法はそう状の復元を行った上でレンダリングする手法と，光線情報

いった場合に操縦の補助として使用することで，有効に機の取得と再現によって任意視点の画像を生成する手法の二能すると考えられる．

つに分類される．前者としては，ステレオ画像間の対応を

自動車の操縦において死角部分の情報が重要になるのは狭

ここで我々は，予備実験として自動車に RPT を用いて求め，物体の 3 次元形状を復元し，実写画像によるテクス

内装に視野外情報を提示し，実際に走行する実験を行った．

チャを貼ることによって物体を CG 上で再現する手法 11) がカメラはドアミラーの後方に 1 台設置し，プロジェクタは多く研究されている．後者としては，多数のカメラによっ

後部座席に固定とした．再帰性反射材は助手席側のドア，おて光線情報を取得し，画像の補完によって形状を再現する

よびダッシュボードに貼付した．本実験では，カメラと被ことなく任意視点の画像をレンダリングする手法 12) など

写体間の距離を一定であると仮定し，観察者の視点映像をが提案されている．後者はカメラを高密度に並べる必要が生成して投影を行った．図 2 は，カメラで取得した映像を，あるため，乗り物における視野外情報提示への適用は困難

プロジェクタからリアルタイムに再帰性反射材に投影したであると考えられる．よって我々は，前者のアプローチを様子である．自動車の内壁が透明になったように，死角部

RPT に導入することで，距離情報が未知である被写体に対分が観察できていることがわかる．

応した操縦者視点映像の生成と提示を行う．

2. 3 従来手法の課題と本研究のアプローチ

3. 提 案 手 法

予備実験により，従来の RPT を用いた光学迷彩手法により，死角を透視表示した視野外情報の提示が可能である

我々は，乗り物において死角領域を透視表示する視野外ことが示された．しかし従来手法では，観察者の視点は設

情報の提示を実現するため，以下のような手法を提案する．

論

文 □ 見回し動作に対応した再帰性投影技術による乗り物の視野外情報提示(3) 3

図 4 RPT を用いた視野外情報提示システム
System conﬁguration of proposed system.

図 3 操縦者の見回し動作
Motion of looking around.

考えられる．ここでは，見回し動作とは図 3 に示すような，
まず頭部搭載型プロジェクタ（HMP: Head-Mounted

着座状態での首の回転運動による動作を指す．カメラは操を映像提示デバイスとする．これを頭部位

縦者を中心に放射状に配置されるため，テクスチャを生成

置姿勢を計測するデバイスと併用することで，操縦者の視するための画像として，操縦者と被写体とを結ぶ同一直線

線方向に応じた映像を投影できる．乗り物の操縦の際には，上に最も近いカメラの画像を選択することができる．こう

HMP の装着の煩わしさが問題となる．しかし，近年の技いった状況下では，被写体の複雑な 3 次元形状を再構築せ術開発の進歩によるプロジェクタの小型軽量化に伴い，小ずとも，被写体の距離にカメラ映像をテクスチャとした平型で軽量な HMP の実装は可能になると考えられる．また，面ポリゴンを配置するだけで，正しい操縦者視点の画像に

HMP は眼前をハーフミラーで覆う構成となっているが，眼前を覆わないオープン型の HMP も研究されている 15) ．将近い画像を生成することが可能である．このため，画像中

来的には眼鏡程度の装着感で使用可能になると期待される．

みを対応点として検出し，操縦者の視線方向に位置する点

また，広範囲の視野外情報を取得するため，複数のカメの距離に平面ポリゴンを配置すればよい．以上の理由から，

ラを操縦者を中心として放射状に配置する．さらに複数の本システムでは操縦者の視点の動く範囲を見回し動作に限

カメラ映像からステレオ視の原理により被写体の距離情報定することによって，画像処理および CG 描画の計算コスを取得し，操縦者の視点に応じた映像を生成し，HMP を

トを抑えている．

13) 14)

Projector）

用いて再帰性反射材を貼付した内壁部に投影する．

3. 1 見回し動作への対応と距離情報取得

全ての画素の距離を推定する必要はなく，主要な特徴点の3. 2 システム構成
前節で提案した手法に基づき，図 4 のようなシステムを本システムでは様々な方向の視野外情報を取得するため，構成した．本システムは，視野外の映像を撮影するための複数台のカメラを用いる．よって，隣り合うカメラ同士のカメラ群，操縦者の頭部位置と姿勢を計測するためのモー対応をとることによって，ステレオ視の原理で被写体の距

ションセンサ，映像を投影する HMP，それらを統合する

離情報を得ることができる．レンジファインダなどの距離コンピュータから成る．操縦者は椅子に座り，HMP を装計測センサを用いることも考えられるが，ステレオ視を用着する．外界を遮蔽する壁面の表面には再帰性反射材を貼いることで，視野外情報を取得するカメラによって同時に付し，カメラは壁面の外側に操縦者に対して放射状になる

距離情報も取得できるため効率がよい．ステレオ視によっように配置する．以下に本システムの処理の流れを示す．

て距離情報が得られれば，3 次元形状を復元し，カメラ画(1) 操縦者の視点位置と視線方向をモーションセンサで像をテクスチャとして貼ることによって，乗り物の周囲の空間を計算機上で再構築できる．これを操縦者の視点位置
からレンダリングすることで，操縦者視点画像が生成可能となる．
被写体の複雑な 3 次元形状を再現するためには，多数の

計測する．

(2)
(3)
(4)
(5)

視野外の映像を複数のカメラで撮影する．
カメラ-被写体間距離を取得する．
観察者の視点からの映像を生成する．
生成した映像を HMP から遮蔽物体へ投影する．

ステレオ対応点を処理しなければならず，ステレオ対応点
探索の画像処理，および CG による 3 次元形状のレンダリ

これらの処理をリアルタイムに実行することによって，距ングの計算コストが問題となる．ここで，計算コストを抑

離情報が未知であった視野外情報を，操縦者の視点に変換えるため，操縦者の視点の動作範囲に着目する．操縦者のして提示することができる．

あらゆる視点に対応するためには，前述のように乗り物の3. 3 操縦者視点映像の生成アルゴリズム

周囲の 3 次元空間を再構築する必要がある．しかし，乗り

操縦者視点の映像を生成するアルゴリズムを以下に示す．

物において操縦者の視点位置は限られており，着座状態でまず，図 5 に示されるように，コンピュータ上に実環境と周囲を観察する「見回し動作」に対応すれば充分であると等スケールのバーチャル環境を構築する．続いて，バーチャ

4 (4)映像情報メディア学会誌 Vol. 63, No. 6 (2009)3. 4 カメラ-被写体間距離の計測
2.3 節で述べたように，従来手法では被写体の距離情報が既知である必要があった．図 6 はバーチャルスクリーンが実際のカメラ-被写体間距離と異なる距離に配置されたとき，提示映像のずれがどのように生じるかを表した図である．被写体が点 P にある時，P ′ が提示されるべき正しい点である．一方，バーチャルスクリーンの位置が △L1 だけ前方にずれていた場合，被写体は P1′ に提示される．△L1
が大きくなるにつれて，提示される点の視角のずれ △ϕ1 は増加する．これはバーチャルスクリーンの位置が △L2 だ
け後方にずれていた場合も同様である．
以下にカメラ-被写体間距離計測の流れを示す．まず，モー図 5

映像生成アルゴリズムの概念図．上側は実環境，下側はバーチャル環境を表す．実環境における点 A，B ，C はバーチャル環境の点 A′ ，B ′ ，C ′ 点にそれぞれ対応する．
Concept of rendering algorithm. A, B, and C correspondto A′ , B ′ , and C ′ , respectively.

ションセンサによって操縦者の視線方向を取得し，その方向を撮影している 2 台のカメラを選択する．視線方向は操縦者の頭部前方とし，眼球の動きは考慮しないものとする．
左側のカメラ映像の全画素についてコーナやエッジなどの特徴点を抽出し，エピポーラ拘束のもと，右側のカメラ映像からパターンマッチングによって対応点を探索する．得
られた対応点から，三角測量法によってそれらの点の 3 次
元位置を算出する．次に操縦者の視線方向の近傍に位置す
る対応点を選択する．図 7 に示すように，操縦者の視点か
ら視線方向に伸びる直線と，検出された対応点の距離が閾値以下であった場合，近傍であると見なす．この閾値は，検図 6 バーチャルスクリーン位置による実物体と提示映像のずれ
Gap between the subject and the displayed image causedby the position of the virtual screen.

出の対象が存在する領域のスケールや，得られる対応点の個数に応じて適宜定める必要がある．カメラ-被写体間距離は選択された点とカメラとの距離の平均値とする．そして，
バーチャル環境において，操縦者が注視している物体に対応する位置を，カメラ-被写体間距離に従って決定し，バーチャルスクリーンを配置する．

4. 実 装前章までで提案したシステムを以下のような構成で試作した．

4. 1 ハードウェア構成
試作システムの全体像を図 8 に示す．操縦席の模型とし
図 7 距離計測に用いる対応点
correspondence points used for distance measurement.

て，半径 1.2m，高さ 1.3m の円筒形の壁面を作製し，再帰性反射材（Ref-lite 製，レフライト反射クロス 8313）を貼付した．観察者は中央の椅子に座り，HMP を装着する．

ル環境における被写体に対応する位置をカメラ-被写体間距

映像提示用の HMP は LED プロジェクタ（東芝製，TDP-

離に基づいて推定し，その位置にスクリーンとなる平面ポ

FF1A）を元に作製した．図 9 に HMP の外観を示す．映像

リゴンを配置する．これを以下バーチャルスクリーンと呼を提示するのは左目のみの単眼用とし，画角を拡大するたぶ．次に，点 B の位置にあるカメラによって撮影された映めにレンズユニットを追加した．プロジェクタの解像度は′16)投影する．この処理を各カメラに対して行う．そして，操SVGA（800×600 pixel），投影画角は水平画角約 60deg，
垂直画角約 50deg である．追加したレンズにより投影画像

縦者の視点の位置 C を測定し，点 C に対応する点 C ′ にに歪みが生じるため，ソフトウェアによる歪み補正を行った．

バーチャル環境における視点を設定する．以上の処理をリ

カメラには IEEE-1394 カメラ（Point Grey Research

像を，点 B から投影マッピングを用いてスクリーンに′アルタイムに行い，点 C からの画像をレンダリングする

製，FireﬂyMV）を 4 台使用し，壁面の外側に観察者に対ことによって操縦者の視点から見た視野外の映像を生成す

して放射状に 33deg ごとに配置した．各カメラの解像度はることができる．

VGA（640×480 pixel）であり，レンズは水平画角約 80deg論

文 □ 見回し動作に対応した再帰性投影技術による乗り物の視野外情報提示(5) 5

図 10 距離情報を取得可能な範囲
The area where camera-to-subject distance can be measured.

報を取得可能な範囲は斜線部分となる．最小のカメラ-被写体間距離 dmin は

図 8 試作システム
Prototype system.

(
dmin =sin θ2sin θ−ϕ
2

)
−1 l

(1)

で表され，被写体が dmin よりもカメラに近づいた場合は距
離情報を取得できない．dmin は ϕ に関して 0 < ϕ < θ の範囲で単調増加であるため，dmin を小さくしたければカメラ同士の間隔 ϕ を小さく設計すればよい．本実装においては，水平画角 85deg のカメラを観察者から半径 1.2m，高さ 0.9m の位置に角度 33deg おきに配置したため，取得可能な最小のカメラ-被写体間距離は 0.64m となった．
図 9 頭部搭載型プロジェクタ
HMP:Head Mounted Projector.

本システムにおいて使用したコンピュータのスペックは，

CPU：Intel Xeon 5130，2.0GHz × 2，グラフィックボー
ド：NVIDIA Quadro FX550，OS:WindowsXP である．

の広角レンズを使用した．カメラについても HMP と同様

マルチプロセスにて処理を行い，各プロセスの処理速度は，にソフトウェアによる歪み補正を行った．

モーションセンサ：300fps，カメラ画像取得：30fps，距離

頭部位置計測用のモーションセンサにはリンク機構の 6
軸位置センサ（Shooting Star Technology 製，ADL-1）を使用した．

4. 2 性 能

測定：20fps，観察者視点変換：60fps でそれぞれ動作した．

5. 実 験
5. 1 実験目的

観察者の視点の可動範囲は，モーションセンサの可動域に従来の観察者の視点が固定，かつ被写体の距離が固定で依存する．試作システムで使用したモーションセンサ ADL-

あった RPT の光学迷彩手法に対する，提案手法の有用性

1 の可動域を表 1 に示す．ADL-1 は見回し動作に充分な可を示すために，以下のような実験を行った．試作システム

動域を備えており，観察者は着座状態において自由に視点を用いて，観察者の見回し動作，および任意距離の被写体を動かすことができる．

に対応した視野外情報を提示したとき，提示映像と現実世

視野外情報の提示可能な領域は，カメラの画角と配置方界の整合性がどの程度とれているのかを定量的に測定する．

法，そしてカメラの数に依存し，適用する乗り物や用途に

実験 1. 操縦者が見回し動作を行った時の，提示映像と現実応じて設計する必要がある．特に，ステレオ視によって距

世界の誤差の測定

離情報を取得できる範囲は 2 台のカメラの間隔によって決実験 2. カメラ-被写体距離が変化した時の，提示映像と現まる．水平画角 θ のカメラを図 10 のように観察者に対し実世界のスケール比の測定て，放射状に半径 l，角度 ϕ ごとに配置した場合，距離情

5. 2 実験設定
実験では観察者に提示されている映像を取得できるよう

表 1 モーションセンサの可動域
Motion range of the motion sensor
back-forthright-leftup-down
roll
pitch
yaw

6 (6)

-0.4
-0.7
-0.6
-180
-90
-180

〜
〜
〜
〜
〜
〜

0.4
0.7
0.6
180
60
180

[m]
[m]
[m]
[deg]
[deg]
[deg]

に，HMP には観察者の左目が置かれる位置に内部校正済
みのカメラを取り付けた．また，被写体として図 11 のような指標を用いた．
実験 1. 図 12 のように，指標をカメラから 1.8m の位置に配置し，視点の位置姿勢を以下のように変化させた．なお，
視点の初期位置を原点とし，バーチャルスクリーンの位置
映像情報メディア学会誌 Vol. 63, No. 6 (2009)図 13 実験 1．(1) 頭部回転時の誤差
Experiment 1.(1).
図 11 被写体として用いた指標
Marker.

図 14

実験 1．(2),(3) 平行移動時の誤差
Experiment 1.(2),(3).

5. 3 実験結果と考察
実験 1. 視線方向を回転させた場合の被写体と提示画像のずれを図 13 に，左右・前後方向に平行移動させた場合の被写体と提示画像のずれを図 14 にそれぞれ示す．本実験によって，バーチャルスクリーンが適切な位置にある場合，見回し動作の範囲で実空間の物体を最大 2deg 程度の誤差で
図 12 実験設定
Experimental arrangement.

提示できることが確認された．このことから，提案手法を用いることにより，従来の固定視点での光学迷彩手法ではできなかった，観察者の見回し動作への対応が可能となっは指標と同様カメラから 1.8m の位置に固定とした．

たことが示された．
理論的には，被写体とバーチャルスクリーンの位置が等(1) 鉛直方向を軸として-20deg から 20deg の範囲で 5deg
ずつ回転(2) 左右方向に右方向を正として-15cm から 15cm の範囲で 5cm ずつ平行移動(3) 前後方向に前方を正として-15cm から 15cm の範囲
で 5cm ずつ平行移動

しい場合，視点をどんなに動かしても誤差は生じないはずである．誤差が生じる原因として，コンピュータ上に構築した VR 空間のモデルと現実空間とが完全に一致していな
い可能性が挙げられる．VR 空間のモデルと現実空間とを正確に対応付けるためには，カメラやモーションセンサの取り付け位置の精度，カメラや HMP のレンズ歪みなどの以上の 3 条件において，遮蔽物体が無い場合と，遮蔽物体要素を考慮に入れなければならない．今後，これらの要素に視野外情報を提示している場合について HMP に取り付を補正するようなキャリブレーション機能を実装すること

けたカメラで指標を撮影した．撮影した 2 枚の画像から，によって，誤差の軽減が可能になると考えられる．

遮蔽物体が無い場合の指標の中心点と，遮蔽物体に提示し実験 2. 測定結果を図 15 に示す．実験 2 において，スケーた指標の中心点の座標をそれぞれ求め，両座標のずれを視ル比は 1 に近いほど正しい提示となる．図 15 の結果から，角として計測した．

カメラ-被写体間距離に基づいて提示映像の生成を行った場

実験 2. 図 12 のように 2 台のカメラを配置し，指標をカメ合のほうが，カメラ-被写体間距離を固定とした場合に比較

ラに対して 1 ｍから 3.5 ｍの距離の範囲で，0.5m ずつ移動

してスケール比の値は 1 に近くなっており，提案手法が従させた．視線方向は正面方向で固定とした．このとき，提来の被写体の距離を固定とした RPT の光学迷彩手法より

案手法によりカメラ-被写体間距離に基づいて提示映像を生も正しい提示ができていることが示された．

成した場合と，カメラ-被写体間距離を固定とした場合の 2

しかし，従来手法に比べて改善されているとはいえ，ス

条件について，実験 1 と同様に指標の撮影を行った．ここ

ケール比の値は完全に 1 にはなっておらず，ある程度のばらで，カメラ-被写体間距離を固定とした場合のバーチャルス

つきを持っている．理論的にはカメラ-被写体間距離とバー

クリーンはカメラから 1.8m の距離に配置した．得られたチャルスクリーン位置が一致している場合，スケール比は

画像から，遮蔽物体が無い場合の指標と，遮蔽物体に提示

常に 1 となるはずである．この誤差の原因として，前述しした指標のスケール比を求めた．

た VR 空間のモデルと現実空間の不一致の他に，ステレオ論

文 □ 見回し動作に対応した再帰性投影技術による乗り物の視野外情報提示

(7) 7

〔文

図 15

実験 2．被写体を移動させたときの提示映像と現実世界のスケール比
Experiment 2. Scale ratio when moving the marker.

視による距離計測の誤差，および誤認識が含まれていると考えられる．よって，誤差の軽減のためには，距離計測精度の向上が必要である．ただし，ステレオ視は照明環境やカメラの画角・解像度などの影響を受けやすく，カメラで取得した画像中のすべての画素に対して正確な座標値を求めるのは一般に困難である．また，計算速度と計測精度はト
レードオフの関係にあり，アプリケーションの用途によって求められる最適な精度となるように調整する必要がある．

6. む す び
本論文では，乗り物において操縦者の死角を減少させることを目的とした視野外情報提示システムの構築を目指し，

RPT を用いて乗り物の内壁を透視する手法を提案した．提案手法に基づき，操縦者の見回し動作，および任意の距離の被写体に対応した視野外情報を提示可能な試作システム

献〕

1）K. Toyofuku, Y. Iwata, Y. Hagisato and T. Kumasaka: The“Night View System” Using Near-Infrared Light, SAE 2003
World Congress & Exhibition (2003)
2）S. Okamoto, M. Nakagawa, K. Nobori, A. Morimura: Development of Parking Assistance System Using Virtual Viewpoint,
Proc. of World Congress on Intelligent Transport Systems (2000)
3）本田技研工業株式会社, http://www.honda.co.jp/
4）S. Tachi:Augmented Telexistence, Mixed Reality-Merging Realand Virtual Worlds, pp.251–260 (1999)
5）大泉 謙，井上 真人，赤塚 健，北崎 智之：シースルーピラーの開発，自動車技術会学術講演会前刷集，No.56-07
6）Ryan Bane, Tobias Hollerer: Interactive Tools for Virtual X-Ray
Vision in Mobile Augmented Reality, Proc. of the Third IEEEand ACM International Symposium on Mixed and Augmented
Reality (ISMAR 2004), pp.231–239 (2004)
7）M. Inami, N. Kawakami and S. Tachi: Optical Camouﬂage Using Retro-reﬂective Projection Technology, Proceedings of theSecond IEEE and ACM International Symposium on Mixed andAugmented Reality (ISMAR 03) (2003)8）齊藤綾亮，柳田康幸：再帰性投影技術を用いたシースルーピラーの可能性に関する検討，日本バーチャルリアリティ学会第 12 回大会論文集(2007)
9）L.. McMillan and S. Gortler: Image-Based Rendering, In Siggraph Computer Graphics, 33, 4 (1999)
10）徐剛：画像による 3 次元復元と 3 次元 CG-現状と課題，システム・制
御・情報，43(7)，pp. 345 – 352 (1999)11）T. Kanade, P. J. Narayanan, and P. Rander: Virtualized Reality:
Concept and Early Results, IEEE Workshop on the Representation of Visual Scenes (June 1995)
12）苗村 健, 原島 博: 多眼ビデオ入力を用いた実時間 IBR システム –Video-Based Rendering –, 日本バーチャルリアリティ学会論文誌, 4,4, pp. 639 – 646 (1999)
13）木島竜吾, 廣瀬通孝: 頭部搭載型ディスプレーを用いた仮想環境とデス
クトップ環境の融合, 第 10 回ヒューマン・インタフェース・シンポジ
ウム論文集, pp.399-404 (1994)
14）M. Inami, N. Kawakami, D. Sekiguchi, Y. Yanagida, T. Maeda
and S. Tachi: Visuo-Haptic Display using Head-Mounted Projector, Proceedings of IEEE Virtual Reality 2000, pp.233–240 (Mar
2000)
15）山崎潤，園田哲理，吉田匠，川上直樹，舘 ：X’tal Visor: 頭部搭載型
小型プロジェクタの設計と評価，日本バーチャルリアリティ学論，12,2, pp. 119–126 (2007)16）M. Segal, C. Korobkin, R. van Widenfelt, J. Foran, andP.Haeberli: Fast Shadows and Lighting Eﬀects using Texture Mapping, In In Proceedings of SIGGRAPH’92, pp.249–252(1992)

を実装した．さらに，従来の観察者視点，および被写体の距離が固定でなければならなかった従来の RPT による光学迷彩手法に対し，提案手法の有用性を示すため，提示映像と現実世界の整合性がどの程度とれているのかを定量的に測定する実験を行った．その結果，最大 2deg 程度の誤差で操縦者の見回し動作に対応可能であること，および被写体の距離情報を取得し提示映像の生成を行うことで，被写体の距離を固定とする RPT の従来手法よりも正しく視
野外情報が提示されることを示した．
今後は，実画像と提示画像の誤差を軽減するため，正確なキャリブレーション，および距離計測精度の向上が必要だと考えられる．また，提案システムを実際に乗り物に搭
載し，本手法によって操縦者がどの程度視野外情報を認識し，安全性や操作性に寄与するのかを検証する必要がある．
さらに，本実装では操縦者に HMP やモーションセンサなど各種の機器を装着することによって，快適性が損なわれている．よって，HMP の小型軽量化，操縦者視点の簡易な計測手法の確立などが実用化に向けた課題として挙げら
れる．
8 (8)

映像情報メディア学会誌 Vol. 63, No. 6 (2009)よ し だ吉田

たくみ

匠 2006 年，東京大学工学部計数工学科
卒業．2008 年，同大学大学院情報理工学系研究科シス
テム情報学専攻修士課程修了．同年，同専攻博士課程進学，日本学術振興会特別研究員 (DC1)．バーチャルリア
リティ，拡張現実感の研究に従事．2006 年，計測自動制
御学会学術奨励賞受賞．

じょう

けんせい

城

堅誠 2007 年，東京大学工学部計数工学科

みなみざわ

こ う た

卒業．2009 年，同大学大学院情報理工学系研究科システ
ム情報学専攻修士課程修了．バーチャルリアリティ，拡張現実感の研究に従事．

南澤

孝太 2005 年，東京大学工学部計数工学科
卒業．2007 年，同大学大学院情報理工学系研究科シス
テム情報学専攻修士課程修了．同年，同専攻博士課程進学，日本学術振興会特別研究員 (DC1)．ハプティックイ
ンタフェース，テレイグジスタンスシステムの研究に従事．2007 年，日本バーチャルリアリティ学会学術奨励賞
受賞．

に

い

ひであき

かわかみ

な お き

新居

英明 1995 年，東京工業大学大学院理工学研究科博士前期課程制御工学専攻修了．同年，株式会社
トキメック入社．2003 年，同社退社．2003 年〜2006 年
まで，電気通信大学大学院電気通信学研究科博士後期課
程機械制御工学専攻在籍．2007 年，東京大学大学院情報理工学系研究科システム情報学専攻助教．2009 年，慶應
義塾大学慶應義塾大学大学院メディアデザイン研究科講師．情報投影技術を利用したヒューマンインタフェースの研究に従事．

川上直樹 1996 年，東京工業大学理工学研究科
電気電子工学専攻修士課程修了．1999 年，東京大学大学
院工学系研究科先端学際工学専攻博士課程修了．工学博士．同年，同大工学部計数工学科助手，2002 年，同大大学院情報理工学系研究科システム情報学専攻講師．バーチャルリアリティの研究に従事．
たちすすむ暲 1968 年，東京大学工学部計数工学科卒業．1973 年，同大大学院博士課程修了．工学博士．同年，同大助手．1975 年，通産省工技院機械技研研究員，マサチューセッツ工科大学客員研究員を経て，1989 年，
東京大学先端科学技術センター助教授，1992 年，同セン
ター教授，1994 年，同大工学部計数工学科教授，2001
年，同大大学院情報理工学系研究科システム情報学専攻
教授．2009 年，慶應義塾大学大学院メディアデザイン研
究科教授．テレイグジスタンス，人工現実感の研究に従事．IEEE/EMBS 学会賞，通産大臣表彰，国際計測連合(IMEKO) 特別功労賞，IEEE-VR Career Award など
受賞．IMEKO ロボティクス会議議長，計測自動制御学会会長，日本バーチャルリアリティ学会初代会長.
舘論

文 □ 見回し動作に対応した再帰性投影技術による乗り物の視野外情報提示(9) 9