(57)【要約】【課題】  複雑な制御を要することなく、広範囲の周囲の映像の中から所望の映像を切替えて表示することができる監視装置を提供する。【解決手段】  周囲映像生成部１２は、全方位カメラ１１で撮影することによって広範囲の周囲映像を生成する。検出部１８は、ユーザの位置、状態または動作を検出する。表示用映像生成部８１は、生成された周囲映像から、検出結果に応じた表示用映像を生成する。表示部１６は、生成された表示用映像を表示する。ユーザの視野が物体によって遮られており、全方位カメラ１１は、ユーザの視野外を撮影する位置に配置され、表示部１６または表示部による投影のためのスクリーンは、ユーザの視野内に配置される。【選択図】        図１
2007081787.tif 000002
【特許請求の範囲】
【請求項１】
周囲を撮影するための１個または複数個のカメラと、
前記カメラで撮影することによって広範囲の周囲映像を生成する周囲映像生成部と、
ユーザの位置、状態または動作を検出する検出部と、
前記生成された周囲映像から、前記検出結果に応じた表示用映像を生成する表示用映像生成部と、
前記生成された表示用映像を表示する表示部とを備えた監視装置。
【請求項２】
前記ユーザの視野が物体によって遮られており、
前記カメラは、前記ユーザの視野外を撮影する位置に配置され、
前記表示部または前記表示部による投影のためのスクリーンは、前記ユーザの視野内に配置される、請求項１記載の監視装置。
【請求項３】
前記表示部または前記表示部による投影のためのスクリーンは、前記ユーザの視野内の前記ユーザの視野を遮る物体の面、または前記ユーザの視野内の前記物体の面以外の箇所に配置される、請求項２記載の監視装置。
【請求項４】
前記検出部は、前記ユーザの顔部の位置を検出し、
前記表示用映像生成部は、前記検出された顔部の位置に応じた表示用映像を生成する、
請求項１〜３のいずれかに記載の監視装置。
【請求項５】
前記検出部は、さらに前記表示部または前記表示部による投影のためのスクリーンと、前記顔部との距離を検出し、
前記表示用映像生成部は、前記検出された距離が短いほど、前記生成された周囲映像の中のより広範囲の映像が含まれるような表示用映像を生成する、請求項４記載の監視装置。
【請求項６】
前記検出部が検出する顔部は、前記ユーザの顔、目、鼻、眉間、口のうちの少なくとも１つである、請求項４または５記載の監視装置。
【請求項７】
前記検出部は、前記ユーザの視線の方向を検出し、
前記表示用映像生成部は、前記検出された視線方向に応じた表示用映像を生成する、請求項１〜３のいずれかに記載の監視装置。
【請求項８】
前記監視装置は、車両の周囲を監視する装置であって、
前記カメラは、前記車両の外部に配置され、
前記表示部または前記表示部による投影のためのスクリーンは、前記車両の運転席の周囲に配置される、請求項１〜７のいずれかに記載の監視装置。
【請求項９】
前記監視装置は、壁に仕切られた２つの領域のうちの一方の領域を監視する装置であって、
前記カメラは、前記壁に仕切られた２つの領域のうちの一方の領域内に配置され、
前記表示部または前記表示部による投影のためのスクリーンは、前記壁に仕切られた２つの領域のうちの他方の領域内の前記壁に取り付けられる、請求項１〜７のいずれかに記載の監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置に関し、特に、広範囲の周囲映像からユーザが所望する箇所の映像を表示する監視装置に関する。
【背景技術】
【０００２】
従来から、２箇所以上の映像の中から所望の映像を切替えて表示する監視装置が提案されている。
【０００３】
たとえば、特許文献１に記載の装置では、フォークの揚高位置が所定の第１揚高位置以下のときに、走行用カメラが撮像する車両の前方画像が表示装置に表示され、フォークの揚高位置が所定の第１揚高位置を超えるときに、荷役用カメラが撮像するフォークの前方画像が表示装置に表示される。
【０００４】
また、特許文献２に記載の装置では、頭部位置検出センサによって検出された作業者の頭部位置は頭部位置データとして三次元画像入力装置に供給される。三次元画像入力装置内のアクチュエータは、軸ｘ、ｙ、ｚを頭部位置データに応じて回動させる。アクチュエータの各軸が回動すると、三次元画像入力装置のＴＶカメラの撮像方向が変化する。ＴＶカメラによって撮像された新たな画像データを無線によって、ドーム型表示装置に出力する。
【特許文献１】特開２００３−２１２４９４号公報
【特許文献２】特開平６−３３９１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、車両の前方画像またはフォークの前方画像が表示されるだけである。車両が右折するときには右方向の映像が必要となり、左折するときには左方向の映像が必要であるが、特許文献１の記載の装置は、これらを表示することができない。
【０００６】
また、特許文献２では、映像を切替えるためにカメラを動かす必要があるので、カメラを駆動するコントローラが必要となる。
【０００７】
それゆえに、本発明の目的は、カメラの制御を要することなく、周囲の広範囲の映像の中から所望の映像を切替えて表示することができる監視装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の監視装置は、周囲を撮影するための１個または複数個のカメラと、カメラで撮影することによって広範囲の周囲映像を生成する周囲映像生成部と、ユーザの位置、状態または動作を検出する検出部と、生成された周囲映像から、検出結果に応じた表示用映像を生成する表示用映像生成部と、生成された表示用映像を表示する表示部とを備える。
【０００９】
好ましくは、ユーザの視野が物体によって遮られており、カメラは、ユーザの視野外を撮影する位置に配置され、表示部または表示部による投影のためのスクリーンは、ユーザの視野内に配置される。
【００１０】
好ましくは、表示部または表示部による投影のためのスクリーンは、ユーザの視野内のユーザの視野を遮る物体の面、またはユーザの視野内の物体の面以外の箇所に配置される。
【００１１】
好ましくは、検出部は、ユーザの顔部の位置を検出し、表示用映像生成部は、検出された顔部の位置に応じた表示用映像を生成する。
【００１２】
好ましくは、検出部は、さらに表示部または表示部による投影のためのスクリーンと、顔部との距離を検出し、表示用映像生成部は、検出された距離が短いほど、生成された周囲映像の中のより広範囲の映像が含まれるような表示用映像を生成する。
【００１３】
好ましくは、検出部が検出する顔部は、ユーザの顔、目、鼻、眉間、口のうちの少なくとも１つである。
【００１４】
好ましくは、検出部は、ユーザの視線の方向を検出し、表示用映像生成部は、検出された視線方向に応じた表示用映像を生成する。
【００１５】
好ましくは、監視装置は、車両の周囲を監視する装置であって、カメラは、車両の外部に配置され、表示部または表示部による投影のためのスクリーンは、車両の運転席の周囲に配置される。
【００１６】
好ましくは、監視装置は、壁に仕切られた２つの領域のうちの一方の領域を監視する装置であって、カメラは、壁に仕切られた２つの領域のうちの一方の領域内に配置され、表示部または表示部による投影のためのスクリーンは、壁に仕切られた２つの領域のうちの他方の領域内の壁に取付けられる。
【発明の効果】
【００１７】
本発明のある局面に係る監視装置によれば、複雑な制御を要することなく、周囲の広範囲の映像の中から所望の映像を切替えて表示することができる。そして、視野を遮る物体があっても、物体がないかのように物体の向こう側の様子を見ることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
第１の実施形態は、周囲映像から、眉間の位置に応じた表示用映像を生成する監視装置に関する。
【００１９】
（監視装置の構成）
図１は、第１の実施形態の監視装置の機能ブロック図である。
【００２０】
図１を参照して、この監視装置１は、全方位カメラ１１と、周囲映像生成部１２と、検出部１８と、表示用映像生成部８１と、表示部１６とを備える。検出部１８は、顔撮影用カメラ１３と、眉間位置検出部１４とを含む。
【００２１】
表示部１６は、たとえば液晶ディスプレイであり、生成された表示用映像を表示する。以下、表示部１６をディスプレイと呼ぶこともある。
【００２２】
全方位カメラ１１は、双曲面ミラーと、カメラから構成され、周囲３６０度から届く光を曲面ミラーで反射して、反射した光をカメラで撮影する。
【００２３】
周囲映像生成部１２は、全方位カメラ１１で撮影されたデータから円形映像（丸映像）を周囲映像として生成して、表示用映像生成部８１に出力する。
【００２４】
顔撮影用カメラ１３は、ユーザの顔を撮影して顔画像を生成する。
図２は、第１の実施形態の監視装置１を車両の一例である戦車に取付けた例を表わす図である。
【００２５】
図２を参照して、全方位カメラ１１は、ユーザ（運転者）の視野外を撮影する位置、すなわち戦車の外部に配置される。
【００２６】
表示部１６は、ユーザ（運転者）の視野内である運転席の周囲に配置される。すなわち、表示部１６は、運転席の前方に配置される前方ディスプレイ５１、運転席の後方に配置される後方ディスプレイ５２、運転席の右側に配置される右側面ディスプレイ５３と、運転席の左側に配置される図示しない左側面ディスプレイとからなる。
【００２７】
顔撮影用カメラ１３は、各ディスプレイの上部に取付けられる。顔撮影用カメラ１３の取付け位置の水平方向は、ディスプレイの水平方向の中心が望ましい。
【００２８】
監視装置１のそれ以外の構成要素は、戦車内部または別の場所に配置される。これらの構成要素と、顔撮影用カメラ１３、全方位カメラ１１および表示部１６との間は、無線または有線で接続される。
【００２９】
眉間位置検出部１４は、顔画像から眉間の位置を検出する。眉間位置の検出方法については、たとえば、特許第３４０５１１号の方法を用いる。この方法によれば、人間の顔領域であって対象となる画像領域内の各画素の値のデジタルデータを準備し、対象となる画素領域内の画素の各々に対して、その画素を囲むあらかじめ定められた閉曲線上の画素の値の分布曲線が示す特定の波数成分の相対的な量を求め、顔領域内で、特定の波数成分の相対的な量が局所的に最大を示す画素を顔領域内の特徴点たる眉間を表わす点として抽出する。
【００３０】
図３（ａ）〜（ｃ）は、眉間位置の検出例を表わす図である。これらの図は、顔撮影用カメラ１３にて撮影した顔画像であって、眉間位置検出部１４は、これらの顔画像に基づいて眉間位置を検出する。
【００３１】
図３（ａ）は、眉間の位置が顔画像の水平方向の中央にある場合である。この場合には、ディスプレイと眉間との水平方向の相対位置関係は、ディスプレイに向かってディスプレイの中央に眉間があると検出される。
【００３２】
図３（ｂ）は、眉間の位置が顔画像の水平方向の右側にある場合である。この場合には、ディスプレイと眉間との水平方向の相対位置関係は、ディスプレイに向かってディスプレイの中央よりも左側に眉間があると検出される。
【００３３】
図３（ｃ）は、眉間の位置が顔画像の水平方向の左側にある場合である。この場合には、ディスプレイと眉間との水平方向の相対位置関係は、ディスプレイに向かってディスプレイの中央よりも右側に眉間があると検出される。
【００３４】
表示用映像生成部８１は、周囲映像から、ユーザの眉間の位置に応じた表示用映像を生成するもので、周囲映像用メモリ１０と、変換マップ生成部１７と、変換マップ用メモリ１９と、変換部１５とを含む。
【００３５】
周囲映像用メモリ１０を、周囲映像生成部１２から出力された周囲映像を記憶する。
変換マップ生成部１７は、以下の手順によって、周囲映像を表示用映像に変換するための変換マップをユーザの眉間の位置に応じて作成し、変換マップ用メモリ１９に保存する。
【００３６】
変換マップ生成部１７は、まず、検出された眉間の位置に応じて、表示用映像に含まれるべき周囲映像の部分を特定する。
【００３７】
すなわち、変換マップ生成部１７は、検出された眉間の位置がディスプレイに向かってディスプレイの中心よりも左側にあるほど、ディスプレイに向かってより右側の部分の周囲映像が表示用映像に含まれるように表示用映像に含まれる周囲映像を特定する。こうすることにより、覗き込む動作に対応した周囲映像を見ることができる。
【００３８】
また、変換マップ作成部１７は、検出された眉間の位置がディスプレイに向かってディスプレイの中心よりも右側にあるほど、ディスプレイに向かってより左側の部分の周囲映像が表示用映像に含まれるように表示用映像に含まれる周囲映像を特定する。こうすることにより、覗き込む動作に対応した周囲映像を見ることができる。
【００３９】
図４（ａ）〜（ｃ）は、眉間位置と、表示用映像に含まれるように特定された周囲映像の部分との関係の具体例を表わす図である。
【００４０】
図４（ａ）〜（ｃ）において、眉間とディスプレイとの距離をａとする。ここで、ａは予め定められた値であるとする。眉間の位置からディスプレイに下ろした垂線がディスプレイと交わる点からディスプレイの左端までの距離、ディスプレイの右端までの距離をそれぞれｂ０、ｂ１とする。ディスプレイの水平幅をｂとしたときに、ｂ０＋ｂ１＝ｂである。
【００４１】
表示用映像が、眉間を中心として、垂線と、垂線から角度α０だけ反時計回りにシフトした境界で挟まれた範囲の左方向の周囲映像と、眉間を中心として、垂線と、垂線から角度α１だけ時計回りにシフトした境界で挟まれた範囲の右方向の周囲映像を含むとする。そうすると、α０＝ｔａｎ-1（ｂ０／ａ）、α１＝ｔａｎ-1（ｂ１／ａ）が成り立つ。α＝α０＋α１とする。ｂ０が大きいほど、α０が大きくなり、ｂ１が大きいほどα１は大きくなる。
【００４２】
図４（ａ）においては、眉間位置がディスプレイに向かってディスプレイの中央にあるので、ｂ０＝ｂ１である。この場合には、α０＝α１となる。
【００４３】
図４（ｂ）においては、眉間位置がディスプレイに向かってディスプレイの中心よりも左側にあるので、ｂ０＜ｂ１である。この場合には、α０＜α１となるので、眉間位置がディスプレイの中央にあるときよりも、ディスプレイに向かってより右側の部分の周囲映像まで含まれる。
【００４４】
図４（ｃ）においては、眉間位置がディスプレイに向かってディスプレイの中心よりも右側にあるので、ｂ０＞ｂ１である。この場合には、α０＞α１となるので、眉間位置がディスプレイの中央にあるときよりも、ディスプレイに向かってより左側の部分の周囲映像まで含まれる。
【００４５】
変換マップ生成部１７は、表示用映像に含まれるように特定された周囲映像の部分を表示部１６（ディスプレイ）の表示エリアのサイズに合うように拡大および／または縮小するための一次変換式を計算する。さらに、変換マップ生成部１７は、表示用映像に含まれるように特定された周囲映像の部分をパノラマ展開するための一次変換式を算出する。
【００４６】
変換マップ生成部１７は、上記２つの一次変換式を結合させた一次変換式を算出し、結合した一次変換式にしたがって、変換マップを作成する。この変換マップは、表示用映像の各画素に対応する周囲映像（円形映像）の各画素を定める。
【００４７】
変換部１５は、変換マップ用メモリ１９内の変換マップにしたがって、周囲映像用メモリ１０内の周囲映像の画素を再配列することによって、表示用映像を生成する。
【００４８】
（監視装置１の動作）
図５は、第１の実施形態の監視装置１の動作手順を表わすフローチャートである。
【００４９】
まず、全方位カメラ１１は、周囲３６０度から届く光を撮影する（ステップＳ１０１）。
【００５０】
次に、周囲映像生成部１２は、全方位カメラ１１で得られたデータから円形映像を周囲映像として生成して、周囲映像用メモリ１０に保存する（ステップＳ１０２）。
【００５１】
上記のステップＳ１０１〜Ｓ１０２の処理と並行して、下記のステップＳ１０３〜Ｓ１０５が行なわれる。
【００５２】
顔撮影用カメラ１３は、顔を撮影して顔画像を生成する（ステップＳ１０３）。
次に、眉間位置検出部１４は、顔画像から眉間の位置を検出する（ステップＳ１０４）。
【００５３】
次に、変換マップ生成部１７は、周囲映像から表示用映像に変換するための変換マップをユーザの眉間の位置に応じて作成して、変換マップ用メモリ１９に保存する（ステップＳ１０５）。
【００５４】
ステップＳ１０２およびＳ１０５の両方が終了後に、変換部１５は、変換マップ用メモリ１９内の変換マップにしたがって、周囲映像用メモリ１０内の周囲映像を表示用映像に変換する（ステップＳ１０６）。
【００５５】
次に、表示部１６は、生成された表示用映像を表示する（ステップＳ１０７）。
以上のように、第１の実施形態の監視装置１によれば、カメラの制御を要することなく、ユーザは眉間の位置を変えることによって、周囲の所望の部分を含むように表示用映像を変化させることができる。この監視装置１を戦車に用いることによって、戦車の運転者が、顔の位置（眉間の位置）を動かすことによって、つまり窓から外を覗き込むようにすることによって、戦車の外部の周囲映像を見ることができる。
【００５６】
［第２の実施形態］
第２の実施形態は、周囲映像から、視線方向に応じた表示用映像を生成する監視装置に関する。
【００５７】
（監視装置の構成）
図６は、第２の実施形態の監視装置の機能ブロック図である。
【００５８】
図６の監視装置２が、図１の第１の実施形態の監視装置１と相違する点について説明する。
【００５９】
図６の監視装置２の検出部２８は、眉間位置検出部１４の代わりに、視線方向検出部２４を含む。
【００６０】
視線方向検出部２４は、ユーザの視線方向を検出する。視線方向の検出方法については、文献「４つの参照点と３枚のキャリブレーション画像に基づく単眼カメラからの視線推定、川戸  慎二郎、内海  章、安部  伸治  著、画像の認識・理解シンポジウム（MIRU2005）、1337〜1341、2005年7月」に記載された方法を用いる。この方法は、顔の上に固定された４つの参照点と３枚のキャリブレーション画像を用いて、単眼カメラで視線方向を推定する方法である。この方法では、まず、キャリブレーション画像から、４つの参照点の座標の線形結合で眼球中心の投影位置を推定するパラメータが抽出される。そして、眼球中心の投影位置と虹彩中心とを結ぶベクトルが視線方向として推定される。この方法のより詳細については、上記文献を参照されたい。
【００６１】
表示用映像生成部８２は、周囲映像から、ユーザの視線方向に応じた表示用映像を生成するもので、周囲映像用メモリ１０と、変換マップ生成部２７と、変換マップ用メモリ１９と、変換部１５とを含む。周囲映像用メモリ１０、変換マップ用メモリ１９および変換部１５は、第１の実施形態と同様である。
【００６２】
変換マップ生成部２７は、以下の手順によって、周囲映像を表示用映像に変換するための変換マップをユーザの視線方向に応じて作成し、変換マップ用メモリ１９に保存する。
【００６３】
変換マップ生成部２は、まず、検出された視線方向に応じて、表示用映像に含まれるべき周囲映像の部分を特定する。すなわち、変換マップ生成部１７は、ユーザの顔の中心線（眉間を通り、顔の面に垂直な線）を中心とした角度αの範囲内の周囲映像が表示用映像に含まれるように特定する。この範囲の中心の方向（この範囲の中心を通る線の方向）は、検出された視線の方向である。ここで、αは予め定められた値とする。また、ユーザの顔の中心は動かないものとする。
【００６４】
図７（ａ）〜（ｃ）は、視線方向と、表示用映像に含まれると特定された周囲映像の部分との関係の具体例を表わす図である。
【００６５】
図７（ａ）においては、ユーザの視線方向がディスプレイの中央にあるので、表示用映像は、ディスプレイの前方の周囲映像を含む。
【００６６】
図７（ｂ）においては、ユーザの視線方向がディスプレイの中央よりも右側にあるので、表示用映像は、ディスプレイの右前方の周囲映像を含む。
【００６７】
図７（ｃ）においては、ユーザの視線方向がディスプレイの中央よりも左側にあるので、表示用映像は、ディスプレイの左前方の周囲映像を含む。
【００６８】
変換マップ生成部２７は、表示用映像に含めるように特定された周囲映像の部分を表示部１６（ディスプレイ）の表示エリアのサイズに合うように拡大および／または縮小するための一次変換式を計算する。さらに、変換マップ生成部２７は、表示用映像に含めるように特定された周囲映像の部分をパノラマ展開するための一次変換式を算出する。
【００６９】
変換マップ生成部２７は、上記２つの一次変換式を結合させた一次変換式を算出し、結合した一次変換式にしたがって、変換マップを作成する。この変換マップは、表示用映像の各画素に対応する周囲映像（円形映像）の各画素を定める。
【００７０】
（監視装置２の動作）
図８は、第２の実施形態の監視装置２の動作手順を表わすフローチャートである。
【００７１】
図８を参照して、ステップＳ１０１〜Ｓ１０３については、図５の第１の実施形態の動作手順と同様である。
【００７２】
ステップＳ２０４において、視線方向検出部２４は、顔画像からユーザの視線方向を検出する。
【００７３】
次に、ステップＳ２０５において、変換マップ生成部２７は、周囲映像から表示用映像に変換するための変換マップをユーザの視線方向に応じて作成して、変換マップ用メモリ１９に保存する。
【００７４】
その後のステップＳ１０６および１０７については、図５の第１の実施形態の動作手順と同様である。
【００７５】
以上のように、第２の実施形態の監視装置２によれば、カメラの制御を要することなく、視線方向を変えることによって、周囲の所望の部分を含むように表示用映像を変化させることができる。
【００７６】
［第３の実施形態］
第３の実施形態は、周囲映像から、目とディスプレイまでの距離に応じた表示用映像を生成する監視装置に関する。
【００７７】
（監視装置の構成）
図９は、第３の実施形態の監視装置の機能ブロック図である。
【００７８】
図９の監視装置３が、図１の第１の実施形態の監視装置１と相違する点について説明する。
【００７９】
図９の監視装置３の検出部３８は、眉間位置検出部１４の代わりに、距離検出部３４を含む。
【００８０】
距離検出部３４は、顔画像を用いて、ユーザの目（左目または右目）と顔撮影用カメラ１３との距離を検出する。距離検出部３４は、第１の実施形態で説明した方法で検出した眉間の両側の対象な位置の暗い領域を目の領域として検出し、この目の領域の大きさ（たとえば画素数）を計測し、計測した目の領域の大きさと基準値とを比較することによって、目と顔撮影用カメラ１３との相対的な距離を検出する。たとえば、目の領域の大きさの基準値をＳ１、そのときの距離をｄ１とし、計測した目の領域の大きさをＳｔしたときに、距離ｄｔ＝ｄ１×Ｓｔ／Ｓ１として検出する。そして、この距離ｄｔをさらに目とディスプレイとの距離に一定の基準で変換する。
【００８１】
表示用映像生成部８３は、周囲映像から、ユーザの目とディスプレイとの距離に応じた表示用映像を生成するもので、周囲映像用メモリ１０と、変換マップ生成部３７と、変換マップ用メモリ１９と、変換部１５とを含む。周囲映像用メモリ１０、変換マップ用メモリ１９および変換部１５は、第１の実施形態と同様である。
【００８２】
変換マップ生成部３７は、以下の手順によって、周囲映像を表示用映像に変換するための変換マップをユーザの目とディスプレイとの距離に応じて作成し、変換マップ用メモリ１９に保存する。
【００８３】
変換マップ生成部３７は、まず、目とディスプレイとの距離に応じて、表示用映像に含まれるべき周囲映像の部分を特定する。
【００８４】
すなわち、変換マップ生成部３７は、ディスプレイの正面方向（ディスプレイに向かう方向）を中心として、ユーザの顔の中心線（眉間を通る線）を中心とした角度θの範囲内の周囲映像を表示用映像に含まれるように特定する。ここで、角度θは、視距離をａ、ディスプレイの水平方向の長さをｂとしたときに、θ＝２×ｔａｎ-1（ｂ／（２×ａ））である。ここで、ユーザの顔の中心は、ディスプレイに向かってディスプレイの中央の位置で固定されているものとする。距離ａが短いほど、角度θは大きくなり、表示用映像に含まれる周囲映像の範囲が広くなる。また、この場合、距離ａが短いほど表示用映像に含まれる周囲映像の範囲を狭くし、距離ａが長いほど表示用映像に含まれる周囲映像の範囲を広くしてもよい。
【００８５】
図１０（ａ）〜（ｃ）は、目とディスプレイとの距離と、表示用映像に含まれると特定された周囲映像の部分との関係の具体例を表わす図である。
【００８６】
図１０（ｂ）では、図１０（ａ）に比べて、目とディスプレイとの距離ａが短いため、角度θは、図１０（ａ）よりも大きくなり、表示用映像は、より広範囲の周囲映像を含む。
【００８７】
図１０（ｃ）では、図１０（ａ）に比べて、目とディスプレイとの距離ａが長いため、角度θは、図１０（ａ）よりも小さくなり、表示用映像は、より狭範囲の周囲映像を含む。
【００８８】
変換マップ生成部３７は、表示用映像に含めるように特定された周囲映像の部分を表示部１６（ディスプレイ）の表示エリアのサイズに合うように拡大および／または縮小するための一次変換式を計算する。さらに、変換マップ生成部３７は、表示用映像に含めるように特定された周囲映像の部分をパノラマ展開するための一次変換式を算出する。
【００８９】
変換マップ生成部３７は、上記２つの一次変換式を結合させた一次変換式を算出し、結合した一次変換式にしたがって、変換マップを作成する。この変換マップは、表示用映像の各画素に対応する周囲映像（円形映像）の各画素を定める。
【００９０】
（監視装置３の動作）
図１１は、第３の実施形態の監視装置３の動作手順を表わすフローチャートである。
【００９１】
図１１を参照して、ステップＳ１０１〜Ｓ１０３については、図５の第１の実施形態の動作手順と同様である。
【００９２】
ステップＳ３０４において、距離検出部３４は、顔画像を用いて、ユーザの目と表示部１６（ディスプレイ）との距離を検出する。
【００９３】
次に、ステップＳ３０５において、変換マップ生成部３７は、周囲映像から表示用映像に変換するための変換マップをユーザの目と表示部１６（ディスプレイ）との距離に応じて作成して、変換マップ用メモリ１９に保存する。
【００９４】
その後のステップＳ１０６および１０７については、図５の第１の実施形態の動作手順と同様である。
【００９５】
以上のように、第３の実施形態の監視装置３によれば、カメラの制御を要することなく、ユーザの目とディスプレイとの距離を変えることによって、周囲の所望の部分を含むように表示用映像を変化させることができる。
【００９６】
（変形例）
本発明は、上記の実施形態に限定するものではなく、たとえば、以下のような変形例も含む。
【００９７】
（１）  シースルーディスプレイ
本発明の実施形態の監視装置を用いて、凹凸のある壁面上において、さも壁がないかのようにその壁の奥を見ることができる、いわゆるシースルーディスプレイ（擬似窓）を実現することができる。
【００９８】
（部屋の外側の監視）
図１２は、本発明の実施形態の監視装置を用いてシースルーディスプレイを実現する場合の各構成要素の取付け例を表わす図である。
【００９９】
図１２は、壁に仕切られた２つの領域のうちの一方の領域である部屋の外部を監視する場合の取付け例を表わしている。ユーザは、壁に仕切られた２つの領域のうちの他方の領域である部屋の内部に存在するものとする。
【０１００】
図１２を参照して、全方位カメラ１１は、ユーザの視野外を撮影する位置、すなわち監視対象である部屋の外側に取付けられる。表示部１６の一例であるプロジェクタ５４は、ユーザの視野内の位置、すなわち部屋の内側の天井に取付けられる。部屋の内側の壁の一部が、プロジェクタ５４による投影のためのスクリーン５５として形成される。
【０１０１】
顔撮影用カメラ１３は、部屋の内側の壁に取付けられる。顔撮影用カメラ１３の取付け位置の上下方向は、スクリーン５５よりも上または下であり、顔撮影用カメラ１３の取付け位置の水平方向は、スクリーン５５の水平方向の中心である。
【０１０２】
監視装置のそれ以外の構成要素は、部屋内部または別の場所に配置される。これらの構成要素と、顔撮影用カメラ１３、全方位カメラ１１およびプロジェクタ５４との間は、無線または有線で接続される。
【０１０３】
（原子炉室内部の監視）
図１３は、本発明の実施形態の監視装置を用いてシースルーディスプレイを実現する場合の各構成要素の取付けの別の例を表わす図である。
【０１０４】
図１３は、壁に仕切られた２つの領域のうちの一方の領域である原子炉が置かれた部屋（原子炉室）の内部を監視する場合の取付け例を表わしている。ユーザは、壁に仕切られた２つの領域のうちの他方の領域である原子炉室の外部に存在するものとする。
【０１０５】
図１３を参照して、全方位カメラ１１は、ユーザの視野外を撮影する位置、すなわち監視対象である原子炉室の内部に取付けられる。表示部１６の一例であるプロジェクタ５４は、ユーザの視野内の位置、すなわち原子炉室の外部の天井に取付けられる。原子炉室の外側の壁の一部が、プロジェクタ５４による投影のためのスクリーン５５として形成される。
【０１０６】
顔撮影用カメラ１３は、原子炉室の外側の壁に取付けられる。顔撮影用カメラ１３の取付け位置の上下方向は、スクリーン５５よりも上または下であり、顔撮影用カメラ１３の取付け位置の水平方向は、スクリーン５５の水平方向の中心である。
【０１０７】
監視装置のそれ以外の構成要素は、原子炉室外部または別の場所に配置される。これらの構成要素と、顔撮影用カメラ１３、全方位カメラ１１およびプロジェクタ５４との間は、無線または有線で接続される。
【０１０８】
図１２および図１３の例において、スクリーンに表示される映像の大きさを実物の大きさと同じになるようにしてもよい。これにより、スクリーンをより窓に近いものとさせることができる。
【０１０９】
（２）  眉間検出、視線方向検出および目とディスプレイまでの距離検出について
本発明の実施形態で説明した眉間検出、視線方向検出および目とディスプレイまでの距離の検出の方式については一例であって、これに限定するものでなく、その他の方式を用いてもよい。
【０１１０】
たとえば、眉間位置検出については、特開２００４−１８５６１１号公報に記載された方法を用いてもよい。
【０１１１】
視線方向の検出については、文献「視線を用いたインタフェース、大野  健彦  著、情報処理（44巻7号）、pp.726-732、2003年7月」に記載された方法を用いてもよい。
【０１１２】
目とディスプレイまでの距離の検出については、人間の黒目の間隔を測定する手法、２眼ステレオカメラを用いた方式、あるいは超音波などを用いた距離センサなどで検出する方式を用いてもよい。
【０１１３】
（３）  眉間、目以外の顔の特徴点について
本発明の第１の実施形態では、顔部（顔の全部または一部）の特徴点として眉間を用いたが、これに限定するものではなく、顔部の他の特徴点を検出し、検出した眉間の位置に応じて表示用映像を生成したのと同様にして、検出した特徴点の中心点に応じて表示用映像を生成することとしてもよい。
【０１１４】
また、本発明の第３の実施形態では、ディスプレイまでの距離を検出するときの顔部の特徴点として目を用いたが、これに限定するものではなく、顔部の他の特徴点を検出し、目とディスプレイまでの距離に応じた表示用映像を生成したのと同様にして、検出した特徴点とディスプレイまでの距離に応じた表示用映像を生成することとしてもよい。
【０１１５】
顔部の特徴点としては、顔全体、左目、右目、鼻、眉間、口のうちの少なくとも１つを用いることができる。
【０１１６】
顔全体の位置検出については、たとえば特開２００４−１８５６１１号公報に記載された方法を用いることができ、目の位置検出については、たとえば特開２００３−１６８１２１号公報に記載された方法を用いることができ、鼻の位置検出については、たとえば特開２００４−１５７７７８号公報に記載された方法を用いることができ、口の位置検出については、たとえば文献「川戸  慎二郎、内海  章、桑原  和宏  著、あなたの顔をインターフェースに実時間画像処理で目、鼻、口を入力デバイスに使う、画像の認識・理解シンポジウム（MIRU2004）、Ｉ-107-108、2004年7月」に記載された方法を用いることができる。
【０１１７】
（４）  周囲映像から表示用映像の生成について
本発明の実施形態では、円形映像である周囲映像を一次変換することによって、パノラマ展開した表示用映像を生成したが、これに限定するものではなく、円形映像を一次変換してパノラマ展開した映像を生成し、パノラマ展開した映像から部分映像を切出し、部分映像を拡大および／または縮小することによって表示用映像を生成することとしてもよい。
【０１１８】
（５）  拡大および／または縮小について
本発明の実施形態では、表示用映像に含める周囲映像の一部をディスプレイのサイズに合うように拡大および／または縮小したが、これに限定するものではない。たとえば、周囲映像の一部を常に一定の比率で拡大および／または縮小するものであってもよく、拡大も、縮小もすることなくディスプレイに表示することとしてもよい。
【０１１９】
また、第３の実施形態では、周囲映像から、視線の方向を中心とした周囲映像の一部を、ディスプレイのサイズに拡大および／または縮小し、ディスプレイの表示エリアの全体に表示したが、図１４に示すように、ディスプレイまたはスクリーン（プロジェクタの場合）の表示エリアうちの特定部分、たとえば視線方向の近辺部分のみに表示用映像を表示するものとしてもよい。
【０１２０】
（６）  ユーザからの入力について
本発明の実施形態および変形例では、ユーザの顔部の位置、顔部とディスプレイとの距離、視線、およびユーザの手または足の操作に応じて、周囲映像から表示用映像を生成したが、これに限定するものではない。ユーザの位置、状態、動作のうちの少なくとも１つに応じて、周囲映像から表示用映像を用いるものとすることができる。たとえば、ユーザの位置として、ユーザの身体全体の位置を用いてもよい。また、ユーザの状態として、ユーザの顔全体を近似した面の法線とディスプレイとの角度を用いてもよい。また、ユーザの動作として、ユーザの発声またはジェスチャなどを用いてもよい。
【０１２１】
（７）  周囲映像を取込むためのカメラについて
本発明の実施形態では、広範囲の周囲映像を生成するために全方位カメラ１１を用いたが、これに限定するものではない。複数個のカメラで撮影された映像から広範囲の周囲映像を生成するものとしてもよい。また、本発明の実施形態では、周囲３６０度の周囲映像を生成するものとしたが、ユーザが必要とするだけの広角の映像を生成するものであればよい。また、赤外線カメラを用いてもよい。
【０１２２】
（８）  全方位カメラの配置について
本発明の実施形態および変形例では、全方位カメラは、ユーザの視野外を撮影する位置に配置することとしたのは、全方位カメラ自体はユーザの視野内にあってもよいが、全方位カメラによって撮影される周囲映像がユーザの視野内では、ディスプレイに周囲映像を表示する意味がないことを考慮したためである。本発明の実施形態および変形例（１）のように、全方位カメラ自体をユーザの視野外に配置するという条件が満たされれば、必然的に、全方位カメラによって撮影される周囲映像もユーザの視野外にある場合には、全方位カメラをユーザの視野外に配置するという条件を満足することだけを考慮すればよい。
【０１２３】
（９）  表示部の具体例について
本発明の実施形態では、表示部１６として液晶ディスプレイを用い、変形例（１）では、プロジェクタを用いたが、これらに限定するものではない。表示部１６として、たとえば、ＣＲＴ（Cathode Ray Tube）またはプラズマディスプレイなどを用いてもよい。また、本発明の実施形態において、表示部としてプロジェクタを用いた場合には、ディスプレイの位置に、プロジェクタによる投影のためのスクリーンを形成することとなる。そして、第３の実施形態において、距離検出部は、スクリーンとユーザの目との距離を検出することになる。さらに、車両の場合にはフロントガラスの一部にスクリーンを設けてもよい。
【０１２４】
（１０）  補正処理について
本発明の実施形態では、顔の中心線を中心として、たとえばθ０＜θ＜θ１の範囲の周囲の映像を表示するときには、周囲映像のθ０＜θ＜θ１の範囲を表示することにしたが、これは、ユーザの眉間が全方位カメラ１１の位置にあるものとみなしたものである。実際には、ユーザの眉間の位置と全方位カメラ１１の位置が異なるので、これらの位置の相違にも基づいて、表示する範囲を補正するものとしてもよい。
【０１２５】
（１１）  その他の適用例について
本発明の実施形態の監視装置は、上記以外の用途にも用いることができる。たとえば、戦車以外の特殊車両の前方と後方の監視、冷蔵庫、冷凍庫、危険物車庫などの内部の外部からの監視、飛行機のパイロット室から客室の監視、飛行機の客室からパイロット室の監視、マンホール、地下室などの外部からの監視、身障者の監視、オフィス、工場などの死角の監視に用いることができる。
【０１２６】
（１２）  変換マップの作成について
変換マップの作成については、さらに、パース変換、および回転変換を組合わせるものとしてもよい。
【０１２７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１２８】
【図１】第１の実施形態の監視装置の機能ブロック図である。
【図２】第１の実施形態の監視装置１を車両の一例である戦車に取付けた例を表わす図である。
【図３】（ａ）〜（ｃ）は、眉間位置の検出例を表わす図である。
【図４】（ａ）〜（ｃ）は、眉間位置と、表示用映像に含まれるように特定された周囲映像の部分との関係の具体例を表わす図である。
【図５】第１の実施形態の監視装置の動作手順を表わすフローチャートである。
【図６】第２の実施形態の監視装置の機能ブロック図である。
【図７】（ａ）〜（ｃ）は、視線方向と、表示用映像に含まれると特定された周囲映像の部分との関係の具体例を表わす図である。
【図８】第２の実施形態の監視装置の動作手順を表わすフローチャートである。
【図９】第３の実施形態の監視装置の機能ブロック図である。
【図１０】（ａ）〜（ｃ）は、目とディスプレイとの距離と、表示用映像に含まれると特定された周囲映像の部分との関係の具体例を表わす図である。
【図１１】第３の実施形態の監視装置の動作手順を表わすフローチャートである。
【図１２】本発明の実施形態の監視装置を用いてシースルーディスプレイを実現する場合の各構成要素の取付け例を表わす図である。
【図１３】本発明の実施形態の監視装置を用いてシースルーディスプレイを実現する場合の各構成要素の取付けの別例を表わす図である。
【図１４】表示用映像の表示例を表わす図である。
【符号の説明】
【０１２９】
１，２，３  監視装置、１０  周囲映像用メモリ、１１  全方位カメラ、１２  周囲映像生成部、１３  顔撮影用カメラ、１４  眉間位置検出部、１５，２５，３５  変換部、１６  表示部、１７，２７，３７  変換マップ生成部、１８，２８，３８  検出部、１９  変換マップ用メモリ、２４  視線方向検出部、３４  距離検出部、５１  前方ディスプレイ、５２  後方ディスプレイ、５３  右側面ディスプレイ、５４  プロジェクタ、５５  スクリーン、８１，８２，８３  表示用映像生成部。
【図１】
2007081787.tif 000003
【図２】
2007081787.tif 000004
【図３】
2007081787.tif 000005
【図４】
2007081787.tif 000006
【図５】
2007081787.tif 000007
【図６】
2007081787.tif 000008
【図７】
2007081787.tif 000009
【図８】
2007081787.tif 000010
【図９】
2007081787.tif 000011
【図１０】
2007081787.tif 000012
【図１１】
2007081787.tif 000013
【図１２】
2007081787.tif 000014
【図１３】
2007081787.tif 000015
【図１４】
2007081787.tif 000016