(57)【要約】【課題】三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することのできる画像表示装置および画像表示方法を提供する。【解決手段】複数台のカメラから入力された映像を表示する画像表示装置において、前記映像を正多面体上に写像する演算を行う映像処理部と、写像した結果をストアするメモリと、前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、前記表示用の映像を表示する表示部と、を有することを特徴とする画像表示装置。【選択図】    図１
2007088660.tif 000002
【特許請求の範囲】
【請求項１】
複数台のカメラから入力された映像を表示する画像表示装置において、
前記映像を正多面体上に写像する演算を行う映像処理部と、
写像した結果をストアするメモリと、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
前記表示用の映像を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項２】
前記映像処理部は、前記複数台のカメラから入力された映像を正２０面体上に写像することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示処理部および表示部を複数備えたことを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
前記複数台のカメラは、３次元の全方位の映像を出力するように配置されることを特徴とする請求項１乃至３のいずれかに記載の画像表示装置。
【請求項５】
移動体に搭載されることを特徴とする請求項１乃至４のいずれかに記載の画像表示装置。
【請求項６】
前記移動体は航空機であることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記表示処理部は、航空機に搭載された機体の方向を検知するセンサの出力信号に基づいて表示用の映像を生成することを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記表示処理部は、予め設定された目標物を表示する映像であって、機体の方向を検知するセンサの出力信号に基づき常に前記目標物を表示する映像を生成することを特徴とする請求項６に記載の画像表示装置。
【請求項９】
３次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
前記複数台のカメラの映像を正多面体上に写像する工程と、
写像した結果をメモリにストアする工程と、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する工程と、
前記表示用の映像を表示する工程と、
を有することを特徴とする画像表示方法。
【請求項１０】
前記複数台のカメラの映像を正多面体上に写像する工程は、前記複数台のカメラの映像を正２０面体上に写像することを特徴とする請求項９に記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航空機や車両などの移動体に搭載され、これら移動体を基準とした全方向画像を表示する画像表示装置および画像表示方法に関し、詳しくは、３次元の全方向の範囲で任意の方向の外界映像を出力する画像表示装置および画像表示方法に関するものである。
【背景技術】
【０００２】
従来、適切な航行措置をとるために、航空機や車両などの移動体にカメラを搭載して機体周囲の映像情報を取得し操縦者に提示するものがある。
また、無人ヘリコプターの遠隔操作において、無人ヘリコプターに全方位カメラを搭載して撮像された映像を受信し、操縦者側の操縦システムで任意方向の映像を切り出し操縦者に提示するものがある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００３−２６７２９５号公報
【０００４】
図８は、従来の画像表示装置における航空機上のカメラの概略配置例を示した図である。図８（ａ）は、機首に可動型カメラを配置した状態を示している。図８（ａ）において、可動型カメラ１１２の可動範囲で機体１１１周辺を撮影する。図８（ｂ）は、機体１１１に複数のカメラを配置したもので、図８（ｂ）においてカメラ１１３は機首に配置され機体前方を撮影し、カメラ１１４は機体後部に配置され機体後方を撮影する。
【０００５】
図９は、特許文献１に記載の従来の画像表示装置の一例を示す構成図である。
図９において、無人ヘリコプター１２０に搭載された全方位カメラ１２１は、３６０°全方位の映像を取得し、映像送信器１２２は、この映像信号を操縦システム１２３内の映像受信器１２４へ送信する。映像受信器１２４は、映像信号を映像切り出し部１２５に送り、映像切り出し部１２５は、操縦者の視線方向を検出する角度センサ１２６からの信号に基づき変換テーブルを用いて映像信号の内で任意方向の映像部分を切り出す。ヘッドマウントディスプレイなどの表示部１２７は、切り出された映像を操縦者に提示する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述の可動型カメラを使用した場合には、応答速度は遅い、メカニカルの機構が必要になる、可動範囲が制限される、などの問題がある。また、複数の固定カメラを使用した場合は、映像が別々の系統になるので、切替えが必要になり、使いにくいという欠点がある。さらに、全方位カメラを使用し、任意の角度の映像を切り出して表示系統に送るものでは、地上や風景などの限られた視野の範囲を見るには有効であるが、三次元で全方向の映像を見ることはできないという問題があった。
【０００７】
本発明は、このような従来の画像表示装置および画像表示方法が有していた問題を解決しようとするものであり、三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することのできる画像表示装置および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記のような目的を達成するために、本発明の請求項１では、複数台のカメラから入力された映像を表示する画像表示装置において、
前記映像を正多面体上に写像する演算を行う映像処理部と、
写像した結果をストアするメモリと、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する表示処理部と、
前記表示用の映像を表示する表示部と、
を有することを特徴とする。
【０００９】
請求項２では、請求項１に記載の画像表示装置において、前記映像処理部は、前記複数台のカメラから入力された映像を正２０面体上に写像することを特徴とする。
【００１０】
請求項３では、請求項１または２に記載の画像表示装置において、前記表示処理部および表示部を複数備えたことを特徴とする。
【００１１】
請求項４では、請求項１乃至３のいずれかに記載の画像表示装置において、前記複数台のカメラは、３次元の全方位の映像を出力するように配置されることを特徴とする。
【００１２】
請求項５では、請求項１乃至４のいずれかに記載の画像表示装置において、移動体に搭載されることを特徴とする。
【００１３】
請求項６では、請求項５に記載の画像表示装置において、前記移動体は航空機であることを特徴とする。
【００１４】
請求項７では、請求項６に記載の画像表示装置において、前記表示処理部は、航空機に搭載された機体の方向を検知するセンサの出力信号に基づいて表示用の映像を生成することを特徴とする。
【００１５】
請求項８では、請求項６に記載の画像表示装置において、前記表示処理部は、予め設定された目標物を表示する映像であって、機体の方向を検知するセンサの出力信号に基づき常に前記目標物を表示する映像を生成することを特徴とする。
【００１６】
請求項９では、３次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
前記複数台のカメラの映像を正多面体上に写像する工程と、
写像した結果をメモリにストアする工程と、
前記メモリから任意の方向の写像を読み出して表示用の映像を生成する工程と、
前記表示用の映像を表示する工程と、
を有することを特徴とする。
【００１７】
請求項１０では、請求項９に記載の画像表示方法において、前記複数台のカメラの映像を正多面体上に写像する工程は、前記複数台のカメラの映像を正２０面体上に写像することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、応答速度が速く、メカニカルの機構やカメラの切り替えが不要で、３次元の全方向の範囲で任意の方向の映像出力を得ることができる画像表示装置および画像表示方法が実現できる。
【００１９】
適切な航行措置をとるために、航空機や車両などの移動体の周囲の映像情報を取得し、操縦者に任意の方向の映像を提示することができる。さらに、機体の方向を検知するセンサの出力信号を使用して表示映像を生成することにより、機体の向きに応じたカメラ映像を得ることができ、また、機体の向きに係わらず常に地上あるいは空間上の一方向を向いたままロックした画像を出力することができる。
【００２０】
また、近年は立体モデルをポリゴンに分割して映像情報（テクスチャ）を貼り付ける汎用の３Ｄグラフィック技術が進歩してきている。カメラで撮影した映像を正多面体に正規化することにより、この３Ｄグラフィックの技術を使用することができ、開発効率・費用の点において有利となる。
【００２１】
３Ｄグラフィック技術においては、計算のしやすさから、一般的にポリゴンには３角形が使用される。正２０面体は各面が正３角形で構成されており、正規化のための正多面体として正２０面体を採用することにより、３角形を単位とするテクスチャを使用することができる。近年のＧＤＰ（Ｇｒａｐｈｉｃ  Ｄａｔａ  Ｐｒｏｃｅｓｓｏｒ）の発達により、立体を３角形をベースとしたポリゴンに分解し、映像情報をテクスチャとして貼り付けて、それを任意の方向から見たときの画像を生成する機能が容易かつ低価格で実現できるようになっている。機体周囲の空間を正２０面体のような形状にモデリングし、この汎用の３Ｄグラフィック技術を用いることにより、表示処理装置を容易に低価格で製作することができる。
【００２２】
なお、正規化に利用する正多面体としては正６面体なども考えられるが、正２０面体の方が、ある方向を表示するために同時に必要とする面積を少なくすることができ、映像処理部と表示処理部との間のデータ伝送量が抑えられ、処理の負荷を軽減することができる。例えば、正６面体では１方向の映像を表示するのに同時に１面〜３面、すなわち全方向の写像データ全体の面積の１／６〜３／６が必要となるが、正２０面体では、１方向の映像の表示に同時に必要なのは１面〜６面、すなわち全体の面積の１／２０〜６／２０であり、正２０面体を使用した場合の方がデータ量を少なくすることができる利点がある。
【００２３】
このように、カメラで撮影した映像を正多面体上に正規化して表示映像の生成を行うことにより、三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することのできる画像表示装置および画像表示方法を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を用いて本発明の画像表示装置および画像表示方法を説明する。
【実施例１】
【００２５】
図１は、本発明による画像表示装置の一実施例を示す構成図である。図１において、映像処理装置２は、カメラ１ａ〜１ｆからの映像を処理して後述の３次元の写像データを生成し、生成した写像データは写像用メモリ３にストアする。表示処理装置４は、表示に必要な部分の写像データを伝送路６を経由して入力し、表示する映像情報を生成して、モニタ５ａやＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）５ｂに出力する。
【００２６】
図２は、映像処理装置２および写像用メモリ３の詳細な構成を示した図である。カメラからの信号をディジタル信号に変換するＡ／Ｄ変換器２１ａ〜２１ｆ、Ａ／Ｄ変換器２１ａ〜２１ｆの出力信号をストアするメモリ２２ａ〜２２ｆ、写像データを演算するＣＰＵ２３、ＣＰＵ２３が演算した写像データをストアする写像メモリ３、写像データを映像処理装置２の外部へ出力する通信Ｉ／Ｆ２４、機体からの姿勢情報等を入力するための機体Ｉ／Ｆ２５、バス２６から構成される。
【００２７】
図３は、表示処理装置４の詳細な構成を示した図である。表示処理装置４では、通信Ｉ／Ｆ４１を経由して映像処理装置２から写像データを入力し、メモリ４２にストアする。ＣＰＵ４３は通信Ｉ／Ｆ４１およびメモリ４２の制御を行う。ＧＤＰ４４は、写像データをもとに、中心から任意の方向を見た映像を生成してメモリ４５にストアし、映像Ｉ／Ｆ４６を経由してモニタ５ａやＨＭＤ５ｂに出力する。
【００２８】
図４は、カメラ１ａ〜１ｆが航空機の機体に取り付けられる際の配置例を示した図である。図４に示す通り、カメラ１ａ〜１ｆはそれぞれ航空機の６軸方向に取り付けられた広角カメラであって、６軸方向の映像信号を出力する。
【００２９】
図５は、図４に示したカメラの配置を模式的に示した図である。図５は図４の航空機を正６面体に置き換えたもので、カメラ１ａ〜１ｆは、各面の中心に取り付けられ、法線方向の映像を映すものとする。各カメラの映像は、図５に示す正６面体上の情報と考えることができる。
【００３０】
図６は、上記３次元の写像データの生成に係る説明図である。図６は、カメラの位置（機体と等価とみなす）を中心点とし、外界を正多面体（正２０面体）と考えたモデルである。カメラから周囲を見た映像を図６に示す正２０面体に投影し、映像の正規化を行う。
【００３１】
自機を中心とした正２０面体上の映像がすべて既知ならば、仮想的にカメラの方向を決めれば、任意の方向に投影した映像を決定することができる。表示処理装置４では、仮想的なカメラの向きを決定し、表示データの生成に必要な写像データを映像処理装置２から伝送し、モニタ５ａ等に出力する映像を生成する。
【００３２】
写像データの演算および表示データ生成の際は、図２の機体Ｉ／Ｆ２５や図３の機体Ｉ／Ｆ４７を介して得られた機体情報を用いて計算を行う。具体的には、機体Ｉ／Ｆ２５や機体Ｉ／Ｆ４７を通じて、機体に装備されている慣性航法システム等のセンサから、姿勢情報を入力し、ＣＰＵ２３やＧＤＰ４４の演算に使用する。
【００３３】
また、航空機が外界（地球）に対して姿勢を変えても、カメラの方向を決定する時に自機の姿勢情報を加えて演算することにより、常に地上あるいは空間上の一方向を向いたままロックした画像を出力することも可能である。
【００３４】
なお、本実施例では、写像データとして正２０面体で正規化した例をあげたが、形状は正２０面体に限定されるものではない。しかし、ポリゴンの処理には３角形が適する点、同形の３角形からなる正多面体は正８面体と正２０面体しか存在しない点、正規化という観点では各面が同じ形状となる正多面体を使用する方が処理が単純となる点から、総合して正２０面体を用いるのが良いと考えられる。その他の形状とすることは可能であるが、正規化や表示データ生成などの処理が複雑になり、開発効率が下がり、開発費用も増大する方向である。
【実施例２】
【００３５】
図７は、本発明による画像表示装置の他の実施例を示す構成図である。映像処理装置２一台に対して複数台の表示処理装置４を接続した場合を示している。
【００３６】
表示処理装置４は、映像処理装置２から必要なデータを伝送して表示データを生成するため、映像処理装置２一台に対して複数台の表示処理装置４を接続することができ、それぞれ個別に任意方向の映像を生成することが可能である。
【００３７】
これにより、航空機内で複数の人が機体外部の映像を見たい場合に、データソース（映像処理装置２）はひとつでも、各人が別々の映像を見ることが可能になる。ここで、複数の人としては、パイロットと他のミッションを持った乗員や、民間航空機内の各旅客などが考えられ、それぞれ自分の見たい外界映像を自分のモニタに映して見ることが可能となる。
【図面の簡単な説明】
【００３８】
【図１】図１は本発明による画像表示装置の一実施例を示す構成図。
【図２】図２は映像処理装置２および写像用メモリ３の詳細な構成を示した図。
【図３】図３は表示処理装置４の詳細な構成を示した図。
【図４】図４は航空機の機体に取り付けられたカメラの配置例を示した図。
【図５】図５は図４に示したカメラの配置を模式的に示した図。
【図６】図６は写像データの正規化に係る説明図。
【図７】図７は映像処理装置２一台に対して複数台の表示処理装置４を接続した構成例を示した図。
【図８】図８は従来の画像表示装置における航空機上のカメラの概略配置例を示した図。
【図９】図９は従来の画像表示装置の一例を示す構成図。
【符号の説明】
【００３９】
１ａ〜１ｆ  カメラ
２      映像処理装置
３      写像用メモリ
４      表示処理装置
５ａ    モニタ
５ｂ    ＨＭＤ
６      伝送路
【図１】
2007088660.tif 000003
【図２】
2007088660.tif 000004
【図３】
2007088660.tif 000005
【図４】
2007088660.tif 000006
【図５】
2007088660.tif 000007
【図６】
2007088660.tif 000008
【図７】
2007088660.tif 000009
【図８】
2007088660.tif 000010
【図９】
2007088660.tif 000011