(57)【要約】【課題】  三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することのできる画像表示装置および画像表示方法を提供する。【解決手段】  複数台のカメラから入力された映像を表示する画像表示装置において、前記映像を球面上に写像する演算を行うと共に、任意の方向の写像に基づき表示用の映像を生成する演算部と、前記表示用の映像を表示する表示部と、を有することを特徴とする画像表示装置。【選択図】                    図１
2006197068.tif 000002
【特許請求の範囲】
【請求項１】
複数台のカメラから入力された映像を表示する画像表示装置において、
前記映像を球面上に写像する演算を行うと共に、任意の方向の写像に基づき表示用の映像を生成する演算部と、
前記表示用の映像を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項２】
前記複数台のカメラは、三次元の全方位の映像を出力するように配置されることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
移動体に搭載されることを特徴とする請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記移動体は航空機であることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記任意の方向は、航空機に搭載された機体の方向を検知するセンサの出力信号に基づき決定されることを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記任意の方向は、予め設定された目標物を表示する方向であって、機体の方向を検知するセンサの出力信号に基づき常に前記目標物を表示することを特徴とする請求項４に記載の画像表示装置。
【請求項７】
三次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
前記複数台のカメラの映像を球面上に写像する工程と、
任意の方向の写像に基づき表示用の映像を生成する工程と、
前記表示用の映像を表示する工程と、
から構成されることを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航空機や車両などの移動体に搭載され、これら移動体を基準とした全方向画像を表示する画像表示装置および画像表示方法に関し、詳しくは、三次元の全方向の範囲で任意の方向の外界映像を出力する画像表示装置および画像表示方法に関するものである。
【背景技術】
【０００２】
従来、適切な航行措置をとるために、航空機や車両などの移動体にカメラを搭載して機体周囲の映像情報を取得し操縦者に提示するものがある。
また、無人ヘリコプターの遠隔操作において、無人ヘリコプターに全方位カメラを搭載して撮像された映像を受信し、操縦者側の操縦システムで任意方向の映像を切り出し操縦者に提示するものがある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００３−２６７２９５号公報
【０００４】
図７は、従来の画像表示装置における航空機上のカメラの概略配置例を示した図である。図７（ａ）は、機首に可動型カメラを配置した状態を示している。図７（ａ）において、可動型カメラ１２の可動範囲で機体１１周辺を撮影する。図７（ｂ）は、機体１１に複数のカメラを配置したもので、図７（ｂ）においてカメラ１３は機首に配置され機体前方を撮影し、カメラ１４は機体後部に配置され機体後方を撮影する。
【０００５】
図８は、特許文献１に記載の従来の画像表示装置の一例を示す構成図である。
図８において、無人ヘリコプター２０に搭載された全方位カメラ２１は、３６０°全方位の映像を取得し、映像送信器２２は、この映像信号を操縦システム２３内の映像受信器２４へ送信する。映像受信器２４は、映像信号を映像切り出し部２５に送り、映像切り出し部２５は、操縦者の視線方向を検出する角度センサ２６からの信号に基づき変換テーブルを用いて映像信号の内で任意方向の映像部分を切り出す。ヘッドマウントディスプレイなどの表示部２７は、切り出された映像を操縦者に提示する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述の可動型カメラを使用した場合には、応答速度は遅い、メカニカルの機構が必要になる、可動範囲が制限される、などの問題がある。また、複数の固定カメラを使用した場合は、映像が別々の系統になるので、切替えが必要になり、使いにくいという欠点がある。さらに、全方位カメラを使用し、任意の角度の映像を切り出して表示系統に送るものでは、地上や風景などの限られた視野の範囲を見るには有効であるが、三次元で全方向の映像を見ることはできないという問題があった。
【０００７】
本発明は、このような従来の画像表示装置および画像表示方法が有していた問題を解決しようとするものであり、三次元の全方向の範囲で、任意の方向の映像出力を得ると共に常に任意方向にあるターゲットの映像を固定して操縦者に提示することのできる画像表示装置および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は次の通りの構成になった画像表示装置および画像表示方法である。
【０００９】
（１）複数台のカメラから入力された映像を表示する画像表示装置において、
前記映像を球面上に写像する演算を行うと共に、任意の方向の写像に基づき表示用の映像を生成する演算部と、
前記表示用の映像を表示する表示部と、
を有することを特徴とする画像表示装置。
【００１０】
（２）前記複数台のカメラは、三次元の全方位の映像を出力するように配置されることを特徴とする（１）に記載の画像表示装置。
【００１１】
（３）移動体に搭載されることを特徴とする（１）または（２）に記載の画像表示装置。
【００１２】
（４）前記移動体は航空機であることを特徴とする（３）に記載の画像表示装置。
【００１３】
（５）前記任意の方向は、航空機に搭載された機体の方向を検知するセンサの出力信号に基づき決定されることを特徴とする（４）に記載の画像表示装置。
【００１４】
（６）前記任意の方向は、予め設定された目標物を表示する方向であって、機体の方向を検知するセンサの出力信号に基づき常に前記目標物を表示することを特徴とする（４）に記載の画像表示装置。
【００１５】
（７）三次元の全方向を撮影するように配置された複数台のカメラから入力された映像を表示する画像表示方法において、
前記複数台のカメラの映像を球面上に写像する工程と、
任意の方向の写像から表示用の映像を生成する工程と、
前記表示用の映像を表示する工程と、
から構成されることを特徴とする画像表示方法。
【発明の効果】
【００１６】
本発明によれば、以下のような効果がある。
【００１７】
請求項１、請求項２および請求項７に記載の発明によれば、応答速度が早く、メカニカルの機構やカメラの切り替えが不要で、三次元の全方向の範囲で任意の方向の映像出力を得ることができる画像表示装置および画像表示方法が実現できる。
【００１８】
請求項３および請求項４に記載の発明によれば、適切な航行措置をとるために、航空機や車両などの移動体の周囲の映像情報を取得し、操縦者に任意の方向の映像を提示することができる。
【００１９】
請求項５に記載の発明によれば、機体の向きに応じたカメラ映像が得られる。
【００２０】
請求項６に記載の発明によれば、機体の向きに係わらず常に地上あるいは空間上の一方向を向いたままロックした画像を出力することができる。
【発明を実施するための最良の形態】
【００２１】
以下図面を用いて本発明を詳細に説明する。図１は本発明に係る画像表示装置の一実施例を示す構成図である。
【００２２】
図１において、カメラ１ａから１ｆは、図２に示すように、それぞれ航空機の６軸方向に取り付けられた広角カメラであって、６軸方向の映像信号を出力する。
図２は、機体に取り付けられたカメラの配置例を示した図である。
図３は、図２に示したカメラの配置を模式的に示した図である。図３は、図２の航空機を正６面体に置き換えたもので、カメラ１ａから１ｆは、各面の中心に取り付けられ、法線方向の映像を映すものとする。
【００２３】
図１に戻り、Ａ／Ｄ変換器２ａから２ｆは、各カメラから出力された映像信号をデジタルデータに変換して出力する。メモリ３ａから３ｆは、各Ａ／Ｄ変換器から出力されたデジタルデータを格納する。機体Ｉ／Ｆ部４は、機体の姿勢等の機体情報を入力するインターフェースであって、機体の向き、高度、速度などのデータを出力する慣性航法システム（図示せず）に接続されている。
【００２４】
ＣＰＵ（演算装置）５は、バス９を介してメモリ３ａから３ｆのデータを取得し、後述する三次元への写像演算を行うと共に任意の部分を切り出した映像データを生成する。その際には、機体Ｉ／Ｆ部４を介して出力された機体情報を用いて計算を行う。
【００２５】
写像用メモリ６には、ＣＰＵ５が演算した写像データが格納され、表示用メモリ１０には、ＣＰＵ５が生成した表示用の映像データが格納される。同期信号生成回路７およびＤ／Ａ変換器８は出力ビデオの輝度信号を生成するビデオインタフェースである。同期信号生成回路７は、出力ビデオ信号の同期信号を生成し、Ｄ／Ａ変換器８は、表示用メモリ１０に格納された映像データからビデオ信号を生成して、表示器により操縦者に提示する。
【００２６】
ここで、上述の構成における本発明の動作を詳細に説明する。
図４は映像の正規化に係る第１の説明図である。
図４は、カメラの位置（機体と等価とみなす）を中心点Ｇとし、外界を球面と考えたモデルである。カメラから周囲を見た映像は図４の球面に投影されていると考えることができる。
【００２７】
今、カメラが一定方向を向いている時の映像は、球面上のＡの領域の映像がＡ’の平面に写像されたものと考えることができ、図１の表示用メモリ１０の内容およびビデオ出力の内容は、Ａ’の内容に一致する。ＡとＡ’の関係は幾何学的に定まっているので、画像の変換は容易である。
したがって、もし自機を中心とした球面上の映像がすべて既知ならば、仮想的にカメラの方向を決めれば、上記の原理によりＡ’に投影した映像を決定することができると言える。
【００２８】
図５は映像の正規化に係る第２の説明図である。
本発明は、図５に示すように、機体上の６軸方向に広角カメラを取り付けるので、それぞれのカメラの映像はＯ〜Ｔの平面上の情報と考えられる。カメラの映像情報は、図１のメモリ３ａ〜３ｆにストアされるが、その内容は図５の平面Ｏ〜Ｔの映像情報に相当する。
【００２９】
これを球面上に写像すれば、３次元の全周にわたって正規化された映像が得られる。すなわち、平面Ｏの映像は球面上のＯ’に写像され、平面Ｐの映像は球面上のＰ’に写像され、同様に他の平面（Ｑ，Ｒ，Ｓ，Ｔ）も球面上（Ｑ’，Ｒ’，Ｓ’，Ｔ’）に写像される。これらの写像データが図１の写像用メモリ６に格納される。
【００３０】
図６は映像の正規化に係る第３の説明図である。
次に、図６の状況で、仮想的に平面Ｂの方向にカメラが向いていると想定する。
上記で説明したとおり、仮想的なカメラの映像は、球面上のＢ’の映像を平面Ｂに写像したものである。具体的には、図１のＣＰＵ５が、写像用メモリ６内の写像データから表示するべき方向であるＢ’の写像データを抽出し、抽出した写像データから平面Ｂへの写像を行い表示用の映像データを生成する。
【００３１】
したがって、球面上の全方向の映像が既知である場合には、仮想的なカメラがどの方向を向いても、その映像を切出して映像を再現することが可能である。その結果、図６の平面Ｂの情報、すなわち任意の方向のカメラ映像が得られる。
つまり、見たい部分の映像をあたかもカメラが存在するかのように操縦者に提示することができる。
【００３２】
なお、Ｏ〜ＴとＯ’〜Ｔ’との対応関係、およびＢとＢ’との対応関係は、幾何学的に容易に求めることができ、またＯ’〜Ｔ’とＢ’の座標系の違いは例えばオイラー変換によって求めることができる。
このように、本発明により、自機に対して任意の方向のカメラ映像を得ることができ、コックピットの表示器に表示することが可能になる。
【００３３】
なお、図１では、ＣＰＵ５が前もって全周囲の写像データを生成する構成であるが、表示したい方向の必要な情報のみをメモリ３ａ〜３ｆから読出し、演算を行い、表示用メモリ１０に映像データを書き込むようにしてもよい。この場合、写像用メモリ６は取り除くことができる。
【００３４】
また、航空機が外界（地球）に対して姿勢を変えても、カメラの方向を決定する時に自機の姿勢情報を加え、上述のオイラー変換を使用して計算することにより、仮想的なカメラが常に地上あるいは空間上の一方向を向いたままロックした画像を出力することも可能になる。
【００３５】
具体的には、図１の機体Ｉ／Ｆ部４を通じて、機体に装備されている慣性航法システム等のセンサから、姿勢情報を入力し、ＣＰＵ５の演算に使用すればよい。
【００３６】
以上により、三次元空間の全方向のカメラ映像を出力することができる。
また、航空機の姿勢情報を加えることにより、常に一定方向の映像を出力することができる。
【００３７】
なお、本発明では、航空機を正６面体と模式的に表したときの各面の位置にカメラを合計６台装備することを例示して説明をしたが、カメラの個数は、６台である必要はなく、正多面体のそれぞれの面上に設置してもよい（空間を何分割するかということで決まる。）。例えば、２台、４台、６台、８台またはそれ以上などが考えられる。
その場合、図１の構成において、カメラ１ａから１ｆ，Ａ／Ｄ変換器２ａから２ｆ，メモリ３ａから３ｆの要素を増減することで対応できる。
【００３８】
また、正多面体に限定せずに、３台、５台と任意の台数でも可能であるが、カメラの視角を球面上に効率良く配置するためには、正多面体が優れることは言うまでもない。
【００３９】
他の応用例として、図１のＣＰＵ５、表示用メモリ１０の要素を増やすことにより、出力系統を１系統でなく、多系統とすることが可能である。即ち、違った方向の映像を同時に複数のモニタに対し出力することができる。
【００４０】
なお、本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形をも含むものである。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る画像表示装置の一実施例を示す構成図である。
【図２】機体に取り付けられたカメラの配置例を示した図である。
【図３】図２に示したカメラの配置を模式的に示した図である。
【図４】映像の正規化に係る第１の説明図である。
【図５】映像の正規化に係る第２の説明図である。
【図６】映像の正規化に係る第３の説明図である。
【図７】従来の画像表示装置における航空機上のカメラの概略配置例を示した図である。
【図８】従来の画像表示装置の一例を示す構成図である。
【符号の説明】
【００４２】
１ａ〜１ｆ  カメラ
２ａ〜２ｆ  Ａ／Ｄ変換器
３ａ〜３ｂ  メモリ
４  機体Ｉ／Ｆ部
５  ＣＰＵ  
６  写像用メモリ
７  同期信号生成回路
８  Ｄ／Ａ変換器
９  バス
１０  表示用メモリ
【図１】
2006197068.tif 000003
【図２】
2006197068.tif 000004
【図３】
2006197068.tif 000005
【図４】
2006197068.tif 000006
【図５】
2006197068.tif 000007
【図６】
2006197068.tif 000008
【図７】
2006197068.tif 000009
【図８】
2006197068.tif 000010