(57)【要約】【課題】所定の対象物までの距離が大きくかつ頻繁に変化する運用環境においても操縦者又は運転者に疲労感を与えない自然な立体視界情報と、正確に識別された対象物の画像情報と、を表示する移動体の視界装置を提供する。【解決手段】人の両眼の間隔で配置された１対の固定カメラ１２、１３と、可動カメラ１４と、２台のカメラの画像を処理する画像表示処理部２１と、距離情報を生成するステレオ画像処理部２２と、監視対象を指定する詳細画像指定部２３と、指定対象物を正確に撮像するカメラ間隔を求めるカメラ間隔計算部２４と、可動カメラ１４を移動させるカメラ駆動装置と、可動カメラ１４を含む１対のカメラによる画像情報から求めた距離情報に基づいて指定対象物を識別する詳細画像情報生成部２５と、固定カメラ１２、１３の画像と識別された指定対象物の画像とを重ねて表示する画像表示装置３と、を備える。【選択図】        図１
2004312537.tif 000002
【特許請求の範囲】
【請求項１】
２台の固定カメラを有する固定式ステレオカメラと、カメラ間隔可変の２台のカメラを有する可動式ステレオカメラと、を具備し、所定の移動体の操縦者又は運転者に対して視界情報を提示する移動体の視界装置において、
前記固定式ステレオカメラ及び前記可動式ステレオカメラにより取得した所定の物体の画像情報と、前記固定式ステレオカメラ及び前記可動式ステレオカメラのカメラ間隔と、を使用して前記物体までの距離を測定する測距手段と、
前記測距手段によって測定された前記物体までの距離に応じて前記可動式ステレオカメラのカメラ間隔を変更するとともに、前記可動式ステレオカメラに撮像を指令するカメラ間隔変更手段と、
前記固定式ステレオカメラ及び前記可動式ステレオカメラにより取得した画像情報を用いて生成した視界情報を表示する表示手段と、
を備えることを特徴とする移動体の視界装置。
【請求項２】
前記カメラ間隔変更手段は、
前記可動式ステレオカメラの複数のカメラ間隔と、前記各カメラ間隔で測定する距離の範囲と、の対応関係を定めた複数のカメラ間隔データを記憶する記憶部と、
前記記憶部に記憶された複数のカメラ間隔データの中から、前記測距手段によって測定された距離に対応するカメラ間隔データを選択する選択部と、
を備えることを特徴とする請求項１に記載の移動体の視界装置。
【請求項３】
人の両眼の間隔に略等しい間隔で配置された前記固定式ステレオカメラにより取得した外界の画像情報に基づいて立体視界情報を生成する立体視界情報生成手段と、
前記可動式ステレオカメラにより取得した画像情報から所定の物体についての形状情報及び距離情報を含む詳細画像情報を生成する詳細画像情報生成手段と、
をさらに備え、
前記表示手段は、
前記詳細画像情報生成手段によって生成された前記詳細画像情報を、前記立体視界情報生成手段によって生成された立体視界情報とともに表示することを特徴とする請求項１又は２に記載の移動体の視界装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動体の視界装置に関し、特に、所定の対象物までの距離を的確に測定して、立体視界情報と監視したい物体の情報とを視認し易いように表示する移動体の視界装置に関する。
【０００２】
【従来の技術】
近年、赤外線カメラやレーザレーダ等の画像センサによって取得した外界の画像情報から、擬似的な立体視界情報を生成し、この立体視界情報を自動車の運転者や航空機の操縦者に提示する技術が提案されている。また、ステレオカメラ等によって前方に存在する障害物を検出し、かかる障害物情報を運転者や操縦者に提示することにより、自動車の走行中又は航空機の飛行中における安全性を向上させる技術が開発されている。
【０００３】
例えば、立体視界情報と障害物情報との双方を提示する技術として、１対のステレオカメラを用いて撮像した１対の画像により得られる立体視界情報及び障害物情報から融合視界情報を生成し、生成した融合視界情報を可視像として搭乗者に提示する融合視界装置が提案されている（例えば、特許文献１参照。）。
【０００４】
また、立体視界情報を提示する技術として、ステレオカメラを構成する２台のカメラの間隔を変更することにより、撮影対象物体までの距離が短い場合及び長い場合に発生する不具合を解消する立体画像撮影装置が提案されている（例えば、特許文献２参照。）。また、障害物を検出する技術としては、遠距離用ステレオカメラ及び近距離用ステレオカメラを同時に使用することにより、広範囲の立体物を検出する車外監視装置が提案されている（特許文献３参照。）。
【０００５】
【特許文献１】
特開２００１−３４４５９７号公報（第２頁、第１図）
【特許文献２】
特開平６−２７６５５２号公報（第１頁、第１図）
【特許文献３】
特開平１１−３９５９６号公報（第１頁、第２図）
【０００６】
【発明が解決しようとする課題】
ところで、特許文献１に記載の融合視界装置においては、操縦者又は運転者に疲労感を与えない自然な立体視界情報を提示するために、ステレオカメラを構成する２台のカメラの間隔を狭くする必要がある一方、遠方に存在する障害物を検出するために、２台のカメラの間隔を広くする必要がある。このため、相反する前記要求を同時に満たすように２台のカメラの間隔を決定する必要があるので、障害物の検出範囲が制限されてしまう。
【０００７】
また、特許文献２に記載の立体画像撮影装置においては、ステレオカメラを構成する２台のカメラの間隔を決定するために、超音波等を用いてカメラから撮影対象物体までの距離を測定する装置（距離測定装置）を用いている。従って、ステレオカメラとは別に超音波等を用いる距離測定装置を準備するとともに、かかる距離測定装置とステレオカメラとを連動させるための複雑な電気系統やメカニズムを構築する必要がある。このため、撮影対象物体までの距離が頻繁に変化する運用環境には対応できない可能性があった。
【０００８】
また、特許文献３に記載の車外監視装置は、遠距離用及び近距離用のステレオカメラのカメラ間隔を変更することができないので、障害物までの距離が大きくかつ頻繁に変化する運用環境には対応できないという問題がある。
【０００９】
本発明の課題は、所定の対象物までの距離が大きくかつ頻繁に変化する運用環境においても障害物等になる恐れがあり注意を払いたい対象物までの距離を正確に測定して、この対称物の形状情報等を正確に提示することができる移動体の視界装置を提供することである。
【００１０】
【課題を解決するための手段】
以上の課題を解決するために、請求項１に記載の発明は、２台の固定カメラを有する固定式ステレオカメラと、カメラ間隔可変の２台のカメラを有する可動式ステレオカメラと、を具備し、所定の移動体の操縦者又は運転者に対して視界情報を提示する移動体の視界装置において、前記固定式ステレオカメラ及び前記可動式ステレオカメラにより取得した所定の物体の画像情報と、前記固定式ステレオカメラ及び前記可動式ステレオカメラのカメラ間隔と、を使用して前記物体までの距離を測定する測距手段と、前記測距手段によって測定された前記物体までの距離に応じて前記可動式ステレオカメラのカメラ間隔を変更するとともに、前記可動式ステレオカメラに撮像を指令するカメラ間隔変更手段と、前記固定式ステレオカメラ及び前記可動式ステレオカメラにより取得した画像情報を用いて生成した視界情報を表示する表示手段と、を備えることを特徴とする。
【００１１】
請求項１に記載の発明によれば、固定式ステレオカメラによって取得された所定の物体の画像情報や、２台の固定カメラの間隔等に基づいて、三角測量の原理により、この物体までの距離を測距手段で測定し、この測定された距離に応じて可動式ステレオカメラのカメラ間隔をカメラ間隔変更手段によって変更する。そして、固定式ステレオカメラと同様にして、カメラ間隔変更後の可動式ステレオカメラによって取得された物体の画像情報や、変更後のカメラ間隔等に基づいて、この物体までの正確な距離を測距手段で測定する。
【００１２】
すなわち、固定式ステレオカメラ及び測距手段によって予備的に測定した物体までの距離をフィードバックしてカメラ間隔を変更し、カメラ間隔変更後の可動式ステレオカメラ及び測距手段によってその物体までの距離をあらためて正確に測定することができる。従って、この正確な距離の情報を用いて、物体の形状情報を正確に生成することができる。
【００１３】
例えば、遠方に存在する物体（遠方対象物体）までの距離を測定する場合には、固定式ステレオカメラ及び測距手段によって測定した距離に応じて可動式ステレオカメラのカメラ間隔を広げる。そして、この広げたカメラ間隔を有する可動式ステレオカメラ及び測距手段によって遠方対象物体までの距離をあらためて正確に測定し、その距離情報を用いて遠方対象物体の形状情報を正確に生成することができる。
【００１４】
また、比較的近い位置に存在する物体（近傍対象物体）までの距離を測定する場合には、固定式ステレオカメラ及び測距手段によって測定した距離に応じて可動式ステレオカメラのカメラ間隔を狭める。そして、この狭めたカメラ間隔を有する可動式ステレオカメラ及び測距手段によって近傍対象物体までの距離をあらためて正確に測定し、その距離情報を用いて近傍対象物体の形状情報を正確に生成することができる。
【００１５】
従って、物体までの距離が大きくかつ頻繁に変化する運用環境においても、その物体までの距離を正確に測定することができ、この正確な距離情報を用いて物体の形状情報を正確に生成して、表示手段に表示することができる。この結果、輸送機器、特に航空機等に好適に搭載して使用することができる。
【００１６】
請求項２に記載の発明は、請求項１に記載の移動体の視界装置において、前記カメラ間隔変更手段は、前記可動式ステレオカメラの複数のカメラ間隔と、前記各カメラ間隔で測定する距離の範囲と、の対応関係を定めた複数のカメラ間隔データを記憶する記憶部と、前記記憶部に記憶された複数のカメラ間隔データの中から、前記測距手段によって測定された距離に対応するカメラ間隔データを選択する選択部と、を備えることを特徴とする。
【００１７】
請求項２に記載の発明によれば、撮像する物体を正確に捉えられるように、物体までの距離とカメラ間隔との対応関係を定めた複数のカメラ間隔データを予め記憶部に記憶させておく。そして、これら複数のカメラ間隔データの中から、固定式ステレオカメラと測距手段によって測定された距離に対応するカメラ間隔データを選択し、選択されたカメラ間隔データに基づいてカメラ間隔を変更する。すなわち、固定式ステレオカメラと測距手段によって測定された距離を利用して、可動式ステレオカメラのカメラ間隔を簡易な方式で適切に決定して撮像することにより、正確な情報を取得することができる。
【００１８】
請求項３に記載の発明は、請求項１又は２に記載の移動体の視界装置において、人の両眼の間隔に略等しい間隔で配置された前記固定式ステレオカメラにより取得した外界の画像情報に基づいて立体視界情報を生成する立体視界情報生成手段と、前記可動式ステレオカメラにより取得した画像情報から所定の物体についての形状情報及び距離情報を含む詳細画像情報を生成する詳細画像情報生成手段と、をさらに備え、前記表示手段は、前記詳細画像情報生成手段によって生成された前記詳細画像情報を、前記立体視界情報生成手段によって生成された立体視界情報とともに表示することを特徴とする。
【００１９】
請求項３に記載の発明によれば、人の両眼の間隔に略等しい間隔で配置された固定式ステレオカメラにより取得した外界の画像情報に基づいて立体視界情報を生成する立体視界情報生成手段を備えるので、２台の固定カメラを有する固定式ステレオカメラにより取得した安定的な外界の画像情報に基づいて、搭乗者に疲労感を与えない自然な立体視界情報を生成し、この生成した立体視界情報を表示することができる。
【００２０】
また、請求項３に記載の発明によれば、可動式ステレオカメラによって撮像された情報から所定の物体についての形状情報及び距離情報を含む正確な画像情報（詳細画像情報）を生成するので、所定の物体を正確に特定して立体視界情報とともに表示することができる。すなわち、自然な立体視界情報の提示と、正確な距離情報に基づいた的確な画像情報の提示と、の双方を同時に実現させることができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に基づいて詳細に説明する。なお、本実施の形態においては、本発明に係る移動体の視界装置を備えた航空機を例に挙げて説明することとする。
【００２２】
まず、本実施の形態に係る航空機の構成について、図１を用いて説明する。図１は、本実施の形態に係る航空機の主要部（移動体の視界装置）の構成を説明するためのブロック図である。本実施の形態に係る航空機は、パイロットによって操縦される有人の回転翼航空機である。
【００２３】
本実施の形態に係る回転翼航空機は、胴体、ロータ、尾翼等の飛行に必要な各種構成要素や、パイロットが操縦を行う操縦室等を備えるとともに、図１に示すような画像取得装置１、画像処理装置２及び画像表示装置３を備えている。これら画像処理装置２及び画像表示装置３はいずれも操縦室内に設けられており、画像取得装置１と画像処理装置２、画像処理装置２と画像表示装置３、は電気的に接続されている。また、画像表示装置３は、パイロットの頭部に装着される形態で設けられており、パイロットは画像表示装置３に表示される画像を視認できるようになっている。
【００２４】
画像取得装置１は、外界の画像情報を取得するものであり、図１に示すように、カメラ架台１１と、カメラ架台１１に固定された固定カメラ１２、１３と、カメラ架台１１上に図１の矢印Ａ及び矢印Ｂの方向に移動可能に配置された可動カメラ１４と、カメラ駆動装置１５と、を備えている。固定カメラ１２、１３は固定式ステレオカメラを構成し、固定カメラ１２及び可動カメラ１４は可動式ステレオカメラを構成する。
【００２５】
固定式ステレオカメラは、人の両眼の間隔に略等しい間隔で配置された２台の固定カメラ１２、１３からなり、外界の画像情報を安定的に取得する。カメラ間隔が不変の固定カメラ１２、１３によって連続的に取得した画像情報に基づいて、画像処理装置２は、搭乗者に疲労感を与えない自然な立体視界情報を生成し、生成した自然な立体視界情報を画像表示装置３に表示する。また、パイロットの指示を受け、パイロットが指示した物体（以下、「指定対象物」という）の詳細な画像情報を取得するように画像処理装置２が画像取得装置１に指令するが、この際、固定式ステレオカメラに基づく距離情報が、可動式ステレオカメラのカメラ間隔の決定に用いられる。
【００２６】
可動式ステレオカメラは、固定式カメラ１２及び可動カメラ１４からなり、画像処理装置２からの信号に応じてカメラ間隔を変更するものであり、パイロットが指定した領域又は指定対象物を含む画像情報を取得する。そして、可動式ステレオカメラによって取得した画像情報も画像処理装置２に送られて、指定対象物の距離情報と形状情報とが生成される。
【００２７】
可動カメラ１４は、カメラ駆動装置１５により駆動される。カメラ駆動装置１５は、画像処理装置２からの駆動信号を受けて可動カメラ１４を移動させるものであり、本発明における駆動手段である。カメラ駆動装置１５により可動カメラ１４を図１の矢印Ａの方向に移動させると、可動式ステレオカメラのカメラ間隔が狭くなり、可動カメラ１４を図１の矢印Ｂの方向に移動させると、可動式ステレオカメラのカメラ間隔が広くなる。
【００２８】
画像処理装置２は、画像取得装置１によって取得された各種画像情報の入力を受けて、この画像情報から立体視界情報や対象物表示情報を生成し、生成した立体視界情報や対象物表示情報を画像表示装置３に出力するものである。画像処理装置２は、図１に示すように、画像表示処理部２１、ステレオ画像処理部２２、詳細画像指定部２３、カメラ間隔計算部２４、詳細画像情報生成部２５、等を備えている。
【００２９】
画像表示処理部２１は、画像取得装置１の固定式ステレオカメラによって取得された外界の画像情報に基づいて、かかる画像情報の輝度やコントラストの調整等を行った上で、立体視界情報を生成する。すなわち、画像表示処理部２１は、本発明における立体視界情報生成手段である。画像表示処理部２１によって生成された立体視界情報は、画像表示装置３に出力されて表示される。また、固定式ステレオカメラによって取得された外界の画像情報は、ステレオ画像処理部２２にも送られる。
【００３０】
ステレオ画像処理部２２は、本発明における測距手段であり、画像取得装置１の固定式及び可動式ステレオカメラにより取得した物体の画像情報のステレオ画像処理（三角測量の原理で物体までの距離を算出すること）を行う。そして、固定式ステレオカメラによる画像情報から求めた物体までの距離を、距離に応じて色分けした画像情報（距離画像情報）にして、図示されていない記憶部に記憶する。本実施の形態では、比較的近い位置に存在する物体を赤色で表示し、遠方に存在する物体を青色で表示し、中間の位置に存在する物体を赤と青との中間色で表示することとしている。また、可動式ステレオカメラによる画像情報から求めた距離画像情報は、詳細画像情報生成部２５に出力される。
【００３１】
詳細画像指定部２３は、指定された識別方式（識別モード）の情報に基づいて、固定式ステレオカメラによる画像情報から求めた物体までの距離を、ステレオ画像処理部２２に記憶させた距離画像情報の中から呼び出し、カメラ間隔計算部２４に出力する。又は、指定された距離をカメラ間隔計算部２４に出力する。同時に、識別モードに関する情報を詳細画像情報生成部２５に出力する。
【００３２】
識別モードとしては、（１）予め指定した距離までの間に存在する物体を全て指定対象物として認識する「距離指定モード」、（２）最も近い位置に存在する物体から３番目に近い位置に存在する物体までを指定対象物として認識する「近距離優先モード」、（３）予め指定した距離までの間に存在し指定対象物として認識する物体を予め設定しておく「対象物限定モード」、等を挙げることができる。
【００３３】
（３）の「対象物限定モード」において指定対象物として認識される物体の種類としては、（ａ）鉄塔、（ｂ）建物、（ｃ）車両、（ｄ）人物、（ｅ）これらの組み合わせ（例えば、建物と車両との組み合わせ、建物と人物との組み合わせ、車両と人物との組み合わせ）等を挙げることができる。なお、詳細画像指定部２３における識別モードは予め記憶されていて、その設定は図示されていないスイッチ等を用いてパイロットが行う。
【００３４】
カメラ間隔計算部２４は、詳細画像指定部２３から送られてきた距離の情報から、その距離の範囲内又はその距離の地点にある物体の詳細情報をより精緻に計測可能な可動式ステレオカメラのカメラ間隔を決定し、決定したカメラ間隔を画像取得装置１に出力する。
【００３５】
カメラ間隔計算部２４は、可動式ステレオカメラのカメラ間隔データ（ｍ）と、各カメラ間隔データで測定可能な距離の範囲のデータである対象物探知許容範囲データ（ｍ）と、を記憶させた記憶部としてのデータベースを有している。表１は、かかるデータベースに記憶されたカメラ間隔データ及び対象物探知許容範囲データの一例を示すものである。なお、データベースに記憶されるカメラ間隔データ及び対象物探知許容範囲データは、使用するカメラのレンズ焦点距離や、カメラの画素数等により算出したものである。
【００３６】
【表１】
2004312537.tif 000003
【００３７】
また、カメラ間隔計算部２４は、データベースに記憶された複数のカメラ間隔データの中から最適なカメラ間隔データを選択する選択部を有している。識別モードが、前記した（１）「距離指定モード」に設定されている場合には、予め指定された距離までの間に存在する物体を全て認識することができるように、カメラ間隔データを選択する。例えば、（１）「距離指定モード」において予め指定された距離が「５５０ｍ」である場合には、データベースに記憶された表１の関係を用いて、カメラ間隔データとして「０．９ｍ」を選択する。
【００３８】
また、識別モードが、前記した（２）「近距離優先モード」に設定されている場合には、最も遠い位置に存在する物体（すなわち物体が３個ある場合には、３番目に近い位置に存在する物体）を認識することができるように、カメラ間隔データを選択する。例えば、最も遠い位置に存在する対象物までの距離が「３００ｍ」である場合には、データベースに記憶された表１の関係を用いて、カメラ間隔データとして「０．５ｍ」を選択する。
【００３９】
また、カメラ間隔計算部２４は、選択して決定したカメラ間隔データに基づいてカメラ駆動装置１５を駆動するための駆動信号を、前記した画像取得装置１のカメラ駆動装置１５に出力する。カメラ駆動装置１５は、出力された駆動信号を受けて可動式ステレオカメラの可動カメラ１４を移動させてカメラ間隔を変更する。すなわち、カメラ間隔計算部２４及びカメラ駆動装置１５は、本発明におけるカメラ間隔変更手段である。
【００４０】
詳細画像情報生成部２５は、物体を識別する形状データを記憶しており、ステレオ画像処理部２２から送られてきた距離画像情報から物体の形状情報を生成し、この形状情報と予め記憶していた形状情報とを比較して、可動式ステレオカメラで撮像した物体を識別する。また、詳細画像情報生成部２５は、詳細画像指定部２３から送られてきた画像の識別モードに従って詳細画像情報を作成して画像表示装置３に送る。ここでは、詳細画像情報として、詳細画像指定部２３で指定した指定対象物の形状情報と距離情報とを含むものを採用している。
【００４１】
画像表示装置３は、画像表示処理部２１によって送られたステレオカメラの画像を立体画像（立体視界情報）として表示する。すなわち、画像表示装置３は、本発明における立体視界情報表示手段である。本実施の形態においては、画像表示装置３としてＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を採用しており、パイロットの左右の目には、各々左右のカメラからの画像が入ることとなる。
【００４２】
また、画像表示装置３に詳細画像情報生成部２５から距離情報及び形状情報が送られると、立体視界情報に形状情報を重ねて画面に表示する。そして、正確な距離をパイロットに認識させるために定期的に距離を示す数字を形状データの近傍に表示する。さらに、進行方向の物体が所定距離以内に近付いたり進路上に位置したりした場合には、その物体の形状データを点滅させ、警報を鳴らしてパイロットに報知する。
【００４３】
次に、本実施の形態に係る航空機の飛行時における画像表示動作について説明する。
【００４４】
通常の飛行状態においては、画像取得装置１の固定式ステレオカメラによって取得された外界の画像情報に基づいて生成された立体視界情報が、画像表示装置３に表示される。パイロットは、画像表示装置３に表示された立体視界情報を見て操縦を行う。
【００４５】
一方、通常飛行中に、所定の物体をパイロットが認識し、その物体についての詳細な画像を必要とした場合には、パイロットがその物体（指定対象物）を含む領域を識別モードで指定する。識別モードが「近距離優先モード」に設定されている場合には、画像処理装置２の詳細画像指定部２３が、画像取得装置１の固定式ステレオカメラによる撮像情報に基づいて、一番近い指定対象物を確認した後、３番目に近い指定対象物を求め、その距離をステレオ画像処理部２２のデータから呼び出す。３番目に近い指定対象物が存在しない場合には、２番目に近い指定対象物までの距離を呼び出し、２番目に近い指定対象物が存在しない場合には、１番近い指定対象物までの距離を呼び出す。
【００４６】
すなわち、固定式ステレオカメラを構成する固定カメラ１２、１３の間隔やこれら固定カメラ１２、１３の焦点距離等を用いて三角測量の原理により算出された指定対象物までの距離情報を、ステレオ画像処理部２２の記憶部から読み込む。その他のモードでは、指定された距離を記憶していた情報から読み込む。
【００４７】
詳細画像指定部２３によって呼び出された指定対象物までの距離の情報が、カメラ間隔計算部２４に出力されると、カメラ間隔計算部２４の選択部は、指定対象物までの距離に対応したカメラ間隔データを、記憶部であるデータベースから選択する。そして、選択して決定したカメラ間隔データに基づいてカメラ駆動装置１５を駆動するための駆動信号を画像取得装置１に出力する。
【００４８】
カメラ駆動装置１５は、駆動信号を受けて可動式ステレオカメラの可動カメラ１４を移動させてカメラ間隔を変更する。そして、カメラ間隔変更後の可動式ステレオカメラによって取得された画像の距離情報を、画像処理装置２のステレオ画像処理部２２が求めて詳細画像情報生成部２５に出力する。
【００４９】
詳細画像情報生成部２５には、詳細画像指定部２３から識別モードが送られてきており、ステレオ画像処理部２２から送られてきた距離情報を処理して指定対象物の形状情報を生成する。そして、記憶していた形状情報と比較して指定対象物を識別し、この結果と識別モードとに従って詳細画像情報を生成し、この詳細画像情報を画像表示装置３に出力する。このとき、指定対象物の形状情報として記憶していた前記形状情報を画像表示装置３に出力する。
【００５０】
さらに、詳細画像情報生成部２５は、算出された指定対象物までの距離情報を参照して、指定対象物が障害物であるか否かの識別を行う。指定対象物を障害物と認識した場合に、この指定対象物（障害物）をパイロットに報知するための障害物表示情報を生成する。画像表示装置３は、詳細画像情報生成部２４によって生成された障害物表示情報を受けて、かかる障害物表示情報を立体視界情報とともに表示する。
【００５１】
本実施の形態に係る航空機に搭載された移動体の視界装置においては、画像取得装置１の固定式ステレオカメラ、可動式ステレオカメラ及びカメラ駆動装置１５と、画像処理装置２のステレオ画像処理部２２、詳細画像指定部２３及びカメラ間隔計算部２４と、によって、指定対象物までの距離を測定できる。
【００５２】
具体的には、固定式ステレオカメラからの画像情報に基づいて、詳細画像指定部２３で所定の物体（指定対象物）の画像を取得することを指示し、固定式ステレオカメラによる物体の画像情報に基づいて測定された距離に応じて可動式ステレオカメラのカメラ間隔をカメラ間隔変更手段（カメラ間隔計算部２４及びカメラ駆動装置１５）によって変更する。そして、カメラ間隔変更後の可動式ステレオカメラによって取得された物体の画像情報をステレオ画像処理部２２によってステレオ処理する。
【００５３】
すなわち、固定式ステレオカメラ及びステレオ画像処理部２２によって測定した物体までの距離をフィードバックして可動式ステレオカメラのカメラ間隔を変更し、カメラ間隔変更後の可動式ステレオカメラ及びステレオ画像処理部２２によって物体を含む正確な画像情報を取得する。そして、可動式ステレオカメラによる的確な視界情報を、指定された識別モードに従ってリアルタイムで提供させ続けることができる。このため、物体までの距離が大きく頻繁に変化する飛行中においても、物体を的確に識別するとともにこの物体までの正確な距離を提供することができる。この結果、変化する視界の状況を的確に把握することができ、飛行時の安全性を向上させることができる。
【００５４】
また、本実施の形態に係る航空機に搭載された移動体の視界装置においては、カメラ間隔計算部２４のデータベースに複数のカメラ間隔データを予め記憶させておき、詳細画像指定部２３から送られてきた物体までの距離に対応するカメラ間隔データを、これら複数のカメラ間隔データの中から選択する。そして、選択したカメラ間隔データに基づいてカメラ間隔を変更する。すなわち、詳細画像指定部２３から送られてきた物体までの距離を利用して、可動式ステレオカメラのカメラ間隔を簡易な方式で適切に決定することができる。
【００５５】
また、本実施の形態に係る航空機に搭載された移動体の視界装置においては、人の両眼の間隔に略等しい間隔で配置された２台の固定カメラ１２、１３からなる固定式ステレオカメラにより取得した安定的な外界の画像情報に基づいて、操縦者に疲労感を与えない自然な立体視界情報を生成し、この生成した立体視界情報を画像表示装置３に表示することができる。また、可動式ステレオカメラによって取得した画像情報に基づいて所定の物体までの正確な距離を求め、これに基づいて詳細画像情報を生成し、この詳細画像情報（又は識別し易い適切な形状情報に置き換えた画像）を立体視界情報とともに画像表示装置３に表示することができる。すなわち、自然な立体視界情報の提示と、正確な距離情報に基づいた正確な画像情報の提示と、の双方を同時に実現させることができる。
【００５６】
なお、以上の実施の形態においては、画像取得装置１に３台のカメラ（固定カメラ１２、１３、可動カメラ１４）を搭載して、これら３台のカメラによって固定式ステレオカメラ及び可動式ステレオカメラを構成した例を示したが、４台のカメラによって固定式ステレオカメラ及び可動式ステレオカメラを構成することもできる。
【００５７】
すなわち、図２に示すように、画像取得装置１に固定式ステレオカメラを構成する２台の固定カメラ１６、１７と、可動式ステレオカメラを構成する２台の可動カメラ１８、１９と、を搭載し、可動カメラ１８、１９のカメラ間隔をカメラ駆動装置１５で変更することもできる。
【００５８】
また、以上の実施の形態においては、パイロットが正確に確認したい物体（指定対象物）を含む領域を指定し、この指定した領域にある指定対象物が特定の物体に該当するか否かを識別する方式を採用したが、航空機の高度や飛行方向に応じて自動的に障害物の識別を行う方式を採用することもできる。
【００５９】
すなわち、航空機が特定の高度を特定の方向に向けて飛行する場合に、予定した飛行経路上に、固定式ステレオカメラにより物体が撮像された場合には、可動式ステレオカメラにより障害物に成り得るか否かを自動的に識別するようにすることもできる。また、識別モードを選択するとき、ステレオ画像処理部２２に記憶させている色分けした画像情報を一時的に表示して距離を確認できるようにしてもよい。
【００６０】
また、以上の実施の形態においては、本発明に係る移動体の視界装置を搭載する航空機の例として有人の回転翼航空機を示したが、固定翼航空機や飛行船等の他の航空機に本発明に係る移動体の視界装置を搭載してもよい。また、有人操縦の他に、無人操縦や遠隔操縦にも適用できる。また、航空機に限らず、自動車、鉄道車両、船舶等の各種移動体に本発明に係る移動体の視界装置を搭載することもできる。
【００６１】
【発明の効果】
請求項１に記載の発明によれば、固定式ステレオカメラによる画像情報をステレオ画像処理して測定した所定の物体までの距離をフィードバックしてカメラ間隔を変更し、カメラ間隔変更後の可動式ステレオカメラで取得した画像情報をステレオ画像処理して、その物体を含む正確な画像情報を取得し続けることができる。従って、物体までの距離が大きくかつ頻繁に変化する運用環境においても、その物体を含む視界情報を正確に把握することができる。この結果、航空機等に好適に搭載して使用することができる。
【００６２】
請求項２に記載の発明によれば、カメラ間隔変更手段が、複数のカメラ間隔データを記憶する記憶部と、距離に対応してカメラ間隔データを選択する選択部と、選択部により選択されたデータに基づいてカメラ間隔を変更する駆動手段と、を備えるので、固定式ステレオカメラの画像情報に基づいて測定された距離を利用して、可動式ステレオカメラのカメラ間隔を簡易な方式で適切に決定することができる。
【００６３】
請求項３に記載の発明によれば、人の両眼の間隔に略等しい間隔に配置された固定式ステレオカメラによる画像情報に基づいて立体視界情報を生成する立体視界情報生成手段を備えるので、操縦者又は運転者に疲労感を与えない自然な立体視界情報を表示することができる。また、可動式ステレオカメラの画像情報をステレオ画像処理して測定した所定の対象物までの正確な距離の情報に基づいて的確な画像情報を生成し、この画像情報を立体視界情報とともに表示する。すなわち、自然な立体視界情報の提示と、正確な距離情報に基づいた的確な画像情報の提示と、の双方を同時に実現させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る航空機の主要部（移動体の視界装置）の構成を説明するためのブロック図である。
【図２】本発明の実施の形態に係る航空機の画像取得装置の構成変更例を示すブロック図である。
【符号の説明】
３        画像表示装置（立体画像情報表示手段）
１２、１３  固定カメラ
１４        可動カメラ
１５        カメラ駆動装置（駆動手段、カメラ間隔変更手段）
１６、１７  固定カメラ
１８、１９  可動カメラ
２１        画像表示処理部（立体視界情報生成手段）
２２        ステレオ画像処理部（測距手段）
２３        詳細画像指定部
２４        カメラ間隔計算部（記憶部、選択部、カメラ間隔変更手段）
２５        詳細画像情報生成部
【図１】
2004312537.tif 000004
【図２】
2004312537.tif 000005