(57)【特許請求の範囲】
【請求項１】
カメラで撮影した施設の映像に施設名称を重畳させて表示する施設名称重畳装置であって、
上記カメラの位置情報を特定するＧＰＳ装置、
上記カメラの姿勢情報を特定する姿勢装置、
上記カメラの角度情報と画角情報を取得するカメラ情報取得手段、
上記施設名称を含む三次元の施設情報を格納する施設情報データベース、
上記カメラの姿勢情報および上記角度情報に基づき、上記カメラの撮影方向を算出する撮影方向特定手段、
上記カメラの位置情報と上記三次元の施設情報に基づき、上記カメラを基準とした上記施設の存在する方向である施設方向を算出する施設方向特定手段、
上記撮影方向と上記施設方向のなす角を算出し、このなす角に基づき上記施設が上記画角情報によって決まる撮影映像内に含まれるかどうかを判定し、上記撮影映像内に含まれる施設情報を検索する施設情報検索手段、
およびこの施設情報検索手段によって検索された施設情報の施設名称を、上記施設方向と上記画角情報に基づき、上記カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、
上記施設方向特定手段は、上記カメラの位置から上記施設の位置までの直線の水平線上の方位角と、上記直線の高さ方向の仰角とを求め、上記方位角および上記仰角を用いて、上記施設方向を求めることを特徴とする施設名称重畳装置。
【請求項２】
定位置に設置されたカメラで撮影した施設の映像に施設名称を重畳させて表示する施設名称重畳装置であって、
上記カメラの角度情報と画角情報を取得するカメラ情報取得手段、
上記施設名称を含む三次元の施設情報を格納する施設情報データベース、
上記カメラの角度情報に基づき、上記カメラの撮影方向を算出する撮影方向特定手段、
上記三次元の施設情報と上記カメラの位置に基づき、上記カメラを基準とした上記施設の存在する方向である施設方向を算出する施設方向特定手段、
上記撮影方向と上記施設方向のなす角を算出し、このなす角に基づき上記施設が上記画角情報によって決まる撮影映像内に含まれるかどうかを判定し、上記撮影映像内に含まれる施設情報を検索する施設情報検索手段、
およびこの施設情報検索手段によって検索された施設情報の施設名称を、その施設方向と上記画角情報に基づき、上記カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、
上記施設方向特定手段は、上記カメラの位置から上記施設の位置までの直線の水平線上の方位角と、上記直線の高さ方向の仰角を求め、上記方位角および上記仰角を用いて、上記施設方向を求めることを特徴とする施設名称重畳装置。
【請求項３】
上記施設名称重畳装置は、航空機に搭載され、
上記カメラを航空機搭乗員が回転操作するための操作装置を備えたことを特徴とする請求項１に記載の施設名称重畳装置。
【請求項４】
上記カメラ、上記ＧＰＳ装置、上記姿勢装置および上記カメラ情報取得手段は、航空機に搭載された航空機側設備に配置されるとともに、
上記施設情報データベース、上記撮影方向特定手段、上記施設方向特定手段、上記施設情報検索手段および上記施設名称表示手段は、地上側設備に配置され、
上記航空機側設備は、上記カメラにより撮影した映像データに、上記ＧＰＳ装置、上記姿勢装置および上記カメラ情報取得手段により取得された情報を重畳して上記地上側設備に送信するように構成されていることを特徴とする請求項１記載の施設名称重畳装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラで撮影された映像に映っている施設等に係わる地図情報を、映像内のその施設付近に重畳させて表示する施設名称重畳装置に関するものである。
【背景技術】
【０００２】
大規模な災害が発生した際に、現場からの映像を送信して表示する映像表示システムは、その災害発生現場の状況を把握するために必要欠くべからざるものとなっている。そのために、国や地方自治体、民間企業では地域内の各箇所にカメラ装置を設置し、災害発生時にはその映像を防災拠点等で参照することによって、救援活動に役立てている。
また、防災ヘリコプター等をもつ自治体や省庁においては、それらのヘリコプターにカメラ装置を搭載し、カメラで撮影した映像を無線を通じて地上に配信し、地上で受信した映像を見る、というシステムも多く設置されている。防災ヘリコプターの整備によって災害発生場所の状況をリアルタイムで地上防防災拠点に送ることができるため、災害対策において必要欠くべからざるものとなっている。
ただし、救援活動を立案するためには、「どこでどれだけの被害が発生しているか」を特定する必要があるが、カメラから送られている映像からのみでは、「どこで」を特定するのは非常に困難で、その地域をよく知っている担当者による識別しか対応できない。この「どこで」を現場に不慣れな担当者でも容易に特定可能とするために、映像上にその地域に関する情報を重畳する技術が求められている。
【０００３】
そのような技術として、特許文献１がある。特許文献１には、ヘリコプターに搭載したカメラ装置で撮影した映像と自機の位置情報及びカメラ装置の撮影方向及び機体の姿勢情報を地上に送信し、地上では受信した情報を基に撮影位置の３次元的特定処理を行い、その撮影位置データに対応する属性データを電子地図から抽出して、これを地上で受信した撮影映像に付加して表示するシステムが記載されている。
本技術は、撮影位置が特定できる場合には有効であるが、そうでない場合、例えば被災位置に特定の対象物が無いような場合または大規模災害等で広い範囲を俯瞰して確認したい場合などには向かない。
【０００４】
そのような技術としては、特許文献２がある。この技術は、カメラ装置で撮影した映像に映っている施設に対して、その施設の位置に重なるように施設名称などを重ねて表示するものである。
自機の位置情報とカメラ装置の撮影方向及び機体の姿勢情報からカメラ撮影方向を算出し、格納している３次元の地図データを前記の算出した結果に基づいて透視変換して、撮影映像に応じた地図データを獲得し、その獲得した地図データを撮影映像と共に表示する映像表示システムである。この技術は、透視変換により地図データの位置を特定するところが特徴である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２２６１９０号公報（第４〜５頁、第１図）
【特許文献２】特開平１０−４２２８２号公報（第４〜７頁、第２図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２に記載された技術で用いられている透視変換は、三次元データの処理に一般的に用いられている技術である。三次元地図データの一つ一つに対して複数の行列計算を行う必要がある。
具体的には地図データ一つ一つに対して、姿勢情報、カメラ情報等での回転を行うことに加え、透視変換による行列計算が必要になる。姿勢情報は、一般にピッチ角、ロール角、ヨー角の三種類、カメラ情報はパン角、チルト角の二種類であるため、５度の行列演算に加えて、透視変換の、計６度の演算が必要になるという問題があった。
【０００７】
この発明は、上述のような課題を解決するためになされたものであり、カメラ映像上の施設の名称をカメラ映像の施設位置に重畳させて表示する施設名称重畳装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係わる施設名称重畳装置においては、カメラで撮影した施設の映像に施設名称を重畳させて表示する施設名称重畳装置であって、カメラの位置情報を特定するＧＰＳ装置、カメラの姿勢情報を特定する姿勢装置、カメラの角度情報と画角情報を取得するカメラ情報取得手段、施設名称を含む三次元の施設情報を格納する施設情報データベース、カメラの姿勢情報および角度情報に基づき、カメラの撮影方向を算出する撮影方向特定手段、カメラの位置情報と三次元の施設情報に基づき、カメラを基準とした施設の存在する方向である施設方向を算出する施設方向特定手段、撮影方向と施設方向のなす角を算出し、このなす角に基づき施設が画角情報によって決まる撮影映像内に含まれるかどうかを判定し、撮影映像内に含まれる施設情報を検索する施設情報検索手段、およびこの施設情報検索手段によって検索された施設情報の施設名称を、施設方向と画角情報に基づき、カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、施設方向特定手段は、カメラの位置から施設の位置までの直線の水平線上の方位角と、直線の高さ方向の仰角とを求め、方位角および仰角を用いて、施設方向を求めるものである。
【発明の効果】
【０００９】
この発明によれば、カメラで撮影した施設の映像に施設名称を重畳させて表示する施設名称重畳装置であって、カメラの位置情報を特定するＧＰＳ装置、カメラの姿勢情報を特定する姿勢装置、カメラの角度情報と画角情報を取得するカメラ情報取得手段、施設名称を含む三次元の施設情報を格納する施設情報データベース、カメラの姿勢情報および角度情報に基づき、カメラの撮影方向を算出する撮影方向特定手段、カメラの位置情報と三次元の施設情報に基づき、カメラを基準とした施設の存在する方向である施設方向を算出する施設方向特定手段、撮影方向と施設方向のなす角を算出し、このなす角に基づき施設が画角情報によって決まる撮影映像内に含まれるかどうかを判定し、撮影映像内に含まれる施設情報を検索する施設情報検索手段、およびこの施設情報検索手段によって検索された施設情報の施設名称を、施設方向と画角情報に基づき、カメラで撮影した当該施設の映像に重畳して表示する施設名称表示手段を備え、施設方向特定手段は、カメラの位置から施設の位置までの直線の水平線上の方位角と、直線の高さ方向の仰角とを求め、方位角および仰角を用いて、施設方向を求めるので、カメラの映像上に映っている施設などの名称をその映像上の施設位置に重畳して表示することで、災害発生個所の特定を容易にすることができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による施設名称重畳装置を示す構成図である。
【図２】この発明の実施の形態１による施設名称重畳装置における回転行列を示す図である。
【図３】この発明の実施の形態１による施設名称重畳装置におけるＧＰＳ情報と施設情報を用いてカメラのＧＰＳ位置から施設の位置に向けて伸ばした直線の方向を求めることを示す概念図である。
【図４】この発明の実施の形態１による施設名称重畳装置における画角情報の範囲内に入る施設を抽出することを示す概念図である。
【図５】この発明の実施の形態１による施設名称重畳装置を示すシステム構成図である。
【図６】この発明の実施の形態２による施設名称重畳装置を示す構成図である。
【図７】この発明の実施の形態２による施設名称重畳装置における回転行列を示す図である。
【図８】この発明の実施の形態３による施設名称重畳装置を示すシステム構成図である。
【図９】この発明の実施の形態４による施設名称重畳装置を示すシステム構成図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
以下に、実施の形態１について図を用いて説明する。
図１は、この発明の実施の形態１による施設名称重畳装置を示す構成図である。
図１において、カメラ１は、災害発生した地域などの映像を撮影する。ＧＰＳ装置２は、カメラ１の位置情報を特定する。姿勢装置３は、カメラ１の姿勢情報を特定する。カメラ情報取得手段４は、カメラ１の角度情報と画角情報を取得するためにカメラ１に設置される。施設情報データベース５は、施設名称や施設の属性を含む三次元の施設情報を格納する。
撮影方向特定手段６は、姿勢情報と角度情報からカメラ１の撮影方向を算出する。施設方向特定手段７は、カメラ１の位置情報と三次元施設情報から、カメラ位置から施設までの方向（施設方向）を算出する。施設情報検索手段８は、撮影方向と施設方向からそのなす角を算出し、このなす角に基づき当該施設が画角情報によって決まる撮影映像内に含まれるかどうかを判定して、撮影映像内に含まれる施設情報を取得する。施設名称表示手段９は、取得した施設情報を、その施設方向と画角情報に基づき、カメラ１で撮影した施設の映像に重畳して表示する。
【００１２】
なお、カメラ１、ＧＰＳ装置２、姿勢装置３については、一般的に市販されている装置を選択可能である。またカメラ情報取得手段４については、そのような機能を有するカメラも市販されており、実施の形態としては問題ない。
施設情報データベース５のような施設情報は、市販の地図データベースとして入手可能である。高さ情報は、その施設の緯度経度から標高値を算出することで取得可能である。
また、施設名称表示手段９は、カメラ１からの映像を受信して、施設情報検索手段８からの施設情報に合わせて、その映像上に施設名称および施設属性を重ねて表示するものであり、通常のコンピュータで実現可能である。
【００１３】
図２は、この発明の実施の形態１による施設名称重畳装置における回転行列を示す図である。
図２において、回転行列のＹａはヨー角、Ｐｉはピッチ角、Ｒｏはロール角、Ｐａはパン角、Ｔｉはチルト角を示している。
【００１４】
図３は、この発明の実施の形態１による施設名称重畳装置におけるＧＰＳ情報と施設情報を用いてカメラのＧＰＳ位置から施設の位置に向けて伸ばした直線の方向を求めることを示す概念図である。
図３において、カメラのＧＰＳ位置（図ではカメラ位置）から施設位置に向けて直線（ベクトル）の方向（施設方向）を求める場合で、水平線上での方位角、高さ方向の仰角を示している。
【００１５】
図４は、この発明の実施の形態１による施設名称重畳装置における画角情報の範囲内に入る施設を抽出することを示す概念図である。
図４において、撮影方向のベクトルと、施設方向へのベクトルを基に、カメラ情報取得手段４から得た画角情報の範囲内に施設が入るかどうかを確認する場合の各ベクトルの係わり方を示している。
【００１６】
図５は、この発明の実施の形態１による施設名称重畳装置を示すシステム構成図である。
図５において、１〜９は図１におけるものと同一のものである。信号変換装置１０には、撮影方向特定手段６、施設方向特定手段７、施設情報検索手段８の各手段をプログラムとして実装し納めている。モニタ装置１１は、施設名称表示手段９の制御によって、施設の映像に施設名称や施設の属性を重畳させて表示したものを映し出す。
【００１７】
次に、動作について説明する。
まず、撮影方向特定手段６の処理について説明する。
撮影方向特定手段６は、姿勢装置３からのカメラ１の姿勢情報およびカメラ情報取得手段４からのカメラ１の角度情報を取得する。この姿勢情報とは、当該カメラ設置時の傾きや方向に関する情報であり、一般にはピッチ角、ロール角、ヨー角の三種類存在する。
ヨー角は北方向を０度とした場合の方位角と呼ぶこともある。また、実施の形態１の場合は、カメラ１については定点固定カメラも想定しているので、ピッチ角およびロール角は０度としてもかまわない。
カメラ情報取得手段４からのカメラ１の角度情報は、カメラ１の横方向の回転を示すパン角と上下方向の回転を示すチルト角からなる。
撮影方向特定手段６の処理は、これらのピッチ角、ロール角、ヨー角、パン角、チルト角を順番に回転させることにより、カメラ位置を起点とした撮影方向のベクトルを計算するものである。
これは、一般的な同次座標変換の公式により、回転行列を作成することで計算可能であり、その回転行列を図２に示す。
【００１８】
次に、施設方向特定手段７の処理について説明する。
施設方向特定手段７は、ＧＰＳ装置２からのカメラ１の位置情報であるＧＰＳ情報と、施設情報データベース５からの施設情報を用いて、カメラ１のＧＰＳ位置（カメラ位置）から施設の位置に向けて伸ばした直線（ベクトル）の方向（施設方向）を求めるものである。図３にその概念図を示す。
実施の方法としては、第一に、カメラ位置の緯度経度情報と施設の緯度経度情報により、カメラ位置から施設までの直線の水平線上での方位角を求め、第二に、その直線の高さ方向の仰角を求める。
ここで、方位角の求め方は、高精度なものからそうでないものまで、さまざまな方法が提唱されている。高精度な結果を求めたいならば、ジョルダンの方式などを採用するが、その分、計算量が増加するため、実際上は、より高速で、実用的に十分な精度が求められるヒュベニの方式等を用いる場合が多い。
【００１９】
仰角の求め方は、カメラ１の位置情報である緯度経度座標と、施設の位置情報である緯度経度座標を用いて、カメラ１から施設までの水平面での直線状の距離を求め、さらにカメラ１の高度（ＧＰＳ装置２により取得可能）と施設情報からの施設の標高情報との差分からなる高さを求める。この二つの値から逆正接関数により仰角を求める。
最後に、この方位角と仰角を用いて、撮影方向特定手段６の場合と同様に、同次座標変換の公式などにより、回転行列を作成することで、施設方向へのベクトルを求めることができる。
【００２０】
次に、施設情報検索手段８の処理について説明する。
施設情報検索手段８は、撮影方向特定手段６から得た撮影方向のベクトルと、施設方向特定手段７から得た施設方向へのベクトルを基に、カメラ情報取得手段４から得たカメラ１の画角情報の範囲内に入るかどうかを確認して、入る施設であれば表示対象として抽出する。図４にその概念図を示す。
撮影方向ベクトルと施設方向ベクトルのなす角は、それぞれのベクトルの内積を求めることで特定できる。内積から求めた角度が、カメラ情報取得手段４からの画角の値以内の場合は、映像上に映っていると考えられるため、その施設の属性は表示の対象となる。そうでない場合は表示対象から外れることとなる。
【００２１】
これまでの技術と比較した場合の計算量の差は、施設方向特定手段７の部分との比較となる。同次座標変換の計算量として約１／３ほどに抑えられると考えられるため、本発明は有効と考えられる。
【００２２】
実施の形態１の実際のシステム構成は、図５のようになる。図５の信号変換装置１０は、撮影方向特定手段６、施設方向特定手段７、施設情報検索手段８の各手段をプログラムとして実装しており、また、モニタ装置１１は、施設名称表示手段９の制御により、映像上に施設名称および施設の属性を重畳させて表示したものを映し出す。
撮影方向特定手段６、施設方向特定手段７および施設情報検索手段８は、それぞれ入力される情報が更新される都度、再計算を繰り返し、新しい結果を出力し続ける。
それによって、施設名称表示手段９により映像上に施設名称および施設属性が連続して表示されることとなる。
【００２３】
実施の形態１によれば、災害発生した地域を撮影するカメラの映像上に映っている施設などの名称や属性情報をその映像上の施設位置に重畳させて表示することで、災害発生個所の特定を容易にすることができる。
【００２４】
実施の形態２．
次に、実施の形態２について、図を用いて説明する。
図６は、この発明の実施の形態２による施設名称重畳装置を示す構成図である。
図６において、１、４〜９は図１におけるものと同一のものである。図６は、図１のＧＰＳ装置２および姿勢装置３をもたない構成である。
【００２５】
図７は、この発明の実施の形態２による施設名称重畳装置における回転行列を示す図である。
図７において、回転行列のＹａはヨー角、Ｐａはパン角、Ｔｉはチルト角を示している。
【００２６】
実施の形態２は、カメラ１を定位置に設置した場合のものである。
定位置に設置されたカメラ１により撮影された映像を表示するシステムの場合は、ＧＰＳ装置２、および姿勢装置３は存在しない。
その代わり、カメラの設置位置座標（緯度経度高度）は、あらかじめ測定しておき、固定値としておく。
姿勢情報は、ピッチ角、ロール角は、常に水平として０度と想定する。ヨー角はカメラ１の設置方向の方位角を測定し固定値とする。
実施の形態２の場合の施設方向特定手段７の処理は、実施の形態１よりも短くなる。その同次座標変換の公式による回転行列を図７に示す。
【００２７】
実施の形態２によれば、この構成により、実施の形態１と同じ効果が実現可能である。
また、施設方向特定手段の処理は短縮される。
【００２８】
実施の形態３．
次に、実施の形態３について図を用いて説明する。
図８は、この発明の実施の形態３による施設名称重畳装置を示すシステム構成図である。
図８において、１〜１１は図５におけるものと同一のものである。図８では、施設名称重畳装置は一つの航空機に搭載され、操作装置２１により、航空機搭乗員がカメラ１を自由に回転操作するようになっている。
【００２９】
実施の形態３は、施設名称重畳装置が、すべて一つの航空機に搭載されている場合についてのものである。
航空機やヘリコプター搭載のカメラ１には、操作装置２１にて自由に回転が可能であり、またカメラ情報取得手段４によりカメラ情報が簡単に取得できる機能を持っているものが多い。
したがって、実施の形態１で述べた施設名称重畳装置の各手段は、すべてこの実施の形態３でも実現可能である。
【００３０】
実施の形態３によれば、施設名称重畳装置が一つの航空機に搭載された場合でも、実施の形態１と同様の効果が得られる。
【００３１】
実施の形態４．
次に、実施の形態４について、図を用いて説明する。
図９は、この発明の実施の形態４による施設名称重畳装置を示すシステム構成図である。
図９において、１〜９、１１は図５におけるものと同一のものである。図９では、航空機側設備と地上側設備に分かれている。１〜４は航空機側設備に配置され、５〜９、１１は地上側設備に配置されている。
航空機側設備として、信号変換装置３１は、ＧＰＳ装置２、姿勢装置３、カメラ情報取得手段４からの各種情報を収集して地上送信用情報を作成する。信号重畳装置３２は、カメラ１からの映像に信号変換装置３１からの地上送信用情報を重畳する。送信装置３３は、信号重畳装置３２からの映像情報を地上に配信する。
地上側設備として、受信装置４１は、航空機からの映像情報を受信する。信号分岐装置４２は、受信装置４１が受信した映像から地上送信用情報を分岐して取り出す。名称表示位置計算装置４３は、地上側で位置情報、姿勢情報、カメラ情報から施設表示位置を算出する。
【００３２】
実施の形態４は、航空機側で施設表示位置の算出処理を行うのではなく、地上側設備にて算出処理する場合についてのものである。
航空機側設備としての信号変換装置３１は、ＧＰＳ装置２、姿勢装置３、カメラ情報取得手段４からの各情報を収集し、信号重畳装置３２による映像への重畳に都合の良い形式に変換するための装置であり、通常の小型コンピュータで実現可能である。
信号重畳装置３２および信号分岐装置４２は、航空機の形態や送信装置３３および受信装置４１で実現している無線種別により、さまざまな形態が考えられる。従来のヘリテレシステムにおいてもこのような装置は広く活用されている。
【００３３】
例えば、送信装置３３と受信装置４１が、アナログ映像信号を送受信する装置の場合は、映像信号のブランク領域に地上送信用情報を重ねる方式を実現した信号重畳装置・信号分岐装置を採用できる。
また、送信装置３３と受信装置４１が、デジタル映像信号を送受信する装置の場合は、映像信号に重畳して送られる複数の音声信号のうち１チャネル上に地上送信用信号を重ねて、映像と合わせて地上に配信するような装置を採用できる。
また、デジタル映像信号の場合には、デジタル信号の規格で決められている補助データ領域を利用して配信することもできる。
信号分岐装置４２によって、映像から位置情報、姿勢情報、カメラ情報を分岐した後は、実施の形態１に記載の各手段に従って、本発明の機能を実現することが可能である。
【００３４】
実施の形態４によれば、航空機側設備で施設表示位置の算出処理を行うのではなく、この算出処理を地上側設備にて行う場合であっても、実施の形態１と同様の効果を得ることができる。
【００３５】
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
【符号の説明】
【００３６】
１  カメラ、２  ＧＰＳ装置、３  姿勢装置、４  カメラ情報取得手段、
５  施設情報データベース、６  撮影方向特定手段、７  施設方向特定手段、
８  施設情報検索手段、９  施設名称表示手段、１０  信号変換装置、
１１  モニタ装置、２１  操作装置、３１  信号変換装置、３２  信号重畳装置、
３３  送信装置、４１  受信装置、４２  信号分岐装置、４３  名称表示位置計算装置
【図１】
0006448427.tif 000002
【図２】
0006448427.tif 000003
【図３】
0006448427.tif 000004
【図４】
0006448427.tif 000005
【図５】
0006448427.tif 000006
【図６】
0006448427.tif 000007
【図７】
0006448427.tif 000008
【図８】
0006448427.tif 000009
【図９】
0006448427.tif 000010