(57)【要約】      （修正有）【課題】カメラのキャリブレーションに係るコストを抑制する。【解決手段】情報処理装置１は、撮像画像における位置座標である撮像画像座標と、実空間に対応する俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション部１３、及び、撮像画像座標を俯瞰マップ座標に変換する座標変換部１５、を備える。座標変換部は、第１のカメラ配置で撮像された第１の撮像画像における目標物体の撮像画像座標を、俯瞰マップにおける目標物体の俯瞰マップ座標に変換し、キャリブレーション部は、第２のカメラ配置で撮像された第２の撮像画像における目標物体の撮像画像座標と俯瞰マップにおける目標物体の俯瞰マップ座標との対応に基づいて、第２のカメラ配置に対応した第２の変換パラメータを特定する。【選択図】図３
2019061502.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮像された撮像画像における位置座標である撮像画像座標と、実空間に対応する俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、前記カメラの配置に対応し、前記撮像画像座標を前記俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション部、及び
前記変換パラメータを用いて、前記撮像画像座標を前記俯瞰マップ座標に変換する座標変換部、を備え、
前記座標変換部は、第１のカメラ配置に対応する第１の変換パラメータを用いて、前記第１のカメラ配置で撮像された第１の撮像画像における目標物体の前記撮像画像座標を、前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標に変換し、
前記キャリブレーション部は、前記第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における前記目標物体の前記撮像画像座標と前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標との対応に基づいて、前記第２のカメラ配置に対応した第２の変換パラメータを特定する、情報処理装置。
【請求項２】
前記情報処理装置は、前記目標物体の前記撮像画像座標を特定する目標物体特定部をさらに備える、請求項１に記載の情報処理装置。
【請求項３】
前記目標物体特定部は、前記撮像画像から目標物体候補の前記撮像画像座標を検出し、検出された前記目標物体候補の前記撮像画像座標を、操作者の決定に基づいて前記目標物体の前記撮像画像座標として特定する、請求項２に記載の情報処理装置。
【請求項４】
前記情報処理装置は、前記俯瞰マップ座標が既知である基準物体を用いて、前記キャリブレーション部により特定された前記変換パラメータの補正を行う補正部をさらに備える、請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
前記補正部は、前記基準物体の既知の前記俯瞰マップ座標である既知基準座標と、前記座標変換部が前記基準物体の前記撮像画像座標を変換することにより得られる前記基準物体の前記俯瞰マップ座標である変換基準座標と、の距離を特定する距離特定部を有し、前記距離に基づいて前記変換パラメータの補正を行う、請求項４に記載の情報処理装置。
【請求項６】
前記補正部は、前記距離が所定の範囲内であるか否かの判定を行う判定部をさらに有し、前記判定部による前記判定の結果に応じて前記変換パラメータの補正を行う、請求項５に記載の情報処理装置。
【請求項７】
前記補正部は、前記判定部により前記距離が前記所定の範囲内ではないと判定された場合に、前記既知基準座標と前記変換基準座標との差に基づいて前記目標物体の前記俯瞰マップ座標を補正する座標補正部をさらに有し、前記座標補正部により補正された前記目標物体の前記俯瞰マップ座標に基づいて前記変換パラメータの補正を行う、請求項６に記載の情報処理装置。
【請求項８】
前記補正部が前記変換パラメータの補正を行うために要する前記基準物体の数は、前記キャリブレーション部が前記第２の変換パラメータを特定するために要する前記目標物体の数よりも少ない、請求項５〜７のいずれか一項に記載の情報処理装置。
【請求項９】
前記情報処理装置は、前記第１の撮像画像と、前記第２の撮像画像との両方に含まれる前記目標物体の数が所定の閾値より少ない場合に、前記第１の撮像画像における第１の目標物体の前記撮像画像座標を変換することで得られた前記俯瞰マップにおける前記第１の目標物体の前記俯瞰マップ座標、位置センサのセンシングに基づいて得られる前記位置センサに対応したセンサ座標系における前記第１の目標物体の位置座標、及び、前記位置センサのセンシングに基づいて得られる前記センサ座標系における第２の目標物体の位置座標、に基づいて前記俯瞰マップにおける前記第２の目標物体の前記俯瞰マップ座標を取得するセンサ情報管理部をさらに備え、
前記キャリブレーション部は、前記第２の撮像画像における前記第２の目標物体の前記撮像画像座標と前記俯瞰マップにおける前記第２の目標物体の前記俯瞰マップ座標との対応に基づいて、第２の変換パラメータを特定する、請求項１〜８のいずれか一項に記載の情報処理装置。
【請求項１０】
前記変換パラメータは、射影変換行列または透視投影変換行列を含む、請求項１〜９のいずれか一項に記載の情報処理装置。
【請求項１１】
カメラにより撮像された撮像画像における位置座標である撮像画像座標と俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、前記カメラの配置に対応し、前記撮像画像座標を前記俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション部、及び
前記変換パラメータを用いて、前記撮像画像座標を前記俯瞰マップ座標に変換する座標変換部、を備える情報処理装置により実行される情報処理方法であって、
第１のカメラ配置に対応する第１の変換パラメータを用いて、前記第１のカメラ配置で撮像された第１の撮像画像における目標物体の前記撮像画像座標を、前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標に変換することと、
前記第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における前記目標物体の前記撮像画像座標と前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標との対応に基づいて、前記第２のカメラ配置に対応した第２の変換パラメータを特定することと、
を含む、情報処理方法。
【請求項１２】
カメラにより撮像された撮像画像における位置座標である撮像画像座標と俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、前記カメラの配置に対応し、前記撮像画像座標を前記俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション機能、及び
前記変換パラメータを用いて、前記撮像画像座標を前記俯瞰マップ座標に変換する座標変換機能を、をコンピュータに実現させるためのプログラムであって、
前記座標変換機能は、第１のカメラ配置に対応する第１の変換パラメータを用いて、前記第１のカメラ配置で撮像された第１の撮像画像における目標物体の前記撮像画像座標を、前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標に変換し、
前記キャリブレーション機能は、前記第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における前記目標物体の前記撮像画像座標と前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標との対応に基づいて、前記第２のカメラ配置に対応した第２の変換パラメータを特定する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
斜め上方から見下ろすように配置されたカメラにより撮像された撮像画像に含まれる物体の位置を、真上から俯瞰した画像（本明細書では俯瞰マップと呼ぶ）上へマッピングするためには、射影変換行列等の変換パラメータが用いられる。例えば複数の物体が俯瞰マップに対応する実空間上に設置された場合、変換パラメータは、当該複数の物体の撮像画像における位置座標と、当該複数の物体の俯瞰マップにおける位置座標との対応から特定することが可能である。このように変換パラメータを求めることはキャリブレーションと呼ばれている。
【０００３】
上記のようなキャリブレーションは、カメラの配置が変更されない前提であれば、１回行えば十分である。また、下記特許文献１には、カメラの配置が変更された場合に、その前後に撮像された画像を用いてカメラパラメータをキャリブレーションする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−７８９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載の技術は、カメラの姿勢（角度）変化をキャリブレーションの対象としており、カメラ位置の変化に対応することはできなかった。そのため、俯瞰マップ化する範囲を変更、または拡大する目的でカメラの配置変更やカメラの追加を行う場合、上述したように、複数の物体の撮像画像における位置座標と、当該複数の物体の俯瞰マップにおける位置座標との対応から再度キャリブレーションを行う必要がある。この際、当該複数の物体の俯瞰マップにおける位置座標を得るためには、実空間における計測、あるいは実空間の既定の位置への物体の設置等が必要となり、コストが大きかった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、キャリブレーションに係るコストを抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、カメラにより撮像された撮像画像における位置座標である撮像画像座標と、実空間に対応する俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、前記カメラの配置に対応し、前記撮像画像座標を前記俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション部、及び前記変換パラメータを用いて、前記撮像画像座標を前記俯瞰マップ座標に変換する座標変換部、を備え、前記座標変換部は、第１のカメラ配置に対応する第１の変換パラメータを用いて、前記第１のカメラ配置で撮像された第１の撮像画像における目標物体の前記撮像画像座標を、前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標に変換し、前記キャリブレーション部は、前記第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における前記目標物体の前記撮像画像座標と前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標との対応に基づいて、前記第２のカメラ配置に対応した第２の変換パラメータを特定する、情報処理装置が提供される。
【０００８】
前記情報処理装置は、前記目標物体の前記撮像画像座標を特定する目標物体特定部をさらに備えてもよい。
【０００９】
前記目標物体特定部は、前記撮像画像から目標物体候補の前記撮像画像座標を検出し、検出された前記目標物体候補の前記撮像画像座標を、操作者の決定に基づいて前記目標物体の前記撮像画像座標として特定してもよい。
【００１０】
前記情報処理装置は、前記俯瞰マップ座標が既知である基準物体を用いて、前記キャリブレーション部により特定された前記変換パラメータの補正を行う補正部をさらに備えてもよい。
【００１１】
前記補正部は、前記基準物体の既知の前記俯瞰マップ座標である既知基準座標と、前記座標変換部が前記基準物体の前記撮像画像座標を変換することにより得られる前記基準物体の前記俯瞰マップ座標である変換基準座標と、の距離を特定する距離特定部を有し、前記距離に基づいて前記変換パラメータの補正を行ってもよい。
【００１２】
前記補正部は、前記距離が所定の範囲内であるか否かの判定を行う判定部をさらに有し、前記判定部による前記判定の結果に応じて前記変換パラメータの補正を行ってもよい。
【００１３】
前記補正部は、前記判定部により前記距離が前記所定の範囲内ではないと判定された場合に、前記既知基準座標と前記変換基準座標との差に基づいて前記目標物体の前記俯瞰マップ座標を補正する座標補正部をさらに有し、前記座標補正部により補正された前記目標物体の前記俯瞰マップ座標に基づいて前記変換パラメータの補正を行ってもよい。
【００１４】
前記補正部が前記変換パラメータの補正を行うために要する前記基準物体の数は、前記キャリブレーション部が前記第２の変換パラメータを特定するために要する前記目標物体の数よりも少なくてもよい。
【００１５】
前記情報処理装置は、前記第１の撮像画像と、前記第２の撮像画像との両方に含まれる前記目標物体の数が所定の閾値より少ない場合に、前記第１の撮像画像における第１の目標物体の前記撮像画像座標を変換することで得られた前記俯瞰マップにおける前記第１の目標物体の前記俯瞰マップ座標、位置センサのセンシングに基づいて得られる前記位置センサに対応したセンサ座標系における前記第１の目標物体の位置座標、及び、前記位置センサのセンシングに基づいて得られる前記センサ座標系における第２の目標物体の位置座標、に基づいて前記俯瞰マップにおける前記第２の目標物体の前記俯瞰マップ座標を取得するセンサ情報管理部をさらに備え、前記キャリブレーション部は、前記第２の撮像画像における前記第２の目標物体の前記撮像画像座標と前記俯瞰マップにおける前記第２の目標物体の前記俯瞰マップ座標との対応に基づいて、第２の変換パラメータを特定してもよい。
【００１６】
前記変換パラメータは、射影変換行列または透視投影変換行列を含んでもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、カメラにより撮像された撮像画像における位置座標である撮像画像座標と俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、前記カメラの配置に対応し、前記撮像画像座標を前記俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション部、及び前記変換パラメータを用いて、前記撮像画像座標を前記俯瞰マップ座標に変換する座標変換部、を備える情報処理装置により実行される情報処理方法であって、第１のカメラ配置に対応する第１の変換パラメータを用いて、前記第１のカメラ配置で撮像された第１の撮像画像における目標物体の前記撮像画像座標を、前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標に変換することと、前記第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における前記目標物体の前記撮像画像座標と前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標との対応に基づいて、前記第２のカメラ配置に対応した第２の変換パラメータを特定することと、を含む、情報処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、カメラにより撮像された撮像画像における位置座標である撮像画像座標と俯瞰マップにおける位置座標である俯瞰マップ座標との対応に基づいて、前記カメラの配置に対応し、前記撮像画像座標を前記俯瞰マップ座標に変換するための変換パラメータを特定するキャリブレーション機能、及び前記変換パラメータを用いて、前記撮像画像座標を前記俯瞰マップ座標に変換する座標変換機能を、をコンピュータに実現させるためのプログラムであって、前記座標変換機能は、第１のカメラ配置に対応する第１の変換パラメータを用いて、前記第１のカメラ配置で撮像された第１の撮像画像における目標物体の前記撮像画像座標を、前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標に変換し、前記キャリブレーション機能は、前記第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における前記目標物体の前記撮像画像座標と前記俯瞰マップにおける前記目標物体の前記俯瞰マップ座標との対応に基づいて、前記第２のカメラ配置に対応した第２の変換パラメータを特定する、プログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、キャリブレーションに係るコストを抑制することが可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態の比較例に係る情報処理装置８の構成例を示すブロック図である。
【図２】撮像画像座標と、俯瞰マップ座標との対応を得るための方法を説明するための説明図である。
【図３】本発明の第１の実施形態に係る情報処理装置１の構成例を示すブロック図である。
【図４】同実施形態に係る動作概要を示すフローチャート図である。
【図５】初期キャリブレーションの詳細な動作を示すフローチャート図である。
【図６】初期キャリブレーションについて説明するための説明図である。
【図７】初期キャリブレーションについて説明するための説明図である。
【図８】同実施形態に係る再キャリブレーションの詳細な動作を示すフローチャート図である。
【図９】同実施形態に係る再キャリブレーションについて説明するための説明図である。
【図１０】同実施形態に係る再キャリブレーションについて説明するための説明図である。
【図１１】本発明の第２の実施形態に係る情報処理装置２の構成例を示すブロック図である。
【図１２】同実施形態に係る動作概要を示すフローチャート図である。
【図１３】変換パラメータの補正の詳細な動作を示すフローチャート図である。
【図１４】変換パラメータの補正について説明するための説明図である。
【図１５】変換パラメータの補正について説明するための説明図である。
【図１６】本発明の第３の実施形態に係る情報処理装置３の構成例を示すブロック図である。
【図１７】同実施形態に係る再キャリブレーションに係る動作の一例を示すフローチャートである。
【図１８】同実施形態に係る再キャリブレーションについて説明するための説明図である。
【図１９】同実施形態に係る再キャリブレーションについて説明するための説明図である。
【図２０】本発明の実施形態に係る情報処理装置１０００のハードウェア構成を示す説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２３】
＜＜１．背景＞＞
本発明の実施形態についての説明に当たり、まず本発明の実施形態の創作に至った背景を説明する。
【００２４】
工事現場や商業施設等において、カメラで撮像された撮像画像から、人物等の物体の位置を検出したり、位置を追跡したりすることが行われている。人間が見て把握したり、各種解析等に用いたりするためには、実空間に対応し、真上から俯瞰した俯瞰マップにおける位置座標を得ることが望ましい。しかし、真上から俯瞰するようにカメラを配置することは困難であるため、斜め上方から見下ろすように配置されたカメラが用いられることも多い。
【００２５】
そこで、このような斜め上方から見下ろすように配置されたカメラで撮像された撮像画像から得られた物体の位置座標を、俯瞰マップへマッピングする（俯瞰マップにおける位置座標に変換する）ことが行われている。このようなマッピングには射影変換行列や透視投影変換行列等の変換パラメータが用いられている。
【００２６】
例えば、撮像画像から俯瞰マップへの射影変換行列をＨ、撮像画像における位置座標をＧ（ｘ，ｙ）とすると、俯瞰マップにおける位置座標Ｆ（ｘ，ｙ）は次の式（１）により得ることが可能である。
【００２７】
【数１】
2019061502.tif 000003
【００２８】
撮像画像から俯瞰マップへの変換パラメータ（例えば射影変換行列）は、撮像画像における位置座標（以下、撮像画像座標と呼称する場合がある）と、俯瞰マップにおける位置座標（以下、俯瞰マップ座標と呼称する場合がある）との対応を複数用いることで求めることが可能である。このように撮像画像から俯瞰マップへの変換パラメータを求めることを以下では俯瞰マップキャリブレーション、あるいは単にキャリブレーションと呼ぶ。
【００２９】
上述したように、キャリブレーションを行うためには、撮像画像座標と、俯瞰マップ座標との対応を複数用意する必要がある。そのため、例えば、俯瞰マップに対応する実空間に設置された複数の物体を用いて撮像画像座標と、俯瞰マップ座標との対応を複数用意して、キャリブレーションすることが行われている
【００３０】
以下、このようにキャリブレーションのために用いられる物体を目標物体と呼称する。なお、目標物体は、キャリブレーションのために新たに設置される物体に限定されず、例えば実空間に既に存在している物体を目標物体として用いることも可能である。
【００３１】
ここで、図１、図２を参照して、このように複数の目標物体を用いたキャリブレーションを行う情報処理装置の一例について、本発明の実施形態の比較例として説明する。
【００３２】
図１は、本比較例に係る情報処理装置８の構成例を示すブロック図である。本比較例に係る情報処理装置８は、図１に示すように、制御部８１０、画像取得部８６０、操作部８７０、出力部８８０、及び記憶部８９０を備える。本比較例に係る情報処理装置８は、撮像画像から俯瞰マップへの変換パラメータを求めるキャリブレーションを行い、当該射影変換行列を用いて、撮像画像に映る物体の俯瞰マップ座標を得る情報処理装置である。以下、情報処理装置８の概略構成を説明する。
【００３３】
制御部８１０は、情報処理装置８の各構成を制御する。また、本比較例に係る制御部８１０は、図１に示すように、物体位置特定部８１１、キャリブレーション部８１３、及び座標変換部８１５としても機能する。
【００３４】
物体位置特定部８１１は、撮像画像を取得する画像取得部８６０から提供された撮像画像に映る物体の、撮像画像における位置座標（撮像画像座標）を特定する。物体位置特定部８１１による撮像画像座標の特定方法は特に限定されないが、例えば操作部８７０を用いたユーザ操作に基づいて撮像画像座標が特定されてもよいし、画像処理技術により撮像画像座標が特定されてもよい。
【００３５】
物体位置特定部８１１は、撮像画像座標をキャリブレーション部８１３、または座標変換部８１５へ提供する。例えば、キャリブレーションに係る作業を行っている場合には、物体位置特定部８１１は、目標物体の撮像画像座標をキャリブレーション部８１３へ提供する。また、キャリブレーションが完了した後、撮像画像に映る物体の俯瞰マップ位置を得たい場合には、物体位置特定部８１１は、当該物体の撮像画像座標を座標変換部８１５へ提供する。
【００３６】
キャリブレーション部８１３は、撮像画像座標と、俯瞰マップ座標との対応に基づいて、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータを特定する。例えば変換パラメータが射影変換行列である場合、４組以上の撮像画像座標と、俯瞰マップ座標との対応が得られれば、上記の式（１）を利用して射影変換行列を特定することが可能である。例えば、キャリブレーション部８１３は、４組以上の撮像画像座標と、俯瞰マップ座標との対応から得られる連立方程式を解くことにより、３×３の射影変換行列（変換パラメータの一例）を特定（算出）してもよい。
【００３７】
ここで撮像画像座標と、俯瞰マップ座標との対応を得るための方法について図２を参照して説明を行う。図２は、撮像画像座標と、俯瞰マップ座標との対応を得るための方法を説明するための説明図である。
【００３８】
図２には、真上から見た実空間Ｒ１００が示されており、実空間にはカメラ９と目標物体Ｔ１０１〜Ｔ１０４が設置されている。また、図２に示す通り、実空間Ｒ１００には点ＯＲを原点とした実空間座標系が設定されている。
【００３９】
カメラ９により撮像される画像は例えば図２に示す撮像画像Ｇ１００のようになる。撮像画像Ｇ１００における目標物体Ｔ１０１〜Ｔ１０４の位置座標（撮像画像座標）Ｐ１０１〜Ｐ１０４は、上述したように、物体位置特定部８１１により特定される。
【００４０】
また、実空間Ｒ１００に対応する俯瞰マップは図２に示す俯瞰マップＭ１００のようになる。俯瞰マップＭ１００は、実空間Ｒ１００の原点ＯＲと対応した原点ＯＭを有し、所定の縮尺により実空間Ｒ１００における各位置と俯瞰マップＭ１００における各位置が対応している。そのため、目標物体Ｔ１０１〜Ｔ１０４の俯瞰マップＭ１００における位置座標（俯瞰マップ座標）を得るためには、例えば目標物体Ｔ１０１〜Ｔ１０４の実空間位置がわかればよい。
【００４１】
目標物体Ｔ１０１〜Ｔ１０４は、例えば実空間位置が既知である既定の位置に設置されてもよい。あるいは、実空間位置が不明な位置に目標物体Ｔ１０１〜Ｔ１０４が設置された場合、周知の測位方法により、目標物体Ｔ１０１〜Ｔ１０４の実空間位置が測定されてもよい。係る測位方法は、例えば手動で行われる方法でもよいし、ＧＰＳ受信機等の測位用の機器を用いた自動的な方法であってもよい。目標物体の実空間位置の情報は、不図示の通信部を介して入力されてもよいし、ユーザ（操作者）による操作部８７０の操作により入力されてもよい。
【００４２】
このようにして得られた目標物体の実空間位置の情報がキャリブレーション部８１３へ提供され、キャリブレーション部８１３は、当該実空間位置に基づいて、目標物体Ｔ１０１〜Ｔ１０４の俯瞰マップ座標Ｆ１０１〜Ｆ１０４を得ることが可能である。なお、ユーザが実空間位置から俯瞰マップ座標を特定してもよく、係る場合、ユーザは操作部８７０を操作して俯瞰マップ座標を直接的に入力してもよい。
【００４３】
上記のようにして、キャリブレーション部８１３は、撮像画像座標Ｐ１０１〜Ｐ１０４と、俯瞰マップ座標Ｆ１０１〜Ｆ１０４の対応を、キャリブレーションに利用することが可能となる。キャリブレーション部８１３により特定された変換パラメータは、記憶部８９０に記憶される変換パラメータＤＢ８９１に格納される。
【００４４】
図１に戻って説明を続ける。座標変換部８１５は、変換パラメータを用いて、物体位置特定部８１１から提供される撮像画像座標を俯瞰マップ座標に変換する座標変換を行う。座標変換部８１５は、記憶部８９０に記憶された変換パラメータＤＢ８９１に格納された変換パラメータ、すなわち、上述したキャリブレーション部８１３のキャリブレーションにより得られた変換パラメータを用いて、係る座標変換を行ってもよい。座標変換部８１５の座標変換により得られた物体の俯瞰マップ座標は、例えば出力部８８０から出力される。
【００４５】
以上、本比較例に係る情報処理装置８の概略構成を説明した。上述したように、情報処理装置８によりキャリブレーションを行うためには、撮像画像座標と、俯瞰マップ座標の対応を得る必要があり、俯瞰マップ座標を得るためには、目標物体の実空間位置を得る必要がある。
【００４６】
目標物体の実空間位置を得るためには、上述したように既定の位置に設置する、手動で測位する、あるいはＧＰＳ受信機等の測位用の機器を用いる等の必要がある。測位用の機器を用いた場合、目標物体の製造コストが増加する。また、屋内や地下等では測位用の機器を用いることが不可能な場合もあった。
【００４７】
一方、目標物体を既定の位置に設置したり、手動で測位したりすることは、キャリブレーションに係る作業コストの増加につながる。カメラの配置が変更されない前提であれば、１回キャリブレーションを行えば十分であるが、カメラの配置が変更されたり、新たなカメラが追加されたりすることも考えられる。例えば、工事現場では、工事範囲が移動する場合にカメラの配置変更を行ったり、工事範囲が広くなる場合にカメラの追加を行うことが考えられる。また、商業施設においても、フロアの状況等に応じて、カメラの配置変更やカメラの追加を行うことが考えられる。
【００４８】
このようにカメラの配置変更やカメラの追加が行われる場合、カメラの配置変更、またはカメラの追加の度にキャリブレーションを行う必要がある。そのため、カメラの配置変更、またはカメラの追加の度に目標物体を既定の位置に設置したり、手動で測位したりすることは、作業コストを大きく増大させてしまう。
【００４９】
そこで、本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。以下に説明する本発明の各実施形態による情報処理装置は、キャリブレーション済みのカメラ配置において得られた目標物体の俯瞰マップ座標を記憶しておき、新たなカメラ配置におけるキャリブレーションに用いることでコストを抑制することが可能である。以下では、係る効果を実現する本発明の各実施形態について、順次詳細に説明する。
【００５０】
＜＜２．各実施形態の詳細な説明＞＞
＜２−１．第１の実施形態＞
（概要）
まず、本発明の第１の実施形態の概要を説明する。本実施形態に係る情報処理装置は、変換パラメータが特定された、つまりキャリブレーションが既に行われたカメラ配置（以下、第１のカメラ配置と呼ぶ場合がある）で撮像された撮像画像における目標物体の撮像画像座標を、俯瞰マップ座標に変換する。本実施形態に係る情報処理装置は、このようにして得られた俯瞰マップ座標を一旦記憶し、例えばカメラ配置の変更、またはカメラの追加を行う。そして、本実施形態に係る情報処理装置は、カメラ配置変更後、あるいはカメラ追加後のカメラ配置（以下、第２のカメラ配置と呼ぶ場合がある）で撮像された撮像画像における目標物体の撮像画像座標と、記憶された俯瞰マップ座標との対応に基づいて、キャリブレーションを行う。
【００５１】
このようにキャリブレーションを行うことで、第２のカメラ配置におけるキャリブレーションに係るコストを抑制することが可能である。以下、このような本実施形態に係る情報処理装置の構成例について、図３を参照して説明を行う。
【００５２】
（構成例）
図３は、本発明の第１の実施形態に係る情報処理装置１の構成例を示すブロック図である。本実施形態に係る情報処理装置１は、図３に示すように、制御部１０、画像取得部６０、操作部７０、出力部８０、及び記憶部９０を備える。
【００５３】
制御部１０は、情報処理装置１の各構成を制御する。また、本実施形態に係る制御部１０は、図３に示すように、物体位置特定部１１、キャリブレーション部１３、及び座標変換部１５としても機能する。制御部１０が有する物体位置特定部１１、キャリブレーション部１３、及び座標変換部１５の機能については後述する。
【００５４】
画像取得部６０は、不図示のカメラと接続され、当該カメラにより撮像された撮像画像を取得するインタフェースである。なお、画像取得部６０は、複数のカメラと接続されて、複数のカメラから撮像画像を取得してもよい。画像取得部６０は、取得した撮像画像を制御部１０へ提供する。
【００５５】
なお、情報処理装置１自体がカメラを含んでもよい。係る場合には画像取得部６０に代えて、または加えてＣＣＤ（Charge  Coupled  Device）あるいはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を含む撮像部を情報処理装置１が備えてもよい。
【００５６】
操作部７０は、情報処理装置１のユーザ（操作者）による入力を受け付ける。例えば、操作部７０は、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、またはダイヤル等により実現されてもよい。
【００５７】
出力部８０は、例えばディスプレイであり、俯瞰マップにおける物体の位置等を目的に応じて表示出力する。例えば当該物体が静止していれば当該物体の位置を俯瞰マップ上に表示出力すればよいし、当該物体が移動していれば、その軌跡を各フレームの俯瞰マップ座標に基づいて表示出力すればよい。
【００５８】
記憶部９０は、情報処理装置１の動作に用いられるプログラム及びデータを記憶する。また、記憶部９０は図３に示すように変換パラメータＤＢ９１、及び位置座標ＤＢ９３を記憶する。
【００５９】
変換パラメータＤＢ９１には、後述するキャリブレーション部１３から提供される、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータが格納される。また、位置座標ＤＢ９３には、後述する座標変換部１５から提供される、目標物体の俯瞰マップ座標が格納される。なお、本実施形態に係る記憶部９０は、係る位置座標ＤＢ９３を記憶する点で図１に示した記憶部８９０と異なる。
【００６０】
以上、本実施形態に係る情報処理装置１の全体構成を説明した。続いて、情報処理装置１が備える制御部１０が有する物体位置特定部１１、キャリブレーション部１３、及び座標変換部１５の機能について説明する。
【００６１】
物体位置特定部１１は、画像取得部６０から提供された撮像画像に映る物体（目標物体を含む）の撮像画像座標を特定する。物体位置特定部１１は、操作部８７０を用いたユーザ操作に基づいて物体の撮像画像座標を特定してもよいし、画像処理技術により撮像画像座標を特定してもよい。例えば、画像処理技術により撮像画像座標を特定する場合、物体位置特定部１１は、テンプレートマッチング等の手法を用いて撮像画像から物体を検出し、撮像画像において当該物体の領域内で最も下の位置座標を当該物体の撮像画像座標として特定してもよい。
【００６２】
また、物体位置特定部１１は、撮像画像から目標物体候補の撮像画像座標を検出し、検出された目標物体候補の撮像画像座標を、出力部８０に出力（例えば表示）させてもよい。出力部８０の出力を確認したユーザ（操作者）は、操作部７０を介して目標物体候補の中から目標物体の決定を行ってもよい。そして、物体位置特定部１１は、操作部７０を介した操作者の決定に基づいて、決定された目標物体候補の撮像画像座標を目標物体の撮像画像座標として特定してもよい。
【００６３】
係る構成により、目標物体の撮像画像座標がより高精度に特定され得る。目標物体の撮像画像座標の特定に誤りがあると、キャリブレーション精度に大きな影響を及ぼす恐れがあるため、目標物体の撮像画像座標が高精度に特定されることで、キャリブレーション精度も向上し得る。
【００６４】
キャリブレーション部１３は、撮像画像座標と、俯瞰マップ座標との対応に基づいて、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータを特定する。キャリブレーション部１３が特定する変換パラメータは、例えば射影変換行列であってもよい。キャリブレーション部１３は、例えば図１に示した比較例に係るキャリブレーション部８１３と同様に射影変換行列を特定し得る。
【００６５】
最初にカメラが設置された際のカメラ配置において本実施形態に係るキャリブレーション部１３がキャリブレーションを行う場合、例えば操作部７０を介したユーザ操作により目標物体の実空間位置、または俯瞰マップ座標が入力されてもよい。
【００６６】
ただし、記憶部９０の位置座標ＤＢ９３に目標物体の俯瞰マップ座標が格納されている場合、本実施形態に係るキャリブレーション部１３は、位置座標ＤＢ９３に格納された（記憶された）目標物体の俯瞰マップ座標を用いてキャリブレーションを行う。位置座標ＤＢ９３に格納された目標物体の俯瞰マップ座標は、後述する座標変換部１５が行う座標変換により得られる俯瞰マップ座標である。
【００６７】
座標変換部１５は、変換パラメータを用いて、物体位置特定部１１から提供される撮像画像座標を俯瞰マップ座標に変換する座標変換を行う。座標変換部１５は、記憶部９０に記憶された変換パラメータＤＢ９１に格納された変換パラメータ、すなわち、上述したキャリブレーション部１３のキャリブレーションにより得られた変換パラメータを用いて、係る座標変換を行ってもよい。座標変換部１５の座標変換により得られた物体の俯瞰マップ座標は、例えば出力部８０から出力される。
【００６８】
また、本実施形態に係る座標変換部１５は、第１のカメラ配置に対応する第１の変換パラメータを用いて、当該第１のカメラ配置で撮像された第１の撮像画像における目標物体の撮像画像座標を、俯瞰マップにおける当該目標物体の俯瞰マップ座標に変換する。さらに、座標変換部１５は、このようにして得た俯瞰マップ座標を記憶部９０へ提供し、位置座標ＤＢ９３に格納させる。
【００６９】
係る構成により、キャリブレーション部１３は、第１のカメラ配置とは異なる第２のカメラ配置においてキャリブレーションを行う際に、上述したように位置座標ＤＢ９３に格納された目標物体の俯瞰マップ座標を用いることが可能となる。つまりキャリブレーション部１３は、第１のカメラ配置とは異なる第２のカメラ配置で撮像された第２の撮像画像における目標物体の撮像画像座標と、俯瞰マップにおける当該目標物体の俯瞰マップ座標との対応に基づいて、当該第２のカメラ配置に対応した第２の変換パラメータを特定することができる。
【００７０】
係る構成によれば、第２のカメラ配置においてキャリブレーションを行う際に、実空間において目標物体の測位を行わなくてもよいため、作業コストが抑制される。
【００７１】
（動作例）
以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態の動作例について図４〜図１０を参照して説明する。
【００７２】
図４は、本実施形態に係る動作概要を示すフローチャート図である。図４に示すように、まず、最初にカメラが設置された際のカメラ配置における変換パラメータを求めるためのキャリブレーション（以下、初期キャリブレーションと呼ぶ）が行われる（Ｓ１０）。ステップＳ１０の初期キャリブレーションの詳細については、図５〜図７を参照して後述する。
【００７３】
続いて、カメラの配置変更、または追加を行う場合（Ｓ１２においてＹＥＳ）、カメラ配置変更後、あるいはカメラ追加後のカメラ配置における変換パラメータを求めるための
キャリブレーション（以下、再キャリブレーションと呼ぶ）が行われる（Ｓ１４）。ステップＳ１４の再キャリブレーションの詳細な動作については、図８〜図１０を参照して後述する。
【００７４】
一方、カメラの配置変更、追加のいずれも行われない場合（Ｓ１２においてＮＯ）、動作は終了する。なお、図示されていないが、ステップＳ１０とステップＳ１２の間には、上述したように、撮像画像に映る人物等の物体の位置を俯瞰マップ上に表示出力する処理等が含まれていてもよい。
【００７５】
以上、本実施形態に係る動作概要について説明した。続いて、図５〜図７を参照して、図４に示したステップＳ１０の初期キャリブレーションについてより詳細に説明する。図５は、初期キャリブレーションの詳細な動作を示すフローチャート図である。また、図６、図７は、初期キャリブレーションについて説明するための説明図である。
【００７６】
図６には、実空間Ｒ１と、実空間Ｒ１に設置されたカメラ５Ａにより撮像された撮像画像Ｇ１が示されている。また、図７には、実空間Ｒ１と、実空間Ｒ１に対応する俯瞰マップＭ１が示されている。なお、俯瞰マップＭ１のうち、領域ＭＡは、カメラ５Ａの撮像範囲に対応する領域を示している。また、図６に示される実空間Ｒ１は真上から見た平面図であり、図７に示される実空間Ｒ１は横から見た側面図である。
【００７７】
図５に示すように、まず、目標物体Ｔ１〜Ｔ４が実空間Ｒ１に設置される（Ｓ１００）。続いて、目標物体Ｔ１〜Ｔ４の実空間位置が測定され、目標物体Ｔ１〜Ｔ４の実空間位置にそれぞれ対応する俯瞰マップ座標Ｆ１〜Ｆ４が、例えば操作部７０を介したユーザ操作により入力される（Ｓ１０２）。
【００７８】
続いて、画像取得部６０により、カメラ５Ａにより撮像された撮像画像Ｇ１が取得される（Ｓ１０４）。なお、撮像画像Ｇ１が取得された後、目標物体Ｔ１〜Ｔ４は撤去されてもよい。続いて、物体位置特定部１１が、目標物体Ｔ１〜Ｔ４の撮像画像座標Ｐ１〜Ｐ４をそれぞれ特定する（Ｓ１０６）。
【００７９】
続いて、キャリブレーション部１３が、撮像画像座標Ｐ１〜Ｐ４と俯瞰マップ座標Ｆ１〜Ｆ４との対応に基づいて、変換パラメータを特定する（Ｓ１０８）。ステップＳ１０８で特定された変換パラメータは、記憶部９０の変換パラメータＤＢ９１に格納（記憶）される（Ｓ１１０）。
【００８０】
以上、ステップＳ１０の初期キャリブレーションについて説明した。続いて、図８〜図１０を参照して、図４に示したステップＳ１４の再キャリブレーションについてより詳細に説明する。図８は、本実施形態に係る再キャリブレーションの詳細な動作を示すフローチャート図である。また、図９、図１０は、本実施形態に係る再キャリブレーションについて説明するための説明図である。
【００８１】
なお、図９、及び図１０は、初期キャリブレーションが行われた後、最初に再キャリブレーションが行われる場合の例、つまり、カメラの配置変更、または追加が最初に行われる場合の例を示している。カメラの配置変更が行われる場合、図９、及び図１０に示されるカメラ５Ａとカメラ５Ｂは同一のカメラ５であってもよく、カメラ５Ａが、配置変更前のカメラ５を示し、カメラ５Ｂが、配置変更後のカメラ５を示していると解されてもよい。また、カメラの追加が行われる場合には、カメラ５Ａとカメラ５Ｂは異なるカメラであり、カメラ５Ｂが追加されたカメラである。
【００８２】
カメラ５Ａのカメラ配置におけるキャリブレーションは既にステップＳ１０において完了しているため、カメラ５Ａのカメラ配置を上述した第１のカメラ配置、カメラ５Ｂのカメラ配置を上述した第２のカメラ配置とそれぞれ呼称する。
【００８３】
図９には、実空間Ｒ１０と、実空間Ｒ１０に設置されたカメラ５Ａにより第１のカメラ配置で撮像された第１の撮像画像Ｇ１１、及び実空間Ｒ１０に設置されたカメラ５Ｂにより第２のカメラ配置で撮像された第２の撮像画像Ｇ１２が示されている。また、図１０には、実空間Ｒ１０と、実空間Ｒ１０に対応する俯瞰マップＭ１１及び俯瞰マップＭ１２が示されている。なお、俯瞰マップＭ１１のうち、領域ＭＡは、カメラ５Ａの撮像範囲に対応する領域を示し、俯瞰マップＭ１２のうち、領域ＭＢは、カメラ５Ｂの撮像範囲に対応する領域を示している。また、図９に示される実空間Ｒ１０は真上から見た平面図であり、図１０に示される実空間Ｒ１０は横から見た側面図である。また、図１０に示す俯瞰マップＭ１１、及び俯瞰マップＭ１２は、図７に示した俯瞰マップＭ１と同一の座標系を有している。
【００８４】
図８に示すように、まず、目標物体Ｔ１１〜Ｔ１４が実空間Ｒ１０に設置される（Ｓ１４０）。続いて、画像取得部６０により、カメラ５Ａにより第１のカメラ配置で撮像された第１の撮像画像Ｇ１１が取得される（Ｓ１４２）。続いて、物体位置特定部１１が、第１の撮像画像Ｇ１１における目標物体Ｔ１１〜Ｔ１４の撮像画像座標Ｐ１１１〜Ｐ１１４をそれぞれ特定する（Ｓ１４４）。
【００８５】
続いて、座標変換部１５が、記憶部９０の変換パラメータＤＢ９１に格納された（記憶された）第１の変換パラメータを用いて、撮像画像座標Ｐ１１１〜Ｐ１１４を俯瞰マップ座標Ｆ１１〜Ｆ１４にそれぞれ変換する（Ｓ１４６）。なお、ステップＳ１４６で用いられる第１の変換パラメータは、カメラ５Ａのカメラ配置（第１のカメラ配置）に対応した変換パラメータであり、例えば図５に示したステップＳ１１０において記憶された変換パラメータであってもよい。
【００８６】
ステップＳ１４６で得られた俯瞰マップ座標Ｆ１１〜Ｆ１４は、記憶部９０の位置座標ＤＢ９３に格納（記憶）される（Ｓ１４７）。
【００８７】
続いて、カメラの配置変更、またはカメラの追加が行われる（Ｓ１４８）。続いて、画像取得部６０により、カメラ５Ｂにより第２のカメラ配置で撮像された第２の撮像画像Ｇ１２が取得される（Ｓ１５０）。続いて、物体位置特定部１１が、第２の撮像画像Ｇ１２における目標物体Ｔ１１〜Ｔ１４の撮像画像座標Ｐ１２１〜Ｐ１２４をそれぞれ特定する（Ｓ１５２）。
【００８８】
続いて、キャリブレーション部１３が、ステップＳ１５２で特定された撮像画像座標Ｐ１２１〜Ｐ１２４と、ステップＳ１４７で位置座標ＤＢ９３に格納された俯瞰マップ座標Ｆ１１〜Ｆ１４との対応に基づいて、第２の変換パラメータを特定する（Ｓ１５４）。ステップＳ１５４で特定された第２の変換パラメータは、記憶部９０の変換パラメータＤＢ９１に格納（記憶）される（Ｓ１５６）。
【００８９】
以上、ステップＳ１４の再キャリブレーションについて説明した。なお、図４を参照して説明したように、ステップＳ１４の再キャリブレーションは、カメラの再配置、またはカメラの追加が行われなくなるまで繰り返される。したがって、図８〜図１０を参照して説明したカメラ５Ｂのカメラ配置（第２のカメラ配置）、及び特定された第２の変換パラメータは、次回、再キャリブレーションが行われる際には第１のカメラ配置、及び第１の変換パラメータとして扱われる。
【００９０】
また、図１０に示すように、上述した目標物体Ｔ１１〜Ｔ１４は、カメラ５Ａ、及びカメラ５Ｂの両方の撮像範囲に含まれるように配置される。図８に示したように目標物体Ｔ１１〜Ｔ１４が配置された後にカメラの配置変更、あるはカメラの追加が行われる場合、カメラ５Ｂの撮像範囲に目標物体Ｔ１１〜Ｔ１４が含まれるようにカメラ５Ｂの設置が行われればよい。
【００９１】
（補足）
以上、本発明の第１の実施形態について説明した。本実施形態によれば、キャリブレーション済みの第１のカメラ配置において得られた目標物体の俯瞰マップ座標を、第２のメラ配置におけるキャリブレーションに用いることで、第２のカメラ配置におけるキャリブレーションに係るコストを抑制することが可能である。なお、上記では目標物体の数が４である例を説明したが、目標物体の数は変換パラメータ、及び座標変換の手法に必要な数応じて異なってもよい。また、目標物体の数は、目標物体の数は変換パラメータ、及び座標変換の手法に必要な数よりも多くてもよく、係る構成により、より高精度なキャリブレーションが可能となり得る。
【００９２】
＜２−２．第２の実施形態＞
（概要）
上記第１の実施形態では、カメラの再配置、またはカメラの追加が行われる度に再キャリブレーションを繰り返し行う例を説明した。しかし、再キャリブレーションの繰り返し回数が増大すると、座標変換により得られる目標物体の俯瞰マップ座標と、目標物体の実空間位置に対応する俯瞰マップ座標との誤差が蓄積され、大きくなってしまう場合がある。
【００９３】
そこで、実空間における位置が既知である、すなわち、俯瞰マップ座標が既知である物体（以下、基準物体と呼ぶ）を用いて補正を行う例を第２の実施形態として説明する。
【００９４】
（構成例）
図１１は、本発明の第２の実施形態に係る情報処理装置２の構成例を示すブロック図である。本実施形態に係る情報処理装置２は、図１１に示すように、制御部２０、画像取得部６０、操作部７０、出力部８０、及び記憶部９０を備える。なお、図１１に示す構成要素のうち、図３に示した構成要素と実質的に同一の機能構成を有する構成要素については、同一の符号を付してあるため、説明を省略する。
【００９５】
制御部２０は、情報処理装置２の各構成を制御する。また、本実施形態に係る制御部２０は、図１１に示すように、物体位置特定部２１、キャリブレーション部２３、座標変換部２５、及び補正部２７としても機能する。
【００９６】
物体位置特定部２１は、図３を参照して説明した物体位置特定部１１と同様に、画像取得部６０から提供された撮像画像に映る物体の撮像画像座標を特定する。ただし、物体位置特定部２１が特定する撮像画像座標は、基準物体の撮像画像座標を含む点で物体位置特定部２１は物体位置特定部１１と異なる。なお、物体位置特定部２１は、目標物体の撮像画像座標の特定方法と同様の方法で基準物体の撮像画像座標を特定してもよい。
【００９７】
キャリブレーション部２３は、図３を参照して説明したキャリブレーション部１３と同様に、撮像画像座標と、俯瞰マップ座標との対応に基づいて、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータを特定する。ただし、キャリブレーション部２３は、キャリブレーション部１３の機能に加え、後述する補正部２７により提供される、目標物体の補正された俯瞰マップ座標を用いて、補正候補となる変換パラメータを特定する機能を有する。
【００９８】
座標変換部２５は、図３を参照して説明した座標変換部１５と同様に、変換パラメータを用いて、物体位置特定部２１から提供される撮像画像座標を俯瞰マップ座標に変換する座標変換を行う機能を有する。ただし、座標変換部２５は、座標変換部１５の機能に加え、後述する補正部２７の制御に従い、物体の撮像画像座標を、俯瞰マップ座標に変換する機能を有する。本実施形態に係る座標変換部２５は後述する補正部２７の制御に従い、変換パラメータＤＢ９１に格納された変換パラメータを用いて、基準物体の撮像画像座標を、俯瞰マップ座標に変換する。また、本実施形態に係る座標変換部２５は後述する補正部２７の制御に従い、補正候補となる変換パラメータを用いて、基準物体の撮像画像座標を、俯瞰マップ座標に変換する。
【００９９】
補正部２７は、俯瞰マップ座標が既知である基準物体を用いて、キャリブレーション部２３により特定された変換パラメータの補正を行う。補正部２７は、図１１に示すように、距離特定部２７１、判定部２７３、座標補正部２７５、及び補正制御部２７７を有する。
【０１００】
距離特定部２７１は、基準物体の既知の俯瞰マップ座標（以下、既知基準座標と呼ぶ）と、座標変換部２５が基準物体の撮像画像座標を変換することにより得られる当該基準物体の俯瞰マップ座標（以下、変換基準座標と呼ぶ）との距離を特定する。距離特定部２７１が特定する距離は、例えば既知基準座標と変換基準座標との間のユークリッド距離であってもよい。ただし、距離特定部２７１が特定する距離はユークリッド距離に限定されるものではない。
【０１０１】
判定部２７３は、距離特定部２７１により特定された距離が所定の範囲内であるか否かの判定を行う。
【０１０２】
座標補正部２７５は、判定部２７３により、距離が所定の範囲内ではないと判定された場合に、既知基準座標と変換基準座標との差、つまり変換基準座標から既知基準座標へのベクトルに基づいて、目標物体の俯瞰マップ座標を補正する。例えば、座標補正部２７５は、目標物体の補正前の俯瞰マップ座標から補正後の俯瞰マップ座標へのベクトルが、変換基準座標から既知基準座標へのベクトルと同一あるいは略同一になるように、目標物体の俯瞰マップ座標の補正を行ってもよい。つまり、座標補正部２７５は既知基準座標と変換基準座標との差を、目標物体の補正前の俯瞰マップ座標に加えることで、目標物体の補正後の俯瞰マップ座標を得てもよい。
【０１０３】
補正制御部２７７は、上述した距離特定部２７１、判定部２７３、及び座標補正部２７５の動作を制御する。また、補正制御部２７７は、変換パラメータの補正を行うため、キャリブレーション部２３、及び座標変換部２５の動作の一部を制御する。
【０１０４】
例えば、補正制御部２７７は、座標変換部２５を制御して、変換パラメータＤＢ９１に格納された変換パラメータを用いて基準物体の撮像画像座標を変換基準座標に変換させる。また、補正制御部２７７は、距離特定部２７１を制御し、座標変換部２５により得られた変換基準座標を用いて、距離を特定させる。
【０１０５】
さらに、補正制御部２７７は、判定部２７３を制御し、距離特定部２７１により特定された距離が所定の範囲内であるか否かの判定を行わせる。そして、補正制御部２７７は、判定部２７３の判定結果に応じて、変換パラメータの補正を行う。
【０１０６】
例えば、補正制御部２７７は、判定部２７３により、距離が所定の範囲内ではないと判定された場合に、座標補正部２７５を制御して、目標物体の俯瞰マップ座標を補正させる。さらに、座標補正部２７５により補正された目標物体の俯瞰マップ座標をキャリブレーション部２３に提供し、補正候補となる変換パラメータの特定を行わせる。
【０１０７】
なお、補正制御部２７７は、判定部２７３により、距離が所定の範囲内であると判定されるまで、上述した一連の処理を繰り返し、最終的に距離が所定の範囲内となるような補正候補となる変換パラメータを、補正された変換パラメータとして記憶部９０の位置座標ＤＢ９３へ格納させてもよい。
【０１０８】
なお、係る繰り返しにおいて、２回目以降の処理で座標変換部２５が基準物体の撮像画像座標を変換基準座標に変換する場合には、変換パラメータとして、前回の処理でキャリブレーション部２３によって特定された補正候補となる変換パラメータが用いられる。
【０１０９】
また、基準物体の数は複数存在してもよい。基準物体の数が多い程、より高精度な補正を行うことが可能となり得る。ただし、少なくとも１以上の基準物体が存在すれば補正部２７は上述した変換パラメータの補正を行うことが可能である。すなわち、補正部２７が変換パラメータの補正を行うために要する基準物体の数は、キャリブレーション部２３が第２の変換パラメータを特定するために要する目標物体の数（少なくとも４以上）よりも少なくてよい。したがって、全ての目標物体の俯瞰マップ座標を測位するよりも、少ない作業コストで、上述した補正を行うことが可能である。
【０１１０】
（動作例）
以上、本実施形態に係る情報処理装置２の構成例について説明した。続いて、本実施形態の動作例について図１２〜図１５を参照して説明する。
【０１１１】
図１２は、本実施形態に係る動作概要を示すフローチャート図である。図１２に示すように、まず、最初にカメラが設置された際のカメラ配置における変換パラメータを求めるため初期キャリブレーションが行われる（Ｓ２０）。ステップＳ２０の初期キャリブレーションは、図５〜図７を参照して説明した第１の実施形態における初期キャリブレーションと同様であるため、詳細な説明は省略する。
【０１１２】
続いて、カメラの配置変更、または追加を行う場合（Ｓ２２においてＹＥＳ）、カメラ配置変更後、あるいはカメラ追加後のカメラ配置における変換パラメータを求めるための
再キャリブレーションが行われる（Ｓ２４）。ステップＳ２４の再キャリブレーションは、図８〜図１０を参照して説明した第１の実施形態における再キャリブレーションと同様であるため、詳細な説明は省略する。
【０１１３】
続いて、ステップＳ２６において、補正を行うか否かが判定される。補正を行うか否かの判定は、例えば操作部７０を介したユーザ操作に基づいて行われてもよいし、所定の条件に基づいて自動的に行われてもよい。例えば、ステップＳ２４の再キャリブレーションを行った際に基準物体が撮像画像に映っていた場合に補正を行ってもよいし、ステップＳ２４の再キャリブレーションの繰り返し回数が所定の回数に達した場合に補正を行ってもよい。
【０１１４】
補正を行わないと判定された場合（ステップＳ２６においてＮＯ）、処理はステップＳ２２へ戻る。一方、補正を行うと判定された場合（ステップＳ２６においてＹＥＳ）、ステップＳ２４の再キャリブレーションで得られた第２の変換パラメータを補正部２７が補正する（Ｓ２８）。ステップＳ２８の詳細な動作については、図１３〜図１５を参照して後述する。
【０１１５】
一方、カメラの配置変更、追加のいずれも行われない場合（Ｓ２２においてＮＯ）、動作は終了する。なお、図示されていないが、ステップＳ２０とステップＳ２２の間には、撮像画像に映る人物等の物体の位置を俯瞰マップ上に表示出力する処理等が含まれていてもよい。
【０１１６】
以上、本実施形態に係る動作概要について説明した。続いて、図１３〜図１５を参照して、図１２に示したステップＳ２８の補正についてより詳細に説明する。図１３は、変換パラメータの補正の詳細な動作を示すフローチャート図である。また、図１４、図１５は、変換パラメータの補正について説明するための説明図である。
【０１１７】
なお、図１４、及び図１５において、カメラ５Ａのカメラ配置を上述した第１のカメラ配置とし、カメラ５Ｂのカメラ配置を上述した第２のカメラ配置とする。また、ステップＳ２０の再キャリブレーションにおいて、カメラの配置変更が行われた場合、図１４、及び図１５に示されるカメラ５Ａとカメラ５Ｂは同一のカメラ５であってもよく、カメラ５Ａが、配置変更前のカメラ５を示し、カメラ５Ｂが、配置変更後のカメラ５を示していると解されてもよい。また、ステップＳ２０の再キャリブレーションにおいて、カメラの追加が行われた場合には、カメラ５Ａとカメラ５Ｂは異なるカメラであり、カメラ５Ｂが追加されたカメラである。
【０１１８】
図１４には、実空間Ｒ２０と、実空間Ｒ２０に設置されたカメラ５Ａにより第１のカメラ配置で撮像された撮像画像Ｇ２１、及び実空間Ｒ２０に設置されたカメラ５Ｂにより第２のカメラ配置で撮像された撮像画像Ｇ２２が示されている。また、図１５には、実空間Ｒ２０と、実空間Ｒ２０に対応する俯瞰マップＭ２１及び俯瞰マップＭ２２が示されている。なお、俯瞰マップＭ２１のうち、領域ＭＡは、カメラ５Ａの撮像範囲に対応する領域を示し、俯瞰マップＭ２２のうち、領域ＭＢは、カメラ５Ｂの撮像範囲に対応する領域を示している。また、図１４に示される実空間Ｒ２０は真上から見た平面図であり、図１５に示される実空間Ｒ２０は横から見た側面図である。
【０１１９】
また、以下に説明するステップＳ２８の動作が行われるより前の時点で、ステップＳ２４の再キャリブレーションにおいて、目標物体Ｔ２１〜Ｔ２４が既に配置されている。また、ステップＳ２４の再キャリブレーションにおいて、撮像画像Ｇ２１における目標物体Ｔ２１〜Ｔ２４の撮像画像座標Ｐ２１１〜Ｐ２１４、及び撮像画像Ｇ２２における目標物体Ｔ２１〜Ｔ２４の撮像画像座標Ｐ２２１〜Ｐ２２４が既に特定されている。また、ステップＳ２４の再キャリブレーションにおいて、第１の変換パラメータを用いた変換により、目標物体Ｔ２１〜Ｔ２４の俯瞰マップ座標Ｆ２１〜Ｆ２４も既に得られている。
【０１２０】
図１３に示すように、まず、基準物体Ｂ２０の実空間位置に対応する既知の俯瞰マップ座標Ｃ２５（既知基準座標）が、例えば操作部７０を介したユーザ操作により入力される（Ｓ２８２）。なお、既知基準座標は、予め記憶部９０に記憶されていてもよい。
【０１２１】
続いて、物体位置特定部２１が、撮像画像Ｇ２２における基準物体Ｂ２０の撮像画像座標Ｐ２２０を特定する（Ｓ２８３）。
【０１２２】
続いて、座標変換部２５が、変換パラメータを用いて基準物体Ｂ２０の撮像画像座標Ｐ２２０を俯瞰マップ座標Ｆ２５（変換基準座標）に変換する（Ｓ２８４）。なお、ステップＳ２８４が最初に行われる場合には、座標変換部２５は変換パラメータとして、記憶部９０の変換パラメータＤＢ９１に格納された第２の変換パラメータを用いてもよい。また、ステップＳ２８４が２回目以降に行われる場合には、座標変換部２５は変換パラメータとして、後述するステップＳ２９２で特定された補正候補となる変換パラメータを用いてもよい。
【０１２３】
続いて、補正部２７の距離特定部２７１が、入力された俯瞰マップ座標Ｃ２５（既知基準座標）と、変換で得られた俯瞰マップ座標Ｆ２５（変換基準座標）との距離を特定する（Ｓ２８６）。
【０１２４】
続いて、補正部２７の判定部２７３は、ステップＳ２８６で特定された距離が所定の範囲内であるか否かを判定する（Ｓ２８８）。
【０１２５】
距離が所定の範囲内ではないと判定された場合（Ｓ２８８においてＮＯ）、補正部２７の座標補正部２７５が、目標物体Ｔ２１〜Ｔ２４の俯瞰マップ座標Ｆ２１〜Ｆ２４を補正する（Ｓ２９０）。例えば、ステップＳ２９０において座標補正部２７５は、補正前の俯瞰マップ座標Ｆ２１〜Ｆ２４から補正後の俯瞰マップ座標Ｃ２１〜Ｃ２５へのベクトルが、俯瞰マップ座標Ｆ２５（変換基準座標）から俯瞰マップ座標Ｃ２５（既知基準座標）へのベクトルと同一あるいは略同一になるように、目標物体の俯瞰マップ座標の補正を行ってもよい。
【０１２６】
続いて、キャリブレーション部２３が、ステップＳ２４で既に得られていた撮像画像座標Ｐ２２１〜Ｐ２２４と、ステップＳ２９０で得られた補正後の俯瞰マップ座標Ｃ２１〜Ｃ２５との対応に基づいて、補正候補となる変換パラメータを特定する（Ｓ２９２）。
【０１２７】
補正部２７の補正制御部２７７による制御に従い、ステップＳ２８８で距離が所定の範囲内であると判定されるまで、上述したステップＳ２８４〜Ｓ２９２の処理は繰り返される。そして、距離が所定の範囲内であると判定された場合（Ｓ２８８においてＹＥＳ）、補正制御部２７７は、その時点で最後に行われたステップＳ２９２で特定された補正候補となる変換パラメータを、補正された第２の変換パラメータとして、記憶部９０の変換パラメータＤＢ９１に格納（記憶）させる（Ｓ２９４）。
【０１２８】
以上、ステップＳ２８の変換パラメータの補正について説明した。なお、図１４、図１５に示した例では、カメラ５Ａの撮像範囲に基準物体Ｂ２０が含まれているが、基準物体Ｂ２０は、カメラ５Ｂの撮像範囲に含まれていればよく、必ずしもカメラ５Ａの撮像範囲に含まれていなくてもよい。
【０１２９】
（補足）
以上、本発明の第２の実施形態について説明した。本実施形態によれば、再キャリブレーションの繰り返しにより誤差が発生した場合であっても、目標物体の数より少ない数の基準物体を用いて変換パラメータの補正を行うことで、作業コストを抑制しつつ、高精度に変換パラメータを特定することが可能となる。
【０１３０】
なお、上述した第２の実施形態において、補正制御部２７７は、補正を行うことが不可能であると判定した場合に、出力部８０を制御して、ユーザに補正不可能であることを通知させてもよい。そして、補正不可能であることが通知された場合、図５〜図７を参照して説明した初期キャリブレーションと同様の方法で、キャリブレーションが行われてもよい。
【０１３１】
補正制御部２７７は、例えば、図１３に示したステップＳ２８４〜Ｓ２９２の処理を所定回数以上繰り返しても、ステップＳ２８８において距離が所定の範囲内であると判定されない場合に、補正を行うことが不可能であると判定してもよい。あるいは、補正制御部２７７は、距離特定部２７１により特定された距離が所定の範囲（図１３に示したステップＳ２８８の判定において用いられる所定の範囲より大きい範囲）よりも大きい場合に補正を行うことが不可能であると判定してもよい。
【０１３２】
係る構成により、再キャリブレーションの繰り返しにより補正不可能な誤差が発生した場合であっても、ユーザにその旨通知することで、初期キャリブレーションと同様の方法で、キャリブレーションを行って、高精度な変換パラメータを特定することが可能となる。
【０１３３】
＜２−３．第３の実施形態＞
（概要）
上述した第１の実施形態、及び第２の実施形態では、第１のカメラ配置と第２のカメラ配置とで、共通の目標物体を用いていた。つまり、第１のカメラ配置で撮像された第１の撮像画像と、第２のカメラ配置で撮像された第２の撮像画像との両方に含まれる目標物体の数が、変換パラメータの特定に必要な数より少ない場合には、再キャリブレーションを行うことができなかった。したがって、例えば第１のカメラ配置における撮像範囲と第２のカメラ配置における撮像範囲に重なりが存在しなかったり、重なりが非常に小さい場合には、第１の実施形態、及び第２の実施形態のような再キャリブレーションを行うことはできなかった。
【０１３４】
そこで、以下では、第３の実施形態として、ＬｉＤＡＲ（Light  Detection  and  Ranging）等の位置センサを用いることで、第１のカメラ配置と第２のカメラ配置とで、共通の目標物体を用いることなく再キャリブレーションを行う例を説明する。
【０１３５】
（構成例）
図１６は、本発明の第３の実施形態に係る情報処理装置３の構成例を示すブロック図である。本実施形態に係る情報処理装置３は、図１６に示すように、制御部３０、センサ情報取得部５０、画像取得部６０、操作部７０、出力部８０、及び記憶部９０を備える。なお、図１６に示す構成要素のうち、図３に示した構成要素と実質的に同一の機能構成を有する構成要素については、同一の符号を付してあるため、説明を省略する。
【０１３６】
制御部２０は、情報処理装置３の各構成を制御する。また、本実施形態に係る制御部３０は、図１６に示すように、物体位置特定部３１、キャリブレーション部３３、座標変換部３５、及びセンサ情報管理部３９としても機能する。
【０１３７】
物体位置特定部３１は、図３を参照して説明した物体位置特定部１１と同様に、画像取得部６０から提供された撮像画像に映る物体の撮像画像座標を特定する。ただし、物体位置特定部３１は、物体位置特定部１１の機能に加え、第１のカメラ配置で撮像された第１の撮像画像と、第２のカメラ配置で撮像された第２の撮像画像との両方に含まれる目標物体（以下、共通の目標物体と呼ぶ）の数を特定する機能を有する。例えば、共通の目標物体の数は、画像認識手法により特定されてもよいし、操作部７０を介したユーザ操作により特定されてもよい。物体位置特定部３１は、特定された共通の目標物体の数をセンサ情報管理部３９へ通知する。
【０１３８】
キャリブレーション部３３は、図３を参照して説明したキャリブレーション部１３と同様に、撮像画像座標と、俯瞰マップ座標との対応に基づいて、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータを特定する。
【０１３９】
ただし、キャリブレーション部３３は、キャリブレーション部１３の機能に加え、後述するセンサ情報管理部３９の制御に従って変換パラメータを特定する機能を有する。
【０１４０】
例えば、キャリブレーション部３３は、センサ情報管理部３９の制御に従って位置センサに対応したセンサ座標系における位置座標（以下、センサ座標と呼ぶ）を俯瞰マップ座標に変換するための変換パラメータを特定する機能を有する。位置センサに対応したセンサ座標系は、例えば俯瞰マップの座標系と縮尺、及び水平方向（Ｚ軸方向）の角度のみが異なる座標系である。そのため、２組以上のセンサ座標と俯瞰マップ座標との対応を用いて、センサ座標を俯瞰マップ座標に変換するための変換パラメータを特定することが可能である。キャリブレーション部３３は、例えば第１の撮像画像に含まれる目標物体（以下、第１の目標物体と呼ぶ）の撮像画像座標を変換することで得られた俯瞰マップにおける俯瞰マップ座標と、第１の目標物体のセンサ座標との対応に基づいて係る変換パラメータを特定してもよい。なお、第１の目標物体の数は上述した条件から例えば２以上である。また、キャリブレーション部３３は、センサ座標を俯瞰マップ座標に変換するための変換パラメータを記憶部９０の変換パラメータＤＢ９１に格納（記憶）させてもよい。
【０１４１】
また、キャリブレーション部３３は、センサ情報管理部３９の制御に従って、第２の撮像画像に含まれる目標物体（以下、第２の目標物体と呼ぶ）の撮像画像座標と、俯瞰マップにおける第２の目標物体の俯瞰マップ座標との対応に基づいて、第２の変換パラメータを特定する。なお、変換パラメータが射影変換行列である場合、第２の目標物体の数は４以上である。
【０１４２】
座標変換部３５は、図３を参照して説明した座標変換部１５と同様に、変換パラメータを用いて、物体位置特定部２１から提供される撮像画像座標を俯瞰マップ座標に変換する座標変換を行う機能を有する。ただし、座標変換部３５は、座標変換部１５の機能に加え、後述するセンサ情報管理部３９の制御に従い、第２の撮像画像に含まれる第２の目標物体のセンサ座標を俯瞰マップ座標に変換し、センサ情報管理部３９に提供する機能を有する。座標変換部３５は、第２の目標物体のセンサ座標を俯瞰マップ座標に変換する際、キャリブレーション部３３が特定し、変換パラメータＤＢ９１に格納された、センサ座標を俯瞰マップ座標に変換するための変換パラメータを用いてもよい。
【０１４３】
センサ情報管理部３９は、後述するセンサ情報取得部５０が位置センサから取得したセンサ情報を管理し、センサ情報に基づいた再キャリブレーションの実行を制御する。センサ情報には、例えば目標物体のセンサ座標が含まれる。目標物体のセンサ座標は、センサ情報取得部５０により、位置センサから直接的に取得されてもよいし、位置センサから取得された情報に基づいて特定されてもよい。例えば、センサ情報取得部５０が位置センサから取得したセンサ情報によりセンシングされた位置や形状の情報のみが含まれる場合、センサ情報管理部３９は、センシング位置や形状の情報から、目標物体のセンサ座標を特定してもよい。なお、センサ情報管理部３９は、出力部８０にセンサ情報を出力させ、センサ情報を確認したユーザによる操作部７０を介したユーザ操作に基づいて目標物体のセンサ座標を特定してもよい。
【０１４４】
センサ情報管理部３９は、物体位置特定部３１から提供される共通の目標物体の数が閾値より少ない場合に、センサ情報に基づいた再キャリブレーションを実行させてもよい。所定の閾値は、例えばキャリブレーション部３３が変換パラメータを特定するために必要な撮像画像座標と、俯瞰マップ座標との対応の組数であってもよい。例えば、キャリブレーション部３３が特定する変換パラメータが射影変換行列であれば、所定の閾値は４であってもよい。
【０１４５】
センサ情報管理部３９は、共通の目標物体の数が閾値より少ない場合に、キャリブレーション部３３を制御し、センサ座標を俯瞰マップ座標に変換するための変換パラメータを特定させてもよい。さらに、センサ情報管理部３９は、座標変換部３５を制御し、当該変換パラメータを用いて第２の撮像画像に含まれる第２の目標物体のセンサ座標を俯瞰マップ座標に変換させ、当該俯瞰マップ座標を座標変換部３５から取得してもよい。そして、センサ情報管理部３９は、キャリブレーション部３３を制御し、第２の目標物体の撮像画像座標と、第２の目標物体の俯瞰マップ座標との対応に基づいて、第２の変換パラメータを特定させてもよい。
【０１４６】
係る構成により、共通の目標物体が十分な数存在しない場合であっても、再キャリブレーションに係る作業コストを抑制することが可能となる。
【０１４７】
センサ情報取得部５０は、不図示の位置センサと接続され、当該位置センサのセンシングにより得られたセンサ情報を取得するインタフェースである。なお、センサ情報取得部５０は、複数の位置センサと接続されて、複数の位置センサからセンサ情報を取得してもよい。センサ情報取得部５０は、取得したセンサ情報を制御部３０へ提供する。
【０１４８】
なお、情報処理装置３自体が位置センサを含んでもよい。係る場合にはセンサ情報取得部５０に代えて、または加えてＬｉＤＡＲ等の位置センサを情報処理装置３が備えてもよい。
【０１４９】
（動作例）
以上、本実施形態に係る情報処理装置３の構成例について説明した。続いて、本実施形態の動作例に説明する。なお、本実施形態の動作概要は、図４を参照して説明した第１の実施形態の動作概要と実質的に同様であるため、本実施形態の動作概要についての説明は省略する。本実施形態の動作と第１の実施形態の動作との違いは、図４に示すステップＳ１４に相当する再キャリブレーションに係る動作の違いである。そこで、以下では、本実施形態に係る再キャリブレーションに係る動作について、図１７〜図１９を参照して説明する。
【０１５０】
図１７は、本実施形態に係る再キャリブレーションに係る動作の一例を示すフローチャートである。また、図１８、図１９は、本実施形態に係る再キャリブレーションについて説明するための説明図である。
【０１５１】
なお、カメラの配置変更が行われる場合、図１８、図１９に示されるカメラ５Ａとカメラ５Ｂは同一のカメラ５であってもよく、カメラ５Ａが、配置変更前のカメラ５を示し、カメラ５Ｂが、配置変更後のカメラ５を示していると解されてもよい。また、カメラの追加が行われる場合には、カメラ５Ａとカメラ５Ｂは異なるカメラであり、カメラ５Ｂが追加されたカメラである。すなわち、カメラ５Ａのカメラ配置が第１のカメラ配置であり、カメラ５Ｂのカメラ配置が第２のカメラ配置である。
【０１５２】
図１８には、実空間Ｒ３０と、実空間Ｒ３０に設置されたカメラ５Ａにより第１のカメラ配置で撮像された第１の撮像画像Ｇ３１、及び実空間Ｒ３０に設置されたカメラ５Ｂにより第２のカメラ配置で撮像された第２の撮像画像Ｇ３２が示されている。また、図１９には、実空間Ｒ３０と、実空間Ｒ３０に対応する俯瞰マップＭ３１及び俯瞰マップＭ３２が示されている。なお、俯瞰マップＭ３１のうち、領域ＭＡは、カメラ５Ａの撮像範囲に対応する領域を示し、俯瞰マップＭ３２のうち、領域ＭＢは、カメラ５Ｂの撮像範囲に対応する領域を示している。また、図１８に示される実空間Ｒ３０は真上から見た平面図であり、図１９に示される実空間Ｒ３０は横から見た側面図である。
【０１５３】
また、図１８に示すように、実空間Ｒ３０には、位置センサ６が設置されている。位置センサ６は、ＬｉＤＡＲ等により、実空間Ｒ３０のうち、範囲Ｄ３０に存在する物体の情報をセンシングし、情報処理装置３へ提供する。
【０１５４】
図１７に示すように、まず、目標物体Ｔ３１〜Ｔ３６が実空間Ｒ３０に設置される（Ｓ３０２）。続いて、画像取得部６０により、カメラ５Ａにより第１のカメラ配置で撮像された第１の撮像画像Ｇ３１が取得される（Ｓ３０４）。続いて、物体位置特定部３１が、第１の撮像画像Ｇ３１における第１の目標物体Ｔ３１、Ｔ３２の撮像画像座標Ｐ３１１、Ｐ３１２をそれぞれ特定する（Ｓ３０８）。
【０１５５】
続いて、座標変換部３５が、記憶部９０の変換パラメータＤＢ９１に格納された（記憶された）第１の変換パラメータを用いて、撮像画像座標Ｐ３１１、Ｐ３１２を俯瞰マップ座標Ｆ３１、Ｆ３２にそれぞれ変換する（Ｓ３１２）。ステップＳ３１２で得られた俯瞰マップ座標Ｆ３１、Ｆ３２は、記憶部９０の位置座標ＤＢ９３に格納（記憶）される（Ｓ３１３）。
【０１５６】
続いて、カメラの配置変更、またはカメラの追加が行われる（Ｓ３１４）。続いて、画像取得部６０により、カメラ５Ｂにより第２のカメラ配置で撮像された第２の撮像画像Ｇ３２が取得される（Ｓ３１６）。続いて、物体位置特定部３１が、第２の撮像画像Ｇ３２における第２の目標物体Ｔ３３〜Ｔ３６の撮像画像座標Ｐ３２３〜Ｐ３２６をそれぞれ特定する（Ｓ３１８）。
【０１５７】
続いて、第１の撮像画像Ｇ３１と第２の撮像画像Ｇ３２の両方に含まれている共通の目標物体の数が所定の閾値以上であるか否かが判定される（Ｓ３２０）。図１８、図１９に示す例では、共通の目標物体の数０であり、所定の閾値（上述した例では４）より少ない（Ｓ３２０においてＮＯ）ため、処理はステップＳ３２２へ進む。
【０１５８】
ステップＳ３２２において、センサ情報取得部５０が位置センサ６からセンサ情報を取得する（Ｓ３２２）。続いて、キャリブレーション部３３が、センサ情報管理部３９の制御に従い、第１の撮像画像に含まれる第１の目標物体Ｔ３１、Ｔ３２のセンサ座標と俯瞰マップ座標Ｆ３１、Ｆ３２との対応に基づき、センサ座標を俯瞰マップ座標に変換する変換パラメータを特定する（Ｓ３２４）。さらに、座標変換部３５が、センサ情報管理部３９の制御に従い、第２の撮像画像Ｇ３２に含まれる第２の目標物体Ｔ３３〜Ｔ３６のセンサ座標を俯瞰マップ座標Ｆ３３〜Ｆ３６にそれぞれ変換する。
【０１５９】
続いて、キャリブレーション部３３が、ステップＳ３１８で特定された撮像画像座標Ｐ３２３〜Ｐ３２６と、ステップＳ３２６の座標変換により得られた俯瞰マップ座標Ｆ３３〜Ｆ３６との対応に基づいて、第２の変換パラメータを特定する（Ｓ３３２）。ステップＳ３３２で特定された第２の変換パラメータは、記憶部９０の変換パラメータＤＢ９１に格納（記憶）される（Ｓ３３４）。
【０１６０】
なお、上記では、図１８、図１９に示した例に沿って説明を行ったが、ステップＳ３２０において、共通の目標物体の数が閾値より大きいと判定された場合、処理はステップＳ３３２へ進む。ステップＳ３２０において、共通の目標物体の数が閾値より大きいと判定された場合、図１７に示す一連の処理は、ステップＳ３２０の判定処理を除いて、図８を参照して説明した第１の実施形態に係る再キャリブレーションの処理と同様である。
【０１６１】
（補足）
以上、本発明の第３の実施形態について説明した。本実施形態によれば、位置センサを用いることで、カメラの配置変更前後や既存のカメラと追加されたカメラとの間で、撮像画像に含まれる共通の目標物体が十分な数存在しない場合であっても、再キャリブレーションに係る作業コストを抑制することが可能となる。
【０１６２】
なお、上記では、共通の目標物体の数が閾値より少ない場合に、センサ情報に基づいた再キャリブレーションを行う例を説明したが、本実施形態は係る例に限定されない。例えば、常に上述したセンサ情報に基づいた再キャリブレーションを行ってもよいし、操作部７０を介したユーザ操作により、センサ情報に基づいた再キャリブレーションを行うか否かを切替えてもよい。
【０１６３】
また、上述した第２の実施形態と、第３の実施形態を組み合わせることも可能である。
【０１６４】
＜＜３．ハードウェア構成＞＞
以上、本発明の各実施形態を説明した。上述した物体位置特定処理、キャリブレーション処理、座標変換処理等の情報処理は、ソフトウェアと、情報処理装置１、情報処理装置２、情報処理装置３のハードウェアとの協働により実現される。以下では、本発明の実施形態に係る情報処理装置である情報処理装置１、情報処理装置２、情報処理装置３のハードウェア構成例として、情報処理装置１０００のハードウェア構成について説明する。
【０１６５】
図２０は、本発明の実施形態に係る情報処理装置１０００のハードウェア構成を示す説明図である。図２０に示したように、情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３と、入力装置１００４と、出力装置１００５と、ストレージ装置１００６と、通信装置１００７とを備える。
【０１６６】
ＣＰＵ１００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３とソフトウェアとの協働により、例えば、制御部１０、制御部２０、制御部３０等の機能が実現される。
【０１６７】
入力装置１００４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などから構成されている。情報処理装置１０００のユーザは、該入力装置１００４を操作することにより、情報処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、入力装置１００４は、操作部７０に対応する。
【０１６８】
出力装置１００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置１００５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。なお、出力装置１００５は、出力部８０に対応する。
【０１６９】
ストレージ装置１００６は、データ格納用の装置である。ストレージ装置１００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１００６は、ＣＰＵ１００１が実行するプログラムや各種データを格納する。なお、ストレージ装置１００６は、記憶部９０に対応する。
【０１７０】
通信装置１００７は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置１００７は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。
【０１７１】
＜＜４．むすび＞＞
以上説明したように、本発明の実施形態によれば、カメラの配置変更あるいはカメラの追加に伴うキャリブレーションに係るコストを抑制することが可能である。
【０１７２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１７３】
例えば、上記実施形態では、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータが射影変換行列である例を主に説明したが、本発明はかかる例に限定されない。例えば、撮像画像座標を俯瞰マップ座標に変換するための変換パラメータは透視投影変換行列を含んでもよい。
【０１７４】
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１７５】
また、上記実施形態によれば、ＣＰＵ１００１、ＲＯＭ１００２、及びＲＡＭ１００３などのハードウェアを、上述した情報処理装置１、情報処理装置２、情報処理装置３の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【符号の説明】
【０１７６】
１、２、３  情報処理装置
５  カメラ
６  位置センサ
１０、２０、３０  制御部
１１、２１、３１  物体位置特定部
１３、２３、３３  キャリブレーション部
１５、２５、３５  座標変換部
２７  補正部
３９  センサ情報管理部
５０  センサ情報取得部
６０  画像取得部
７０  操作部
８０  出力部
９０  記憶部
２７１  距離特定部
２７３  判定部
２７５  座標補正部
２７７  補正制御部
【図１】
2019061502.tif 000004
【図２】
2019061502.tif 000005
【図３】
2019061502.tif 000006
【図４】
2019061502.tif 000007
【図５】
2019061502.tif 000008
【図６】
2019061502.tif 000009
【図７】
2019061502.tif 000010
【図８】
2019061502.tif 000011
【図９】
2019061502.tif 000012
【図１０】
2019061502.tif 000013
【図１１】
2019061502.tif 000014
【図１２】
2019061502.tif 000015
【図１３】
2019061502.tif 000016
【図１４】
2019061502.tif 000017
【図１５】
2019061502.tif 000018
【図１６】
2019061502.tif 000019
【図１７】
2019061502.tif 000020
【図１８】
2019061502.tif 000021
【図１９】
2019061502.tif 000022
【図２０】
2019061502.tif 000023