(57)【要約】【課題】  通信帯域が不足している場合でも、高精度に指標及び撮影部の校正を行うことを目的とする。【解決手段】  撮像装置による撮像に基づき取得される第１の画像と、前記第１の画像よりもデータ量が大きい第２の画像とを取得する画像取得手段と、第１のモードが設定されている場合に、前記第１の画像から指標を検出し、前記第１のモードと異なる第２のモードが設定されている場合に、前記第２の画像から指標を検出する検出手段と、前記指標検出手段による検出結果を用いて、前記指標の三次元位置情報と前記撮像装置に関するパラメータうち少なくともいずれかを導出する導出手段とを備える。【選択図】  図５
2017040542.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置による撮像に基づき取得される第１の画像と、前記第１の画像よりもデータ量が大きい第２の画像とを取得する画像取得手段と、
第１のモードが設定されている場合に、前記第１の画像から指標を検出し、前記第１のモードと異なる第２のモードが設定されている場合に、前記第２の画像から指標を検出する検出手段と、
前記指標検出手段による検出結果に基づいて、前記指標の三次元位置情報と前記撮像装置に関するパラメータうち少なくともいずれかを導出する導出手段とを備えることを特徴とする情報処理装置。
【請求項２】
更に、前記第１の画像から検出された指標と、前記第２の画像から検出された指標とに基づいて、前記第２の画像が前記導出手段による処理に適しているかを判定する判定手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判定手段は、前記第１の画像、第２の画像それぞれから検出された指標の数、位置情報、大きさのいずれかを比較することにより、前記第２の画像が前記導出手段による処理に適しているかを判定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
更に、前記判定手段が前記第２の画像が前記導出手段による処理に適していると判定しなかった場合に、ユーザに通知するための警告情報を出力する警告情報出力手段を備えることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
更に、前記判定手段が前記第２の画像が前記導出手段による処理に適していると判定しなかった場合に、ユーザに再度撮影を促す情報を出力する出力手段を備えることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
更に、前記第１のモードと前記第２のモードを設定する設定手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記設定手段は、ユーザからの入力により、前記第１のモードまたは前記第２のモードを設定することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記第１の画像は、圧縮された画像であり、前記第２の画像は、非圧縮の画像であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記第１の画像の解像度は、前記第２の画像の解像度よりも低いことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項１０】
前記第１の画像の圧縮率は、前記第２の画像の圧縮率よりも高いことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項１１】
撮像装置による撮像に基づき取得される第１の画像と、前記第１の画像よりもデータ量が大きい第２の画像とを取得する画像取得工程と、
第１のモードが設定されている場合に、前記第１の画像から指標を検出し、前記第１のモードと異なる第２のモードが設定されている場合に、前記第２の画像から指標を検出する検出工程と、
前記指標検出工程における検出結果を用いて、前記指標の三次元位置情報と前記撮像装置に関するパラメータうち少なくともいずれかを導出する導出工程とを備えることを特徴とする情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指標の校正を行う情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
現実空間と仮想空間の融合を目的とした複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ．  以下、「ＭＲ」と記述）の技術がある。ＭＲシステムでは、撮影部によって撮像された現実映像に、仮想物体を表すコンピュータグラフィックス（以下、「ＣＧ」と記述）を重畳して表示することで、あたかもその場に仮想物体が存在するかのように体感させることができる。
【０００３】
仮想物体を想定通りの位置姿勢と大きさで表示するためには、撮影部の外部パラメータ（位置姿勢）と内部パラメータ（焦点距離、画像中心、歪曲係数など）に基づいてＣＧの重畳を行う必要がある。ここで、世界座標系における撮影部の撮像視点位置の位置座標（ｘ、ｙ、ｚ）の３パラメータおよび、ロール（傾斜角）、ピッチ（仰角）、ヨー（方位角）を表す姿勢の３パラメータを合わせた６パラメータのことをいう。
【０００４】
特許文献１では、現実空間の指標の既知の三次元座標と、該指標を撮影した画像内の指標の二次元座標（以下、「画像座標」と記述）との対応を利用することで撮影部の外部パラメータを求めることを開示している。
【０００５】
また、特許文献２では、相対的な三次元座標が既知である複数の指標を撮影し、指標と撮影部間の射影的幾何の関係を利用して、撮影部の内部パラメータを算出している。
【０００６】
以下、指標の三次元座標を算出する処理を「指標の校正」と呼び、撮影部の内部パラメータを算出する処理を「撮影部の校正」と呼ぶ。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−４８０６８号公報
【特許文献２】特許第５１１１４４７号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、通信帯域の都合などによって撮影画像のデータ量を圧縮する場合、圧縮によって画質が低下するため、校正の精度が低下してしまう。一方、撮影画像のデータ量を圧縮しない場合、フレームレートが低下（コマ落ち）してしまう。高精度に校正を行うためには、画像中の指標の配置や撮影方法などを細かに調整する必要があるが、撮影画像がコマ落ちしていると、そのような細かな調整は難しい。よって、撮影画像のデータ量を圧縮しない場合でも、校正の精度は低下してしまう。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、通信帯域が不足している場合でも、高精度に指標及び撮影部の校正を行うことを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の情報処理装置は、例えば、撮像装置による撮像に基づき取得される第１の画像と、前記第１の画像よりもデータ量が大きい第２の画像とを取得する画像取得手段と、第１のモードが設定されている場合に、前記第１の画像から指標を検出し、前記第１のモードと異なる第２のモードが設定されている場合に、前記第２の画像から指標を検出する検出手段と、前記指標検出手段による検出結果に基づいて、前記指標の三次元位置情報と前記撮像装置に関するパラメータうち少なくともいずれかを導出する導出手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、通信帯域が不足している場合でも、高精度に指標及び撮影部の校正を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る情報処理装置の構成の一例を示す図である。
【図２】現実空間に配置される指標を模式的に示す図である。
【図３】四角形指標を模式的に示す図である。
【図４】指標校正画面を模式的に示す図である。
【図５】第１の実施形態の処理を行う際の概要機能構成を示す図である。
【図６】第１の実施形態の処理の流れを示すフローチャートである。
【図７】第２の実施形態における指標判定部１１０１の処理を説明するための図である。
【図８】撮影部の校正用パターンを模式的に示す図である。
【図９】第３の実施形態における指標判定部１１０１の処理を説明するための図である。
【図１０】第２の実施形態の処理を行う際の概要機能構成を示す図である。
【図１１】第２の実施形態の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、実施形態を説明する。
【００１４】
（第１の実施形態）
まず、第１の実施形態を説明する。
【００１５】
図１は、本発明に係る情報処理装置の構成の一例を示す図である。
【００１６】
情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、インターフェース１０５、システムバス１０６を有する。情報処理装置１００には、撮影部１０７、表示部１０８、操作部１０９が接続される。
【００１７】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０６を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。
【００１８】
ＨＤＤ１０４は、二次記憶装置としての役割を持つ。ＣＰＵ１０１は、ＨＤＤ１０４からのデータ読み出し、およびＨＤＤ１０４へのデータ書き込みが可能である。なお、二次記憶装置は、ＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。
【００１９】
インターフェース１０５は、後述する撮影部１０７、表示部１０８、操作部１０９などの外部機器とのデータのやり取りを行う。
【００２０】
撮影部１０７は、現実空間に配置される指標の撮影を行う。本実施形態では現実空間に指標の撮影を行うカメラである。例えば、デジタルカメラや頭部装着型表示装置ＨＭＤ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）に装着された、ステレオカメラを用いることができる。撮影部１０７は、撮影された画像を圧縮するエンコーダを有している。なお、圧縮の方法は、圧縮に用いられる符号化方式としては、例えば、ＪＰＥＧ、Ｈ．２６４／ＡＶＣ又はＨ．２６４／ＭＶＣ等が挙げられるが、これらには限定されない。撮影部１０７は、エンコーダを介して圧縮した画像を情報処理装置に送出するモードと、非圧縮のまま情報処理装置に送出するモードとを有している。
【００２１】
表示部１０８は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）や液晶ディスプレイなどにより構成されており、各種の情報を画像や文字などをもって表示することができる。
【００２２】
操作部１０９は、キーボードやマウスなどにより構成されており、各種の指示をＣＰＵ１０１に対して入力することができる。例えば、後述するＧＵＩ（グラフィカルユーザインターフェース）に対する操作指示は、ユーザーがキーボードやマウスを用いることによる行われる。
【００２３】
なお、情報処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００２４】
［指標の説明］
図２は、現実空間に配置される指標の例を模式的に示す図である。図２では、異なる色を持つ指標２０１〜２０９が現実空間に配置されている。現実空間に配置される指標は、撮影画像上における投影像の二次元座標（画像座標）が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。例えば、図３に示すような四角形指標３０１を用いてもよい。四角形指標３０１は、内部に識別子（識別情報）を表すパターンを持ち、一意に同定可能である。本発明における指標の校正とは、現実空間に配置された指標（図２の例では、指標２０１〜２０９）の三次元座標を算出する処理である。
【００２５】
指標２０１〜２０９の校正では、まず、撮影部１０７が撮影した複数の画像から指標２０１〜２０９を検出し、画像座標を算出する。指標の検出と画像座標の算出方法は任意であるが、例えば、撮影画像上から各々のマーカ色に対応する領域を検出し、検出した領域の重心位置をこの領域に対応する指標の画像座標とすればよい。そして、指標２０１〜２０９の画像座標と撮影部１０７の内部パラメータを用いて、バンドル調整と呼ばれる方法で、指標２０１〜２０９の現実空間における三次元座標を算出する。バンドル調整の方法は本発明の主眼ではないため説明を省略するが、例えば、特許文献１に記載された方法を用いることができる。
【００２６】
指標２０１〜２０９の校正は、撮影部１０７による撮影の仕方によって精度が異なる。例えば、一般的に、指標２０１〜２０９が多くの撮影画像に写っている方が校正精度が高くなる。また、指標２０１〜２０９が大きく写っているほど校正精度が高くなる。また、指標２０１〜２０９にブレやボケがなく、くっきりと写っている方が校正精度が高くなる。また、同じ指標を色々な角度から撮影するほど校正精度が高くなる。このように、指標２０１〜２０９を高精度に校正するためには、撮影の際に、指標２０１〜２０９の配置や撮影方法などを細かに調整する必要がある。
【００２７】
［指標構成画面の説明］
図４は、指標校正画面を模式的に示す図である。図４において、指標校正画面４０１は、指標校正の一連の処理を行うためのＧＵＩである。プレビューウィンドウ４０２は、プレビュー画像を表示するウィンドウである。ここで、プレビュー画像（第１の画像）とは、撮影部１０７が現在撮影している画像を示すものである。キャプチャボタン４０３は、ユーザーがキャプチャ指示を行うためのボタンである。ユーザーは、プレビューウィンドウ４０２を見ながら校正精度が高くなるように撮影部１０７の位置姿勢を調整し、キャプチャボタン４０３を押す。ユーザーによってキャプチャボタン４０３が押されると、情報処理装置１００は、撮影部１０７から撮影画像を取得する。ここで取得された撮影画像を用いて構成を行う（以下、この撮影画像を校正用画像と呼ぶ）。校正用画像表示ウィンドウ４０４〜４０６は、今までに取得した校正用画像（第２の画像）を表示するためのウィンドウである。校正ボタン４０７は、ユーザーが校正指示を行うためのボタンである。ユーザーは、校正のために必要な撮影画像を取得し終えたら、校正ボタン４０７を押す。ユーザーによって校正ボタン４０７が押されると、情報処理装置１００は、校正用画像を用いて、指標２０１〜２０９の校正を行う。上記のようなＧＵＩを用いることによって、ユーザーが撮影の際に指標２０１〜２０９の配置や撮影方法などを細かに調整することができ、指標２０１〜２０９の校正が高精度となる。
【００２８】
ここで、撮影画像のデータ量を圧縮する場合について考える。例えば、撮影部１０７から情報処理装置１００へ無線でリアルタイムに撮影画像を送る場合、通信帯域が限られるため、撮影画像のデータを圧縮する必要がある。撮影画像を圧縮すると、撮影画像の画質が低下するため、指標２０１〜２０９の画像座標の算出精度が低下し、その結果、指標２０１〜２０９の三次元座標（三次元位置情報）の精度も低下してしまう。ここで、指標２０１〜２０９の校正に用いる撮影画像（校正用画像）は、ユーザーがキャプチャボタン４０３を押したタイミングの画像のみであるため、リアルタイムに撮影画像を送り続ける必要は必ずしもない。しかし、プレビューウィンドウ４０２には、リアルタイムにプレビュー画像を表示し続けないと、ユーザーが指標２０１〜２０９の配置や撮影方法などを細かに調整することが難しくなる。つまり、ユーザーが指標２０１〜２０９の配置や撮影方法などを細かに調整するためには、撮影画像を圧縮して情報処理装置１００へ送り、プレビューウィンドウ４０２に表示し続ける必要があるが、その撮影画像を校正に用いると校正精度が低下してしまう。
【００２９】
そこで、本実施形態では、プレビュー画像として圧縮画像をリアルタイムに撮影部１０７から取得し、プレビューウィンドウ４０２に表示する。そして、ユーザーがキャプチャボタン４０３を押すと、撮影部１０７から改めて非圧縮画像を取得し、それを校正用画像として用いる。なお、以下では、プレビュー画像として圧縮画像を取得し、校正用画像として非圧縮画像を取得する例を説明するが、本発明はこれに限定されず、プレビュー画像のデータ量よりも校正用画像のデータ量の方が大きい全てのケースに適用可能である。例えば、プレビュー画像として低解像度の画像を用い、校正用画像としてより高解像度の画像を用いることもできる。また、プレビュー画像として高圧縮率の画像を用い、校正用画像として低圧縮率の画像を用いることもできる。
【００３０】
［処理のフローチャート］
図５は、本実施形態の情報処理装置１００の機能構成の例を示す図である。図５に示される情報処理装置１００を構成する各機能部は、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。また、図６は、本実施形態の処理の流れを示すフローチャートである。以下では、図５と図６を参照して、本実施形態の処理の流れを説明する。
【００３１】
ステップＳ６０１において、モード設定部５０１は、撮影モードをプレビューモード（第１のモード）に設定する。撮影モードがプレビューモードに設定されている場合、後述する撮影画像取得手段５０２は、撮影部１０７からエンコーダで圧縮された圧縮画像を取得する。
【００３２】
ステップＳ６０２において、撮影画像取得部５０２は、撮影部１０７から圧縮画像を取得する。そして、撮影画像取得部５０２は、表示部１０８に圧縮画像を出力する。
【００３３】
ステップＳ６０３で、指標検出部５０３が、ステップＳ６０２において取得した圧縮画像から指標を検出する。本実施形態においては、指標の検出とは、指標の画像座標、および個々の指標が有する識別情報を取得することをいう。そして表示部１０８に検出した指標の画像座標、識別情報（検出結果）を出力する。
【００３４】
ステップＳ６０４において、情報処理装置１００は、ステップＳ６０２において取得した圧縮画像と、指標の画像座標および識別情報を表示部１０８に表示させる。
【００３５】
ステップＳ６０５において、情報処理装置１００は、ユーザからのキャプチャ指示の有無を判定し、キャプチャ指示が無い場合は、キャプチャ指示があるまでステップＳ６０２〜Ｓ６０４を繰り返す。
【００３６】
ステップＳ６０６において、モード設定部５０１は、撮影モードを本撮影モード（第２のモード）に設定する。
【００３７】
ステップＳ６０７において、撮影画像取得部５０２は、撮影部１０７から非圧縮画像を取得する。そして、撮影画像取得部５０２は、指標検出部５０３に非圧縮画像を出力する。
【００３８】
ステップＳ６０８において、指標検出部５０３は、ステップＳ６０７において取得した非圧縮画像から指標を検出する。そして、検出された指標の画像座標を校正部５０６に出力する。そして、校正部５０６は、取得した指標の画像座標に基づいて、指標の三次元座標の導出を行う。
【００３９】
［第１の実施形態の効果］
本実施形態では、上記の処理によって取得した校正用画像を用いて、校正部５０６が指標の校正を行う。この校正結果が従来に比べて高精度となる。以下、具体的に述べる。
【００４０】
従来、校正用画像として圧縮画像を利用する場合は、指標の画像座標の算出精度が低下するため、校正精度が低下していた。一方、本実施形態によれば、校正用画像として非圧縮画像を利用するので、従来に比べて校正精度が高くなる。また、従来、校正用画像として非圧縮画像を利用する場合、プレビュー画像をリアルタイムに表示できない（コマ落ちしてしまう）ので、ユーザーが指標２０１〜２０９の配置や撮影方法などを細かに調整することが難しかった。一方、本実施形態によれば、プレビュー画像をリアルタイムに表示できるので、ユーザーが指標２０１〜２０９の配置や撮影方法などを細かに調整することができ、従来に比べて校正精度が高くなる。
【００４１】
（第２の実施形態）
次に第２の実施形態を説明する。第１の実施形態では、プレビュー画像として圧縮画像をリアルタイムに表示し、キャプチャボタンが押された際に校正用画像として非圧縮画像を取得することで、高精度に指標の校正を行う例を説明した。しかし、第１の実施形態では、ユーザーがキャプチャボタン４０３を押した瞬間の画像（プレビュー画像）と校正用画像との間にタイムラグが発生し、ユーザーが意図していない校正用画像が取得されてしまう可能性がある。これを解決する手段として、第２の実施形態では、プレビュー画像と校正用画像を比較し、意図していない校正用画像が取得された可能性が高い場合に、ユーザーに対して警告を行う例を説明する。なお、第１の実施形態と重複する部分については説明を省略する。
【００４２】
［処理のフローチャート］
図１０は、本実施形態の処理を行う際の機能構成を示す図である。また、図１１は、本実施形態の処理の流れを示すフローチャートである。以下では、図１０と図１１を参照して、本実施形態の処理の流れを説明する。なお、ステップＳ６０１〜Ｓ６０８の処理は第１の実施形態と同様であるため、説明を省略する。
【００４３】
ステップＳ１１０１において、指標判定部１００１は、ステップＳ６０３において検出した指標の情報とステップＳ６０８において検出した指標の情報とを比較し、ステップＳ６０７において取得した画像が校正に適しているか判定する。指標判定部１００１の処理の詳細は後述する。
【００４４】
ステップＳ１１０２において、警告部１００２は、指標判定部１００１の判定結果に基づいて、表示部１０８に警告情報を表示させる（警告情報出力）。警告部１００２の処理の詳細は後述する。
【００４５】
［指標判定部１００１の処理の詳細］
図７は、本実施形態における指標判定部１１０１の処理を説明するための図である。以下では、図７を参照して、本実施形態における指標判定部１１０１の処理の詳細について説明する。
【００４６】
図７（ａ）はプレビュー画像７０１を示しており、図７（ｂ）はユーザーがプレビュー画像７０１を見ながらキャプチャボタン４０３を押した結果として取得された校正用画像７０２を示している。プレビュー画像７０１と校正用画像７０２は、タイムラグによって撮影部１０７の位置姿勢がずれ、検出される指標の数が変化している。このように指標の数が変化している場合、校正用画像７０２がユーザーの想定通りに撮影されていない可能性が高いので、校正用画像７０２は校正に適していないと判定する。なお、検出される指標の数が変化するのは、撮影部１０７の位置姿勢がずれた場合に限らない。例えば、撮影画像内にブレやボケが発生すると、指標を検出しにくくなり、検出される指標の数が減少する場合がある。
【００４７】
本実施形態では、検出される指標の数を比較することで、撮影部１０７の位置姿勢がずれていたり、ブレやボケが発生していないか判定することができる。ここで、ボケの発生は、撮影部１０７と指標との距離か撮影部１０７のピント距離が変化したことを意味する。つまり、検出される指標の数を比較することで、撮影部１０７と指標との距離か撮影部１０７のピント距離が変化したことを検出することができる。なお、指標の増減数のしきい値をあらかじめ設定し、増減数がしきい値を超えた場合にのみ、校正用画像７０２が校正に適していないと判定してもよい。
【００４８】
また、検出される指標の数は同じでも、指標の画像座標がずれていれば、ユーザーの想定通りに撮影されていない可能性がある。そこで、指標の画像座標のずれがあらかじめ設定したしきい値以上の場合に、校正用画像７０２が校正に適していないと判定してもよい。ここで、しきい値として任意の値を設定することができるが、例えば、画像幅の５％をしきい値とすればよい。更に、指標の識別情報を比較しても良い。これにより、どの指標がどれくらいずれているかということを知ることができるため、校正用画像７０２についてより確かな判定をすることができる。
【００４９】
図７（ｃ）は指標として四角形指標を用いた場合のプレビュー画像７０３を示しており、図７（ｄ）はユーザーがプレビュー画像７０３を見ながらキャプチャボタン４０３を押した結果として取得された校正用画像７０４を示している。プレビュー画像７０３と校正用画像７０４は、タイムラグによって撮影部１０７と指標との距離が変わり、検出される指標の大きさが変化している。四角形指標では、指標の画像座標だけでなく、画像上における大きさも算出することができるので、画像上における指標の大きさの差があらかじめ設定したしきい値以上の場合に、校正用画像７０４が校正に適していないと判定することができる。ここで、しきい値として任意の値を設定することができるが、例えば、プレビュー画像７０１における指標の大きさの１０％をしきい値とすればよい。なお、検出される指標の大きさが変化するのは、撮影部１０７と指標との距離が変わった場合に限らない。例えば、撮影部１０７の焦点距離が変化した場合も検出される指標の大きさが変化する。本発明では、検出される指標の大きさを比較することで、撮影部１０７と指標との距離や撮影部１０７の焦点距離が変化していないか判定することができる。また、指標の大きさと撮影部１０７の内部パラメータから撮影部１０７と指標との距離を算出し、その距離に応じて判定を行ってもよい。
【００５０】
また、指標を検出する際に信頼度を算出し、その信頼度の差があらかじめ設定したしきい値以上の場合に、校正用画像７０２、７０４が校正に適していないと判定してもよい。信頼度の算出には任意の方法を用いることができる。例えば、指標が指標２０１〜２０９のような点指標の場合、指標の色としてあらかじめ登録されている色と実際に検出された指標領域の色との差を信頼度として用いることができる。また、指標が指標３０１のような四角形指標の場合、指標を構成する直線として検出された線の曲がり具合を信頼度として用いることができる。
【００５１】
［警告部１００２の処理の詳細］
指標判定部１００１によって校正用画像が校正に適していないと判定された場合、警告部１００２は表示部１０８に警告を表示（通知）させ、再度撮影を促す。警告として、例えば、校正用画像が校正に適していない旨を文字で表示させる。また、これに限られず、音声等の情報を出力することによってユーザに警告しても良い。でまた、校正用画像表示ウィンドウ４０４〜４０６のうち、適切でない校正用画像を表示しているウィンドウを強調することで警告してもよい。また、何が原因で校正に適していないと判定されたか、その理由を文字やアイコンなどで示してもよい。さらに、どのように修正すれば校正用画像が適切なものとなるかをユーザーに示してもよい。例えば、撮影部１０７の移動や回転を矢印で表し、ユーザーによる撮影部１０７の移動を誘導してもよい。
【００５２】
［第２の実施形態の効果］
本実施形態では、ユーザーが意図しない校正用画像が撮影された場合にユーザーに対して警告を表示し、再撮影を促すことができるため、第１の実施形態よりもロバストに指標の校正を行うことができる。
【００５３】
（第３の実施形態）
次に、第３の実施形態を説明する。第１の実施形態と第２の実施形態では、通信帯域が足りない場合でも、高精度に指標を校正する例を説明した。本実施形態では、通信帯域が足りない場合でも、高精度に撮影部の校正を行う例を説明する。なお、第２の実施形態と重複する部分については説明を省略する。
【００５４】
図８は、撮影部１０７の校正用パターンの例である。指標８０１〜８２０は、指標同士の相対的な三次元位置関係が既知であるとする。なお、本発明は図８の校正用パターンを用いる場合に限定されない。指標同士の相対的な三次元位置関係が既知であり、撮影画像上における投影像の二次元座標（画像座標）が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば、何れの形態であってもよい。
【００５５】
撮影部１０７の校正を行う際は、撮影部１０７によって指標８０１〜８２０を撮影し、該撮影された指標の情報を用いて校正を行う。校正の処理内容は本発明の主眼ではないため、説明を省略するが、例えば、特許文献２に記載の方法で校正を行うことができる。
【００５６】
本実施形態の処理の流れは、第２の実施形態と同様である。第２の実施形態とは、指標判定部１００１の処理が異なるため、その点について以下で説明する。
【００５７】
［第３の実施形態の指標判定部１１０１の処理の詳細］
図９は、本実施形態における指標判定部１１０１の処理を説明するための図である。以下では、図９を参照して、本実施形態における指標判定部１１０１の処理の詳細について説明する。
【００５８】
領域９０１〜９２４は画像上の領域を表している。撮影部１０７の校正では、歪曲補正を行うために、画像上の各領域でどのような歪曲が発生しているか測定する必要がある。特に、画像端（例えば、領域９０１、９０６、９１９、９２４など）では大きな歪曲が発生するため、画像端に指標８０１〜８２０が写るように校正用パターンを撮影し、画像端でどのような歪曲が発生しているか測定することが重要である。ところが、プレビュー画像と校正用画像との間のタイムラグによって、指標８０１〜８２０が画像端から外れて校正用画像が撮影されてしまう可能性がある。そこで、画像端に指標８０１〜８２０が写っているほど値が大きくなるような評価値を算出し、プレビュー画像に比べて校正用画像の方が評価値が低くなった場合に警告を出す。なお、本実施形態における指標判定部１１０１の処理の代わりに第２の実施形態における指標判定部１１０１の処理を行ってもかまわない。また、第２の実施形態における指標判定部１１０１の処理と本実施形態における指標判定部１１０１の処理を組み合わせて実施することも可能である。
【００５９】
［第３の実施形態の効果］
第３の実施形態によれば、撮影部１０７の校正において、校正の精度が高くなる。特に、歪曲の校正精度が高くなる。
【００６０】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017040542.tif 000003
【図２】
2017040542.tif 000004
【図３】
2017040542.tif 000005
【図４】
2017040542.tif 000006
【図５】
2017040542.tif 000007
【図６】
2017040542.tif 000008
【図７】
2017040542.tif 000009
【図８】
2017040542.tif 000010
【図９】
2017040542.tif 000011
【図１０】
2017040542.tif 000012
【図１１】
2017040542.tif 000013