(57)【要約】【課題】複数の撮像装置間の位置関係の情報が得られる撮像システムを提供する。【解決手段】撮像システム（１）は、第１本体部（１４）と、第１本体部に設けられ、対象物を撮像する第１撮像部（１５）を含む第１検出部（１１）と、第１本体部に設けられ、第１検出部の検出結果を使って、対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部（１２）と、第１本体部から離れた位置に配置され、第１撮像部によって検出される識別情報を有する第２本体部（３１）と、第２本体部に設けられ、対象物を撮像する第２撮像部（３４）を含む第２検出部（３２）と、第１撮像部が検出した識別情報をもとに、第１検出部と第２検出部との位置関係を示す位置情報を取得する位置取得部（５０）と、を備える。
2016158855.tif 000002
【特許請求の範囲】
【請求項１】
第１本体部と、
前記第１本体部に設けられ、対象物を撮像する第１撮像部を含む第１検出部と、
前記第１本体部に設けられ、前記第１検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、
前記第１本体部から離れた位置に配置され、前記第１撮像部によって検出される識別情報を有する第２本体部と、
前記第２本体部に設けられ、前記対象物を撮像する第２撮像部を含む第２検出部と、
前記第１撮像部が検出した前記識別情報をもとに、前記第１検出部と前記第２検出部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像システム。
【請求項２】
前記第２本体部に設けられ、前記第２検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第２情報算出部と、
前記第１情報算出部が算出した前記形状情報及び前記テクスチャ情報の少なくとも一方を含む第１モデル情報と、前記第２情報算出部が算出した前記形状情報及び前記テクスチャ情報の少なくとも一方を含む第２モデル情報とを、前記位置情報を用いて統合するモデル統合部と、を備える請求項１に記載の撮像システム。
【請求項３】
前記第１本体部に設けられ、距離を検出する第１測距部を備える、請求項１または請求項２に記載の撮像システム。
【請求項４】
前記位置取得部は、前記第１測距部が検出した前記第１測距部から前記対象物までの距離と、前記識別情報とを使って前記位置情報を算出する、請求項１又は請求項２に記載の撮像システム。
【請求項５】
前記位置取得部は、
前記第１測距部が検出した前記第１測距部から前記対象物までの距離と、
前記第１測距部が検出した前記第１測距部から前記第２本体部までの距離と、を使って前記位置情報を算出する、請求項３または請求項４に記載の撮像システム。
【請求項６】
前記位置取得部は、前記第１本体部に設けられている、請求項１から請求項５のいずれか一項に記載の撮像システム。
【請求項７】
前記第１検出部による前記対象物の検出時と、前記第１検出部による前記第２本体部の検出時との間の前記第１本体部の移動量を検出する移動検出部を備え、
前記位置取得部は、前記移動検出部の検出結果を使って前記位置情報を算出する、請求項１から請求項６のいずれか一項に記載の撮像システム。
【請求項８】
前記移動検出部は、前記第１本体部に設けられている、請求項７に記載の撮像システム。
【請求項９】
前記識別情報は前記第２本体部の側面を含み、
前記位置取得部は、前記第２本体部の側面における特定部分をもとに、前記位置情報を取得する、請求項１から請求項８のいずれか一項に記載の撮像システム。
【請求項１０】
前記第２本体部が取り付けられる支持部材を備え、
前記位置取得部は、前記識別情報をもとに前記支持部材が配置された位置を特定して、特定した前記位置に基づき前記位置情報を取得する、請求項１から請求項９のいずれか一項に記載の撮像システム。
【請求項１１】
前記第２本体部に設けられ、前記識別情報を含む識別子を提示する提示部を備える、請求項１から請求項１０のいずれか一項に記載の撮像システム。
【請求項１２】
前記位置取得部は、前記第１撮像部が検出した前記識別子と、予め記憶されている前記識別子の情報とを比較して、前記識別子の姿勢を算出する、請求項１１に記載の撮像システム。
【請求項１３】
前記識別子は、前記第２本体部に対して定められる所定方向との角度に応じて光強度が変化する光を放射し、
前記位置取得部は、前記識別子からの光を前記第１検出部が検出した結果を使って、前記第１検出部と前記識別子とを結ぶ方向と前記所定方向との角度を算出する、請求項１１または請求項１２に記載の撮像システム。
【請求項１４】
前記位置取得部は、前記第２本体部の位置の設定値を記憶する記憶部から、前記第１撮像部が検出した識別情報を使って前記設定値を取得する、請求項１から請求項１３のいずれか一項に記載の撮像システム。
【請求項１５】
前記提示部は、時間的に変化するパターンによって前記識別情報を提示する、請求項１１から請求項１４のいずれか一項に記載の撮像システム。
【請求項１６】
第１本体部と、
前記第１本体部に設けられ、対象物を撮像する第１撮像部を含む第１検出部と、
前記第１本体部に設けられ、前記第１検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、
前記第１本体部から離れた位置に配置される第２本体部の識別情報を前記第１撮像部により検出した結果を使って、前記第１検出部と前記第２本体部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像装置。
【請求項１７】
第１本体部に設けられる第１撮像部により対象物を撮像することと、
前記第１撮像部を含む第１検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、
前記第１本体部から離れた位置に配置される第２本体部に設けられる第２撮像部により前記対象物を撮像することと、
前記第１撮像部を使って、前記第２本体部が有する識別情報を検出することと、
前記第１撮像部が検出した前記識別情報をもとに、前記第２撮像部を含む第２検出部と前記第１検出部との位置関係を示す位置情報を取得することと、を含む撮像方法。
【請求項１８】
第１本体部と、
前記第１本体部に設けられ、対象物を撮像する第１撮像部と、
前記第１本体部に設けられ、前記第１撮像部の撮像結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、
前記第１撮像部の視野内に配置され、前記第１撮像部によって撮像される側面を有する第２本体部と、
前記第２本体部に設けられ、前記対象物を撮像する第２撮像部と、
前記第１撮像部が撮像した前記側面の特定部分をもとに、前記第１撮像部と前記第２撮像部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像システム。
【請求項１９】
コンピュータに、
第１本体部に設けられ第１撮像部を含む第１検出部によって、対象物を撮像することと、
前記第１本体部に設けられる第１情報算出部によって、前記第１検出部の検出結果を使って前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、
前記第１本体部から離れた位置に配置される第２本体部の識別情報を前記第１撮像部により検出した結果を使って、前記第１検出部と前記第２本体部との位置関係を示す位置情報を取得することと、を実行させる撮像プログラム。
【請求項２０】
コンピュータに、
第１本体部に設けられる第１撮像部によって対象物を撮像することと、
前記第１本体部に設けられる第１情報算出部によって、前記第１撮像部の撮像結果を使って前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、
前記第１撮像部の視野内に配置され前記第１撮像部によって撮像される側面を有する第２本体部に設けられる第２撮像部によって、前記対象物を撮像することと、
前記第１撮像部が撮像した前記側面の特定部分をもとに、前記第１撮像部と前記第２撮像部との位置関係を示す位置情報を取得することと、を実行させる撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３４５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、対象物を検出する複数の撮像装置間の位置関係を示す情報が不足していると、複数の撮像装置から得られる複数の検出結果を高精度に関連付けることが難しくなる。
【課題を解決するための手段】
【０００５】
本発明の第１の態様に従えば、第１本体部と、第１本体部に設けられ、対象物を撮像する第１撮像部を含む第１検出部と、第１本体部に設けられ、第１検出部の検出結果を使って、対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、第１本体部から離れた位置に配置され、第１撮像部によって検出される識別情報を有する第２本体部と、第２本体部に設けられ、対象物を撮像する第２撮像部を含む第２検出部と、第１撮像部が検出した識別情報をもとに、第１検出部と第２検出部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像システムが提供される。【０００６】
本発明の第２の態様に従えば、第１本体部と、第１本体部に設けられ、対象物を撮像する第１撮像部を含む第１検出部と、第１本体部に設けられ、第１検出部の検出結果を使って、対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、第１本体部から離れた位置に配置される第２本体部の識別情報を第１撮像部により検出した結果を使って、第１検出部と第２本体部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像装置が提供される。【０００７】
本発明の第３の態様に従えば、第１本体部に設けられる第１撮像部により対象物を撮像することと、第１撮像部を含む第１検出部の検出結果を使って、対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、第１本体部から離れた位置に配置される第２本体部に設けられる第２撮像部により対象物を撮像することと、第１撮像部を使って、第２本体部が有する識別情報を検出することと、第１撮像部が検出した識別情報をもとに、第２撮像部を含む第２検出部と第１検出部との位置関係を示す位置情報を取得することと、を含む撮像方法が提供される。【０００８】
本発明の第４の態様に従えば、第１本体部と、第１本体部に設けられ、対象物を撮像する第１撮像部と、第１本体部に設けられ、第１撮像部の撮像結果を使って、対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、第１撮像部の視野内に配置され、第１撮像部によって撮像される側面を有する第２本体部と、第２本体部に設けられ、対象物を撮像する第２撮像部と、第１撮像部が撮像した側面の特定部分をもとに、第１撮像部と第２撮像部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像システムが提供される。【０００９】
本発明の第５の態様に従えば、コンピュータに、第１本体部に設けられ第１撮像部を含む第１検出部によって、対象物を撮像することと、第１本体部に設けられる第１情報算出部によって、第１検出部の検出結果を使って対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、第１本体部から離れた位置に配置される第２本体部の識別情報を第１撮像部により検出した結果を使って、第１検出部と第２本体部との位置関係を示す位置情報を取得することと、を実行させる撮像プログラムが提供される。【００１０】
本発明の第６の態様に従えば、コンピュータに、第１本体部に設けられる第１撮像部によって対象物を撮像することと、第１本体部に設けられる第１情報算出部によって、第１撮像部の撮像結果を使って対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、第１撮像部の視野内に配置され第１撮像部によって撮像される側面を有する第２本体部に設けられる第２撮像部によって、対象物を撮像することと、第１撮像部が撮像した側面の特定部分をもとに、第１撮像部と第２撮像部との位置関係を示す位置情報を取得することと、を実行させる撮像プログラムが提供される。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る撮像システムを示す図である。
【図２】第１実施形態に係る第１撮像装置が算出する位置情報の説明図である。
【図３】第１実施形態に係る撮像システムを示すブロック図である。
【図４】第１実施形態に係る第１検出部の例を示す図である。
【図５】第１実施形態に係る識別子の例を示す図である。
【図６】第１実施形態に係る提示部の配置の例を示す図である。
【図７】第１実施形態に係る撮像システムの動作を示すフローチャートである。
【図８】第１実施形態に係る撮像システムの動作を示すシーケンス図である。
【図９】第２実施形態に係る撮像システムを示す図である。
【図１０】第２実施形態に係る撮像システムを示すブロック図である。
【図１１】第２実施形態に係る撮像システムの動作を示すフローチャートである。
【図１２】第２実施形態に係る変形例を示す図である。
【図１３】第３実施形態に係る撮像システムを示す図である。
【図１４】第３実施形態に係るデータベースのデータ構造の例を示す図である。
【図１５】第４実施形態に係る撮像システムを示す図である。
【発明を実施するための形態】
【００１２】
［第１実施形態］
第１実施形態について説明する。図１は、本実施形態に係る撮像システム１を示す図である。撮像システム１は、例えば、複数の撮像装置２、情報処理装置３、入力装置４、及び表示装置５を備える。複数の撮像装置２は、例えば、第１撮像装置２ａおよび第２撮像装置２ｂを含む。
【００１３】
第１撮像装置２ａは、例えば、照明装置からの光や室内灯からの光、あるいは自然光などで照らされている対象物ＯＢを撮像し、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、第１撮像装置２ａは、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢのデプス情報を取得する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から第１撮像装置２ａまでの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢを含んだ領域のデプスの分布（例、デプスマップ）を示す情報である。
【００１４】
第１撮像装置２ａは、上記のデプス情報を使って、対象物ＯＢに関する情報の演算処理を行う。第１撮像装置２ａは、演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ）を算出する。例えば、第１撮像装置２ａは、演算処理によって、対象物ＯＢの少なくとも一部をコンピュータグラフィック処理（ＣＧ処理）し、モデル情報（例、ＣＧモデルデータ）を算出する。モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報と、対象物ＯＢの表面の模様を示すテクスチャ情報の少なくとも一方を含む。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。
【００１５】
例えば、図１の対象物ＯＢは角柱状の部材とサッカーボールを含み、形状情報は、角柱状の部材の表面（例、平面）の情報、及びサッカーボールの表面（例、球面）の情報を含む。テクスチャ情報は、例えば、サッカーボールの表面における、文字、図形（例、黒の５角形、白の６角形）、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。
【００１６】
第１撮像装置２ａは、例えば、対象物ＯＢのうち第１撮像装置２ａの視野に入る部分（視野領域）の第１モデル情報を算出する。この第１モデル情報は、例えば、対象物ＯＢの全周を表すモデル（以下、全周モデルという）の一部を表すモデル（以下、第１部分モデルという）の情報である。例えば、全周モデルは、表面が閉じたモデルであり、第１部分モデルは表面が閉じていないモデルである。第１撮像装置２ａは、演算処理により算出された情報（例、第１モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、第１撮像装置２ａは、第１モデル情報の少なくとも一部を情報処理装置３に供給する。
【００１７】
第２撮像装置２ｂは、第１撮像装置２ａと異なる位置に配置される。第２撮像装置２ｂは、第１撮像装置２ａと異なる視点から対象物ＯＢを検出する。例えば、第２撮像装置２ｂは、第１撮像装置２ａの視野外のモデル情報の算出に使われる情報を取得する。第２撮像装置２ｂは、例えば、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、第２撮像装置２ｂは、例えば、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢを含んだ領域のデプス情報を取得する。
【００１８】
第２撮像装置２ｂは、例えば第１撮像装置２ａと同様の構成であり、対象物ＯＢのうち第２撮像装置２ｂの視野に入る部分の第２モデル情報を算出する。第２モデル情報は、全周モデルの一部を表す部分モデル（以下、第２部分モデルという）の情報である。第２部分モデルの少なくとも一部は、第１撮像装置２ａによる第１部分モデルと重複しない。第２部分モデルは、第１部分モデルの一部と重複していてもよいし、第１部分モデルと重複していなくてもよい。第２撮像装置２ｂは、演算処理により算出された情報（例、第２モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、第２撮像装置２ｂは、第２モデル情報の少なくとも一部を情報処理装置３に供給する。
【００１９】
情報処理装置３は、例えば、コンピュータシステムを含む。情報処理装置３は、有線または無線によって、第１撮像装置２ａと通信可能に接続される。例えば、情報処理装置３は、通信ケーブルを介して第１撮像装置２ａと接続されていてもよいし、インターネット回線を介して第１撮像装置２ａと接続されていてもよい。また、情報処理装置３は、電波または赤外線などを用いた近距離通信部により第１撮像装置２ａと通信可能であってもよい。情報処理装置３は、第２撮像装置２ｂと通信可能に接続される。情報処理装置３と第２撮像装置２ｂとの間の通信の形態は、情報処理装置３と第１撮像装置２ａとの間の通信の形態と同じであってもよいし異なっていてもよい。
【００２０】
情報処理装置３は、第１撮像装置２ａとの間の通信により、第１撮像装置２ａから情報を取得する。情報処理装置３は、第２撮像装置２ｂとの間の通信により、第２撮像装置２ｂから情報を取得する。情報処理装置３は、第１撮像装置２ａから取得した情報、及び第２撮像装置２ｂから取得した情報を使って、情報処理を行う。例えば、情報処理装置３は、この情報処理において、第１撮像装置２ａによる第１部分モデルと第２撮像装置２ｂによる第２部分モデルとを統合するモデル統合処理を行う。
【００２１】
本実施形態において、第１撮像装置２ａは、第２撮像装置２ｂを検出する。第１撮像装置２ａは、第２撮像装置２ｂを検出した結果を使って、第１撮像装置２ａと第２撮像装置２ｂとの絶対的な又は相対的な位置関係を示す位置情報を算出する。第１撮像装置２ａは、算出した位置情報を情報処理装置３に供給する。情報処理装置３は、第１撮像装置２ａが算出した位置情報を使って、モデル統合処理を行う。例えば、複数の撮像装置間の位置情報が欠落している場合、位置情報が示す位置の精度が不足している場合などには、モデル統合処理において、第１部分モデルの特徴点データと第２部分モデルの特徴点データとをマッチングする処理が行われる。撮像システム１は、複数の撮像装置間の位置関係を示す位置情報を使ってモデル統合処理を行う場合、例えば、特徴点データをマッチングする処理を簡略化あるいは省略することができる。
【００２２】
図２は、第１撮像装置２ａが算出する位置情報の例を示す図である。図２において、符号ＶＰ１は、第１撮像装置２ａの視点を示し、符号Ｖ１は第１撮像装置２ａの視線を示す。また、図２において、符号ＶＰ２は、第２撮像装置２ｂの視点を示し、符号Ｖ２は第２撮像装置２ｂの視線を示す。各撮像装置の視点は、例えば、各撮像装置が備えるイメージセンサの受光面の位置（例、中心位置）である。各撮像装置の視線は、例えば、各撮像装置の光軸とほぼ同軸である。また、各撮像装置の視線の方向は、例えば、各撮像装置の光軸方向とほぼ同軸方向である。図２（Ａ）において、符号ＯＢａは、対象物ＯＢの表面の任意の点を示す。
【００２３】
図２（Ａ）に示すように、第２撮像装置２ｂは、例えば、第１撮像装置２ａの視野ＶＦ１内に配置される。第２撮像装置２ｂは、例えば、自装置の識別情報を含む識別子を提示する提示部１０を備える。例えば、第１撮像装置２ａは、第２撮像装置２ｂの提示部１０に基づいて第２撮像装置２ｂを認識する。第１撮像装置２ａは、例えば、提示部１０の識別子を撮像し、その画像を使ってパターン認識を行うことにより、第２撮像装置２ｂを認識する。
【００２４】
第１撮像装置２ａは、例えば提示部１０の識別子を検出することにより、第２撮像装置２ｂの視野ＶＦ２の情報を取得する。視野ＶＦ２の情報は、例えば、第２撮像装置２ｂの視点ＶＰ２の情報、視線Ｖ２の情報の少なくとも一方を含む。例えば、第１撮像装置２ａは、提示部１０の識別子の位置を検出することにより、識別子の位置と関連付けられる第２撮像装置２ｂの視点ＶＰ２の位置を取得する。また、第１撮像装置２ａは、例えば、提示部１０の識別子の姿勢を検出することにより、識別子の姿勢と関連付けられる第２撮像装置２ｂの視線Ｖ２の方向を取得する。
【００２５】
第１撮像装置２ａおよび第２撮像装置２ｂは、それぞれ、対象物ＯＢの表面における複数の点を検出し、検出した各点の位置を三次元座標で表すことができる。この三次元座標は、例えば、各撮像装置の視野に関連付けられる座標系における座標である。例えば、この座標系は、各撮像装置の水平走査方向に対応する方向、垂直走査方向に対応する方向、及び光軸に対応する方向の３方向を軸とする直交座標系であってもよい。第１撮像装置２ａが用いる第１座標系は、一般に第２撮像装置２ｂが用いる第２座標系と軸方向が異なる。上述のように、第１撮像装置２ａが第２撮像装置２ｂの視野ＶＦ２の情報を取得する場合、第１撮像装置２ａが用いる第１座標系と第２撮像装置２ｂが用いる第２座標系とに互換性を持たせることができる。例えば、第２撮像装置２ｂが算出した第２部分モデル上の各点の座標を、第１撮像装置２ａが用いる第１座標系における座標に変換することができる。例えば、第１部分モデル上の各点と、第２部分モデル上の各点とを同じ座標系で表すことができる。
【００２６】
また、図２（Ｂ）に示すように、第１撮像装置２ａの位置（例、視点ＶＰ１）、第２撮像装置２ｂの位置（例、視点ＶＰ２）、及び対象物ＯＢの表面における任意の点ＯＢａの位置を三角形Ｔｒで表す。図２（Ｂ）において、符号Ｔｒ１、符号Ｔｒ２、及び符号Ｔｒ３は、それぞれ、三角形Ｔｒの１辺を示す。辺Ｔｒ１は、第１撮像装置２ａと対象物ＯＢとを結ぶ線に相当し、辺Ｔｒ１の長さは、第１撮像装置２ａから対象物ＯＢ上の点ＯＢａまでの距離に相当する。辺Ｔｒ２は、第２撮像装置２ｂと対象物ＯＢとを結ぶ線に相当し、辺Ｔｒ２の長さは、第２撮像装置２ｂから対象物ＯＢ上の点ＯＢａまでの距離に相当する。辺Ｔｒ３は、第１撮像装置２ａと第２撮像装置２ｂとを結ぶ線に相当し、辺Ｔｒ３の長さは、第１撮像装置２ａから第２撮像装置２ｂまでの距離に相当する。例えば、三角形Ｔｒが一意に定まる場合、点Ｏｂａと第１撮像装置２ａと第２撮像装置２ｂとの位置関係が一意に定まる。
【００２７】
三角形Ｔｒが一意に定まるには、例えば、辺Ｔｒ１〜Ｔｒ３のうち２辺の長さと、これら２辺の内角が既知であればよい。第１撮像装置２ａは、例えば、少なくとも辺Ｔｒ１の長さと、辺Ｔｒ３の長さと、辺Ｔｒ１と辺Ｔｒ３との内角θ１と測定することで、三角形Ｔｒを一意に求めることができる。これにより、例えば、対象物ＯＢの表面の任意の点ＯＢａに対して、第１部分モデルにおける点ＯＢａの位置が、第２部分モデルのいずれの位置に対応するかを既知とすることができ、第１部分モデルと第２部分モデルとを対応付けることができる。なお、三角形Ｔｒが一意に定まる条件は、上記の条件以外であってもよく、例えば、３辺の長さが既知であってもよいし、１辺の長さと両側の内角が既知であってもよい。
【００２８】
図１の説明に戻り、情報処理装置３は、例えば統合したモデルの情報を使って、情報処理として画像処理（例、レンダリング処理）を実行する。例えば、情報処理装置３は、ユーザにより入力装置４に入力された視点（撮像方向）の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。
【００２９】
入力装置４は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含み、情報処理装置３と接続されている。入力装置４は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置３に供給する。表示装置５は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置３と接続されている。表示装置５は、例えば、情報処理装置３から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。
【００３０】
なお、第１撮像装置２ａは、例えば、携帯可能な情報端末であってもよいし、定点カメラであってもよく、手動または自動で視野を変更可能なカメラであってもよい。撮像システム１は、例えば、第１撮像装置２ａを移動させる移動装置を備えていてもよい。この移動装置は、第１撮像装置２ａを移動させることにより、第１撮像装置２ａの視野を変更してもよい。この移動装置を制御する制御部は、撮像システム１に設けられていてもよく、例えば、第１撮像装置２ａに設けられていてもよいし、情報処理装置３に設けられていてもよい。また、この移動装置を制御する制御部は、撮像システム１の外部の装置に設けられていてもよい。
【００３１】
なお、第１撮像装置２ａは、モデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能であってもよい。このデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報を、ディスプレイに表示可能であってもよいし、紙などの媒体に印字可能であってもよい。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、そのリーダー部を介して上記のデジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、撮像システム１は、上記のデジタル装置およびリーダー装置の少なくとも一部を備えていてもよい。例えば、第１撮像装置２ａは、上記のデジタル装置およびリーダー装置の少なくとも一部を備えていてもよい。
【００３２】
次に、複数の撮像装置２の各部および情報処理装置３の各部について説明する。図３は、本実施形態に係る撮像システム１を示すブロック図である。第１撮像装置２ａは、第１検出部１１、第１情報算出部１２、及び第１本体部１４を備える。第１本体部１４は、例えば、カメラボディ、ケース、筐体などである。第１本体部１４は、例えば、例えば三脚や天吊り治具などの支持部材に支持されていてもよい。この支持部材は、第１本体部１４の一部であってもよい。
【００３３】
第１検出部１１は、第１本体部１４に設けられている。図４（Ａ）は、第１検出部１１の一例を示す図である。第１検出部１１は、第１撮像部１５および第１測距部１６を備える。第１撮像部１５は、例えば、結像光学系１７およびイメージセンサ１８を備える。イメージセンサ１８は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。イメージセンサ１８は、第１本体部１４に収容されている。イメージセンサ１８は、例えば、可視光の波長帯域（例、３８０ｎｍ以上７５０ｎｍ以下）、又は赤外光の波長帯域に感度を有する。イメージセンサ１８の撮像結果は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。イメージセンサ１８は、例えば、撮像結果（検出結果）をフルカラー画像のデータ形式で出力する。フルカラー画像は、例えば、各画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれが階調値（例、２５６階調）で表される画像である。
【００３４】
結像光学系１７は、例えば、複数のレンズを含み、物体面（例、対象物ＯＢ）の像をイメージセンサ１８に形成する。結像光学系１７は、例えば鏡筒内に保持され、鏡筒とともに第１本体部１４に取り付けられる。結像光学系１７および鏡筒は、例えば交換レンズであり、第１本体部１４から取り外し可能である。鏡筒は、第１本体部１４の一部であってもよく、第１本体部１４から取り外し不能であってもよい。
【００３５】
第１測距部１６は、対象物ＯＢの表面上の各点からの距離を検出（測定）する。また、第１測距部１６は、第２撮像装置２ｂの表面上の各点からの距離を検出する。第１測距部１６は、例えば、ToF（Time of Flight）センサを含み、ToF法により距離を検出する。また、例えば、第１測距部１６は、位相差センサを含み、位相差法により距離を検出する。第１測距部１６は、照射部１９、結像光学系２０、イメージセンサ２１、及びコントローラ２２を備える。
【００３６】
照射部１９は、対象物ＯＢに赤外光を照射可能である。照射部１９は、コントローラ２２に制御される。コントローラ２２は、照射部１９から照射される赤外光の強度を時間変化させる（例、振幅変調する）。
【００３７】
イメージセンサ２１は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。イメージセンサ２１は、第１本体部１４に収容されている。結像光学系２０は、例えば、複数のレンズを含み、物体面（例、対象物ＯＢ）の像をイメージセンサ２１に形成する。結像光学系２０は、交換レンズであってもよいし、第１本体部１４に内蔵されたものでもよい。イメージセンサ２１は、少なくとも照射部１９が照射する光の波長帯に感度を有する。例えば、イメージセンサ２１は、コントローラ２２に制御され、対象物ＯＢで反射散乱した赤外光を検出する。
【００３８】
コントローラ２２は、第１測距部１６のイメージセンサ２１が検出した検出結果を使って、対象物ＯＢの表面からイメージセンサ２１までの距離を検出する。例えば、対象物ＯＢの表面上の第１位置と第２位置とでデプスが異なる場合、第１位置で反射散乱した光は、第２位置で反射散乱した光と比較して、対象物ＯＢからイメージセンサ２１までの飛行距離（光路）が異なる。そのため、対象物ＯＢの第１位置で反射散乱した光は、イメージセンサ２１に入射する位相が、第２位置で反射散乱した光の位相と異なる。コントローラ２２は、照射部１９から照射される光の強度を時間変調するので、イメージセンサ２１に入射する光の強度は、位相によって変化する。コントローラ２２は、例えば、イメージセンサ２１の出力の時間変化を元に、デプスを算出する。コントローラ２２は、例えば、イメージセンサ２１が撮像した画像の部分領域（例、１画素、複数の画素）ごとに、イメージセンサ２１と対象物ＯＢの表面との間の距離からデプスを算出し、算出したデプス（又は距離）と部分領域の位置とを関連付ける。このように、コントローラ２２は、例えば、複数の部分領域のそれぞれのデプスを含むデプス情報を算出する。
【００３９】
なお、照射部１９は、可視光を含む光を照射し、イメージセンサ２１は、対象物ＯＢで反射散乱した光を検出してもよい。例えば、第１測距部１６は、照射部１９による光照射状態と光非照射状態とでイメージセンサ２１により対象物ＯＢを検出し、２状態での検出結果との差分を使って、デプス情報を算出してもよい。
【００４０】
なお、第１測距部１６は、プロジェクタカメラを含んでいてもよい。この場合、第１測距部１６は、例えば、所定の強度分布を有する光（例、パターン光、構造化光、テクスチャ）を、照射部１９から対象物ＯＢに照射しながら、イメージセンサ２１によって対象物ＯＢを撮像する。コントローラ２２は、イメージセンサ２１による撮像画像に写っている対象物ＯＢ上の光の強度分布を使って、対象物ＯＢと第１測距部１６との間の距離を検出する。また、第１測距部１６は、レーザスキャナを含んでいてもよい。この場合、第１測距部１６は、照射部１９から対象物ＯＢにレーザ光を照射し、対象物ＯＢをレーザ光でスキャンしながら対象物ＯＢで反射したレーザ光を検出することにより、対象物ＯＢと第１測距部１６との間の距離を検出する。なお、例えば、第１測距部１６は、第１検出部１１又はイメージセンサ２１によって撮像される撮像画像の画素ごとに自身（第１測距部１６）から対象物ＯＢまでの距離を検出するために、同一の対象物ＯＢに対してフォーカス距離が異なる複数の撮像画像から相対的なボケ量を求め、画像のボケ量と距離との相関関係を用いたデプス・フロム・デフォーカス（Depth from Defocus; DFD）処理を実施して該距離を検出するように構成しても良い。
【００４１】
図４（Ｂ）は、第１検出部１１の他の例を示す図である。この第１検出部１１の第１測距部１６は、対象物ＯＢを複数の視野で検出した検出結果を使って、対象物ＯＢと第１検出部１１との間の距離を検出する。第１撮像部１５は、結像光学系１７ａおよびイメージセンサ１８ａ、並びに結像光学系１７ｂおよびイメージセンサ１８ｂを備える。結像光学系１７ａおよびイメージセンサ１８ａは、対象物ＯＢを第１視野で撮像する。結像光学系１７ｂおよびイメージセンサ１８ｂは、対象物ＯＢを第２視野で撮像する。第２視野は、視点と視線の方向の少なくとも一方が第１視野と異なる。視点は、例えば、イメージセンサ１８ａの位置およびイメージセンサ１８ｂの位置のように、物体の像が形成される位置である。視線の方向は、例えば、視点に向かう光が通る光学部材のうち最も物体側に配置される光学部材の光軸の方向と平行である。例えば、第１視野の視線の方向は、結像光学系１７ａの射出側の光軸と同軸である。また、第２視野の視線の方向は、結像光学系１７ｂの射出側の光軸と同軸である。第１測距部１６は、イメージセンサ１８ａによる撮像画像とイメージセンサ１８ｂによる撮像画像とを視差画像として、対象物ＯＢと第１検出部１１との間の距離を検出する。なお、第１撮像部１５は、１つのイメージセンサによって、第１視野の画像および第２視野の画像を異なる時刻に撮像し、第１測距部１６は、これら画像を使って対象物ＯＢと第１検出部１１との間の距離を検出してもよい。
【００４２】
なお、第１測距部１６は、メートルなどの有次元値で表される距離を検出してもよいし、基準値で規格化された無次元値で表される相対的な距離を検出してもよい。また、第１測距部１６は、例えば、ユニット化された形態であってもよく、第１本体部１４に外付け可能であってもよい。また、第１測距部１６が備える光学系の少なくとも一部は、第１撮像部１５が備える光学系の少なくとも一部と共通化されていてもよい。例えば、図３（Ａ）において、第１測距部１６は、結像光学系１７を通った光のうち赤外光をダイクロイックミラーなどで分岐し、分岐した赤外光をイメージセンサ２１で検出する態様でもよい。また、プロジェクタカメラにおいて、照射部１９は、結像光学系１７を介して対象物ＯＢにパターンを投影する態様でもよい。
【００４３】
図３の説明に戻り、第１情報算出部１２は、例えば、デジタルシグナルプロセッサ（digital signal processor; DSP）を含む。第１情報算出部１２は、第１検出部１１の検出結果を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。第１情報算出部１２は、形状情報として、対象物ＯＢの表面上の複数の点の座標（例、点群データという）と、複数の点間の連結情報を含むサーフェス情報とを算出する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。
【００４４】
まず、第１情報算出部１２は、第１測距部１６の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、第１情報算出部１２は、デプス情報が示す距離画像から平面画像への透視変換などにより、点群データを算出する。なお、第１情報算出部１２は、第１撮像部１５と第１測距部１６とで視野が異なる場合、例えば、第１測距部１６の検出結果を透視変換（射影変換）などによって、第１撮像部１５の視野から対象物ＯＢを検出した結果に変換してもよい。第１情報算出部１２は、例えば、第１撮像部１５の視野と第１測距部１６の視野との位置関係（例、視点、視線の方向）に依存するパラメータを使って、透視変換を実行してもよい。
【００４５】
そして、第１情報算出部１２は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理）。第１情報算出部１２は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。
【００４６】
次に、第１情報算出部１２は、例えばインバースレンダリングの手法により、テクスチャ情報を算出する。テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす光の光源情報、及び対象物ＯＢの表面の光学特性（例、反射率、散乱率）を示す光学特性情報の少なくとも１項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも１項目の情報を含む。
【００４７】
第１情報算出部１２は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出する。例えば、第１情報算出部１２は、第１撮像部１５が撮像した画像の各画素の画素値のうち、対象物ＯＢで拡散した光に由来する成分と対象物ＯＢで正反射した成分とを推定する。また、第１情報算出部１２は、例えば、対象物ＯＢで正反射した成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出する。第１情報算出部１２は、例えば、算出した光源情報および形状情報を使って対象物ＯＢの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、第１情報算出部１２は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、パターン情報を算出する。
【００４８】
本実施形態に係る第１撮像装置２ａは、表示部２５、入力部２６、記憶部２７、及び制御部２８を更に備える。表示部２５（図１参照）は、例えば、第１本体部１４に設けられた液晶ディスプレイ又はタッチパネル型ディスプレイである。表示部２５は、例えば、第１検出部１１の検出結果（例、第１撮像部１５による可視光画像）、第１情報算出部１２の算出結果（例、デプスマップ）、及び各種設定情報の少なくとも一部を表示する。
【００４９】
入力部２６は、例えば、第１本体部１４に設けられた操作ボタン、表示部２５に設けられたタッチパネル、ユーザなどの音声を認識する音声入力機、レリーズボタンなどである。入力部２６は、例えば、ユーザによる操作を検出し、ユーザからの情報の入力を受け付ける。入力部２６は、入力された情報を制御部２８に送信する。
【００５０】
記憶部２７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部２７は、第１撮像装置２ａに内蔵される記憶デバイスを含んでいてもよいし、第１撮像装置２ａからリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。第１情報算出部１２は、例えば、形状情報およびテクスチャ情報の少なくとも一方を含む情報にヘッダ情報（例、番号やコードなどの識別情報）を付けたモデル情報を生成する。そして、通信部１３はそのモデル情報を送信する。
【００５１】
なお、上記のヘッダ情報は、識別情報、第１撮像装置２ａの位置（位置情報）、第１撮像部１５による撮像タイミング、第１撮像部１５による撮像時間、対象物ＯＢの光学特性情報、および撮像環境情報（例、光源情報、対象物ＯＢなどに対する照明条件）のうち少なくとも１つを含んでいてもよい。第１情報算出部１２は、例えば、ヘッダ情報を有するモデル情報を所定のデータフォーマットに基づいて生成し、そのモデル情報を通信部１３によって送信させることが可能である。
【００５２】
制御部２８は、例えば、ユーザまたは外部装置（例、情報処理装置３）からの指令（制御信号）により、第１撮像装置２ａの各部を制御する。例えば、制御部２８は、第１検出部１１に上記の検出処理を実行させる。この検出処理は、例えば、第１撮像部１５による撮像処理、及び第１測距部１６による距離検出処理を含む。制御部２８は、例えば、第１検出部１１の検出結果の少なくとも一部を記憶部２７に記憶させる。制御部２８は、例えば、第１情報算出部１２にモデル情報を算出させる。制御部２８は、例えば、第１情報算出部１２が算出したモデル情報の少なくとも一部を記憶部２７に記憶させる。
【００５３】
記憶部２７は、例えば、モデル情報を項目ごとに記憶する。例えば、記憶部２７は、形状情報、テクスチャ情報、光源情報、対象物ＯＢの光学特性情報、及びパターン情報の各項目の情報を個別のデータテーブルにそれぞれ記憶する。制御部２８は、例えば、記憶部２７に記憶されている情報の少なくとも一部を示す画像を、表示部２５に表示させる。制御部２８は、通信部１３を制御し、通信部１３を介して情報の送信、情報の受信を実行させる。
【００５４】
通信部１３は、例えば、ＵＳＢポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも１つを含む。通信部１３は、制御部２８に制御され、記憶部２７に記憶されている情報を読み出し、読み出した情報を外部の装置に送信する。例えば、通信部１３は、第１情報算出部１２の算出結果（例、モデル情報）の少なくとも一部を、情報処理装置３に送信する。また、通信部１３は、例えば、外部の装置からの指令を含む情報を受信する。通信部１３は、受信した情報を記憶部２７に記憶させること、受信した情報を制御部２８に供給することができる。なお、第１撮像装置２ａが上記のデジタル装置を備える場合には、通信部１３はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。そして、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。
【００５５】
第２撮像装置２ｂは、第２本体部３１、第２検出部３２、第２情報算出部３３、及び提示部１０を備える。第２本体部３１は、第１本体部１４から離れた位置に配置される。第２検出部３２は、第２本体部３１に設けられている。第２検出部３２は、対象物を撮像する第２撮像部３４と、第２測距部３５とを含む。第２検出部３２は、例えば、第１検出部１１と同様の構成でよい。
【００５６】
第２情報算出部３３は、第２本体部３１に設けられている。第２情報算出部３３は、第２検出部３２の検出結果を使って、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を算出する。第２撮像装置２ｂは、第２情報算出部３３を備えていなくてもよい。この場合、第２撮像装置２ｂは、第２検出部３２の検出結果を外部の装置に供給し、外部の装置は、第２検出部３２の検出結果を使って、第２モデル情報を算出してもよい。この外部の装置は、例えば、情報処理装置３であってもよいし、第１撮像装置２ａであってもよく、撮像システム１の外部の装置（例、クラウドコンピュータ）であってもよい。
【００５７】
また、第２撮像装置２ｂは、通信部３６、表示部３７、入力部３８、記憶部３９、及び制御部４０を更に備える。通信部３６、表示部３７、入力部３８、及び記憶部３９は、それぞれ、例えば第１撮像装置２ａの通信部１３、表示部２５、入力部２６、及び記憶部３９と同様の構成でよい。制御部４０は、第２撮像装置２ｂの各部を制御する。
【００５８】
提示部１０は、例えば、第２本体部３１の外面に設けられている。提示部１０は、第２撮像装置２ｂ（例、第２本体部３１）の識別情報を含む識別子を、外部に提示する。第２撮像装置２ｂの識別情報は、例えば、撮像システム１が有する複数の撮像装置のうち、自装置がいずれの撮像装置であるかを示す個体識別情報（例、ＩＤ）を含む。個体識別情報は、例えば、撮像システム１が有する複数の撮像装置で重複なく割り当てられる番号、文字、図形、パターンなどのコード（符号）で表される。提示部１０は、例えば、所定のコードが印刷されたシール、チップなどであり、第２本体部３１の外面に接着などで取り付けられる。提示部１０は、例えば、第２本体部３１の表面に作りこまれていてもよい。
【００５９】
図５は、識別子４１の例を示す図である。図５（Ａ）の識別子４１は、三角形、四角形、円形などの図形を含む。図５（Ｂ）の識別子４１は、「ＣＡＭ」「２」などの文字を含む。図５（Ｃ）の識別子４１は、１次元バーコード、２次元バーコードなどのパターンを含む。識別子４１は、図形、文字、及びパターンのうち２種以上を組み合わせたものでもよい。
【００６０】
図５（Ｄ）の識別子４１は、第２本体部３１に対して定められる所定方向との角度に応じて光強度が変化する光を放射する。この識別子４１は、例えば、回折格子、ホログラム素子、レンチキュラーレンズ、再帰性反射材、角柱プリズムが周期に並ぶ光学素子などを含む。例えば、識別子４１が回折格子を含み、第１検出部１１が識別子４１に検出光Ｌ１（例、レーザ光）を照射する場合、回折格子において０次回折光、１次回折光、２次回折光などの複数の回折光Ｌ２が発生する。複数の回折光Ｌ２は、回折格子から放射される各回折光の方向が次数に応じて変化し、各回折光の光強度が次数に応じて変化する。例えば、識別子４１が設けられている位置における第２本体部３１の表面の法線方向を所定方向とする場合、第１検出部１１が検出した回折光の光強度から、検出した回折光の次数が求まり、第１検出部１１と識別子４１とを結ぶ方向と所定方向との角度を算出することができる。
【００６１】
図５（Ｅ）の識別子４１は、ＬＥＤなどの発光部を含む。この識別子４１は、例えば、第２撮像装置２ｂの制御部４０に制御され、所定のタイミングで点灯、消灯する。識別子４１は、点灯と消灯とのパターンにより識別情報を表すことができる。提示部１０は、例えば、複数の識別子４１の点灯と消灯の空間的な分布（パターン）により識別情報を提示することもできる。また、提示部１０は、点灯と消灯の空間的な分布を切り替えることで、時間的に変化するパターンによって識別情報を提示することができる。
【００６２】
図６は、提示部１０の配置の例を示す図である。図６（Ａ）において、提示部１０は、第２撮像部３４の撮像方向Ｄ１に対して側方に設けられている。提示部１０は、例えば、第２本体部３１の複数の面にそれぞれ設けられていてもよい。この場合、第２本体部３１の周囲において、複数の提示部の少なくとも１つを検出可能な範囲が広くなる。
【００６３】
図６（Ｂ）において、提示部１０は、第２本体部３１に設けられる支持部材４２に、複数配置されている。この支持部材４２は、例えば、鉛直方向に延びる三角柱状である。提示部１０は、支持部材４２の３つの側面にそれぞれ配置されている。このような複数の提示部１０を用いる場合、支持部材４２の側方の任意の方向から、複数の提示部１０の少なくとも１つを検出することができる。例えば、複数の提示部１０は、それぞれ、配置される面の情報を含む識別情報を提示する。この場合、検出された識別情報を使って、例えば、提示部１０を検出した方向を特定することができる。
【００６４】
図６（Ｃ）において、表示部３７は、提示部１０を兼ねている。表示部３７は、例えば、識別情報として、個体識別情報４１ａ、第２撮像装置２ｂの位置情報４１ｂ、及び第２撮像装置２ｂの動作情報４１ｃを表示（提示）する。動作情報４１ｃは、例えば、第２撮像装置２ｂが対象物を検出するタイミングを示す情報を含む。動作情報４１ｃは、例えば、第２撮像装置２ｂが対象物ＯＢを検出する際の焦点距離、倍率などの情報を含んでいてもよい。また、識別情報は、例えば、第２撮像装置２ｂの装置パラメータを示す情報を含んでいてもよい。装置パラメータを示す情報は、例えば、光学特性、ディストーション、収差、提示部１０と第２検出部３２との相対位置のうち少なくとも１つを含んでいてもよい。
【００６５】
図３の説明に戻り、撮像システム１は、第１撮像部１５が検出した識別情報をもとに、第１検出部１１と第２検出部３２との位置関係を示す位置情報を取得する位置取得部５０を備える。位置取得部５０は、例えば、第１本体部１４に設けられる。
【００６６】
位置取得部５０は、第１撮像部１５が第２撮像装置２ｂを撮像した画像における識別子を識別する。例えば、識別子のコードの情報は、記憶部２７に予め記憶されている。位置取得部５０は、予め記憶されている識別子のコードの情報（以下、リファレンス情報という）を取得する。位置取得部５０は、例えば、第１撮像部１５による第２撮像装置２ｂの撮像画像とリファレンス情報が示すコードとを比較することによって、撮像画像における識別子（提示部１０）の位置を検出する。
【００６７】
位置取得部５０は、例えば、撮像画像における識別子（提示部１０）の位置と、第１測距部１６により第２撮像装置２ｂを検出した結果から得られるデプス情報とを使って、第１検出部１１から識別子までの距離を検出する。位置取得部５０は、例えば、識別子と第２検出部３２との相対位置を示す情報を使って、第１検出部１１と第２検出部３２との距離を算出する。位置取得部５０は、上述のような処理により、図２（Ｂ）に示した辺Ｔｒ３の長さを算出してもよい。
【００６８】
なお、位置取得部５０は、撮像画像における識別子のサイズを使って、第１検出部１１から識別子までの距離を検出してもよい。例えば、第１撮像部１５の画角、焦点情報（例、合焦情報、焦点距離）、倍率などの情報を用いると、撮像画像の１ピクセルに相当する実空間でのサイズと、第１撮像部１５からの距離との関係が得られる。例えば、実空間における識別子のサイズは、リファレンス情報に示されており、位置取得部５０は、リファレンス情報に示される識別子のサイズと、撮像画像における識別子のサイズとを比較することにより、第１検出部１１から識別子までの距離を算出してもよい。
【００６９】
また、位置取得部５０は、撮像画像における識別子と、リファレンス情報が示す識別子のコードとを、アフィン変換などを用いて比較することにより、識別子が形成される面の姿勢を算出する。例えば、位置取得部５０は、提示部１０の表面の法線方向と、第１撮像部１５の視線との角度を算出する。例えば、提示部１０の表面と第２撮像装置２ｂの視線との角度はリファレンス情報に示されている。例えば、位置取得部５０は、リファレンス情報に示される提示部１０の表面と第２撮像装置２ｂの視線との角度と、算出した提示部１０の表面と第１撮像部１５の視線との角度とを使って、図２（Ａ）に示した第１撮像装置２ａの視線Ｖ１と第２撮像装置２ｂの視線Ｖ２との角度を算出することができる。
【００７０】
なお、図２（Ｂ）に示した第１検出部１１から対象物ＯＢ上の点ＯＢａまでの距離（辺Ｔｒ１の長さ）、及び辺Ｔｒ１と第１撮像装置２ａの視線Ｖ１との角度は、それぞれ、第１検出部１１の検出結果から得られる。位置取得部５０は、Ｔｒ１と第１撮像装置２ａの視線Ｖ１との角度と、辺Ｔｒ３と第１撮像装置２ａの視線Ｖ１との角度とを使って、内角θ１を算出することもできる。このような処理により、対象物ＯＢの表面の任意の点に対して、例えば図２（Ｂ）に示した三角形Ｔｒを一意に定めることができる。例えば、第１撮像装置２ａと第２撮像装置２ｂと対象物ＯＢの表面上の点ＯＢａとの位置関係を示す情報を算出することができる。
【００７１】
図３の説明に戻り、情報処理装置３は、例えば、通信部５１、記憶部５２、モデル統合部５３、レンダリング処理部５４、及び制御部５５を備える。通信部５１は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５１は、第１撮像装置２ａの通信部１３および第２撮像装置２ｂの通信部３６のそれぞれと通信可能である。
【００７２】
記憶部５２は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５２は、例えば、通信部５１を介して受信した情報の少なくとも一部のデータ、複数の撮像装置２を制御する撮像制御プログラム、情報処理装置３の各処理を実行させる処理プログラム、などを記憶する。
【００７３】
モデル統合部５３は、対象物ＯＢを第１方向から検出した結果（第１の検出結果）を元に算出される第１モデル情報と、対象物ＯＢを第２方向から検出した結果（第２の検出結果）を元に算出される第２モデル情報とを統合して、統合モデル情報を生成する。モデル統合部５３は、例えば、第１撮像装置２ａから供給される第１モデル情報と、第１撮像装置２ａから供給される位置情報と、第２撮像装置２ｂから供給される第２モデル情報とを使って、モデル統合処理を行う。
【００７４】
第１モデル情報は、例えば、第１撮像装置２ａの位置および姿勢により定まる第１座標系において、三次元座標で表される形状情報を含む。第２モデル情報は、例えば、第２撮像装置２ｂの位置および姿勢により定まる第２座標系において、三次元座標で表される形状情報を含む。モデル統合部５３は、例えば、第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を使って、第２座標系で表された第２モデル情報の形状情報を、第１座標系で表された形状情報に変換する。また、モデル統合部５３は、例えば、第１座標系で表された第１モデル情報の形状情報と、第１座標系で表された第２モデル情報の形状情報とを統合することによって、統合モデル情報を算出する。
【００７５】
このように、第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を用いる場合、例えば第１モデル情報と第２モデル情報との特徴点のマッチングを省略して、該位置情報に基づいて統合モデル情報を算出することができる。また、位置情報を用いる場合、第１モデル情報に対応する第１部分モデルと、第２モデル情報に対応する第２部分モデルとで重複部分が無い場合でも、統合モデル情報を算出することができる。なお、モデル統合処理において、第１モデル情報と第２モデル情報とで特徴点のマッチングを行ってもよい。この場合、例えば、第２モデル情報の空間における特徴点を第１モデル情報の空間で探索する際に、位置情報を用いることにより特徴点の探索の範囲を狭くすることができ、処理の負荷を減らすことができる。
【００７６】
レンダリング処理部５４は、例えば、グラフィックス  プロセッシング  ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５４は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５４は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
【００７７】
レンダリング処理部５４は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５４は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５４は、例えば、算出した推定画像のデータを記憶部５２に記憶させる。複数の撮像装置２は、それぞれ、モデル情報の少なくとも一部を情報処理装置３に送信可能であるので、例えば、情報処理装置３は、レンダリング処理の負荷を減らすことができる。また、例えば、複数の撮像装置２は、第１撮像部１５によって撮像された全ての撮像画像を情報処理装置３に送信しなくてもよく、第１情報算出部１２が算出したモデル情報の少なくとも一部（例、形状情報およびテクスチャ情報）を情報処理装置３に送信することができる。このため、本実施形態に係る複数の撮像装置２は、それぞれ、レンダリング処理部５４の描画処理に必要な情報の通信負荷を低減することができる。
【００７８】
また、レンダリング処理部５４は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５４は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。
【００７９】
レンダリング処理部５４は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５４は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
【００８０】
制御部５５は、例えば、情報処理装置３の各部、複数の撮像装置２、入力装置４、及び表示装置５を制御する。制御部５５は、例えば、通信部５１を制御し、複数の撮像装置２のそれぞれに、指令（制御信号）や設定情報を送信させる。制御部５５は、例えば、通信部５１が複数の撮像装置２から受信した情報を、記憶部５２に記憶させる。制御部５５は、例えば、レンダリング処理部５４を制御し、レンダリング処理を実行させる。
【００８１】
制御部５５は、例えば、通信部５１を介して複数の撮像装置２に指令（信号）を送ることで、複数の撮像装置２を制御する。例えば、制御部５５は、通信部５１を制御し、所定の情報の送信を要求する指令（要求信号）を複数の撮像装置２に送信する。制御部５５は、複数の撮像装置２に各処理を実行させる指令を、複数の撮像装置２に送信してもよい。例えば、制御部５５は、第１撮像装置２ａの第１検出部１１に検出処理を実行させる指令を、第１撮像装置２ａに送信してもよい。例えば、制御部５５は、第１撮像装置２ａの第１情報算出部１２にモデル情報の算出処理を実行させる指令を、第１撮像装置２ａに送信してもよい。また、情報処理装置３の制御部５５は、第１撮像装置２ａの第１撮像部１５に対象物ＯＢの撮像を実行させる指令、及び対象物ＯＢの撮像条件を設定させる指令を、第１撮像装置２ａに送信してもよい。情報処理装置３の制御部５５は、第１撮像装置２ａに第２撮像装置２ｂの識別情報を検出する処理を実行させる指令を、第１撮像装置２ａに送信してもよい。
【００８２】
通信部１３は、例えば、第１情報算出部１２が算出した情報を、項目ごとに選択的に送信する。例えば、記憶部２７に記憶されている設定情報は、モデル情報の各項目の情報を送信するか否かを定めた送信項目情報、及び各項目の情報を送信する順番を定めた送信順番情報を含む。この設定情報は、例えば、入力部２６の操作、情報処理装置３からの指令などにより更新可能である。制御部２８は、例えば、通信部１３を制御し、送信項目情報に定められた項目の情報を、送信順番情報に定められた順に送信させる。なお、制御部２８は、例えば、通信部１３を制御して、送信項目情報に定められた項目の情報（例、形状情報およびテクスチャ情報）を所定のデータフォーマットに基づいて一度に送信してもよい。
【００８３】
送信項目情報は、例えば、情報処理装置３のレンダリング処理に使われるか否かに応じて設定されていてもよい。例えば、レンダリング処理において、対象物ＯＢの形状に、対象物ＯＢと異なるテクスチャを合成する場合がある。この場合、情報処理装置３は、例えば、対象物ＯＢの形状情報を使うとともに、対象物ＯＢのテクスチャ情報を使わないで、レンダリング処理を実行できる。送信項目情報は、例えば、形状情報を送信するが、テクスチャ情報を送信しないことを定めた情報に設定される。この場合、第１情報算出部１２は、テクスチャ情報を算出しなくてもよい。
【００８４】
また、例えば、レンダリング処理において、対象物ＯＢに対する照明を変更した画像を算出する場合がある。情報処理装置３は、例えば、対象物ＯＢの形状情報、パターン情報、及び光学特性情報を使うとともに、光源情報を使わないで、レンダリング処理を実行できる。この場合、送信項目情報は、例えば、形状情報、パターン情報、及び光学特性情報を送信し、光源情報を送信しないことを定めた情報に設定される。また、例えば、送信項目情報は、形状情報、テクスチャ情報、パターン情報、光源情報および光学特性情報のうち少なくとも１つの情報を送信することを定めた情報に設定される。複数の撮像装置２は、例えばモデル情報のうち一部を送信する場合、通信の負荷を減らすことができる。
【００８５】
送信順番情報は、例えば、情報処理装置３のレンダリング処理における優先順位に応じて設定されていてもよい。例えば、送信順番情報は、レンダリング処理において先に使われる項目の情報を先に送るように設定されていてもよい。例えば、レンダリング処理において、視点を変えながらテクスチャがない対象物ＯＢを見た画像を算出し、視点を定めた後、この視点から、テクスチャがある対象物ＯＢを見た画像を算出する場合がある。情報処理装置３は、例えば、形状情報を使うとともにテクスチャ情報を使わないで、テクスチャがない対象物ＯＢを、視点を変えて見た画像を算出できる。送信項目情報は、例えば、形状情報を先に送信し、テクスチャ情報を形状情報よりも後で送信することを定めた情報に設定される。複数の撮像装置２は、例えば、モデル情報の各項目の情報を情報処理装置３のレンダリング処理における優先順位に応じた順に送信する場合、情報処理装置３のレンダリング処理の一部と並行してそれらの情報を送信することができる。また、例えば、第１撮像装置２ａの制御部２８は、第１情報算出部１２によるモデル情報の算出の少なくとも一部と通信部１３による情報の送信処理とを並行して実行させることができる。
【００８６】
情報処理装置３の制御部５５は、例えば、入力装置４に入力された情報を、記憶部５２に記憶させる。入力装置４に入力される情報は、例えば、レンダリング処理の設定情報を含む。この設定情報は、例えば、描画処理の対象のデータ（例、モデル情報の形状情報）、描画処理における視点の情報、テクスチャマッピング処理においてテクスチャを貼り付ける物体のデータ、テクスチャマッピング処理において貼り付けるテクスチャの情報（例、モデル情報のテクスチャ情報）、シェーディング処理における光源の情報（例、モデル情報の光源情報）の少なくとも一つを含む。レンダリング処理部５４は、例えば、設定情報に従って、レンダリング処理を実行する。
【００８７】
制御部５５は、例えば、記憶部５２に記憶される各種情報を示す画像を、表示装置５に表示させる。例えば、制御部５５は、レンダリング処理の設定情報を表示装置５に表示させ、入力装置４により設定情報の変更を受け付ける。また、制御部５５は、記憶部５２に記憶させている推定画像のデータが示す画像を、表示装置５に表示させる。
【００８８】
なお、情報処理装置３は、レンダリング処理によって得られた推定画像を表示装置５に表示させなくてもよく、この場合に、撮像システム１は、表示装置５を備えていなくてもよい。例えば、情報処理装置３は、レンダリング処理により算出される推定画像のデータの少なくとも一部を他の装置（再生デバイス）に通信部５１を介して送信し、他の装置がこの画像を表示してもよい。例えば、情報処理装置３は、推定画像のデータを、通信部５１を介して第１撮像装置２ａの通信部１３へ送信してもよく、第１撮像装置２ａは、通信部１３を介して受信した推定画像のデータを元に推定画像を表示部２５に表示させてもよい。例えば、再生デバイスは、レンダリング処理により算出された情報（推定画像）を取得して、その情報を表示部に表示する。
【００８９】
なお、情報処理装置３は、各種の設定情報を他の装置から通信部５１を介して受信してもよく、この場合に、撮像システム１は、入力装置４を備えていなくてもよい。例えば、第１撮像装置２ａは、レンダリング処理の設定情報（例、推定画像の元になる視点の情報）を、通信部１３を介して情報処理装置３の通信部５１に送信してもよい。また、情報処理装置３は、第１撮像装置２ａから受信したレンダリング処理の設定情報に従ってレンダリング処理を実行してもよい。
【００９０】
なお、第１撮像装置２ａは、レンダリング処理により算出される推定画像のデータを要求する指令を、通信部１３を介して情報処理装置３の通信部５１へ送信してもよい。情報処理装置３は、第１撮像装置２ａからの指令に対する応答として推定画像のデータを、通信部５１を介して第１撮像装置２ａの通信部１３へ送信してもよい。第１撮像装置２ａは、上記の要求指令をレンダリング処理の設定情報の一部として送信してもよいし、レンダリング処理の設定情報と別の指令（例、制御信号）として送信してもよい。
【００９１】
なお、第１撮像装置２ａは、情報処理装置３に制御されて上記の各種処理を実行する場合、制御部２８、記憶部２７、表示部２５、及び入力部２６の少なくとも一部を備えていなくてもよい。第２撮像装置２ｂについても同様である。また、第１撮像装置２ａは、例えば、ユーザの操作によって上記の各種処理を実行し、情報処理装置３に制御されなくてもよい。例えば、第１撮像装置２ａは、外部の装置からの指令（制御信号）を受けることなく上記の各種処理を実行してもよく、ユーザの操作、あるいは予め定められた処理スケジュールに従って上記の各種処理を実行してもよい。第１撮像装置２ａは、第１情報算出部１２の算出結果（例、モデル情報など）を、情報処理装置３の他の装置に通信部１３を介して送信してもよい。
【００９２】
次に、撮像システム１の動作に基づき、本実施形態に係る撮像方法について説明する。図７は、撮像システム１の動作を示すフローチャートである。図７のステップＳ１において、第１撮像装置２ａは、第１検出部１１によって対象物ＯＢを第１方向から検出し、例えば可視光画像のデータおよび点群データを取得する。ステップＳ２において、第１情報算出部１２は、ステップＳ１における第１検出部１１の検出結果を使って、第１モデル情報を算出する。
【００９３】
ステップＳ３において、第２撮像装置２ｂは、第２検出部３２によって対象物ＯＢを第２方向から検出し、例えば可視光画像のデータおよび点群データを取得する。ステップＳ４において、第２情報算出部３３は、ステップＳ３における第２検出部３２の検出結果を使って、第２モデル情報を算出する。
【００９４】
なお、ステップＳ３の処理は、ステップＳ１およびステップＳ２の処理の少なくとも一部と並行して行われてもよいし、ステップＳ１およびステップＳ２の処理よりも先に行われてもよい。また、ステップＳ４の処理は、ステップＳ３の処理後の任意のタイミングで行ってもよい。
【００９５】
ステップＳ５において、第１撮像装置２ａは、第１検出部１１の第１撮像部１５により、第２撮像装置２ｂの識別情報を検出する。ステップＳ６において、第１撮像装置２ａは、ステップＳ５において検出した識別情報を使って、位置取得部５０により第１検出部１１と第２検出部３２との位置関係を示す位置情報を取得する。
【００９６】
なお、ステップＳ５の処理は、ステップＳ３およびステップＳ４の処理の少なくとも一部と並行して行われてもよい。第１撮像装置２ａの視野内に対象物ＯＢおよび第２撮像装置２ｂが配置されている場合、ステップＳ５の処理は、ステップＳ１およびステップＳ２の処理の少なくとも一部と並行して行われてもよい。また、ステップＳ５の処理は、ステップＳ１の処理よりも先に行われてもよい。
【００９７】
ステップＳ７において、情報処理装置３は、モデル統合部５３により、第１モデル情報と第２モデル情報とを統合する。モデル統合部５３は、モデル統合部５３は、第１撮像装置２ａから供給される第１モデル情報と、第１撮像装置２ａから供給される位置情報と、第２撮像装置２ｂから供給される第２モデル情報とを使って、モデル統合処理を行う。
【００９８】
図８は、撮像システム１の動作の他の例を示すシーケンス図である。本例において、撮像システム１は、特徴点をマッチングして統合モデル情報を算出する。ステップＳ１１において、第１撮像装置２ａは、対象物ＯＢを第１方向から検出し、可視光画像および点群データを取得する。ステップＳ１２において、第１情報算出部１２は、第１モデル情報を算出する。ステップＳ１３において、第１情報算出部１２は、第１モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って第１特徴点を検出し、第１特徴点の位置とその特徴点の特徴量（第１特徴量）とを示す第１特徴点データを算出する。ステップＳ１４において、第１撮像装置２ａは、第１特徴点データを情報処理装置３に送信する。ステップＳ１５において、情報処理装置３は、第１撮像装置２ａから第１特徴点データを受信する。
【００９９】
ステップＳ１６において、第２撮像装置２ｂは、対象物ＯＢを第２方向から検出し、可視光画像および点群データを取得する。ステップＳ１７において、第２情報算出部３３は、第２モデル情報を算出する。ステップＳ１８において、第２情報算出部３３は、第２モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って第２特徴点を検出し、第２特徴点の位置とその特徴点の特徴量（第２特徴量）とを示す第２特徴点データを算出する。ステップＳ１９において、第２撮像装置２ｂは、第２特徴点データを情報処理装置３に送信する。ステップＳ２０において、情報処理装置３は、第２撮像装置２ｂから第２特徴点データを受信する。
【０１００】
ステップＳ２１において、第１撮像装置２ａは、第２撮像装置２ｂの識別情報を算出する。ステップＳ２２において、第１撮像装置２ａは、識別情報を使って、第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を取得する。ステップＳ２３において、第１撮像装置２ａは、情報処理装置３に位置情報を送信する。ステップＳ２４において、情報処理装置３は、第１撮像装置２ａから位置情報を受信する。なお、上記の第１特徴点データと第２特徴点データの少なくとも一方は、情報処理装置３が算出してもよい。この場合、例えば、情報処理装置３は、第１撮像装置２ａから第１モデル情報を取得し、この第１モデル情報をもとに第１特徴点データを算出してもよい。情報処理装置３は、同様にして第２特徴点データを算出してもよい。
【０１０１】
情報処理装置３は、ステップＳ２５において、位置情報を使って、第１特徴点データと第２特徴点データとをマッチングする（特徴部分のマッチング処理）。マッチング処理において、情報処理装置３は、例えば、第１特徴点データに含まれる特徴部分に類似する部分を、第２特徴点データの空間において探索する。情報処理装置３は、例えば、第２特徴データの空間において第１特徴点データの特徴部分に相当する部分を、位置情報を使って推定し、推定した部分およびその周囲を探索する。そのため、位置情報を使わない場合と比較して、例えば探索に要する処理の負荷を減らすことができる。
【０１０２】
ステップＳ２６において、情報処理装置３は、統合モデル情報のうち、第１撮像装置２ａからの第１モデル情報に担当させる第１担当領域と、第２撮像装置２ｂからの第２モデル情報に担当させる第２担当領域とを決定（設定）する。例えば、モデル統合部５３は、第１担当領域と第２担当領域とが重複しないように、各担当領域を選択する。
【０１０３】
ステップＳ２７において、情報処理装置３の制御部５５は、通信部５１を制御し、第１担当領域における第１モデル情報の送信を要求する指令（第１要求信号）を、第１撮像装置２ａの通信部１３に送信する。以下、第１担当領域における第１モデル情報を、第１指定情報という。第１指定情報は、例えば、第１モデル情報が示す形状の一部の形状に関する情報である。ステップＳ２８において、第１撮像装置２ａの通信部１３は、ステップＳ２７の指令を受信する。ステップＳ２９において、第１情報算出部１２は、第１モデル情報のうち第１指定情報を抽出する。ステップＳ３０において、第１撮像装置２ａの通信部１３は、第１指定情報を情報処理装置３の通信部５１に送信する。ステップＳ３１において、通信部５１は、通信部１３から第１指定情報を受信する。
【０１０４】
情報処理装置３の制御部５５は、ステップＳ２７の処理の後のステップＳ３２において、通信部５１を制御し、第２担当領域における第２モデル情報の送信を要求する指令（第２要求信号）を、第２撮像装置２ｂの通信部３６に送信する。以下、第２担当領域における第２モデル情報を、第２指定情報という。第２指定情報は、例えば、第２モデル情報が示す形状の一部の形状に関する情報である。第２撮像装置２ｂの通信部３６は、ステップＳ３３において、ステップＳ３２の指令を受信する。第２情報算出部３３は、ステップＳ３４において、第２モデル情報のうち第２指定情報を抽出する。第２撮像装置２ｂの通信部３６は、ステップＳ３５において、第２指定情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ３６において、通信部３６から第２指定情報を受信する。情報処理装置３のモデル統合部５３は、ステップＳ３７において、第１モデル情報の一部である第１指定情報と、第２モデル情報の一部である第２指定情報とを統合し、統合モデル情報を算出する。
【０１０５】
なお、上述の実施形態において、第１撮像装置２ａは、第２撮像装置２ｂの姿勢を検出するが、第２撮像装置２ｂの姿勢を検出しなくてもよい。例えば、第２撮像装置２ｂは、地磁気センサなどの方位センサを備え、方位センサによって第２本体部３１の姿勢を検出してもよい。この場合に、第１撮像装置２ａは、第２撮像装置２ｂの識別情報の検出後に、第２撮像装置２ｂとの通信を介して、第２撮像装置２ｂ（第２本体部３１）の姿勢を取得してもよい。
【０１０６】
なお、第２撮像装置２ｂの第２本体部３１は、提示部１０を備えていなくてもよい。例えば、第１撮像装置２ａは、第２撮像装置２ｂの形状情報とテクスチャ情報の少なくとも一方を識別情報として検出してもよい。また、第１撮像装置２ａおよび第２撮像装置２ｂは、それぞれ、提示部１０を備え、第１撮像装置２ａおよび第２撮像装置２ｂは、それぞれ、位置取得部５０を備えていてもよい。第２撮像装置２ｂは、第１撮像装置２ａの識別情報を検出してもよい。
【０１０７】
［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、本実施形態に係る撮像システム１を示す図である。
【０１０８】
上述の実施形態においては、例えば図２に示したように、第２撮像装置２ｂが第１撮像装置２ａの視野ＶＦ１内に配置される例を説明した。図９（Ａ）に示すように、第２撮像装置２ｂ（例、提示部１０）は、第１撮像装置２ａによる対象物ＯＢの検出時に、第１撮像装置２ａの視野ＶＦ１の外側に配置されていてもよい。
【０１０９】
図９（Ｂ）に示すように、第１撮像装置２ａは、例えば、対象物ＯＢを検出しない期間において、第２撮像装置２ｂが視野ＶＦ１に入るように配置される。第１撮像装置２ａは、第２撮像装置２ｂを検出する際に、例えば、対象物ＯＢの検出時から回転した位置に配置される。撮像システム１は、第１撮像装置２ａによる対象物ＯＢの検出時（例、図９（Ａ））と、第１撮像装置２ａによる第２撮像装置２ｂの検出時（例、図９（Ｂ））との間の第１撮像装置２ａの移動量（例、回転角）を検出する。撮像システム１は、この移動量を使って、対象物ＯＢの検出時における第１撮像装置２ａと、対象物ＯＢの検出時における第２撮像装置２ｂとの位置関係を示す位置情報を取得する。
【０１１０】
図１０は、本実施形態に係る撮像システム１を示すブロック図である。撮像システム１は、第１本体部１４の移動量を検出する移動検出部６０を備える。移動検出部６０は、例えば、第１本体部１４に設けられる。移動検出部６０は、例えば角速度センサを含み、第１本体部１４の回転開始から回転終了までの期間における第１本体部１４の角速度を時間積分することにより、第１本体部１４の回転角（移動量）を検出する。
【０１１１】
なお、移動検出部６０は、地磁気センサなどにより第１本体部１４の回転位置を検出し、第１本体部１４の回転前後の回転位置の差分を算出することにより、第１本体部１４の回転角を算出してもよい。第１撮像装置２ａは、ユーザの手動により移動してもよいし、例えば移動体（例、回転体）に支持されており、移動体の移動（回転）に伴って移動（回転）してもよい。この場合、移動検出部６０は、移動体の移動を検出するエンコーダなどから回転情報を取得し、第１撮像装置２ａの移動量を検出してもよい。また、移動検出部６０は、第１撮像装置２ａ以外の装置に設けられていてもよい。例えば、移動検出部６０は、第１撮像装置２ａとは別の撮像装置によって第１撮像装置２ａを撮像した画像をもとに、第１撮像装置２ａの移動量を検出してもよい。
【０１１２】
位置取得部５０は、移動検出部６０から第１撮像装置２ａの移動量を取得する。第１撮像装置２ａが対象物ＯＢの検出後に第２撮像装置２ｂを検出する場合、位置取得部５０は、移動後の第１撮像装置２ａによる第２撮像装置２ｂの検出結果を使って、移動後の第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を取得する。位置取得部５０は、位置情報および第１撮像装置２ａの移動量を使って、移動前（対象物ＯＢの検出時）の第１撮像装置２ａと第２撮像装置２ｂの位置関係を示す位置情報を算出する。
【０１１３】
なお、第１撮像装置２ａが第２撮像装置２ｂの検出後に対象物ＯＢを検出する場合、位置取得部５０は、移動前の第１撮像装置２ａによる第２撮像装置２ｂの検出結果を使って、移動前の第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を取得する。位置取得部５０は、位置情報および第１撮像装置２ａの移動量を使って、移動後（対象物ＯＢの検出時）の第１撮像装置２ａと第２撮像装置２ｂの位置関係を示す位置情報を算出する。
【０１１４】
図１１は、本実施形態に係る撮像システム１の動作を示すフローチャートである。ステップＳ４１において、移動検出部６０は、第１撮像装置２ａ（第１本体部１４）の移動の検出を開始する。ステップＳ４２において、例えばユーザの手動または第１撮像装置２ａを移動させる移動体によって、第１撮像装置２ａの視野に第２本体部３１が入るように第１本体部１４を配置する。ステップＳ４３において、第１検出部１１（例、第１撮像部１５）によって、第２本体部３１の識別情報を検出する。ステップＳ４４において、移動検出部６０は、第１本体部１４の移動の検出を終了する。ステップＳ４５において、位置取得部５０は、第１本体部１４の移動量を使って、第１検出部１１と第２検出部３２の位置関係を示す位置情報を算出する。
【０１１５】
図１２は、本実施形態に係る変形例を示す図である。図１０において第１撮像装置２ａを回転させる例を説明したが、図１２に示すように、第１撮像装置２ａを平行移動させて、第２撮像装置２ｂが視野に入る位置に第１撮像装置２ａを配置してもよい。この場合、移動検出部６０は、例えば加速度センサを含み、第１撮像装置２ａの移動開始から移動終了までの期間において、加速度を時間積分して速度を算出し、速度を時間積分して位置の変化量（移動量）を算出する。なお、第１撮像装置２ａを支持する移動体によって、第１撮像装置２ａを移動させる場合、移動検出部６０は、移動体の位置を検出するエンコーダの検出結果を使って、第１撮像装置２ａの移動量を算出してもよい。
【０１１６】
なお、第１撮像装置２ａの視野に対象物ＯＢおよび第２撮像装置２ｂが入る場合であっても、例えば、第２撮像装置２ｂの識別情報を第１撮像装置２ａにより検出しにくい場合などには、第１撮像装置２ａを移動させて第２撮像装置２ｂの識別情報を検出してもよい。また、移動検出部６０は、第１撮像装置２ａの回転量および平行移動量をそれぞれ検出し、位置取得部５０は、第１撮像装置２ａの回転量および平行移動量を使って、位置情報を取得してもよい。また、第２撮像装置２ｂを第１撮像装置２ａの視野ＶＦ１内に移動して、第１撮像装置２ａにより第２撮像装置２ｂの識別情報を検出してもよい。この場合、第２撮像装置２ｂの移動量を検出し、位置取得部５０は、その検出結果を使って位置情報を取得してもよい。
【０１１７】
［第３実施形態］
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１３は、本実施形態に係る撮像システム１を示す図である。
【０１１８】
第１撮像装置２ａは、第２撮像装置２ｂの識別情報のうち、少なくとも個体識別情報（例、ＩＤ）を検出する。第１撮像装置２ａは、検出した個体識別情報を使って、第２撮像装置２ｂの位置を保持するデータベースＤＢ（記憶部）から情報を取得し、第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を算出する。
【０１１９】
図１４は、データベースＤＢのデータ構造の例を示す図である。データベースＤＢは、例えば、撮像システム１が備える装置の識別情報と関連付けられるＩＤと、各ＩＤの装置の名称と、各ＩＤの装置の位置と、各ＩＤの装置の姿勢とを関連付けて保持する。例えば、ＩＤが１の装置は、第１撮像装置２ａであり、その位置は、Ｘ座標がＸ１、Ｙ座標がＹ１、Ｚ座標がＺ１であり、その姿勢は、Ｘ軸周りの回転角がα１、Ｙ軸周りの回転角がβ１、Ｚ軸周りの回転角がγ１である。各ＩＤの装置の位置および姿勢は、例えば、撮像システム１が設置される設置スペースに任意に設定される座標系を用いて定義される。
【０１２０】
データベースＤＢを構築するには、例えば、第１撮像装置２ａを任意の位置に、任意の姿勢で配置し、対象物ＯＢの検出前と検出後の少なくとも一方において第１撮像装置２ａの位置および姿勢を測定し、その測定値をデータテーブルに登録する。また、例えば、撮像システム１の設置スペースに三脚などの支持部材が複数位置決めされ、複数の支持部材のいずれかに撮像装置を取り付けることで、この撮像装置を位置決めする場合、撮像装置の位置は、支持部材の位置により定まる。この場合、データベースＤＢを構築するには、データテーブルに、複数の支持部材のそれぞれの位置と、各支持部材に取り付けられる撮像装置のＩＤとを登録してもよい。また、撮像システム１の設置スペースにおいて、撮像装置を設置する位置にマークなどが設けられる場合、支持部材の座標の代わりにマークの座標をデータテーブルに登録してもよい。
【０１２１】
図３などに示した位置取得部５０は、例えば、第１撮像部１５により第２撮像装置２ｂの識別情報（例、個体識別情報）を検出し、この識別情報を使って、データベースＤＢから第２撮像装置２ｂの位置を取得する。また、位置取得部５０は、例えば記憶部２７に記憶される第１撮像装置２ａの識別情報を使って、データベースＤＢから第１撮像装置２ａの位置を取得する。また、位置取得部５０は、データベースＤＢから取得した第１撮像装置２ａの位置と第２撮像装置２ｂの位置を使って、第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を算出する。
【０１２２】
データベースＤＢは、例えば、図３などに示した情報処理装置３の記憶部５２に格納される。データベースＤＢは、第１撮像装置２ａの記憶部２７に格納されていてもよく、第２撮像装置２ｂの記憶部３９に格納されていてもよいし、撮像システム１の外部の記憶装置に格納されていてもよい。また、データベースＤＢは、例えば、第１撮像装置２ａと第２撮像装置２ｂとの相対的な位置を保持してもよい。この場合に、第１撮像装置２ａは、第２撮像装置２ｂの識別情報を検出後に、識別情報を使って、データベースＤＢから第２撮像装置２ｂとの相対的な位置を取得してもよい。
【０１２３】
また、複数の装置の情報を包括的にデータベースＤＢに保持させる代わりに、例えば、図１４に示した情報の一部を他の記憶部に記憶させてもよい。例えば、第１撮像装置２ａの記憶部２７は、第１撮像装置２ａの位置を記憶し、第２撮像装置２ｂの記憶部３９は、第２撮像装置２ｂの位置を記憶してもよい。この場合、第１撮像装置２ａは、第２撮像装置２ｂを検出した後に、第２撮像装置２ｂとの通信により第２撮像装置の位置を取得して、第１撮像装置２ａと第２撮像装置２ｂとの位置関係を示す位置情報を算出してもよい。なお、第１撮像装置２ａは、データベースＤＢなどから第２撮像装置２ｂの位置に関する情報を取得する場合に、第１検出部１１による第２撮像装置２ｂの位置の検出を行わなくてもよい。
【０１２４】
［第４実施形態］
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１５は、本実施形態に係る撮像システム１を示す図である。
【０１２５】
本実施形態において、第１撮像装置２ａは、モデル統合部６１を備える。第１撮像装置２ａは、対象物ＯＢを検出し、その検出結果を使って第１モデル情報を算出する。また、第１撮像装置２ａは、第２撮像装置２ｂとの通信を介して、第２撮像装置２ｂが算出した第２モデル情報を取得する。モデル統合部６１は、第１モデル情報と第２モデル情報とを使って、統合モデル情報を算出する。モデル統合部６１がモデル情報の統合に用いるアルゴリズムは、例えば、第１実施形態に説明した情報処理装置３のモデル統合部５３と同様でよい。第１撮像装置２ａは、例えば、算出した統合モデル情報を情報処理装置３に供給する。情報処理装置３は、例えば、統合モデル情報を使ってレンダリング処理を行う。
【０１２６】
本実施形態において、第１撮像装置２ａは、第１検出部１１が対象物ＯＢを検出するタイミングの情報（以下、タイミング情報という）を検出する計時部６２を備える。タイミング情報は、例えば、第１検出部１１が検出処理を行った期間（例、日時）を示す情報を含む。タイミング情報は、第１検出部１１が検出処理を行った期間の開始時刻と終了時刻の少なくとも一方を含んでいてもよい。第２撮像装置２ｂは、計時部６２と同様の計時部６３を備える。
【０１２７】
タイミング情報は、例えば、対象物ＯＢが撮像装置によって検出されたタイミングが異なる複数の検出結果を用いて、モデル統合を行う際に使われる。例えば、複数の検出結果のうち対象物ＯＢを検出したタイミングが相対的に近い少なくとも２つの検出結果を元に、複数のモデル情報を算出し、算出した複数のモデル情報を統合してもよい。
【０１２８】
なお、タイミング情報は、第１検出部１１により対象物ＯＢを検出することが予定されている期間の情報を含んでいてもよい。第１撮像装置２ａと第２撮像装置２ｂとは、タイミング情報を送受信し、制御部２８や通信部１３を用いて互いに同期をとって対象物ＯＢを検出してもよい。
【０１２９】
以上のように、情報処理装置３は、モデル統合部５３を備えていなくてもよい。また、撮像システム１が備える複数の撮像装置２のうち少なくとも１つの撮像装置（例、第１撮像装置２ａ）と、情報処理装置３とに、それぞれ、モデル統合部５３が設けられていてもよい。この場合、撮像システム１において相対的に負荷が小さい装置において、モデル統合処理を実行してもよい。また、撮像システム１は、モデル統合処理を行わなくてもよく、撮像システム１の外部の装置がモデル統合処理を行ってもよい。また、撮像システム１は、レンダリング処理を行わなくてもよく、撮像システム１の外部の装置がレンダリング処理を行ってもよい。また、撮像システム１は、情報処理装置３を備えていなくてよい。
【０１３０】
なお、本発明の技術範囲は、上記の実施形態などで説明した態様に限定されるものではない。例えば、撮像装置の制御部は、記憶部に記憶されている撮像プログラム（検出プログラム、制御プログラム）を読み出し、この撮像プログラムに従って上記した各種の処理を実行する。この撮像プログラムは、例えば、コンピュータに、上記した各種の処理を実行させる。また、上記の撮像プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。上記の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上記の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上記の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
【符号の説明】
【０１３１】
１  撮像システム、２ａ  第１撮像装置、２ｂ  第２撮像装置、１０  提示部、１１  第１検出部、１２  第１情報算出部、１４  第１本体部、１５  第１撮像部、１６  第１測距部、３１  第２本体部、３２  第２検出部、３３  第２情報算出部、３４  第２撮像部、３５  第２測距部、４１  識別子、５０  位置取得部、５３  モデル統合部、６０  移動検出部、６１  モデル統合部、ＯＢ  対象物
【図１】
2016158855.tif 000003
【図２】
2016158855.tif 000004
【図３】
2016158855.tif 000005
【図４】
2016158855.tif 000006
【図５】
2016158855.tif 000007
【図６】
2016158855.tif 000008
【図７】
2016158855.tif 000009
【図８】
2016158855.tif 000010
【図９】
2016158855.tif 000011
【図１０】
2016158855.tif 000012
【図１１】
2016158855.tif 000013
【図１２】
2016158855.tif 000014
【図１３】
2016158855.tif 000015
【図１４】
2016158855.tif 000016
【図１５】
2016158855.tif 000017
【手続補正書】
【提出日】平成29年9月26日(2017.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１本体部と、
前記第１本体部に設けられ、対象物を撮像する第１撮像部を含む第１検出部と、
前記第１本体部に設けられ、前記第１検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、
前記第１本体部から離れた位置に配置され、前記第１撮像部によって検出される識別情報を有する第２本体部と、
前記第２本体部に設けられ、前記対象物を撮像する第２撮像部を含む第２検出部と、
前記第１撮像部が検出した前記識別情報をもとに、前記第１検出部と前記第２検出部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像システム。
【請求項２】
前記第２本体部に設けられ、前記第２検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第２情報算出部と、
前記第１情報算出部が算出した前記形状情報及び前記テクスチャ情報の少なくとも一方を含む第１モデル情報と、前記第２情報算出部が算出した前記形状情報及び前記テクスチャ情報の少なくとも一方を含む第２モデル情報とを、前記位置情報を用いて統合するモデル統合部と、を備える請求項１に記載の撮像システム。
【請求項３】
前記第１本体部に設けられ、距離を検出する第１測距部を備える、請求項１または請求項２に記載の撮像システム。
【請求項４】
前記位置取得部は、前記第１測距部が検出した前記第１測距部から前記対象物までの距離と、前記識別情報とを使って前記位置情報を算出する、請求項１又は請求項２に記載の撮像システム。
【請求項５】
前記位置取得部は、
前記第１測距部が検出した前記第１測距部から前記対象物までの距離と、
前記第１測距部が検出した前記第１測距部から前記第２本体部までの距離と、を使って前記位置情報を算出する、請求項３または請求項４に記載の撮像システム。
【請求項６】
前記位置取得部は、前記第１本体部に設けられている、請求項１から請求項５のいずれか一項に記載の撮像システム。
【請求項７】
前記第１検出部による前記対象物の検出時と、前記第１検出部による前記第２本体部の検出時との間の前記第１本体部の移動量を検出する移動検出部を備え、
前記位置取得部は、前記移動検出部の検出結果を使って前記位置情報を算出する、請求項１から請求項６のいずれか一項に記載の撮像システム。
【請求項８】
前記移動検出部は、前記第１本体部に設けられている、請求項７に記載の撮像システム。
【請求項９】
前記識別情報は前記第２本体部の側面を含み、
前記位置取得部は、前記第２本体部の側面における特定部分をもとに、前記位置情報を取得する、請求項１から請求項８のいずれか一項に記載の撮像システム。
【請求項１０】
前記第２本体部が取り付けられる支持部材を備え、
前記位置取得部は、前記識別情報をもとに前記支持部材が配置された位置を特定して、特定した前記位置に基づき前記位置情報を取得する、請求項１から請求項９のいずれか一項に記載の撮像システム。
【請求項１１】
前記第２本体部に設けられ、前記識別情報を含む識別子を提示する提示部を備える、請求項１から請求項１０のいずれか一項に記載の撮像システム。
【請求項１２】
前記位置取得部は、前記第１撮像部が検出した前記識別子と、予め記憶されている前記識別子の情報とを比較して、前記識別子の姿勢を算出する、請求項１１に記載の撮像システム。
【請求項１３】
前記識別子は、前記第２本体部に対して定められる所定方向との角度に応じて光強度が変化する光を放射し、
前記位置取得部は、前記識別子からの光を前記第１検出部が検出した結果を使って、前記第１検出部と前記識別子とを結ぶ方向と前記所定方向との角度を算出する、請求項１１または請求項１２に記載の撮像システム。
【請求項１４】
前記位置取得部は、前記第２本体部の位置の設定値を記憶する記憶部から、前記第１撮像部が検出した識別情報を使って前記設定値を取得する、請求項１から請求項１３のいずれか一項に記載の撮像システム。
【請求項１５】
前記提示部は、時間的に変化するパターンによって前記識別情報を提示する、請求項１１から請求項１４のいずれか一項に記載の撮像システム。
【請求項１６】
第１本体部と、
前記第１本体部に設けられ、対象物を撮像する第１撮像部と、
前記第１本体部に設けられ、前記第１撮像部の撮像結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、
前記第１撮像部の視野内に配置され、前記第１撮像部によって撮像される側面を有する第２本体部と、
前記第２本体部に設けられ、前記対象物を撮像する第２撮像部と、
前記第１撮像部が撮像した前記側面の特定部分をもとに、前記第１撮像部と前記第２撮像部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像システム。
【請求項１７】
前記モデル情報の少なくとも一部を情報処理装置に送信する通信部を備える、請求項１６に記載の撮像システム。
【請求項１８】
第１本体部と、
前記第１本体部に設けられ、対象物を撮像する第１撮像部を含む第１検出部と、
前記第１本体部に設けられ、前記第１検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する第１情報算出部と、
前記第１本体部から離れた位置に配置される第２本体部の識別情報を前記第１撮像部により検出した結果を使って、前記第１検出部と前記第２本体部との位置関係を示す位置情報を取得する位置取得部と、を備える撮像装置。
【請求項１９】
前記位置取得部は、前記第１撮像部が撮像した前記識別情報の画像を用いて画像認識を行うことによって前記位置情報を取得する、請求項１８に記載の撮像装置。
【請求項２０】
前記第１撮像部は、前記第２本体部の表面に設けられた前記識別情報を撮像する、請求項１８又は請求項１９に記載の撮像装置。
【請求項２１】
前記形状情報及び前記テクスチャ情報の少なくとも一方を含むモデル情報と、前記第２本体部において前記対象物を撮像して得られる形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報とを、前記位置情報を用いて統合するモデル統合部を備える、請求項１８から請求項２０のいずれか一項に記載の撮像装置。
【請求項２２】
所定のデータフォーマットに基づいて生成され、前記モデル統合部によって統合された統合モデル情報を送信する通信部を備える、請求項２１に記載の撮像装置。
【請求項２３】
前記モデル情報は、ヘッダ情報を含む、請求項２１又は請求項２２に記載の撮像装置。
【請求項２４】
第１本体部に設けられる第１撮像部により対象物を撮像することと、
前記第１撮像部を含む第１検出部の検出結果を使って、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、
前記第１本体部から離れた位置に配置される第２本体部に設けられる第２撮像部により前記対象物を撮像することと、
前記第１撮像部を使って、前記第２本体部が有する識別情報を検出することと、
前記第１撮像部が検出した前記識別情報をもとに、前記第２撮像部を含む第２検出部と前記第１検出部との位置関係を示す位置情報を取得することと、を含む撮像方法。
【請求項２５】
コンピュータに、
第１本体部に設けられ第１撮像部を含む第１検出部によって、対象物を撮像することと、
前記第１本体部に設けられる第１情報算出部によって、前記第１検出部の検出結果を使って前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、
前記第１本体部から離れた位置に配置される第２本体部の識別情報を前記第１撮像部により検出した結果を使って、前記第１検出部と前記第２本体部との位置関係を示す位置情報を取得することと、を実行させる撮像プログラム。
【請求項２６】
コンピュータに、
第１本体部に設けられる第１撮像部によって対象物を撮像することと、
前記第１本体部に設けられる第１情報算出部によって、前記第１撮像部の撮像結果を使って前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出することと、
前記第１撮像部の視野内に配置され前記第１撮像部によって撮像される側面を有する第２本体部に設けられる第２撮像部によって、前記対象物を撮像することと、
前記第１撮像部が撮像した前記側面の特定部分をもとに、前記第１撮像部と前記第２撮像部との位置関係を示す位置情報を取得することと、を実行させる撮像プログラム。
【国際調査報告】
2016158855.tif 000018
2016158855.tif 000019