(57)【要約】【課題】  ノイズの影響を低減し、対象物体の３次元位置を高い精度で計測することが可能な３次元データ生成装置およびそれに関連する技術を提供する。【解決手段】  ３次元データ生成装置１Ａは、計測対象物を異なる視点から撮影してステレオ画像を取得するステレオ画像撮影手段（カメラ２Ａ，２Ｂ）と、複数組のステレオ画像の取得期間における計測対象物とステレオ画像撮影手段との相対位置変化の有無を判定する判定部３１と、相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して３次元データ生成用の積分画像を生成する積分処理部３２と、３次元データ生成用の積分画像を用いて計測対象物の３次元データを算出する３次元データ算出部３３とを備える。【選択図】図１
2008157780.tif 000002
【特許請求の範囲】
【請求項１】
計測対象物の３次元データを生成する３次元データ生成装置であって、
前記計測対象物を異なる視点から撮影してステレオ画像を取得するステレオ画像撮影手段と、
複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定する判定手段と、
前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して３次元データ生成用の積分画像を生成する積分画像生成手段と、
前記３次元データ生成用の積分画像を用いて前記計測対象物の３次元データを算出する３次元データ算出手段と、
を備えることを特徴とする３次元データ生成装置。
【請求項２】
請求項１に記載の３次元データ生成装置において、
前記判定手段は、前記複数組のステレオ画像を視点画像ごとに比較して前記相対位置変化の有無を判定することを特徴とする３次元データ生成装置。
【請求項３】
請求項１または請求項２に記載の３次元データ生成装置において、
前記複数組のステレオ画像は、所定時間間隔で順次に撮影されるステレオ画像を含むことを特徴とする３次元データ生成装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の３次元データ生成装置において、
前記判定手段は、前記複数組のステレオ画像内の設定領域のデータに基づいて、前記相対位置変化の有無を判定することを特徴とする３次元データ生成装置。
【請求項５】
請求項４に記載の３次元データ生成装置において、
前記設定領域は、操作者による操作入力に応じて変更可能であることを特徴とする３次元データ生成装置。
【請求項６】
請求項４に記載の３次元データ生成装置において、
前記設定領域は、前記複数組のステレオ画像の色情報に基づいて決定されることを特徴とする３次元データ生成装置。
【請求項７】
請求項４に記載の３次元データ生成装置において、
前記設定領域は、前記複数組のステレオ画像の明度情報に基づいて決定されることを特徴とする３次元データ生成装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の３次元データ生成装置において、
新たに取得されたステレオ画像である入力画像を格納する入力画像記憶手段と、
前記入力画像と当該入力画像よりも前に取得された過去のステレオ画像とを視点画像ごとに積分した積分画像を記憶する積分画像記憶手段と、
をさらに備えることを特徴とする３次元データ生成装置。
【請求項９】
請求項１ないし請求項７のいずれかに記載の３次元データ生成装置において、
第ｉ回目（ただし、ｉは自然数）に取得されたステレオ画像を格納する入力画像記憶手段と、
第１段から第Ｋ段（ただし、Ｋは自然数）までの多段フレームメモリを有する積分画像記憶手段と、
を備え、
前記多段フレームメモリの第ｊ段（ただし、ｊはＫ以下の自然数）は、第（ｉ−ｊ）回目から第ｉ回目までに取得された複数組のステレオ画像を視点画像ごとに積分した積分画像を記憶することを特徴とする３次元データ生成装置。
【請求項１０】
請求項９に記載の３次元データ生成装置において、
前記積分画像記憶手段は、第ｊ段のフレームメモリに格納される積分画像が前記３次元データ生成用の積分画像として適切であるか否かを示すフラグ情報を、前記判定手段による判定結果に応じて設定することを特徴とする３次元データ生成装置。
【請求項１１】
請求項８ないし請求項１０のいずれかに記載の３次元データ生成装置において、
前記積分画像生成手段は、前記積分画像記憶手段に格納される複数の積分画像の中で、前記３次元データ生成用の積分画像として適切であると判定されたもののうち最も積分回数が多いものを、前記３次元データ生成用の積分画像として決定することを特徴とする３次元データ生成装置。
【請求項１２】
請求項８ないし請求項１０のいずれかに記載の３次元データ生成装置において、
前記積分画像生成手段は、前記積分画像記憶手段に格納される複数の積分画像の中で、前記３次元データ生成用の積分画像として適切であると判定されたもののうち所定回数以上積分されて生成されたものを、前記３次元データ生成用の積分画像として決定することを特徴とする３次元データ生成装置。
【請求項１３】
請求項１ないし請求項１２のいずれかに記載の３次元データ生成装置において、
前記３次元データ算出手段は、前記計測対象物の異なる部分に対応する複数の前記３次元データ生成用の積分画像に基づいて複数の部分データを生成し、さらに当該複数の部分データを合成することによって前記計測対象物の３次元データを生成することを特徴とする３次元データ生成装置。
【請求項１４】
請求項１３に記載の３次元データ生成装置において、
前記３次元データ算出手段は、前記複数の部分データのうち、その積分回数が所定の条件を満たす積分画像に基づいて生成された部分データに関してのみ、テクスチャ情報を付与することを特徴とする３次元データ生成装置。
【請求項１５】
請求項１ないし請求項１４のいずれかに記載の３次元データ生成装置において、
前記３次元データ算出手段は、その積分回数が所定の条件を満たす前記３次元データ生成用の積分画像に関してのみ、前記計測対象物の部分的な３次元データである部分データを生成することを特徴とする３次元データ生成装置。
【請求項１６】
請求項１ないし請求項１５のいずれかに記載の３次元データ生成装置において、
前記３次元データ算出手段は、前記積分画像の対応点探索処理におけるパラメータを、当該積分画像の積分回数に応じて決定することを特徴とする３次元データ生成装置。
【請求項１７】
計測対象物に関する３次元データ生成用の画像データを取得する画像取得装置であって、
前記計測対象物を異なる視点から撮影してステレオ画像を取得するステレオ画像撮影手段と、
複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定する判定手段と、
前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して積分画像を生成する積分画像生成手段と、
前記積分画像を前記３次元データ生成用の画像データとして出力する出力手段と、
を備えることを特徴とする画像取得装置。
【請求項１８】
計測対象物の３次元データを生成する３次元データ生成方法であって、
ステレオ画像撮影手段により前記計測対象物を異なる視点から撮影してステレオ画像を取得するステップと、
複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定するステップと、
前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して３次元データ生成用の積分画像を生成するステップと、
前記３次元データ生成用の積分画像を用いて前記計測対象物の３次元データを算出するステップと、
を備えることを特徴とする３次元データ生成方法。
【請求項１９】
計測対象物に関する３次元データ生成用の画像データを取得する画像取得方法であって、
ステレオ画像撮影手段により前記計測対象物を異なる視点から撮影してステレオ画像を取得するステップと、
複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定するステップと、
前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分した積分画像を、前記３次元データ生成用の画像データとして出力するステップと、
を備えることを特徴とする画像取得方法。
【請求項２０】
コンピュータに、請求項１８に記載の３次元データ生成方法を実行させるためのプログラム。
【請求項２１】
コンピュータに、請求項１９に記載の画像取得方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測対象物の３次元データ生成装置およびそれに関連する技術に関する。
【背景技術】
【０００２】
ステレオ画像を用いて三角測量の原理に基づいて物体の３次元位置を求める技術が存在する（特許文献１等参照）。
【０００３】
【特許文献１】特開平８−５３６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影される画像にはノイズが存在していることが多く、このようなノイズの存在は、３次元位置の計測精度に影響を及ぼす。特に、ステレオ画像における対応点探索において、ノイズが計測精度に影響を及ぼす可能性が高い。
【０００５】
そこで、この発明の課題は、ノイズの影響を低減し、計測対象物の３次元位置を高い精度で計測することが可能な３次元データ生成装置およびそれに関連する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、請求項１の発明は、計測対象物の３次元データを生成する３次元データ生成装置であって、前記計測対象物を異なる視点から撮影してステレオ画像を取得するステレオ画像撮影手段と、複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定する判定手段と、前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して３次元データ生成用の積分画像を生成する積分画像生成手段と、前記３次元データ生成用の積分画像を用いて前記計測対象物の３次元データを算出する３次元データ算出手段とを備えることを特徴とする。
【０００７】
請求項２の発明は、請求項１の発明に係る３次元データ生成装置において、前記判定手段は、前記複数組のステレオ画像を視点画像ごとに比較して前記相対位置変化の有無を判定することを特徴とする。
【０００８】
請求項３の発明は、請求項１または請求項２の発明に係る３次元データ生成装置において、前記複数組のステレオ画像は、所定時間間隔で順次に撮影されるステレオ画像を含むことを特徴とする。
【０００９】
請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る３次元データ生成装置において、前記判定手段は、前記複数組のステレオ画像内の設定領域のデータに基づいて、前記相対位置変化の有無を判定することを特徴とする。
【００１０】
請求項５の発明は、請求項４の発明に係る３次元データ生成装置において、前記設定領域は、操作者による操作入力に応じて変更可能であることを特徴とする。
【００１１】
請求項６の発明は、請求項４の発明に係る３次元データ生成装置において、前記設定領域は、前記複数組のステレオ画像の色情報に基づいて決定されることを特徴とする。
【００１２】
請求項７の発明は、請求項４の発明に係る３次元データ生成装置において、前記設定領域は、前記複数組のステレオ画像の明度情報に基づいて決定されることを特徴とする。
【００１３】
請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係る３次元データ生成装置において、新たに取得されたステレオ画像である入力画像を格納する入力画像記憶手段と、前記入力画像と当該入力画像よりも前に取得された過去のステレオ画像とを視点画像ごとに積分した積分画像を記憶する積分画像記憶手段とをさらに備えることを特徴とする。
【００１４】
請求項９の発明は、請求項１ないし請求項７のいずれかの発明に係る３次元データ生成装置において、第ｉ回目（ただし、ｉは自然数）に取得されたステレオ画像を格納する入力画像記憶手段と、第１段から第Ｋ段（ただし、Ｋは自然数）までの多段フレームメモリを有する積分画像記憶手段とを備え、前記多段フレームメモリの第ｊ段（ただし、ｊはＫ以下の自然数）は、第（ｉ−ｊ）回目から第ｉ回目までに取得された複数組のステレオ画像を視点画像ごとに積分した積分画像を記憶することを特徴とする。
【００１５】
請求項１０の発明は、請求項９の発明に係る３次元データ生成装置において、前記積分画像記憶手段は、第ｊ段のフレームメモリに格納される積分画像が前記３次元データ生成用の積分画像として適切であるか否かを示すフラグ情報を、前記判定手段による判定結果に応じて設定することを特徴とする。
【００１６】
請求項１１の発明は、請求項８ないし請求項１０のいずれかの発明に係る３次元データ生成装置において、前記積分画像生成手段は、前記積分画像記憶手段に格納される複数の積分画像の中で、前記３次元データ生成用の積分画像として適切であると判定されたもののうち最も積分回数が多いものを、前記３次元データ生成用の積分画像として決定することを特徴とする。
【００１７】
請求項１２の発明は、請求項８ないし請求項１０のいずれかの発明に係る３次元データ生成装置において、前記積分画像生成手段は、前記積分画像記憶手段に格納される複数の積分画像の中で、前記３次元データ生成用の積分画像として適切であると判定されたもののうち所定回数以上積分されて生成されたものを、前記３次元データ生成用の積分画像として決定することを特徴とする。
【００１８】
請求項１３の発明は、請求項１ないし請求項１２のいずれかの発明に係る３次元データ生成装置において、前記３次元データ算出手段は、前記計測対象物の異なる部分に対応する複数の前記３次元データ生成用の積分画像に基づいて複数の部分データを生成し、さらに当該複数の部分データを合成することによって前記計測対象物の３次元データを生成することを特徴とする。
【００１９】
請求項１４の発明は、請求項１３の発明に係る３次元データ生成装置において、前記３次元データ算出手段は、前記複数の部分データのうち、その積分回数が所定の条件を満たす積分画像に基づいて生成された部分データに関してのみ、テクスチャ情報を付与することを特徴とする。
【００２０】
請求項１５の発明は、請求項１ないし請求項１４のいずれかの発明に係る３次元データ生成装置において、前記３次元データ算出手段は、その積分回数が所定の条件を満たす前記３次元データ生成用の積分画像に関してのみ、前記計測対象物の部分的な３次元データである部分データを生成することを特徴とする。
【００２１】
請求項１６の発明は、請求項１ないし請求項１５のいずれかの発明に係る３次元データ生成装置において、前記３次元データ算出手段は、前記積分画像の対応点探索処理におけるパラメータを、当該積分画像の積分回数に応じて決定することを特徴とする。
【００２２】
請求項１７の発明は、計測対象物に関する３次元データ生成用の画像データを取得する画像取得装置であって、前記計測対象物を異なる視点から撮影してステレオ画像を取得するステレオ画像撮影手段と、複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定する判定手段と、前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して積分画像を生成する積分画像生成手段と、前記積分画像を前記３次元データ生成用の画像データとして出力する出力手段とを備えることを特徴とする。
【００２３】
請求項１８の発明は、計測対象物の３次元データを生成する３次元データ生成方法であって、ステレオ画像撮影手段により前記計測対象物を異なる視点から撮影してステレオ画像を取得するステップと、複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定するステップと、前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分して３次元データ生成用の積分画像を生成するステップと、前記３次元データ生成用の積分画像を用いて前記計測対象物の３次元データを算出するステップとを備えることを特徴とする。
【００２４】
請求項１９の発明は、計測対象物に関する３次元データ生成用の画像データを取得する画像取得方法であって、ステレオ画像撮影手段により前記計測対象物を異なる視点から撮影してステレオ画像を取得するステップと、複数組のステレオ画像の取得期間における前記計測対象物と前記ステレオ画像撮影手段との相対位置変化の有無を判定するステップと、前記相対位置変化が存在しない期間に取得された複数組のステレオ画像を視点画像ごとに積分した積分画像を、前記３次元データ生成用の画像データとして出力するステップとを備えることを特徴とする。
【００２５】
請求項２０の発明は、コンピュータに、請求項１８の発明に係る３次元データ生成方法を実行させるためのプログラムであることを特徴とする。
【００２６】
請求項２１の発明は、コンピュータに、請求項１９の発明に係る画像取得方法を実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００２７】
請求項１ないし請求項２１に記載の発明によれば、ノイズの影響を低減し、計測対象物の３次元位置を高い精度で計測することが可能である。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態を図面に基づいて説明する。
【００２９】
＜１．構成＞
図１は、本発明の実施形態に係る３次元データ生成装置１Ａの構成を示す概略図であり、図２は、３次元データ生成装置１Ａの外観正面図である。また、図３は、或る撮影時点における３次元データ生成装置１Ａと計測対象物（ここでは人物の頭部）との関係を示す側面図であり、図４は図３と同一の状況における上面図である。また、図５は、３次元データ生成装置１Ａが随時移動していく様子を示す上面図である。さらに、図６は、後述する「積分画像」の生成動作を説明する概念図である。
【００３０】
図２に示されるように、３次元データ生成装置１Ａは、本体部１０と当該本体部１０を支持して移動させる台車部４０とを備えている。また、図１に示されるように、本体部１０は、複数台（ここでは２台）のカメラ（例えば、カラーＣＣＤカメラ）２Ａ，２Ｂを有する撮像部２と、ＣＰＵ等を有するコンピュータシステムとして構成される制御部３０とを備えている。当該コンピュータシステムにおいて所定のプログラムを実行することによって、各種の処理部が機能的に実現される。
【００３１】
２台のカメラ２Ａ，２Ｂは、互いに基線長Ｌ（図２参照）離れて配置されており、これらのカメラ２Ａ，２Ｂは、それぞれ、計測対象物を同時に互いに異なる視点から撮影した撮影画像ＧＡ，ＧＢを取得する（図６参照）。当該撮影画像の組ＳＧ（ＧＡ，ＧＢ）は、ステレオ画像を構成するものとして取得される。また、この実施形態においては、撮像部２は、このようなステレオ画像を微小時間間隔Δｔ（例えば１／３０秒）で順次に取得する。これによって、複数組のステレオ画像ＳＧｉ（ＧＡｉ，ＧＢｉ）が時系列で取得される。なお、ここでは、２台のカメラ２Ａ，２Ｂは、鉛直方向に離れて配置されているが、これに限定されず、例えば、水平方向に離れて配置されてもよい。
【００３２】
制御部３０は、判定部３１と積分処理部３２と３次元データ算出部３３と記憶部３４とを備えている。制御部３０は、三角測量の原理に基づきステレオ画像を用いて計測対象物の３次元データを生成する。この３次元データは、例えば、複数の特徴点の位置情報等を含むものとして構成される。
【００３３】
ただし、この実施形態においては、撮像部２で取得された各組のステレオ画像そのものから３次元データを生成するのではなく、複数組のステレオ画像を加算（積分）した「積分画像（ＩＺ、図６参照）」を用いて３次元データを生成する場合を例示する。積分画像（詳細には積分画像の組）ＩＺは、複数組のステレオ画像ＳＧｉ（ＧＡｉ，ＧＢｉ）を各視点ごとに加算（積分）して生成される画像ＩＡ，ＩＢ（の組）である。換言すれば、積分画像ＩＺは、複数組のステレオ画像ＳＧを、複数のカメラ２Ａ，２Ｂの各視点で得られた画像（視点画像とも称する）ＧＡ，ＧＢごとに加算（積分）して生成される画像ＩＺ（ＩＡ，ＩＢ）（１組のステレオ画像）であるとも表現される。なお、「積分画像」は、複数の積分対象画像の対応画素ごとにその画素値を加算することのみによって得られる画像に限定されず、複数の積分対象画像の対応画素ごとにその画素値を加算平均（加重平均を含む）することによって得られる画像等をも含むものとする。
【００３４】
さらに、この実施形態では、このようにして得られる積分画像ＩＺのうち、後述するような条件を満たす積分画像（詳細には、実質的に同一の被写体像に関する積分画像）を利用して、計測対象物の３次元データを算出する。これによれば、ノイズの影響を低減し、計測対象物の３次元データを高精度で取得することが可能である。
【００３５】
積分処理部３２は、複数組のステレオ画像を視点画像ごとに積分し「積分画像」を生成する。積分処理部３２は、記憶部３４内の多段フレームメモリを用いて、互いに異なる期間の積分画像である複数組の積分画像を生成する。
【００３６】
判定部３１は、特定期間における計測対象物（例えば人物の頭部）と撮像部２との相対位置変化の有無を判定する。
【００３７】
ここでは、複数組のステレオ画像の取得期間における両者の相対位置変化の有無を、当該複数組のステレオ画像を各視点ごとに比較して（換言すれば、各視点で得られた画像（視点画像）ごとに比較して）両者の相対位置変化の有無を判定する場合を例示する。これによれば、画像システムとは別個に相対位置変化検出用のセンサを設けることを要しない。
【００３８】
具体的には、図７に示すように、或る入力時点で新たに入力された入力画像Ｇｉｎ（例えばＧＡｉ）と当該入力時点の直前までの過去の積分画像ＩＺ（例えばＩＡ）とを比較して、計測対象物ＨＤと撮像部２（例えばカメラ２Ａ）との相対位置変化の有無を判定する。詳細には、入力画像（例えばＧＡｉ）と過去の積分画像（例えばＩＡ）とを画素毎に比較して画素毎の相違量が所定値以上となる画素の数を計測し、当該画素の数が所定の閾値以下であるか否かによって被写体像の実質的な同一性を判断することができる。ただし、これに限定されず、例えば、図１３に示すように、ＭＰＥＧなどに利用されるような複数の画素で構成される画素ブロックＢＫの移動量（両画像ＩＡ，ＧＡｉ間での画素ブロックＢＫの移動量）を検出して、当該移動量が所定量以上となる画素ブロック数が所定の閾値以下であることを条件に、計測対象物ＨＤと撮像部２との相対位置変化が無いものと判定するようにしてもよい。なお、図７および図１３においては、一方の視点画像ＧＡについて示しているが、他方の視点画像ＧＢについても同様である。
【００３９】
３次元データ算出部３３は、生成された「積分画像」のうち、判定部３１によって実質的に同一の被写体像を撮影したものと判定される「積分画像」（「３次元データ生成用の積分画像」とも称する）を利用して、計測対象物の３次元データを算出する。ここでは、相対位置変化が存在しない期間に取得された「積分画像」が、実質的に同一の被写体像を撮影したものと判定される。
【００４０】
また、この実施形態においては、特定の「積分画像」に基づく３次元データの生成処理によって、計測対象物の部分的な３次元データ（「部分データ」とも称される）が生成される。この「部分データ」は、計測対象物の全体のうち、特定の方向から視認可能な部分に関する３次元データである。そして、計測対象物を様々な方向から撮像したステレオ画像（特に積分画像）によって計測対象物に関する異なる複数の部分データが生成され、さらに当該複数の部分データを合成することによって計測対象物の３次元データが生成される。
【００４１】
図５に示すように、３次元データ生成装置１Ａ（詳細には撮像部２）は、台車部４０を用いて本体部１０を移動させることによって、撮影位置Ｐ１，Ｐ２，Ｐ３，Ｐ４を含む複数の位置から、計測対象物（詳細には人物の頭部）ＨＤを撮影する。なお、ここでは、撮影位置Ｐ１，Ｐ２，Ｐ３，Ｐ４は、計測対象物ＨＤをその中心に配置した円上の点であって、当該円の円周を４等分する位置であるものとする。
【００４２】
具体的には、３次元データ生成装置１Ａは、所定期間（約１秒間）静止して計測対象物ＨＤの正面側の画像を撮影位置Ｐ１から撮影する。そして、３次元データ生成装置１Ａは撮影位置Ｐ２に移動した後に所定期間静止して、計測対象物ＨＤの右側面の画像を撮影位置Ｐ２から撮影する。その後、３次元データ生成装置１Ａは、撮影位置Ｐ３に移動した後に所定期間静止して、計測対象物ＨＤの背後側の画像を撮影位置Ｐ３から撮影する。さらにその後、３次元データ生成装置１Ａは、撮影位置Ｐ４に移動した後に所定期間静止して、計測対象物ＨＤの左側面の画像を撮影位置Ｐ４から撮影する。このように、３次元データ生成装置１Ａは、それぞれ異なる方向から見た計測対象物を撮影する。そして、各方向からの撮影結果に基づいて複数（ここでは４つ）の部分データ（３次元データ）を生成する。さらに、これ複数の部分データを合成することによって計測対象物の全体データ（３次元データ）を生成する。上述したように、各部分データの取得の際に上記の「積分画像」を用いることによって各部分データの精度を向上させることが可能であり、ひいては全体データの精度を向上させることが可能である。
【００４３】
これによれば、台車部４０を用いた本体部１０の移動と静止とが繰り返されるうちに、静止期間中の撮影画像に基づく積分画像が生成され、当該積分画像に基づいて正確な３次元データを生成することが可能である。
【００４４】
以下では、このような動作について詳細に説明する。
【００４５】
＜２．動作＞
＜２−１．概要＞
図８は、３次元データ生成装置１Ａの動作を示すフローチャートである。ここでは、図９および図１０に示すように、時系列に取得される基準画像ＧＡおよび参照画像ＧＢの双方をそれぞれ多段フレームメモリ（多段メモリとも称する）に格納する場合を例示する。基準画像ＧＡ用の多段フレームメモリと参照画像ＧＢ用の多段フレームメモリとはそれぞれ記憶部３４内に構成される。
【００４６】
実質的に同一の被写体像が継続して撮影されていると判定される期間においては、ステップＳ１１〜ステップＳ１５において「積分画像」が随時更新される。なお、この実施形態においては、多段フレームメモリを用いて、異なる期間に関する複数の積分画像が取得される。
【００４７】
一方、実質的に異なる被写体像が撮影されたと判定されると、その時点までに多段フレームメモリに格納されていた複数の積分画像の中で所定の条件を満たすものを３次元データ生成用の積分画像として決定して出力する（ステップＳ１６〜Ｓ１７）。この条件としては、例えば、「３次元データ生成用の積分画像として適切であると判定されたもののうち、最も積分回数が多いものであり且つ所定の回数以上積分されたものであること」を採用することができる。これによって、実質的に同一の被写体像が継続して撮影されていると判定される期間に取得された積分画像を、３次元データ生成用の積分画像として取得することができる。その後、ステップＳ１８で撮影動作終了が決定されると、ステップＳ１９に進み、ステップＳ１７で出力された積分画像を用いて計測対象物ＨＤの３次元データを算出する。
【００４８】
これによれば、例えば、撮影位置Ｐ１，Ｐ２，Ｐ３，Ｐ４での静止期間における各積分画像が３次元データ生成装置１Ａに保存され、当該各積分画像に基づいて各部分データが生成され、当該部分データを統合した全体データが生成される。
【００４９】
＜２−２．積分画像の生成動作の詳細＞
次に、ステップＳ１１〜Ｓ１７の動作の詳細について説明する。なお、ここでは、基準画像ＧＡに関する積分画像の生成動作を中心に説明するが、参照画像ＧＢに関する積分画像の生成動作も同様に行われる。
【００５０】
図１１は、多段フレームメモリの格納情報を示す図である。図１１においては、時刻Ｔ(i-1)における各フレームメモリＦｊ（ｊ＝０，１，...，Ｋ）の格納情報と、時刻Ｔ(ｉ)における各フレームメモリＦｊの格納情報とが示されている。また、各フレームメモリＦｊの右上に付された「○」および「×」は、同一性フラグＦＬｊの内容を示している。このフラグＦＬｊは、第ｊ段のフレームメモリＦｊに格納される積分画像が３次元データ生成用の積分画像として適切であるか否かを示すフラグ情報である。
【００５１】
図１１に示すように、この多段フレームメモリにおいて、（第０番目の）第０フレームメモリＦ０は最新の入力画像の格納領域（換言すれば、入力画像記憶部）として利用される。また、（第１段目の）第１フレームメモリＦ１から（第Ｋ段目の）第ＫフレームメモリＦＫまでのＫ段の多段フレームメモリは、それぞれ、個別の所定期間にわたる過去の積分画像が格納される領域である。具体的には、第１フレームメモリＦ１は、最新の入力画像とその１つ前の入力画像との積分画像が格納される領域である。また、第２フレームメモリＦ２は、最新の入力画像とその１つ前の入力画像とさらにその１つ前の入力画像との積分画像が格納される領域、換言すれば、最新の入力画像からその２つ前の入力画像までの画像の積分画像が格納される領域である。また、第３フレームメモリＦ３は、最新の入力画像からその３つ前の入力画像までの画像の積分画像が格納される領域である。このように、第ｊフレームメモリＦｊは、最新の入力画像からそのｊ個前の入力画像までの画像の積分画像が格納される領域である。
【００５２】
例えば、時刻Ｔ(ｉ)において、最新の入力画像Ｇ(ｉ)が入力されて所定の更新処理が終了すると図１１の右側の各欄の情報（データ）が各フレームメモリＦｊに格納されることになる。すなわち、第０フレームメモリＦ０には、最新の入力画像Ｇ(ｉ)が格納されるとともに、第１フレームメモリＦ１〜第ＫフレームメモリＦＫには、それぞれ異なる期間にわたる積分画像が格納される。具体的には、第１フレームメモリＦ１には、最新の入力画像Ｇ(ｉ)からその１つ前の入力画像Ｇ(i-1)までの画像の積分画像が格納される。また、第２フレームメモリＦ２には、最新の入力画像Ｇ(ｉ)からその１つ前の入力画像Ｇ(i-2)までの画像の積分画像が格納される。同様に、第ｊフレームメモリＦｊには、最新の入力画像Ｇ(ｉ)からそのｊ個前の入力画像Ｇ(i-j)までの（ｊ＋１）個の画像の積分画像が格納される。なお、ｉは整数（詳細には自然数）であり、特にｉが２以上の自然数の場合には、いずれかのフレームメモリＦｊに積分画像が格納されていることになる。
【００５３】
また、上述したように、このような多段フレームメモリは、各視点画像ＧＡ，ＧＢの双方についてそれぞれ設けられている。したがって、多段フレームメモリの第ｊ段（ｊはＫ以下の自然数）（すなわちフレームメモリＦｊ）は、第（ｉ−ｊ）回目から第ｉ回目までに取得された複数組のステレオ画像を視点画像ごとに積分した積分画像を記憶することになる。
【００５４】
次に、図８および図１１を参照しながら、多段フレームメモリの更新動作について説明する。ここでは、時刻Ｔ(i-1)において図１１に示すような各情報が各多段フレームメモリＦｊに格納されている状態において、新たな入力画像Ｇ（ｉ）が入力されたときの更新動作について説明する。
【００５５】
図１１に示すように、時刻Ｔ(i-1)において画像Ｇ(i-1)が入力され、フレームメモリＦｊ（ｊ＝０，１，...，Ｋ）に、それぞれ、Ｇ(i-1)，Ｇ(i-2)＋Ｇ(i-1)，Ｇ(i-3)＋Ｇ(i-2)＋Ｇ(i-1)，Ｇ(i-4)＋Ｇ(i-3)＋Ｇ(i-2)＋Ｇ(i-1)，...が格納されている状況を想定する。
【００５６】
この状況において新たな画像Ｇ（ｉ）が入力される（図８、ステップＳ１１）と、まず、新たな画像Ｇ（ｉ）と積分画像とを比較することによって、計測対象物ＨＤと撮像部２（詳細には各カメラ２Ａ，２Ｂ）との相対位置変化の有無が判定される（ステップＳ１２）。そして、その比較処理の結果に応じて、相対位置変化の有無、換言すれば、被写体像の同一性が維持されているか否かが判定される（ステップＳ１３）。このステップＳ１２，Ｓ１３においては、最新の入力画像と過去の積分画像とを比較するとともにその比較結果を用いて判定する比較判定処理が行われる。この比較判定処理としては、例えば、複数の積分画像のうち、対応フラグＦＬの値が「１」（「○」）であり且つ最も積分回数が多い積分画像を比較対象として選択し、当該選択された積分画像と最新の入力画像との同一性を判定する態様を採用することができる。ただし、これに限定されず、例えば、最新の入力画像と直前の入力画像との比較結果を用いた比較判定処理を行うようにしてもよい。
【００５７】
上述したように、この比較判定処理において、実質的に異なる被写体像が撮影されたと判定されると、ステップＳ１６〜Ｓ１８に進み、さらに撮影処理が継続される場合にはステップＳ１４に進む。一方、被写体像の同一性が維持されていると判定されると、ステップＳ１６〜Ｓ１８を実行することなく、そのままステップＳ１４に進む。
【００５８】
ステップＳ１４では、第ｊフレームメモリＦｊに格納されている積分画像と新たな画像Ｇ（ｉ）との比較処理がそれぞれ実行され、当該比較処理の結果に応じて、各フレームメモリＦｊに格納される積分画像が３次元データ生成用の積分画像として適切であるか否かを判定する判定処理が行われる。そして、当該判定処理の結果に応じて、各段のフレームメモリＦｊにそれぞれ対応して設けられる同一性フラグＦＬｊ（正確には次述するように一段先のフレームメモリＦ(j+1)に対応するフラグＦＬ(j+1)）の値が設定される。当該フラグの値としては、例えば、同一性が維持されている（すなわち相対位置変化が無い）（「○」）と判定されるときには「１」が格納され、同一性が維持されていない（すなわち相対位置変化が有る）（「×」）と判定されるときには「０（ゼロ）」が格納される。
【００５９】
このとき、第ｊフレームメモリＦｊに格納されている積分画像と新たな画像Ｇ（ｉ）との比較処理の結果は、１段先、すなわち、第（ｊ＋１）段のフレームメモリＦ(j+1)のフラグ領域（同一性フラグＦＬ(j+1)）に格納される。１段先に格納することによって、次のステップＳ１５での更新後の新たな各積分画像のそれぞれに対する同一性フラグを更新する処理が実行されることになる。なお、この比較処理は、必ずしも全てのフレームメモリを対象に行われることを要さず、複数のフレームメモリＦｊのうち、比較時点において同一性が有ると判定されているフレームメモリ（対応フラグの値として「１」が格納されているフレームメモリ）のみを対象にして行われてもよい。この場合、比較処理を実際には行わなかったフレームメモリに関するフラグには、比較処理結果として、「０（ゼロ）」を格納しておけばよい。
【００６０】
その後、ステップＳ１５において、多段フレームメモリに格納されている複数の積分画像を更新する処理が行われる。具体的には、第ｊ段（ｊ＝０，...，（Ｋ−１））のフレームメモリＦｊに格納されている過去の積分画像をそれぞれ一段先、すなわち、第（ｊ＋１）段のフレームメモリＦ(j+1)に転送するとともに、各フレームメモリＦｊに新たな入力画像Ｇ（ｉ）をそれぞれさらに加算することによって、多段フレームメモリの各段に格納されている積分画像を更新する処理が行われる。換言すれば、第ｊ段のフレームメモリＦｊには、それまで第(j-1）段のフレームメモリＦ(j-1)内に格納されていた積分画像、具体的には、新たな入力画像Ｇ（ｉ）と直前の入力画像Ｇ(i-1)からその（ｊ−１）個前の入力画像Ｇ(i-ｊ)までの画像の積分画像とを積分した画像が新たな画像として格納される。また、上述したように、ステップＳ１４において、ステップＳ１５での更新後の新たな各積分画像のそれぞれに対する同一性フラグは、予め更新されている。
【００６１】
例えば、フレームメモリＦＫには、直前までフレームメモリＦ(K-1)に格納されていた積分画像と画像Ｇ（ｉ）との積分画像が新たに格納される。また、フレームメモリＦＫに対応するフラグＦＬＫの新たな値としては、直前までフレームメモリＦ(K-1)に格納されていた積分画像と画像Ｇ（ｉ）との比較処理結果に応じた値が格納される。
【００６２】
同様に、フレームメモリＦ３には、直前までフレームメモリＦ２に格納されていた積分画像と画像Ｇ（ｉ）との積分画像が新たに格納される。また、フレームメモリＦ３に対応するフラグＦＬ３の新たな値としては、直前までフレームメモリＦ２に格納されていた積分画像と画像Ｇ（ｉ）との比較処理結果に応じた値が格納される。
【００６３】
また、フレームメモリＦ２には、直前までフレームメモリＦ１に格納されていた積分画像と画像Ｇ（ｉ）との積分画像が新たに格納される。また、フレームメモリＦ２に対応するフラグＦＬ２の新たな値としては、直前までフレームメモリＦ１に格納されていた積分画像と画像Ｇ（ｉ）との比較処理結果に応じた値が格納される。
【００６４】
さらに、フレームメモリＦ１には、直前までフレームメモリＦ０に格納されていた画像Ｇ(i-1)と画像Ｇ（ｉ）との積分画像が新たに格納される。また、フレームメモリＦ１に対応するフラグＦＬ１の新たな値としては、直前までフレームメモリＦ０に格納されていた画像Ｇ(i-1)と画像Ｇ（ｉ）との比較処理結果に応じた値が格納される。
【００６５】
また、第０段のフレームメモリＦ０には、新たな画像Ｇ（ｉ）がそのまま格納される。
【００６６】
なお、ここでは加算処理として加重平均処理を採用することによって、各時刻における入力画像の影響を均等にする。具体的には、第ｊ段のフレームメモリＦｊにおいては、（ｊ＋１）個の画像に関する積分画像が格納されているため、当該フレームメモリＦｊに格納されていた積分画像と新たな入力画像Ｇ（ｉ）とを、（ｊ＋１）：１、の重み付けで加重して平均化した画像を新たな積分画像として当該フレームメモリＦｊに格納する。
【００６７】
以上のような動作によれば、例えば、図１２に示すように、移動終了直後の時刻Ｔ３１において画像Ｇ３１が取得されると、実質的に同一の被写体像に関する２つの画像Ｇ３０，Ｇ３１の積分画像がフレームメモリＦ１に格納される。なお、この時点においては、フレームメモリＦ２〜ＦＫに格納される積分画像は、異なる被写体像に関する積分画像であると判定されているものとする。
【００６８】
その後、さらに時刻Ｔ３２において画像Ｇ３２が取得されると、実質的に同一の被写体像に関する２つの画像Ｇ３１，Ｇ３２の積分画像がフレームメモリＦ１に格納されるとともに、実質的に同一の被写体像に関する３つの画像Ｇ３０，Ｇ３１，Ｇ３２の積分画像がフレームメモリＦ２に格納される。
【００６９】
同様に、時刻Ｔ３３において画像Ｇ３３が取得されると、実質的に同一の被写体像に関する２つの画像Ｇ３２，Ｇ３３の積分画像がフレームメモリＦ１に格納されるとともに、実質的に同一の被写体像に関する３つの画像Ｇ３１，Ｇ３２，Ｇ３３の積分画像がフレームメモリＦ２に格納される。さらに、実質的に同一の被写体像に関する４つの画像Ｇ３０，Ｇ３１，Ｇ３２，Ｇ３３の積分画像がフレームメモリＦ３に格納される。
【００７０】
このように、本体部１０の静止時間の増大とともに、積分処理対象画像の数がより大きな積分画像、換言すれば、より大きな積分回数を有する積分画像が生成される。
【００７１】
＜２−３．積分画像の選定動作および３次元データの生成動作＞
また、上述のステップＳ１６においては、多段フレームメモリに格納される複数の積分画像のうち、対応フラグＦＬが「１」であって且つ最も積分回数が多い積分画像を、３次元データ生成用の積分画像として決定する。そして、決定された積分画像と積分回数とを、出力結果として記憶部３４内の所定領域に格納する（ステップＳ１７）。その後、ステップＳ１９において、ステップＳ１６で決定された積分画像を用いて計測対象物の３次元データが算出される。ステップＳ１９においては、好ましくは、３次元形状データとともに、対象物表面のテクスチャ情報をも含むような３次元データが算出される。
【００７２】
また、上述のステップＳ１８の撮影動作の終了判定処理においては、例えば、操作者からの操作指示の有無、および／または、予め定められた数の積分画像が取得されたか否か、などに応じて、一連の撮影動作を終了させるべきか否かを判定することが可能である。
【００７３】
ステップＳ１８の撮影動作の終了判定処理において、未だ撮影処理を継続すべき旨が判定されると、再びステップＳ１４に戻り、同様の動作が繰り返される。
【００７４】
そして、上記のような動作を繰り返すことによって、計測対象物ＨＤの異なる部分に対応する複数の３次元データ生成用の積分画像が生成されるとともに、当該複数の３次元データ生成用の積分画像に基づいて複数の部分データが生成される。例えば、ステップＳ１７で格納された積分画像に対して、格納順に、その部分データが生成（ステップＳ１９）される。
【００７５】
複数の部分データが生成される場合には、ステップＳＰ１９において、当該複数の部分データを合成する処理も行われる。これによって計測対象物の３次元データ（詳細には全体データ）が生成される。
【００７６】
また、ステップＳ１９の３次元データ生成処理においては、ステレオ画像として得られる積分画像に基づいて３次元データ（３次元位置等）を算出する処理が行われる。この算出処理の一部として実行されるステレオ画像相互間の対応点探索処理においては、フーリエ変換法の一種である位相限定相関法（Phase Only Correlation：ＰＯＣ）と称される相関演算手法が好適に用いられる。これによれば、ステレオ画像相互間における対応点探索を高精度に行い高精度の３次元位置データを得ることができる。
【００７７】
位相限定相関法においては、そのフーリエ変換に用いられるウインドウのウインドウサイズＷＳを決定することが要請される。ウインドウサイズＷＳとしては、例えば、適宜の調整動作によって決定された適宜の固定値を採用することが可能である。ただし、ここでは、上述のようにして得られた積分画像の積分回数に応じてウインドウサイズＷＳを決定する態様を例示する。
【００７８】
一般に、ウインドウサイズＷＳを小さくするとＳＮ比（Signal to Noise ratio） が低下し誤差が大きくなり易い。特に、ノイズが多い場合には、ＳＮ比が大きく低下し、誤差が大きくなり易い。一方、ウインドウサイズＷＳを大きくすると（各方向（例えば、Ｘ方向およびＹ方向）における）解像度が低下する。
【００７９】
そのため、ノイズの量に応じてウインドウサイズＷＳを変更することが好ましい。ここでは、ノイズの量を、積分画像生成の際の積分回数（＝積分対象画像数−１）に基づいて推定するものとし、当該積分回数に応じてウインドウサイズＷＳを変更する。例えば、積分対象画像数がＣ１枚の場合にはＰＯＣにおけるウインドウサイズＷＳの面積を１／√（Ｃ１）に低減させればよい。詳細には、積分回数が３、すなわち積分対象画像数が４枚である場合には、ノイズレベルが１／２に低減すると想定し、ＰＯＣのウインドウサイズＷＳの面積を１／２に設定する。これによれば、解像度の低下を抑制するとともに誤差の増大を抑制することが可能である。
【００８０】
このように、或る積分画像（ステレオ画像）相互間の対応点探索におけるパラメータ（具体的には、位相限定相関法におけるウインドウサイズＷＳ）を、当該積分画像の生成の際の積分回数に応じて決定することが可能である。
【００８１】
＜３．変形例など＞
上記実施形態においては、多段フレームメモリに格納される複数の積分画像のうち、対応フラグＦＬが「１」であって且つ最も積分回数が多い積分画像を、３次元データ生成用の積分画像として決定する場合を例示しているが、これに限定されない。例えば、対応フラグＦＬが「１」であって且つ所定回数以上積分されて生成された積分画像を、３次元データ生成用の積分画像として決定するようにしてもよい。より詳細には、対応フラグＦＬが「１」であって且つその積分回数が所定回数ＴＨ以上である積分画像が生成されたことに応答して、当該積分画像を３次元データ生成用の積分画像として決定して出力することができる。
【００８２】
また、上記実施形態においては、ステップＳ１７で格納された積分画像に対して、格納順に、その部分データを生成（ステップＳ１９）する場合を例示したが、これに限定されない。例えば、その積分回数が最も多い積分画像から順に、部分データの生成を行うようにしてもよい。これによれば、効率的に３次元データを生成することができる。
【００８３】
また、上記実施形態においては、画像の全体領域を用いて複数の画像の同一性等を判定しているが、これに限定されない。例えば、全体領域の一部の領域（設定領域）のデータを用いて、計測対象物ＨＤと撮像部２との相対位置変化の有無、換言すれば、複数の画像における被写体像の実質的な同一性等を判定するようにしてもよい。例えば、画像中央の一部領域を設定領域（指定領域とも称される）として固定的に設定することができる。
【００８４】
また、このような設定領域は、操作者による操作入力に応じて設定可能（変更可能）となるようにしてもよい。例えば、３次元データ生成装置１Ａの操作画面および操作入力部（不図示）を用いて、設定領域の大きさと位置とを設定するようにすればよい。
【００８５】
あるいは、当該設定領域は、複数組のステレオ画像の色情報に基づいて決定されるものであってもよい。詳細には、例えば、青色の領域を除外した領域（換言すれば青色以外の色領域を指定した領域）を、当該設定領域として自動的に決定するようにしてもよい。これによれば、ブルーバックによる撮影時において、青色以外の色を有する物体の移動の有無を検出することが可能になる。
【００８６】
あるいは、当該設定領域は、複数組のステレオ画像の明度情報に基づいて決定されるようにしてもよい。詳細には、例えば、黒領域を除外した領域（換言すれば黒以外の明るい領域を指定した領域）を、当該設定領域として自動的に決定するようにしてもよい。これによれば、黒背景による撮影時において、黒以外の比較的明るい物体の移動の有無を検出することが可能になる。
【００８７】
また、上記実施形態における撮影位置Ｐ１，Ｐ２，Ｐ３，Ｐ４に、３次元データ生成装置１Ａを容易に移動させることができるように、３次元データ生成装置１Ａを床面に敷設された円環状のレール上を走行させ、所定距離（１／４周）走行した時点で停止するようにしてもよい。
【００８８】
また、上記実施形態における撮影位置Ｐ１，Ｐ２，Ｐ３，Ｐ４は、予め決定された位置であってもよいが、これに限定されず、撮影者が任意に決定するようにしてもよい。
【００８９】
例えば、図１４に示すように、撮影者ＨＴが台車部４０を操作して３次元データ生成装置１Ａを所望の位置に移動させ、所望の撮影方向と所望の撮影距離とを設定して計測対象物を撮影するようにしてもよい。これによれば、撮影者の意志によって、計測対象物の特定部位（所望の部位）のデータを重点的に撮影することができる。特に、操作者は、動画像を撮影しながら本体部１０を移動させつつ任意の位置で本体部１０を静止させることによって所望の部位のデータを取得できるので、非常に利便性が高い。
【００９０】
なお、この場合においては、３次元データ生成装置１Ａの移動後の位置および姿勢を、台車部４０に取り付けた位置姿勢検出用センサ４１（移動量検出センサおよび姿勢検出センサ等）に基づいて算出することが好ましい。この算出結果を利用すれば、３次元データ生成装置１Ａの移動後の位置および姿勢を正確に算出し、撮影画像が計測対象物のいずれの部分を撮影した画像であるかをより正確に特定することが可能である。
【００９１】
また、この場合において、異なる撮影位置から取得した異なる積分画像に基づいて、複数の部分データが生成される場合には、必要に応じて、部分データ相互間の位置姿勢を整合させる処理を行うことが好ましい。このような処理としては、例えば、各部分データにおける共通の特徴点を整合させるとともに、各部分データにおける共通の特徴点を含む共通の平面（パッチ）の法線の一致度合いが所定程度以上になるように、各部分データの位置および姿勢を変更する処理を行うことができる。
【００９２】
また、上記実施形態においては、３次元データ生成装置１Ａを移動することによって計測対象物ＨＤと撮像部２とを相対的に移動させて、計測対象物ＨＤを様々な角度から撮影する場合を例示したが、これに限定されない。例えば、逆に、計測対象物ＨＤを移動することによって計測対象物ＨＤと撮像部２とを相対的に移動させて、計測対象物ＨＤを様々な角度から撮影するようにしてもよい。より詳細には、計測対象物をターンテーブルの上に載置して、ターンテーブルを所定角度回転させた後に所定期間静止させる動作を繰り返すことによって、計測対象物ＨＤを様々な角度から撮影するようにしてもよい。
【００９３】
また、上記実施形態においては、画像取得処理（ステップＳ１１〜Ｓ１８の処理）と、３次元データの生成処理（ステップＳ１９）とを直列的（逐次的）に行う場合を例示したが、これに限定されず、並列的に実行するようにしてもよい。
【００９４】
また、上記実施形態においては、３次元データ生成装置１Ａ内において、３次元データの生成を行う場合を例示したが、これに限定されない。例えば、上述のような３次元データ生成用の積分画像を生成するまでの処理（例えばステップＳ１１〜Ｓ１８の処理）を上記と同様の構成を有する装置（画像取得装置とも称する）で実行した後に、一旦、３次元データ生成用の画像データを出力する。そして、出力された３次元データ生成用の画像データを用いて別個の装置で３次元データの生成処理（ステップＳ１９）を実行するようにしてもよい。
【００９５】
また、上記実施形態においては、画像取得処理（ステップＳ１１〜Ｓ１８の処理）で取得された全ての積分画像について部分データを生成する場合を例示したが、これに限定されない。
【００９６】
例えば、所定の条件を満たす積分画像についてのみ部分データを生成するようにしてもよい。詳細には、比較的高い閾値ＴＨ１以上（例えば、ＴＨ１＝１０）の積分回数に対応する積分画像（３次元データ生成用の積分画像）についてのみ部分データを生成するようにしてもよい。
【００９７】
さらには、積分回数に応じて部分データを段階的に作成するようにしてもよい。詳細には、まず、その積分回数が第１の閾値ＴＨ１以上である積分画像についてのみ部分データを生成するようにし、次に、その積分回数が第１の閾値ＴＨ１より小さく且つ第２の閾値以上である積分画像についてのみ部分データを生成するようにしてもよい。これによれば、効率的に３次元データを生成することができる。
【００９８】
また、上記実施形態においては、ステップＳ１９で算出される全ての部分データについてテクスチャ情報をも付加する場合を例示したが、これに限定されない。例えば、所定の条件を満たす部分データについてのみテクスチャ情報を付加するようにしてもよい。詳細には、比較的高い閾値ＴＨ１以上の積分回数に対応する積分画像を用いて生成された部分データに対してのみ、テクスチャ情報を付加するようにしてもよい。
【００９９】
なお、上記実施形態においては、２台のカメラに基づくステレオ画像（２眼視ステレオ画像）を取得する場合を例示しているが、これに限定されず、３台以上のカメラに基づくステレオ画像（３眼視以上によるステレオ画像）を取得するようにしてもよい。この場合も、各カメラ視点の画像（視点画像）ごとに上述の積分画像を生成するようにすればよい。
【図面の簡単な説明】
【０１００】
【図１】３次元データ生成装置の構成を示す概略図である。
【図２】３次元データ生成装置の外観正面図である。
【図３】或る撮影時点における３次元データ生成装置と計測対象物との関係を示す側面図である。
【図４】図３の状況における上面図である。
【図５】３次元データ生成装置が随時移動していく様子を示す上面図である。
【図６】「積分画像」の生成動作を説明する概念図である。
【図７】新たな入力画像と過去の積分画像との比較処理を説明する図である。
【図８】３次元データ生成装置の動作を示すフローチャートである。
【図９】基準画像に関する多段フレームメモリを示す図である。
【図１０】参照画像に関する多段フレームメモリを示す図である。
【図１１】多段フレームメモリの格納情報を示す図である。
【図１２】複数の積分画像が順次に生成される様子を示す図である。
【図１３】ブロックの移動量を示す図である。
【図１４】撮影者が３次元データ生成装置を任意の撮影位置に移動させる様子を示す図である。
【符号の説明】
【０１０１】
１Ａ  ３次元データ生成装置
２  撮像部
２Ａ，２Ｂ  カメラ
１０  本体部
３０  制御部
４０  台車部
Ｆ，Ｆｊ  フレームメモリ
ＦＬ，ＦＬｊ  フラグ
ＧＡ  基準画像
ＧＢ  参照画像
ＨＤ  計測対象物
ＩＺ  積分画像
Ｌ  基線長
Ｐ１，Ｐ２，Ｐ３，Ｐ４  撮影位置
【図１】
2008157780.tif 000003
【図２】
2008157780.tif 000004
【図３】
2008157780.tif 000005
【図４】
2008157780.tif 000006
【図５】
2008157780.tif 000007
【図６】
2008157780.tif 000008
【図７】
2008157780.tif 000009
【図８】
2008157780.tif 000010
【図９】
2008157780.tif 000011
【図１０】
2008157780.tif 000012
【図１１】
2008157780.tif 000013
【図１２】
2008157780.tif 000014
【図１３】
2008157780.tif 000015
【図１４】
2008157780.tif 000016