(57)【要約】【課題】高精度に移動物体の三次元形状を測定する。【解決手段】位相パターンが投影された移動物体およびバックスクリーンからの反射パターンを位相シフトして撮像された位相画像データを取得する映像入力Ｉ／Ｆ部と、位相画像データからエッジを検出し、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部２０１と、画像特徴量抽出部２０１が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部２０３と、位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部２１２と、位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部２１３と、連続位相分布画像データに基づいて移動物体の三次元形状データを生成する三次元形状生成部２１４とを備えた。【選択図】図３
2011127932.tif 000002
【特許請求の範囲】
【請求項１】
位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得部と、
前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部と、
前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部と、
前記位相画像データ取得部が取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部と、
前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部と、
前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成部と、
を備えることを特徴とする三次元形状測定装置。
【請求項２】
請求項１記載の三次元形状測定装置において、
前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列とこの画像特徴量データ列よりもさらに位相１周期分前の画像特徴量データ列とに基づいて、予測画像特徴量データ列を生成する画像特徴量比較部をさらに備え、
前記位相パターン生成部は、前記画像特徴量比較部が生成した予測画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する
ことを特徴とする三次元形状測定装置。
【請求項３】
位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得ステップと、
前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出ステップと、
前記画像特徴量抽出ステップにおいて抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成ステップと、
を有する一方、
前記位相画像データ取得ステップにおいて取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成ステップと、
前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続ステップと、
前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成ステップと、
を有することを特徴とする三次元形状測定方法。
【請求項４】
請求項３記載の三次元形状測定方法において、
前記画像特徴量抽出ステップにおいて抽出した位相１周期分の画像特徴量データ列とこの画像特徴量データ列よりもさらに位相１周期分前の画像特徴量データ列とに基づいて、予測画像特徴量データ列を生成する画像特徴量比較ステップをさらに有し、
前記位相パターン生成ステップは、前記画像特徴量比較ステップにおいて生成した予測画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する
ことを特徴とする三次元形状測定方法。
【請求項５】
コンピュータを、
位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得部と、
前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部と、
前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部と、
前記位相画像データ取得部が取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部と、
前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部と、
前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成部と、
して機能させるための三次元形状測定プログラム。
【請求項６】
コンピュータを、
位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得部と、
前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部と、
前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部と、
前記位相画像データ取得部が取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部と、
前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部と、
前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成部と、
して機能させるための三次元形状測定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム、および記録媒体に関する。
【背景技術】
【０００２】
格子状の位相パターンを測定対象物体に投影し、格子模様である投影パターンを撮像して測定対象物体の三次元形状を測定する三次元形状測定技術が知られている。この位相パターンは、一様な格子状パターンであることが一般的であるが、位置によってピッチが周期的に変化する格子模様の位相パターンを投影する格子投影形状計測装置も知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５３６０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、位相パターンを一様な格子状パターンにすると、測定対象物体の高さ（奥行き）勾配が急な箇所においては測定精度が落ちるという問題がある。また、特許文献１に記載の格子投影形状計測装置は、位相パターンを変化させて投影するものではあるが、物体の位置に応じて投影パターンを決定するものであるため、測定対象物体は静止物体であることを想定している。よって、この格子投影形状計測装置は、移動物体の三次元形状を測定することには適用困難である。
そこで、本発明は、上記問題を解決するためになされたものであり、高精度に移動物体の三次元形状を測定することができる三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム、および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本発明の一態様は、以下［１］−［６］の手段を提供するものである。
［１］  位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得部と、前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部と、前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部と、前記位相画像データ取得部が取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部と、前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部と、前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成部と、を備えることを特徴とする三次元形状測定装置。
［２］  上記［１］記載の三次元形状測定装置において、前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列とこの画像特徴量データ列よりもさらに位相１周期分前の画像特徴量データ列とに基づいて、予測画像特徴量データ列を生成する画像特徴量比較部をさらに備え、前記位相パターン生成部は、前記画像特徴量比較部が生成した予測画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する
ことを特徴とする三次元形状測定装置。
［３］  位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得ステップと、前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出ステップと、前記画像特徴量抽出ステップにおいて抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成ステップと、を有する一方、前記位相画像データ取得ステップにおいて取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成ステップと、前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続ステップと、前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成ステップと、を有することを特徴とする三次元形状測定方法。
［４］  上記［３］記載の三次元形状測定方法において、前記画像特徴量抽出ステップにおいて抽出した位相１周期分の画像特徴量データ列とこの画像特徴量データ列よりもさらに位相１周期分前の画像特徴量データ列とに基づいて、予測画像特徴量データ列を生成する画像特徴量比較ステップをさらに有し、前記位相パターン生成ステップは、前記画像特徴量比較ステップにおいて生成した予測画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成することを特徴とする三次元形状測定方法。
［５］  コンピュータを、位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得部と、前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部と、前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部と、前記位相画像データ取得部が取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部と、前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部と、前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成部と、して機能させるための三次元形状測定プログラム。
［６］  コンピュータを、位相パターンが投影された測定対象物体およびバックスクリーンからの反射パターンを時系列的に位相をシフトさせて撮像して得られた位相画像データを取得する位相画像データ取得部と、前記取得した位相画像データから前記位相パターンに対応するエッジを検出して、そのエッジの強さに応じた画像特徴量データを抽出する画像特徴量抽出部と、前記画像特徴量抽出部が抽出した位相１周期分の画像特徴量データ列に基づいて格子幅を調整した位相パターンデータを生成する位相パターン生成部と、前記位相画像データ取得部が取得した位相１周期分の位相画像データ列に基づいて位相分布画像データを生成する位相分布画像生成部と、前記生成した位相分布画像データの位相接続を行って連続位相分布画像データを生成する位相接続部と、前記生成した連続位相分布画像データに基づいて、三角測量法にしたがって前記測定対象物体の三次元形状データを生成する三次元形状生成部と、して機能させるための三次元形状測定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の効果】
【０００６】
本発明によれば、高精度に移動物体の三次元形状を測定することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態である三次元形状測定装置が適用された三次元形状測定システムの概略の全体構成図である。
【図２】同実施形態における三次元形状測定システムのうち、三次元形状測定装置の概略のハードウェア構成を示すブロック図である。
【図３】同実施形態における、三次元形状測定装置の概略の機能構成を示すブロック図である。
【図４】同実施形態において、撮像装置が撮像した位相画像データと、画像特徴量抽出部がその位相画像データから抽出するエッジの強さとを対応付けて模式的に示した図である。
【図５】同実施形態における、三次元形状測定装置の位相パターンデータ生成処理の処理手順を示すフローチャートである。
【図６】同実施形態において、格子パターンに新たに格子を追加する様子を模式的に示した図である。
【図７】同実施形態において、格子パターンから格子を削除する様子を模式的に示した図である。
【図８】同実施形態における、三次元形状測定装置の三次元形状測定処理の処理手順を示すフローチャートである。
【図９】同実施形態において、移動物体の三次元座標値を求めることを説明するための図である。
【図１０】本発明の第２実施形態である三次元形状測定装置の概略の機能構成を示すブロック図である。
【図１１】同実施形態における、三次元形状測定装置の位相パターンデータ生成処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である三次元形状測定装置が適用された三次元形状測定システムの概略の全体構成図である。同図に示すように、三次元形状測定システム１は、投影装置１０と、三次元形状測定装置２０と、撮像装置３０と、表示装置４０とを含んで構成される。また、同図には、測定対象物体である移動物体ＭＯがバックスクリーンＢＳの前面に位置した様子が示されている。なお、移動物体ＭＯは立体形状を有する物体であるが、本実施形態においては、図面を簡略化するために模式的に表すこととする。
【０００９】
投影装置１０は、三次元形状測定装置２０から位相パターンデータの供給を受けて、位相パターンの映像光を投射する装置である。投影装置１０は、例えば、投射型プロジェクタ装置である。三次元形状測定装置２０は、撮像装置３０から時系列的に所定の位相差で位相がシフトされて撮像された位相画像データの供給を受けて、次の周期で投射すべき位相パターンデータを生成して投影装置１０に供給する。また、三次元形状測定装置２０は、取得した位相画像データから三次元形状データを生成して自装置の内部に記憶するとともに、映像信号として表示装置４０に対して出力する。
【００１０】
撮像装置３０は、移動物体ＭＯとバックスクリーンＢＳとに投影された位相パターンの映像光についての、これらからの反射光を時系列的に所定の位相差で位相をシフトさせて撮像し、位相画像データとして三次元形状測定装置２０に順次供給する。撮像装置３０は、フレーム単位で撮像可能なカメラ装置であり、例えば、デジタルカメラやデジタルビデオカメラである。なお、所定の位相差は、例えば、−π（ラジアン）からπ（ラジアン）までを１周期としてπ／２，π／３，π／４（ラジアン）等である。表示装置４０は、三次元形状測定装置２０から供給された映像信号に基づいて、三次元形状データの映像を表示するモニタ装置である。
【００１１】
三次元形状測定システム１において、投影装置１０は、バックスクリーンＢＳの前面を移動物体ＭＯが移動する特定範囲内に映像光を投射可能な向きに固定設置される。また、撮像装置３０は、その特定範囲内を撮像可能な向きに固定設置される。
また、三次元形状測定システム１において、投影装置１０と三次元形状測定装置２０と撮像装置３０とは、時間的同期がとられている。
【００１２】
図２は、三次元形状測定システム１のうち、三次元形状測定装置２０の概略のハードウェア構成を示すブロック図である。同図に示すように、三次元形状測定装置２０は、そのハードウェア構成として、映像入力インターフェイス（Ｉ／Ｆ）部２１と、制御部２２と、記憶部２３と、映像出力Ｉ／Ｆ部２４と、表示Ｉ／Ｆ部２５とを備える。
【００１３】
映像入力Ｉ／Ｆ部２１は、撮像装置３０から時系列的に供給される位相画像データを順次取り込んで制御部２２に供給するビデオ入力インターフェイスである。制御部２２は、位相画像データから画像特徴量データを抽出して次の周期で投射すべき位相パターンデータを生成したり、位相画像データから位相分布画像データを生成して位相接続を行い、三次元形状データを生成したりする処理部である。制御部２２は、不図示であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含んで構成される。
【００１４】
記憶部２３は、制御部２２が抽出した画像特徴量データを記憶したり、制御部２２が取り込んだ位相画像データを記憶したり、制御部２２が生成した三次元形状データを記憶したりする記憶装置である。記憶部２３は、例えば、メモリやハードディスクである。映像出力Ｉ／Ｆ部２４は、制御部２２が生成した位相パターンデータを投影装置１０に供給するビデオ出力インターフェイスである。表示Ｉ／Ｆ部２５は、制御部２２が生成した三次元形状データを表示装置４０に表示するための表示出力インターフェイスである。
【００１５】
図２に示すように、三次元形状測定装置２０は、映像の入出力インターフェイスを備えたパーソナルコンピュータやボードコンピュータ等の情報処理装置である。つまり、本実施形態は、三次元形状測定装置２０を、汎用コンピュータ等を用いて構成することができる。
【００１６】
図３は、三次元形状測定装置２０の概略の機能構成を示すブロック図である。同図に示すように、三次元形状測定装置２０は、その機能構成として、画像特徴量抽出部２０１と、画像特徴量記憶部２０２と、位相パターン生成部２０３と、位相画像記憶部２１１と、位相分布画像生成部２１２と、位相接続部２１３と、三次元形状生成部２１４と、三次元形状記憶部２１５とを含む。
画像特徴量抽出部２０１と、位相パターン生成部２０３と、位相分布画像生成部２１２と、位相接続部２１３と、三次元形状生成部２１４とは、制御部２２が有する機能である。また、画像特徴量記憶部２０２と、位相画像記憶部２１１と、三次元形状記憶部２１５とは、記憶部２３が有する機能である。
【００１７】
画像特徴量抽出部２０１は、位相画像データの供給を受けるとその位相画像データを解析して所定の画像特徴量データを抽出する。画像特徴量記憶部２０２は、画像特徴量抽出部２０１が抽出した画像特徴量データを記憶する。位相パターン生成部２０３は、画像特徴量記憶部２０２から１周期分の画像特徴量データ列を読み出して、次の周期で投射すべき位相パターンデータを生成する。位相画像記憶部２１１は、撮像装置３０から供給された位相画像データを記憶する。位相分布画像生成部２１２は、位相画像記憶部２１１から１周期分の位相画像データ列を読み出し、その位相画像データ列における位相分布を求めて位相分布画像データを生成する。この位相分布によって、位相画像データ列における同一位置の相対的な輝度差は、投影されたパターンの位相差分だけの変化を示すことが分かる。位相接続部２１３は、位相分布画像データの位相接続を行って連続位相分布画像データを生成する。三次元形状生成部２１４は、連続位相分布画像データに基づいて移動物体ＭＯの三次元座標値を計算し三次元形状データを生成する。三次元形状記憶部２１５は、三次元形状データを記憶する。
【００１８】
図３に示す三次元形状測定装置２０は、位相画像データの供給を受けてから次の周期で投射すべき位相パターンデータを出力するまでの処理をリアルタイムに処理する一方、１周期分の位相画像データが位相画像記憶部２１１に記憶された後の、三次元形状データを生成して出力する処理をバッチ処理により行う。
【００１９】
次に、画像特徴量データについて説明する。図４は、撮像装置３０が撮像した位相画像データと、画像特徴量抽出部２０１がその位相画像データから抽出するエッジの強さとを対応付けて模式的に示した図である。同図において、位相画像データ４は、撮像装置３０がバックスクリーンＢＳとその前面にある移動物体ＭＯとを撮像した位相画像の画像データである。位相画像データ４は、バックスクリーンＢＳに投影された位相パターンの反射パターン４ａと、移動物体ＭＯに投影された位相パターンの反射パターン４ｂとを含む。
同図における位相画像データ４は、その格子パターンを等間隔にした例であり、平面であるバックスクリーンＢＳからの反射パターン４ａの格子間隔はほぼ等間隔である。
一方、位相画像データ４において、移動物体ＭＯが奥行き方向（同図におけるＸＹ両軸に直交する軸方向）に起伏を有する場合、移動物体ＭＯからの反射パターン４ｂの格子は等間隔にならない。つまり、移動物体ＭＯの奥行きの変化率が大きくなるにつれて、移動物体ＭＯが存在しない場合の反射パターン上の格子の位置に対する、移動物体ＭＯからの反射パターン上の変形された格子の位置は大きく離れる。本実施形態では、この格子の位置ずれ量を画像特徴量として抽出する。
【００２０】
具体的には、画像特徴量抽出部２０１は、位相画像データ４の供給を受けると、エッジを検出して、そのエッジの強さを格子パターンに沿う方向に写像する。つまり、図４においてはＸ軸方向に写像する。エッジの強さの抽出において、画像特徴量抽出部２０１は、反射パターン４ａの格子のエッジの強さ（同図のグラフの破線）と、反射パターン４ｂの格子のエッジの強さ（同図のグラフの実線）と、移動物体ＭＯ自体の輪郭のエッジの強さ（同図のグラフの網掛け部分）とを抽出する。これら３種類のエッジの強さにおいて、移動物体ＭＯ自体の輪郭のエッジの強さは、格子のエッジの強さよりも小さいため、画像特徴量抽出部２０１は、格子のエッジの強さと移動物体ＭＯ自体の輪郭のエッジの強さとの間の強さである閾値を適用して、移動物体ＭＯ自体の輪郭のエッジの強さを除外する。これにより、画像特徴抽出部２０１は、格子パターンのみに由来するエッジの強さを抽出する。なお、閾値のレベルは任意に調整可能である。
【００２１】
画像特徴量抽出部２０１は、バックスクリーンＢＳからの反射パターンのエッジの位置と、移動物体ＭＯからの反射パターンのエッジ位置との差分値を計算し画像特徴量データとして出力する。図４において原点位置からｍ番目（ｍは０以上の整数）の格子の画像特徴量データをd（m）とする。
【００２２】
次に、本実施形態における三次元形状測定システム１の動作を、主に三次元形状測定装置２０の動作を中心に説明する。三次元形状測定システム１は、測定を開始する前に、各種パラメータについてのキャリブレーションを行っておく。例えば、投影装置１０と撮像装置３０との間の距離と、投影装置１０の焦点距離と、撮像装置３０の焦点距離とを測定しておく。また、三次元形状測定装置２０は、等間隔の格子模様である位相パターンデータを出力して投影装置１０からバックスクリーンＢＳに位相パターンの映像光を投影させ、撮像装置３０にその反射パターンを撮像させて位相画像データを取得し、各格子のエッジを検出してエッジの番号（ｍ）とエッジの位置（Ｘ軸上の位置）とを対応付けて取得しておく。
【００２３】
三次元形状測定システム１が測定を開始すると、投影装置１０は投射を開始し、撮像装置３０は撮像を開始し、三次元形状測定装置２０は位相画像データの取り込みを開始する。ただし、投影装置１０と、撮像装置３０と、三次元形状測定装置２０とは、位相をシフトさせる周期で同期するように連係動作する。
【００２４】
本実施形態における三次元形状測定装置２０の位相パターンデータ生成処理の動作を説明する。図５は、三次元形状測定装置２０の位相パターンデータ生成処理の処理手順を示すフローチャートである。ステップＳ１０１において、映像入力Ｉ／Ｆ部２１は、撮像装置３０から１フレーム分の位相画像データが供給されると、これを取り込んで画像特徴量抽出部２０１に供給するとともに位相画像記憶部２１１に供給する。
ステップＳ１０２において、画像特徴量抽出部２０１は、供給された１フレーム分の位相画像データから画像特徴量データを抽出して画像特徴量記憶部２０２に記憶する。具体的には、画像特徴量抽出部２０１は、供給された１フレーム分の位相画像データから格子のエッジを検出し、そのエッジの強さを格子パターンに沿う方向に写像する。そして、画像特徴量抽出部２０１は、写像して得られる各エッジの位置と、キャリブレーションにおいて取得しておいた、格子のエッジの番号（ｍ）に対応付けられたエッジの位置との差分である画像特徴量データｄ（ｍ）を計算して画像特徴量記憶部２０２に記憶する。
【００２５】
次に、ステップＳ１０３において、画像特徴量抽出部２０１は、１周期分の画像特徴量データを抽出したか否かを判定し、１周期分の画像特徴量データを抽出したと判定した場合（Ｓ１０３：ＹＥＳ）はステップＳ１０４の処理に移り、１周期分の画像特徴量データを抽出していないと判定した場合（Ｓ１０３：ＮＯ）はステップＳ１０１の処理に戻る。
【００２６】
ステップＳ１０４において、位相パターン生成部２０３は、画像特徴量記憶部２０２から１周期分の画像特徴量データである画像特徴量データ列を読み出して、次の周期で投射すべき位相パターンデータを生成する。具体的には、位相パターン生成部２０３は、第ｍ番目の格子における１周期分の画像特徴量データの平均値ｄｃｙｃｌｅ（ｍ）を計算する。そして、位相パターン生成部２０３は、その平均値ｄｃｙｃｌｅ（ｍ）が予め設けられた閾値Ｔｈよりも大きい場合は、移動物体ＭＯの奥行き方向の勾配が大きいと推定し、図６に示すように第ｍ番目の格子６を含む隣接する格子列Ｓ１の間に格子を追加する。その際、位相パターン生成部２０３は、格子列Ｓ１に格子が追加されて得られる格子列Ｓ２の各格子幅が等間隔になるようにする。なお、位相パターン生成部２０３は、格子列Ｓ２のエッジの番号を、例えばｍから派生したｍ＿１，ｍ＿２等に割当てる。
一方、位相パターン生成部２０３は、平均値ｄｃｙｃｌｅ（ｍ）が閾値Ｔｈ以下である場合は、移動物体ＭＯの奥行き方向の勾配が小さいと推定し、図７に示すように第ｍ番目の格子７の前後の格子を格子列Ｓ３から削除する。その際、位相パターン生成部２０３は、格子列Ｓ３から格子が削除されて得られる格子列Ｓ４の各格子幅が等間隔になるようにする。なお、位相パターン生成部２０３は、格子列Ｓ４のエッジの番号を、例えばｍ−１，ｍ，ｍ＋１から中央の番号であるｍを残す。
【００２７】
つまり、位相パターン生成部２０３は、移動物体ＭＯの形状によって変形された投影パターンのエッジの位置とバックスクリーンＢＳ上の投影パターンのエッジの位置との差分に基づいて移動物体ＭＯの奥行き方向の勾配の度合いを推定し、移動物体ＭＯの奥行き方向の勾配が大きい箇所には格子幅を狭くした位相パターンデータを生成し、移動物体ＭＯの奥行き方向の勾配が小さい箇所には格子幅を太くした位相パターンデータを生成する。これにより、三次元形状測定システム１は、移動物体ＭＯの三次元形状を高精度に測定できる。
【００２８】
図５に戻って次に、ステップＳ１０５において、映像出力Ｉ／Ｆ部２４は、位相パターン生成部２０３で生成された位相パターンデータを投影装置１０に対して送信する。
次に、ステップＳ１０６において、制御部２２は、所定の終了条件（指定時刻や指定処理フレーム数）を満たすと判断した場合や、外部から終了指示が供給された場合は（Ｓ１０６：ＹＥＳ）、このフローチャートの処理を終了する。一方、所定の終了条件を満たさないと判断した場合や、外部から終了指示が供給されていない場合は（Ｓ１０６：ＮＯ）、ステップＳ１０１の処理に戻る。
【００２９】
次に、三次元形状測定装置２０の三次元形状測定処理の動作を説明する。図８は、三次元形状測定装置２０の三次元形状測定処理の処理手順を示すフローチャートである。ステップＳ２０１において、制御部２２は、映像入力Ｉ／Ｆ部２１から供給された１フレーム分の位相画像データを位相画像記憶部２１１に記憶する。
次に、ステップＳ２０２において、制御部２２は、１周期分の位相画像データを記憶したか否かを判定し、１周期分の位相画像データを記憶したと判定した場合（Ｓ２０２：ＹＥＳ）はステップＳ２０３の処理に移り、１周期分の位相画像データを記憶していないと判定した場合（Ｓ２０２：ＮＯ）は図５のステップＳ１０１の処理に戻る。
【００３０】
ステップＳ２０３において、位相分布画像生成部２１２は、位相画像記憶部２１１から１周期分の位相画像データである位相画像データ列を読み出し、その位相画像データ列における位相分布を求めて位相分布画像データを生成する。
次に、ステップＳ２０４において、位相接続部２１３は、位相分布画像データの位相接続を行って連続位相分布画像データを生成する。ここでは、位相分布画像データの位相値が−π（ラジアン）〜π（ラジアン）の間の値であるので、隣り合う位相に２π（ラジアン）の位相差がある場合にはこれを考慮して位相を接続する。位相接続方法としては、公知の近傍接続法、最小木探索法、エネルギー最小化法等が適用可能である。
【００３１】
次に、ステップＳ２０５において、三次元形状生成部２１４は、連続位相分布画像データに基づいて移動物体ＭＯの三次元座標値を計算して三次元形状データを生成し、三次元形状記憶部２１５に記憶する。
具体的には、図９に示すように、画像座標に基づいて撮像装置３０の基準点Ｃｏからの視線角度αが求められ、位相値に基づいて投影装置１０の基準点Ｐｏからの見込み角度βが求められるので、三次元形状生成部２１４は、予めキャリブレーションによって決定しておいた投影装置１０と撮像装置３０との距離Ｌを併せ用いることにより、三角測量の原理から移動物体ＭＯの３次元座標を求めることができる。三次元形状生成部２１４は、その計算を１フレームに含まれる全画素について行い、移動物体ＭＯの３次元形状データを生成して三次元形状記憶部２１５に記憶する。
【００３２】
図８に戻って次に、ステップＳ２０６において、表示Ｉ／Ｆ部２５は、三次元形状生成部２１４で生成された三次元形状データを表示装置４０に対して出力する。
次に、ステップＳ２０７において、制御部２２は、所定の終了条件（指定時刻や指定処理フレーム数）を満たすと判断した場合や、外部から終了指示が供給された場合は（Ｓ２０７：ＹＥＳ）、このフローチャートの処理を終了する。一方、所定の終了条件を満たさないと判断した場合や、外部から終了指示が供給されていない場合は（Ｓ２０７：ＮＯ）、図５のステップＳ１０１の処理に戻る。
【００３３】
［第２の実施の形態］
図１０は、本発明の第２実施形態である三次元形状測定装置の概略の機能構成を示すブロック図である。このブロック図を説明するにあたり、上述した第１実施形態における三次元形状測定装置２０と同一の構成については同一の符号を付してその説明を省略する。
同図に示すように、三次元形状測定装置２０ａは、第１実施形態の三次元形状測定装置２０に対して、位相パターン生成部２０３の代わりに位相パターン生成部２０３ａを含むとともに、画像特徴量比較部２０４と、画像特徴量列記憶部２０５とを更に含む。
位相パターン生成部２０３ａと画像特徴量比較部２０４とは、制御部２２が有する機能である。また、画像特徴量列記憶部２０５は、記憶部２３が有する機能である。
【００３４】
画像特徴量比較部２０４は、画像特徴量記憶部２０２から１周期分の画像特徴量データ列を読み出すとともに、画像特徴量列記憶部２０５から現時点よりも１つ前の周期の画像特徴量データ列である前周期画像特徴量データ列を読み出し、これら読み出した画像特徴量データ列と前周期画像特徴量データ列とを比較して、予測画像特徴量データ列を生成する。そして、画像特徴量比較部２０４は、画像特徴量記憶部２０２から読み出した１周期分の画像特徴量データ列を画像特徴量列記憶部２０５に記憶する。
画像特徴量列記憶部２０５は、供給される画像特徴量データ列を記憶し、画像特徴量比較部２０４からの読出し制御によって前周期画像特徴量データ列として出力する。画像特徴量列記憶部２０５は、ＦＩＦＯ形式の記憶部である。
位相パターン生成部２０３ａは、画像特徴量比較部２０４から供給される予測画像特徴量データ列に基づいて、次の周期で投射すべき位相パターンデータを生成する。
【００３５】
図１０に示す三次元形状測定装置２０ａは、位相画像データの供給を受けてから次の周期で投射すべき位相パターンデータを出力するまでの処理をリアルタイムに処理する一方、１周期分の位相画像データが位相画像記憶部２１１に記憶された後の、三次元形状データを生成して出力する処理をバッチ処理により行う。
【００３６】
次に、本実施形態における三次元形状測定装置２０ａの位相パターンデータ生成処理の動作を説明する。図１１は、三次元形状測定装置２０ａの位相パターンデータ生成処理の処理手順を示すフローチャートである。このフローチャートを説明するにあたり、前述した第１実施形態における三次元形状測定装置２０の処理ステップと同一の処理ステップについては同一の符号を付してその説明を省略する。
【００３７】
ステップＳ１０４ａにおいて、画像特徴量比較部２０４は、画像特徴量記憶部２０２から１周期分の画像特徴量データ列を読み出すとともに、画像特徴量列記憶部２０５から１つ前の周期の画像特徴量データ列である前周期画像特徴量データ列を読み出し、これら読み出した画像特徴量データ列と前周期画像特徴量データ列とを比較して、予測画像特徴量データ列を生成する。
【００３８】
具体的には、画像特徴量比較部２０４は、第ｍ番目の格子における１周期分の画像特徴量データの平均値ｄｃｙｃｌｅ（ｍ）と、現時点よりも１つ前の周期における１周期分の画像特徴量データの平均値ｄｃｙｃｌｅ＿ｐｒｅｖ（ｍ）とに基づいて、予測画像特徴量データ列ｄｃｙｃｌｅ＿ｎｅｘｔ（ｍ）を計算する。この計算処理においては、１つ前の周期において格子パターンを追加または削除したか、あるいは追加も削除もしなかったかによって画像特徴量比較部２０４の計算方法が異なる。
つまり、１つ前の周期において格子パターンを追加も削除もしなかった場合は、画像特徴量比較部２０４は式（１）によって予測画像特徴量データ列ｄｃｙｃｌｅ＿ｎｅｘｔ（ｍ）を計算する。
【００３９】
【数１】
2011127932.tif 000003
【００４０】
また、１つ前の周期において格子パターンを追加または削除した場合は、画像特徴量比較部２０４は式（２）によって予測画像特徴量データ列ｄｃｙｃｌｅ＿ｎｅｘｔ（ｍ）を計算する。
【００４１】
【数２】
2011127932.tif 000004
【００４２】
次に、画像特徴量比較部２０４は、画像特徴量記憶部２０２から読み出した１周期分の画像特徴量データ列を画像特徴量列記憶部２０５に記憶する。
【００４３】
次に、ステップＳ１０４ｂにおいて、位相パターン生成部２０３ａは、画像特徴量比較部２０４から供給される予測画像特徴量データ列ｄｃｙｃｌｅ＿ｎｅｘｔ（ｍ）に基づいて、第１実施形態におけるステップＳ１０４の処理と同様な処理によって次周期に投射すべき位相パターンデータを生成する。
具体的には、位相パターン生成部２０３ａは、予測画像特徴量データ列ｄｃｙｃｌｅ＿ｎｅｘｔ（ｍ）が予め設けられた閾値Ｔｈｎｅｘｔよりも大きい場合は、第ｍ番目の格子を含む隣接する格子列の間に格子を追加する。その際、位相パターン生成部２０３ａは、格子列に格子が追加されて得られる新たな格子列の各格子幅が等間隔になるようにする。なお、位相パターン生成部２０３は、格子列Ｓ２のエッジの番号を、例えばｍから派生したｍ＿１，ｍ＿２等に割当てる。
一方、位相パターン生成部２０３ａは、予測画像特徴量データ列ｄｃｙｃｌｅ＿ｎｅｘｔ（ｍ）が閾値Ｔｈｎｅｘｔ以下である場合は、第ｍ番目の格子の前後の格子を格子列から削除する。その際、位相パターン生成部２０３ａは、格子列から格子が削除されて得られる新たな格子列の各格子幅が等間隔になるようにする。なお、位相パターン生成部２０３は、格子列Ｓ４のエッジの番号を、例えばｍ−１，ｍ，ｍ＋１から中央の番号であるｍを残す。
【００４４】
以上説明したように、本発明の第１実施形態および第２実施形態によれば、三次元形状測定装置２０は、測定対象である移動物体ＭＯの立体形状に適応して、投影する位相パターンデータの格子模様を動的に変化させるため、移動物体ＭＯの奥行きの変化率が大きい箇所についても高精度に三次元形状を測定することができる。
また、本発明の第１実施形態および第２実施形態によれば、三次元形状測定装置２０は、撮像装置３０が位相をシフトさせながら撮像した移動物体ＭＯの位相画像データから、画像特徴量データを求めて投射すべき位相パターンデータを生成するため、高速に位相パターンデータの生成処理を行うことができる。よって、三次元形状測定装置２０を汎用コンピュータ等の情報処理装置を用いて構成することが容易である。
【００４５】
なお、位相パターンデータの投射および撮像を、可視光線の波長領域外の波長（例えば、赤外光）の光線によって行うようにしてもよい。この場合は、投影装置１０の光学系と撮像装置３０の光学系とに同一の光学特性を有したフィルタを設ける。
また、第１実施形態および第２実施形態における画像特徴抽出部２０１は、撮像装置３０側に設けてもよい。このように構成することにより、位相画像データ自体を転送する必要がない。
【００４６】
なお、上述した実施形態である三次元形状測定装置の一部、例えば、制御部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するための三次元形状測定プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された三次元形状測定プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００４７】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４８】
１  三次元形状測定システム
１０  投影装置
２０，２０ａ  三次元形状測定装置
２１  映像入力Ｉ／Ｆ部
２２  制御部
２３  記憶部
２４  映像出力Ｉ／Ｆ部
２５  表示Ｉ／Ｆ部
３０  撮像装置
４０  表示装置
２０１  画像特徴量抽出部
２０２  画像特徴量記憶部
２０３，２０３ａ  位相パターン生成部
２０４  画像特徴量比較部
２０５  画像特徴量列記憶部
２１１  位相画像記憶部
２１２  位相分布画像生成部
２１３  位相接続部
２１４  三次元形状生成部
２１５  三次元形状記憶部
ＢＳ  バックスクリーン
ＭＯ  移動物体
【図１】
2011127932.tif 000005
【図２】
2011127932.tif 000006
【図３】
2011127932.tif 000007
【図４】
2011127932.tif 000008
【図５】
2011127932.tif 000009
【図６】
2011127932.tif 000010
【図７】
2011127932.tif 000011
【図８】
2011127932.tif 000012
【図９】
2011127932.tif 000013
【図１０】
2011127932.tif 000014
【図１１】
2011127932.tif 000015