(57)【要約】【課題】高速に物体の三次元形状をその密度分布と共に計測する。【解決手段】（ａ）現実世界ＲＷ中の霧状体の密度レベル２内の密度を有する領域４０１内の座標４１１ が写り込む、カメラｂ１で撮影した画像フレームｂ２とカメラｃ１で撮影した画像フレームｃ２の画素の輝度は、全て密度レベル２に対応する輝度となるので、座標４１１に対応する（ｄ）仮想空間ＶＷ上のボクセル４２１は霧状体内部の、属性として密度レベル２を持つボクセルとして設定する。（ａ）ＲＷ中の霧状体の密度レベル１内の密度を有する領域４０２内の座標４１２ が写り込む画像フレームｂ２と画像フレームｃ２の画素の輝度は密度レベル１に対応する輝度となるので、座標４１２に対応する（ｄ）ＶＷ上のボクセル４２２は霧状体内部の、属性として密度レベル１を持つボクセルとして設定する。【選択図】図４
2007315777.tif 000002
【特許請求の範囲】
【請求項１】
被計測体の三次元形状を計測する三次元形状計測システムであって、
前記被計測体を撮影する複数のカメラと、
前記複数のカメラによって撮影される三次元空間内の座標の各々について、密度レベル毎に各々定めた画素値範囲である密度レベル毎画素範囲の内のいずれに、当該座標が投影される前記複数のカメラで撮影した画像中の画素の画素値の全てが含まれるかを算定し、算定した密度レベル毎画素範囲に対応する密度レベルを、当該座標が有する密度のレベルとすることにより、前記被計測体の密度レベル毎の三次元形状を計測する三次元形状計測手段とを有することを特徴とする三次元形状計測システム。
【請求項２】
被計測体の三次元形状を計測する三次元形状計測システムであって、
前記被計測体を撮影する複数のカメラと、
前記複数のカメラによって撮影される三次元空間内の座標のうちの、前記カメラによって撮影された画像中の当該座標が投影される画素の画素値が、前記複数のカメラによって撮影された画像の全てにおいて、設定された抽出対象画素値範範囲内の画素値となった座標を、前記被計測体内部の座標とする視体積交差法によって、前記被計測体の三次元形状を計測する三次元形状計測手段と、
複数の異なる前記抽出対象画素値範範囲の各々について、前記三次元形状計測手段に、前記被計測体の三次元形状を計測させることにより、複数の異なる密度レベルの各々について、前記被計測体の当該密度レベルに対応する密度を有する領域の三次元形状を計測する三次元密度分布計測手段とを有することを特徴とする三次元形状計測システム。
【請求項３】
請求項１または２記載の三次元形状計測システムであって、
前記被計測体は、噴霧された物体であることを特徴とする三次元形状計測システム。
【請求項４】
電子計算機によって読み取られ実行されるコンピュータプログラムであって、
前記電子計算機を、
複数のカメラによって撮影される三次元空間内の座標の各々について、密度レベル毎に各々定めた画素値範囲である密度レベル毎画素範囲の内のいずれに、当該座標が投影される前記複数のカメラで撮影した画像中の画素の画素値の全てが含まれるかを算定する算定手段と、
当該算定手段が算定した密度レベル毎画素範囲に対応する密度レベルを、当該座標が有する密度のレベルとすることにより、前記被計測体の密度レベル毎の三次元形状を計測する密度レベル毎三次元形状計測手段として機能させることを特徴とするコンピュータプログラム。
【請求項５】
電子計算機によって読み取られ実行されるコンピュータプログラムであって、
前記電子計算機を、
複数のカメラによって撮影される三次元空間内の座標のうちの、前記カメラによって撮影された画像中の当該座標が投影される画素の画素値が、前記複数のカメラによって撮影された画像の全てにおいて、設定された抽出対象画素値範範囲内の画素値となった座標を、前記被計測体内部の座標とする視体積交差法によって、前記被計測体の三次元形状を計測する三次元形状計測手段と、
複数の異なる前記抽出対象画素値範範囲について、前記三次元形状計測手段に、前記被計測体の三次元形状を計測させることにより、複数の異なる密度レベルの各々について、前記被計測体の当該密度レベルに対応する密度を有する領域の三次元形状を計測する三次元密度分布計測手段として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の三次元形状を計測する技術に関するものである。
【背景技術】
【０００２】
三次元形状を計測する技術としては、対象物表面をスリット光でスキャンすると共に、対象物を撮影した各画像中に表れるスリット光の形状より、当該対象物の三次元形状を計測する光切断法と呼ばれる技術が知られている（たとえば、特許文献１）。
【特許文献１】特開平09-210646号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、光切断法によれば、一度の三次元形状の計測の度に、対象物表面全体のスリット光によるスキャンを行う必要があるため、高速な三次元形状の計測を行うことができない。そして、このために、光切断法による計測の技術では、比較的高速に変形する物体の三次元形状や、その三次元形状の変化の推移を適正に計測することは困難である。また、計測対象の物体が霧状や煙状の密度分布が変化する物体である場合に、その密度分布やその変化を計測することもできない。
【０００４】
そこで、本発明は、より高速に、物体の三次元形状をその密度分布と共に計測することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、被計測体の三次元形状を計測する三次元形状計測システムを、前記被計測体を撮影する複数のカメラと、前記複数のカメラによって撮影される三次元空間内の座標の各々について、密度レベル毎に各々定めた画素値範囲である密度レベル毎画素範囲の内のいずれに、当該座標が投影される前記複数のカメラで撮影した画像中の画素の画素値の全てが含まれるかを算定し、算定した密度レベル毎画素範囲に対応する密度レベルを、当該座標が有する密度のレベルとすることにより、前記被計測体の密度レベル毎の三次元形状を計測する三次元形状計測手段とを含めて構成したものである。
【０００６】
また、前記課題達成のために、本発明は、被計測体の三次元形状を計測する三次元形状計測システムを、前記被計測体を撮影する複数のカメラと、前記複数のカメラによって撮影される三次元空間内の座標のうちの、前記カメラによって撮影された画像中の当該座標が投影される画素の画素値が、前記複数のカメラによって撮影された画像の全てにおいて、設定された抽出対象画素値範範囲内の画素値となった座標を、前記被計測体内部の座標とする視体積交差法によって、前記被計測体の三次元形状を計測する三次元形状計測手段と、複数の異なる前記抽出対象画素値範範囲について、前記三次元形状計測手段に、前記被計測体の三次元形状を計測させることにより、複数の異なる密度レベルの各々について、前記被計測体の当該密度レベルに対応する密度を有する領域の三次元形状を計測する三次元密度分布計測手段とを含めて構成したものである。
【０００７】
これらのような三次元形状計測システムによれば、スリット光のスキャンなどの必要のない視体積交差法を用いて、複数のカメラで同時に被計測体を撮影した画像から被計測体の密度レベル毎の領域の三次元形状を計測することができるようになる。よって、これら三次元形状計測システムによれば、高速に被計測体の三次元形状や三次元密度分布を計測することができ、形状や密度分布が比較的高速に変化する物体についても、その三次元形状や三次元密度分布や、三次元形状や三次元密度分布の変化の推移を適正に計測することができるようになる。
【０００８】
なお、以上の各三次元形状計測システムにおいて、前記被計測体は、噴霧された物体としても良い。
【発明の効果】
【０００９】
以上のように、本発明によれば、より高速に、物体の三次元形状をその密度分布と共に計測することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る三次元形状計測システムの構成を示す。
図示するように、三次元形状計測システムは、カメラ１とカメラ１からの画像を取り込むビデオ入力インタフェース２の組を複数備えている。また、三次元形状計測システムは、三次元形状モデリング部３、三次元形状メモリ４、レンダリング部５、表示装置６、入力装置７とを備えている。
【００１１】
ここで、各カメラ１は同じフレーム周期で、相互に同期して、被計測物の撮影を行い、フレーム周期毎に撮影した画像フレームを組となっているビデオ入力インタフェース２に出力する。ビデオ入力インタフェース２は、組となっているカメラ１から逐次入力する画像フレームを、内部に備えたフレームメモリに格納する。
【００１２】
次に、三次元形状モデリング部３は、各ビデオ入力インタフェース２のフレームメモリに格納されている同時期に複数のカメラ１によって撮影された各画像フレームを読み出して、被計測物の三次元形状を、視体積交差法により計測し、計測した三次元形状を有する三次元モデルのデータを三次元モデルデータとして三次元形状メモリ４に格納する。
【００１３】
そして、レンダリング部５は、三次元形状メモリ４に格納された三次元形状モデルデータに基づいて、被計測物の三次元形状を、入力装置７を介してオペレータから指定された形態で表示装置６に表示する。
なお、このような三次元計測システムは、汎用的な構成を備えた電子計算機を用いて構成してもよい。この場合には、各々カメラが接続された複数のビデオ入力インタフェース２と表示装置６と入力装置７を電子計算機に接続し、前述した三次元形状モデリング部３や三次元形状メモリ４やレンダリング部５は、電子計算機画予め用意された所定のプログラムを実行することにより、当該電子計算機上の記憶資源として具現化されるプロセスとして、電子計算機に実装する。
【００１４】
以下、このような三次元形状計測システムの三次元形状計測動作の詳細について、噴霧された霧状体の三次元形状の計測への適用を例にとり説明する。
図２に、このような計測を行う場合の、三次元形状計測システムのカメラ１の配置例を示す。
図示した例は、ノズル２２０から下方に噴霧される霧状体２２１を計測するものであり、この例では、ノズル２２０下方のノズルの噴射軸を中心とする円の円周上に配置した９台のカメラ１で、下方からノズル２２０の噴射口方向を撮影している。また、下方から、ノズル２２０方向を照明する照明光２０２を照射する照明装置２０１と、ノズル２２０とカメラ１との間に配置した、カメラ保護用の透明板２１０を設けている。
【００１５】
次に、三次元形状モデリング部３が行う三次元形状モデリング処理について説明する。なお、この三次元形状モデリング処理によって、前述した三次元形状モデリング部３の被計測物の三次元形状の計測、及び、三次元モデルデータの三次元形状メモリ４への格納の動作が実現される。
【００１６】
図３に、この三次元モデリング処理の手順を示す。
図示するように、この処理では、計測が開始されると（ステップ３０２）、以下の処理を、計測終了まで（ステップ３４０）、繰り返し行う。
すなわち、まず、現在時刻をｔとして取得する（ステップ３０４）。また、各ビデオ入力インタフェース２のフレームメモリに格納されている最新の画像フレームを、当該時刻ｔの画像フレームとして取得する（ステップ３０６）。そして、計測対象の現実空間ＲＷの各座標（ｘ、ｙ、ｚ）を順次処理対象座標として（ステップ３０８、３１０、３１２、３２６、３３２、３２８、３３４、３３０、３３６）、処理対象座標が物体内部の座標であるか物体の外部の座標であるかを視体積交差法により弁別する視体積交差領域算出処理（ステップ３１４からステップ３２４）の処理を行う。なお、この視体積交差領域算出処理では、処理対象座標が物体内部の座標である場合には、併せて、物体の処理対象座標の密度のレベルを計測する処理も行う。
【００１７】
すなわち、この視体積交差領域算出処理（ステップ３１４からステップ３２４）では、密度の分解数をｎ、分解用輝度ステップ幅をｓとして、ステップ３０６で各ビデオ入力インタフェース２から取得した、各カメラ１が撮影した各画像フレーム中の、処理対象座標（ｘ、ｙ、ｚ）が投影される画素の輝度Ｄ（ｘ、ｙ、ｚ）の全てが、Ｔｈi以上となる最大のｉを、ｉをｎから１まで減少させながら（ステップ３１４、３２０、３２４）算出する（ステップ３１６）。ただし、
Ｔｈi=基準しきい値+｛（ｉ-1）×ｓ｝
とする。
ここで、画像フレーム中の、処理対象座標（ｘ、ｙ、ｚ）が投影される画素とは、当該画像フレームを撮影するカメラ１の、処理対象座標（ｘ、ｙ、ｚ）の撮影の障害となる遮蔽物が存在しない場合に、当該処理対象座標（ｘ、ｙ、ｚ）に存在する物体が写り込む当該画像フレーム中の画素である。また、密度の分解数には、物体の密度を、密度レベル１から密度レベルｎまでのｎ段階に分けて計測する場合にｎを予め設定する。また、分解用輝度ステップ幅ｓには、物体の最大密度の箇所を撮影した場合に得られる輝度と、物体の最小密度の箇所を撮影した場合に得られる輝度との差をｎで除算した値を設定する。また、基準しきい値には、密度レベル１内の最小の密度の物体を撮影した画素の輝度の値を予め設定する。なお、図２に示したように撮影を行う場合、霧状体２２１内部の密度が大きい位置ほど、当該位置を撮影した画素の輝度も大きくなる。
【００１８】
そして、最大のｉを求めることができたならば、時刻ｔの仮想空間ＶＷ（ｔ）の座標（ｘ、ｙ、ｚ）のボクセルを物体内部のボクセルとし、求めた最大のｉを当該ボクセルの密度レベル属性として設定する（ステップ３１８）。また、最大のｉを求めることができなかった場合、すなわち、処理対象座標（ｘ、ｙ、ｚ）が投影される画素の輝度Ｄ（ｘ、ｙ、ｚ）のいずれが、基準しきい値未満であった場合には、時刻ｔの仮想空間ＶＷ（ｔ）の座標（ｘ、ｙ、ｚ）のボクセルを物体外部のボクセルに設定する（ステップ３２２）。
【００１９】
ここで、以上の視体積交差領域算出処理（ステップ３１４からステップ３２４）による処理例を図４に示す。
図示した例では、密度分解数を２として、ａに示すように現実世界ＲＷに存在する密度レベル１内の密度を有する領域４０２と密度レベル２（密度レベル２＞密度レベル１）内の密度を有する領域４０１を有する霧状体を、ｂ１に示すカメラ１と、ｃ１に示すカメラ１によって異なる方向から撮影している。そして、ｂ１に示すカメラ１によってｂ２に示す画像フレームが撮影され、ｃ１に示すカメラ１によってｃ２に示す画像フレームが撮影されている。
【００２０】
この場合、ａに示す現実世界ＲＷ中の霧状体の密度レベル２内の密度を有する領域４０１内の座標４１１が投影されるｂ２の画像フレームの画素の輝度と、座標４１１が投影されるｃ２の画像フレームの画素の輝度は、全て密度レベル２内の最小密度に対応する輝度（基準しきい値+ｓ）以上となるので、ａに示す現実世界ＲＷ中の座標４１１に対応する、ｄに示す仮想空間ＶＷ上のボクセル４２１は物体内部の、属性として密度レベル２を持つボクセルとして設定される。
【００２１】
次に、ａに示す現実世界ＲＷ中の霧状体の密度レベル１内の密度を有する領域４０２内の座標４１２が投影されるｂ２の画像フレームの画素の輝度と、座標４１２が投影されるｃ２の画像フレームの画素の輝度は、全て密度レベル２内の最小密度に対応する輝度（基準しきい値+ｓ）以上とならないので、ａに示す現実世界ＲＷ中の座標４１２に対応する、ｄに示す仮想空間ＶＷ上のボクセル４２２は物体内部の、属性として密度レベル２を持つボクセルとしては設定されない。しかし、これら二つの画素の輝度は、全て密度レベル１内の最小密度に対応する輝度（基準しきい値）以上となるので、ａに示す現実世界ＲＷ中の座標４１２に対応する、ｄに示す仮想空間ＶＷ上のボクセル４２２は物体内部の、属性として密度レベル１を持つボクセルとして設定される。
【００２２】
また、ａに示す現実世界ＲＷ中の霧状体の密度レベル１内の密度を有する領域４０２内の座標４１３が投影されるｂ２の画像フレームの画素の輝度と、座標４１３が投影されるｃ２の画像フレームの画素の輝度は、ｃ２の画像フレームの画素の輝度は密度レベル２内の最小密度に対応する輝度（基準しきい値+ｓ）以上となるが、ｂ２の画像フレームの画素の輝度は密度レベル２内の最小密度に対応する輝度（基準しきい値+ｓ）以上とはならない関係にある。したがって、ａに示す現実世界ＲＷ中の座標４１３に対応する、ｄに示す仮想空間ＶＷ上のボクセル４２３は物体内部の、属性として密度レベル２を持つボクセルとしては設定されない。しかし、これら二つの画素の輝度は、全て密度レベル１内の最小密度に対応する輝度（基準しきい値）以上となるので、ａに示す現実世界ＲＷ中の座標４１３に対応する、ｄに示す仮想空間ＶＷ上のボクセル４２３は物体内部の、属性として密度レベル１を持つボクセルとして設定される。
【００２３】
そして、最後に、ａに示す現実世界ＲＷ中の霧状体の外部の座標４１４が写り込むｂ２の画像フレームの画素の輝度と、座標４１４が写り込むｃ２の画像フレームの画素の輝度は、全て密度レベル２内の最小密度に対応する輝度（基準しきい値+ｓ）以上とならず、かつ、全て密度レベル１内の最小密度に対応する輝度（基準しきい値）以上ともならないので、ａに示す現実世界ＲＷ中の座標４１４に対応する、ｄに示す仮想空間ＶＷ上のボクセル４２４は物体外部のボクセルとして設定される。
【００２４】
さて、図３に戻り、計測対象の現実空間ＲＷの各座標（ｘ、ｙ、ｚ）について以上の処理が終了したならば、時刻ｔの仮想空間ＶＷ（ｔ）の物体内部の物体内部の各ボクセルのデータを、時刻ｔにおいて計測した三次元モデルデータとして三次元形状メモリ４に格納する（ステップ３３８）。
【００２５】
以上、三次元形状モデリング処理について説明した。
図１に戻り、レンダリング部５は、前述したように、このように三次元形状メモリ４に格納された三次元モデルデータに基づいて、被計測物の三次元形状を、入力装置７を介してオペレータから指定された形態で表示装置６に表示する。
図５は、このようなレンダリング部５による表示装置６への表示例を示したものであり、ａ１は、時刻ｔ＝ｔ１時点において計測された三次元モデルデータが表す物体内部の各ボクセルのデータに基づいて、霧状体である物体の三次元形状を投影した二次元画像を生成し、生成した二次元画像によって霧状体の三次元形状を疑似三次元表示したものである。また、同様に、ｂ１は、時刻ｔ＝ｔ2時点において計測された三次元モデルデータが表す各物体内部の各ボクセルのデータに基づいて霧状体の三次元形状を疑似三次元表示したものである。
【００２６】
ここで、ａ１やｂ１に示したような霧状体の三次元形状を疑似三次元表示は、三次元モデルデータが表す物体内部の各ボクセルに当該ボクセルに属性として設定されている密度レベルに応じた透明度や色を与えた上で、各ボクセルを、オペレータによって設定された視点などに応じて定まる投影面に投影することにより生成した二次元画像を表示することにより行う。なお、各ボクセルに与える透明度は、密度レベルが小さいほど、透明度を大きくする。
【００２７】
このようにすることにより、直接的に三次元の密度分布を把握可能な形態で、霧状体の形状を表示することができる。
さて、次に、ａ２は、ａ１の断面５０１における密度分布を各ボクセルに設定されている密度レベルに基づいて表示したものであり、ｂ２は、ｂ１の断面５０２における密度分布を各ボクセルに設定されている密度レベルに基づいて表示したものである。
なお、レンダリング部５は、時刻ｔを自動的に進めながら、時刻ｔの時点において計測された三次元モデルデータが表す物体内部の各ボクセルのデータに基づいた霧状体の三次元形状の疑似三次元表示をａ１、ｂ１に示すように行うことにより、状体の三次元形状の変化のようすをアニメーション表示するようにしてもよい。
【００２８】
以上、本発明の実施形態について説明した。
ところで、以上で示した三次元モデリング部が行う三次元モデリング処理は、図６に示すように行うようにしてもよい。
すなわち、この三次元モデリング処理では、計測が開始されると（ステップ６０２）、以下の処理を計測終了まで（ステップ６１６）、繰り返し行う。
すなわち、まず、現在時刻をｔとして取得する（ステップ６０４）。また、各ビデオ入力インタフェース２のフレームメモリに格納されている最新の画像フレームを、当該時刻ｔの画像フレームとして取得する（ステップ６０６）。そして、１からｎまでの間の各ｉについて（ステップ６０８、６１４、６１６）、
Ｔｈi=基準しきい値+｛（ｉ-1）×ｓ｝
として、Ｔｈi以上を、物体内部画素輝度範囲として（ステップ６１０）、視体積交差法により第ｉ密度レベルの三次元モデルデータを作成し、三次元形状メモリ４に格納する（ステップ６１２）。より詳細には、ステップ６１２では、現実空間ＲＷの各座標のうち、各カメラ１が撮影した各画像フレーム中の、当該座標が投影される画素の輝度が全て物体内部画素輝度範囲となる座標に対応する、仮想空間ＶＷ上のボクセルは、第ｉ密度レベルの物体内部のボクセルとする。ここで、第ｉ密度レベルの物体とは、内部が、Ｔｈi以上の密度となる物体である。
【００２９】
さて、このように、三次元モデリング処理を行うことにより、各時点において、各密度レベルに対応する、対応する密度レベル以上の密度を持つ物体の三次元モデルデータが作成される。したがって、各三次元モデルデータが表す三次元形状を単独または組み合わせて表示したり、各三次元モデルデータが表す三次元形状間の演算によって生成した三次元形状を表示したりすることにより、直感的に密度分布を把握可能な形態で、霧状体の形状を表示することができるようになる。
【００３０】
また、以上の実施形態では、噴霧された霧状体を計測対象とした場合の適用を例にとり説明したが、本実施形態に係る三次元計測システムは、霧状体の他、煙状や乳濁状や懸濁状の物体について、同様に適用することができる。
なお、以上では、密度が大きい箇所ほど撮影される輝度が大きくなる霧状体への適用を例にとり示したが、密度が大きい箇所ほど撮影される輝度が小さくなる物体へ適用する場合には、以上の実施形態における密度レベルの大小を反転して適用すればよい。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る三次元形状計測システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る三次元形状計測システムによる計測時のカメラ配置例を示す図である。
【図３】本発明の実施形態に係る三次元モデリング処理を示すフローチャートである。
【図４】本発明の実施形態に係る三次元モデリング処理の処理例を示す図である。
【図５】本発明の実施形態に係る三次元形状計測システムの表示例を示す図である。
【図６】本発明の実施形態に係る三次元モデリング処理の他の例示すフローチャートである。
【符号の説明】
【００３２】
１…カメラ、２…ビデオ入力インタフェース、３…三次元形状モデリング部、４…三次元形状メモリ、５…レンダリング部、６…表示装置、７…入力装置。
【図１】
2007315777.tif 000003
【図２】
2007315777.tif 000004
【図３】
2007315777.tif 000005
【図４】
2007315777.tif 000006
【図５】
2007315777.tif 000007
【図６】
2007315777.tif 000008