(57)【要約】【課題】投影装置と撮像装置との間で同期を取ることなく、対象物に各パターン画像が投影された画像を高速に取得すること。【解決手段】投影装置１１は、複数種類のパターン画像を投影フレーム単位で切り替えて投影する。撮像装置１２は、パターン画像が投影された対象物２を撮像し、画像データを生成する。計測装置１３は、各撮像フレームが、単一のパターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった複数のパターン画像を撮像した画像データのブレンドフレームかを判別し、少なくともキーフレームの画像データを用いて空間コード化法に基づく計測を行う。【選択図】図１
2019020157.tif 000002
【特許請求の範囲】
【請求項１】
複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、
前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置と、
前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて空間コード化法に基づく計測を行う計測装置と、
を具備する投影撮像システム。
【請求項２】
前記計測装置は、
各撮像フレームの画像データの画素値の振幅と振幅閾値との大小関係に基づいて、前記撮像フレームが前記キーフレームか前記ブレンドフレームかを判定する、
請求項１に記載の投影撮像システム。
【請求項３】
前記計測装置は、
３枚の連続する撮像フレームの画像データのうちの２つの画像データについて、各画素の画素値と第１閾値との比較により、白と黒とが反転している画素数を計測し、
前記反転している画素数と第２閾値との大小関係に基づいて、前記撮像フレームが前記キーフレームか前記ブレンドフレームかを判定する、
請求項１に記載の投影撮像システム。
【請求項４】
前記計測装置は、
各撮像フレームの画像データのヒストグラムにおける画素値の範囲と基準範囲との関係、および、最大画素値の画素数と基準数との大小関係に基づいて、前記撮像フレームが前記キーフレームか前記ブレンドフレームかを判定する、
請求項１に記載の投影撮像システム。
【請求項５】
複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、
前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置と、
１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームから単一の前記パターン画像を撮像した画像データのキーフレームを生成し、前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う計測装置と、
を具備する投影撮像システム。
【請求項６】
前記計測装置は、
前記各ブレンドフレームが、白と黒とを反転させた一対のパターン画像を撮像した画像データの第１ブレンドフレームか、前記第１ブレンドフレーム以外の第２ブレンドフレームかを判別し、
前記第１ブレンドフレームと前記第２ブレンドフレームとで異なる処理により、前記キーフレームの画像データを生成する、
請求項５に記載の投影撮像システム。
【請求項７】
前記計測装置は、
濃い灰色と薄い灰色の２色からなる前記第１ブレンドフレームの画像データにおいて、前記濃い灰色の画素値と前記薄い灰色の画素値の、一方を白の画素値に変換し、他方を黒の画素値に変換することにより、前記キーフレームの画像データを生成する、
請求項６に記載の投影撮像システム。
【請求項８】
前記計測装置は、
白、黒、濃い灰色および薄い灰色の４色からなる前記第２ブレンドフレームの画像データにおいて、前記濃い灰色の画素値と前記薄い灰色の画素値の、一方を白の画素値に変換し、他方を黒の画素値に変換することにより、前記キーフレームの画像データを生成する、
請求項６または７に記載の投影撮像システム。
【請求項９】
複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置に投影パターンを出力する出力部と、
前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置から前記画像データを入力する入力部と、
前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行うプロセッサと、
を具備する計測装置。
【請求項１０】
複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置に投影パターンを出力する出力部と、
前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置から前記画像データを入力する入力部と、
１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームから単一の前記パターン画像を撮像した画像データのキーフレームを生成し、前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行うプロセッサと、
を具備する計測装置。
【請求項１１】
複数種類のパターン画像を投影フレーム単位で切り替えて投影し、
前記パターン画像が投影された対象物を撮像し、
撮像フレーム単位の画像データを生成し、
前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、
少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う、
投影撮像方法。
【請求項１２】
複数種類のパターン画像を投影フレーム単位で切り替えて投影し、
前記パターン画像が投影された対象物を撮像し、
撮像フレーム単位の画像データを生成し、
１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームから単一の前記パターン画像を撮像した画像データのキーフレームを生成し、
前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う、
投影撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元計測を行うための投影撮像システム、計測装置および投影撮像方法に関する。
【背景技術】
【０００２】
建物等の対象物に対して所望のコンテンツ画像を投影する技術としてプロジェクション・マッピングと呼ばれる技術が知られている。一般に対象物は三次元形状を有するため、コンテンツ画像をそのまま投影した場合には、対象物の表面の凹凸や、奥行きの大小のために、投影装置とは別個の位置にいる観客には、投影された画像が歪んだ画像として見えてしまう。そこで、対象物の各点における撮像装置と投影装置の各画素の対応関係を予め計測し、コンテンツ画像に対して、対応する座標変換を行って投影することにより、歪みの無いコンテンツ画像を観ることができるようにしている。
【０００３】
撮像装置と投影装置の各画素の対応を予め計測する方法の一つとして、空間コード化法が知られている。空間コード化法は、プロジェクタ投影領域の座標情報をビットプレーンに分解し、各ビットを２値画像化したパターン画像を投影装置から対象物に投影し、パターン画像が投影された状態の対象物を撮像装置で撮像し、画像データを２値化した２値情報を再びビットに合成することにより、撮像装置と投影装置の座標対応関係を決める方法である。
【０００４】
空間コード化法を用いた投影撮像システムでは、ＰＣ（パーソナルコンピュータ）から投影装置へのパターン画像の転送時間や投影装置内部のバッファリング時間を撮像装置が認識できない。このため、各パターン画像が投影された画像を撮像装置で確実に撮像するためには、各パターン画像の投影時間を充分に長くしなければならなかった。
【０００５】
特許文献１、２には、投影装置による各パターン画像の投影タイミングと撮像装置のシャッタタイミングとを同期させることにより、対象物に各パターン画像が投影された画像を確実かつ高速に取得することができる発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２８９６１３号公報
【特許文献２】特開２０１４−３２１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
市販のプロジェクタ（投影装置）やカメラ（撮像装置）には、互いに同期を取るために同期信号を入力／出力するための機構が具備されていない。このため、特許文献１、２に記載された発明は、市販のプロジェクタやカメラを用いて実現することができない。
【０００８】
本開示の一態様は、投影装置と撮像装置との間で同期を取ることなく、対象物に各パターン画像が投影された画像を確実かつ高速に取得することができる投影撮像システム、計測装置および投影撮像方法を開示する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る投影撮像システムは、複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置と、前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて空間コード化法に基づく計測を行う計測装置と、を具備する。
【００１０】
本開示の一態様に係る計測装置は、複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置に投影パターンを出力する出力部と、前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置から前記画像データを入力する入力部と、前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行うプロセッサと、を具備する。
【００１１】
本開示の一態様に係る投影撮像方法は、複数種類のパターン画像を投影フレーム単位で切り替えて投影し、前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成し、前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う。
【発明の効果】
【００１２】
本開示の一態様によれば、投影装置と撮像装置との間で同期を取ることなく、対象物に各パターン画像が投影された画像を確実かつ高速に取得することができる。したがって、本開示の一態様では、市販のプロジェクタやカメラを用いることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る投影撮像システムの構成を示す図
【図２】本発明の実施の形態１に係る投影撮像方法を示すフロー図
【図３】本発明の実施の形態１に係る投影撮像方法における投影及び撮像のタイミングを示す図
【図４】本発明の実施の形態１に係る投影撮像方法における撮像フレームの水平方向の画素値の変化の一例を示す図
【図５】本発明の実施の形態１に係る投影撮像システムにおける計測装置で取得する画像を示す図
【図６】本発明の実施の形態１に係る投影撮像システムにおけるフレーム判別方法を示す図
【図７】本発明の実施の形態１に係る投影撮像システムにおける基準値を取得するための投影画像の変形例を示す図
【図８】本発明の実施の形態２に係る投影撮像方法を示すフロー図
【図９】本発明の実施の形態２に係る投影撮像方法における投影及び撮像のタイミングを示す図
【図１０】本発明の実施の形態２に係る投影撮像方法における基準値の取得方法を示す図
【図１１】本発明の実施の形態３に係る投影撮像システムにおける基準値の取得方法を示す図
【図１２】本発明の実施の形態３に係る投影撮像システムにおけるフレーム判別方法を示す図
【図１３】本発明の実施の形態４に係る投影撮像システムにおけるブレンドフレームＡの画像データからキーフレームの画像データを生成する方法を示す図
【図１４】本発明の実施の形態４に係る投影撮像システムにおけるブレンドフレームＢの画像データからキーフレームの画像データを生成する方法を示す図
【図１５】本発明の実施の形態５に係る投影撮像方法を示すフロー図
【図１６】本発明の実施の形態５に係る投影撮像システムにおける連続して投影及び撮像する際のタイミングを示す図
【図１７】本発明のその他の実施の形態に係る投影撮像システムにおける連続して投影及び撮像する際のタイミングを示す図
【発明を実施するための形態】
【００１４】
以下、図面を適宜参照して、本発明の各実施の形態について、詳細に説明する。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１５】
（実施の形態１）
＜投影撮像システム構成＞
本発明の実施の形態１に係る投影撮像システム１の構成について、図１を参照しながら、以下に詳細に説明する。
【００１６】
投影撮像システム１は、投影装置１１と、撮像装置１２と、計測装置１３と、を有している。
【００１７】
投影装置１１は、周期的に動作し、計測装置１３から受信した画像データの複数種類のパターン画像を、所定のフレームレート（第１フレームレート）の投影フレーム毎に順次切り替えながら対象物２に投影する。
【００１８】
撮像装置１２は、周期的に動作し、投影装置１１によりパターン画像が投影された対象物２を投影装置１１と同期することなく所定のフレームレート（第２フレームレート）で撮像し、画像データを生成する。撮像装置１２は、生成した各撮像フレームの画像データ（以下、「フレーム画像」という）を計測装置１３に送信する。
【００１９】
計測装置１３は、撮像装置１２から受信したフレーム画像についてキーフレームの画像データかブレンドフレームの画像データかを判別し、少なくともキーフレームの画像データを用いて空間コード化法に基づく計測を行う。キーフレームとは、単一の投影フレームの期間内の撮像フレームであって、単一のパターン画像を撮像した画像データの撮像フレームである。また、ブレンドフレームとは、１フレームの露光期間中に切り替わった２つのパターン画像を撮像した画像データの撮像フレームである。
【００２０】
＜計測装置の構成＞
本実施の形態に係る計測装置１３の構成について、図１を参照しながら、以下に詳細に説明する。
【００２１】
計測装置１３は、出力部１３１と、入力部１３２と、画像バッファ１３３と、記憶部１３４と、ＣＰＵ１３５と、を有している。
【００２２】
出力部１３１は、ＣＰＵ１３５により生成したパターン画像の画像データを投影装置１１に送信する。
【００２３】
入力部１３２は、撮像装置１２から受信した画像データを、画像バッファ１３３に出力する。
【００２４】
画像バッファ１３３は、入力部１３２から入力した画像データを一時的に保存する。
【００２５】
記憶部１３４は、所定の画像パターンに関するパターン情報を予め記憶している。記憶部１３４は、ＣＰＵ１３５が実行する制御プログラムを記憶している。
【００２６】
ＣＰＵ１３５は、記憶部１３４に記憶されているパターン情報より画像パターンを読み出し、画像パターンの画像データを生成して出力部１３１に出力する。ＣＰＵ１３５は、画像バッファ１３３により記憶しているフレーム画像を読み出し、各フレーム画像についてキーフレームの画像データかブレンドフレームの画像データかを判別し、少なくともキーフレームの画像データを用いて、対象物の各点における撮像装置１２と投影装置１１の各画素の対応関係を計測する。
【００２７】
ＣＰＵ１３５は、投影パターン生成部１３５１と、判別基準計算部１３５２と、計測情報計算用画像生成部１３５３と、計測情報計算部１３５４と、を備えている。投影パターン生成部１３５１、判別基準計算部１３５２、計測情報計算用画像生成部１３５３及び計測情報計算部１３５４は、ＣＰＵ１３５における制御プログラム実行時の機能ブロックとして構成される。
【００２８】
投影パターン生成部１３５１は、記憶部１３４に記憶されている画像パターンを参照して、投影装置１１から対象物２に投影する複数種類のパターン画像を生成し、生成したパターン画像を出力部１３１に出力する。
【００２９】
判別基準計算部１３５２は、画像バッファ１３３に記憶されている画像データを読み出し、読み出した画像データの画素値（輝度）等に基づいて投影範囲及び基準値を求める。判別基準計算部１３５２は、投影範囲内における画像データの基準値に基づいて、各撮像フレームがキーフレームかブレンドフレームかを判別し、判別結果を計測情報計算用画像生成部１３５３に出力する。
【００３０】
計測情報計算用画像生成部１３５３は、判別基準計算部１３５２から入力した判別基準に基づいて、計測に用いるフレーム画像を生成し、生成したフレーム画像を計測情報計算部１３５４に出力する。
【００３１】
計測情報計算部１３５４は、計測情報計算用画像生成部１３５３から入力するフレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計測する。
【００３２】
＜投影撮像方法＞
本の実施の形態に係る投影撮像方法について、図２を参照しながら、以下に詳細に説明する。
【００３３】
まず、投影装置１１は、所定のパターン画像を投影フレーム毎に切り替えながら連続投影する（Ｓ１）。具体的には、投影装置１１は、図３に示すように、対象物２に、パターン画像Ｐ１、Ｐ２、Ｐ３、Ｐ３’、Ｐ４、Ｐ４’の順に、投影フレームＴ毎に切り替えて連続投影する。なお、Ｐ１は全面が黒色のパターン画像であり、Ｐ２は全面が白色のパターン画像である。また、（Ｐ３、Ｐ３’）、（Ｐ４、Ｐ４’）は、それぞれ、互いに白と黒とを反転させた関係の一対のパターン画像のセットである。なお、投影装置１１は、パターン画像Ｐ１を投影する代わりに何も投影しないようにしても良い。
【００３４】
また、撮像装置１２は、投影装置１１によりパターン画像が投影された対象物２を連続撮像し、画像データを生成する（Ｓ２）。なお、撮像装置１２は、遅くとも、パターン画像Ｐ１が投影されている間に最初のフレーム画像を生成するように撮像を開始する。
【００３５】
次に、計測装置１３は、撮像装置１２が生成した各フレーム画像について、キーフレームとブレンドフレームのどちらであるのかを判別する（Ｓ３）。なお、本実施の形態のキーフレームとブレンドフレームの判別方法については後述する。
【００３６】
次に、計測装置１３は、キーフレームの画像データを用いて計測用フレーム画像を生成する（Ｓ４）。
【００３７】
次に、計測装置１３は、フレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計算する（Ｓ５）。
【００３８】
＜キーフレーム／ブレンドフレームの判別方法＞
次に、本実施の形態に係るキーフレームとブレンドフレームの判別方法について、図３から図６を参照しながら、以下に詳細に説明する。
【００３９】
図３に示すように、まず、計測装置１３は、パターン画像Ｐ１が投影されている期間内の撮像フレーム（以下、「黒フレーム」という）、および、パターン画像Ｐ２が投影されている期間内の撮像フレーム（以下、「白フレーム」という）を判別する。撮像装置１２が、遅くとも、パターン画像Ｐ１が投影されている間に撮像を開始するので、少なくとも最初の撮像フレームは黒フレームとなる。計測装置１３は、２枚目以降の撮像フレームについて、順に、黒フレームと撮像フレームとの画素値（輝度）の絶対差分和（以下、「画素値差」という）と閾値ＴｈＷと比較する。そして、計測装置１３は、画素値差が閾値ＴｈＷ以下である撮像フレームを黒フレームと判定する。また、計測装置１３は、画素値差が閾値ＴｈＷより大きくなった最初の撮像フレームを、１フレームの露光期間中に切り替わったパターン画像Ｐ１とパターン画像Ｐ２を撮像した撮像フレーム（以下、「グレーフレーム」という）と判定する。
【００４０】
図３の例では、撮像装置１２の第２フレームレート（１２０Ｈｚ）が、投影装置１１の第１フレームレート（６０Ｈｚ）の２倍であり、投影装置１１が、撮像装置１２が、パターン画像Ｐ１の投影が開始された後に撮像を開始している。したがって、最初の撮像フレームＤ１のみが黒フレームとなり、２枚目の撮像フレームＤ２がグレーフレームとなる。また、３枚目の撮像フレームＤ３が白フレームとなる。
【００４１】
次に、計測装置１３は、有効領域（計算に利用する領域（画素））以外の領域をマスクする投影範囲マスクを作成する。具体的には、計測装置１３は、黒フレームと白フレームの各画素の画素値差を算出し、各画素値差と閾値Ｔｈｍと比較する。そして、計測装置１３は、画素値差が閾値Ｔｈｍより大きい画素を有効領域とする。
【００４２】
次に、計測装置１３は、各撮像フレームについて、投影ムラ又は投影対象の色や反射率の違いによる、画像データのばらつきを補正するため、画像データの画素値の正規化を行う。具体的には、計測装置１３は、ｔ番目の撮像フレームについて、有効領域において、下記の式（１）により、正規化後の画素値ｆｔ’を算出する。なお、式（１）において、maxは正規化後の画素値の最大値であり、通常は「２５５」である。また、minは正規化後の画素値の最小値であり、通常は「０」である。また、ｆｔはｔ番目の撮像フレームの画素値、ｆｗは白フレームの画素値、ｆｂは黒フレームの画素値である。
【数１】
2019020157.tif 000003
【００４３】
図４は、撮像フレームの水平方向の画素値の変化の一例を示す図である。なお、図４（ａ）は正規化前、図４（ｂ）は正規化後を示す。図４（ｂ）に示すように、正規化を行うことにより、撮像したパターン画像の色に応じた画素値を得ることができる。図４（ｂ）の例では、パターン画像の黒色部分を撮像した領域では画素値がminに近い値となり、パターン画像の白色部分を撮像した領域では画素値がmaxに近い値となる。
【００４４】
次に、計測装置１３は、各撮像フレームについて、キーフレームあるいはブレンドフレームのどちらであるのかを、正規化後の画素値に基づいて判別する。具体的には、計測装置１３は、ｔ番目の撮像フレームについて、下記の式（２）により、画素値の振幅Ａｔを算出し、画素値の振幅Ａｔと振幅閾値Ｔｈａと比較する。なお、式（２）において、Ｎは有効領域の画素数である。振幅閾値Ｔｈａは、下記の式（３）により算出される。式（３）において、ｋは係数であり、例えば「０．９」である。
【数２】
2019020157.tif 000004
【数３】
2019020157.tif 000005
【００４５】
そして、計測装置１３は、画素値の振幅Ａｔが振幅閾値Ｔｈａより大きい撮像フレームをキーフレームと判別する。一方、計測装置１３は、画素値の振幅Ａｔが振幅閾値Ｔｈａ以下の撮像フレームをブレンドフレームと判別する。
【００４６】
例えば、図３に示す撮像フレームＤ１１、Ｄ１３、Ｄ１５の画像データＱ１１、Ｑ１３、Ｑ１５は、各々図５（ａ）に示すように白、黒の２色となる。これらの正規化後の画素値は、図６（ａ）に示すものとなり、画素値（輝度）の振幅Ａｔが振幅閾値Ｔｈａより大きくなる。従って、計測装置１３は、撮像フレームＤ１１、Ｄ１３、Ｄ１５をキーフレームであると判定する。
【００４７】
また、図３に示す撮像フレームＤ１２、Ｄ１６の画像データＱ１２、Ｑ１６は、各々図５（ｂ）に示すように濃い灰色と薄い灰色の２色となる。これらの正規化後の画素値は、図６（ｂ）に示すものとなり、画素値（輝度）の振幅Ａｔが振幅閾値Ｔｈａ以下になる。従って、計測装置１３は、撮像フレームＤ１２、Ｄ１６をブレンドフレームであると判定する。
【００４８】
また、図３に示す撮像フレームＤ１４の画像データＱ１４は、図５（ｃ）に示すように白、黒、濃い灰色及び薄い灰色の４色となる。これらの正規化後の画素値は、図６（ｃ）に示すものとなり、画素値（輝度）の振幅Ａｔが振幅閾値Ｔｈａ以下になる。従って、計測装置１３は、撮像フレームＤ１４をブレンドフレームであると判定する。
【００４９】
＜効果＞
このように、本実施の形態では、各フレーム画像の画素値の振幅に基づいて各撮像フレームがキーフレームかブレンドフレームかを判別し、少なくともキーフレームの画像データを抽出する。これにより、投影装置と撮像装置との間で同期を取ることなく、空間コード化法に基づく計測に必要な画像データを高速に取得することができる。
【００５０】
また、本実施の形態によれば、正規化によりキーフレームとブレンドフレームとを判別することにより、投影ムラ又は投影対象の色や反射率の違いに関わらず、キーフレームとブレンドフレームとを正確に判別することができる。
【００５１】
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を用いて、有効領域と閾値Ｔｈｗ、Ｔｈｍ、Ｔｈａを設定したが、図７（ａ）、（ｂ）又は（ｃ）に示す画像の、白と黒とを反転させた一対のパターン画像を用いてこれらの閾値を設定してもよい。
【００５２】
（実施の形態２）
本発明の実施の形態２に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。
【００５３】
＜投影撮像方法＞
本実施の形態に係る投影撮像方法について、図８、図９、図１０を参照しながら、以下に詳細に説明する。
【００５４】
まず、投影装置１１は、計測装置１３から受信した画像データに基づいて、全面が黒色のパターン画像Ｐ１を対象物２に投影する（Ｓ１１）。次に、撮像装置１２は、対象物２を撮像する（Ｓ１２）。
【００５５】
次に、投影装置１１は、計測装置１３から受信した画像データに基づいて、全面が白色のパターン画像Ｐ２を対象物２に投影する（Ｓ１３）。次に、撮像装置１２は、対象物２を撮像する（Ｓ１４）。
【００５６】
計測装置１３は、撮像装置１２から受信した、パターン画像Ｐ１を対象物２に投影した際に撮像された画像データとパターン画像Ｐ２を対象物２に投影した際に撮像された画像データとを用いて、投影範囲及び基準値を求める。
【００５７】
具体的には、投影装置１１は、図９に示すように、パターン画像Ｐ１及びパターン画像Ｐ２を、それぞれ、複数の投影フレームＴ（フレームレート６０Ｈｚ）に渡って対象物２に投影する。撮像装置１２は、図９に示すように、パターン画像Ｐ１が投影されている期間内、および、パターン画像Ｐ２が投影されている期間内において対象物２を撮像する（フレームレート１２０Ｈｚ）。計測装置１３は、図１０に示すように、撮像装置１２から受信した、パターン画像Ｐ１を撮像した画像データの画素値（黒レベル）とパターン画像Ｐ２を撮像した画像データの画素値（白レベル）とに基づいて、投影範囲と基準値としての閾値Ｔｈ１を求める。
【００５８】
次に、投影装置１１は、所定のパターン画像を投影フレームＴ毎に切り替えながら連続投影する（Ｓ１５）。具体的には、投影装置１１は、図９に示すように、対象物２に、パターン画像Ｐ３、Ｐ３’、Ｐ４、Ｐ４’の順に、投影フレームＴ毎に切り替えて連続投影する。なお、（Ｐ３、Ｐ３’）、（Ｐ４、Ｐ４’）は、それぞれ、互いに白と黒とを反転させた関係の一対のパターン画像のセットである。
【００５９】
撮像装置１２は、投影装置１１からパターン画像が連続投影されているオブジェクトを連続撮像し（Ｓ１６）、フレーム画像を生成する。
【００６０】
次に、計測装置１３は、撮像装置１２が生成した各フレーム画像について、キーフレームとブレンドフレームのどちらであるのかを判別する（Ｓ１７）。なお、本実施の形態のキーフレームとブレンドフレームの判別方法については後述する。
【００６１】
次に、計測装置１３は、キーフレームの画像データを用いて計測用フレーム画像を生成する（Ｓ１８）。
【００６２】
次に、計測装置１３は、フレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計算する（Ｓ１９）。
【００６３】
＜キーフレーム／ブレンドフレームの判別方法＞
次に、本実施の形態に係るキーフレームとブレンドフレームの判別方法について、図９を参照しながら、以下に詳細に説明する。
【００６４】
計測装置１３は、撮像装置１２より取得した連続する３つのフレーム画像を選択する。ここで、連続する３つのフレーム画像を選択する理由は、投影の切り替えのタイミングと撮像のタイミングとが一致する場合があり、その際には１枚飛ばした画像データ同士を比較する必要があるためである。
【００６５】
計測装置１３は、選択した３つのフレーム画像のうちの２つについて、各画素の画素値と閾値Ｔｈ１との比較により、白と黒とが反転している画素数を計測し、一方のフレーム画像に対して反転している画素数が、閾値Ｔｈ２（図示せず）以上の他方のフレーム画像をキーフレームと判定し、閾値Ｔｈ２未満の他方のフレーム画像をブレンドフレームと判定する。
【００６６】
例えば、計測装置１３は、図９に示す撮像フレームＤ１１、Ｄ１２、Ｄ１３の画像データを選択する。撮像フレームＤ１２は投影フレームＴ１１及びＴ１２に跨っているため、撮像フレームＤ１１の画像データに対して撮像フレームＤ１２の画像データで反転している画素数は閾値Ｔｈ２未満となる。また、撮像フレームＤ１１の画像データに対して撮像フレームＤ１３の画像データで反転している画素数は全画素であるために閾値Ｔｈ２以上となる。更に、撮像フレームＤ１２の画像データに対する撮像フレームＤ１３の画像データで反転している画素数は閾値Ｔｈ２未満となる。これにより、計測装置１３は、撮像フレームＤ１１及びＤ１３をキーフレームであると判定し、撮像フレームＤ１２をブレンドフレームであると判定する。
【００６７】
また、例えば、計測装置１３は、図９に示す撮像フレームＤ１３、Ｄ１４、Ｄ１５を選択する。撮像フレームＤ１４は投影フレームＴ１２及びＴ１３に跨っているため、撮像フレームＤ１３の画像データに対して撮像フレームＤ１４の画像データで反転している画素数は閾値Ｔｈ２未満となる。また、撮像フレームＤ１３の画像データに対して撮像フレームＤ１５の画像データで反転している画素数は半分であるために閾値Ｔｈ２以上となる。更に、撮像フレームＤ１４の画像データに対して撮像フレームＤ１５の画像データで反転している画素数は閾値Ｔｈ２未満となる。これにより、計測装置１３は、撮像フレームＤ１３及びＤ１５をキーフレームであると判定し、撮像フレームＤ１４をブレンドフレームであると判定する。
【００６８】
＜効果＞
このように、本実施の形態では、連続する３つのフレーム画像のうちの２つについて、白と黒とが反転している画素数に基づいて各撮像フレームがキーフレームかブレンドフレームかを判別し、少なくともキーフレームの画像データを抽出する。これにより、投影装置と撮像装置との間で同期を取ることなく、空間コード化法に基づく計測に必要な画像データを高速に取得することができる。
【００６９】
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を用いて、投影範囲と閾値Ｔｈ１を設定したが、図７（ａ）、（ｂ）又は（ｃ）に示す白と黒とを反転させた一対の画像を用いて閾値Ｔｈ１を設定してもよい。
【００７０】
（実施の形態３）
本発明の実施の形態３に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。また、本実施の形態に係る投影撮像方法は、図２と同一方法であるので、その説明を省略する。
【００７１】
＜キーフレームとブレンドフレームとを判別する方法＞
本実施の形態に係るキーフレームとブレンドフレームとを判別する方法について、図１１から図１２を参照しながら、以下に詳細に説明する。
【００７２】
計測装置１３は、パターン画像Ｐ１を対象物２に投影した際の撮像データとパターン画像Ｐ２を対象物２に投影した際の撮像データとを用いて、投影範囲及び基準値を求める。
【００７３】
具体的には、計測装置１３は、図１１に示すように、黒フレームの画素値と白フレームの画素値とに基づいてヒストグラムを算出し、前記ヒストグラムにおける画素値の基準範囲Ｗ０及び画素数の基準数Ｈ０を求め、求めた基準範囲Ｗ０及び基準数Ｈ０を基準値とする。
【００７４】
次に、計測装置１３は、各撮像フレームのヒストグラムを算出し、画素値の範囲Ｗ及び画素数Ｈを求める。
【００７５】
例えば、計測装置１３は、図３に示す撮像フレームＤ１１、Ｄ１３、Ｄ１５の図５（ａ）に示す画像データＱ１１、Ｑ１３、Ｑ１５のヒストグラムにおける画素値の範囲Ｗは、図１２（ａ）に示す基準範囲Ｗ０と等しい（Ｗ＝Ｗ０）と共に画素数Ｈは基準数Ｈ０の２分の１（Ｈ＝Ｈ０／２）になる。従って、計測装置１３は、撮像フレームＤ１１、Ｄ１３、Ｄ１５をキーフレームと判定する。
【００７６】
また、計測装置１３は、図３に示す撮像フレームＤ１２、Ｄ１６の図５（ｂ）に示す画像データＱ１２、Ｑ１６のヒストグラムにおける画素値の範囲Ｗは、図１２（ｂ）に示すように、基準範囲Ｗ０より小さい（Ｗ＜Ｗ０）と共に画素数Ｈは基準数Ｈ０の２分の１（Ｈ＝Ｈ０／２）になる。この場合、計測装置１３は、撮像フレームＤ１２、Ｄ１６をブレンドフレームＡと判定する。なお、ブレンドフレームＡとは、１フレームの露光期間中に切り替わった、白と黒とを反転させた一対のパターン画像を撮像した画像データの撮像フレームである。
【００７７】
また、計測装置１３は、図３に示す撮像フレームＤ１４の図５（ｃ）に示す画像データＱ１４のヒストグラムにおける画素値の範囲Ｗは、図１２（ｃ）に示すように、基準範囲Ｗ０と略等しい（Ｗ≒Ｗ０）と共に画素数Ｈは基準数Ｈ０の２分の１よりも小さく（Ｈ＜Ｈ０／２）なる。この場合、計測装置１３は、撮像フレームＤ１４をブレンドフレームＢと判定する。なお、ブレンドフレームＢとは、ブレンドフレームＡ以外のブレンドフレームであって、１フレームの露光期間中に切り替わった、白と黒とを反転させた一対のパターン画像ではない２つのパターン画像を撮像した画像データの撮像フレームである。
【００７８】
＜効果＞
このように、本実施の形態では、各フレーム画像の画素値の範囲に基づいて各撮像フレームがキーフレームかブレンドフレームかを判別し、少なくともキーフレームの画像データを抽出する。これにより、投影装置と撮像装置との間で同期を取ることなく、空間コード化法に基づく計測に必要な画像データを高速に取得することができる。
【００７９】
また、本実施の形態によれば、正規化によりキーフレームとブレンドフレームとを判別することにより、投影ムラ又は投影対象の色や反射率の違いに関わらず、キーフレームとブレンドフレームとを正確に判別することができる。
【００８０】
（実施の形態４）
上記実施の形態１乃至３では、キーフレームとブレンドフレームとを判別した後、ブレンドフレームの画像データを使用せず、判別処理によって抽出されたキーフレームの画像データのみを用いて計測用のフレーム画像を生成する場合について説明した。
【００８１】
これに対し、実施の形態４では、キーフレームとブレンドフレームとを判別した後、ブレンドフレームを用いてキーフレームの画像データを生成し、判別処理によって抽出されたキーフレームの画像データと、ブレンドフレームから生成されたキーフレームの画像データの両方を用いて計測用のフレーム画像を生成する場合について説明する。
【００８２】
本実施の形態に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。また、本実施の形態に係る投影撮像方法は、図２と同一方法であるので、その説明を省略する。また、キーフレームとブレンドフレームとを判別する処理は、上記実施の形態１乃至３で説明したもののいずれかを用いる。
【００８３】
＜フレーム画像生成方法＞
本実施の形態に係るフレーム画像生成方法について、図１３及び図１４を参照しながら、以下に詳細に説明する。
【００８４】
まず、計測装置１３は、ブレンドフレームの画像データを用いてキーフレームの画像データを生成する。
【００８５】
例えば、計測装置１３は、図１３（ａ）に示す濃い灰色と薄い灰色の２色からなるブレンドフレームＤ１２の画像データＱ１２を、図１３（ｂ）に示すように、画素値に応じてＡ及びＢで表す。そして、計測装置１３は、図１３（ｃ）及び図１３（ｄ）に示すように、Ａを「１」及びＢを「０」にして生成した画像データＱ１２１と、これを反転させてＡを「０」及びＢを「１」にして生成した画像データＱ１２２と、をキーフレームの画像データとする。
【００８６】
また、例えば、計測装置１３は、図１４（ａ）に示す白、黒、濃い灰色及び薄い灰色の４色からなるブレンドフレームＤ１４の画像データＱ１４を、図１４（ｂ）に示すように、白を「１」及び黒を「０」で表すと共に濃い灰色及び薄い灰色をＡ及びＢで表す。そして、計測装置１３は、図１４（ｃ）及び図１４（ｄ）に示すように、Ａを「１」及びＢを「０」にして生成した画像データＱ１４１と、これを反転させてＡを「０」及びＢを「１」にして生成した画像データＱ１４２と、をキーフレームの画像データとする。
【００８７】
なお、ブレンドフレームＡの画像データ及びブレンドフレームＢの画像データでブレンドの割合が５０％ずつの場合には、灰色が１色になるため、キーフレームの画像データを生成せずにスキップする。
【００８８】
計測装置１３は、上記方法により生成したキーフレームの画像データを、前後のキーフレームの画像データに各々加算する。
【００８９】
そして、計測装置１３は、キーフレームの画像データを用いてフレーム画像を生成する。
【００９０】
＜効果＞
このように、本実施の形態によれば、ブレンドフレームの画像データを加工してキーフレームの画像データを生成する。これにより、判別したキーフレームの画像データと生成したキーフレームの画像データとを加算して、疑似的に露光時間を長くしたキーフレームの画像データを得ることができるため、ノイズを低減したキーフレームの画像データを得ることができる。
【００９１】
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を用いて基準範囲Ｗ０及び基準数Ｈ０を求めたが、上記実施の形態１と同様に、図７（ａ）、（ｂ）又は（ｃ）に示す白と黒とを反転させた一対の画像を用いて基準範囲Ｗ０及び基準数Ｈ０を求めてもよい。
【００９２】
（実施の形態５）
本発明の実施の形態５では、撮像によってはキーフレームが得られない場合について説明する。本実施の形態に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。
【００９３】
＜投影撮像方法＞
本実施の形態に係る投影撮像方法について、図１５及び図１６を参照しながら、以下に詳細に説明する。
【００９４】
本実施の形態では、図１６に示すように、投影装置１１は、各パターン画像を６０Ｈｚのフレームレートで対象物２に投影し、撮像装置１２は、投影装置１１と同じ６０Ｈｚのフレームレートで対象物２を撮像する。
【００９５】
まず、投影装置１１は、所定のパターン画像を連続投影する（Ｓ２１）。
【００９６】
具体的には、投影装置１１は、図１６に示すように、対象物２に、パターン画像Ｐ３、Ｐ３’、Ｐ４、Ｐ４’の順に、投影フレームＴ毎に切り替えて連続投影する。なお、（Ｐ３、Ｐ３’）、（Ｐ４、Ｐ４’）は、それぞれ、互いに白と黒とを反転させた関係の一対のパターン画像のセットである。
【００９７】
次に、撮像装置１２は、連続撮像を行う（Ｓ２２）。
【００９８】
次に、計測装置１３は、撮像装置１２が生成した各フレーム画像データについて、実施の形態１もしくは実施の形態３で説明した正規化処理を行い、撮像装置１２が生成した各フレーム画像について、ブレンドフレームＡとブレンドフレームＢのどちらであるのかを判別する。そして、上記実施の形態４と同一方法により、ブレンドフレームの画像データからキーフレームの画像データを生成する（Ｓ２３）。この際、計測装置１３は、生成した複数のキーフレームの画像データをそのまま加算する、又は、生成した複数のキーフレームの画像データの各々を重み付けして加算する。
【００９９】
次に、計測装置１３は、生成したキーフレームの画像データを用いて計測用フレーム画像を生成する（Ｓ２４）。
【０１００】
次に、計測装置１３は、フレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計算する（Ｓ２５）。
【０１０１】
このように、本実施の形態によれば、キーフレームの画像データを得られない場合であっても、ブレンドフレームの画像データを用いてキーフレームの画像データを得ることができる。
【０１０２】
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を対象物に投影した際に撮像した画像データを用いて、投影範囲を判定するようにしてもよい。
【０１０３】
また、本実施の形態において、生成したキーフレームの画像データを加算したが、加算しなくてもよい。
【０１０４】
（その他の実施の形態）
計測装置１３は、撮像装置１２のフレームレートが投影装置１１のフレームレートの２倍以上の場合には、各投影フレームに対して複数のキーフレームの画像データを得ることができるため、得られた複数のキーフレームの画像データを投影フレーム毎に加算してもよい。例えば、計測装置１３は、図１７に示すように、投影装置１１が６０Ｈｚのフレームレートで画像を投影し、撮像装置１２が１８０Ｈｚのフレームレートで撮像する際に、投影フレーム毎に得られる２枚のキーフレームの画像データを加算する。
【０１０５】
また、計測装置１３は、白と黒とを反転させた一対の画像を投影せずに、パターン毎に１つの画像を投影してもよい。この場合には、ブレンドフレームＢの画像データのみを得ることができる。
【０１０６】
なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。
【産業上の利用可能性】
【０１０７】
本発明は、投影撮像システムおよび投影撮像方法に好適である。
【符号の説明】
【０１０８】
１  投影撮像システム
２  対象物
１１  投影装置
１２  撮像装置
１３  計測装置
１３１  出力部
１３２  入力部
１３３  画像バッファ
１３４  記憶部
１３５  ＣＰＵ
１３５１  投影パターン生成部
１３５２  判別基準計算部
１３５３  計測情報計算用画像生成部
１３５４  計測情報計算部
【図１】
2019020157.tif 000006
【図２】
2019020157.tif 000007
【図３】
2019020157.tif 000008
【図４】
2019020157.tif 000009
【図５】
2019020157.tif 000010
【図６】
2019020157.tif 000011
【図７】
2019020157.tif 000012
【図８】
2019020157.tif 000013
【図９】
2019020157.tif 000014
【図１０】
2019020157.tif 000015
【図１１】
2019020157.tif 000016
【図１２】
2019020157.tif 000017
【図１３】
2019020157.tif 000018
【図１４】
2019020157.tif 000019
【図１５】
2019020157.tif 000020
【図１６】
2019020157.tif 000021
【図１７】
2019020157.tif 000022