(57)【特許請求の範囲】
【請求項１】
表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影手段と、
前記投影パターンが投影された前記対象物を撮像する撮像手段と、
投影が有効となるまでのオフセット時間を含む前記表示デバイスの応答特性と、撮像素子のピクセル速度を含む前記撮像手段の撮像特性とに基づいて、前記撮像手段の露光開始時間が前記投影の有効投影開始時間以降となり、且つ、前記撮像手段の露光終了時間が前記投影の有効投影終了時間以前となるように、前記撮像手段の撮像期間を算出する算出手段と、
前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させ、さらに前記撮像期間に合わせて前記光源を点灯させるように制御する制御手段と、
を備え、
前記制御手段はさらに、前記投影パターンを構成する白黒パターンのうちの白パターンの位置に対応する期間に前記光源を点灯させるように制御することを特徴とする情報処理装置。
【請求項２】
前記撮像手段は、部分領域ごとに撮像可能であり、
前記算出手段は、前記応答特性と、前記撮像特性と、前記部分領域に対応する撮像素子の水平画素数および垂直ライン数とに基づいて前記撮像期間を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記撮像手段は、１ラインごとに撮像動作を行うローリングシャッター方式で動作し、
前記撮像特性は、前記１ラインごとの露光時間と、前記１ライン分のセンサ情報を前記撮像素子から外部へ転送するのに要する時間と、をさらに含むことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記投影手段の前記表示デバイスは、１ラインごとに投影動作を行う線順次駆動方式で動作し、
前記応答特性は、前記１ライン当たりの投影が可能な状態になるまでのオフセット時間と、前記１ライン当たりに生じる隣接するラインとの投影開始の差分時間と、前記投影パターンが計測可能な時間を示す前記１ライン当たりの有効投影時間とを含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記撮像手段の撮像領域のうち前記投影手段の投影領域が重複していない領域の水平画素数および垂直ライン数を算出する領域算出手段をさらに備え、
前記制御手段は、前記水平画素数および前記垂直ライン数に相当する時間だけ前記撮像期間を延長して、当該延長された撮像期間に前記光源を点灯させることにより、前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させるように制御することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
投影手段と、撮像手段と、算出手段と、制御手段とを備える情報処理装置の制御方法であって、
前記投影手段が、表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影工程と、
前記撮像手段が、前記投影パターンが投影された前記対象物を撮像する撮像工程と、
前記算出手段が、投影が有効となるまでのオフセット時間を含む前記表示デバイスの応答特性と、撮像素子のピクセル速度を含む前記撮像手段の撮像特性とに基づいて、前記撮像手段の露光開始時間が前記投影の有効投影開始時間以降となり、且つ、前記撮像手段の露光終了時間が前記投影の有効投影終了時間以前となるように、前記撮像手段の撮像期間を算出する算出工程と、
前記制御手段が、前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させ、さらに前記撮像期間に合わせて前記光源を点灯させるように制御する制御工程と、
を備え、
前記制御工程ではさらに、前記投影パターンを構成する白黒パターンのうちの白パターンの位置に対応する期間に前記光源を点灯させるように制御することを特徴とする情報処理装置の制御方法。
【請求項７】
請求項６に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
産業用マシンビジョン分野では、技術要素として三次元計測技術が知られている。ここで、マシンビジョンを用いて三次元計測を行う方法を以下に簡単に説明する。まず、測定対象物に対して２次元パターン光を照射し、当該２次元パターンが投影された測定対象物をカメラで撮像する。次に、２次元パターンの周期性を手掛かりに、その撮像画像をコンピュータで解析して測定対象物までの距離情報を得る。この距離情報とは、測定対象物のカメラからの距離や表面凹凸など奥行き方向の距離である。幅方向、高さ方向の情報が２次元撮像画像から得ることができるため、この時点で三次元空間情報が得られている。そして、２次元撮像画像、距離情報、および予め保持している測定対象物のモデル情報を用いて三次元モデルフィッティングを行い、測定対象物の位置、姿勢、そして三次元形状を計測する。
【０００３】
この技術は、例えば、工場の製造ラインでのロボットアームによる部品ピッキングや組み立てなどに用いられる。三次元計測技術を用いて部品の位置、姿勢、および三次元形状を計測し、取得した情報に基づいてロボットアームを制御することによって、ロボットアームによる部品ピッキングや組み立てを効率的に、正確に行うことができる。
【０００４】
２次元パターンを用いる三次元計測法としては、空間符号化法や位相シフト法などがあり、画像認識処理と兼用できるため有効な手法である。また、プロジェクタによるパターン投影は、パターンを変化させて投影させることが可能なことから、空間符号化法や位相シフト法などのように複数パターンを必要とする三次元計測法に有効である。ここで、プロジェクタは３０ｆｐｓ〜６０ｆｐｓ、あるいはそれ以上のフレームレートでパターンを切り替えて投影可能である。カメラも同様に高いフレームレートで撮像可能である上に、プロジェクタおよびカメラの解像度も向上しているので、フレーム単位にパターンを変化させて計測できれば、高精度で高速な三次元計測が可能になる。
【０００５】
特許文献１では、２次元画像情報を取得する時に照明用光源を点灯して照明する動作と、三次元画像情報を取得する時に投影用光源を点灯し幾何パターンを投影する動作と、を同期させる技術が開示されている。
【０００６】
特許文献２では、複数のパターンマスクを順次切換えて、ストロボ光源をその都度発光して撮像する技術が開示されている。
【０００７】
特許文献３では、撮像装置としてＣＣＤ（電荷結合素子）が想定されており、画像取り込み期間（全画素同時取り込み）と画像出力時間とを明確に分離し、その画像出力期間に投影パターンの切換を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１８６４０４号公報
【特許文献２】特許第２９９７２４５号公報
【特許文献３】特開平７−２３４９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来の技術においては、以下のような課題がある。現在プロジェクタの光源は、高圧水銀ランプが主流である。この水銀ランプはハロゲンランプと異なりフィラメントを使用しないので寿命はある程度長いが、産業用として四六時中点灯し続ける場合は数カ月程度で部品交換をしなくてはならない。また、点灯してから安定するまで時間がかかるため、一度点灯したら処理に必要な間は点灯し続ける必要がある。そのため、計測時以外の時間にも無駄に点灯し続ける上に、長時間の点灯に伴う温度上昇を抑える必要が生じてしまう。
【００１０】
また、特許文献１乃至３は何れも、投影および撮像の特性に合わせて１フレーム内で精度良く発光制御を行っていない。
【００１１】
従来は、光源として高圧水銀ランプを使用していたため光源は点灯したままだったが、ＯＮ／ＯＦＦ可能な光源（例えば、ＬＥＤ光源など）を使用することにより、従来技術のようなことは可能である。さらにＬＥＤ点灯を計測に必要な期間のみに限定して、より細かく制御することで、熱対策にも、省エネにも効果のある最適な光源利用をした計測装置の実現が可能になる。
【００１２】
上記の課題に鑑み、本発明は、光源の点灯時間を削減し、光源の昇温を防止し、光源の長寿命化および省電力化を図ることを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成する本発明に係る情報処理装置は、
表示デバイスにより生成された投影パターンを消点灯可能な光源の点灯により対象物へ投影する投影手段と、
前記投影パターンが投影された前記対象物を撮像する撮像手段と、
投影が有効となるまでのオフセット時間を含む前記表示デバイスの応答特性と、撮像素子のピクセル速度を含む前記撮像手段の撮像特性とに基づいて、前記撮像手段の露光開始時間が前記投影の有効投影開始時間以降となり、且つ、前記撮像手段の露光終了時間が前記投影の有効投影終了時間以前となるように、前記撮像手段の撮像期間を算出する算出手段と、
前記撮像手段の前記撮像期間と前記投影手段の投影期間とを同期させ、さらに前記撮像期間に合わせて前記光源を点灯させるように制御する制御手段と、
を備え、
前記制御手段はさらに、前記投影パターンを構成する白黒パターンのうちの白パターンの位置に対応する期間に前記光源を点灯させるように制御することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、光源の点灯時間を削減し、光源の昇温を防止し、光源の長寿命化および省電力化を実現することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態における３次元計測装置の構成を示す図。（予め同期タイミングを用意）
【図２】第１実施形態における投影部および撮像部の各々の動作タイミングを示す図。
【図３】第１実施形態における同期制御部の内部構成を示す図。
【図４】第１実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（全エリア）。
【図５】第２実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（ローリングシャッター方式による一部エリアの撮像）。
【図６】第２実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（グローバルシャッター方式による一部エリアの撮像）。
【図７】第３実施形態における投影および撮像の同期タイミングと光源点灯とを示す図（投影パターンの白部分のみ点灯）。
【図８】第４実施形態における計測距離と、投影と撮像の各エリアとの関係を示す図。
【図９】第４実施形態における投影および撮像の同期タイミングと光源点灯を示す図（点灯期間を撮像期間より長めに設定）。
【図１０】第５実施形態における３次元計測装置の構成を示す図（カメラとプロジェクタの特性情報を取得し同期タイミング生成）。
【図１１】第６実施形態における投影装置の内部構成を示す図（光源制御可能な投影装置）。
【図１２】第６実施形態における投影と光源点灯のタイミングを示す図。
【発明を実施するための形態】
【００１６】
（第１実施形態）
図１を参照して、第１実施形態における情報処理装置として機能する三次元計測装置の構成を説明する。三次元計測装置は、全体制御部１０１と、投影部１０２と、撮像部１０３と、同期制御部１０４とを備える。
【００１７】
全体制御部１０１は、計測パターン出力部１０１−１と、投影／撮像同期情報管理部１０１−２と、計測画像処理部１０１−３と、点灯情報管理部１０１−４とを備える。投影部１０２は、光源部１０２−１を備える。同期制御部１０４は、光源制御部１０４−１を備える。
【００１８】
全体制御部１０１は、計測パターン出力部１０１−１と、投影／撮像同期情報管理部１０１−２と、計測画像処理部１０１−３と、点灯情報管理部１０１−４との各処理部を制御し、また、投影部１０２、撮像部１０３、または同期制御部１０４と、全体制御部１０１と、の間での情報の送受信を制御する。
【００１９】
計測パターン出力部１０１−１は、計測に利用するための投影パターン画像を生成する。計測パターン出力部１０１−１は、当該投影パターン画像を投影部１０２へ送信する。
【００２０】
投影／撮像同期情報管理部１０１−２は、投影部１０２の投影開始タイミングと撮像部１０３の撮像開始タイミングとを同期させるための同期情報を予め記憶して管理する。投影／撮像同期情報管理部１０１−２は、当該同期情報を読み出して同期制御部１０４へ送信する。
【００２１】
計測画像処理部１０１−３は、撮像部１０３により撮像された画像データを受信して解析し、パターンのエッジ位置情報を抽出する。そして、投影部１０２と撮像部１０３との基線長や計測対象物までの距離に基づいて三角測量の原理で計測対象物までの距離情報マップを作成する。
【００２２】
点灯情報管理部１０１−４は、投影部１０２が備える消点灯可能な光源部１０２−１の点灯タイミングを制御するための点灯情報を生成する。点灯情報管理部１０１−４は、当該点灯情報を同期制御部１０４へ送信する。
【００２３】
投影部１０２は、投影パターンを計測対象物へ投影する。撮像部１０３は、投影部１０２により投影パターンが投影された計測対象物を撮像する。
【００２４】
同期制御部１０４は、パターン投影による三次元計測の際に投影部１０２と撮像部１０３とをフレーム単位で高速に制御することを実現するために、受信した点灯情報および同期情報に基づいて、投影部１０２による投影開始のタイミングと、撮像部１０３による撮像開始のタイミングと、を調整して両者の同期制御を行う。
【００２５】
より具体的に説明すると、全体制御部１０１は、計測パターン出力部１０１−１により生成された計測に利用するための投影パターン画像を、当該計測パターン出力部１０１−１を制御することにより、投影部１０２へ送信する。さらに、全体制御部１０１は、点灯情報管理部１０１−４により生成された点灯情報を、点灯情報管理部１０１−４を制御することにより同期制御部１０４へ送信する。
【００２６】
投影部１０２は、投影パターン画像を全体制御部１０１から受信して、不図示の表示部を駆動する。さらに、点灯情報を同期制御部１０４から受信する。そして投影部１０２は、光源部１０２−１が点灯してから投影パターンを計測対象物へ投影する。
【００２７】
撮像部１０３は、投影パターンが投影された計測対象物を撮像し、その撮像した画像を全体制御部１０１に送信する。全体制御部１０１は、撮像部１０３により撮像された画像データを受信する。計測画像処理部１０１−３がその受信された画像データを解析し、パターンのエッジ位置情報を抽出する。そして、計測画像処理部１０１−３は、投影部１０２と撮像部１０３との基線長や計測対象物までの長さに基づいて三角測量の原理で計測対象物までの距離情報マップを作成する。
【００２８】
また、図１では、投影部１０２による投影の水平走査方向と、撮像部１０３による撮像の水平走査方向とが同じ方向になるように両者をセッティングしているが、両者の水平走査方向は逆方向であってもよい。
【００２９】
ただし、線順次の表示方式またはローリングシャッター方式の撮像をする場合には、投影部１０２の副走査方向（すなわち、複数ラインで１フレームを形成するときに、ライン走査を順次進める方向であって水平走査方向に対して垂直な方向）と撮像部１０３の副走査方向とが同じ方向になるようにセッティングする。これにより、投影部の走査と撮像部の走査との、時間経過による両者の走査位置の差をより小さくすることが可能になる。
【００３０】
また、図１に示すように、撮像部１０３は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）制御により投影部１０２の投影領域の範囲内で任意の部分領域に撮像領域を設定して撮像する機能を有する。これにより、撮像側の処理の効率アップと高速化を可能としている。
【００３１】
図２（ａ）および（ｂ）は、投影部１０２と撮像部１０３との間で特に調整が難しい線順次方式の表示とローリングシャッター方式の撮像との各々の動作タイミング図である。
【００３２】
例えば、プロジェクタとしては、液晶表示デバイス型が広く普及している。一般的に液晶ではアクティブマトリクス駆動方式を採用している。アクティブマトリクス駆動方式では、水平走査期間ごとに走査線（信号線）に順次走査電圧を印加することにより、対応する画素電極に順次所定の電圧を印加して液晶を駆動し、表示画像が構成される。
【００３３】
ここで、駆動方式は、信号線への電圧印加の方法によって、面順次駆動方式と線順次駆動方式とに大別される。面順次駆動方式は、入力した映像信号に対応する信号線に印加する方式であり、線順次駆動方式は、１ライン分の映像信号を一旦ラッチした後、各映像信号の対応信号線に一度に印加する方式である。一般に線順次駆動方式が広く普及している。しかし、線順次駆動方式では全画面を同時に投影できないため、ある時点では各ラインで駆動状態が異なる表示画像となる。更に、１画面内に前フレーム画像と現フレーム画像とが混在した表示になることから、複数パターンを投影して使用するのは非常に難しい。
【００３４】
図２（ａ）は、投影部１０２がアクティブマトリクス駆動方式による線順次駆動方式である場合の動作タイミングを示している。図２（ａ）の上部には、液晶プロジェクタの線順次駆動方式における、各ラインの投影開始時間のズレと水平走査方向での投影光量の時間的変化とが示されている。縦軸は、投影位置をライン番号で表したものであり、副走査方向（垂直方向）は上から下の方向に走査される。横軸は、時間であり、ここでは２フレーム期間分の時間を示しており、１フレーム目には白パターン（輝度値が高い）、２フレーム目には黒パターン（輝度値が低い）が投影されている。なお、ここでは説明の都合により白パターンと黒パターンとで投影パターンを表現しているが、空間符号化の縦縞の投影をする場合は１フレーム内の水平方向あるいは垂直方向に空間符号化の縦縞に相当する輝度変化が存在している。
【００３５】
これにより、各ラインの投影輝度の時間的な変化はほぼ同じであるが、投影開始時間がラインごとにずれていくため、同時刻で見た場合は、投影位置に応じて光量変化が生じることがわかる。この投影輝度の時間的変化は、液晶デバイスの応答特性に起因している。
【００３６】
アクティブマトリクス駆動方式の場合は、ゲート電極線に加えられた電圧によってそれに接続されている１列分すべてのＦＥＴ（フィールド・エフェクト・トランジスタ）が"ＯＮ"動作となることで、ソースとドレインとの間に電流が流れ、そのときソース電極線に加えられている各々の電圧が液晶電極にかかり、コンデンサには電圧に応じた電荷が蓄積される。ゲート電極線が１列分の充電を終えると電圧の印加は次の列に移り、最初の１列分のＦＥＴはゲート電圧を失って"ＯＦＦ"動作となる。しかし、最初の１列分の液晶電極はソース電極線からの電圧を失うものの、同時にコンデンサに蓄積された電荷によって、次にゲート電極線が選択されるまでの１フレーム分の時間、必要な電圧をほとんど維持できる。ここで、液晶パネルの応答時間は、ブラウン管やプラズマ・ディスプレイ・パネル（ＰＤＰ）の応答時間であるマイクロ秒程度よりも遅い。その理由は、液状の液晶物質の配向変化という物理的な変化を表示に利用するためであり、具体的には、主に液晶の粘度および層の厚みをパラメータとして配向変化の遅れが決まる。この液晶デバイスの応答特性に基づいて、投影開始から所定の光量に達するまでの期間を算出することが可能になる。また、その算出結果から撮像期間を想定することも可能になる。さらに、計測可能な充分な光量を投影できる期間も算出することが可能になるので、その計測可能な期間内で撮像するように同期タイミングを生成することが可能になる。図２（ａ）の下側は、前述した上側の表示パネルの動作を簡略化して表現したものである。
【００３７】
図２（ｂ）は、撮像部１０３であるＣＭＯＳセンサの、ローリングシャッター方式での動作タイミングを示している。また、カメラは、従来はＣＣＤを使用したカメラが普及していたが、現在は、カメラ、ビデオ、携帯電話などにおいてＣＭＯＳセンサを搭載したものが非常に多くなってきている。その理由は、省電力化、高解像度化が進んでいるためである。またＣＣＤと比較して劣っていた感度性能も以前より格段に向上していることからも、ＣＭＯＳセンサが広く普及している。
【００３８】
ＣＣＤで構成されるＣＣＤセンサは、二次元配列したホトダイオードと、垂直ＣＣＤと、水平ＣＣＤと、出力アンプとを備えている。ホトダイオードにより光電変換された電荷が、垂直ＣＣＤと水平ＣＣＤとを経由して順次転送され、当該電荷は、出力アンプにより電圧変換されて電圧信号として出力される。ここで、垂直ＣＣＤおよび水平ＣＣＤの電荷の蓄積が１画面メモリとして機能するので、露光する時間と読み出す時間とを分離でき、全画素同時露光が可能となる。  一方、ＣＭＯＳセンサは、ホトダイオードと、水平・垂直ＭＯＳスイッチマトリクスと、水平と垂直とを順次走査する水平・垂直走査回路と、出力アンプとを備えている。ホトダイオードにより光電変換された電荷は、垂直走査回路のシフトパルスが到達したときに垂直ＭＯＳスイッチを導通状態にし、水平走査回路のシフトパルスが到達したときに  水平ＭＯＳスイッチを導通状態にする。
【００３９】
このとき水平・垂直のマトリクス構造になっているので、水平・垂直の両方のスイッチが導通状態になったときにその位置のホトダイオードの電荷が出力アンプに直結し、その電荷は電圧変換されて電圧信号として出力される。ここで、電荷はホトダイオードのみでしか蓄積できないので、水平ラインごとにセンサ情報を順次出力するローリングシャッター方式が採用されている。特殊ケースとして、メモリ機能を付加してグローバルシャッター方式を採用しているＣＭＯＳセンサもあるが、内部構成が複雑で回路も大規模になり高価になってしまうことから、ローリングシャッター方式のＣＭＯＳセンサが広く普及している。
【００４０】
しかし、ローリングシャッター方式では全画面同時露光での撮像ができないため、同時刻でみるとラインによって状態が異なり、計測のための撮像に使用するのは非常に難しい。
【００４１】
図２（ｂ）の上側には、ＣＭＯＳセンサのローリングシャッター方式における、各ラインの撮像開始時間のズレと、水平ライン内の露光時間と、転送時間と、水平ブランキング時間の割り振りと、垂直ブランキング時間との関係が示されている。縦軸は、撮像位置をライン番号で表したものであり、副走査方向（垂直方向）は上から下の方向に走査されるものとする。横軸は、時間であり、ここでは２フレーム期間分の時間を示している。
【００４２】
図２（ｂ）より、各水平ラインの撮像開始のずれ時間が、１水平ラインの転送時間と水平ブランキング時間との合計時間に相当することがわかる。このずれ時間は、１ライン当たりに生じる隣接するラインとの投影開始の差分時間である。つまり、ローリングシャッター方式では、１フレームの露光時間を一定に保つために、各水平ラインの露光時間を一定に保つ必要があるが、水平ライン単位で転送処理をするため、前の水平ラインの転送処理が完了しないと次の水平ラインの転送を開始することができない。そこで、前の水平ラインの転送処理と水平ブランキングにかかる時間を予め把握しておき、その時間分だけ前の水平ラインの露光開始よりも時間を遅らせて次のラインの露光を開始するようにすることで、各水平ラインの露光時間を同じ時間に保つようにしている。
【００４３】
そのため、すべての水平ラインでライン内の露光時間、転送時間、水平ブランキング時間は同じだが、各ラインの撮像開始時間がずれていくため、同時刻で見た場合は、撮像位置によって、各水平ラインの露光開始から経過した時間が異なり、更に、露光状態と転送状態と水平ブランキング状態とのうちのいずれかの状態が混在する場合もある。撮像デバイスではこのような撮像特性を有している。図２（ｂ）中の下側は、上側の各ラインの動作を簡略化して表現しているものである。
【００４４】
このような撮像特性を有する投影デバイスと撮像デバイスとを用いて三次元計測するためには、投影側で投影輝度が一定になる期間を充分確保できるようにし、更に、撮像側でその投影輝度が一定の期間中に撮像を完了するように、複数フレームを使って充分な時間を確保する必要がある。
【００４５】
本実施形態では、同期制御部１０４により、両者の同期タイミングをより正確にかつ適切に調整してフレーム単位で高速計測を実現する。
【００４６】
図３は、同期制御部１０４の内部構成図示す。同期制御部１０４は、Ｉ／Ｏ部３０１と、制御部３０２と、同期タイミング参照テーブル３０３と、同期検出部３０４と、同期タイミング生成部３０５と、同期発生部３０６と、点灯タイミング参照テーブル３０７と、点灯期間生成部３０８とを備える。
【００４７】
Ｉ／Ｏ部３０１は、全体制御部１０１から、投影タイミングと撮像タイミングとの同期合わせのための同期タイミング情報や光源点灯情報を受信する。
【００４８】
制御部３０２は、Ｉ／Ｏ部３０１により受信された同期タイミング情報を同期タイミング参照テーブル３０３へ記憶し、光源点灯情報を点灯タイミング参照テーブル３０７へ記憶する。
【００４９】
同期検出部３０４は、投影部１０２から同期に関係する信号を受信し、同期に必要な同期信号（具体的には、Ｖｓｙｎｃ信号）を検出する。
【００５０】
同期タイミング生成部３０５は、同期検出部３０４により検出された同期信号について、同期タイミング参照テーブル３０３から読み出した同期タイミング情報に基づいて、同期信号を発生させるタイミングになったときに同期発生部３０６へ同期発生の命令である同期タイミング信号を出力する。同期発生部３０６は、同期タイミング信号を受けたら、撮像部１０３が外部トリガ信号として認識できる同期信号を生成して、撮像部１０３へ送出する。
【００５１】
点灯期間生成部３０８は、同期タイミング生成部３０５により生成された同期タイミング信号を用いて、点灯タイミング参照テーブル３０７から読み出した点灯タイミング情報から点灯信号を生成して、投影部１０２の光源部１０２−１へ出力する。
【００５２】
このように、投影部１０２の投影タイミングに同期して、撮像部１０３の撮像タイミングの制御と、投影部１０２の光源１０２−１の点灯の制御とが可能になる。
【００５３】
図４は、第１実施形態における投影と撮像との同期タイミングについて全エリアを計測した場合の例を示す。図４では、図２（ａ）および（ｂ）の簡略化した投影と撮像の各々の動作タイミングを同期制御してタイミングを合わせてマージしている。
【００５４】
図４において、平行四辺形４０１は投影タイミングを示しており、平行四辺形４０２は撮像タイミングを示している。投影タイミングである平行四辺形４０１の内側に、撮像タイミングである平行四辺形４０２が存在すれば、投影タイミングに対して撮像タイミングが適切に調整できていることを表している。
【００５５】
ここで、図４の左側には、線順次駆動方式による投影タイミングとローリングシャッター方式による撮像タイミングとの同期タイミングが示されている。一方、右側には、線順次駆動方式による投影タイミングとグローバルシャッター方式による撮像タイミングとの同期タイミングが示されている。各々の下側には、各々の光源部の点灯タイミングが示されている。
【００５６】
Ｓ１は、投影部１０２の表示デバイスの立ち上りの特性や線順次駆動方式により遅れている有効なパターン投影の開始時間を示しており、Ｓ２は、撮像の終了時間を示している。このＳ２からＳ１を除いた期間が光源部の点灯期間４０３になる。
【００５７】
次に、最小の点灯期間４０３を設定するため、投影動作と撮像動作とを同期させて、効率よく高速に投影および撮像を可能にするタイミングを算出する方法を説明する。
【００５８】
まず、投影パターンのエッジ位置を精度良く計測するためには、投影部１０２の解像度よりも撮像部１０３の解像度を高くする必要がある。撮像部１０３の解像度が投影部１０２の解像度のｐ倍であるとすると、撮像部１０３の水平画素数ｍと投影部１０２の水平画素数ｎとの関係、および、撮像部１０３の垂直ライン数Ｎと投影部１０２の垂直ライン数Ｍとの関係は、それぞれ以下のようになる。
【００５９】
・水平画素数：   ｎ＝ｍ×ｐ
・垂直ライン数： Ｎ＝Ｍ×ｐ (ＲＯＩ制御時は、Ｌ＋Ｎ＝Ｍ×ｐ、ただしＬはＲＯＩ制御の開始ライン)
投影部１０２は、表示方式として面順次駆動方式または線順次駆動方式とを採用可能であるが、タイミング調整が難しい線順次駆動方式の液晶デバイスを前提に説明をする。
【００６０】
表示デバイス特有の性能特性情報として、１ライン当たりの投影が有効となるまでのオフセット時間（ここでは「Ｈｐ_ｓｔ」と称する）がある。オフセット時間は、投影開始から計測可能な投影状態になるまでに要する時間であり、表示デバイスの立ち上がりの応答特性に依存している。
【００６１】
また、表示デバイス特有の性能特性情報として、１ライン当たりのズレ時間（ここでは「ΔＨｐ」と称する）がある。線順次駆動方式では、１ラインごとに投影開始時間に一定のズレが生じるが、このズレの程度は、液晶のアクティブマトリクス駆動方式やラインバッファなどの回路構成により決まるものである。
【００６２】
さらに、表示デバイス特有の性能特性情報として、１ライン当たりの有効投影時間（ここでは「Ｈｐ」と称する）がある。有効投影時間は、例えば、投影パターンが白パターンである場合に明るさが８０％以上である期間、あるいは、投影パターンが黒パターンである場合に明るさが２０％以下である期間などであり、表示デバイスの応答特性に依存している。これらの表示デバイス特有の性能特性情報から、以下の時間を算出することが可能になる。
【００６３】
・投影部１０２のＭライン目のズレ時間：           ΔＨｐ×Ｍ
・投影部１０２のＭライン目の有効投影開始時間：   Ｈｐ_ｓｔ＋ΔＨｐ×Ｍ
・投影部１０２のＭライン目の有効投影終了時間：   Ｈｐ_ｓｔ＋ΔＨｐ×Ｍ＋Ｈｐ
次に、撮像部１０３は、撮像方式としてグローバルシャッター方式またはローリングシャッター方式を採用可能であるが、タイミング調整が難しいローリングシャッター方式のＣＭＯＳ撮像デバイスを前提に説明をする。
【００６４】
ローリングシャッター方式の撮像デバイス特有の性能特性情報として、例えば、ピクセル速度（ここでは「ｆ」と称する）があるが、これは撮像素子からセンサ情報を出力する速度である。
【００６５】
また、ローリングシャッター方式の撮像デバイス特有の性能特性情報として、１ライン当たりのズレ時間（ここでは「ΔＨｓ」と称する ）があるが、これは１水平ライン分のセンサ情報を外部に転送するのに要する時間（ブランキング期間も含む）である。
【００６６】
ここで、１ライン当たりの水平画素数ｎ、水平ブランキング数（ここでは「ｂｋ」と称する)、または１ライン当たりの露光時間（ここでは「Ｈｓ」と称する）といった各性能特性情報は、撮像部１０３の許容範囲内であれば、操作者が自由に変更して設定できるパラメータである。これらのパラメータから、１ライン当たりのズレ時間ΔＨｓが ΔＨｓ＝(ｎ＋ｂｋ)×ｆとして、また、１ライン当たりの処理時間がＨｓ＋ΔＨｓとして算出することができる。
【００６７】
さらに、撮像部１０３がＲＯＩ制御を行って部分撮像をしているケースを考える。ＲＯＩ制御により、ＲＯＩ制御の開始ラインＬのオフセット時間（ここでは「ＲＯＩ_ｓｔ」と称する）が任意に設定変更可能なパラメータとしてさらに追加される。ＲＯＩ制御による撮像を開始するためには、ＲＯＩ制御の開始ライン位置と同じ位置に相当する投影ラインにおいて、撮像開始前に投影が開始されている必要がある。よって、ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔは、投影側に依存しており、投影側Ｍライン目の有効投影開始時間（Ｈｐ_ｓｔ ＋ΔＨｐ×Ｍ）、垂直ライン数（Ｍ＝Ｎ÷ｐ）、およびＮ＝Ｌから、ＲＯＩ_ｓｔ＝Ｈｐ_ｓｔ＋ΔＨｐ×(Ｌ÷ｐ)となり、これに基づいて以下の時間を算出することができる。
【００６８】
・撮像部１０３のＮライン目のズレ時間（ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔを加算）：
ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ   ⇒  {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像開始時間（ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔを加算）：
ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ   ⇒  {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像終了時間（ＲＯＩ制御の開始ラインＬのオフセット時間ＲＯＩ_ｓｔを加算）： 
ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ  ⇒  {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ＋Ｈｓ 
次に、投影部１０２の投影時間情報と撮像部１０３の撮像時間情報とを用いて、投影および撮像のタイミングを適切に調整して制御するための条件を以下に示す。投影部１０２の有効投影期間内に撮像部１０３の露光を行うためには、以下の２つの条件を満たす必要がある。
【００６９】
まず条件１としては、投影部１０２の有効投影開始時間以降に、撮像部１０３の露光を開始する必要がある。つまり、撮像部１０３の露光開始時間を、投影の有効投影開始時間以降に設定する必要がある。すなわち、以下の関係を満たす必要がある。
【００７０】
（Ｎライン目の撮像開始時間）≧（Ｍライン目の有効投影開始時間）
⇔  ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×{(Ｌ＋Ｎ)÷ｐ}  但し、Ｍ＝(Ｌ＋Ｎ)÷ｐ
⇔  {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×（(Ｌ＋Ｎ)÷ｐ）
⇔  ΔＨｓ×Ｎ−ΔＨｐ×(Ｎ÷ｐ) ≧ Ｈｐ_ｓｔ＋ΔＨｐ×(Ｌ÷ｐ)−Ｈｐ_ｓｔ− ΔＨｐ×(Ｌ÷ｐ)  
⇒                             Ｎ ≧ ０
次に、条件２としては、投影部１０２の有効投影終了時間前に、撮像部１０３の露光を終了する必要がある。つまり、撮像部１０３の露光終了時間を、投影部１０２の有効投影終了時間と同じかそれよりも早く設定する必要がある。すなわち、以下の関係を満たす必要がある。
【００７１】
（Ｎライン目の撮像終了時間）≦ （Ｍライン目の有効投影終了時間）⇔  ＲＯＩ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔＨｐ×Ｍ＋Ｈｐ
⇔  {Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔＨｐ×((Ｌ ＋Ｎ)÷ｐ)＋Ｈｐ  但し、Ｍ＝(Ｌ＋Ｎ)÷ｐ
⇔  Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔHｐ×((Ｌ＋ Ｎ)÷ｐ)＋Ｈｐ
⇔  Ｎ ≦ (Ｈｐ−Ｈｓ) ÷（ΔＨｓ−ΔＨｐ÷ｐ）
⇔  Ｎ ≦ (Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）  但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
以上から、条件１および条件２を共に満たすためには、以下の関係を満たす必要がある。
【００７２】
(Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）  ≧  Ｎ  ≧  ０  …  （１）
この式（１）は、投影部１０２の１ライン当たりの有効投影時間Ｈｐから撮像部１０３の露光時間Ｈｓを差し引いた時間が、１フレーム期間内に投影の走査と撮像の走査とにより生じる時間の差を吸収できる猶予期間となり、その猶予期間を投影の走査と撮像の走査とにより生じる１ライン当りの時間差分で割った値が、撮像の最大垂直ライン数Ｎｍａｘになることを示している。
【００７３】
ここで、Ｈｐ、ｆ、ΔＨｐ÷ｐは定数であるが、ｎ、ｂｋ、Ｈｓ、Ｎは設定パラメータであるため、この条件式を満たすように、撮像の水平画素数ｎ、ブランキング数ｂｋ、撮像部１０３の露光時間Ｈｓ、およびＲＯＩ制御エリアの撮像の垂直ライン数Ｎを決定することにより、投影および撮像のタイミングを適切に調整することが可能となる。
【００７４】
また、撮像の開始時間Ｓ１は、ＲＯＩ制御の開始ラインＬを設定することにより、以下の式により算出することができる。
【００７５】
Ｓ１＝Ｈｐ_ｓｔ＋ ΔＨｐ×（Ｌ÷ｐ）、但し、Ｍ＝Ｌ
そして、撮像の終了時間Ｓ２は、式（１）を満たすようにＲＯＩ制御エリアの水平画素数ｎとブランキング数ｂｋと垂直ライン数Ｎを設定することにより、以下の式により算出することができる。
【００７６】
Ｓ２＝Ｓ１＋ΔＨｓ×Ｎ
＝{Ｈｐ_ｓｔ＋ΔＨｐ×（Ｌ÷ｐ）}＋{(ｎ＋ｂｋ)×ｆ}×Ｎ  但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
ここまでは撮像部１０３がＲＯＩ制御を行い撮像するケースで説明したが、ＲＯＩ制御を行わない場合もあり、下記の２つのケースが考えられる。
【００７７】
ケース１：ＲＯＩ制御無しで、投影開始と同時に全画面の撮像を開始する場合
ケース２：ＲＯＩ制御無しで、投影開始からオフセット値（Ｈｓ_ｓｔ）分だけ遅れて全画面の撮像を開始する場合
以下、ケース１およびケース２のそれぞれについてＲＯＩ制御を行う場合と同様に、以下に示すように各時間を算出する。  ・撮像部１０３のＮライン目のズレ時間：
ケース１：ΔＨｓ×Ｎ
ケース２：Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像開始時間：
ケース１：ΔＨｓ×Ｎ 
ケース２：Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ
・撮像部１０３のＮライン目の撮像終了時間： 
ケース１：ΔＨｓ×Ｎ＋Ｈｓ
ケース２：Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ
そして、これらを同様に条件１および条件２に当てはめる。まず条件１としては、投影部１０２の有効投影開始時間以降に、撮像部１０３の露光を開始する必要がある。つまり、撮像部１０３の露光開始時間を、投影の有効投影開始時間以降に設定する必要がある。すなわち、以下の関係を満たす必要がある。
【００７８】
（Ｎライン目の撮像開始時間）≧（Ｍライン目の有効投影開始時間）
ケース１：
⇔  ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×（Ｎ÷ｐ）
⇔          Ｎ ≧ Ｈｐ_ｓｔ ÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ)  但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
ケース２：
⇔ Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ ≧ Ｈｐ_ｓｔ＋ΔＨｐ×（Ｎ÷ｐ）
⇔                    Ｎ ≧ (Ｈｐ_ｓｔ−Ｈｓ_ｓｔ )÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ)   但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
次に、条件２としては、投影部１０２の有効投影終了時間前に、撮像部１０３の露光を終了する必要がある。つまり、撮像部１０３の露光終了時間を、投影部１０２の有効投影終了時間と同じかそれよりも早く設定する必要がある。すなわち、以下の関係を満たす必要がある。
【００７９】
（Ｎライン目の撮像終了時間）≦ （Ｍライン目の有効投影終了時間）
ケース１：
⇔  ΔＨｓ×Ｎ＋Ｈｓ≦ Ｈｐ_ｓｔ＋ΔＨｐ×(Ｎ÷ｐ)＋Ｈｐ
⇔               Ｎ ≦ (Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
ケース２：
⇔  Ｈｓ_ｓｔ＋ΔＨｓ×Ｎ＋Ｈｓ ≦ Ｈｐ_ｓｔ＋ΔＨｐ×(Ｎ÷ｐ)＋ Ｈｐ
⇔  Ｎ ≦ (Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ_ｓｔ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）  但し、ΔＨｓ＝(ｎ＋ｂｋ)×ｆ
以上より、条件１および条件２を共に満たすためには、以下の関係を満たす必要がある。
【００８０】
ケース１：
(Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ) ÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）≧  Ｎ ≧ Ｈｐ_ｓｔ÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ)     （但し、Ｎ≧０）…（２）
ケース２：
(Ｈｐ_ｓｔ＋Ｈｐ−Ｈｓ_ｓｔ−Ｈｓ)÷（(ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ）≧  Ｎ  ≧  (Ｈｐ_ｓｔ−Ｈｓ_ｓｔ)÷ ((ｎ＋ｂｋ)×ｆ−ΔＨｐ÷ｐ)   （但し、Ｎ≧０）…（３） 
つまり、ケース１では、投影部１０２の有効投影期間Ｈｐから撮像部１０３の露光時間Ｈｓを差し引いた時間に投影開始オフセット時間Ｈｐ_ｓｔを足した時間が、１フレーム期間内で投影の走査と撮像の走査により生じる時間差分を吸収できる猶予期間となり、その猶予期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（２）を満たす撮像の最大の垂直ライン数になることを示している。そのため、その垂直ライン数までの撮像エリアが撮像可能である。また、投影開始オフセット時間Ｈｐ_ｓｔは、１フレーム期間内で投影の走査と撮像の走査により生じる時間差を利用して撮像開始可能になるまでに費やす期間であり、その期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（２）を満たす撮像の最小の垂直ライン数になることを示している。そのため、その垂直ライン数からの撮像エリアが撮像可能である。すなわち、式（２）は、両者を合わせて、垂直ライン数の最小数から最大数までの撮像エリアが有効であることを示している。
【００８１】
また、ケース２では、投影部１０２の有効投影期間Ｈｐから撮像部１０３の露光時間Ｈｓを差し引いた時間に、投影開始オフセット時間Ｈｐ_ｓｔから撮像開始オフセット時間Ｈｓ_ｓｔを差し引いた時間を足した時間が、１フレーム期間内で投影の走査と撮像の走査により生じる時間差分を吸収できる猶予期間となり、その猶予期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（３）を満たす撮像の最大の垂直ライン数になることを示している。そのため、その垂直ライン数までの撮像エリアが撮像可能である。また、投影開始オフセット時間Ｈｐ_ｓｔは、１フレーム期間内で投影の走査と撮像の走査により生じる時間差を利用して撮像開始可能になるために費やす期間であり、その期間を投影の走査と撮像の走査により生じる１ライン当りの時間差分で割った値が、式（３）を満たす撮像の最小の垂直ライン数を示している。そのため、その垂直ライン数からの撮像エリアが撮像可能である。すなわち、式（３）は、両者を合わせて、垂直ライン数の最小数から最大数までの撮像エリアが有効であることを示している。
【００８２】
ここで、Ｈｐ、ｆ、ΔＨｐ数学ｐは定数であるが、ｎ、ｂｋ、Ｈｓ、Ｎ、Ｈｓ_ｓｔは設定パラメータであるため、式（２）または式（３）を満たして、撮像の水平画素数ｎ、ブランキング数ｂｋ、撮像の露光時間Ｈｓ、ＲＯＩ制御エリアの撮像の垂直ライン数Ｎ、および投影開始からのオフセット値Ｈｓ_を決定することにより、投影および撮像のタイミングを適切に調整することが可能となる。
【００８３】
また、撮像の開始時間Ｓ１および撮像の終了時間Ｓ２は、以下の式により算出することができる。
【００８４】
ケース１：
Ｓ１＝Ｈｐ_ｓｔ
Ｓ２＝Ｈｐ_ｓｔ＋(ｎ＋ｂｋ)×ｆ×Ｎ＋Ｈｓ
ケース２：
Ｓ１＝Ｈｓ_ｓｔ 
Ｓ２＝Ｈｐ_ｓｔ＋ (ｎ＋ｂｋ)×ｆ×Ｎ＋Ｈｓ
以上より、撮像部１０３に対して上記で決定した撮像パラメータを設定し、同期制御部１０４の撮像開始タイミングを上記により算出した値に設定する。そして同期制御部１０４が、投影の同期信号に対してその設定値分遅延させて撮像部１０３へ外部トリガ信号を出力し、撮像部１０３はそのトリガ信号に合わせて撮像する。これにより、線順次駆動方式の投影部１０２と、ローリングシャッター方式の撮像部１０３の組合せであっても、フレーム単位に投影・撮像が可能となり、高速な三次元計測を安価に実現することが可能になる。
【００８５】
ケース１は、図４における左側の線順次駆動方式の投影部１０２の表示とローリングシャッター方式の撮像部１０３との組合せに相当している。また、ケース２は、面順次駆動方式の投影部１０２の表示とローリングシャッター方式の撮像部１０３との組合せに相当している。なお、図４における右側の線順次駆動方式の投影部１０２の表示とグローバルシャッター方式の撮像部１０３との組合せでは、線順次駆動方式の表示で全画面を一斉に表示する期間中（最後のラインが表示を開始してから最初のラインが表示を終了するまでの期間）に撮像するように同期調整を行う。また、面順次駆動方式の表示とグローバルシャッター方式の撮像との同期については、表示期間中に撮像すれば良いので調整は容易である。
【００８６】
以上説明してきたように、本実施形態によれば、投影部の光源を点灯消灯可能な光源とし、投影部・撮像部のライン毎の時間ズレ、表示デバイスの 応答特性、撮像エリア情報（ＲＯＩのサイズや位置）や投影パターンなどに基づいて、投影部・撮像部を同期させる。さらに、計測に必要な期間のみ光源を点灯させることにより、投影部の光源利用効率が優れた三次元計測装置を構築可能になる。また、光源の点灯時間を削減し、光源の昇温を防止し、長寿命化および省電力化を実現することができる。
【００８７】
（第２実施形態）
図５および図６を参照して、第２実施形態における、全エリアのうち一部の部分エリアを計測する場合の投影と撮像との同期タイミングについて説明する。以下、このように部分撮像を行うことをＲＯＩ撮像と称する。
【００８８】
ここで、図５は、ローリングシャッター方式によるＲＯＩ撮像の場合であり、垂直ラインの上位領域と中間領域と下位領域との３か所でＲＯＩを区切って撮像している。この場合は、ＲＯＩの位置により、光源部の点灯期間が異なる。上位領域では早くに点灯し、中間領域、下位領域になるにつれて点灯が遅くなる。撮像の開始時間Ｓ１は、上位領域の場合はｔ１、中間領域の場合はｔ２、下位領域の場合はｔ３に相当する。また、撮像の終了時間Ｓ２は、上位領域の場合はｔ４、中間領域の場合はｔ５、下位領域の場合はｔ６に相当する。
【００８９】
また、図５における右側は、左側よりも高速な撮像系を想定した場合であり、撮像期間が短くなるため、点灯期間も短くすることができることと、更に、もし左側と同じ点灯期間を設ける場合には、矢印５０１で示されるように露光時間を長くすることができることを示している。
【００９０】
また、図６は、グローバルシャッター方式によるＲＯＩ撮像の場合であり、図５と同様に、垂直ラインの上位領域と中間領域と下位領域との３か所でＲＯＩを区切って撮像している。この場合は、ＲＯＩの位置により、光源部の点灯期間が異なる。上位領域では早くに点灯し、中間領域、下位領域になるにつれて点灯が遅くなる。撮像の開始時間Ｓ１は、上位領域の場合はｔ１、中間領域の場合はｔ２、下位領域の場合はｔ３に相当する。また、撮像の終了時間Ｓ２は、上位領域の場合はｔ４、中間領域の場合はｔ５、下位領域の場合はｔ６に相当する。
【００９１】
また、図６における右側は、左側よりも高速な撮像系を想定した場合であり、撮像期間が短くなるため、点灯期間も短くすることができることと、更に、もし左側と同じ点灯期間を設ける場合には、矢印６０１で示されるように露光時間を長くすることができることを示している。
【００９２】
（第３実施形態）
図７を参照して、第３実施形態における、投影パターンの白部分（輝度が高い部分）の時のみ光源を点灯させる場合の投影と撮像との同期タイミングについて説明する。図７に示される例では、線順次駆動方式の投影部１０２の表示とローリングシャッター方式の撮像部１０３との組合せで、ＲＯＩ撮像するときに、垂直ラインの上位領域では白黒パターン、中間領域では白黒白黒パターン、下位領域では黒白パターンを、それぞれ投影する。
【００９３】
図５および図６のようにＲＯＩの領域だけで判断した場合の点灯期間は、点線枠までの点灯期間が必要になるが、図７の場合、垂直ラインの上位領域では、白パターンのある前半の期間のみ点灯し、後半の黒パターンのときは消灯する。そして、中間領域では、白黒白黒と続く下側の黒パターンのときは消灯する。また、下位領域では、前半の黒パターンで消灯し、後半の白パターンのときのみ点灯する。これにより、点灯時間を必要最小限の期間にすることが可能になる。
【００９４】
また、図７の右側の場合、ローリングシャッター方式の撮像で露光期間をより短くすることができるケースである。例えば、中間領域では、白黒白黒パターンにおいて、途中の白に挟まれた黒領域を撮像する期間が生じるので、その期間では光源をさらに消灯することができることを示している。
【００９５】
（第４実施形態）
本実施形態では、点灯期間を撮像期間より長めに設定する場合の投影と撮像との同期タイミングについて説明する。まず図８を参照して、点灯期間を撮像期間より長めに設定する理由を説明する。
【００９６】
まず、三次元計測で奥行のある対象物を計測するが、その奥行き方向の計測の許容範囲内では計測距離を基準位置から前後にずれた位置で投影し撮像することになる。その場合、基準位置では、投影の投影エリアと撮像の撮像エリアが一致していたとしても、基準位置よりも手前側の位置では、投影エリアが投影側へ移り、かつ投影エリアは小さくなるため、撮像側の一部の撮像エリアで投影されないエリア８０１が発生してしまう。逆に、基準位置よりも奥側の位置では、投影エリアが撮像側の方へ移り、かつ投影エリアは大きくなるが、投影側の一部の撮像エリアで投影されないエリア８０２が発生してしまう。そのため、このエリア８０２に対して投影を行い計測可能にするために点灯期間を撮像期間より長めに設定する必要がある。
【００９７】
図９を参照して、第４実施形態における、点灯期間を撮像期間より長めに設定する場合の投影と撮像との同期タイミングについて説明する。図９では、撮像期間中のみ点灯するのではなく撮像期間の前後に延長して点灯するように点灯期間を設定している。撮像領域のうち投影領域が重複していない領域の水平画素数および垂直ライン数を算出する（領域算出処理）。投影されないエリア８０２の撮像ライン数を延長する期間に相当するライン数として、ＲＯＩのライン数に加算し、その加算したトータルのライン数分を点灯期間にする。
【００９８】
（第５実施形態）
本実施形態では、投影部および撮像部の特性情報を取得して投影と撮像との同期タイミングを生成する構成について説明する。
【００９９】
図１０を参照して、第５実施形態における三次元計測装置の構成を説明する。本実施形態の三次元計測装置は、第１実施形態の三次元計測装置の構成に対して、全体制御部１０１が、投影・撮像性能特性情報記憶部１０１−５と、投影・撮像同期情報生成部１０１−６とをさらに備える点が異なる。
【０１００】
投影・撮像性能特性情報記憶部１０１−５は、投影部および撮像部の性能特性情報を予め記憶しておく。投影・撮像同期情報生成部１０１−６は、投影・撮像性能特性情報記憶部１０１−５から必要な性能特性情報を読み出して、読み出した性能特性情報から第１実施形態で説明した算出方法により同期情報を生成し、必要に応じて同期制御部１０４へ同期情報を出力するように構成する。
【０１０１】
従って、投影部や撮像部が変更された場合、変更された部分の性能特性情報を新たに投影・撮像性能特性情報記憶部１０１−５へ入力して記憶しておくことにより、その性能特性情報に基づいて自動的に同期タイミングを生成することができる。そのため、投影部や撮像部の変更に容易に対応することが可能となる。
【０１０２】
（第６実施形態）
図１１を参照して、投影部１０２が有する光源部１０２−１の内部構成について説明する。図１１（ａ）に示される光源部１０２−１の構成は、第１実施形態に対応している。光源部１０２−１は、画像メモリ１１０１と、同期検知生成部１１０２と、デバイス駆動部１１０３と、表示デバイス１１０４と、光源駆動部１１０９と、光源１１１０とを備える。画像メモリ１１０１は、表示デバイス１１０４が表示すべき画像データを記憶する同期検知生成部１１０２は、同期情報を取得して、当該同期情報に従ってデバイス駆動部１１０３を動作させる。デバイス駆動部１１０３は、表示デバイス１１０４を駆動する。また、光源駆動部１１０９は、光源１１１０を駆動する。
【０１０３】
図１１（ｂ）に示される光源部１０２−１は、図１１（ａ）の構成に加えて、Ｉ／Ｏ部１１０５と、制御部１１０６と、点灯タイミング参照テーブル１１０７と、点灯期間生成部１１０８とをさらに備える。Ｉ／Ｏ部１１０５は、外部との情報をやり取りする入力／出力部１１０５である。制御部１１０６は、Ｉ／Ｏ部１１０５を介して外部から転送された点灯タイミング情報を点灯タイミング参照テーブル１１０７へ記憶する。点灯期間生成部１１０８は、同期検知生成部１１０２および点灯タイミング参照テーブル１１０７から取得した情報に従って、光源駆動部１１０９を動作させる。
【０１０４】
図１１（ｂ）の場合は、図１１（ａ）の場合とは異なり、外部から光源１１１０の点灯タイミング情報を予め光源部１０２−１へ転送しておき、点灯タイミング参照テーブル１１０７に展開し、表示デバイス１１０４の表示タイミングに対して予め設定しておいたオフセット値と点灯期間とで光源１１１０を点灯する構成である。何れの場合も、光源１１１０の点灯消灯制御を外部から行うことが可能である。
【０１０５】
図１２は、図１１の投影装置の投影と光源点灯タイミング図を示している。全エリアを点灯した場合と、一部の計測エリアを点灯した場合と、投影パターンで白部分（高輝度領域）のみ点灯した場合について示されている。図１２の左側は、計測エリアに白黒パターンを投影した場合であり、右側は、全エリアに白黒パターンを投影した場合である。それぞれ、ｔ２からｔ３まで光源部を点灯させ、ｔ６からｔ７まで光源部を点灯させればよい。
【０１０６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005898484.tif 000002
【図３】
0005898484.tif 000003
【図８】
0005898484.tif 000004
【図１０】
0005898484.tif 000005
【図１１】
0005898484.tif 000006
【図２】
0005898484.tif 000007
【図４】
0005898484.tif 000008
【図５】
0005898484.tif 000009
【図６】
0005898484.tif 000010
【図７】
0005898484.tif 000011
【図９】
0005898484.tif 000012
【図１２】
0005898484.tif 000013