(57)【要約】  画像生成装置は、撮像部１１と、投写部２２と、距離情報生成部１８とを備え、投写パターンは、第１方向に複数行且つ第２方向に複数列に配列された単位パターンを含む。複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、第１方向に並ぶ単位パターンは、互いに同じ光ドット配列を有し、第２方向に並ぶ単位パターンは、互いに異なる光ドット配列を有し、単位パターンの各々の中において第１方向に並ぶ複数の光ドットの内の第１ドットの個数は、第２方向の各行において同じ固定数であり、単位パターン以外の箇所で、第２方向の単位パターンと同じ長さの行に含まれる第１ドットの個数が、第２方向のいずれかの行で、前記固定数と異なる。
2016199323.tif 000002
【特許請求の範囲】
【請求項１】
撮像空間を撮像することによって撮像信号を生成する撮像部と、
前記撮像空間に向けてパターン光を投写することによって、前記撮像空間内に存在する被写体上に投写像としての投写パターンを形成する投写部と、
前記パターン光が投写されていないときに生成された前記撮像信号と、前記パターン光が投写されているときに生成された前記撮像信号とから、前記投写パターンの成分を含まない背景成分の画像信号と、投写像成分の画像信号とを生成する分離部と、
前記投写パターン内における各光ドットの位置と投写角との関係を予め記憶しており、前記投写パターン内における各光ドットの位置と投写角との関係と、前記投写像成分の前記画像信号とに基づいて、前記撮像部で撮像された前記投写パターン内の各光ドットの投写角を特定し、特定された前記投写角に基づいて、前記各光ドットが投写されている前記被写体までの距離を求めて、前記距離を示す距離情報を生成する距離情報生成部と、
を備え、
前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、
前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、
前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、
前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、
前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、
前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なる
ことを特徴とする画像生成装置。
【請求項２】
前記第１ドットは、前記投写部から出射された光線が照射されることによって形成される位置の前記光ドットとしての点灯ドットであり、
前記第２ドットは、光線が照射されない位置の前記光ドットとしての非点灯ドットである、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記距離情報生成部は、パターン妥当性確認部を有し、
前記パターン妥当性確認部は、
前記分離部で生成された前記投写像成分の画像信号に基づいて、前記第１方向及び前記第２方向のそれぞれに対して、前記単位パターンの２周期分以上となるサイズの矩形領域内の光ドットを読み取り、
前記第１方向に前記単位パターンの長さ分の距離、離れた位置の光ドットの状態が一致する条件、及び、前記第１方向に前記単位パターンの長さと同じ長さの列に含まれる前記第１ドットの個数が、前記単位パターンの前記第１方向の列に含まれる前記第１ドットの個数と同じとなる条件、が満たされているか否かを判定する
ことを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記距離情報生成部は、単位パターン抽出部を有し、
前記単位パターン抽出部は、
前記分離部で生成された前記投写像成分の画像信号に基づいて、前記第１方向に対して前記単位パターンの１周期分以上、前記第２方向に対して前記単位パターンの２周期分以上となる矩形領域に含まれる光ドットの状態を読み取り、
前記第２方向に、前記単位パターンの長さと同じ長さの行に含まれる前記第１ドットの個数をカウントし、いずれの行においても前記第１ドットの個数のカウント値が前記単位パターンの前記第２方向の行に含まれる前記第１ドットの個数と一致する箇所を検索し、前記箇所を境界とする前記単位パターンと同一サイズの領域の光ドットを抽出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像生成装置。
【請求項５】
前記距離情報生成部は、識別コード読取部を有し、
前記識別コード読取部は、
前記分離部で生成された前記投写像成分の画像信号に基づいて、前記単位パターンと同一サイズの領域の光ドットを抽出し、
抽出された前記光ドットのパターン及び抽出された前記光ドットのパターンを前記第１方向に繰り返し配置したパターンから、前記第１方向に前記単位パターンと同じ長さの領域を抜き出したパターンと前記投写パターンの全体に含まれる単位パターンとのマッチングを行って一致するパターンを求める
ことを特徴とする請求項１から４のいずれか１項に記載の画像生成装置。
【請求項６】
前記投写パターンの全体を構成する光ドットの配列は、前記投写パターンの全体の中心位置を対称の中心とする点対称となるように定められ、
前記投写パターンを構成する前記複数の単位パターンは、第１の単位パターンと、前記第１の単位パターンを前記第１の単位パターンの中心位置を中心として１８０度回転させた第２の単位パターンと、の組を含む
ことを特徴とする請求項１から５のいずれか１項に記載の画像生成装置。
【請求項７】
前記単位パターンは、前記第１方向に４行で前記第２方向に４列の光ドットから構成され、
前記単位パターンに含まれる前記第１方向に並ぶ前記第１ドットの個数は２個であり、
前記単位パターンに含まれる前記第２方向に並ぶ前記第１ドットの個数は２個である
ことを特徴とする請求項１から６のいずれか１項に記載の画像生成装置。
【請求項８】
前記単位パターンは、前記第１方向に４行で前記第２方向に６列の光ドットから構成され、
前記単位パターンに含まれる前記第１方向に並ぶ前記第１ドットの個数は２個であり、
前記単位パターンに含まれる前記第２方向に並ぶ前記第１ドットの個数は３個である
ことを特徴とする請求項１から６のいずれか１項に記載の画像生成装置。
【請求項９】
撮像空間に向けてパターン光を投写することによって、前記撮像空間内に存在する被写体上に投写像としての投写パターンを形成するステップと、
撮像空間を撮像することによって撮像信号を生成するステップと、
前記パターン光が投写されていないときに生成された前記撮像信号と、前記パターン光が投写されているときに生成された前記撮像信号とから、前記投写パターンの成分を含まない背景成分の画像信号と、投写像成分の画像信号とを生成するステップと、
予め記憶されている前記投写パターン内における各光ドットの位置と投写角との関係と、前記投写像成分の前記画像信号とに基づいて、撮像された前記投写パターン内の各光ドットの投写角を特定し、特定された前記投写角に基づいて、前記各光ドットが投写されている前記被写体までの距離を求めて、前記距離を示す距離情報を生成するステップと、
を有し、
前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、
前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、
前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、
前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、
前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、
前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なる
ことを特徴とする画像生成方法。
【請求項１０】
光源から出射された光から、予め決められた光ドットのパターンから成るパターン光を生成し、投写して、被写体上に投写像としての投写パターンを形成する投写部と、
前記光源を駆動させる駆動部と、
を有するパターン光生成装置であって、
前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、
前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、
前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、
前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、
前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、
前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なる
ことを特徴とするパターン光生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部によって撮像される空間（撮像空間）内に存在する物体（被写体）までの距離を示す距離情報を、撮像部によって生成される撮像画像（撮像信号）に対応付けて取得する画像生成装置、画像生成方法、及びパターン光生成装置に関する。
【背景技術】
【０００２】
従来、車両周辺監視装置として、監視領域を撮像する撮像機と、監視領域にパターン光（輝点パターン）を照射する投光器と、撮像機によって生成された、パターン光の反射光の画像データを処理することによって、障害物などの存在を検知するデータ処理部と、車両周辺の照度が予め定められた値以下のときに、監視領域の状態に代えて、データ処理部で検知された障害物などをディスプレイ装置に表示させる切替手段と、を備えるものが知られている（例えば、特許文献１参照）。【０００３】
また、光学的測距を可能にする方法が提案されている。この方法は、例えば、照明アセンブリから１次スペックルパターンをターゲット領域内に投写するステップと、１次スペックルパターンの複数の基準画像をキャプチャするステップと、ターゲット領域内において物体の表面上に投写された１次スペックルパターンの試験画像をキャプチャするステップと、試験画像内の１次スペックルパターンと最も密接にマッチングしている１次スペックルパターンを有する基準画像を識別するべく、試験画像を基準画像と比較するステップと、照明アセンブリからの、識別された基準画像の距離に基づいて物体の位置を推定するステップと、を有している（例えば、特許文献２参照）。【０００４】
しかしながら、上記従来の装置及び方法では、撮影画像と複数の基準画像との間で、パターンマッチングによる相関値の算出のための演算を行う必要があり、この演算の演算量が多いという問題があった。【０００５】
このため、投写するパターン光の中に４つの光ドットをつなげた四角形状パターン、すなわち、光スポットが周期的に表れるようにし、光スポット周囲の光ドットの点灯及び非点灯の組合せによって光スポットを他の光スポットと識別する方式が提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−８７３７７号公報（例えば、請求項１及び２）
【特許文献２】特表２００９−５２８５１４号公報（例えば、請求項１、段落０００１，０００６，０００７）
【特許文献３】国際公開第２０１４／０８０９３７号
【特許文献４】特開２００７−１７６４３号公報（段落０００３，０００４）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、回折格子とレーザ光の組合せによってパターン光を投写する投光器においては、投写される光ドットの大きさは被写体距離によって変化しないが、光ドット間の距離は被写体距離に比例して大きくなる。このため、被写体までの距離が遠い場合、撮影画像上での光ドットが小さくなり、光ドットの像がイメージセンサの画素と画素の間に形成されて、撮影画像から消失する可能性がある。【０００８】
また、イメージセンサで発生するノイズによって、実際には、光ドットが投写されていない位置に、光ドットが投写されていると誤検知される場合がある。【０００９】
上記のような光ドットの消失又は誤検出が発生した場合には、４つの光ドットをつなげた四角形状パターンである光スポットを、光スポットとして認識できない、又は、他の光スポットと誤って認識するおそれがあった。【００１０】
本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、光ドットの消失又は誤検出が発生しても、周囲の光ドットから復元を行うことができ、被写体までの距離情報を撮像部によって生成される撮像信号に対応付けて取得することを可能にする画像生成装置、画像生成方法、及びパターン光生成装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の画像生成装置は、撮像空間を撮像することによって撮像信号を生成する撮像部と、前記撮像空間に向けてパターン光を投写することによって、前記撮像空間内に存在する被写体上に投写像としての投写パターンを形成する投写部と、前記パターン光が投写されていないときに生成された前記撮像信号と、前記パターン光が投写されているときに生成された前記撮像信号とから、前記投写パターンの成分を含まない背景成分の画像信号と、投写像成分の画像信号とを生成する分離部と、前記投写パターン内における各光ドットの位置と投写角との関係を予め記憶しており、前記投写パターン内における各光ドットの位置と投写角との関係と、前記投写像成分の前記画像信号とに基づいて、前記撮像部で撮像された前記投写パターン内の各光ドットの投写角を特定し、特定された前記投写角に基づいて、前記各光ドットが投写されている前記被写体までの距離を求めて、前記距離を示す距離情報を生成する距離情報生成部と、を備え、前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、第１方向（垂直方向）の単位パターンの幅に含まれる第１ドット（例えば、点灯ドット）の個数が固定数（第１の固定数）に定められているため、点灯ドットを消失した場合又はノイズを点灯ドットと誤検出した場合であっても、垂直方向の光ドットの配列からパターン情報の妥当性を判断し、光ドットの誤り修正を行うことができる。よって、被写体が遠くにある場合であっても、被写体までの正確な距離情報を取得することができる。【００１３】
また、本発明によれば、第２方向（水平方向）の単位パターンの幅に含まれる第１ドット（例えば、点灯ドット）の個数が、単位パターンの境界の間でカウントした場合のみ、カウント値が、全てのライン（行）で固定数（第２の固定数）となるため、明確なパターン境界識別用のコードを設けなくとも、光ドットの配列から、単位パターンの水平方向の境界を推定し、単位パターンの識別を行うことができる。よって、単位パターンの識別を正確に行うことができ、被写体までの正確な距離情報を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る画像生成装置の構成を概略的に示すブロック図である。
【図２】実施の形態１に係る画像生成装置の投写部及び撮像部、並びに、撮像部によって撮像される撮像空間を概略的に示す図である。
【図３】実施の形態１に係る画像生成装置の投写部及び撮像部と、パターン光の投写によって発生する投写パターンを構成する光ドットと、の位置関係を示す図である。
【図４】図１の投写部の構成例を概略的に示す図である。
【図５】図１の分離部の構成例を概略的に示すブロック図である。
【図６】（ａ）から（ｄ）は、図５の分離部の動作を示す図である。
【図７】実施の形態１におけるパターン光の投写像である投写パターンの一例を示す図である。
【図８】実施の形態１における投写パターンの一例を、“１”（点灯ドット）と“０”（非点灯ドット）とで示す図である。
【図９】実施の形態１における投写パターン内の１つの単位パターン中に含まれる点灯ドットの個数を行（水平ライン）毎及び列（垂直ライン）毎に示す図である。
【図１０】実施の形態１における投写パターン内の複数の単位パターンを水平方向に並べる場合に満たすべき条件を示す図である。
【図１１】図１の距離情報生成部の構成を概略的に示すブロック図である。
【図１２】（ａ）から（ｄ）は、光ドットのパターンの妥当性判断方法及び修正方法を示す図である。
【図１３】（ａ）及び（ｂ）は、単位パターンの境界位置の判定を行う方法を示す図である。
【図１４】図１１の識別コード読取部又は記憶部に予め記憶されている複数の基準単位パターンとそれらを特定する情報であるパターン番号とを対応させて示す図である。
【図１５】実施の形態１において抽出されたパターンのマッチング方法を示す説明図である。
【図１６】実施の形態１における投写パターン内における複数の単位パターンの配置例を示す図である。
【図１７】本発明の実施の形態２における投写パターン内の１つの単位パターン中に含まれる点灯ドットの個数を行（水平ライン）毎及び列（垂直ライン）毎に示す図である。
【図１８】実施の形態２における投写パターン内の複数の単位パターンを水平方向に並べる場合に満たすべき条件を示す図である。
【図１９】実施の形態２に係る画像生成装置の識別コード読取部又は記憶部に予め記憶されている複数の基準単位パターンとそれらを特定する情報であるパターン番号とを対応させて示す図である。
【図２０】実施の形態２における投写パターン内における複数の単位パターンの配置例を示す図である。
【図２１】本発明の実施の形態３に係る画像生成装置を示すハードウェア構成図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
図１は、本発明の実施の形態１に係る画像生成装置の構成を概略的に示すブロック図である。図１の画像生成装置は、実施の形態１に係る画像生成方法を実施することができる装置である。図１に示されるように、実施の形態１に係る画像生成装置は、画像取得部１０と、パターン光生成部（パターン光生成装置）２０と、制御部３０とを有する。画像取得部１０は、撮像部１１と、Ａ／Ｄ（アナログデジタル）変換部１５と、分離部１６と、画像生成部１７と、距離情報生成部１８と、表示処理部１９とを有する。撮像部１１は、レンズ１２と、撮像素子１４とを有する。また、パターン光生成部２０は、投写部２２と、駆動部２１とを有する。投写部２２は、レーザ光源２３と、コリメートレンズ２４と、アパーチャ２５と、回折格子２６とを有する。また、制御部３０は、記憶部３０ａを有する。記憶部３０ａは、制御部３０の外に備えられてもよい。なお、本発明が適用される画像生成装置の構成は、図１のものに限定されない。
【００１６】
図２は、実施の形態１に係る画像生成装置の投写部２２及び撮像部１１、並びに、撮像部１１によって撮像される撮像空間（撮像対象空間）ＪＳを概略的に示す図である。図２は、撮像空間ＪＳ内に、撮像対象物として、直方体の被写体ＯＪ１と球体の被写体ＯＪ２とが存在する場合を示す。図２に示されるように、撮像部１１は、撮像空間ＪＳ内に存在する被写体ＯＪ１及びＯＪ２で反射した光Ｌ１１を受光することによって、被写体ＯＪ１及びＯＪ２の撮像を行う。画像生成装置は、撮像部１１の撮像によって画像情報としての撮像信号（画像信号）Ｄ１７を生成するだけでなく、この撮像信号に基づいて撮像部１１から、被写体ＯＪ１及びＯＪ２の各部までの距離を示す距離情報Ｄ１８を生成し、撮像信号Ｄ１７と距離情報Ｄ１８とを互いに関連付けした信号を出力する。なお、被写体の個数及び形状は、図２の例に限定されない。また、撮像空間ＪＳの形状は、図２の例に限定されない。
【００１７】
図２に示されるように、投写部２２は、撮像空間ＪＳに向けて投写像としての投写パターンを生じさせるパターン光Ｌ２２を投写する。図２に示される例では、投写パターンは、マトリックス状に、すなわち、水平方向（横方向）及び垂直方向（縦方向）に配列された複数の格子点（複数の光ドット、すなわち、複数行且つ複数列の光ドット）を有する。投写パターンは、第１方向に複数行に且つ第１方向に直交する第２方向に複数列に配列された複数の単位パターン（後述する図１４に示される）を含む。複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成される。例えば、第１ドットは、輝度が高い光ドットであり、第２ドットは、第１ドットよりも輝度が低い光ドットである。一般に、第１ドットは、投写部２２から出射された光線が照射されることによって形成される位置の光ドットとしての点灯ドットであり、第２ドットは、光線が照射されない位置の光ドットとしての非点灯ドットである。このように、投写パターンは、マトリクス状に配列された複数の光ドットから構成され、複数の光ドットは、一般に、点灯ドットと非点灯ドットとから構成される。第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有する。第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有する。複数の単位パターンの各々の中において、第１方向に並ぶ複数の光ドットの内の第１ドットの個数は、第２方向の各行において同じ固定数である。単位パターン以外の箇所で、第２方向の単位パターンと同じ長さの行に含まれる第１ドットの個数が、第２方向のいずれかの行で、固定数と異なる。
【００１８】
図３は、実施の形態１に係る画像生成装置の撮像部１１及び投写部２２と、撮像空間ＪＳ内の被写体ＯＪ１又はＯＪ２上の任意の点に形成された１つの光ドット（マトリクス状の光ドット位置としての格子点）ＳＰとを上から見た状態を示す図である。図３の例では、撮像部１１と投写部２２とは、水平方向（図３における横方向）に距離Ｌｐｃ離れて配置されている。撮像部１１と投写部２２とを通る直線を基線ＢＬと言い、距離Ｌｐｃを基線長と言う。
【００１９】
投写部２２から投写された光線（パターン光Ｌ２２の一部）により撮像空間ＪＳ中の被写体ＯＪ１又はＯＪ２上に光ドットＳＰが形成され、この光ドットＳＰで反射した光線を撮像部１１で受光する場合を説明する。この場合、投写部２２から光ドットＳＰへ向かって進む光線の投写角φと、光ドットＳＰから撮像部１１へ向かって進む光線の入射角θと、基線長Ｌｐｃとが分かれば、三角測量の原理に基づく計算により、基線ＢＬから被写体ＯＪ１又はＯＪ２上の光ドットＳＰまでの距離Ｚを求めることができる。図３に示されるように、投写角φは、基線ＢＬと光ドットＳＰとを含む平面（仮想的な平面）内において、基線ＢＬに直交する直線１０１と、投写部２２と光ドットＳＰを結ぶ直線１０２との成す角度である。また、図３に示されるように、入射角θは、基線ＢＬと光ドットＳＰとを含む平面内において、基線ＢＬに直交する直線１０３と、撮像部１１と光ドットＳＰを結ぶ直線１０４との成す角度である。
【００２０】
光ドットＳＰから撮像部１１へ向かって進む光線（直線１０４）の入射角θは、撮像部１１の撮像素子１４の撮像面のどの位置に光ドットＳＰの像が形成されたか、並びに、撮像素子１４の軸線の方向（撮像素子１４の撮像面が向いている方向）及び撮像素子の画角に基づいて求めることができる。投写部２２から光ドットＳＰに向かって進む光線（直線線１０２）の投写角φは、投写部２２の構成によって予め定められており、従って既知である。
【００２１】
投写部２２から、互いに投写角の異なる複数の光線を出射して、投写パターンとして複数の光ドットを投写し、これら複数の光ドットを撮像部１１で撮像する場合には、それぞれの投写角が既知であれば、撮像素子１４の撮像面上における複数の光ドットの画像上の位置の相互関係に基づいて、複数の光ドットの各々の投写角を推定する。この場合、以下の投写入射条件（Ａ１）が満たされていれば、撮像部１１で撮像された複数の光ドットの各々の投写角が分かる。
投写入射条件（Ａ１）は、「投写部２２から投写された複数の光ドットの投写角の大小関係（例えば、複数の光ドットを、投写角の小さいものから順に並べた場合における複数の光ドットの順序）と、撮像部１１で撮像された複数の光ドットの入射角の大小関係（例えば、複数の光ドットを、入射角の小さいものから順に並べた場合における複数の光ドットの順序）と、が同じである。」である。
【００２２】
投写入射条件（Ａ１）が満たされない場合、又は、投写入射条件（Ａ１）が満たされるかどうかが明らかではない場合には、予め定められた距離にある被写体について予め測定された投写パターンの撮像画像（基準単位パターン）とのパターンマッチングにより、撮像画像中の光ドットのそれぞれの投写角を推定する必要がある。しかしながら、パターンマッチング処理に要する演算量は、極めて多い。
【００２３】
実施の形態１に係る画像生成装置は、投写入射条件（Ａ１）が満たされない場合、又は、投写入射条件（Ａ１）が満たされるかどうかが明らかでない場合にも、少ない演算量で、撮像部１１で撮像された複数の光ドットの各々の投写角を正確に推定することを可能にする。
【００２４】
なお、基線ＢＬに直交する平面（仮想的な平面）内において、互いに異なる角度（投写角）で投写された複数の光ドットについての、垂直な方向についての角度（投写角）の大小関係については、投写入射条件（Ａ１）が必ず満たされている。このため、この場合には、順序の「入れ替わり」を考慮する必要はない。
【００２５】
以下に、基線ＢＬが水平方向（図３における横方向）に延びた直線であり、パターン光Ｌ２２により生成された複数の光ドットが水平方向及び垂直方向（図３が描かれた紙面に直交する方向）にマトリクス状に配列されたものである場合について説明する。
【００２６】
図４は、図１の投写部２２の構成例を概略的に示す図である。パターン光生成部２０の駆動部２１は、制御部３０により制御されて、レーザ光源２３を発光させる。図１及び図４に示されるように、レーザ光源２３から出射されたレーザ光は、コリメートレンズ２４で平行光にされ、アパーチャ２５で予め定められたビーム径にされる。回折格子２６は、予め定められた投写パターンを生成するためのパターン光Ｌ２２を撮像空間ＪＳに向けて投写する。
【００２７】
また、図１に示されるように、撮像部１１のレンズ１２は、被写体像を撮像素子１４の撮像面上に合焦させる。撮像素子１４は、入射像を光電変換することによって撮像信号Ｄ１１を生成し、この撮像信号Ｄ１１を出力する。撮像部１１は、撮像空間ＪＳ内に存在する被写体ＯＪ１及びＯＪ２の撮像を行う。この撮像は、予め定められたフレーム周波数で行われ、この撮像により、連続する複数のフレーム画像（フレーム周期間隔で生成されるフレーム画像）が得られる。
【００２８】
被写体ＯＪ１及びＯＪ２にパターン光Ｌ２２が投写されているときは、被写体ＯＪ１及びＯＪ２から撮像部１１に向かう本来の光（パターン光Ｌ２２が投写されていないときの成分である背景成分）に、パターン光Ｌ２２の投写によって被写体ＯＪ１及びＯＪ２上に発生した投写パターンの像（投写像成分）が重畳された画像を表す撮像信号Ｄ１１が、撮像部１１から出力される。
【００２９】
Ａ／Ｄ変換部１５は、撮像素子１４から出力された撮像信号Ｄ１１を、例えば、８ビット（２５６階調）のデジタル撮像信号Ｄ１５に変換する。分離部１６は、Ａ／Ｄ変換部１５の出力、すなわち、デジタル撮像信号Ｄ１５を受けて、デジタル撮像信号Ｄ１５を投写像成分と背景成分とに分離する。画像生成部１７は、分離部１６から出力された背景成分の画像信号Ｄ６３から背景成分の画像信号Ｄ１７を生成する。距離情報生成部１８は、分離部１６から出力された投写像成分の画像信号Ｄ６２から距離情報を示す信号Ｄ１８を生成する。
【００３０】
表示処理部１９は、画像生成部１７で生成された背景成分の画像に距離情報生成部１８で生成された距離情報を関連付けて表示可能とする表示信号Ｄ１９を出力する。表示処理部１９から出力される、距離情報が関連付けられた画像を示す信号Ｄ１９は、他の装置（例えば、ディスプレイ装置など）へ出力される。
【００３１】
制御部３０は、パターン光生成部２０及び画像取得部１０を制御する。制御部３０は、例えば、撮像部１１の撮像素子１４における、撮像モード、フレームレート、及び露光時間などを制御し、表示処理部１９に対し、画像の表示モード及び距離情報の表示モードなどの設定を行う。また、制御部３０は、Ａ／Ｄ変換部１５に対して動作のタイミングを制御するための信号を供給する。さらに、制御部３０は、パターン光生成部２０及び画像取得部１０の動作モードの設定を行う。
【００３２】
さらに、制御部３０は、記憶部３０ａに、投写部２２から投写される投写パターンに含まれる光ドットによって構成される単位パターン（後述する図１４に示される）の、投写パターン内における位置の関係を示す情報Ｓｄｐ、投写パターン上の位置と投写角との対応関係を示す情報Ｓｐａ、及び撮像部１１の軸線方向及び画角を表す情報Ｓｚｖ、並びに、基線長Ｌｐｃを表す情報を保持しており、これらの情報を距離情報生成部１８に供給する。
【００３３】
また、制御部３０は、パターン光生成部２０の動作と画像取得部１０の動作を同期させるための制御を行う。具体的には、制御部３０は、撮像部１１に対し、予め定められたフレーム周波数で撮像を繰り返すよう制御を行うとともに、レーザ光源２３が１フレーム毎に発光状態と非発光状態とを交互に繰り返すように駆動部２１を制御する。さらに、制御部３０は、レーザ光源２３が発光状態にあるか非発光状態にあるかを示す信号Ｓｎｆを分離部１６に供給する。
【００３４】
撮像部１１のフレーム周波数は、例えば、３０ｆｐｓであり、フレーム周期毎（予め決められた時間が経過する毎）に１フレームの画像を表す撮像信号Ｄ１１が撮像部１１から出力される。各フレームの撮像のタイミングは、制御部３０により制御される。
【００３５】
投写部２２のレーザ光源２３が１フレーム毎に交互に発光状態と非発光状態に切り替えられるので、投写部２２は、撮像空間ＪＳに対しパターン光Ｌ２２を投写する状態と、パターン光Ｌ２２を投写しない状態とが１フレーム毎に交互に切り替わり、撮像部１１では、パターン光Ｌ２２が投写されているときの画像とパターン光Ｌ２２が投写されていないときの画像が１フレーム毎に交互に得られる。
【００３６】
分離部１６は、パターン光Ｌ２２が投写されているときの画像とパターン光Ｌ２２が投写されていないときの画像とに基づいて、パターン光Ｌ２２による画像信号（投写像成分）と、パターン光Ｌ２２成分を除いた画像信号（背景成分）とを生成する。すなわち、パターン光Ｌ２２が投写されていないフレーム期間に得られた画像を背景成分として出力し、時間的に隣接して並ぶ２つのフレーム期間のうち、パターン光Ｌ２２が投写されているフレーム期間に得られた画像からパターン光Ｌ２２が投写されていないフレーム期間に得られた画像を差し引くことで得られた画像を、投写像成分として出力する。
【００３７】
図５は、図１の分離部１６の構成例を概略的に示すブロック図である。図５に示されるように、Ａ／Ｄ変換部１５の出力（デジタル撮像信号）Ｄ１５が、入力端子６０に供給される。フレーム遅延部６１は、入力端子６０に供給されたデジタル撮像信号Ｄ１５を、１フレーム期間、遅延させて１フレーム遅延した撮像信号Ｄ６１を出力する。
【００３８】
差分演算部６２は、撮像信号Ｄ１５と１フレーム遅延した撮像信号Ｄ６１との差分を求める。この差分は、パターン光Ｌ２２が投写されているときの撮像によって生成されたフレームの撮像信号から、パターン光Ｌ２２が投写されていないときの撮像によって生成されたフレームの撮像を減算することで得られる。この差分を示す差分信号Ｄ６２は、投写像成分として出力端子６４を介して距離情報生成部１８へ供給される。
【００３９】
スイッチ６３は、投写部２２がパターン光Ｌ２２を投写されていないときの撮像によって生成されたフレームについての撮像信号Ｄ１５が入力端子６０に供給されるタイミングで閉じて、このときの撮像信号Ｄ１５を、背景成分Ｄ６３として出力端子６５を介して画像生成部１７へ供給する。
【００４０】
図６（ａ）から（ｄ）は、分離部１６の動作の一例を示す。この例では、図６（ａ）に示されるように、第１のフレームＰＳ１及び第３のフレームＰＳ３では、パターン光Ｌ２２が投写されず、第２のフレームＰＳ２及び第４のフレームＰＳ４では、パターン光Ｌ２２が投写される。その結果、各フレーム期間において、図６（ｂ）に示されるような撮像画像が得られる。
【００４１】
第１のフレームＰＳ１では、スイッチ６３が閉じられて、そのときの撮像信号Ｄ１５（第１のフレームＰＳ１での撮像信号Ｄ１５、すなわち、パターン光Ｌ２２が投写されていない状態での撮像部１１の出力Ｄ１１をデジタル変換することで得られた信号Ｄ１５）が、背景成分Ｄ６３として、出力端子６５から画像生成部１７へ供給される（図６（ｄ））とともに、フレーム遅延部６１に供給される。
【００４２】
第２のフレームＰＳ２では、差分演算部６２は、そのときの撮像信号Ｄ１５（第２のフレームＰＳ２での撮像信号Ｄ１５、すなわち、パターン光Ｌ２２が投写されている状態での撮像部１１の出力Ｄ１１をデジタル変換することで得られた信号Ｄ１５）から、フレーム遅延部６１の出力Ｄ６１（第１のフレームＰＳ１の撮像信号）を減算し、減算結果である差分Ｄ６２を、投写像成分として、出力端子６４から距離情報生成部１８へ供給する（図６（ｃ））。
【００４３】
第３のフレームＰＳ３では、第１のフレームＰＳ１と同様に、スイッチ６３が閉じて、そのときの撮像信号Ｄ１５が、背景成分Ｄ６３として、出力端子６５から画像生成部１０５へ供給されると共に、フレーム遅延部６１に入力される。
【００４４】
第４のフレームＰＳ４では、第２のフレームＰＳ２と同様に、差分演算部６２は、そのときの撮像信号Ｄ１５から、フレーム遅延部６１の出力Ｄ６１を減算し、減算結果である差分Ｄ６２を、投写像成分として、出力端子６４から距離情報生成部１８へ供給する。以下、同様の処理が繰り返され、１フレーム期間毎に、背景成分のみの画像と投写像成分のみの画像とが交互に出力される。
【００４５】
画像生成部１７は、分離部１６から出力される背景成分からなる画像信号Ｄ６３（図６（ｄ））に対し、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、及び色補正処理などを施して、これらの処理の結果得られる画像信号を、背景画像の画像信号Ｄ１７として出力する。
【００４６】
距離情報生成部１８は、分離部１６から出力される投写像成分の画像信号Ｄ６２（図６（ｃ））と、制御部３０から供給される投写パターンについての情報に基づいて、撮像部１１から投写像の各部までの距離を表す情報を生成する。距離情報生成部１８における距離情報生成のため、投写パターンとして、単位パターンの位置を識別可能とするためのコードを含んだものを用いる。ここでは、距離情報生成部１８の動作の説明の前に、実施の形態１で用いられる投写パターンについて説明する。
【００４７】
投写部２２により投写される投写像（投写パターン）は、図２及び図６（ａ）に示されるようにマトリックス状に、すなわち、横方向（行方向）及び縦方向（列方向）に整列する格子点のうちの一部を点灯ドットとして投写し、残りの格子点を非点灯ドットとして投写するものである。投写部２２により投写される投写像（投写パターン）は、以下の投写パターン条件（Ｂ１）〜（Ｂ５）を満たすことが望ましい。
【００４８】
投写パターン条件（Ｂ１）：投写パターンは、複数の単位パターンを含み、これら複数の単位パターンの各々は、縦方向に一定数で且つ横方向に一定数の光ドット（マトリクス状の格子点）を含む矩形領域から構成される。
投写パターン条件（Ｂ２）：投写パターンに含まれる複数の単位パターンの各々の中において、縦方向のライン（列）に含まれる点灯ドットの個数は、予め決められた第１の固定数（実施の形態１においては２個）であり、横方向のライン（行）に含まれる点灯ドットの個数は、予め決められた第２の固定数（実施の形態１においては２個）である。
投写パターン条件（Ｂ３）：投写パターンにおいて、単位パターンの周期（配列周期）と異なる位相（単位パターンの境界と異なる境界位置）で、単位パターンと同じドット数（実施の形態１においては４ドット）の領域を切り出した場合には、この切り出された領域に含まれる水平方向（横方向）の点灯ドットの個数が、いずれかのライン（行）で単位パターンに含まれる点灯ドットの個数である第２の固定数とは異なる。
投写パターン条件（Ｂ４）：投写パターンにおいて、垂直方向（縦方向）に配列される複数の単位パターンは、互いに同じ単位パターンである。
投写パターン条件（Ｂ５）：投写パターンにおいて、水平方向（横方向）に配列される複数の単位パターンは、互いに異なる単位パターンである。それぞれのパターンは、垂直方向の読み出し位置が異なっても他のパターンと一致しないようにドット配列を決定する。
【００４９】
撮影画像を用いて被写体の距離を計測するためには、撮影画像上に写った投写パターンが投写部２２からどの角度で投写された部分かを特定する必要がある。投写パターン条件（Ｂ１）〜（Ｂ５）は、投写パターンの一部分から、その一部分が投写パターン全体の中でどの部分に相当するかを識別するために必要な条件である。以下に、具体的な識別方法を、投写パターンの例とともに示す。
【００５０】
図７は、実施の形態１におけるパターン光Ｌ２２の投写像である投写パターンの一例を示す図である。ここでは、単位パターンが、水平方向４ドット及び垂直方向４ドットの光ドットから構成される場合を説明する。図７において、水平方向の点線の直線及び垂直方向の点線の直線は、単位パターンの区切り（境界）を示す。１つの単位パターン中に、１６箇所の格子点（光ドット位置）が存在する。実施の形態１においては、点灯ドットは、パターンとして被写体に投写される光ドットであるが、非点灯ドットは、パターンとして被写体に投写されない光ドット（マトリクスの格子点位置）である。
【００５１】
図８は、実施の形態１における投写パターンの一例を、“１”（点灯ドット）と“０”（非点灯ドット）とで示す図である。図８における単位パターンは、水平方向４ドット及び垂直方向４ドットのマトリクス状に配列された光ドットから構成される。図８において、水平方向の実線の直線及び垂直方向の実線の直線は、単位パターンの区切り（境界）を示す。図８に示されるように、水平方向に並ぶ複数の単位パターン（図８では４個の単位パターン）は、互いに異なる光ドットのパターンを有する。また、図８に示されるように、垂直方向に並ぶ複数の単位パターン（図８では３個の単位パターン）は、互いに同じ光ドットのパターンを有する。水平方向に並ぶ単位パターンが、互いに異なる単位パターンである理由は、互いに隣接する単位パターンの境界を識別し、投写部２２と単位パターンとがなす角度を特定するためである。また、垂直方向に並ぶ複数の単位パターンが互いに同じ単位パターンである理由は、垂直方向に並ぶ光ドットのパターンに周期性を持たせることにより、パターンの読み取り時に、光ドットの消失又はノイズの影響により実際には、非点灯ドットである光ドットを点灯ドットとして誤判定することがあっても、誤りを修正することができるようにするためである。
【００５２】
図９は、単位パターン中に含まれる点灯ドットの個数を水平ライン（行）毎及び垂直ライン（列）毎に示す図である。図９に示されるように、単位パターンにおいて、水平方向の１ライン（行）に含まれる点灯ドットの個数は一定（第２の固定数）とし、垂直方向の１ライン（列）に含まれる点灯ドットの個数は一定（第１の固定数）とする。図９の例では、水平方向４ドット及び垂直方向４ドットの単位パターン中で、１ライン（行）に含まれる点灯ドットの個数は一定値“２”であり、１ライン（列）に含まれる点灯ドットの個数は一定値“２”であるように、単位パターンが設定される。
【００５３】
また、水平方向の単位パターンの配列については、単位パターンの周期と異なる位相で単位パターンと同じドット数（実施の形態１においては４ドット）の領域を切り出した場合（すなわち、単位パターンの境界以外の位置で単位パターンと同じドット数の領域を切り出した場合）、切り出された領域に含まれる水平方向の点灯ドットの個数が、いずれかのライン（実施の形態１においては、４ライン（行）のうちのいずれかのライン（行））で単位パターンにおける第２の固定数（実施の形態１においては、２個）とならないように単位パターンを設定する。
【００５４】
図１０は、実施の形態１における投写パターン内の複数の単位パターンを水平方向に並べる場合に満たすべき条件を示す図である。図１０は、単位パターンのサイズを水平方向４ドット及び垂直方向４ドットとする場合に、水平方向に異なる単位パターンを４つ並べた例を示す。図１０において、水平方向に並べられた４つの単位パターンの下側に、水平方向の各位置における水平方向４ドット中の点灯ドットの個数を示す。単位パターンの境界間の点灯ドットの個数は、一定数（図１０の例では、第２の固定数である２個）となるように単位パターンを定める。また、単位パターンの境界以外の箇所で水平方向４ドット中の点灯ドットの個数をカウントする場合に、４ラインのカウント値のうちの少なくとも１ラインにおいては、点灯ドットの個数が単位パターンの境界間の点灯ドットの個数である一定数（図１０の例では、第２の固定数である２個）と異なるように、水平方向に並ぶ単位パターン間の組合せを定める。この際、単位パターンの境界以外の箇所での水平方向４ドット中の点灯ドットの個数は、極力多くのラインで単位パターンの境界間の点灯ドットの個数とは、異なることが望ましい。これは、パターンの読み取り時に、上記投写パターン条件（Ｂ１）〜（Ｂ５）を満たす方が、より一層パターン位置の識別誤りを減らすことができるためである。
【００５５】
図１１は、図１の距離情報生成部１８の構成を概略的に示すブロック図である。図１１を参照しながら、パターンの識別方法を説明する。図１１に示されるように、距離情報生成部１８は、２値化部８１と、ドットパターン読取部８２と、パターン妥当性確認部８３と、単位パターン抽出部８４と、識別コード読取部８５と、記憶部８６と、有効性確認部８７と、投写角推定部８８と、入射角推定部８９と、距離算出部９０とを有する。
【００５６】
２値化部８１は、分離部１６から出力される投写像成分の画像信号Ｄ６２を２値化して、２値の投写像画像信号Ｄ８１を出力する。
【００５７】
ドットパターン読取部８２は、投写像画像信号Ｄ８１から、光ドットが配置されている横方向及び縦方向の格子間隔を推定し、格子点上に存在する光ドットが点灯ドットである場合は“１”、格子点上に存在する光ドットが非点灯ドットである場合には“０”である、格子点に沿った光ドットのパターンの配列を２次元に配列された“１”と“０”から成るパターン情報ＰＴとして読み取る。
【００５８】
パターン妥当性確認部８３は、垂直方向の光ドットのパターンを確認し、ドットパターン読取部８２で生成されたパターン情報ＰＴが妥当であるか否かを、垂直方向の光ドットのパターンの配列から判断する。例えば、パターン妥当性確認部８３は、投写像成分の画像信号に基づいて、垂直方向（第１方向）及び水平方向（第２方向）のそれぞれに対して、単位パターンの２周期分以上となるサイズの矩形領域内の光ドットを読み取り、第１方向に単位パターンの長さ分の距離、離れた位置の光ドットの状態が一致する条件、及び、垂直方向（第１方向）に単位パターンの長さと同じ長さの列に含まれる点灯ドットの個数が、単位パターンの第１方向の列に含まれる点灯ドットの個数と同じとなる条件、が満たされているかを判定する。パターン妥当性確認部８３は、必要に応じて、光ドットのパターンの修正を行う。
【００５９】
図１２（ａ）から（ｄ）は、パターン妥当性確認部８３の妥当性確認方法及び修正方法を示す図である。図１２（ａ）は、ドットパターン読取部８２で生成されたパターン情報ＰＴを示す。ここで、妥当性の判断と光ドットのパターンの修正を行うためには、少なくとも垂直方向に単位パターンの２周期分の領域を読み取る必要がある。ここでは、単位パターンの垂直方向のドット数を４ドットとし、垂直方向８ドットの領域を読み取った場合を示している。
【００６０】
図１２（ｂ）は、垂直方向の周期パターンサイズである４ドット離れた位置の情報を比較し、情報が一致していない箇所の抽出結果を網掛けで示している。また、図１２（ｃ）は、図１２（ｂ）で網掛けで示された光ドットを含む垂直方向４ドット中の点灯ドットの個数をカウントし、カウント値が２個とならない組合せを含むドットの抽出結果を、網掛けで示している。
【００６１】
図１２（ｂ）及び図１２（ｃ）の抽出結果は、それぞれの判定方法に基づき、読み取り誤りの可能性を含むドットを示している。図１２（ｂ）及び図１２（ｃ）の両方の抽出結果に含まれるドットを読み取り誤りのドットとして、パターン情報の修正を行う。修正結果は、図１２（ｄ）に示されている。図１２（ｄ）において、四角で囲われた網掛け領域のドットが修正されている。
【００６２】
パターン妥当性確認部８３では、修正後のパターン情報（例えば、図１２（ｄ））に対して再度、以下に示す妥当性条件（Ｃ１）及び（Ｃ２）を満たすことを確認する。
（Ｃ１）垂直方向の単位パターンの周期毎（実施の形態１においては垂直方向４ドット毎）の光ドットの状態（点灯ドット“１”又は非点灯ドット“０”）が一致する。
（Ｃ２）垂直方向の単位パターンの１周期分の点灯ドットの個数をカウントして得られた個数が、予め定められた点灯ドットの個数である第１の固定数（実施の形態１においては２個）に一致する。
確認の結果、妥当性条件（Ｃ１）及び（Ｃ２）の両方が満たされた場合には、後段の処理部（単位パターン抽出部８４より後段の処理部）において、読み取り結果に基づく投写角の推定及び距離の算出が行われる。また、確認の結果、妥当性条件（Ｃ１）及び（Ｃ２）の少なくとも一方が満たされなかった場合は、後段の処理部において、読み取り結果に基づく投写角の推定及び距離の算出は行われない。
【００６３】
なお、ここでは、垂直方向の光ドットのパターンの配列の妥当性確認、修正を行う際に参照するドットパターンを垂直方向に単位パターンの２周期（８ドット）分とする場合について記載したが、参照する光ドットのパターンの周期数を３周期（１２ドット）以上とすることも可能である。参照する光ドットのパターンの周期数を増やすことにより、より多くの規則に基づいて妥当性確認と修正を行うことができるため、補正可能なドットの割合が増加する。例えば、単位パターンの２周期の参照では、８ドットにつき１ドットの誤りが修正可能であり、補正率は、１２．５％である。これに対し、単位パターンの３周期の参照では、１２ドットにつき２ドットまでの誤りが修正可能であり、補正率は、１６．７％に向上する。
【００６４】
図１１に示される単位パターン抽出部８４は、水平方向の光ドットのパターンを確認し、単位パターンの境界位置判定を行う。具体的に言えば、単位パターン抽出部８４は、投写像成分の画像信号に基づいて、垂直方向（第１方向）に対して単位パターンの１周期分以上、水平方向（第２方向）に対して単位パターンの２周期分以上となる矩形領域に含まれる光ドットの状態を読み取る。単位パターン抽出部８４は、第２方向に、単位パターンの長さと同じ長さの行に含まれる点灯ドットの個数をカウントし、いずれの行においても点灯ドットの個数のカウント値が単位パターンの前記第２方向の行に含まれる点灯ドットの個数と一致する箇所を検索し、この箇所を境界とする単位パターンと同一サイズの領域の光ドットを抽出する。
【００６５】
図１３（ａ）及び（ｂ）は、単位パターンの境界位置の判定を行う方法を示す図である。図１３（ａ）は、ドットパターン読取部８２で生成され、パターン妥当性確認部８３でパターン情報の妥当成果確認及び修正を行ったパターン情報を示す。ここで、単位パターンの境界位置判定を行うためには、少なくとも垂直方向に単位パターンの１周期分、水平方向の単位パターンの２周期分の領域を読み取る必要がある。ここでは、単位パターンのドット数が垂直方向４ドット及び水平方向４ドットであり、垂直方向４ドット及び水平方向８ドットの領域を読み取った場合を示している。また、図１３（ａ）において、パターン情報の下側の数字は、水平方向４ドット中の点灯ドットの個数を、参照位置を１ドットずつ水平方向にずらしてカウントした結果を示している。
【００６６】
水平方向４ドット中の点灯ドットの個数が、垂直方向の単位パターンの１周期分にわたって、全て予め定められた単位パターンの境界間の点灯ドットの個数（実施の形態１においては、２個）と一致する箇所を検出する。この例では、パターン情報の左から２ドット目の列を開始位置とする場合に、水平方向４ドット中の点灯ドットが全て２ドットとなっており、図１３（ｂ）に示されるように、単位パターンの境界位置は、パターン情報の左端のドット列と左から２番目のドット列の間、及び、左から５番目のドット列と６番目のドット列の間であると判定される。
【００６７】
図１４は、図１１に示される識別コード読取部８５又は記憶部８６に予め記憶されている複数の基準単位パターンとそれらを特定する情報であるパターン番号とを対応させて示す図である。識別コード読取部８５は、単位パターン抽出部８４で抽出された単位パターンのパターン情報を予め用意された基準単位パターンの配列情報とマッチングし、抽出された単位パターンに一致する基準単位パターンの特定情報であるパターン番号を求める。
言い換えれば、識別コード読取部８５は、投写像成分の画像信号に基づいて、単位パターンと同一サイズの領域の光ドットを抽出し、抽出された光ドットのパターン及び抽出された光ドットのパターンを垂直方向（第１方向）に繰り返し配置したパターンから、第１方向に単位パターンと同じ長さの領域を抜き出したパターンと投写パターンの全体に含まれる単位パターンとのマッチングを行って一致するパターンを求める。例えば、識別コード読取部８５は、単位パターン抽出部８４で抽出された単位パターンと図１４に示される基準単位パターンとのマッチングを行い、抽出された単位パターンと一致する基準単位パターンのパターン番号を出力する。この際、単位パターン抽出部８４で抽出された単位パターンは、垂直方向の単位パターンの境界が特定されていないため、図１５に示されるように、抽出されたパターンの配列を垂直方向にずらした４通りのパターン（マッチングパターンＡ，Ｂ，Ｃ，Ｄ）に対してマッチングを行う必要がある。
【００６８】
図１４に示すパターンは、垂直方向にずらしても他のパターン、及び各パターンを垂直方向にずらしたパターンとは、一致しないように構成されているので、４通りのパターンによるマッチングの結果、必ず４通りのパターンのいずれか１つのみが、図１４のパターンのいずれかと一致することになる。
【００６９】
以降の処理において４通りのパターンのいずれが図１４のパターンと一致したかどうか、という情報は不要であるため、一致した図１４のパターン番号のみを識別コード読取部８５の処理結果として求める。
【００７０】
このようにして抽出されたパターンの配列を、垂直方向にずらした４通りのパターン（マッチングパターンＡ，Ｂ，Ｃ，Ｄ）に対してマッチングを行うことで、垂直方向の単位パターンの境界を特定することなく、抽出されたパターン配列がマッチする基準単位パターンのパターン番号を求めることができる。
【００７１】
図１６は、実施の形態１に係る画像生成装置における投写パターン内の複数の単位パターンの配置例を示す図である。図１６に水平方向領域Ｐ１として示されるように、図１４に示される基準単位パターンは、パターン番号Ｎｏ．１〜Ｎｏ．１８、Ｎｏ．１９、Ｎｏ．１８ｒ〜Ｎｏ．１ｒの順序で水平方向に並べることで、上記した投写パターン条件（Ｂ３）「投写パターンにおいて、単位パターンの周期（配列周期）と異なる位相（単位パターンの境界と異なる境界位置）で、単位パターンと同じドット数（実施の形態１においては４ドット）の領域を切り出した場合には、この切り出された領域に含まれる水平方向（横方向）の点灯ドットの個数が、いずれかのライン（行）で単位パターンに含まれる点灯ドットの個数である第２の固定数（実施の形態１においては２個）とは異なる。」を満たしている。
【００７２】
また、図１４に示されるように、基準単位パターンＮｏ．１ｒ〜Ｎｏ．１８ｒは、基準単位パターンＮｏ．１〜Ｎｏ．１８を上下左右に反転させた光ドットのパターンを有している。すなわち、基準単位パターンＮｏ．１〜Ｎｏ．１８と基準単位パターンＮｏ．１ｒ〜Ｎｏ．１８ｒとは、基準単位パターンの中心を対称中心として点対称となっている。また、基準単位パターンＮｏ．１９は、それ自体が１８０度回転しても変化しない、点対称のパターンとなっている。したがって、図１６に示されるように、基準単位パターンＮｏ．１９を投写パターン全体の中心に配置し、その左側に単位パターンＮｏ．１〜Ｎｏ．１８を配置、右側にＮｏ．１８ｒ〜Ｎｏ．１ｒを配置することにより、投写パターン全体を、パターン中心に対して１８０度回転してもパターンが変化しない、点対称パターンとして構成することができる。なお、図１６に示されるように、水平方向領域Ｐ１の水平方向の左側と右側とに、水平方向領域Ｐ１と同じ領域を並べてもよい。
【００７３】
本発明では、投写パターンをレーザ光源と回折格子の組合せによって投写するが、回折格子によって点対称でないパターンを投写しようとする場合、回折格子の構造が複雑となり、設計コストが増大する。また、回折格子の構造が複雑となることにより、回折されない０次光の割合が増加し、パターン投写される光の強度が低下する。投写パターンを点対称とすることにより、上記２点のデメリットを回避することが可能である。
【００７４】
有効性確認部８７は、識別コード読取部８５で読み取った識別コードの有効性をチェックする。チェックの結果、有効性に疑問が有る場合（信頼性がない場合）には、読み取った識別コードを以降の処理には用いないこととする。
【００７５】
投写角推定部８８は、識別コード読取部８５で求められたパターン番号を参照し、制御部３０から、単位パターンのパターン番号と投写パターン内の位置の関係を示す情報と、投写パターン上の位置と投写角の対応関係を示す情報を得て、これらに基づいて各光ドットの投写角φを推定する。なお、上記の情報、すなわち、単位パターンのパターン番号と投写パターン内の位置の関係を示す情報と、投写パターン上の位置と投写角の対応関係を示す情報が制御部３０から与えられたら、投写角推定部８８内のメモリに保持しておくこととしても良い。
【００７６】
入射角推定部８９は、単位パターン抽出部８４の出力に基づいて、撮像面内のどの位置に単位パターンに含まれる光ドットが撮影されているか、並びに、撮像部１１の軸線方向及び画角に基づいて、当該光ドットについての入射角θを算出する。軸線方向及び画角を表す情報Ｓｚｖは、予め制御部３０が保持しており、制御部３０から供給される。
【００７７】
距離算出部９０は、投写角推定部８８で推定された投写角φと、入射角推定部８９で算出された入射角θと、制御部３０から供給される基線長Ｌｐｃに基づいて光ドットが投写されている被写体の表面までの距離を計算する。
【００７８】
図３においては、次式（１）が成立する。
Ｚ・ｔａｎφ−Ｚ・ｔａｎθ＝Ｌｐｃ              式（１）
式（１）から、図３の基線ＢＬから光ドットが投写されている被写体表面（光ドットＳＰが形成された点）、すなわち、図３で光ドットＳＰの位置までの距離Ｚは、次式（２）で表される。
Ｚ＝Ｌｐｃ／（ｔａｎφ−ｔａｎθ）              式（２）
【００７９】
次に、撮像部１１から光ドットが形成された被写体表面（光ドットＳＰ）までの距離Ｒは、式（２）で得られる基線ＢＬまでの距離Ｚと、入射角θから、次式（３）で算出することができる。
Ｒ＝Ｚ／ｃｏｓθ                                式（３）
【００８０】
以上に説明したように、実施の形態１によれば、垂直方向の単位パターンの幅（実施の形態１においては、４ドット）に含まれる点灯ドットの個数が任意位置で固定数に定められているため、点灯ドットが消失した場合又はノイズを点灯ドットと誤検出する場合が発生しても、垂直方向の光ドットのパターンの配列からパターン情報の妥当性を判断し、光ドットのパターンの修正を行うことが可能である。よって、被写体までの正確な距離情報を取得することができる。
【００８１】
また、水平方向の単位パターンの幅（実施の形態１においては、４ドット）に含まれる点灯ドットの個数が、単位パターンの境界位置でのみ全てのラインで一定数（第２の固定数）となるため、明確なパターン境界識別用のコードを設けなくとも、パターン配列から単位パターンの境界を推定し、単位パターンの識別を行うことができる。よって、単位パターンの識別を正確に行うことができ、被写体までの正確な距離情報を取得することができる。
【００８２】
また、投写パターン全体を中心に対して１８０度回転しても元のパターンと一致する点対称パターンとすることにより、パターン投写のための回折格子の構造が複雑化するのを防ぎ、製造コストを低減できるとともに、０次光の低減によって投写パターンの光強度を上げることが可能である。
【００８３】
さらに、実施の形態１に係る画像生成装置によれば、水平方向に互いに判別可能な複数の単位パターンが並んでいるため、単位パターン内の点灯ドットの配列から、単位パターンを形成する光線の投写角を判別することができる。このため、パターンマッチングにより、撮像画像中の光ドットのそれぞれの投写角を推定する必要はなく、演算量を大幅に削減することができる。
【００８４】
また、図１６に示されるように、投写パターン全体を中心（Ｎｏ．１９）に対して点対称パターンとすることにより、パターン投写のための回折格子の構造が複雑化するのを防ぎ、製造コストを低減できるとともに、回折せずに透過する０次光の低減によって、回折光による投写パターン光強度を上げることが可能である。
【００８５】
上記説明では、単位パターンが、水平方向４ドット及び垂直方向４ドットのサイズを持つ場合を例示している。しかし、例示された単位パターンのサイズは一例であり、単位パターンとして、任意のサイズを設定することが可能である。ただし、被写体測距のためには、上記投写パターン条件（Ｂ１）〜（Ｂ５）を満たしたうえで、互いに他の単位パターンと一致することがないユニークな単位パターンを少なくとも１０種類程度は、作成する必要がある。このため、望ましい単位パターンの最小サイズは、水平方向４ドット及び垂直方向４ドットである。
【００８６】
また、単位パターンのサイズを小さくすることによって、パターン識別に必要となるドット数を減らすことができ、測距可能な被写体のサイズの最小値を小さくすることが可能である。
【００８７】
さらにまた、上記説明では、パターン光Ｌ２２を形成する素子として回折格子を用いた構成を例示しているが、回折格子を用いた構成に代えて、透過型の計算機ホログラム（Ｃｏｍｐｕｔｅｒ  Ｇｅｎｅｒａｔｅｄ  Ｈｏｌｏｇｒａｍ）などの投写パターンの分光デバイスを使用することも可能である。このような計算機ホログラムは、例えば、特許文献４（特開２００７−１７６４３号公報）などに説明されている。
【００８８】
実施の形態２．
実施の形態２に係る画像生成装置は、投写部２２から出射されるパターン光によって形成される投写パターンを構成する複数の単位パターンの各々が、水平方向（第２方向）６ドット且つ垂直方向（第１方向）４ドットの大きさに設定されている点において、実施の形態１に係る画像生成装置と相違する。実施の形態２に係る画像生成装置は、図１及び図１１に示される構成と同様の構成を有する。したがって、実施の形態２の説明に際しては、図１及び図１１をも参照する。
【００８９】
図１７は、実施の形態２に係る画像生成装置における投写パターン内の１つの単位パターン中に含まれる点灯ドットの個数を行（水平ライン）毎及び列（垂直ライン）毎に示す図である。図１７に示されるように、実施の形態２では、水平方向６ドット且つ垂直方向４ドット（すなわち、６ドット×４ドット）の単位パターン内で、水平方向１ライン（行）に含まれる点灯ドットの個数が３個、垂直方向１ライン（列）に含まれる点灯ドットの個数が２個となるように、単位パターンが設定されている。
【００９０】
図１８は、実施の形態２に係る画像生成装置における投写パターン内の複数の単位パターンを水平方向に並べる場合に満たすべき条件を示す図である。図１８は、３個の単位パターンを水平方向に並べる場合を示している。図１８において、３個の単位パターンの下側に、水平方向の各位置における水平方向６ドット中の点灯ドットの個数を示す。単位パターンの境界間の点灯ドットの個数は、一定数（図１８の例では、３個）となるように単位パターンを定める。また、単位パターンの境界以外の箇所の間で水平方向６ドット中の点灯ドットの個数をカウントする場合に、４ライン（行）についてのカウント値のうち少なくとも１ライン（行）におけるカウント値（点灯ドットの個数）は、単位パターンの境界間の点灯ドットの個数である一定値（図１８の例では、３個）と異なるように、単位パターン間の組合せを定める。この際、単位パターンの境界以外の箇所の間での点灯ドットの個数は、極力多くのライン（行）で、単位パターンの境界間の点灯ドットの個数である一定値（図１８の例では、３個）と、異なることが望ましい。これは、光ドットのパターンの読み取り時に、投写パターン条件（Ｂ１）〜（Ｂ５）を満たす方が、より一層単位パターンの位置の識別誤りを減らすことができるためである。
【００９１】
図１９は、実施の形態２に係る画像生成装置の識別コード読取部（図１１の８５）又は記憶部（図１１の８６）に予め記憶されている複数の基準単位パターンとそれらを特定する情報であるパターン番号とを対応させて示す図である。識別コード読取部８５は、単位パターン抽出部８４で抽出された単位パターンのパターン情報を、予め用意された基準単位パターンの配列情報とマッチングし、抽出された単位パターンに一致する基準単位パターンのパターン番号を求める。
【００９２】
図２０は、実施の形態２に係る画像生成装置における投写パターン内の複数の単位パターンの配置例を示す図である。図２０に水平方向領域Ｐ２として示されるように、図１９の基準単位パターンを、パターン番号Ｎｏ．０、Ｎｏ．１〜Ｎｏ．３０、Ｎｏ．３１、Ｎｏ．３０ｒ〜Ｎｏ．１ｒ、Ｎｏ．０の順序で水平方向に並べることで、「４ライン（行）についての点灯ドットのカウント値のうちの少なくとも１ライン（行）についてのカウント値は、点灯ドットの個数が単位パターンの境界間の点灯ドットの個数と異なる」に対応している。言い換えれば、投写パターン条件（Ｂ３）「投写パターンにおいて、単位パターンの周期（配列周期）と異なる位相（単位パターンの境界と異なる位置）で、単位パターンと同じドット数の領域を切り出した場合には、この切り出された領域に含まれる水平方向（横方向）の点灯ドットの個数が、いずれかのライン（行）で単位パターンに含まれる点灯ドットの個数である第２の固定数とは異なる。」に対応している。
【００９３】
また、図１９に示されるように、基準単位パターンＮｏ．１ｒ〜Ｎｏ．３０ｒは、基準単位パターンＮｏ．１〜Ｎｏ．３０を上下左右に反転させた光ドットのパターンを有している。すなわち、基準単位パターンＮｏ．１〜Ｎｏ．３０と基準単位パターンＮｏ．１ｒ〜Ｎｏ．３０ｒとは、基準単位パターンの中心を対称中心として点対称となっている。また、基準単位パターンＮｏ．０とＮｏ．３１の各々は、１８０度回転しても変化しない光ドットのパターンを有している。したがって、図２０に示されるように、単位パターンＮｏ．３１を投写パターン全体の中心に配置し、単位パターンＮｏ．３１の左側に単位パターンＮｏ．０、Ｎｏ．１〜Ｎｏ．３０を配置し、単位パターンＮｏ．３１の右側に単位パターンＮｏ．３０ｒ〜Ｎｏ．１ｒ、Ｎｏ．０を配置することにより、投写パターン全体を、単位パターンＮｏ．３１を中心として、１８０度回転してもパターンが変化しない、点対称パターンとして構成することができる。
【００９４】
実施の形態１では、単位パターンのサイズを水平方向４ドット且つ垂直方向４ドットとしたが、実施の形態２のように単位パターンのサイズを水平方向６ドット且つ垂直方向４ドットに拡大することにより、水平方向に配置することができるユニークな単位パターンの種類を増加させることが可能である。単位パターンのサイズを大きくすることで、識別可能な単位パターンの種類が増えるので、より広範な角度範囲で被写体角度の算出が可能となる。なお、図２０に示されるように、水平方向領域Ｐ２の水平方向の左側と右側とに、水平方向領域Ｐ２と同じ領域を並べてもよい。
【００９５】
また、単位パターンのサイズを大きくした場合には、パターンの識別に必要な被写体の大きさが増大し、小さい被写体の位置が計測できなくなる。このため、単位パターンのサイズは、本技術を搭載するシステムで想定される被写体の大きさ、計測距離の範囲に応じて適切なものを選択する必要がある。
【００９６】
以上に説明したように、実施の形態２に係る画像生成装置によれば、垂直方向（第１方向）の単位パターンの幅（４ドット）に含まれる点灯ドットの個数が第１の固定数（２個）に定められているため、点灯ドット（第１ドット）を消失した場合又はノイズを点灯ドットと誤検出した場合であっても、垂直方向の光ドットの配列からパターン情報の妥当性を判断し、光ドットの誤り修正を行うことができる。よって、被写体が画像生成装置から遠くにある場合であっても、被写体までの正確な距離情報を取得することができる。
【００９７】
また、実施の形態２に係る画像生成装置によれば、水平方向（第２方向）の単位パターンの幅（６ドット）に含まれる点灯ドットの個数が、単位パターンの境界の間でカウントした場合のみ、カウント値が、全てのライン（行）で第２の固定数（３個）となる。このため、明確なパターン境界識別用のコードを設けなくとも、光ドットの配列から単位パターンの水平方向の境界を推定し、単位パターンの識別を行うことができる。よって、単位パターンの識別を正確に行うことができ、被写体までの正確な距離情報を取得することができる。
【００９８】
さらに、実施の形態２に係る画像生成装置によれば、水平方向に互いに判別可能な複数の単位パターンが並んでいるため、単位パターン内の点灯ドットの配列から、単位パターンを形成する光線の投写角を判別することができる。このため、パターンマッチングにより、撮像画像中の光ドットのそれぞれの投写角を推定する必要はなく、演算量を大幅に削減することができる。
【００９９】
また、図２０に示されるように、投写パターン全体を中心（基準単位パターンＮｏ．３１）を対称中心として点対称パターンとすることにより、パターン光の投写のための回折格子の構造が複雑化することを防ぎ、製造コストを低減できる。また、回折せずに透過する０次光の低減によって、回折光である投写パターン光の強度を上げることが可能である。
【０１００】
実施の形態３．
図２１は、本発明の実施の形態３に係る画像生成装置を示すハードウェア構成図である。実施の形態１及び２に係る画像生成装置における分離部１６、画像生成部１７、距離情報生成部１８、表示処理部１９、及び制御部３０は、集積回路などの処理回路から構成され得る。また、分離部１６、画像生成部１７、距離情報生成部１８、表示処理部１９、及び制御部３０は、処理装置４０により実現され得る。処理装置４０は、メモリ４１と、メモリ４１に格納されているプログラムを実行することができるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４２とから構成され得る。ＣＰＵ４２は、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）とも称される。メモリ４１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの、不揮発性又は揮発性の半導体メモリ、或いは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などである。また、処理装置４０は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現され得る。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ４１に格納され得る。実施の形態３に係る画像生成装置は、実施の形態１又は２に係る画像生成装置と同じように動作し、同じ効果を得ることができる。
【０１０１】
変形例．
実施の形態１から３に係る画像生成装置は、ビデオカメラなどのような映像撮影装置に適用することができる。実施の形態１から３に係る画像生成装置が適用された映像撮影装置は、映像信号と、映像に対応付けられた各位置までの距離情報とを出力することができる。
【０１０２】
また、実施の形態１から３に係る画像生成装置は、テレビなどの映像表示装置に適用することができる。実施の形態１から３に係る画像生成装置が適用された映像表示装置は、映像信号と、映像に対応付けられた各位置までの距離情報とを、表示画面に表示することができる。
【０１０３】
また、実施の形態１から３に係る画像生成装置は、ビデオレコーダのような映像記録再生装置に適用することができる。実施の形態１から３に係る画像生成装置が適用された映像記録再生装置は、映像信号と、映像に対応付けられた各位置までの距離情報とを、記録媒体に記録すること、及び、記憶媒体から読み出して再生することができる。
【０１０４】
また、実施の形態１から３に係る画像生成装置が適用された映像撮影装置、映像表示装置、及び映像記録再生装置のいずれかを、監視システムに適用することができる。
【０１０５】
さらに、実施の形態１から３に係る画像生成装置は、例えば、自動車の前方及び後方の障害物検知に基づく運転支援、例えば、自動車の駐車支援に適用することができる。
【符号の説明】
【０１０６】
１０  画像取得部、  １１  撮像部、  １２  レンズ、  １４  撮像素子、  １５  Ａ／Ｄ変換部、  １６  分離部、  １７  画像生成部、  １８  距離情報生成部、  １９  表示処理部、  ２０  パターン光生成部、  ２１  駆動部、  ２２  投写部、  ２３  レーザ光源、  ２４  コリメートレンズ、  ２５  アパーチャ、  ２６  回折格子、  ３０  制御部、  ３０ａ  記憶部、  ６１  フレーム遅延部、  ６２  差分演算部、  ６３  スイッチ、  ８１  ２値化部、  ８２  ドットパターン読取部、  ８３  パターン妥当性確認部、  ８４  単位パターン抽出部、  ８５  識別コード読取部、  ８６  記憶部、  ８７  有効性確認部、  ８８  投写角推定部、  ８９  入射角推定部、  ９０  距離算出部。
【図１】
2016199323.tif 000003
【図２】
2016199323.tif 000004
【図３】
2016199323.tif 000005
【図４】
2016199323.tif 000006
【図５】
2016199323.tif 000007
【図６】
2016199323.tif 000008
【図７】
2016199323.tif 000009
【図８】
2016199323.tif 000010
【図９】
2016199323.tif 000011
【図１０】
2016199323.tif 000012
【図１１】
2016199323.tif 000013
【図１２】
2016199323.tif 000014
【図１３】
2016199323.tif 000015
【図１４】
2016199323.tif 000016
【図１５】
2016199323.tif 000017
【図１６】
2016199323.tif 000018
【図１７】
2016199323.tif 000019
【図１８】
2016199323.tif 000020
【図１９】
2016199323.tif 000021
【図２０】
2016199323.tif 000022
【図２１】
2016199323.tif 000023
【手続補正書】
【提出日】平成29年7月21日(2017.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像空間を撮像することによって撮像信号を生成する撮像部と、
前記撮像空間に向けてパターン光を投写することによって、前記撮像空間内に存在する被写体上に投写像としての投写パターンを形成する投写部と、
前記パターン光が投写されていないときに生成された前記撮像信号と、前記パターン光が投写されているときに生成された前記撮像信号とから、前記投写パターンの成分を含まない背景成分の画像信号と、投写像成分の画像信号とを生成する分離部と、
前記投写パターン内における各光ドットの位置と投写角との関係を予め記憶しており、前記投写パターン内における各光ドットの位置と投写角との関係と、前記投写像成分の前記画像信号とに基づいて、前記撮像部で撮像された前記投写パターン内の各光ドットの投写角を特定し、特定された前記投写角に基づいて、前記各光ドットが投写されている前記被写体までの距離を求めて、前記距離を示す距離情報を生成する距離情報生成部と、
を備え、
前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、
前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、
前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、
前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、
前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、
前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なる
ことを特徴とする画像生成装置。
【請求項２】
前記第１ドットは、前記投写部から出射された光線が照射されることによって形成される位置の前記光ドットとしての点灯ドットであり、
前記第２ドットは、光線が照射されない位置の前記光ドットとしての非点灯ドットである、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記距離情報生成部は、パターン妥当性確認部を有し、
前記パターン妥当性確認部は、
前記分離部で生成された前記投写像成分の画像信号に基づいて、前記第１方向及び前記第２方向のそれぞれに対して、前記単位パターンの２周期分以上となるサイズの矩形領域内の光ドットを読み取り、
前記第１方向に前記単位パターンの長さ分の距離、離れた位置の光ドットの状態が一致する条件、及び、前記第１方向に前記単位パターンの長さと同じ長さの列に含まれる前記第１ドットの個数が、前記単位パターンの前記第１方向の列に含まれる前記第１ドットの個数と同じとなる条件、が満たされているか否かを判定する
ことを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記距離情報生成部は、単位パターン抽出部を有し、
前記単位パターン抽出部は、
前記分離部で生成された前記投写像成分の画像信号に基づいて、前記第１方向に対して前記単位パターンの１周期分以上、前記第２方向に対して前記単位パターンの２周期分以上となる矩形領域に含まれる光ドットの状態を読み取り、
前記第２方向に、前記単位パターンの長さと同じ長さの行に含まれる前記第１ドットの個数をカウントし、いずれの行においても前記第１ドットの個数のカウント値が前記単位パターンの前記第２方向の行に含まれる前記第１ドットの個数と一致する箇所を検索し、前記箇所を境界とする前記単位パターンと同一サイズの領域の光ドットを抽出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像生成装置。
【請求項５】
前記距離情報生成部は、識別コード読取部を有し、
前記識別コード読取部は、
前記分離部で生成された前記投写像成分の画像信号に基づいて、前記単位パターンと同一サイズの領域の光ドットを抽出し、
抽出された前記光ドットのパターン及び抽出された前記光ドットのパターンを前記第１方向に繰り返し配置したパターンから、前記第１方向に前記単位パターンと同じ長さの領域を抜き出したパターンと前記投写パターンの全体に含まれる単位パターンとのマッチングを行って一致するパターンを求める
ことを特徴とする請求項１から４のいずれか１項に記載の画像生成装置。
【請求項６】
前記投写パターンの全体を構成する光ドットの配列は、前記投写パターンの全体の中心位置を対称の中心とする点対称となるように定められ、
前記投写パターンを構成する前記複数の単位パターンは、第１の単位パターンと、前記第１の単位パターンを前記第１の単位パターンの中心位置を中心として１８０度回転させた第２の単位パターンと、の組を含む
ことを特徴とする請求項１から５のいずれか１項に記載の画像生成装置。
【請求項７】
前記単位パターンは、前記第１方向に４行で前記第２方向に４列の光ドットから構成され、
前記単位パターンに含まれる前記第１方向に並ぶ前記第１ドットの個数は２個であり、
前記単位パターンに含まれる前記第２方向に並ぶ前記第１ドットの個数は２個である
ことを特徴とする請求項１から６のいずれか１項に記載の画像生成装置。
【請求項８】
前記単位パターンは、前記第１方向に４行で前記第２方向に６列の光ドットから構成され、
前記単位パターンに含まれる前記第１方向に並ぶ前記第１ドットの個数は２個であり、
前記単位パターンに含まれる前記第２方向に並ぶ前記第１ドットの個数は３個である
ことを特徴とする請求項１から６のいずれか１項に記載の画像生成装置。
【請求項９】
撮像空間に向けてパターン光を投写することによって、前記撮像空間内に存在する被写体上に投写像としての投写パターンを形成するステップと、
前記撮像空間を撮像することによって撮像信号を生成するステップと、
前記パターン光が投写されていないときに生成された前記撮像信号と、前記パターン光が投写されているときに生成された前記撮像信号とから、前記投写パターンの成分を含まない背景成分の画像信号と、投写像成分の画像信号とを生成するステップと、
予め記憶されている前記投写パターン内における各光ドットの位置と投写角との関係と、前記投写像成分の前記画像信号とに基づいて、撮像された前記投写パターン内の各光ドットの投写角を特定し、特定された前記投写角に基づいて、前記各光ドットが投写されている前記被写体までの距離を求めて、前記距離を示す距離情報を生成するステップと、
を有し、
前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、
前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、
前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、
前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、
前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、
前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なる
ことを特徴とする画像生成方法。
【請求項１０】
光源から出射された光から、予め決められた光ドットのパターンから成るパターン光を生成し、投写して、被写体上に投写像としての投写パターンを形成する投写部と、
前記光源を駆動させる駆動部と、
を有するパターン光生成装置であって、
前記投写パターンは、第１方向に複数行に且つ前記第１方向に直交する第２方向に複数列に配列された複数の単位パターンを含み、
前記複数の光ドットは、互いに異なる状態の光ドットである第１ドットと第２ドットとから構成され、
前記第１方向に並ぶ複数の単位パターンは、互いに同じ光ドット配列を有し、
前記第２方向に並ぶ複数の単位パターンは、互いに異なる光ドット配列を有し、
前記複数の単位パターンの各々の中において、前記第１方向に並ぶ複数の光ドットの内の前記第１ドットの個数は、前記第２方向の各行において同じ固定数であり、
前記単位パターン以外の箇所で、前記第２方向の単位パターンと同じ長さの行に含まれる前記第１ドットの個数が、前記第２方向のいずれかの行で、前記固定数と異なる
ことを特徴とするパターン光生成装置。
【国際調査報告】
2016199323.tif 000024
2016199323.tif 000025
2016199323.tif 000026
2016199323.tif 000027