(57)【要約】本発明は、自機と他機から同形状の構造化光のパターン（第１のドットパターンＤＰ１，第２のドットパターンＤＰ２）が同時に投射される場合でも、自機から投射されたパターン（ＤＰ１）に基づいて、距離画像を取得することができる距離画像取得装置及び距離画像取得方法を提供するものであり、複数の発光強度で複数回の発光を行って測距領域内の被写体に対して構造化光の第１のパターン（ＤＰ１）を投射部（１２）から投射し、投射部（１２）から基線長だけ離れて並設された撮像部（１４）により、複数回の発光のそれぞれに同期して被写体を撮像し、正規化部（２０Ｄ）により、複数の撮像画像のそれぞれを複数の発光強度のそれぞれに対応する係数で正規化し、判別部（２０Ｆ）により、複数の正規化画像を比較して（ｄＶ１，ｄＶ２）投射部（１２）から投射された第１のパターンを判別し、その判別の結果に基づいて、被写体の距離を示す距離画像を取得する。
2016199518.tif 000002
【特許請求の範囲】
【請求項１】
複数の発光強度で複数回の発光を行って、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、  前記投射部から基線長だけ離れて並設され、前記複数回の発光のそれぞれに同期して前記被写体を撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記複数の発光強度のそれぞれに対応する複数の撮像画像を生成する撮像部と、  前記複数の撮像画像のそれぞれを前記複数の発光強度のそれぞれに対応する係数で正規化して複数の正規化画像を取得する正規化部と、  前記複数の正規化画像を比較し、前記投射部から投射された前記第１のパターンを判別する判別部と、  前記判別部の判別の結果に基づいて、前記被写体の距離を示す距離画像を取得する距離画像取得部と、  を備える距離画像取得装置。
【請求項２】
前記判別部は、前記複数の正規化画像同士で対応する位置ごとに前記複数の正規化画像の画素値の差を算出し、前記画素値の差の絶対値が閾値以下である画素を、前記第１のパターンを示す画素であると判別する請求項１に記載の距離画像取得装置。
【請求項３】
前記判別部は、前記複数の正規化画像同士で対応する位置ごとに前記複数の正規化画像の画素値の比を算出し、前記画素値の比が上限値と下限値との範囲内である画素を、前記第１のパターンを示す画素であると判別する請求項１に記載の距離画像取得装置。
【請求項４】
前記複数の正規化画像同士での画素位置の対応関係を検出し、画素位置のずれを補正する位置補正部を備え、  前記判別部は、前記位置補正部により前記画素位置のずれが補正された後、前記複数の正規化画像を比較する請求項１から３のうちいずれか一項に記載の距離画像取得装置。
【請求項５】
前記判別部の判別の結果に基づいて、前記複数の撮像画像及び前記複数の正規化画像のうちの少なくとも一つの画像からノイズを除去するノイズ除去部を備え、  前記距離画像取得部は、前記ノイズ除去部によりノイズが除去された画像から、前記距離画像を取得する請求項１から４のうちいずれか一項に記載の距離画像取得装置。
【請求項６】
前記複数の撮像画像及び前記複数の正規化画像のうちの少なくとも一つの画像から前記第１のパターン及び他の距離画像取得装置から投射された構造化光の第２のパターンを含むパターンを抽出するパターン抽出部と、  前記判別部の判別の結果に基づいて、前記パターン抽出部により抽出された前記パターンから前記第２のパターンを除去するノイズ除去部と、を備え、  前記距離画像取得部は、前記ノイズ除去部により前記第２のパターンが除去されて残された前記第１のパターンから、前記距離画像を取得する請求項１から４のうちいずれか一項に記載の距離画像取得装置。
【請求項７】
前記投射部は、非可視の波長領域で発光して前記第１のパターンを前記被写体に投射し、  前記撮像部は、前記非可視の波長領域で前記被写体を撮像する請求項１から６のうちいずれか一項に記載の距離画像取得装置。
【請求項８】
前記撮像部は、前記投射部が非発光の期間に前記被写体を撮像し、  前記正規化部は、前記投射部の発光期間に前記撮像部により撮像された前記複数の撮像画像のそれぞれから、前記投射部の非発光期間に前記撮像部により撮像された撮像画像を減算した結果に基づいて、前記複数の正規化画像を取得する請求項１から７のうちいずれか一項に記載の距離画像取得装置。
【請求項９】
前記投射部から投射される前記第１のパターン及び他の距離画像取得装置から投射される第２のパターンは、ドットパターンであり、  前記投射部から投射した前記第１のパターンのドット数である投射ドット数と、前記判別部により第１のパターンと判別されたパターンのドット数である判別ドット数とを比較するパターン比較部と、  前記パターン比較部の前記投射ドット数と前記判別ドット数との比較の結果に基づいて、前記投射部での前記第１のパターンの投射条件を変更する投射制御部と、  を備える請求項１から８のうちいずれか一項に記載の距離画像取得装置。
【請求項１０】
前記投射制御部は、前記パターン比較部の比較の結果に基づいて、前記複数の発光強度の組合せを変更する請求項９に記載の距離画像取得装置。
【請求項１１】
前記投射制御部は、前記パターン比較部の比較の結果に基づいて、前記第１のパターンの発光タイミングを変更する請求項９に記載の距離画像取得装置。
【請求項１２】
前記投射制御部は、前記パターン比較部の比較の結果に基づいて、前記第１のパターンの発光及び非発光の切換タイミングを符号で変調する請求項９に記載の距離画像取得装置。
【請求項１３】
前記投射制御部は、前記パターン比較部の比較の結果に基づいて、前記複数回の発光の発光回数を変更する請求項９に記載の距離画像取得装置。
【請求項１４】
他の距離画像取得装置から構造化光の第２のパターンが投射されているか否かを検出する他機投射検出部を備え、  前記他機投射検出部により前記他の距離画像取得装置から前記第２のパターンが投射されていることが検出されると、前記投射部により前記複数の発光強度で複数回の発光を行う強度変調を開始する請求項１から１３のうちいずれか一項に記載の距離画像取得装置。
【請求項１５】
前記撮像部は、前記距離画像のフレームレートに対応した露光期間で露光を行い、前記投射部は、前記撮像部の露光期間の開始及び終了のタイミングに同期して前記第１のパターンを投射する請求項１から１４のうちいずれか一項に記載の距離画像取得装置。
【請求項１６】
投射部により、複数の発光強度で複数回の発光を行って、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射するステップと、  前記投射部から基線長だけ離れて並設された撮像部により、前記複数回の発光のそれぞれに同期して前記被写体を撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記複数の発光強度のそれぞれに対応する複数の撮像画像を生成するステップと、  前記複数の撮像画像のそれぞれを前記複数の発光強度のそれぞれに対応する係数で正規化して複数の正規化画像を取得するステップと、  前記複数の正規化画像を比較し、前記投射部から投射された前記第１のパターンを判別するステップと、  前記判別の結果に基づいて、前記被写体の距離を示す距離画像を取得するステップと、  を含む距離画像取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は距離画像取得装置及び距離画像取得方法に係り、特に測距領域内の被写体に対して２次元に分布する構造化光を投射し、被写体の距離を示す距離画像を取得する技術に関する。
【背景技術】
【０００２】  従来、この種の距離画像取得装置は、投射部から測距領域内の被写体に対して２次元に分布する構造化光のドットパターンを投射し、撮像部により被写体を撮像し、被写体で反射されるドットパターンを含む第１の画像を取得する。また、投射部からドットパターンを投射せずに撮像部により被写体を撮像し、ドットパターンの背景となる第２の画像を取得する。そして、第１の画像から第２の画像を減算し、減算結果に基づいて距離画像（３次元距離情報）を三角測量法に基づいて演算し取得する（特許文献１）。【０００３】  特許文献２は、一つの距離計測装置に複数の投射部（投影部）を備え、複数の投射部がそれぞれ投射したパターンを撮像部で混同しないように、複数の投射部が一つずつ順番に投射を行うこと、又は複数の投射部から投射するパターン光の色を異ならせることを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１６９７０１号公報
【特許文献２】特開２０１４−１１５１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  同一の被写体の距離計測を複数台で同時に行うことができる距離画像取得装置が求められている。例えば、１台の距離画像取得装置では距離画像を取得できない大きさの対象物体の距離計測を複数台の距離画像取得装置で同時に行いたい場合や、他者が距離画像取得装置を使っていることを知らずに使用者自らも距離画像取得装置を使う場合がある。特に、距離画像を直接表示等せずに他の用途に用いており、使用者自身が距離画像取得を行っている自覚が無い場合には、同時に同一場所で距離画像取得装置を使用してしまう可能性が高い。【０００６】  特許文献１に記載の距離画像取得装置では、同一の被写体の距離計測を複数台で同時に行う場合、複数台の距離画像取得装置から投射されるドットパターンが混在することに起因して、距離画像を取得できない場合があるという問題がある。【０００７】  具体的には図２０に示す場合、即ち、自機がドットパターンを投射中である第１の露光期間には他機も同形状のドットパターンを投射中であり、かつ自機がドットパターンを非投射である第２の露光期間には他機もドットパターンを非投射であるという場合には、第１の露光期間の撮像で得られる信号値と第２の露光期間の撮像で得られる信号値との差が、自機投射のドットパターンと他機投射のドットパターンとで同様になってしまう。よって、特許文献１に記載のように、自機投射中の撮像画像（第１の画像）から自機非投射中の撮像画像（第２の画像）を減算しても、他機投射のドットパターンを排除することができず、その結果として距離画像を取得できない。【０００８】  特許文献２に記載の技術は、一台の装置に複数の投射部を設けた場合に、その一台の装置の撮像部でのパターンの混同を回避する技術であり、複数台の装置のそれぞれに設けられた複数の投射部からパターンを投射する場合への適用は困難である。なぜなら、特許文献２に記載のように一台の装置に複数の投射部を設けた場合には、一台の装置内で統括制御を行うＣＰＵ（Central Processing Unit）から、複数の投射部のそれぞれに対して投射タイミング又は波長領域を指示することにより、複数の投射部の時分割又は波長領域分割（周波数分割ともいう）の制御を容易に行うことが可能であるが、互いに独立した複数台の装置のそれぞれに投射部が設けられている場合には、自機のＣＰＵから他機の投射部に対して、投射タイミング又は波長領域を直接指示することができないからである。また、投射パターンを変調するために特別なハードウェアを追加すると、装置コストを上昇させることにもなる。【０００９】  本発明はこのような事情に鑑みてなされたもので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、距離画像を取得することができる距離画像取得装置及び距離画像取得方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】  上記の目的を達成するために本発明の一の態様に係る距離画像取得装置は、複数の発光強度で複数回の発光を行って、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、投射部から基線長だけ離れて並設され、複数回の発光のそれぞれに同期して被写体を撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の発光強度のそれぞれに対応する複数の撮像画像を生成する撮像部と、複数の撮像画像のそれぞれを複数の発光強度のそれぞれに対応する係数で正規化して複数の正規化画像を取得する正規化部と、複数の正規化画像を比較し、投射部から投射された第１のパターンを判別する判別部と、判別部の判別の結果に基づいて、被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。【００１１】  この構成によれば、投射部により複数の発光強度で複数回の発光を行って被写体に第１のパターンを投射し、かつ撮像部により複数回の発光のそれぞれに同期して被写体を撮像することで、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の発光強度のそれぞれに対応する複数の撮像画像が生成され、正規化部により複数の撮像画像のそれぞれを複数の発光強度のそれぞれに対応する係数で正規化することで、複数の正規化画像が取得され、判別部により複数の正規化画像を比較することで、投射部から投射された自機投射の第１のパターンのみが他の距離画像取得装置から投射された第２のパターンとは区別して判別されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機投射の第１のパターンのみに基づいて精度が高い距離画像を取得することができる。【００１２】  上記の投射部の「複数の発光強度で複数回の発光」は、複数回の発光のうちの少なくとも一回の発光で発光強度を異ならせることを意味する。即ち、「複数の発光強度で複数回の発光」は、複数回の発光の全てを同一の発光強度で行う場合を含まない。二回の発光の場合、第１回の発光と第２回の発光とで発光強度が異なる。【００１３】  上記の撮像部の「撮像画像」を「生成」は、撮像信号を読み出すこと、即ち単に撮像部の受光素子から電荷を撮像信号として読み出す場合を含む。【００１４】  上記の正規化部の「複数の撮像画像のそれぞれを複数の発光強度のそれぞれに相当する係数で正規化」は、複数の撮像画像のうちの基準となる撮像画像に対しては正規化のための演算を行わず、基準となる撮像画像以外の他の撮像画像に対してのみ正規化のための演算を行う場合を含む。正規化のための演算が行われなかった基準の撮像画像は、そのまま正規化画像として利用することができる。【００１５】  上記の判別部の「第１のパターンを判別」は、複数の正規化画像を比較した結果に基づいて、正規化画像中の第１のパターンを判別する場合に限定されず、複数の正規化画像を比較した結果に基づいて、撮像画像中の第１のパターンを判別する場合を含む。また、複数の撮像画像及び複数の正規化画像のうちの少なくとも一つの画像（多値画像データ）から抽出されたパターン（例えば２値画像データ）中の第１のパターンを判別する場合を含む。【００１６】  本発明の他の態様に係る距離���像取得装置において、判別部は、複数の正規化画像同士で対応する位置ごとに複数の正規化画像の画素値の差を算出し、画素値の差の絶対値が閾値以下である画素を、第１のパターンを示す画素であると判別する。【００１７】  本発明の更に他の態様に係る距離画像取得装置において、判別部は、複数の正規化画像同士で対応する位置ごとに複数の正規化画像の画素値の比を算出し、画素値の比が上限値と下限値との範囲内である画素を、第１のパターンを示す画素であると判別する。【００１８】  本発明の更に他の態様に係る距離画像取得装置において、複数の正規化画像同士での画素位置の対応関係を検出し、画素位置のずれを補正する位置補正部を備え、判別部は、位置補正部により画素位置のずれが補正された後、複数の正規化画像を比較する。即ち、画素位置の正規化が行われるので、手振れ等に因り、複数の正規化画像間で画素位置のずれが生じている場合でも、第１のパターンを確実に判別して、精度が高い距離画像を取得することが可能となる。【００１９】  他の距離画像取得装置から投射された第２のパターンを除去する態様には、第１に、撮像画像又は正規化画像から除去する態様と、第２に、撮像画像又は正規化画像からパターン抽出を行って、抽出されたパターンの画像データから除去する態様とがある。【００２０】  本発明の更に他の態様に係る距離画像取得装置において、判別部の判別の結果に基づいて、複数の撮像画像及び複数の正規化画像のうちの少なくとも一つの画像からノイズを除去するノイズ除去部を備え、距離画像取得部は、ノイズ除去部によりノイズが除去された画像から、距離画像を取得する。即ち、ノイズ除去部によりノイズが除去された画像から、容易に第１のパターンを抽出して、距離画像を取得することが可能となる。【００２１】  本発明の更に他の態様に係る距離画像取得装置において、複数の撮像画像及び複数の正規化画像のうちの少なくとも一つの画像から第１のパターン及び他の距離画像取得装置から投射された構造化光の第２のパターンを含むパターンを抽出するパターン抽出部と、判別部の判別の結果に基づいて、パターン抽出部により抽出されたパターンから第２のパターンを除去するノイズ除去部と、を備え、距離画像取得部は、ノイズ除去部により第２のパターンが除去されて残された第１のパターンから、距離画像を取得する。即ち、ノイズ除去部により第２のパターンが除去されて残された第１のパターンから、容易に距離画像を取得することが可能となる。【００２２】  本発明の更に他の態様に係る距離画像取得装置において、投射部は、非可視の波長領域で発光して第１のパターンを被写体に投射し、撮像部は、非可視の波長領域で被写体を撮像する。即ち、可視の波長領域の外光による悪影響を回避して、精度が高い距離画像を取得することが可能となる。【００２３】  本発明の更に他の態様に係る距離画像取得装置において、撮像部は、投射部が非発光の期間に被写体を撮像し、正規化部は、投射部の発光期間に撮像部により撮像された複数の撮像画像のそれぞれから、投射部の非発光期間に撮像部により撮像された撮像画像を減算した結果に基づいて、複数の正規化画像を取得する。即ち、背景光等の一定レベルの光によるノイ��の成分が除去された撮像画像から正規化画像が取得されることになるので、第１のパターンの判別の精度が向上し、精度が高い距離画像を取得することが可能となる。【００２４】  本発明の更に他の態様に係る距離画像取得装置において、投射部から投射される第１のパターン及び他の距離画像取得装置から投射される第２のパターンは、ドットパターンであり、投射部から投射した第１のパターンのドット数である投射ドット数と、判別部により第１のパターンと判別されたパターンのドット数である判別ドット数とを比較するパターン比較部と、パターン比較部の投射ドット数と判別ドット数との比較の結果に基づいて、投射部での第１のパターンの投射条件を変更する投射制御部と、を備える。即ち、投射ドット数と判別ドット数とを比較することにより、第１のパターンの判別が正しいことを簡単且つ確実にチェックすることができ、発光タイミング及び閾値等の設定値に依り第２のパターンを第１のパターンと判断してしまう稀有な場合でも投射条件変更により確実に精度が高い距離画像を取得することが可能となる。【００２５】  本発明の更に他の態様に係る距離画像取得装置において、投射制御部は、パターン比較部の比較の結果に基づいて、複数の発光強度の組合せを変更する。【００２６】  本発明の更に他の態様に係る距離画像取得装置において、投射制御部は、パターン比較部の比較の結果に基づいて、第１のパターンの発光タイミングを変更する。【００２７】  本発明の更に他の態様に係る距離画像取得装置において、投射制御部は、パターン比較部の比較の結果に基づいて、第１のパターンの発光及び非発光の切換タイミングを符号で変調する。【００２８】  本発明の更に他の態様に係る距離画像取得装置において、投射制御部は、パターン比較部の比較の結果に基づいて、複数回の発光の発光回数を変更する。【００２９】  本発明の更に他の態様に係る距離画像取得装置において、他の距離画像取得装置から構造化光の第２のパターンが投射されているか否かを検出する他機投射検出部を備え、他機投射検出部により他の距離画像取得装置から第２のパターンが投射されていることが検出されると、投射部により複数の発光強度で複数回の発光を行う強度変調を開始する。即ち、他機から第２のドットパターンが投射されていた場合には、強度変調により第２のドットパターンの混在に因るノイズの影響を防止して精度が高い距離画像を取得し、他機から第２のドットパターンが投射されていなかった場合には、強度変調を行わないことにより強度変調を行うことに因る演算ノイズの付加を防止して極めて精度が高い距離画像を取得することが可能となる。【００３０】  本発明の更に他の態様に係る距離画像取得装置において、撮像部は、距離画像のフレームレートに対応した露光期間で露光を行い、投射部は、撮像部の露光期間の開始及び終了のタイミングに同期して第１のパターンを投射する。即ち、距離画像を一定のフレームレートの動画として取得することができる。【００３１】  本発明の一の態様に係る距離画像取得方法は、投射部により、複数の発光強度で複数回の発光を行って、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射するステップと、���射部から基線長だけ離れて並設された撮像部により、複数回の発光のそれぞれに同期して被写体を撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の発光強度のそれぞれに対応する複数の撮像画像を生成するステップと、複数の撮像画像のそれぞれを複数の発光強度のそれぞれに対応する係数で正規化して複数の正規化画像を取得するステップと、複数の正規化画像を比較し、投射部から投射された第１のパターンを判別するステップと、判別の結果に基づいて、被写体の距離を示す距離画像を取得するステップと、を含む。
【発明の効果】
【００３２】  本発明によれば、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、距離画像を取得することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明に係る距離画像取得装置の一例の外観図である。
【図２】距離画像取得の原理を説明するために用いる図である。
【図３】第１の実施形態の距離画像取得装置の内部構成例を示すブロック図である。
【図４】自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像して得られた撮像画像の一例を示す図である。
【図５】自機からドットパターンを投射した時に他機からドットパターンが投射されている状態で撮像して得られた撮像画像の一例を示す図である。
【図６】第１の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。
【図７】自機から投射された第１のドットパターン及び他機から投射された第２のドットパターンの説明に用いる説明図である。
【図８】第１の実施形態における強度変調及び正規化の説明に用いる第１の説明図である。
【図９】第１の実施形態におけるノイズ除去の説明に用いる説明図である。
【図１０】第１の実施形態における強度変調及び正規化の説明に用いる第２の説明図である。
【図１１】第２の実施形態における強度変調及び正規化の説明に用いる説明図である。
【図１２】第２の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。
【図１３】第３の実施形態の距離画像取得装置の内部構成例を示すブロック図である。
【図１４】第３の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。
【図１５】符号変調方式に用いる符号の一例の説明図である。
【図１６】符号変調方式の一例の概要の説明に用いる説明図である。
【図１７】符号変調方式の一例の処理の流れを示すフローチャートである。
【図１８】距離画像取得装置の一例であるスマートフォンの外観図である。
【図１９】スマートフォンの構成を示すブロック図である。
【図２０】本発明の課題の説明に用いる説明図である。
【発明を実施するための形態】
【００３４】  以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施の形態について説明する。
【００３５】  ＜第１の実施形態＞  図１は、本発明に係る距離画像取得装置１０の一例の外観を示す外観図である。
【００３６】  図１に示すように距離画像取得装置１０は、投射部１２と撮像部１４とを有し、シャッターボタン１１の操作による撮像指示入力が加えられると、後に詳しく説明するが、撮像領域（測距領域）内の被写体の距離（深度情報）を示す距離画像を取得する。
【００３７】  ここで、距離画像取得装置１０は、静止画撮像と同様に１フレーム分の距離画像を取得する静止画モードと、動画撮像と同様に一定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続する距離画像を取得する動画モードとを有し、これらの静止画モードと動画モードとは操作部２８（図３）のモード選択部の操作により適宜選択可能になっている。そして、静止画モードが選択されているときにシャッターボタン１１をワンプッシュすると、１フレーム分の距離画像を取得し、動画モードが選択されているときにシャッターボタン１１をワンプッシュすると、一定のフレームレートで連続する距離画像の取得を開始し、再度シャッターボタン１１をワンプッシュすると、距離画像の取得を停止する。なお、距離画像を取得する動作は、静止画か動画かに関わらず、他の機能（本体に予め備わっている機能、及び後からアプリケーション等により追加された機能）のバックグラウンド動作として行われることがある。この場合は、上記明示的な操作指示はされず、他の機能の要求に従って行われることになる。
【００３８】  図２は、距離画像取得装置１０における距離画像取得の原理を説明するために用いる図である。
【００３９】  図２に示すように距離画像の取得時に投射部１２は、測距領域内の被写体に対して２次元に分布する構造化光のパターン（第１のパターン）を投射する。本実施形態では、構造化光の第１のパターンとして、マトリクス状のドットパターンを被写体に投射する。以下、投射部１２から投射される構造化光の第１のパターンを、「第１のドットパターン」ということもある。
【００４０】  撮像部１４は、被写体上で反射する第１のドットパターンを含む画像を撮像する。撮像部１４は、図２に示すように投射部１２から基線長Ｌだけ離れて並設されており、投射部１２から投射される第１のドットパターンと、撮像部１４により撮像される第１のドットパターンとの対応する各ドット間には被写体の距離に応じた視差が発生する。従って、投射部１２から投射される第１のドットパターンの各ドットの、撮像部１４により撮像されるイメージセンサ上の受光位置（図示せず）に基づいて三角測量法を用いて被写体の距離を示す距離画像を求めることができる。
【００４１】  尚、本実施形態の投射部１２は、図２に示すようにマトリクス状の第１のドットパターンを投射するが、これに限らず、ドット間隔がランダム（疑似ランダム）のドットパターンを投射してもよいし、メッシュ状のパターンを投射してもよい。
【００４２】  図３は、上記の距離画像取得装置１０の内部構成例を示すブロック図である。
【００４３】  距離画像取得装置１０は、前述した投射部１２及び撮像部１４の他に、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、駆動部２６（投射駆動部２６Ａ及び撮像駆動部２６Ｂ）、操作部２８、通信部３０、及び記憶部３２を備えている。
【００４４】  投射部１２は、近赤外発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））１２Ａと、回折光学素子１２Ｂと、投射光学系として機能する投射レンズ１２Ｃとから構成されている。即ち、本実施形態の投射部１２は、非可視の波長領域の光（本例では近赤外線光）を発光して、被写体に第１のドットパターンを投射する。
【００４５】  回折光学素子１２Ｂは、光の回折現象を利用して光強度分布を変換する素子として機能し、本例では近赤外線ＬＥＤ１２Ａから発光された近赤外光を入射し、図２に示したマトリクス状の第１のドットパターンに変換する。投射レンズ１２Ｃは、回折光学素子１２Ｂにより変換された近赤外光の第１のドットパターンを、撮像部１４による撮像領域（測距領域）と同じ測距領域の被写体に投射する。
【００４６】  撮像部１４は、結像レンズ１４Ａとイメージセンサ１４Ｂとから構成されている。結像レンズ１４Ａは、被写体からの反射光（投射部１２から投射され、被写体にて反射する第１のドットパターンを含む光像）をイメージセンサ１４Ｂに結像させる。
【００４７】  イメージセンサ１４Ｂは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、イメージセンサ１４Ｂは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。
【００４８】  イメージセンサ１４Ｂは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、投射部１２から投射される近赤外光の第１のドットパターンの波長領域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、イメージセンサ１４Ｂの複数の受光素子は、近赤外光に対して感度をもった画素として機能する。即ち、本実施形態の撮像部１４は、非可視の波長領域（本例では近赤外線光の波長領域）で、被写体を撮像する。
【００４９】  イメージセンサ１４Ｂは、図示しないタイミングジェネレータから加えられるタイミング信号（シャッター制御信号）により露光期間が制御され、イメージセンサ１４Ｂの各受光素子には、露光期間に入射する近赤外光の光量に対応する電荷が蓄積される。そして、イメージセンサ１４Ｂからは、被写体にて反射した第１のドットパターンの入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。尚、被写体に環境光が照射され、環境光中に近赤外光の波長領域の成分が含まれている場合には、環境光中の近赤外光の波長領域の成分は、ノイズ信号として撮像画像の信号に含まれることになる。その一方で、環境光中に近赤外光の波長領域の成分がほとんど含まれない環境では、撮像画像の信号に含まれる環境光の近赤外光の波長領域の成分は、投射されたドットパターンの成分と比較して、無視できるほど小さい。
【００５０】  イメージセンサ１４Ｂから読み出されたアナログ信号は、ＡＤ変換器１６によりデジタル信号（画像データ）に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。
【００５１】  ＣＰＵ２０は、操作部２８での指示入力に応じて、駆動部２６（投射駆動部２６Ａ及び撮像駆動部２６Ｂ）、通信部３０、記憶部３２等の各部を統括的に制御するデバイス制御部としての機能を有する。
【００５２】  また、ＣＰＵ２０は、投射駆動部２６Ａを介して投射部１２を制御し、複数の発光強度で複数回の発光を行わせて、測距領域内の被写体に対して第１のドットパターンを投射させる投射制御部２０Ａと、撮像駆動部２６Ｂを介して撮像部１４を制御し、投射部１２の複数回の発光のそれぞれに同期して被写体を撮像させ、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の発光強度のそれぞれに対応する複数の撮像画像を生成させる撮像制御部２０Ｂと、撮像画像等の多値画像データからドットパターンを抽出するパターン抽出部２０Ｃと、複数の撮像画像のそれぞれを複数の発光強度のそれぞれに対応する係数で正規化して複数の正規化画像を取得する正規化部２０Ｄと、複数の正規化画像同士の画素位置のずれを補正する位置補正部２０Ｅと、位置補正部２０Ｅにより画素位置のずれが補正された後の複数の正規化画像を比較し、投射部１２から投射された第１のドットパターンを判別する判別部２０Ｆと、判別部２０Ｆの判別の結果に基づいて、パターン抽出部２０Ｃにより抽出されたドットパターンから、他の距離画像取得装置から投射された構造化光のドットパターン（以下「第２のドットパターン」という）を除去することにより第１のドットパターンを選択するノイズ除去部２０Ｇと、投射部１２から投射した第１のドットパターンのドット数（以下「投射ドット数」という）と、パターン抽出部２０Ｃにより抽出されて判別部２０Ｆの判別の結果に基づいて選択された第１のドットパターンのドット数（以下「判別ドット数」という）とを比較するパターン比較部２０Ｈと、パターン抽出部２０Ｃにより抽出されて判別部２０Ｆの結果に基づいて選択された第１のドットパターンに基づいて、被写体の距離を示す距離画像を取得する距離画像取得部２０Ｊとしての機能を有する。
【００５３】  投射制御部２０Ａは、複数回の発光のうちの少なくとも一回の発光で発光強度を異ならせる。二回の発光を行う場合には、第１回の発光と第２回の発光とで発光強度を異ならせる。このような投射部１２から投射される第１のドットパターンの発光強度を変調する制御を、以下では単に「強度変調」ということもある。尚、図３に示した投射制御部２０Ａは、投射部１２を駆動する投射駆動部２６Ａを制御することにより強度変調を行うが、このような場合に本発明は限定されない。例えば、光源である近赤外線ＬＥＤ１２Ａから発光された光に対して強度変調を行ってもよい。本発明における「発光強度」は、投射部１２から実際に投射される第１のドットパターンの発光強度、即ち実際に被写体に投射される光の強度を意味する。光源から発光された光に対して強度変調を行う態様では、「発光強度」は、光源から発光された時点（即ち強度変調前）の光の強度ではなく、強度変調後の光の強度を指す。
【００５４】  撮像制御部２０Ｂは、撮像駆動部２６Ｂを介して撮像部１４を制御し、撮像部１４に、距離画像のフレームレートに対応した露光期間で露光を行わせる。投射制御部２０Ａは、投射駆動部２６Ａを介して投射部１２を制御し、投射部１２に、撮像部１４の露光期間の開始及び終了のタイミングに同期して第１のドットパターンを投射させる。つまり、距離画像を一定のフレームレートの動画として取得することが可能である。
【００５５】  パターン抽出部２０Ｃは、インターフェース回路１８を介して入力する画像データとしての複数の撮像画像（即ち正規化前の複数の撮像画像）のうちの少なくとも一つの撮像画像から、ドットパターンを抽出する。後述の正規化部２０Ｄにより正規化された複数の撮像画像である複数の正規化画像のうちの少なくとも一つの正規化画像から、ドットパターンを抽出してもよい。例えばドットパターン抽出用の適当な閾値を設定し、この閾値に基づいて撮像画像又は正規化画像（多値画像データ）に対して２値化処理を行うことにより、ドットパターンのみを示す２値画像データを抽出する。即ち、ドットパターンを含む多値画像データから、ドットパターンのみを示す２値画像データを取得する。自機と他機とが同一の被写体に対して同時にドットパターンを投射した場合には、第１のドットパターンと、第１のドットパターンと同形状の第２のドットパターンとが、混在して抽出される。尚、本発明における「ドットパターンを抽出」は、２値画像データとしてドットパターンを取得する場合には限定されない。要するに、パターン抽出部２０Ｃは、正規化前の撮像画像及び正規化後の撮像画像に含まれるドットパターンを示す情報を抽出する。各ドットパターンの画像中の位置を示す情報のみを取得する場合であってもよく、その場合も本発明に含まれる。
【００５６】  正規化部２０Ｄは、撮像画像の画素値の大きさを、その撮像画像の撮像時における第１のドットパターンの発光強度に対応する係数で正規化することにより、正規化画像を取得する。正規化前の撮像画像内の第１のドットパターンを示す画素の画素値の大小は発光強度の大小に対応して変化するが、正規化後の撮像画像である正規化画像内の第１のドットパターンを示す画素の画素値は、距離画像取得装置から近似する距離に存在し、かつ投射するドットパターンの波長光に対して類似の反射率を持つ被写体の場合は、発光強度の大小に関係なく略一定の値（言い換えると、許容誤差範囲内の値）となる。
【００５７】  位置補正部２０Ｅは、複数の正規化画像（画素値が正規化された撮像画像である）同士での画素位置の対応関係を検出し、その対応関係の検出の結果に基づいて、複数の正規化画像同士での画素位置のずれを補正する。言い換えると、位置補正部２０Ｅは、複数の正規化画像間の画素位置を正規化する。
【００５８】  判別部２０Ｆは、例えば、複数の正規化画像同士で対応する画素位置ごとに、複数の正規化画像の画素値の差を算出し、その画素値の差の絶対値が閾値以下である画素を、自機投射の第１のドットパターンを示す画素であると判別する。ただし本発明は、このような場合に特に限定されない。例えば、複数の正規化画像同士で対応する画素位置ごとに、複数の正規化画像の画素値の比を算出し、その画素値の比が設定された上限値と下限値との範囲内である画素を、自機投射の第１のドットパターンを示す画素であると判別してもよい。また、本発明は、画素単位で判別を行う場合に限定されない。例えば、ドット単位で判別を行ってもよい。
【００５９】  ノイズ除去部２０Ｇは、パターン抽出部２０Ｃにより抽出されたドットパターン（他機投射の第２のドットパターンが含まれている）から、判別部２０Ｆの判別の結果に基づいて第２のドットパターンを除去する機能を持つ。撮像画像、正規化画像などの多値画像データからノイズを除去する機能をノイズ除去部２０Ｇに持たせてもよい。
【００６０】  尚、本発明における「抽出されたドットパターン」は、上述のように２値画像データには限定されない。例えば、ドットパターンの画像中の位置を示す情報のみがパターン抽出部２０Ｃにより取得された場合には、その取得された情報から第２のドットパターンの位置を示す情報を削除する。
【００６１】  パターン比較部２０Ｈは、投射部１２から実際に投射した第１のドットパターンのドット数である投射ドット数と、ノイズ除去部２０Ｇにより判別部２０Ｆの判別の結果に基づいて第２のドットパターンを除去した後のドットパターンの数（以下「判別ドット数」という）とを比較する。この比較により、ノイズ除去部２０Ｇにより第２のドットパターンの除去処理を行った後のパターン（例えば２値画像データ）に、他機投射の第２のドットパターンの成分が未だ残っているか否かを判定する。即ち、パターン比較部２０Ｈは、パターン抽出部２０Ｃにより抽出されたドットパターンから第１のドットパターンのみが正しく選択されたか否かをチェックする。尚、「判別ドット数」は、判別部２０Ｆにより第１のドットパターンと判別されたパターンのドット数である、と言うことができる。
【００６２】  距離画像取得部２０Ｊは、ノイズ除去部２０Ｇにより他機投射の第２のドットパターンが除去された後に残されたドットパターン（即ち自機投射の第１のドットパターンである）に基づいて、測距領域内の被写体の距離を示す距離画像を取得（生成）する。例えば、第１のドットパターンのみを示す２値画像データに基づいて第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置（例えば、各ドットの重心の位置）を求め、求めた第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置に基づいてドット毎に被写体の距離を算出し、これにより測距領域内の被写体の距離を示す距離画像を取得（生成）する。尚、距離画像は、測距領域内の被写体の距離を示す２次元の距離情報であるが、距離情報を距離に対応する輝度値や色情報に置き換えることにより、距離画像を画像として視認することができる。
【００６３】  要するに、距離画像取得部２０Ｊは、判別部２０Ｆの判別の結果に基づいて、被写体の距離を示す距離画像を取得する。
【００６４】  駆動部２６は、投射部１２を駆動する投射駆動部２６Ａ、及び撮像部１４を駆動する撮像駆動部２６Ｂを含んで構成されている。投射駆動部２６Ａは、ＣＰＵ２０からの指示の従って投射部１２を駆動する。撮像駆動部２６Ｂは、ＣＰＵ２０からの指示の従って撮像部１４を駆動する。
【００６５】  操作部２８は、電源スイッチ、シャッターボタン１１、モード選択部等を含み、操作部２８での指示入力はＣＰＵ２０に加えられる。
【００６６】  通信部３０は、他機又はアクセスポイントとの間で無線通信する近距離無線通信部であり、他機から直接又はアクセスポイントを介して送信されるビーコン情報を受信するビーコン情報受信部として機能する。
【００６７】  記憶部３２は、ＣＰＵ２０によって実行されるプログラム、及びそのプログラムの実行に必要な各種の情報を記憶する。また、記憶部３２は、インターフェース回路１８から出力された撮像画像を示す多値画像データ、正規化後の撮像画像である正規化画像を示す多値画像データ、抽出されたドットパターンを示す２値画像データ、及び距離画像のデータを記憶する。
【００６８】  図４は、自機から第１のドットパターン（「第１のパターン」ということもある）を投射した時に他機から第２のドットパターン（「第２のパターン」ということもある）が投射されていない状態で撮像部１４により撮像して得られた撮像画像の一例を示す図である。図４に示された撮像画像は、自機の投射部１２から投射されて測距領域Ａ内の被写体で反射された第１のドットパターンのみを含むため、閾値を用いた２値化処理のように簡単な画像処理を行うことにより第１のドットパターンを抽出することができる。しかしながら、自機から第１のドットパターンを投射した時に、自機と同等又は類似する他機から第２のドットパターンが投射された場合、図５に示すように撮像部１４により撮像して得られた撮像画像の測距領域Ａ内に第１のドットパターンと第２のドットパターンとが重複する重複領域Ｂが存在し、且つ第１のドットパターンと第２のドットパターンとはドット形状が同一であるため、従来は撮像画像から第１のドットパターンを抽出することが困難であった。尚、自機及び他機は、独立した別の距離画像取得装置であるため、自機のＣＰＵ２０から他機の投射部に対してパターン投射のタイミングを直接的に制御することは困難である。
【００６９】  以下では、図６〜図１０を用いて、自機及び他機が同一の被写体に向けて同時に同一形状のドットパターンを被写体に投射している場合でも、自機投射の第１のドットパターンと第２のドットパターンとを判別し、第１のドットパターンのみに基づいて高精度の距離画像を取得可能な距離画像取得方法の第１実施形態について説明する。
【００７０】  図６は、第１実施形態における距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。
【００７１】  まず、投射制御部２０Ａが投射駆動部２６Ａを介して投射部１２を制御し、投射部１２に第１の発光強度で第１回の発光を行わせて、測距領域内の被写体に対して２次元に分布する第１のドットパターンを投射する（ステップＳ１０２）。また、撮像制御部２０Ｂが撮像駆動部２６Ｂを介して撮像部１４を制御し、撮像部１４に投射部１２の第１回の発光に同期して測距領域内の被写体を撮像させる（ステップＳ１０４）。インターフェース回路１８から、被写体で反射された第１のドットパターンを含む撮像画像であって第１回の発光期間に撮像して生成された撮像画像である第１の撮像画像が出力される。第１の撮像画像中の第１のドットパターンを構成する各画素は、第１の発光強度に対応する画素値を有する。
【００７２】  次に、投射制御部２０Ａが投射駆動部２６Ａを介して投射部１２を制御し、投射部１２に第１の発光強度とは異なる第２の発光強度で第２回の発光を行わせて、測距領域内の被写体に対して２次元に分布する第１のドットパターンを投射する（ステップＳ１０６）。なお、ここでいう「発光強度」は、投射部１２が発光するドットパターンの反射光に対して撮像部１４が一定時間の露光を行って電荷を蓄積する場合、その一定時間（露光時間）に相当する時間にわたる発光強度の積分値を含む広い概念である。従って、投射部１２の発するドットパターンの光強度を変えずに発光時間（投射時間）を変えることによっても、本発明における「発光強度」を変えることが出来ることに、注意されたい。また、撮像制御部２０Ｂが撮像駆動部２６Ｂを介して撮像部１４を制御し、撮像部１４に投射部１２の第２回の発光に同期して測距領域内の被写体を撮像させる（ステップＳ１０８）。インターフェース回路１８から、被写体で反射された第１のドットパターンを含む撮像画像であって第２回の発光期間に撮像して生成された撮像画像である第２の撮像画像が出力される。第２の撮像画像中の第１のドットパターンを構成する各画素は、第２の発光強度に対応する画素値を有する。
【００７３】  尚、本例の撮像部１４は、受光素子から読み出した蓄積電荷の量に対応した信号値を持つアナログの撮像信号を、撮像画像として出力する。アナログの撮像信号は、ＡＤ変換器１６によりデジタルの撮像信号に変換され、インターフェース回路１８によりデジタルのデータの撮像画像として記憶部３２に記憶される。
【００７４】  次に、パターン抽出部２０Ｃにより、第１の撮像画像及び第２の撮像画像のうちの少なくとも一つの撮像画像から、ドットパターンを抽出する（ステップＳ１１０）。
【００７５】  被写体に対して、自機の投射部から第１のドットパターン（図７のＤＰ１）が投射され、かつ他機から第１のドットパターンと同形状である第２のドットパターン（図７のＤＰ２）が投射されているものとする。また、図８に示すように、投射部１２の第１回の発光８１に対応する撮像部１４の露光期間ＥＰ１、及び投射部１２の第２回の発光８２に対応する撮像部１４の露光期間ＥＰ２に、第２のドットパターンＤＰ２が他機から一定の発光強度で投射されているものとする。そうすると、第１の撮像画像及び第２の撮像画像のいずれからドットパターンを抽出しても、図９に示すように、パターン抽出部２０Ｃから出力される２値画像データであるドットパターン９１には、第１のドットパターンＤＰ１及び第２のドットパターンＤＰ２が含まれることになる。
【００７６】  次に、正規化部２０Ｄにより、第１の撮像画像及び第２の撮像画像のそれぞれを、第１の発光強度及び第２の発光強度のそれぞれに相当する係数で正規化して、第１の正規化画像及び第２の正規化画像を取得する（ステップＳ１１２）。
【００７７】  図８に示す強度変調を行った場合、正規化部２０Ｄは、第１回の発光８１に対応する露光期間ＥＰ１に撮像して得られた第１の撮像画像を、第１回の発光８１の発光強度に相当する係数ｋ１で正規化し、第２回の発光８２に対応する露光期間ＥＰ２に撮像して得られた第２の撮像画像を、第２回の発光８２の発光強度に相当する係数ｋ２で正規化する。例えば、第１の撮像画像の各画素値に係数ｋ１の逆数を乗算し、第２の撮像画像の各画素値に係数ｋ２の逆数を乗算する。尚、図８の例では、第１回の発光８１の発光強度を基準として正規化しており、第１の撮像画像に対する演算を省略している。本例では、ｋ１＝１であり、第１の撮像画像と第１の正規化画像とは同じである。
【００７８】  次に、位置補正部２０Ｅにより、第１の正規化画像の画素位置と第２の正規化画像の画素位置との対応関係を検出し、第１の正規化画像と第２の正規化画像とで画素位置のずれを補正する（ステップＳ１１４）。つまり、第１回の露光期間から第２回の露光期間までの間に距離画像取得装置１０のブレ等に起因する画素位置のずれが生じた場合でも、第１の正規化画像の画素位置と第２の正規化画像の画素位置とのずれが補正される。
【００７９】  次に、判別部２０Ｆにより、第１の正規化画像と第２の正規化画像とを比較し、投射部１２から投射された第１のドットパターンを判別する（ステップＳ１１６）。つまり、第１の正規化画像及び第２の正規化画像中の画素のうち、どの画素が第１のドットパターンを示す画素であるのかを判別することにより、パターン抽出部２０Ｃから出力されたドットパターン９１内のドットパターンＤＰ１及びＤＰ２のうち、どのドットパターンが第１のドットパターンＤＰ１であるのかを判別する。
【００８０】  本例の判別部２０Ｆは、第１の正規化画像と第２の正規化画像とで対応する画素位置ごとに画素値の差を算出し、その画素値の差の絶対値が閾値以下である画素を、自機投射の第１のドットパターンＤＰ１を示す画素であると判別する。例えば、図８に示す強度変調を行った場合、第１のドットパターンＤＰ１を構成する画素は、第１の正規化画像と第２の正規化画像とで画素値の差ｄＶ１がゼロ又はゼロに近い値（即ち閾値以下の値）となり、第２のドットパターンＤＰ２を構成する画素は、第１の正規化画像と第２の正規化画像とで画素値の差ｄＶ２が閾値よりも大きな値となる。第１の正規化画像と第２の正規化画像とで対応する画素位置ごとに画素値の比を算出し、その画素値の比が上限値と下限値との範囲内である画素を、自機投射の第１のドットパターンＤＰ１を示す画素であると判別してもよい。即ち、判別部２０Ｆは、自機投射の第１のドットパターンの発光強度の変化を自機では分かることを利用して、他機から第２のドットパターンが投射されている場合でも、確実に第１のドットパターンを判別する。
【００８１】  次に、ノイズ除去部２０Ｇにより、判別部２０Ｆの判別の結果に基づいて、パターン抽出部２０Ｃにより抽出されたドットパターン９１から第２のドットパターンＤＰ２を除去する（ステップＳ１１８）。このノイズ除去処理は、図９に示すように、第１のドットパターン及び第２のドットパターンが混在したドットパターンの２値画像９１から、第２のドットパターンＤＰ２のみを含むドットパターンの２値画像９２を減算して、第１のドットパターンＤＰ１のみを含むドットパターンの２値画像９３を取得する処理に相当する。
【００８２】  次に、パターン比較部２０Ｈにより、自機の投射部１２から投射された第１のドットパターンのドット数（投射ドット数）と、パターン抽出部２０Ｃにより抽出されたドットパターンであってノイズ除去部２０Ｇにより第２のドットパターンを除去した後に残されたドットパターンのドット数（判別ドット数）とを比較することにより、第１のドットパターンの抽出に成功したか否かを判定する（Ｓ１２２）。例えば、判別ドット数が投射ドット数を超えている場合にはパターン判別に失敗したと判定し、判別ドット数が投射ドット数以下である場合にはパターン判別に成功したと判定する。
【００８３】  通常、判別部２０Ｆの判別により第１のドットパターンのみが正常に判別されるので、その判別の結果に基づいてノイズ除去部２０Ｇにより第２のドットパターンの全てが除去され、パターン比較部２０Ｈによりパターン抽出成功（ステップＳ１２２でＹＥＳ）と判定される。ステップＳ１２２でＹＥＳの場合、距離画像取得部２０Ｊにより、ノイズ除去部２０Ｇにより第２のドットパターンが除去された後に残された第１のドットパターンから、距離画像が取得される（ステップＳ１２４）。
【００８４】  もしも、パターン比較部２０Ｈによりパターン判別失敗と判定された場合（ステップＳ１２２でＮＯの場合）、投射制御部２０Ａにより投射部１２での第１のドットパターンの投射条件の変更を行って（ステップＳ１２６）、ステップＳ１０２〜Ｓ１２２を繰り返す。
【００８５】  ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ１２８）、継続すると判定した場合（ステップＳ１２８でＹＥＳの場合）、投射条件を変更しないまま、ステップＳ１０２〜Ｓ１２４を繰り返す。継続しないと判定した場合（ステップＳ１２８でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。
【００８６】  尚、通常はステップＳ１１６で第１のドットパターンのみが正常に判別され、ステップＳ１２２でＹＥＳ（パターン判別成功）となるので、本発明を簡単な構成で実施したい場合には、投射条件変更（ステップＳ１２６）の代わりにエラー処理を行って本処理を終了する構成としてもよいし、第２のドットパターンの投射終了を待つために一定時間待機した後にステップＳ１０２に戻る構成としてもよい。
【００８７】  ところで、図８では本発明の理解を容易にするため、第１回の発光８１と第２回の発光８２との間に非発光期間を設けた場合を例に示したが、図１０に示すように、第１回の発光８１と第２回の発光８２との間に非発光期間を設けないで、第１回の発光８１と第２回の発光８２とを連続して行ってもよい。また、二回発光して判別を行う場合を例に説明したが、三回以上発光して判別を行う場合も本発明に含まれる。
【００８８】  尚、図６のフローチャートを用いて、撮像画像（多値画像データである）からドットパターンを２値画像データで抽出し、その抽出されたドットパターンから判別部２０Ｆの判別の結果に基づいて第２のドットパターンの成分を除去する場合を例に示したが、本発明はこのような場合には限定されない。撮像画像（多値画像データである）から判別部２０Ｆの判別の結果に基づいて第２のドットパターンの成分を除去し、その第２のドットパターンの成分が除去された撮像画像から第１のドットパターンを２値画像データで抽出してもよい。また、正規化後の撮像画像（正規化画像）からドットパターンを２値画像データで抽出してもよい。ドットパターンを多値画像で抽出する場合も本発明に含まれる。
【００８９】  また、距離画像取得装置１０にノイズ除去部２０Ｇを設けた場合を例に説明したが、本発明はこのような場合には限定されない。パターン抽出部２０Ｃにより抽出されたドットパターンから他機投射の第２のドットパターンを除去しない場合、つまり判別部２０Ｆの判別結果（パターン抽出部２０Ｃにより抽出された複数のドットパターンのそれぞれが自機投射の第１のドットパターンであるか否かを示す情報を含む）から、直接的に距離画像を取得する場合には、ノイズ除去部２０Ｇを省略可能である。
【００９０】  また、距離画像取得装置１０に位置補正部２０Ｅを設けた場合を例に説明したが、本発明はこのような場合には限定されない。距離画像取得装置１０の本体を固定して使用することが前提である場合、つまり複数の撮像画像の間で位置ずれが生じない環境のみで使用する場合には、位置補正部２０Ｅを省略可能である。
【００９１】  ＜第２の実施形態＞  第２の実施形態の距離画像取得装置１０の内部構成について、図３を用いて説明する。以下では、主に第１の実施形態と異なる点について説明し、既に説明した内容は省略する。
【００９２】  本実施形態の撮像制御部２０Ｂは、撮像駆動部２６Ｂを介して撮像部１４を制御し、投射部１２の発光強度が異なる複数の発光期間にそれぞれ同期して撮像させることにより複数回の撮像を行わせ、かつ投射部１２の非発光期間に少なくとも一回の撮像を行わせる。
【００９３】  本実施形態のノイズ除去部２０Ｇは、第１の実施形態で説明したドットパターンから他機投射の第２のドットパターンを除去する機能の他に、正規化前の撮像画像から背景光などのノイズを除去する機能を有している。即ち本実施形態のノイズ除去部２０Ｇは、投射部１２の発光期間に撮像部１４により撮像して生成された複数の撮像画像（発光期間の撮像画像）のそれぞれから、投射部１２の非発光期間に撮像部１４により撮像して生成された撮像画像（非発光期間の撮像画像）を、減算する。
【００９４】  図１２は、第２の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。
【００９５】  ステップＳ２０２及びステップＳ２０４は、図６に示した第１の実施形態のステップＳ１０２及びステップＳ１０４と同様であり、投射部１２の第１回の発光の発光期間に投射及び撮像を行う。インターフェース回路１８から、図１１に示す第１回の発光８１の露光期間ＥＰ１に撮像して得られた撮像画像（以下、「第１の発光期間の撮像画像」という）が出力される。第１の発光期間の撮像画像には、自機投射の第１のドットパターンが含まれる。
【００９６】  本例では、図１１に示すように、第１回の発光８１と第２回の発光８２との間の非発光期間に、撮像部１４により測距領域内の被写体が撮像される（ステップＳ２０６）。インターフェース回路１８から、図１１に示す非発光の露光期間ＥＰ０に撮像して得られた撮像画像（以下、「非発光期間の撮像画像」という）が出力される。非発光期間の撮像画像には、自機投射の第１のドットパターンが含まれない。
【００９７】  ステップＳ２０８及びステップＳ２１０は、図６に示した第１の実施形態のステップＳ１０６及びステップＳ１０８と同様であり、投射部１２の第２回の発光８２の発光期間に投射及び撮像を行う。インターフェース回路１８から、図１１に示す第２回の発光８２の露光期間ＥＰ２に撮像して得られた撮像画像（以下、「第２の発光期間の撮像画像」という）が出力される。第２の発光期間の撮像画像には、自機投射の第１のドットパターンが含まれる。
【００９８】  次に、ノイズ除去部２０Ｇにより、第１の発光期間の撮像画像から非発光期間の撮像画像を減算し、かつ第２の発光期間の撮像画像から非発光期間の撮像画像を減算する（ステップＳ２１２）。つまり、第１回の発光８１の露光期間ＥＰ１と第２回の発光８２の露光期間ＥＰ２とで同じ発光強度の外乱ノイズが撮像画像中に存在する場合、その外乱ノイズを後述の正規化処理（ステップＳ２１６）を行う前に撮像画像から除去する。
【００９９】  ステップＳ２１４は、図６に示した第１の実施形態のステップＳ１１０と同様である。
【０１００】  次に、正規化部２０Ｄにより、第１の発光期間の撮像画像から非発光期間の撮像画像を減算した画像、及び第２の発光期間の撮像画像から非発光期間の撮像画像を減算した画像のそれぞれを、第１の発光強度及び第２の発光強度のそれぞれに相当する係数で正規化することにより、第１の正規化画像及び第２の正規化画像を取得する（ステップＳ２１６）。
【０１０１】  ステップＳ２１８〜Ｓ２２２は、図６に示した第１の実施形態のステップＳ１１４〜Ｓ１１８と同様である。また、ステップＳ２２４〜Ｓ２３０は、図６に示した第１の実施形態のステップＳ１２２〜Ｓ１２８と同様である。
【０１０２】  尚、図１１では、他機から投射された第２のドットパターンＤＰ２の発光強度が自機発光中の露光期間ＥＰ１、ＥＰ２及び自機非発光中の露光期間ＥＰ０で一定である場合を例に示した。このような場合には、非発光期間の撮像画像を減算する処理（ステップＳ２１２）で第２のドットパターンが除去されることになる。その一方で、第２のドットパターンＤＰ２の発光が第１のドットパターンＤＰ１の発光タイミングに同期していた場合、即ち第２のドットパターンＤＰ２の発光強度が、自機非発光中の露光期間ＥＰ０ではゼロである場合、ステップＳ２２２で第２のドットパターンが除去される。また、図１１を用いて、第１回の発光と第２回の発光との間の非発光期間に撮像を行う場合を例に説明したが、本発明はこのような場合に限定されない。第１回の発光前の非発光期間に撮像して得られた画像を発光期間の撮像画像から減算してもよいし、第２回の発光後の非発光期間に撮像して得られた画像を発光期間の撮像画像から減算してもよい。
【０１０３】  ＜第３の実施形態＞  第１の実施形態及び第２の実施形態では、本発明の理解を容易にするため、他機からの第２のドットパターンの投射の有無に関係なく強度変調を行う場合を例に説明したが、このような場合に本発明は限定されない。第３の実施形態では、他機から第２のドットパターンが投射されていない時には強度変調を行わないで距離画像取得を行う。
【０１０４】  第３の実施形態の距離画像取得装置１００の内部構成について、図１３を用いて説明する。以下では、第１の実施形態及び第２の実施形態で既に説明した内容を省略する。
【０１０５】  図１３において、他機投射検出部２０Ｋは、他機から第２のドットパターンが投射されているか否かを検出する。他機投射検出部２０Ｋによる他機投射の検出態様は各種ある。
【０１０６】  第１に、パターン抽出部２０Ｃにより撮像画像から抽出されたドットパターンのドット数が、投射部１２から投射された第１のドットパターンのドット数を越えている場合、他機から第２のドットパターンが投射されていると判定（検出）する態様が挙げられる。
【０１０７】  第２に、他機から送信されるビーコン情報に基づいて、他機から第２のドットパターンが投射されているか否かを検出する態様が挙げられる。つまり、通信部３０のビーコン情報の受信結果に応じて通信可能範囲に他機が存在しているか否かを判別する。また、ビーコン情報として、他機が投射している構造化光のパターン（第２のドットパターンである）の形状を示す情報、及び第２のドットパターンの変調内容を示す変調情報を含めることができ、この場合には、判別部は、通信部３０を介して受信するビーコン情報に基づいて他機から投射される第２のドットパターンに関する情報（第２のドットパターンの形状や変調内容を示す変調情報等）を取得することができる。
【０１０８】  図１４は、第３の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。以下では、図８又は図１０に示した強度変調を行う場合を例に説明する。
【０１０９】  ステップＳ３０２及びステップＳ３０４は、図６に示した第１の実施形態のステップＳ１０２及びステップＳ１０４と同様である。
【０１１０】  ステップＳ３０８において、パターン抽出部２０Ｃにより、第１回の発光８１の露光期間ＥＰ１に撮像して得られた撮像画像から、ドットパターンの抽出を行う。
【０１１１】  次に、他機投射検出部２０Ｋにより、他の距離画像取得装置からドットパターン（第２のドットパターンである）が投射されているか否かを検出する（ステップＳ３０８）。この検出は、ステップＳ３０６で抽出したドットパターンのドット数が、自機の投射部１２から投射したドットパターン（第１のドットパターンである）よりも多いか否かを判定により行うことができ、又は他の距離画像取得装置の存在を示すビーコン情報を通信部３０を介して受信したか否かを判定することにより行うことができる。
【０１１２】  ステップＳ３０８において、他の距離画像取得装置から第２のドットパターンが投射されていることが検出されると（ＹＥＳの場合）、ステップＳ３１０に遷移させる。また、ステップＳ３０８において、他の距離画像取得装置から第２のドットパターンが投射されていないことが検出されると（ＮＯの場合）、ステップＳ３２４に遷移させる。
【０１１３】  ステップＳ３１０及びステップＳ３１２は、図６に示した第１の実施形態のステップＳ１０６及びステップＳ１０８と同様である。ステップＳ３１４〜ステップＳ３２０は、図６に示した第１の実施形態のステップＳ１１２〜ステップＳ１１８と同様である。ステップＳ３２２〜ステップＳ３２８は、図６に示した第１の実施形態のステップＳ１２２〜ステップＳ１２８と同様である。
【０１１４】  ＜投射条件変更のバリエーション＞  前述の第１の実施形態から第３の実施形態において、投射制御部２０Ａによる投射条件変更（図６のステップＳ１２６、図１２のステップＳ２２８、及び図１４のステップＳ３２６）のバリエーションは各種ある。
【０１１５】  第１の態様として、複数の発光強度の組合せを変更する態様が挙げられる。例えば、複数の発光強度の組合せを示す情報（発光強度組合せ情報）を、記憶部３２に予め記憶させておく。パターン比較部２０Ｈの比較の結果に基づいて、ノイズ除去部２０Ｇによるノイズ除去後も第２のドットパターンが未だ混在していると判定された場合、投射制御部２０Ａは、記憶部３２から発光強度組合せ情報を取得することにより、複数回の発光での発光強度の組合せを変更する。
【０１１６】  第２の態様として、第１のドットパターンの発光タイミングを変更する態様が挙げられる。例えば、投射制御部２０Ａにより、複数回の発光の周期（又は発光周波数）を変更する。単に一定時間待機することにより、発光タイミングを調整する場合でもよい。
【０１１７】  第３の態様として、複数回の発光の回数を変更する態様が挙げられる。例えば、投射制御部２０Ａにより、互いに発光強度が異なる発光の回数を増加させる。発光回数を減少させてもよい。発光回数を１回に減らすこと（即ち強度変調の停止）を行ってみてもよい。
【０１１８】  第４の態様として、第１のドットパターンの投射の変調方式を切換える態様が挙げられる。切換先の変調方式として、大きく分けて、第１のドットパターンの投射を空間的に変調する空間変調方式と、第１のドットパターンの投射を時間的に変調する時間変調方式と、第１のドットパターンの発光強度を変調する強度変調方式であって本発明とは異なる方式が挙げられる。
【０１１９】  空間変調方式として、例えば、第１のドットパターンを振動させて投射する方式が挙げられる。この方式の場合、ドットパターン投射を振動させるためのハードウェアを設ける。
【０１２０】  また、時間変調方式として、例えば、第１のドットパターンの投射の波長領域（又は周波数域）を切換える方式（周波数変調）が挙げられる。この方式の場合、波長領域を切換えるためのハードウェアを設ける。
【０１２１】  別の時間変調方式として、例えば、第１のドットパターンの発光及び非発光の切換タイミングを符号で変調する方式（以下「符号変調方式」という）が挙げられる。この符号変調方式は、特別なハードウェアの追加が必要無い点で有利である。以下では、符号変調方式の一例について説明する。
【０１２２】  ＜符号変調方式の説明＞  図１５は符号変調方式に用いる符号の一例の説明図であり、図１６は符号変調方式の一例の概要の説明に用いる説明図であり、図１７は符号変調方式の一例の処理の流れを示すフローチャートである。
【０１２３】  図１５の左側に示す符号Ｃ１〜ＣＮは、図中の右側に示すように投射部１２から投射される第１のドットパターンの発光及び非発光の切換タイミングを示す情報（以下「符号」という）である。本例では、符号は記憶部３２に予め記憶されており、投射制御部は、記憶部３２から読み出した符号に従って、投射部１２から投射する第１のドットパターンの発光及び非発光（投射及び非投射）の切換タイミングを変調する。図１５には、理解を容易にするため符号長が６ビットである符号Ｃ１〜ＣＮを示したが、符号長は特に限定されない。互いに符号長が異なる符号のセットを用いてよい。ただし、連続して距離画像を取得する動画モードの場合には、符号長が短いほど好ましい。
【０１２４】  以下、第１のドットパターンＤＰ１の発光及び非発光の切換タイミングが図１６（Ａ）に示すように符号Ｃ１で変調され、且つ第２のドットパターンＤＰ２の発光及び非発光の切換タイミングが図１６（Ｂ）に示すように符号Ｃ２で変調されている場合について、説明する。
【０１２５】  撮像部１４のイメージセンサ１４Ｂの受光面に２次元状に配置された受光素子は、第１のドットパターンの発光期間（図中のＴ１、Ｔ３）と、第１のドットパターンの非発光期間(図中のＴ２、Ｔ４)のそれぞれで、露光する。撮像部１４から、第１のドットパターンの発光期間に撮像して得られた第１の撮像画像と、第１のドットパターンの非発光期間に撮像して得られた第２の撮像画像とが出力される。ＣＰＵ２０は、差分画像生成部として機能し、画素位置ごとに、第１の撮像画像の画素値（発光期間の蓄積電荷量に相当する）から、第２の撮像画像の画素値（非発光期間の蓄積電荷量に相当する）を減算することにより、差分画像を生成する。
【０１２６】  図１６（Ｃ）は、差分画像のうちの第１のドットパターンＤＰ１に対応する画素の値（差分画素値Ｄ１１，Ｄ１２）を模式的に示す。差分画素値Ｄ１１は、第１のドットパターンＤＰ１の発光期間Ｔ１の露光量から非発光期間Ｔ２の露光量を減算した値に相当し、差分画素値Ｄ１２は、第１のドットパターンＤＰ１の発光期間Ｔ３の露光量から非発光期間Ｔ４の露光量を減算した値に相当する。図１６（Ｄ）は、差分画像のうちの第２のドットパターンＤＰ２に対応する画素の値（差分画素値Ｄ２１、Ｄ２２）を示す。差分画素値Ｄ２１は、第２のドットパターンＤＰ２の発光期間Ｔ１の露光量から非発光期間Ｔ２の露光量を減算した値に相当し、差分画素値Ｄ２２は、第２のドットパターンＤＰ２の発光期間Ｔ３の露光量から非発光期間Ｔ４の露光量を減算した値に相当する。
【０１２７】  図１６（Ｃ）及び図１６（Ｄ）に示すように、発光期間Ｔ１及び非発光期間Ｔ２に対応する差分画素値Ｄ１１と差分画素値Ｄ２１とは差が小さいので、これら差分画素値Ｄ１１及びＤ２１からは、差分画像の画素が自機から投射した第１のドットパターンＤＰ１に対応する画素であるのか、他機から投射した第２のドットパターンＤＰ２に対応する画素であるのかを識別することが、困難である。
【０１２８】  しかし、図１６（Ｃ）及び図１６（Ｄ）に示すように、発光期間Ｔ３及び非発光期間Ｔ４に対応する差分画素値Ｄ１２と差分画素値Ｄ２２とは差が大きいので、これら差分画素値Ｄ１２及びＤ２２から、差分画像の画素が自機から投射した第１のドットパターンＤＰ１に対応する画素であるのか、他機から投射した第２のドットパターンＤＰ２に対応する画素であるのかを識別可能である。即ち、第１のドットパターンＤＰ１と第２のドットパターンＤＰ２とでは発光及び非発光の切換タイミングの符号が異なっているため、自機の符号Ｃ１の符号長に対応する期間Ｔ１〜Ｔ４にわたって画素位置ごとに差分画素値を積算することで、第１のドットパターンＤＰ１を識別することが可能となる。ここで、符号Ｃ１は、複数の発光期間Ｔ１、Ｔ３及び複数の非発光期間Ｔ２、Ｔ４の切換タイミングを示し、かつ複数の発光期間Ｔ１、Ｔ３は互いに時間長が異なる（本例ではＴ１＜Ｔ３）。また、複数の非発光期間Ｔ２、Ｔ４は互いに時間長が異なる（本例ではＴ２＜Ｔ４）。
【０１２９】  本例のＣＰＵ２０は、差分画像生成部として、例えば、自機の符号Ｃ１の符号長に対応する期間Ｔ１〜Ｔ４にわたって画素位置ごとに差分画素値を積算する。図中のＳ１及びＳ４は積算値に対応する値である。積算値が閾値以上であれば、その差分画素は第１のドットパターンの画素であると判別し、積算値が閾値未満であれば第１のドットパターンの画素ではないと判別することができる。即ち、差分画素値Ｄ１１及びＤ１２の積算値（Ｄ１１＋Ｄ１２）を閾値と比較することで、差分画像の画素が第１のドットパターンを構成する画素であると識別され、図１６（Ｄ）に示す差分画素値Ｄ２１及びＤ２２の積算値（Ｄ２１＋Ｄ２２）を閾値と比較することで、差分画像の画素が第１のドットパターンを構成する画素ではないと識別される。図１６中のＳ１は積算値（Ｄ１１＋Ｄ１２）に相当し、図１６中のＳ２は積算値（Ｄ２１＋Ｄ２２）に相当する。ヒストグラムを用いて、差分画像のうちで差分画素値の積算値が相対的に大きい画素のグループと差分画素値の積算値が相対的に小さい画素のグループとに分類し、差分画素値の積算値が相対的に大きい画素のグループを第１のドットパターンの画素のグループであると判定することにより、差分画像から第１のドットパターンを抽出してもよい。
【０１３０】  図１７は、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。
【０１３１】  まず、ＣＰＵ２０は、符号を識別する変数ｉを初期値である「１」に設定する（ステップＳ４０２）。
【０１３２】  次に、投射制御部（符号変調部として機能する）に、記憶部３２から、第１のドットパターンの発光及び非発光の切換タイミングを示す第ｉの符号（Ｃｉ）を取得させる（ステップＳ４０４）。
【０１３３】  次に、投射制御部により第ｉの符号で第１のドットパターンの発光及び非発光の切換タイミングを変調して、投射部１２から測距領域内の被写体に第１のドットパターンを投射し、且つ撮像部１４により第１のドットパターンの発光期間及び非発光期間に同期して測距領域内の被写体を撮像する（ステップＳ４０６）。撮像部１４から、被写体で反射された第１のドットパターンを含む複数の撮像画像であって、第１のドットパターンの発光期間に撮像して生成した第１の撮像画像及び第１のドットパターンの非発光期間に撮像して生成した第２の撮像画像が出力される。
【０１３４】  次に、ＣＰＵ２０により、発光期間に撮像して得られた第１の撮像画像と非発光期間に撮像して得られた第２の撮像画像との差分画像が生成される（ステップＳ４０８）。
【０１３５】  次に、パターン抽出部により、差分画像から第１のドットパターンが抽出される（ステップＳ４１０）。
【０１３６】  次に、差分画像から第１のドットパターンが実際に抽出されたか否かを判定する（ステップＳ４１２）。第１のドットパターンが抽出されたと判定された場合（ステップＳ４１２でＹＥＳの場合）、距離画像取得部により、差分画像から抽出された第１のドットパターンに基づいて、距離画像が取得される（ステップＳ４１８）。
【０１３７】  ステップＳ４１２で第１のドットパターンが抽出されなかったと判定された場合（ステップＳ４１２でＮＯの場合）、符号を識別する変数ｉが最大値Ｎであるか否かを判定し（ステップＳ４１３）、変数ｉが最大値Ｎでなければ変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ４１４）、ステップＳ４０４に戻って次の符号が取得され、ステップＳ４０６〜Ｓ４１０を繰り返す。
【０１３８】  ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ４２０）、継続すると判定した場合（ステップＳ４２０でＹＥＳの場合）、本例では符号を識別する変数ｉを変更しないまま、ステップＳ４０４〜Ｓ４１８を繰り返す。継続しないと判定した場合（ステップＳ４２０でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。
【０１３９】  尚、全ての符号で差分画像から第１のドットパターンが抽出されなかった場合には、ＣＰＵ２０により他処理が実行される（ステップＳ４３０）。通常は、第１のドットパターンが抽出されるので、ステップＳ４３０はエラー処理としてもよい。
【０１４０】  上述の符号変調方式は、符号長が長くなるほど投射及び撮像の処理時間が長くなる。よって、動画モードの場合、まず本発明における強度変調を行って、距離画像を取得できない場合に上述の符号変調方式の処理を実行することが考えられる。
【０１４１】  尚、投射制御部により、ランダムな符号を生成し、そのランダムな符号に基づいて発光及び非発光の切換タイミングを変調する構成としてもよい。
【０１４２】  ＜正規化のバリエーション＞  正規化部２０Ｄの正規化処理、即ち撮像画像の画素値の大小の正規化は、画素単位に行う態様と、ドットパターンのドット単位（即ちパターン単位）で行う態様が挙げられる。
【０１４３】  画素単位で正規化する態様では、被写体が高速で移動すると、被写体までの距離の大きな変動に応じてドットパターンの画素単位の画素値は大きく変動してしまう。つまり、使用環境によっては閾値等の設定値の選定が難しくなり、その閾値等の設定値が適切でない場合には判別が困難になると考えられる。その対策として、画素単位の正規化を行いつつ閾値等の設定値を状況に応じて可変にする態様と、光の伝播特性を考慮してドット単位の正規化を行う態様がある。
【０１４４】  ドット単位の正規化では、投射部１２から同サイズのドットで発光を行い、かつ正規化部２０Ｄは、ドット単位で画素値の積算値（ドットの輪郭内の複数画素の画素値の積算値である）を算出し、正規化後の積算値が発光強度に関係なく同一となるように正規化を行う。つまり、ドット単位で正規化することにより、被写体までの距離が瞬時に大きく変化する環境でも、第１のドットパターンであるか否かの判別を適切に行うことが可能となる。
【０１４５】  ＜動画モードと静止画モードについて＞  動画モードの場合、撮像部１４は、連続した距離画像のフレームレートに対応した露光期間で露光を行い、強度変調の機能する投射制御部２０Ａ（光変調部）は、撮像部１４の露光期間の開始及び終了のタイミングに同期させて、投射部１２の第１のドットパターンの投射（発光）及び非投射（非発光）の切換を行う。
【０１４６】  尚、本発明は、連続した距離画像を取得する場合（動画モード）には特に限定されず、１フレーム分の距離画像取得を行う場合（静止画モード）で実施可能である。
【０１４７】  ＜本発明を適用可能な装置のバリエーション＞  本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の撮像が可能なデジタルカメラ、ビデオカメラが距離画像取得機能を搭載しているものでもよく、また、距離画像取得機能に加えて距離画像取得機能以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
【０１４８】  図１８は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示す斜視図である。
【０１４９】  図１８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１５０】  図１９は、図１８に示したスマートフォン５００の構成を示すブロック図である。図１９に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
【０１５１】  無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１５２】  表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。
【０１５３】  表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
【０１５４】  操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０１５５】  図１８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１５６】  尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１５７】  通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１８に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
【０１５８】  操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１５９】  記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１６０】  外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１６１】  スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１６２】  ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
【０１６３】  モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０１６４】  電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１６５】  主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１６６】  アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０１６７】  また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０１６８】  更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１６９】  表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１７０】  また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１７１】  更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１７２】  また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１７３】  カメラ部５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。
【０１７４】  この場合、カメラ部５４１は、１つのイメージセンサ内に互いに受光の波長領域が異なる複数の受光素子が設けられており、且つカラー撮像用の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）が混在して２次元配列されたものが好ましい。即ち、カメラ部５４１のイメージセンサとしては、カラー撮像用のＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、距離画像取得用のバンドパスフィルタ又はカットフィルタが設けられた画素（投射光のみに感度を有する画素）とが混在するものを使用することが好ましい。
【０１７５】  投射部５４２は、ＬＥＤを有し、距離画像の取得時に光の第１のドットパターンを投射する。また、ＬＥＤは、光通信機能を有するスマートフォン５００の場合、光通信の光源として使用することも可能である。
【０１７６】  また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１３に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。
【０１７７】  また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１７８】  例えば投射部５４２によって本発明における投射部を構成してよい。例えばカメラ部５４１によって本発明における撮像部を構成してよい。例えば主制御部５０１によって本発明における投射制御部、撮像制御部、パターン抽出部、正規化部、位置補正部、判別部、ノイズ除去部、パターン比較部、距離画像取得部、及び他機投射検出部を構成してよい。図示を省略したがスマートフォン５００にビーコン情報受信部を設ける。
【０１７９】  本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１８０】  １０、１００…距離画像取得装置、１２…投射部、１４…撮像部、１６…ＡＤ変換器、１８…インターフェース回路、２０…ＣＰＵ、２０Ａ…投射制御部、２０Ｂ…撮像制御部、２０Ｃ…パターン抽出部、２０Ｄ…正規化部、２０Ｅ…位置補正部、２０Ｆ…判別部、２０Ｇ…ノイズ除去部、２０Ｈ…パターン比較部、２０Ｊ…距離画像取得部、２０Ｋ…他機投射検出部、２６…駆動部、２６Ａ…投射駆動部、２６Ｂ…撮像駆動部、２８…操作部、３０…通信部、３２…記憶部
【図１】
2016199518.tif 000003
【図２】
2016199518.tif 000004
【図３】
2016199518.tif 000005
【図４】
2016199518.tif 000006
【図５】
2016199518.tif 000007
【図６】
2016199518.tif 000008
【図７】
2016199518.tif 000009
【図８】
2016199518.tif 000010
【図９】
2016199518.tif 000011
【図１０】
2016199518.tif 000012
【図１１】
2016199518.tif 000013
【図１２】
2016199518.tif 000014
【図１３】
2016199518.tif 000015
【図１４】
2016199518.tif 000016
【図１５】
2016199518.tif 000017
【図１６】
2016199518.tif 000018
【図１７】
2016199518.tif 000019
【図１８】
2016199518.tif 000020
【図１９】
2016199518.tif 000021
【図２０】
2016199518.tif 000022
【国際調査報告】
2016199518.tif 000023
2016199518.tif 000024
2016199518.tif 000025
2016199518.tif 000026
2016199518.tif 000027