(57)【要約】【課題】移動体に対する同時計測の精度を確保しつつ、測距範囲と分解能の両立が可能となる３次元情報検出装置および３次元情報検出方法を提供することである。【解決手段】実施形態に係る３次元情報検出装置は、対象物に対し光を断続的に照射する照明手段と、前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の多重露光を行なうことにより複数の画像を取得する撮像手段と、この撮像手段で取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する演算手段とを具備する。【選択図】図１
2014021100.tif 000002
【特許請求の範囲】
【請求項１】
対象物に対し光を断続的に照射する照明手段と、
前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の多重露光を行なうことにより複数の画像を取得する撮像手段と、
この撮像手段で取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する演算手段と、
を具備する３次元情報検出装置。
【請求項２】
前記撮像手段は、前記照明手段における光の断続タイミングに同期した異なるタイミングで少なくとも２回の多重露光を行なうことにより少なくとも２つの画像を取得する請求項１記載の３次元情報検出装置。
【請求項３】
前記撮像手段は、１つのカメラを有し、このカメラのシャッタを前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回多重露光動作させることで複数の画像を取得する請求項１記載の３次元情報検出装置。
【請求項４】
前記撮像手段は、前記照明手段における光の断続タイミングに同期した異なるタイミングで３回の多重露光を行なうことにより３つの画像を取得し、
前記演算手段は、前記撮像手段で取得された３つの画像を用いて、当該画像に含まれる外乱光の影響を除去しつつ、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する請求項１記載の３次元情報検出装置。
【請求項５】
移動する対象物に対し光を断続的に照射する照明手段と、
前記対象物からの反射光を受光する、多重露光機能およびビニング機能を有する撮像手段と、
この撮像手段の多重露光機能を選択し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の多重露光動作を行なわせることで複数の画像を取得する第１モードと、
前記撮像手段のビニング機能を選択し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回のビニング動作を行なわせることで複数の画像を取得する第２モードと、
前記前記第１モードあるいは第２モードで取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する距離演算手段と、
この距離演算手段により取得された距離画像に基づき前記対象物の移動速度を求める速度演算手段と、
この速度演算手段により求められた前記対象物の移動速度に応じて前記第１モードあるいは第２モードに切換える切換手段と、
を具備する３次元情報検出装置。
【請求項６】
前記撮像手段は、前記第１モードにおいて、前記照明手段における光の断続タイミングに同期した異なるタイミングで少なくとも２回の多重露光を行なうことにより少なくとも２つの画像を取得する請求項５記載の３次元情報検出装置。
【請求項７】
前記撮像手段は、１つのカメラを有し、前記第１モードにおいて、前記カメラのシャッタを前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回多重露光動作させることで複数の画像を取得する請求項５記載の３次元情報検出装置。
【請求項８】
対象物に対し照明手段により光を断続的に照射する第１のステップと、
撮像手段により前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の多重露光を行なうことで複数の画像を取得する第２のステップと、
演算手段により前記第２のステップで取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する第３のステップと、
を具備する３次元情報検出方法。
【請求項９】
移動する対象物に対し照明手段により光を断続的に照射する第１の工程と、
多重露光機能およびビニング機能を有する撮像手段の多重露光機能を選択し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の多重露光動作を行なわせることで複数の画像を取得する第２の工程と、
前記撮像手段のビニング機能を選択し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回のビニング動作を行なわせることで複数の画像を取得する第３の工程と、
前記第２の工程あるいは第３の工程で取得された複数の画像を用いて、距離演算手段により前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する第４の工程と、
この第４の工程により取得された距離画像に基づき速度演算手段により前記対象物の移動速度を求める第５の工程と、
この第５の工程により求められた前記対象物の移動速度に応じて前記第２の工程あるいは第３の工程に切換える第６の工程と、
を具備する３次元情報検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、移動する対象物までの距離画像を取得する３次元情報検出装置および３次元情報検出方法に関する。
【背景技術】
【０００２】
一般に、３次元情報検出装置は、光の速度が既知であることを利用し、光を対象物に照射し、対象物からの反射光を受光し、その反射光の時間遅れを算出することにより対象物までの距離画像を取得するようになっている。
【０００３】
このような３次元情報検出装置の第１の例として、ポリゴンミラーを回転することにより、対象物に対しレーザ光をスキャンさせ、光の飛行時間を測定することにより複数方向の距離画像を求めるものが公知である。
【０００４】
また、第２の例として、対象物に対し変調した投射光を与え、２つの異なる露光タイミングで撮像を行なうことにより、光の飛行時間を距離画像として計測するものが公知である。
【０００５】
しかしながら、上記第１の例では、レーザ光のスキャン時間のため、対象物が移動体の場合、移動体に対する同時計測の精度が確保できないという原理的な問題点がある。  
また、上記第２の例では、連続した変調光を与えるため、対象物が変調光の１周期（最大測定距離）に対応する距離よりも遠いと、誤検出してしまうという問題点がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３３９５８６号公報
【特許文献２】特開２００４−２９４４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、移動する対象物に対する同時計測の精度を確保しつつ、測距範囲と分解能の両立が可能となる３次元情報検出装置および３次元情報検出方法を提供することである。
【課題を解決するための手段】
【０００８】
実施形態に係る３次元情報検出装置は、対象物に対し光を断続的に照射する照明手段と、前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の多重露光を行なうことにより複数の画像を取得する撮像手段と、この撮像手段で取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する演算手段とを具備する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る３次元情報検出装置の構成を概略的に示すブロック図。
【図２】第１の実施形態に係る照明部および撮像部を説明する模式図。
【図３】第１の実施形態に係る多重露光のタイミングを説明する図。
【図４】第１の実施形態に係るタイミング発生部の構成を概略的に示すブロック図。
【図５】第１の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。
【図６】第１の実施形態に係るタイミング発生部の別の構成を概略的に示すブロック図。
【図７】第１の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。
【図８】第１の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。
【図９】第１の実施形態に係る撮像部の撮像範囲に対する対象物の設置例を説明する模式図で、（ａ）は側面図、（ｂ）は上面図。
【図１０】第１の実施形態に係る撮像画像の一例を示す模式図。
【図１１】第１の実施形態に係る撮像画像を用いた画素ごとの演算について説明する模式図。
【図１２】第１の実施形態に係る求めた距離画像の一例を示す模式図。
【図１３】第２の実施形態に係るタイミング発生部の構成を概略的に示すブロック図。
【図１４】第２の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。
【図１５】第２の実施形態に係るタイミング発生部の別の構成を概略的に示すブロック図。
【図１６】第２の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。
【図１７】第２の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。
【図１８】第２の実施形態に係る撮像画像の一例を示す模式図。
【図１９】第３の実施形態に係る３次元情報検出装置の構成を概略的に示すブロック図。
【図２０】第３の実施形態に係る撮像部のビニング機能を説明する模式図。
【図２１】第３の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。
【図２２】第３の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。
【図２３】第３の実施形態に係る撮像部の撮像範囲内に存在する移動する対象物を説明する模式図で、（ａ）は側面図、（ｂ）は上面図。
【図２４】第３の実施形態に係る撮像部の撮像範囲内に存在する移動する対象物を説明する模式図で、（ａ）は側面図、（ｂ）は上面図。
【図２５】第３の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。
【図２６】第３の実施形態に係る撮像画像の一例を示す模式図。
【図２７】第３の実施形態に係る求めた速度画像の一例を示す模式図。
【図２８】第３の実施形態に係る撮像部の撮像モード切換制御を説明するフローチャート。
【図２９】エリアごとに撮像部の撮像モードを切換える方法を説明する模式図。
【発明を実施するための形態】
【００１０】
以下、実施形態に係る３次元情報検出装置について図面を参照して説明する。  
まず、第１の実施形態について説明する。  
図１は、第１の実施形態に係る３次元情報検出装置の構成を概略的に示すものである。第１の実施形態に係る３次元情報検出装置は、対象物１０に対し光を断続的に照射する照明部１１、対象物１０からの反射光を受光する撮像部１２、照明部１１の発光タイミングや撮像部１２の撮像タイミング（シャッタ動作）を制御するタイミング発生部１３、距離画像の演算処理等を行なう距離演算部１４、全体的な制御を司るＣＰＵ（セントラル・プロセッシング・ユニット）１５、および、これらを通信可能に接続するデータバスおよびアドレスバス１６により構成されている。
【００１１】
以下、各部について詳細に説明する。  
照明部１１は、たとえば、図２に示すように、支持基板２１上に複数のＬＥＤ（発光ダイオード）２２，…を所定間隔で配列してなり、これら複数のＬＥＤ２２，…を外部からの所定のタイミング（パルス光）にて点灯・消灯制御するようになっている。
【００１２】
撮像部１２は、たとえば、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサもしくはＣＣＤ（電荷結合素子）イメージセンサを撮像素子とするカメラを主体に構成されていて、全画素を同タイミングにて露光するシャッタ機能（ＣＭＯＳセンサの場合はグローバルシャッタと呼ばれる機能）と、外部からのタイミングにあわせてシャッタ動作を行なう、一般にランダムシャッタと呼ばれるシャッタ機能とを合わせて備えているものとする。
【００１３】
さらに、撮像部１２は、たとえば、図３に示すように、連続したシャッタの繰り返し動作に対し、撮像素子からの光電変換信号を積算して出力する多重露光と呼ばれる機能をも備えているものとする。
【００１４】
撮像部１２は、たとえば、図２に示すように、照明部１１と一体的に配設されている。すなわち、図２の例では、支持基板２１上のほぼ中央部に撮像部１２を配設するとともに、撮像部１２の上下位置にそれぞれ複数のＬＥＤ２２，…を列状に配列している。
【００１５】
タイミング発生部１３は、たとえば、図４に示すように、所定周期のクロック信号を出力する発振器３１、クロック信号を所定時間（Ｔｍ）遅延する遅延回路３２、出力選択回路３３、および、出力バッファ３４ａ，３４ｂによって構成されている。
【００１６】
ここで、タイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図５を用いて説明する。発振器１１から出力されるクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。
【００１７】
作成した遅延無し信号Ｐは、そのまま出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに出力する。また、作成した遅延無し信号Ｐと遅延あり信号Ｓは、選択回路３３を用いて交互に選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。このとき、遅延無し信号Ｐを所定回数（たとえば、約５００回）、次に遅延あり信号Ｓを所定回数（たとえば、約５００回）、交互にシャッタ制御部１２ａに出力する。
【００１８】
撮像部１２のシャッタ制御部１２ａは、遅延無し信号Ｐで１回目の繰り返しシャッタ動作（以降、これをシャッタＡの動作という）を行ない、遅延あり信号Ｓで２回目の繰り返しシャッタ動作（以降、これをシャッタＢの動作という）を行なうよう撮像部１２のシャッタ動作を制御する。
【００１９】
なお、タイミング発生部１３の別の構成例として、たとえば、図６に示すように、照明部１１の発光タイミングは内部の発光タイミング制御部１１ａにより制御し、その発光タイミングを基に、撮像部１２の撮像タイミングを作成することも可能である。
【００２０】
すなわち、照明部１１の発光タイミング制御部１１ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。作成した遅延無し信号Ｐと遅延あり信号Ｓは、選択回路３３を用いて交互に選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。
【００２１】
距離演算部１４は、たとえば、当該距離演算部１４内にあらかじめ設定されたプログラムをＣＰＵ１５で実行することにより実現され、撮像部１２で撮像された複数の画像を用いて、後述するような画素ごとに距離の演算処理を行なう。
【００２２】
次に、上記のような構成において、第１の実施形態に係る３次元情報検出装置の動作を図７に示すフローチャートおよび図８に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。なお、図８において、斜線部ａは反射光による信号が存在しないブランクレベル部分を示している。
【００２３】
以下の説明では、たとえば、図９に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０を置き、その対象物１０までの距離画像を取得する場合について説明する。
【００２４】
初めに、照明部１１から１番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光と同時に動作するシャッタＡを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ１）。
【００２５】
次に、１番目の発光タイミングから１ｍｓ程度後に、照明部１１から２番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光から遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ２）。
【００２６】
シャッタＡの動作で取得された画像のイメージを図１０（ａ）に示し、シャッタＢの動作で取得された画像のイメージを図１０（ｂ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡの画像の方がシャッタＢの画像よりも明るく撮像される。
【００２７】
こうして得られた２つの画像は距離演算部１４に送られる。距離演算部１４では、２つの画像の同一画素（たとえば、図１１で模式的に示す２つの画像のＩ行、Ｊ列の画素）の各輝度値Ｖａ，Ｖｂを用いて、距離Ｄを求める（ステップＳ３）。
【００２８】
以下、距離Ｄの求め方を説明する。照明光の単位時間当たりのパワーをＩｐ、撮像部１２のシャッタの繰り返し回数（多重露光の繰り返し回数）をｋとすると、輝度値は以下のように表わされる。  
Ｖａ＝ｋ・β・α・（Ｉｐ（Ｔ−Ｔｄ））        ……（式１）  
Ｖｂ＝ｋ・β・α・（Ｉｐ（Ｔ−（Ｔｍ−Ｔｄ）））……（式２）  
ただし、αは光パワー（Ｗ）を電圧（Ｖ）に変換する係数で、撮像部１２における撮像素子の変換効率などで決まる定数であり、βは距離や対象物１０の反射率で決まる値である。
【００２９】
上記（式１）、（式２）から距離分の遅れ時間Ｔｄは以下のように求められる。  
Ｔｄ＝（（Ｖｂ−Ｖａ）Ｔ＋Ｖａ・Ｔｍ）／（Ｖａ＋Ｖｂ）……（式３）  
対象物１０との距離Ｄを以下の演算で求める。  
Ｄ＝Ｔｄ・ｃ／２（ただし、ｃは光速３．０×１０８ｍ／ｓ）……（式４）
求めた演算結果Ｄを距離画像として距離演算部１４内の図示しない画像メモリに書き込む（ステップＳ４）。これらの距離演算を全画素に亘って行ない（ステップＳ５）、当該処理を終了する。
【００３０】
こうして得られた画像メモリ内の距離画像のイメージを図１１に示す。この例は図９に対応していて、奥に行くほど画像の濃淡値が小さくなる（暗くなる）形式の距離画像を示している。すなわち、距離が近いほど明るさを大きくして画像化を行なったもので、対象物１０の存在する箇所は明るく、それ以外は暗く表現される。
【００３１】
次に、第２の実施形態について説明する。  
第２の実施形態に係る３次元情報検出装置の全体的な構成は、前述した第１の実施形態と同様であるので説明は省略し、第１の実施形態と異なるタイミング発生部１３について以下に説明する。なお、図４と同一部分には同一符号を付して詳細な説明は省略する。
【００３２】
タイミング発生部１３は、たとえば、図１３に示すように、発振器３１、クロック信号を所定時間（Ｔｍ）遅延する遅延回路３２ａ、クロック信号を所定時間（Ｔｃ（＞Ｔｍ））遅延する遅延回路３２ｂ、出力選択回路３３、および、出力バッファ３４ａ，３４ｂによって構成されている。
【００３３】
ここで、タイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図１４を用いて説明する。発振器１１から出力されるクロック信号から遅延無し信号Ｐ、遅延回路３２ａを介して時間Ｔｍ遅延した遅延あり信号Ｓ、遅延回路３２ｂを介して時間Ｔｃ遅延した遅延あり信号Ｒを作成する。  
なお、遅延あり信号Ｒは、図１４に示すように、遅延無し信号Ｐが出力され終わった後に出力されるように遅延回路３２ｂの遅延時間Ｔｃが設定される。
【００３４】
作成した遅延無し信号Ｐは、そのまま出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに出力する。また、作成した遅延無し信号Ｐと遅延あり信号Ｓ，Ｒは、選択回路３３を用いてＰ→Ｓ→Ｒ→Ｐ→のように循環させて選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。このとき、遅延無し信号Ｐを所定回数（たとえば、約５００回）、次に遅延あり信号Ｓを所定回数（たとえば、約５００回）、次に遅延あり信号Ｒを所定回数（たとえば、約５００回）、次に再び遅延無し信号Ｐを所定回数、と循環させてシャッタ制御部１２ａに出力する。
【００３５】
撮像部１２のシャッタ制御部１２ａは、遅延無し信号Ｐで１回目の繰り返しシャッタ動作（以降、これをシャッタＡの動作という）を行ない、遅延あり信号Ｓで２回目の繰り返しシャッタ動作（以降、これをシャッタＢの動作という）を行ない、遅延あり信号Ｒで３回目の繰り返しシャッタ動作（以降、これをシャッタＣの動作という）を行なうよう撮像部１２のシャッタ動作を制御する。このように、第２の実施形態の第１の実施形態と異なる点は、シャッタＣの動作が追加されている点にある。
【００３６】
なお、タイミング発生部１３の別の構成例として、たとえば、図１５に示すように、照明部１１の発光タイミングは内部の発光タイミング制御部１１ａにより制御し、その発光タイミングを基に、撮像部１２の撮像タイミングを作成することも可能である。
【００３７】
すなわち、前述した第１の実施形態における図６の場合と同様、照明部１１の発光タイミング制御部１１ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと、遅延回路３２ａを介しての遅延あり信号Ｓ、および、遅延回路３２ｂを介しての遅延あり信号Ｒを作成する。作成した遅延無し信号Ｐと遅延あり信号Ｓ，Ｒは、選択回路３３を用いてＰ→Ｓ→Ｒ→Ｐ→のように循環させて選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。
【００３８】
次に、上記のような構成において、第２の実施形態に係る３次元情報検出装置の動作を図１６に示すフローチャートおよび図１７に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。なお、図１７において、符号ｂは太陽光などの定常的な外乱光による信号部を示している。
【００３９】
以下の説明では、前述した第１の実施形態と同様、たとえば、図９に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０を置き、その対象物１０までの距離画像を取得する場合について説明する。
【００４０】
初めに、照明部１１から１番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光と同時に動作するシャッタＡを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ１１）。
【００４１】
次に、１番目の発光タイミングから１ｍｓ程度後に、照明部１１から２番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光から遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ１２）。
【００４２】
次に、２番目の発光タイミングから１ｍｓ程度後に、照明部１１から３番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光から遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＣを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ１３）。
【００４３】
シャッタＡの動作で取得された画像のイメージを図１８（ａ）に示し、シャッタＢの動作で取得された画像のイメージを図１８（ｂ）に示し、シャッタＣの動作で取得された画像のイメージを図１８（ｃ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡの画像の方がシャッタＢの画像よりも明るく撮像され、シャッタＣの画像は外乱光のみの画像となる。
【００４４】
こうして得られた３つの画像は距離演算部１４に送られる。距離演算部１４では、３つの画像の同一画素（たとえば、図１１で模式的に示す３つの画像のＩ行、Ｊ列の画素）の各輝度値Ｖａ，Ｖｂ，Ｖｃを用いて、距離Ｄを求める（ステップＳ１４）。
【００４５】
以下、距離Ｄの求め方を説明する。照明光の単位時間当たりのパワーをＩｐ、外乱光のパワーをＩｓ、撮像部１２のシャッタの繰り返し回数（多重露光の繰り返し回数）をｋとすると、輝度値は以下のように表わされる。  
Ｖａ＝ｋ・β・α（Ｉｓ・Ｔ＋Ｉｐ（Ｔ−Ｔｄ））        ……（式５）  
Ｖｂ＝ｋ・β・α（Ｉｓ・Ｔ＋Ｉｐ（Ｔ−（Ｔｍ−Ｔｄ）））……（式６）  
Ｖｃ＝ｋ・β・α（Ｉｓ・Ｔ）                          ……（式７）  
ただし、αは光パワー（Ｗ）を電圧（Ｖ）に変換する係数で、撮像部１２における撮像素子の変換効率などで決まる定数であり、βは距離や対象物１０の反射率で決まる値である。
【００４６】
上記（式５）、（式６）、（式７）から距離分の遅れ時間Ｔｄは以下のように求められる。  
Ｔｄ＝（（Ｖｂ−Ｖａ）Ｔ＋（Ｖａ―Ｖｃ）Ｔｍ）／（Ｖａ＋Ｖｂ−２Ｖｃ）  
……（式８）  
被写体との距離Ｄを以下の演算で求める。  
Ｄ＝Ｔｄ・ｃ／２（ただし、ｃは光速３．０×１０８ｍ／ｓ）……（式９）
求めた演算結果Ｄを距離画像として距離演算部１４内の図示しない画像メモリに書き込む（ステップＳ１５）。これらの距離演算を全画素に亘って行ない（ステップＳ１６）、当該処理を終了する。
【００４７】
こうして得られた画像メモリ内の距離画像のイメージを図１２に示す。この例は図９に対応していて、奥に行くほど画像の濃淡値が小さくなる（暗くなる）形式の距離画像を示している。すなわち、距離が近いほど明るさを大きくして画像化を行なったもので、対象物１０の存在する箇所は明るく、それ以外は暗く表現される。また、上記距離演算を行なうことにより、外乱光の影響を除去できる。
【００４８】
このように、第２の実施形態は、第１の実施形態に対してシャッタＣの動作を追加することで、外乱光の影響を除するようにしたものである。
【００４９】
次に、第３の実施形態について説明する。  
図１９は、第３の実施形態に係る３次元情報検出装置の構成を概略的に示すものである。第３の実施形態の第１の実施形態と異なる部分は、撮像部１２の機能およびタイミング発生部１３の動作が異なる点と、速度演算部１７および撮像モード切換部１８が追加された点にあり、その外は前述した第１の実施形態と同様であるので、図１と同一部分には同一符号を付して説明は省略し、異なる部分について以下に説明する。
【００５０】
撮像部１２は、たとえば、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサもしくはＣＣＤ（電荷結合素子）イメージセンサを撮像素子とするカメラを主体に構成されていて、全画素を同タイミングにて露光するシャッタ機能（ＣＭＯＳセンサの場合はグローバルシャッタと呼ばれる機能）と、外部からのタイミングにあわせてシャッタ動作を行なう、一般にランダムシャッタと呼ばれるシャッタ機能とを合わせて備えているものとする。
【００５１】
さらに、撮像部１２は、たとえば、図３に示すように、連続したシャッタの繰り返し動作に対し、撮像素子からの光電変換信号を積算して出力する多重露光と呼ばれる多重露光機能、たとえば、図２０に示すように、撮像素子の隣接する複数の画素を見掛け上面積の大きな１つの画素として扱うビニングと呼ばれるビニング機能、および、外部からの命令により多重露光機能（モード）とビニング機能（モード）を切換えて動作させる機能をも備えているものとする。
【００５２】
なお、図２０の例の場合、撮像素子の隣接する１６個の画素を見掛け上１つの画素として扱うようにしたもので、これにより画素間の仕切りがなくなり、撮像素子の画素面積（感度）が１６倍になる。
【００５３】
タイミング発生部１３は、撮像部１２の撮像モードにより動作が異なるもので、多重露光モード時は前述した第１の実施形態と同様であるので説明は省略し、第１の実施形態と異なるビニングモード時のタイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図４、図２１を用いて説明する。
【００５４】
発振器１１から出力されるクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。作成した遅延無し信号Ｐは、そのまま出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに出力する。また、作成した遅延無し信号Ｐと遅延あり信号Ｓは、選択回路３３を用いて交互に選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。
【００５５】
撮像部１２のシャッタ制御部１２ａは、遅延無し信号Ｐで１回目のシャッタ動作（以降、これをシャッタＡの動作という）を行ない、遅延あり信号Ｓで２回目のシャッタ動作（以降、これをシャッタＢの動作という）を行なうようカメラのシャッタ動作を制御する。
【００５６】
速度演算部１７は、たとえば、当該速度演算部１７内にあらかじめ設定されたプログラムをＣＰＵ１５で実行することにより実現され、距離演算部１４で求められた距離画像のフレーム間の差分演算により対象物の移動速度を求める。
【００５７】
撮像モード切換部１８は、たとえば、当該撮像モード切換部１８内にあらかじめ設定されたプログラムをＣＰＵ１５で実行することにより実現され、速度演算部１７で求められた速度情報に応じて、撮像部１２の撮像モードを多重露光モードあるいはビニングモードに切換える制御を行なう。
【００５８】
次に、上記のような構成において、第３の実施形態に係る３次元情報検出装置の動作を図２２に示すフローチャートを参照して説明する。  
以下の説明では、たとえば、図２３、図２４に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０があり、この対象物１０は撮像部１２に向かって移動するものとし、その対象物１０までの距離画像を取得する場合について説明する。なお、図２３は対象物１０の移動前を示し、図２４は対象物１０の移動後を示すものとする。
【００５９】
撮像部１２の画像取得動作は、撮像部１２の撮像モードが多重露光モードの場合とビニングモードの場合で異なり、いずれかのモードが選択的に実行される。
【００６０】
まず、撮像部１２の撮像モードが多重露光モードの場合の画像取得動作について、この動作は前述した第１の実施形態（図７のステップＳ１，Ｓ２）と同様であり、図８に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。
【００６１】
初めに、照明部１１から１番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光と同時に動作するシャッタＡを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ２１）。
【００６２】
次に、１番目の発光タイミングから１ｍｓ程度後に、照明部１１から２番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を例えば５００個、連続的に対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくる。これをパルス状の照明光から遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢを繰り返すことで、多重露光し撮像することにより画像を取得する（ステップＳ２２）。
【００６３】
次に、撮像部１２の撮像モードがビニングモードの場合の画像取得動作について、図２５に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。
【００６４】
初めに、照明部１１から１番目の発光タイミングとして、発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくるので、その反射光を当該１番目の発光タイミングと同時に動作するシャッタＡの間、露光し撮像することにより画像を取得する（ステップＳ２１′）。
【００６５】
次に、１番目の発光タイミングから１ｍｓ程度後に、照明部１１から２番目の発光として発光時間が１μｓ程度の幅（Ｔ）のパルス状の光を対象物１０に対して照射し、Ｔｄだけ遅れた時間の反射光を当該２番目の発光タイミングから遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢの間、露光し撮像することにより画像を取得する（ステップＳ２２′）。
【００６６】
シャッタＡの動作で取得された画像のイメージを図１０（ａ）に示し、シャッタＢの動作で取得された画像のイメージを図１０（ｂ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡの画像の方がシャッタＢの画像よりも明るく撮像される。
【００６７】
こうして得られた２つの画像は距離演算部１４に送られる。距離演算部１４では、２つの画像の同一画素（たとえば、図１１で模式的に示す２つの画像のＩ行、Ｊ列の画素）の各輝度値Ｖａ，Ｖｂを用いて、距離Ｄを求める（ステップＳ２３）。距離Ｄの求め方は、前述した第１の実施形態と同様であるので説明は省略する。
【００６８】
求めた演算結果（距離）Ｄを距離画像として距離演算部１４内の図示しない画像メモリに書き込む（ステップＳ２４）。これらの距離演算を全画素に亘って行なう（ステップＳ２５）。
【００６９】
こうして得られた画像メモリ内の距離画像のイメージを図２６（ａ）（ｂ）に示す。図２６（ａ）は図２３に対応し、図２６（ｂ）は図２４に対応していて、対象物１０の移動前と移動後の位置に対し、それぞれ異なった値（距離）が得られることを示している。
【００７０】
なお、図２６の例では近い対象物を明るく、遠い対象物を黒く示している。また、図２６において、距離画像に付されている数値（１００／２５６、０／２５６、２００／２５６）は、それぞれ輝度値の具体例を示している。
【００７１】
速度演算部１７では、下記式１０にしたがって、距離演算部１４で得られた図２６（ａ）（ｂ）の距離画像の差の絶対値を求めることにより、対象物１０の移動速度Ｄｋを計算する（ステップＳ２６）。すなわち、たとえば、ｋフレーム目のｉ行ｊ列の画素の距離画像をＩｋとすると、同様にｉ行ｊ列の速度Ｄｋは下記式１０のように計算できる。  
Ｄｋ＝｜Ｉｋ−Ｉｋ＋１｜……（式１０）
こうして得られた速度情報（以下、速度画像ともいう）Ｄｋのイメージを図２７に示す。なお、図２７において、速度画像に付されている数値（０／２５６、１００／２５６）は、それぞれ輝度値の具体例を示している。
【００７２】
対象物１０の移動速度Ｄｋが求められると、撮像モード切換部１８は、その移動速度Ｄｋに応じて、撮像部１２の撮像モードを多重露光モードあるいはビニングモードに切換える制御を行ない（ステップＳ２７）、ステップＳ２１（Ｓ２１′）に戻る。
【００７３】
以下、ステップＳ２７における撮像部１２の撮像モード切換制御について、図２８に示すフローチャートを参照して説明する。
【００７４】
速度演算部１７で速度画像が演算され、撮像モード切換部１８に入力されると（ステップＳ３１）、まず下記式１１にしたがい、速度の全画素平均値Ｖｋを求める（ステップＳ３２）。  
【数１】
2014021100.tif 000003
【００７５】
次に、こうして得られた平均速度Ｖｋがあらかじめ指定された閾値ＶＴよりも大きいか否かを判定し（ステップＳ３３）、平均速度Ｖｋが閾値ＶＴよりも大きくなければ、撮像部１２の撮像モードを多重露光モードとし（ステップＳ３４）、平均速度Ｖｋが閾値ＶＴよりも大きい場合は撮像部１２の撮像モードをビニングモードとする（ステップＳ３５）。
【００７６】
このように、対象物１０の移動速度に応じて撮像部１２の撮像モードを多重露光モードあるいはビニングモードに切換えることにより、高速移動の対象物１０に対しては、多重露光によるぶれによる精度低下を回避し、低速移動の対象物１０に対しては、ビニングによる低解像度化を回避することができる。
【００７７】
なお、上記動作説明では、画面全体の移動速度を平均化して撮像モードの切換えを行なったが、図２９に示すように、エリア（または画素）ごとに撮像モードの切換えが可能な高度な撮像部を用いた場合、エリア（または画素）ごとに移動速度の平均値を求め、撮像モードの切換えを行なうことで、より高精度な距離画像の取得が可能となる。図２９の例は、エリアごとに撮像部１２の撮像モードを切換える場合を示しており、対象物１０のエリアＥ１に対してはビニングモードとし、背景エリアＥ２に対しては多重露光モードとする。
【００７８】
以上述べた少なくとも１つの実施形態の３次元情報検出装置によれば、パルス照明した対象物を複数の異なるシャッタタイミングで多重露光して得られた複数の画像を用いて、各画像の画素ごとの信号値の差を検出して対象物までの距離画像に変換することにより、特に移動する対象物に対する同時計測の精度を確保しつつ、測距範囲と分解能の両立が可能となるとともに、照明部からのパルス光の強度が小さくても、強度不足とはならず、性能を確保することができる。
【００７９】
また、多重露光機能およびビニング機能を有する撮像部を用い、対象物の移動速度に応じて多重露光モードあるいはビニングモードに切換えることで、高速移動の対象物に対しては多重露光によるぶれによる精度低下を回避し、低速移動の対象物に対してはビニングによる低解像度化を回避することができる。
【００８０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８１】
１０…対象物、１１…照明部、１１ａ…照明部１１の発光タイミング制御部、１２…撮像部、１２ａ…撮像部１２のシャッタ制御部、１３…タイミング発生部、１４…距離演算部、１５…ＣＰＵ、１７…速度演算部、１８…撮像モード切換部、３１…発振器、３２，３２ａ，３２ｂ…遅延回路、３３…出力選択回路、３４ａ，３４ｂ，３４ｃ…出力バッファ。
【図１】
2014021100.tif 000004
【図２】
2014021100.tif 000005
【図３】
2014021100.tif 000006
【図４】
2014021100.tif 000007
【図５】
2014021100.tif 000008
【図６】
2014021100.tif 000009
【図７】
2014021100.tif 000010
【図８】
2014021100.tif 000011
【図９】
2014021100.tif 000012
【図１０】
2014021100.tif 000013
【図１１】
2014021100.tif 000014
【図１２】
2014021100.tif 000015
【図１３】
2014021100.tif 000016
【図１４】
2014021100.tif 000017
【図１５】
2014021100.tif 000018
【図１６】
2014021100.tif 000019
【図１７】
2014021100.tif 000020
【図１８】
2014021100.tif 000021
【図１９】
2014021100.tif 000022
【図２０】
2014021100.tif 000023
【図２１】
2014021100.tif 000024
【図２２】
2014021100.tif 000025
【図２３】
2014021100.tif 000026
【図２４】
2014021100.tif 000027
【図２５】
2014021100.tif 000028
【図２６】
2014021100.tif 000029
【図２７】
2014021100.tif 000030
【図２８】
2014021100.tif 000031
【図２９】
2014021100.tif 000032