(57)【要約】【課題】外光の光成分の影響を受けることなく距離画像を作成する。【解決手段】  ＬＥＤ１０から検出光を距離の測定対象である被写体に向けて照射する。高速シャッタ２２，３２は、検出光の照射タイミングに同期した期間だけ開いて被写体により反射された検出光を各２３，３３に入射させる。第１イメージセンサ２３は、検出光の波長を含む波長域を透過する第１ＢＰＦ２１を透過した光を受光する。第２イメージセンサ３３は、第１ＢＰＦ２１の透過波長域の近傍の波長域を透過する第２ＢＰＦ３１を透過した光を受光する。第２ＢＰＦ３１は、第１イメージセンサ２３が受光する外光成分と同じ受光量で第２イメージセンサ３３が外光成分を受光するようにしてある。第１イメージセンサ２３の画素値から第２イメージセンサ３３の画素値を減算することで、外光成分を排除し、画素値によって被写体までの距離を表す距離画像を作成する。【選択図】図１
2008128792.tif 000002
【特許請求の範囲】
【請求項１】
各画素値が対応する距離測定対象物の各部までの距離を表す距離画像を作成する距離画像作成装置において、
予め決められた波長の検出光をパルス状に距離測定対象物に向けて照射する光源と、
距離測定対象物を結像させるための光学系と、
この光学系の光路中に配され、光路を第１の光路と第２の光路とに分岐する光路分岐手段と、
前記第１の光路中に配され、入射する光のうち前記検出光の波長を含む第１の波長域を透過する第１のバンドパスフィルタと、
この第１のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数個の画素を受光面に有し、この受光面に距離測定対象物が前記光学系によって結像される第１のイメージセンサと、
前記第２の光路中に配され、入射する光のうち前記第１の波長域に近接した第２の波長域の光を透過し、前記第１のイメージセンサが受光する前記第１の波長域の外光成分と同じ受光量を受光させるための第２のバンドパスフィルタと、
この第２のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数個の画素を受光面に有し、この受光面に距離測定対象物が前記光学系によって結像される第２のイメージセンサと、
前記第１及び第２のイメージセンサが受光する受光期間を前記検出光の照射に同期して制御する受光制御手段と、
前記第１のイメージセンサの画素から得られる画素値から前記第２のイメージセンサの画素から得られる画素値を対応する画素同士で減算することによって、検出光以外の光成分を除去する減算手段とを備えたことを特徴とする距離画像作成装置。
【請求項２】
前記第２のイメージセンサから出力される信号レベルが所定閾値よりも小さい場合に、前記第２のイメージセンサの作動を停止する作動制御手段を備えることを特徴とする請求項１記載の距離画像作成装置。
【請求項３】
前記光路分岐手段を光路中に挿入した挿入位置と光路中から退避して光学系からの光を第１バンドパスフィルタにのみ入射させる退避位置との間で移動させる移動手段とを備え、前記作動制御手段は、前記第２のイメージセンサの作動を停止している間には、前記移動手段を介して前記光路分岐手段を前記退避位置に移動させた状態とすることを特徴とする請求項２記載の距離画像作成装置。
【請求項４】
各画素値が対応する距離測定対象物の各部までの距離を表す距離画像を作成する距離画像作成装置において、
予め決められた波長の検出光をパルス状に距離測定対象物に向けて照射する光源と、
距離測定対象物を結像させるための光学系と、
入射する光のうち前記検出光の波長を含む第１の波長域を透過する第１のバンドパスフィルタが形成され、この第１のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数の第１の画素と、入射する光のうち前記第１の波長域に近接した第２の波長域の光を透過し、前記第１のイメージセンサが受光する前記第１の波長域の外光成分と同じ受光量を受光させるための第２のバンドパスフィルタが形成され、この第２のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数の第２の画素とからなり、第１の画素と第２の画素とが交互に配列された受光面に距離測定対象物が前記光学系によって結像されるイメージセンサと、
このイメージセンサが受光する受光期間を前記検出光の照射に同期して制御する受光制御手段と、
前記第１の画素から得られる画素の画素値から、その第１の画素の近傍の第２の画素から得られる画素値を減算することによって、検出光以外の光成分を除去し、各画素値が対応する距離測定対象物の各部までの距離を表す距離画像を作成する減算手段とを備えたことを特徴とする距離画像作成装置。
【請求項５】
各画素値が対応する距離測定対象物の各部までの距離を表す距離画像を作成する距離画像作成方法において、
予め決められた波長の検出光を光源からパルス状に距離測定対象物に向けて照射し、この検出光の照射に同期したタイミングで所定の受光期間に、前記検出光の波長を含む第１の波長域を透過した光を第１の画素で受光するとともに、第１の波長域に近接した第２の波長域の光を透過した光を第２の画素で受光し、前記第１の画素から得られる画素値から前記第２の画素から得られる画素値を対応する画素同士で減算することによって、検出光以外の光成分を除去することを特徴とする距離画像作成方法。
【請求項６】
複数の前記第１の画素を設けた第１のイメージセンサと、複数の前記第２の画素を設けた第２のイメージセンサとに光を分岐させて入射させることを特徴とする請求項５記載の距離画像作成方法。
【請求項７】
同一の受光面に複数の前記第１の画素と複数の前記第２の画素とを設けるとともに、前記第１の画素と前記第２の画素を交互に配列したイメージセンサを用い、第１の画素に隣接する第２の画素を第１の画素に対応する第２の画素としたことを特徴とする請求項５記載の距離画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離測定対象物までの距離を画素値によって表す距離画像を作成する距離画像作成装置及び方法に関するものである。
【背景技術】
【０００２】
ＴＯＦ（タイムオブフライト）法により、測定対象物までの距離を画素値で示す距離画像を作成する距離画像作成装置が特許文献１によって知られている。特許文献１の距離画像作成装置では、パルス状の光を撮影空間に照射する光源と、撮影空間にある測定対象物からの反射光を受光するイメージセンサとを備え、パルス状の光が照射される期間とイメージセンサが反射光を受光する期間とを同期させることにより、測定対象物までの距離をイメージセンサの受光量として捉えるようにしている。
【０００３】
上記のような距離画像作成装置によれば、特定の距離範囲にある画像部分だけを切り出すためのマスク画像となる静止画、動画データを容易に作成することができ、そのマスク画像を用いて、例えば背景の手前にある特定の距離範囲にある被写体だけを同時に撮影した通常の動画像から切り出して、他の背景画像に合成することができる。
【０００４】
【特許文献１】米国特許６１００５１７号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記カメラは、近赤外光，赤外光などを用いることにより、通常撮影される画像に影響を与えないようにして距離画像を作成することができる。しかし、被写体に照射して反射された光を受光する際に、外光中の赤外光成分も受光してしまう。そのため、特に屋外等での撮影では、外光中の赤外光成分の影響が大きくなり、距離画像の精度が低下し、あるいは距離画像を作成できないという問題があった。
【０００６】
本発明は、上記問題を解決するために、外光成分の影響を排除することにより、屋外などででも距離画像を作成できる距離画像作成装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１記載の距離画像作成装置では、予め決められた波長の検出光をパルス状に距離測定対象物に向けて照射する光源と、距離測定対象物を結像させるための光学系と、この光学系の光路中に配され、光路を第１の光路と第２の光路とに分岐する光路分岐手段と、前記第１の光路中に配され、入射する光のうち前記検出光の波長を含む第１の波長域を透過する第１のバンドパスフィルタと、この第１のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数個の画素を受光面に有し、この受光面に距離測定対象物が前記光学系によって結像される第１のイメージセンサと、前記第２の光路中に配され、入射する光のうち前記第１の波長域に近接した第２の波長域の光を透過し、前記第１のイメージセンサが受光する前記第１の波長域の外光成分と同じ受光量を受光させるための第２のバンドパスフィルタと、この第２のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数個の画素を受光面に有し、この受光面に距離測定対象物が前記光学系によって結像される第２のイメージセンサと、前記第１及び第２のイメージセンサが受光する受光期間を前記検出光の照射に同期して制御する受光制御手段と、前記第１のイメージセンサの画素から得られる画素値から前記第２のイメージセンサの画素から得られる画素値を対応する画素同士で減算することによって、検出光以外の光成分を除去する減算手段とを備えたものである。
【０００８】
請求項２記載の距離画像作成装置では、第２のイメージセンサから出力される信号レベルが所定閾値よりも小さい場合に、前記第２のイメージセンサの作動を停止する作動制御手段を備えたものである。
【０００９】
請求項３記載の距離画像作成装置では、光路分岐手段を光路中に挿入した挿入位置と光路中から退避して光学系からの光を第１バンドパスフィルタにのみ入射させる退避位置との間で移動させる移動手段とを備え、作動制御手段を、第２のイメージセンサの作動を停止している間には、前記移動手段を介して前記光路分岐手段を前記退避位置に移動させた状態とするようにしたものである。
【００１０】
請求項４記載の距離画像作成装置では、予め決められた波長の検出光をパルス状に距離測定対象物に向けて照射する光源と、距離測定対象物を結像させるための光学系と、入射する光のうち前記検出光の波長を含む第１の波長域を透過する第１のバンドパスフィルタが形成され、この第１のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数の第１の画素と、入射する光のうち前記第１の波長域に近接した第２の波長域の光を透過し、前記第１のイメージセンサが受光する前記第１の波長域の外光成分と同じ受光量を受光させるための第２のバンドパスフィルタが形成され、この第２のバンドパスフィルタを透過した光を受光して、その受光量に応じた電荷を生成する複数の第２の画素とからなり、第１の画素と第２の画素とが交互に配列された受光面に距離測定対象物が前記光学系によって結像されるイメージセンサと、このイメージセンサが受光する受光期間を前記検出光の照射に同期して制御する受光制御手段と、前記第１の画素から得られる画素の画素値から、その第１の画素の近傍の第２の画素から得られる画素値を減算することによって、検出光以外の光成分を除去し、各画素値が対応する距離測定対象物の各部までの距離を表す距離画像を作成する減算手段とを備えたものである。
【００１１】
請求項５記載の距離画像作成方法では、予め決められた波長の検出光を光源からパルス状に距離測定対象物に向けて照射し、この検出光の照射に同期したタイミングで所定の受光期間に、前記検出光の波長を含む第１の波長域を透過した光を第１の画素で受光するとともに、第１の波長域に近接した第２の波長域の光を透過した光を第２の画素で受光し、前記第１の画素から得られる画素値から前記第２の画素から得られる画素値を対応する画素同士で減算することによって、検出光以外の光成分を除去するものである。
【００１２】
請求項６記載の距離画像作成方法では、複数の前記第１の画素を設けた第１のイメージセンサと、複数の前記第２の画素を設けた第２のイメージセンサとに光を分岐させて入射させるものである。
【００１３】
請求項７記載の距離画像作成方法では、同一の受光面に複数の前記第１の画素と複数の前記第２の画素とを設けるとともに、前記第１の画素と前記第２の画素を交互に配列したイメージセンサを用い、第１の画素に隣接する第２の画素を第１の画素に対応する第２の画素としたものである。
【発明の効果】
【００１４】
本発明によれば、光源からの検出光を距離測定対象物に向けて照射して、反射された検出光を検出光の波長を含む第１の波長域を透過した光を受光するとともに、この第１の波長域に近接した第２の波長域の光を受光し、前者の受光結果から後者の受光結果を対応する画素同士で減算することによって、検出光以外の光成分を除去するようにしたから、外光成分の影響を排除した画素値を求めることができ、屋外などででも距離画像を作成できる。
【発明を実施するための最良の形態】
【００１５】
本発明の第１実施形態の距離画像作成装置を図１に示す。距離画像作成装置２は、ＴＯＦ（タイムオブフライト）法に基づいて距離を検出して距離画像を作成するものであり、検出光の照射から測定対象物で反射されて検出光が戻ってくるまでの時間をイメージセンサの各画素での受光量として検出しようとするものである。距離画像は、静止画または動画データとして作成される。この距離画像作成装置２は、ＬＥＤ１０，光学系１１，ハーフミラー１２，第１測定系，第２測定系，シャッタ駆動回路１３，タイミング信号発生回路１４，差分算出部１５，補正演算部１６，距離変換部１７，これら各部を統括的に制御するシステム制御部１８等から構成される。
【００１６】
ＬＥＤ１０は、距離画像作成のための光源であり駆動回路１９に駆動されて、パルス状の検出光を距離測定の測定対象物が配された撮影空間に照射する。測定対象物は、静止しているものでもよいし、動いているものであってもよい。検出光は、所定の波長（以下、光源波長という）としてあり、その光源波長としては、可視光領域による撮影に影響を与えず、また被写体の熱すなわち赤外線の影響を受けにくい近赤外光の領域に設定してある。この例では、検出光を直接変調しているが、外部変調してもよい。また光源としてはＬＥＤに限られるものではなく、さらに検出光は、単波長であってもよいし、波長に多少の広がりを持ったものでもよい。
【００１７】
光学系１１は、撮影レンズ等と同様な構成であり、被写体により反射された光を結像させる。光路分岐手段としてのハーフミラー１２は、光学系１１からの光の半分を第１測定系に向けて透過し、残りの半分を第２測定系に向けて反射する。光路分岐手段は、光路を分岐できるものであればハーフミラーに限るものではなく、例えばダイクロイックプリズムを用いて後述する各ＢＰＦ２１，３１の機能を持たせてもよい。
【００１８】
第１測定系は、第１ＢＰＦ２１，第１高速シャッタ２２，第１イメージセンサ２３と、第１イメージセンサ２３からの信号を処理するＣＤＳ回路２４，ＡＭＰ２５，Ａ／Ｄ変換器２６から構成され、ハーフミラー１２側から順番に、第１ＢＰＦ２１，第１高速シャッタ２２，第１イメージセンサ２３が並べて配されており、ハーフミラー１２を透過した光が第１ＢＰＦ２１に入射する。
【００１９】
第１ＢＰＦ２１は、特定の波長域の光を透過するバンドパスタイプの光学フィルタとなっており、ＬＥＤ１０から照射される検出光の光源波長を透過するように、例えば第１ＢＰＦ２１の中心波長が検出光の波長と一致するようにして、その透過波長域（以下、第１透過波長域という）が決定してある。
【００２０】
受光制御手段としての第１高速シャッタ２２は、例えば電気光学シャッタで構成してあり、第１ＢＰＦ２１からの光を透過する開状態と、遮断する閉状態とに高速に切り換えることができるものとなっている。この第１高速シャッタ２２は、後述するように距離を測定すべき測定距離範囲、ＬＥＤ１０の点灯時間等に基づいて決定された開閉パターン，ＬＥＤ１０との発光の位相差等でシャッタ駆動回路１３によって駆動される。
【００２１】
受光制御手段としては、上記のように入射する光を透過しまた遮断するように駆動されるものの他、入射した光を増幅して出力する、出力しない（遮断）といった動作を高速に切り換えることができるマイクロチャンネルプレート（ＭＣＰ）等であってもよい。受光制御手段の位置は、入射する光を透過・遮断するものであれば、第１ＢＰＦ２１よりも撮影レンズ側に配置することもでき、ハーフミラー１２よりも光学系１１側に配して後述する第２測定系と共通にしてもよい。また、マイクロチャンネルプレートのように、入射した光自体を出力しないものは、ＢＰＦの透過後の光が入射するように配置する必要がある。なお、イメージセンサに内蔵されるシャッタ機能を受光制御手段として用いることもできる。
【００２２】
第１イメージセンサ２３は、タイミングジェネレータ１４からの駆動信号によって駆動される。この第１イメージセンサ２３は、その受光面に多数の画素をマトリクス状に配列してあり、各画素が光電変換を行い受光量に応じた電荷を蓄積し、各電荷を転送することで第１画像信号を出力する。この第１イメージセンサ２３には、第１ＢＰＦ２１，第１高速シャッタ２２を透過した光が入射するため、第１透過波長域の光の受光量に応じた第１画像信号が出力される。第１イメージセンサ２３には、例えばＣＣＤタイプのイメージセンサを用いているが、ＣＣＤタイプに代えてＣ−ＭＯＳタイプのものを用いてもよい。
【００２３】
第１イメージセンサ２３からの第１画像信号は、ＣＤＳ回路２４に送られる。ＣＤＳ回路２４は、各画素で蓄積をした電荷を電圧信号（画像信号）に変換する際に生じるリセットノイズ成分を除去する。ＡＭＰ２５は、ＣＤＳ回路２４からの第１画像信号を所定のゲインで増幅する。Ａ／Ｄ変換器２６は、第１イメージセンサ２１の動作に同期して作動し、第１画像信号を画素ごとにサンプリング・デジタル変換して、各画素に対応した画素値からなる第１画像データを生成する。この第１画像データは、差分算出部１５に送られる。
【００２４】
第２測定系は、第２ＢＰＦ３１，第２高速シャッタ３２，第２イメージセンサ３３，ＣＤＳ回路３４，ＡＭＰ３５，Ａ／Ｄ変換器３６から構成されており、その各部の構成は、第２ＢＰＦ３１にハーフミラー１２で反射された光が入射すること、この第２ＢＰＦ３１が透過する波長域（以下、第２透過波長域）が異なることの他は、第１撮影系と同じであり、その動作タイミングも同じになっている。この第２測定系は、第１イメージセンサ２３が受光した第１透過波長域の光のうちに含まれる外光成分の受光量を排除するために設けてあり、第２イメージセンサ３３が出力する第２画像信号をデジタル変換した第２画像データを差分算出部１５に送る。
【００２５】
屋外や室内の他の光源からの外光が入射したときに、第１ＢＰＦ２１を介して第１イメージセンサ２３が受光する外光成分の受光量と、第２ＢＰＦ３１を介して第２イメーセンサ３３が受光する外光成分の受光量とが同じとなるように、各イメージセンサ２３，３３の分光感度等を考慮して、第２ＢＰＦ３１の特性、すなわち中心波長，半値幅，分光透光率等を決めてある。これにより、第２イメージセンサ３３の受光量に対する第１イメージセンサ２３の受光量の差分として第１イメージセンサ２３が検出光を受光した受光量を求めることができるようにしている。
【００２６】
なお、第１ＢＰＦ２１を介して第１イメージセンサ２３が受光する外光成分の受光量と、第２ＢＰＦ３１を介して第２イメーセンサ３３が受光する外光成分の受光量とが同じになるとは、第１イメージセンサ２３が受光する外光成分の受光量に応じた画素値と同じ画素値を第２イメージセンサ３３から得られるという意味での実質的な受光量が同じとなっていることである。また、第２ＢＰＦ３１を透過した外光成分の第２イメージセンサ３３での受光量を第１イメージセンサ２３と同じにしないで、第２イメージセンサ３３にから出力される第２画像信号を増幅する増幅率を調整したり、それから得られる画像データを補正することによっても、第１イメージセンサ２３が受光する外光成分の受光量に応じた画素値と同じ画素値を第２イメージセンサ３３から得られる。しかし、上記のように第２ＢＰＦ３１の中心波長，半値幅，分光透光率等を決めて同じ受光量（画素値）を得るようにする方が簡単でしかも高速に行うことができる。
【００２７】
図２に示すように、検出光の光源波長を透過するように第１ＢＰＦ２１の第１透過波長域が決定されており、この第１透過波長域の近傍の短波長側に第２ＢＰＦ３１の第２透過波長域を設定してある。太陽光などの通常の外光は、波長の差が少なければ急激な変化はないため、このように第１透過波長域の近傍に第２透過波長域を設定すれば、第２透過波長域の外光成分の受光量として第１透過波長域の外光成分の受光量を検出することができる。
【００２８】
なお、第１透過波長域の近傍に第２透過波長域を設定する場合、第２透過波長域を第１透過波長域の長波長側に設定してもよい。また、第１透過波長域の長波長側と短波長側のぞれぞれの光を透過するようにし、これら波長域の各透過光量の例えば平均値を用いるようにしてもよく、長波長側と短波長側の透過率を調節して、これらの各波長域を透過して受光される外光成分の光量が第１イメージセンサ２３が受光する外光成分の受光量と同じになるようにしてもよい。
【００２９】
減算手段としての差分算出部１５は、第１画像データの各画素値から第１透過波長域の外光成分を排除して、被写体で反射した検出光成分としての画素値を求めるものであり、対応する画素同士で第１画像データの画素値から第２画像データの画素値を減算する処理を各画素について行い差分画像データを作成する。この差分画像データは、後述する主測定動作で得られる各画像データから生成される主測定差分画像データと、副測定動作で得られる各画像データから生成される副測定差分画像データとがある。
【００３０】
補正演算部１６は、反射率が一定ではなくまた一様ではない被写体について、各画素値が被写体までの距離に応じたものとするために、主測定差分画像データに対して副測定差分画像データに基づく補正を施して距離画像を作成する。被写体の各部の反射率が一定である場合には、主測定差分画像データの各画素値は被写体までの距離に応じたものとなるが、通常の被写体は、その各部の反射率が一定ではなくまた一様ではないため、補正演算部１６による補正を行う。
【００３１】
距離変換部１７は、補正演算部１６で作成される距離画像の画素値を実際の距離に変換する。このようにして作成される距離画像は、例えば所定のインタフェースを介して画像加工用のコンピュータに送られる。画像加工用のコンピュータには、この距離画像作成装置と同じ範囲を同期して可視光領域で撮影した通常画像が入力され、この通常画像を距離画像に基づいて加工する。
【００３２】
距離画像に基づく加工としては、例えば通常画像から特定の距離範囲内の画像領域を距離画像に基づいて抽出し、その抽出した画像領域を別に撮影しておいた他の画像に合成したりする。抽出の際には、通常画像の各画素について対応する距離画像の画素を参照することにより行うことができる。このような処理を撮影される各フレームについて連続的に行うことで動画での被写体の合成を行うことができる。もちろん、静止画の場合にも行うことができるのはいうまでもない。
【００３３】
図３に主測定動作と副測定動作における検出光の照射タイミングと、高速シャッタ２３．３３の開閉タイミングを示す。
【００３４】
主測定動作は、被写体の距離に応じた受光時間で受光するように被写体で反射された検出光を受光するものである。この主測定動作では、図３（ａ）に示すように、ＬＥＤ１０が時間Ｔｐだけ点灯されて、その時間Ｔｐのパルス幅を持った検出光が被写体に向けて照射される。各高速シャッタ２２，３２は、検出光の照射タイミングよりも時間ΔＴの遅れを持って開状態となり、時間Ｔｓ１の期間だけ開状態になった後に閉状態となって光を遮断する。このような主測定動作は、各イメージセンサ２３，３３の１フレーム期間中に行われる。
【００３５】
時間Ｔｐ，時間ΔＴ，時間Ｔｓ１は、距離を測定しようとする被写体の測定距離範囲等に応じて決められるものである。例えば、「Ｔｓ１＝Ｔｐ」とし、光の速度を「ｃ」とした場合、例えば「（ΔＴ−Ｔｐ）・ｃ／２」から「（ΔＴ＋Ｔｐ＋Ｔｓ１）・ｃ／２」の距離範囲の被写体について距離を測定することができる。なお、例えばΔＴを順次に大きくまたは小さくしていき、測定可能な距離範囲を順次にシフトさせて所望とする距離範囲での測定を行うこともできる。
【００３６】
副測定動作は、主測定動作で得られる画素値を被写体の反射部分の反射率に影響を排除し距離に応じた画素値に補正するために行われるものであり、測定対象となる被写体で反射した検出光が被写体の反射部分の反射率に比例し距離の自乗に反比例した受光量として受光されるように各部を作動させる。
【００３７】
図３（ｂ）に示すように、副測定動作では、主測定動作と同じく時間Ｔｐのパルス幅を持った検出光を照射する。他方、各高速シャッタ２２，３２は、検出光の照射開始後に時間Ｔｓ２の期間で開状態とされ、時間Ｔｓ２は測定対象となる被写体で反射した検出光の全量を受光できる十分な長さとなるように決められる。また、この例では各高速シャッタ２２，３２を検出光の照射開始と同時に開状態としているが、測定距離範囲内の測定対象となる被写体で反射した検出光が入射を開始するときに開状態となっていればよく、例えば検出光の照射開始から時間ΔＴだけ遅延させて開状態としてもよい。
【００３８】
この例では、１フレーム期間中に主測定動作を１回行い、次の１フレーム期間に副測定動作を行うが、例えば１フレーム期間中に複数回の主測定動作を行ってもよく、副測定動作を１フレーム期間に複数回を行ってもよい。また、複数回の主測定動作ごとに１回ないし複数回の副測定動作を行うようにしてもよい。
【００３９】
次に、上記実施形態の作用について説明する。距離画像を作成する場合には、ＬＥＤ１０及び光学系１１を距離を測定しようとする被写体に向けてから、距離画像の作成を操作部１８ａ（図１参照）を操作して指示する。距離画像の作成が指示されると、システム制御部１８によって各部が初期化された後に、主測定動作が開始されてＬＥＤ１０から時間Ｔｐの幅を持つパルス状の検出光が照射される。
【００４０】
ＬＥＤ１０から照射された検出光のうち被写体に入射したものは、その被写体の入射部分で反射し、光学系１１に入射する。このときに、ＬＥＤ１０の他に室内灯や太陽光などの光源からの外光が被写体に照射されている場合には、その外光が被写体で反射された外光成分も光学系１１に入射する。そして、光学系１１に入射した光は、その半分がハーフミラー１２を透過して第１ＢＰＦ２１に入射し、そのうちの第１透過波長域の光成分が第１高速シャッタ２２に入射する。また、光学系１１に入射した光の残り半分は、ハーフミラ１２で反射されて第２ＢＰＦ３１に入射し、そのうちの第２透過波長域の光成分が第２高速シャッタ３２に入射する。
【００４１】
高速シャッタ２２，３２は、検出光の照射開始から時間ΔＴだけ遅れて開状態となり、時間Ｔｓ１だけその状態が維持されてから閉状態とされる。そして、この開状態の間に、ＢＰＦ２１，３１を透過して高速シャッタ２２，３２に入射した光だけが各イメージセンサ２１，３１に受光される。結果として、イメージセンサ２３，３３の各画素に受光される光は、その画素に入射する光が反射された被写体の部分までの距離に応じた受光時間だけ受光される。
【００４２】
これにより、第１イメージセンサ２３の各画素には、高速シャッタ２２が開状態の間に透過した第１透過波長域の光の受光量に応じた電荷が蓄積される。このときに、各画素で受光される光には、被写体で反射した検出光成分と、外光が被写体で反射した第１透過波長域の外光成分とが含まれる。また、第２イメージセンサ３３の各画素では、高速シャッタ３２が開状態の間に第２透過波長域の光の受光量に応じた電荷が蓄積されることになるが、各画素で受光される光は、外光が被写体で反射した第２透過波長域の外光成分だけであり、その各画素の受光量は対応する第１イメージセンサ２３の画素が受光する外光成分によるものとほぼ同じになる。
【００４３】
上記のように主測定動作が１フレーム期間内で行われ、次のフレーム期間になると、各イメージセンサ２３，３３の各画素に蓄積された電荷が転送され、各イメージセンサ２３，３３から画像信号として出力される。そして、第１イメージセンサ２３からの第１画像信号は、ＣＤＳ回路２４，ＡＭＰ２５，Ａ／Ｄ変換器２６を経て第１画像データに変換されて差分算出部１５に送られる。また、第２イメージセンサ３３からの第２画像信号は、ＣＤＳ回路３４，ＡＭＰ３５，Ａ／Ｄ変換器３６を経て第２画像データに変換されて差分算出部１５に送られる。
【００４４】
第１画像データ，第２画像データが入力されると差分算出手段１５ａにより、第１画像データと第２画像データとの対応する画素同士で、第１画像データの画素値から第２画像データの画素値を減算する処理が行われ、１画面分の主測定差分画像データが生成される。
【００４５】
また、主測定動作の次のフレーム期間内では、副測定動作が行われ、時間Ｔｐの幅を持つパルス状の検出光がＬＥＤ１０から照射される。そして、被写体で反射した検出光と、他の光源からの外光が被写体で反射された外光成分が光学系１１に入射する。光学系１１に入射した光は、その半分がハーフミラー１２を透過して第１ＢＰＦ２１を介して第１高速シャッタ２２に入射し、残り半分がハーフミラー１２で反射されて第２ＢＰＦ３１を介して第２高速シャッタ３２に入射する。
【００４６】
各高速シャッタ２２，３２が検出光の照射に同期して時間Ｔｓ２の間だけ開状態となり、この間に入射する光だけが各イメージセンサ２３，３３に入射して各画素で受光され、その受光量に応じた電荷が蓄積される。第１イメージセンサ２３の各画素で受光される光には、主測定動作の場合と同様に被写体で反射した検出光成分と外光が被写体で反射した第１透過波長域の外光成分とが含まれる。しかし、その検出光成分は測定距離範囲内からのものであっても距離とは無関係な受光時間であり、その長さは時間Ｔｐとなる。また、第２イメージセンサ３３の各画素で受光される光は、検出光成分を含まず第２透過波長域の外光成分だけであり、この場合にもその各画素の受光量は対応する第１イメージセンサ２３の画素が受光する外光成分のものとほぼ同じになる。
【００４７】
副測定動作の次のフレーム期間となると、副測定動作の受光結果に基づく画像信号が各イメージセンサ２３，３３から出力され、それぞれＣＤＳ回路，ＡＭＰ，Ａ／Ｄ変換器を経て第１画像データ，第２画像データに変換されて差分算出部１５に送られる。そして、これら第１画像データと第２画像データとの対応する画素同士で第１画像データの画素値から第２画像データの画素値を減算する処理を行い、１画面分の副測定差分画像データが生成される。
【００４８】
いずれの測定動作であっても、第１イメージセンサ２３の受光で得られる画素値から、この第１イメージセンサ２３の受光する外光成分とほぼ同じ受光量を受光するようにした第２イメージセンサ３３の対応する画素値を減算しているので、求められる各差分画像データの各画素値は、検出光成分について受光した結果を精度良く近似したものとなっている。
【００４９】
上記のようにして差分演算部１５で算出された主測定差分画像データ及び副測定差分画像データが補正演算部１６に送られる。そして、この補正演算部１６により、主測定差分画像データと副測定差分画像データとの対応する画素同士で、副測定差分画像データの画素値に対する主測定差分画像データの画素値の比を演算する処理を各画素について行われ、各画素値が被写体までの距離を示す距離画像が作成される。
【００５０】
以上のようにして、屋外や室内などで他の光源から検出光と同じ波長域ないし第１ＢＰＦ２１の第１透過波長域と同じ波長域の光が照射されていても、被写体までの距離を正確に測定した距離画像が作成される。そして、補正演算部１６で作成された距離画像が距離変換部１７に送られ、各画素値が実際の距離となるように変換され、それが例えば画像加工用コンピュータに送られる。
【００５１】
図４は、第２透過波長域の光が検出されない場合に第２測定系の作動を停止させる第２実施形態を示すものである。なお、以下に説明する他は、上記第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００５２】
この例では、システム制御部１０が第２イメージセンサ３３から出力される第２画像信号を調べ、その第２画像信号が所定の閾値よりも小さい場合には、外光の影響を受けることなく第１測定系で検出光の受光を行えるものと判断して、第２イメージセンサ３３を含む第２測定系の各部をＯＦＦとする。また、外光の影響がないことが明らかな撮影環境下などで操作部１８ａを操作して第２イメージセンサ３３のＯＦＦを選択することにより、第２測定系の各部がＯＦＦとなるようにしてある。
【００５３】
これによれば、第２測定系の各部がＯＦＦとなることにより、消費電力の低減させることができる。なお、第２測定系の各部をＯＦＦとした場合には、差分画像データを作成せずに距離画像を作成する。
【００５４】
なお、図５，図６に示す例のようには、第２測定系の各部をＯＦＦとした場合に、光学系１１からの光を第１測定系に直接入射させるようにしてもよい。この例では、ハーフミラー４１が図５に実線で示されるように、光学系１１の光路中に挿入されて、光学系１１からの光の半分を第１測定系に向けて透過し、残りの半分を第２測定系に向けて反射する挿入位置と、二点鎖線で示すように、光学系１１の光路から退避し、光学系１１からの光の全部を第１測定系に入射させる退避位置との間で移動自在としてある。そして、第２測定系の各部がＯＦＦとされると、アクチュエータ４２によってハーフミラー４１が挿入位置から退避位置に移動される。これにより、第２測定系の各部を作動させる必要がない場合に、第１測定系への光量を増やすことができ、実質的な感度を上げることができる。
【００５５】
図７，図８は、１枚のイメージセンサを用いた第３実施形態を示すものである。なお、以下に説明する他は、最初の実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその説明を省略する。
【００５６】
図７に示すように、距離画像作成装置には、１個のイメージセンサ５１を設けてあり、光学系１１からの光が高速シャッタ５２を介して入射するようにしてある。高速シャッタ５２は、シャッタ駆動回路１３によって第１実施形態の高速シャッタと同様に駆動される。
【００５７】
イメージセンサ５１の受光面には、図８に示すように、多数のＩＲ１画素５１ａとＩＲ２画素５１ｂとを設けてあり、これらＩＲ１画素５１ａとＩＲ２画素５１ｂは縦方向と横方向に交互に配列し千鳥状の配列としてある。各ＩＲ１画素５１ａは、それぞれの前面に第１透過波長域を透過させるバンドパスフィルタを設けてあり、第１透過波長域の光を受光するようにしてある。また、各ＩＲ２画素５１ｂは、それぞれの前面に第２透過波長域を透過させるバンドパスフィルタを設けてあり、第２透過波長域の光を受光するようにしてある。
【００５８】
ＣＤＳ回路２４，ＡＭＰ回路２５，Ａ／Ｄ変換器２６を経て、ＩＲ１画素５１ａに対応する画像信号が第１画像データとして、ＩＲ２画素５１ｂに対応する画像信号が第２画像データとしてそれぞれ画素素ごとにデジタル変換されて差分算出部１５に送られる。差分算出部１５は、ＩＲ１画素５１ａの第１画像データからそれに隣接したＩＲ２画素５１ｂの第２画像データを減算した差分画像データを各ＩＲ１画素５１ａについて求める。これにより、ＩＲ１画素５１ａの画素値からそのＩＲ１画素５１ａが受光する第１透過波長域の外光成分とほぼ同じ光量分を排除することができる。
【００５９】
なお、差分画像データを求める際に、対象となるＩＲ１画素５１ａの上下左右のいずれの位置のＩＲ２画素５２ｂの画像データを用いてもよいし、上下，左右の２個のＩＲ２画素５２ｂの画像データの平均値や、周囲のＩＲ２画素５２ｂの画像データの平均値を用いてもよい。また、ＩＲ１画素５１ａとＩＲ２画素５１ｂとを千鳥状に配列しているが、ＩＲ１画素５１ａ，ＩＲ２画素５１ｂを水平方向に交互に並べ、垂直方向には同じ種類の画素同士が１列に並ぶように配列してもよいし、逆にＩＲ１画素５１ａ，ＩＲ２画素５１ｂを垂直方向に交互に並べ、水平方向には同じ種類の画素同士が１列に並ぶように配列してもよい。
【００６０】
また、可視光で被写体を撮影するイメージセンサの画素を対応づけるには、種々の手法が採用できる。例えば、可視光で被写体を撮影するイメージセンサとイメージセンサ５１の画素数が同じ場合、ＩＲ２画素５１ｂの位置の画素値として、そのＩＲ２画素５１ｂの左右ないし周囲のＩＲ１画素５１ａに対応した各画素値から算出される平均値を用いてもよいし、周囲のいずれかの１個のＩＲ１画素５１ａに対応した画素値を用いるようにしてもよい。
【００６１】
図９は、１個の撮影レンズを用いて、被写体を可視光で撮影するとともに、距離画像作成装置によって距離を測定する第４実施形態を示している。光学系１１の背後にハーフミラー５５を配してある。このハーフミラー５１は、光学系１１からの光の半分を撮影装置５６に向けて透過し、残りの半分を距離画像作成装置５７のハーフミラー１２に向けて反射する。なお、ハーフミラー５１による透過と反射の光量の比率は１：１に限られるものではない。
【００６２】
撮影装置５６は、イメージセンサ５８で被写体を可視光で撮影するものであり、ハーフミラー５１とイメージセンサ５８との間に可視光だけを透過するバントパスフィルタ５９を配してある。イメージセンサ５８は、ハーフミラー−５１，バンドパスフィルタ５９を透過した可視光を受光し画像信号を出力する。距離画像作成装置５７は、光学系１１が上記のように撮影装置５６と共用されている他は、最初の実施形態と同じとなっている。
【００６３】
これによれば、撮影装置５６による撮影範囲と同じ範囲の距離画像を距離画像作成装置５７で容易に作成することができる。なお、距離画像作成装置としては、最初の実施形態のものに限らず、他の実施形態のものであってもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明を実施した距離画像作成装置の構成を示すブロック図である。
【図２】第１，第２バンドパスフィルタの透過波長域を示すグラフである。
【図３】検出光の照射タイミングと高速シャッタの開閉タイミングを示すタイミングチャートである。
【図４】第２イメージセンサの出力が閾値よりも小さい場合に、第２測定系の作動を停止させる第２実施形態の処理を示すフローチャートである。
【図５】第２測定系の作動を停止させる際にハーフミラーを撮影レンズの光路から退避させる例における距離画像作成装置の要部構成を示すブロック図である。
【図６】ハーフミラーを撮影レンズの光路から退避させる例における処理を示すフローチャートである。
【図７】１個のイメージセンサ上に２種類の画素を配置した第３実施形態における距離画像作成装置の構成を示すブロック図である。
【図８】第３実施形態におけるイメージセンサの受光面上の画素の配列を示す説明図である。
【図９】撮影装置と光学系を共通にした第４実施形態を示す要部構成図である。
【符号の説明】
【００６５】
２  距離画像作成装置
１０  光源
１１  撮影レンズ
１２，４１  ハーフミラー
１５  差分算出部
１６  補正演算部
２１，３１  バンドパスフィルタ
２２，３２  高速シャッタ
２３，３３，５１  イメージセンサ
４２  アクチュエータ
５１ａ，５１ｂ  画素
【図１】
2008128792.tif 000003
【図２】
2008128792.tif 000004
【図３】
2008128792.tif 000005
【図４】
2008128792.tif 000006
【図５】
2008128792.tif 000007
【図６】
2008128792.tif 000008
【図７】
2008128792.tif 000009
【図８】
2008128792.tif 000010
【図９】
2008128792.tif 000011