(57)【要約】  距離測定装置において、駆動制御部（１０３）は測定条件に従って、発光タイミング信号（ＳＧ１）と露光タイミング信号（ＳＧ２）とを生成する。光源（１０４）は発光タイミング信号（ＳＧ１）に従って光を照射する。固体撮像素子（１０９）は、行列状に配置されライン単位で複数の領域に分割された画素群を有し、露光タイミング信号（ＳＧ２）に従って領域毎に選択的に露光を行う。撮像信号処理部（１０１）は固体撮像素子（１０９）から出力された信号を演算し、距離情報を得る。駆動制御部（１０３）は、固体撮像素子（１０９）の各領域に対して、互いに異なる測定条件を適用する。
2014207983.tif 000002
【特許請求の範囲】
【請求項１】
ＴＯＦ(Time of Flight)方式を利用した距離測定装置であって、
発光タイミング信号に従って光を照射する光源と、
所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
行列状に配置された画素群を有し、前記画素群はライン単位で複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する固体撮像素子と、
前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する
ことを特徴とする距離測定装置。
【請求項２】
請求項１記載の距離測定装置において、
前記固体撮像素子は、前記画素群が、偶数ラインからなる第１領域と、奇数ラインからなる第２領域とに分割されており、
前記駆動制御部は、前記第１領域に対して第１条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成し、前記第２領域に対して、前記第１条件とは異なる第２条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する
ことを特徴とする距離測定装置。
【請求項３】
請求項２記載の距離測定装置において、
前記固体撮像素子は、偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されている
ことを特徴とする距離測定装置。
【請求項４】
請求項１記載の距離測定装置において、
前記駆動制御部は、前記互いに異なる測定条件として、露光回数、照射光の発光幅、または、前記発光タイミング信号に対する前記露光タイミング信号の位相、のうち少なくとも１つが異なる条件を用いる
ことを特徴とする距離測定装置。
【請求項５】
請求項１記載の距離測定装置において、
前記固体撮像素子の同一領域に対して、複数の測定条件に従って距離測定を行い、
前記撮像信号処理部は、前記複数の条件における演算結果から、距離情報の補正を行う
ことを特徴とする距離測定装置。
【請求項６】
請求項１記載の距離測定装置において、
複数の測定条件における距離測定において、前記光源を発光させないで撮影する背景光露光を、共通に行う
ことを特徴とする距離測定装置。
【請求項７】
請求項１記載の距離測定装置において、
前記撮像信号処理部は、演算結果を基にして、前記駆動制御部に測定条件を調整するよう指示する
ことを特徴とする距離測定装置。
【請求項８】
請求項７記載の距離測定装置において、
前記撮像信号処理部は、演算結果から得られた距離情報が第１の所定距離よりも近いとき、照射光の発光幅を短くなるように、または、演算結果から得られた距離情報が第２の所定距離よりも遠いとき、照射光の発光幅を長くするように、前記駆動制御部に指示する
ことを特徴とする距離測定装置。
【請求項９】
請求項７記載の距離測定装置において、
前記撮像信号処理部は、前記固体撮像素子の出力から、飽和の有無、または、飽和領域の面積を監視し、この監視結果に基づいて、露光回数を調整するよう、前記駆動制御部に指示する
ことを特徴とする距離測定装置。
【請求項１０】
ＴＯＦ(Time of Flight)方式を利用した距離測定装置であって、
発光タイミング信号に同期して光を照射する光源と、
所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
行列状に配置された画素群を有し、前記露光タイミング信号に従って露光を行い、前記画素群に蓄積された電荷を出力する固体撮像素子と、
前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
前記光源と前記固体撮像素子とは離間して配置されており、かつ、前記光源の照射方向が、前記距離測定装置の前方正面から前記固体撮像素子の側に斜めに向いている
ことを特徴とする距離測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、距離測定装置に関し、特に、光源と固定撮像素子により光の遅延を用いて距離を測定する距離測定装置に関する。
【背景技術】
【０００２】
近年、マイクロソフト社のＫＩＮＥＣＴの登場により、距離や形状を測定する３Ｄ測距装置が注目されている。さらに、低価格化に対応するため、１つのセンサにより近距離から遠距離、明部から暗部等の様々な条件で、距離を測定したいという要求が高まってきている。それを解決するために、複数回の露光を用いて距離を測定する方法が検討されているが、条件を変えて測定を行うためにフレームメモリを持ち、セットとしてのコストが増大しがちである。【０００３】
特許文献１では、例えば、撮像信号処理部がフレームメモリを備えており、シェーディング等の補正がされたデジタル画像データが、フレームメモリに蓄積される。フレームメモリ内のデジタル画像データは、画像信号処理部からの要求に応じて，インタフェース部を経由して出力される。画像信号処理部は例えば、被写体へ照射した光の反射光を受光することにより光飛行時間計測法（ＴＯＦ：Time of Flight）を用いて光飛行時間を測定し、光飛行時間に基づいて被写体までの距離を測定したり、被写体の３次元画像を得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９５７３４号公報（図１９）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の距離測定装置は、露光量の変化による違いを記憶するため、フレームメモリを持ち、このため、距離測定装置が大型化かつ高価になるという問題がある。【０００６】
そこで、本開示では、安価かつ様々な条件で高精度に距離を測定することができる距離測定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様では、ＴＯＦ(Time of Flight)方式を利用した距離測定装置は、発光タイミング信号に従って光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、行列状に配置された画素群を有し、前記画素群はライン単位で複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する固体撮像素子と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する。【０００８】
この態様によると、固体撮像素子の複数の領域に対して、それぞれ異なる測定条件に従って発光と露光を行うことができ、得られた画素群の電荷が、信号として撮像信号処理部に与えられる。このため、複数の測定条件における距離の演算を、同一フレームで行うことができる。したがって、測定条件の違いによる露光量の変化を記憶するためのフレームメモリが不要となり、距離測定装置のサイズやコストを低減することができる。【０００９】
本開示の別の態様では、ＴＯＦ(Time of Flight)方式を利用した距離測定装置は、発光タイミング信号に同期して光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、行列状に配置された画素群を有し、前記露光タイミング信号に従って露光を行い、前記画素群に蓄積された電荷を出力する固体撮像素子と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記光源と前記固体撮像素子とは離間して配置されており、かつ、前記光源の照射方向が、前記距離測定装置の前方正面から前記固体撮像素子の側に斜めに向いている。【００１０】
この態様によると、光源から照射された光が測定対象物において反射して固体撮像素子に入るまでの時間が、測定対象物の全体に対してほぼ等しくなる。したがって、精度のよい距離の測定を行うことができる。
【発明の効果】
【００１１】
本開示によると、小型かつ低コストの距離測定装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る距離測定装置の構成例を示す図である。
【図２】ＴＯＦ方式の動作を示す図である。
【図３】ＴＯＦ方式の動作を示す図である。
【図４】固定撮像素子の画素配列および領域分割の例を示す図である。
【図５】（ａ），（ｂ）は実施の形態１における測定条件の変更の例を示す図である。
【図６】（ａ），（ｂ）は実施の形態１における測定条件の変更の例を示す図である。
【図７】（ａ），（ｂ）は実施の形態１における測定条件の変更の例を示す図である。
【図８】実施の形態１における測定条件の変更の例を示す図である。
【図９】固定撮像素子の画素配列および領域分割の他の例を示す図である。
【図１０】固定撮像素子の画素配列および領域分割の他の例を示す図である。
【図１１】同一領域に複数の測定条件を適用する例を示す概念図である。
【図１２】背景光の露光を共通化する例を示す概念図である。
【図１３】実施の形態２に係る距離測定装置の構成例の一部を示す図である。
【図１４】実施の形態３に係る距離測定装置の構成例を示す図である。
【図１５】実施の形態３における効果を説明するための図である。
【図１６】実施の形態３における効果を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、実施形態について、図面を参照しながら詳細に説明する。
【００１４】
（実施の形態１）
図１は実施の形態１に係る距離測定装置の構成を示すブロック図である。図１に示す距離測定装置は、ＴＯＦ（Time of Flight）方式を利用するものであり、撮像信号処理部１０１、光源ドライバ１０２、駆動制御部１０３、光源１０４、および固体撮像素子１０９を備えている。撮像信号処理部１０１は、ＡＦＥ（アナログフロントエンド）１１０、信号補正処理部１１１、ラインメモリ１１２，１１３，１１４、合成部１１５、およびＴＯＦ演算部１１６を備えている。
【００１５】
駆動制御部１０３は、所定の条件に従って、発光タイミング信号ＳＧ１と、これに対応する露光タイミング信号ＳＧ２とを生成する。発光タイミング信号ＳＧ１により光源ドライバ１０２が制御され、光源１０４が対象物ＯＢに向かって光Ｌ１を照射する。照射光Ｌ１は所定の発光幅を持つパルス波形の光である。
【００１６】
照射光Ｌ１は対象物ＯＢによって反射し、この反射光Ｌ２は固体撮像素子１０９が受光する。固体撮像素子１０９は行列状に配置された画素群を有しており、露光タイミング信号ＳＧ２に従って露光を行い、画素群に蓄積された電荷を信号として撮像信号処理部１０１に出力する。
【００１７】
撮像信号処理部１０１に入力された電荷信号はＡＦＥ１１０でＡＤ変換され、変換後のデジタルデータが信号補正処理部１１１に入力される。信号補正処理部１１１では、レベル補正、フィルタ処理が行われる。そして本実施形態では、固体撮像素子１０９の画素群におけるライン単位で、ラインメモリ１１２にデータが保持される。ラインメモリ１１２に保持されたデータは、ライン単位で、ラインメモリ１１３、１１４に順次転送される。合成部１１５は、信号補正処理部１１１の出力と各ラインメモリ１１２，１１３，１１４の出力を用いて、補間合成処理を行う。ＴＯＦ演算部１１６は、合成部１１５から出力されたデータを用いて距離の計算を行い、計算の結果得られた距離データＤ０を出力する。
【００１８】
図２および図３を用いてＴＯＦ方式の距離測定法を説明する。ＴＯＦ方式では、光源から照射される光の反射光を全て受光するＳ０露光、光源から照射される光の一部の反射光を受光するＳ１露光、および、光源を発光させずに背景光のみを受光するＢＧ露光を行う。これらの３種類の露光をそれぞれ１回もしくは複数回ずつ繰り返して電荷を蓄積し、その蓄積した電荷量をデジタル値（Ｓ０、Ｓ１、ＢＧ）に変換する。そして、（Ｓ０−ＢＧ）と（Ｓ１−ＢＧ）を計算し、これらの比より距離を計算する。その距離計算式は、発光パルス幅をＴ０、光の速度をｃとすると、露光信号のタイミングとして図２のように、Ｓ１露光の露光信号の終了時間が反射光のパルス期間内に存在する場合、
【００１９】
【数１】
2014207983.tif 000003
【００２０】
となる。また、露光信号のタイミングとして図３のように、Ｓ１露光の露光信号の開始時間が反射光のパルス期間内に存在してもよく、その場合、距離計算式は、
【００２１】
【数２】
2014207983.tif 000004
【００２２】
となる。
【００２３】
本実施形態では、固体撮像素子１０９の画素群は、ライン単位で複数の領域に分割されているものとする。そして固体撮像素子１０９は、露光タイミング信号ＳＧ２に従って、領域毎に選択的に露光を行う。駆動制御部１０３は、固体撮像素子１０９における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成することができる。
【００２４】
図４は固定撮像素子１０９における画素配列および領域分割の一例である。図４では、固定撮像素子１０９の画素群は、ライン単位で、３個の領域ＡＲ１，ＡＲ２，ＡＲ３に分割されている。なお、領域のサイズや個数は図４に示したものに限られるものではない。
【００２５】
図５（ａ），（ｂ）は測定条件の変更の例を示す図である。図５の例では、上述したＳ０露光およびＳ１露光における露光の繰り返し回数を、条件によって変えている。図５（ａ）の条件では、露光を６回ずつ繰り返しており、図５（ｂ）の条件では、露光を３回ずつ繰り返している。露光の繰り返し回数が多ければ、それだけ多くの電荷を貯めることができ、より正確な距離の計算を行うことができる。ところが、貯めた電荷量が飽和上限を超えた場合は、正しく計算を行うことができない。したがって、各領域、例えば図５の領域ＡＲ１，ＡＲ２，ＡＲ３において、それぞれ露光回数を調整することにより、各領域内で飽和しない最大光量で露光することができる。したがって精度の高い測定を行うことができる。
【００２６】
なお、上述の説明では、測定条件において露光の繰り返し回数を変える例について説明したが、これに限られるものではない。例えば、照射光の発光幅、または、発光タイミング信号に対する、その対となる露光タイミング信号の位相を、測定条件によって変えてもよい。この場合、測定対象の距離に応じて最適な条件の測定結果を選択して使用し、正確な測定を行うことができる。さらに、これら露光の繰り返し回数、照射光の発光幅、または発光タイミング信号に対する露光タイミング信号の位相の組み合わせを、測定条件によって変えてもよい。
【００２７】
図６（ａ），（ｂ）は測定条件の変更の他の例を示す図である。図６の例では、上述したＳ０露光およびＳ１露光における照射光の発光幅を、条件によって変えている。露光期間が短く、かつ測定対象までの距離が遠い場合は、露光期間中に反射光が戻らず、正しく距離を測定することができない。そこで例えば、発光幅が大きい図６（ａ）の条件による測定結果から遠距離までを測定し、そこで得られた距離から、測定対象が、発光幅が小さい図６（ｂ）の条件でも十分測定が可能な近距離であると判断したとき、図６（ｂ）の条件での測定結果を採用する。
【００２８】
測定できる最大距離は反射光の遅延が発光幅と等しくなる場合であり、発光幅が短いほど測定可能距離は短くなる。反射光の遅延が、発光幅以上となると常に受光量が背景光と等しくなるため距離による変化がなくなり距離を測定できない。一方、測定可能距離が短くなると分解能が高くなり、より細かい測定ができる。これにより、距離に応じて最適な発光幅での距離測定を行うことができるようになる。
【００２９】
図７（ａ），（ｂ）および図８は測定条件の変更の他の例を示す図である。図７および図８の例では、上述したＳ０露光およびＳ１露光における発光タイミング信号に対する、その対となる露光タイミング信号の位相を、条件によって変えている。図７（ａ）の条件では、発光とその対となる露光タイミングとの位相差を比較的小さくし、図７（ｂ）の条件では、発光とその対となる露光タイミングとの位相差を比較的大きくして、距離の測定を行っている。距離が近い対象物の場合、反射光が戻ってくるまでの時間が短いので、図７（ａ）のような発光と露光との位相差が比較的小さい条件で測定でき、距離が遠い対象物の場合、反射光が戻ってくるまでの時間が長いので、図７（ｂ）のような発光と露光との位相差が比較的大きい条件で測定できる。この２つの条件の結果を合成することで、近距離から遠距離まで正確に距離の測定を行うことができる。また距離測定の分解能は受光信号量に依存するので、発光と露光との位相差が比較的大きい条件において、発光幅を大きくする、あるいは発光・露光回数を大きくすることによって、距離が遠い対象物からの反射光の強度が小さくなることによる受光量低下を防ぐことができる。これにより、近距離だけでなく遠距離でも分解能が高く精度が高い距離の測定を行うことができる。
【００３０】
また図８に示すような、測定対象物の中に、近距離かつ高反射測定対象物と、遠距離かつ低反射測定対象物の両方が存在する場合、レンズ等の光学系において、強度の強い近距離かつ高反射測定対象物からの反射光が、強度の弱い遠距離かつ低反射測定対象物からの反射光に混入するため、同一の発光とその対となる露光タイミング位相で受光すると、遠距離かつ低反射測定対象物のＳ０露光及びＳ１露光の期待光成分（Ｓ０ａ，Ｓ１ａ）に、近距離かつ高反射測定対象物によるＳ０露光及びＳ１露光の妨害光成分（Ｓ０ｎ，Ｓ１ｎ）が加算され、実際よりも近い距離として誤差が大きく測定されてしまう。そこで、Ｓ０露光信号として、近距離かつ高反射測定対象物からの反射光を全て受光しかつ遠距離かつ低反射測定対象物からの反射光を受光しない位相と、遠距離かつ低反射測定対象物からの反射光を全て受光しかつ近距離かつ高反射測定対象物からの反射光を受光しない位相の２条件、Ｓ１露光信号として、近距離かつ高反射測定対象物からの反射光の一部を受光しかつ遠距離かつ低反射測定対象物からの反射光を受光しない位相と、遠距離かつ低反射測定対象物からの反射光の一部を受光しかつ近距離かつ高反射測定対象物からの反射光を受光しない位相の２条件、で受光を行う。これにより、遠距離かつ低反射測定対象物のＳ０露光及びＳ１露光の期待光成分（Ｓ０ａ，Ｓ１ａ）に、近距離かつ高反射測定対象物によるＳ０露光及びＳ１露光の妨害光成分（Ｓ０ｎ，Ｓ１ｎ）が加算されることはなく、誤差なく正確に距離の測定を行うことができる。
【００３１】
なお、変更する測定条件の数は、２条件に限らず、３条件以上あってもよい。また、測定条件の変更に関しては、他にも例えば、発光するパルス光を変更する、複数の発光体がある場合、発光させる発光体を変更する、Ｓ０露光では反射光の前半を受光し、Ｓ１露光では反射光の後半を受光する、などであってもよい。
【００３２】
また、固体撮像素子１０９において、画素群が、偶数ラインからなる第１領域と、奇数ラインからなる第２領域とに分割されており、偶数ラインと奇数ラインとで発光と露光の条件を変えて測定を行うようにしてもよい。この場合、１ラインごとに測定条件が異なるため、上下のラインより、垂直方向に容易に補間を行うことができる。
【００３３】
図９は固体撮像素子１０９の画素配列および領域分割の他の例を示す図である。例えば、固体撮像素子１０９は、距離測定のための撮像を、偶数ラインと奇数ラインとで時分割で行う。駆動制御部１０３は、偶数ラインからなる第１領域に対して例えば図５（ａ）に示す第１条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成し、奇数ラインからなる第２領域に対して例えば図５（ｂ）に示す第２条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成する。この結果、偶数ラインでは露光回数が多い第１条件で撮像され、奇数ラインでは露光回数が少ない第２条件で撮像される。固体撮像素子１０９は、２つの条件での撮像によって得られた画素ごとの電荷をフレーム単位で連続して転送する。
【００３４】
そして、偶数ラインにおける測定値と奇数ラインにおける測定値とを互いに補間しあうことにより、全ての画素について、第１条件における信号（Ｓ０，Ｓ１，ＢＧ）と、第２条件における信号（Ｓ０，Ｓ１，ＢＧ）信号を得ることができる。
【００３５】
図９に示す例では、第２条件での測定結果しか持たない奇数ラインの画素Ｐ１Ｘを、第１条件での測定結果を持つ周囲の６個の画素Ｐ１Ａ，Ｐ１Ｂ，Ｐ１Ｃ，Ｐ１Ｄ，Ｐ１Ｅ，Ｐ１Ｆにより補間する。この演算処理を行うにあたり、ラインメモリ１１２，１１３，１１４が用いられる。データはライン順に流れるため、画素Ｐ１Ａ，Ｐ１Ｂ，Ｐ１Ｃが存在する水平ラインが、ラインメモリ１１２，１１３を通ってラインメモリ１１４に格納される。このとき、画素Ｐ１Ｘが存在する水平ラインはラインメモリ１１２を通ってラインメモリ１１３に格納され、画素Ｐ１Ｄ，Ｐ１Ｅ，Ｐ１Ｆが存在する水平ラインはラインメモリ１１２に格納される。
【００３６】
合成部１１５は、ラインメモリ１１２，１１３，１１４から読み出された画素データを用いて、補間演算を行う。例えば、
Ｐ１Ｘ＝（Ｐ１Ａ＋２×Ｐ１Ｂ＋Ｐ１Ｃ＋Ｐ１Ｄ＋２×Ｐ１Ｅ＋Ｐ１Ｆ）／８
とする。なお、上式の記号は当該画素のデータを意味している。
【００３７】
このような計算により、全ての画素において、第１条件と第２条件との両方の結果を得ることができる。そこで例えば、露光回数が多い第１条件でＳ０信号が飽和している画素については、露光回数が少ない第２条件の結果を採用し、それ以外の画素については、第１条件の結果を採用する。これにより、全画素において最適な条件での結果を選択することができるため、精度を高めることができる。
【００３８】
また、固体撮像素子１０９は、偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されていてもよい。この場合、被補間画素の右上、左上、右下、左下の４画素より、容易に補間を行うことができる。
【００３９】
図１０は固体撮像素子１０９の画素配列および領域分割の他の例を示図である。図１０のような画素配列の場合、図９の画素配列と比較すると、平易な計算で全ての画素において第１条件と第２条件の両方の結果を得ることができ、さらに水平解像度も高めることができる。
【００４０】
例えば、第２条件での測定結果しか持たない奇数ラインのＰ２Ｘを、第１条件での測定結果を持つ周囲の４個の画素Ｐ２Ａ，Ｐ２Ｂ，Ｐ２Ｃ，Ｐ２Ｄにより補間する。補間演算は、例えば、
Ｐ２Ｘ＝（Ｐ２Ａ＋Ｐ２Ｂ＋Ｐ２Ｃ＋Ｐ２Ｄ）／４
とする。なお、上式の記号は当該画素のデータを意味している。
【００４１】
このように、４個の画素データの平均をとるという平易な計算によって、全て画素について、第１条件と第２条件の両方の結果を得ることができる。
【００４２】
また、上述の距離測定装置において、固体撮像素子１０９の同一領域に対して、複数の測定条件を適用する構成にしてもよい。この構成によれば、複数の測定条件による測定結果を比較することにより、測定結果の補正を行うことができる。
【００４３】
図１１は同一領域に複数の測定条件を適用する例を示す概念図である。ここでは、条件１と条件２の測定結果から、同じ測定点においてそれぞれ距離を算出し、その結果を比較することにより、補正を行う。複数の条件で測定を行った場合、同じ測定対象では、距離が同一になるはずである。このため、センサの飽和などにより正しく測定されていない場合を除いて、演算結果から計算される距離は同一にならなければいけない。そこで、距離の演算結果が同一になるように、パラメータを計算する。
【００４４】
具体的には例えば、図１１における測定点Ｄ０１，Ｄ０２において、条件１における演算値Ｖ１１，Ｖ１２と、条件２における演算値Ｖ２１，Ｖ２２とを得る。ここで、演算値Ｖ１１で計算される距離と演算値Ｖ２１で計算される距離とは同一にならなければならず、また、演算値Ｖ１２で計算される距離と演算値Ｖ２２で計算される距離とは同一にならなければならない。このため、これらの測定結果から、距離と演算値の関数を求めることができる。この関数の変数が上述のパラメータに相当する。これにより、リアルタイムにキャリブレーションを行いながら、距離の測定を行うことができる。
【００４５】
また、上述の距離測定装置において、光源を発光させないで撮影する背景画像を複数の条件での演算に共通して用いる構成にしてもよい。この構成によれば、背景画像の撮影を条件ごとに行わなくてもよくなり、撮像時間を短くすることができる。
【００４６】
図１２は複数の測定条件において背景光の露光を共通化する例を示す概念図である。背景光の露光は、光源の発光を伴わないため、露光条件が変わっても一定の比率となる。このため、露光の比で計算することにより、１度にすべての画素を露光することにより背景光を測定することができる。そこで例えば、図１２に示すように、第１条件での測定と第２条件での測定とにおいてＢＧ露光を共有する。共有することにより、背景光の露光は１回で済む。これにより、背景光の露光時間を減らすことができ、フレームレートを上げることができる。
【００４７】
（実施の形態２）
距離測定装置において、固体撮像素子の出力値の演算結果により、露光や発光の条件を変更してもよい。この構成によれば、対象物や測定環境に最適な測定条件をリアルタイムに反映することができ、さらに精度のよい測定を行うことができる。実施の形態２では、距離測定装置は、測定した結果より測定条件を変更する。
【００４８】
図１３は実施の形態２に係る距離測定装置の構成の一部を示すブロック図である。なお、実施の形態１と実質的に同一の構成に対する重複説明を省略する場合がある。図１３において、撮像信号処理部１０１Ａでは、合成部１１５が、複数の条件による測定について演算を行い、その結果を基にして、制御信号ＳＣによって、駆動制御部１０３に測定条件を調整するよう指示する。これにより、リアルタイムに測定条件を変更しながら距離の測定を行うことができ、対象物や測定環境に最適な測定条件をリアルタイムに反映することができる。したがって、さらに精度のよい測定を行うことができる。
【００４９】
具体的には例えば、照射光の発光幅を調整したり、露光回数を調整したりする。例えば、合成部１１５で演算された距離が想定した距離より近い場合、測定対象との距離を正確に測るために最適な発光幅となるように、制御信号ＳＣによって、駆動制御部１０３に照射光の発光幅を短くするよう指示する。一方、合成部１１５で演算された距離が想定した距離より遠い場合、測定対象との距離を正確に測るために最適な発光幅となるように、制御信号ＳＣによって、駆動制御部１０３に照射光の発光幅を長くするよう指示する。
【００５０】
あるいは、飽和の有無、または、飽和面積を監視し、この監視結果に基づいて、露光回数を調整する。例えば、露光回数が多い条件において、Ｓ０信号の最大値を監視し、飽和が起こらないように、合成部１１５は制御信号ＳＣによって駆動制御部１０３に露光回数の調整を指示する。または、露光回数が少ない条件において、Ｓ０信号の飽和領域の面積を監視し、この面積が所定値を超えたとき、合成部１１５は制御信号ＳＣによって駆動制御部１０３に露光回数を少なくするよう指示する。一方、逆に飽和領域の面積が他の所定値より小さいとき、合成部１１５は制御信号ＳＣによって駆動制御部１０３に露光回数を多くするよう指示する。
【００５１】
このような制御により、対象物や測定環境にあった測定条件、例えば発光幅や露光回数を設定することができるので、さらに精度のよい測定を行うことができる。
【００５２】
（実施の形態３）
距離測定装置の利用形態によっては、測定対象物の正面に光源および固体撮像素子を配置することが困難な場合がある。例えば、画面操作をジェスチャーで行う装置に利用する場合、操作者の正面にはモニタが配置されるため、画面を指す指の動きや手の形などを検出するための距離測定装置は、操作者の正面に置くことが困難である。
【００５３】
実施の形態３では、距離測定装置において、光源と固体撮像素子とを離間して配置するものとする。そして、光源の照射方向を、距離測定装置の前方正面から固体撮像素子の側に斜めに傾けているものとする。すなわち、測定対象物の斜めから照射光が当たるように光源を配置し、その照射光が反射する方向に固定撮像素子を配置する。この構成により、光源から照射された光が測定対象物において反射して固体撮像素子に入るまでの時間が、測定対象物の全体に対してほぼ等しくなる。したがって、精度のよい距離の測定を行うことができる。
【００５４】
図１４は実施の形態３に係る距離測定装置の構成例を示すブロック図である。なお、実施の形態１と実質的に同一の構成に対する重複説明を省略する場合がある。図１４の構成では、光源１０４と固体撮像素子１０９とが離間して配置されている。そして、光源１０４の照射光Ｌ１が対象物ＯＢに斜めから当たるように、光源１０４の照射方向が、距離測定装置の前方正面から固体撮像素子１０９の方に傾けられている。そして、固体撮像素子１０９は、対象物ＯＢで反射した反射光Ｌ２を受光する。この構成によって、照射光Ｌ１が光源１０４を出てから、対象物ＯＢで反射し、反射光Ｌ２が固体撮像素子１０９に届くまでの時間が、対象物ＯＢの全体においてほぼ等しくなる。  
【００５５】
これについて、図１５および図１６を用いて説明する。図１５は光源と固体撮像素子が離間せずほぼ同じ位置にある場合を示している。図１５（ａ）に示すように、光源１に近い領域Ｂ１の場合は、照射光が被写体Ａに当たるまでの距離と、その反射光が固体撮像素子２に戻るまでの距離とが両方とも短い。一方、図１５（ｂ）に示すように、光源１から遠い領域Ｂ２の場合は、照射光が被写体Ａに当たるまでの距離と、その反射光が固体撮像素子２に戻るまでの距離とが両方とも長い。すなわち、被写体Ａにおける領域の違いによって、測定範囲に大きな違いが生じる。
【００５６】
図１６は光源と固体撮像素子が離間して配置された場合を示している。図１６（ａ）に示すように、光源１に近い領域Ｂ１の場合は、照射光が被写体Ａに当たるまでの距離は短いが、その反射光が固体撮像素子２に戻るまでの距離は長い。一方、図１６（ｂ）に示すように、光源１から遠い領域Ｂ２の場合は、照射光が被写体Ａに当たるまでの距離は長いが、その反射光が固体撮像素子２に戻るまでの距離は短くなる。すなわち、被写体Ａにおける領域が異なっても測定範囲に大きな違いは生じない。したがって、測距範囲を絞ることができ、その測距範囲に特化した設定にすればよいので、精度のよい距離測定を行うことができる。
【００５７】
なお、本実施形態は、実施形態１以外の距離測定装置にも適用することが可能である。
【産業上の利用可能性】
【００５８】
本開示は、測定対象物との距離や形状の測定を行う距離測定装置の小型化やコストダウン等に有用であり、例えば、人の指を検知してジェスチャー入力を行う入力装置等に適用できる。
【符号の説明】
【００５９】
１０１  撮像信号処理部
１０３  駆動制御部
１０４  光源
１０９  固体撮像素子
ＳＧ１  発光タイミング信号
ＳＧ２  露光タイミング信号
【図１】
2014207983.tif 000005
【図２】
2014207983.tif 000006
【図３】
2014207983.tif 000007
【図４】
2014207983.tif 000008
【図５】
2014207983.tif 000009
【図６】
2014207983.tif 000010
【図７】
2014207983.tif 000011
【図８】
2014207983.tif 000012
【図９】
2014207983.tif 000013
【図１０】
2014207983.tif 000014
【図１１】
2014207983.tif 000015
【図１２】
2014207983.tif 000016
【図１３】
2014207983.tif 000017
【図１４】
2014207983.tif 000018
【図１５】
2014207983.tif 000019
【図１６】
2014207983.tif 000020
【手続補正書】
【提出日】平成27年11月24日(2015.11.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、距離測定装置に関し、特に、光源と固定撮像素子により光の遅延を用いて距離を測定する距離測定装置に関する。
【背景技術】
【０００２】
近年、マイクロソフト社のＫＩＮＥＣＴの登場により、距離や形状を測定する３Ｄ測距装置が注目されている。さらに、低価格化に対応するため、１つのセンサにより近距離から遠距離、明部から暗部等の様々な条件で、距離を測定したいという要求が高まってきている。それを解決するために、複数回の露光を用いて距離を測定する方法が検討されているが、条件を変えて測定を行うためにフレームメモリを持ち、セットとしてのコストが増大しがちである。
【０００３】
特許文献１では、例えば、撮像信号処理部がフレームメモリを備えており、シェーディング等の補正がされたデジタル画像データが、フレームメモリに蓄積される。フレームメモリ内のデジタル画像データは、画像信号処理部からの要求に応じて，インタフェース部を経由して出力される。画像信号処理部は例えば、被写体へ照射した光の反射光を受光することにより光飛行時間計測法（ＴＯＦ：Time of Flight）を用いて光飛行時間を測定し、光飛行時間に基づいて被写体までの距離を測定したり、被写体の３次元画像を得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９５７３４号公報（図１９）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の距離測定装置は、露光量の変化による違いを記憶するため、フレームメモリを持ち、このため、距離測定装置が大型化かつ高価になるという問題がある。
【０００６】
そこで、本開示では、安価かつ様々な条件で高精度に距離を測定することができる距離測定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様では、ＴＯＦ(Time of Flight)方式を利用した距離測定装置は、発光タイミング信号に従って光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、行列状に配置された画素群を有し、前記画素群はライン単位で複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する固体撮像素子と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する。
【０００８】
この態様によると、固体撮像素子の複数の領域に対して、それぞれ異なる測定条件に従って発光と露光を行うことができ、得られた画素群の電荷が、信号として撮像信号処理部に与えられる。このため、複数の測定条件における距離の演算を、同一フレームで行うことができる。したがって、測定条件の違いによる露光量の変化を記憶するためのフレームメモリが不要となり、距離測定装置のサイズやコストを低減することができる。
【０００９】
本開示の別の態様では、ＴＯＦ(Time of Flight)方式を利用した距離測定装置は、発光タイミング信号に同期して光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、行列状に配置された画素群を有し、前記露光タイミング信号に従って露光を行い、前記画素群に蓄積された電荷を出力する固体撮像素子と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記光源と前記固体撮像素子とは離間して配置されており、かつ、前記光源の照射方向が、前記距離測定装置の前方正面から前記固体撮像素子の側に斜めに向いている。
【００１０】
この態様によると、光源から照射された光が測定対象物において反射して固体撮像素子に入るまでの時間が、測定対象物の全体に対してほぼ等しくなる。したがって、精度のよい距離の測定を行うことができる。
【００１１】
本開示の別の態様では、ＴＯＦ(Time of Flight)方式を利用した距離測定装置に用いる固体撮像素子であって、前記距離測定装置は、発光タイミング信号に従って光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成するものであり、前記固体撮像素子は、行列状に配置された画素群を有し、前記画素群はライン単位で前記複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する。
【００１２】
この態様によると、固体撮像素子の複数の領域に対して、それぞれ異なる測定条件に従って発光と露光を行うことができ、得られた画素群の電荷が、信号として撮像信号処理部に与えられる。このため、複数の測定条件における距離の演算を、同一フレームで行うことができる。したがって、測定条件の違いによる露光量の変化を記憶するためのフレームメモリが不要となり、距離測定装置のサイズやコストを低減することができる。
【発明の効果】
【００１３】
本開示によると、小型かつ低コストの距離測定装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係る距離測定装置の構成例を示す図である。
【図２】ＴＯＦ方式の動作を示す図である。
【図３】ＴＯＦ方式の動作を示す図である。
【図４】固定撮像素子の画素配列および領域分割の例を示す図である。
【図５】（ａ），（ｂ）は実施の形態１における測定条件の変更の例を示す図である。
【図６】（ａ），（ｂ）は実施の形態１における測定条件の変更の例を示す図である。
【図７】（ａ），（ｂ）は実施の形態１における測定条件の変更の例を示す図である。
【図８】実施の形態１における測定条件の変更の例を示す図である。
【図９】固定撮像素子の画素配列および領域分割の他の例を示す図である。
【図１０】固定撮像素子の画素配列および領域分割の他の例を示す図である。
【図１１】同一領域に複数の測定条件を適用する例を示す概念図である。
【図１２】背景光の露光を共通化する例を示す概念図である。
【図１３】実施の形態２に係る距離測定装置の構成例の一部を示す図である。
【図１４】実施の形態３に係る距離測定装置の構成例を示す図である。
【図１５】実施の形態３における効果を説明するための図である。
【図１６】実施の形態３における効果を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、実施形態について、図面を参照しながら詳細に説明する。
【００１６】
（実施の形態１）
図１は実施の形態１に係る距離測定装置の構成を示すブロック図である。図１に示す距離測定装置は、ＴＯＦ（Time of Flight）方式を利用するものであり、撮像信号処理部１０１、光源ドライバ１０２、駆動制御部１０３、光源１０４、および固体撮像素子１０９を備えている。撮像信号処理部１０１は、ＡＦＥ（アナログフロントエンド）１１０、信号補正処理部１１１、ラインメモリ１１２，１１３，１１４、合成部１１５、およびＴＯＦ演算部１１６を備えている。
【００１７】
駆動制御部１０３は、所定の条件に従って、発光タイミング信号ＳＧ１と、これに対応する露光タイミング信号ＳＧ２とを生成する。発光タイミング信号ＳＧ１により光源ドライバ１０２が制御され、光源１０４が対象物ＯＢに向かって光Ｌ１を照射する。照射光Ｌ１は所定の発光幅を持つパルス波形の光である。
【００１８】
照射光Ｌ１は対象物ＯＢによって反射し、この反射光Ｌ２は固体撮像素子１０９が受光する。固体撮像素子１０９は行列状に配置された画素群を有しており、露光タイミング信号ＳＧ２に従って露光を行い、画素群に蓄積された電荷を信号として撮像信号処理部１０１に出力する。
【００１９】
撮像信号処理部１０１に入力された電荷信号はＡＦＥ１１０でＡＤ変換され、変換後のデジタルデータが信号補正処理部１１１に入力される。信号補正処理部１１１では、レベル補正、フィルタ処理が行われる。そして本実施形態では、固体撮像素子１０９の画素群におけるライン単位で、ラインメモリ１１２にデータが保持される。ラインメモリ１１２に保持されたデータは、ライン単位で、ラインメモリ１１３、１１４に順次転送される。合成部１１５は、信号補正処理部１１１の出力と各ラインメモリ１１２，１１３，１１４の出力を用いて、補間合成処理を行う。ＴＯＦ演算部１１６は、合成部１１５から出力されたデータを用いて距離の計算を行い、計算の結果得られた距離データＤ０を出力する。
【００２０】
図２および図３を用いてＴＯＦ方式の距離測定法を説明する。ＴＯＦ方式では、光源から照射される光の反射光を全て受光するＳ０露光、光源から照射される光の一部の反射光を受光するＳ１露光、および、光源を発光させずに背景光のみを受光するＢＧ露光を行う。これらの３種類の露光をそれぞれ１回もしくは複数回ずつ繰り返して電荷を蓄積し、その蓄積した電荷量をデジタル値（Ｓ０、Ｓ１、ＢＧ）に変換する。そして、（Ｓ０−ＢＧ）と（Ｓ１−ＢＧ）を計算し、これらの比より距離を計算する。その距離計算式は、発光パルス幅をＴ０、光の速度をｃとすると、露光信号のタイミングとして図２のように、Ｓ１露光の露光信号の終了時間が反射光のパルス期間内に存在する場合、
【００２１】
【数１】
2014207983.tif 000021
【００２２】
となる。また、露光信号のタイミングとして図３のように、Ｓ１露光の露光信号の開始時間が反射光のパルス期間内に存在してもよく、その場合、距離計算式は、
【００２３】
【数２】
2014207983.tif 000022
【００２４】
となる。
【００２５】
本実施形態では、固体撮像素子１０９の画素群は、ライン単位で複数の領域に分割されているものとする。そして固体撮像素子１０９は、露光タイミング信号ＳＧ２に従って、領域毎に選択的に露光を行う。駆動制御部１０３は、固体撮像素子１０９における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成することができる。
【００２６】
図４は固定撮像素子１０９における画素配列および領域分割の一例である。図４では、固定撮像素子１０９の画素群は、ライン単位で、３個の領域ＡＲ１，ＡＲ２，ＡＲ３に分割されている。なお、領域のサイズや個数は図４に示したものに限られるものではない。
【００２７】
図５（ａ），（ｂ）は測定条件の変更の例を示す図である。図５の例では、上述したＳ０露光およびＳ１露光における露光の繰り返し回数を、条件によって変えている。図５（ａ）の条件では、露光を６回ずつ繰り返しており、図５（ｂ）の条件では、露光を３回ずつ繰り返している。露光の繰り返し回数が多ければ、それだけ多くの電荷を貯めることができ、より正確な距離の計算を行うことができる。ところが、貯めた電荷量が飽和上限を超えた場合は、正しく計算を行うことができない。したがって、各領域、例えば図５の領域ＡＲ１，ＡＲ２，ＡＲ３において、それぞれ露光回数を調整することにより、各領域内で飽和しない最大光量で露光することができる。したがって精度の高い測定を行うことができる。
【００２８】
なお、上述の説明では、測定条件において露光の繰り返し回数を変える例について説明したが、これに限られるものではない。例えば、照射光の発光幅、または、発光タイミング信号に対する、その対となる露光タイミング信号の位相を、測定条件によって変えてもよい。この場合、測定対象の距離に応じて最適な条件の測定結果を選択して使用し、正確な測定を行うことができる。さらに、これら露光の繰り返し回数、照射光の発光幅、または発光タイミング信号に対する露光タイミング信号の位相の組み合わせを、測定条件によって変えてもよい。
【００２９】
図６（ａ），（ｂ）は測定条件の変更の他の例を示す図である。図６の例では、上述したＳ０露光およびＳ１露光における照射光の発光幅を、条件によって変えている。露光期間が短く、かつ測定対象までの距離が遠い場合は、露光期間中に反射光が戻らず、正しく距離を測定することができない。そこで例えば、発光幅が大きい図６（ａ）の条件による測定結果から遠距離までを測定し、そこで得られた距離から、測定対象が、発光幅が小さい図６（ｂ）の条件でも十分測定が可能な近距離であると判断したとき、図６（ｂ）の条件での測定結果を採用する。
【００３０】
測定できる最大距離は反射光の遅延が発光幅と等しくなる場合であり、発光幅が短いほど測定可能距離は短くなる。反射光の遅延が、発光幅以上となると常に受光量が背景光と等しくなるため距離による変化がなくなり距離を測定できない。一方、測定可能距離が短くなると分解能が高くなり、より細かい測定ができる。これにより、距離に応じて最適な発光幅での距離測定を行うことができるようになる。
【００３１】
図７（ａ），（ｂ）および図８は測定条件の変更の他の例を示す図である。図７および図８の例では、上述したＳ０露光およびＳ１露光における発光タイミング信号に対する、その対となる露光タイミング信号の位相を、条件によって変えている。図７（ａ）の条件では、発光とその対となる露光タイミングとの位相差を比較的小さくし、図７（ｂ）の条件では、発光とその対となる露光タイミングとの位相差を比較的大きくして、距離の測定を行っている。距離が近い対象物の場合、反射光が戻ってくるまでの時間が短いので、図７（ａ）のような発光と露光との位相差が比較的小さい条件で測定でき、距離が遠い対象物の場合、反射光が戻ってくるまでの時間が長いので、図７（ｂ）のような発光と露光との位相差が比較的大きい条件で測定できる。この２つの条件の結果を合成することで、近距離から遠距離まで正確に距離の測定を行うことができる。また距離測定の分解能は受光信号量に依存するので、発光と露光との位相差が比較的大きい条件において、発光幅を大きくする、あるいは発光・露光回数を大きくすることによって、距離が遠い対象物からの反射光の強度が小さくなることによる受光量低下を防ぐことができる。これにより、近距離だけでなく遠距離でも分解能が高く精度が高い距離の測定を行うことができる。
【００３２】
また図８に示すような、測定対象物の中に、近距離かつ高反射測定対象物と、遠距離かつ低反射測定対象物の両方が存在する場合、レンズ等の光学系において、強度の強い近距離かつ高反射測定対象物からの反射光が、強度の弱い遠距離かつ低反射測定対象物からの反射光に混入するため、同一の発光とその対となる露光タイミング位相で受光すると、遠距離かつ低反射測定対象物のＳ０露光及びＳ１露光の期待光成分（Ｓ０ａ，Ｓ１ａ）に、近距離かつ高反射測定対象物によるＳ０露光及びＳ１露光の妨害光成分（Ｓ０ｎ，Ｓ１ｎ）が加算され、実際よりも近い距離として誤差が大きく測定されてしまう。そこで、Ｓ０露光信号として、近距離かつ高反射測定対象物からの反射光を全て受光しかつ遠距離かつ低反射測定対象物からの反射光を受光しない位相と、遠距離かつ低反射測定対象物からの反射光を全て受光しかつ近距離かつ高反射測定対象物からの反射光を受光しない位相の２条件、Ｓ１露光信号として、近距離かつ高反射測定対象物からの反射光の一部を受光しかつ遠距離かつ低反射測定対象物からの反射光を受光しない位相と、遠距離かつ低反射測定対象物からの反射光の一部を受光しかつ近距離かつ高反射測定対象物からの反射光を受光しない位相の２条件、で受光を行う。これにより、遠距離かつ低反射測定対象物のＳ０露光及びＳ１露光の期待光成分（Ｓ０ａ，Ｓ１ａ）に、近距離かつ高反射測定対象物によるＳ０露光及びＳ１露光の妨害光成分（Ｓ０ｎ，Ｓ１ｎ）が加算されることはなく、誤差なく正確に距離の測定を行うことができる。
【００３３】
なお、変更する測定条件の数は、２条件に限らず、３条件以上あってもよい。また、測定条件の変更に関しては、他にも例えば、発光するパルス光を変更する、複数の発光体がある場合、発光させる発光体を変更する、Ｓ０露光では反射光の前半を受光し、Ｓ１露光では反射光の後半を受光する、などであってもよい。
【００３４】
また、固体撮像素子１０９において、画素群が、偶数ラインからなる第１領域と、奇数ラインからなる第２領域とに分割されており、偶数ラインと奇数ラインとで発光と露光の条件を変えて測定を行うようにしてもよい。この場合、１ラインごとに測定条件が異なるため、上下のラインより、垂直方向に容易に補間を行うことができる。
【００３５】
図９は固体撮像素子１０９の画素配列および領域分割の他の例を示す図である。例えば、固体撮像素子１０９は、距離測定のための撮像を、偶数ラインと奇数ラインとで時分割で行う。駆動制御部１０３は、偶数ラインからなる第１領域に対して例えば図５（ａ）に示す第１条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成し、奇数ラインからなる第２領域に対して例えば図５（ｂ）に示す第２条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成する。この結果、偶数ラインでは露光回数が多い第１条件で撮像され、奇数ラインでは露光回数が少ない第２条件で撮像される。固体撮像素子１０９は、２つの条件での撮像によって得られた画素ごとの電荷をフレーム単位で連続して転送する。
【００３６】
そして、偶数ラインにおける測定値と奇数ラインにおける測定値とを互いに補間しあうことにより、全ての画素について、第１条件における信号（Ｓ０，Ｓ１，ＢＧ）と、第２条件における信号（Ｓ０，Ｓ１，ＢＧ）信号を得ることができる。
【００３７】
図９に示す例では、第２条件での測定結果しか持たない奇数ラインの画素Ｐ１Ｘを、第１条件での測定結果を持つ周囲の６個の画素Ｐ１Ａ，Ｐ１Ｂ，Ｐ１Ｃ，Ｐ１Ｄ，Ｐ１Ｅ，Ｐ１Ｆにより補間する。この演算処理を行うにあたり、ラインメモリ１１２，１１３，１１４が用いられる。データはライン順に流れるため、画素Ｐ１Ａ，Ｐ１Ｂ，Ｐ１Ｃが存在する水平ラインが、ラインメモリ１１２，１１３を通ってラインメモリ１１４に格納される。このとき、画素Ｐ１Ｘが存在する水平ラインはラインメモリ１１２を通ってラインメモリ１１３に格納され、画素Ｐ１Ｄ，Ｐ１Ｅ，Ｐ１Ｆが存在する水平ラインはラインメモリ１１２に格納される。
【００３８】
合成部１１５は、ラインメモリ１１２，１１３，１１４から読み出された画素データを用いて、補間演算を行う。例えば、
Ｐ１Ｘ＝（Ｐ１Ａ＋２×Ｐ１Ｂ＋Ｐ１Ｃ＋Ｐ１Ｄ＋２×Ｐ１Ｅ＋Ｐ１Ｆ）／８
とする。なお、上式の記号は当該画素のデータを意味している。
【００３９】
このような計算により、全ての画素において、第１条件と第２条件との両方の結果を得ることができる。そこで例えば、露光回数が多い第１条件でＳ０信号が飽和している画素については、露光回数が少ない第２条件の結果を採用し、それ以外の画素については、第１条件の結果を採用する。これにより、全画素において最適な条件での結果を選択することができるため、精度を高めることができる。
【００４０】
また、固体撮像素子１０９は、偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されていてもよい。この場合、被補間画素の右上、左上、右下、左下の４画素より、容易に補間を行うことができる。
【００４１】
図１０は固体撮像素子１０９の画素配列および領域分割の他の例を示図である。図１０のような画素配列の場合、図９の画素配列と比較すると、平易な計算で全ての画素において第１条件と第２条件の両方の結果を得ることができ、さらに水平解像度も高めることができる。
【００４２】
例えば、第２条件での測定結果しか持たない奇数ラインのＰ２Ｘを、第１条件での測定結果を持つ周囲の４個の画素Ｐ２Ａ，Ｐ２Ｂ，Ｐ２Ｃ，Ｐ２Ｄにより補間する。補間演算は、例えば、
Ｐ２Ｘ＝（Ｐ２Ａ＋Ｐ２Ｂ＋Ｐ２Ｃ＋Ｐ２Ｄ）／４
とする。なお、上式の記号は当該画素のデータを意味している。
【００４３】
このように、４個の画素データの平均をとるという平易な計算によって、全て画素について、第１条件と第２条件の両方の結果を得ることができる。
【００４４】
また、上述の距離測定装置において、固体撮像素子１０９の同一領域に対して、複数の測定条件を適用する構成にしてもよい。この構成によれば、複数の測定条件による測定結果を比較することにより、測定結果の補正を行うことができる。
【００４５】
図１１は同一領域に複数の測定条件を適用する例を示す概念図である。ここでは、条件１と条件２の測定結果から、同じ測定点においてそれぞれ距離を算出し、その結果を比較することにより、補正を行う。複数の条件で測定を行った場合、同じ測定対象では、距離が同一になるはずである。このため、センサの飽和などにより正しく測定されていない場合を除いて、演算結果から計算される距離は同一にならなければいけない。そこで、距離の演算結果が同一になるように、パラメータを計算する。
【００４６】
具体的には例えば、図１１における測定点Ｄ０１，Ｄ０２において、条件１における演算値Ｖ１１，Ｖ１２と、条件２における演算値Ｖ２１，Ｖ２２とを得る。ここで、演算値Ｖ１１で計算される距離と演算値Ｖ２１で計算される距離とは同一にならなければならず、また、演算値Ｖ１２で計算される距離と演算値Ｖ２２で計算される距離とは同一にならなければならない。このため、これらの測定結果から、距離と演算値の関数を求めることができる。この関数の変数が上述のパラメータに相当する。これにより、リアルタイムにキャリブレーションを行いながら、距離の測定を行うことができる。
【００４７】
また、上述の距離測定装置において、光源を発光させないで撮影する背景画像を複数の条件での演算に共通して用いる構成にしてもよい。この構成によれば、背景画像の撮影を条件ごとに行わなくてもよくなり、撮像時間を短くすることができる。
【００４８】
図１２は複数の測定条件において背景光の露光を共通化する例を示す概念図である。背景光の露光は、光源の発光を伴わないため、露光条件が変わっても一定の比率となる。このため、露光の比で計算することにより、１度にすべての画素を露光することにより背景光を測定することができる。そこで例えば、図１２に示すように、第１条件での測定と第２条件での測定とにおいてＢＧ露光を共有する。共有することにより、背景光の露光は１回で済む。これにより、背景光の露光時間を減らすことができ、フレームレートを上げることができる。
【００４９】
（実施の形態２）
距離測定装置において、固体撮像素子の出力値の演算結果により、露光や発光の条件を変更してもよい。この構成によれば、対象物や測定環境に最適な測定条件をリアルタイムに反映することができ、さらに精度のよい測定を行うことができる。実施の形態２では、距離測定装置は、測定した結果より測定条件を変更する。
【００５０】
図１３は実施の形態２に係る距離測定装置の構成の一部を示すブロック図である。なお、実施の形態１と実質的に同一の構成に対する重複説明を省略する場合がある。図１３において、撮像信号処理部１０１Ａでは、合成部１１５が、複数の条件による測定について演算を行い、その結果を基にして、制御信号ＳＣによって、駆動制御部１０３に測定条件を調整するよう指示する。これにより、リアルタイムに測定条件を変更しながら距離の測定を行うことができ、対象物や測定環境に最適な測定条件をリアルタイムに反映することができる。したがって、さらに精度のよい測定を行うことができる。
【００５１】
具体的には例えば、照射光の発光幅を調整したり、露光回数を調整したりする。例えば、合成部１１５で演算された距離が想定した距離より近い場合、測定対象との距離を正確に測るために最適な発光幅となるように、制御信号ＳＣによって、駆動制御部１０３に照射光の発光幅を短くするよう指示する。一方、合成部１１５で演算された距離が想定した距離より遠い場合、測定対象との距離を正確に測るために最適な発光幅となるように、制御信号ＳＣによって、駆動制御部１０３に照射光の発光幅を長くするよう指示する。
【００５２】
あるいは、飽和の有無、または、飽和面積を監視し、この監視結果に基づいて、露光回数を調整する。例えば、露光回数が多い条件において、Ｓ０信号の最大値を監視し、飽和が起こらないように、合成部１１５は制御信号ＳＣによって駆動制御部１０３に露光回数の調整を指示する。または、露光回数が少ない条件において、Ｓ０信号の飽和領域の面積を監視し、この面積が所定値を超えたとき、合成部１１５は制御信号ＳＣによって駆動制御部１０３に露光回数を少なくするよう指示する。一方、逆に飽和領域の面積が他の所定値より小さいとき、合成部１１５は制御信号ＳＣによって駆動制御部１０３に露光回数を多くするよう指示する。
【００５３】
このような制御により、対象物や測定環境にあった測定条件、例えば発光幅や露光回数を設定することができるので、さらに精度のよい測定を行うことができる。
【００５４】
（実施の形態３）
距離測定装置の利用形態によっては、測定対象物の正面に光源および固体撮像素子を配置することが困難な場合がある。例えば、画面操作をジェスチャーで行う装置に利用する場合、操作者の正面にはモニタが配置されるため、画面を指す指の動きや手の形などを検出するための距離測定装置は、操作者の正面に置くことが困難である。
【００５５】
実施の形態３では、距離測定装置において、光源と固体撮像素子とを離間して配置するものとする。そして、光源の照射方向を、距離測定装置の前方正面から固体撮像素子の側に斜めに傾けているものとする。すなわち、測定対象物の斜めから照射光が当たるように光源を配置し、その照射光が反射する方向に固定撮像素子を配置する。この構成により、光源から照射された光が測定対象物において反射して固体撮像素子に入るまでの時間が、測定対象物の全体に対してほぼ等しくなる。したがって、精度のよい距離の測定を行うことができる。
【００５６】
図１４は実施の形態３に係る距離測定装置の構成例を示すブロック図である。なお、実施の形態１と実質的に同一の構成に対する重複説明を省略する場合がある。図１４の構成では、光源１０４と固体撮像素子１０９とが離間して配置されている。そして、光源１０４の照射光Ｌ１が対象物ＯＢに斜めから当たるように、光源１０４の照射方向が、距離測定装置の前方正面から固体撮像素子１０９の方に傾けられている。そして、固体撮像素子１０９は、対象物ＯＢで反射した反射光Ｌ２を受光する。この構成によって、照射光Ｌ１が光源１０４を出てから、対象物ＯＢで反射し、反射光Ｌ２が固体撮像素子１０９に届くまでの時間が、対象物ＯＢの全体においてほぼ等しくなる。  
【００５７】
これについて、図１５および図１６を用いて説明する。図１５は光源と固体撮像素子が離間せずほぼ同じ位置にある場合を示している。図１５（ａ）に示すように、光源１に近い領域Ｂ１の場合は、照射光が被写体Ａに当たるまでの距離と、その反射光が固体撮像素子２に戻るまでの距離とが両方とも短い。一方、図１５（ｂ）に示すように、光源１から遠い領域Ｂ２の場合は、照射光が被写体Ａに当たるまでの距離と、その反射光が固体撮像素子２に戻るまでの距離とが両方とも長い。すなわち、被写体Ａにおける領域の違いによって、測定範囲に大きな違いが生じる。
【００５８】
図１６は光源と固体撮像素子が離間して配置された場合を示している。図１６（ａ）に示すように、光源１に近い領域Ｂ１の場合は、照射光が被写体Ａに当たるまでの距離は短いが、その反射光が固体撮像素子２に戻るまでの距離は長い。一方、図１６（ｂ）に示すように、光源１から遠い領域Ｂ２の場合は、照射光が被写体Ａに当たるまでの距離は長いが、その反射光が固体撮像素子２に戻るまでの距離は短くなる。すなわち、被写体Ａにおける領域が異なっても測定範囲に大きな違いは生じない。したがって、測距範囲を絞ることができ、その測距範囲に特化した設定にすればよいので、精度のよい距離測定を行うことができる。
【００５９】
なお、本実施形態は、実施形態１以外の距離測定装置にも適用することが可能である。
【産業上の利用可能性】
【００６０】
本開示は、測定対象物との距離や形状の測定を行う距離測定装置の小型化やコストダウン等に有用であり、例えば、人の指を検知してジェスチャー入力を行う入力装置等に適用できる。
【符号の説明】
【００６１】
１０１  撮像信号処理部
１０３  駆動制御部
１０４  光源
１０９  固体撮像素子
ＳＧ１  発光タイミング信号
ＳＧ２  露光タイミング信号
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＴＯＦ(Time of Flight)方式を利用した距離測定装置であって、
発光タイミング信号に従って光を照射する光源と、
所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
行列状に配置された画素群を有し、前記画素群はライン単位で複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する固体撮像素子と、
前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する
ことを特徴とする距離測定装置。
【請求項２】
請求項１記載の距離測定装置において、
前記固体撮像素子は、前記画素群が、偶数ラインからなる第１領域と、奇数ラインからなる第２領域とに分割されており、
前記駆動制御部は、前記第１領域に対して第１条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成し、前記第２領域に対して、前記第１条件とは異なる第２条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する
ことを特徴とする距離測定装置。
【請求項３】
請求項２記載の距離測定装置において、
前記固体撮像素子は、偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されている
ことを特徴とする距離測定装置。
【請求項４】
請求項１記載の距離測定装置において、
前記駆動制御部は、前記互いに異なる測定条件として、露光回数、照射光の発光幅、または、前記発光タイミング信号に対する前記露光タイミング信号の位相、のうち少なくとも１つが異なる条件を用いる
ことを特徴とする距離測定装置。
【請求項５】
請求項１記載の距離測定装置において、
前記固体撮像素子の同一領域に対して、複数の測定条件に従って距離測定を行い、
前記撮像信号処理部は、前記複数の条件における演算結果から、距離情報の補正を行う
ことを特徴とする距離測定装置。
【請求項６】
請求項１記載の距離測定装置において、
複数の測定条件における距離測定において、前記光源を発光させないで撮影する背景光露光を、共通に行う
ことを特徴とする距離測定装置。
【請求項７】
請求項１記載の距離測定装置において、
前記撮像信号処理部は、演算結果を基にして、前記駆動制御部に測定条件を調整するよう指示する
ことを特徴とする距離測定装置。
【請求項８】
請求項７記載の距離測定装置において、
前記撮像信号処理部は、演算結果から得られた距離情報が第１の所定距離よりも近いとき、照射光の発光幅を短くなるように、または、演算結果から得られた距離情報が第２の所定距離よりも遠いとき、照射光の発光幅を長くするように、前記駆動制御部に指示する
ことを特徴とする距離測定装置。
【請求項９】
請求項７記載の距離測定装置において、
前記撮像信号処理部は、前記固体撮像素子の出力から、飽和の有無、または、飽和領域の面積を監視し、この監視結果に基づいて、露光回数を調整するよう、前記駆動制御部に指示する
ことを特徴とする距離測定装置。
【請求項１０】
ＴＯＦ(Time of Flight)方式を利用した距離測定装置に用いる固体撮像素子であって、
前記距離測定装置は、
発光タイミング信号に従って光を照射する光源と、
所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成するものであり、
前記固体撮像素子は、
行列状に配置された画素群を有し、前記画素群はライン単位で前記複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する
ことを特徴とする固体撮像素子。
【請求項１１】
請求項１０記載の固体撮像素子において、
前記画素群が、偶数ラインからなる第１領域と、奇数ラインからなる第２領域とに分割されている
ことを特徴とする固体撮像素子。
【請求項１２】
請求項１１記載の固体撮像素子において、
偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されている
ことを特徴とする固体撮像素子。
【請求項１３】
請求項１０記載の固体撮像素子において、
同一領域に対して、複数の測定条件に従って距離測定を行う
ことを特徴とする固体撮像素子。
【請求項１４】
ＴＯＦ(Time of Flight)方式を利用した距離測定装置であって、
発光タイミング信号に同期して光を照射する光源と、
所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
行列状に配置された画素群を有し、前記露光タイミング信号に従って露光を行い、前記画素群に蓄積された電荷を出力する固体撮像素子と、
前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
前記光源と前記固体撮像素子とは離間して配置されており、かつ、前記光源の照射方向が、前記距離測定装置の前方正面から前記固体撮像素子の側に斜めに向いている
ことを特徴とする距離測定装置。
【国際調査報告】
2014207983.tif 000023
2014207983.tif 000024