(57)【要約】表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離測定装置を提供する。距離測定装置は、光源から被写体に向けて光を照射する発光部（１０）と、発光部（１０）で照射された光が被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部（２０）と、画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部（１１２）と、照射と受光との時間差および合成信号に基づいて被写体までの距離値を算出する距離演算部（１１４）とを備え、合成部（１１２）は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により合成信号を生成し、飽和レベルよりも小さいときには、第２の合成処理により合成信号を生成する。
2017006546.tif 000002
【特許請求の範囲】
【請求項１】
光源から被写体に向けて光を照射する発光部と、
前記発光部で照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部と、
前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部と、
照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算部と、を備え、
前記合成部は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する
距離測定装置。
【請求項２】
請求項１記載の距離測定装置において、
前記第１の合成処理は、前記複数の画素信号のうち、前記第１の露光期間よりも短い第２の露光期間で露光された画素信号を使用して前記合成信号を生成する
距離測定装置。
【請求項３】
請求項２記載の距離測定装置において、
前記第２の合成処理は、前記複数の画素信号のうち、前記第１の露光期間で露光された画素信号、および、前記第２の露光期間で露光された画素信号を加算して前記合成信号を生成する
距離測定装置。
【請求項４】
請求項３記載の距離測定装置において、
前記第１の合成処理は、前記飽和レベルよりも大きくなければ前記第２の合成処理から得られたはずの合成信号を、前記第２の露光期間で露光された画素信号を用いた補間処理によって生成する
距離測定装置。
【請求項５】
請求項１記載の距離測定装置において、
前記合成部は、前記反射光を示す画素信号から背景光を示す画素信号を除去する背景光除去部を備え、除去後の画素信号を用いて前記合成信号を生成する
距離測定装置。
【請求項６】
請求項５記載の距離測定装置において、
前記合成部では、前記第１の合成処理により得られる前記合成信号に対して、前記第２の合成処理により得られる前記合成信号の信号レベルに合わせるように、露光期間の比率に基づいてゲイン補正するゲイン補正部を備え、
前記距離演算部は、ゲイン補正後の前記合成信号を用いて前記距離値を算出する
距離測定装置。
【請求項７】
請求項２記載の距離測定装置において、
前記第１の露光期間と前記第２の露光期間との比率は、前記合成信号の重心に対して対称に配置されている
距離測定装置。
【請求項８】
請求項７記載の距離測定装置において、
前記画素群は、第１の露光期間で露光された第１のライン上の画素から読み出された第１の画素信号と、前記第１の露光期間より短い第２の露光期間で露光された前記第１のラインと異なる第２のライン上の画素から読み出された第２の画素信号とから構成され、
１フレームには、前記第１のラインと前記第２のラインとがライン毎に交互に配置されている
距離測定装置。
【請求項９】
請求項８記載の距離測定装置において、
前記画素群は、水平方向に半画素ずらして配置されている
距離測定装置。
【請求項１０】
請求項９記載の距離測定装置において、
前記第１の露光期間と前記第２の露光期間との比率は４：１である
距離測定装置。
【請求項１１】
請求項８記載の距離測定装置において、
前記受光部は、前記第１のラインを先頭行とするフレームと、前記第２のラインを先頭行とするフレームとを交互に生成する
距離測定装置。
【請求項１２】
請求項１１記載の距離測定装置において、
前記受光部で得られた１フレーム前の全画素信号を記録するフレームメモリと、
前記被写体の動きを検出する動き検出部と、
前記第１の画素信号から全画素分の前記第１の画素信号を生成する第１補間画素生成部と、
前記第２の画素信号から全画素分の前記第２の画素信号を生成する第２補間画素生成部と
を備え、
前記合成部は、
前記動き検出部により前記被写体が静止状態であると判定された場合には、現在の画素信号と１フレーム前の同位置に存在する画素信号とを合成し、
前記動き検出部により前記被写体が動状態であると判定された場合には、前記第１補間画素生成部により生成された前記第１の画素信号と前記第２補間画素生成部により生成された前記第２の画素信号とを合成する
距離測定装置。
【請求項１３】
請求項１２記載の距離測定装置において、
前記受光部で得られた画素信号から、
前記第１補間画像生成部により前記第１の画素信号から成る第１補間画像を生成し、
前記第２補間画像生成部により前記第２の画素信号から成る第２補間画像を生成し、
前記フレームメモリにより記録された１フレーム前の画素信号から、
前記第１補間画像生成部により前記第１の画素信号から成る第３補間画像を生成し、
前記第２補間画像生成部により前記第２の画素信号から成る第４補間画像を生成し、
前記動き検出部は、前記第１補間画像と前記第３補間画像を比較するとともに、前記第２補間画像と前記第４補間画像を比較することによって、被写体の動きを検出し、
前記合成部は、前記動きが閾値より小さいとき、前記第４補間画像を用いて前記第１の合成処理により前記合成信号を生成し、前記動きが閾値より小さくないとき、前記第２補間画像を用いて前記第１の合成処理により前記合成信号を生成する
距離測定装置。
【請求項１４】
光源から被写体に向けて光を照射する発光ステップと、
照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光ステップと、
前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成ステップと、
照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算ステップと、
を備え、
前記合成ステップにおいて、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する
距離画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、距離画像合成方法に関し、特に、光源と固体撮像素子により光の遅延を用いて距離を測定する距離測定装置における距離画像合成方法に関する。
【背景技術】
【０００２】
近年、被写体の測距情報を有する画像（以下、距離画像）を生成する装置や手法は、機器の小型化や一般消費者向け商品の出現により、従来利用されていたゲームやアミューズメント分野における利用に留まらず、医療や広告等の多分野への用途・技術展開に注目が集まっている。【０００３】
距離画像を生成するための被写体の測距手法には、複数のカメラを用いて撮像した画像の視差に基づいて距離画像を生成する方法や、既知のランダムドットパターンを被写体に照射し、ドットパターンの歪みに基づいて距離画像を生成する方法等、幾つか存在し、それらの方法の一例として赤外光やレーザー光を被写体に向けて照射し、被写体に到達し反射して受光するまでの計測時間に基づいて、被写体までの距離を算出（測距）するＴＯＦ（Time Of Flight）方式が挙げられる。【０００４】
被写体の測距精度が高ければ、制御の自由度が増すことは明白である。ＴＯＦ方式は被写体で反射した光を固体撮像素子により露光して得た信号量を利用するため、固体撮像素子から被写体までの距離や、被写体の表面反射率に応じて、受光する反射光の露出調整を適宜施すことにより、受光信号の飽和やＳ／Ｎ比の悪化防止に伴う測距精度の向上及び高精度の距離画像の生成が期待できる。【０００５】
しかしながら、受光する反射光の強度は被写体までの距離やその表面反射率などによって大きく変動するため、露出設定をどのように定めたとしても、距離画像全体にわたって測距精度を良好に維持できるとは限らない。【０００６】
例えば、反射光の露出調整を実施し露光量を増やすと、近距離にある物体や表面反射率の高い物体からの反射光が強くなって飽和しやすくなる。逆に、露光量を減らすと、遠距離にある物体や表面反射率の低い物体からの反射光が弱くなってＳ／Ｎ比が悪化する。いずれにしても、距離精度の悪化につながってしまう。【０００７】
また、光は光源からの距離の二乗に反比例して減衰するため、屋外、例えば車両前方の距離を測定するような場合、対象物は道路や歩行者、先行車、対向車などであり、それらの距離は数メートルから無限遠にまで変化する。ゆえに、近距離の対象物と遠距離の対象物でそれぞれ最適な露出設定は異なると考えられる。【０００８】
特許文献１では、露出の異なる複数枚の距離画像を取得し、それら複数画像から画素毎に距離情報の重み付き平均値を算出して、測距精度の高い合成距離画像を生成する。【０００９】
特許文献２では、固体撮像素子において、偶数画素行と奇数画素行とで、それぞれ信号電荷の蓄積時間を個別に設定することにより異なる感度の信号を取り出し、これら感度の異なる信号を後段の信号処理系で合成する。具体的には、例えば、偶数行の各画素については蓄積時間を長く設定し高感度の画素信号を得て、奇数行の各画素については蓄積時間を短く設定し低感度の画素信号を得る。合成処理においては、偶数行の画素信号（高感度の画素信号）が飽和していない画素については高感度の画素信号を選択して利用し、飽和した画素については近傍の奇数行の画素信号（低感度の画素信号）を選択するといった合成処理が一般的である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１２−２２５８０７号公報
【特許文献２】特開２００６−２５３８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１の距離測定装置は、露出の異なる複数枚の距離画像を記憶するため、フレームメモリを持ち、このため、距離画像の解像度を上げようとすると、距離測定装置が大型化かつ高価になるという問題がある。さらに、距離画像生成後に合成処理を実施しているが、同じ距離に存在する被写体の距離を測定する場合であっても、被写体の反射率によって反射光の強度が変わるため、合成処理は、距離画像よりも距離画像を生成する前の画素信号で実施したほうが望ましい。【００１２】
特許文献２の合成処理では、高感度の画素信号が飽和していない場合は高感度の画素信号のみを利用するため、低感度の画素信号の画素情報は有効であっても利用されないことになる。【００１３】
従来技術のこのような課題に鑑み、本開示は、有効な画素情報は全て利用した上で、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離測定装置および距離画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本開示に係る距離測定装置は、光源から被写体に向けて光を照射する発光部と、前記発光部で照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部と、前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部と、照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算部と、を備え、前記合成部は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成することを特徴とする。【００１５】
本開示によると、画素信号の信号レベルに応じた合成処理であるため、被写体の反射率による反射光の強度の変化にも対応可能である。さらに、有効な画素情報は全て利用するため、高感度の画素信号が飽和していない場合であっても、合成前の画素信号に対し感度を上げることができる。
【発明の効果】
【００１６】
本開示の距離測定装置によれば、有効な画素情報は全て利用した上で、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、実施の形態１に係る距離測定装置の構成例を示す図である。
【図２】図２は、合成方法のフローチャートである。
【図３】図３は、ＴＯＦ方式の距離測定法の例を示す図である。
【図４Ａ】図４Ａは、ＴＯＦ方式の距離測定法の例を示す図である。
【図４Ｂ】図４Ｂは、ＴＯＦ方式の距離測定法の他の例を示す図である。
【図５】図５は、固体撮像素子の画素配列および領域分割の例を示す図である。
【図６Ａ】図６Ａは、測定条件の例を示す図である。
【図６Ｂ】図６Ｂは、測定条件の他の例を示す図である。
【図７Ａ】図７Ａは、合成演算処理による信号レベルの説明図である。
【図７Ｂ】図７Ｂは、合成演算処理による信号レベルの他の説明図である。
【図８Ａ】図８Ａは、合成部の構成を示す図である。
【図８Ｂ】図８Ｂは、合成部の他の構成を示す図である。
【図９】図９は、実施の形態２に係る固体撮像素子の画素配列および領域分割の例を示す図である。
【図１０】図１０は、実施の形態２に係る距離測定装置の構成例を示す図である。
【図１１】図１１は、現フレームの二次元補間処理を示した図である。
【図１２】図１２は、前フレームの二次元補間処理を示した図である。
【図１３】図１３は、二次元補間処理の例を示す図である。
【図１４】図１４は、実施の形態２に係る合成部１１２内部の補間処理のフローチャートである。
【図１５】図１５は、実施の形態２に係る合成部１１２内部の加算処理のフローチャートである。
【図１６】図１６は、実施の形態２に係る合成部１１２の構成例を示す図である。
【図１７Ａ】図１７Ａは、実施の形態２に係る合成演算処理による信号レベルの変化を示す図である。
【図１７Ｂ】図１７Ｂは、実施の形態２に係る合成演算処理による信号レベルの変化を示す図である。
【発明を実施するための形態】
【００１８】
以下、実施形態について、図面を参照しながら詳細に説明する。
【００１９】
（実施の形態１）
以下に説明する実施形態では、距離画像を生成する技術について特に制限はないが、被写体に対して赤外光やレーザー光を照射して、その往復時間を求めることで測距するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いる場合を例として説明する。
【００２０】
図１は実施の形態１に係る距離測定装置の構成を示すブロック図である。図１に示す距離測定装置は、撮像信号処理部１０１、発光部１０および受光部２０を備えている。撮像信号処理部１０１は、駆動制御部１０３、ラインメモリ１１１、合成部１１２、信号補正処理部１１３、および距離演算部１１４を備えている。発光部１０は、光源ドライバ１０２および光源１０４を備える。受光部２０は、固体撮像素子１０５およびＡＦＥ（アナログフロントエンド）１１０を備える。
【００２１】
光源１０４で照射する光としては、赤外光やレーザー等が挙げられる。
【００２２】
固体撮像素子１０５としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等が挙げられる。
【００２３】
駆動制御部１０３は、所定の条件に従って、発光タイミング信号ＳＧ１と、これに対応する露光タイミング信号ＳＧ２とを生成する。発光タイミング信号ＳＧ１により光源ドライバ１０２が制御され、光源１０４が対象物ＯＢＪに向かって光Ｌ１を照射する。照射光Ｌ１は所定の発光幅を持つパルス波形の光である。
【００２４】
照射光Ｌ１は対象物ＯＢＪによって反射し、この反射光Ｌ２は固体撮像素子１０５が受光する。固体撮像素子１０５は二次元状に配置された画素群を有しており、露光タイミング信号ＳＧ２に従って露光を行い、画素群に蓄積された電荷を信号としてＡＦＥ１１０に出力する。ＡＦＥ１１０に入力された電荷信号はＡＤ変換され、変換後のデジタルデータが撮像信号処理部１０１に入力される。
【００２５】
まず、図３を用いてＴＯＦ方式の距離測定法の一例を説明する。ＴＯＦ方式では、光源から照射される光の反射光を全て受光するＳ０露光、光源から照射される光の一部の反射光を受光するＳ１露光、および、光源を発光させずに背景光のみを受光するＢＧ露光を行う。これらの３種類の露光をそれぞれ１回もしくは複数回ずつ繰り返して電荷を蓄積し、その蓄積した電荷量をデジタルデータ（Ｓ０、Ｓ１、ＢＧ）に変換する。そして、（Ｓ０−ＢＧ）と（Ｓ１−ＢＧ）を計算し、これらの比より距離を計算する。その距離Ｌの計算式は、発光パルス幅（照射時間）をＴ０、光の速度をｃとすると、（式１）となる。
【００２６】
【数１】
2017006546.tif 000003
【００２７】
図４Ａ、図４Ｂは、ＴＯＦ方式の距離測定法のもう一つの例である。図３と比較すると露光信号の幅が半分になり、ＢＧ露光においても光源を発光している。この場合の距離Ｌの計算式は、（式２）となる。
【００２８】
【数２】
2017006546.tif 000004
【００２９】
被写体までの距離が近い画素は、図４ＡのようにＳ０露光、Ｓ１露光、ＢＧ露光の順で受光信号を扱い、被写体までの距離が遠い画素は、図４ＢのようにＢＧ露光、Ｓ０露光、Ｓ１露光の順で受光信号を扱うことで、測定可能な距離範囲を倍にすることが可能となる。
【００３０】
なお、露光信号のタイミングおよび距離計算式はこれだけに限定されるものではない。
【００３１】
撮像信号処理部１０１に入力されたデジタルデータ（Ｓ０、Ｓ１、ＢＧ）は、固体撮像素子１０５の画素群におけるライン単位で、ラインメモリ１１１に保持される。合成部１１２は、ＡＦＥ１１０の出力とラインメモリ１１１の出力を用いて合成処理を行う。合成部１１２で行われた合成処理の結果は、信号補正処理部１１３に入力され、信号補正処理部１１３では、レベル補正、ノイズリダクション処理等が行われる。距離演算部１１４は、信号補正処理部１１３から出力されたデータを用いて数式（１）の計算を行い、計算の結果得られた距離値Ｄ０を出力する。
【００３２】
本実施形態では、固体撮像素子１０５の画素群は、ライン単位で複数の領域に分割されているものとする。そして固体撮像素子１０５は、露光タイミング信号ＳＧ２に従って、領域毎に選択的に露光を行う。駆動制御部１０３は、固体撮像素子１０５における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成することができる。
【００３３】
図５は固体撮像素子１０５における画素配列および領域分割の一例である。図５では、固体撮像素子１０５の画素群は、２つの領域ＡＲ１、ＡＲ２に分割されており、第１領域ＡＲ１を奇数ラインに、第２領域ＡＲ２を偶数ラインに配置している。また、奇数ラインと偶数ラインとにおいて、画素が水平方向に半画素ずらして配置されている。なお、領域のサイズや分割数は図５に示したものに限られるものではない。
【００３４】
図６Ａ、図６Ｂは測定条件の例を示す図である。図６Ａ、図６Ｂの例では、上述したＳ０露光およびＳ１露光における露光の繰り返し回数を、条件によって変えている。図６Ａは、第１の露光期間を有する第１条件を示す。図６Ｂは第２の露光期間を有する第２条件を示す。すなわち、図６Ａの第１条件では、露光を８回ずつ繰り返しており、図６Ｂの第２条件では、露光を２回ずつ繰り返すことで、露光量の比が４：１となるよう調整している。露光の繰り返し回数が多ければ、それだけ多くの電荷を貯めることができ、より正確な距離の計算を行うことができるが、貯めた電荷量が飽和上限を超えた場合、正しく計算を行うことができない。したがって、第１条件における信号は、第２条件における信号と比較し４倍の電荷量を得ることが可能となるため、測距精度が高くなる一方で、電荷量が飽和上限に達しやすいことになる。
【００３５】
なお、図６Ａ、図６Ｂの例では、条件によって露光の繰り返し回数を変更しているが、発光タイミング信号ＳＧ１により光源ドライバ１０２を制御し、光源１０４の発光強度を変更しても同じ効果が得られる。
【００３６】
図５に示す例では、駆動制御部１０３は、第１領域ＡＲ１に対して例えば図６Ａに示す第１条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成し、第２領域ＡＲ２に対して例えば図６Ｂに示す第２条件に従って、発光タイミング信号ＳＧ１および露光タイミング信号ＳＧ２を生成する。この結果、第１領域ＡＲ１では露光回数が多い第１条件で撮像され、第２領域ＡＲ２では露光回数が少ない第２条件で撮像される。固体撮像素子１０５は、２つの条件での撮像によって得られた画素ごとの電荷をフレーム単位で連続してＡＦＥ１１０へ転送する。
【００３７】
そして、合成部１１２により合成信号を生成する。
【００３８】
図５に示す例では、第１領域ＡＲ１から得られる第１条件における信号を持つ画素（Ｐ１ｃ）上に合成画素Ｐ１Ｘを生成する。合成部１１２は、この演算処理を行うにあたり、第２条件における信号を持つ周囲の４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄ、Ｐ１ｅを使用するため、ラインメモリ１１１が必要となる。
【００３９】
なお、第１の露光期間で露光された画素Ｐ１ｃ上に合成画素Ｐ１Ｘを生成するとき、第２の露光期間で露光された周囲の４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄおよびＰ１ｅは、画素Ｐ１ｃを重心として、左右対称および上下対称に配置されている。
【００４０】
例えば、露光回数が多い第１条件の結果においても飽和している画素が存在しない場合は、全ての画素を利用して、
Ｐ１Ｘ＝（Ｐ１ａ＋Ｐ１ｂ＋Ｐ１ｃ＋Ｐ１ｄ＋Ｐ１ｅ）  ・・・（式３）
とする。なお、上式の記号は当該画素のデータを意味している。
【００４１】
このような計算により、飽和している画素が存在しない場合においても、第２条件の結果を有効に利用し、第１条件のみで露光した結果よりも、より多くの信号量を得て、ダイナミックレンジを拡大することができる。よって、測距精度を高めることができる。
【００４２】
一方、第１条件でＳ０信号またはＳ１信号が飽和している画素については、露光回数が少ない第２条件の結果を採用し、
Ｐ１Ｘ＝（Ｐ１ａ＋Ｐ１ｂ＋Ｐ１ｄ＋Ｐ１ｅ）×Ｋ  ・・・（式４）
とする。ここで、乗算される係数Ｋは、露光量の比から決定し、図６Ａ、図６Ｂに示す例では“２”となる。
【００４３】
図７Ａ、図７Ｂは、図６Ａ、図６Ｂの例のように測定条件を変更した際の、上述した演算処理による信号レベルの変化を示す例である。第１条件における信号を持つＰ１ｃは、第２条件における信号を持つ４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄ、Ｐ１ｅと比較し４倍の信号レベルを持っている。図７Ａは、全ての画素を加算することで、Ｐ１ｃの倍の信号レベルを持つ合成画素Ｐ１Ｘを生成する。図７Ｂは、第２条件における信号を持つ４個の画素Ｐ１ａ、Ｐ１ｂ、Ｐ１ｄ、Ｐ１ｅを加算し、第１条件における信号を持つＰ１ｃの信号レベルと同じレベルの合成画素を生成し、さらに２倍することで、図７Ａの場合と同じ信号レベルの合成画素Ｐ１Ｘを生成する。
【００４４】
このように、係数Ｋを乗算して合成画素Ｐ１Ｘの信号レベルを統一することにより、後段の信号補正処理部１１３において信号を補正する際に、補正対象画素の周辺に配置される画素信号を用いることが可能になる。例えば、ノイズリダクション処理では、高周波成分をノイズとして判定し、低周波成分のみを出力するローパスフィルタやメディアンフィルタ等の空間処理を施すことでノイズを低減させる処理が一般的であるが、画素単位で信号レベルが異なると、空間処理を施すことが出来ない。よって、合成部１１２の出力信号である合成画素Ｐ１Ｘの信号レベルを統一させることで、信号補正処理部１１３で行う補正処理によりノイズ成分を低減させ、より測距精度を高めることができる。
【００４５】
図８Ａ、図８Ｂは、合成部１１２の構成を示すブロック図である。一般の環境下では、太陽光や蛍光灯などの照明のように何らかの背景光が存在する。背景光は、測定条件が変わっても反射光の中に一定の比率で存在している。そのため、測定条件の変更によって露光の繰り返し回数の他に、光源１０４の発光強度を変更した場合、反射光の中に背景光を含んだままでは、オフセットが存在するために、第１条件における信号と第２条件における信号の比が、露光回数の比と等しくならない。つまり、前述した合成方法を用いても、第１条件における信号と第２条件における信号の線形特性を保てないために、合成部１１２において適切な合成処理が行なわれない。
【００４６】
そのため、図８Ａのように合成部１１２は、合成処理の前に背景光除去部８０１を設けている。背景光除去部８０１において、Ｓ０露光、Ｓ１露光により受光した反射光（Ｓ０、Ｓ１）から背景光ＢＧを減算することで、反射光に含まれる背景光成分を除去した上で合成演算処理部８０２に入力する。これにより、第１条件における信号と第２条件における信号の比が、露光回数の比と等しくなるため、前述した合成方法により適切に合成処理が可能になる。合成演算処理部８０２では、合成に必要な第１条件における信号と第２条件における信号が揃うと、前述した合成方法により合成処理を実施する。このとき第１条件でＳ０信号またはＳ１信号が飽和している画素については、ゲイン補正部８０４にゲイン補正が必要である情報を出力し、ゲイン補正部８０４において、第２条件の加算結果に対し係数Ｋが乗算される。よって、前述した合成方法により合成画素Ｐ１Ｘを生成することができる。
【００４７】
図８Ｂは、図４ＢのようにＢＧ露光においても光源を発光している場合における背景光除去を示す図である。ＢＧ露光においても光源を発光している場合、Ｓ０露光、Ｓ１露光、ＢＧ露光のうち、どの露光タイミングで得られた画素が背景光であるか不明である。そのため図８Ｂのように、受光した反射光（Ａ０、Ａ１、Ａ２）を背景光判定部８０３においてＳ０露光、Ｓ１露光、ＢＧ露光のいずれの露光により受光したかを判定する。具体的には、Ａ０、Ａ２の大小関係を比較し、信号レベルが小さい画素が背景光であると判定する。
【００４８】
このような合成処理により、露光回数が多い第１条件でＳ０信号またはＳ１信号が飽和している画素については、露光回数が少ない第２条件の結果を採用し、それ以外の画素については、第１条件と第２条件との両方の画素信号を採用する。これにより、全画素において最適な条件での結果を選択することができるため、測距精度を高めることができる。
【００４９】
図２は実施の形態１に係る距離画像合成方法のフローチャートである。
【００５０】
まず、ステップＳ２０１では、第２条件で露光した画素信号が飽和しているか否かの判定を行う。ステップＳ２０１において、この判定結果がＮＯならば、処理はステップＳ２０２に移行し、ステップＳ２０２〜ステップＳ２０６までの少なくとも一つの処理を実行する。一方、ステップＳ２０１での判定結果がＹＥＳならば、ステップＳ２０７に移行する。ステップＳ２０７では、第１条件と第２条件の両方の画素信号が飽和しているため、その合成画素Ｐ１Ｘは異常値として出力する。具体的には、ステップＳ２０７により合成画素Ｐ１Ｘのデータを“０”で出力することにより、距離演算部１１４で例えば数式（１）の計算を行った際に、計算結果となる距離値Ｄ０も“０”となり異常値であることが判別可能となる。なお、ステップＳ２０７による異常処理の出力結果の値は、距離演算部１１４で判別可能であれば、“０”に限定されるものではない。
【００５１】
ステップＳ２０２では、前述のようにＳ０露光、Ｓ１露光により受光した反射光（Ｓ０、Ｓ１）から背景光ＢＧを減算することで、反射光に含まれる背景光成分を除去し、第１条件における信号と第２条件における信号の比を、露光回数の比と等しくする。
【００５２】
ステップＳ２０３では、第１条件で露光した画素信号が飽和しているか否かの判定を行う。ステップＳ２０３において、この判定結果がＮＯならば、ステップＳ２０６（第２の合成処理）に移行する。一方、ステップＳ２０３での判定結果がＹＥＳならば、ステップＳ２０４（第１の合成処理）に移行する。
【００５３】
ステップＳ２０６では、第２の合成処理として加算処理を行う。すなわち、第１条件における信号を持つ画素と、第２条件における信号を持つ周囲の４個の画素との加算することにより合成画素Ｐ１Ｘを生成し、合成処理を終了する。
【００５４】
ステップＳ２０４では、第１の合成処理として補間処理を行う。すなわち、第１条件で露光したＳ０信号またはＳ１信号が飽和しているため、第２条件で露光したＳ０信号及びＳ１信号を用いて補間処理を行う。例えば、第１条件で露光した画素が飽和している場合に、その周囲に配置している第２条件で露光した４個の画素を加算することで補間処理を行う。補間処理を行うと、処理はステップＳ２０５に移行する。ステップＳ２０５では、第２条件で露光した画素の加算結果に対し係数Ｋを乗算しゲイン補正を行う。この処理により、第２条件における信号のみで、ステップＳ２０６で生成すべき合成画素Ｐ１Ｘと同じ信号レベルを持つ合成画素Ｐ１Ｘが生成される。ステップＳ２０５でゲイン補正を行うと、合成処理を終了する。
【００５５】
以上により、有効な画素情報は全て利用した上で、物体までの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって測距可能となり、さらに、合成画素Ｐ１Ｘの信号レベルを統一させることで、ノイズリダクション等の空間処理を施すことが可能となり、より測距精度を高めることができる。
【００５６】
以上の説明してきたように本実施の形態における距離測定装置は、光源１０４から対象物ＯＢＪに向けて照射光Ｌ１を照射する発光部１０と、発光部１０で照射された照射光Ｌ１が対象物ＯＢＪに反射して生じた反射光Ｌ２を、二次元状に配置された画素群にて受光する受光部２０と、画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部１１２と、照射と受光との時間差および合成信号に基づいて対象物ＯＢＪまでの距離値を算出する距離演算部１１４とを備える。合成部１１２は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により合成信号を生成し、飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する。
【００５７】
ここで、上記第１の合成処理は、複数の画素信号のうち、第１の露光期間よりも短い第２の露光期間で露光された画素信号を使用して合成信号を生成してもよい。
【００５８】
ここで、上記第２の合成処理は、複数の画素信号のうち、第１の露光期間で露光された画素信号、および、第２の露光期間で露光された画素信号を加算して合成信号を生成してもよい。
【００５９】
ここで、上記第１の合成処理は、飽和レベルよりも大きくなければ上記第２の合成処理から得られたはずの合成信号を、第２の露光期間で露光された画素信号を用いた補間処理によって生成してもよい。
【００６０】
ここで、合成部１１２は、反射光Ｌ２を示す画素信号から背景光を示す画素信号を除去する背景光除去部８０１を備え、除去後の画素信号を用いて合成信号を生成してもよい。
【００６１】
ここで、合成部１１２では、上記第１の合成処理により得られる合成信号に対して、上記第２の合成処理により得られる合成信号の信号レベルに合わせるように、露光期間の比率に基づいてゲイン補正するゲイン補正部８０４を備え、距離演算部１１４は、ゲイン補正後の合成信号を用いて対象物ＯＢＪまでの距離値を算出してもよい。
【００６２】
ここで、第１の露光期間と第２の露光期間との比率は、合成信号の重心に対して対称に配置されていてもよい。
【００６３】
また、本実施の形態における距離画像合成方法は、光源１０４から対象物ＯＢＪに向けて照射光Ｌ１を照射する発光ステップと、照射光Ｌ１が対象物ＯＢＪに反射して生じた反射光Ｌ２を、二次元状に配置された画素群にて受光する受光ステップと、画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成ステップと、照射と受光との時間差および合成信号に基づいて対象物ＯＢＪまでの距離値を算出する距離演算ステップとを備え、上記合成ステップにおいて、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により合成信号を生成し、飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する。
【００６４】
（実施の形態２）
実施の形態２では、実施の形態１で説明した距離測定装置の他の例を説明する。本実施の形態では、フレームごとに画素の測定条件を切り替えることで、固体撮像素子１０５の２つの領域ＡＲ１、ＡＲ２をフレーム単位で入れ替えている。
【００６５】
図９は、本実施の形態における、２つの領域ＡＲ１、ＡＲ２の配置パターンを説明するための説明図である。現フレームと前フレームにおいて、測定条件を切り替えることで、領域ＡＲ１、ＡＲ２のラインが入れ替わっている。このような領域ＡＲ１、ＡＲ２の配置パターンをとることで、現フレームと前フレームの両方の画素を用いれば、空間的に同じ画素位置で、第１条件における信号と、第２条件における信号を得られる。これにより、固体撮像素子１０５の画素を２つの領域ＡＲ１、ＡＲ２に分割しても解像度の低下を防止できる。すなわち、合成画素Ｐ１Ｘから生成した距離画像の解像度を、固体撮像素子１０５の全画素から生成した距離画像の解像度と同程度に保つことが可能となる。なお、領域のサイズや分割数は図９に示したものに限られるものではない。
【００６６】
図１０は実施の形態２に係る距離測定装置の構成の一部を示すブロック図である。同図の距離測定装置は、図１と比べて、フレームメモリ１００１、第１補間画素生成部１００２、第２補間画素生成部１００３、動き検出部１００４が追加されている点が異なっている。以下異なる点を中心に説明する。なお、実施の形態１と実質的に同一の構成に対する重複説明を省略する場合がある。
【００６７】
図１０において、第１フレーム（前フレーム）で撮像信号処理部１０１に入力された撮像信号は、フレームメモリ１００１に一旦保存される。そして、次に第２フレーム（現フレーム）で撮像信号が読み出される。このとき、画素の測定条件を切り替えることで、第１フレームと、第２フレームの２つの領域ＡＲ１、ＡＲ２を入れ替える（図９参照）。
【００６８】
フレームメモリ１００１から読み出された前フレームの撮像画像及び現フレームの撮像画像は、第１補間画素生成部１００２、第２補間画素生成部１００３に入力される。
【００６９】
第１補間画素生成部１００２、第２補間画素生成部１００３では、領域ＡＲ１、ＡＲ２毎に画素信号を分離し、分離された画素信号を二次元補間することで、第１条件における信号と第２条件における信号を全画素分生成する。これにより、前フレームの第１条件における信号、第２条件における信号、現フレームの第１条件における信号、第２条件における信号の４つの信号が全画素分生成されることになる。４つの信号は、動き検出部１００４と合成部１１２に入力される。
【００７０】
図１１は、第１補間画素生成部１００２、第２補間画素生成部１００３における現フレームの補間処理を示した図である。まず、現フレームの撮像信号は、奇数ラインからなる第１領域ＡＲ１と、偶数ラインからなる第２領域ＡＲ２に分離される。第１領域ＡＲ１から得られる第１条件における信号は、第１補間画素生成部１００２によって二次元補間され、第１条件における信号を全画素分生成する（第１補間画像）。第２領域ＡＲ２から得られる第２条件における信号は、第２補間画素生成部１００３によって二次元補間され、第２条件における信号を全画素分生成する（第２補間画像）。
【００７１】
ここで、図１１から図１３では、固体撮像素子１０５から撮像信号処理部１０１へ入力された画素は実線で、二次元補間して生成された画素は点線で図示してある。
【００７２】
図１２は、第１補間画素生成部１００２、第２補間画素生成部１００３における前フレームの補間処理を示した図である。まず、前フレームの撮像信号は、奇数ラインからなる第２領域ＡＲ２と、偶数ラインからなる第１領域ＡＲ１に分離される。第１領域ＡＲ１から得られる第１条件における信号は、第１補間画素生成部１００２によって二次元補間され、第１条件における信号を全画素分生成する（第３補間画像）。第２領域ＡＲ２から得られる第２条件における信号は、第２補間画素生成部１００３によって二次元補間され、第２条件における信号を全画素分生成する（第４補間画像）。
【００７３】
ここで、第１補間画素生成部１００２、第２補間画素生成部１００３における二次元補間処理は、例えば、図１３に示すように、補間を行い生成される画素（補間画素）の周囲に存在する複数の画素の画素信号を加算平均することによって、補間画素の画素信号を生成する。つまり、図１３において、補間画素の画素信号Ｐ２Ｘは、補間画素の周囲の画素（Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃ、Ｐ２ｄ）の画素信号から、
Ｐ２Ｘ＝（Ｐ２ａ＋Ｐ２ｂ＋Ｐ２ｃ＋Ｐ２ｄ）／４  ・・・（式５）
とする。なお、上式の記号は当該画素のデータを意味しており、補間画素を生成するための計算式はこれだけに限定されるものではない。
【００７４】
動き検出部１００４は、前フレームの第１条件における信号、第２条件における信号、現フレームの第１条件における信号、第２条件における信号の４つの信号が入力されると、現フレームの第１条件における信号から生成された第１補間画像と、前フレームの第１条件における信号から生成された第３補間画像の空間的に同じ位置にある画素同士を比較することにより、フレーム間における画素毎の動き量Ｘを検出する。動き量Ｘは、例えば、空間的に同じ位置にある画素同士の信号レベルの差分値とする。このとき、第１条件でＳ０信号またはＳ１信号が飽和している画素については、第２条件おける信号を用いて、現フレームの第２条件における信号から生成された第２補間画像と、前フレームの第２条件における信号から生成された第４補間画像の空間的に同じ位置にある画素同士を比較することにより、フレーム間における画素毎の動き量Ｘを検出する。検出された動き量Ｘは合成部１１２に入力される。
【００７５】
図１４は、実施の形態２に係る合成部１１２の補間処理（図２のステップＳ２０４）内部のフローチャートである。
【００７６】
まず、ステップ１４０１では、処理対象としているラインの測定条件が第１条件か否かを判定する。この判定結果がＮＯならば、処理はステップＳ１４０３に移行する。ステップＳ１４０３では、処理対象ラインの測定条件が第２条件であるため、現フレームの信号である第２補間画像から画素を選択し補間処理を終了する。一方、ステップＳ１４０１での判定結果がＹＥＳならば、ステップＳ１４０２に移行し、ステップＳ１４０２〜ステップＳ１４０５までの少なくとも一つの処理を実行する。ステップ１４０２では、動き検出部１００４から入力された動き量Ｘが所定の閾値より小さいか否かを判定する。この判定の判定結果がＹＥＳならば、処理はステップＳ１４０５に移行する。ステップＳ１４０５では、ステップＳ１４０２の判定結果から、動きが少ない、つまり被写体の変化があまりない画素であると判定し、第２条件における信号として第４補間画像を選択する。これにより、前フレームの空間的に同じ位置にある画素信号を出力して補間処理を終了する。一方、ステップＳ１４０２での判定結果がＮＯならば、ステップＳ１４０４に移行する。ステップＳ１４０４では、ステップＳ１４０２の判定結果から、被写体の位置が変化する等して動きのあった画素であると判定し、第２条件における信号として第２補間画像を選択する。これにより、動きのあった画素については、前フレームの画素信号は使用せず、現フレームの第２条件における信号から生成された画素信号を出力して補間処理を終了する。
【００７７】
図１５は、実施の形態２に係る合成部１１２の加算処理（図２のステップＳ２０６）内部のフローチャートである。
【００７８】
まず、ステップＳ１５０１では、処理対象としているラインの測定条件が第１条件か否かを判定する。この判定結果がＮＯならば、処理はステップＳ１５０２に移行し、ステップＳ１５０２〜ステップＳ１５０５までの少なくとも一つの処理を実行する。ステップＳ１５０２では、処理対象ラインの測定条件が第２条件であるため、現フレームの信号である第２補間画像から画素を選択し、ステップＳ１５０３に移行する。ステップＳ１５０３では、動き検出部１００４から入力された動き量Ｘが所定の閾値より小さいか否かを判定する。この判定の判定結果がＹＥＳならば、処理はステップＳ１５０５に移行する。ステップＳ１５０５では、ステップＳ１５０３の判定結果から、動きが少ない静止状態、つまり被写体の変化があまりない画素であると判定し、第１条件における信号として第３補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０２で選択された現フレームの第２条件における信号と、ステップＳ１５０５で選択された前フレームの第１条件における信号とを加算し、加算処理を終了する。一方、ステップＳ１５０３での判定結果がＮＯならば、ステップＳ１５０４に移行する。ステップＳ１５０４では、ステップＳ１５０３の判定結果から、被写体が動状態、つまり被写体の位置が変化する等して動きのあった画素であると判定し、第１条件における信号として第１補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０２で選択された現フレームの第２条件における信号と、ステップＳ１５０４で選択された現フレームの第１条件における信号とを加算し、加算処理を終了する。
【００７９】
ステップＳ１５０１での判定がＹＥＳならば、処理はステップＳ１５０７に移行し、ステップＳ１５０７〜ステップＳ１５０９までの少なくとも一つの処理を実行する。ステップＳ１５０７では、処理対象ラインの測定条件が第１条件であるため、現フレームの信号である第１補間画像から画素を選択し、ステップＳ１５０３に移行する。ステップＳ１５０３では、動き検出部１００４から入力された動き量Ｘが所定の閾値より小さいか否かを判定する。この判定結果がＹＥＳならば、処理はステップＳ１５０９に移行する。ステップＳ１５０９では、ステップＳ１５０３の判定結果から、動きが少ない、つまり被写体の変化があまりない画素であると判定し、第２条件における信号として第４補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０７で選択された現フレームの第１条件における信号と、ステップＳ１５０９で選択された前フレームの第２条件における信号とを加算し、加算処理を終了する。一方、ステップＳ１５０３での判定結果がＮＯならば、ステップＳ１５０８に移行する。ステップＳ１５０８では、ステップＳ１５０３の判定結果から、被写体の位置が変化する等して動きのあった画素であると判定し、第２条件における信号として第２補間画像を選択し、ステップＳ１５０６に移行する。ステップＳ１５０６では、ステップＳ１５０７で選択された現フレームの第１条件における信号と、ステップＳ１５０８で選択された現フレームの第２条件における信号とを加算し、加算処理を終了する。
【００８０】
このように、動き検出部１００４から出力された動き量Ｘによって、被写体の動きの有無を判別することで、被写体の動きに応じて、現フレームの画素を使用するか前フレームの画素を使用するかを切り替えることが可能となり、距離画像にぶれや残像が生じるのが抑えられる。
【００８１】
図１６は、実施の形態２に係る合成部１１２の構成を示すブロック図の一例であり、図８Ａと比較し、ゲイン補正部８０４と、合成演算処理部８０２が入れ替わっている。合成演算処理部８０２に信号を入力する前に、第１条件における信号を持つ画素Ｐｌと、第２条件における信号を持つ画素ＰＳの信号レベルを統一させておき、第１条件の結果においても飽和している画素が存在しない場合は、ＰｌとＰｌに信号レベルを合わせたＰｓの平均値を算出することで、合成画素Ｐ１Ｘを生成する。
【００８２】
Ｐ１Ｘ＝（Ｐｌ＋Ｐｓ×Ｋ）／２  ・・・（式６）
【００８３】
なお、上式の記号は当該画素のデータを意味している。一方、第１条件でＳ０信号またはＳ１信号が飽和している画素については第２条件における信号のみで合成画素Ｐ１Ｘを生成する。
【００８４】
Ｐ１Ｘ＝Ｐｓ×Ｋ  ・・・（式７）
【００８５】
ここで、乗算される係数Ｋは、露光量の比から決定し“４”となる。
【００８６】
また、図１７Ａ、図１７Ｂは、実施の形態２に係る信号レベルの変化を示す例である。例えば、第１条件における信号を持つ画素Ｐｌは、第２条件における信号を持つ画素ＰＳと比較し４倍の信号レベルを持っている。第１条件の結果においても飽和している画素が存在しない場合は、図１７Ａのように、ＰｌとＰｌに信号レベルを合わせたＰｓの平均値を合成画素Ｐ１Ｘとする。一方、第１条件でＳ０信号またはＳ１信号が飽和している画素については、図１７Ｂのように第２条件における信号のみで合成画素Ｐ１Ｘを生成する。
【００８７】
このように、係数Ｋを乗算して合成画素Ｐ１Ｘの信号レベルを統一することで、信号補正処理部１１３において、空間処理を施すことが可能となる。よって、信号補正処理部１１３で行う補正処理によりノイズ成分を低減させ、より測距精度を高めることができる。
【００８８】
以上により、被写体のぶれや残像の発生を抑えるとともに、固体撮像素子１０５の全画素分の解像度を確保したまま、物体までの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって測距可能となる。
【００８９】
以上の説明してきたように本実施の形態における距離測定装置は、画素群が、第１の露光期間で露光された第１のライン上の画素から読み出された第１の画素信号と、第１の露光期間より短い第２の露光期間で露光された第１のラインと異なる第２のライン上の画素から読み出された第２の画素信号とから構成され、１フレームには、第１のラインと第２のラインとがライン毎に交互に配置されている。
【００９０】
ここで、画素群は、水平方向に半画素ずらして配置されていてもよい。
【００９１】
ここで、第１の露光期間と第２の露光期間との比率は４：１であってもよい。
【００９２】
ここで、受光部２０は、第１のラインを先頭行とするフレームと、第２のラインを先頭行とするフレームとを交互に生成してもよい。
【００９３】
ここで、受光部２０で得られた１フレームの全画素信号を記録するフレームメモリ１００１と、対象物ＯＢＪの動きを検出する動き検出部１００４と、第１の画素信号から全画素分の第１の画素信号を生成する第１補間画素生成部１００２と、第２の画素信号から全画素分の第２の画素信号を生成する第２補間画素生成部１００３とを備え、合成部１１２は、動き検出部１００４により対象物ＯＢＪが静止状態であると判定された場合には、現在の画素信号と１フレーム前の同位置に存在する画素信号とを合成し、動き検出部１００４により対象物ＯＢＪが動状態であると判定された場合には、第１補間画素生成部１００２により生成された第１の画素信号と第２補間画素生成部１００３により生成された第２の画素信号とを合成してもよい。
【００９４】
ここで、受光部２０で得られた画素信号から、第１補間画像生成部１００２により第１の画素信号から成る第１補間画像を生成し、第２補間画像生成部１００３により第２の画素信号から成る第２補間画像を生成し、フレームメモリ１００１により記録された１フレーム前の画素信号から、第１補間画像生成部１００２により第１の画素信号から成る第３補間画像を生成し、第２補間画像生成部１００３により第２の画素信号から成る第４補間画像を生成し、動き検出部１００４は、第１補間画像と第３補間画像を比較するとともに、第２補間画像と第４補間画像を比較することによって、対象物ＯＢＪの動きを検出し、合成部１１２は、動きが閾値より小さいとき、第４補間画像を用いて第１の合成処理により合成信号を生成し、動きが閾値より小さくないとき、第２補間画像を用いて第１の合成処理により合成信号を生成してもよい。
【００９５】
以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本開示に含まれる。
【産業上の利用可能性】
【００９６】
本開示は、測定対象物との距離や形状の測定を行う距離測定装置の距離範囲拡大や精度向上等に有用であり、例えば、人の指を検知してジェスチャー入力を行う入力装置等に適用できる。
【符号の説明】
【００９７】
１０    発光部
２０    受光部
１０１    撮像信号処理部
１０２    光源ドライバ
１０３    駆動制御部
１０４    光源
１０５    固体撮像素子
１１０    ＡＦＥ
１１１    ラインメモリ
１１２    合成部
１１３    信号補正処理部
１１４    距離演算部
８０１    背景除去部
８０２    合成演算部
８０３    背景光判定部
８０４    ゲイン補正部
１００１    フレームメモリ
１００２    第１補間画素生成部
１００３    第２補間画素生成部
１００４    動き検出部
ＡＲ１    第１領域
ＡＲ２    第２領域
Ｄ０    距離値
ＳＧ１    発光タイミング信号
ＳＧ２    露光タイミング信号
Ｘ    動き量
【図１】
2017006546.tif 000005
【図２】
2017006546.tif 000006
【図３】
2017006546.tif 000007
【図４Ａ】
2017006546.tif 000008
【図４Ｂ】
2017006546.tif 000009
【図５】
2017006546.tif 000010
【図６Ａ】
2017006546.tif 000011
【図６Ｂ】
2017006546.tif 000012
【図７Ａ】
2017006546.tif 000013
【図７Ｂ】
2017006546.tif 000014
【図８Ａ】
2017006546.tif 000015
【図８Ｂ】
2017006546.tif 000016
【図９】
2017006546.tif 000017
【図１０】
2017006546.tif 000018
【図１１】
2017006546.tif 000019
【図１２】
2017006546.tif 000020
【図１３】
2017006546.tif 000021
【図１４】
2017006546.tif 000022
【図１５】
2017006546.tif 000023
【図１６】
2017006546.tif 000024
【図１７Ａ】
2017006546.tif 000025
【図１７Ｂ】
2017006546.tif 000026
【手続補正書】
【提出日】平成29年10月25日(2017.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光源から被写体に向けて光を照射する発光部と、
前記発光部で照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光部と、
前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成部と、
照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算部と、を備え、
前記合成部は、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する
距離測定装置。
【請求項２】
請求項１記載の距離測定装置において、
前記第１の合成処理は、前記複数の画素信号のうち、前記第１の露光期間よりも短い第２の露光期間で露光された画素信号を使用して前記合成信号を生成する
距離測定装置。
【請求項３】
請求項２記載の距離測定装置において、
前記第２の合成処理は、前記複数の画素信号のうち、前記第１の露光期間で露光された画素信号、および、前記第２の露光期間で露光された画素信号を加算して前記合成信号を生成する
距離測定装置。
【請求項４】
請求項３記載の距離測定装置において、
前記第１の合成処理は、前記飽和レベルよりも大きくなければ前記第２の合成処理から得られたはずの合成信号を、前記第２の露光期間で露光された画素信号を用いた補間処理によって生成する
距離測定装置。
【請求項５】
請求項１記載の距離測定装置において、
前記合成部は、前記反射光を示す画素信号から背景光を示す画素信号を除去する背景光除去部を備え、除去後の画素信号を用いて前記合成信号を生成する
距離測定装置。
【請求項６】
請求項５記載の距離測定装置において、
前記合成部では、前記第１の合成処理により得られる前記合成信号に対して、前記第２の合成処理により得られる前記合成信号の信号レベルに合わせるように、露光期間の比率に基づいてゲイン補正するゲイン補正部を備え、
前記距離演算部は、ゲイン補正後の前記合成信号を用いて前記距離値を算出する
距離測定装置。
【請求項７】
請求項２記載の距離測定装置において、
前記第１の露光期間で露光された合成前の画素と前記第２の露光期間で露光された合成前の画素は、合成後の画素の重心に対して対称に配置されている
距離測定装置。
【請求項８】
請求項７記載の距離測定装置において、
前記画素群は、第１の露光期間で露光された第１のライン上の画素から読み出された第１の画素信号と、前記第１の露光期間より短い第２の露光期間で露光された前記第１のラインと異なる第２のライン上の画素から読み出された第２の画素信号とから構成され、
１フレームには、前記第１のラインと前記第２のラインとがライン毎に交互に配置されている
距離測定装置。
【請求項９】
請求項８記載の距離測定装置において、
前記画素群は、水平方向に半画素ずらして配置されている
距離測定装置。
【請求項１０】
請求項９記載の距離測定装置において、
前記第１の露光期間と前記第２の露光期間との比率は４：１である
距離測定装置。
【請求項１１】
請求項８記載の距離測定装置において、
前記受光部は、前記第１のラインを先頭行とするフレームと、前記第２のラインを先頭行とするフレームとを交互に生成する
距離測定装置。
【請求項１２】
請求項１１記載の距離測定装置において、
前記受光部で得られた１フレーム前の全画素信号を記録するフレームメモリと、
前記被写体の動きを検出する動き検出部と、
前記第１の画素信号から全画素分の前記第１の画素信号を生成する第１補間画素生成部と、
前記第２の画素信号から全画素分の前記第２の画素信号を生成する第２補間画素生成部と
を備え、
前記合成部は前記第２の合成処理において、
前記動き検出部により前記被写体が静止状態であると判定された場合には、現在の画素信号と１フレーム前の同位置に存在する画素信号とを合成し、
前記動き検出部により前記被写体が動状態であると判定された場合には、前記第１補間画素生成部により生成された前記第１の画素信号と前記第２補間画素生成部により生成された前記第２の画素信号とを合成する
距離測定装置。
【請求項１３】
請求項１１記載の距離測定装置において、
前記受光部で得られた画素信号から、
前記第１補間画像生成部により前記第１の画素信号から成る第１補間画像を生成し、
前記第２補間画像生成部により前記第２の画素信号から成る第２補間画像を生成し、
前記フレームメモリにより記録された１フレーム前の画素信号から、
前記第１補間画像生成部により前記第１の画素信号から成る第３補間画像を生成し、
前記第２補間画像生成部により前記第２の画素信号から成る第４補間画像を生成し、
前記動き検出部は、前記第１補間画像と前記第３補間画像を比較するとともに、前記第２補間画像と前記第４補間画像を比較することによって、被写体の動きを検出し、
前記合成部は前記第１の合成処理において、前記動きが閾値より小さいとき、前記第４補間画像を用いて前記合成信号を生成し、前記動きが閾値より小さくないとき、前記第２補間画像を用いて前記合成信号を生成する
距離測定装置。
【請求項１４】
光源から被写体に向けて光を照射する発光ステップと、
照射された光が前記被写体に反射して生じた反射光を、二次元状に配置された画素群にて受光する受光ステップと、
前記画素群の、異なる露光期間で露光された画素から読み出された複数の画素信号を合成して合成信号を生成する合成ステップと、
照射と受光との時間差および前記合成信号に基づいて前記被写体までの距離値を算出する距離演算ステップと、
を備え、
前記合成ステップにおいて、第１の露光期間で露光された画素信号が、所定の飽和レベルよりも大きいときには、第１の合成処理により前記合成信号を生成し、前記飽和レベルよりも小さいときには、第２の合成処理により前記合成信号を生成する
距離画像合成方法。
【国際調査報告】
2017006546.tif 000027
2017006546.tif 000028
2017006546.tif 000029
2017006546.tif 000030