(57)【要約】【課題】様々なノイズの存在下であっても、距離画像を生成する毎に生じる各電荷蓄積部で蓄積された蓄積電荷量のノイズによる変動の影響を低減した距離画像を生成する距離画像生成装置を提供する。【解決手段】本装置は、光電変換素子３４及び光電変換素子３４毎に設けられた電荷蓄積部３６Ａ〜３６Ｄを画素毎に有する受光部３０と、各電荷蓄積部に蓄積された電荷に基づいて距離画像を生成する距離画像生成部４０とを備える。距離画像生成部４０は、所定の電荷蓄積時間毎に、電荷蓄積部３６Ａ〜３６Ｄ毎に、処理対象電荷蓄積時間の蓄積電荷量から、処理対象電荷蓄積時間経過以前の最小蓄積電荷量を減算した値をノイズ電荷量として演算し、処理対象電荷蓄積時間経過以前のノイズ電荷量の平均値に最小蓄積電荷量を加算した補正蓄積電荷量に基づいて画素毎の対象物２００までの距離値を演算する。【選択図】図１
2016217907.tif 000002
【特許請求の範囲】
【請求項１】
対象空間に変調光を照射する光源を有する投光部と、
前記投光部から照射され前記対象空間内の対象物で反射した反射光を含む光を受光し、受光光量に応じた電荷に変換する光電変換素子、及び前記光電変換素子毎に設けられた複数の電荷蓄積部を画素毎に有する受光部と、
前記光源を駆動するとともに、前記光電変換素子で変換した電荷を単位時間間隔で前記複数の電荷蓄積部に対して順番に振り分ける制御部と、
所定の電荷蓄積時間毎に、各電荷蓄積部に蓄積された電荷に基づいて画素毎の前記対象物までの距離値を演算し、前記距離値を画素値とする距離画像を生成する距離画像生成部とを備え、
前記距離画像生成部は、
前記電荷蓄積時間毎に、単位時間間隔で各電荷蓄積部に蓄積された電荷量を蓄積電荷量として、前記電荷蓄積時間に対応付けて保持し、
前記電荷蓄積部毎に、前記距離画像を生成する処理の対象となる電荷蓄積時間（以下、処理対象電荷蓄積時間という）経過以前の前記蓄積電荷量の最小値を最小蓄積電荷量として設定し、前記処理対象電荷蓄積時間に対応付けられた蓄積電荷量から前記最小蓄積電荷量を減算した値を、前記処理対象電荷蓄積時間に対応付けられたノイズ電荷量と定めて演算し、前記処理対象電荷蓄積時間経過以前のノイズ電荷量の平均値に前記最小蓄積電荷量を加算した値を補正蓄積電荷量として演算し、
各電荷蓄積部の前記補正蓄積電荷量に基づいて画素毎の前記対象物までの距離値を演算し、前記距離値を画素値とする距離画像を生成することを特徴とする距離画像生成装置。
【請求項２】
請求項１記載の距離画像生成装置において、
前記距離画像生成部は、前記処理対象電荷蓄積時間に対応付けられたノイズ電荷量が所定閾値以上であるときに、前記処理対象電荷蓄積時間経過以前の前記蓄積電荷量の最小値に代えて、前記電荷蓄積部毎に前記処理対象電荷蓄積時間に対応付けられた蓄積電荷量を各電荷蓄積部の最小蓄積電荷量として設定することを特徴とする距離画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像生成装置に関する。
【背景技術】
【０００２】
従来、ＣＭＯＳセンサ等の距離画像センサを用いて、距離画像を生成する装置が知られている。例えば、所定の発光周波数で強度変調された光を空間に照射する光源と、光源から照射された光の反射光を受光し、受光強度に対応する信号を出力する複数個の光電変換素子を有する距離画像センサとを備えた距離画像生成装置が提案されている（例えば、特許文献１参照）。
【０００３】
上記特許文献１の距離画像生成装置は、各光電変換素子に対応して設けられた複数の電荷蓄積部と、所定の時間間隔で、光電変換素子で変換した電荷を複数の電荷蓄積部に対して振り分ける制御部とを備え、背景光由来のノイズを排除し、対象物からの反射光成分を抽出する。そして、光の速度が既知であることを利用し、光飛行時間計測法（ＴＯＦ：Time of flight）を用いて測定した光飛行時間に基づいて当該装置から測定対象物までの距離を測定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−８９３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の距離画像生成装置は、背景光由来のノイズを排除し、光源からの光由来の反射光成分を抽出するが、距離画像センサ由来のショットノイズ、レンズ光学系由来のフレア光によるノイズ、背景光変動等が存在するため、各電荷蓄積部で蓄積された蓄積電荷量それぞれには様々なノイズが重畳されている。
【０００６】
そのため、対象物までの距離値を画素値とする距離画像を生成する毎に、各電荷蓄積部で蓄積された蓄積電荷量が変動するので、変動した各蓄積電荷量に基づいて演算した当該距離値も変動する。この結果、当該距離値の変動が、測定対象物の移動による変動又はノイズ由来の変動のいずれかであるのか判別困難になるという問題がある。
【０００７】
本発明は、様々なノイズの存在下であっても、距離画像を生成する毎に生じる各電荷蓄積部で蓄積された蓄積電荷量のノイズによる変動の影響を低減した距離画像を生成することができる距離画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、対象空間に変調光を照射する光源を有する投光部と、前記投光部から照射され前記対象空間内の対象物で反射した反射光を含む光を受光し、受光光量に応じた電荷に変換する光電変換素子、及び前記光電変換素子毎に設けられた複数の電荷蓄積部を画素毎に有する受光部と、前記光源を駆動するとともに、前記光電変換素子で変換した電荷を単位時間間隔で前記複数の電荷蓄積部に対して順番に振り分ける制御部と、所定の電荷蓄積時間毎に、各電荷蓄積部に蓄積された電荷に基づいて画素毎の前記対象物までの距離値を演算し、前記距離値を画素値とする距離画像を生成する距離画像生成部とを備える。
【０００９】
そして、前記距離画像生成部は、前記電荷蓄積時間毎に、単位時間間隔で各電荷蓄積部に蓄積された電荷量を蓄積電荷量として、前記電荷蓄積時間に対応付けて保持し、前記電荷蓄積部毎に、前記距離画像を生成する処理の対象となる電荷蓄積時間（以下、処理対象電荷蓄積時間という）経過以前の前記蓄積電荷量の最小値を最小蓄積電荷量として設定し、前記処理対象電荷蓄積時間に対応付けられた蓄積電荷量から前記最小蓄積電荷量を減算した値を、前記処理対象電荷蓄積時間に対応付けられたノイズ電荷量と定めて演算し、前記処理対象電荷蓄積時間経過以前のノイズ電荷量の平均値に前記最小蓄積電荷量を加算した値を補正蓄積電荷量として演算し、各電荷蓄積部の前記補正蓄積電荷量に基づいて画素毎の前記対象物までの距離値を演算し、前記距離値を画素値とする距離画像を生成することを特徴とする。
【００１０】
電荷蓄積時間毎に各電荷蓄積部に蓄積された蓄積電荷量の変動は、反射光由来の電荷量にノイズ由来の電荷量が重畳したことにより生じている。
【００１１】
本発明によれば、距離画像生成部により、まず、各電荷蓄積部に関して、逐次、処理対象電荷蓄積時間毎に最小蓄積電荷量を設定し、各電荷蓄積時間に対応付けられたノイズ電荷量を演算する。
【００１２】
最小蓄積電荷量は処理対象電荷蓄積時間経過以前の電荷蓄積時間でノイズ成分の影響が最も小さい電荷量である。そのため、電荷蓄積時間に対応付けられた蓄積電荷量から最小蓄積電荷量を減算した値は、処理対象電荷蓄積時間経過以前の電荷蓄積時間で最も精度の高いノイズ由来の蓄積電荷量であると推定できる。
【００１３】
次に、距離画像生成部により、処理対象電荷蓄積時間経過以前のノイズ電荷量の平均値と最小蓄積電荷量を加算した補正蓄積電荷量を演算する。補正蓄積電荷量の演算を時間経過に従って繰り返すことにより、補正蓄積電荷量は変動する補正蓄積電荷量の上限値と下限値との間の中間値に漸近し、また、当該中間値の変動も抑制されるので、補正蓄積電荷量自体の変動を抑制できる。
【００１４】
従って、本発明によれば、様々なノイズの存在下であっても、距離画像を生成する毎に生じる各電荷蓄積部で蓄積された蓄積電荷量のノイズによる変動の影響を低減した距離画像を生成することができる。また、本発明によれば、距離値の変動が測定対象物の移動による変動であるのかを示す測定対象物の移動判別の精度を向上できるので、動きを伴う対象物認識の精度を向上させることができる。
【００１５】
本発明において、前記距離画像生成部は、前記処理対象電荷蓄積時間に対応付けられたノイズ電荷量が所定閾値以上であるときに、前記処理対象電荷蓄積時間経過以前の前記蓄積電荷量の最小値に代えて、前記電荷蓄積部毎に前記処理対象電荷蓄積時間に対応付けられた蓄積電荷量を各電荷蓄積部の最小蓄積電荷量として設定することが好ましい。
【００１６】
本発明によれば、距離画像生成部が処理対象電荷蓄積時間に対応付けられたノイズ電荷量が所定閾値以上であるとき、対象空間内の対象物の位置が変化したと判定できる。
【００１７】
従って、対象空間内の対象物の位置が変化した場合でも、処理対象電荷蓄積時間経過以前の蓄積電荷量の最小値に代えて、電荷蓄積部毎に処理対象電荷蓄積時間に対応付けられた蓄積電荷量を各電荷蓄積部の最小蓄積電荷量として設定することにより、距離画像上に残像を出現させることなく、リアルタイムでの対象物の動きに対する追従性を向上できる。
【００１８】
また、対象空間内の対象物の位置が変化した後でも、距離画像を生成する毎に生じる各電荷蓄積部で蓄積された蓄積電荷量のノイズによる変動の影響を低減できるので、測定対象物の精確な移動判別により、動きを伴う対象物認識の精度を向上させることができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態の距離画像生成装置の構成を示すブロック図。
【図２】電荷蓄積部に蓄積された蓄積電荷量を説明する図。
【図３Ａ】ノイズの影響を受けた、時間経過に対する距離値を示す図。
【図３Ｂ】ノイズ由来の蓄積電荷量の変動により、位相差の変動が生じることを説明する図。
【図４】ノイズにより変動する蓄積電荷量を説明する図。
【図５】本実施形態の距離測定処理部４０で実行される補正処理のフローチャート。
【図６】５フレーム単位で移動平均処理を行った場合の蓄積電荷量の推移を示す図。
【図７】５フレーム単位で本実施形態の距離画像生成装置を適用した場合の蓄積電荷量の推移を示す図。
【発明を実施するための形態】
【００２０】
図１に示されるように、本発明の実施形態の距離画像生成装置１００は、光源１２を有する投光部１０と、光源１２を駆動する駆動回路２２を有する制御部２０と、測定対象物２００からの光を撮像素子３２で受光する受光部３０と、対象物２００までの距離値を演算し、距離値を画素値とする距離画像を生成する距離画像生成部４０とを有し、光飛行時間計測法を用いて距離画像を生成する装置である。
【００２１】
尚、距離画像生成装置１００は、ＣＰＵ、メモリ、及び記憶装置等を備える。制御部２０、受光部３０、距離画像生成部４０は、ＣＰＵが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。
【００２２】
投光部１０は、図１に示されるように、近赤外光を出射するＬＥＤ等の高速変調が可能な複数の光源１２を有する。各光源１２は、後述する制御部２０で生成される駆動信号と同じ波形の変調光（例えば、正弦波、矩形波等で高速に変調した赤外光又は可視光）１０１を測定対象物が存在する対象空間に照射する発光源である。尚、本実施形態では、制御部２０はパルス状の駆動信号を生成するものとして、以下説明する。
【００２３】
制御部２０は、投光部１０の光源１２を駆動する駆動回路２２を備え、投光部１０、受光部３０及び距離画像生成部４０の動作制御を行う。
【００２４】
制御部２０は、光源１２を駆動するパルス状の駆動信号を生成する。パルス状の駆動信号を用いて駆動された光源１２は、パルス状の駆動信号と同じ波形の変調光１０１を対象空間に照射する。また、制御部２０は、受光部３０及び距離画像生成部４０に変調光１０１の変調周波数に同期する同期信号を送信する。
【００２５】
受光部３０は、光源１２から照射された変調光１０１が対象空間内の測定対象物２００で反射された反射光を含む入射光１０２を受光し、電荷に変換する撮像素子３２を備える。撮像素子３２は、入射光１０２を受光し、受光量を電荷量に変換する複数の光電変換素子３４と、光電変換素子３４毎に各光電変換素子３４により得られた電荷量を蓄積する４つの電荷蓄積部３６Ａ，３６Ｂ，３６Ｃ，３６Ｄとを備える。尚、各光電変換素子３４の電荷蓄積部の数は４つに限定されず、少なくとも１以上備えればよい。
【００２６】
光電変換素子３４は、測定対象物２００により反射された反射光を含む入射光１０２を電荷量に変換する。そして、得られた電荷量を、制御部２０からの同期信号に従って、各光電変換素子３４に対応付けて設けられた４つの電荷蓄積部３６Ａ〜３６Ｄそれぞれに振り分ける。本実施形態では、変調の１周期を４等分した単位時間間隔で、４つの電荷蓄積部３６Ａ，３６Ｂ，３６Ｃ，３６Ｄの順番に振り分ける。尚、電荷蓄積部３６Ａ〜３６Ｄには、電荷量そのものを蓄積するだけでなく、電荷量をＡＤ変換後のデータを蓄積してもよい。
【００２７】
距離画像生成部４０は、電荷蓄積部３６Ａ〜３６Ｄそれぞれに振り分けられた電荷に基づいて後述する演算を行い、制御部２０からの同期信号を用いて、変調光１０１と入射光１０２との位相差を演算し、位相差に基づいて測定対象物までの距離値を演算する。そして、距離画像生成部４０は、画素毎に演算された距離値を画素値とする距離画像を生成する。
【００２８】
次に、図２、図３Ａ及び図３Ｂを用いて、距離画像を生成するために、変調光１０１と入射光１０２との位相差から距離値を算出する原理を説明する。
【００２９】
変調光１０１と入射光１０２との間には、光が距離画像生成装置１００から測定対象物２００まで往復する飛行時間による位相の遅延（位相差φ［ｒａｄ］）が生じる。光の速度ｃ［ｍ／ｓ］は既知であるため、位相差φと変調周波数ｆ［Ｈｚ］とを用い、測定対象物までの距離値Ｄ［ｍ］は、以下の式（１）で求めることができる。
【００３０】
【数１】
2016217907.tif 000003
【００３１】
従って、位相差φがわかれば、距離値Ｄを求めることができる。ここで、変調光１０１と入射光１０２との位相差φは、変調光１０１の１周期を４等分した期間（単位時間）各々をＴ１，Ｔ２，Ｔ３，Ｔ４とし、それぞれの期間に蓄積される電荷量をｑ１，ｑ２，ｑ３，ｑ４とすると、以下の式（２）により表される。
【００３２】
【数２】
2016217907.tif 000004
【００３３】
尚、変調光１０１の１周期を４等分した各単位時間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００３４】
また、本実施形態の光源１２の変調周波数は数十［ＭＨｚ］であり、変調光の１周期は数十［ｎｓ］程度である。距離画像を得るためには、数百〜数十万周期の電荷蓄積時間、電荷蓄積部３６Ａ，３６Ｂ，３６Ｃ，３６Ｄに電荷を蓄積する必要がある。
【００３５】
そこで、距離画像生成部４０は、１周期で電荷蓄積部３６Ａ，３６Ｂ，３６Ｃ，３６Ｄに蓄積される電荷量ｑ１，ｑ２，ｑ３，ｑ４に代えて、所定の電荷蓄積時間毎に、電荷蓄積部３６Ａ，３６Ｂ，３６Ｃ，３６Ｄに蓄積された電荷量、すなわち蓄積電荷量Ｑ１，Ｑ２，Ｑ３，Ｑ４を用いて、以下の式（３）に従って位相差φを画素毎に算出し、式（１）に基づいて測定対象物までの距離値Ｄを画素毎に算出し、距離値を画素値とする距離画像を生成する。
【００３６】
【数３】
2016217907.tif 000005
【００３７】
上述した通り、距離画像を生成する際、撮像素子３２由来のショットノイズ、レンズ光学系由来のフレア光によるノイズ、背景光変動等が存在するため、電荷蓄積部３６Ａ〜３６Ｄ各々の蓄積電荷量Ｑ１，Ｑ２，Ｑ３，Ｑ４には様々なノイズが重畳されている。例えば、電荷蓄積部３６Ａの蓄積電荷量Ｑ１は、図２に示されるように、反射光１０２由来の蓄積電荷量Ｑｓに、ノイズ由来の蓄積電荷量Ｑｎｏｉｓｅが重畳されたものである。
【００３８】
図３Ａは、測定対象物２００が、経過時間に対して、４．３［ｍ］から４．３［ｍ］より遠距離の位置に移動し、その後、元の位置に移動した場合の距離画像生成装置１００からの距離値を示した図である。図３Ａに示されるように、測定対象物２００が一定位置に静止している場合でも、生成された距離値が変動していることがわかる。
【００３９】
電荷蓄積時間毎に生成される１枚の距離画像を１フレームと定義すると、電荷蓄積時間で電荷蓄積部３６Ａ，３６Ｂ，３６Ｃ，３６Ｄに蓄積された蓄積電荷量Ｑ１，Ｑ２，Ｑ３，Ｑ４は上記ノイズ由来の電荷が反射光由来の電荷に重畳した値であるため、フレーム毎に変動する。
【００４０】
そのため、測定対象物２００から距離画像生成装置１００までの真の距離値に対応する変調光１０１と入射光１０２との間の真の位相差φに対して、位相差の変動幅φ’が生じる。図３Ｂに示されるように、電荷蓄積部３６Ｂと電荷蓄積部３６Ｄの蓄積電荷量の差“Ｑ２−Ｑ４”は下限値ａから上限値ａ’の範囲で変動し、また、電荷蓄積部３６Ａと電荷蓄積部３６Ｃの蓄積電荷量の差“Ｑ１−Ｑ３”は下限値ｂから上限値ｂ’の範囲で変動した場合、位相差は真の位相差φに対して変動幅φ’を有する位相差になる。その結果、測定対象物２００から距離画像生成装置１００までの距離値もフレーム毎に変動する。
【００４１】
次に、図４〜図７を用いて、本実施形態の距離画像を生成するために、距離画像生成部４０で１フレーム生成期間（電荷蓄積時間）毎に実行される、各電荷蓄積部に蓄積された蓄積電荷量から補正蓄積電荷量を求める補正演算処理を説明する。以下、距離画像を生成する処理の対象となる電荷蓄積時間を処理対象電荷蓄積時間という。
【００４２】
本実施形態の補正演算処理は、各電荷蓄積部において、処理対象のフレームに対応する処理対象電荷蓄積時間での蓄積電荷量測定値と処理対象電荷蓄積時間経過以前の蓄積電荷量測定値の最小蓄積電荷量とを比較し、最小蓄積電荷量を随時更新する。次いで、処理対象電荷蓄積時間での蓄積電荷量測定値と最小蓄積電荷量との差を処理対象電荷蓄積時間でのノイズ電荷量として演算する。そして、処理対象電荷蓄積時間経過以前のノイズ電荷量の平均値と最小蓄積電荷量を加算した補正蓄積電荷量を演算するとともに、ノイズ電荷量の所定変動幅を設けることにより、リアルタイムでの測定対象物２００の動きに対する追従性を向上する。
【００４３】
例えば、図４に示されるように、電荷蓄積部３６Ａに蓄積された蓄積電荷量Ｑ１について、時系列的に、フレーム番号ｉ（ｉ＝０，・・・）に対応する電荷蓄積時間Ｔｉにおける蓄積電荷量Ｑ１（ｉ）が変化した場合、最小蓄積電荷量Ｑ１＿ｍｉｎは、Ｔ０でＱ１（０）であり、Ｔ１でＱ１（１）であり、Ｔ２でＱ１（１）のまま変化せず、Ｔ３でＱ１（３）であり、Ｔ４でＱ１（４）であり、Ｔ５でＱ１（４）になる。
【００４４】
尚、電荷蓄積部３６Ａにおける、電荷蓄積時間Ｔｉにおけるノイズ由来の蓄積電荷量Ｎ１（ｉ）は、電荷蓄積時間Ｔｉにおける蓄積電荷量測定値Ｑ１（ｊ）から、電荷蓄積時間Ｔｉ経過以前の各電荷蓄積時間に対応する蓄積電荷量測定値Ｑ１（ｊ）（ｊ＝０，・・・，ｉ）の最小蓄積電荷量Ｑ１＿ｍｉｎを減算した値であると考えられる。
【００４５】
図４では、ノイズ由来の蓄積電荷量Ｎ１（ｉ）は順に、Ｎ１（０）＝０（＝Ｑ１（０）−Ｑ１（０））、Ｎ１（１）＝０（＝Ｑ１（１）−Ｑ１（１））、Ｎ１（２）＝Ｑ１（２）−Ｑ１（１）、Ｎ１（３）＝０（＝Ｑ１（３）−Ｑ１（３））、Ｎ１（４）＝０（＝Ｑ１（４）−Ｑ１（４））、Ｎ１（５）＝Ｑ１（５）−Ｑ１（４）になる。
【００４６】
電荷蓄積時間Ｔｉ（ｉ＝０，・・・）における、電荷蓄積部ｎ（ｎ＝１，・・・，４）でのノイズ由来の蓄積電荷量Ｎｎ（ｉ）を考慮した蓄積電荷量（以下、「補正蓄積電荷量」ともいう。）Ｑｎ（ｉ）＿ｓは、以下の式（４）の通り表すことができる。
【００４７】
【数４】
2016217907.tif 000006
【００４８】
図４では、ノイズ由来の蓄積電荷量Ｎ１（ｉ）を平均化するフレーム数（以下、「平均化フレーム数」という。）Ｆを「５」とすると、補正蓄積電荷量Ｑ１（ｉ）＿ｓ（ｉ＝０，・・・，５）は、以下の通りになる。尚、平均化フレーム数Ｆを５に設定したが、これに限定されず、任意の正数を用いることができる。
【００４９】
【数５】
2016217907.tif 000007
【００５０】
式（４）によるノイズ由来の蓄積電荷量Ｎｎ（ｉ）を考慮した補正蓄積電荷量Ｑｎ（ｉ）＿ｓは、フレーム番号ｉが大きくなるに従い、変動範囲の上限値と下限値の中間値に漸近し、変動が抑制される。
【００５１】
本実施形態の距離画像生成装置１００の距離画像生成部４０で実行される補正演算処理を含む距離測定処理を、図５のフローチャートを用いて説明する。図５のフローチャートに用いた符号の内容は、以下の通りである。尚、本実施形態では、後述する電荷蓄積部ｎ（ｎ＝１，・・・，４）に対する補正演算処理は、１→２→３→４→１→・・・の順番に実行され、電荷蓄積時間Ｔｉはｉ＝０から開始されるものとして説明する。
【００５２】
ｎ：電荷蓄積部（ｎ＝１，・・・，４）
ｉ：電荷蓄積時間Ｔｉに対応するフレーム番号（ｉ＝０，１，・・・）
Ｑｎ（ｉ）：電荷蓄積部ｎに蓄積された、フレームｉに対応する蓄積電荷量
Ｑｎ＿ｍｉｎ：測定対象物２００の位置が変化していないフレームｉまでの期間における、電荷蓄積部ｎに蓄積された蓄積電荷量の最小蓄積電荷量を示すパラメータ
Ｎｎ（ｉ）：フレームｉにおける、電荷蓄積部ｎに蓄積された、ノイズ由来の蓄積電荷量（以下、「ノイズ電荷量」ともいう。）
Ｆ：ノイズ由来の蓄積電荷量Ｎｎ（ｉ）を平均化するフレーム数（平均化フレーム数）
ＡＮｎ（ｉ）：フレームｉにおける、電荷蓄積部ｎでの加算平均されたノイズ由来の蓄積電荷量
Ｑｎ（ｉ）＿ｓ：位相算出式に用いる、フレームｉにおける電荷蓄積部ｎでの補正蓄積電荷量
ＦＲｍａｘ：予め設定された、測定対象物２００が定位置にある状態における、各電荷蓄積部でのノイズ由来の蓄積電荷量の許容変動幅
【００５３】
まず、距離画像生成部４０は、処理対象電荷蓄積時間Ｔｉに対応するフレームｉで、電荷蓄積部ｎに蓄積された蓄積電荷量Ｑｎ（ｉ）を読み出す（Ｓ１０）。また、処理対象電荷蓄積時間Ｔｉに対応するフレームｉまでのフレームで、電荷蓄積部ｎに蓄積された蓄積電荷量の中で最小値として保存している最小蓄積電荷量Ｑｎ_ｍｉｎを読み出す（Ｓ１１）。
【００５４】
次に、ノイズ由来の蓄積電荷量Ｎｎ（ｉ）を計算するために、処理対象電荷蓄積時間Ｔｉに対応するフレームｉでの蓄積電荷量Ｑｎ（ｉ）が最小蓄積電荷量Ｑｎ_ｍｉｎよりも小さい値であるか否かを判定する（Ｓ１２）。
【００５５】
蓄積電荷量Ｑｎ（ｉ）が最小蓄積電荷量Ｑｎ_ｍｉｎよりも小さい値である場合（Ｓ１２／Ｙｅｓ）、すなわち、Ｑｎ（ｉ）＜Ｑｎ＿ｍｉｎの場合、最小蓄積電荷量Ｑｎ_ｍｉｎの値を蓄積電荷量Ｑｎ（ｉ）に更新する（Ｓ１３）。
【００５６】
そして、処理対象電荷蓄積時間Ｔｉに対応するフレームｉで、電荷蓄積部ｎに蓄積された、ノイズ由来の蓄積電荷量Ｎｎ（ｉ）を計算する（Ｓ１４）。上述の通り、当該ノイズ由来の蓄積電荷量Ｎｎ（ｉ）は、処理対象電荷蓄積時間Ｔｉにおける蓄積電荷量Ｑｎ（ｉ）から最小蓄積電荷量Ｑｎ＿ｍｉｎを減算した値であると考えられる。従って、当該ノイズ由来の蓄積電荷量Ｎｎ（ｉ）は、関係式Ｎｎ（ｉ）＝Ｑｎ（ｉ）−Ｑｎ＿ｍｉｎに基づいて計算することができる。
【００５７】
一方、蓄積電荷量Ｑｎ（ｉ）が最小蓄積電荷量Ｑｎ_ｍｉｎ以上の値である場合（Ｓ１２／Ｎｏ）、すなわち、Ｑｎ（ｉ）≧Ｑｎ＿ｍｉｎの場合、Ｑｎ（ｉ）の変動が、ノイズ由来の蓄積電荷量変動に起因するものであるか、又は、測定対象物２００の位置変化に起因するものであるか否かを判断する。具体的には、蓄積電荷量Ｑｎ（ｉ）から最小蓄積電荷量Ｑｎ_ｍｉｎの値を減算した値（Ｑｎ（ｉ）−Ｑｎ＿ｍｉｎ）が、ノイズ由来の蓄積電荷量の許容変動幅ＦＲｍａｘ以上であるか否かを判定する（Ｓ１５）。
【００５８】
蓄積電荷量Ｑｎ（ｉ）から最小蓄積電荷量Ｑｎ_ｍｉｎの値を減算した値がノイズ由来の蓄積電荷量の許容変動幅ＦＲｍａｘ未満である場合、すなわち、Ｑｎ（ｉ）−Ｑｎ＿ｍｉｎ＜ＦＲｍａｘの場合（Ｓ１５／Ｎｏ）、測定対象物２００の位置が変化していないと判断できる。従って、最小蓄積電荷量Ｑｎ_ｍｉｎの値を更新することなく、処理対象電荷蓄積時間Ｔｉに対応するフレームｉで、電荷蓄積部ｎに蓄積されたノイズ由来の蓄積電荷量Ｎｎ（ｉ）を計算する（Ｓ１４）。
【００５９】
蓄積電荷量Ｑｎ（ｉ）から最小蓄積電荷量Ｑｎ_ｍｉｎの値を減算した値がノイズ由来の蓄積電荷量の許容変動幅ＦＲｍａｘ以上である場合、すなわち、Ｑｎ（ｉ）−Ｑｎ＿ｍｉｎ≧ＦＲｍａｘの場合（Ｓ１５／Ｙｅｓ）、測定対象物２００の位置が変化したと判断できる。
【００６０】
従って、最小蓄積電荷量Ｑｎ_ｍｉｎの値を蓄積電荷量Ｑｎ（ｉ）に更新し（Ｓ１３）、処理対象電荷蓄積時間Ｔｉに対応するフレームｉで、電荷蓄積部ｎに蓄積された、ノイズ由来の蓄積電荷量Ｎｎ（ｉ）を計算する（Ｓ１４）。この結果、電荷蓄積時間Ｔｉに対応するフレームｉ以降において、変更された位置の測定対象物２００に対する距離測定処理を行うことが可能になる。
【００６１】
次に、処理対象電荷蓄積時間Ｔｉに対応するフレームｉで、上式（４）に基づいて、電荷蓄積部ｎでの加算平均されたノイズ由来の蓄積電荷量ＡＮｎ（ｉ）を算出する加算平均処理を行う（Ｓ１６〜Ｓ１８）。 
【００６２】
具体的には、“ｉ−Ｆ＋１”の値が０未満である場合（Ｓ１６／Ｙｅｓ）、下式（５）に基づいて、ノイズ由来の蓄積電荷量ＡＮｎ（ｉ）を算出する加算平均処理を行う（Ｓ１７）。
【００６３】
【数６】
2016217907.tif 000008
【００６４】
また、“ｉ−Ｆ＋１”の値が０以上である場合（Ｓ１６／Ｎｏ）、下式（６）に基づいて、ノイズ由来の蓄積電荷量ＡＮｎ（ｉ）を算出する加算平均処理を行う（Ｓ１８）。
【００６５】
【数７】
2016217907.tif 000009
【００６６】
加算平均処理（Ｓ１６〜Ｓ１８）後、処理対象電荷蓄積時間Ｔｉにおける、電荷蓄積部ｎでのノイズ由来の蓄積電荷量Ｎｎ（ｉ）を考慮した補正蓄積電荷量Ｑｎ（ｉ）＿ｓを演算する（Ｓ１９）。補正蓄積電荷量Ｑｎ（ｉ）＿ｓは、関係式Ｑｎ（ｉ）＿ｓ＝Ｑｎ＿ｍｉｎ＋ＡＮｎ（ｉ）に基づいて計算することができる。尚、演算したノイズ由来の蓄積電荷量Ｎｎ（ｉ）を考慮した補正蓄積電荷量Ｑｎ（ｉ）＿ｓは、上述の位相算出式である式（３）に用いられる蓄積電荷量である。
【００６７】
次に、画素毎の全ての電荷蓄積部について、補正蓄積電荷量Ｑｎ（ｉ）＿ｓを計算したか否かを判定する（Ｓ２０〜Ｓ２２）。具体的には、まず、画素毎の全ての電荷蓄積部について、補正蓄積電荷量Ｑｎ（ｉ）＿ｓを計算したか否かを判断するために、ｎの値が電荷蓄積部の総数“４”であるか否かを判定する（Ｓ２０）。
【００６８】
電荷蓄積部の総数“４”である場合、すなわち、ｎ＝４である場合（Ｓ２０／Ｙｅｓ）、特定の画素に対応する全ての電荷蓄積部について、補正蓄積電荷量Ｑｎ（ｉ）＿ｓの計算を行ったと判断できる。従って、他の画素に対応する全ての電荷蓄積部について、補正蓄積電荷量Ｑｎ（ｉ）＿ｓを計算するために、ｎを“１”に設定し（Ｓ２１）、全画素について、補正蓄積電荷量Ｑｎ（ｉ）＿ｓの計算を行ったか否か判定する（Ｓ２２）。
【００６９】
全画素で全ての電荷蓄積部に対応する補正蓄積電荷量の計算を行った場合（Ｓ２２／Ｙｅｓ）、処理対象電荷蓄積時間Ｔｉに対応するフレームｉの処理を終了する。一方、補正蓄積電荷量Ｑｎ（ｉ）＿ｓの計算を行っていない画素がある場合（Ｓ２２／Ｎｏ）、他の画素についての補正演算処理を行うために、Ｓ１０に戻る。そして、補正蓄積電荷量Ｑ１（ｉ）＿ｓの計算を開始する。
【００７０】
一方、電荷蓄積部の総数“４”ではない場合、すなわち、ｎ＜４である場合（Ｓ２０／Ｎｏ）、次の電荷蓄積部ｎ＋１について、ノイズ由来の蓄積電荷量Ｎｎ＋１（ｉ）を考慮した補正蓄積電荷量Ｑｎ＋１（ｉ）＿ｓの計算を行うために、ｎを“ｎ＋１”に設定し（Ｓ２３）、Ｓ１０に戻る。そして、ノイズ由来の蓄積電荷量Ｎｎ＋１（ｉ）を考慮した補正蓄積電荷量Ｑｎ＋１（ｉ）＿ｓの計算を開始する。
【００７１】
そして、全画素で全ての電荷蓄積部に対応する補正蓄積電荷量の計算である補正演算処理が終了した後、距離画像生成部４０は、式（３）に基づいて、全画素について計算された補正蓄積電荷量Ｑｎ（ｉ）＿ｓを用いて、測定対象物２００までの距離値Ｄを画素毎に算出し、距離値を画素値とする距離画像を生成する。
【００７２】
以下、本実施形態の補正演算処理の効果を、電荷蓄積部３６Ａにおける、電荷蓄積時間Ｔｉ（ｉ＝０，・・・）に対して、蓄積電荷量Ｑ１（ｉ）に移動平均処理を施した蓄積電荷量（図６）と、蓄積電荷量Ｑ１（ｉ）に本実施形態の補正演算処理を施した補正蓄積電荷量Ｑｎ（ｉ）＿ｓ（図７）とを用いて説明する。尚、図６及び図７において、Ｑｓ１、Ｑｓ２、Ｑｓ３のラインは測定対象物２００からの反射光を含む光による電荷蓄積量を示す。
【００７３】
また、図６及び図７において、Ｑｓ１からＱｓ２に変化した後、Ｑｓ２からＱｓ３に変化していることから、測定対象物２００は、時間Ｔ０〜Ｔ１０で位置が変化しておらず、Ｔ１０で遠距離位置に移動し、Ｔ１０〜Ｔ２０で位置が変化しておらず、Ｔ２０で近距離位置に移動し、Ｔ２０以降で位置変化していないことを示している。
【００７４】
図６において、実線は蓄積電荷量Ｑ１（ｉ）に対して５フレーム単位で移動平均処理を行った後の蓄積電荷量を示し、破線は蓄積電荷量Ｑ１（ｉ）の実測値を示している。図７において、実線は蓄積電荷量Ｑ１（ｉ）に対して本実施形態の補正演算処理を施した補正蓄積電荷量Ｑｎ（ｉ）＿ｓを示し、破線は蓄積電荷量Ｑ１（ｉ）の実測値を示している。図６及び図７に示されるように、ノイズにより、測定対象物２００に位置が変化していない場合でも、蓄積電荷量Ｑ１（ｉ）が変動していることがわかる。
【００７５】
また、図６に示されるように、測定対象物２００が移動した場合、蓄積電荷量Ｑ１（ｉ）を移動平均しているので、測定対象物２００が移動した際の蓄積電荷量の変化も平均化されてしまう。そのため、実際の測定対象物２００の動きに対するリアルタイムでの距離画像の追従性が損なわれ、測定対象物２００の移動に対する蓄積電荷量の応答波形に波尾が生じていることがわかる。結果として、当該追従性の低下は、距離画像上に残像の出現をもたらす原因になる。
【００７６】
例えば、ジェスチャー等の物体認識では、手を左右に振るような動作の場合、蓄積電荷量の移動平均処理により、手が存在しない場所にも手が存在するフレームが得られ、あたかも手が存在するかのような残像が残った画像を生成する。このため、平均化フレーム数が多ければ多いほど画像上において残像が発生する箇所が増え、正確な手の位置及び形状の認識が困難になる。
【００７７】
これに対して、本実施形態の補正演算処理では、フレーム毎に処理対象のフレームにおける蓄積電荷量と処理対象のフレーム以前の最小蓄積電荷量を比較更新していくことにより、図７に示されるように、測定対象物２００が移動した場合でも、距離画像上に残像を出現させることなくリアルタイムに物体の移動に追従させるとともに、様々なノイズの存在下であっても、距離画像を生成する毎に生じる各電荷蓄積部で蓄積された蓄積電荷量のノイズによる変動の影響を低減した距離画像を生成することができる。
【符号の説明】
【００７８】
１００…距離画像生成装置、２００…測定対象物（対象物）、１０…投光部、１２…光源、２０…制御部、２２…駆動回路、３０…受光部、３２…撮像素子、３４…光電変換素子、３６Ａ…電荷蓄積部１，３６Ｂ…電荷蓄積部２、３６Ｃ…電荷蓄積部３，３６Ｄ…電荷蓄積部４、４０…距離画像生成部。
【図１】
2016217907.tif 000010
【図２】
2016217907.tif 000011
【図３Ａ】
2016217907.tif 000012
【図３Ｂ】
2016217907.tif 000013
【図４】
2016217907.tif 000014
【図５】
2016217907.tif 000015
【図６】
2016217907.tif 000016
【図７】
2016217907.tif 000017