(57)【特許請求の範囲】
【請求項１】
発光を指示する発光パルスに従って発光する発光部と、
露光を指示する露光パルスに従って露光する固体撮像素子と、
発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、
前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える
距離情報取得装置。
【請求項２】
前記複数の組の数は、６以上である
請求項１に記載の距離情報取得装置。
【請求項３】
前記複数の組における発光パルスと露光パルスとの時間差は、一定時間ずつ異なる
請求項１または２に記載の距離情報取得装置。
【請求項４】
前記発光露光制御部は、前記複数の組において発光パルスのタイミングに対して露光パルスのタイミングを変化させる
請求項１から３の何れか１項に記載の距離情報取得装置。
【請求項５】
前記発光露光制御部は、前記複数の組において露光パルスのタイミングに対して発光パルスのタイミングを変化させる
請求項１から３の何れか１項に記載の距離情報取得装置。
【請求項６】
前記露光パルスの幅は前記発光パルスの幅以上である
請求項１から５の何れか１項に記載の距離情報取得装置。
【請求項７】
前記複数の組は、第１組から第Ｎ（Ｎは整数）組を含み、
前記発光露光制御部は、前記第１組から第Ｎ組が時系列的に発生するように前記タイミング信号を生成する
請求項１から６の何れか１項に記載の距離情報取得装置。
【請求項８】
前記複数の組は、前記時間差の小さい方から順に第１組から第Ｎ組（Ｎは偶数）を含み、
前記発光露光制御部は、前記時間差が小さい方から順に選んだ１組と、前記時間差が大きい方から順に選んだ１組とが交互になるように前記タイミング信号を生成する
請求項１から６の何れか１項に記載の距離情報取得装置。
【請求項９】
前記複数の組における発光パルス間の時間差は、一定時間である
請求項１から７の何れか１項に記載の距離情報取得装置。
【請求項１０】
前記複数の組は、第１組から第Ｎ組（Ｎは６以上の整数）を含み、
前記第１組から第Ｎ組は、１つの発光パルスを共有し、
第１組から第Ｎ組は、前記固体撮像素子に含まれる第１画素から第Ｎ画素に対応し、
前記発光露光制御部は、前記第１組から第Ｎ組の露光を指示するＮ個のタイミング信号を一斉に生成し、前記第１画素から前記第Ｎ画素に供給する
請求項１または２に記載の距離情報取得装置。
【請求項１１】
前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、
前記参照データは、マルチパスのない環境下における受光信号列のモデルである
請求項１から１０の何れか１項に記載の距離情報取得装置。
【請求項１２】
前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、
前記参照データは、発光パルスのパルス幅と露光パルスのハルス幅との和で定まる時間の長さである
請求項１から１０の何れか１項に記載の距離情報取得装置。
【請求項１３】
前記マルチパス検出部は、さらに、マルチパスが存在すると判定した場合は、画素毎に補正係数を算出する
請求項１から１２の何れか１項に記載の距離情報取得装置。
【請求項１４】
前記マルチパス検出部は、前記受信信号列と前記参照データとの比率を示す比較結果に応じて前記補正係数を算出する
請求項１３に記載の距離情報取得装置。
【請求項１５】
さらに、前記受信信号列を用いて画素毎の距離を示す距離画像を生成する距離演算部を備える
請求項１から１４の何れか１項に記載の距離情報取得装置。
【請求項１６】
発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、
発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、
前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える
マルチパス検出装置。
【請求項１７】
発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、
発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、
前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、
取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、
比較結果の差異に応じてマルチパスの有無を判定する
マルチパス検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ＴＯＦ(Time of Flight)方式により距離を測定する距離情報取得装置、マルチパス検出装置およびマルチパス検出方法に関する。
【背景技術】
【０００２】
一般に、オブジェクトからの反射光の飛行時間に基づいて距離を測定するＴＯＦカメラシステムでは、直接反射光と間接反射光とが混在するマルチパス環境では測定誤差が大きなって測定精度が劣化する。これに対して、例えば特許文献１および非特許文献１は、マルチパスの影響を軽減するＴＯＦカメラを提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／１８９３１１号
【非特許文献】
【０００４】
【非特許文献１】D. Freedman, E. Krupka, Y. Smolin, I. Leichter, and M. Schmidt, "SRA: Fast removal of general multipath for ToF sensors." In Proceedings of the 13th European Conference on Computer Vision (ECCV'14). 234--249
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のＴＯＦカメラシステムでは、特別な専用の照明ユニットを備えるので、装置コストが高くなるという問題がある。非特許文献１のＴＯＦカメラシステムでは、マルチパスの有無の判定するための計算量が多い、つまり処理負荷が重いという問題がある。そのため、非特許文献１によるマルチパスの有無の判定は、高い処理能力を持つＰＣ等の計算機ではリアルタイム処理を行うことが可能だが、そうでない小型なＴＯＦカメラシステムでのリアルタイム処理に適していないという問題がある。【０００６】
本開示は、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる距離情報取得装置、マルチパス検出装置およびマルチパス検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本開示の一態様に係る距離情報取得装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部とを備える。【０００８】
また、本開示の一態様に係るマルチパス検出装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える。【０００９】
さらに、本開示の一態様に係るマルチパス検出方法は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
【発明の効果】
【００１０】
本開示に係る距離情報取得装置、マルチパス検出装置およびマルチパス検出方法によれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、比較例としての距離情報取得装置においてマルチパスが存在しない場合の測距動作を示す説明図である。
【図２】図２は、ＴＯＦ方式（その１）を説明するためのタイムチャートである。
【図３】図３は、ＴＯＦ方式（その２）を説明するためのタイムチャートである。
【図４】図４は、比較例の距離情報取得装置においてマルチパス環境の一例における測距動作を示す説明図である。
【図５】図５は、ＴＯＦ方式（その１）におけるマルチパス環境による測定誤差を生じさせる動作を説明するためのタイムチャートである。
【図６】図６は、ＴＯＦ方式（その２）におけるマルチパス環境による測定誤差を生じさせる動作例を説明するためのタイムチャートである。
【図７Ａ】図７Ａは、実施の形態１に係る距離情報取得装置の構成例を示すブロック図である。
【図７Ｂ】図７Ｂは、実施の形態１に係るマルチパス検出部の構成例を示すブロック図である。
【図８Ａ】図８Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第１動作例を示す図である。
【図８Ｂ】図８Ｂは、実施の形態１に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。
【図９】図９は、実施の形態１に係るマルチパス検出部の第１動作例におけるマルチパス検出の説明図である。
【図１０】図１０は、実施の形態１に係るマルチパス検出部の第１動作例における補正方法を示す図である。
【図１１Ａ】図１１Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第２動作例を示す図である。
【図１１Ｂ】図１１Ｂは、実施の形態１に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。
【図１１Ｃ】図１１Ｃは、実施の形態１に係るマルチパス検出部の第２動作例における正規化された受光信号列の一例と参照データとを示す図である。
【図１２Ａ】図１２Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第３動作例を示す図である。
【図１２Ｂ】図１２Ｂは、実施の形態１に係るマルチパス検出部の第３動作例における正規化された参照データの一例を示す図である。
【図１３】図１３は、波形なまりを有するパルス波形を対象とする補正を示す説明図である。
【図１４Ａ】図１４Ａは、実施の形態２に係るマルチパス検出部の第１動作例を示す図である。
【図１４Ｂ】図１４Ｂは、実施の形態２に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。
【図１５Ａ】図１５Ａは、実施の形態２に係るマルチパス検出部の第２動作例を示す図である。
【図１５Ｂ】図１５Ｂは、実施の形態２に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。
【図１６】図１６は、実施の形態２に係るマルチパス検出部におけるマルチパス検出方法を示す説明図である。
【図１７】図１７は、実施の形態２に係るマルチパス検出部のマルチパス検出方法の一例を示すフローチャートである。
【図１８】図１８は、実施の形態２に係るマルチパス検出部の補正係数算出例を示す説明図である。
【図１９】図１９は、実施の形態２に係るマルチパス検出部の補正係数算出例を示す説明図である。
【図２０】図２０は、実施の形態３に係る距離情報取得装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
（発明者の知見）
本発明者は、「背景技術」の欄において記載した照明装置に関し、以下の問題が生じることを見出した。
【００１３】
まず、本発明者の知見に係る距離情報取得装置を比較例として説明する。
【００１４】
図１は、本発明者の知見に係る比較例の距離情報取得装置の構成を示す図である。同図では、距離情報を取得する対象物である物体ＯＢＪも図示してある。同図の距離情報取得装置は、ＴＯＦ方式による測距装置であり、発光露光制御部１０１、固体撮像素子１０２、および発光部１０４を備える。
【００１５】
発光露光制御部１０１は、発光部１０４に発光を指示する発光パルスを有する発光制御信号と、固体撮像素子１０２に露光を指示する露光パルスを有する露光制御信号とを生成する。
【００１６】
固体撮像素子１０２は、露光制御信号の露光パルスに従って露光つまり撮像する。
【００１７】
発光部１０４は、発光制御信号の発光パルスに従って発光つまり照明光を発する。
【００１８】
距離演算部１１２は、少なくとも３種類の露光処理で得られた受信信号列から画素毎に距離を算出する。
【００１９】
次に、比較例の距離情報取得装置の動作例として、ＴＯＦ方式（その１）およびＴＯＦ方式（その２）について説明する。
【００２０】
図２は、ＴＯＦ方式（その１）を説明するためのタイムチャートである。同図では、さらに撮像した画像例も記載してある。同図は、（２Ａ）発光パルスを有する発光制御信号（または発光部１０４から照射光）と、（２Ｂ）固体撮像素子１０２への入射光と、（２Ｃ）露光パルスを有する露光制御信号とを示している。同図の発光パルスはハイレベルでアクティブを示す正論理であり、露光パルスはローレベルでアクティブを示す負論理である。（２Ｂ）入射光は、照射光を受けた物体ＯＢＪからの反射光と、背景光とを含む。反射光は距離情報取得装置から物体までの距離に応じて、照射光から遅延時間を有する。入射光のうち同図の黒塗り部分（１か所）およびハッチング部分（２か所）は、画素毎の受光信号に該当する。
【００２１】
測距のための発光露光処理は、Ｓ０露光、Ｓ１露光、およびＢＧ露光を含む。
【００２２】
Ｓ０露光では、露光パルスは発光パルスの開始と同時にアクティブになる。つまり、露光は発光と同時に開始される。また、露光パルスのパルス幅は、発光パルスのハルス幅よりも長い。Ｓ０露光では、例えば、反射光のうち先頭部分または全体を露光可能である。
【００２３】
Ｓ１露光では、露光パルスは発光パルスの終了と同時にアクティブになる。つまり、露光は発光の終了時点に開始される。また、露光パルスのパルス幅は、発光パルスのハルス幅と同じである。Ｓ１露光では、例えば、照明光の終了後に、遅延した反射光の部分を露光可能である。
【００２４】
ＢＧ露光では、発光パルスがない状態で露光パルスを有効にし、反射光が存在しない背景光を露光する。
【００２５】
距離演算部１１２は、Ｓ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量（信号電荷量）を用いて、画素毎に距離Ｌを算出する。Ｓ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量（つまり受光により生じる信号電荷の量）Ｓ０、Ｓ１、ＢＧとすると、画素毎の距離Ｌは、数式１により算出される。ｃは光速（約299 792 458ｍ／ｓ）であり、ＴＬ０は発光パルスの時間幅である。
【００２６】
【数１】
0006918210.tif 000002
【００２７】
続いて、比較例の距離情報取得装置の動作例として、ＴＯＦ方式（その２）について説明する。
【００２８】
図３は、ＴＯＦ方式（その２）を説明するためのタイムチャートである。同図は、図２と同様に（３Ａ）発光制御信号（または発光部１０４から照射光）の波形と、（３Ｂ）入射光の波形と、（３Ｃ）露光制御信号の波形とを示している。図３は、図２と比べて、露光パルスの幅が発行パルスの幅と同じである点が異なっている。この場合、画素毎に距離Ｌは、数式２により算出される。
【００２９】
【数２】
0006918210.tif 000003
【００３０】
このような、ＴＯＦ方式（その１）およびＴＯＦ（その２）は、直接反射光と間接反射光とが混在するマルチパス環境では測定誤差発生するという問題がある。
【００３１】
次に、マルチパス環境下における比較例の距離情報取得装置の動作で測定誤差が生じる仕組みについて説明する。
【００３２】
図４は、比較例の距離情報取得装置においてマルチパス環境の一例における測距動作を示す説明図である。同図では、測距対象である物体ＯＢＪ−１、および、照射光を反射して間接照明光の原因となる物体ＯＢＪ−２も図示してある。
【００３３】
同図では、直接照射光Ｄ−Ｐａｔｈ１、直接反射光Ｄ−Ｐａｔｈ２、間接照射光Ｍ−Ｐａｔｈ１、Ｍ−Ｐａｔｈ２、および、間接反射光Ｍ−Ｐａｔｈ３が存在するマルチパス環境の例を示している。
【００３４】
図５は、ＴＯＦ方式（その１）におけるマルチパス環境による測定誤差を生じさせる動作を説明するためのタイムチャートである。同図は、（５Ａ）発光制御信号または照射光、（５Ｂ）直接反射光Ｄ−Ｐａｔｈ、（５Ｃ）間接反射光Ｍ−Ｐａｔｈ、（５Ｄ）直接反射光と間接反射光との和である混合反射光、（５Ｅ）露光制御信号とを示している。このうち、（５Ａ）発光制御信号または照射光、（５Ｂ）直接反射光Ｄ−Ｐａｔｈ、および（５Ｅ）露光制御信号は、図２に示した（２Ａ）発光制御信号（または照射光）、（２Ｂ）入射光、および（２Ｃ）露光制御信号と同じである。つまり、図５は、図２に対して、（５Ｃ）間接反射光Ｍ−Ｐａｔｈと、（５Ｄ）混合反射光とを追加した図になっている。
【００３５】
Ｓ０露光における受光信号量Ｓ０は、直接反射光による受光信号量Ｄ０と、間接反射光による受光信号量Ｍ０との合計になる。同様に、Ｓ１露光における受光信号量Ｓ１は、直接反射光による受光信号量Ｄ１と、間接反射光による受光信号量Ｍ１との合計になる。
【００３６】
ＴＯＨ方式（その１）で画素毎の距離Ｌを求める数式１は、図５を適用すると数式３となる。ただし、背景光による受光信号量ＢＧは０とし、無視できるほど小さいものとする。
【００３７】
【数３】
0006918210.tif 000004
【００３８】
数式３中、間接反射光による受光信号量Ｍ０およびＭ１は、物体ＯＢＪ１の距離に依存せず、周辺物体に依存した値として発生するので、数式３による距離Ｌは物体ＯＢＪ−１からは予測不能な誤差を含むことになり、測定精度を小さく劣化させる場合も大きく劣化させる場合もある。
【００３９】
図６は、ＴＯＦ方式（その２）におけるマルチパス環境による測定誤差を生じさせる動作を説明するためのタイムチャートである。同図は、（６Ａ）発光制御信号または照射光、（６Ｂ）直接反射光Ｄ−Ｐａｔｈ、（６Ｃ）間接反射光Ｍ−Ｐａｔｈ、（６Ｄ）直接反射光と間接反射光との和である混合反射光、（６Ｅ）露光制御信号とを示している。図６は、図３に対して、（６Ｃ）間接反射光Ｍ−Ｐａｔｈと、（６Ｄ）混合反射光とを追加した図になっている。
【００４０】
Ｓ０露光における受光信号量Ｓ０は、直接反射光による受光信号量Ｄ０と、間接反射光による受光信号量Ｍ０との合計になる。同様に、Ｓ１露光における受光信号量Ｓ１は、直接反射光による受光信号量Ｄ１と、間接反射光による受光信号量Ｍ１との合計になる。ＴＯＨ方式（その２）で画素毎の距離Ｌを求める数式２は、図６を適用すると数式４となる。ただし、背景光による受光信号量ＢＧは０とし、無視できるほど小さいものとする。
【００４１】
【数４】
0006918210.tif 000005
【００４２】
数式４中、間接反射光による受光信号量Ｍ０およびＭ１は、物体ＯＢＪ１の距離に依存せず、周辺物体に依存した大きさで発生するので、数式４による距離Ｌは物体ＯＢＪ−１からは予測不能な誤差を含むことになり、測定精度を小さく劣化させる場合も大きく劣化させる場合もある。
【００４３】
このように、測距精度を劣化させマルチパスに対して、上述した特許文献１のＴＯＦカメラシステムでは、特別な専用の照明ユニットを備えるので、装置コストが高くなるという問題がある。また、非特許文献１は、マルチパスの有無の判定するための処理負荷が重いという問題がある。
【００４４】
そこで、本開示は、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる距離情報取得装置、マルチパス検出装置およびマルチパス検出方法を提供することを目的とする。
【００４５】
上記問題を解決するため、本開示の一態様に係る距離情報取得装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部とを備える。
【００４６】
また、本開示の一態様に係るマルチパス検出装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える。
【００４７】
また、本開示の一態様に係るマルチパス検出方法は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
【００４８】
これによれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
【００４９】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００５０】
なお、以下で説明する実施の形態は、いずれも本発明の一包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５１】
（実施の形態１）
［１．１  距離情報取得装置１００の構成例］
図７Ａは、実施の形態１に係る距離情報取得装置１００の構成例を示すブロック図である。同図では、距離情報を取得する対象物である物体ＯＢＪ、照射光、反射光も模式的に図示してある。
【００５２】
同図の距離情報取得装置１００は、ＴＯＦ方式による測距装置であり、発光露光制御部１０１、固体撮像素子１０２、信号処理部１０３および発光部１０４を備える。発光部１０４は、光源駆動部１１４および光源１１５を備える。また、同図のうち発光露光制御部１０１およびマルチパス検出部１１１を含む回路部分は、マルチパスの有無を判定するマルチパス検出装置１１０に相当する。
【００５３】
発光露光制御部１０１は、マルチパス検出動作および通常の測距動作において、発光と露光を指示するタイミング信号を生成する。具体的には、発光露光制御部１０１は、マルチパス検出動作において、発光部１０４に発光を指示する発光パルスと固体撮像素子１０２に露光を指示する露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する。このタイミング信号は、例えば、発光部１０４に発光を指示する発光パルスを有する発光制御信号と、固体撮像素子１０２に露光を指示する露光パルスを有する露光制御信号とを含む。また、発光露光制御部１０１は、通常の測距動作において、図２に示したＴＯＦ方式（その１）の（２Ａ）発光制御信号と（２Ｃ）露光制御信号とを生成し、あるいは、図３に示したＴＯＦ方式（その２）の（３Ａ）発光制御信号と（３Ｃ）露光制御信号とを生成する。
【００５４】
固体撮像素子１０２は、２次元上に配列された画素を有するイメージセンサであって、露光制御信号の露光パルスに従って露光つまり撮像する。
【００５５】
信号処理部１０３は、マルチパス検出部１１１および距離演算部１１２を備える。
【００５６】
マルチパス検出部１１１は、マルチパス検出動作を次のように行う。すなわち、マルチパス検出部１１１は、上記のタイミング信号が指示する複数の組に従う発光および露光により固体撮像素子１０２から受光信号列を取得し、取得した受光信号列と、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。さらに、マルチパス検出部１１１は、マルチパスが存在する判定した場合は、画素毎に補正係数を算出し、算出した補正係数を距離演算部１１２に出力する。
【００５７】
距離演算部１１２は、マルチパス検出部１１１によってマルチパスが存在しないと判定された場合は、図２に示したＴＯＦ方式（その１）、または図３に示したＴＯＦ方式（その２）によって画素毎の距離Ｌを算出し、距離画像を生成する。また、距離演算部１１２は、マルチパス検出部１１１によってマルチパスが存在する判定された場合は、図２に示したＴＯＦ方式（その１）、または図３に示したＴＯＦ方式（その２）によって画素毎の距離Ｌを算出し、さらに、補正係数を用いて距離Ｌを補正して距離画像を生成する。
【００５８】
なお、信号処理部１０３は、マイクロコンピュータ、マイクロコントローラまたはＤＳＰ（Digital Signal Processor）により構成してもよい。マイクロコンピュータ、マイクロコントローラ、またはＤＳＰ（Digital Signal Processor）は、マルチパス検出用のプログラムを格納するメモリと、プログラムを実行するＣＰＵ（Central Processing Unit）とを備える。
【００５９】
発光部１０４は、光源駆動部１１４と光源１１５を備える。光源駆動部１１４は、発光制御信号の発光パルスに従って光源１１５を発光させる。光源１１５は、光源駆動部１１４に制御に従って照明光を出力する。照明光は、発光パルスと同じタイミングのパルス状であり、例えば近赤外線でよい。
【００６０】
［１．２  マルチパス検出部１１１の構成例］
次に、マルチパス検出部１１１の構成例について説明する。
【００６１】
図７Ｂは、実施の形態１に係るマルチパス検出部１１１の構成例を示すブロック図である。同図のマルチパス検出部１１１は、タイミング指示部７０１、信号蓄積部７０２、リファレンス保持部７０３、信号比較部７０４および補正係数算出部７０５を備える。
【００６２】
タイミング指示部７０１は、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の組を指示するタイミング信号を生成する。
【００６３】
複数の組は、上記の時間差の小さい方から順に第１組から第Ｎ（Ｎは整数）組を含む。タイミング指示部７０１は、例えば、第１組から第Ｎ組の順に、または、第Ｎから第１の順に時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。あるいは、タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎから第１の順に時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。あるいは、タイミング指示部７０１は、前記時間差が小さい方から順に選んだ１組と、前記時間差が大きい方から順に選んだ１組とが交互になるように前記タイミング信号を生成し、発光露光制御部１０１に出力してもよい。
【００６４】
信号蓄積部７０２は、タイミング信号に指示された複数の組に従う発光および露光によって固体撮像素子１０２から複数の受光信号を取得し、受光信号列として蓄積する。受光信号列は、第１組から第Ｎ組に対応する第１受光信号から第Ｎ受光信号を含む。
【００６５】
リファレンス保持部７０３は、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データを記憶する。参照データは、シミュレーションにより、または実験的に作成され、例えば、直接反射光が存在し間接反射光が存在しない環境を想定し、当該マルチパスのない環境において、上記のタイミング信号が指示する複数の組に従って発光および露光をしたときに得られる受信信号列をモデルとする。参照データは、受信信号列、または、受信信号列の特徴量を示すスカラー値で表される。また、参照データは受信信号の最大値を１とする正規化がなされていてもよい。
【００６６】
信号比較部７０４は、信号蓄積部７０２に蓄積された受光信号列と、リファレンス保持部７０３に保持された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
【００６７】
補正係数算出部７０５は、信号比較部７０４によりマルチパスが存在すると判定したときに、信号比較部７０４による比較結果の差異に応じた画素毎の補正係数を算出する。
【００６８】
［１．３  マルチパス検出の第１動作例］
以上のように構成された実施の形態１における距離情報取得装置１００について、まず、マルチパス検出の第１動作例について説明する。
【００６９】
図８Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第１動作例を示す図である。
【００７０】
まず、同図の（８Ａ）から（８Ｇ）に示す信号波形について説明する。（８Ａ）から（８Ｇ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。同図に示す各種タイミングは、現実の時刻に限らず、仮想的または論理的な時刻でもある。例えば、露光タイミングｔｓ１は、信号蓄積部７０２に蓄積される受光信号の仮想的な時刻でもある。
【００７１】
（８Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。発光パルスは正論理であり、ハイレベル区間で発光に対応し、ローレベル区間で消灯に対応する。この発光パルスは、タイミング指示部７０１により指示される第１組から第Ｎ組までのＮ個の組に含まれるＮ個の発光パルスを代表的に示している。
【００７２】
（８Ｂ）は、（８Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【００７３】
（８Ｃ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、第１組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓ１とする。この露光パルスのパルス幅をＴＳとする。露光パルスは負論理であり、ローレベル区間で露光（つまり撮像）に対応し、ハイレベル区間で非露光に対応する。言い換えれば、露光パルスのローレベル区間において固体撮像素子１０２は画素毎に受光量に応じた受光信号を発生する。
【００７４】
（８Ｄ）は、第２組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓ２とする。
【００７５】
（８Ｅ）は、第ｎ組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓｎとする。ｎは、１からＮまでの何れかの整数である。Ｎは上記の第１組から第Ｎ組までの複数の組の個数である。
【００７６】
（８Ｆ）は、第Ｎ組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓｅとする。
【００７７】
（８Ｇ）は、第１組から第Ｎ組に含まれるＮ個の露光パルスの開始タイミングの間隔を示す。図８Ａでは、直近の２つの露光パルスの開始タイミングにはΔｔの時間差がある。つまり、露光タイミングｔｓ１、ｔｓ２、・・・、ｔｓｎ、・・・、ｔｓｅは、一定の時間間隔Δｔを有する。
【００７８】
タイミング指示部７０１が生成するタイミング信号に指示される複数の組のうち、第１組は（８Ａ、８Ｃ）に対応する。ここで（８Ａ、８Ｃ）の表記は、発光タイミングｔｌ１の発光パルス（８Ａ）と、露光タイミングｔｓ１の露光パルス（８Ｃ）との組を意味する。同様に、第２組は（８Ａ、８Ｄ）に対応する。また、第ｎ組（ｎを１からＮまでの何れかの整数）は（８Ａ、８Ｅ）に対応する。第Ｎ組は、（８Ａ、８Ｆ）に対応する。
【００７９】
タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。
【００８０】
図８Ｂは、実施の形態１に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。この受光信号列は、第１組から第Ｎ組までの複数の組に従う発光および露光により固体撮像素子１０２から出力され、信号蓄積部７０２に蓄積される受光信号列を示す。同図の横軸は時間軸を示し、（８Ｇ）の露光タイミング間隔に対応する。縦軸は、露光により画素で発生した信号電荷量である受光量を示す。同図のプロット点Ｐ８１１は、第１組に対応し、（露光タイミング、受光量）が（ｔｓ１、Ａ１）であることを意味する。プロット点Ｐ８１２は、第２組に対応し、（露光タイミング、受光量）が（ｔｓ２、Ａ２）であることを意味する。プロット点Ｐ８１ｎは、第ｎ組に対応し、（露光タイミング、受光量）が（ｔｓｎ、Ａｎ）であることを意味する。
【００８１】
さらに、図８Ａの第１動作例におけるタイミング指示部７０１の発光露光タイミング指示方法の一例について具体的に説明する。このタイミング指示方法は複数の組における発光タイミングに対する露光タイミングを順次変更していく方法である。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。露光タイミングｔｓ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光８０１の反射タイミングよりも前に設定する。第１組のタイミングの設定により受光した受光量Ａ１は信号蓄積部７０２に蓄積される。具体的には、信号蓄積部７０２において、横軸を露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量Ａ１としてＰ８１１としてプロットされる。
【００８２】
第２組のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子の露光パルス幅ＴＳを指示し、第１組のタイミングと異なる露光タイミングｔｓ２への変更を指示する。露光タイミングｔｓ２は露光タイミングｔｓ１からずらし量として時間差Δｔ遅らせたタイミングであり、以下の式で表す。
【００８３】
【数５】
0006918210.tif 000006
【００８４】
第２組のタイミング設定による受光した受光量Ａ２は信号蓄積部７０２に蓄積される。信号蓄積部７０２において、露光タイミングｔｓ２、受光量Ａ２としてＰ８１２としてプロットされる。
【００８５】
上記のような、タイミングの変更は、第１組から第Ｎ組までのＮ回の発光および露光において（Ｎ−１）回繰り返される。第ｎ組（ｎは１からＮのいずれかの整数）のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１２０の露光パルス幅ＴＳを指示し、第１組のタイミングと異なる露光タイミングｔｓｎへの変更を指示する。露光タイミングｔｓｎは、以下の式で表す。
【００８６】
【数６】
0006918210.tif 000007
【００８７】
第ｎのタイミング設定による受光した受光量Ａｎは信号蓄積部７０２に蓄積される。信号蓄積部７０２において、露光タイミングｔｓｎ、受光量ＡｎとしてＰ８１ｎとしてプロットされる。
【００８８】
最後の第Ｎ組の露光タイミングｔｓｅは混合反射光８０１の反射タイミングよりも後に設定する。光速をｃ、最大測距範囲をＤｍａｘとすると、ｔｓｅは以下を満たせばよい。
【００８９】
【数７】
0006918210.tif 000008
【００９０】
最大測距範囲Ｄｍａｘは照射光に対する反射光が受光できる最大の距離を意味する。
【００９１】
図８ＡではΔｔを等間隔で示したが、これに限定されない。Δｔは小さい程精度よくマルチパスを検出できる反面、Δｔが細かい程測定に時間がかかる。Δｔをマルチパス検出に重要な混合反射光８０１より早いタイミングの周辺と、混合反射光８０１の遅いタイミングの周辺のみΔｔを小さく設定し、その間の中間データ部分はΔｔを大きく設定することによりマルチパス検出精度を維持したまま測定時間を短縮できる。また、Δｔの間隔が空いた部分は線形補完により推定することができる。
【００９２】
次に、第１動作例における信号比較部７０４によるマルチパス検出、つまりマルチパスの有無の判定方法について説明する。
【００９３】
図９は、実施の形態１に係るマルチパス検出部の第１動作例におけるマルチパス検出の説明図である。図９では受光量、正規化受光量を直線で表すが、これは点の集合だけでもよいし、点が疎であれば線形補完で点と点の間のデータを生成するものであってもよい。
【００９４】
信号蓄積部７０２は、タイミング指示部７０１で指示された第１組から第Ｎ組までのタイミング毎に受光量を蓄積した折れ線Ｌ９０１をもつ。信号蓄積部７０２は、受光量の最大値Ａｍａｘも同時に計測する。
【００９５】
リファレンス保持部７０３は、マルチパスの影響を受けない条件でタイミング指示部７０１にて指示されたタイミング毎に受光量を蓄積し、蓄積した受光量の最大値で正規化したリファレンステーブルを参照データとして保持する。参照データは、折れ線Ｌ９０２をもつ。参照データは、実測またはシミュレーションにより、予め作成される。
【００９６】
信号比較部７０４は、第１に蓄積値Ｌ９０１の立ち上がりから立下りの期間である蓄積期間ＴＡを計測する。第２に、信号比較部７０４は、リファレンステーブルの折れ線Ｌ９０２の立ち上がりから立下りの期間であるリファレンス期間ＴＲを計測する。リファレンス期間ＴＲはリファレンステーブルを作成した時点で下記の式でわかるので、別途保持しておいてもよい。
【００９７】
【数８】
0006918210.tif 000009
【００９８】
第３に、信号比較部７０４は、蓄積期間ＴＡとリファレンス期間ＴＲを比較する。マルチパスが発生した場合、混合反射光のパルス幅が太くなるので、蓄積期間ＴＡの方がリファレンス期間ＴＲより大きくなるため、信号比較部７０４は、ＴＡ＞ＴＲのとき、マルチパスが発生していると判定する。このようにマルチパスの影響を受けていないリファレンステーブルを持ち、実測した蓄積値との比較を行うという処理負荷の少ない方法でマルチパスを検出できる。
【００９９】
なお、参照データは、図９の折れ線Ｌ９０２を示すデータであってもよいし、上記のリファレンス期間ＴＲ（＝ＴＬ＋ＴＳ）であってもよい。リファレンス期間ＴＲは、発光パルスのパルス幅ＴＬと露光パルスのハルス幅ＴＳとの和で定まる。
【０１００】
次に、信号比較部７０４によりマルチパスが発生すると判定された場合に、補正係数算出部７０５による補正係数の算出について説明する。
【０１０１】
図１０は、実施の形態１に係るマルチパス検出部１１１の第１動作例における補正方法を示す図である。信号比較部７０４にてマルチパスが発生していると判定された場合、補正係数算出部７０５は、図１０に示す補正方法で補正係数Ｃを算出する。補正係数算出部７０５は、第１に信号蓄積部７０２で蓄積されたデータを受光量最大値Ａｍａｘにより用いて正規化受光量に変換する。具体的には蓄積値Ｌ９０１が正規化蓄積値Ｌ１００１となる。第２に、補正係数算出部７０５は、正規化蓄積値Ｌ１００１の立ち上がりｔｕを検出し、リファレンステーブルＬ９０２の立ち上がりタイミングをｔｕ合わせたリファレンステーブルＬ１００２へ変換する。第３に、補正係数算出部７０５は、距離測定用として定められた露光タイミングｔｓの位置の、正規化蓄積値ａａとリファレンス値ａｒを求める。蓄積値をマルチパスの除去された値へ補正する補正係数Ｃは以下で算出する。
【０１０２】
【数９】
0006918210.tif 000010
【０１０３】
この補正係数Ｃは、マルチパスによって受光量が誤ってａａ／ａｒ倍になっているのを、マルチパスのない本来の受光量に戻すことができる。
【０１０４】
距離測定用露光タイミングｔｄで受光した受光量Ｓ０、Ｓ１からマルチパス成分が除去された補正受光量Ｓ_Ｃ０、Ｓ＿Ｃ１へ変換するには以下の式で補正する。
【０１０５】
【数１０】
0006918210.tif 000011
【０１０６】
【数１１】
0006918210.tif 000012
【０１０７】
補正係数Ｃ＿０および補正係数Ｃ＿１は、図２および図５に示したＴＯＦ方式（その１）の場合、距離測定用露光タイミングが２種類あるため、２種類の距離測定用露光タイミングの位置のそれぞれで数式９に従って補正係数Ｃ＿０、補正系数Ｃ＿１を算出する。
【０１０８】
距離演算部１１２はマルチパス検出部１１１から出力された補正係数をもとに補正された信号に基づき距離を計算する。これにより軽量な補正方法で良好な距離精度の距離画像が取得可能となる。
【０１０９】
［１．４  マルチパス検出の第２動作例］
次に、実施の形態１における距離情報取得装置１００についてマルチパス検出の第２動作例について説明する。
【０１１０】
図１１Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第２動作例を示す図である。
【０１１１】
まず、同図の（１１Ａ）から（１１Ｇ）に示す信号波形について説明する。（１１Ａ）から（１１Ｇ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。
【０１１２】
（１１Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第１組から第Ｎ組までのＮ個の組に含まれる半数（例えば奇数番目組のＮ／２個）の発光パルスを代表的にて示している。
【０１１３】
（１１Ｂ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ２とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。発光パルスは正論理であり、ハイレベル区間で発光に対応し、ローレベル区間で消灯に対応する。この発光パルスは、Ｎ個の発光パルスのうち、（１１Ａ）の残りの半数（例えば偶数番目の組のＮ／２個）の発光パルスを代表的に示している。
【０１１４】
（１１Ｃ）は、（１１Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０１１５】
（１１Ｄ）は、（１１Ｂ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０１１６】
（１１Ｅ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第１組の露光パルスと第２組の露光パルスとを代表的に示す。この露光パルスのタイミングを露光タイミングｔｓ１とする。この露光パルスのパルス幅をＴＳとする。
【０１１７】
（１１Ｆ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第３組の露光パルスと第４組の露光パルスとを代表的に示す。この露光パルスのタイミングを露光タイミングｔｓ２とする。この露光パルスのパルス幅をＴＳとする。
【０１１８】
（１１Ｇ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第（Ｎ−１）組の露光パルスと第Ｎ組の露光パルスとを代表的に示す。この露光パルスのタイミングを露光タイミングｔｓｅとする。この露光パルスのパルス幅をＴＳとする。
【０１１９】
（１１Ｈ）は、露光パルスの開始タイミングの間隔を示す。露光タイミングｔｓ１は、実際には異なる時間で露光する第１組と第２組に対応し、信号蓄積部７０２に受光信号を蓄積するための便宜上の同一のタイミングとして扱う。露光タイミングｔｓ２、・・・、ｔｓｅも同様に２組の露光を対応させている。
【０１２０】
図１１Ａでは、奇数番目の露光パルス同士の開始タイミングにはΔｔの時間差がある。偶数番目の露光パルス同士の開始タイミングにはΔｔの時間差がある。奇数番目の組と、その次の偶数番目の組とは便宜上同じ露光タイミングとみなしてしている。  
【０１２１】
タイミング指示部７０１が生成するタイミング信号に指示される複数の組のうち、例えば、第１組は（１１Ａ、１１Ｅ）に対応する。第２組は（１１Ｂ、１１Ｅ）に対応する。第３組は（１１Ａ、１１Ｆ）に対応する。第４組は（１１Ｂ、１１Ｆ）に対応する。同様に、第（Ｎー１）組は、（１１Ａ、１１Ｇ）に対応する。第Ｎ組は、（１１Ｂ、１１Ｇ）に対応する。
【０１２２】
タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。
【０１２３】
図１１Ｂは、実施の形態１に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。この受光信号列は、第１組から第Ｎ組までの複数の組に従う発光および露光により固体撮像素子１０２から出力され、信号蓄積部７０２に蓄積される受光信号列を示す。奇数番目の組（同図の黒丸印）と、その次の偶数番目の組（同図の白丸印）とは便宜上同じ露光タイミングとみなしてプロットされている。
【０１２４】
同図の横軸は時間軸を示し、（８Ｇ）の露光タイミング間隔に対応する。縦軸は、露光により画素で発生した信号電荷量である受光量を示す。同図のプロット点Ｐ１１１１は、第１組に対応し、（露光タイミング、受光量）が（ｔｓ１、Ａ１１）であることを意味する。プロット点Ｐ１１１２は、第２組に対応し、（露光タイミング、受光量）が（ｔｓ１、Ａ１２）であることを意味する。
【０１２５】
さらに、図１１Ａの第２動作例のおけるＴＯＦ方式（その２）対応の場合のタイミング指示部７０１のタイミング指示方法の一例について具体的に説明する。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。露光タイミングｔｓ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１１０１反射タイミングの早く返ってくる反射光よりも前に設定する。図１１Ａでは混合反射光１１０２の方が早く反射光が返ってくるので、混合反射光１１０２よりも前のタイミングを設定する。第１組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の受光量Ａ１１は信号蓄積部７０２に蓄積される。具体的には、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量Ａ１１としてＰ１１１１がプロットされる。
【０１２６】
タイミング指示部７０１は発光露光制御部１０１に対して第２組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ２と、固体撮像素子の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。露光タイミングｔｓ１は、発光パルス幅ＴＬと発光タイミングｔｌ２により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１１０２の反射タイミングの早く返ってくる反射光よりも前に設定する。図１１Ａでは混合反射光１１０２の方が早く反射光が返ってくるので、混合反射光１１０２よりも前のタイミングを設定する。第２組のタイミングの設定により受光した発光タイミングｔｌ２での照射光に対応する反射光の受光量Ａ１２は信号蓄積部７０２に蓄積される。具体的には、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量Ａ１２としてＰ１１１２がプロットされる。
【０１２７】
露光タイミングの変更は（Ｎ−１）回繰り返される。奇数番目の第ｎ組のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳを指示し、第１組のタイミングと異なる露光タイミングｔｓｎへの変更を指示する。偶数番目の第ｎ組のタイミングでは、第２組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ２と、固体撮像素子１０２の露光パルス幅ＴＳを指示し、第２組のタイミングと異なる露光タイミングｔｓｎへの変更を指示する。露光タイミングｔｓｎは、奇数番目の組とその次の偶数番目の組とに対応し、以下の式で表す。
【０１２８】
【数１２】
0006918210.tif 000013
【０１２９】
第ｎ組（奇数番目の組とその次の偶数番目の組）のタイミング設定による受光した受光量Ａｎ１、Ａｎ２は信号蓄積部７０２に蓄積される。信号蓄積部７０２において、露光タイミングｔｓｎ、受光量Ａｎ１、Ａｎ２としてプロットされる。
【０１３０】
最後の露光タイミングｔｓｅは、混合反射光１１０１、１１０２の早く返ってくる方の反射タイミングよりも後に設定する。図１１Ａにおいては混合反射光１１０２の反射タイミングよりあとに設定すればよい。光速ｃ、最大測距範囲Ｄｍａｘとすると、ｔｓｅは以下を満たせばよい。
【０１３１】
【数１３】
0006918210.tif 000014
【０１３２】
最大測距範囲Ｄｍａｘは照射光に対する反射光が受光できる最大の距離を意味する。
【０１３３】
図１１Ｃは、実施の形態１に係るマルチパス検出部の第２動作例における正規化された受光信号列の一例と参照データとを示す図である。
【０１３４】
本タイミングのリファレンス保持値と蓄積値の関係は、発光タイミングｔｌ１のリファレンステーブルＬ１１２１、発光タイミングｔｌ２のリファレンステーブルＬ１１２２、発光タイミングｔｌ１の正規化蓄積値Ｌ１１３１、発光タイミングｔｌ１の正規化蓄積値はＬ１１３２として示されている。補正係数を算出する距離測定用露光タイミングはｔｄの１種類で、この１種類から補正係数Ｃ０はＬ１１２１とＬ１１３１から、補正係数Ｃ１はＬ１１２２とＬ１１３１からそれぞれ（数式９）により算出できる。
【０１３５】
［１．５  マルチパス検出の第３動作例］
次に、実施の形態１における距離情報取得装置１００についてマルチパス検出の第３動作例について説明する。
【０１３６】
図１２Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第２動作例を示す図である。
【０１３７】
まず、同図の（１２Ａ）から（１２Ｆ）に示す信号波形について説明する。（１２Ａ）から（１２Ｆ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。
【０１３８】
（１２Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第１組の発光パルスを示している。
【０１３９】
（１２Ｂ）は、（１２Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０１４０】
（１２Ｃ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌｅとする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第Ｎ組の発光パルスを示している。
【０１４１】
（１２Ｄ）は、（１２Ｃ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０１４２】
（１２Ｅ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第１組から第Ｎ組の露光パルスを代表的に示す。この露光パルスのパルス幅をＴＳとする。
【０１４３】
（１２Ｆ）は、発光パルスによる照射タイミングの間隔を示す。発光タイミングｔｌ１、・・・、ｔｌｅは、第１組、・・・、第Ｎ組に対応し、信号蓄積部７０２に受光信号を蓄積するための便宜上のタイミングとして扱う。
【０１４４】
図１２Ａでは、露光パルスの露光タイミングｔｓに対して、第１組から第Ｎ組の発光パルスの発光タイミングｔｌ１、・・・、ｔｌｅが少しずつずれていくように設定される。
【０１４５】
タイミング指示部７０１が生成するタイミング信号に指示される複数の組のうち、例えば、第１組は（１２Ａ、１２Ｅ）に対応する。第Ｎ組は（１２Ｃ、１２Ｅ）に対応する。
【０１４６】
タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。
【０１４７】
図１２Ｂは、実施の形態１に係るマルチパス検出部の第３動作例における正規化された参照データの一例を示す図である。同図の横軸は時間軸を示し、（１２Ｆ）の照射タイミングに対応する。縦軸は、発光タイミングｔｌ１、・・・、ｔｌｅ毎の正規化された受光量であって、マルチパスのない環境下に対応する受光量を示す。
【０１４８】
さらに、図１２Ａの第３動作例におけるタイミング指示部７０１の発光露光タイミング指示方法の一例について説明する。このタイミング指示方法は、複数の組における露光タイミングに対する発光タイミングを順次変更する方法である。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。発光タイミングｔｌ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１２０１の反射タイミングよりも後に露光タイミングｔｓ１がくるように設定する。第１組のタイミングの設定により受光した受光量Ａ１は信号蓄積部７０２に蓄積される。
【０１４９】
第ｎのタイミングでは、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓを指示する。発光タイミングｔｌ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１２０１の反射タイミングよりも後に露光タイミングｔｓ１がくるように設定する。第１のタイミングの設定により受光した受光量Ａ１は信号蓄積部７０２に蓄積される。
【０１５０】
第ｎ組のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬ、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓを指示し、第１のタイミングと異なる発光タイミングｔｌｎへの変更を指示する。露光タイミングｔｌｎは、以下の式で表す。
【０１５１】
【数１４】
0006918210.tif 000015
【０１５２】
第ｎ組のタイミング設定による受光した受光量Ａｎは信号蓄積部７０２に蓄積される。信号蓄積部７０２において、発光タイミングｔｌｎ、受光量Ａｎとしてプロットされる。
【０１５３】
最後の発光タイミングｔｓｅは、混合反射光１２０ｅの反射タイミングが露光タイミングよりも後になるように設定する。光速ｃ、最大測距範囲Ｄｍａｘとすると、ｔｌｅは以下を満たせばよい。
【０１５４】
【数１５】
0006918210.tif 000016
【０１５５】
最大測距範囲Ｄｍａｘは照射光に対する反射光が受光できる最大距離である。
【０１５６】
なお、第３動作例における補正係数は、図１０と同様にして数式９から算出される。
【０１５７】
次に、上記の第１動作例から第３動作例において、照射光および反射光の波形なまりがある場合の補正について説明する。
【０１５８】
図１３は、波形なまりを有するパルス波形を対象とする補正を示す説明図である。ここまではパルス波形を矩形波であるものとして説明してきたが、実デバイスによる波形は例えば図１３の（ａ）、（ｃ）のような鈍った波形になる。このように鈍った波形においても、マルチパス検出動作と測距動作とを処理できる。例えば図１３の（ｂ）のリファレンステーブル（つまり参照データ）は１３０１のようになり、リファレンス幅ＴＲ＝ＴＬ１＋ＴＳ１により計算できる。またリファレンステーブルはあらかじめ測定したリファレンス値を拡大縮小してもよい。例えば、もとの発光パルス幅ＴＬ１で露光パルス幅がＴＳ１で、変更したい発光パルス幅ＴＬ２で露光パルス幅ＴＳ２である場合、以下の補正式で図１３の（ｄ）のように横軸を拡大または縮小する。
【０１５９】
【数１６】
0006918210.tif 000017
【０１６０】
なお、リファレンステーブルは、第１動作例から第３動作例の何れかによる発光および露光の複数の組を、間接反射波が環境をシミュレートにより予め作成してもよいし、実測により予めしてもよい。
【０１６１】
以上説明してきたように実施の形態１に係る距離情報取得装置１００は、発光を指示する発光パルスに従って発光する発光部１０４と、露光を指示する露光パルスに従って露光する固体撮像素子１０２と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部１０１と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部１１１と、を備える。
【０１６２】
これによれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
【０１６３】
ここで、前記複数の組の数は、６以上であってもよい。
【０１６４】
ここで、前記複数の組における発光パルスと露光パルスとの時間差は、一定時間ずつ異なっていてもよい。
【０１６５】
ここで、前記発光露光制御部１０１は、前記複数の組において発光パルスのタイミングに対して露光パルスのタイミングを変化させてもよい。
【０１６６】
ここで、前記発光露光制御部１０１は、前記複数の組において露光パルスのタイミングに対して発光パルスのタイミングを変化させてもよい。
【０１６７】
ここで、前記露光パルスの幅ＴＳは前記発光パルスの幅ＴＬ以上であってもよい。
【０１６８】
ここで、前記複数の組は、第１組から第Ｎ（Ｎは整数）組を含み、前記発光露光制御部１０１は、前記第１組から第Ｎ組が時系列的に発生するように前記タイミング信号を生成してもよい。
【０１６９】
ここで、前記複数の組における発光パルス間の時間差は、一定時間であってもよい。
【０１７０】
ここで、前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、前記参照データは、マルチパスのない環境下における受光信号列のモデルであってもよい。
【０１７１】
ここで、前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、前記参照データは、発光パルスのパルス幅ＴＬと露光パルスのハルス幅ＴＳとの和で定まる時間の長さであってもよい。
【０１７２】
ここで、前記マルチパス検出部は、さらに、マルチパスが存在すると判定した場合は、画素毎に補正係数を算出してもよい。
【０１７３】
ここで、記マルチパス検出部は、前記受信信号列と前記参照データとの比率を示す比較結果に応じて前記補正係数を算出してもよい。
【０１７４】
また、実施の形態１に係るマルチパス検出装置１１０は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部１０１と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部１１１と、を備える。
【０１７５】
また、実施の形態１に係るマルチパス検出方法は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
【０１７６】
上記のマルチパス検出装置およびマルチパス検出方法によれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
【０１７７】
（実施の形態２）
続いて、実施の形態２に係る距離情報取得装置１００について説明する。実施の形態１では、マルチパス検出動作と、通常の測距動作とを別のタイミングで実施する例を説明した。これに対して、実施の形態２では、マルチパス検出動作と通常の測距動作とを兼用して同時に実施可能な例について説明する。
【０１７８】
［２．１  距離情報取得装置１００の構成例］
実施の形態２における距離情報取得装置１００は、図７Ａおよび図７Ｂと同じ構成でよい。ただし、マルチパス検出部１１１の動作が少し異なっている。以下異なる点を中心に説明する。
【０１７９】
［２．２  マルチパス検出動作兼測距動作の第１動作例］
まず、実施の形態２における距離情報取得装置１００についてマルチパス検出動作と測距動作とを同時に実施する第１動作例について説明する。
【０１８０】
図１４Ａは、実施の形態２に係るマルチパス検出部１１１の第１動作例を示す図である。また、図１４Ｂは、実施の形態２に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。
【０１８１】
まず、図１４Ａの（１４Ａ）から（１４Ｈ）に示す信号波形について説明する。（１４Ａ）から（１４Ｆ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。同図では、発光パルスと露光パルスとの組を指示する第１組から第Ｎ組までの複数の組が６つである場合を示している。
【０１８２】
（１４Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第１組から第６組のそれぞれの発光パルスを代表して示している。
【０１８３】
（１４Ｂ）は、（１４Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０１８４】
（１４Ｃ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第１組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ１−０とする。
【０１８５】
（１４Ｄ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第２組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ１−１とする。
【０１８６】
（１４Ｅ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第３組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ２−０とする。露光タイミングｔｓ２−０は、測距用の露光タイミングｔｓ１−０に対して−Δｔｐの遅延時間を与えたタイミングである。
【０１８７】
（１４Ｆ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第４組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ２−１とする。
【０１８８】
（１４Ｇ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第５組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ３−０とする。
【０１８９】
（１４Ｈ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第６組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ３−１とする。
【０１９０】
タイミング指示部７０１が生成するタイミング信号に指示される６つ組のうち、例えば、第１組は（１４Ａ、１４Ｃ）に対応する。第２組は（１４Ａ、１４Ｄ）に対応する。第３組は（１４Ａ、１４Ｅ）に対応する。第４組は（１４Ａ、１４Ｆ）に対応する。第５組は（１４Ａ、１４Ｇ）に対応する。第６組は（１４Ａ、１４Ｈ）に対応する。
【０１９１】
図１４Ａ中の発光タイミングｔｌ１および露光タイミングｔｓ１−０は、図２に示したＴＯＦ方式（その１）の「Ｓ０露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。また、発光タイミングｔｌ１および露光タイミングｔｓ１−１は、図２に示したＴＯＦ方式（その１）の「Ｓ１露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。
【０１９２】
測距用の露光タイミングｔｓ１−０と露光タイミングｔｓ１−１とは、Δｔｄの時間差を有する。時間差Δｔｄは、測距用のずらし量を意味する。
【０１９３】
露光タイミングｔｓ２−０、ｔｓ２−１は、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してそれぞれ−Δｔｐの遅延を有する。−Δｔｐは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された前ずらし量を意味する。
【０１９４】
露光タイミングｔｓ３−０、ｔｓ３−１は、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してそれぞれ＋Δｔｂの遅延を有する。＋Δｔｂは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された後ずらし量を意味する。
【０１９５】
タイミング指示部７０１は、第１組から第６組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。なお、第１組から第６組の生成順は、任意の順でもよい。
【０１９６】
図１４Ｂは、実施の形態２に係るマルチパス検出部１１１の第１動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。図１４Ｂの受光信号列は、図１１Ｃのようなマルチパス検出動作および補正係数算出に用いられ、かつ、図２のＴＯＦ方式（その１）のような測距動作にも用いられる。
【０１９７】
さらに、図１４Ａの第１動作例におけるタイミング指示部７０１によるＴＯＦ方式（その１）のタイミング指示方法の例について説明する。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１−０を指示する。さらに、タイミング指示部７０１は発光露光制御部１０１に対して第２組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１−１を指示する。露光タイミングｔｓ１−０とｔｓ１−１は、距離測定に必要なずらし量Δｔｄにより、以下で表せる。
【０１９８】
【数１７】
0006918210.tif 000018
【０１９９】
発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１４０１とする。第１組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ１−０の（Ｓ０−ＢＧ）信号の受光量ａが信号蓄積部７０２に蓄積される。さらに、第２組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ１−１の（Ｓ１−ＢＧ）信号の受光量ｂは信号蓄積部７０２に蓄積される。具体的には図１４Ｂに示すように、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量ａ、受光量ｂとしてプロットされる。
【０２００】
同様に、第３組のタイミングとして、第１組のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ２−０を指示する。さらに、第４組のタイミングとして、第１組のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ２−１を指示する。露光タイミングｔｓ２−０と露光タイミングｔｓ２−１はマルチパス検出用の前ずらし量Δｔｐにより、以下の関係式で計算される。
【０２０１】
【数１８】
0006918210.tif 000019
【０２０２】
Δｔｐは固定値を使用してもよいし、受光量ａ、ｂの値から最適ずらし量を計算してもよい。第３組のタイミングの設定により発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ２−０の（Ｓ０−ＢＧ）信号の受光量ｃが信号蓄積部７０２に蓄積される。さらに、第４組のタイミングの設定により発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ２−１の（Ｓ１−ＢＧ）信号の受光量ｄは信号蓄積部７０２に蓄積される。具体的には図１４Ｂに示すように信号蓄積部７０２において、露光タイミングｔｓ２、受光量ｃ、受光量ｄとしてプロットされる。
【０２０３】
次に、第５組のタイミングとして、第１のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ３−０を指示する。さらに、第６組のタイミングとして、第１のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ３−１を指示する。露光タイミングｔｓ３−０とｔｓ３−１はマルチパス検出用後ずらし量Δｔｂにより、以下の関係式で計算される。
【０２０４】
【数１９】
0006918210.tif 000020
【０２０５】
Δｔｂは固定値を使用してもよいし、受光量ａ、ｂの値から最低ずらし量を計算してもよい。第５組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ３−０の（Ｓ０−ＢＧ）信号の受光量ｅが信号蓄積部７０２に蓄積される。さらに、第６組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ３−１の（Ｓ１−ＢＧ）信号の受光量ｆは信号蓄積部７０２に蓄積される。具体的には信号蓄積部７０２において、露光タイミングｔｓ３、受光量ｅ、受光量ｆとしてプロットされる。
【０２０６】
マルチパス検出部１１１は、図１４Ｂの受光信号列と、参照データとを比較し、比較結果の差異に応じて画素毎にマルチパスの有無を判定する。また、距離演算部１１２は、図１４Ｂの受信信号列を用いてＴＯＦ方式（その１）により画素毎の距離を算出する。このとき、マルチパス検出部１１１によってマルチパスが存在すると判定した場合、補正係数算出部７０５は、後述する第２動作例の数式２６及び数式２８に従って補正係数を算出する。なお、図１４ＡではＴＯＦ方式（その１）の測距動作について説明したが、ＴＯＦ方式（その２）でもよい。
【０２０７】
［２．３  マルチパス検出動作兼測距動作の第２動作例］
次に、実施の形態２における距離情報取得装置１００についてマルチパス検出動作と測距動作の同時に実施する第２動作例について説明する。
【０２０８】
図１５Ａは、実施の形態２に係るマルチパス検出部１１１の第２動作例を示す図である。また、図１５Ｂは、実施の形態２に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。
【０２０９】
まず、図１５Ａの（１５Ａ）から（１５Ｇ）に示す信号波形について説明する。（１５Ａ）から（１５Ｇ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。同図では、発光パルスと露光パルスとの組を指示する第１組から第Ｎ組までの複数の組が６つである場合を示している。
【０２１０】
（１５Ａ）は、発光パルス、または、照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ０とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される例えば、第１組、第３組、第５組の発光パルスを代表して示している。
【０２１１】
（１５Ｂ）は、発光パルス、または、照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第２組、第４組、第６組の発光パルスを代表して示している。
【０２１２】
（１５Ｃ）は、（１５Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０２１３】
（１５Ｄ）は、（１５Ｂ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
【０２１４】
（１５Ｅ）は、例えば、第１組、第２組の露光パルスを代表して示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ１とする。第１組、第２組の露光パルスは、例えば受光量ａ、ｂに対応する。受光量ａは、露光タイミングｔｓ１におけるＴＯＦ方式（その２）のＳ０露光における受光量（Ｓ０−ＢＧ）信号に対応する。受光量ｂは、露光タイミングｔｓ１におけるＴＯＦ方式（その２）のＳ１露光における受光量（Ｓ１−ＢＧ）信号に対応する。
【０２１５】
（１５Ｆ）は、例えば、第３組、第４組の露光パルスを代表して示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ２とする。第３組、第４組の露光パルスは、例えば受光量ｃ、ｄに対応する。受光量ｃは、露光タイミングｔｓ２におけるＴＯＦ方式（その２）のＳ０露光における受光量（Ｓ０−ＢＧ）信号に対応する。受光量ｄは、ＴＯＦ方式（その２）のＳ１露光における露光タイミングｔｓ２での受光量（Ｓ１−ＢＧ）信号に対応する。
【０２１６】
（１５Ｇ）は、例えば、第５組、第６組の露光パルスを代表して示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ３とする。第５組、第６組の露光パルスは、例えば受光量ｅ、ｆに対応する。受光量ｅは、ＴＯＦ方式（その２）のＳ０露光における露光タイミングｔｓ３による受光量（Ｓ０−ＢＧ）信号に対応する。受光量ｆは、ＴＯＦ方式（その２）のＳ１露光における露光タイミングｔｓ３による受光量（Ｓ１−ＢＧ）信号に対応する。
【０２１７】
タイミング指示部７０１が生成するタイミング信号に指示される６つ組のうち、例えば、第１組は（１５Ａ、１５Ｅ）に対応する。第２組は（１５Ｂ、１５Ｅ）に対応する。第３組は（１５Ａ、１５Ｆ）に対応する。第４組は（１５Ｂ、１５Ｆ）に対応する。第５組は（１５Ａ、１５Ｇ）に対応する。第６組は（１５Ｂ、１５Ｇ）に対応する。
【０２１８】
図１５Ａ中の発光タイミングｔｌ０および露光タイミングｔｓ１は、図３に示したＴＯＦ方式（その２）の「Ｓ０露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。また、発光タイミングｔｌ１および露光タイミングｔｓ１は、図３に示したＴＯＦ方式（その２）の「Ｓ１露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。
【０２１９】
露光タイミングｔｓ２は、測距用の露光タイミングｔｓ１に対して−Δｔｐの遅延を有する。−Δｔｐは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された前ずらし量を意味する。
【０２２０】
露光タイミングｔｓ３は、測距用の露光タイミングｔｓ１に対して＋Δｔｂの遅延を有する。＋Δｔｂは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された後ずらし量を意味する。
【０２２１】
タイミング指示部７０１は、第１組から第６組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。なお、第１組から第６組の生成順は、任意の順でもよい。
【０２２２】
図１５Ｂは、実施の形態２に係るマルチパス検出部１１１の第２動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。図１５Ｂの受光信号列は、図１１Ｃのようなマルチパス検出動作および補正係数算出に用いられ、かつ、図２のＴＯＦ方式（その１）のような測距動作にも用いられる。
【０２２３】
このような実施の形態２の第１動作例によれば、マルチパス検出と測距動作とを兼用するので、マルチパス検出動作をより高速にすることができ、リアルタイム処理に適している。
【０２２４】
さらに、図１５Ａの第２動作例におけるタイミング指示部７０１のタイミング指示方法について具体的に説明する。タイミング指示部７０１は、第１組から第６組を指示するために、ＴＯＦ方式（その２）では照射タイミングｔｌ０、ｔｌ１と、露光タイミングｔｓ１、ｔｓ２、ｔｓ３との組み合わせを指示する。第１組から第６組により得られる受光量ａ、ｂ、ｃ、ｄ、ｅ、ｆを取得し、信号蓄積部７０２に蓄積される。露光タイミングｔｓ１、ｔｓ２、ｔｓ３の関係式は、（数式１７）、（数式１８−２）、（数式１９−２）である。
【０２２５】
続いて、実施の形態２の第１動作例および第２動作例におけるマルチパス検出方法を説明する。
【０２２６】
図１６は、実施形態２におけるマルチパス検出方法を示す説明図である。図１６の信号蓄積部７０２は、図１４Ａの第１動作例や図１５Ａの第２動作例で示されたタイミング指示部７０１による信号蓄積結果として露光タイミングｔｓ１の受光量ａ、ｂ、露光タイミングｔｓ２の受光量ｃ、ｄ、露光タイミングｔｓ３の受光量ｅ、ｆが蓄積されている。図１６のリファレンス保持部７０３は実施の形態１におけるリファレンステーブル作成方法と同じ方法でリファレンステーブル（つまり参照データ）を作成し、保持する。つまり、詳細なずらし量Δｔによって露光タイミングを順次ずらしたデータを保持する。リファレンステーブルにより、少ない露光タイミングでも高速にマルチパスを検出することを可能とする。図１６の信号比較部７０４によるマルチパス検出方法について、図１７の実を用いて説明する。
【０２２７】
図１７は、実施の形態２に係るマルチパス検出部のマルチパス検出方法の一例を示すフローチャートである。
【０２２８】
Ｓ１７０１では信号蓄積部７０２の蓄積データのうち、ｔｓ１の受光量ａ、ｂの比を計算する。
【０２２９】
Ｓ１７０２では、受光量ａ、ｂの比と、リファレンス保持部の正規化受光量ａｒ、ｂｒの比が一致するようなリファレンスタイミングｔｓｒ１を探索する。受光量ａ、ｂの比と正規化受光量ａｒ、ｂｒの比に一致する部分がない場合は、信号比が間にはまる部分を探索し、２点間を線形補完によりリファレンスタイミングｔｓｒ１を推定する。
【０２３０】
Ｓ１７０３ではｔｓ１の受光量をｔｓｒ１の正規化受光量にするための正規化係数Ｋを求める。正規化係数Ｋは以下の式で算出する。
【０２３１】
【数２０】
0006918210.tif 000021
【０２３２】
Ｓ１７０４では、Ｓ１７０３により計算された正規化係数Ｋにより、受光量ａ、ｂ、ｃ、ｄ、ｅ、ｆを正規化受光量ａａ、ｂａ、ｃａ、ｄａ、ｅａ、ｆａへ変換する。計算式は以下である。
【０２３３】
【数２１】
0006918210.tif 000022
【０２３４】
Ｓ１７０５ではリファレンステーブル内で露光タイミングｔｓ２に対応するリファレンスタイミングｔｓｒ２、露光タイミングｔｓ３に対応するリファレンスタイミングｔｓｒ３を計算する。計算式は以下である。
【０２３５】
【数２２】
0006918210.tif 000023
【０２３６】
マルチパス検出用前ずらし量Δｔｐ、後ずらし量Δｔｂはタイミング指示部７０１によって指示された値である。
【０２３７】
Ｓ１７０６ではＳ１７０５で計算されたリファレンスタイミングｔｓｒ２、ｔｓｒ３に対応するリファレンスの正規化受光量ｃｒ、ｄｒ、ｅｒ、ｆｒを取得する。ｔｓｒ２、ｔｓｒ３と一致するリファレンスがない場合は線形補完により推定する。リファレンスの正規化受光量ａｒ、ｂｒはａａ、ｂａと同じになるよう正規化係数Ｋを設定したため、計算は不要である。
【０２３８】
Ｓ１７０７では蓄積値正規化受光量間の傾きα２０ａ、α２１ａ、α３０ａ、α３１ａと、リファレンスの正規化受光量間の傾きα２０ｒ、α２１ｒ、α３０ｒ、α３１ｒを算出する。具体的には、正規化受光量ａａ、ｃａを結ぶ直線の傾きα２０ａ、蓄積値の正規化受光量ａａ、ｅａを結ぶ直線の傾きα３０ａ、蓄積値正規化受光量ｂａ、ｄａを結ぶ直線の傾きα２１ａ、蓄積値の正規化受光量ｂａ、ｆａの傾きα３１ａ、リファレンス正規化受光量ａｒ、ｃｒを結ぶ直線の傾きα２０ｒ、蓄積値の正規化受光量ａｒ、ｅｒを結ぶ直線の傾きα３０ｒ、蓄積値正規化受光量ｂｒ、ｄｒを結ぶ直線の傾きα２１ｒ、蓄積値の正規化受光量ｂｒ、ｆｒの傾きα３１ｒを以下の式で算出する。
【０２３９】
【数２３】
0006918210.tif 000024
【０２４０】
Ｓ１７０８では、Ｓ１７０７で算出された直線の比率が同じかどうかを判定する。比較式はＳ１７０８に記載の通りである。ここでは傾きの比率で計算する。信号量は光の飛行距離や照射された物体の反射率によって減少し、上記で算出された蓄積値正規化受光量の傾きもそれに伴い変化してしまうため、傾きの値そのものを比較することは適切でない。ずらし量前後傾き比率は信号量が増減してもパルス波形が同じである限りは同じであり、反射光の移動距離や物体の反射率に依存しない。よって、傾きの比率を使うことによりマルチパスの影響により波形の形が変化したことを検出できる。以上のことから、Ｓ１７０８で傾きの比率が同じである、と判定された場合にはＳ１７０９へ遷移しマルチパスは発生してない、と判定する。Ｓ１７０８にて傾きの比率が同じでないと判定された場合、Ｓ１７１０へ遷移しマルチパスが発生している、と判定する。
【０２４１】
次に、実施の形態２における補正係数の算出方法について説明する。
【０２４２】
図１８は実施の形態２のマルチパス補正係数算出例を示す説明図である。同図において、信号蓄積部７０２に蓄積した正規化受光量の点を結んだ直線をＬ２ａ、Ｌ３ａとし、その傾きをα２ａ、α３ａとし、リファレンステーブルの正規化受光量の点を結んだ点をＬ２ｒ、Ｌ３ｒとする。マルチパスが発生している場合、前述のように傾きの比率は一致しない。そこで、リファレンステーブルどおりの傾きを持つ点Ｐ１８０１（ｔｓｒ１，ａｃ）を算出する。ａｃはマルチパス補正後の正規化受光量といえるのでマルチパス補正後正規化受光量ａｃと蓄積値正規化受光量ｃａを結んだ直線をＬ２ｃ、マルチパス補正後正規化受光量ａｃと蓄積値正規化受光量ｅａを結んだ直線をＬ３ｃとし、その傾きをそれぞれα２ｃ、α＿３ｃα３ｃとすると、以下が成り立つようなマルチパス補正後正規化受光量ａｃを算出すればよい。
【０２４３】
【数２４】
0006918210.tif 000025
【０２４４】
これを各点の座標値を代入し、ａｃで解くと（数式２５）となる。また補正係数Ｃ０は蓄積値をマルチパス補正後の値に補正するので、（数式２６）で表される。
【０２４５】
【数２５】
0006918210.tif 000026
【０２４６】
【数２６】
0006918210.tif 000027
【０２４７】
図１９は実施形態２に係るマルチパス検出部１１１の補正係数算出例を示す説明図である。図１８に示した補正係数算出方法を適用すると、Ｓ０信号の場合、リファレンス通りの傾きを持つ点はＰ１９０１であり、（数式２５）、（数式２６）を用いて補正係数Ｃ０を算出する。Ｓ１信号の場合、リファレンス通りの傾きを持つ点はＰ１９０２であり、（数式２７）、（数式２８）を用いて補正係数Ｃ１を算出できる。
【０２４８】
【数２７】
0006918210.tif 000028
【０２４９】
【数２８】
0006918210.tif 000029
【０２５０】
マルチパス補正は補正係数を用いて以下の式で補正する。
【０２５１】
【数２９】
0006918210.tif 000030
【０２５２】
実施の形態２は実施の形態１よりも少ない組による露光タイミングでマルチパス検出と補正する方法を示した。実施の形態２は、必要な露光タイミング回数を減らすことによりデータ蓄積時間を短縮できる。
【０２５３】
実施の形態１および２において、露光タイミングを順次設定するよう説明したが、１フレーム間の露光で複数タイミングを設定できる撮像素子であれば、必要なタイミングを複数種類同時に設定して全結果を蓄積部へ蓄積してもよい。
【０２５４】
本明細書でリファレンステーブルの探索などを線形補完により推定する、という実施例を記載したが、これに限定されるものではない。リファレンステーブルの形に基づき、ｎ次関数や累乗関数でリファレンステーブルをモデル化してもよい。
【０２５５】
以上説明してきたように実施の形態２に係る距離情報取得装置１００は、前記複数の組は、前記時間差の小さい方から順に第１組から第Ｎ組（Ｎは偶数）を含み、前記発光露光制御部（１０１）は、前記時間差が小さい方から順に選んだ１組と、前記時間差が大きい方から順に選んだ１組とが交互になるように前記タイミング信号を生成する。
【０２５６】
これによれば、発光パルスと露光パルスとの組の数をより少なくすることができ、処理負荷をさらに低減することができる。
【０２５７】
ここで、前記距離情報取得装置は、さらに、前記受信信号列を用いて画素毎の距離を示す距離画像を生成する距離演算部を備えてもよい。
【０２５８】
これによれば、マルチパスの検出動作において通常の測距動作もを同時に実施できるので、マルチパス検出の処理負荷をに低減または隠蔽することができる。
【０２５９】
（実施の形態３）
続いて、実施の形態３に係る距離情報取得装置１００について説明する。実施の形態１、２では、発光パルスと露光パルスを含む複数の組を時系列で生成する例を説明した。これに対して、実施の形態３では、複数の組を複数の画素に対応させて、かつ、複数の組を一斉に生成する構成例について説明する。
【０２６０】
［３．１  距離情報取得装置１００の構成例］
実施の形態３における距離情報取得装置１００は、図７Ａおよび図７Ｂと同じ構成でよい。ただし、固体撮像素子１０２とマルチパス検出部１１１とが少し異なっている。以下異なる点を中心に説明する。
【０２６１】
図２０は、実施の形態３に係る距離情報取得装置の構成例を示すブロック図である。同図では、図７Ａ、図７Ｂと同じ点は図示を省略し、異なる点を図示してある。
【０２６２】
タイミング指示部７０１は、第１組から第Ｎ組のタイミング信号を一斉に生成する。ここで、Ｎは６以上の整数であり、図２０ではＮ＝９である。
【０２６３】
固体撮像素子１０２は、画素２００１〜画素２００９を含む。画素２００１〜画素２００９は、第１組〜第Ｎ組に対応する。画素２００１〜画素２００９は、それぞれ異なるタイミング信号が入力される。タイミング信号のうち発光を指示する発光制御信号は、画素２００１〜画素２００９に共通であり、発光部１０４に入力される。タイミング信号のうち露光を指示する露光制御信号は、画素２００１〜画素２００９に個別であり、互いに異なるタイミングで露光を指示する。同図では９種類の異なる露光タイミングを示す９つの露光制御信号がタイミング指示部７０１から画素２００１〜画素２００９に入力される。
【０２６４】
タイミング指示部７０１は、第１組から第Ｎ組を指示するタイミング信号を一斉に生成する。
【０２６５】
実施形態１および２では、第１組から第Ｎ組のタイミング設定を逐次的に行う方法を示したが、実施の形態３では第１組から第ｎ組をｎ個の画素に対応させて、ｎ個の画素から受光信号を一斉に出力させる。
【０２６６】
図２０に複数画素へのタイミング指示方法を示す。固体撮像素子１０２内にある、画素を画素２００１、画素２００２、画素２００３、画素２００４、画素２００５、画素２００６、画素２００７、画素２００８、画素２００９とする。ここで画素数を簡単のため、９個図示しているが、これに限定されるものではない。第１の実施形態のようにＮ個の画素を使用してもよいし、第２の実施形態のように６個の画素を使用してもよい。タイミング指示部７０１は、画素２００１から画素２００９に対してそれぞれタイミング指示を行う。画素２００１から画素２００９は指示されたタイミングで露光し、受光量Ａ１〜Ａ９を信号蓄積部７０２へ蓄積する。具体的には、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミング９個に対して、信号量Ａ１からＡ９の９点をプロットする。
【０２６７】
プロットした結果は第１または第２の実施形態のとおり、マルチパス検出と、補正係数の算出に利用される。ただし、第１、第２の実施形態では１画素１つのマルチパス検出結果と補正係数を算出したが、本実施形態では９画素で１つの結果・補正係数を出力する。つまり、画素２００１から画素２００９についてのマルチパス検出し、画素２００１から画素２００９に対して１つの補正係数を算出しマルチパスを補正することができる。
【０２６８】
さらに、実施の形態１および２より少ないフレーム数で必要な受光量を取得することができ、マルチパス検出と補正の高速化が図れる。
【０２６９】
以上説明してきたように実施の形態３に係る距離情報取得装置１００は、前記複数の組は、第１組から第Ｎ組（Ｎは６以上の整数）を含み、前記第１組から第Ｎ組は、１つの発光パルスを共有し、第１組から第Ｎ組は、前記固体撮像素子に含まれる第１画素から第Ｎ画素に対応し、前記発光露光制御部１０１は、前記第１組から第Ｎ組の露光を指示するＮ個のタイミング信号を一斉に生成し、前記第１画素から前記第Ｎ画素に供給する。
【０２７０】
これによれば、Ｎ個の画素においてＮ組の発光および露光を同時に行うので、マルチパス検出動作のリアルタイム処理を容易にする。
【産業上の利用可能性】
【０２７１】
本開示におけるマルチパスを検出する距離情報取得装置、マルチパス検出装置およびマルチパス検出方法に適しており、例えばＴＯＦカメラシステムに適している。
【符号の説明】
【０２７２】
１００  距離情報取得装置
１０１  発光露光制御部
１０２  固体撮像素子
１０３  信号処理部
１０４  発光部
１１０  マルチパス検出装置
１１１  マルチパス検出部
１１２  距離演算部
１１４  光源駆動部
１１５  光源
７０１  タイミング指示部
７０２  信号蓄積部
７０３  リファレンス保持部
７０４  信号比較部
７０５  補正係数算出部
【図１】
0006918210.tif 000031
【図２】
0006918210.tif 000032
【図３】
0006918210.tif 000033
【図４】
0006918210.tif 000034
【図５】
0006918210.tif 000035
【図６】
0006918210.tif 000036
【図７Ａ】
0006918210.tif 000037
【図７Ｂ】
0006918210.tif 000038
【図８Ａ】
0006918210.tif 000039
【図８Ｂ】
0006918210.tif 000040
【図９】
0006918210.tif 000041
【図１０】
0006918210.tif 000042
【図１１Ａ】
0006918210.tif 000043
【図１１Ｂ】
0006918210.tif 000044
【図１１Ｃ】
0006918210.tif 000045
【図１２Ａ】
0006918210.tif 000046
【図１２Ｂ】
0006918210.tif 000047
【図１３】
0006918210.tif 000048
【図１４Ａ】
0006918210.tif 000049
【図１４Ｂ】
0006918210.tif 000050
【図１５Ａ】
0006918210.tif 000051
【図１５Ｂ】
0006918210.tif 000052
【図１６】
0006918210.tif 000053
【図１７】
0006918210.tif 000054
【図１８】
0006918210.tif 000055
【図１９】
0006918210.tif 000056
【図２０】
0006918210.tif 000057