(57)【要約】【課題】光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することである。【解決手段】撮像装置は、周期信号を生成する発生部（１０４）と、前記発生部が生成する周期信号に基づく第１の周期信号を基に発光する１つの光源（１０３）と、前記発生部が生成する周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部（１０１，１０２）とを有し、前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期している。【選択図】図１
2020008483.tif 000002
【特許請求の範囲】
【請求項１】
周期信号を生成する発生部と、
前記発生部が生成する周期信号に基づく第１の周期信号を基に発光する１つの光源と、
前記発生部が生成する周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部とを有し、
前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期していることを特徴とする撮像装置。
【請求項２】
前記発生部は、前記第１の周期信号と前記複数の第２の周期信号を生成し、
前記光源は、前記第１の周期信号を基に発光し、
前記複数の撮像部は、前記複数の第２の周期信号を基に前記距離画像信号をそれぞれ生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記発生部から前記複数の撮像部までの前記複数の第２の周期信号の配線長が同じであることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
基板の第１の面には、前記複数の撮像部の間に前記光源が配置され、
前記基板の第２の面には、前記発生部が配置されることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の周期信号と前記複数の第２の周期信号は、周波数および位相が同じであることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記発生部は、前記第１の周期信号と第３の周期信号を生成し、
前記第３の周期信号を入力し、複数の第２の周期信号の位相をそれぞれ調整する位相調整部をさらに有し、
前記光源は、前記第１の周期信号を基に発光し、
前記複数の撮像部は、前記位相が調整された複数の第２の周期信号を基に前記距離画像信号をそれぞれ生成することを特徴とする請求項１または４に記載の撮像装置。
【請求項７】
前記複数の撮像部は、相互に異なるパラメータに基づき、前記距離画像信号を生成することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数の撮像部のうちの第１の撮像部は、各フレームの撮像期間単位で、前記反射光に基づく信号を加算し、
前記複数の撮像部のうちの第２の撮像部は、前記フレームを分割した各サブフレームの撮像期間単位で、前記反射光に基づく信号を加算することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の撮像部の距離画像信号と、前記距離画像信号を濃淡画像とみなしたステレオ法による距離画像信号を基に距離画像信号を再生成する演算部をさらに有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
発生部により、周期信号を生成するステップと、
１つの光源により、前記周期信号に基づく第１の周期信号を基に発光するステップと、
複数の撮像部により、前記周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成するステップとを有し、
前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期していることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
距離画像撮像装置は、物体および環境の立体形状の把握のための距離画像を生成する。距離画像撮像装置は、産業用ロボットでのワークの認識や、自動運転・自律移動のための環境認識に用いられている。
【０００３】
距離計測方法として、光を投射し、物体表面での反射光の戻ってくる時間を計測する光飛行時間方式（Time of Flight、以下、ＴＯＦという）がある。ＴＯＦには、直接ＴＯＦと間接ＴＯＦがある。直接ＴＯＦは、短パルス光を使用し、直接、光飛行時間を測定する。計測精度向上のためには、超高速の電子回路技術が必要である。一方、間接ＴＯＦは、専用の受光素子を用い、周期的に変調された光（矩形波を含む）を使用し、変調信号と同期した復調信号で受光素子を制御することで、時間を電圧に変換して測定する。間接ＴＯＦ画像素子と呼ばれる２次元センサが開発されている。
【０００４】
特許文献１には、ステレオと間接ＴＯＦを組み合わせた距離画像撮像方式が記載されている。左側と右側の２つの間接ＴＯＦ型距離画像撮像装置を用いている。左側の間接ＴＯＦ型距離画像撮像装置の光源からの投射による計測と、右側の間接ＴＯＦ型距離画像撮像装置の光源からの投射による計測と、左右両方の間接ＴＯＦ型距離画像撮像装置の光源からの同時投射による計測との合計３回の計測が行われる。その３回の計測結果を基に距離画像が生成される。３回の計測結果を基にすることにより、距離画像の精度を向上させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１４／０３３３７２８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
間接ＴＯＦでは、ＴＯＦ画像素子による復調処理により、時間差を電圧に変換している。変調信号と復調信号の位相差は、対象物と距離画像撮像装置間の光の往復飛行時間と同様に電圧に寄与する。光速度は、３×１０10ｃｍ／ｓと高速であるため、例えば、１ｎｓの位相差により、１５ｃｍの系統誤差が発生する。
【０００７】
特許文献１のステレオと間接ＴＯＦを組み合わせた距離画像撮像装置では、２つの間接ＴＯＦ型距離画像撮像装置の変調信号と復調信号は、周波数が同じだが、位相差がある。この位相差が距離計測の系統誤差の一因となっている。
【０００８】
本発明の目的は、光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することである。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、周期信号を生成する発生部と、前記発生部が生成する周期信号に基づく第１の周期信号を基に発光する１つの光源と、前記発生部が生成する周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部とを有し、前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期している。
【発明の効果】
【００１０】
本発明によれば、光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】距離画像撮像装置の構成例を示すブロック図である。
【図２】距離画像撮像装置の回路基板の配置図である。
【図３】光源の変調と距離画像撮像部の復調動作を示す図である。
【図４】距離とＴＯＦ画像撮像部のＴＯＦ画素信号との関係を示す図である。
【図５】距離画像撮像装置の構成例を示すブロック図である。
【図６】距離画像撮像装置での変復調信号の位相差の影響を示す図である。
【図７】距離とＴＯＦ画像撮像部のＴＯＦ画素信号との関係を示す図である。
【図８】２つのＴＯＦ画像撮像部の撮像動作について説明する図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態による距離画像撮像装置１００の構成例を示すブロック図である。以下の説明では、単にＴＯＦと書いた場合は、間接ＴＯＦを意味するものとする。距離画像撮像装置１００は、ＴＯＦ画像撮像部１０１，１０２と、光源１０３と、矩形波発生部１０４と、制御・距離画像演算部１０５とを有する。距離画像撮像装置１００は、２つのＴＯＦ画像撮像部１０１および１０２を有する。矩形波発生部１０４は、ＴＯＦ画像撮像部１０１および１０２の復調信号をそれぞれ生成する。
【００１３】
矩形波発生部１０４は、制御・距離画像演算部１０５から矩形波制御信号を入力し、図３に示すように、光源１０３の変調信号（矩形波）と、２つのＴＯＦ画像撮像部１０１および１０２の復調信号（矩形波）を生成する。変調信号（矩形波）と復調信号（矩形波）は、周期信号である。矩形波発生部１０４は、その生成した変調信号を光源１０３に出力し、その生成した２つの復調信号をＴＯＦ画像撮像部１０１および１０２にそれぞれ出力する。復調信号（矩形波）の周波数は、入力される矩形波制御信号で設定される。３つの出力信号の位相差は、望ましくは零にする。
【００１４】
光源１０３は、発光素子と駆動回路を有し、入力される図３の変調信号（矩形波）で強度変調された光を射出する。光源１０３の光出力等の動作パラメータは、光源制御信号で設定される。発光素子は、例えば、ＬＥＤまたはレーザであり、可視カメラとの併用を踏まえて、波長が８００ｎｍ〜９００ｎｍの近赤外光を使うことが望ましい。光源１０３は、矩形波発生部１０４から変調信号（矩形波）を入力し、制御・距離画像演算部１０５から光源制御信号を入力し、発光する。変調信号とは、光源１０３の強度変調の基となる矩形波である。光源１０３から射出される光の波形は、デューティ比が５０％のパルス波となる。光源１０３が射出した光は、対象物で反射し、反射光が距離画像撮像装置１００に戻ってくる。
【００１５】
ＴＯＦ画像撮像部１０１および１０２は、それぞれ、ＴＯＦ画像素子と、処理回路と、光学系とを有する。ＴＯＦ画像素子は、受光部に入射する光を、入力される図３の復調信号（矩形波）を基に復調し、撮像物の距離に応じた電気信号を出力する。処理回路は、入力されるＴＯＦ画像素子制御信号に基づき、ＴＯＦ画像素子の動作パラメータの設定を行い、ＴＯＦ画像素子から出力信号を処理し、距離画像信号を生成する。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、矩形波発生部１０４から復調信号（矩形波）を入力し、制御・距離画像演算部１０５からＴＯＦ画像素子制御信号を入力し、制御・距離画像演算部１０５に距離画像信号を出力する。復調信号は、ＴＯＦ画像素子の受光動作をオン／オフさせる矩形波である。ＴＯＦ画像素子は、デューティが５０％の復調信号でオン／オフ動作する。変調信号と復調信号は、同じ周波数である。
【００１６】
制御・距離画像演算部１０５は、ＴＯＦ画像撮像部１０１および１０２が生成した距離画像信号を基に、距離画像信号を再生成し、その再生成した距離画像信号を外部のパソコン等に出力する。また、制御・距離画像演算部１０５は、距離画像撮像装置制御信号を外部のパソコン等から入力し、距離画像撮像装置１００の動作設定および動作制御を行う。
【００１７】
図２（ａ）は、距離画像撮像装置１００の回路基板の表面２０１の配置図であり、図２（ｂ）は、距離画像撮像装置１００の回路基板の裏面２０２の配置図である。図２（ｂ）は、図２（ａ）を紙面裏側から見た配置を示しており、左右が逆になっている。回路基板の表面２０１には、左端にＴＯＦ画像撮像部１０１が配置され、右端にＴＯＦ画像撮像部１０２が配置され、中央に光源１０３が配置される。回路基板の裏面２０２には、中央下側に矩形波発生部１０４が配置され、空きスペースに制御・距離画像演算部１０５が配置される。
【００１８】
図３は、光源１０３の変調信号（光出力）と、ＴＯＦ画像撮像部１０１および１０２の復調信号、反射光（ＴＯＦ画素信号）を示す図である。横軸は時間、縦軸は信号強度である。
【００１９】
光源１０３は、変調信号がハイレベルの期間では発光し、変調信号がローレベルの期間では発光しない。光源１０３は、デューティが５０％のパルス波形の光を発光する。その光は、対象物で反射する。ＴＯＦ画像撮像部１０１および１０２は、その反射光を入射する。
【００２０】
ＴＯＦ画像撮像部１０１および１０２の復調信号は、光源１０３の変調信号に対して、周波数および位相が同じである。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、復調信号がハイレベルの期間では受光動作を行い、復調信号がローレベルの期間では受光動作を行わない。
【００２１】
図３では、距離画像撮像装置１００から対象物までの距離（以下、単に距離という）が０、Ｌ／２、Ｌ、３Ｌ／２、２Ｌの場合の反射光（ＴＯＦ画素信号）を示す。ここで、Ｌは、最大計測可能距離であり、以下の式で表わされる。
Ｌ＝ｃ／（４×ｆ）
【００２２】
ここで、ｃは光速、ｆは変調信号の周波数である。変調信号の周波数は、１ＭＨｚから１０ＭＨｚオーダーである。例えば、変調信号の周波数が２０ＭＨｚの場合は、最大計測可能距離Ｌは７．５ｍとなる。
【００２３】
ＴＯＦ画像撮像部１０１および１０２は、対象物から反射光を入射する。距離が０である場合には、反射光の波形は、変調信号および復調信号の波形と同じになる。距離が長くなるほど、反射光の波形は、変調信号および復調信号の波形に対して、遅延時間が長くなる。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、復調信号がハイレベルの期間に、反射光を電荷に変換することにより、ＴＯＦ画素信号を生成する。ＴＯＦ画素信号の電圧は、復調信号の波形と反射光の波形とが重なった領域（斜線で示す領域）の面積に対応する。
【００２４】
距離が０の場合、ＴＯＦ画素信号は、反射光の波形面積の１００％の面積に対応する電圧である。距離がＬ／２の場合、ＴＯＦ画素信号は、反射光の波形面積の５０％の面積に対応する電圧である。距離がＬの場合、ＴＯＦ画素信号は、反射光の波形面積の０％の面積に対応する電圧である。距離が３Ｌ／２の場合、ＴＯＦ画素信号は、反射光の波形面積の５０％の面積に対応する電圧である。距離が２Ｌの場合、ＴＯＦ画素信号は、反射光の波形面積の１００％の面積に対応する電圧である。
【００２５】
図４は、距離とＴＯＦ画素信号の関係を示す図である。距離が０の場合に、ＴＯＦ画素信号は最大になる。距離がＬの場合に、ＴＯＦ画素信号が０（最小）になる。その後、距離が２Ｌの場合、ＴＯＦ画素信号が再び最大になる。同じ電圧のＴＯＦ画素信号に対応する距離を１つにするため、Ｌが最大計測可能距離となる。これは、間接ＴＯＦの原理的な制約であり、用途を限定すること、別の技術と合せることで対処できるため、ここでは単に前提として扱う。距離画像撮像装置１００は、ＴＯＦ画素信号を基に、距離を算出することができる。
【００２６】
次に、図１を参照しながら、本実施形態の距離画像撮像装置１００の動作について説明する。距離画像撮像装置１００の電源投入後、制御・距離画像演算部１０５は、予めの設定あるいは距離画像撮像装置制御信号に基づき、ＴＯＦ画像撮像部１０１，１０２、光源１０３、および矩形波発生部１０４の設定を行う。その後、光源１０３は、入力される変調信号に基づき、デューティが５０％のパルス波形の光を発光する。ＴＯＦ画像撮像部１０１および１０２の内部のＴＯＦ画像素子は、入力される復調信号に基づき、受光動作をオン／オフさせ、ＴＯＦ画素信号を生成する。ＴＯＦ画像撮像部１０１および１０２は、内部のＴＯＦ画像素子のＴＯＦ画素信号を通常のイメージセンサと同様に読み出し、２次元配列の距離画像信号として制御・距離画像演算部１０５に出力する。制御・距離画像演算部１０５は、入力された２つの距離画像信号を濃淡画像とみなし、ＴＯＦ画像撮像部１０１および１０２の幾何学的配置を基に、ステレオ法による距離画像信号の生成を行う。より具体的には、制御・距離画像演算部１０５は、２つの距離画像信号をそれぞれＩ1およびＩ2としたとき、Ｉ1中に設定されるＭ×Ｎの部分領域Ｔ1をテンプレートとし、Ｉ2を探索して最も類似する部分領域を求める。このとき、距離画像信号Ｉ1およびＩ2を濃淡画像とみなす。そして、ＳＳＤ（Sum of Absolute Differences）、ＳＡＤ（Sum of Squared Differences）、ＮＣＣ（Normalized Cross Correlation）などの相違度指標を用いる。そして、相違度指標が最も小さくなるＩ2中の部分領域Ｔ2を求める。ＴＯＦ画像撮像部１０１および１０２の幾何学的配置は、事前にキャリブレーション等により求めておく。また、制御・距離画像演算部１０５は、処理に先立ち、距離画像信号Ｉ1およびＩ2を平行化しておく。制御・距離画像演算部１０５は、Ｔ2の探索時には、Ｉ2のエピポーラ線上のみを１次元走査する。制御・距離画像演算部１０５は、エピポーラ線がＩ1およびＩ2のｘ軸と平行であるとすると、Ｔ1の重心画素のｘ座標ｘ1とそれに対応するＴ2の重心画素のｘ座標ｘ2とから新たな距離画像を生成することができる。より具体的には、以下の式で奥行きｄが算出される。ここで、ｆはＴＯＦ画像撮像部１０１および１０２の焦点距離、ｂはＴＯＦ画像撮像部１０１および１０２の基線長を表す。
ｄ＝ｆ×ｂ／（ｘ2−ｘ1）
【００２７】
制御・距離画像演算部１０５は、Ｔ1の画素ごとに算出される奥行きｄを濃淡値として画像化したものをステレオ法による距離画像として生成する。なお、距離画像信号Ｉ1とＩ2の関係を逆にし、Ｔ2をテンプレートとして、Ｔ1を探索するようにしてもよい。なお、ここで説明したステレオ法は、一例に過ぎない。２つの距離画像信号の対応関係から三角測量に基づき新たな距離画像信号を生成できるものであれば、いかなる方法を用いてもよい。
【００２８】
制御・距離画像演算部１０５は、ＴＯＦ画像撮像部１０１および１０２による２つの距離画像信号とステレオ法による距離画像信号に基づき、ＴＯＦ画像撮像部１０１あるいは１０２の視点からの１つの最終的な距離画像信号を再生成し、外部に出力する。より具体的には、制御・距離画像演算部１０５は、ＴＯＦによる２つの距離画像信号とステレオ法による距離画像信号の距離値を、ＴＯＦ画像撮像部１０１あるいは１０２の視点位置基準の距離値にそれぞれ変換する。そして、制御・距離画像演算部１０５は、同じ画素位置に対応する距離値Ｄを以下の式に基づいて求める。ここで、ｄ1およびｄ2はそれぞれ変換後の同一画素におけるＴＯＦ画像による距離画像信号、ｄ3はステレオ法による距離画像信号を示す。α、β、γは、重み係数であり、３つの和が１となるように正規化されている。
Ｄ＝α×ｄ1＋β×ｄ2＋γ×ｄ3
【００２９】
係数α、β、γは、様々な方法で設定することができる。例えば、α、βはＴＯＦ画像を撮像したときの信号強度比に基づいて設定され、γは部分領域探索時の相違度指標に基づいて設定される。ある特定の画素について、ＴＯＦ画像撮像部１０１の信号強度がＴＯＦ画像撮像部１０２の信号強度に対して大きい場合には、重み係数αの値が相対的に大きくなる。また、部分領域探索時の相違度指標が小さい場合には、ステレオ法による距離画像信号をより重視すべく、γの値が相対的に大きくなる。電源投入後の設定動作終了後の距離画像生成は、距離画像撮像装置制御信号により設定されたフレームレートで、継続して行われる。
【００３０】
次に、図２を参照しながら、距離画像撮像装置１００の構成要素の回路基板での配置について説明する。ステレオ法を用いるために、ＴＯＦ画像撮像部１０１および１０２は、回路基板の表面２０１の両端に配置される。これにより、ＴＯＦ画像撮像部１０１および１０２の基線長ｂを最大にすることができる。回路基板の表面２０１では、光源１０３は、ＴＯＦ画像撮像部１０１および１０２の間に配置される。矩形波発生部１０４と制御・距離画像演算部１０５は、基板面積を小さくするため、回路基板の裏面２０２に配置される。特に、矩形波発生部１０４は、回路基板の裏面２０２の中央に配置される。矩形波発生部１０４から複数のＴＯＦ画像撮像部１０１および１０２まで復調信号（矩形波）の配線長が同じになるようにする。これにより、２つのＴＯＦ画像撮像部１０１および１０２間での配線長による復調信号の位相差をゼロにすることができる。
【００３１】
次に、図３および図４を参照しながら、ＴＯＦ方式での光飛行時間とＴＯＦ画像信号の関係を説明する。距離画像撮像装置１００と対象物間を光が往復する時間により、ＴＯＦ画像撮像部１０１および１０２のＴＯＦ画像素子へ光が入射するタイミングが変化する。ＴＯＦ画像素子の受光動作は、復調信号によりオン／オフされるため、ＴＯＦ画像素子の出力電圧は、ＴＯＦ画像素子への光の入射タイミングが変わることにより変化する。図３の斜線の部分の面積は、ＴＯＦ画像素子の出力電圧を示している。その結果、ＴＯＦ画像素子の出力電圧と距離の関係は、図４のようになる。
【００３２】
光源１０３の変調信号とＴＯＦ画像撮像部１０１，１０２の復調信号の位相差は、上記の入射タイミングの計測に直接影響する。例えば、最大計測可能距離Ｌが７．５ｍ、変調信号の周波数が２０ＭＨｚの距離画像撮像装置１００では、精度を３ｃｍとして、それに対して許容される位相差を距離精度の５０％とした場合、その位相差を時間で表すと０．１ｎｓとなる。この値は、距離画像撮像装置１００を同一の回路基板で構成した場合、実現できるが、距離画像撮像装置１００を別回路基板や別ユニットで構成し、個別のケーブルや個別のバッファ回路を介して接続された場合は実現が難しい。本実施形態では、２つのＴＯＦ画像撮像部１０１，１０２の復調信号と光源１０３の変調信号は、同一の矩形波発生部１０４で生成し、同一の回路基板内で配線される。そのため、変調信号と復調信号の位相差は極めて小さい。また、回路基板での配置を図２のようにすることで、２つの復調信号の配線長による位相差をゼロにすることができる。
【００３３】
また、位相差がゼロでない複数の光源からの変調光は、重ね合わせにより波形が歪む。具体的には、波形の立ち上がりと立ち下がりが階段状になる。これもＴＯＦでの距離計測の系統誤差の要因となる。本実施形態では、１つの光源１０３から投射される変調光を用いて計測するため、複数の光源による系統誤差も発生しない。
【００３４】
さらに、１つの光源１０３と２つのＴＯＦ画像撮像部１０１，１０２は、一体として連続動作し、動作の切り替えがないため、起動後あるいは設定終了後は、ＴＯＦ画像撮像部１０１，１０２は、距離画像信号を出し続ける。
【００３５】
以上の説明では、２つのＴＯＦ画像撮像部１０１および１０２の例を説明したが、３つ以上のＴＯＦ画像撮像部を設けても良い。その場合、矩形波発生部１０４の出力数は、それに合わせて増加する。例えば、ＴＯＦ画像撮像部が３つの場合は、矩形波発生部１０４の出力数は４つになる。矩形波発生部１０４の出力信号は、正弦波、台形波等の周期的な周期信号でも良い。ＴＯＦ画像撮像部が２つの構成における回路基板での配置は、矩形波発生部１０４からＴＯＦ画像撮像部１０１，１０２への２つの復調信号の配線長が、同じになるならば、図２の配置には限らない。
【００３６】
ＴＯＦ画像素子としては、１画素あたり２つの復調入力、２つの出力をもつ構造が主流である。本実施形態は、そのようなＴＯＦ画像素子にも適用可能である。この場合、ＴＯＦ画像素子は、入力された復調信号の逆相信号を発生させ、２つの復調入力にする形になる。また、光源１０３の変調信号に対して、復調信号の位相を０°、９０°、１８０°、２７０°遅らせ、復調する方式のＴＯＦ画像撮像部にも適用可能である。この方式のＴＯＦ画像撮像部は、４つの異なる位相の復調信号で計測したＴＯＦ画素信号を基に、ＴＯＦ画素信号の特性が補償される。尚、この方式の場合、最大計測可能距離Ｌは、以下の式で表される。
Ｌ＝ｃ／（２×ｆ）
【００３７】
本実施形態では、１つの光源１０３の変調信号と複数のＴＯＦ画像撮像部１０１，１０２の復調信号とが同期している。これにより、１つの光源１０３の発光と複数のＴＯＦ画像撮像部１０１，１０２の距離画像信号生成とが同期している。そのため、ＴＯＦ画像信号の系統誤差が少なく、また、切り替え動作がないため、連続計測に適している。光源１０３の発光動作とＴＯＦ画像撮像部１０１，１０２の距離画像信号生成動作の同期ずれを防止することにより、同期ずれによる距離計測のための距離画像信号の誤差を抑制し、距離計測精度を向上できる。
【００３８】
（第２の実施形態）
図５は、本発明の第２の実施形態による距離画像撮像装置１００の構成例を示すブロック図である。図５の距離画像撮像装置１００は、図１の距離画像撮像装置１００に対して、矩形波発生部１０４の代わりに矩形波発生部５０１が設けられ、位相調整部５０２が追加されている。
【００３９】
矩形波発生部５０１は、変調信号と復調信号の２出力である。矩形波発生部５０１は、光源１０３に変調信号を出力し、位相調整部５０２に復調信号を出力する。位相調整部５０２は、１つの復調信号（矩形波）を入力し、２つの復調信号（矩形波）の位相をそれぞれ調整し、位相が調整された２つの復調信号をＴＯＦ画像撮像部１０１および１０２にそれぞれ出力する。それぞれの位相調整量は、ＴＯＦ画像撮像部１０１および１０２の復調が最適になる様に調整されている。ＴＯＦ画像撮像部１０１および１０２の復調信号に対する応答特性、光源１０３の変調信号に対する応答特性を予め測定し、その結果に基づき、位相調整量を決定する。位相調整量は、矩形波発生部５０１が生成する復調信号（矩形波）の周波数にもよるが、０．１〜１０ｎｓのオーダーである。そのため、通常のカメラ・トリガーでのシステムクロックをベースにした遅延回路の適用は難しい。そこで、ロジックゲートを用いた遅延回路を用いる。また、ＰＬＬ（Phase-Locked Loop）、ＤＬＬ（Delay-Locked Loop）、ＳＭＤ（Synchronous Mirror Delay）、ＤＤＳ（Direct Digital Synthesizer）等を用いてもよい。位相調整方法について説明する。ロジックゲートを用いた遅延回路では、位相調整設定用外部抵抗の抵抗値を調整する。ＤＤＳでは、位相遅延量を決めるレジスタ値を調整する。ＴＯＦ画像撮像部１０１および１０２は、位相が調整された２つの復調信号を基に、距離画像信号をそれぞれ生成する。
【００４０】
図６は、図３と同様に、本実施形態による光源１０３の変調信号（光出力）と、ＴＯＦ画像撮像部１０１および１０２の復調信号、反射光（ＴＯＦ画素信号）を示す図である。図６は、図３に対して、ＴＯＦ画像撮像部１０１および１０２の復調信号が光源１０３の変調信号に対して遅れている点が異なる。位相調整部５０２は、位相調整した復調信号をＴＯＦ画像撮像部１０１および１０２にそれぞれ出力する。ＴＯＦ画像撮像部１０１および１０２の復調信号は、光源１０３の変調信号に対して遅れている。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、復調信号がハイレベルである期間に、反射光を光電変換することにより、斜線で示すＴＯＦ画素信号を生成する。ＴＯＦ画素信号の電圧は、復調信号の波形と反射光の波形が重なる面積に相当する。図６は、図３に対して、復調信号が遅延しているため、ＴＯＦ画素信号の電圧が変わる。
【００４１】
図７（ａ）および（ｂ）は、図４と同様に、本実施形態による距離とＴＯＦ画素信号の関係を示す図であり、復調信号の遅れの影響を示す。図７（ａ）は、第１の実施形態のように、ＴＯＦ画像撮像部１０１，１０２の復調信号の位相が光源１０３の変調信号の位相と同じである場合を示す。図７（ｂ）は、第２の実施形態のように、ＴＯＦ画像撮像部１０１，１０２の復調信号の位相が光源１０３の変調信号の位相に対して遅れている場合を示す。図７（ｂ）のように、復調信号の位相が遅れている場合、ＴＯＦ画素信号の電圧がゼロになる距離が短くなる。この場合、ＴＯＦ画素信号の電圧がゼロより少し大きい電圧（図中、点線で示す）では、最大計測可能距離Ｌ内に２つの距離候補があることになる。図７（ａ）および（ｂ）中の黒丸はその候補を示している。
【００４２】
図５を用いて、距離画像撮像装置１００の動作について説明する。距離画像撮像装置１００の全体の動作は、矩形波発生部５０１からの復調信号が位相調整部５０２を介してＴＯＦ画像撮像部１０１および１０２に供給されている以外は第１の実施形態と同じである。光源１０３の変調とＴＯＦ画像撮像部１０１，１０２の復調の位相差は、単に変調信号と復調信号の位相差だけではく、光源１０３の素子と駆動回路、ＴＯＦ画像撮像部１０１，１０２の応答特性により発生する場合がある。本実施形態では、位相調整部５０２が、この位相差を調整する。この調整量は、組み込まれる光源１０３の変調特性、ＴＯＦ画像撮像部１０１，１０２の復調特性を基に決定される。そして、距離画像撮像装置１００の作製時に、位相調整部５０２に調整量が設定される。
【００４３】
次に、図６と図７（ａ）、（ｂ）を用いて、変調と復調の位相差の影響について説明する。図６に示すように、復調信号の位相が遅れた場合、ＴＯＦ画素信号の電圧と距離の関係は、図７（ｂ）のようにグラフが左側にシフトする。この場合、ゼロから最大計測可能距離Ｌまでの間に、ＴＯＦ画素信号の電圧がＰになる点が２つでき、距離が一意に決まらなくなる。位相調整部５０２の設定値は、光源１０３およびＴＯＦ画像撮像部１０１，１０２の応答特性による位相差を補正し、図７（ａ）のようになるように設定される。以下、その手順を説明する。まず、変調信号に対する光源１０３の光出力の時間遅れＴｍｏｄ、復調信号に対するＴＯＦ画像撮像部１０１および１０２の応答特性による時間遅れＴｄｅｍ１およびＴｄｅｍ２をそれぞれ予め測定する。位相調整部５０２のＴＯＦ画像撮像部１０１および１０２に対する位相調整量Ｔｃｏｒ１およびＴｃｏｒ２は、下記になる。
Ｔｃｏｒ１＝Ｔｍｏｄ−Ｔｄｅｍ１
Ｔｃｏｒ２＝Ｔｍｏｄ−Ｔｄｅｍ２
【００４４】
位相調整量Ｔｃｏｒ１およびＴｃｏｒ２の設定方法としては、距離画像撮像装置１００の設計時に、距離が既知の物体を試作機で測定し、測定結果が既知の距離になるように調整する方法がある。また、制御・距離画像演算部１０５が位相調整部５０２に位相調整部制御信号を出力することにより、距離画像撮像装置１００に位相調整機能をもたすことも可能である。この場合、距離画像撮像装置１００の状態に応じて、位相調整部５０２の位相調整量を調整することができる。
【００４５】
ＴＯＦ画像撮像部の数、ＴＯＦ画像素子の構造、変調方式については、第１の実施形態に記載の構成、方式を適用可能である。
【００４６】
本実施形態では、ＴＯＦ画像撮像部１０１，１０２ごとに復調信号の位相を設定できるため、光源１０３とＴＯＦ画像撮像部１０１，１０２の応答特性による位相ズレがあった場合に補正することが可能である。また、変調信号の周波数ｆで決まる最大計測可能距離Ｌに近い距離を計測することができる。
【００４７】
（第３の実施形態）
以下、図面を用いて本発明の第３の実施形態について説明する。本実施形態の距離画像撮像装置１００は、第１の実施形態と同様の構成を有する。以下、本実施形態が第１の実施形態と異なる点を説明する。本実施形態の距離画像撮像装置１００は、２つのＴＯＦ画像撮像部１０１および１０２を有し、ＴＯＦ画像撮像部１０１および１０２の撮像パラメータを異なる設定にすることで、距離画像撮像装置１００から出力される距離画像のノイズを低減させる。
【００４８】
ＴＯＦ画像撮像部１０１および１０２の撮像パラメータとしては、変調信号の周波数、フレームレート、サブフレーム数、積分時間、センサゲインがある。これらの内、サブフレーム数と積分時間は、ＴＯＦ画像撮像部１０１および１０２毎に変更が可能であり、かつ重要な撮像パラメータである。ＴＯＦ画像撮像部１０１および１０２は、相互に異なるパラメータに基づき、距離画像信号を生成する。
【００４９】
図８は、本実施形態による２つのＴＯＦ画像撮像部１０１および１０２の撮像動作について説明する図である。時間を横軸に示し、フレーム、サブフレーム、積分時間を模式的に示している。図８では、ＴＯＦ画像撮像部１０１の撮像動作期間の波形と、ＴＯＦ画像撮像部１０２の撮像動作期間の波形を示している。波形のハイレベルは撮像期間を示し、波形のローレベルは非撮像期間を示す。
【００５０】
ＴＯＦにおける、フレーム、サブフレーム、積分時間について説明する。ＴＯＦで用いられる変調信号の周波数は、通常、１ＭＨｚ以上であり、画像センサのフレームレートより６ケタ以上高くなっている。そのため、複数の周期のＴＯＦ画素信号を足し合わせる積分処理等の信号強度を上げる手法や、積分処理した信号から得られた複数の距離画像を処理することにより、ノイズを低減することができる。積分時間は、複数の周期のＴＯＦ画素信号を足し合わせる合計の時間である。サブフレームは、フレームでの画像処理を行う場合の距離画像を得る単位である。
【００５１】
図８に示す例では、ＴＯＦ画像撮像部１０１は、積分時間を最大にしている。ＴＯＦ画像撮像部１０１は、その積分時間で、ＴＯＦ画素信号を加算する。すなわち、ＴＯＦ画像撮像部１０１は、各フレームの撮像期間単位で、光源１０３の発光に対する反射光に基づくＴＯＦ画素信号を加算する。一方、ＴＯＦ画像撮像部１０２は、フレームを５つのサブフレームに分割し、積分時間をサブフレームの中で最大にしている。ＴＯＦ画像撮像部１０２は、その積分時間で、ＴＯＦ画素信号を加算する。すなわち、ＴＯＦ画像撮像部１０２は、フレームを分割した各サブフレームの撮像期間単位で、光源１０３の発光に対する反射光に基づくＴＯＦ画素信号を加算する。
【００５２】
ＴＯＦ画像撮像部１０１は、受光量の少ない遠い物体面や黒い物体面からのＴＯＦ画素信号を大きくすることができるので、距離精度を向上できる。一方、ＴＯＦ画像撮像部１０１は、受光量の多い近い物体面や白い物体面では、ＴＯＦ画素信号が飽和する場合があり、距離精度が低下する。ＴＯＦ画像撮像部１０２は、受光量の少ない遠い物体面や黒い物体面からのＴＯＦ画素信号が小さく、距離精度が低下する。一方、ＴＯＦ画像撮像部１０２は、受光量の多い近い物体面や白い物体面では、ＴＯＦ画素信号が飽和せず、距離精度が低下しない。また、ＴＯＦ画像撮像部１０２は、フレーム内の複数のサブフレームで得られた距離画像を処理（たとえば積算平均化）することで、距離画像のノイズを低減できる。
【００５３】
制御・距離画像演算部１０５は、ＴＯＦ画像撮像部１０１の距離画像信号、ＴＯＦ画像撮像部１０２の距離画像信号、ステレオ計測により生成した距離画像信号を基に、最終的な距離画像信号を再生成する。制御・距離画像演算部１０５は、距離画像信号の再生成に際して、ＴＯＦ画像撮像部１０１および１０２のそれぞれのノイズの少ない部分を採用することで、物体面の反射特性、距離への依存性の少ない距離画像が得られる。
【００５４】
以上の説明では、ＴＯＦ画像撮像部１０１および１０２の撮像パラメータの設定は、上記の設定に限るものではない。また、ＴＯＦ画像撮像部の数、ＴＯＦ画像素子の構造、変調方式については、第１の実施形態に記載の構成、方式を適用可能である。本実施形態は、計測対象となる物体の反射特性、距離への依存性を少なくすることができる。
【００５５】
第１〜第３の実施形態の距離画像撮像装置１００は、測定対象物および環境の立体形状を把握することができる。例えば、距離画像撮像装置１００は、３次元形状を計測する３次元スキャナー、環境・対象物の認識を必用とする自動運転自動車、監視カメラに利用可能である。
【００５６】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５７】
１０１，１０２  ＴＯＦ画像撮像部、１０３  光源、１０４  矩形波発生部、１０５  制御・距離画像演算部、２０１  回路基板の表面、２０２  回路基板の裏面、５０１  矩形波発生部、５０２  位相調整部
【図１】
2020008483.tif 000003
【図２】
2020008483.tif 000004
【図３】
2020008483.tif 000005
【図４】
2020008483.tif 000006
【図５】
2020008483.tif 000007
【図６】
2020008483.tif 000008
【図７】
2020008483.tif 000009
【図８】
2020008483.tif 000010