(57)【要約】【課題】  物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる測距装置を提供する。【解決手段】  距離センサは、投光系と、投光系から投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分けるイメージセンサと、複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するためのバッファメモリと、現フレーム及び少なくとも１つの過去フレームの情報に基づいて、物体の動的変化の有無を判定する動的変化有無判定部と、物体までの距離を算出する距離演算部と、を備え、距離演算部は、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均し、該移動平均の結果から距離を取得し、動的変化ありと判定された場合に、複数の過去フレームの情報を移動平均し、該移動平均の結果から距離を取得する。【選択図】図１２
2018066609.tif 000002
【特許請求の範囲】
【請求項１】
パルス光を投光する投光系と、
前記投光系から投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける撮像素子と、
前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するための記憶部と、
現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する判定部と、
前記判定部での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する演算部と、を備え、
前記演算部は、
前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、
前記判定部で動的変化ありと判定された場合に、複数の過去フレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得することを特徴とする測距装置。
【請求項２】
前記演算部は、前記判定部で動的変化ありと判定された場合に、前記複数の過去フレームの対応する前記位相信号を移動平均した結果を用いて前記距離を算出することを特徴とする請求項１に記載の測距装置。
【請求項３】
前記演算部は、前記判定部で動的変化ありと判定された場合に、前記複数の過去フレームの前記複数の位相信号に基づく値を移動平均した結果を用いて前記距離を算出することを特徴とする請求項１に記載の測距装置。
【請求項４】
前記演算部は、前記判定部で動的変化ありと判定された場合に、前記複数の過去フレームの前記複数の位相信号に基づく距離値を移動平均した結果を前記距離として出力することを特徴とする請求項１に記載の測距装置。
【請求項５】
パルス光を投光する投光系と、
前記投光系から投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける撮像素子と、
前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するための記憶部と、
現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する判定部と、
前記判定部での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する演算部と、を備え、
前記演算部は、
前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、
前記判定部で動的変化ありと判定された場合に、現フレーム又は未来フレームの前記情報から前記距離を取得することを特徴とする測距装置。
【請求項６】
前記演算部は、前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの対応する前記位相信号を移動平均した結果を用いて前記距離を算出することを特徴とする請求項１〜５のいずれか一項に記載の測距装置。
【請求項７】
前記演算部は、前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記複数の位相信号に基づく値を移動平均した結果を用いて前記距離を算出することを特徴とする請求項１〜５のいずれか一項に記載の測距装置。
【請求項８】
前記演算部は、前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記複数の位相信号に基づく距離値を移動平均した結果を前記距離として出力することを特徴とする請求項１〜５のいずれか一項に記載の測距装置。
【請求項９】
前記演算部は、所定回数以上の移動平均によって得られた結果を用いて前記距離を算出又は該結果を前記距離として出力することを特徴とする請求項２、３、４、６、７、８のいずれか一項に記載の測距装置。
【請求項１０】
前記判定部は、
前記パルス光のパルス周期をｍ（≧３）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、
【数１】
2018066609.tif 000005
で得られる位相差の正弦成分Ａ及び余弦成分Ｂのフレーム間の変化量を、それぞれ予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項１〜９のいずれか一項に記載の測距装置。
【請求項１１】
前記判定部は、
前記パルス光のパルス周期をｍ（≧２）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、
前記撮像素子を用いて取得される環境光強度と前記位相信号との差分のフレーム間の変化量を、予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項１〜９のいずれか一項に記載の測距装置。
【請求項１２】
前記パルス光のパルス幅をＴ０とすると、前記パルス周期は２Ｔ０以上であることを特徴とする請求項１０又は１１に記載の測距装置。
【請求項１３】
前記判定部は、フレーム毎に検出される距離値のフレーム間の変化量を、予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項１〜９のいずれか一項に記載の測距装置。
【請求項１４】
前記判定部は、フレーム毎に検出される輝度値のフレーム間の変化量を、予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項１３に記載の測距装置。
【請求項１５】
請求項１〜１４のいずれか一項に記載の測距装置を有する監視カメラ。
【請求項１６】
請求項１〜１４のいずれか一項に記載の測距装置を有する３次元計測装置。
【請求項１７】
請求項１〜１４のいずれか一項に記載の測距装置を有する移動体。
【請求項１８】
請求項１〜１４のいずれか一項に記載の測距装置を有するロボット。
【請求項１９】
パルス光を投光する工程と、
投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける工程と、
前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存する工程と、
現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する工程と、
前記判定する工程での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する工程と、を備え、
前記算出する工程では、
前記判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、
前記判定する工程で動的変化ありと判定された場合に、複数の過去フレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得することを特徴とする測距方法。
【請求項２０】
パルス光を投光する工程と、
投光され物体で反射もしくは散乱された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける工程と、
前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存する工程と、
現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する工程と、
前記判定する工程での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する工程と、を備え、
前記算出する工程では、
前記判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、
前記判定する工程で動的変化ありと判定された場合に、現フレーム又は未来フレームの前記情報から前記距離を取得することを特徴とする測距方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法に関する。
【背景技術】
【０００２】
近年、物体までの距離を測定するための測距技術の開発が盛んに行われている。
【０００３】
例えば、特許文献１及び２には、光を投光してから、該光が物体で反射して戻ってくるまでの時間に基づいて物体までの距離を求める、いわゆるＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）演算方式を用いた測距技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１及び２に開示されている測距技術では、物体の動的変化の有無によらず該物体までの距離を精度良く測定することに関して改善の余地があった。
【課題を解決するための手段】
【０００５】
本発明は、パルス光を投光する投光系と、前記投光系から投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける撮像素子と、前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するための記憶部と、現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する判定部と、前記判定部での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する演算部と、を備え、前記演算部は、前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、前記判定部で動的変化ありと判定された場合に、複数の過去フレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得することを特徴とする測距装置である。
【発明の効果】
【０００６】
本発明によれば、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る距離センサを搭載した走行体の外観図である。
【図２】走行管理装置の構成を説明するためのブロック図である。
【図３】距離センサの構成を説明するための図である。
【図４】投光系を説明するための図である。
【図５】パルス制御信号を説明するための図である。
【図６】光源駆動信号を説明するための図である。
【図７】受光系を説明するための図である。
【図８】距離センサにおける信号の流れを示す図である。
【図９】音声・警報発生装置の構成を説明するためのブロック図である。
【図１０】正弦波変調方式（４位相式）の１フレームを説明するためのタイミングチャートである。
【図１１】矩形波変調方式（２位相式）の１フレームを説明するためのタイミングチャートである。
【図１２】測距処理１について説明するためのフローチャートである。
【図１３】測距処理２について説明するためのフローチャートである。
【図１４】測距処理３について説明するためのフローチャートである。
【図１５】測距処理４について説明するためのフローチャートである。
【図１６】測距処理５について説明するためのフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態を図面に基づいて説明する。図１には、一実施形態の測距装置としての距離センサ２０を搭載した走行体１の外観が示されている。この走行体１は、荷物を目的地に無人搬送するものである。なお、本明細書では、ＸＹＺ３次元直交座標系において、路面に直交する方向をＺ軸方向、走行体１の前進方向を＋Ｘ方向として説明する。
【０００９】
ここでは、距離センサ２０は、一例として、走行体１の前部に取り付けられ、走行体１の＋Ｘ側（前方）の３次元情報を求める。なお、距離センサ２０による測定可能な領域を測定領域ともいう。
【００１０】
走行体１の内部には、一例として図２に示されるように、表示装置３０、位置制御装置４０、メモリ５０、及び音声・警報発生装置６０などが備えられている。これらは、データの伝送が可能なバス７０を介して電気的に接続されている。
【００１１】
ここでは、距離センサ２０と、表示装置３０と、位置制御装置４０と、メモリ５０と、音声・警報発生装置６０とによって、走行管理装置１０が構成されている。すなわち、走行管理装置１０は、走行体１に搭載されている。また、走行管理装置１０は、走行体１のメインコントローラ８０と電気的に接続されている。
【００１２】
距離センサ２０は、一例として図３に示されるように、投光系２０１、受光系２０２、距離演算部２０３、バッファメモリ２０４、動的変化有無判定部２０５、同期制御部２０６などを有している。そして、これらは、筐体内に収納されている。この筐体は、投光系２０１から投光される光、及び物体で反射され、受光系２０２に向かう光が通過するための窓を有し、該窓にはガラスが取り付けられている。
【００１３】
投光系２０１は、受光系２０２の−Ｚ側に配置されている。この投光系２０１は、一例として図４に示されるように、光源２１及び光源駆動部２５などを有している。
【００１４】
光源２１は、光源駆動部２５によって点灯及び消灯される。ここでは、光源２１としてＬＥＤ（発光ダイオード）が用いられているが、これに限らず、例えば半導体レーザ（端面発光レーザや面発光レーザ）等の他の光源を用いても良い。光源２１は、＋Ｘ方向に光を射出するように配置されている。なお、以下では、光源駆動部２５で生成され、光源２１を駆動するための信号を「光源駆動信号」と呼ぶ。
【００１５】
光源駆動部２５は、同期制御部２０６からのパルス制御信号（パルス幅Ｔ０、パルス周期Ｔ１のパルス信号、図５参照）に基づいて、光源駆動信号（図６参照）を生成する。この光源駆動信号は、光源２１に送出される。なお、以下では、光源駆動信号を「駆動パルス」とも呼ぶ。
【００１６】
これにより、光源２１からは、同期制御部２０６から指示されたパルス幅、パルス周期のパルス光が射出される。なお、光源２１から射出されるパルス光は、デューティ（ｄｕｔｙ）が５０％以下となるように、同期制御部２０６において設定されている。また、以下では、光源２１から射出されるパルス光を「投光波」や「投光パルス」とも呼ぶ。
【００１７】
走行体１のメインコントローラ８０は、走行体１を走行させる際に、位置制御の開始要求を位置制御装置４０に送出する。そして、走行体１のメインコントローラ８０は、走行体１が目的位置に到達すると、位置制御の終了要求を位置制御装置４０に送出する。
【００１８】
位置制御装置４０は、位置制御の開始要求、及び位置制御の終了要求を受け取ると、距離演算部２０３に送出する。
【００１９】
距離センサ２０から射出され物体で反射された光の一部は、距離センサ２０に戻ってくる。以下では、便宜上、物体で反射され距離センサ２０に戻ってくる光を「物体からの反射光」ともいう。
【００２０】
受光系２０２は、物体からの反射光を検出する。受光系２０２は、一例として図７に示されるように、結像光学系２８及びイメージセンサ２９などを有している。
【００２１】
結像光学系２８は、物体からの反射光の光路上に配置され、該光を集光する。ここでは、結像光学系２８は１枚のレンズで構成されているが、２枚のレンズで構成されても良いし、３枚以上のレンズで構成されても良いし、ミラー光学系を用いても良い。
【００２２】
イメージセンサ２９は、結像光学系２８を介した物体からの反射光を受光する。ここでは、イメージセンサ２９として、複数の受光部（例えばフォトダイオードやフォトトランジスタ）が２次元配列されたエリアイメージセンサが用いられている。以下では、イメージセンサ２９で受光される物体からの反射光を「受光波」や「受光パルス」とも呼ぶ。イメージセンサ２９の「受光部」は「画素」とも呼ばれる。
【００２３】
イメージセンサ２９は、受光した光を画素毎に光電変換し、その電気信号（受光信号）を時間的に分割し、時間毎の複数の信号（位相信号）に振り分ける。
【００２４】
詳述すると、イメージセンサ２９は、受光部毎に２つの電荷蓄積部を有しており、ＴＸ１信号（図８参照）がハイレベルのときは、該受光部で光電変換された信号電荷が一方の電荷蓄積部に蓄積され、ＴＸ２信号（図８参照）がハイレベルのときは、該受光部で光電変換された信号電荷が他方の電荷蓄積部に蓄積される。また、イメージセンサ２９は、ＴＸＤ信号（図８参照）がハイレベルのときは、電荷の蓄積を行わず、リセット信号（図８参照）がハイレベルになると、２つの電荷蓄積部に蓄積されている電荷量を０にする。
【００２５】
バッファメモリ２０４には、イメージセンサ２９のフレーム毎の出力信号（複数の位相信号）が一時的に保存される。バッファメモリ２０４は、複数の記憶領域を有している。
【００２６】
動的変化有無判定部２０５は、イメージセンサ２９の現フレーム（最新のフレーム）の出力信号（複数の位相信号）と、バッファメモリ２０４に保存された、イメージセンサ２９の過去フレーム（現フレームよりも時間的に前のフレーム）の出力信号（複数の位相信号）に基づいて、物体の動的変化（移動や変形）の有無を画素毎に判定し、その判定結果を距離演算部２０３に出力する。ここで、「物体の動的変化の有無を画素毎に判定する」とは、イメージセンサ２９で撮像される少なくとも１つの物体の動的変化の有無を画素毎に判定することを意味する。
【００２７】
距離演算部２０３は、イメージセンサ２９の各画素について、動的変化有無判定部２０５での判定結果に応じて、イメージセンサ２９の出力信号（複数の位相信号）を用いて、光源２１の射出タイミング（投光波の出力タイミング）とイメージセンサ２９の受光タイミング（受光波の入力タイミング）の時間差（遅延時間）を求め、該時間差から物体までの距離を算出して少なくとも１つの物体の３次元情報である距離画像（デプスマップ）を生成し、位置制御装置４０に出力する。
【００２８】
同期制御部２０６は、図８に示されるように、距離演算部２０３から測定開始信号を受信すると、パルス制御信号を光源駆動部２５に出力するとともに、ＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号をイメージセンサ２９に選択的に出力する。また、同期制御部２０６は、距離演算部２０３から測定終了信号を受信すると、上記各信号の出力を停止する。
【００２９】
図２に戻り、位置制御装置４０は、距離演算部２０３から距離画像を受け取ると、該距離画像を表示装置３０に表示する。また、位置制御装置４０は、距離画像に基づいて、走行体１の位置が所定の位置となるように、位置制御を行う。
【００３０】
音声・警報発生装置６０は、一例として図９に示されるように、音声合成装置６１、警報信号生成装置６２及びスピーカ６３などを有している。
【００３１】
音声合成装置６１は、複数の音声データを有しており、位置制御装置４０から危険有りの情報を受け取ると、対応する音声データを選択し、スピーカ６３に出力する。
【００３２】
警報信号生成装置６２は、位置制御装置４０から危険有りの情報を受け取ると、対応する警報信号を生成し、スピーカ６３に出力する。
【００３３】
ここで、本実施形態の距離センサ２０は、一例として「正弦波変調方式」と呼ばれるＴＯＦ法や「矩形波変調方式」と呼ばれるＴＯＦ法を用いて測距を行う。
【００３４】
「正弦波変調方式」では、受光波を時間的に３つ以上に分割して検出し、得られた各位相信号を用いて、投光波の出力タイミングに対する受光波の入力タイミングの遅延時間Ｔｄを位相差角の演算で取得する。
【００３５】
一例として４位相式の正弦波変調方式の位相差演算方法について図１０を用いて説明する。図１０では、パルス制御信号に基づく投光波とＴＸ１（０°）信号が同期して出力される。図１０に示される１フレーム構成によって、受光パルスを０°、９０°、１８０°、２７０°の４つの位相に分割した位相信号（Ａ０、Ａ９０、Ａ１８０、Ａ２７０）を取得し、次の（１）式を使って位相差角Φを求める。
Φ＝ａｒｃｔａｎ｛（Ａ９０−Ａ２７０）／（Ａ０−Ａ１８０）｝  ・・・（１）
【００３６】
遅延時間Ｔｄは、位相差角Φを用いて、次の（２）式から求めることができる。
Ｔｄ＝Φ／２π×T（Ｔ＝２Ｔ０、Ｔ０：駆動パルスのパルス幅）  ・・・（２）
【００３７】
このような位相差の演算方法に対して測距性能を高めるための理想的な投光波形は正弦波形である。そこで、正弦波変調方式では、その名のとおり、光源を正弦波の変調信号（駆動パルス）を用いて駆動する。
【００３８】
一方、「矩形波変調方式」では、受光波を時間的に２つ以上に分割して検出し、得られた各位相信号を用いて、投光波の出力タイミングに対する受光波の入力タイミングの遅延時間Ｔｄ´を求める。
【００３９】
一例として２位相式の矩形波変調方式について図１１を用いて説明する。図１１でも、パルス制御信号に基づく投光波とＴＸ１（０°）信号が同期して出力される。図１１に示される１フレーム構成によって、受光パルスを０°、１８０°の２つの位相に分割した位相信号（Ｂ０、Ｂ１８０）を取得し、次の（３）式を用いて遅延時間Ｔｄ´を求めることができる。
Ｔｄ´＝｛Ｂ１８０／（Ｂ０＋Ｂ１８０）｝×Ｔ１(Ｔ１：駆動パルスのパルス幅)・・・（３）
【００４０】
このような位相差の演算方法に対して測距性能を高めるための理想的な投光波形は矩形である。そこで、矩形波変調方式では、その名のとおり、光源を矩形波の変調信号（駆動パルス）を用いて駆動する。
【００４１】
以下に、距離センサ２０を用いて実施される測距処理１を図１２のフローチャートを参照して説明する。測距処理１は、イメージセンサ２９の画素毎に同じ手順で行われる。
【００４２】
最初のステップＳ１では、カウンタｎに０をセットする。カウンタｎは撮影開始からのフレーム数を示している。
【００４３】
次のステップＳ２では、カウンタｎを更新する。
【００４４】
次のステップＳ３では、カウンタｉに１をセットする。カウンタｉは測定対象の画素についての移動平均回数を示している。なお、本明細書において、特に断りがない限り「移動平均」は「単純移動平均」を意味する。
【００４５】
次のステップＳ４では、ｎ（＝１）番目のフレーム（最初のフレーム）のｍ個の位相信号（Ｃ１＿ｎ、Ｃ２＿ｎ、・・・、Ｃｍ＿ｎ）を取得する。これらの位相信号はバッファメモリ２０４に格納される。
【００４６】
次のステップＳ５では、（ｎ＋１）番目のフレーム（現フレーム）のｍ個の位相信号（Ｃ１＿（ｎ＋１）、Ｃ２＿（ｎ＋２）、・・・、Ｃｍ＿（ｎ＋３））を取得する。これらの位相信号はバッファメモリ２０４に格納される。以下では、現フレームの直前のフレームを「直前フレーム」とも呼ぶ。
【００４７】
次のステップＳ６では、測定対象の画素について、ｎ番目のフレーム（直前フレーム）から（ｎ＋１）番目のフレーム（現フレーム）の間で動的変化があるか否かを判断する。すなわち、測定対象の画素に対応する物体の領域（以下では「物体領域」とも呼ぶ）の動的変化の有無を判定する。具体的には、ｎ番目のフレームで取得した位相信号Ｃｋ＿ｎ（１≦ｋ≦ｍ）と、（ｎ＋１）番目のフレームで取得した位相信号Ｃｋ＿（ｎ＋１）（１≦ｋ≦ｍ）の信号量（電荷量）を比較する。詳述すると、少なくとも１つのｋについてＣｋ＿ｎとＣｋ＿（ｎ＋１）の信号量の差が予め設定された閾値よりも大きい場合に「動的変化あり」と判定し、閾値以下である場合に「動的変化なし」と判定する。ステップＳ６での判断が否定されるとステップＳ７に移行し、肯定されるとステップＳ９に移行する。
【００４８】
ステップＳ７では、物体領域について、現フレームまでの（ｉ＋１）個のフレームの対応する位相信号に対して移動平均処理を行って得られた移動平均データと、上記（１）式及び（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。例えば正弦波変調方式を用いる場合には、現フレームまでの（ｉ＋１）個のフレームの位相信号Ａ０、Ａ９０、Ａ１８０、Ａ２７０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＡ０、ＭＡＤＡ９０、ＭＡＤＡ１８０、ＭＡＤＡ２７０と、上記（１）式及び（２）式を用いてデプス値を算出する。この際、上記（１）式及び（２）式において、各位相信号を対応する移動平均データで置き換える。例えば矩形波変調方式を用いる場合には、現フレームまでの（ｉ＋１）個のフレームの位相信号Ｂ０、Ｂ１８０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＢ０、ＭＡＤＢ１８０と、上記（３）式を用いてデプス値を算出する。この際、上記（３）式において、各位相信号を対応する移動平均データで置き換える。
【００４９】
次のステップＳ８では、カウンタｉ、ｎを更新する。ステップＳ８が実行されるとステップＳ５に戻る。
【００５０】
ステップＳ９では、物体領域について、現フレームの直前のフレームまでのｉ個のフレームの対応する位相信号に対して移動平均処理を行って得られた移動平均データと上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。この場合、１フレーム分のレイテンシが発生するが、物体に対する測距を継続することができる。その理由は後述する。例えば正弦波変調方式を用いる場合には、現フレームの直前のフレームまでのｉ個のフレームの位相信号Ａ０、Ａ９０、Ａ１８０、Ａ２７０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＡ０´、ＭＡＤＡ９０´、ＭＡＤＡ１８０´、ＭＡＤＡ２７０´と、上記（１）式及び（２）式を用いてデプス値を算出する。この際、上記（１）式及び（２）式において、各位相信号を対応する移動平均データで置き換える。例えば矩形波変調方式を用いる場合には、現フレームの直前のフレームまでのｉ個のフレームの位相信号Ｂ０、Ｂ１８０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＢ０´、ＭＡＤＢ１８０´と、上記（３）式を用いてデプス値を算出する。この際、上記（３）式において、各位相信号を対応する移動平均データで置き換える。
【００５１】
次のステップＳ１０では、カウンタｉを初期化し、カウンタｎを更新する。ステップＳ１０が実行されるとステップＳ５に戻る。
【００５２】
以上説明した図１２の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１２のフローチャートのどのタイミングで行われても良い。
【００５３】
なお、上記ステップＳ６において、例えば過半数のｋについて、Ｃｋ＿ｎとＣｋ＿（ｎ＋１）の信号量の差が閾値よりも大きい場合に「動的変化あり」と判定し、閾値以下である場合に「動的変化なし」と判定しても良い。
【００５４】
また、上記ステップＳ６において、例えば現フレームで取得された複数の位相信号から得られるデプス値（距離値）と、直前フレームで取得された複数の位相信号から得られるデプス値（距離値）の差分を、予め設定された閾値と比較することで動的変化の有無を判定しても良い。
【００５５】
また、上記ステップＳ７において、移動平均処理の対象となるフレームは、必ずしも現フレームを含まなくても良く、要は、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームであれば良い。
【００５６】
また、上記ステップＳ９において、移動平均処理の対象となるフレームは、必ずしも直前フレームを含まなくても良く、要は、複数の過去フレームであれば良い。
【００５７】
以下に、ステップＳ９において、１フレーム分のレイテンシが発生するが物体に対する測距を継続することができる理由について説明する。
【００５８】
物体が動き出したタイミングをＴ０としたときに、ｎ番目のフレーム（直前フレーム）の位相信号の取得タイミング（ステップＳ４のタイミング)と（ｎ＋１）番目のフレーム（現フレーム）の位相信号の取得タイミング(ステップＳ５のタイミング)の間にＴ０があるとする。すると、「動的変化あり」と判定された画素に対してはｎ番目のフレーム（物体が動き出す直前のフレーム）までの位相信号に基づく距離を物体までの距離として取得する(ステップＳ９)ので、該物体までの距離に最新の（ｎ＋１）番目のフレーム（物体が動き出した直後のフレーム）の位相信号は反映されず、１フレーム分のレイテンシが発生するが、移動平均によりノイズを低減できるため該物体までの距離を精度良く取得できる。なお、「動的変化あり」と判定された画素に対して物体が動き出す直前の距離を算出するので距離測定誤差はほとんど生じない。
【００５９】
さらに、上記に続いて同一画素で連続的に動的変化の有無を判定した場合を考える。例えばステップＳ７にてループ前のステップＳ５で取得した（ｎ＋１）番目のフレームの位相信号を、先のステップＳ４にてｎ番目のフレームの位相信号が格納されたバッファメモリ２０４に格納し、これらとループ後のステップＳ５で取得した（ｎ＋１）番目のフレームの位相信号を用いて動的変化の有無の判定をステップＳ６で行う。このステップＳ６でｎ番目のフレームと（ｎ＋１）番目のフレームの間で「動的変化あり」の判定がなされるとステップＳ９の処理に移り、ループ前のステップＳ５で取得した位相信号のみを用いて距離を算出し、取得する。
【００６０】
次に、距離センサ２０を用いて実施される測距処理２を図１３のフローチャートを参照して説明する。測距処理２は、イメージセンサ２９の画素毎に同様の手順で行われる。
【００６１】
図１３において、ステップＴ１〜Ｔ６、Ｔ１１、Ｔ１２は、それぞれ図１２のステップＳ１〜Ｓ６、Ｓ９、Ｓ１０と同じである。そこで、図１３における、図１２とは異なるステップＴ７〜Ｔ１０について説明する。
【００６２】
ステップＴ７では、物体領域について、現フレームまでの（ｉ＋１）個のフレームの対応する位相信号に対して移動平均処理を行って得られた移動平均データを取得する。なお、ステップＴ７の前に直前フレームまでのｉ個のフレームの対応する位相信号に対して移動平均処理が行われている場合には、その結果と現フレームの対応する位相信号を用いて移動平均データを更新しても良い。
【００６３】
ステップＴ８では、ｉ＋１＞Ｕであるか否かを判断する。すなわち、現フレームまでの対応する位相信号の移動平均回数（ｉ＋１）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＴ８での判断が肯定されるとステップＴ９に移行し、否定されるとステップＴ１０に移行する。
【００６４】
ステップＴ９では、ステップＴ７で得られた移動平均データと、上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。
【００６５】
次のステップＴ１０では、カウンタｉ、ｎをそれぞれ更新する。ステップＴ１０が実行されるとステップＴ５に戻る。
【００６６】
以上のようにステップＴ７〜Ｔ１０によって、投光範囲（検出範囲）にある物体に対して、該物体に動的変化がない限り、十分な回数（移動平均回数（Ｕ））の移動平均処理によって得られた移動平均データのみがデプス値として取得されるため、高精度な測距を行うことができる。
【００６７】
以上説明した図１３の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１３のフローチャートのどのタイミングで行われても良い。
【００６８】
なお、上記ステップＴ６において、例えば過半数のｋについて、現フレームと直前フレームの対応する位相信号の信号量の差が閾値よりも大きい場合に「動的変化あり」と判定し、閾値以下である場合に「動的変化なし」と判定しても良い。
【００６９】
また、上記ステップＴ６において、例えば現フレームで取得された複数の位相信号から得られるデプス値（距離値）と、現フレームの直前のフレームで取得された複数の位相信号から得られるデプス値（距離値）の差分を、予め設定された閾値と比較することで動的変化の有無を判定しても良い。
【００７０】
また、上記ステップＴ９において、移動平均処理の対象となるフレームは、必ずしも現フレームを含まなくても良く、要は、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームであれば良い。
【００７１】
また、上記ステップＴ１１において、移動平均処理の対象となるフレームは、必ずしも現フレームの直前のフレームを含まなくても良く、要は、複数の過去フレームであれば良い。
【００７２】
また、図１３において、上記ステップＴ６とステップＴ１１の間に、ステップＴ８と同様のステップを挿入しても良い。
【００７３】
次に、距離センサ２０を用いて実施される測距処理３を図１４のフローチャートを参照して説明する。測距処理３は、イメージセンサ２９の画素毎に同様の手順で行われる。
【００７４】
ステップＵ１〜Ｕ３は、それぞれ図１２のステップＳ１〜Ｓ３と同じである。
【００７５】
ステップＵ４では、イメージセンサ２９のｎ（＝１）番目のフレーム（最初のフレーム）の測定対象の画素の出力信号を、実効周波数ｆ０で決まる１周期（２π）を、時間的にｍ個に分割して位相信号Cｋ＿ｎ（１≦ｋ≦ｍ）を取得する。例えばｍ＝４であれば、光源２１の発光タイミングを基準として、Ｃ１＿ｎが０°、Ｃ２＿ｎが９０°、Ｃ３＿ｎが１８０°、Ｃ４＿ｎが２７０°の位相信号となる。ただし、ここでｍ≧３である。
【００７６】
ステップＵ５では、ステップＵ４で取得した位相信号と次の（４）式を用いて、発光タイミングから受光タイミングまでの位相差をｓｉｎ成分（Ａ）とｃｏｓ成分（Ｂ）として導出し、それぞれバッファメモリ２０４の記憶領域ＭＡＡ、ＭＡＢに格納する。
【数１】
2018066609.tif 000003
【００７７】
次のステップＵ６では、イメージセンサ２９の（ｎ＋１）番目のフレーム（現フレーム）の測定対象の画素の出力信号を、実効周波数ｆ０で決まる１周期（２π）を、時間的にｍ個に分割して位相信号Cｋ＿ｎ＋１（１≦ｋ≦ｍ）を取得する。例えばｍ＝４であれば、光源２１の発光タイミングを基準として、Ｃ１＿ｎ＋１が０°、Ｃ２＿ｎ＋１が９０°、Ｃ３＿ｎ＋１、が１８０°、Ｃ４＿ｎ＋１が２７０°の位相信号となる。ただし、ここでｍ≧３である。
【００７８】
次のステップＵ７では、ステップＵ６で取得した位相信号と上記（４）式のｎを（ｎ＋１）に置き換えた式を用いて、発光タイミングから受光タイミングまでの位相差をｓｉｎ成分（Ａ（ｉ））とｃｏｓ成分（Ｂ（ｉ））として導出する。以下では、ｓｉｎ成分（Ａ）、ｃｏｓ成分（Ｂ）、ｓｉｎ成分Ａ（ｉ）、ｃｏｓ成分Ｂ（ｉ）を適宜「位相差成分」と総称する。
【００７９】
次のステップＵ８では、測定対象の画素に対応する物体領域に動的変化があるか否かを判定する。具体的には、現フレームのｓｉｎ成分Ａ（ｉ）とｃｏｓ成分Ｂ（ｉ）と、現フレームの直前のフレームまでのｓｉｎ成分、ｃｏｓ成分の平均値（Ａ／ｉ、Ｂ／ｉ）の差分の絶対値（｜Ａ／ｉ−Ａ（ｉ）｜、｜Ｂ／ｉ−Ｂ（ｉ）｜）と、予め設定された閾値（ａ、ｂ）をそれぞれ比較する。そして、これらの差分の絶対値の少なくとも一方が閾値を超えた場合、ステップＵ８での判断が肯定され、ステップＵ１３に移行する。一方、これらの差分の絶対値のいずれも閾値以下の場合、ステップＵ８での判断が否定され、ステップＵ９に移行する。なお、閾値（ａ、ｂ）は、ユーザが指定しても良いし、距離センサ２０の製造時における調整工程にてセンサの特性値に基づいて自動的に設定されてもよい。閾値（ａ、ｂ）の決め方としては、例えば、ショットノイズのゆらぎと区別するため、予め取得したセンサのショットノイズ特性から信号量に応じた近似関数により決定する方法がある。
【００８０】
ステップＵ９では、バッファメモリ２０４の記憶領域ＭＡＡ、ＭＡＢに、現フレームのｓｉｎ成分（Ａ（ｉ））、ｃｏｓ成分（Ｂ（ｉ））をそれぞれ加え、カウンタｉを更新する。
【００８１】
ステップＵ１０では、ｉ＞Ｕであるか否かを判断する。すなわち、現フレームまでの対応する位相信号の移動平均回数（ｉ）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＵ１０での判断が肯定されるとステップＵ１１に移行し、否定されるとステップＵ１２に移行する。
【００８２】
ステップＵ１１では、現フレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データと、次の（５）式を用いてデプス値を取得する。すなわち、「動的変化なし」と判定された現フレームまでの情報を使った距離（デプス）演算がなされる。
Ｄｅｐｔｈ［ｍ］＝ａｒｃｔａｎ（Ａ／Ｂ）／２π×（ｃ／２）・・・（５）
ここで「ｃ」は光速（≒3e8[m/s]）を示す。
ここでは、上記（５）式におけるＡ／Ｂは、現フレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データの比を表す。
【００８３】
ステップＵ１３では、現フレームの直前のフレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データと、上記（５）式を用いてデプス値を取得する。すなわち、ここでは、「動的変化あり」と判定された現フレームの直前のフレームまでの情報を使った距離（デプス）演算がなされる（そのため１フレーム分のレイテンシが発生する）。
ここで「ｃ」は光速（≒3e8[m/s]）を示す。
ここでは、上記（５）式におけるＡ／Ｂは、現フレームの直前のフレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データの比を表す。
【００８４】
ステップＵ１４では、バッファメモリ２０４の記憶領域ＭＡＡ、ＭＡＢを、その時点の最新のフレーム（（ｎ＋1）番目のフレーム）のみの情報（Ａ´＝Ａ（ｉ）、Ｂ´＝Ｂ（ｉ））に更新し、カウンタｉを初期化し、カウンタｎを更新する。ステップＵ１４が実行されると、ステップＵ６に戻る。
【００８５】
なお、図１４のステップＵ８では、動的変化の有無を、現フレームよりも前の複数のフレーム（複数の過去フレーム）の位相差成分の平均値と、現フレームの位相差成分との差分をとることにより判定しているが、これに限られない。例えば、相前後するフレームの位相差成分の差分により判定しても良いし、差分以外に位相差成分の変化の微分値（傾き）や該微分値の変化を用いるなど、具体的な指標は複数存在する。
【００８６】
以上説明した図１４の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１４のフローチャートのどのタイミングで行われても良い。
【００８７】
なお、上記ステップＵ８とステップＵ１３の間に、ステップＵ１０と同様のステップを挿入しても良い。
【００８８】
次に、距離センサ２０を用いて実施される測距処理４を図１５のフローチャートを参照して説明する。測距処理４は、イメージセンサ２９の画素毎に同様の手順で行われる。
【００８９】
ステップＶ１〜Ｖ３は、それぞれ図１２のステップＳ１〜Ｓ３と同じである。
【００９０】
ステップＶ４は、イメージセンサ２９のｎ（＝１）番目のフレーム（最初のフレーム）で、環境光強度（Ｄ＿ｎ）を取得するとともに、測定対象の画素の出力信号の実効周波数ｆ０で決まる１周期（２π)を時間的に分割してｍ個の位相信号(Cｋ＿ｎ)（１≦ｋ≦ｍ）を取得する。ここで、環境光強度（Ｄ＿ｎ）は、投光系２０１からのパルス光による光信号以外の成分であり、例えば太陽光や暗電流を意味しており、例えば光源２１が発光していないときのイメージセンサ２９の出力信号から取得できる。
【００９１】
ステップＶ５では、ｍ個の位相信号（Ｃｋ＿ｎ）と環境光強度（Ｄ＿ｎ）との差分（Ｑ＿ｋ）を取得し（但し、１≦ｋ≦ｍ）、バッファメモリ２０４の記憶領域ＭＡＱに格納する。
【００９２】
次のステップＶ６では、（ｎ＋１）番目のフレーム（現フレーム）で、環境光強度（Ｄ＿（ｎ＋１））を取得するとともに、測定対象の画素の出力信号の実効周波数ｆ０で決まる１周期（２π)を時間的に分割してｍ個の位相信号（Ｃｋ＿（ｎ＋１））（１≦ｋ≦ｍ）を取得する。
【００９３】
次のステップＶ７では、ｍ個の位相信号（Ｃｋ＿（ｎ＋１））と環境光強度（Ｄ＿（ｎ＋１））の差分（Ｑｉ＿ｋ）を取得する（但し、１≦ｋ≦ｍ）。
【００９４】
次のステップＶ８では、測定対象の画素に対応する物体領域の動的変化があるか否かを判断する。具体的には、（Ｑ＿ｋ）／ｉと（Ｑｉ＿ｋ）を比較し、これらの差分が閾値を超える場合には「動的変化あり」と判定し、閾値以下の場合には「動的変化なし」と判定する。ステップＶ８での判断が肯定されるとステップＶ１３に移行し、否定されるとステップＶ９に移行する。
【００９５】
ステップＶ９では、バッファメモリ２０４の記憶領域ＭＡＱに現フレームの値（Ｑｉ＿ｋ）を加えて、カウンタｉを更新する。
【００９６】
次のステップＶ１０では、ｉ＞Ｕであるか否かを判断する。すなわち、現フレームまでのＱ＿ｋの移動平均回数（ｉ）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＶ１０での判断が肯定されるとステップＶ１１に移行し、否定されるとステップＶ１２に移行する。
【００９７】
ステップＶ１１では、現フレームまでのＱ＿ｋの移動平均データと、上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。この際、上記（１）式、（２）式、（３）式において、各位相信号Ｃｋを対応するＱ＿ｋの移動平均データで置き換える（但し、１≦ｋ≦ｍ）。
【００９８】
ステップＶ１２では、カウンタｎを更新する。ステップＶ１２が実行されるとステップＶ６に戻る。
【００９９】
ステップＶ１３では、現フレームの直前のフレームまでのＱ＿ｋの移動平均データと、上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する（そのため１フレーム分のレイテンシが発生する）。この際、上記（１）式、（２）式、（３）式において、各位相信号Ｃｋを対応するＱ＿ｋの移動平均データで置き換える（但し、１≦ｋ≦ｍ）。
【０１００】
次のステップＶ１４では、カウンタｉを初期化し、カウンタｎを更新する。ステップＶ１４が実行されると、ステップＶ６に戻る。
【０１０１】
図１５のステップＶ８では、現フレームの値Ｑｉ＿ｋと比較する値として直前フレームまでの平均値（Ｑ＿ｋ）／ｉを用いているが、例えば、現フレームの値と直前フレームの値を比較しても良く、またそれらの差分値以外にも、微分値や該微分値の変化など、現フレームの値と過去フレーム（例えば直前フレーム）の値を比較する具体的指標は複数存在する。
【０１０２】
なお、図１５において、上記ステップＶ８とステップＶ１３の間に、ステップＶ１０と同様のステップを挿入しても良い。
【０１０３】
以上説明した図１５の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１５のフローチャートのどのタイミングで行われても良い。
【０１０４】
次に、距離センサ２０を用いて実施される測距処理５を図１６のフローチャートを参照して説明する。測距処理５は、イメージセンサ２９の画素毎に同様の手順で行われる。
【０１０５】
ステップＷ１〜Ｗ３は、それぞれ図１２のステップＳ１〜Ｓ３と同じである。
【０１０６】
ステップＷ４では、距離センサ２０のフレーム毎のアウトプット値（該フレームの複数の位相信号から得られる距離値）であるデプス値Ｚｎと、デプス値の演算に必要な位相信号から取得可能な輝度値Ｙｎを、ｎ（＝１）番目のフレーム（最初のフレーム）で取得し、Ｚｎ、Ｙｎをそれぞれバッファメモリ２０４の記憶領域ＭＡＺ、ＭＡＹに格納する。
【０１０７】
次のステップＷ５では、ステップＷ４と同様にして、（ｎ＋１）番目のフレーム（現フレーム）におけるデプス値Ｚ（ｎ＋１）と輝度値Ｙ（ｎ＋１）を取得する。
【０１０８】
次のステップＷ６では、物体領域の動的変化があるか否かを輝度値により判定する。具体的には、ｎ番目のフレーム（直前フレーム）の輝度値Ｙｎと、（ｎ＋１）番目フレーム（現フレーム）の輝度値Ｙ（ｎ＋１）の差の絶対値が予め設定された閾値ｅよりも大きければ「移動あり」と判定し、閾値ｅ以下であれば「移動なし」と判定する。ステップＷ６での判断が肯定されるとステップＷ１３に移行し、否定されるとステップＷ７に移行する。
【０１０９】
ステップＷ７では、物体領域の動的変化があるか否かをデプス値により判定する。具体的には、ｎ番目のフレーム（直前フレーム）までのデプス値（Ｚｎ）の平均と、ｎ＋１番目のフレーム（現フレーム）のデプス値Ｚ（ｎ＋１）の差の絶対値が予め設定された閾値ｃよりも大きければ「移動あり」と判定し、閾値ｃ以下であれば「移動なし」と判定する。ここで、閾値ｃはユーザが指定しても良いし、製造における調整工程にてセンサの特性値に基づいて自動的に設定されてもよい。ステップＷ７での判断が肯定されるとステップＷ８に移行し、否定されるとステップＷ９に移行する。
【０１１０】
ステップＷ８では、（ｎ＋１）番目のフレーム（現フレーム）の輝度値Ｙ（ｎ＋１）と予め設定された閾値ｆとの大小関係により、物体領域の動的変化があるか否かを判断する。輝度値Ｙ（ｎ＋１）が閾値ｆよりも大きければ「動的変化あり」として判定し、閾値ｆ以下であれば「動的変化なし」と判定する。なお、閾値ｆはユーザが指定しても良いし、製造における調整工程にてセンサの特性値に基づいて自動的に設定されてもよい。ステップＷ８での判断が肯定されるとステップＷ１３に移行し、否定されるとステップＷ９に移行する。
【０１１１】
ステップＷ８が必要な第１の理由は、フレーム間の輝度値の差が小さい場合（ステップＷ６でＮＯ）に、現フレームの輝度値Ｙ（ｎ＋１）が極めて小さいとノイズの影響でフレーム間のデプス値のばらつき（差）が大きくなり（ステップＷ７でＹＥＳ）、実際に動的変化がなくても「動的変化あり」と判断され現フレームのデプス値Ｚ（ｎ＋１）が移動平均の対象から除外されるのを防ぐためである。
【０１１２】
ステップＷ８が必要な第２の理由は、以下の条件が揃った場合に、実際に動的変化があっても輝度値の差が小さくなる場合があり、この場合に「動的変化なし」と判断され現フレームのデプス値Ｚ（ｎ＋１）が移動平均の対象となるのを防ぐためである。輝度は距離の二乗に反比例する。例えば前フレームは距離１で反射率２５％の物体を捉えていたとし、次フレームは距離２で反射率１００％の物体を捉えたとすると、フレーム間の輝度値の関係は、輝度が距離の二乗に反比例する関係により、（１/２）２＝１／４と、反射率の関係で４倍が相殺関係になり、実際に動的変化があっても輝度値の差が小さくなる。
【０１１３】
ステップＷ９では、バッファメモリ２０４の記憶領域ＭＡＹ、ＭＡＺにそれぞれ現フレームの輝度値Ｙ（ｎ＋１）、デプス値Ｚ（ｎ＋１）を加えて、カウンタｉを更新する。
【０１１４】
次のステップＷ１０では、ｉ＞Ｕであるか否かを判断する。すなわち、現フレームまでのデプス値Ｚの移動平均回数（ｉ）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＷ１０での判断が肯定されるとステップＷ１１に移行し、否定されるとステップＷ１２に移行する。
【０１１５】
ステップＷ１１では、現フレームまでのデプス値Ｚに対して移動平均化処理を行い、その結果（Ｚ／ｉ）を最終的なデプス値（距離値）として取得する。すなわち、現フレームの輝度値が低ければ低輝度によるノイズと判定して、現フレームを含めたフレーム平均処理を行う。なお、このような低輝度領域において物体の動的変化があったとしても、ノイズに埋もれているために動的変化の影響よりも、現フレームを含めたフレーム平均処理を行うメリットの方が大きい。
【０１１６】
ステップＷ１２では、カウンタｎを更新する。ステップＷ１２が実行されるとステップＷ５に戻る。
【０１１７】
ステップＷ１３では、現フレームの直前のフレームまでのデプス値Ｚに対して移動平均化処理を行い、その結果（Ｚ／ｉ）を最終的なデプス値（距離値）として取得する（そのため１フレーム分のレイテンシが発生する）。
【０１１８】
次のステップＷ１４では、カウンタｉを初期化し、カウンタｎを更新する。ステップＷ１４が実行されると、ステップＷ５に戻る。
【０１１９】
なお、図１６において、上記ステップＷ６とステップＷ１３の間や、上記ステップＷ８とステップＷ１３の間に、ステップＷ１０と同様のステップを挿入しても良い。
【０１２０】
以上説明した測距処理１〜５は、測距処理間で一部のステップを相互に入れ替えることが可能である。
【０１２１】
以上説明した本実施形態の距離センサ２０（測距装置）は、パルス光を投光する投光系２０１と、該投光系２０１から投光され物体で反射された光を受光して画素毎に光電変換し、その電気信号を複数の位相信号に振り分けるイメージセンサ２９（撮像素子）と、複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するためのバッファメモリ（記憶部）と、現フレーム及び少なくとも１つの過去フレームの上記情報に基づいて、物体の動的変化の有無を画素毎に判定する動的変化有無判定部２０５（判定部）と、動的変化有無判定部２０５での判定結果に応じて、上記情報を用いて物体までの距離を画素毎に算出する距離演算部２０３と、を備え、距離演算部２０３は、イメージセンサ２９の各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から距離を取得し、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの上記情報を移動平均し、該移動平均の結果から距離を取得する。
【０１２２】
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、複数の過去フレームの情報を移動平均した結果から物体までの距離が取得されるため（距離算出用の情報の候補から現フレームの情報が除外されるため）、動的変化ありと判定される前の該物体までの距離を精度良く測定することができる。この際、少なくとも１フレーム分のレイテンシが発生するが、物体の動的変化の直前の距離を算出するので距離測定誤差はほとんど発生せず、寧ろノイズを低減できる点で効果が大きい。
【０１２３】
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
【０１２４】
なお、距離演算部２０３は、イメージセンサ２９の各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から物体までの距離を取得し、動的変化有無判定部２０５で動的変化ありと判定された場合に、現フレーム又は未来フレーム（現フレームよりも時間的に後のフレーム）の上記情報（複数の位相信号や該複数の位相信号に基づく値）から物体までの距離を取得しても良い。
【０１２５】
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、現フレーム又は未来フレーム（例えば現フレームや、現フレームの直後のフレームや、現フレームから数フレーム後のフレーム）の情報から物体までの距離が取得されるため、動的変化ありと判定された後の物体までの距離を精度良く測定することができる。この際、ノイズ低減効果は期待できないが、動的変化ありと判定された画素について物体までの最新の距離を測定できる点で有効である。
【０１２６】
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
【０１２７】
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの対応する位相信号を移動平均した結果を用いて物体までの距離を算出しても良い。
【０１２８】
この場合、動的変化ありと判定された画素について、物体までの距離を安定して精度良く測定することができる。
【０１２９】
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの複数の位相信号に基づく値を移動平均した結果を用いて物体までの距離を算出しても良い。
【０１３０】
この場合、動的変化ありと判定された画素について、物体までの距離を安定して精度良く測定することができる。
【０１３１】
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの複数の位相信号に基づくデプス値（距離値）を移動平均した結果を物体までの距離として出力しても良い。
【０１３２】
この場合、動的変化ありと判定された画素について、物体までの距離を安定して精度良く測定することができる。
【０１３３】
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの対応する位相信号を移動平均した結果を用いて物体までの距離を算出しても良い。
【０１３４】
この場合、動的変化なしと判定された画素について、物体までの距離を安定して精度良く測定することができる。
【０１３５】
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの複数の位相信号に基づく値を移動平均した結果を用いて物体までの距離を算出しても良い。
【０１３６】
この場合、動的変化なしと判定された画素について、物体までの距離を安定して精度良く測定することができる。
【０１３７】
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの複数の位相信号に基づく距離値を移動平均した結果を物体までの距離として出力しても良い。
【０１３８】
この場合、動的変化なしと判定された画素について、物体までの距離を安定して精度良く測定することができる。
【０１３９】
また、距離演算部２０３は、移動平均の対象となる画素について、所定回数以上の移動平均によって得られた結果を用いて距離を算出又は該結果を距離として出力することが好ましい。
【０１４０】
この場合、物体の動的変化の有無によらず該物体までの距離を更に精度良く測定することができる。
【０１４１】
また、動的変化有無判定部２０５は、パルス光のパルス周期をｍ（≧３）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、
【数２】
2018066609.tif 000004
で得られる位相差の正弦成分Ａ及び余弦成分Ｂのフレーム間の変化量を、それぞれ予め設定された閾値ａ、ｂと比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
【０１４２】
また、動的変化有無判定部２０５は、投光系２０１から投光されるパルス光のパルス周期をｍ（≧２）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、イメージセンサ２９を用いて取得される環境光強度と位相信号との差分のフレーム間の変化量を、予め設定された閾値と比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
【０１４３】
また、投光系２０１から投光されるパルス光のパルス幅をＴ０とすると、該パルス光のパルス周期は２Ｔ０以上であることが好ましい。すなわち、投光系２０１から投光されるパルス光のデューティ（ｄｕｔｙ）は、５０％以下であることが好ましい。
【０１４４】
また、動的変化有無判定部２０５は、フレーム毎に検出されるデプス値（距離値）のフレーム間の変化量を、予め設定された閾値ｃと比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
【０１４５】
さらに、動的変化有無判定部２０５は、フレーム毎に検出される輝度値のフレーム間の変化量を、予め設定された閾値ｅと比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
【０１４６】
また、走行体１は、距離センサ２０を有しているため、信頼性に優れた走行ができる。
【０１４７】
また、本実施形態の測距方法は、パルス光を投光する工程と、投光され物体で反射された光を受光し、画素毎に光電変換し、その電気信号を複数の位相信号に振り分ける工程と、複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存する工程と、現フレーム及び少なくとも１つの過去フレームの位相信号に基づいて、物体の動的変化の有無を画素毎に判定する工程と、判定する工程での判定結果に応じて、上記情報を用いて物体までの距離を画素毎に算出する工程と、を備え、算出する工程では、各画素について、判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から距離を取得し、判定する工程で動的変化ありと判定された場合に、複数の過去フレームの上記情報を移動平均し、該移動平均の結果から距離を取得する。
【０１４８】
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、複数の過去フレームの情報を移動平均した結果から物体までの距離が取得されるため（距離算出用の位相信号の候補から現フレームの位相信号が除外されるため）、動的変化ありと判定される前の該物体までの距離を精度良く測定することができる。この際、少なくとも１フレーム分のレイテンシが発生するが、物体の動的変化の直前の距離を算出するので距離測定誤差はほとんど発生せず、寧ろノイズを低減できる点で効果が大きい。
【０１４９】
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
【０１５０】
なお、上記算出する工程では、各画素について、上記判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から距離を取得し、上記判定する工程で動的変化ありと判定された場合に、現フレーム又は未来フレーム（現フレームよりも時間的に後のフレーム）の上記情報（例えば複数の位相信号や該複数の位相信号に基づく値）に基づいて距離を算出しても良い。
【０１５１】
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、現フレーム又は未来フレーム（例えば現フレームや、現フレームの直後のフレームや、現フレームから数フレーム後のフレーム）の情報から物体までの距離が取得されるため、動的変化ありと判定された後の物体までの距離を精度良く測定することができる。この際、ノイズ低減効果は期待できないが、動的変化ありと判定された画素について物体までの最新の距離を測定できる点で有効である。
【０１５２】
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
【０１５３】
なお、上記実施形態では、投光系が非走査型であるが、光偏向器（例えばポリゴンミラー、ガルバノミラー、ＭＥＭＳミラー等）を含む走査型であっても良い。この場合、例えば、一方向に配列された複数の発光部（ライン光源）からそれぞれ射出された複数の光を、発光部の配列方向に非平行な方向（例えば垂直な方向）に走査して、複数の発光部に対応して該配列方向に平行に配列された複数の受光部（ラインイメージセンサ）で受光し、距離画像を生成しても良い。また、単一の発光部からの光を光偏向手段で２次元走査して、物体からの反射光をエリアイメージセンサで受光し、距離画像を生成しても良い。
【０１５４】
また、上記実施形態では、本発明の測距装置の一例である距離センサ２０を走行体１に用いられる場合について説明したが、これに限定されるものではない。例えば、距離センサ２０を、走行体１以外の移動体（例えば乗用車、船舶、航空機等）、監視カメラ、物体の３次元形状を計測する３次元計測装置、距離センサ２０が自身の位置を確認しながら自律的に移動するロボット等に用いても良い。
【０１５５】
距離センサ２０を有する監視カメラによれば、監視対象物の動的変化の有無によらず高品質なモニタ画像を得ることができる。
【０１５６】
距離センサ２０を有する３次元計測装置によれば、計測対象物の動的変化の有無によらず該物体の３次元情報を精度良く計測することができる。
【０１５７】
距離センサ２０を有するロボットによれば、周囲の物体の動的変化の有無によらず該物体に対する適切な自律移動（接近動作や離間動作や平行移動）を可能とすることができる。
【０１５８】
上記実施形態では、単一のＬＥＤ（発光部）をパルス発光させ、物体からの反射光をエリアイメージセンサで受光する場合について説明したが、これに限定されるものではない。
【０１５９】
例えば、２次元配列された複数の発光部を順次パルス点灯させ、各発光部から射出され物体で反射された光を単一の受光部で順次受光して距離画像を生成しても良い。
【０１６０】
例えば、２次元配列された複数の発光部を同時にパルス発光させ、複数の発光部から射出され物体で反射された複数の光を２次元配列された複数の受光部でそれぞれ同時に受光して距離画像を生成しても良い。
【０１６１】
また、例えば、物体の３次元情報（距離画像）ではなく、単にある物体までの距離を測定する場合には、投光系の発光部及び受光系の受光部は、いずれも単数であっても良い。
【０１６２】
また、上記実施形態では、位相信号を保存するための記憶部として、バッファメモリが用いられているが、これに限らず、他のメモリ（例えばフラッシュメモリ、ＲＯＭ、ＲＡＭ）や、ハードディスクを用いても良い。
【０１６３】
また、上記実施形態において、距離演算部２０３での処理の一部を位置制御装置４０が行っても良いし、位置制御装置４０での処理の一部を距離演算部２０３が行っても良い。
【０１６４】
また、上記実施形態では、走行管理装置１０が１つの距離センサ２０を備える場合について説明したが、これに限定されるものではない。走行体の大きさ、測定領域などに応じて、複数の距離センサ２０を備えても良い。
【０１６５】
また、上記実施形態では、距離センサ２０が走行体の進行方向を監視する走行管理装置１０に用いられる場合について説明したが、これに限定されるものではない。例えば、走行体の後方や側面を監視する装置に用いられても良い。
【０１６６】
以上の説明から分かるように、本発明の測距装置及び測距方法は、ＴＯＦ（タイム  オブ  フライト）を利用した測距技術全般に広く適用することが可能である。
【０１６７】
すなわち、本発明の測距装置及び測距方法は、物体の２次元情報の取得や、物体の有無の検出にも用いることができる。
【０１６８】
また、上記実施形態の説明で用いた数値、形状等は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【０１６９】
以下に、発明者らが上記実施形態を発案するに至った思考プロセスを説明する。
【０１７０】
３次元センサの一つに、強度変調した参照光を投射し、被写体で反射してセンサに戻ってくるまでの時間を検出して距離を求める、いわゆる“TOF(Time of Flight)センサ”が既に知られており、その他３次元センシング方式の中でもそのレスポンス性の原理的優位性から、昨今さまざま用途への開発が進められている。
【０１７１】
例えば、ジェスチャー認識であったり、ロボットや自動車などの移動体の位置制御などへの応用が期待されている。
【０１７２】
ＴＯＦ法には、直接その時間差を検出する直接ＴＯＦ法と、受光信号量を用いた演算によりその時間差を検出する間接ＴＯＦ法があり、一般的に直接ＴＯＦ法は長距離に、間接ＴＯＦ法は近距離測定に有利であると言われている。
【０１７３】
間接ＴＯＦ法を用いるＴＯＦセンサは、受光信号量を用いた演算により距離を導出するものであるが、その際ショットノイズや暗時ノイズの影響により、測定値が時間的にばらつくことがわかっている。この問題に対し、特許文献１のような技術が提案されている。
【０１７４】
特許文献１では、ＴＯＦセンサのノイズ対策の従来手法として、移動平均手法が述べられている。詳述すると、特許文献１では、単純な移動平均を用いた場合に、動的な被写体が存在すると、その動的な被写体と背景の信号が移動平均によって混ざった出力になり、本来得たい距離値が得られない問題を解決課題とし、以下の内容が発明のベースになっている。
【０１７５】
複数フレームのデプス値を用いて深さ値（デプス値）を算出する映像処理装置で、元画像の第一フレームと第二フレームを取得する時間差に基づいて重み付け値を決定し、複数フレームのデプスで補正された補正後デプス画像を生成する。下位フレームでは重み付けのやり方について複数述べられている。
【０１７６】
そして、特許文献１では、元画像のフレーム取得の時間差に基づいて、移動平均の重み付けを行うことを述べている。しかし、この手法では、重みを大きくすれば、重みの強いフレームのばらつきの影響が強く残り、そもそもの移動平均の狙いであるノイズ低減効果が小さくなる。逆に重みを小さくすれば、これもこの技術の狙いである動的な被写体に対する影響が残り易くなってしまう。また、被写体が瞬間的に急に移動するような場合が生じると、この手法ではその影響の回避が難しい。
【０１７７】
一方、特許文献２では、反射信号の位相をπ／２毎に検出して位相差を演算する、4位相式ＴＯＦ法に関わる内容である。これらの位相信号をQ0,Q90,Q180,Q270と表記すると、それぞれが同じ距離の同じ物体を観測しているとすれば、Q0+Q180≒Q90+Q270の関係が原理的に成り立つ。
【０１７８】
Q0〜Q270の具体的な取得方法としては、空間的に分割された異なる画素でそれぞれ取得する方法と、同一の画素で時間的に分割して取得する方法があり、いずれについてもクレームで述べられている。
【０１７９】
ここで、Q0+Q180とQ90+Q270の差が大きい場合、上記原理的な関係に対して、これらは空間的または時間的に異なった物体からの信号であることになり、これら信号を使ったデプスは異常値になる。
【０１８０】
そこで、Q0+Q180とQ90+Q270の差が予め決めた閾値を超えた場合は、正しいデプスを得ることが出来ないと判定し距離演算を行わない（不定画素にする）こととしている。
【０１８１】
しかしながら、特許文献２では、４つの位相信号が同一被写体を観測しているかどうかの判定を行い、非該当であれば距離演算を行わないので、被写体の動的変化の有無等によって距離測定が行われない場合が生じる。
【０１８２】
また、通常、ＴｏＦセンサからは距離情報と輝度情報が取得できるが、例えば前後フレームの情報にのみ基づいて移動平均処理判定を行う場合、反射率の低い被写体であったり、被写体が遠方にある場合はそのＳ／Ｎが低下して測定距離のばらつきが非常に大きくなる場合がある。すると、測定距離のばらつきと被写体の動的変化の切り分けが困難となり、そのような測定距離のばらつきが大きい領域において、十分なノイズ低減効果を得られない。
【０１８３】
次に、輝度情報のみに基づいて移動平均処理判定を行う場合、被写体の反射率を特定しておくことはできず、被写体と背景の反射率と距離関係によって、被写体が動的に変化した場合であっても輝度値の変化が小さい状態が生じることがあり、そのような場合に動的な被写体の影響を発生させてしまうことがある。
【０１８４】
すなわち、特許文献１、２等の従来技術では、物体の動的変化の有無によらず該物体までの距離を精度良く測定することに関して改善の余地があった。
【０１８５】
そこで、発明者は、このような課題を解決すべく、上記実施形態を発案するに至った。
【０１８６】
具体的には、上記実施形態では、例えば、撮像素子の現フレーム及び過去フレームの取得信号を用いて、画素毎に捉えている被写体の動的変化（移動や変形など）の有無を判定し、動的変化がなければ（小さければ）移動平均処理の対象に現フレームの情報（取得信号や該取得信号に基づく値）を加え、動的変化があれば複数の過去フレームの情報（取得信号や該取得信号に基づく値）に対して移動平均処理を行う。そのため、生成されるデプス画像（距離画像）には動的な影響が含まれないので動的な被写体への対応が可能であり、かつ静的な被写体に対しては高いノイズ低減効果が得られる。
【０１８７】
要するに、上記実施形態では、現フレームと過去フレーム（例えば現フレームの直前のフレーム）の画素毎の検出信号の差や該検出信号を用いた所定演算結果の差から、被写体の動的変化（移動や変形など）の有無を画素毎に判定し、動的変化があれば現フレームの情報を移動平均の対象に含めず複数の過去フレームの情報のみを移動平均の対象とし、動的変化が無ければ現フレーム及び少なくとも１つの過去フレームの情報を移動平均の対象とする。
【符号の説明】
【０１８８】
１…走行体（移動体）、２０…距離センサ（測距装置）、２１…光源（投光系の一部）、２５…光源駆動部（投光系の一部）、２８…結像光学系（受光系の一部）、２９…イメージセンサ（撮像素子、受光系の一部）、２０１…投光系、２０２…受光系、２０３…距離演算部（演算部）、２０４…バッファメモリ（記憶部）、２０５…動的変化有無判定部（判定部）。
【先行技術文献】
【特許文献】
【０１８９】
【特許文献１】特許５６７９７０２号公報
【特許文献２】特許４８９５３０４号公報
【図１】
2018066609.tif 000006
【図２】
2018066609.tif 000007
【図３】
2018066609.tif 000008
【図４】
2018066609.tif 000009
【図５】
2018066609.tif 000010
【図６】
2018066609.tif 000011
【図７】
2018066609.tif 000012
【図８】
2018066609.tif 000013
【図９】
2018066609.tif 000014
【図１０】
2018066609.tif 000015
【図１１】
2018066609.tif 000016
【図１２】
2018066609.tif 000017
【図１３】
2018066609.tif 000018
【図１４】
2018066609.tif 000019
【図１５】
2018066609.tif 000020
【図１６】
2018066609.tif 000021