(57)【要約】【課題】コスト、処理時間およびキャリブレーションの手間を要さず、しかも環境の影響を受けにくい多点測距センサを提供する。【解決手段】レンズ位置を変更しながら複数の画像を撮像素子１２から取り込み、取り込んだ各画像に対応するレンズ位置を取得する。そして、画像の各区分領域について、取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出し、抽出した空間周波数成分が最も大きい画像に対応するレンズ位置に基づいて、区分領域に撮影された対象物までの距離を算出する。【選択図】  図５
2007192730.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して画像を撮影する撮像手段を備え、前記撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定するセンサであって、
前記光学系の焦点位置を変更する焦点位置変更手段と、
前記焦点位置変更手段で前記焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込手段と、
前記画像取込手段で取り込んだ各画像に対応する焦点位置を取得する焦点位置取得手段と、
前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出手段と、
前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出手段と、
前記第１周波数成分抽出手段で前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出手段と、
前記第２周波数成分抽出手段で前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出手段とを備えることを特徴とする多点測距センサ。
【請求項２】
請求項１において、
前記第１距離算出手段は、前記複数の画像のうち前記第１測定領域について抽出した空間周波数成分が最も大きい画像に対応する前記焦点位置に基づいて前記第１測定点までの距離を算出し、
前記第２距離算出手段は、前記複数の画像のうち前記第２測定領域について抽出した空間周波数成分が最も大きい画像に対応する前記焦点位置に基づいて前記第２測定点までの距離を算出することを特徴とする多点測距センサ。
【請求項３】
請求項１および２のいずれか１項において、
前記第１周波数成分抽出手段および前記第２周波数成分抽出手段は、フーリエ変換処理により空間周波数が所定以上の成分を抽出することを特徴とする多点測距センサ。
【請求項４】
請求項１および２のいずれか１項において、
前記第１周波数成分抽出手段および前記第２周波数成分抽出手段は、ハイパスフィルタにより空間周波数が所定以上の成分を抽出することを特徴とする多点測距センサ。
【請求項５】
請求項１ないし４のいずれか１項において、
前記第１測定領域および前記第２測定領域は、前記画像を格子状に区分してそのいずれかの区分領域として設定されていることを特徴とする多点測距センサ。
【請求項６】
請求項１ないし４のいずれか１項において、
前記第１測定領域および前記第２測定領域は、前記画像をハニカム状に区分してそのいずれかの区分領域として設定されていることを特徴とする多点測距センサ。
【請求項７】
請求項１ないし６のいずれか１項において、
前記第１距離算出手段で直前に算出した距離と、前記第１距離算出手段でその所定時間前に算出した距離との差分が所定以上であるとき、または前記第２距離算出手段で直前に算出した距離と、前記第２距離算出手段でその所定時間前に算出した距離との差分が所定以上であるときは、前記直前に算出した距離をエラーとして処理するエラー処理手段を備えることを特徴とする多点測距センサ。
【請求項８】
請求項１ないし７のいずれか１項において、
当該多点測距センサの移動速度を測定する移動速度測定手段と、
前記第１距離算出手段で直前に算出した距離と、前記第１距離算出手段でその所定時間前に算出した距離との差分に基づいて前記第１測定点との相対速度を算出する相対速度算出手段と、
前記移動速度測定手段で測定した移動速度および前記相対速度算出手段で算出した相対速度に基づいて前記第１測定点が静止体であるか動体であるかを判定する動作判定手段とを備えることを特徴とする多点測距センサ。
【請求項９】
請求項１ないし７のいずれか１項において、
当該多点測距センサの移動速度を測定する移動速度測定手段と、
前記第２距離算出手段で直前に算出した距離と、前記第２距離算出手段でその所定時間前に算出した距離との差分に基づいて前記第２測定点との相対速度を算出する相対速度算出手段と、
前記移動速度測定手段で測定した移動速度および前記相対速度算出手段で算出した相対速度に基づいて、前記第２測定点が静止体であるか動体であるかを判定する動作判定手段とを備えることを特徴とする多点測距センサ。
【請求項１０】
請求項１ないし９のいずれか１項において、
前記焦点位置変更手段は、直動型のボイスコイルモータ、または圧電素子と変異拡大機構を一体化したアクチュエータを有することを特徴とする多点測距センサ。
【請求項１１】
請求項１ないし９のいずれか１項において、
前記焦点位置変更手段は、回転型のステッピングモータまたは超音波モータと、前記ステッピングモータまたは前記超音波モータの回転動力を前記光学系としてのレンズの直線移動に変換する変換機構とを有することを特徴とする多点測距センサ。
【請求項１２】
請求項１ないし１１のいずれか１項において、
前記焦点位置取得手段は、前記光学系としてのレンズの直線移動を検出する直線センサを有することを特徴とする多点測距センサ。
【請求項１３】
請求項１ないし９のいずれか１項において、
前記焦点位置変更手段は、モータと、前記モータの回転動力を前記光学系としてのレンズの直線移動に変換する変換機構とを有し、
前記焦点位置取得手段は、前記モータの回転を検出する回転センサを有することを特徴とする多点測距センサ。
【請求項１４】
光学系を介して画像を撮影する撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定する方法であって、
前記光学系の焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込ステップと、
前記画像取込ステップで取り込んだ各画像に対応する焦点位置を取得する焦点位置取得ステップと、
前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出ステップと、
前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出ステップと、
前記第１周波数成分抽出ステップで前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出ステップと、
前記第２周波数成分抽出ステップで前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出ステップとを含むことを特徴とする多点測距方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の測定点についてその測定点までの距離を測定するセンサに係り、特に、コスト、処理時間およびキャリブレーションの手間を要さず、しかも環境の影響を受けにくい多点測距センサおよび多点測距方法に関する。
【背景技術】
【０００２】
従来、自律移動型ロボットに搭載される多点測距センサとしては、例えば、赤外線測距センサや超音波測距センサ等を複数アレイ状に配列したもの、光源と１台のカメラを用いて三角測量法により多点の距離を測定する光切断法を用いた画像センサ、２台のカメラを用いたステレオビジョンによる画像センサが知られている。これらの技術は、例えば、特許文献１〜４に開示されている。
【０００３】
【特許文献１】特開２００４−１５１０６９号公報
【特許文献２】特開２００４−６１１２０号公報
【特許文献３】特開２００１−２２７９４３号公報
【特許文献４】特開２０００−２８３７５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、赤外線測距センサにあっては、太陽光等の強力な光では受光量が飽和し測定不能になる。また、超音波測距センサにあっては、物体に対して正対していない場合は、測定精度が低下し、複数アレイ状に配列した場合は、異なるセンサから出力された音波の反射波同士が干渉するため、正確な測定が難しい。また、光切断法を用いた三角測量法による画像センサにあっては、明るいところでは対象物からの反射光と周囲とのコントラストが十分に得られない。また、カメラと光源との距離、つまり基線長が十分に長くなければ測定分解能が低下するため、検出精度が低下する。したがって、環境の影響を受けやすいという問題があった。
【０００５】
また、ステレオビジョンによる画像センサにあっては、コストおよび処理時間を要し、環境が変わるごとに煩雑なキャリブレーションを行わなければならないという問題があった。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、コスト、処理時間およびキャリブレーションの手間を要さず、しかも環境の影響を受けにくい多点測距センサおよび多点測距方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る請求項１記載の多点測距センサは、光学系を介して画像を撮影する撮像手段を備え、前記撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定するセンサであって、前記光学系の焦点位置を変更する焦点位置変更手段と、前記焦点位置変更手段で前記焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込手段と、前記画像取込手段で取り込んだ各画像に対応する焦点位置を取得する焦点位置取得手段と、前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出手段と、前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込手段で取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出手段と、前記第１周波数成分抽出手段で前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出手段と、前記第２周波数成分抽出手段で前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得手段で取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出手段とを備える。
【０００７】
このような構成であれば、画像取込手段により、焦点位置の異なる複数の画像が撮像手段から取り込まれ、焦点位置取得手段により、取り込まれた各画像に対応する焦点位置が取得される。
そして、第１周波数成分抽出手段により、取り込まれた各画像ごとに第１測定領域について空間周波数が所定以上の成分が抽出され、第１距離算出手段により、抽出された空間周波数成分および取得された各焦点位置に基づいて第１測定点までの距離が算出される。
また、第２周波数成分抽出手段により、取り込まれた各画像ごとに第２測定領域について空間周波数が所定以上の成分が抽出され、第２距離算出手段により、抽出された空間周波数成分および取得された各焦点位置に基づいて第２測定点までの距離が算出される。
【０００８】
さらに、本発明に係る請求項２記載の多点測距センサは、請求項１記載の多点測距センサにおいて、前記第１距離算出手段は、前記複数の画像のうち前記第１測定領域について抽出した空間周波数成分が最も大きい画像に対応する前記焦点位置に基づいて前記第１測定点までの距離を算出し、前記第２距離算出手段は、前記複数の画像のうち前記第２測定領域について抽出した空間周波数成分が最も大きい画像に対応する前記焦点位置に基づいて前記第２測定点までの距離を算出する。
【０００９】
このような構成であれば、第１距離算出手段により、複数の画像のうち第１測定領域について抽出された空間周波数成分が最も大きい画像に対応する焦点位置に基づいて第１測定点までの距離が算出される。また、第２距離算出手段により、複数の画像のうち第２測定領域について抽出された空間周波数成分が最も大きい画像に対応する焦点位置に基づいて第２測定点までの距離が算出される。
【００１０】
さらに、本発明に係る請求項３記載の多点測距センサは、請求項１および２のいずれか１項に記載の多点測距センサにおいて、前記第１周波数成分抽出手段および前記第２周波数成分抽出手段は、フーリエ変換処理により空間周波数が所定以上の成分を抽出する。
このような構成であれば、第１周波数成分抽出手段および第２周波数成分抽出手段により、フーリエ変換処理によって空間周波数が所定以上の成分が抽出される。
【００１１】
さらに、本発明に係る請求項４記載の多点測距センサは、請求項１および２のいずれか１項に記載の多点測距センサにおいて、前記第１周波数成分抽出手段および前記第２周波数成分抽出手段は、ハイパスフィルタにより空間周波数が所定以上の成分を抽出する。
このような構成であれば、第１周波数成分抽出手段および第２周波数成分抽出手段により、ハイパスフィルタによって空間周波数が所定以上の成分が抽出される。
【００１２】
さらに、本発明に係る請求項５記載の多点測距センサは、請求項１ないし４のいずれか１項に記載の多点測距センサにおいて、前記第１測定領域および前記第２測定領域は、前記画像を格子状に区分してそのいずれかの区分領域として設定されている。
さらに、本発明に係る請求項６記載の多点測距センサは、請求項１ないし４のいずれか１項に記載の多点測距センサにおいて、前記第１測定領域および前記第２測定領域は、前記画像をハニカム状に区分してそのいずれかの区分領域として設定されている。
【００１３】
さらに、本発明に係る請求項７記載の多点測距センサは、請求項１ないし６のいずれか１項に記載の多点測距センサにおいて、前記第１距離算出手段で直前に算出した距離と、前記第１距離算出手段でその所定時間前に算出した距離との差分が所定以上であるとき、または前記第２距離算出手段で直前に算出した距離と、前記第２距離算出手段でその所定時間前に算出した距離との差分が所定以上であるときは、前記直前に算出した距離をエラーとして処理するエラー処理手段を備える。
【００１４】
このような構成であれば、第１距離算出手段で直前に算出された距離と、第１距離算出手段でその所定時間前に算出された距離との差分が所定以上であると、エラー処理手段により、直前に算出された距離がエラーとして処理される。また、第２距離算出手段で直前に算出された距離と、第２距離算出手段でその所定時間前に算出された距離との差分が所定以上であると、エラー処理手段により、直前に算出された距離がエラーとして処理される。
【００１５】
さらに、本発明に係る請求項８記載の多点測距センサは、請求項１ないし７のいずれか１項に記載の多点測距センサにおいて、当該多点測距センサの移動速度を測定する移動速度測定手段と、前記第１距離算出手段で直前に算出した距離と、前記第１距離算出手段でその所定時間前に算出した距離との差分に基づいて前記第１測定点との相対速度を算出する相対速度算出手段と、前記移動速度測定手段で測定した移動速度および前記相対速度算出手段で算出した相対速度に基づいて前記第１測定点が静止体であるか動体であるかを判定する動作判定手段とを備える。
【００１６】
このような構成であれば、移動速度測定手段により、本発明に係る多点測距センサの移動速度が測定される。また、相対速度算出手段により、第１距離算出手段で直前に算出された距離と、第１距離算出手段でその所定時間前に算出された距離との差分に基づいて第１測定点との相対速度が算出される。そして、動作判定手段により、測定された移動速度および相対速度に基づいて第１測定点が静止体であるか動体であるかが判定される。
【００１７】
さらに、本発明に係る請求項９記載の多点測距センサは、請求項１ないし７のいずれか１項に記載の多点測距センサにおいて、当該多点測距センサの移動速度を測定する移動速度測定手段と、前記第２距離算出手段で直前に算出した距離と、前記第２距離算出手段でその所定時間前に算出した距離との差分に基づいて前記第２測定点との相対速度を算出する相対速度算出手段と、前記移動速度測定手段で測定した移動速度および前記相対速度算出手段で算出した相対速度に基づいて、前記第２測定点が静止体であるか動体であるかを判定する動作判定手段とを備える。
【００１８】
このような構成であれば、移動速度測定手段により、本発明に係る多点測距センサの移動速度が測定される。また、相対速度算出手段により、第２距離算出手段で直前に算出された距離と、第２距離算出手段でその所定時間前に算出された距離との差分に基づいて第２測定点との相対速度が算出される。そして、動作判定手段により、測定された移動速度および相対速度に基づいて第２測定点が静止体であるか動体であるかが判定される。
【００１９】
さらに、本発明に係る請求項１０記載の多点測距センサは、請求項１ないし９のいずれか１項に記載の多点測距センサにおいて、前記焦点位置変更手段は、直動型のボイスコイルモータ、または圧電素子と変異拡大機構を一体化したアクチュエータを有する。
さらに、本発明に係る請求項１１記載の多点測距センサは、請求項１ないし９のいずれか１項に記載の多点測距センサにおいて、前記焦点位置変更手段は、回転型のステッピングモータまたは超音波モータと、前記ステッピングモータまたは前記超音波モータの回転動力を前記光学系としてのレンズの直線移動に変換する変換機構とを有する。
【００２０】
さらに、本発明に係る請求項１２記載の多点測距センサは、請求項１ないし１１のいずれか１項に記載の多点測距センサにおいて、前記焦点位置取得手段は、前記光学系としてのレンズの直線移動を検出する直線センサを有する。
さらに、本発明に係る請求項１３記載の多点測距センサは、請求項１ないし９のいずれか１項に記載の多点測距センサにおいて、前記焦点位置変更手段は、モータと、前記モータの回転動力を前記光学系としてのレンズの直線移動に変換する変換機構とを有し、前記焦点位置取得手段は、前記モータの回転を検出する回転センサを有する。
【００２１】
一方、上記目的を達成するために、本発明に係る請求項１４記載の多点測距方法は、光学系を介して画像を撮影する撮像手段で取り込んだ画像に基づいて、複数の測定点についてその測定点までの距離を測定する方法であって、前記光学系の焦点位置を変更しながら前記焦点位置の異なる複数の画像を前記撮像手段から取り込む画像取込ステップと、前記画像取込ステップで取り込んだ各画像に対応する焦点位置を取得する焦点位置取得ステップと、前記画像の一部の領域として設定された所定の第１測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第１周波数成分抽出ステップと、前記第１測定領域とは異なる前記画像の一部の領域として設定された所定の第２測定領域について、前記画像取込ステップで取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出する第２周波数成分抽出ステップと、前記第１周波数成分抽出ステップで前記第１測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第１測定領域に撮影された第１測定点までの距離を算出する第１距離算出ステップと、前記第２周波数成分抽出ステップで前記第２測定領域について前記各画像ごとに抽出した空間周波数成分および前記焦点位置取得ステップで取得した各焦点位置に基づいて、前記第２測定領域に撮影された第２測定点までの距離を算出する第２距離算出ステップとを含む。
【発明の効果】
【００２２】
以上説明したように、本発明に係る請求項１記載の多点測距センサ、または請求項１４記載の多点測距方法によれば、少なくとも１つの撮像手段で画像を取り込む方式なので、ステレオビジョンによる画像センサのように複数のカメラを必要とせず、また、外乱光やセンサ間の干渉による影響が少ない。したがって、コストを要さず、環境の影響を受けにくいという効果が得られる。また、キャリブレーションを必要としないので、その手間が不要であるという効果も得られる。さらに、光学系の焦点位置を変更しながら画像を取り込むだけでよいので、高速な測定を実現することができるという効果も得られる。
【００２３】
さらに、本発明に係る請求項３記載の多点測距センサによれば、フーリエ変換処理を用いるので、精度の高い測定を実現することができるという効果が得られる。
さらに、本発明に係る請求項４記載の多点測距センサによれば、ハイパスフィルタを用いるので、高速な測定を実現することができるという効果が得られる。
さらに、本発明に係る請求項６記載の多点測距センサによれば、見かけ上の分解能を向上することができるという効果が得られる。
【００２４】
さらに、本発明に係る請求項７記載の多点測距センサによれば、ノイズ等の影響を除去することができるので、精度の高い測定を実現することができるという効果が得られる。
さらに、本発明に係る請求項８または９記載の多点測距センサによれば、本発明に係る多点測距センサをロボットに搭載した場合、ロボットの進路上に存在しない静止体であれば重要度を落とすなどの処理を行うことができ、障害物回避、パス生成に大きく寄与するという効果が得られる。
一方、本発明に係る請求項１４記載の多点測距方法によれば、請求項１記載の多点測距センサと同等の効果が得られる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の第１の実施の形態を図面を参照しながら説明する。図１ないし図５は、本発明に係る多点測距センサおよび多点測距方法の第１の実施の形態を示す図である。
本実施の形態は、本発明に係る多点測距センサおよび多点測距方法を、撮像素子から取り込んだ画像に基づいて多点測距を行う場合について適用したものである。
まず、本実施の形態に係る多点測距の原理を説明する。
【００２６】
図１は、撮像画像と空間周波数の関係を説明するための図である。
本実施の形態では、ＣＣＤ（Charge Coupled Device）等の高解像度な撮像素子と、焦点調節機構を有する焦点深度の十分に浅い光学系とからなるカメラ１台を用いて、合焦（レンズの焦点が対象物に合致することをいう。）時のレンズ位置に基づいて対象物までの距離を測定するレンズ焦点法を基本原理とする。
合焦時は、図１に示すように、対象物の画像が撮像素子に鮮明に投影されるため、画像のエッジが際立ち、空間周波数が高い領域でピークが発生する。これに対し、非合焦時は、対象物の画像が撮像素子にぼやけて投影されるので、画像のエッジがぼやけ、空間周波数が高い領域でピークが発生しない。
【００２７】
図２は、レンズの焦点位置に基づいて対象物までの距離を測定する原理を説明するための図である。
撮像素子の画像を格子状（図２の例では、横方向および縦方向にそれぞれ６つの矩形領域）に区分し、各区分領域ごとに空間周波数を算出すると、図２に示すように、対象物Ａに合焦しているときは、対象物Ａが撮影される区分領域の空間周波数が高い領域でピークが発生する。また、対象物Ａと異なる位置に存在する対象物Ｂに合焦しているときは、対象物Ｂが撮影される区分領域の空間周波数が高い領域でピークが発生する。したがって、対象物Ａ、Ｂへの合焦時の焦点位置をそれぞれ取得すれば、取得した焦点位置に基づいて対象物Ａ、Ｂまでの距離をそれぞれ求めることができる。
通常、レンズ焦点法の場合は、プリズムを設けて位相差から焦点を検出する方法、またその発展型として、焦点の異なる光学系を２つ用意し、レンズの駆動を行わない方法等があるが、本実施の形態では、焦点調節機構以外の特別な光学系を用いない。
【００２８】
次に、本発明を適用する多点測距センサの構成を説明する。
図３は、多点測距センサの構成を示すブロック図である。
多点測距センサは、図３に示すように、レンズ１０と、レンズ１０を介して画像を撮影する撮像素子１２と、撮像素子１２から取り込んだ画像を保持する画像メモリ１４と、レンズ１０の位置調節機構に動力を付与してレンズ１０の焦点位置を調整するレンズ駆動アクチュエータ１６と、レンズ駆動アクチュエータ１６を駆動する駆動回路１８と、レンズ１０の位置を検出するレンズ位置センサ２０と、画像メモリ１４の画像に基づいて多点測距を行うマイクロプロセッサ２２とを有して構成されている。
【００２９】
レンズ駆動アクチュエータ１６としては、例えば、圧電素子と変異拡大機構を一体化したアクチュエータを用いることができる。また、これに限らず、例えば、直動型のボイスコイルモータ、回転型のステッピングモータ、超音波モータを用いることもできる。
レンズ位置センサ２０としては、例えば、レンズ１０の直線移動を検出する直線センサ、モータの回転動力をレンズ１０の直線移動に変換する変換機構にあってはモータの回転を検出する回転センサを用いることができる。
【００３０】
次に、マイクロプロセッサ２２で実行する処理を説明する。
マイクロプロセッサ２２は、内部メモリの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図４のフローチャートに示す多点測距処理を所定サンプリング時間ごとに実行する。
図４は、多点測距処理を示すフローチャートである。
多点測距処理は、複数の測定点についてその測定点までの距離を測定する処理であって、マイクロプロセッサ２２において実行されると、図４に示すように、ステップＳ１００に移行する。
【００３１】
ステップＳ１００では、画像メモリ１４から画像を読み出し、ステップＳ１０２に移行して、読み出した画像に対応するレンズ位置をレンズ位置センサ２０から取得し、ステップＳ１０４に移行する。
ステップＳ１０４では、読み出した画像の区分領域（xi、yj）（xiは、横方向ｉ番目の区分領域を示し、yjは、縦方向ｊ番目の区分領域を示す。）の空間周波数成分をフーリエ変換処理により算出し、ステップＳ１０６に移行して、算出した空間周波数成分および取得したレンズ位置を区分領域（xi、yj）と対応付けて内部メモリに格納し、ステップＳ１０８に移行する。
【００３２】
ステップＳ１０８では、横方向のすべての区分領域についてステップＳ１０４、Ｓ１０６の処理が終了したか否かを判定し、横方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ１１０に移行して、縦方向のすべての区分領域についてステップＳ１０４、Ｓ１０６の処理が終了したか否かを判定し、縦方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ１１２に移行する。
【００３３】
ステップＳ１１２では、レンズ位置が終端か否かを判定し、レンズ位置が終端であると判定したとき(Yes)は、ステップＳ１１４に移行して、内部メモリの空間周波数成分に基づいて、レンズ位置の異なる区分領域（xi、yj）の画像のうち空間周波数が所定以上の成分がピークとなる画像を特定し、ステップＳ１１６に移行する。
ステップＳ１１６では、ピーク画像に対応するレンズ位置を内部メモリから読み出し、読み出したレンズ位置に基づいて、区分領域（xi、yj）に撮影された対象物までの距離を算出し、ステップＳ１１８に移行して、算出した対象物までの距離を示す距離情報を区分領域（xi、yj）と対応付けて内部メモリに格納し、ステップＳ１２０に移行する。
【００３４】
ステップＳ１２０では、横方向のすべての区分領域についてステップＳ１１４〜Ｓ１１８の処理が終了したか否かを判定し、横方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ１２２に移行して、縦方向のすべての区分領域についてステップＳ１１４〜Ｓ１１８の処理が終了したか否かを判定し、縦方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。
【００３５】
一方、ステップＳ１２２で、縦方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ１２４に移行して、処理対象とする区分領域を縦方向に１つ移動し、ステップＳ１１４に移行する。
一方、ステップＳ１２０で、横方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ１２６に移行して、処理対象とする区分領域を横方向に１つ移動し、ステップＳ１１４に移行する。
【００３６】
一方、ステップＳ１１２で、レンズ位置が終端でないと判定したとき(No)は、ステップＳ１２８に移行して、レンズ位置を所定量移動すべき制御信号を駆動回路１８に出力し、ステップＳ１００に移行する。
一方、ステップＳ１１０で、縦方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ１３０に移行して、処理対象とする区分領域を縦方向に１つ移動し、ステップＳ１０４に移行する。
一方、ステップＳ１０８で、横方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ１３２に移行して、処理対象とする区分領域を横方向に１つ移動し、ステップＳ１０４に移行する。
【００３７】
次に、本実施の形態の動作を説明する。
図５は、多点測距を行う動作を説明するための図である。
図５に示すように、ステップＳ１００〜Ｓ１１２、Ｓ１２８〜Ｓ１３０を経て、レンズ１０を先端から終端に移動させ、その間、あらかじめ定めておいたレンズ移動距離ごと（ｌ1、ｌ2、ｌ3）に撮像素子１２から画像を取り込み記憶する。これを１スキャンとする。レンズ１０を初期位置に戻す際もスキャンを行う。スキャン中または１スキャン終了時に、ステップＳ１１４〜Ｓ１２６を経て、各区分領域ごとに空間周波数が所定以上の高次成分を抽出し、これがピークとなるレンズ位置を合焦とし、合焦点のレンズ位置を求め、対象物までの距離を算出する。
【００３８】
このようにして、本実施の形態では、レンズ位置を変更しながら複数の画像を撮像素子１２から取り込み、取り込んだ各画像に対応するレンズ位置を取得し、画像の各区分領域について、取り込んだ各画像ごとに空間周波数が所定以上の成分を抽出し、抽出した空間周波数成分が最も大きい画像に対応するレンズ位置に基づいて、区分領域に撮影された対象物までの距離を算出する。
【００３９】
これにより、１台のカメラで画像を取り込む方式なので、ステレオビジョンによる画像センサのように複数のカメラを必要とせず、また、外乱光やセンサ間の干渉による影響が少ない。したがって、コストを要さず、環境の影響を受けにくい。また、キャリブレーションを必要としないので、その手間が不要である。さらに、レンズ１０を先端から終端まで移動しながら画像を取り込むだけでよいので、高速な測定を実現することができる。
【００４０】
また、カメラのオートフォーカスでは、焦点を合わせることが最終目的なので、焦点が合っているか否かを常に確認しながらレンズを追従させようと制御するが、本実施の形態では、連続的に一定速度でレンズ１０を作動させ、その時々の画像を記憶し、スキャン後に合焦点を求めるという方法であるので、突然ロストすることもなければ、レンズ１０が焦点に追従しようと迷って動くこともない。
さらに、本実施の形態では、フーリエ変換処理により空間周波数が所定以上の成分を抽出する。
これにより、精度の高い測定を実現することができる。
【００４１】
上記第１の実施の形態において、レンズ１０は、請求項１、１１ないし１４記載の光学系に対応し、撮像素子１２は、請求項１または１４記載の撮像手段に対応し、レンズ駆動アクチュエータ１６、駆動回路１８およびステップＳ１２８は、請求項１、１０、１１または１３記載の焦点位置変更手段に対応している。また、ステップＳ１００は、請求項１記載の画像取込手段、または請求項１４記載の画像取込ステップに対応し、レンズ位置センサ２０およびステップＳ１０２は、請求項１、１２または１３記載の焦点位置取得手段に対応し、ステップＳ１０２は、請求項１４記載の焦点位置取得ステップに対応している。
【００４２】
また、上記第１の実施の形態において、ステップＳ１０４は、請求項１若しくは３記載の第１周波数成分抽出手段、請求項１若しくは３記載の第２周波数成分抽出手段、請求項１４記載の第１周波数成分抽出ステップ、または請求項１４記載の第２周波数成分抽出ステップに対応し、ステップＳ１１４、Ｓ１１６は、請求項１若しくは２記載の第１距離算出手段、請求項１若しくは２記載の第２距離算出手段、請求項１４記載の第１距離算出ステップ、または請求項１４記載の第２距離算出ステップに対応している。
【００４３】
次に、本発明の第２の実施の形態を図面を参照しながら説明する。図６ないし図８は、本発明に係る多点測距センサおよび多点測距方法の第２の実施の形態を示す図である。
本実施の形態は、本発明に係る多点測距センサおよび多点測距方法を、撮像素子１２から取り込んだ画像に基づいて多点測距を行う場合について適用したものであり、上記第１の実施の形態と異なるのは、上記第１の実施の形態の多点測距センサをロボットに搭載し、対象物が静止体であるか動体であるかを判定する点にある。
【００４４】
まず、ロボットの構成を説明する。
ロボットは、脚部および車輪からなる走行部と、上記第１の実施の形態の多点測距センサと、ロボットの移動速度を測定する移動速度測定部とを有して構成されている。
次に、マイクロプロセッサ２２で実行する処理を説明する。
マイクロプロセッサ２２は、内部メモリの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図６のフローチャートに示す動作判定処理を実行する。
【００４５】
図６は、動作判定処理を示すフローチャートである。
動作判定処理は、図４の多点測距処理の測定結果に基づいて対象物が静止体であるか動体であるかを判定する処理であって、マイクロプロセッサ２２において実行されると、図６に示すように、ステップＳ２００に移行する。
ステップＳ２００では、区分領域（xi、yj）についてステップＳ１１６で直前に生成した距離情報を内部メモリから取得し、ステップＳ２０２に移行して、区分領域（xi、yj）についてステップＳ１１６で所定サンプリング時間前に生成した距離情報を内部メモリから取得し、ステップＳ２０４に移行する。
【００４６】
ステップＳ２０４では、取得した距離情報に基づいて距離の差分を算出し、ステップＳ２０６に移行して、算出した差分が既定値以上であるか否かを判定し、差分が既定値以上であると判定したとき(Yes)は、ステップＳ２０８に移行する。
ステップＳ２０８では、所定サンプリング時間前に隣接の区分領域において、ステップＳ１１６で直前に生成した距離情報に対して値が近い（差分が所定値以内の）距離情報が算出されていたか否かを判定し、隣接の区分領域において値が近い距離情報が算出されていると判定したとき(Yes)は、ステップＳ２１０に移行する。
ステップＳ２１０では、対象物の座標変換を行って奥行き情報を生成する座標変換処理を実行する。
【００４７】
図７は、多点測距センサを基準とした直交座標系を示すグラフである。
図８は、撮像素子１２の撮像面を基準とした直交座標系を示すグラフである。
ロボット座標系ｘ−ｙ−ｚでは、図７に示すように、ロボットの移動により、対象物が（x2、y1）から（x1、y1）まで移動したとする。そのときの距離情報をそれぞれＬ2、Ｌ1、撮像素子１２上の座標系ＹＺ面内において正規化された座標を（Y2、０）、（Y1、０）（図８）、レンズの画角をφとすると、Y1、Y2は、下式（１）により求められる。
【００４８】
【数１】
2007192730.tif 000003
【００４９】
ここで、下式（２）を上式（１）に代入する。
【００５０】
【数２】
2007192730.tif 000004
【００５１】
よって、x1、x2は、下式（３）により求められる。x1、x2が対象物の奥行き情報となる。
【００５２】
【数３】
2007192730.tif 000005
【００５３】
次いで、ステップＳ２１１に移行して、x1、x2の差とサンプリング時間から対象物とロボットの相対速度を算出し、ステップＳ２１２に移行して、ロボットの移動速度を移動速度測定部から取得し、ステップＳ２１４に移行する。
ステップＳ２１４では、対象物の相対速度がロボットの移動速度と等しいか否かを判定し、ロボットの移動速度と等しいと判定したとき(Yes)は、ステップＳ２１６に移行して、対象物を静止体とみなし、ステップＳ２１８に移行する。
【００５４】
ステップＳ２１８では、横方向のすべての区分領域についてステップＳ２００〜Ｓ２１６の処理が終了したか否かを判定し、横方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、ステップＳ２２０に移行して、縦方向のすべての区分領域についてステップＳ２００〜Ｓ２１６の処理が終了したか否かを判定し、縦方向のすべての区分領域について処理が終了したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。
【００５５】
一方、ステップＳ２２０で、縦方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ２２２に移行して、処理対象とする区分領域を縦方向に１つ移動し、ステップＳ２００に移行する。
一方、ステップＳ２１８で、横方向のすべての区分領域について処理が終了しないと判定したとき(No)は、ステップＳ２２４に移行して、処理対象とする区分領域を横方向に１つ移動し、ステップＳ２００に移行する。
【００５６】
一方、ステップＳ２１４で、対象物の相対速度がロボットの移動速度と等しくないと判定したとき(No)は、ステップＳ２２６に移行して、対象物を動体としてみなし、ステップＳ２１８に移行する。
一方、ステップＳ２０８で、隣接の区分領域において値が近い距離情報が算出されていないと判定したとき(No)は、ステップＳ２２８に移行して、区分領域（xi、yj）についてステップＳ１１６で直前に生成した距離情報をエラーとして処理するエラー処理を実行し、ステップＳ２１８に移行する。
【００５７】
一方、ステップＳ２０６で、差分が既定値未満であると判定したとき(No)は、ステップＳ２１８に移行する。
このようにして、本実施の形態では、区分領域（xi、yj）について直前に算出した距離と、所定サンプリング時間前に算出した距離との差分が所定以上であるときは、直前に算出した距離をエラーとして処理する。
これにより、ノイズ等の影響を除去することができるので、精度の高い測定を実現することができる。
【００５８】
さらに、本実施の形態では、ロボットの移動速度を測定し、区分領域（xi、yj）について直前に算出した距離と、所定サンプリング時間前に算出した距離との差分に基づいて対象物との相対速度を算出し、測定した移動速度および算出した相対速度に基づいて対象物が静止体であるか動体であるかを判定する。
これにより、ロボットの進路上に存在しない静止体であれば重要度を落とすなどの処理を行うことができ、障害物回避、パス生成に大きく寄与する。
【００５９】
上記第２の実施の形態において、ステップＳ１１４、Ｓ１１６は、請求項７若しくは８記載の第１距離算出手段、または請求項７若しくは９記載の第２距離算出手段に対応し、ステップＳ２２８は、請求項７記載のエラー処理手段に対応し、ステップＳ２１１は、請求項８または９記載の相対速度算出手段に対応している。また、移動速度測定部およびステップＳ２１２は、請求項８または９記載の移動速度測定手段に対応し、ステップＳ２１４、Ｓ２１６、Ｓ２２６は、請求項８または９記載の動作判定手段に対応している。
なお、上記第２の実施の形態においては、上記第１の実施の形態の多点測距センサをロボットに搭載したが、これに限らず、この種のセンサは、自動車の外界認識にも応用が可能である。
【００６０】
図９の場合を例にとって画角変化から相対速度を求める手順を説明する。
図９は、センサを搭載した車両と、他の車両が同一方向に移動している場合を示す図である。
図１０は、所定サンプリング時間後の画角の変化を示す図である。
図１１は、画角変化と相対速度の関係を示すグラフである。
奥行き情報の時間差分から、撮像素子１２の撮像面上では、図１０に示すように画角変化が現れる。そこで、図１１に示すように座標系を設定すると、物体の相対移動速度ｖと、画角変換βΔｔは、下式（４）により求められ、画角と相対速度の相関を導くことができる。
【００６１】
【数４】
2007192730.tif 000006
【００６２】
また、上記第１および第２の実施の形態においては、撮像素子１２の画像を格子状に区分したが、これに限らず、図１２に示すように、ハニカム状に区分してもよい。
図１２は、撮像素子１２の画像をハニカム状に区分した状態を示す図である。
これにより、見かけ上の分解能を向上することができる。
【００６３】
また、上記第１および第２の実施の形態においては、フーリエ変換処理により空間周波数が所定以上の成分を抽出するように構成したが、これに限らず、ハイパスフィルタにより空間周波数が所定以上の成分を抽出するように構成することができる。
これにより、高速な測定を実現することができる。
また、上記第１および第２の実施の形態においては、図４のフローチャートに示す多点測距処理を実行するように構成したが、これに代えて、図１３のフローチャートに示す多点測距処理を実行するように構成することもできる。
【００６４】
図１３は、多点測距処理を示すフローチャートである。
図１３の多点測距処理は、図４の多点測距処理に対して、ステップＳ１１２、Ｓ１２８の処理をステップＳ１０２、Ｓ１０４の間に移動した点が異なる。
ステップＳ１００、Ｓ１０２、Ｓ１２８、Ｓ１１２の処理は、レンズ１０を先端から終端に移動させながら各レンズ位置の画像を画像メモリ１４から読み出す処理である。
ステップＳ１０４〜Ｓ１１０、Ｓ１１４〜Ｓ１２６、Ｓ１３０、Ｓ１３２の処理は、読み出した各レンズ位置の画像に基づいて、空間周波数成分の算出、ピーク画像の特定、対象物までの距離の算出等を行う処理である。
このように、画像のスキャンを一括で行った後に画像処理を行うことにより、高速な処理を実現するとともにリアルタイム性を向上することができる。
【００６５】
また、上記第１および第２の実施の形態において、図４および図６のフローチャートに示す処理を実行するにあたってはいずれも、マイクロプロセッサ２２の内部メモリにあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ等に読み込んで実行するようにしてもよい。
【００６６】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【図面の簡単な説明】
【００６７】
【図１】撮像画像と空間周波数の関係を説明するための図である。
【図２】レンズの焦点位置に基づいて対象物までの距離を測定する原理を説明するための図である。
【図３】多点測距センサの構成を示すブロック図である。
【図４】多点測距処理を示すフローチャートである。
【図５】多点測距を行う動作を説明するための図である。
【図６】動作判定処理を示すフローチャートである。
【図７】多点測距センサを基準とした直交座標系を示すグラフである。
【図８】撮像素子１２の撮像面を基準とした直交座標系を示すグラフである。
【図９】センサを搭載した車両と、他の車両が同一方向に移動している場合を示す図である。
【図１０】所定サンプリング時間後の画角の変化を示す図である。
【図１１】画角変化と相対速度の関係を示すグラフである。
【図１２】撮像素子１２の画像をハニカム状に区分した状態を示す図である。
【図１３】多点測距処理を示すフローチャートである。
【符号の説明】
【００６８】
１０                  レンズ
１２                  撮像素子
１４                  画像メモリ
１６                  レンズ駆動アクチュエータ
１８                  駆動回路
２０                  レンズ位置センサ
２２                  マイクロプロセッサ
【図１】
2007192730.tif 000007
【図２】
2007192730.tif 000008
【図３】
2007192730.tif 000009
【図４】
2007192730.tif 000010
【図５】
2007192730.tif 000011
【図６】
2007192730.tif 000012
【図７】
2007192730.tif 000013
【図８】
2007192730.tif 000014
【図９】
2007192730.tif 000015
【図１０】
2007192730.tif 000016
【図１１】
2007192730.tif 000017
【図１２】
2007192730.tif 000018
【図１３】
2007192730.tif 000019