(57)【要約】【課題】従来必要だった光学系の調整を単純で簡易な構成とする。【解決手段】ステレオカメラ装置は、レンズと撮像素子を備え、被写体を撮像する１台のカメラと、被写体の左側光軸の画像を反射させる左側固定鏡と、被写体の右側光軸の画像を反射させる右側固定鏡と、カメラの光軸中心に配置され、左側回転位置と右側回転位置との間で回転移動が可能な回転鏡と、回転鏡の位置を制御することで回転鏡が左側回転位置のときに取得した左側光軸の画像と、回転鏡が右側回転位置のときに取得した右側光軸の画像との視差に基づいてカメラから被写体までの距離を演算するコントローラとを備える。【選択図】図１
2020190452.tif 000002
【特許請求の範囲】
【請求項１】
レンズと撮像素子を備え、被写体を撮像する１台のカメラと、
被写体の左側光軸の画像を反射させる左側固定鏡と、
被写体の右側光軸の画像を反射させる右側固定鏡と、
カメラの光軸中心に配置され、左側固定鏡で反射された左側光軸の画像をレンズを介して撮像素子に結像させる左側回転位置と、右側固定鏡で反射された右側光軸の画像をレンズを介して撮像素子に結像させる右側回転位置との間で回転移動が可能な回転鏡と、
回転鏡の位置を制御することで、回転鏡が左側回転位置のときに取得した左側光軸の画像と、回転鏡が右側回転位置のときに取得した右側光軸の画像との視差に基づいてカメラから被写体までの距離を演算するコントローラと
を備えるステレオカメラ装置。
【請求項２】
コントローラは、
カメラから順次出力される１フレームの画像データを画像メモリに順次記憶させ、
１フレームごとに、回転鏡が左側回転位置または右側回転位置のいずれかに交互に位置するように切り替え制御を実行し、
今回のフレームにおいて回転鏡が左側回転位置の状態における左側光軸の画像を今回画像として取得した場合には、今回のフレームよりも１フレーム前に画像メモリに記憶されている画像データを読み出すことで、１フレーム前において回転鏡が右側回転位置の状態における右側光軸の画像を前回画像として取得し、
今回のフレームにおいて回転鏡が右側回転位置の状態における右側光軸の画像を今回画像として取得した場合には、今回のフレームよりも１フレーム前に画像メモリに記憶されている画像データを読み出すことで、１フレーム前において回転鏡が左側回転位置の状態における左側光軸の画像を前回画像として取得し、
今回画像と前回画像との視差に基づいてカメラから被写体までの距離を演算する
請求項１に記載のステレオカメラ装置。
【請求項３】
レンズと撮像素子を備え、被写体を撮像する１台のカメラと、
被写体の左側光軸の画像を反射させる左側固定鏡と、
被写体の右側光軸の画像を反射させる右側固定鏡と、
カメラの光軸中心に配置され、左側固定鏡で反射された左側光軸の画像をレンズを介して撮像素子に結像させる左側回転位置と、右側固定鏡で反射された右側光軸の画像をレンズを介して撮像素子に結像させる右側回転位置との間で回転移動が可能な回転鏡と
を備えるステレオカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２枚の画像の視差を用いて被写体までの距離を演算するステレオカメラ装置、およびステレオカメラ装置に用いられるステレオカメラに関するものである。
【背景技術】
【０００２】
２台のカメラの視差を用いて、三角測量の原理で被写体までの距離を測定することができる。ただし、カメラが２台必要となり、製造コストが上昇する問題がある。
【０００３】
さらに、２台のカメラ間には、機械的な組立精度、焦点距離のバラツキ、レンズの歪の影響、撮像素子の受光面のあおりなどにより、光学的な位置ずれが存在する。従って、測距に最適な画像を得るためには、２台のカメラに対する複雑な調整が必要となる。
【０００４】
例えば、２台のカメラが出力する画像信号を画像メモリに記憶し、２台のカメラ間で発生する水平方向および上下方向の光軸のズレ量を記憶し、記憶したズレ量だけ画像メモリの読出しをずらすことで、光軸の調整を行う従来技術がある（例えば、特許文献１参照）。
【０００５】
また、２台のカメラ間でのズレ量の他、回転ズレおよび斜め方向の非線形なズレに対しても補正できる従来技術がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３２８４１９０号公報
【特許文献２】特許第３０８３４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の方法では、回転方向のズレ、光学系に起因するレンズ歪、受光面のあおり等に対して、補正することができない問題点がある。また、特許文献２の方法では、膨大な計算を行う回路が必要となり、回路規模の増大が発生する問題点がある。
【０００８】
本発明は、このような課題を解決するためになされたものであり、従来必要だった光学系の調整を単純で簡易な構成とすることができるステレオカメラ装置およびステレオカメラを得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるステレオカメラ装置は、レンズと撮像素子を備え、被写体を撮像する１台のカメラと、被写体の左側光軸の画像を反射させる左側固定鏡と、被写体の右側光軸の画像を反射させる右側固定鏡と、カメラの光軸中心に配置され、左側固定鏡で反射された左側光軸の画像をレンズを介して撮像素子に結像させる左側回転位置と、右側固定鏡で反射された右側光軸の画像をレンズを介して撮像素子に結像させる右側回転位置との間で回転移動が可能な回転鏡と、回転鏡の位置を制御することで、回転鏡が左側回転位置のときに取得した左側光軸の画像と、回転鏡が右側回転位置のときに取得した右側光軸の画像との視差に基づいてカメラから被写体までの距離を演算するコントローラとを備えるものである。
【００１０】
また、本発明によるステレオカメラは、レンズと撮像素子を備え、被写体を撮像する１台のカメラと、被写体の左側光軸の画像を反射させる左側固定鏡と、被写体の右側光軸の画像を反射させる右側固定鏡と、カメラの光軸中心に配置され、左側固定鏡で反射された左側光軸の画像をレンズを介して撮像素子に結像させる左側回転位置と、右側固定鏡で反射された右側光軸の画像をレンズを介して撮像素子に結像させる右側回転位置との間で回転移動が可能な回転鏡とを備えるものである。
【発明の効果】
【００１１】
本発明によれば、１台のカメラで被写体までの距離を測定できる構成を実現できる。この結果、従来必要だった光学系の調整を単純で簡易な構成とすることができるステレオカメラ装置およびステレオカメラを得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係るステレオカメラ装置において、左側光軸の画像を得る際の動作概念を示す説明図である。
【図２】本発明の実施の形態１に係るステレオカメラ装置において、右側光軸の画像を得る際の動作概念を示す説明図である。
【図３】本発明の実施の形態１において、撮像素子上に左側光軸および右側光軸のそれぞれが結像された画像イメージと、左側光軸および右側光軸のそれぞれの画像間の視差の概念を示した説明図である。
【図４】本発明の実施の形態１における視差検出回路に入力される信号のフレーム単位でのタイミングチャートを示した図である。
【発明を実施するための形態】
【００１３】
以下、本発明のステレオカメラ装置およびステレオカメラの好適な実施の形態につき図面を用いて説明する。
【００１４】
実施の形態１．
図１は、本発明の実施の形態１に係るステレオカメラ装置において、左側光軸の画像を得る際の動作概念を示す説明図である。また、図２は、本発明の実施の形態１に係るステレオカメラ装置において、右側光軸の画像を得る際の動作概念を示す説明図である。
【００１５】
図１において、左側光軸に配置した左側固定鏡に相当する固定鏡１は、単純な平面鏡をカメラ６に対して左４５°の角度で固定したものである。固定鏡１は、左側光軸の入射光をカメラ６の光軸中心に配置した回転鏡３に向けて反射する。
【００１６】
一方、図２において、右側光軸に配置した右側固定鏡に相当する固定鏡２は、単純な平面鏡をカメラ６に対して右４５°の角度で固定したものである。固定鏡２は、右側光軸の入射光をカメラ６の光軸中心に配置した回転鏡３に向けて反射する。
【００１７】
回転鏡３は、カメラのフレームタイミングに同期して、鏡表面の角度を左４５°、または右４５°のいずれかに切り替え可能な構成となっている。すなわち、タイミング制御回路１０は、１フレームごとに、回転鏡３が左側回転位置または右側回転位置のいずれかに交互に位置するように切り替え制御を実行することができる。
【００１８】
タイミング制御回路１０は、回転鏡３を左側回転位置に相当する左４５°に切り替え制御することで、回転鏡３により左側光軸を反射させ、カメラ６の入射光として左側光軸を選択することができる。一方、タイミング制御回路１０は、回転鏡３を右側回転位置に相当する右４５°に切り替え制御することで、回転鏡３により右側光軸を反射させ、カメラ６の入射光として右側光軸を選択することができる。
【００１９】
すなわち、回転鏡３は、カメラ６の光軸中心に配置され、固定鏡１で反射された左側光軸の画像をレンズ４を介して撮像素子５に結像させる左側回転位置と、固定鏡２で反射された右側光軸の画像をレンズ４を介して撮像素子５に結像させる右側回転位置との間で回転移動が可能な機構となっている。
【００２０】
図１では、回転鏡３の角度を左４５°とし、左側光軸を反射した状態を示している。同様に、図２では、回転鏡３の角度を右４５°とし、右側光軸を反射した状態を示している。
【００２１】
回転鏡３は、左側光軸あるいは右側光軸のいずれか一方の光軸を選択し、選択した光軸を、レンズ４と撮像素子５を備えたカメラ６に入射光として入力する。この結果、撮像素子５上では、入射光に応じて、左側光軸の画像または右側光軸の画像が結像される。
【００２２】
図１および図２において、カメラ６は、被写体を撮像し、撮像素子５に結像された画像を電気信号に変換し、出力画像データとして、１フレームメモリ７および視差検出回路８に出力する。１フレームメモリ７は、カメラ６から出力された１フレームごとの出力画像データを順次記憶して、１フレーム遅延し、１フレーム遅延信号として視差検出回路８に順次出力することができる画像メモリに相当する。
【００２３】
図３は、本発明の実施の形態１において、撮像素子５上に左側光軸および右側光軸のそれぞれが結像された画像イメージと、左側光軸および右側光軸のそれぞれの画像間の視差の概念を示した説明図である。
【００２４】
具体的には、図３（ａ）は、回転鏡３の角度が左側回転位置に相当する左４５°であり、左側光軸が選択された際の、撮像素子５上における結像イメージを示している。一方、図３（ｂ）は、回転鏡３の角度が右側回転位置に相当する右４５°であり、右側光軸が選択された際の、撮像素子５上における結像イメージを示している。さらに、図３（ｃ）は、視差検出回路８において、図３（ａ）の左側光軸の画像と図３（ｂ）の右側光軸の画像との視差を示している。
【００２５】
図４は、本発明の実施の形態１における視差検出回路８に入力される信号のフレーム単位でのタイミングチャートを示した図である。回転鏡３は、カメラ６のフレームタイミングに同期して、タイミング制御回路１０からのタイミング信号に応じて、１フレーム単位で左４５°、または右４５°のいずれかに切り替わる。
【００２６】
カメラ６からは、回転鏡３の切り替わりに同期して、タイミング制御回路１０からのタイミング信号に応じて、左側光軸または右側光軸に対応する出力画像データが交互に順次出力されることとなる。
【００２７】
さらに、１フレームメモリ７で１フレーム遅延された信号は、カメラ６の出力画像データから１フレーム遅延する。従って、視差検出回路８には、左側光軸の画像および右側光軸の画像を同時に入力することができる。
【００２８】
図４に示した処理内容を換言すると、以下のようになる。視差検出回路８が、今回のフレームにおいて、回転鏡３が左側回転位置の状態における左側光軸の画像を今回画像として取得した場合を考える。この場合には、視差検出回路８が、今回のフレームよりも１フレーム前に１フレームメモリに記憶されている画像データを読み出すことで、１フレーム前において回転鏡が右側回転位置の状態における右側光軸の画像を前回画像として取得することができる。
【００２９】
一方、視差検出回路８が、今回のフレームにおいて、回転鏡３が右側回転位置の状態における右側光軸の画像を今回画像として取得した場合を考える。この場合には、視差検出回路８が、今回のフレームよりも１フレーム前に画像メモリに記憶されている画像データを読み出すことで、１フレーム前において回転鏡が左側回転位置の状態における左側光軸の画像を前回画像として取得することができる。
【００３０】
図１および図２において、今回画像と前回画像とを取得した視差検出回路８は、左側光軸の画像と右側光軸の画像との視差を検出し、測距回路９に出力する。測距回路９は、視差から三角測量の原理により、被写体までの距離を演算する。図１および図２に示すように、全ての回路の動作タイミングは、タイミング制御回路１０で制御され、フレームごとに同期が取られるものとする。
【００３１】
図１および図２に示すように、レンズ４と撮像素子５を備えたカメラ６は、左側光軸および右側光軸に共通で使用される。このため、カメラ６で発生することが予想される、レンズ歪、撮像素子の位置ずれ、あおりなどの光学的な誤差は、視差を求める際には相殺され、左右の光軸間では無視することができる。
【００３２】
また、固定鏡１、２、および回転鏡３に単純な平面鏡を配置することにより、発生する歪を最小限に抑えることができる。この結果、固定鏡１、２および回転鏡３の角度調整を行うだけの簡単な調整機構で、被写体までの距離を測定することができるステレオカメラを実現することができる。
【００３３】
なお、図１および図２に示した構成において、固定鏡１、２、回転鏡３、およびカメラ６は、ステレオカメラを構成する各要素に相当する。また、１フレームメモリ７、視差検出回路８、測距回路９、およびタイミング制御回路１０は、コントローラが備える各機能ブロックに相当する。
【００３４】
そして、上述したように、タイミング制御回路１０は、回転鏡３、カメラ６、１フレームメモリ７、視差検出回路８、および測距回路９の各動作を、フレームごとに同期が取られたタイミング制御として実行させることができる。
【００３５】
また、本実施の形態１で示した回転鏡３の角度については、あくまでも一例であり、同様の効果を得られるのであれば、他の角度でもよい。
【００３６】
また、左右の画像を結像できるのであれば、１フレーム遅延による視差を用いることには限定されない。例えば、もっと遅い周期で視差を取得する構成を採用すれば、回転鏡３の回転数が減り、摩耗などによる劣化も防ぐことができ、ランニングコストに優位である。
【００３７】
すなわち、コントローラは、回転鏡３の位置を制御することで、回転鏡３が左側回転位置のときに取得した左側光軸の画像と、回転鏡３が右側回転位置のときに取得した右側光軸の画像とを取得できる。さらに、コントローラは、左側光軸の画像と右側光軸の画像との視差に基づいて、カメラ６から被写体までの距離を演算することができる。
【００３８】
以上のように、実施の形態１によれば、１台のカメラで被写体までの距離を測定できる構成を実現できる。この結果、２台のカメラの持つ特性の違いに影響されることなく、固定鏡と回転鏡の位置、角度調整といった最小限の調整を行うだけで、使用者が目的とする有効なデータを得ることができる。すなわち、実施の形態１によれば、従来必要だった光学系の調整を単純で簡易な構成とすることができるステレオカメラ装置、およびステレオカメラを実現できる。
【符号の説明】
【００３９】
１  左側固定鏡、２  右側固定鏡、３  回転鏡、４  レンズ、５  撮像素子、６  カメラ、７  １フレームメモリ（画像メモリ）、８  視差検出回路、９  測距回路、１０  タイミング制御回路。
【図１】
2020190452.tif 000003
【図２】
2020190452.tif 000004
【図３】
2020190452.tif 000005
【図４】
2020190452.tif 000006