(57)【特許請求の範囲】
【請求項１】
複数の撮像部と、
前記複数の撮像部から得られる画像を用いて被写体までの距離を算出し、距離情報を出力する距離算出部と、
被写体の動きを検出し、動き情報を出力する移動情報算出部と、を備え、
前記移動情報算出部は、前記距離情報を用いて動き情報の一部を除去し、
さらに、前記複数の撮像部のうち少なくとも１つの撮像部は第１のフレームレートで撮像し、前記複数の撮像部いずれか１つの撮像部は前記第１のフレームレートと異なる第２のフレームレートで撮像し、前記第１のフレームレートで撮像した画像のフレームレートを前記第２のフレームレートに変換するフレームレート変換部を備え、前記移動情報算出部は前記第１のフレームレートの画像を用いて動き検出を行い、前記距離算出部は前記第２のフレームレートの画像を用いて距離算出処理を行うことを特徴とする撮像装置。
【請求項２】
前記移動情報算出部は、前記複数の撮像部から得られる画像の時系列での変化をもとに動き情報を算出する請求項１に記載の撮像装置。
【請求項３】
前記移動情報算出部は、前記撮像装置から所定の距離の範囲内に存在し、周囲の動き情報と異なる方向を示す動き情報を除去する請求項１に記載の撮像装置。 
【請求項４】
前記移動情報算出部は、撮像装置から所定の距離の範囲内に存在し、周囲の動き情報と異なる方向を示す動き情報が他の距離の被写体との境界に存在する場合には当該動き情報を除去しない請求項１に記載の撮像装置。
【請求項５】
複数の撮像部と、
前記複数の撮像部から得られる画像を用いて被写体までの距離を算出し、距離情報を出力する距離算出部と、
被写体の動きを検出し、動き情報を出力する移動情報算出部と、を備え、
前記移動情報算出部は、前記距離情報を用いて動き情報の一部を除去し、
前記移動情報算出部は、前記移動情報算出部と前記距離算出部の動作タイミング周期の比率をもとに、前記距離算出部が出力した過去の距離情報を用いて動き検出で使用する距離情報を算出することを特徴とする撮像装置。
【請求項６】
前記距離算出部は、算出した同一距離となる領域の内部において、動き情報が異なる領域が存在する場合には、独立した検出対象物体であると判定することを特徴とする、請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
本技術分野の技術背景として、ステレオカメラを使用してカメラと被写体との距離を算出し、被写体の認識処理を行う方法がある。例えば特許文献１には、「第１の撮像部と、第２の撮像部と、第１の撮像部から取得した第１の画像から、認識対象物の存在領域と、認識対象物の種類を特定する対象物領域特定処理部と、対象物領域特定処理部からの認識対象物の存在領域の画像と、第２の撮像部から取得した第２の画像から、認識対象物までの距離を算出する距離算出処理部と、距離算出処理部で算出された距離と、対象物領域特定処理部で求めた認識対象物の存在領域と、に基づいて、認識対象物の実空間での特徴量を算出する特徴算出処理部と、特徴算出処理部で算出された特徴量に基づいて、対象物領域特定処理部で特定された認識対象物の種類の検証を行う対象物特徴検証処理部と、を有する構成とする」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６７３２０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、ステレオ画像を撮影する複数のカメラの一方を単眼カメラとして使用し、単眼カメラで撮影した画像から車両領域を特定してステレオ画像における物体特徴検出処理に利用することにより、物体特徴検出の精度を向上させている。しかしながら、単眼カメラの画像解析処理にステレオ画像の解析を適用できないという問題があり、改善の余地がある。本発明は、上記課題を鑑み、ステレオ画像の解析結果を単眼カメラの画像解析処理に適用することで画像解析の精度を向上させる方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、特許請求の範囲に記載の構成を採用する。
本願は上記目的を解決する手段を複数含んでいるが、その一例をあげるならば、複数の撮像部と、前記複数の撮像部から得られる画像を用いて被写体までの距離を算出し、距離情報を出力する距離算出部と、被写体の動きを検出し、動き情報を出力する移動情報算出部と、を備え、前記移動情報算出部は、前記距離情報を用いて動き情報の一部を除去する撮像装置を提供する。
【発明の効果】
【０００６】
本発明によれば、動き算出機能と距離算出機能を備える撮像装置において、高精度の動き算出機能を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成の一例
【図２】動き算出処理フローの一例
【図３】不要な動き情報除去処理フローの一例
【図４】距離算出処理フローの一例
【図５】動き検出結果の一例
【図６】動き検出結果の一例
【図７】撮像装置と被写体の距離関係の一例
【図８】撮影画像の処理結果の一例
【図９】撮像装置の構成の一例
【図１０】距離情報の予測の一例
【発明を実施するための形態】
【実施例１】
【０００８】
以下、本発明の第１の実施形態を、図面を用いて説明する。
＜撮像装置の全体構成＞
図１は、本実施例における撮像装置１００の構成図である。
【０００９】
撮像部１０１、１０２、１０３はレンズと画像センサを備え、画像センサで受光した光を光電変換することで画像信号を生成する。撮像部１０１、１０２、１０３は、全体制御部１０６により指定されたフレームレートに従い所定の時間間隔で画像を生成して出力する。また、撮像部１０１、１０２、１０３はほぼ同一範囲の画角の画像を取得できるように設置され、さらに、撮像部１０２と撮像部１０３は所定の距離で左右に並んで設置され、撮影した画像の視差から被写体までの距離を算出できる。
【００１０】
移動情報算出部１０４は、撮像部１０１の画像信号を入力として被写体の移動量、移動方向を検出する。移動量、移動方向を検出する方法としては、例えば次のような方法がある。移動情報算出部１０４は、撮像部１０１からの画像信号を取り込み、取り込んだ画像の時間的な変化を検出する。時間的変化の検出方法としては、例えば、ブロックマッチング方式がある。
【００１１】
移動情報算出部１０４は、撮像部１０１の例えば時間的に連続する複数フレームの画像信号を複数枚保持し、ある画像の一部を切出した所定のサイズのブロック領域について、次の画像上に前記ブロック領域と同じ被写体が映っている領域を上下左右方向に探索する。そしてブロック領域が一致した位置と元の画像におけるブロック領域があった位置との差が、そのブロック領域の移動量、移動方向になる。一致比較の手法としては、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を求める方法などがある。
【００１２】
これを全画像にわたり、撮像部から時系列で出力される画像信号について順次処理していくことで、被写体の時間的な移動量、移動方向が取得できる。さらに、撮像装置１００が移動している場合には、その移動に伴う背景の移動分を取り除くことで実際に移動している動体を検出できる。
【００１３】
背景の移動の推定は、例えば、非特許文献：清原將裕、他「車両周辺監視のための移動体検出技術の開発」ＶｉＥＷビジョン技術の実利用ワークショップ講演論文集（２０１１）ｐｐ．５９−６３ に記載されている。移動情報算出部１０４の算出結果は、例えばブロック領域毎の移動の向きと大きさを示すベクトル量である。ただし、被写体の移動の検出方法はこれに限定するものではない。
【００１４】
距離算出部１０５は、撮像部１０２と撮像部１０３の画像信号を入力として被写体との距離を検出する。距離を検出する方法として例えば次のような方法がある。距離算出部１０５は、撮像部１０２、撮像部１０３が出力する画像信号を取り込み、それぞれの画像信号の輝度を合わせるように予め計測されている補正値で画像信号を補正する。また、それぞれの撮像部の画像信号の水平位置を合わせるように、予め計測されている補正値により画像信号を補正する。
【００１５】
次に視差の算出を行う。前述のように、撮像部１０２と撮像部１０３は所定の距離で左右に離れて設置されているので、撮像した画像は水平方向の視差を持つ。この視差を例えば、ブロックマッチング方式を用いて算出する。距離算出部１０５は、例えば撮像部１０２の画像信号上から小さく切出した所定のサイズのブロック領域に対応する領域を、撮像部１０３の画像信号上で水平方向に探索する。そして探索されたブロック領域が存在する撮像部１０３の画像信号上の位置と探索したブロック領域が存在する撮像部１０２の画像信号上の位置との差が視差となる。
【００１６】
これを全画像にわたって行う。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。距離は、撮像部１０２、撮像部１０３のレンズ焦点距離、撮像部１０２と撮像部１０３の設置距離間隔、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。
【００１７】
全体制御部１０６は、撮像部１０１、１０２、１０３に対して、映像信号を生成するための設定として、例えばフレームレート指定や露光制御などの設定を行う。また、移動情報算出部１０４に対して、撮像部１０１の設定情報を通知し、また、距離算出部１０５に対して、撮像部１０２および撮像部１０３の撮像制御に関する設定情報を通知する。また、移動情報算出部１０４および距離算出部１０５に対してそれぞれの動作タイミングを通知するとともに、撮像装置１００の移動速度などの情報を通知する。
【００１８】
＜移動情報算出処理＞
本発明における撮像装置１００の移動情報算出部１０４における移動情報算出処理について、図２に示す処理フローを用いて説明する。
Ｓ２０１では、移動情報算出部１０４は全体制御部１０６が指定したフレームレートに従い撮像部１０１が出力する画像信号を取得する。この際、撮像部１０１の画角や画素ピッチ、動き検出処理の対象領域とする距離、検出対象物体の移動速度および移動量、撮像装置の移動速度から、条件を持たすために必要となる必要フレームレートを算出しておき、撮像部１０１が前記必要フレームレートよりも高フレームレートで動作する場合には、すべてのフレームを処理せず、必要フレームレートを満たす範囲で一部のフレームを間引くことで処理負荷を軽減できる。
【００１９】
Ｓ２０２では、移動情報算出部１０４はＳ２０１にて取得した最新の画像信号と、前回の移動情報算出処理時に取得した画像信号とを用いて、フレーム全体に対して画像信号内の所定のブロック領域ごとの移動量、移動方向を算出する。
【００２０】
Ｓ２０３では、移動情報算出部１０４はＳ２０２にて算出したブロック領域ごとの移動量、移動方向を距離算出部１０５に出力する。距離算出部１０５は、後段で説明するように、図４のＳ４０２でブロック領域ごとの移動量、移動方向を取得し、ブロック領域ごとの移動量、移動方向に基づき距離情報を算出し、移動情報算出部１０４に出力する。
【００２１】
Ｓ２０３では、移動情報算出部１０４は距離算出部１０５が出力した距離情報を取得する。
【００２２】
Ｓ２０４では、移動情報算出部１０４は、Ｓ２０３で取得した距離情報をもとに、Ｓ２０２で算出したブロック領域ごとの移動量及び移動方向から不要な要素を除外して移動情報を生成する処理を行う。
【００２３】
不要な動きの除去処理について、図３に示す処理フローを用いて説明する。
【００２４】
Ｓ３０１では、移動情報算出部１０４はＳ２０２で算出したブロック領域ごとの移動量及び移動方向について、移動量、移動方向の算出の際に使用したブロック単位で、近傍に存在する各ブロックとの移動量及び移動方向の類似度を計算する。ブロック間の移動量及び移動方向の類似度が所定の閾値以上であった場合には、比較したブロックを同一グループであると判定し、同一のグループ番号を付与する。ブロック間の移動量及び移動方向の類似度が所定の閾値以下であった場合には、比較したブロックを異なるグループであると判定し、異なるグループ番号を付与する。
【００２５】
また、移動量及び移動方向を検知しなかったブロックについては、移動なしを意味するグループ番号を付与する。この処理を、フレーム内の全ブロックにグループ番号が付与されるまで行うことで、ブロック領域ごとの移動量及び移動方向のグループ化を行う。ただし、ブロック領域ごとの移動量及び移動方向のグループ化の方法はこれに限定するものではない。続いて、各グループに対してＳ３０２からＳ３０４の処理を行う。
【００２６】
Ｓ３０２では、移動情報算出部１０４はＳ２０３で取得した距離情報とＳ３０１で生成したグループの情報を用いて、各グループが同一距離領域内に埋没しているか否かを判定し、埋没しているグループを埋没グループに指定する。ここで、埋没しているとは、たとえば図５に例示する領域５０１に対する領域５０２のような状態であり、右向きの移動方向で構成されるグループの周囲を左向きの移動方向で構成されるグループが囲んでおり、かつ両グループの距離情報が所定の範囲内である場合である。
【００２７】
一方で、距離情報が示す同一距離域内において異なるグループが存在する場合であっても、図６に例示する領域６０１に対する領域６０２のように、距離領域の範囲の境界部分に存在する場合には埋没とは判定せず、埋没グループに指定しない。その後、Ｓ３０３に進む。
【００２８】
Ｓ３０３では、処理対象グループをＳ３０２で埋没グループと指定したか否かを確認し、埋没グループであった場合にはＳ３０４へ進み、それ以外の場合にはＳ３０５に進む。
【００２９】
Ｓ３０４では、移動情報算出部１０４はＳ３０２で埋没グループと判定した処理対象グループを不要な情報であるとして削除し、Ｓ３０５へ進む。削除する方法としては、移動量、移動方向を検出しなかったとする方法と、該当するグループの周辺を囲むグループを代表する移動量、移動方向に置換し、同一グループとして取り扱う方法のいずれかを適用する。いずれの方法を適用するかは、全体制御部１０６にあらかじめ指定する。
【００３０】
Ｓ３０５では、フレーム内のすべてのグループについてＳ３０２からＳ３０４で行う削除判定処理が完了したか否かを判定し、未実施のグループが残っている場合にはＳ３０２に戻り、次のグループの処理を行う。すべてのグループに対する処理が完了した場合に処理フローを終了する。
【００３１】
以上の処理により不要情報除去処理を終了し、Ｓ２０５に進む。
【００３２】
Ｓ２０５では、移動情報算出部１０４は対象フレームに含まれるグループ毎の移動量、移動方向を示す移動情報を出力する。
【００３３】
＜距離算出処理＞
距離算出部１０５の処理について、図４に示す処理フローを用いて説明する。
Ｓ４０１では、距離算出部１０５は全体制御部１０６が設定したフレームレートに従って撮像部１０２、撮像部１０３からそれぞれ出力される映像信号を取得し、Ｓ４０２に進む。
【００３４】
Ｓ４０２では、距離算出部１０５は撮像部１０２、１０３から取得した映像信号をもちいて、先述した方法により映像フレーム内の各領域と撮像装置１００との距離を算出する。また、領域ごとの距離をもとに、隣接する領域で距離が所定の範囲内に収まるものを同一の距離領域グループであると判定し、グループを識別する番号を付与する。
【００３５】
ここで、同一の距離領域グループであると判定する処理は、図７に示すように、被写体Ａと撮像装置の距離と、被写体Ｂと撮像装置の距離とがあらかじめ定められた距離範囲内である場合に、被写体Ａと被写体Ｂを同一の距離領域グループと判断する処理である。被写体Ａと撮像装置の距離と、および被写体Ｂと撮像装置の距離とが上記の距離範囲外であれば被写体Ａと被写体Ｂは異なるグループであると判定される。この処理を、すべての領域に対して行い、各領域について、距離に基づくグループ化を行う。その後、Ｓ４０３に進む。
【００３６】
Ｓ４０３では、距離算出部１０５は移動情報算出部１０４が図２のＳ２０３で出力するブロックごとの移動量、移動方向を取得し、Ｓ４０２で算出した距離情報における同一グループの内部で、異なる移動量、移動方向のブロックが含まれるかどうかを判定する。異なる移動量、移動方向のブロックが含まれる場合には、同一距離であっても異なる物体であると判断し、Ｓ４０２で作成したグループを、移動量、移動方向のブロックに合わせて分割し、新たなグループとして、Ｓ４０５に進む。
【００３７】
Ｓ４０４では、距離算出部１０５はグループを分割した結果を反映した距離情報を出力する。なお、距離情報の分割処理については、全体制御部１０６において移動情報算出部１０４が出力する動き情報と距離算出部１０５がＳ４０２で算出する距離情報を用いて実行することもできる。
【００３８】
＜画像処理の例＞
図８は、本実施例における撮影画像の処理結果の一例である。フレーム全体の画像８００に対して距離算出部１０５のみでの距離算出処理を行った場合、車両の直後から歩行者が出現した場合など車両と歩行者の距離が近接している場合には、破線で囲んだ領域８０１を同一の距離領域として認識するため、歩行者と車両を区別できず、歩行者の存在を検出することができないという状況が発生する。
【００３９】
それに対して本実施例で示す移動情報算出処理では、歩行者を右方向へ移動するグループとして算出し、また、停止する車を撮像装置１００の移動に伴う左方向へ移動するグループとして算出でき、領域８０１を領域８０３と領域８０４に分割することが可能となる。
【００４０】
さらに、距離領域８０１の車両に発生している車体の反射からなる領域８０２について、移動情報検出部１０５のみで移動情報算出処理を行った場合、光源位置と撮像装置１００の移動により右方向に移動するグループとして算出されてしまうが、本実施例で示す移動情報算出処理では同一距離領域の中で埋没するグループとして除去できるため、距離算出処理において不要な分割を行わないことが可能となる。
【００４１】
以上本実施例にて説明した方法を用いることで、移動情報算出処理において、距離情報を用いて不要な動き情報を除去することにより精度のよい移動情報検知が可能となる。さらに、動き検知の精度を高めることにより、同一距離に存在する異なる物体を精度よく識別することが可能となる。
【００４２】
なお、本実施例の説明では移動情報算出部１０４による動き検出処理に撮像部１０１により撮像された映像信号を用いたが、映像信号に依らない動き検出処理も可能である。例えば、赤外線センサを用いて取得した動き情報や、レーダなどを用いて取得した動き情報を用いることもできる。
【実施例２】
【００４３】
本発明の第２の実施形態を、図面を用いて説明する。
図９は本発明の第２の実施例における撮像装置９００の構成図である。第１の実施例と異なり、移動情報算出部９０４で使用するための独立した撮像部を備えず、距離算出のために使用する複数の撮像部のうちの一つの撮像部を動き算出で使用する映像信号を取得するために使用する構成となる。
また、撮像部９０１は動き算出に使用するため撮像部９０２と異なるフレームレートで撮像するように構成されている。
【００４４】
しかしながら距離算出部９０５ではほぼ同じ時刻に撮影した映像信号が必要となるため、撮像部９０１が出力する映像信号を撮像部９０２の出力と同期させるため、フレームレート変換部９０３を追加している。
【００４５】
フレームレート変換部９０３は、撮像部９０１と撮像部９０２のフレームレートに関する設定を全体制御部９０６から取得し、各撮像部のフレームレートの比率をもとに撮像部９０１から出力される映像信号を撮像部９０２から出力される映像信号と同じフレームレートとなるように間引いて距離算出部９０５に出力する。
【００４６】
移動情報算出部９０４における動き算出処理、ならびに距離算出部９０５における距離算出処理については、第一の実施例で説明した処理と同一となるため、本実施例での説明は省略する。
【００４７】
以上本実施例にて説明した方法を用いることで、距離算出で用いる撮像部と移動情報算出処理で用いる撮像部を共通化した場合にも、精度のよい被写体検知が可能となる。さらに、被写体検知の精度を高めることにより、同一距離に存在する異なる物体を精度よく識別することが可能となる。
【００４８】
なお、距離情報は、距離算出部１０５が前回フレームで算出した距離情報と直近のフレームから算出したブロックごとの距離を用いて、現在時刻における距離情報を予測してもよい。この場合の距離情報の予測方法の詳細を説明する。
【００４９】
＜距離情報の予測処理＞
図１０は、移動情報算出部１０４における移動情報算出処理と距離算出部１０５における距離算出処理の実行タイミングを示した図である。移動情報算出処理は全体制御部１０６が撮像部１０１に指定したフレームレートに従い処理を実行し、距離算出処理は全体制御部１０６が撮像部１０２および撮像部１０３に指定したフレームレートに従い処理を実行する。
【００５０】
図１０は、移動情報算出処理のフレームレートとして距離算出処理のフレームレートの４倍を指定した場合の処理タイミングの例であるが、フレームレート設定はこの比率に限定するものではない。
【００５１】
移動情報算出部１０４が移動情報算出処理で使用する距離情報は、距離算出部１０５が直近のフレームで算出した距離情報を使用する場合、たとえば移動情報算出のフレーム番号がｊ＋１からｊ+４の間の処理で使用する場合、距離算出部がフレーム番号ｉで算出した距離情報を使用する。一方で、移動情報算出処理を実行するタイミングの距離情報を予測して使用する場合には、例えば移動情報算出のフレーム番号がｊ＋６の場合、距離算出処理を行った直近のフレームであるｉ＋１番目のフレームの距離情報と、前回の距離算出処理を行ったｉ番目のフレームでの距離情報を使用する。
【００５２】
ｉ番目の距離情報とｉ＋１番目の距離情報との差分を求め、その差分を移動情報算出処理と距離算出処理のフレームレートの比率で分割し、分割した値と前回の距離情報からの経過フレーム数をもとに各距離領域の移動先を算出する。また、移動情報算出部１０４は全体制御部１０６から撮像装置１００の移動速度を取得し、移動速度の変化に応じて蒸気処理で分割して得られた予測値を増減させることもできる。以上の処理により、距離情報予測のための計算量を低減することが可能となる。また、距離情報の予測を行うことで、より精度の高い移動情報算出も可能となる。
【００５３】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００５４】
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００５５】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００５６】
１００：撮像装置、１０１：撮像部、１０２：撮像部、１０３：撮像部、１０４：移動情報算出部、１０５：距離算出部、１０６：全体制御部、５０１：領域（動き情報）、５０２：領域（埋没する動き情報）、６０１：領域（動き情報）、６０２：領域（境界領域の動き情報）、８００：画像（撮影画像の全体）、８０１：領域（同一の距離領域）、８０２：領域（映像領域）、８０３：領域（映像領域）、８０４：領域（映像領域）、９００：撮像装置、９０１：撮像部、９０２：撮像部、９０３：フレームレート変換部、９０４：移動情報算出部、９０５：距離算出部、９０６：全体制御部
【図１】
0006607764.tif 000002
【図２】
0006607764.tif 000003
【図３】
0006607764.tif 000004
【図４】
0006607764.tif 000005
【図５】
0006607764.tif 000006
【図６】
0006607764.tif 000007
【図７】
0006607764.tif 000008
【図８】
0006607764.tif 000009
【図９】
0006607764.tif 000010
【図１０】
0006607764.tif 000011