(57)【特許請求の範囲】
【請求項１】
画像中の障害物を識別する方法であって、
現在フレームと該現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するステップと、
前記現在フレームと該現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算するステップと、
前記現在フレームの各ブロックに対し、前記現在フレームと該現在フレームの直前にあるＮ個の先行フレームとのブロックの前記動き障害物信頼度に応じて、前記ブロックが障害物であるかどうかを順番に判定するステップと、
各ブロックに応じて前記画像中の前記障害物を判定するステップと、
を含み、
前記現在フレームの各ブロックに対し、動き障害物信頼度を計算するステップが、
ｉ）動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するステップと、
ｉｉ）ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、前記現在フレーム内のブロックと前記仮想フレーム内のブロックとの類似度を計算するステップと、
ｉｉｉ）前記ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、前記現在フレーム内のブロックと時点ｎ−ｋにおける前記先行フレーム内のブロックとの間の類似度を計算するステップと、
ｉｖ）前記ブロックに対し、前記第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、前記第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する前記第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、前記現在フレームの前記ブロックの動き障害物信頼度Ｃ＿Ｍが１であり、そうでないならば、前記現在フレームの前記ブロックの該動き障害物信頼度Ｃ＿Ｍが０であるとするステップと、
ｖ）各ブロックの前記動き障害物信頼度を取得するためにステップｉｉ）からｉｖ）までを繰り返すステップとを含むことを特徴とする画像中の障害物を識別する方法。
【請求項２】
前記現在フレームの各ブロックに対し該ブロックが障害物であるかどうかを判定するステップが、
ブロックに対し、前記現在フレームと前記Ｎ個の先行フレームとの前記ブロックの中で値が１である前記動き障害物信頼度の個数が第１量スレッショルドより大きいならば、前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であるとするステップと、
前記現在フレームの前記ブロックの前記全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、前記ブロックが障害物であるとし、そうでないならば、前記ブロックが障害物ではないとするステップと、
を含むことを特徴とする請求項１記載の画像中の障害物を識別する方法。
【請求項３】
画像中の障害物を識別する方法であって、
現在フレームと該現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するステップと、
前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームとの各ブロックに対し、動き障害物信頼度と特性障害物信頼度とを計算するステップと、
前記現在フレームの各ブロックに対し、前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームとの前記ブロックの前記動き障害物信頼度と前記特性障害物信頼度とに応じて、前記ブロックが障害物であるかどうかを順番に判定するステップと、
前記各ブロックに応じて前記画像中の前記障害物を判定するステップと、
を含み、
前記現在フレームの各ブロックの動き障害物信頼度を計算するステップが、
ｉ）動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するステップと、
ｉｉ）ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、前記現在フレーム内の前記ブロックと前記仮想フレーム内の前記ブロックとの間の類似度を計算するステップと、
ｉｉｉ）前記ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、前記現在フレーム内のブロックと時点ｎ−ｋにおける前記先行フレーム内のブロックとの間の類似度を計算するステップと、
ｉｖ）前記ブロックに対し、前記第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、前記第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する前記第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、前記現在フレームの前記ブロックの前記動き障害物信頼度Ｃ＿Ｍが１であり、そうでないならば、前記現在フレームの前記ブロックの前記動き障害物信頼度Ｃ＿Ｍが０であるとするステップと、
ｖ）各ブロックの前記動き障害物信頼度を取得するため、ステップｉｉ）からｉｖ）までを繰り返すステップとを含むことを特徴とする画像中の障害物を識別する方法。
【請求項４】
前記特性障害物信頼度が、垂直特徴に基づく特性障害物信頼度、または、テクスチャ特徴に基づく特性障害物信頼度を含むことを特徴とする請求項３記載の画像中の障害物を識別する方法。
【請求項５】
前記現在フレームの各ブロックに対し、該ブロックの垂直特徴に基づいて特性障害物信頼度を計算するステップが、
ａ）前記現在フレームのブロックが垂直特徴を有しているかどうかを判定し、そうであるならば、前記現在フレームの前記ブロックの前記特性障害物信頼度Ｃ＿Ｆが１であり、そうでないならば、前記現在フレームの前記ブロックの前記特性障害物信頼度Ｃ＿Ｆが０であるとするステップと、
ｂ）各ブロックの前記特性障害物信頼度を取得するため、ステップａ）を繰り返すステップと、
を含むことを特徴とする請求項４記載の画像中の障害物を識別する方法。
【請求項６】
前記現在フレームのブロックが垂直特徴を有しているかどうかを判定するステップが、
ａ０１）前記ブロックの垂直方向強度Ｉｖ：
【数１】
0005276721.tif 000008
［式中、ｃｉ，ｊが現在フレームの行ｉ、および、列ｊの画素のグレースケール値、ｋが整数、Ｒがブロックであるとき、ｉ，ｊ∈Ｒ、Ｎが前記画像の幅、Ｍが前記画像の高さである。］
を計算するステップと、
ａ０２）ステップａ０１）による前記垂直方向強度Ｉｖが強度スレッショルドより大きいならば、前記ブロックが垂直特徴を有していると判定され、そうでないならば、前記ブロックが垂直特徴を有していないと判定されるステップと、
を含むことを特徴とする請求項５記載の画像中の障害物を識別する方法。
【請求項７】
前記現在フレームの各ブロックに対し、前記ブロックが障害物であるかどうかを判定するステップが、
ブロックに対し、前記現在フレームと前記Ｎ個の先行フレームとにおける前記ブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きく、かつ、前記現在フレームと前記Ｎ個の先行フレームとにおける前記ブロックの中で値が１である特性障害物信頼度の個数が第２量スレッショルドより大きいならば、前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であるとするステップと、
前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、前記ブロックは障害物であるとし、そうでないならば、前記ブロックは障害物ではないとするステップと、
を含むことを特徴とする請求項５記載の画像中の障害物を識別する方法。
【請求項８】
画像中の障害物を識別する装置であって、
現在フレームと該現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するように適合された画像分割ユニットと、
前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームの各ブロックに対し、動き障害物信頼度を計算するように適合された動き障害物信頼度計算ユニットと、
前記現在フレームの各ブロックに対し、前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームとのブロックの前記動き障害物信頼度に応じて、該ブロックが障害物であるかどうかを順番に判定するように適合された第１ブロック障害物識別ユニットと、
各ブロックに応じて前記画像中の前記障害物を判定するように適合された障害物判定ユニットとを含み、
前記動き障害物信頼度計算ユニットが、
動きパラメータを取得し、ｎ≧２かつｋ≧１であるならば、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するように適合された仮想画像生成ユニットと、
ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、前記現在フレーム内のブロックと前記仮想フレーム内のブロックとの類似度を計算するように適合された第１動き信頼度計算ユニットと、
前記ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、前記現在フレーム内のブロックと時点ｎ−ｋにおける前記先行フレーム内のブロックとの間の類似度を計算するように適合された第２動き信頼度計算ユニットと、
前記第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、前記第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する前記第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、前記現在フレームの前記ブロックの動き障害物信頼度Ｃ＿Ｍは１であると判定し、そうでないならば、前記現在フレームの前記ブロックの動き障害物信頼度Ｃ＿Ｍが０であると判定するように適合された動き障害物信頼度判定ユニットとを含むことを特徴とする画像中の障害物を識別する装置。
【請求項９】
前記第１ブロック障害物識別ユニットが、
ブロックに対し、前記現在フレームと前記Ｎ個の先行フレームとにおける前記ブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きいならば、前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると判定し、そうでないならば、前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌは０であると判定するように適合された第１全信頼度判定ユニットと、
前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、前記ブロックは障害物であると判定し、そうでないならば、前記ブロックは障害物ではないと判定するように適合された第１識別ユニットと、
を含むことを特徴とする請求項８記載の画像中の障害物を識別する装置。
【請求項１０】
画像中の障害物を識別する装置であって、
現在フレームと該現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するように適合された画像分割ユニットと、
前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算するように適合された動き障害物信頼度計算ユニットと、
前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームとの各ブロックに対し、特性障害物信頼度を計算するように適合された特性障害物信頼度計算ユニットと、
前記現在フレームの各ブロックに対し、前記現在フレームと該現在フレームの直前にある前記Ｎ個の先行フレームとのブロックの前記動き障害物信頼度と前記特性障害物信頼度とに応じて、前記ブロックが障害物であるかどうかを順番に判定するように適合された第２のブロック障害物識別ユニットと、
前記各ブロックに応じて前記画像中の前記障害物を判定するように適合された障害物判定ユニットとを含み、
前記動き障害物信頼度計算ユニットが、
動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するように適合された仮想画像生成ユニットと、
前記ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、前記現在フレーム内の前記ブロックと前記仮想フレーム内の前記ブロックとの間の類似度を計算するように適合された第１動き信頼度計算ユニットと、
前記ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、前記現在フレーム内のブロックと時点ｎ−ｋにおける前記先行フレーム内のブロックとの間の類似度を計算するように適合された第２動き信頼度計算ユニットと、
前記第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、前記第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する前記第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、前記現在フレームの前記ブロックの動き障害物信頼度Ｃ＿Ｍは１であると判定し、そうでないならば、前記現在フレームの前記ブロックの動き障害物信頼度Ｃ＿Ｍが０であると判定するように適合された動き障害物信頼度判定ユニットとを含むことを特徴とする画像中の障害物を識別する装置。
【請求項１１】
前記特性障害物信頼度が、垂直特徴に基づく特性障害物信頼度、垂直エッジ特徴に基づく特性障害物信頼度、または、テクスチャ特徴に基づく特性障害物信頼度を含む、請求項１０記載の画像中の障害物を識別する装置。
【請求項１２】
前記特性障害物信頼度が垂直特徴に基づくとき、前記特性障害物信頼度計算ユニットが、
前記現在フレームのブロックが垂直特徴を有しているかどうかを判定し、判定結果を特性障害物信頼度判定ユニットに通知するように適合された垂直特徴判定ユニットと、
前記現在フレームの前記ブロックが垂直特徴を有していることを通知されたならば、前記現在フレームの前記ブロックの特性障害物信頼度Ｃ＿Ｆは１であると判定し、そうでないならば、前記現在フレームの前記ブロックの特性障害物信頼度Ｃ＿Ｆは０であると判定するように適合された特性障害物信頼度判定ユニットと、
を含むことを特徴とする請求項１１記載の画像中の障害物を識別する装置。
【請求項１３】
前記第２ブロック障害物識別ユニットが、
ブロックに対し、前記現在フレームと前記Ｎ個の先行フレームとにおける前記ブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きく、かつ、前記現在フレームと前記Ｎ個の先行フレームとにおける前記ブロックの中で値が１である特性障害物信頼度の個数が第２量スレッショルドより大きいならば、前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると判定し、そうでないならば、前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であると判定するように適合された第２全信頼度判定ユニットと、
前記現在フレームの前記ブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると通知されたならば、前記ブロックは障害物であると判定し、そうでないならば、前記ブロックは障害物ではないと判定するように適合された第２識別ユニットと、
を含むことを特徴とする請求項１０記載の画像中の障害物を識別する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２００８年１２月１５日に国家知識産権局に出願され、名称が「画像中の障害物を識別する方法および装置」であり、参照によって全体がそのまま本明細書に組み込まれる中国特許出願第２００８１０１８５８３３．４号の優先権を主張する。
【０００２】
本発明は、障害物識別の技術分野に関し、特に、画像中の障害物を識別する方法および装置に関する。
【背景技術】
【０００３】
この分野において、障害物とは、通常は地面より上にある３次元物体を示す。
【０００４】
現在では、一般的な一視点に基づく障害物識別方法は、動き補償に基づいている。
この考え方は、道路が平坦であり、かつ、照明条件が所定の期間に亘って、道路平面内の点のいずれかに対して固定されるとき、この点の画像の画素値が連続したフレーム中で変化しない、ということである。
先行フレームの画素のそれぞれが道路平面内の各点に対応すると仮定すると、カメラが動くとき、カメラ動きパラメータとイメージング基礎とに応じて先行フレームの画素から計算することができる仮想フレームを導き出すことができる。
従って、仮想フレームと、この時点で取得された現実フレームとの間の差は、道路平面内に存在しない点の唯一の結果である。
これらの差に対応する画素は、地面より上にある障害物である可能性がある。
【０００５】
この方法は、動き補償からの結果だけに基づいて障害物が画像中のどこかにあるかどうかを判定する。
しかし、動きパラメータの精度が低いとき、または、画像雑音による影響を受けるとき、動き補償からの結果が良くないことがあり、何かが誤って障害物として識別されることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例は、誤検出を低減することができる画像中の障害物を識別する方法および装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施例による画像中の障害物を識別する方法は、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するステップと、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算するステップと、
現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度に応じて、ブロックが障害物であるかどうかを順番に判定するステップと、
各ブロックに応じて画像中の障害物を判定するステップと、
を含む。
【０００８】
現在フレームの各ブロックに対し、動き障害物信頼度を計算するステップが、
ｉ）動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するステップと、
ｉｉ）あるブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、現在フレーム内のブロックと仮想フレーム内のブロックとの類似度を計算するステップと、
ｉｉｉ）当該ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、現在フレーム内のブロックと時点ｎ−ｋにおける先行フレーム内のブロックとの間の類似度を計算するステップと、
ｉｖ）当該ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍが１であり、そうでないならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍが０であるとするステップと、
ｖ）各ブロックの動き障害物信頼度を取得するためにステップｉｉ）からｉｖ）までを繰り返すステップと、
を含んでもよい。
【０００９】
現在フレームの各ブロックに対し、このブロックが障害物であるかどうかを判定するステップが、
あるブロックに対し、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きいならば、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であるとするステップと、
現在フレームの当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、当該ブロックが障害物であり、そうでないならば、当該ブロックが障害物ではないとするステップと、
を含んでもよい。
【００１０】
本発明の実施例による画像中の障害物を識別する別の方法は、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するステップと、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度、および、特性障害物信頼度を計算するステップと、
現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの当該ブロックの動き障害物信頼度、および、特性障害物信頼度に応じて、当該ブロックが障害物であるかどうかを順番に判定するステップと、
各ブロックに応じて画像中の障害物を判定するステップと、
を含む。
【００１１】
現在フレームの各ブロックの動き障害物信頼度を計算するステップが、
ｉ）動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するステップと、
ｉｉ）あるブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、現在フレーム内のブロックと仮想フレーム内のブロックとの間の類似度を計算するステップと、
ｉｉｉ）当該ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、現在フレーム内のブロックと時点ｎ−ｋにおける先行フレーム内のブロックとの間の類似度を計算するステップと、
ｉｖ）当該ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍが１であり、そうでないならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍが０であるとするステップと、
ｖ）各ブロックの動き障害物信頼度を取得するため、ステップｉｉ）からｉｖ）までを繰り返すステップと、
を含んでもよい。
【００１２】
特性障害物信頼度には、垂直特徴に基づく特性障害物信頼度、または、テクスチャ特徴に基づく特性障害物信頼度が含まれる。
【００１３】
現在フレームの各ブロックに対し、ブロックの垂直特徴に基づいて特性障害物信頼度を計算するステップが、
ａ）現在フレームのブロックが垂直特徴を有しているかどうかを判定し、そうであるならば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは１であり、そうでないならば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは０であるとするステップと、
ｂ）各ブロックの特性障害物信頼度を取得するため、ステップａ）を繰り返すステップと、
を含んでもよい。
【００１４】
現在フレームのブロックが垂直特徴を有しているかどうかを判定するステップが、
ａ０１）  ブロックの垂直方向強度Ｉｖを計算するステップと、
【数１】
0005276721.tif 000002
ここで、ｃｉ，ｊは現在フレームの行ｉ、および、列ｊの画素のグレースケール値、ｋは整数、Ｒはブロックであるときｉ，ｊ∈Ｒ、Ｎは画像の幅、Ｍは画像の高さである。
ａ０２）  ステップａ０１）による垂直方向強度Ｉｖが強度スレッショルドより大きいならば、ブロックが垂直特徴を有していると判定され、そうでないならば、ブロックが垂直特徴を有していないと判定されるステップと、
を含んでもよい。
【００１５】
現在フレームの各ブロックに対し、ブロックが障害物であるかどうかを判定するステップが、
あるブロックに対し、現在フレームとＮ個の先行フレームとにおける当該ブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きく、かつ、現在フレームとＮ個の先行フレームとにおける当該ブロックの中で値が１である特性障害物信頼度の個数が第２量スレッショルドより大きいならば、現在フレームの当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であるとするステップと、
現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、当該ブロックは障害物であり、そうでないならば、当該ブロックは障害物ではないとするステップと、
を含んでもよい。
【００１６】
本発明の実施例による画像中の障害物を識別する装置は、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するように適合された画像分割ユニットと、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算するように適合された動き障害物信頼度計算ユニットと、
現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度に応じて、当該ブロックが障害物であるかどうかを順番に判定するように適合された第１ブロック障害物識別ユニットと、
各ブロックに応じて画像中の障害物を判定するように適合された障害物判定ユニットと、
を含む。
【００１７】
動き障害物信頼度計算ユニットが、
動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するように適合された仮想画像生成ユニットと、
あるブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、現在フレーム内の当該ブロックと仮想フレーム内の当該ブロックとの類似度を計算するように適合された第１動き信頼度計算ユニットと、
あるブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、現在フレーム内の当該ブロックと時点ｎ−ｋにおける先行フレーム内の当該ブロックとの間の類似度を計算するように適合された第２動き信頼度計算ユニットと、
第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、現在フレームの当該ブロックの動き障害物信頼度Ｃ＿Ｍは１であると判定し、そうでないならば、現在フレームの当該ブロックの動き障害物信頼度Ｃ＿Ｍが０であると判定するように適合された動き障害物信頼度判定ユニットと、
を含んでもよい。
【００１８】
第１ブロック障害物識別ユニットが、
あるブロックに対し、現在フレームとＮ個の先行フレームとにおける当該ブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きいならば、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると判定し、そうでないならば、当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌは０であると判定するように適合された第１全信頼度判定ユニットと、
現在フレームの当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、当該ブロックは障害物であると判定し、そうでないならば、当該ブロックは障害物ではないと判定するように適合された第１識別ユニットと、
を含んでもよい。
【００１９】
本発明の別の実施例による画像中の障害物を識別する装置は、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するように適合された画像分割ユニットと、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算するように適合された動き障害物信頼度計算ユニットと、
現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、特性障害物信頼度を計算するように適合された特性障害物信頼度計算ユニットと、
現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度、および、特性障害物信頼度に応じて、このブロックが障害物であるかどうかを順番に判定するように適合された第２ブロック障害物識別ユニットと、
各ブロックに応じて画像中の障害物を判定するように適合された障害物判定ユニットと、
を含む。
【００２０】
動き障害物信頼度計算ユニットが、
動きパラメータを取得し、ｎ≧２かつｋ≧１である場合、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するように適合された仮想画像生成ユニットと、
あるブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、現在フレーム内の当該ブロックと仮想フレーム内の当該ブロックとの間の類似度を計算するように適合された第１動き信頼度計算ユニットと、
当該ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、現在フレーム内の当該ブロックと時点ｎ−ｋにおける先行フレーム内の当該ブロックとの間の類似度を計算するように適合された第２動き信頼度計算ユニットと、
第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍは１であると判定し、そうでないならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍが０であると判定するように適合された動き障害物信頼度判定ユニットと、
を含んでもよい。
【００２１】
特性障害物信頼度には、垂直特徴に基づく特性障害物信頼度、垂直エッジ特徴に基づく特性障害物信頼度、または、テクスチャ特徴に基づく特性障害物信頼度が含まれる。
【００２２】
特性障害物信頼度が垂直特徴に基づくとき、特性障害物信頼度計算ユニットが、
現在フレームのブロックが垂直特徴を有しているかどうかを判定し、判定結果を特性障害物信頼度判定ユニットに通知するように適合された垂直特徴判定ユニットと、
現在フレームのブロックが垂直特徴を有していることを通知されたならば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは１であると判定し、そうでないならば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは０であると判定するように適合された特性障害物信頼度判定ユニットと、
を含んでもよい。
【００２３】
第２ブロック障害物識別ユニットが、
あるブロックに対し、現在フレームとＮ個の先行フレームとにおける当該ブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きく、かつ、現在フレームとＮ個の先行フレームとにおける当該ブロックの中で値が１である特性障害物信頼度の個数が第２量スレッショルドより大きいならば、現在フレームの当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると判定し、そうでないならば、当該ブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であると判定するように適合された第２全信頼度判定ユニットと、
現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると通知されたならば、当該ブロックは障害物であると判定し、そうでないならば、当該ブロックは障害物ではないと判定するように適合された第２識別ユニットと、
を含んでもよい。
【発明の効果】
【００２４】
動き補償だけに基づく従来の方法と比べると、本発明の実施例による画像中の障害物を識別する方法および装置は、絶対レベルでの動き補償、および、相対レベルでの動き補償の両方を使用するので、誤り検出を低減し、画像中の障害物を識別する精度を改善する。
【００２５】
動き補償だけに基づく従来の方法と比べると、本発明の他の実施例による画像中の障害物を識別する方法および装置は、絶対レベルでの動き補償、および、相対レベルでの動き補償の両方だけでなく、特性分析戦略もまた使用するため、誤検出をさらに低減し、画像中の障害物を識別する精度をさらに改善することができる。
【００２６】
本発明の実施例によって提供される技術的解決法をより明瞭に説明するため、添付図面に基づき実施例について以下で簡単に検討される。
ここに記載された図面は、本発明のほんのいくつかの実施例を表現するにすぎないこと、および、当業者であれば、創造的な努力なしでこれらの図面に基づいて他の図面を導き出せることが分かるであろう。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例による画像中の障害物を識別する方法のフローチャート。
【００２８】
【図２】本発明の実施例による現在フレームの各ブロックのための動き障害物信頼度を計算する方法のフローチャート。
【００２９】
【図３】本発明の実施例による先行フレームからの定義されたワールド座標系とカメラ座標系との間の関係を示す図。
【００３０】
【図４】本発明の実施例による仮想現在フレームを示す図。
【００３１】
【図５】本発明の実施例による画像中の障害物を識別する装置の構成図。
【００３２】
【図６】本発明の別の実施例による画像中の障害物を識別する装置の構成図。
【発明を実施するための形態】
【００３３】
本発明の実施例によって提供される技術的解決法は、本発明の実施例の添付図面と組み合わせて以下で明瞭かつ完全に記載される。
ここに記載された実施例は、本発明のありとあらゆる実施例ではなく、本発明のほんのいくつかの実施例であることが分かるであろう。
ここに記載された実施例に基づいて創造的な努力なしに当業者によって達成される他の実施例は、当然に本発明の保護範囲に含まれる。
【００３４】
本発明の実施例である画像中の障害物を識別する方法は、現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するステップと、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算するステップと、現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度に応じて、ブロックが障害物であるかどうかを順番に判定するステップと、各ブロックに応じて画像中の障害物を判定するステップとを含む。
動き補償だけに基づく従来の方法と比べると、本発明は、絶対レベルの動き補償、および、相対レベルの動き補償の両方を使用するので、誤検出を低減し、画像中の障害物を識別する精度を改善する。
【００３５】
本発明の実施例による画像中の障害物を識別する別の方法は、現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するステップと、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度と特性障害物信頼度とを計算するステップと、現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度と特性障害物信頼度とに応じて、このブロックが障害物であるかどうかを順番に判定するステップと、各ブロックに応じて画像中の障害物を判定するステップとを含む。
動き補償だけに基づく従来の方法と比べると、本発明は、絶対レベルの動き補償、および、相対レベルの動き補償の両方だけでなく、特性分析戦略もまた使用するため、誤検出を低減し、検出精度を改善し、画像中の障害物を正確に識別することができる。
【００３６】
本発明の実施例による画像中の障害物を識別する方法のフローチャートである図１に示されるように、本実施例は、絶対レベルの動き補償、および、相対レベルの動き補償の両方だけでなく、特性分析戦略もまた使用する。
具体的に、この方法は、以下のステップを含む。
【００３７】
ステップ１０１、画像をブロックに区分する。
具体的には、現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分する。
【００３８】
例えば、第一に、ｎ≧２であり、フレーム間の間隔がΔｔと表されるとして、現在フレームＦｎ（すなわち、時点ｎにおけるフレーム）とこの現在フレームの直前にあるＮ個の先行フレームとが画像シーケンスから取得される。
【００３９】
第二に、各フレームが複数のブロックに区分される。
ブロックは、画像を完全に分けることができるどのような形状、例えば、四角形、または、三角形でもよい。
本実施例では、フレームは、Ｎ×Ｍ画素の四角形ブロックに重なり合わないで区分される。
よって、各フレームに対し、同数の等しいサイズの四角形ブロックが得られる。
フレームが複数の四角形ブロックに区分される限り、具体的にどのようにフレームが分けられるかに関する制限はない。
【００４０】
Ｎの具体的な値、すなわち、現在フレームの直前にある先行フレームの数は、実際の必要性に応じて判定される。
例えば、Ｎは、対象の動きの速度に応じて、対象がカメラの前方に存在する期間に捕捉されたフレームの数として決定されてもよい。
【００４１】
ステップ１０２、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、動き障害物信頼度を計算する。
【００４２】
動き障害物信頼度は、ブロックが障害物であるかどうかに関する動き補償に基づく信頼度を指す。
ここで、従来の動き補償は、絶対レベルに基づく動き補償だけを含むのに対して、本発明における動き補償は、絶対レベルに基づく動き補償、および、相対レベルに基づく動き補償の両方を含むので、本実施例の動き補償は、従来の動き補償と些か異なる。
【００４３】
現在フレームの直前にあるＮ個の先行フレームの各ブロックに対する動き障害物信頼度を計算する方法は、現在フレームの各ブロックに対する動き障害物信頼度を計算する方法と同じであることが分かる。
従って、現在フレームの各ブロックに対する動き障害物信頼度を計算する方法だけが以下に記述され、現在フレームの直前にあるＮ個の先行フレームについての方法は省略される。
【００４４】
次に、本発明の一実施例による現在フレームの各ブロックについて動き障害物信頼度を計算する方法のフローチャートが図２に示される。
具体的に、この方法は、以下のステップを含む。
【００４５】
ステップ２０１、カメラ動きパラメータを取得する。
【００４６】
カメラ動きパラメータは、センサ、例えば、速度センサ、もしくは、ジャイロスコープ・センサを介して取得されるか、または、画像シーケンスから計算されること、例えば、オプティカル・フロー法、動き構造復元（ＳＦＭ）法、もしくは、特徴点検出に基づく方法か、あるいは、直接法によって推定されてもよい。
例えば、文献１：「Ａ  ｒｏｂｕｓｔ  ｍｅｔｈｏｄ  ｆｏｒ  ｃｏｍｐｕｔｉｎｇ  ｖｅｈｉｃｌｅ  ｅｇｏ−ｍｏｔｉｏｎ」は、動きパラメータを推定するため直接法を使用し、文献２：「Ｔｒａｎｓｆｏｒｍｉｎｇ  ｃａｍｅｒａ  ｇｅｏｍｅｔｏｒｙ  ｔｏ  ａ  ｖｉｒｔｕａｌ  ｄｏｗｎｗａｒｄ−ｌｏｏｋｉｎｇ  ｃａｍｅｒａ：ｒｏｂｕｓｔ  ｅｇｏ−ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  ｇｒｏｕｎｄ−ｌａｙｅｒ  ｄｅｔｅｃｔｉｏｎ」は、動きパラメータを取得するため修正直接法を使用する。
本発明の本実施例では、カメラ動きパラメータは、文献１の直接法を使用して推定される。
【００４７】
本発明の本実施例では、ワールド座標系の原点［Ｏ；Ｘｗ，Ｙｗ，Ｚｗ］は、先行フレームからのカメラ座標系の原点［Ｏ’；Ｘｃ，Ｙｃ，Ｚｃ］と一致することと、回転角がこれらの軸の間に存在することとを仮定する。
図３に示されるように、ワールド座標系のＺｗ軸は、道路平面に平行であり、Ｙｗ軸は、道路平面に垂直である。
【００４８】
道路平面仮定によれば、カメラ動きパラメータｍは、ｍ＝｛ｔｘ，ｔｚ，ωｙ｝によって、すなわち、Ｘｗ軸とＺｗ軸とに沿った移動と、Ｙｗ軸周りの回転とによって与えられる。
【００４９】
ステップ２０２、ｎ≧２かつｋ≧１として、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成する。
【００５０】
先行フレーム（本実施例では、時点ｎ−ｋ）の各画素が道路平面（ここで、Ｙｗ＝カメラ高さ）の点の画像であるとの仮定の下に、仮想フレームは、図４に示されるように、新しい位置へ移動させられたカメラを用いた道路平面内の点の新しい画像によって形成されたフレームを示す。
新しいカメラ位置を用いて仮想フレームを生成する方法が、先行フレーム内の画素Ｐの実施例を用いて以下に記述される。
【００５１】
先行フレーム内の画素Ｐが道路平面内の点Ｐ０の画像（実際には、３次元物体の点Ｐ１の画像）であると仮定すると、カメラが移動させられたとき、点Ｐ０は、仮想現在フレーム内にあり、画素Ｐに対応する画像Ｐ’を有することになり、すなわち、画素Ｐ’は、画素Ｐのグレースケール値を有することになる。
同じ原理によれば、仮想現在フレーム内の他の画素と先行フレーム内の画素との間の対応関係を導出することができ、それによって、新しいカメラ位置を用いて仮想現在フレームを取得する。
【００５２】
仮想フレーム内の画素Ｐ’の座標を計算する方法は、以下に記述される。
【００５３】
例えば、先行フレーム内の画素Ｐ（ｒ，ｃ）は、ｒ、および、ｃがそれぞれ行座標、および、列座標として、道路平面内の点Ｐ０（Ｘｗ，Ｙｗ，Ｚｗ）の画像である。
【００５４】
カメラ結像式（ビデオカメラ結像式としても知られる）によれば、点Ｐ０のワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）は、
【数２】
0005276721.tif 000003
によって与えられる。
【００５５】
式中、αｘ、αｙ、ｕ０、ｖ０は、カメラのキャリブレーションにより取得することができるカメラの内部パラメータであり、
ｔ＝［Ｔｘ，Ｔｙ，Ｔｚ］Ｔは、変換ベクトルであり、Ｔｘ、Ｔｙ、Ｔｚがワールド座標系の中でのカメラ座標系の原点の位置を示し、カメラの設置中に取得することができるカメラの外部パラメータであり、また、
【数３】
0005276721.tif 000004
は、回転行列であり、α、β、γがそれぞれワールド座標系のＸ、Ｙ、Ｚ軸の周りのカメラ座標系の回転角を表現し、カメラの設置中に取得することができるカメラの外部パラメータであり、Ｙｗ＝カメラ高さと、画素の座標Ｐ（ｒ，ｃ）とは、既知である。
【００５６】
方程式（１）を解くことにより、Ｘｗ、Ｙｗ、Ｚｃを得ることができ、Ｚｃがカメラ座標系の中のＰのＺ軸座標である。
【００５７】
取得された動きパラメータｍ＝｛ｔｘ，ｔｚ，ωｙ｝を使用して、ワールド座標系の中でのカメラ座標系の原点の移動後座標は、Ｔｘ＋ｔｘ、Ｔｙ、Ｔｚ＋ｔｚによって与えられ、ワールド座標系のｘ、ｙ、ｚ軸周りのカメラ座標系の回転角は、α、β＋ωｙ、γとなる。
カメラの更新された回転行列、および、変換行列と、取得されたＰ０のワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）とによれば、右辺が既知であるカメラ結像方程式（１）を解くことにより、左辺の未知数、すなわち、仮想フレーム内での点Ｐ０の画像Ｐ’の座標が得られる。
具体的には、上記の変換に基づいて、先行フレームＦｎ−ｋ内の全画素は、動きパラメータに応じて新しい仮想フレームＦ’ｎを生成することが可能である。
無雑音と動きが平面であるとすると、仮想フレーム内の平面領域は、現在フレームＦｎ内の平面領域と一致するが、非平面領域は異なる。
この原理は、ブロックが３次元物体であるかどうかに関する信頼度を判定するため後で使用されることになる。
【００５８】
ステップ２０３、あるブロックに対し、動き補償に基づく第１動き信頼度Ｃ＿Ｍ＿Ａ１として、現在フレーム内のブロックと時点ｎ−ｋにおける先行フレームに対応する仮想現在フレーム内のブロックとの間の類似度を計算する。
【００５９】
現在フレームと仮想フレームとの間の類似度は、実際には絶対レベルの動き補償である第１動き信頼度Ｃ＿Ｍ＿Ａ１と呼ばれ、現在フレームと時点ｎ−ｋにおける実際のフレームとの間の類似度は、実際には動き補償なしの第２動き信頼度Ｃ＿Ｍ＿Ａ２と呼ばれ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が実際には相対レベルの動き補償であることに留意されたい。
【００６０】
具体的には、ステップ２０３は、Ｆｎのブロック内の各画素に対し、仮想フレーム内で同じ座標を有している画素を見つけるステップと、ブロックが障害物であるかどうかに関する第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、対応する画素の値に基づいて現在フレーム内のブロックと仮想現在フレーム内のブロックとの類似度を計算するステップとを含む。
正規化相関（ＮＣ）が類似度：
【数４】
0005276721.tif 000005
として使用されてもよい。
【００６１】
式中、ブロックのサイズは、Ｎ＊Ｍであり、Ｘ（ｉ，ｊ）は、Ｆｎ内の画素（ｉ，ｊ）のグレースケール値であり、Ｘ’（ｉ，ｊ）は、Ｆｎの仮想フレームＦ’ｎ内の画素（ｉ，ｊ）のグレースケール値である。
【００６２】
ステップ２０４、ブロックに対し、動き補償なしの第２動き信頼度Ｃ＿Ｍ＿Ａ２として、現在フレーム内のブロックと時点ｎ−ｋにおける先行フレーム内のブロックとの類似度を計算する。
【００６３】
特に、Ｆｎのブロック内の各画素に対し、Ｆｎ−ｋ内で同じ座標をもつ画素が見つけられ、ブロックが障害物であるかどうかに関する第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、現在フレーム内のブロックと時点ｎ−ｋにおける先行フレーム内のブロックとの間の類似度が画素ペアの値に基づいて計算される。
正規化相関（ＮＣ）が類似度：
【数５】
0005276721.tif 000006
として使用されてもよい。
【００６４】
式中、ブロックのサイズは、Ｎ＊Ｍであり、Ｘ（ｉ，ｊ）は、Ｆｎ内の画素（ｉ，ｊ）のグレースケール値であり、Ｘ’’（ｉ，ｊ）は、時点ｎ−ｋにおける先行フレームＦ’’ｎ内の画素（ｉ，ｊ）のグレースケール値である。
【００６５】
ステップ２０５、動き障害物信頼度Ｃ＿Ｍを判定する。
【００６６】
具体的には、第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きく、かつ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍは１であり、そうでないならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍは０である。
【００６７】
すなわち、上記の動き障害物信頼度Ｃ＿Ｍは、（Ｃ＿Ｍ＿Ａ１が第１動きスレッショルドより大きいとき）動き補償の絶対レベルに基づいて取得され、（Ｃ＿Ｍ＿Ａ２に対するＣ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいとき）動き補償の相対レベルに基づいて取得される。
【００６８】
「第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率」は、広義の用語であり、Ｃ＿Ｍ＿Ａ１／Ｃ＿Ｍ＿Ａ２、（Ｃ＿Ｍ＿Ａ１−Ｃ＿Ｍ＿Ａ２）／（１−Ｃ＿Ｍ＿Ａ２）、または、他の形として解釈することができることに留意されたい。
【００６９】
ステップ２０６、各ブロックの動き障害物信頼度を取得するため、ステップ２０３〜２０５を繰り返す。
【００７０】
ステップ１０３、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対し、特性障害物信頼度Ｃ＿Ｆを計算する。
【００７１】
特性障害物信頼度は、垂直特徴に基づく特性障害物信頼度、垂直エッジ特徴に基づく特性障害物信頼度、または、テクスチャ特徴に基づく特性障害物信頼度を含む。
【００７２】
特性障害物信頼度Ｃ＿Ｆを計算する方法は、垂直特徴の実施例と共に以下に記述される。
【００７３】
ステップａ、現在フレームのブロックが垂直特徴を有しているかどうかを判定し、そうであれば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは１であり、そうでなければ、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは０となる。
具体的には、現在フレームのブロックが垂直特徴を有しているかどうかを判定するステップは、以下のステップを含む。
【００７４】
ステップａ０１）、ブロックの垂直方向強度Ｉｖ：
【数６】
0005276721.tif 000007
を計算する。
【００７５】
式中、ｃｉ，ｊは、現在フレームの行ｉおよび列ｊにおける画素のグレースケール値であり、ｋは整数であり、Ｒがブロックであるとき、ｉ，ｊ∈Ｒであり、Ｎは画像の幅であり、Ｍは画像の高さである。
【００７６】
ステップａ０２）、ステップａ０１）による垂直方向強度Ｉｖが強度スレッショルドＴより大きいならば、すなわち、Ｉｖ＞Ｔであるならば、ブロックは垂直特徴を有していると判定され、そうでないならば、このブロックは垂直特徴を有していないと判定される。
【００７７】
ステップｂ、各ブロックの特性障害物信頼度を取得するため、ステップａを繰り返す。
【００７８】
ステップ１０４、現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度、および、特性障害物信頼度に応じて、ブロックが障害物であるかどうかを順番に判定する。
【００７９】
具体的には、あるブロックに対し、Ｎ個の先行フレーム内のブロックの動き障害物信頼度がＣ＿Ｍｔ、Ｃ＿Ｍｔ−１、・・・、Ｃ＿Ｍｔ−Ｎ−１であると仮定して、１である動き障害物信頼度の個数Ｓｕｍ＿Ｍを計算する。
【００８０】
Ｎ個の先行フレーム内におけるブロックの特性障害物信頼度がＣ＿Ｆｔ、Ｃ＿Ｆｔ−１、・・・、Ｃ＿Ｆｔ−Ｎ−１であると仮定して、１である特性障害物信頼度の個数Ｓｕｍ＿Ｆを計算する。
【００８１】
Ｓｕｍ＿Ｍが第１量スレッショルドＳ＿Ｍ＿Ｌｉｍｉｔより大きく、かつ、Ｓｕｍ＿Ｆが第２量スレッショルドＣ＿Ｆ＿Ｌｉｍｉｔより大きいならば、全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、全信頼度Ｃ＿Ｔｏｔａｌは０である。
【００８２】
現在フレーム内のブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、ブロックは障害物であり、そうでないならば、ブロックは障害物ではない。
【００８３】
すなわち、あるブロックに対し、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きく、かつ、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である特性障害物信頼度の個数が第２量スレッショルドより大きいならば、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、このブロックの全信頼度Ｃ＿Ｔｏｔａｌが０である。
現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、ブロックが障害物であり、そうでないならば、ブロックは障害物ではない。
【００８４】
ステップ１０５、各ブロックに応じて画像中の障害物を判定する。
【００８５】
具体的には、各ブロックに対し、すべての結果を合成することにより、ブロックが障害物であるかどうかを判定したとき、画像中の障害物を取得することができる。
【００８６】
動き補償だけに基づく従来の方法と比べて、図１による画像中の障害物を識別する方法は、絶対レベル動き補償、および、相対レベル動き補償の両方だけでなく、特性分析戦略もまた使用して誤検出を低減し、検出精度を改善し、そして、画像中の障害物を正確に識別することができる。
【００８７】
図１に示された実施例は、好ましい実施例である。実際には、別の方法は、特性分析に基づく補償なしで、（絶対レベル、および、相対レベルを含む）動き補償だけを使用してもよく、これにより誤検出をさらに低減することができる。
この方法は、図１に示されたステップに類似したステップを有してもよいが、ステップ１０３は実行されず、ステップ１０４は、現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度に応じて、ブロックが障害物であるかどうかを順番に判定するように修正される。
そして、現在フレームの各ブロックに対し、このブロックが障害物であるかどうかを判定するステップは、以下のステップを含む。
【００８８】
具体的には、ブロックに対し、Ｎ個の先行フレームのブロックの動き障害物信頼度がＣ＿Ｍｔ、Ｃ＿Ｍｔ−１、・・・、Ｃ＿Ｍｔ−Ｎ−１であると仮定して、１である動き障害物信頼度の個数Ｓｕｍ＿Ｍを計算し、Ｓｕｍ＿Ｍが第１量スレッショルドＳ＿Ｍ＿Ｌｉｍｉｔより大きいならば、全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、全信頼度Ｃ＿Ｔｏｔａｌは０である。
【００８９】
現在フレーム内のブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、このブロックは障害物であり、そうでないならば、このブロックは障害物ではない。
【００９０】
すなわち、ブロックに対し、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きいならば、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であり、そうでないならば、ブロックの全信頼度Ｃ＿Ｔｏｔａｌは０である。
現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、このブロックは障害物であり、そうでないならば、このブロックは障害物ではない。
【００９１】
図５に示されるように、本発明の実施例は、図１に示された実施例に対応する画像中の障害物を識別する装置をさらに提供する。
この装置は、画像分割ユニット５０１と、動き障害物信頼度計算ユニット５０２と、特性障害物信頼度計算ユニット５０３と、第２ブロック障害物識別ユニット５０４と、障害物判定ユニット５０５とを含む。
【００９２】
画像分割ユニット５０１は、現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するために適合している。
【００９３】
動き障害物信頼度計算ユニット５０２は、現在フレームと現在フレームの直前にあるＮ個の先行フレームの各ブロックに対する動き障害物信頼度を計算するために適合している。
【００９４】
特性障害物信頼度計算ユニット５０３は、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対する特性障害物信頼度を計算するために適合している。
特性障害物信頼度は、垂直特徴に基づく特性障害物信頼度、垂直エッジ特徴に基づく特性障害物信頼度、または、テクスチャ特徴に基づく特性障害物信頼度を含んでよい。
【００９５】
第２ブロック障害物識別ユニット５０４は、現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度、および、特性障害物信頼度に応じて、ブロックが障害物であるかどうかを順番に判定するために適合している。
【００９６】
障害物判定ユニット５０５は、各ブロックに応じて画像中の障害物を判定するために適合している。
【００９７】
上記の動き障害物信頼度計算ユニット５０２は、仮想画像生成ユニットと、第１動き信頼度計算ユニットと、第２動き信頼度計算ユニットと、動き障害物信頼度判定ユニットとをさらに含んでよい。
【００９８】
仮想画像生成ユニットは、動きパラメータを取得し、ｎ≧２かつｋ≧１として、時点ｎ−ｋにおける先行フレームに対応する仮想現在フレームを生成するために適合している。
【００９９】
第１動き信頼度計算ユニットは、ブロックに対し、第１動き信頼度Ｃ＿Ｍ＿Ａ１を取得するため、現在フレーム内のブロックと仮想フレーム内のブロックとの間の類似度を計算するために適合している。
【０１００】
第２動き信頼度計算ユニットは、ブロックに対し、第２動き信頼度Ｃ＿Ｍ＿Ａ２を取得するため、現在フレーム内のブロックと時点ｎ−ｋにおける先行フレーム内のブロックとの間の類似度を計算するために適合している。
【０１０１】
動き障害物信頼度判定ユニットは、第１動き信頼度Ｃ＿Ｍ＿Ａ１が第１動ききスレッショルドより大きく、かつ、第２動き信頼度Ｃ＿Ｍ＿Ａ２に対する第１動き信頼度Ｃ＿Ｍ＿Ａ１の比率が第２動きスレッショルドより大きいならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍは１であると判定し、そうでないならば、現在フレームのブロックの動き障害物信頼度Ｃ＿Ｍが０であると判定するために適合している。
【０１０２】
特性障害物信頼度が垂直特徴に基づくとき、特性障害物信頼度計算ユニット５０３は、垂直特徴判定ユニットと、特性障害物信頼度判定ユニットとを含んでもよい。
【０１０３】
垂直特徴判定ユニットは、現在フレームのブロックが垂直特徴を有しているかどうかを判定し、判定結果を特性障害物信頼度判定ユニットに通知するために適合している。
【０１０４】
特性障害物信頼度判定ユニットは、現在フレームのブロックが垂直特徴を有していることを通知されたならば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは１であると判定し、そうでないならば、現在フレームのブロックの特性障害物信頼度Ｃ＿Ｆは０であると判定するために適合している。
【０１０５】
上述の第２ブロック障害物識別ユニット５０４は、第２全信頼度判定ユニットと、第２識別ユニットとを含むことがある。
【０１０６】
第２全信頼度判定ユニットは、ブロックに対し、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きく、かつ、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である特性障害物信頼度の個数が第２量スレッショルドより大きいならば、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると判定し、そうでないならば、このブロックの全信頼度Ｃ＿Ｔｏｔａｌが０であると判定するために適合している。
【０１０７】
第２識別ユニットは、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると通知されたならば、このブロックは障害物であると判定し、そうでないならば、このブロックは障害物ではないと判定するために適合している。
【０１０８】
図６に示されるように、本発明の実施例は、画像中の障害物を識別する装置をさらに提供する。
図５の実施例と異なり、本装置は、特性障害物信頼度計算ユニット５０３を含まない。
すなわち、図６の装置は、画像分割ユニット６０１と、動き障害物信頼度計算ユニット６０２と、第１ブロック障害物識別ユニット６０３と、障害物判定ユニット６０４とを含む。
【０１０９】
画像分割ユニット６０１は、現在フレームと現在フレームの直前にあるＮ個の先行フレームとを取得し、各フレームが複数のブロックに区分されるように、取得されたフレームを同じように区分するために適合している。
【０１１０】
動き障害物信頼度計算ユニット６０２は、現在フレームと現在フレームの直前にあるＮ個の先行フレームとの各ブロックに対する動き障害物信頼度を計算するために適合している。
【０１１１】
第１ブロック障害物識別ユニット６０３は、現在フレームの各ブロックに対し、現在フレームと現在フレームの直前にあるＮ個の先行フレームとのブロックの動き障害物信頼度に応じて、ブロックが障害物であるかどうかを順番に判定するために適合している。
【０１１２】
障害物判定ユニット６０４は、各ブロックに応じて画像中の障害物を判定するために適合している。
【０１１３】
動き障害物信頼度計算ユニット６０２は、図５における動き障害物信頼度計算ユニット５０２と同じでもよく、そして、仮想画像生成ユニットと、第１の動き信頼度計算ユニットと、第２の動き信頼度計算ユニットと、動き障害物信頼度判定ユニットとを含む。
詳細な説明はここでは省略される。
【０１１４】
第１ブロック障害物識別ユニット６０３は、以下のユニットを含んでもよい。
【０１１５】
第１全信頼度判定ユニットは、ブロックに対し、現在フレームとＮ個の先行フレームとにおけるブロックの中で値が１である動き障害物信頼度の個数が第１量スレッショルドより大きいならば、現在フレームのブロックの全信頼度Ｃ＿Ｔｏｔａｌは１であると判定し、そうでないならば、このブロックの全信頼度Ｃ＿Ｔｏｔａｌは０であると判定するために適合している。
【０１１６】
第１識別ユニットは、現在フレームのこのブロックの全信頼度Ｃ＿Ｔｏｔａｌが１であるならば、このブロックは障害物であると判定し、そうでないならば、このブロックは障害物ではないと判定するために適合している。
【０１１７】
動き補償だけに基づく従来の方法と比べると、本発明の他の実施例による画像中の障害物を識別する方法、および、装置は、動き補償の絶対レベル、および、動き補償の相対レベルの両方だけでなく、特性分析戦略もまた使用し、誤り検出をさらに低減し、画像中の障害物を識別する精度をさらに改善することができる。
【０１１８】
本明細書中で方法の実施例において記載されたステップの全部、または、一部は、コンピュータ読み取り可能な媒体、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、または、光ディスクに記憶され、関連するハードウェアに命令するプログラムによって実施できることが当業者によって理解できる。
【０１１９】
上述した本発明の好ましい実施例は、本発明の範囲を限定するものとして解釈されるべきでない。
本発明の要旨、および、原理の範囲に含まれる変形例、均等物、改良物などはいずれも本発明の範囲に含まれる。
【符号の説明】
【０１２０】
５０１  画像分割ユニット
５０２  動作障害物信頼度計算ユニット
５０３  特性障害物信頼度計算ユニット
５０４  第２ブロック障害物識別ユニット
５０５  障害物判定ユニット
６０１  画像分割ユニット
６０２  動き障害物信頼度計算ユニット
６０３  第１ブロック障害物識別ユニット
６０４  障害物判定ユニット
【図１】
0005276721.tif 000009
【図２】
0005276721.tif 000010
【図３】
0005276721.tif 000011
【図４】
0005276721.tif 000012
【図５】
0005276721.tif 000013
【図６】
0005276721.tif 000014