(57)【要約】【課題】少ない計算量で視差を算出することができる視差検出装置を提供する。【解決手段】視差検出装置（１Ａ）は、ステレオカメラ（１１）にて連続撮像された左カメラ画像（ＣＬ）及び右カメラ画像（ＣＲ）に基づいて視差画像を作成する。撮像タイミングの異なる２枚の左カメラ画像（ＣＬ）から左動き領域座標（ＥＬ）を検出する動き領域検出部（１３Ａ）と、左カメラ画像（ＣＬ）から検出された左動き領域座標（ＥＬ）について、右カメラ画像（ＣＲ）から得られる類似領域との視差を算出する視差算出部（１４Ａ）とを備えている。【選択図】図１
2017010382.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラにて連続撮像された第１カメラ画像及び第２カメラ画像に基づいて視差画像を作成する視差検出装置において、
撮像タイミングの異なる２枚の上記第１カメラ画像から動き領域を検出する動き領域検出部と、
上記第１カメラ画像から検出された動き領域について、第２カメラ画像から得られる類似領域との視差を算出する視差算出部とを備えていることを特徴とする視差検出装置。
【請求項２】
前記ステレオカメラにて連続撮像された第１カメラ画像及び第２カメラ画像の各々について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像及び第２動き画像を作成する動き画像作成部を備え、
前記動き領域検出部は、上記第１動き画像において変化のあった画素が、該第１動き画像の全領域を区分した各区分領域について第１割合以上存在する区分領域を第１動き領域として検出すると共に、
前記視差算出部は、
上記第１動き画像の第１動き領域の特徴と類似する特徴を有する第２動き領域を第２動き画像から検出する動き画像類似領域検出部と、
上記第１動き画像の第１動き領域と第２動き画像の第２動き領域との視差を算出する動き画像視差算出部とを備えていることを特徴とする請求項１記載の視差検出装置。
【請求項３】
前記ステレオカメラにて撮像された第１カメラ画像について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像を作成する第１動き画像作成部を備え、
前記動き領域検出部は、上記第１動き画像において変化のあった画素が、該第１動き画像の全領域を区分した各区分領域について、第２割合以上存在する区分領域を第１動き領域として検出すると共に、
前記視差算出部は、
上記第１動き画像の第１動き領域と同一領域に表示されている上記第１カメラ画像の第１画像領域の特徴に類似する特徴を有する第２画像領域を上記ステレオカメラにて撮像された第２カメラ画像から検出するカメラ画像類似領域検出部と、
上記第１カメラ画像の第１画像領域と上記第２カメラ画像の第２画像領域との視差を算出するカメラ画像視差算出部とを備えていることを特徴とする請求項１記載の視差検出装置。
【請求項４】
前記ステレオカメラにて撮像された第１カメラ画像及び第２カメラ画像の各々について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像及び第２動き画像を作成する動き画像作成部を備え、
前記動き領域検出部は、上記第１動き画像において変化のあった画素が、該第１動き画像の全領域を区分した各区分領域について、第１割合以上かつ第２割合（第１割合＜第２割合）未満存在する区分領域を少動き領域として検出すると共に、第２割合以上存在する区分領域を多動き領域として検出すると共に、
前記視差算出部は、
上記第１動き画像の少動き領域の特徴と類似する特徴を有する第２動き領域を第２動き画像から検出する動き画像類似領域検出部と、
上記第１動き画像の多動き領域と同一領域に表示されている上記第１カメラ画像の第１画像領域の特徴に類似する特徴を有する第２画像領域を上記ステレオカメラにて撮像された第２カメラ画像から検出するカメラ画像類似領域検出部と、
上記第１動き画像の少動き領域と上記第２動き画像の第２動き領域との視差を算出する動き画像視差算出部と、
上記第１カメラ画像の第１画像領域と上記第２カメラ画像の第２画像領域との視差を算出するカメラ画像視差算出部とを備えていることを特徴とする請求項１記載の視差検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラにて連続撮像された第１カメラ画像及び第２カメラ画像に基づいて視差画像を作成する視差検出装置に関するものである。
【背景技術】
【０００２】
従来、ステレオカメラによって撮影した第１カメラ画像及び第２カメラ画像から、動く物体つまり動物体を認識する視差検出装置が知られている。
【０００３】
例えば、特許文献１には、視差検出装置としての動物体検出装置が開示されている。この動物体検出装置は、ステレオカメラによる左右の画像間の視差を示す視差画像を時間的に比較することにより、動く物体を検出する。
【０００４】
具体的には、上記特許文献１に開示された視差検出装置としての動物体検出装置１００は、図１１に示すように、視差算出部１０１、時間的差分算出部１０２、初期差分算出部１０３、及び動物体検出部１０４を備えている。そして、まず、視差算出部１０１が、ステレオカメラを構成する２台のカメラ間における視差を算出し、画像化した視差画像を作成する。ここで、視差画像は、距離画像とも言われ、第１カメラ画像及び第２カメラ画像の視差、つまりこれら２つの画像に投影される対象点の位置のずれを表した画像であり、視差の大きさを濃淡で表す。例えば、視差画像は、ずれの大きい部分をグレースケールにおける白で表し、ずれの小さい部分をグレースケールにおける黒で表わす。この結果、視差画像により、白で表された部分が近距離位置に存在し、黒で表された部分が遠距離位置に存在することが分かる。
【０００５】
次に、時間的差分算出部１０２は、視差算出部１０１により算出された視差画像の単位時間における差分画像を算出すると共に、２台のカメラ間に共通の撮影領域における時間的な差分画像から連結領域を抽出する。これにより、視差画像の時間的な変化量を知る。
【０００６】
次いで、初期差分算出部１０３は、視差算出部１０１により算出された視差画像のリファレンス画像に対する差分画像を算出すると共に、２台のカメラ間に共通の撮影領域におけるリファレンス画像との差分画像に対して二値化処理及び膨張伸縮処理を施し、連結領域を抽出する。そして、動物体検出部１０４は、抽出された２つの上記連結領域のうち、少なくとも一方の連結領域の画素値が閾値を超える場合に、動く物体であるとして検出している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２５８９５４号公報（２００５年９月２２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の特許文献１に開示された動物体検出装置１００では、視差算出部１０１においてステレオカメラの画像から視差を算出するにあたって、全ての画像領域において、視差を算出している。このため、視差を算出するための計算量が多くなってしまい、処理に高価なプロセッサを使用したり、専用のハードウェアを準備したりする必要がある。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであって、その目的は、少ない計算量で視差を算出することができる視差検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一態様における視差検出装置は、上記の課題を解決するために、ステレオカメラにて連続撮像された第１カメラ画像及び第２カメラ画像に基づいて視差画像を作成する視差検出装置において、撮像タイミングの異なる２枚の上記第１カメラ画像から動き領域を検出する動き領域検出部と、上記検出された動き領域について、視差を算出する視差算出部とを備えていることを特徴としている。
【発明の効果】
【００１１】
本発明の一態様によれば、少ない計算量で視差を算出することができる視差検出装置を提供するという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１における視差検出装置の構成を示すブロック図である。
【図２】（ａ）は上記視差検出装置のステレオカメラにおける左カメラで撮影した画像の一例を示す図であり、（ｂ）はステレオカメラにおける右カメラで撮影した画像の一例を示す図である。
【図３】（ａ）は上記視差検出装置において、左動き画像作成部によって作成された左動き画像の一例を示す図であり、（ｂ）は右動き画像作成部によって作成された右動き画像の一例を示す図である。
【図４】上記視差検出装置において、動き領域検出部によって動き領域を検出する方法を示す図である。
【図５】（ａ）は上記視差検出装置の視差算出部によって視差を算出する方法を示すものであって、左動き画像作成部によって作成された左動き画像を示す図であり、（ｂ）は右動き画像作成部によって作成された右動き画像を示す図である。
【図６】上記視差検出装置において、視差画像作成部により作成された視差画像の一例を示す図である。
【図７】本発明の実施形態２における視差検出装置の構成を示すブロック図である。
【図８】本発明の実施形態３における視差検出装置の構成を示すブロック図である。
【図９】（ａ）は上記視差検出装置において、視差算出部によって視差を算出する方法を示したものであって、左カメラによってある時刻に撮影された左カメラ画像を示す図であり、（ｂ）は（ａ）が撮影された時刻と同時刻に右カメラによって撮影された右カメラ画像を示す図である。
【図１０】本発明の実施形態４における視差検出装置の構成を示すブロック図である。
【図１１】従来の視差検出装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
〔実施形態１〕
（視差検出装置の構成）
本発明の一実施形態について図１〜図６に基づいて説明すれば、以下のとおりである。
【００１４】
本実施形態の視差検出装置１Ａの構成及び機能について、図１に基づいて説明する。図１は、本実施形態における視差検出装置１Ａの構成を示すブロック図である。
【００１５】
本実施形態の視差検出装置１Ａは、図１に示すように、ステレオカメラ１１と、動き画像作成部１２と、動き領域検出部１３Ａと、視差算出部１４Ａと、視差画像作成部１５Ａとを備えている。
【００１６】
ステレオカメラ１１は、第１カメラとしての左カメラ１１ａ、及び第２カメラとしての右カメラ１１ｂから構成される。左カメラ１１ａ及び右カメラ１１ｂは、それぞれ連続して同時刻に撮影して、第１カメラ画像としての左カメラ画像ＣＬ、及び第２カメラ画像としての右カメラ画像ＣＲを作成する。そして、左カメラ１１ａ及び右カメラ１１ｂは、左カメラ画像ＣＬ及び右カメラ画像ＣＲを、動き画像作成部１２としてそれぞれ個別に設けられた左動き画像作成部１２ａ及び右動き画像作成部１２ｂにそれぞれ送信する。
【００１７】
左動き画像作成部１２ａ及び右動き画像作成部１２ｂは、それぞれ左カメラ１１ａ及び右カメラ１１ｂから送信された左カメラ画像ＣＬ及び右カメラ画像ＣＲにおいて、時間変化しているピクセルつまり画素を示す第１動き画像としての左動き画像ＤＬ、及び第２動き画像としての右動き画像ＤＲを作成する。
【００１８】
具体的な左動き画像ＤＬ及び右動き画像ＤＲの作成方法は、以下のとおりである。すなわち、左動き画像作成部１２ａ及び右動き画像作成部１２ｂは、１枚前の画像をそれぞれ記憶しておき、１枚前の画像と現在の画像とのピクセル値つまり階調値の差分を計算する。次に、該差分が一定値以上のピクセルには「１」、該差分が一定値よりも小さいピクセルには「０」を与える二値化を行う。以下では、該差分が一定値以上のピクセルを変化ピクセル、該差分が一定値よりも小さいピクセルを無変化ピクセルと呼ぶことにする。
【００１９】
本実施形態では、左動き画像作成部１２ａ及び右動き画像作成部１２ｂは、上述したような方法によって左動き画像ＤＬ及び右動き画像ＤＲを作成したが、本発明においては、本実施形態の視差検出装置１Ａにおける動き画像の作成方法に限定されない。例えば、動き画像の作成方法は、過去数枚〜数十枚の画像を平均した画像を背景画像とし、該背景画像と現在の画像とのピクセル値の差分を計算する方法や、１枚前の画像と現在の画像とのピクセル値の差分値を二値化せずに該差分値をそのまま使う方法であってもよい。つまり、動き画像の作成方法は、前画像と現在の画像とにおいて、ピクセル値が変化したピクセルを特定できる方法であればよい。
【００２０】
左動き画像作成部１２ａは、作成した左動き画像ＤＬを、動き領域検出部１３Ａを経て視差算出部１４Ａに送信する。一方、右動き画像作成部１２ｂは、作成した右動き画像ＤＲを、直接、視差算出部１４Ａに送信する。
【００２１】
動き領域検出部１３Ａは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内において、変化のあったピクセルが、左動き画像ＤＬの全領域を区分した各区分領域について一定割合以上存在する区分領域を第１動き領域として検出する。詳細には、変化ピクセルが第１割合としての一定値Ｐ以上かつ第２割合としての一定値Ｑ（一定値Ｐ＜一定値Ｑ）未満の間で存在する区分領域を検出する。
【００２２】
ここで、区分領域の大きさについて説明する。区分領域の大きさが大き過ぎると、左カメラ１１ａからの距離が異なる地点に存在する、異なる動き物体が１つの区分領域内に入ってしまう可能性がある。その結果、後述する視差算出部１４Ａにおいて、視差の検出ができなくなる可能性がある。一方、区分領域の大きさが小さ過ぎると、区分領域の特徴が小さくなってしまう。その結果、視差算出部１４Ａにおいて、誤った領域との視差を検出してしまう可能性がある。以上に示したことから、区分領域の大きさは適切に設定する必要がある。具体的には、カメラの画素数にもよるが、区分領域の大きさは、例えば８×８ピクセル程度にしておくことが望ましい。
【００２３】
次に、動き領域検出部１３Ａが検出する区分領域が有する、変化ピクセルの値の範囲の設定、つまり、一定値Ｐ及び一定値Ｑの設定について説明する。
【００２４】
まず、下限値である一定値Ｐの設定について説明する。上述した左動き画像作成部１２ａにおいて、左カメラ１１ａのノイズの影響によって、本来無変化ピクセルと判断されるべきピクセルが、変化ピクセルと判断されることがある。この影響を排除できるようにするため、下限値である値Ｐをある程度大きく設定する必要がある。具体的には、左カメラ１１ａ及び右カメラ１１ｂの画素数にもよるが、区分領域の大きさが８×８ピクセルである場合、値Ｐを１６個以上に設定することが望ましい。
【００２５】
次に、上限値である一定値Ｑの設定について説明する。区分領域内において、変化ピクセルの数が多すぎる場合、区分領域内の変化ピクセルのパターンに特徴がなくなる。このため、視差算出部１４Ａにおいて、パターンマッチングを行う際に誤った領域を検出してしまう虞がある。したがって、上限値である値Ｑをある程度小さく設定する必要がある。具体的には、左カメラ１１ａ及び右カメラ１１ｂの画素数にもよるが、区分領域の大きさが８×８ピクセルである場合、値Ｑを４８個以下に設定することが望ましい。
【００２６】
動き領域検出部１３Ａは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内において、全ての領域について、設定した値の範囲で変化ピクセルが存在する区分領域である第１動き領域としての左動き領域座標ＥＬを検出する。動き領域検出部１３Ａは、検出された左動き領域座標ＥＬを、視差算出部１４Ａに送信する。
【００２７】
視差算出部１４Ａは、本実施形態では、動き画像類似領域検出部１４ａと動き画像視差算出部１４ｂとを備えている。
【００２８】
動き画像類似領域検出部１４ａは、動き領域検出部１３Ａから送られた左動き領域座標Ｅの特徴と類似する特徴を有する第２動き領域としての右動き領域座標ＥＲを右動き画像ＤＲから検出する。
【００２９】
また、動き画像視差算出部１４ｂは、左動き画像ＤＬの左動き領域座標ＥＬと右動き画像ＤＲの右動き領域座標ＥＲとの視差を算出する。
【００３０】
具体的な視差の算出方法を以下に説明する。
【００３１】
動き画像類似領域検出部１４ａは、左動き画像ＤＬにおける、動き領域検出部１３Ａから送られた、設定した値の範囲で変化ピクセルが存在する区分領域である左動き領域座標ＥＬのパターンと似ている右動き領域座標ＥＲを、右動き画像ＤＲにおけるエピポーラ線上で探索する。尚、エピポーラ線上とは、ステレオカメラ１１が平行化されている場合、例えば、左カメラ１１ａと右カメラ１１ｂとが同じｙ座標に位置する場合には、同一ｙ座標の横線上をいう。
【００３２】
右動き画像ＤＲにおいて、似ている右動き領域座標ＥＲが検知された場合、視差算出部１４Ａは、左動き領域座標ＥＬと右動き領域座標ＥＲとの距離の差から視差を算出する。尚、左カメラ１１ａと右カメラ１１ｂとが同じｙ座標である場合には、左動き領域座標ＥＬ及び右動き領域座標ＥＲのｘ座標の差からその領域に対する視差を算出する。
【００３３】
ここで、左動き領域座標ＥＬのパターンと似ている右動き領域座標ＥＲの領域を求める方法は、どのような方法でもよいが、例えばテンプレートマッチング、位相限定相関法等によって求めることができる。
【００３４】
視差算出部１４Ａの動き画像視差算出部１４ｂは、動き領域検出部１３Ａにて検出された左動き領域座標ＥＬと、動き画像類似領域検出部１４ａにおいて検出された右動き領域座標ＥＲとの全てについて視差を算出する。視差算出部１４Ａは、算出された結果を視差画像作成部１５Ｂに送信する。
【００３５】
視差画像作成部１５Ｂは、視差算出部１４Ａから送られた視差算出結果を用いて、視差画像を作成する。視差画像は、視差の大きさを濃淡で表した画像である。具体的には、視差画像は、視差が大きい領域ほど白く表示され、視差が小さい領域ほどを黒く表示される、視差を検出していない領域については、黒で表示される。
【００３６】
（視差検出装置の具体的動作）
次に、本実施形態における視差検出装置１Ａの具体的動作について、前記図１、及び図２の（ａ）（ｂ）〜図６に基づいて、具体例を示しながら説明する。図２の（ａ）は、視差検出装置１Ａのステレオカメラ１１における左カメラ１１ａにて撮影した画像の一例を示す図である。図２の（ｂ）は、視差検出装置１Ａのステレオカメラ１１における右カメラ１１ｂにて撮影した画像の一例を示す図である。
【００３７】
まず、ステレオカメラ１１の左カメラ１１ａ及び右カメラ１１ｂは、ある時刻における画像を同時に撮影する。左カメラ１１ａ及び右カメラ１１ｂにより撮影した画像の例は、図２の（ａ）（ｂ）に示される。
【００３８】
左カメラ１１ａ及び右カメラ１１ｂにより撮影した左カメラ画像ＣＬ及び右カメラ画像ＣＲは、図２の（ａ）（ｂ）に示すように、左カメラ１１ａ及び右カメラ１１ｂがそれぞれ異なる場所から撮影しているので、ずれが生じている。左カメラ１１ａ及び右カメラ１１ｂは、撮影した左カメラ画像ＣＬ及び右カメラ画像ＣＲを、動画像として、それぞれ左動き画像作成部１２ａ及び右動き画像作成部１２ｂに送信する。
【００３９】
左動き画像作成部１２ａ及び右動き画像作成部１２ｂは、それぞれ左カメラ１１ａ及び右カメラ１１ｂから送られた動画像において、時間変化しているピクセルを抜き出した動き画像を作成する。
【００４０】
左動き画像作成部１２ａ及び右動き画像作成部１２ｂによって作成された動き画像の例を図３の（ａ）（ｂ）に示す。図３の（ａ）は、視差検出装置１Ａにおいて、左動き画像作成部１２ａによって作成された左動き画像ＤＬの一例を示す図である。図３の（ｂ）は右動き画像作成部１２ｂによって作成された右動き画像ＤＲの一例を示す図である。
【００４１】
左動き画像作成部１２ａ及び右動き画像作成部１２ｂは、それぞれ１枚前の左カメラ画像ＣＬ及び右カメラ画像ＣＲを記憶しておき、前画像と現在の画像とのピクセル値の差分を計算する。図３の（ａ）（ｂ）においては、変化ピクセルつまり物体が動いているピクセルを白で示し、無変化ピクセルつまり物体が動いていないピクセルを黒で示している。
【００４２】
左動き画像作成部１２ａは作成した左動き画像ＤＬを動き領域検出部１３Ａを経由して視差算出部１４Ａに送信する一方、右動き画像作成部１２ｂは作成した右動き画像ＤＲを、直接、視差算出部１４Ａに送信する。
【００４３】
動き領域検出部１３Ａは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内において、一定の範囲の割合で、変化ピクセルが存在する区分領域である左動き領域座標ＥＬを検出する。図４は、動き領域検出部１３Ａにおいて、動き領域を検出する方法を示す図である。
【００４４】
例えば、図４に示す領域Ｇ１は、区分領域の１つであり、領域Ｇ１においては、変化ピクセルが存在しない。このため、上述した一定の範囲の割合ではないので、動き領域であるとは判定されない。また、図４に示す領域Ｇ２では、変化ピクセルの割合が上述した一定の範囲の割合であるので、動き領域であると判定される。
【００４５】
動き領域検出部１３Ａは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内において、全ての区分領域について、一定の範囲の割合で変化ピクセルが存在する区分領域である左動き領域座標ＥＬを検出する。動き領域検出部１３Ａは検出した左動き領域座標ＥＬを、視差算出部１４Ａに送信する。
【００４６】
視差算出部１４Ａにおける具体的な視差の検出方法を、図５の（ａ）（ｂ）に基づいて説明する。図５の（ａ）は、視差検出装置１Ａの視差算出部１４Ａによって視差を算出する方法を示すものであって、左動き画像作成部１２ａによって作成された左動き画像ＤＬを示す図である。図５の（ｂ）は、右動き画像作成部１２ｂによって作成された右動き画像ＤＲを示す図である。
【００４７】
視差算出部１４Ａは、図５の（ａ）に示すように、動き画像類似領域検出部１４ａにて、左動き画像作成部１２ａから送られた左動き画像ＤＬにおける動き領域検出部１３Ａから送られた区分領域の座標である左動き領域座標ＥＬと似ている領域の座標である右動き領域座標ＥＲを、図５の（ｂ）に示すように、右動き画像作成部１２ｂから送られた右動き画像ＤＲにおいて検出する。次に、視差算出部１４Ａの動き画像視差算出部１４ｂは、左動き領域座標ＥＬと右動き領域座標ＥＲとの座標差から視差を算出する。
【００４８】
視差算出部１４Ａは、上記のような方法用いて、動き領域検出部１３Ａから送られた全ての左動き領域座標ＥＬについて、視差を算出する。一方、視差算出部１４Ａは、動き領域検出部１３Ａから送られない座標については、視差を算出しない。その結果、従来のように全ての領域について視差を算出する場合と比べて、計算量が少なくなるので、動き物体の検出にかかる計算を著しく高速にすることができる。
【００４９】
視差算出部１４Ａは、得られた視差算出結果を、視差画像作成部１５Ｂへ送信する。
【００５０】
視差画像作成部１５Ｂは、視差算出部１４Ａから送られた視差算出結果を用いて、視差画像を作成する。図６に視差画像作成部１５Ｂによって作成された視差画像ＰＩの例を示す。
【００５１】
視差画像作成部１５Ｂは、図６に示すように、視差の大きさを濃淡で表した視差画像ＰＩを作成する。具体的には、視差画像ＰＩは、視差が大きい領域ほど白く表示され、視差が小さい領域ほどを黒く表示され、視差を検出していない領域つまり物体が静止している領域については、黒で表示される。例示した図６では、ステレオカメラ１１が上方から斜めに撮影している。その結果、動き物体の頭に当たる部分は左カメラ１１ａ及び右カメラ１１ｂに近いため、視差が大きくなる。このため、動き物体の頭に当たる部分は白っぽく表示されている。一方、動き物体の足に当たる部分は左カメラ１１ａ及び右カメラ１１ｂから遠いため、視差が小さくなる。このため、動き物体の足に当たる部分は、黒っぽく表示されている。このように、視差の大きさを濃淡で表すことにより、動き物体を検出することができ、かつ、動き物体と左カメラ１１ａ及び右カメラ１１ｂとの距離を把握することができる。
【００５２】
このように、本実施形態における視差検出装置１Ａは、ステレオカメラ１１にて連続撮像された第１カメラ画像としての左カメラ画像ＣＬ及び第２カメラ画像としての右カメラ画像ＣＲに基づいて視差画像を作成する。そして、撮像タイミングの異なる２枚の左カメラ画像ＣＬから動き領域としての左動き領域座標ＥＬを検出する動き領域検出部１３Ａと、左カメラ画像ＣＬから検出された左動き領域座標ＥＬについて、右カメラ画像ＣＲから得られる類似領域との視差を算出する視差算出部１４Ａとを備えている。
【００５３】
上記の構成によれば、視差算出部１４Ａは、動き領域検出部１３Ａによって左カメラ画像ＣＬから検出された左動き領域座標ＥＬについて、右カメラ画像ＣＲから得られる類似領域との視差を算出する。これにより、全ての画像領域について視差を算出する場合と比較すると、視差を算出するために必要な計算量を削減することができる。
【００５４】
したがって、少ない計算量で視差を算出することができる視差検出装置１Ａを提供することができる。
【００５５】
また、本実施形態における視差検出装置１Ａは、ステレオカメラ１１にて連続撮像された左カメラ画像ＣＬ及び右カメラ画像ＣＲの各々について現在の画像と過去の画像とを比較し、変化があった画素を表示する左動き画像ＤＬ及び右動き画像ＤＲを作成する左動き画像作成部１２ａ及び右動き画像作成部１２ｂを備えている。動き領域検出部１３Ａは、左動き画像ＤＬにおいて変化のあった画素が、左動き画像ＤＬの全領域を区分した各区分領域について第１割合以上存在する区分領域を第１動き領域である左動き領域座標ＥＬとして検出する。また、視差算出部１４Ａは、左動き画像ＤＬの左動き領域座標ＥＬの特徴と類似する特徴を有する第２動き領域としての右動き領域座標ＥＲを右動き画像ＤＲから検出する動き画像類似領域検出部１４ａと、左動き画像ＤＬの左動き領域座標ＥＬと右動き画像ＤＲの右動き領域座標ＥＲとの視差を算出する動き画像視差算出部１４ｂとを備えている。
【００５６】
上記の構成によれば、視差算出部１４Ａは、動き領域検出部１３Ａによって検出された左動き領域座標ＥＬについて、左動き画像ＤＬの左動き領域座標ＥＬと右動き画像ＤＲの右動き領域座標ＥＲとの視差を算出する。これにより、全ての画像領域について視差を算出する場合と比較すると、視差を算出するために必要な計算量を削減することができる。また、左動き画像ＤＬの左動き領域座標ＥＬと右動き画像ＤＲの右動き領域座標ＥＲとの視差を算出することにより、動き物体のエッジ部の視差を感度良く検出することができる。
【００５７】
〔実施形態２〕
本発明の他の実施形態について、図７に基づいて説明すれば、以下のとおりである。尚、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００５８】
前記実施形態１における視差検出装置１Ａでは、視差画像作成部１５Ａが作成した視差画像において、視差算出部１４Ａが視差を算出していない領域を、黒で表示していた。つまり、視差算出部１４Ａが視差を算出していない領域については、視差画像作成部１５Ａは視差画像に視差を表示していなかった。本実施形態における視差検出装置１Ｂでは、視差算出部１４Ｂが視差を算出していない領域においても、視差画像作成部１５Ｂは視差画像に視差を表示し、視差画像全体について視差を表示する点が、視差検出装置１Ａとは異なる。
【００５９】
本実施形態の視差検出装置１Ｂの構成について、図７に基づいて説明する。図７は、本実施形態における視差検出装置１Ｂの構成を示すブロック図である。
【００６０】
本実施形態の視差検出装置１Ｂでは、図７に示すように、視差算出部１４Ｂは、動き画像全体領域視差算出部１４ｃを備えている。そして、この動き画像全体領域視差算出部１４ｃは、動き物体を検出する動作の前に、動き物体が存在しない背景だけが表示された、左動き画像作成部１２ａ及び右動き画像作成部１２ｂによって作成された左動き画像ＤＬ及び右動き画像ＤＲを用いて、画面全体の領域について視差を算出する。そして、視差画像作成部１５Ｂは、視差算出部１４Ｂによって算出された視差算出結果を用いて、視差画像を作成する。
【００６１】
そして、視差画像作成部１５Ｂは、この視差画像を背景視差画像として記憶しておく。この背景視差画像は、一度作成されると、動き物体が存在している視差画像を作成する際に、何度でも使用することができる。
【００６２】
次に、動き物体が存在する場合において、視差算出部１４Ｂは、実施形態１の視差検出装置１Ａにて作成する方法と同様の方法で視差を算出する。つまり、視差算出部１４Ｂは、動き領域検出部１３Ａから送られた左動き領域座標ＥＬについて、左動き画像作成部１２ａ及び右動き画像作成部１２ｂからそれぞれ送られた２つの左動き画像ＤＬ及び右動き画像ＤＲにおける視差を検出する。一方、視差算出部１４Ｂは、動き領域検出部１３Ａから送られない座標については、一度しか、視差の算出を行わない。
【００６３】
視差画像作成部１５Ｂは、視差算出部１４Ｂから送られた視差算出結果を用いて、視差を求めた領域について、背景視差画像を上書きする。これにより、視差画像作成部１５Ｂは、動き物体を検出するための視差画像を作成する。
【００６４】
本実施形態の視差検出装置１Ｂでは、以上のように構成することにより、画面全体において視差を算出することができる。これにより、画面全体の物体について、ステレオカメラ１１からの位置を把握することができる。さらに、動き領域検出部１３Ａから送られない座標は、一度しか視差の算出を行わず、主として動き領域検出部１３Ａから送られた左動き領域座標ＥＬについて視差を算出している。この結果、視差を算出するための計算量が少なくなる。したがって、視差検出装置１Ｂでは、動き物体の検出にかかる計算を著しく高速にすることができる。
【００６５】
〔実施形態３〕
本発明の他の実施形態について、図８及び図９に基づいて説明すれば、以下のとおりである。尚、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００６６】
前記実施形態１における視差検出装置１Ａでは、視差算出部１４Ａにおいて、左動き画像作成部１２ａ及び右動き画像作成部１２ｂから送られた左動き画像ＤＬ及び右動き画像ＤＲを用いて視差を算出していた。本実施形態における視差検出装置１Ｃでは、視差算出部１４Ｃにおいて、左カメラ１１ａ及び右カメラ１１ｂから送られた左カメラ画像ＣＬ及び右カメラ画像ＣＲを用いて視差を算出する点が、視差検出装置１Ａとは異なっている。
【００６７】
本実施形態の視差検出装置１Ｃの構成について、図８に基づいて説明する。図８は、本実施形態における視差検出装置１Ｃの構成を示すブロック図である。
【００６８】
本実施形態の視差検出装置１Ｃは、図８に示すように、ステレオカメラ１１を構成する左カメラ１１ａ及び右カメラ１１ｂと、左カメラ１１ａに対して設けられている左動き画像作成部１２ａと、動き領域検出部１３Ｃと、視差算出部１４Ｃと、視差画像作成部１５Ｃとを備えている。
【００６９】
視差検出装置１Ｃでは、左カメラ１１ａは撮影された左カメラ画像ＣＬを、動画像として、左動き画像作成部１２ａ及び視差算出部１４Ｃに送信する。また、右カメラ１１ｂは、撮影された右カメラ画像ＣＲを、動画像として、視差算出部１４Ｃに送信する。
【００７０】
左動き画像作成部１２ａは、左カメラ１１ａから送られた左カメラ画像ＣＬにおいて、時間変化しているピクセルを示す左動き画像ＤＬを作成する。そして、左動き画像作成部１２ａは、作成した左動き画像ＤＬを、動き領域検出部１３Ｃへ送信する。左動き画像ＤＬを作成する方法は、実施形態１で説明した方法と同様である。
【００７１】
次に、動き領域検出部１３Ｃは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内において、一定の割合以上で、変化ピクセルが存在する区分領域である第１動き領域としての左動き領域座標ＥＬを検出する。具体的には、動き領域検出部１３Ｃは、左カメラ１１ａの画素数にもよるが、区分領域の大きさが８×８ピクセルである場合、変化ピクセルが３２個以上存在する区分領域を検出する。なぜなら、変化ピクセルの割合が半分よりも少ない区分領域では、区分領域内で動き物体を示すピクセルの数よりも背景を示すピクセルの数が多くなる。これにより、後述する視差算出部１４Ｃが視差を検出する際に、背景に対する視差を算出してしまう可能性があるためである。
【００７２】
また、実施形態１における視差検出装置１Ａでは、視差算出部１４Ａは、視差を検出する場合に、左動き画像ＤＬ及び右動き画像ＤＲを用いて視差を算出していた。そのため、区分領域内における変化ピクセルの数が多すぎる場合、区分領域内の変化ピクセルのパターンに特徴がなくなる。この結果、視差算出部１４Ａは、パターンマッチングを行う際に誤った領域を検出してしまう虞があった。したがって、実施形態１における視差検出装置１Ａでは、変化ピクセルが存在する割合について上限である一定値Ｑが設定されていた。
【００７３】
しかし、本実施形態における視差検出装置１Ｃでは、視差算出部１４Ｃは、視差を検出する場合には、左カメラ画像ＣＬ及び右カメラ画像ＣＲを用いて視差を算出する。そのため、区分領域内における変化ピクセルの数が多くても、パターンマッチングを行う際に誤った領域を検出することがない。したがって、変化ピクセルが存在する割合について上限を設定する必要がない。
【００７４】
動き領域検出部１３Ｃは、検出した左動き領域座標ＥＬを、視差算出部１４Ｃに送信する。
【００７５】
視差算出部１４Ｃは、本実施形態では、カメラ画像類似領域検出部１４ｄとカメラ画像視差算出部１４ｅとを備えている。
【００７６】
カメラ画像類似領域検出部１４ｄは、動き領域検出部１３Ｃから送られた左動き画像ＤＬの左動き領域座標ＥＬと同一領域に表示されている左カメラ画像ＣＬの第１画像領域としての左画像領域画素ＦＬの特徴に類似する特徴を有する第２画像領域としての右画像領域画素ＦＲをステレオカメラ１１にて撮像された右カメラ画像ＣＲから検出する。
【００７７】
カメラ画像視差算出部１４ｅは、左カメラ画像ＣＬの左画像領域画素ＦＬと右カメラ画像ＣＲの右画像領域画素ＦＲとの視差を算出する。
【００７８】
視差算出部１４Ｃにおける視差の検出方法について、図８、及び図９の（ａ）（ｂ）に基づいて説明する。図９の（ａ）は、視差算出部１４Ｃが視差を算出する方法を示したものであって、左カメラ１１ａによってある時刻に撮影された左カメラ画像ＣＬを示す図である。図９の（ｂ）は、（ａ）が撮影された時刻と同時刻に右カメラ１１ｂによって撮影された右カメラ画像ＣＲを示す図である。
【００７９】
視差算出部１４Ｃは、カメラ画像類似領域検出部１４ｄにて左カメラ１１ａによって撮影された左カメラ画像ＣＬにおける動き領域検出部１３Ｃから送られた左動き領域座標ＥＬと同一領域に表示されている図９の（ａ）に示す左カメラ画像ＣＬの左画像領域画素ＦＬと似ている領域である右画像領域画素ＦＲを、図９の（ｂ）に示すように、右カメラ１１ｂによって撮影された右カメラ画像ＣＲにおいて検出する。
【００８０】
次に、視差算出部１４Ｃは、カメラ画像視差算出部１４ｅにて左画像領域画素ＦＬと右画像領域画素ＦＲとの座標差から視差を算出する。
【００８１】
視差算出部１４Ｃは、さらに、動き領域検出部１３Ｃにおいて検知した全ての左動き領域座標ＥＬについて視差を算出する。視差算出部１４Ｃによって算出された結果は視差画像作成部１５Ｃへ送られる。
【００８２】
視差画像作成部１５Ｃは、視差算出部１４Ｃから送られた視差算出結果を用いて、視差画像を作成する。視差画像は、視差の大きさを濃淡で表した画像である。具体的には、視差画像は、視差が大きい領域ほど白く表示され、視差が小さい領域ほどを黒く表示される、視差を検出していない領域については、黒で表示される。
【００８３】
このように、本実施形態における視差検出装置１Ｃでは、ステレオカメラ１１にて撮像された第１カメラ画像としての左カメラ画像ＣＬについて現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像としての左動き画像ＤＬを作成する左動き画像作成部１２ａを備えている。また、動き領域検出部１３Ｃは、左動き画像ＤＬにおいて変化のあった画素が、左動き画像ＤＬの全領域を区分した各区分領域について、第２割合としての一定値Ｑ以上存在する区分領域を第１動き領域としての左動き領域座標ＥＬとして検出する。さらに、視差算出部１４Ｃは、左動き画像ＤＬの左動き領域座標ＥＬと同一領域に表示されている左カメラ画像ＣＬの第１画像領域としての左画像領域画素ＦＬの特徴に類似する特徴を有する第２画像領域としての右画像領域画素ＦＲをステレオカメラ１１にて撮像された第２カメラ画像としての右カメラ画像ＣＲから検出するカメラ画像類似領域検出部１４ｄと、左カメラ画像ＣＬの左画像領域画素ＦＬと右カメラ画像ＣＲの第２画像領域としての右画像領域画素ＦＲとの視差を算出するカメラ画像視差算出部１４ｅとを備えている。
【００８４】
上記の構成によれば、視差算出部１４Ｃは、動き領域検出部１３Ｃによって検出された左動き領域座標ＥＬについて、左カメラ画像ＣＬの左画像領域画素ＦＬと右カメラ画像ＣＲの右画像領域画素ＦＲとの視差を算出する。これにより、全ての画像領域について視差を算出する場合と比較すると、視差を算出するために必要な計算量を削減することができる。また、左カメラ画像ＣＬの左画像領域画素ＦＬと右カメラ画像ＣＲの右画像領域画素ＦＲとの視差を算出することにより、動き物体の中央部の視差を感度良く検出することができる。
【００８５】
〔実施形態４〕
本発明の他の実施形態について、図１０に基づいて説明すれば、以下のとおりである。尚、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００８６】
実施形態１における視差検出装置１Ａでは、視差算出部１４Ａは、視差を算出するときに、左動き画像作成部１２ａ及び右動き画像作成部１２ｂから送られた左動き画像ＤＬ及び右動き画像ＤＲを用いる。この場合、動き物体のエッジ部については検出感度が良いが、動き物体の中央部については検出感度が悪くなる。また、実施形態３における視差検出装置１Ｃでは、視差算出部１４Ｃは、視差を算出するときに、左カメラ１１ａ及び右カメラ１１ｂから送られた左カメラ画像ＣＬ及び右カメラ画像ＣＲを用いる。この場合は、実施形態１における視差検出装置１Ａとは逆に、動き物体の中央部については検出感度が良いが、動き物体のエッジ部については検出感度が悪くなる。
【００８７】
そこで、本実施形態における視差検出装置１Ｄでは、視差を算出する方法として、実施形態１における方法と、実施形態３における方法とを組み合わせている点が異なっている。
【００８８】
本実施形態の視差検出装置１Ｄの構成について、図１０に基づいて説明する。図１０は、本実施形態における視差検出装置１Ｄの構成を示すブロック図である。
【００８９】
本実施形態の視差検出装置１Ｄは、図１０に示すように、ステレオカメラ１１を構成する左カメラ１１ａ及び右カメラ１１ｂと、左カメラ１１ａ及び右カメラ１１ｂそれぞれに対して設けられている左動き画像作成部１２ａ及び右動き画像作成部１２ｂと、動き領域検出部１３Ｄと、視差算出部１４Ｄと、視差画像作成部１５Ｄとを備えている。
【００９０】
上記視差検出装置１Ｄでは、左カメラ１１ａ及び右カメラ１１ｂは、それぞれ撮影された左カメラ画像ＣＬ及び右カメラ画像ＣＲを、それぞれ左動き画像作成部１２ａ及び右動き画像作成部１２ｂ、並びに視差算出部１４Ｄに送信する。
【００９１】
左動き画像作成部１２ａ及び右動き画像作成部１２ｂは、それぞれ左カメラ１１ａ及び右カメラ１１ｂから送られた左カメラ画像ＣＬ及び右カメラ画像ＣＲにおいて、時間変化しているピクセルを示す左動き画像ＤＬ及び右動き画像ＤＲを作成する。
【００９２】
次に、動き領域検出部１３Ｄは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内において、第１割合としての一定値Ｐ以上かつ第２割合としての一定値Ｑ未満で変化ピクセルが存在する区分領域である少動き領域としての左動き領域座標ＥＬ１と、第２割合としての一定値Ｑ（一定値Ｐ＜一定値Ｑ）以上で変化ピクセルが存在する区分領域である多動き領域としての左動き領域座標ＥＬ２とを検出する。具体的には、動き領域検出部１３Ｄは、左カメラ１１ａ及び右カメラ１１ｂの画素数にもよるが、区分領域の大きさが８×８ピクセルである場合、一定値Ｐを１６個、一定値Ｑを３２個とする。
【００９３】
動き領域検出部１３Ｄは、左動き画像作成部１２ａから送られた左動き画像ＤＬ内の全ての領域について、設定した値の範囲で変化ピクセルが存在する区分領域である左動き領域座標ＥＬ１・ＥＬ２を検出する。動き領域検出部１３Ｄは、検出された左動き領域座標ＥＬ１・ＥＬ２を、視差算出部１４Ｄに送信する。
【００９４】
視差算出部１４Ｄは、動き画像類似領域検出部１４ａにて、動き領域検出部１３Ｄから送られた左動き領域座標ＥＬ１と似ている領域の座標である右動き領域座標ＥＲ１を、右動き画像作成部１２ｂから送られた右動き画像ＤＲにおいて検出する。次に、視差算出部１４Ｄの動き画像視差算出部１４ｂは、左動き領域座標ＥＬ１と右動き領域座標ＥＲ１との座標差から視差を算出する。
【００９５】
次に、視差算出部１４Ｄは、カメラ画像類似領域検出部１４ｄにて、左カメラ１１ａによって撮影された左カメラ画像ＣＬにおける動き領域検出部１３Ｄから送られた左動き領域座標ＥＬ２と同一領域に表示されている左カメラ画像ＣＬの左画像領域画素ＦＬ１と似ている領域である右画像領域画素ＦＲ１を、右カメラ１１ｂによって撮影された右カメラ画像ＣＲにおいて検出する。
【００９６】
次に、視差算出部１４Ｃは、カメラ画像視差算出部１４ｅにて左画像領域画素ＦＬ１と右画像領域画素ＦＲ１との座標差から視差を算出する。
【００９７】
視差算出部１４Ｄは、動き領域検出部１３Ｄにおいて検知した全ての左動き領域座標ＥＬ１・ＥＬ２について視差を算出する。視差算出部１４Ｄは、算出された結果を視差画像作成部１５Ｄへ送信する。
【００９８】
視差画像作成部１５Ｄは、視差算出部１４Ｄから送られた視差算出結果を用いて、視差画像を作成する。視差画像は、視差の大きさを濃淡で表した画像である。具体的には、視差画像は、視差が大きい領域ほど白く表示され、視差が小さい領域ほどを黒く表示される、視差を検出していない領域については、黒で表示される。
【００９９】
以上のように、本実施形態の視差検出装置１Ｄでは、左動き画像ＤＬ内における動き領域の変化ピクセルの割合に依存して、視差算出部１４Ｄにおいて視差を算出する方法を決定している。具体的には、変化ピクセルの割合が小さい場合、つまり動き物体のエッジ部の割合が多い領域の視差を算出する場合は、左動き画像ＤＬ及び右動き画像ＤＲを用いて視差を算出する。その結果、動き物体のエッジ部を感度良く検出することができるので、視差を精度よく算出することができる。一方、変化ピクセルの割合が大きい場合、つまり動き物体の中央部の割合が多い領域の視差を算出する場合は、左カメラ画像ＣＬ及び右カメラ画像ＣＲを用いて視差を算出する。その結果、動き物体の中央部を感度良く検出することができるので、視差を精度よく算出することができる。この結果、本実施形態における視差検出装置１Ｄは視差を算出することにより、動き物体のエッジ部及び中央部の両方について、精度よく視差を求めることができる。
【０１００】
また、実施形態１における視差検出装置１Ａと同様に、動き領域検出部１３Ｄから送られない座標については、視差の算出を行わない。その結果、従来のように全ての領域について視差を算出する場合と比べて、計算量が少なくなるので、動き物体の検出にかかる計算を著しく高速にすることができる。
【０１０１】
このように、本実施形態における視差検出装置１Ｄは、ステレオカメラ１１にて撮像された第１カメラ画像としての左カメラ画像ＣＬ及び第２カメラ画像としての右カメラ画像ＣＲの各々について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像としての左動き画像ＤＬ及び第２動き画像としての右動き画像ＤＲを作成する左動き画像作成部１２ａ及び右動き画像作成部１２ｂを備えている。また、動き領域検出部１３Ｄは、左動き画像ＤＬにおいて変化のあった画素が、左動き画像ＤＬの全領域を区分した各区分領域について、第１割合としての一定値Ｐ以上かつ第２割合としての一定値Ｑ（一定値Ｐ＜一定値Ｑ）未満存在する区分領域を少動き領域としての左動き領域座標ＥＬ１として検出する。
【０１０２】
また、一定値Ｑ以上存在する区分領域を多動き領域としての左動き領域座標ＥＬ２として検出する。
【０１０３】
視差算出部１４Ｄは、左動き画像ＤＬの左動き領域座標ＥＬ１の特徴と類似する特徴を有する右画像領域画素ＦＲ１を右動き画像ＤＲから検出する動き画像視差算出部１４ｂと、左動き画像ＤＬの左動き領域座標ＥＬ２と同一領域に表示されている左カメラ画像ＣＬの左画像領域画素ＦＬ１の特徴に類似する特徴を有する右画像領域画素ＦＲ１をステレオカメラ１１にて撮像された右カメラ画像ＣＲから検出するカメラ画像類似領域検出部１４ｄと左動き画像ＤＬの左動き領域座標ＥＬ１と右動き画像ＤＲの右動き領域座標ＥＲ１との視差を算出する動き画像視差算出部１４ｂと、左カメラ画像ＣＬの左画像領域画素ＦＬ１と右カメラ画像ＣＲの右画像領域画素ＦＲ１との視差を算出するカメラ画像視差算出部１４ｅとを備えている。
【０１０４】
上記の構成によれば、動き領域検出部１３Ｄにおいて、左動き画像ＤＬにおいて変化のあった画素が一定値Ｐ以上かつ一定値Ｑ未満存在する区分領域を左動き領域座標ＥＬ１として検出すると共に、一定値Ｑ以上存在する区分領域を左動き領域座標ＥＬ２として検出する。そして、視差算出部１４Ｄにおいて視差を算出する際に、左動き領域座標ＥＬ１に関しては、左動き画像ＤＬの左動き領域座標ＥＬ１と右動き画像ＤＲの右画像領域画素ＦＲ１との視差を算出する。一方、左動き領域座標ＥＬ２に関しては、左カメラ画像ＣＬの左画像領域画素ＦＬ１と右カメラ画像ＣＲの右画像領域画素ＦＲ１との視差を算出する。
【０１０５】
これにより、動き物体のエッジ部の割合が多い場合の視差を算出するときには、左動き画像ＤＬの左動き領域座標ＥＬ１と右動き画像ＤＲの右画像領域画素ＦＲ１との視差を算出することにより、動き物体のエッジ部の視差を感度良く検出することができる。
【０１０６】
また、動き物体の中央部の割合が多い領域の視差を算出するときには、左カメラ画像ＣＬの左画像領域画素ＦＬ１と右カメラ画像ＣＲの右画像領域画素ＦＲ１との視差を算出することにより、動き物体の中央部の視差を感度良く検出することができる。その結果、動き物体のエッジ部及び中央部両方の視差を感度良く検出することができる。
【０１０７】
また、動き領域検出部１３Ｄにおいて検出されない領域に関しては、視差を算出しない。その結果、少ない計算量で視差を算出することができる。
【０１０８】
〔まとめ〕
本発明の態様１における視差検出装置１Ａ〜１Ｄは、ステレオカメラ１１にて連続撮像された第１カメラ画像（左カメラ画像ＣＬ）及び第２カメラ画像（右カメラ画像ＣＲ）に基づいて視差画像を作成する視差検出装置において、撮像タイミングの異なる２枚の上記第１カメラ画像（左カメラ画像ＣＬ）から動き領域（左動き領域座標ＥＬ）を検出する動き領域検出部１３Ａ・１３Ｃ・１３Ｄと、上記第１カメラ画像（左カメラ画像ＣＬ）から検出された上記動き領域（左動き領域座標ＥＬ）について、第２カメラ画像（右カメラ画像ＣＲ）から得られる類似領域との視差を算出する視差算出部１４Ａ〜１４Ｄとを備えていることを特徴としている。
【０１０９】
上記の発明によれば、視差算出部は、動き領域検出部によって上記第１カメラ画像から検出された動き領域について、第２カメラ画像から得られる類似領域との視差を算出する。これにより、全ての画像領域について視差を算出する場合と比較すると、視差を算出するために必要な計算量を削減することができる。
【０１１０】
したがって、少ない計算量で視差を算出することができる視差検出装置を提供することができる。
【０１１１】
本発明の態様２における視差検出装置１Ａは、態様１における視差検出装置において、前記ステレオカメラ１１にて連続撮像された第１カメラ画像（左カメラ画像ＣＬ）及び第２カメラ画像（右カメラ画像ＣＲ）の各々について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像（左動き画像ＤＬ）及び第２動き画像（右動き画像ＤＲ）を作成する動き画像作成部１２ａ・１２ｂを備え、前記動き領域検出部１３Ａは、上記第１動き画像（左動き画像ＤＬ）において変化のあった画素が、該第１動き画像（左動き画像ＤＬ）の全領域を区分した各区分領域について第１割合（一定値Ｐ）以上存在する区分領域を第１動き領域（左動き領域座標ＥＬ）として検出すると共に、前記視差算出部１４Ａは、上記第１動き画像（左動き画像ＤＬ）の第１動き領域（左動き領域座標ＥＬ）の特徴と類似する特徴を有する第２動き領域（右動き領域座標ＥＲ）を第２動き画像（右動き画像ＤＲ）から検出する動き画像類似領域検出部１４ａと、上記第１動き画像（左動き画像ＤＬ）の第１動き領域（左動き領域座標ＥＬ）と第２動き画像（右動き画像ＤＲ）の第２動き領域（右動き領域座標ＥＲ）との視差を算出する動き画像視差算出部１４ｂとを備えている構成とすることができる。
【０１１２】
上記の構成によれば、視差算出部は、動き領域検出部によって検出された第１動き領域について、第１動き画像の第１動き領域と第２動き画像の第２動き領域との視差を算出する。これにより、全ての画像領域について視差を算出する場合と比較すると、視差を算出するために必要な計算量を削減することができる。また、第１動き画像の第１動き領域と第２動き画像の第２動き領域との視差を算出することにより、動き物体のエッジ部の視差を感度良く検出することができる。
【０１１３】
本発明の態様３における視差検出装置１Ｃは、態様１における視差検出装置において、前記ステレオカメラ１１にて撮像された第１カメラ画像（左カメラ画像ＣＬ）について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像（左動き画像ＤＬ）を作成する第１動き画像作成部１２ａを備え、前記動き領域検出部１３Ｃは、上記第１動き画像（左動き画像ＤＬ）において変化のあった画素が、該第１動き画像（左動き画像ＤＬ）の全領域を区分した各区分領域について、第２割合（一定値Ｑ）以上存在する区分領域を第１動き領域（左動き領域座標ＥＬ）として検出すると共に、前記視差算出部１４Ｃは、上記第１動き画像（左動き画像ＤＬ）の第１動き領域（左動き領域座標ＥＬ）と同一領域に表示されている上記第１カメラ画像（左カメラ画像ＣＬ）の第１画像領域（左画像領域画素ＦＬ）の特徴に類似する特徴を有する第２画像領域（右画像領域画素ＦＲ）を上記ステレオカメラ１１にて撮像された第２カメラ画像（右カメラ画像ＣＲ）から検出するカメラ画像類似領域検出部１４ｄと、上記第１カメラ画像（左カメラ画像ＣＬ）の第１画像領域（左画像領域画素ＦＬ）と上記第２カメラ画像（右カメラ画像ＣＲ）の第２画像領域（右画像領域画素ＦＲ）との視差を算出するカメラ画像視差算出部１４ｅとを備えている構成とすることが可能である。
【０１１４】
上記の構成によれば、視差算出部は、動き領域検出部によって検出された第１動き領域について、第１カメラ画像の第１画像領域と第２カメラ画像の第２画像領域との視差を算出する。これにより、全ての画像領域について視差を算出する場合と比較すると、視差を算出するために必要な計算量を削減することができる。また、第１カメラ画像の第１画像領域と第２カメラ画像の第２画像領域との視差を算出することにより、動き物体の中央部の視差を感度良く検出することができる。
【０１１５】
本発明の態様４における視差検出装置１Ｄは、態様１における視差検出装置において、前記ステレオカメラ１１にて撮像された第１カメラ画像（左カメラ画像ＣＬ）及び第２カメラ画像（右カメラ画像ＣＲ）の各々について現在の画像と過去の画像とを比較し、変化があった画素を表示する第１動き画像（左動き画像ＤＬ）及び第２動き画像（右動き画像ＤＲ）を作成する動き画像作成部（左動き画像作成部１２ａ及び右動き画像作成部１２ｂ）を備え、前記動き領域検出部１３Ｄは、上記第１動き画像（左動き画像ＤＬ）において変化のあった画素が、該第１動き画像（左動き画像ＤＬ）の全領域を区分した各区分領域について、第１割合（一定値Ｐ）以上かつ第２割合（一定値Ｑ）（第１割合＜第２割合）未満存在する区分領域を少動き領域（左動き領域座標ＥＬ１）として検出すると共に、第２割合（一定値Ｑ）以上存在する区分領域を多動き領域（左動き領域座標ＥＬ２）として検出すると共に、前記視差算出部１４Ｄは、上記第１動き画像（左動き画像ＤＬ）の少動き領域（左動き領域座標ＥＬ１）の特徴と類似する特徴を有する第２動き領域（右動き領域座標ＥＲ１）を第２動き画像（右動き画像ＤＲ）から検出する動き画像類似領域検出部１４ａと、上記第１動き画像（左動き画像ＤＬ）の多動き領域（左動き領域座標ＥＬ２）と同一領域に表示されている上記第１カメラ画像（左カメラ画像ＣＬ）の第１画像領域（左画像領域画素ＦＬ１）の特徴に類似する特徴を有する第２画像領域（右画像領域画素ＦＲ１）を上記ステレオカメラ１１にて撮像された第２カメラ画像（右カメラ画像ＣＲ）から検出するカメラ画像類似領域検出部１４ｄと、上記第１動き画像（左動き画像ＤＬ）の少動き領域（左動き領域座標ＥＬ１）と上記第２動き画像（右動き画像ＤＲ）の第２動き領域（右動き領域座標ＥＲ１）との視差を算出する動き画像視差算出部１４ｂと、上記第１カメラ画像（左カメラ画像ＣＬ）の第１画像領域（左画像領域画素ＦＬ１）と上記第２カメラ画像（右カメラ画像ＣＲ）の第２画像領域（右画像領域画素ＦＲ１）との視差を算出するカメラ画像視差算出部１４ｅとを備えている構成であることが好ましい。
【０１１６】
上記の構成によれば、動き領域検出部において、第１割合以上かつ第２割合未満存在する区分領域を少動き領域として検出すると共に、第２割合以上存在する区分領域を多動き領域として検出する。そして、視差算出部において視差を算出する際に、少動き領域に関しては、第１動き画像の少動き領域と第２動き画像の第２動き領域との視差を算出する。
【０１１７】
一方、多動き領域に関しては、第１カメラ画像の第１画像領域と第２カメラ画像の第２画像領域との視差を算出する。
【０１１８】
これにより、動き物体のエッジ部の割合が多い場合の視差を算出するときには、第１動き画像の少動き領域と第２動き画像の第２動き領域との視差を算出することにより、動き物体のエッジ部の視差を感度良く検出することができる。
【０１１９】
また、動き物体の中央部の割合が多い領域の視差を算出するときには、第１カメラ画像の第１画像領域と第２カメラ画像の第２画像領域との視差を算出することにより、動き物体の中央部の視差を感度良く検出することができる。その結果、動き物体のエッジ部及び中央部両方の視差を感度良く検出することができる。
【０１２０】
また、動き領域検出部において検出されない領域に関しては、視差を算出しない。その結果、少ない計算量で視差を算出することができる。
【０１２１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１２２】
本発明は、ステレオカメラにて連続撮像された第１カメラ画像及び第２カメラ画像に基づいて視差画像を作成する視差検出装置に関するものであり、例えば、監視カメラ、見守りカメラ等のための、画像処理技術に利用することができる。
【符号の説明】
【０１２３】
１Ａ〜１Ｄ            視差検出装置
１１                    ステレオカメラ
１１ａ                  左カメラ（第１カメラ）
１１ｂ                  右カメラ（第２カメラ）
１２                    動き画像作成部
１２ａ                  左動き画像作成部（動き画像作成部、第１動き画像作成部）
１２ｂ                  右動き画像作成部（動き画像作成部、第２動き画像作成部）
１３Ａ・１３Ｃ・１３Ｄ  動き領域検出部
１４Ａ〜１４Ｄ          視差算出部
１４ａ                  動き画像類似領域検出部
１４ｂ                  動き画像視差算出部
１４ｃ                  動き画像全体領域視差算出部
１４ｄ                  カメラ画像類似領域検出部
１４ｅ                  カメラ画像視差算出部
１５Ａ〜１５Ｄ          視差画像作成部
ＣＬ                    左カメラ画像（第１カメラ画像）
ＣＲ                    右カメラ画像（第２カメラ画像）
ＤＬ                    左動き画像（第１動き画像）
ＤＲ                    右動き画像（第２動き画像）
ＥＬ                    左動き領域座標（動き領域、第１動き領域）
ＥＬ１                  左動き領域座標（少動き領域）
ＥＬ２                  左動き領域座標（多動き領域）
ＥＲ・ＥＲ１            右動き領域座標（第２動き領域）
ＦＬ１                  左画像領域画素（第１画像領域）
ＦＲ１                  右画像領域画素（第２画像領域）
Ｐ                      一定値（第１割合）
Ｑ                      一定値（第２割合）
【図１】
2017010382.tif 000003
【図２】
2017010382.tif 000004
【図３】
2017010382.tif 000005
【図４】
2017010382.tif 000006
【図５】
2017010382.tif 000007
【図６】
2017010382.tif 000008
【図７】
2017010382.tif 000009
【図８】
2017010382.tif 000010
【図９】
2017010382.tif 000011
【図１０】
2017010382.tif 000012
【図１１】
2017010382.tif 000013