(57)【要約】【課題】  ローカル方法による変位推定方法にエッジ情報を用いた変位抽出方法であるＳＥＤを加えて非テクスチャ領域でのミスマッチを補正するステレオマッチングシステム及びステレオマッチング方法を提供すること。【解決手段】左側映像と右側映像を得るステレオ映像取得部５１、左側映像及び右側映像からローカル方法を用いて変位を推定する第１変位推定部５３と、左側映像及び右側映像でエッジ情報を得るエッジ情報取得部５５と、エッジ情報を用いてＳＥＤ（Ｓｕｍ  ｏｆ  Ｅｄｇｅ  Ｄｉｆｆｅｒｅｎｃｅ）により変位を推定する第２変位推定部５７と、第１変位推定部５３と第２変位推定部５７とで推定した変位を合成して変位マップを生成する変位合成部５９と、を含むことを特徴とするステレオマッチングシステ５０が提供される。【選択図】図２
2009043221.tif 000002
【特許請求の範囲】
【請求項１】
左側映像と右側映像を得るステレオ映像取得部と、
前記左側映像及び右側映像からローカル方法を用いて変位を推定する第１変位推定部と、
前記左側映像及び右側映像でエッジ情報を得るエッジ情報取得部と、
前記エッジ情報を用いてＳＥＤ（Ｓｕｍ  ｏｆ  Ｅｄｇｅ  Ｄｉｆｆｅｒｅｎｃｅ）により変位を推定する第２変位推定部と、
前記第１変位推定部と前記第２変位推定部とで推定した変位を合成して変位マップを生成する変位合成部と、
を含むことを特徴とするステレオマッチングシステム。
【請求項２】
前記第１変位推定部は、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いて変位を推定することを特徴とする請求項１に記載のステレオマッチングシステム。
【請求項３】
前記変位合成部は、ＳＡＤとＳＥＤとを合成して変位マップを生成することを特徴とする請求項１に記載のステレオマッチングシステム。
【請求項４】
左側映像と右側映像を得る第１段階と、
前記左側映像と右側映像からローカル方法を用いて変位を推定する第２段階と、
前記左側映像及び右側映像でエッジ情報を得る第３段階と、
前記エッジ情報を用いてＳＥＤにより変位を推定する第４段階と、
前記第２段階と第４段階とで推定した変位を合成して変位マップを生成する第５段階と、
を特徴とするステレオマッチング方法。
【請求項５】
前記第２段階は、ＳＡＤを用いて変位を推定することを特徴とする請求項４に記載のステレオマッチング方法。
【請求項６】
前記第５段階は、ＳＡＤとＳＥＤとを合成して変位マップを生成することを特徴とする請求項４に記載のステレオマッチング方法。
【請求項７】
前記ＳＥＤは、次の数式を満足することを特徴とする請求項４に記載のステレオマッチング方法。
【数１】
2009043221.tif 000006
前記数式で、前記ＤＬ（ｘ、ｙ、Ｖ）においてｘ、ｙは、前記左側映像の基準ピクセルの座標情報、Ｖは前記左側映像において前記基準ピクセルからエッジまでの所定方向であり、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）において、ｘ＋ｄ、ｙはｘ軸方向に変位ｄほど移動された前記右側映像の基準ピクセル座標情報、Ｖは前記右側映像の前記基準ピクセルｘ＋ｄ、ｙからエッジまでの所定方向である。
【請求項８】
前記Ｖは、一つ又は複数の方向であることを特徴とする請求項７に記載のステレオマッチング方法。
【請求項９】
前記第５段階は、Ｃ（ｄ）＝Ｃｌｏｃａｌ（ｄ）＋λＣｓｅｄ（ｄ）を満足することを特徴とする請求項４に記載のステレオマッチング方法。
前記Ｃｌｏｃａｌ（ｄ）はローカル方法による変位ｄを推定する関数、前記Ｃｓｅｄ（ｄ）はＳＥＤによる変位ｄを推定する関数、前記λはＳＥＤ関数の重要度である。
【請求項１０】
前記Ｃ（ｄ）は、最小値を有することを特徴とする請求項９に記載のステレオマッチング方法。
【請求項１１】
前記第２段階は、第３段階及び第４段階と同時に行うか又は後で行うことを特徴とする請求項４に記載のステレオマッチング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオマッチングシステム及びステレオマッチング方法に関し、さらに詳しくは、ローカル方法（ｌｏｃａｌ  ｍｅｔｈｏｄ）による変位（ｄｉｓｐａｒｉｔｙ）推定方法とエッジ（ｅｄｇｅ）情報を用いる変位推定方法であるＳＥＤ（Ｓｕｍ  ｏｆ  Ｅｄｇｅ  Ｄｉｆｆｅｒｅｎｃｅ）を合成するステレオマッチングシステム及びステレオマッチング方法（Ｔｈｅ  ｓｔｅｒｅｏ  ｍａｔｃｈｉｎｇ  ｓｙｓｔｅｍ  ａｎｄ  ｔｈｅ  ｓｔｅｒｅｏ  ｍａｔｃｈｉｎｇ  ｍｅｔｈｏｄ  ｏｆ  ｔｈｅ  ｓａｍｅ）に関するものである。
【背景技術】
【０００２】
一般に、ステレオマッチングとは、人間視覚システムの距離識別能力を用いて相互異なる観点から得られる二つの映像間の対応点間の距離である変位を推定し、正確かつ信頼性のある変位マップ（ｄｉｓｐａｒｉｔｙ  ｍａｐ）を得ることをいう。
【０００３】
さらに、上記変位マップをデプスマップ（ｄｅｐｔｈ  ｍａｐ）に具現することによって、深み感を有する３次元映像に復元することができる。
【０００４】
このような上記ステレオマッチングは、情報通信、放送、医療、ゲーム、ディスプレイ等の産業全般にわたって多様に用いられていて、３次元の立体マルチメディアの核心基盤技術であるといえる。
【０００５】
上記ステレオマッチング方法としては、一般にローカル方法が用いられる。ローカル方法は、入力された左側映像と右側映像とのうち基準映像となる左側映像の基準ピクセルの周りに所定領域のブロックを設定する。
【０００６】
続いて、右側映像から上記所定領域のブロックと対応する、最も類似している領域を検出して変位を推定し、変位マップを生成するステレオマッチング方法である。
【０００７】
この場合、上記ローカル方法としては、明暗情報を用いて上記左側／右側映像の所定領域のブロック間の相関性を求めた後にその差の二乗を加算するＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ブロック間の相関性を求めた後にその差の絶対値を加算するＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、ピクセルとの間の相関関係を用いるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｅｆｆｉｃｉｅｎｔ）などがある。
【０００８】
このようなローカル方法は、明暗差が明確な場合に好適なステレオマッチングを可能とさせる方法である。
【０００９】
【特許文献１】大韓民国特許公開第２００４−０００６７３８号明細書
【特許文献２】大韓民国特許公開第２００５−０１２１０８０号明細書
【特許文献３】特開２００３−２４８８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、このようなローカル方法は、明暗情報のみを用いるので非テクスチャ領域（ｎｏｎ−ｔｅｘｔｕｒｅ  ｒｅｇｉｏｎ）では類似する映像を正確に検出することができず、ミスマッチ（ｆａｌｓｅ  ｍａｔｃｈ）を引き起こすという問題がある。
【００１１】
図１は、従来技術による非テクスチャ領域でのミスマッチを説明するための構成図である。
【００１２】
図１を参照すると、それぞれの長方形及び円形で構成された左側映像１０ａと右側映像１０ｂとをローカル方法による変位推定方法であるＳＡＤを用いて変位マップ１０ｃを得る。
【００１３】
左側映像１０ａは非テクスチュア領域である第１長方形２０ａと第１円形３０ａからなり、右側映像１０ｂは非テクスチュア領域である第２長方形２０ｂと第２円形３０ｂからなる。
【００１４】
このとき、左側映像１０ａを基準映像として、基準ピクセルの周りに所定領域のブロックを設定する。続いて、右側映像において左側映像から設定した所定領域のブロックと最も類似している領域を明暗情報によって検出する変位推定方法ＳＡＤを行う。
【００１５】
しかしながら、左側映像１０ａ及び右側映像１０ｂのように非テクスチャ領域で構成された映像においては、ほぼ類似する領域を検出することができるが、それが正確な変位を意味するものではない。
【００１６】
したがって、このようなローカル方法を用いたステレオマッチングは、変位マップ１０ｃの非テクスチャ領域である第３長方形２０ｃ及び第３円形３０ｃにおいてミスマッチにより歪みが発生する問題があった。
【００１７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ローカル方法による変位推定方法にエッジ情報を用いた変位抽出方法であるＳＥＤを加えて非テクスチャ領域でのミスマッチを補正する、新規かつ改良されたステレオマッチングシステム及びステレオマッチング方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明のある観点によれば、左側映像と右側映像を得るステレオ映像取得部と、左側映像及び右側映像からローカル方法を用いて変位を推定する第１変位推定部と、左側映像及び右側映像でエッジ情報を得るエッジ情報取得部と、エッジ情報を用いてＳＥＤ（Ｓｕｍ  ｏｆ  Ｅｄｇｅ  Ｄｉｆｆｅｒｅｎｃｅ）により変位を推定する第２変位推定部と、第１変位推定部と第２変位推定部とで推定した変位を合成して変位マップを生成する変位合成部と、を含むことを特徴とするステレオマッチングシステムが提供される。
【００１９】
第１変位推定部は、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いて変位を推定してもよい。そして、変位合成部は、ＳＡＤとＳＥＤとを合成して変位マップを生成してもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、左側映像と右側映像を得る第１段階と、左側映像と右側映像からローカル方法を用いて変位を推定する第２段階と、左側映像及び右側映像でエッジ情報を得る第３段階と、エッジ情報を用いてＳＥＤにより変位を推定する第４段階と、第２段階と第４段階とで推定した変位を合成して変位マップを生成する第５段階と、を特徴とするステレオマッチング方法が提供される。
【００２１】
第２段階は、ＳＡＤを用いて変位を推定してもよい。そして、第５段階は、ＳＡＤとＳＥＤとを合成して変位マップを生成してもよい。
【００２２】
ＳＥＤは、次の数式を満足するようにしてもよい。
【数１】
2009043221.tif 000003
なお、上記数式で、ＤＬ（ｘ、ｙ、Ｖ）においてｘ、ｙは、左側映像の基準ピクセルの座標情報、Ｖは左側映像において基準ピクセルからエッジまでの所定方向であり、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）において、ｘ＋ｄ、ｙはｘ軸方向に変位ｄほど移動された右側映像の基準ピクセル座標情報、Ｖは右側映像の基準ピクセルｘ＋ｄ、ｙからエッジまでの所定方向である。
【００２３】
Ｖは、一つ又は複数の方向であってもよい。
【００２４】
第５段階は、Ｃ（ｄ）＝Ｃｌｏｃａｌ（ｄ）＋λＣｓｅｄ（ｄ）を満足してもよい。なお、Ｃｌｏｃａｌ（ｄ）はローカル方法による変位ｄを推定する関数、Ｃｓｅｄ（ｄ）はＳＥＤによる変位ｄを推定する関数、λはＳＥＤ関数の重要度である。
【００２５】
Ｃ（ｄ）は、最小値を有していてもよい。
【００２６】
第２段階は、第３段階及び第４段階と同時に行うか又は後で行うようにしてもよい。
【発明の効果】
【００２７】
以上説明したように本発明によれば、ローカル方法のみでステレオマッチングした場合に発生する非テクスチャ領域でのミスマッチを補正して好適なステレオマッチングを具現する効果を奏する。
【発明を実施するための最良の形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
本発明によるステレオマッチングは、ローカル方法による非テクスチャ領域でのミスマッチを低減させるために、さらにエッジ情報を用いた変位推定方法であるＳＥＤを行う。
【００３０】
図２は、本発明の一実施形態にかかるステレオマッチングシステムを示すブロック図である。
【００３１】
上記ステレオマッチングシステム５０は、ステレオ映像取得部５１、第１変位推定部５３、エッジ情報取得部５５、第２変位推定部５７、及び変位合成部５９で構成されている。このようなステレオマッチングシステム５０は以下の説明で具体化される。
【００３２】
まず、ステレオ映像取得部５１では、左側映像と右側映像とを取得する第１段階を実行する。
【００３３】
次に、第１変位推定部５３では、ローカル方法により変位を推定することになるが、ステレオ映像取得部５１から取得した左側映像を基準映像として基準ピクセルの周りに所定領域のブロックを設定する。
【００３４】
続いて、右側映像において左側映像から設定した所定領域のブロックと最も類似している領域を明暗情報によって検出する第２段階を実行する。
【００３５】
この場合にローカル方法としては、明暗情報を用いて左側／右側映像の所定領域のブロック間の相関性を求めた後にその差の二乗を加算するＳＳＤ、ブロック間の相関性を求めた後にその差の絶対値を加算するＳＡＤ及びピクセル間の相関関係を用いるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｅｆｆｉｃｉｅｎｔ）などがあるが、これらのうちのいずれか一つとしてもよい。
【００３６】
好ましくは、計算過程である簡単なＳＡＤ方法を用いてもよい。
【００３７】
次に、エッジ情報取得部５５では、ステレオ映像取得部５１から取得した左側映像と右側映像から一般的なエッジ検出方法を用いてそれぞれエッジ情報を取得する第３段階を実行する。
【００３８】
次に、第２変位推定部５７では、ＳＥＤ方法により変位を推定することになるが、上記第３段階から取得した左側映像と右側映像のエッジ情報を用いる。より詳しくは、先に基準映像である左側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。続いて、右側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。
【００３９】
左側映像と右側映像からそれぞれ求めた基準ピクセルからエッジまでの距離の差を算出し、その合計が最小となる領域を検出する第４段階を実行する。
【００４０】
次に、変位合成部５９では、第１変位推定部５３から得た変位と第２変位推定部５７から得た変位とを合成する第５段階を実行する。
【００４１】
これで、非テクスチャ領域で発生するミスステレオマッチングを補正して正確度の向上された好適な変位マップを得ることができる。
【００４２】
この場合、上記第２段階は、上記第３段階及び上記第４段階と同時に行ってもよく、第３段階及び第４段階より後に行ってもよい。
【００４３】
このような本発明の一実施形態にかかるステレオマッチングは、図３及び図４を参照して以下の詳細な説明でさらに明確に理解することができる。
【００４４】
まず、図３は、本発明の一実施形態にかかる非テクスチャ領域でのステレオマッチングを説明するための構成図である。
【００４５】
図３を参照すると、それぞれの長方形と円形で構成された左側映像１００ａと右側映像１００ｂとを、ローカル方法による変位推定方法であるＳＡＤ方法とエッジ情報を用いたＳＥＤ方法によって実施して変位マップ１００ｃを得る。
【００４６】
本実施形態では、左側映像１００ａは非テクスチャ領域である第１長方形２００ａと第１円形３００ａからなっていて、右側映像１００ｂは非テクスチャ領域である第２長方形２００ｂと第２円形３００ｂからなっている。
【００４７】
このとき、ＳＡＤ方法は、明暗情報を用いて基準映像である左側映像１００ａの基準ピクセルの周りに所定領域のブロックを設定する。
【００４８】
続いて、右側映像１００ｂで左側映像１００ａの所定領域のブロックと最も類似している領域を検出する。
【００４９】
次に、ＳＥＤ方法はエッジ情報を利用することになるが、このようなエッジ情報により基準映像の左側映像１００ａと右側映像１００ｂのそれぞれの基準ピクセルから所定方向のエッジまでの距離を算出する。
【００５０】
続いて、得られた左側映像１００ａと右側映像１００ｂのそれぞれの基準ピクセルからエッジまでの距離の差を加算して最も類似している領域を検出する。
【００５１】
次に、ＳＡＤ方法とＳＥＤ方法から得られた変位を合成して変位マップ１００ｃを得る。
【００５２】
よって、ＳＡＤ方法のみを用いた図１の変位マップ１０ｃの第３長方形２０ｃ及び第３円形３０ｃと比べてエッジ情報を用いたＳＥＤ方法をさらに追加することで、図３の変位マップ１００ｃの第３長方形２００ｃ及び第３円形３００ｃのような好適な変位マップを得ることができる。
【００５３】
このようなステレオマッチング方法は変位ｄを用いた次の数式１を満足する。
【数２】
2009043221.tif 000004
Ｃｌｏｃａｌ（ｄ）はローカル方法による変位推定方法を示す関数である。
Ｃｓｅｄ（ｄ）はエッジ情報を用いた変位推定方法であるＳＥＤ方法を示す関数である。
ラムダ（λ）はＳＥＤ方法の重要度を示す整数である。
【００５４】
このようなＣ（ｄ）が最小値を有した場合、ステレオマッチングの正確度は最も高い変位を得る。
【００５５】
このようなＳＥＤ方法は、図４を参照して以下の詳細な説明によって明確に理解することができる。
【００５６】
図４は、本発明の一実施形態にかかるエッジ情報を用いた変位推定方法であるＳＥＤを説明するための構成図である。
【００５７】
図４を参照すると、ＳＥＤ方法は、左側／右側映像の基準ピクセルから所定方向のエッジまでの距離の差とこれらの合計を用いた変位推定方法である。基準ピクセルからエッジまでの距離は矢印で表示されている。
【００５８】
まず、基準映像となる左側映像４１０ａにおいて、所定領域である第１ブロック４００ａの第１基準ピクセル４３０ａからエッジまでの距離はそれぞれ上／下／左／右方向によって求める。
【００５９】
次に、右側映像４２０は、第１右側映像４１０ｂ又は第２右側映像４１０ｃとすることができるが、この場合、第１ブロック４００ａに対応する第２ブロック４００ｂ及び第３ブロック４００ｃの第２基準ピクセル４３０ｂ及び第３基準ピクセル４３０ｃからエッジまでの距離をそれぞれ上／下／左／右方向によって求める。
【００６０】
上記のように求められた左側映像４１０ａの基準ピクセル４３０ａからエッジまでの距離と第１右側映像４１０ｂの第２基準ピクセル４３０ｂからエッジまでの距離との差を求める。
【００６１】
続いて、左側映像４１０ａの基準ピクセル４３０ａからエッジまでの距離と第２右側映像４１０ｃの第３基準ピクセル４３０ｃからエッジまでの距離との差を求めて、これらの合計を算出する。
【００６２】
結局、合計が最小値となる第２右側映像４１０ｃの第３ブロック４００ｃが左側映像４１０ａの第１ブロック４００ａと最も類似している領域として選択される。
【００６３】
したがって、ローカル方法では判別しにくかった第１右側映像４１０ｂ及び第２右側映像４１０ｃを判別することができる。このような変位推定方法であるＳＥＤ方法は下記の数式２を満足する。
【数３】
2009043221.tif 000005
ＤＬ（ｘ、ｙ、Ｖ）は、ｘ、ｙは左側映像の基準ピクセルの座標情報である。Ｖは基準ピクセルからエッジまでの所定方向を示す。
【００６４】
よって、ＤＬ（ｘ、ｙ、Ｖ）は、左側映像の基準ピクセル（ｘ、ｙ）から所定方向であるＶ方向のエッジまでの距離を示す。
【００６５】
続いて、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）において、ｘ＋ｄ、ｙは左側映像の基準ピクセルに対応されるｘ軸方向に変位ｄほど移動した右側映像の基準ピクセル座標情報である。Ｖは、右側映像の基準ピクセルからエッジまでの所定方向を示す。
【００６６】
よって、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）は、右側映像の基準ピクセル（ｘ＋ｄ、ｙ）から所定方向であるＶ方向のエッジまでの距離を示す。
【００６７】
結局、ＳＥＤ（ｘ、ｙ、ｄ）は、左側映像の基準ピクセル（ｘ、ｙ）からＶ方向のエッジまでの距離と、右側映像の基準ピクセル（ｘ＋ｄ、ｙ）からＶ方向のエッジまでの距離の差を加算した値となる。
【００６８】
この場合、合計が最小値なるとき、基準映像である左側映像と最も類似な右側映像を求めることができる。
【００６９】
一方、基準ピクセルからエッジまでの所定方向を示すＶは、基準ピクセルとエッジとの間において一つ又は多数とすることができる。一例として、２個（左側、右側）または４個（左側、右側、上側及び下側）として具現することができる。
【００７０】
本発明の目的と技術的構成及びその作用効果に関する詳細内容は、図面を参照して、以下の実施例でさらに明確に理解することができる。
【００７１】
〔実施例１〕
図５Ａ〜図５Ｃは、本発明による実施例１を説明するための写真である。
【００７２】
まず、図５Ａは映像の実際変位を示す変位マップである。図５Ｂはローカル方法による変位推定方法であるＳＡＤ方法による変位マップである。図５Ｃは、ＳＡＤ方法にエッジ情報を用いた変位抽出方法であるＳＥＤ方法が追加された本発明による変位マップである。
【００７３】
この場合、図５Ｃは、図２を参照して本発明の詳細な説明により開示されたステレオ映像取得部５１、第１変位推定部５３、エッジ情報取得部５５、第２変位推定部５７、及び変位合成部５９で構成されたステレオマッチングシステム５０によって得られる。このようなステレオマッチングシステム５０の動作は以下である。
【００７４】
まず、ステレオ映像取得部５１では、左側映像及び右側映像を取得する第１段階を実行する。
【００７５】
次に、第１変位推定部５３では、ローカル方法であるＳＡＤ方法を用いて変位を推定する。ステレオ映像取得部５１で取得した左側映像を基準映像として明暗情報を用いて基準ピクセルの周りに所定領域のブロックを設定する。
【００７６】
続いて、右側映像において、左側映像に設定した所定領域のブロックと最も類似な領域を検出する過程を介して変位を推定する第２段階を実行する。図５ＢはＳＡＤ方法を用いた第２段階から得られた変位マップである。
【００７７】
次に、エッジ情報取得部５５では、ステレオ映像取得部５１から得られた左側映像と右側映像から一般のエッジ検出方法を用いてそれぞれのエッジ情報を得る第３段階を実行する。
【００７８】
次に、第２変位推定部５７では、第３段階から得られた左側映像及び右側映像のエッジ情報を用いてＳＥＤ方法により変位を推定する。
【００７９】
さらに詳しくは、基準映像である左側映像での基準ピクセルから所定方向のエッジまでの距離を算出する。
【００８０】
続いて、右側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。
【００８１】
続いて、左側映像と右側映像でそれぞれ求められた基準ピクセルからエッジまでの距離の差を算出し、その合計が最小となる領域を検出する変位推定過程である第４段階を実行する。これは、上述した数式２により裏付けられる。
【００８２】
次に、変位合成部５９では、第１変位推定部５３で得られた変位と第２変位推定部５７で得られた変位とを合成する第５段階を実行して変位マップを得る。これは、上述した数式１によって裏付けられる。
【００８３】
したがって、非テクスチャ領域で発生するミスステレオマッチングを補正して、正確度が向上した変位マップである図５Ｃを得ることができる。
【００８４】
この場合、図５Ｃは、図５Ｂよりは映像の実際的な変位を示す図５Ａに類似していることが肉眼で確認できるが、このような正確度の差は図６によって明確に説明できる。
【００８５】
図６は、実施例１によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。
【００８６】
図６を参照すると、正確度は、映像の実際変位を示す図５Ａを基準として、ステレオマッチング時に１ピクセル未満の差で存在するピクセル数を全体映像のピクセル数に対する割合として示したものである。
【００８７】
ここで、ＳＡＤ方法は、ローカル方法による変位推定方法として変位マップの図５Ｂを示す。
【００８８】
また、ＳＡＤ＋ＳＥＤ方法は、ＳＡＤ方法に、エッジ情報を用いた変位推定方法であるＳＥＤ方法が追加された変位推定方法として変位マップの図５Ｃを示す。
【００８９】
一方、ＳＡＤ＋ＳＥＤ方法は、上述した数式１を満足しており、λ＝０．５の場合のブロック大きさに対する正確度を示す。
【００９０】
このような図６は、ＳＡＤ方法のみを用いた変位マップである図５Ｂよりも、ＳＡＤ方法とＳＥＤ方法とが合成されて適用された変位マップである図５Ｃの正確度が好適であることを示す。
【００９１】
〔実施例２〕
図７Ａ〜図７Ｃは、本発明による実施例２を説明するための写真である。
【００９２】
まず、図７Ａは映像の実際変位を示す変位マップである。
【００９３】
図７Ｂは、ローカル方法による変位推定方法であるＳＡＤ方法による変位マップである。
【００９４】
図７Ｃは、ＳＡＤ方法にエッジ情報を用いた変位抽出方法であるＳＥＤ方法が追加された本発明による変位マップである。
【００９５】
このとき、図７Ｃは、図２を参照して本発明の詳細な説明に開示されたステレオ映像取得部５１、第１変位推定部５３、エッジ情報取得部５５、第２変位推定部５７、及び変位合成部５９で構成されたステレオマッチングシステム５０により得られる。このようなステレオマッチングシステムの動作は以下である。
【００９６】
まず、ステレオ映像取得部５１では、左側映像と右側映像を得る第１段階を実行する。
【００９７】
次に、第１変位推定部５３では、ローカル方法であるＳＡＤ方法を用いて変位を推定する。ステレオ映像取得部５１で得られた左側映像を基準映像として明暗情報を用いて基準ピクセルの周りに所定領域のブロックを設定する。
【００９８】
続いて、右側映像において、左側映像で設定された所定領域のブロックと類似する領域を検出する過程を介して変位を推定する第２段階を実行する。
【００９９】
図７Ｂは、ＳＡＤ方法を用いた第２段階で得られた変位マップである。
【０１００】
次に、エッジ情報取得部５５では、ステレオ映像取得部５１で得られた左側映像と右側映像から一般のエッジ検出方法を用いてそれぞれエッジ情報を得る第３段階を実行する。
【０１０１】
次に、第２変位推定部５７では、第３段階で得られた左側映像と右側映像のエッジ情報を用いてＳＥＤ方法により変位を推定する。
【０１０２】
まず、基準映像である左側映像での基準ピクセルから所定方向のエッジまでの距離を算出する。
【０１０３】
続いて、右側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。
【０１０４】
続いて、左側映像と右側映像において、それぞれ求められた基準ピクセルからエッジまでの距離の差を算出し、その合計が最小となる領域を検出する変位推定過程である第４段階を実行する。これは、上述した数式２によって裏付けられる。
【０１０５】
次に、変位合成部５９では、第１変位推定部５３で得られた変位と第２変位推定部５７で得られた変位とを合成する第５段階を実行する。これは、上述した数式１によって裏付けられる。
【０１０６】
したがって、非テクスチャ領域で発生するミスステレオマッチングを補正して、正確度が向上した好適な変位マップである図７Ｃを得ることができる。
【０１０７】
この場合、図７Ｃは、図７Ｂよりも映像の実際的な変位を示す図７Ａに類似していることを肉眼上で確認することができるが、このような正確度の差は図８によって明確に説明することができる。
【０１０８】
図８は、実施例２によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。
【０１０９】
図８を参照すると、正確度は、映像の実際変位を示す図７Ａを基準として、ステレオマッチング時に１ピクセル未満の差で存在するピクセル数を全体映像ピクセル数に対する割合で示したものである。
【０１１０】
ここで、ＳＡＤ方法は、ローカル方法による変位推定方法として変位マップの図７Ｂを示す。
【０１１１】
また、ＳＡＤ＋ＳＥＤ方法は、ＳＡＤ方法にエッジ情報を用いた変位推定方法であるＳＥＤ方法を加えた変位推定方法として変位マップの図７Ｃを示す。
【０１１２】
一方、ＳＡＤ＋ＳＥＤ方法は、上述した数式１を満たし、λ＝０．５の場合のブロック大きさに対する正確度を示す。
【０１１３】
このような図８は、ＳＡＤ方法のみを用いた変位マップ図７ＢよりもＳＡＤ方法とＳＥＤ方法とが合成された変位マップの図７Ｃの正確度が好適であることを示す。
【０１１４】
図９は、媒介変数のラムダ（λ）によるステレオマッチング正確度を示すグラフである。
【０１１５】
図９を参照すると、図５Ｃの場合にはラムダ（λ）による正確度がほぼ一定であった。しかしながら、図７Ｃの場合にはラムダ（λ）が増加するほど正確度は減少する。
【０１１６】
したがって、実施例１と実施例２では、λ＝０．５である場合として説明したが、正確度は媒介変数のラムダ（λ）により影響を受ける。
【０１１７】
これは、上述した数式１によって説明したように、ＳＥＤ方法の重要度を示すものであって、媒介変数のλを最適化してさらに好適なステレオマッチングとすることができる。
【０１１８】
以上、本発明の実施例を含む詳細な説明では、ステレオマッチング時の左側映像を基準として説明したが、本発明はこれに限定されず、右側映像を基準としてステレオマッチングをすることもできる。
【０１１９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【０１２０】
【図１】従来技術による非テクスチャ領域でのステレオマッチングを説明するための構成図である。
【図２】本発明の一実施形態にかかるステレオマッチングシステムを示すブロック図である。
【図３】本発明の一実施形態にかかる非テクスチャ領域でのステレオマッチングを説明するための構成図である。
【図４】本発明の一実施形態にかかるエッジ情報を用いた変位推定方法であるＳＥＤを説明するための構成図である。
【図５Ａ】本発明の実施例１を説明するための写真である。
【図５Ｂ】本発明の実施例１を説明するための写真である。
【図５Ｃ】本発明の実施例１を説明するための写真である。
【図６】実施例１によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。
【図７Ａ】本発明の実施例２を説明するための写真である。
【図７Ｂ】本発明の実施例２を説明するための写真である。
【図７Ｃ】本発明の実施例２を説明するための写真である。
【図８】実施例２によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。
【図９】媒介変数のラムダ（λ）によるステレオマッチング正確度を示すグラフである。
【符号の説明】
【０１２１】
５０    ステレオマッチングシステム
５１    ステレオ映像取得部
５３    第１変位推定部
５５    エッジ情報取得部
５７    第２変位推定部
５９    変位合成部
２００ａ    第１長方形
２００ｂ    第２長方形
２００ｃ    第３長方形
３００ａ    第１円形
３００ｂ    第２円形
３００ｃ    第３円形
４００ａ    第１ブロック
４００ｂ    第２ブロック
４００ｃ    第３ブロック
【図２】
2009043221.tif 000007
【図６】
2009043221.tif 000008
【図８】
2009043221.tif 000009
【図９】
2009043221.tif 000010
【図１】
2009043221.tif 000011
【図３】
2009043221.tif 000012
【図４】
2009043221.tif 000013
【図５Ａ】
2009043221.tif 000014
【図５Ｂ】
2009043221.tif 000015
【図５Ｃ】
2009043221.tif 000016
【図７Ａ】
2009043221.tif 000017
【図７Ｂ】
2009043221.tif 000018
【図７Ｃ】
2009043221.tif 000019