(57)【要約】【課題】演算量を抑制しながら、連続するフレーム間におけるディスパリティの揺らぎを低減するステレオ画像処理方法及びステレオ画像処理装置を提供する【解決手段】所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、所定フレームの直前フレームの視差情報に基づいて所定フレームの加重値を算出する加重値演算部と、相違度演算部から供給されたステレオ画像の相違度に加重値演算部から供給された加重値を重み付けする第１のフィルタと、第１のフィルタから供給された加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出する最適化部と、最適化部から供給された所定フレームの視差情報を保存し、保存された視差情報を加重値演算部に出力する第１のメモリと、を具備するステレオ画像処理装置。【選択図】図３
2013126114.tif 000002
【特許請求の範囲】
【請求項１】
所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、
前記所定フレームの直前フレームの視差情報に基づいて前記所定フレームの加重値を算出する加重値演算部と、
前記相違度演算部から供給された前記ステレオ画像の相違度に前記加重値演算部から供給された前記加重値を重み付けする第１のフィルタと、
前記第１のフィルタから供給された前記加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出する最適化部と、
前記最適化部から供給された前記所定フレームの視差情報を保存し、保存された前記視差情報を前記加重値演算部に出力する第１のメモリと、
を具備するステレオ画像処理装置。
【請求項２】
前記最適化部により算出された視差情報からノイズを除去し、ノイズを除去した前記視差情報を前記第１のメモリに出力する第２のフィルタをさらに具備する請求項１に記載のステレオ画像処理装置。
【請求項３】
前記第１のメモリから出力された前記視差情報からノイズを除去し、ノイズを除去した前記視差情報を前記加重値演算部に出力する第２のフィルタをさらに具備する請求項１に記載のステレオ画像処理装置。
【請求項４】
前記所定フレームの直前フレームステレオ画像のうち基準画像又は参照画像のいずれか一方の画像データを保存する第２のメモリと、
前記所定フレームのステレオ画像のうち、前記第２メモリに保存された画像データに対応する基準画像又は参照画像のいずれか一方の画像データが入力され、前記第２のメモリから供給された前記直前フレームの画像データと前記所定フレームの画像データとを対応する画素ごとに比較する画像データ比較部と、をさらに具備し、
前記加重値演算部は、前記画像データ比較部からの比較結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項１乃至３のいずれか一項に記載のステレオ画像処理装置。
【請求項５】
前記加重値演算部は、前記画像データ比較部からの比較結果が前記直前フレームの画像データと前記所定フレームの画像データとの対応する画素データに変化が少ないことを示している場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項４に記載のステレオ画像処理装置。
【請求項６】
前記直前フレームと前記所定フレームとの類似性を判定するフレーム類似性演算部をさらに具備し、
前記加重値演算部は、前記フレーム類似性演算部からの比較結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項４又は５に記載のステレオ画像処理装置。
【請求項７】
前記加重値演算部は、フレーム類似性演算部から供給された結果が前記直前フレームと前記所定フレームとの類似性が高いことを示す場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項６に記載のステレオ画像処理装置。
【請求項８】
前記加重値が小さな値の場合、前記最適化部は前記直前フレームの視差情報と同一又は近い視差情報を前記所定フレームの視差情報として算出し、
前記加重値が大きな値の場合、前記最適化部は前記直前フレームの視差情報とは異なる視差情報を前記所定フレームの視差情報として算出することを特徴とする請求項５又は７に記載のステレオ画像処理装置。
【請求項９】
所定フレームのステレオ画像が入力され、
前記ステレオ画像の相違度を算出し、
直前に算出された視差情報に基づいて前記所定フレームの加重値を算出し、
前記ステレオ画像の相違度に前記加重値を重み付けし、
前記加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出し、
前記所定フレームの視差情報を保存し、保存された前記視差情報を次の加重値の算出に用いること、
を含むステレオ画像処理方法。
【請求項１０】
前記所定フレームの視差情報を保存する前に、前記視差情報からノイズを除去すること、をさらに含むことを特徴とする請求項９に記載のステレオ画像処理装方法。
【請求項１１】
前記所定フレームの視差情報を保存した後、且つ前記保存された前記視差情報を次の加重値の算出に用いる前に前記視差情報からノイズを除去すること、をさらに含むことを特徴とする請求項９に記載のステレオ画像処理装方法。
【請求項１２】
前記所定フレームの直前フレームステレオ画像のうち基準画像又は参照画像のいずれか一方の画像データを保存し、
前記所定フレームのステレオ画像のうち、保存された前記画像データに対応する基準画像又は参照画像のいずれか一方の画像データと前記直前フレームの画像データとを対応する画素ごとに比較すること、をさらに含み、
比較結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項９乃至１１のいずれか一項に記載のステレオ画像処理方法。
【請求項１３】
前記比較結果が前記直前フレームの画像データと前記所定フレームの画像データとの対応する画素データに変化が少ないことを示している場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項１２に記載のステレオ画像処理方法。
【請求項１４】
前記直前フレームと前記所定フレームとの類似性を判定すること、をさらに含み、
類似性の結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項１２又は１３に記載のステレオ画像処方法。
【請求項１５】
前記類似性の結果が前記直前フレームと前記所定フレームとの類似性が高いことを示す場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項１４に記載のステレオ画像処理方法。
【請求項１６】
前記加重値が小さな値の場合、前記所定フレームの直前フレームの視差情報と同一又は近い視差情報を前記所定フレームの視差情報として算出し、
前記加重値が大きな値の場合、前記直前フレームの視差情報とは異なる視差情報を前記所定フレームの視差情報として算出することを特徴とする請求項１３又は１５に記載のステレオ画像処理方法。
【請求項１７】
前記算出された視差情報を用いて、前記所定フレームの加重値を再度算出し、
前記ステレオ画像の相違度に前記再度算出した加重値を重み付けし、
前記再度算出した加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出し、
算出した前記所定フレームの視差情報を保存し、保存された前記視差情報を次の加重値の算出に用いること、
を含む請求項９乃至１６のいずれか一項に記載のステレオ画像処理方法。
【請求項１８】
表示パネルと、
ステレオ画像を含む映像信号が入力されるステレオ画像入力部と、
前記ステレオ画像の高さ補正を行い、補正ステレオ画像を生成するステレオ画像平行化部と、
前記補正ステレオ画像のステレオマッチングを行い、前記一方の画像の視差情報を生成するステレオ画像処理装置と、
前記一方の画像及び前記視差情報を用いて、視差映像を作成する画像データを生成する視差画像合成部と、
前記画像データを出力するタイミング制御部と
を有し、
前記ステレオ画像処理装置は、
所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、
前記所定フレームの直前フレームの視差情報に基づいて前記所定フレームの加重値を算出する加重値演算部と、
前記相違度演算部から供給された前記ステレオ画像の相違度に前記加重値演算部から供給された前記加重値を重み付けする第１のフィルタと、
前記第１のフィルタから供給された前記加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出する最適化部と、
前記最適化部から供給された前記所定フレームの視差情報を保存し、保存された前記視差情報を前記加重値演算部に出力する第１のメモリと、
を具備するステレオ画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像処理方法及びステレオ画像処理装置に関する。
【背景技術】
【０００２】
近年、３Ｄテレビなど、ステレオ画像を用いた機器が盛んに開発されている。ステレオ画像を表示するには、ステレオマッチングを行ってステレオ画像からｄｅｐｔｈ（奥行き情報）を抽出し、抽出したｄｅｐｔｈ画像と基準画像とを用いて表示装置に表示する視差画像を合成する。
【０００３】
ステレオマッチングでは、ステレオ画像の左画像と右画像とで対応する画素のディスパリティ（ｄｉｓｐａｒｉｔｙ）を算出する。このとき、ステレオ画像の左画像と右画像との対応点が同一のスキャンライン上に存在するよう平行化されていることが必要である。
【０００４】
一般的なステレオマッチングは、マッチングコスト計算及びオプティマイゼーション（最適化）からなる。マッチングコスト計算とは、ステレオ画像において同一のスキャンライン上に存在する基準画像、例えば、左画像の各画素に対する参照画像、例えば、右画像の各画素のマッチングコスト（相違度）を算出することである。オプティマイゼーションとは、基準画像の全画素に対する参照画像とのマッチングコストを小さくしつつ、３D画像が滑らかになるように基準画像と参照画像とにおける各画素の対応付けを行うことである。このオプティマイゼーションを行うことにより、基準画像と参照画像とのミスマッチによるノイズが除去され、良好な３Ｄ画像が視認されることができる。
【０００５】
マッチングコスト計算手法としては、一般的にブロックマッチングが行われ、基準画像と参照画像との対応する所定の領域における輝度の差分の絶対値和（SAD：Sum of Absolute Difference）を用いる方法が知られている。オプティマイゼーション（最適化）手法としては、ダイナミックプログラミング（DP：Dynamic Programming）法、グラフカット（GC：Graph Cut）法、確率伝搬（BP：Belief Propagation）法などによる演算が一般的である。
【０００６】
一般的なオプティマイゼーション手法のうち、ダイナミックプログラミング法では、スキャンライン毎に独立して最適化を行うため、オプティマイゼーション後の視認される３D画像に水平方向の筋状のラインノイズが発生する可能性があるとういう問題がある。さらに、ダイナミックプログラミング法では、フレーム毎に最適化を行うため、連続するフレーム間において、ディスパリティの揺らぎが発生する可能性があるという問題もある。グラフカット法及び確立伝搬法は、縦方向と横方向の２次元方向に最適化を行うため、ラインノイズは発生しないが、ダイナミックプログラミング法に比べて演算量が膨大になるという問題がある。
【０００７】
ラインノイズの発生を抑制してラインアーティファクトを改善する方法として、ダイナミックプログラミング法と確率伝搬法とを組み合わせる方法がある（特許文献１）。この方法は、先ず、ダイナミックプログラミング法によって基準画像と参照画像とのディスパリティを算出し、その結果を確率伝搬法による演算の初期値とすることにより、演算量を抑え且つラインアーティファクトを改善する方法である。この方法では、ラインノイズの発生が抑制され、さらに通常の確率伝搬法よりも演算量が低減されるため、演算時間が短縮化される。しかしながら、この方法では、ダイナミックプログラミング法よりも多くの演算時間が必要となる。
【０００８】
さらに、ダイナミックプログラミング法の演算量を低減する方法として、連続するフレーム間で対応する画素の輝度値の差が所定の閾値以下の領域については、前のフレームのディスパリティをそのまま継承して、オプティマイゼーションにおける演算を省略し、さらに、所定のフレームにおいて、互いに隣接するスキャンライン間で対応する画素に輝度値の差が所定の閾値以下の領域については、直上のスキャンラインのディスパリティを継承して、オプティマイゼーションにおける演算を省略する方法がある（特許文献２）。この方法では、オプティマイゼーションにおける演算量が低減されて演算時間が短縮化されるが、連続するフレーム間の変化を輝度値の差分に対する閾値で判定しているため、フレーム間で変化がない画像であっても、サンプリング誤差によってフレーム間で対応する画素の輝度値の差分が前記閾値よりも大きくなってしまった場合、ディスパリティが継承されず、フレーム間におけるディスパリティの揺らぎが発生するという問題がある。また、最初のフレームにおいて、ミスマッチによって誤ったディスパリティが算出された場合、この誤ったディスパリティが以降のフレームでも継承されてしまう虞がある。さらに、互いに隣接するスキャンライン間のディスパリティの継承についても、例えば、画面の上部に位置するスキャンラインにおいて、ミスマッチにより誤ったディスパリティが算出された場合、後に続くスキャンラインでもこの誤ったディスパリティが継承されてしまう虞がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２０１０−５３１４９０号公報
【特許文献２】特開２００６−３３１１０８号公報
【００１０】
また、以上に述べたオプティマイゼーション手法以外に、D. Minらの手法がある。この手法では、現フレームの基準画像から前フレームの基準画像へのモーションベクトルと前フレームのディスパリティを利用して現フレームのディスパリティを算出することで、フレーム間のディスパリティの揺らぎを改善するという効果を奏する。しかしながら、D. Minらの手法は、ダイナミックプログラミング法と同様にスキャンライン毎に独立して最適化を行うため、ラインノイズが発生する可能性があるという問題を有し、さらに、基準画像の全画素に対して前フレームとのモーションプロバビリティを求めるため演算量が多くなるという問題を有する。D. Minらの手法については、D. Min, S. Yeo, A Verto, “Temporally Consistent Stereo Matching Using Coherence Function”, Proc. IEEE 3DTV Coherence, Tampere, Finland , June 2010を参照されたい。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、演算量を抑制しながら、連続するフレーム間におけるディスパリティの揺らぎを低減するステレオ画像処理方法及びステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一実施形態に係るステレオ画像処理装置は、所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、所定フレームの直前フレームの視差情報に基づいて所定フレームの加重値を算出する加重値演算部と、相違度演算部から供給されたステレオ画像の相違度に加重値演算部から供給された加重値を重み付けする第１のフィルタと、第１のフィルタから供給された加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出する最適化部と、最適化部から供給された所定フレームの視差情報を保存し、保存された視差情報を加重値演算部に出力する第１のメモリと、を具備することを特徴とする。
【００１３】
本発明の一実施形態に係るステレオ画像処理方法は、所定フレームのステレオ画像が入力され、ステレオ画像の相違度を算出し、直前に算出された視差情報に基づいて所定フレームの加重値を算出し、ステレオ画像の相違度に加重値を重み付けし、加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出し、所定フレームの視差情報を保存し、保存された視差情報を次の加重値の算出に用いること、
を含むことを特徴とする。
【００１４】
本発明の一実施形態に係るステレオ画像表示装置は、表示パネルと、ステレオ画像を含む映像信号が入力されるステレオ画像入力部と、ステレオ画像の高さ補正を行い、補正ステレオ画像を生成するステレオ画像平行化部と、補正ステレオ画像のステレオマッチングを行い、前記一方の画像の視差情報を生成するステレオ画像処理装置と、前記一方の画像及び前記視差情報を用いて、視差映像を作成する画像データを生成する視差画像合成部と、画像データを出力するタイミング制御部とを有し、ステレオ画像処理装置は、所定フレームのステレオ画像が入力され、ステレオ画像の相違度を算出する相違度演算部と、所定フレームの直前フレームの視差情報に基づいて所定フレームの加重値を算出する加重値演算部と、相違度演算部から供給されたステレオ画像の相違度に加重値演算部から供給された加重値を重み付けする第１のフィルタと、第１のフィルタから供給された加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出する最適化部と、最適化部から供給された所定フレームの視差情報を保存し、保存された視差情報を加重値演算部に出力する第１のメモリと、を具備することを特徴とする。
【発明の効果】
【００１５】
演算量を抑制しながら、連続するフレーム間におけるディスパリティの揺らぎを低減するステレオ画像処理方法及びステレオ画像処理装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るステレオ画像表示装置１００の構成を示すブロック図である。
【図２】ステレオ画像平行化部におけるステレオ画像の高さ補正を説明する図である。
【図３】本発明の一実施形態に係るステレオマッチング部の構成を示すブロック図である。
【図４】図３に示したステレオマッチング部における処理の流れの一例を示すフロー図である。
【図５】ＳＡＤのブロックサイズを１×１と設定した場合における、基準画像及び参照画像の同一スキャンラインから取り出した各画素の輝度の一例を示す図である。
【図６】（ａ）基準画像及び参照画像の相違度を求める方法を説明する図である。（ｂ）ＤＳＩの一例を示す図である。
【図７】ブロックマッチング法を説明するための図である。
【図８】（ａ）基準画像の所定のｙ座標に対応するマッチングコストＤＳＩの一例を示す図。（ｂ）直前フレームの所定のｙ座標におけるディスパリティの一例を示す図である。（ｃ）所定のｙ座標に対応するマッチングコストＤＳＩの要素に係る加重値の一例を示す図である。（ｄ）（ａ）に示したマッチングコストＤＳＩの要素に（ｃ）に示した加重値を重み付けしたマッチングコストＤＳＩＦを示す図である。
【図９】連続するｔ−１番目フレーム、ｔ番目フレーム、ｔ＋１番目フレームの所定のｙ座標に対応するマッチングコストＤＳＩ、加重値、重み付けしたマッチングコストＤＳＩＦの一例をイメージで表した図である。
【図１０】ダイナミックプログラミング法を説明するための図である。
【図１１】ダイナミックプログラミング法を説明するための図である。
【図１２】本発明の別の実施形態に係るステレオマッチング部の構成を示すブロック図である。
【図１３】本発明の別の実施形態に係るステレオマッチング部における処理の流れの一例を示すフロー図である。
【図１４】画像データ比較部の構成を示したブロック図である。
【図１５】定数σ０、σ１の関係を示す図である。
【図１６】加重値の一例を示すグラフである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態に係るステレオ画像処理装置について、図面を参照しながら説明する。
【００１８】
（第１の実施形態）
図１は、本発明の一実施形態に係るステレオ画像表示装置１００の構成を示すブロック図である。ステレオ画像表示装置１００は、ステレオ画像入力部１０２と、ステレオ画像平行化部１０４と、ステレオマッチング部１０６と、視差画像合成部１０８と、タイミング制御部１１０とを備える。各構成は、それぞれ、ＦＰＧＡやＡＳＩＣといったロジック回路により実装される。或いは、ＣＰＵやＧＰＵといったプロセッサ、ＲＯＭ、ＲＡＭ、これらが組み込まれたシステムＬＳＩにより実装される。
【００１９】
ステレオ画像入力部１０２には、ステレオ画像が入力される。ステレオ画像は２つの画像により構成され、２つの撮影装置でそれぞれ撮影された一方の画像、例えば左画像ＩＬと、他方の画像、例えば、右画像ＩＲから成る。左画像ＩＬ及び右画像ＩＲのうちいずれか一方の画像は二次元画像として、他方の画像は該一方の画像とのステレオマッチングによるディスパリティ（視差情報）の抽出のために用いられる。
【００２０】
ステレオ画像平行化部１０４は、ステレオ画像入力部１０２から供給された２つの画像のライン方向の高さを揃える。図２に示すように、ステレオ画像平行化部１０４は、基準画像、例えば左画像ＩＬにおける代表点を設定し、参照画像、例えば右画像ＩＲにおける該代表点に対応する対応点をブロックマッチング法などにより検出し、基準画像ＩＬの代表点及び参照画像ＩＲの対応点に基づき、基準画像ＩＬと参照画像ＩＲとの高さが一致するように基準画像ＩＬ及び参照画像ＩＲのどちらか一方の画像全体について高さ補正、即ち平行化を行う。これにより、基準画像ＩＬと参照画像ＩＲとの高さのズレが解消される。ステレオ画像平行化部１０４は、高さを補正した基準画像ＩＬ及び参照画像ＩＲをステレオマッチング１０６部に出力する。
【００２１】
ステレオマッチング部１０６は、ステレオ画像平行化部１０４により高さ補正が行われたステレオ画像を用いてステレオマッチングを行って、基準画像ＩＬ又は参照画像ＩＲのディスパリティ（視差情報）を求め、求めたディスパリティを視差画像合成部１０８に出力する。ステレオマッチング部１０６の各構成については後述する。
【００２２】
視差画像合成部１０８は、ステレオマッチング部１０６から供給されたディスパリティ（視差情報）と該ディスパリティに対応する基準画像ＩＬ又は参照画像ＩＲに基づき、多視点の視差画像を表示するための画像データを生成し、タイミング制御部１１０に出力する。
【００２３】
タイミング制御部１１０は、視差画像合成部１０８から供給された画像データをデータドライバ１１２に出力する。表示パネル１１４は、データドライバ１１２から供給された画像データに基づく画像を表示する。
【００２４】
図３は、ステレオマッチング部１０６の構成を示すブロック図である。ステレオマッチング部１０６は、相違度演算部３０１と、加重値演算部３０３と、第１のフィルタ３０５と、最適化部３０７と、第２のフィルタ３０９と、第１のメモリ３１１とを備える。以下、相違度演算部３０１をマッチングコスト演算部３０１、第１のフィルタ３０５をＤＳＩフィルタ３０５、最適化部３０７をオプティマイゼーション部３０７、第２のフィルタ３０９をディスパリティフィルタ３０９、第１のメモリ３１１をディスパリティメモリ３１１と呼ぶ。
【００２５】
図４は、図３に示したステレオマッチング部１０６における処理の流れの一例を示すフロー図である。図３及び図４を参照して、ステレオマッチング部１０６における処理の流れを簡単に説明する。
【００２６】
マッチングコスト演算部３０１は、ステレオ画像平行化部１０４から供給された高さ補正が行われたｔ番目フレームの基準画像ＩＬと参照画像ＩＲとのマッチングコスト（相違度）ＭＣｔを算出して（Ｓ４０１）ＤＳＩｔを求める。マッチングコストＭＣｔを算出する方法及びＤＳＩについては、後述する。マッチングコスト演算部３０１は、求めたＤＳＩｔをＤＳＩフィルタ３０５に出力する。以下、ＤＳＩｔをマッチングコストＤＳＩｔともいう。
【００２７】
加重値演算部３０３は、ディスパリティメモリから供給された直前フレームであるｔ−１番目フレームのディスパリティＤＦｔ−１を用いて現フレームであるｔ番目フレームの加重値Ｗｔを算出し（Ｓ４０２）、ＤＳＩフィルタ３０５に出力する。加重値Ｗｔの算出方法は、後述する。ここで、加重値演算部３０３における加重値の算出（Ｓ４０２）とマッチングコスト演算部３０１におけるマッチングコストＭＣｔの算出（Ｓ４０１）との順序は逆であっても同時であってもよい。
【００２８】
ＤＳＩフィルタ３０５は、マッチングコスト演算部３０１から供給されたマッチングコストＤＳＩｔと加重値演算部３０３から供給された加重値Ｗｔとを乗算して、重み付けされたマッチングコストＤＳＩＦｔを算出（Ｓ４０３）する。ＤＳＩフィルタ３０５は、重み付けされたマッチングコストＤＳＩＦｔをオプティマイゼーション部３０７に出力する。
【００２９】
オプティマイゼーション部３０７は、一般的なオプティマイゼーション手法を用いてＤＳＩフィルタ３０５から供給された重み付けされたマッチングコストＤＳＩＦｔを最適化し、ｔ番目フレームの最適なディスパリティＤｔ（視差情報）を算出する（Ｓ４０４）。オプティマイゼーション手法としては、既知のダイナミックプログラミング法やスキャンラインオプティマイゼーション法などが用いられてもよい。スキャンラインオプティマイゼーション法については、D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV, 47(1-3):7-42, 2002.を参照されたい。オプティマイゼーション部３０７は、求めたｔ番目フレームのディスパリティＤｔをディスパリティフィルタ３０９に出力する。
【００３０】
ディスパリティフィルタ３０９は、水平方向のノイズを除去するフィルタであって、例えば、平均値フィルタ、中間値フィルタなどが用いられてもよい。ディスパリティフィルタ３０９は、オプティマイゼーション部３０７から供給されたディスパリティＤｔから水平方向のノイズを除去する（Ｓ４０５）。ディスパリティフィルタ３０９は、水平方向のノイズが除去されたディスパリティＤＦｔを視差画像合成部１０８及びディスパリティメモリ３１１に出力する。このディスパリティフィルタ３０９は、省略されてもよい。また、ディスパリティフィルタ３０９は、ディスパリティメモリ３１１の後段に配置されてもよい。
【００３１】
ディスパリティメモリ３１１は、ディスパリティフィルタ３０９から供給されたディスパリティＤＦｔを一時的に保存し（Ｓ４０６）、保存したディスパリティＤＦｔを加重値演算部３０３に出力する（Ｓ４０７）。ディスパリティメモリ３１１から出力されたディスパリティＤＦｔは、加重値演算部３０３においてｔ＋１番目フレームのマッチングコストＤＳＩｔ＋１にかかる加重値Ｗｔ＋１を算出するために用いられる。ディスパリティフィルタ３０９が省略された場合、ディスパリティメモリ３１１は、オプティマイゼーション部３０７から供給されたディスパリティＤｔを保存し、ディスパリティＤｔを加重値演算部３０３に出力する。ディスパリティフィルタ３０９がディスパリティメモリ３１１の後段に配置されている場合、ディスパリティメモリ３１１から出力されたディスパリティＤｔは、ディスパリティフィルタ３０９によって水平方向のノイズを除去された後、加重値演算部３０３に出力される。
【００３２】
視差画像合成部１０８は、ディスパリティフィルタ３０９から供給されたディスパリティＤＦｔに基づき、ｔ番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部１１０に出力する。ディスパリティフィルタ３０９が省略された場合、視差画像合成部１０８は、オプティマイゼーション部３０７から供給されたディスパリティＤｔに基づき、ｔ番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部１１０に出力する。
【００３３】
以下、図５〜図１１を参照してステレオマッチング部１０６の各構成における処理を詳細に説明する。
【００３４】
マッチングコスト演算部
マッチングコスト演算部３０１は、ステレオ画像平行化部１０４において高さ補正が行われた基準画像ＩＬと参照画像ＩＲとのマッチングコスト（相違度）ＭＣを算出する。基準画像ＩＬと参照画像ＩＲとのマッチングコストＭＣは、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＮＳＳＤによるブロックマッチングなどを用いて求めることができる。ここでは、ＳＡＤによるブロックマッチングを行って、現フレームであるｔ番目フレームの基準画像（ここでは左画像）ＩＬｔと参照画像（ここでは右画像）ＩＲｔとのマッチングコストＭＣｔを算出する。以下では、ＳＡＤのブロックサイズを１×１と設定した場合の基準画像ＩＬと参照画像ＩＲとのマッチングコストＭＣｔＳＡＤ１×１の算出方法を例に挙げて説明する。
【００３５】
マッチングコスト演算部３０１は、基準画像ＩＬｔ及び参照画像ＩＲｔから互いに対応する同一スキャンライン上の各画素の輝度を取り出す。図５は、ＳＡＤのブロックサイズを１×１と設定した場合の基準画像ＩＬｔ及び参照画像ＩＲｔの同一スキャンラインから取り出した各画素の輝度の一例を示す。
【００３６】
次に、マッチングコスト演算部３０１は、図６（ａ）に示すように、参照画像ＩＲｔの各画素を基準画像ＩＬｔの各画素に対して水平方向に１画素ずつずらしながら、即ち、ディスパリティを１つずつずらしながら、基準画像ＩＬｔ及び参照画像ＩＲｔの１画素同士の輝度の差分の絶対値ＡＢＳを求める。図６（ａ）では、一例として、０〜（＋）４までのディスパリティにおける輝度の差分の絶対値ＡＢＳの算出を示しているが、例えば、ディスパリティが（−）１００〜（＋）１００までの基準画像ＩＬｔ及び参照画像ＩＲｔの１画素同士の輝度の差分の絶対値ＡＢＳを算出してもよい。ディスパリティの数値範囲は、表示パネルの解像度や入力映像に応じて適宜変更可能である。尚、ディスパリティを１つずつずらして、基準画像ＩＬ及び参照画像ＩＲの各画素の輝度の差分を求める際、基準画像ＩＬ及び参照画像ＩＲにおいて対応する画素がない場合は、輝度の差分の絶対値ＡＢＳを∞とする。
【００３７】
ＳＡＤのブロックサイズが１×１である場合、ｔ番目フレームの基準画像ＩＬｔと参照画像ＩＲｔとのマッチングコストＭＣｔＳＡＤ１×１は、基準画像ＩＬ及び参照画像ＩＲの各画素を水平方向に１画素ずつずらしながら算出する基準画像ＩＬ及び参照画像ＩＲの対応する１画素同士の輝度の差分の絶対値として求める。１画素同士のマッチングコストＭＣ（ｘ，ｙ，ｄ）は以下の式（１）を用いて求めることができる。
【数１】
2013126114.tif 000003
ここで、IL（x，y）は、基準画像ＩＬである左側画像の（ｘ，ｙ座標）における輝度を示し、IR（x−d，y）は、参照画像ＩＲである右側画像の（ｘ−ｄ，ｙ座標）における輝度を示す。dは、ディスパリティの数値を示す。
【００３８】
ここでは、ＳＡＤブロックサイズを１×１としたが、ＳＡＤブロックサイズは１×１に限定されず、例えば、３×３ブロック、５×５ブロック、１５×１５ブロックなど適宜設定することが可能である。所定のＳＡＤブロックにおける基準画像ＩＬ及び参照画像ＩＲの対応する画素のマッチングコストＭＣＳＡＤＩ×Ｊ（ｘ，ｙ，ｄ）は、基準画像ＩＬ及び参照画像ＩＲの所定のＳＡＤブロックにおける対応する画素間の輝度の差分の絶対値の総和として、以下の式（２）及び（３）を用いて求める。
【数２】
2013126114.tif 000004
ここで、MCSADI×Jは、所定のＳＡＤブロックI×Jにおける基準画像ＩＬ及び参照画像ＩＲの対応する画素間の輝度の差分の絶対値の総和であり、Wbは、ＳＡＤブロックのブロックマッチングウィンドウ（Block Matching Window）を示す。例えば、図７に示すように、ＳＡＤブロックサイズを５×５とした場合、（I，J）＝（５，５）である。ＳＡＤブロックサイズ１×１である場合、ｔ番目フレームの基準画像ＩＬｔ及び参照画像ＩＲｔの対応する画素同士のマッチングコストＭＣｔＳＡＤ１×１は、
【数３】
2013126114.tif 000005
である。
【００３９】
図６（ｂ）は、横軸に基準画像の水平座標ｘ、縦軸にディスパリティｄをとって、図６（ａ）に示したディスパリティが（０）〜（＋）４までのｔ番目フレームの基準画像ＩＬｔと参照画像ＩＲｔとのマッチングコストＭＣｔＳＡＤ１×１、即ち基準画像ＩＬｔ及び参照画像ＩＲｔの１画素同士の輝度の差分を表したものである。図６（ｂ）に示したような、横軸に基準画像の水平座標ｘ、縦軸にディスパリティｄをとって、所定のＳＡＤブロックにおける基準画像ＩＬ及び参照画像ＩＲの対応する画素間の輝度の差分の絶対値の総和を表したものをＤＳＩ（Ｄｉｓｐａｒｉｔｙ  Ｓｐａｃｅ  Ｉｍａｇｅ）と呼ぶ。
【００４０】
また、ＤＳＩの別の表現として横軸に基準画像の水平座標ｘ、縦軸に参照画像の水平座標ｘ´をとる方法もある。参照画像の水平座標ｘ´は、ｘ´＝ｘ−ｄであり、ｄはディスパリティの数値である。詳しくは、特開２００６−３３１１０８号公報を参照されたい。以下では、図６（ｂ）に示したものをＤＳＩとして説明する。
【００４１】
マッチングコスト演算部３０１は、ｔ番目フレームの基準画像ＩＬ及び参照画像ＩＲの所定のＳＡＤブロックにおける対応する画素間の輝度の差分の絶対値の総和を基準画像ＩＬ及び参照画像ＩＲのマッチングコストＭＣｔＳＡＤＩ×Ｊとして求めて、求めた基準画像ＩＬ及び参照画像ＩＲのマッチングコストＭＣｔＳＡＤＩ×ＪをＤＳＩで表す。ＤＳＩは、基準画像ＩＬの各ｙ座標について、即ち、基準画像ＩＬの１ラインごとにそれぞれ算出される。基準画像ＩＬの各ｙ座標についてのＤＳＩをＤＳＩ（ｙ）とする。以下、ＤＳＩ（ｙ）を基準画像ＩＬ及び参照画像ＩＲのマッチングコストＤＳＩ（ｙ）ともいう。マッチングコスト演算部３０１は、マッチングコストＤＳＩ（ｙ）をフレーム単位でまとめ、基準画像ＩＬ及び参照画像ＩＲのマッチングコスト（相違度）としてＤＳＩフィルタ３０５に一括して出力する。ここでは、ｔ番目フレームのマッチングコストＤＳＩ（ｙ）をフレーム単位でまとめたものをｔ番目フレームのマッチングコストＤＳＩｔとする。但し、ＡＳＩＣやＦＰＧＡなどハードウェアに実装する際は、処理の並列度を上げるために、基準画像ＩＬの各ｙ座標に対応するマッチングコストＤＳＩ（ｙ）を順次出力してもよい。ＤＳＩｔに含まれるＤＳＩの個数は、基準画像ＩＬの垂直幅である。
【００４２】
加重値演算部
加重値演算部３０３は、ディスパリティメモリ３１１から供給された現フレームであるｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するマッチングコストＤＳＩ（ｙ）に対応する直前フレームであるｔ−１番目フレームのディスパリティＤＦｔ−１を用いて、ｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するマッチングコストＤＳＩ（ｙ）における要素ＤＳＩ（ｘ，ｙ，ｄ）ごとの加重値Ｗ（ｘ，ｙ，ｄ）を算出する。加重値Ｗ（ｘ，ｙ，ｄ）は、以下の式（４）から求める。
【数４】
2013126114.tif 000006
ここで、α及びσは、実験値から求められる定数であり、dは、ｔ番目フレームのマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）に対応するディスパリティの数値を示す。また、ディスパリティフィルタ３０９が省略されている場合は、ｔ番目フレームの基準画像ＩＬの各ｙ座標についてのマッチングコストＤＳＩ（ｙ）に対応する、水平方向のノイズが除去されたｔ−１番目フレームのディスパリティＤＦｔ−１に代わって、ディスパリティメモリ３１１から供給された水平方向のノイズが除去されていないｔ−１番目フレームのディスパリティＤｔ−１を（式４）に代入すればよい。
【００４３】
（式４）を参照すると、ディスパリティの数値ｄが対応する直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）に近い値であるほど、即ち、直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）とディスパリティの数値ｄとの差分が小さいほど加重値Ｗ（ｘ，ｙ，ｄ）の値が小さくなることが分かる。また、ディスパリティの数値ｄが対応する直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）に遠い値であるほど、即ち、直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）とディスパリティの数値ｄとの差分が大きいほど加重値Ｗ（ｘ，ｙ，ｄ）の値が大きくなることが分かる。加重値演算部３０３は、（式４）を用いて算出した現フレームの所定のマッチングコストＤＳＩ（ｙ）における要素ＤＳＩ（ｘ，ｙ，ｄ）ごとの加重値Ｗ（ｘ，ｙ，ｄ）を全ｙ座標に対応するマッチングコストＤＳＩ（ｙ）について算出し、フレーム単位でまとめてｔ番目フレームの加重値ＷｔとしてＤＳＩフィルタ３０５に出力する。
【００４４】
ＤＳＩフィルタ
ＤＳＩフィルタ３０５は、マッチングコスト演算部３０１から供給されたｔ番目フレームのマッチングコストＤＳＩｔの所定のマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）と加重値演算部３０３から供給された前記所定のマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）に対応する加重値Ｗ（ｘ，ｙ，ｄ）とを乗算して、重み付けされたマッチングコストＤＳＩＦ（ｘ，ｙ，ｄ）を算出する。
【数５】
2013126114.tif 000007
【００４５】
ＤＳＩフィルタ３０５は、ｔ番目フレームのマッチングコストＤＳＩｔに含まれる所定のマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）、即ち、ｔ番目フレームの基準画像ＩＬｔ及び参照画像ＩＲｔの所定のｙ座標において対応する画素間の輝度の差分の絶対値の総和にそれぞれ対応する加重値Ｗ（ｘ、ｙ，ｄ）を乗算し、重み付けされた輝度の差分の絶対値の総和を求める。ＤＳＩと同様に、横軸に基準画像の水平座標ｘ、縦軸にディスパリティｄをとって、基準画像ＩＬｔ及び参照画像ＩＲｔの対応する画素間の重み付けされた輝度の差分の絶対値の総和を表したものをＤＳＩＦとする。ＤＳＩフィルタ３０５は、基準画像ＩＬの各ｙ座標のマッチングコストＤＳＩ（ｙ）それぞれについてのＤＳＩＦ（ｙ）を算出する。ＤＳＩフィルタ３０５は、基準画像ＩＬの全ｙ座標について重み付けされたマッチングコストＤＳＩＦ（ｙ）を算出し、フレーム単位でまとめ、ｔ番目フレームの重み付けされたマッチングコストとしてオプティマイゼーション部３０７に一括して出力する。ここでは、ｔ番目フレームの基準画像ＩＬの各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）をフレーム単位でまとめたものをｔ番目フレームの重み付けされたマッチングコストＤＳＩＦｔとする。但し、ＡＳＩＣやＦＰＧＡなどハードウェアに実装する際は、処理の並列度を上げるために、基準画像ＩＬの各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）を順次出力してもよい。
【００４６】
例えば、ｔ番目フレームの所定のｙ座標のマッチングコストＤＳＩ（ｙ）の各要素ＤＳＩ（ｘ，ｙ，ｄ）、即ち、ｔ番目フレームの基準画像ＩＬｔ及び参照画像ＩＲｔの前記所定のｙ座標の１画素同士の輝度の差分のマッチングコストＭＣｔＳＡＤ１×１が図８（ａ）のＤＳＩに示す数値である場合における、マッチングコストＤＳＩ（ｙ）に対する重み付けを説明する。ｔ番目フレームの基準画像ＩＬの所定のｙ座標のマッチングコストＤＳＩ（ｙ）に対応するｔ−１番目フレームのディスパリティＤＦｔ−１（ｘ，ｙ）が図８（ｂ）に示す数値であった場合、図８（ｂ）に示したｔ−１番目フレームのディスパリティＤＦｔ−１（ｘ，ｙ）の数値を順次（式４）に代入する。ここで、定数α＝０．５、定数σ＝１とすると、前記所定のｙ座標のマッチングコストＤＳＩ（ｙ）の各要素ＤＳＩ（ｘ，ｙ，ｄ）にかかる加重値は、図８（ｃ）に示した加重値Ｗの各要素Ｗ（ｘ，ｙ，ｄ）が示す数値となる。図８（ａ）に示した前記所定のｙ座標のマッチングコストＤＳＩ（ｙ）の各要素ＤＳＩ（ｘ，ｙ，ｄ）の数値と図８（ｃ）に示した加重値Ｗの各要素Ｗ（ｘ，ｙ，ｄ）の数値を（式５）に代入して、ｔ番目フレームの基準画像ＩＬの所定のｙ座標の重み付けされたマッチングコストＤＳＩＦ（ｙ）を求める。重み付けされたマッチングコストＤＳＩＦ（ｙ）の各要素ＤＳＩＦ（ｘ，ｙ，ｄ）の数値は、図８（ｄ）に示すＤＳＩＦに示す数値となる。
【００４７】
このように、ＤＳＩフィルタ３０５は、ｔ番目フレームのマッチングコストＤＳＩｔに含まれる各ｙ座標に対応するＤＳＩ（ｙ）それぞれについて、対応する加重値Ｗ（ｘ、ｙ、ｄ）を用いて重み付けし、重み付けされたマッチングコストＤＳＩＦ（ｙ）を算出する。ＤＳＩフィルタ３０５は、各ｙ座標についてのＤＳＩＦ（ｙ）をフレーム単位でまとめ、ｔ番目フレームの重み付けされたマッチングコストＤＳＩＦｔとしてオプティマイゼーション部３０７に一括して出力する。しかしながら、上述したように、ＡＳＩＣやＦＰＧＡなどハードウェアに実装する際は、基準画像の各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）を順次出力してもよい。
【００４８】
図９は、連続するｔ−１番目フレーム、ｔ番目フレーム、ｔ＋１番目フレームにおいてｔ番目フレームで表示される画像が切り替わった場合の、ｔ−１番目フレーム、ｔ番目フレーム、ｔ＋１番目フレームの所定のｙ座標のマッチングコストＤＳＩ（ｙ）、対応する加重値Ｗ（ｘ，ｙ、ｄ）、重み付けされたマッチングコストＤＳＩＦ（ｙ）の一例をイメージで表したものである。
【００４９】
オプティマイゼーション部
オプティマイゼーション部３０７は、ＤＳＩフィルタ３０５から供給されたｔ番目フレームの重み付けされたマッチングコストＤＳＩＦｔを一般的なオプティマイゼーション手法を用いて最適化し、ｔ番目フレームのディスパリティ（視差情報）を算出する。オプティマイゼーション手法としては、既知のダイナミックプログラミング法やスキャンラインオプティマイゼーション法などが用いられてもよい。ここでは、ダイナミックプログラミング法を用いた最適化を例として説明する。
【００５０】
図８（ｄ）に示した重み付けされたマッチングコストＤＳＩＦ（ｙ）の最適化を例として説明する。オプティマイゼーション部３０７は、先ず、図８（ｄ）に示した重み付けされたマッチングコストＤＳＩＦ（ｙ）上の各要素ＤＳＩＦ（ｘ，ｙ，ｄ）に対して隣接する３つの要素ＤＳＩＦ（ｘ−１，ｙ，ｄ）、ＤＳＩＦ（ｘ，ｙ，ｄ＋１）、ＤＳＩＦ（ｘ−１，ｙ，ｄ−１）の累積コストＡＣのうち最も小さな数値を要素ＤＳＩＦ（ｘ，ｙ，ｄ）の累積コストＡＣ（ｘ，ｙ，ｄ）として選択する。所定の要素ＤＳＩＦ（ｘ，ｙ，ｄ）をｓ要素とし、ｓ要素に隣接する３つの要素ＤＳＩＦ（ｘ−１，ｙ，ｄ）、ＤＳＩＦ（ｘ，ｙ，ｄ＋１）、ＤＳＩＦ（ｘ−１，ｙ，ｄ−１）をそれぞれａ要素、ｂ要素、ｃ要素とすると、ｓ要素とａ要素、ｂ要素及びｃ要素との位置関係は図１０に示すとおりである。ここで、最小の累積コストＡＣは、
【数６】
2013126114.tif 000008
であり、ａ要素の累積コストＡＣＭｃｈ、ｂ要素の累積コストＡＣＬｏｃｃ、ｃ要素の累積コストＡＣＲｏｃｃは、以下の式（６）から求めることができる。
【数７】
2013126114.tif 000009
ここで、ｋｏｃｃは定数である。
【００５１】
オプティマイゼーション部３０７は、式（６）を用いて基準画像ＩＬの各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）の各要素ＤＳＩＦ（ｘ，ｙ，ｄ）について最小の累積コストＡＣ（ｘ，ｙ，ｄ）を求める。図１１は、ｋｏｃｃ＝２とした場合における、図８（ｄ）に示した所定のｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）における各要素ＤＳＩＦ（ｘ，ｙ，ｄ）の累積コストＡＣ（ｘ，ｙ，ｄ）を示す。ここで、ｘの最大値がｘ＝１５である場合、ｘ＝１５における累積コストが合計コスト（Total cost）となる。この合計コスト（Total cost）が最小となる要素（１５，ｙ，ｄ）から左方向（図１１において、破線で示す矢印方向）に向かって累積コストＡＣが最小となる要素（ｘ，ｙ，ｄ）を辿る。図１１においては、太枠で示した要素（ｘ，ｙ，ｄ）が累積コストＡＣが最小となる要素であり、この太枠で示した要素（ｘ，ｙ，ｄ）に対応するディスパリティｄが、対応するＤＳＩＦ（ｙ）に対する最適なディスパリティＤとなる。
【００５２】
オプティマイゼーション部３０７は、ｔ番目フレームの基準画像ＩＬの各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）について最適なディスパリティＤを算出する。オプティマイゼーション部３０７は、求めたｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するＤＳＩＦ（ｙ）に対する最適なディスパリティＤをフレーム単位でまとめ、ディスパリティフィルタ３０９に一括して出力する。ここでは、ｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するＤＳＩＦ（ｙ）に対する最適なディスパリティＤをフレーム単位でまとめたものをｔ番目フレームのディスパリティＤｔとする。
【００５３】
ディスパリティフィルタ
ディスパリティフィルタ３０９は、前述したように、水平方向のノイズを除去するフィルタであって、平均値フィルタ、中間値フィルタなどであってもよい。ディスパリティフィルタ３０９は、オプティマイゼーション部３０７から供給されたディスパリティＤｔから水平方向のノイズを除去する。ディスパリティフィルタ３０９は、水平方向のノイズが除去されたディスパリティＤＦｔを視差画像合成部１０８及びディスパリティメモリ３１１に出力する。尚、ディスパリティフィルタ３０９は、ディスパリティメモリ３１１の後段に配置されてもよい。また、このディスパリティフィルタ３０９は、省略されてもよい。
【００５４】
ディスパリティフィルタ３０９がディスパリティメモリ３１１の後段に配置されている場合、及びディスパリティフィルタ３０９が省略されている場合、オプティマイゼーション部３０７は、ｔ番目フレームのディスパリティＤｔをディスパリティメモリ３１１及び視差画像合成部１０８に出力する。
【００５５】
ディスパリティメモリ３１１は、ディスパリティフィルタ３０９から供給されたディスパリティＤＦｔ、若しくはオプティマイゼーション部３０７から供給されたディスパリティＤｔを一時的に保存し、保存したディスパリティＤＦｔ又はＤｔを加重値演算部３０３に出力する。ディスパリティメモリ３１１から出力されたディスパリティＤＦｔ又はＤｔは、加重値演算部３０３においてｔ＋１番目フレームのマッチングコストＤＳＩｔ＋１に対する加重値Ｗｔ＋１を算出するために用いられる。ディスパリティフィルタ３０９がディスパリティメモリ３１１の後段に配置されている場合、ディスパリティメモリ３１１から出力されたディスパリティＤｔは、ディスパリティフィルタ３０９により水平方向のノイズが除去された後、加重値演算部３０３に供給される。
【００５６】
視差画像合成部１０８は、ｔ番目フレームの基準画像ＩＬ及びディスパリティフィルタ３０９から供給されたｔ番目フレームのディスパリティＤＦｔに基づき、ｔ番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部１１０に出力する。
【００５７】
本発明の一実施形態に係るステレオ画像表示装置１００のステレオマッチング部１０６においては、現フレームの直前フレームで算出したディスパリティを用いて現フレームの加重値を前述の（式４）を用いて算出し、算出した加重値と、現フレームの基準画像ＩＬと参照画像ＩＲとのマッチングコスト（相違度）ＭＣ、即ち、基準画像ＩＬと参照画像ＩＲの対応する画素間の輝度の差分の絶対値の総和とを乗算し、現フレームの基準画像ＩＬと参照画像ＩＲとのマッチングコストＭＣに重み付けし、重み付けした現フレームの基準画像ＩＬと参照画像ＩＲとのマッチングコストに基づいて現フレームのディスパリティを算出する。現フレームの画像と直前フレームの画像とにおいて、画像に大きな変更が無い場合は、現フレームのディスパリティが直前フレームのディスパリティに近いほど現フレームにかかる加重値が小さくなるため、現フレームのディスパリティが直前フレームのディスパリティと同一又は近い値となる。そのため、連続する直前フレームと現フレームとにおけるディスパリティの揺らぎを低減することが可能となる。
【００５８】
本発明の一実施形態に係るステレオ画像表示装置１００のステレオマッチング部１０６において、ディスパリティフィルタ３０９を設けて、オプティマイゼーション部３０７から出力されたディスパリティから水平方向のノイズを除去したディスパリティを用いて画像データを生成することにより、所定フレームにおけるラインノイズを低減することができる。同時にノイズが除去されたディスパリティを用いて次のフレームの加重値を算出することにより、現フレームと次フレームとにおけるディスパリティの揺らぎを低減することができるとともに現フレームの水平方向のノイズを低減することができる。
【００５９】
以上の説明では、ＤＳＩフィルタ３０５において、所定フレームのマッチングコストＤＳＩに加重値Ｗを１回のみ重み付けする例を説明したが、マッチングコストＤＳＩに加重値Ｗを複数回重み付けする構成としてもよい。例えば、１回目の重み付けの場合は、ｔ番目フレームのマッチングコストＤＳＩｔにかかる第１の加重値Ｗｔ１は、ディスパリティメモリ３１１から供給されたｔ−１番目フレームのディスパリティＤＦｔ−１に基づき加重値演算部３０３において算出される。しかし、ＤＳＩフィルタ３０５において、ｔ番目フレームのマッチングコストＤＳＩにさらに加重値Ｗｔを重み付けする場合、ｔ番目フレームのマッチングコストＤＳＩにかかる第２の加重値Ｗｔ２は、ディスパリティメモリ３１１から供給されたｔ番目フレームのディスパリティＤＦｔ１に基づき加重値演算部３０３において算出される。ディスパリティＤＦｔ１とは、ｔ番目フレームのマッチングコストＤＳＩｔに第１の加重値Ｗｔ１を重み付けしたｔ番目フレームのマッチングコストＤＳＩＦｔから求めたディスパリティである。ＤＳＩフィルタ３０５において、ｔ番目フレームのマッチングコストＤＳＩｔにさらに加重値Ｗｔを重み付けする場合、ｔ番目フレームのマッチングコストＤＳＩｔにかかる第３の加重値Ｗｔ３は、加重値演算部３０３においてディスパリティメモリ３１１から供給されたｔ番目フレームのディスパリティＤＦｔ２に基づき算出される。ディスパリティＤＦｔ２とは、ｔ番目フレームのマッチングコストＤＳＩｔに第２の加重値Ｗｔ２を重み付けしたｔ番目フレームのマッチングコストＤＳＩＦｔから求めたディスパリティである。このように、所定フレームの基準画像ＩＬのマッチングコストＤＳＩに加重値を複数回重み付けする場合、２回目以降の重み付けで用いる加重値は、直前に算出された前記所定フレームのディスパリティに基づいて算出される。
【００６０】
ディスパリティメモリ３１１は、オプティマイゼーション部３０７又はディスパリティフィルタ３０９から出力された直前に求めたディスパリティを保存し、保存したディスパリティを加重値演算部３０３に出力する。
【００６１】
このように、同一フレームのディスパリティに基づいて加重値Ｗを更新し、更新した加重値Ｗを再度同一フレームのマッチングコストＤＳＩに重み付けすることを繰り返すことにより、加重値演算部３０３において算出される加重値Ｗが安定し、より適切なディスパリティを算出することが可能となる。同一フレームのＤＳＩに加重値Ｗを重み付けする回数は、適宜設定することができる。
【００６２】
（第２の実施形態）
以下、図１２乃至図１６を参照して、本発明の別の実施形態に係るステレオマッチング部について説明する。
【００６３】
図１２は、本発明の別の実施形態に係るステレオマッチング部１００６の構成を示すブロック図である。ステレオマッチング部１００６は、相違度演算部１２０１と、加重値演算部１２０３と、第１のフィルタ１２０５と、最適化部１２０７と、第２のフィルタ１２０９と、第１のメモリ１２１１と、第２のメモリ１２１３と、画像データ比較部１２１５と、フレーム類似性演算部１２１７と、係数演算部１２１９とを備える。以下、相違度演算部１２０１をマッチングコスト演算部１２０１、第１のフィルタ１２０５をＤＳＩフィルタ１２０５、最適化部１２０７をオプティマイゼーション部１２０７、第２のフィルタ１２０９をディスパリティフィルタ１２０９、第１のメモリ１２１１をディスパリティメモリ１２１１、第２のメモリ１２１３をフレームメモリ１２１３と呼ぶ。
【００６４】
図１３は、ステレオマッチング部１００６における処理の流れの一例を示すフロー図である。図１２及び図１３を参照して、ステレオマッチング部のおける処理の流れを簡単に説明する。
【００６５】
マッチングコスト演算部１２０１は、ステレオ画像平行化部１０４から供給された高さ補正が行われたｔ番目フレームの基準画像ＩＬｔと参照画像ＩＲｔとのマッチングコスト（相違度）ＭＣｔを算出して（Ｓ１３０１）ＤＳＩｔを求める。マッチングコスト演算部１２０１は、求めたＤＳＩｔをＤＳＩフィルタ１２０５に出力する。以下、ＤＳＩｔをマッチングコストＤＳＩｔともいう。
【００６６】
フレームメモリ１２１３は、ステレオ画像平行化部１０４から供給された基準画像ＩＬｔを一時的に保存し、保存した基準画像ＩＬｔを画像データ比較部１２１５に出力する。
【００６７】
画像データ比較部１２１５は、ステレオ画像平行化部１０４から供給された現フレームであるｔ番目フレームの基準画像ＩＬｔとフレームメモリ１２１３から供給された直前フレームであるｔ−１番目フレームの基準画像ＩＬｔ−１とを比較し、基準画像ＩＬｔとｔ−１番目フレームの基準画像ＩＬｔ−１とにおける互いに対応する画素同士の輝度の差分ＤＩＦＦｔを算出（Ｓ１３０２）する。画像データ比較部１２１５は、算出したｔ番目フレームの基準画像ＩＬｔとｔ−１番目フレームの基準画像ＩＬｔ−１との対応する画素同士の輝度の差分ＤＩＦＦｔをフレーム類似性演算部１２１７と係数演算部１２１９に出力する。
【００６８】
フレーム類似性演算部１２１７は、画像データ比較部１２１５から供給されたｔ番目フレームの基準画像ＩＬｔとｔ−１番目フレームの基準画像ＩＬｔ−１とにおける互いに対応する画素同士の輝度の差分ＤＩＦＦｔ基づいてｔ−１番目フレームとｔ番目フレームとの類似性を求め（Ｓ１３０３）、類似性ＳＩＭｔを係数演算部１２１９に出力する。
【００６９】
係数演算部１２１９は、画像データ比較部１２１５からの供給されたｔ番目フレームの基準画像ＩＬｔとｔ−１番目フレームの基準画像ＩＬｔ−１とにおける互いに対応する画素同士の輝度の差分ＤＩＦＦｔとフレーム類似性演算部１２１７から供給されたｔ−１番目フレームとｔ番目フレームとの類似性ＳＩＭｔとに基づいて係数σｔを算出（Ｓ１３０４）し、算出した係数σｔを加重値演算部１２０３に出力する。
【００７０】
加重値演算部１２０３は、係数演算部１２１９から供給された係数σｔとディスパリティメモリ１２１１から供給された直前フレームであるｔ−１番目フレームのディスパリティＤＦｔ−１とを用いて現フレームであるｔ番目フレームの加重値Ｗｔを算出し（Ｓ１３０５）、ＤＳＩフィルタ１２０５に出力する。
【００７１】
ここで、マッチングコスト演算部１２０１における基準画像ＩＬｔと参照画像ＩＲｔとのマッチングコスト（相違度）ＭＣｔの算出（Ｓ１３０１）と、画像データ比較部１２１５におけるｔ番目フレームの基準画像ＩＬｔとｔ−１番目フレームの基準画像ＩＬｔ−１とにおける互いに対応する画素同士の輝度の差分ＤＩＦＦｔの算出（Ｓ１３０２）、フレーム類似性演算部１２１７におけるｔ−１番目フレームとｔ番目フレームとの類似性の算出（Ｓ１３０３）、係数演算部１２１９における係数σｔの算出（Ｓ１３０４）及び加重値演算部１２０３におけるｔ番目フレームの加重値Ｗｔの算出（Ｓ１３０５）との順序は、逆であっても同時であってもよい。
【００７２】
ＤＳＩフィルタ１２０５は、マッチングコスト演算部１２０１から供給されたマッチングコストＤＳＩｔと加重値演算部１２０３から供給された加重値Ｗｔとを乗算して、重み付けされたマッチングコストＤＳＩＦｔを算出（Ｓ１３０６）する。ＤＳＩフィルタ１２０５は、重み付けされたマッチングコストＤＳＩＦｔをオプティマイゼーション部１２０７に出力する。
【００７３】
オプティマイゼーション部１２０７は、一般的なオプティマイゼーション手法を用いてＤＳＩフィルタ１２０５から供給された重み付けされたマッチングコストＤＳＩＦｔを最適化し、ｔ番目フレームの最適なディスパリティＤｔを算出する（Ｓ１３０７）。オプティマイゼーション手法としては、既知のダイナミックプログラミング法やスキャンラインオプティマイゼーション法などが用いられてもよい。オプティマイゼーション部１２０７は、求めたｔ番目フレームのディスパリティＤｔをディスパリティフィルタ１２０９に出力する。
【００７４】
ディスパリティフィルタ１２０９は、水平方向のノイズを除去するフィルタであって、平均値フィルタ、中間値フィルタなどが用いられてもよい。ディスパリティフィルタ１２０９は、オプティマイゼーション部１２０７から供給されたディスパリティＤｔから水平方向のノイズを除去する（Ｓ１３０８）。ディスパリティフィルタ１２０９は、水平方向のノイズが除去されたディスパリティＤＦｔを視差画像合成部１０８及びディスパリティメモリ１２１１に出力する。尚、ディスパリティフィルタ１２０９は、ディスパリティメモリ１２１１の後段に配置されてもよい。また、このディスパリティフィルタ１２０９は、省略されてもよい。
【００７５】
ディスパリティメモリ１２１１は、ディスパリティフィルタ１２０９から供給されたディスパリティＤＦｔを一時的に保存（Ｓ１３０９）し、保存したディスパリティＤＦｔを加重値演算部１２０３に出力（Ｓ１３１０）する。ディスパリティメモリ１２１１から出力されたディスパリティＤＦｔは、加重値演算部１２０３においてｔ＋１番目フレームのマッチングコストＤＳＩｔ＋１にかかる加重値Ｗｔ＋１を算出するために用いられる。ディスパリティフィルタ１２０９がディスパリティメモリ１２１１の後段に配置されている場合、及びディスパリティフィルタ１２０９が省略された場合、ディスパリティメモリ１２１１は、オプティマイゼーション部１２０７から供給されたディスパリティＤｔを保存する。ディスパリティフィルタ１２０９がディスパリティメモリ１２１１の後段に配置されている場合、ディスパリティメモリ１２１１から出力されたディスパリティＤｔは、ディスパリティフィルタ１２０９により水平方向のノイズが除去された後、加重値演算部１２０３に供給される。
【００７６】
視差画像合成部１０８は、ディスパリティフィルタ１２０９から供給されたディスパリティＤＦｔに基づき、ｔ番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部１１０に出力する。ディスパリティフィルタ１２０９が省略された場合、視差画像合成部１０８は、オプティマイゼーション部１２０７から供給されたディスパリティＤｔに基づき、ｔ番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部１１０に出力する。
【００７７】
以下、図１４及び図１６を参照してステレオマッチング部１００６の各構成における処理を詳細に説明する。但し、ステレオマッチング部１００６の構成において、第１の実施形態に係るステレオマッチング部１０６と同一又は類似の構成については、重複する説明を省略する。
【００７８】
マッチングコスト演算部１２０１は、第１の実施形態に係るステレオマッチング部１０６のマッチングコスト演算部３０１と同一の構成であり、マッチングコスト演算部１２０１における基準画像ＩＬと参照画像ＩＲとのマッチングコスト（相違度）ＤＳＩｔの算出方法は、第１の実施形態に係るステレオマッチング部１０６のマッチングコスト演算部３０１における基準画像ＩＬと参照画像ＩＲとのマッチングコスト（相違度）ＤＳＩｔの算出方法と同様であるため、ここでの説明は省略する。
【００７９】
フレームメモリ
フレームメモリ１２１３は、ステレオ画像平行化部１０４から供給された基準画像（ここでは左画像）ＩＬを一時的に保存し、保存した基準画像ＩＬを画像データ比較部１２１５に出力する。ステレオマッチング部１００６において、現フレームであるｔ番目フレームのディスパリティを算出する際、フレームメモリ１２１３は、保存されていた直前フレームであるｔ−１番目の基準画像ＩＬｔ−１を画像データ比較部１２１５に出力する。
【００８０】
画像データ比較部
画像データ比較部１２１５は、ステレオ画像平行化部１０４から供給された現フレームであるｔ番目フレームの基準画像ＩＬｔとフレームメモリ１２１３から供給された直前フレームであるｔ−１番目フレームの基準画像ＩＬｔ−１とを比較し、基準画像ＩＬｔ及び基準画像ＩＬｔ−１における互いに対応する画素同士の輝度の差分ＤＩＦＦｔを算出する。画像データ比較部１２１５は、算出したｔ番目フレームの基準画像ＩＬｔとｔ−１番目フレームの基準画像ＩＬｔ−１との対応する画素同士の輝度の差分ＤＩＦＦｔをフレーム類似性演算部１２１７と係数演算部１２１９に出力する。
【００８１】
図１４は、画像データ比較部１２１５の構成を示したブロック図である。画像データ比較部１２１５は、フィルタ１４０１ａ、１４０１ｂ及び差分演算部１４０３を含む。フィルタ１４０１ａ、１４０１ｂは、平均値フィルタなどであってもよく、ｔ番目フレームの基準画像ＩＬｔ及びｔ−１番目フレームの基準画像ＩＬｔ−１のそれぞれからノイズを除去し、ノイズが除去されたｔ番目フレームの基準画像ＩＬＦｔ及びｔ−１番目フレームの基準画像ＩＬＦｔ−１をそれぞれ差分演算部１４０３に出力する。
【００８２】
差分演算部１４０３は、以下の（式７）を用いて基準画像ＩＬＦｔ及び基準画像ＩＬＦｔ−１における互いに対応する画素同士の輝度の差分ＤＩＦＦｔを算出する。
【数８】
2013126114.tif 000010
ここで、DIFFt（x,y）は、基準画像ＩＬＦｔ−１の（ｘ，ｙ座標）と基準画像ＩＬＦｔ−１の（ｘ，ｙ座標）との相違性であり、ILFｔ−1（x，y）は、基準画像ＩＬＦｔ−１の（ｘ，ｙ座標）における輝度を示し、ILFｔ（x，y）は、基準画像ＩＬＦｔの（ｘ，ｙ座標）における輝度を示し、Imaxは、基準画像ＩＬＦの輝度の最大値を示す。差分演算部１４０３は、（式７）を用いて算出した基準画像ＩＬｔ及び基準画像ＩＬｔ−１の互いに対応する画素同士の輝度の差分ＤＩＦＦｔをフレーム類似性演算部１２１７及び係数演算部１２１９に出力する。
【００８３】
フレーム類似性演算部
フレーム類似性演算部１２１７は、画像データ比較部１２１５の差分演算部１４０３から供給されたｔ番目フレームの基準画像ＩＬＦｔとｔ−１番目フレームの基準画像ＩＬＦｔ−１とにおける互いに対応する画素同士の輝度の差分ＤＩＦＦｔに基づいてｔ−１番目フレームとｔ番目フレームとの類似性ＳＩＭｔを求める。フレーム類似性演算部１２１７は、以下の（式８）を用いてｔ−１番目フレームとｔ番目フレームとの類似性ＳＩＭｔを求める。
【数９】
2013126114.tif 000011
ここで、αは定数であり、X，Yは、入力された基準画像ＩＬの水平幅、垂直幅をそれぞれ示す。フレーム類似性演算部１２１７は、算出したｔ−１番目フレームとｔ番目フレームとの類似性ＳＩＭｔを係数演算部１２１９に出力する。
【００８４】
係数演算部
係数演算部１２１９は、画像データ比較部１２１５からの供給されたｔ番目フレームの基準画像ＩＬＦｔとｔ−１番目フレームの基準画像ＩＬＦｔ−１とにおける互いに対応する画素同士の輝度の差分ＤＩＦＦｔとフレーム類似性演算部１２１７から供給されたｔ−１番目フレームとｔ番目フレームとの類似性ＳＩＭｔとに基づいて係数σｔを算出（Ｓ１３０４）し、求めた係数σｔを加重値演算部１２０３に出力する。係数演算部１２１９は、以下の（式９）及び（式１０）を用いて係数σｔを求める。
【数１０】
2013126114.tif 000012
ここで、σ０、σ１は定数であり、σ０＞σ１である。σ０、σ１の関係は、図１５に示すとおりである。係数演算部１２１９は、算出した係数σｔを加重値演算部１２０３に出力する。
【００８５】
加重値演算部１２０３は、係数演算部１２１９から供給された係数σｔと、ディスパリティメモリ１２１１から供給された現フレームであるｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するマッチングコストＤＳＩ（ｙ）に対応する直前フレームであるｔ−１番目フレームのディスパリティＤＦｔ−１を用いて、ｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）ごとの加重値Ｗ（ｘ，ｙ，ｄ）を算出する。加重値Ｗ（ｘ，ｙ，ｄ）は、以下の式（１１）から求める。
【数１１】
2013126114.tif 000013
ここで、αは、実験値から求められる定数であり、dは、ｔ番目フレームのマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）に対応するディスパリティの数値を示す。ディスパリティフィルタ１２０９が省略されている場合は、ｔ番目フレームの各ｙ座標のＤＳＩ（ｙ）に対応する、水平方向のノイズが除去されたｔ−１番目フレームのディスパリティＤＦｔ−１に代わって、ディスパリティメモリ１２１１から供給された水平方向のノイズが除去されていないｔ−１番目フレームのディスパリティＤｔ−１を（式１１）に代入すればよい。
【００８６】
（式１１）を参照すると、ディスパリティの数値ｄが現フレームの各マッチングコストＤＳＩに対応する直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）に近い値であるほど、即ち、直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）とディスパリティの数値ｄとの差分が小さいほど加重値Ｗ（ｘ，ｙ，ｄ）の値が小さくなることが分かる。また、ディスパリティの数値ｄが現フレームの各マッチングコストＤＳＩに対応する直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）に遠い値であるほど、即ち、直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）とディスパリティの数値ｄとの差分が大きいほど加重値Ｗ（ｘ，ｙ，ｄ）の値が大きくなることが分かる。
【００８７】
図１６は、以下に示す（式１２）において、一例として定数α＝０．５とし、σ＝２及びσ＝１０を代入した場合における加重値Wを示すグラフである。ここでは、縦軸に加重値Ｗ、横軸に直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）とディスパリティの数値ｄとの差分Δｄを示している。図１６において、σ＝２を代入したときの加重値Wを曲線１６０１で示し、σ＝１０を代入したときの加重値Wを曲線１６０２で示した。
【数１２】
2013126114.tif 000014
（式１２）において、ΔｄはＤＦｔ−１（ｘ，ｙ）−ｄの値を示す。図１６の曲線１６０１に示すとおり、係数σｔの値が小さいほど、即ち、ｔ番目フレームとｔ−１番目フレームとの類似性が高いほど加重値Ｗ（ｘ，ｙ，ｄ）の値が直前フレームのディスパリティＤＦｔ−１（ｘ，ｙ）との差分０を中心としたピークの幅が小さくなることが分かる。加重値演算部１２０３は、（式１１）を用いて算出した現フレームの所定のマッチングコストＤＳＩ（ｙ）における要素ＤＳＩ（ｘ，ｙ，ｄ）ごとの加重値Ｗ（ｘ，ｙ，ｄ）をフレーム単位でまとめてｔ番目フレームの加重値ＷｔとしてＤＳＩフィルタ１２０５に出力する。
【００８８】
ＤＳＩフィルタ
ＤＳＩフィルタ１２０５では、マッチングコスト演算部１２０１から供給されたｔ番目フレームのマッチングコストＤＳＩｔの所定のマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）と加重値演算部１２０３から供給された所定のマッチングコストＤＳＩ（ｙ）の要素ＤＳＩ（ｘ，ｙ，ｄ）に対応する加重値Ｗ（ｘ、ｙ，ｄ）とを乗算して、重み付けされたマッチングコストＤＳＩＦ（ｙ）を算出する。ＤＳＩフィルタ１２０５は、算出した重み付けされたマッチングコストＤＳＩＦ（ｙ）をオプティマイゼーション部１２０７に出力する。ＤＳＩフィルタ１２０５における所定のマッチングコストＤＳＩ（ｙ）と対応する加重値Ｗ（ｘ、ｙ，ｄ）との乗算式は、第１の実施形態に係るステレオマッチング部１０６のＤＳＩフィルタ３０５の説明において述べた（式５）と同一である。
【数１３】
2013126114.tif 000015
【００８９】
ＤＳＩフィルタ１２０５は、ｔ番目フレームのマッチングコストＤＳＩｔに含まれる所定のマッチングコストＤＳＩ（ｘ，ｙ，ｄ）の要素ＤＳＩ（ｘ，ｙ，ｄ）、即ち、ｔ番目フレームの基準画像ＩＬｔ及び参照画像ＩＲｔの所定のｙ座標において対応する画素間の輝度の差分の絶対値の総和にそれぞれ対応する加重値Ｗ（ｘ、ｙ，ｄ）を乗算し、重み付けされた輝度の差分の絶対値の総和を求める。ＤＳＩフィルタ１２０５は、横軸に基準画像の水平座標ｘ、縦軸にディスパリティｄをとって、基準画像ＩＬ及び参照画像ＩＲの対応する画素間の重み付けされた輝度の差分の絶対値の総和を表したＤＳＩＦをｔ番目フレームの基準画像ＩＬの各ｙ座標に対応するマッチングコストＤＳＩ（ｙ）ごとに算出する。ＤＳＩフィルタ１２０５は、ｔ番目フレームの基準画像ＩＬの各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）をフレーム単位でまとめ、ｔ番目フレームの重み付けされたマッチングコストＤＳＩＦｔとしてオプティマイゼーション部１２０７に一括して出力する。ここで、ＡＳＩＣやＦＰＧＡなどハードウェアに実装する際は、処理の並列度を上げるために、基準画像ＩＬの各ｙ座標に対応する重み付けされたマッチングコストＤＳＩＦ（ｙ）を順次出力してもよい。
【００９０】
オプティマイゼーション部１２０７、ディスパリティフィルタ１２０９、ディスパリティメモリ１２１１の構成及び各構成における処理については、第１の実施形態に係るステレオマッチング部１０６におけるオプティマイゼーション部３０７、ディスパリティフィルタ３０９、ディスパリティメモリ３１１と同様であるため、ここでは説明を省略する。
【００９１】
本発明の一実施形態に係るステレオ画像表示装置１００のステレオマッチング部１００６においては、現フレームと直前フレームとの類似性に基づく係数σを（式７）乃至（式１０）を用いて算出し、係数σと現フレームの直前フレームのディスパリティとを用いて現フレームの加重値を前述の（式１１）を用いて算出し、算出した加重値と、現フレームの基準画像と参照画像とのマッチングコスト（相違度）ＭＣ、即ち、基準画像ＩＬ及び参照画像ＩＲの対応する画素間の輝度の差分の絶対値の総和とを乗算し、現フレームの基準画像ＩＬと参照画像ＩＲとのマッチングコストＭＣに重み付けし、重み付けした現フレームの基準画像と参照画像とのマッチングコストに基づいて現フレームのディスパリティを算出する。現フレームの画像と直前フレームの画像とにおいて、画像に大きな変更が無い場合は、現フレームのディスパリティが直前フレームのディスパリティに近いほど現フレームにかかる加重値が小さくなるため、現フレームのディスパリティが直前フレームのディスパリティと同一又は近い値となる。また、現フレームの画像と直前フレームの画像との全体的な類似性が高い場合、現フレームのディスパリティが直前フレームのディスパリティに近いほど現フレームにかかる加重値が小さくなるため、現フレームのディスパリティが直前フレームのディスパリティと同一又はより近い値となる。そのため、連続する直前フレームと現フレームとにおけるディスパリティの揺らぎを低減することが可能となる。
【００９２】
本発明の一実施形態に係るステレオ画像表示装置１００のステレオマッチング部１００６において、ディスパリティフィルタ１２０９を設けて、オプティマイゼーション部１２０７から出力されたディスパリティから水平方向のノイズを除去したディスパリティを用いて画像データを生成することにより、所定フレームにおけるラインノイズを低減することができる。同時にノイズが除去されたディスパリティを用いて次のフレームの加重値を算出することにより、現フレームと次フレームとにおけるディスパリティの揺らぎを低減することができるとともに現フレームの水平方向のノイズを低減することができる。
【００９３】
以上の説明では、ＤＳＩフィルタ１２０５において、所定フレームのマッチングコストＤＳＩに加重値Ｗを１回のみ重み付けする例を説明したが、第１の実施形態に係るステレオマッチング部１０６の説明において述べたように、所定フレームのマッチングコストＤＳＩに加重値Ｗを複数回重み付けする構成としてもよい。ステレオマッチング部１００６において、同一フレームのディスパリティを算出する処理をしている間、ディスパリティメモリ１２１１は、オプティマイゼーション部１２０７又はディスパリティフィルタ１２０９から出力された直前に求めたディスパリティを保存し、保存したディスパリティを加重値演算部１２０３に出力する。
【００９４】
このように、同一フレームのディスパリティに基づいて加重値Ｗを更新し、更新した加重値Ｗを再度同一フレームのマッチングコストＤＳＩに重み付けすることを繰り返すことにより、加重値演算部１２０３において算出される加重値Ｗが安定し、より適切なディスパリティを算出することが可能となる。同一フレームのマッチングコストＤＳＩに加重値Ｗを重み付けする回数は、適宜設定することができる。
【符号の説明】
【００９５】
１００  ステレオ画像表示装置
１０２  ステレオ画像入力部
１０４  ステレオ画像平行化部
１０６  ステレオマッチング部
１０８  視差画像合成部
１１０  タイミング制御部
３０１  相違度演算部（マッチングコスト演算部）
３０３  加重値演算部
３０５  第１のフィルタ（ＤＳＩフィルタ）
３０７  最適化部（オプティマイゼーション部）
３０９  第２のフィルタ（ディスパリティフィルタ）
３１１  第１のメモリ（ディスパリティメモリ）
【図４】
2013126114.tif 000016
【図６】
2013126114.tif 000017
【図８】
2013126114.tif 000018
【図１０】
2013126114.tif 000019
【図１１】
2013126114.tif 000020
【図１３】
2013126114.tif 000021
【図１】
2013126114.tif 000022
【図２】
2013126114.tif 000023
【図３】
2013126114.tif 000024
【図５】
2013126114.tif 000025
【図７】
2013126114.tif 000026
【図９】
2013126114.tif 000027
【図１２】
2013126114.tif 000028
【図１４】
2013126114.tif 000029
【図１５】
2013126114.tif 000030
【図１６】
2013126114.tif 000031