"所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、前記所定フレームの直前フレームの視差情報に基づいて前記所定フレームの加重値を算出する加重値演算部と、前記相違度演算部から供給された前記ステレオ画像の相違度に前記加重値演算部から供給された前記加重値を重み付けする第1のフィルタと、前記第1のフィルタから供給された前記加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出する最適化部と、前記最適化部から供給された前記所定フレームの視差情報を保存し、保存された前記視差情報を前記加重値演算部に出力する第1のメモリと、を具備するステレオ画像処理装置。前記最適化部により算出された視差情報からノイズを除去し、ノイズを除去した前記視差情報を前記第1のメモリに出力する第2のフィルタをさらに具備する請求項1に記載のステレオ画像処理装置。前記第1のメモリから出力された前記視差情報からノイズを除去し、ノイズを除去した前記視差情報を前記加重値演算部に出力する第2のフィルタをさらに具備する請求項1に記載のステレオ画像処理装置。前記所定フレームの直前フレームステレオ画像のうち基準画像又は参照画像のいずれか一方の画像データを保存する第2のメモリと、前記所定フレームのステレオ画像のうち、前記第2メモリに保存された画像データに対応する基準画像又は参照画像のいずれか一方の画像データが入力され、前記第2のメモリから供給された前記直前フレームの画像データと前記所定フレームの画像データとを対応する画素ごとに比較する画像データ比較部と、をさらに具備し、前記加重値演算部は、前記画像データ比較部からの比較結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項1乃至3のいずれか一項に記載のステレオ画像処理装置。前記加重値演算部は、前記画像データ比較部からの比較結果が前記直前フレームの画像データと前記所定フレームの画像データとの対応する画素データに変化が少ないことを示している場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項4に記載のステレオ画像処理装置。前記直前フレームと前記所定フレームとの類似性を判定するフレーム類似性演算部をさらに具備し、前記加重値演算部は、前記フレーム類似性演算部からの比較結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項4又は5に記載のステレオ画像処理装置。前記加重値演算部は、フレーム類似性演算部から供給された結果が前記直前フレームと前記所定フレームとの類似性が高いことを示す場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項6に記載のステレオ画像処理装置。前記加重値が小さな値の場合、前記最適化部は前記直前フレームの視差情報と同一又は近い視差情報を前記所定フレームの視差情報として算出し、前記加重値が大きな値の場合、前記最適化部は前記直前フレームの視差情報とは異なる視差情報を前記所定フレームの視差情報として算出することを特徴とする請求項5又は7に記載のステレオ画像処理装置。所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出し、直前に算出された視差情報に基づいて前記所定フレームの加重値を算出し、前記ステレオ画像の相違度に前記加重値を重み付けし、前記加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出し、前記所定フレームの視差情報を保存し、保存された前記視差情報を次の加重値の算出に用いること、を含むステレオ画像処理方法。前記所定フレームの視差情報を保存する前に、前記視差情報からノイズを除去すること、をさらに含むことを特徴とする請求項9に記載のステレオ画像処理装方法。前記所定フレームの視差情報を保存した後、且つ前記保存された前記視差情報を次の加重値の算出に用いる前に前記視差情報からノイズを除去すること、をさらに含むことを特徴とする請求項9に記載のステレオ画像処理装方法。前記所定フレームの直前フレームステレオ画像のうち基準画像又は参照画像のいずれか一方の画像データを保存し、前記所定フレームのステレオ画像のうち、保存された前記画像データに対応する基準画像又は参照画像のいずれか一方の画像データと前記直前フレームの画像データとを対応する画素ごとに比較すること、をさらに含み、比較結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項9乃至11のいずれか一項に記載のステレオ画像処理方法。前記比較結果が前記直前フレームの画像データと前記所定フレームの画像データとの対応する画素データに変化が少ないことを示している場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項12に記載のステレオ画像処理方法。前記直前フレームと前記所定フレームとの類似性を判定すること、をさらに含み、類似性の結果に基づいて前記所定フレームの加重値を算出することを特徴とする請求項12又は13に記載のステレオ画像処方法。前記類似性の結果が前記直前フレームと前記所定フレームとの類似性が高いことを示す場合、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が小さいほど前記加重値を小さな値にし、算出した前記所定フレームのステレオ画像の相違度に対応する視差情報と前記直前フレームの視差情報との差分が大きいほど前記加重値を大きな値にすることを特徴とする請求項14に記載のステレオ画像処理方法。前記加重値が小さな値の場合、前記所定フレームの直前フレームの視差情報と同一又は近い視差情報を前記所定フレームの視差情報として算出し、前記加重値が大きな値の場合、前記直前フレームの視差情報とは異なる視差情報を前記所定フレームの視差情報として算出することを特徴とする請求項13又は15に記載のステレオ画像処理方法。前記算出された視差情報を用いて、前記所定フレームの加重値を再度算出し、前記ステレオ画像の相違度に前記再度算出した加重値を重み付けし、前記再度算出した加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出し、算出した前記所定フレームの視差情報を保存し、保存された前記視差情報を次の加重値の算出に用いること、を含む請求項9乃至16のいずれか一項に記載のステレオ画像処理方法。表示パネルと、ステレオ画像を含む映像信号が入力されるステレオ画像入力部と、前記ステレオ画像の高さ補正を行い、補正ステレオ画像を生成するステレオ画像平行化部と、前記補正ステレオ画像のステレオマッチングを行い、前記一方の画像の視差情報を生成するステレオ画像処理装置と、前記一方の画像及び前記視差情報を用いて、視差映像を作成する画像データを生成する視差画像合成部と、前記画像データを出力するタイミング制御部とを有し、前記ステレオ画像処理装置は、所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、前記所定フレームの直前フレームの視差情報に基づいて前記所定フレームの加重値を算出する加重値演算部と、前記相違度演算部から供給された前記ステレオ画像の相違度に前記加重値演算部から供給された前記加重値を重み付けする第1のフィルタと、前記第1のフィルタから供給された前記加重値によって重み付けされた相違度に基づいて前記所定フレームの視差情報を算出する最適化部と、前記最適化部から供給された前記所定フレームの視差情報を保存し、保存された前記視差情報を前記加重値演算部に出力する第1のメモリと、を具備するステレオ画像表示装置。本発明は、演算量を抑制しながら、連続するフレーム間におけるディスパリティの揺らぎを低減するステレオ画像処理方法及びステレオ画像処理装置を提供することを目的とする。本発明の一実施形態に係るステレオ画像処理装置は、所定フレームのステレオ画像が入力され、前記ステレオ画像の相違度を算出する相違度演算部と、所定フレームの直前フレームの視差情報に基づいて所定フレームの加重値を算出する加重値演算部と、相違度演算部から供給されたステレオ画像の相違度に加重値演算部から供給された加重値を重み付けする第1のフィルタと、第1のフィルタから供給された加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出する最適化部と、最適化部から供給された所定フレームの視差情報を保存し、保存された視差情報を加重値演算部に出力する第1のメモリと、を具備することを特徴とする。本発明の一実施形態に係るステレオ画像処理方法は、所定フレームのステレオ画像が入力され、ステレオ画像の相違度を算出し、直前に算出された視差情報に基づいて所定フレームの加重値を算出し、ステレオ画像の相違度に加重値を重み付けし、加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出し、所定フレームの視差情報を保存し、保存された視差情報を次の加重値の算出に用いること、を含むことを特徴とする。本発明の一実施形態に係るステレオ画像表示装置は、表示パネルと、ステレオ画像を含む映像信号が入力されるステレオ画像入力部と、ステレオ画像の高さ補正を行い、補正ステレオ画像を生成するステレオ画像平行化部と、補正ステレオ画像のステレオマッチングを行い、前記一方の画像の視差情報を生成するステレオ画像処理装置と、前記一方の画像及び前記視差情報を用いて、視差映像を作成する画像データを生成する視差画像合成部と、画像データを出力するタイミング制御部とを有し、ステレオ画像処理装置は、所定フレームのステレオ画像が入力され、ステレオ画像の相違度を算出する相違度演算部と、所定フレームの直前フレームの視差情報に基づいて所定フレームの加重値を算出する加重値演算部と、相違度演算部から供給されたステレオ画像の相違度に加重値演算部から供給された加重値を重み付けする第1のフィルタと、第1のフィルタから供給された加重値によって重み付けされた相違度に基づいて所定フレームの視差情報を算出する最適化部と、最適化部から供給された所定フレームの視差情報を保存し、保存された視差情報を加重値演算部に出力する第1のメモリと、を具備することを特徴とする。演算量を抑制しながら、連続するフレーム間におけるディスパリティの揺らぎを低減するステレオ画像処理方法及びステレオ画像処理装置を提供することができる。以下、本発明の一実施形態に係るステレオ画像処理装置について、図面を参照しながら説明する。第1の実施形態図1は、本発明の一実施形態に係るステレオ画像表示装置100の構成を示すブロック図である。ステレオ画像表示装置100は、ステレオ画像入力部102と、ステレオ画像平行化部104と、ステレオマッチング部106と、視差画像合成部108と、タイミング制御部110とを備える。各構成は、それぞれ、FPGAやASICといったロジック回路により実装される。或いは、CPUやGPUといったプロセッサ、ROM、RAM、これらが組み込まれたシステムLSIにより実装される。ステレオ画像入力部102には、ステレオ画像が入力される。ステレオ画像は2つの画像により構成され、2つの撮影装置でそれぞれ撮影された一方の画像、例えば左画像ILと、他方の画像、例えば、右画像IRから成る。左画像IL及び右画像IRのうちいずれか一方の画像は二次元画像として、他方の画像は該一方の画像とのステレオマッチングによるディスパリティ視差情報の抽出のために用いられる。ステレオ画像平行化部104は、ステレオ画像入力部102から供給された2つの画像のライン方向の高さを揃える。図2に示すように、ステレオ画像平行化部104は、基準画像、例えば左画像ILにおける代表点を設定し、参照画像、例えば右画像IRにおける該代表点に対応する対応点をブロックマッチング法などにより検出し、基準画像ILの代表点及び参照画像IRの対応点に基づき、基準画像ILと参照画像IRとの高さが一致するように基準画像IL及び参照画像IRのどちらか一方の画像全体について高さ補正、即ち平行化を行う。これにより、基準画像ILと参照画像IRとの高さのズレが解消される。ステレオ画像平行化部104は、高さを補正した基準画像IL及び参照画像IRをステレオマッチング106部に出力する。ステレオマッチング部106は、ステレオ画像平行化部104により高さ補正が行われたステレオ画像を用いてステレオマッチングを行って、基準画像IL又は参照画像IRのディスパリティ視差情報を求め、求めたディスパリティを視差画像合成部108に出力する。ステレオマッチング部106の各構成については後述する。視差画像合成部108は、ステレオマッチング部106から供給されたディスパリティ視差情報と該ディスパリティに対応する基準画像IL又は参照画像IRに基づき、多視点の視差画像を表示するための画像データを生成し、タイミング制御部110に出力する。タイミング制御部110は、視差画像合成部108から供給された画像データをデータドライバ112に出力する。表示パネル114は、データドライバ112から供給された画像データに基づく画像を表示する。図3は、ステレオマッチング部106の構成を示すブロック図である。ステレオマッチング部106は、相違度演算部301と、加重値演算部303と、第1のフィルタ305と、最適化部307と、第2のフィルタ309と、第1のメモリ311とを備える。以下、相違度演算部301をマッチングコスト演算部301、第1のフィルタ305をDSIフィルタ305、最適化部307をオプティマイゼーション部307、第2のフィルタ309をディスパリティフィルタ309、第1のメモリ311をディスパリティメモリ311と呼ぶ。図4は、図3に示したステレオマッチング部106における処理の流れの一例を示すフロー図である。図3及び図4を参照して、ステレオマッチング部106における処理の流れを簡単に説明する。マッチングコスト演算部301は、ステレオ画像平行化部104から供給された高さ補正が行われたt番目フレームの基準画像ILと参照画像IRとのマッチングコスト相違度MCtを算出してS401DSItを求める。マッチングコストMCtを算出する方法及びDSIについては、後述する。マッチングコスト演算部301は、求めたDSItをDSIフィルタ305に出力する。以下、DSItをマッチングコストDSItともいう。加重値演算部303は、ディスパリティメモリから供給された直前フレームであるt-1番目フレームのディスパリティDFt-1を用いて現フレームであるt番目フレームの加重値Wtを算出しS402、DSIフィルタ305に出力する。加重値Wtの算出方法は、後述する。ここで、加重値演算部303における加重値の算出S402とマッチングコスト演算部301におけるマッチングコストMCtの算出S401との順序は逆であっても同時であってもよい。DSIフィルタ305は、マッチングコスト演算部301から供給されたマッチングコストDSItと加重値演算部303から供給された加重値Wtとを乗算して、重み付けされたマッチングコストDSIFtを算出S403する。DSIフィルタ305は、重み付けされたマッチングコストDSIFtをオプティマイゼーション部307に出力する。オプティマイゼーション部307は、一般的なオプティマイゼーション手法を用いてDSIフィルタ305から供給された重み付けされたマッチングコストDSIFtを最適化し、t番目フレームの最適なディスパリティDt視差情報を算出するS404。オプティマイゼーション手法としては、既知のダイナミックプログラミング法やスキャンラインオプティマイゼーション法などが用いられてもよい。スキャンラインオプティマイゼーション法については、DScharsteinandRSzeliskiAtaxonomyandevaluationofdensetwoframestereocorrespondencealgorithmsIJCV477422002を参照されたい。オプティマイゼーション部307は、求めたt番目フレームのディスパリティDtをディスパリティフィルタ309に出力する。ディスパリティフィルタ309は、水平方向のノイズを除去するフィルタであって、例えば、平均値フィルタ、中間値フィルタなどが用いられてもよい。ディスパリティフィルタ309は、オプティマイゼーション部307から供給されたディスパリティDtから水平方向のノイズを除去するS405。ディスパリティフィルタ309は、水平方向のノイズが除去されたディスパリティDFtを視差画像合成部108及びディスパリティメモリ311に出力する。このディスパリティフィルタ309は、省略されてもよい。また、ディスパリティフィルタ309は、ディスパリティメモリ311の後段に配置されてもよい。ディスパリティメモリ311は、ディスパリティフィルタ309から供給されたディスパリティDFtを一時的に保存しS406、保存したディスパリティDFtを加重値演算部303に出力するS407。ディスパリティメモリ311から出力されたディスパリティDFtは、加重値演算部303においてt1番目フレームのマッチングコストDSIt1にかかる加重値Wt1を算出するために用いられる。ディスパリティフィルタ309が省略された場合、ディスパリティメモリ311は、オプティマイゼーション部307から供給されたディスパリティDtを保存し、ディスパリティDtを加重値演算部303に出力する。ディスパリティフィルタ309がディスパリティメモリ311の後段に配置されている場合、ディスパリティメモリ311から出力されたディスパリティDtは、ディスパリティフィルタ309によって水平方向のノイズを除去された後、加重値演算部303に出力される。視差画像合成部108は、ディスパリティフィルタ309から供給されたディスパリティDFtに基づき、t番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部110に出力する。ディスパリティフィルタ309が省略された場合、視差画像合成部108は、オプティマイゼーション部307から供給されたディスパリティDtに基づき、t番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部110に出力する。以下、図5~図11を参照してステレオマッチング部106の各構成における処理を詳細に説明する。マッチングコスト演算部マッチングコスト演算部301は、ステレオ画像平行化部104において高さ補正が行われた基準画像ILと参照画像IRとのマッチングコスト相違度MCを算出する。基準画像ILと参照画像IRとのマッチングコストMCは、SAD、SSD、NCC、NSSDによるブロックマッチングなどを用いて求めることができる。ここでは、SADによるブロックマッチングを行って、現フレームであるt番目フレームの基準画像ここでは左画像ILtと参照画像ここでは右画像IRtとのマッチングコストMCtを算出する。以下では、SADのブロックサイズを1×1と設定した場合の基準画像ILと参照画像IRとのマッチングコストMCtSAD1×1の算出方法を例に挙げて説明する。マッチングコスト演算部301は、基準画像ILt及び参照画像IRtから互いに対応する同一スキャンライン上の各画素の輝度を取り出す。図5は、SADのブロックサイズを1×1と設定した場合の基準画像ILt及び参照画像IRtの同一スキャンラインから取り出した各画素の輝度の一例を示す。次に、マッチングコスト演算部301は、図6aに示すように、参照画像IRtの各画素を基準画像ILtの各画素に対して水平方向に1画素ずつずらしながら、即ち、ディスパリティを1つずつずらしながら、基準画像ILt及び参照画像IRtの1画素同士の輝度の差分の絶対値ABSを求める。図6aでは、一例として、0~4までのディスパリティにおける輝度の差分の絶対値ABSの算出を示しているが、例えば、ディスパリティが-100~100までの基準画像ILt及び参照画像IRtの1画素同士の輝度の差分の絶対値ABSを算出してもよい。ディスパリティの数値範囲は、表示パネルの解像度や入力映像に応じて適宜変更可能である。尚、ディスパリティを1つずつずらして、基準画像IL及び参照画像IRの各画素の輝度の差分を求める際、基準画像IL及び参照画像IRにおいて対応する画素がない場合は、輝度の差分の絶対値ABSを∞とする。SADのブロックサイズが1×1である場合、t番目フレームの基準画像ILtと参照画像IRtとのマッチングコストMCtSAD1×1は、基準画像IL及び参照画像IRの各画素を水平方向に1画素ずつずらしながら算出する基準画像IL及び参照画像IRの対応する1画素同士の輝度の差分の絶対値として求める。1画素同士のマッチングコストMCx,y,dは以下の式1を用いて求めることができる。ここで、ILx,yは、基準画像ILである左側画像のx,y座標における輝度を示し、IRx-d,yは、参照画像IRである右側画像のx-d,y座標における輝度を示す。dは、ディスパリティの数値を示す。ここでは、SADブロックサイズを1×1としたが、SADブロックサイズは1×1に限定されず、例えば、3×3ブロック、5×5ブロック、15×15ブロックなど適宜設定することが可能である。所定のSADブロックにおける基準画像IL及び参照画像IRの対応する画素のマッチングコストMCSADI×Jx,y,dは、基準画像IL及び参照画像IRの所定のSADブロックにおける対応する画素間の輝度の差分の絶対値の総和として、以下の式2及び3を用いて求める。ここで、MCSADI×Jは、所定のSADブロックI×Jにおける基準画像IL及び参照画像IRの対応する画素間の輝度の差分の絶対値の総和であり、Wbは、SADブロックのブロックマッチングウィンドウBlockMatchingWindowを示す。例えば、図7に示すように、SADブロックサイズを5×5とした場合、I,J=5,5である。SADブロックサイズ1×1である場合、t番目フレームの基準画像ILt及び参照画像IRtの対応する画素同士のマッチングコストMCtSAD1×1は、である。図6bは、横軸に基準画像の水平座標x、縦軸にディスパリティdをとって、図6aに示したディスパリティが0~4までのt番目フレームの基準画像ILtと参照画像IRtとのマッチングコストMCtSAD1×1、即ち基準画像ILt及び参照画像IRtの1画素同士の輝度の差分を表したものである。図6bに示したような、横軸に基準画像の水平座標x、縦軸にディスパリティdをとって、所定のSADブロックにおける基準画像IL及び参照画像IRの対応する画素間の輝度の差分の絶対値の総和を表したものをDSIDisparitySpaceImageと呼ぶ。また、DSIの別の表現として横軸に基準画像の水平座標x、縦軸に参照画像の水平座標x ́をとる方法もある。参照画像の水平座標x ́は、x ́=x-dであり、dはディスパリティの数値である。詳しくは、特開2006-331108号公報を参照されたい。以下では、図6bに示したものをDSIとして説明する。マッチングコスト演算部301は、t番目フレームの基準画像IL及び参照画像IRの所定のSADブロックにおける対応する画素間の輝度の差分の絶対値の総和を基準画像IL及び参照画像IRのマッチングコストMCtSADI×Jとして求めて、求めた基準画像IL及び参照画像IRのマッチングコストMCtSADI×JをDSIで表す。DSIは、基準画像ILの各y座標について、即ち、基準画像ILの1ラインごとにそれぞれ算出される。基準画像ILの各y座標についてのDSIをDSIyとする。以下、DSIyを基準画像IL及び参照画像IRのマッチングコストDSIyともいう。マッチングコスト演算部301は、マッチングコストDSIyをフレーム単位でまとめ、基準画像IL及び参照画像IRのマッチングコスト相違度としてDSIフィルタ305に一括して出力する。ここでは、t番目フレームのマッチングコストDSIyをフレーム単位でまとめたものをt番目フレームのマッチングコストDSItとする。但し、ASICやFPGAなどハードウェアに実装する際は、処理の並列度を上げるために、基準画像ILの各y座標に対応するマッチングコストDSIyを順次出力してもよい。DSItに含まれるDSIの個数は、基準画像ILの垂直幅である。加重値演算部加重値演算部303は、ディスパリティメモリ311から供給された現フレームであるt番目フレームの基準画像ILの各y座標に対応するマッチングコストDSIyに対応する直前フレームであるt-1番目フレームのディスパリティDFt-1を用いて、t番目フレームの基準画像ILの各y座標に対応するマッチングコストDSIyにおける要素DSIx,y,dごとの加重値Wx,y,dを算出する。加重値Wx,y,dは、以下の式4から求める。ここで、α及びσは、実験値から求められる定数であり、dは、t番目フレームのマッチングコストDSIyの要素DSIx,y,dに対応するディスパリティの数値を示す。また、ディスパリティフィルタ309が省略されている場合は、t番目フレームの基準画像ILの各y座標についてのマッチングコストDSIyに対応する、水平方向のノイズが除去されたt-1番目フレームのディスパリティDFt-1に代わって、ディスパリティメモリ311から供給された水平方向のノイズが除去されていないt-1番目フレームのディスパリティDt-1を式4に代入すればよい。式4を参照すると、ディスパリティの数値dが対応する直前フレームのディスパリティDFt-1x,yに近い値であるほど、即ち、直前フレームのディスパリティDFt-1x,yとディスパリティの数値dとの差分が小さいほど加重値Wx,y,dの値が小さくなることが分かる。また、ディスパリティの数値dが対応する直前フレームのディスパリティDFt-1x,yに遠い値であるほど、即ち、直前フレームのディスパリティDFt-1x,yとディスパリティの数値dとの差分が大きいほど加重値Wx,y,dの値が大きくなることが分かる。加重値演算部303は、式4を用いて算出した現フレームの所定のマッチングコストDSIyにおける要素DSIx,y,dごとの加重値Wx,y,dを全y座標に対応するマッチングコストDSIyについて算出し、フレーム単位でまとめてt番目フレームの加重値WtとしてDSIフィルタ305に出力する。DSIフィルタDSIフィルタ305は、マッチングコスト演算部301から供給されたt番目フレームのマッチングコストDSItの所定のマッチングコストDSIyの要素DSIx,y,dと加重値演算部303から供給された前記所定のマッチングコストDSIyの要素DSIx,y,dに対応する加重値Wx,y,dとを乗算して、重み付けされたマッチングコストDSIFx,y,dを算出する。DSIフィルタ305は、t番目フレームのマッチングコストDSItに含まれる所定のマッチングコストDSIyの要素DSIx,y,d、即ち、t番目フレームの基準画像ILt及び参照画像IRtの所定のy座標において対応する画素間の輝度の差分の絶対値の総和にそれぞれ対応する加重値Wx、y,dを乗算し、重み付けされた輝度の差分の絶対値の総和を求める。DSIと同様に、横軸に基準画像の水平座標x、縦軸にディスパリティdをとって、基準画像ILt及び参照画像IRtの対応する画素間の重み付けされた輝度の差分の絶対値の総和を表したものをDSIFとする。DSIフィルタ305は、基準画像ILの各y座標のマッチングコストDSIyそれぞれについてのDSIFyを算出する。DSIフィルタ305は、基準画像ILの全y座標について重み付けされたマッチングコストDSIFyを算出し、フレーム単位でまとめ、t番目フレームの重み付けされたマッチングコストとしてオプティマイゼーション部307に一括して出力する。ここでは、t番目フレームの基準画像ILの各y座標に対応する重み付けされたマッチングコストDSIFyをフレーム単位でまとめたものをt番目フレームの重み付けされたマッチングコストDSIFtとする。但し、ASICやFPGAなどハードウェアに実装する際は、処理の並列度を上げるために、基準画像ILの各y座標に対応する重み付けされたマッチングコストDSIFyを順次出力してもよい。例えば、t番目フレームの所定のy座標のマッチングコストDSIyの各要素DSIx,y,d、即ち、t番目フレームの基準画像ILt及び参照画像IRtの前記所定のy座標の1画素同士の輝度の差分のマッチングコストMCtSAD1×1が図8aのDSIに示す数値である場合における、マッチングコストDSIyに対する重み付けを説明する。t番目フレームの基準画像ILの所定のy座標のマッチングコストDSIyに対応するt-1番目フレームのディスパリティDFt-1x,yが図8bに示す数値であった場合、図8bに示したt-1番目フレームのディスパリティDFt-1x,yの数値を順次式4に代入する。ここで、定数α=0.5、定数σ=1とすると、前記所定のy座標のマッチングコストDSIyの各要素DSIx,y,dにかかる加重値は、図8cに示した加重値Wの各要素Wx,y,dが示す数値となる。図8aに示した前記所定のy座標のマッチングコストDSIyの各要素DSIx,y,dの数値と図8cに示した加重値Wの各要素Wx,y,dの数値を式5に代入して、t番目フレームの基準画像ILの所定のy座標の重み付けされたマッチングコストDSIFyを求める。重み付けされたマッチングコストDSIFyの各要素DSIFx,y,dの数値は、図8dに示すDSIFに示す数値となる。このように、DSIフィルタ305は、t番目フレームのマッチングコストDSItに含まれる各y座標に対応するDSIyそれぞれについて、対応する加重値Wx、y、dを用いて重み付けし、重み付けされたマッチングコストDSIFyを算出する。DSIフィルタ305は、各y座標についてのDSIFyをフレーム単位でまとめ、t番目フレームの重み付けされたマッチングコストDSIFtとしてオプティマイゼーション部307に一括して出力する。しかしながら、上述したように、ASICやFPGAなどハードウェアに実装する際は、基準画像の各y座標に対応する重み付けされたマッチングコストDSIFyを順次出力してもよい。図9は、連続するt-1番目フレーム、t番目フレーム、t1番目フレームにおいてt番目フレームで表示される画像が切り替わった場合の、t-1番目フレーム、t番目フレーム、t1番目フレームの所定のy座標のマッチングコストDSIy、対応する加重値Wx,y、d、重み付けされたマッチングコストDSIFyの一例をイメージで表したものである。オプティマイゼーション部オプティマイゼーション部307は、DSIフィルタ305から供給されたt番目フレームの重み付けされたマッチングコストDSIFtを一般的なオプティマイゼーション手法を用いて最適化し、t番目フレームのディスパリティ視差情報を算出する。オプティマイゼーション手法としては、既知のダイナミックプログラミング法やスキャンラインオプティマイゼーション法などが用いられてもよい。ここでは、ダイナミックプログラミング法を用いた最適化を例として説明する。図8dに示した重み付けされたマッチングコストDSIFyの最適化を例として説明する。オプティマイゼーション部307は、先ず、図8dに示した重み付けされたマッチングコストDSIFy上の各要素DSIFx,y,dに対して隣接する3つの要素DSIFx-1,y,d、DSIFx,y,d1、DSIFx-1,y,d-1の累積コストACのうち最も小さな数値を要素DSIFx,y,dの累積コストACx,y,dとして選択する。所定の要素DSIFx,y,dをs要素とし、s要素に隣接する3つの要素DSIFx-1,y,d、DSIFx,y,d1、DSIFx-1,y,d-1をそれぞれa要素、b要素、c要素とすると、s要素とa要素、b要素及びc要素との位置関係は図10に示すとおりである。ここで、最小の累積コストACは、であり、a要素の累積コストACMch、b要素の累積コストACLocc、c要素の累積コストACRoccは、以下の式6から求めることができる。ここで、koccは定数である。オプティマイゼーション部307は、式6を用いて基準画像ILの各y座標に対応する重み付けされたマッチングコストDSIFyの各要素DSIFx,y,dについて最小の累積コストACx,y,dを求める。図11は、kocc=2とした場合における、図8dに示した所定のy座標に対応する重み付けされたマッチングコストDSIFyにおける各要素DSIFx,y,dの累積コストACx,y,dを示す。ここで、xの最大値がx=15である場合、x=15における累積コストが合計コストTotalcostとなる。この合計コストTotalcostが最小となる要素15,y,dから左方向図11において、破線で示す矢印方向に向かって累積コストACが最小となる要素x,y,dを辿る。図11においては、太枠で示した要素x,y,dが累積コストACが最小となる要素であり、この太枠で示した要素x,y,dに対応するディスパリティdが、対応するDSIFyに対する最適なディスパリティDとなる。オプティマイゼーション部307は、t番目フレームの基準画像ILの各y座標に対応する重み付けされたマッチングコストDSIFyについて最適なディスパリティDを算出する。オプティマイゼーション部307は、求めたt番目フレームの基準画像ILの各y座標に対応するDSIFyに対する最適なディスパリティDをフレーム単位でまとめ、ディスパリティフィルタ309に一括して出力する。ここでは、t番目フレームの基準画像ILの各y座標に対応するDSIFyに対する最適なディスパリティDをフレーム単位でまとめたものをt番目フレームのディスパリティDtとする。ディスパリティフィルタディスパリティフィルタ309は、前述したように、水平方向のノイズを除去するフィルタであって、平均値フィルタ、中間値フィルタなどであってもよい。ディスパリティフィルタ309は、オプティマイゼーション部307から供給されたディスパリティDtから水平方向のノイズを除去する。ディスパリティフィルタ309は、水平方向のノイズが除去されたディスパリティDFtを視差画像合成部108及びディスパリティメモリ311に出力する。尚、ディスパリティフィルタ309は、ディスパリティメモリ311の後段に配置されてもよい。また、このディスパリティフィルタ309は、省略されてもよい。ディスパリティフィルタ309がディスパリティメモリ311の後段に配置されている場合、及びディスパリティフィルタ309が省略されている場合、オプティマイゼーション部307は、t番目フレームのディスパリティDtをディスパリティメモリ311及び視差画像合成部108に出力する。ディスパリティメモリ311は、ディスパリティフィルタ309から供給されたディスパリティDFt、若しくはオプティマイゼーション部307から供給されたディスパリティDtを一時的に保存し、保存したディスパリティDFt又はDtを加重値演算部303に出力する。ディスパリティメモリ311から出力されたディスパリティDFt又はDtは、加重値演算部303においてt1番目フレームのマッチングコストDSIt1に対する加重値Wt1を算出するために用いられる。ディスパリティフィルタ309がディスパリティメモリ311の後段に配置されている場合、ディスパリティメモリ311から出力されたディスパリティDtは、ディスパリティフィルタ309により水平方向のノイズが除去された後、加重値演算部303に供給される。視差画像合成部108は、t番目フレームの基準画像IL及びディスパリティフィルタ309から供給されたt番目フレームのディスパリティDFtに基づき、t番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部110に出力する。本発明の一実施形態に係るステレオ画像表示装置100のステレオマッチング部106においては、現フレームの直前フレームで算出したディスパリティを用いて現フレームの加重値を前述の式4を用いて算出し、算出した加重値と、現フレームの基準画像ILと参照画像IRとのマッチングコスト相違度MC、即ち、基準画像ILと参照画像IRの対応する画素間の輝度の差分の絶対値の総和とを乗算し、現フレームの基準画像ILと参照画像IRとのマッチングコストMCに重み付けし、重み付けした現フレームの基準画像ILと参照画像IRとのマッチングコストに基づいて現フレームのディスパリティを算出する。現フレームの画像と直前フレームの画像とにおいて、画像に大きな変更が無い場合は、現フレームのディスパリティが直前フレームのディスパリティに近いほど現フレームにかかる加重値が小さくなるため、現フレームのディスパリティが直前フレームのディスパリティと同一又は近い値となる。そのため、連続する直前フレームと現フレームとにおけるディスパリティの揺らぎを低減することが可能となる。本発明の一実施形態に係るステレオ画像表示装置100のステレオマッチング部106において、ディスパリティフィルタ309を設けて、オプティマイゼーション部307から出力されたディスパリティから水平方向のノイズを除去したディスパリティを用いて画像データを生成することにより、所定フレームにおけるラインノイズを低減することができる。同時にノイズが除去されたディスパリティを用いて次のフレームの加重値を算出することにより、現フレームと次フレームとにおけるディスパリティの揺らぎを低減することができるとともに現フレームの水平方向のノイズを低減することができる。以上の説明では、DSIフィルタ305において、所定フレームのマッチングコストDSIに加重値Wを1回のみ重み付けする例を説明したが、マッチングコストDSIに加重値Wを複数回重み付けする構成としてもよい。例えば、1回目の重み付けの場合は、t番目フレームのマッチングコストDSItにかかる第1の加重値Wt1は、ディスパリティメモリ311から供給されたt-1番目フレームのディスパリティDFt-1に基づき加重値演算部303において算出される。しかし、DSIフィルタ305において、t番目フレームのマッチングコストDSIにさらに加重値Wtを重み付けする場合、t番目フレームのマッチングコストDSIにかかる第2の加重値Wt2は、ディスパリティメモリ311から供給されたt番目フレームのディスパリティDFt1に基づき加重値演算部303において算出される。ディスパリティDFt1とは、t番目フレームのマッチングコストDSItに第1の加重値Wt1を重み付けしたt番目フレームのマッチングコストDSIFtから求めたディスパリティである。DSIフィルタ305において、t番目フレームのマッチングコストDSItにさらに加重値Wtを重み付けする場合、t番目フレームのマッチングコストDSItにかかる第3の加重値Wt3は、加重値演算部303においてディスパリティメモリ311から供給されたt番目フレームのディスパリティDFt2に基づき算出される。ディスパリティDFt2とは、t番目フレームのマッチングコストDSItに第2の加重値Wt2を重み付けしたt番目フレームのマッチングコストDSIFtから求めたディスパリティである。このように、所定フレームの基準画像ILのマッチングコストDSIに加重値を複数回重み付けする場合、2回目以降の重み付けで用いる加重値は、直前に算出された前記所定フレームのディスパリティに基づいて算出される。ディスパリティメモリ311は、オプティマイゼーション部307又はディスパリティフィルタ309から出力された直前に求めたディスパリティを保存し、保存したディスパリティを加重値演算部303に出力する。このように、同一フレームのディスパリティに基づいて加重値Wを更新し、更新した加重値Wを再度同一フレームのマッチングコストDSIに重み付けすることを繰り返すことにより、加重値演算部303において算出される加重値Wが安定し、より適切なディスパリティを算出することが可能となる。同一フレームのDSIに加重値Wを重み付けする回数は、適宜設定することができる。第2の実施形態以下、図12乃至図16を参照して、本発明の別の実施形態に係るステレオマッチング部について説明する。図12は、本発明の別の実施形態に係るステレオマッチング部1006の構成を示すブロック図である。ステレオマッチング部1006は、相違度演算部1201と、加重値演算部1203と、第1のフィルタ1205と、最適化部1207と、第2のフィルタ1209と、第1のメモリ1211と、第2のメモリ1213と、画像データ比較部1215と、フレーム類似性演算部1217と、係数演算部1219とを備える。以下、相違度演算部1201をマッチングコスト演算部1201、第1のフィルタ1205をDSIフィルタ1205、最適化部1207をオプティマイゼーション部1207、第2のフィルタ1209をディスパリティフィルタ1209、第1のメモリ1211をディスパリティメモリ1211、第2のメモリ1213をフレームメモリ1213と呼ぶ。図13は、ステレオマッチング部1006における処理の流れの一例を示すフロー図である。図12及び図13を参照して、ステレオマッチング部のおける処理の流れを簡単に説明する。マッチングコスト演算部1201は、ステレオ画像平行化部104から供給された高さ補正が行われたt番目フレームの基準画像ILtと参照画像IRtとのマッチングコスト相違度MCtを算出してS1301DSItを求める。マッチングコスト演算部1201は、求めたDSItをDSIフィルタ1205に出力する。以下、DSItをマッチングコストDSItともいう。フレームメモリ1213は、ステレオ画像平行化部104から供給された基準画像ILtを一時的に保存し、保存した基準画像ILtを画像データ比較部1215に出力する。画像データ比較部1215は、ステレオ画像平行化部104から供給された現フレームであるt番目フレームの基準画像ILtとフレームメモリ1213から供給された直前フレームであるt-1番目フレームの基準画像ILt-1とを比較し、基準画像ILtとt-1番目フレームの基準画像ILt-1とにおける互いに対応する画素同士の輝度の差分DIFFtを算出S1302する。画像データ比較部1215は、算出したt番目フレームの基準画像ILtとt-1番目フレームの基準画像ILt-1との対応する画素同士の輝度の差分DIFFtをフレーム類似性演算部1217と係数演算部1219に出力する。フレーム類似性演算部1217は、画像データ比較部1215から供給されたt番目フレームの基準画像ILtとt-1番目フレームの基準画像ILt-1とにおける互いに対応する画素同士の輝度の差分DIFFt基づいてt-1番目フレームとt番目フレームとの類似性を求めS1303、類似性SIMtを係数演算部1219に出力する。係数演算部1219は、画像データ比較部1215からの供給されたt番目フレームの基準画像ILtとt-1番目フレームの基準画像ILt-1とにおける互いに対応する画素同士の輝度の差分DIFFtとフレーム類似性演算部1217から供給されたt-1番目フレームとt番目フレームとの類似性SIMtとに基づいて係数σtを算出S1304し、算出した係数σtを加重値演算部1203に出力する。加重値演算部1203は、係数演算部1219から供給された係数σtとディスパリティメモリ1211から供給された直前フレームであるt-1番目フレームのディスパリティDFt-1とを用いて現フレームであるt番目フレームの加重値Wtを算出しS1305、DSIフィルタ1205に出力する。ここで、マッチングコスト演算部1201における基準画像ILtと参照画像IRtとのマッチングコスト相違度MCtの算出S1301と、画像データ比較部1215におけるt番目フレームの基準画像ILtとt-1番目フレームの基準画像ILt-1とにおける互いに対応する画素同士の輝度の差分DIFFtの算出S1302、フレーム類似性演算部1217におけるt-1番目フレームとt番目フレームとの類似性の算出S1303、係数演算部1219における係数σtの算出S1304及び加重値演算部1203におけるt番目フレームの加重値Wtの算出S1305との順序は、逆であっても同時であってもよい。DSIフィルタ1205は、マッチングコスト演算部1201から供給されたマッチングコストDSItと加重値演算部1203から供給された加重値Wtとを乗算して、重み付けされたマッチングコストDSIFtを算出S1306する。DSIフィルタ1205は、重み付けされたマッチングコストDSIFtをオプティマイゼーション部1207に出力する。オプティマイゼーション部1207は、一般的なオプティマイゼーション手法を用いてDSIフィルタ1205から供給された重み付けされたマッチングコストDSIFtを最適化し、t番目フレームの最適なディスパリティDtを算出するS1307。オプティマイゼーション手法としては、既知のダイナミックプログラミング法やスキャンラインオプティマイゼーション法などが用いられてもよい。オプティマイゼーション部1207は、求めたt番目フレームのディスパリティDtをディスパリティフィルタ1209に出力する。ディスパリティフィルタ1209は、水平方向のノイズを除去するフィルタであって、平均値フィルタ、中間値フィルタなどが用いられてもよい。ディスパリティフィルタ1209は、オプティマイゼーション部1207から供給されたディスパリティDtから水平方向のノイズを除去するS1308。ディスパリティフィルタ1209は、水平方向のノイズが除去されたディスパリティDFtを視差画像合成部108及びディスパリティメモリ1211に出力する。尚、ディスパリティフィルタ1209は、ディスパリティメモリ1211の後段に配置されてもよい。また、このディスパリティフィルタ1209は、省略されてもよい。ディスパリティメモリ1211は、ディスパリティフィルタ1209から供給されたディスパリティDFtを一時的に保存S1309し、保存したディスパリティDFtを加重値演算部1203に出力S1310する。ディスパリティメモリ1211から出力されたディスパリティDFtは、加重値演算部1203においてt1番目フレームのマッチングコストDSIt1にかかる加重値Wt1を算出するために用いられる。ディスパリティフィルタ1209がディスパリティメモリ1211の後段に配置されている場合、及びディスパリティフィルタ1209が省略された場合、ディスパリティメモリ1211は、オプティマイゼーション部1207から供給されたディスパリティDtを保存する。ディスパリティフィルタ1209がディスパリティメモリ1211の後段に配置されている場合、ディスパリティメモリ1211から出力されたディスパリティDtは、ディスパリティフィルタ1209により水平方向のノイズが除去された後、加重値演算部1203に供給される。視差画像合成部108は、ディスパリティフィルタ1209から供給されたディスパリティDFtに基づき、t番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部110に出力する。ディスパリティフィルタ1209が省略された場合、視差画像合成部108は、オプティマイゼーション部1207から供給されたディスパリティDtに基づき、t番目フレームの多視点の視差画像を表示するための画像データを生成し、タイミング制御部110に出力する。以下、図14及び図16を参照してステレオマッチング部1006の各構成における処理を詳細に説明する。但し、ステレオマッチング部1006の構成において、第1の実施形態に係るステレオマッチング部106と同一又は類似の構成については、重複する説明を省略する。マッチングコスト演算部1201は、第1の実施形態に係るステレオマッチング部106のマッチングコスト演算部301と同一の構成であり、マッチングコスト演算部1201における基準画像ILと参照画像IRとのマッチングコスト相違度DSItの算出方法は、第1の実施形態に係るステレオマッチング部106のマッチングコスト演算部301における基準画像ILと参照画像IRとのマッチングコスト相違度DSItの算出方法と同様であるため、ここでの説明は省略する。フレームメモリフレームメモリ1213は、ステレオ画像平行化部104から供給された基準画像ここでは左画像ILを一時的に保存し、保存した基準画像ILを画像データ比較部1215に出力する。ステレオマッチング部1006において、現フレームであるt番目フレームのディスパリティを算出する際、フレームメモリ1213は、保存されていた直前フレームであるt-1番目の基準画像ILt-1を画像データ比較部1215に出力する。画像データ比較部画像データ比較部1215は、ステレオ画像平行化部104から供給された現フレームであるt番目フレームの基準画像ILtとフレームメモリ1213から供給された直前フレームであるt-1番目フレームの基準画像ILt-1とを比較し、基準画像ILt及び基準画像ILt-1における互いに対応する画素同士の輝度の差分DIFFtを算出する。画像データ比較部1215は、算出したt番目フレームの基準画像ILtとt-1番目フレームの基準画像ILt-1との対応する画素同士の輝度の差分DIFFtをフレーム類似性演算部1217と係数演算部1219に出力する。図14は、画像データ比較部1215の構成を示したブロック図である。画像データ比較部1215は、フィルタ1401a、1401b及び差分演算部1403を含む。フィルタ1401a、1401bは、平均値フィルタなどであってもよく、t番目フレームの基準画像ILt及びt-1番目フレームの基準画像ILt-1のそれぞれからノイズを除去し、ノイズが除去されたt番目フレームの基準画像ILFt及びt-1番目フレームの基準画像ILFt-1をそれぞれ差分演算部1403に出力する。差分演算部1403は、以下の式7を用いて基準画像ILFt及び基準画像ILFt-1における互いに対応する画素同士の輝度の差分DIFFtを算出する。ここで、DIFFtxyは、基準画像ILFt-1のx,y座標と基準画像ILFt-1のx,y座標との相違性であり、ILFt-1x,yは、基準画像ILFt-1のx,y座標における輝度を示し、ILFtx,yは、基準画像ILFtのx,y座標における輝度を示し、Imaxは、基準画像ILFの輝度の最大値を示す。差分演算部1403は、式7を用いて算出した基準画像ILt及び基準画像ILt-1の互いに対応する画素同士の輝度の差分DIFFtをフレーム類似性演算部1217及び係数演算部1219に出力する。フレーム類似性演算部フレーム類似性演算部1217は、画像データ比較部1215の差分演算部1403から供給されたt番目フレームの基準画像ILFtとt-1番目フレームの基準画像ILFt-1とにおける互いに対応する画素同士の輝度の差分DIFFtに基づいてt-1番目フレームとt番目フレームとの類似性SIMtを求める。フレーム類似性演算部1217は、以下の式8を用いてt-1番目フレームとt番目フレームとの類似性SIMtを求める。ここで、αは定数であり、X,Yは、入力された基準画像ILの水平幅、垂直幅をそれぞれ示す。フレーム類似性演算部1217は、算出したt-1番目フレームとt番目フレームとの類似性SIMtを係数演算部1219に出力する。係数演算部係数演算部1219は、画像データ比較部1215からの供給されたt番目フレームの基準画像ILFtとt-1番目フレームの基準画像ILFt-1とにおける互いに対応する画素同士の輝度の差分DIFFtとフレーム類似性演算部1217から供給されたt-1番目フレームとt番目フレームとの類似性SIMtとに基づいて係数σtを算出S1304し、求めた係数σtを加重値演算部1203に出力する。係数演算部1219は、以下の式9及び式10を用いて係数σtを求める。ここで、σ0、σ1は定数であり、σ0>σ1である。σ0、σ1の関係は、図15に示すとおりである。係数演算部1219は、算出した係数σtを加重値演算部1203に出力する。加重値演算部1203は、係数演算部1219から供給された係数σtと、ディスパリティメモリ1211から供給された現フレームであるt番目フレームの基準画像ILの各y座標に対応するマッチングコストDSIyに対応する直前フレームであるt-1番目フレームのディスパリティDFt-1を用いて、t番目フレームの基準画像ILの各y座標に対応するマッチングコストDSIyの要素DSIx,y,dごとの加重値Wx,y,dを算出する。加重値Wx,y,dは、以下の式11から求める。ここで、αは、実験値から求められる定数であり、dは、t番目フレームのマッチングコストDSIyの要素DSIx,y,dに対応するディスパリティの数値を示す。ディスパリティフィルタ1209が省略されている場合は、t番目フレームの各y座標のDSIyに対応する、水平方向のノイズが除去されたt-1番目フレームのディスパリティDFt-1に代わって、ディスパリティメモリ1211から供給された水平方向のノイズが除去されていないt-1番目フレームのディスパリティDt-1を式11に代入すればよい。式11を参照すると、ディスパリティの数値dが現フレームの各マッチングコストDSIに対応する直前フレームのディスパリティDFt-1x,yに近い値であるほど、即ち、直前フレームのディスパリティDFt-1x,yとディスパリティの数値dとの差分が小さいほど加重値Wx,y,dの値が小さくなることが分かる。また、ディスパリティの数値dが現フレームの各マッチングコストDSIに対応する直前フレームのディスパリティDFt-1x,yに遠い値であるほど、即ち、直前フレームのディスパリティDFt-1x,yとディスパリティの数値dとの差分が大きいほど加重値Wx,y,dの値が大きくなることが分かる。図16は、以下に示す式12において、一例として定数α=0.5とし、σ=2及びσ=10を代入した場合における加重値Wを示すグラフである。ここでは、縦軸に加重値W、横軸に直前フレームのディスパリティDFt-1x,yとディスパリティの数値dとの差分Δdを示している。図16において、σ=2を代入したときの加重値Wを曲線1601で示し、σ=10を代入したときの加重値Wを曲線1602で示した。式12において、ΔdはDFt-1x,y-dの値を示す。図16の曲線1601に示すとおり、係数σtの値が小さいほど、即ち、t番目フレームとt-1番目フレームとの類似性が高いほど加重値Wx,y,dの値が直前フレームのディスパリティDFt-1x,yとの差分0を中心としたピークの幅が小さくなることが分かる。加重値演算部1203は、式11を用いて算出した現フレームの所定のマッチングコストDSIyにおける要素DSIx,y,dごとの加重値Wx,y,dをフレーム単位でまとめてt番目フレームの加重値WtとしてDSIフィルタ1205に出力する。DSIフィルタDSIフィルタ1205では、マッチングコスト演算部1201から供給されたt番目フレームのマッチングコストDSItの所定のマッチングコストDSIyの要素DSIx,y,dと加重値演算部1203から供給された所定のマッチングコストDSIyの要素DSIx,y,dに対応する加重値Wx、y,dとを乗算して、重み付けされたマッチングコストDSIFyを算出する。DSIフィルタ1205は、算出した重み付けされたマッチングコストDSIFyをオプティマイゼーション部1207に出力する。DSIフィルタ1205における所定のマッチングコストDSIyと対応する加重値Wx、y,dとの乗算式は、第1の実施形態に係るステレオマッチング部106のDSIフィルタ305の説明において述べた式5と同一である。DSIフィルタ1205は、t番目フレームのマッチングコストDSItに含まれる所定のマッチングコストDSIx,y,dの要素DSIx,y,d、即ち、t番目フレームの基準画像ILt及び参照画像IRtの所定のy座標において対応する画素間の輝度の差分の絶対値の総和にそれぞれ対応する加重値Wx、y,dを乗算し、重み付けされた輝度の差分の絶対値の総和を求める。DSIフィルタ1205は、横軸に基準画像の水平座標x、縦軸にディスパリティdをとって、基準画像IL及び参照画像IRの対応する画素間の重み付けされた輝度の差分の絶対値の総和を表したDSIFをt番目フレームの基準画像ILの各y座標に対応するマッチングコストDSIyごとに算出する。DSIフィルタ1205は、t番目フレームの基準画像ILの各y座標に対応する重み付けされたマッチングコストDSIFyをフレーム単位でまとめ、t番目フレームの重み付けされたマッチングコストDSIFtとしてオプティマイゼーション部1207に一括して出力する。ここで、ASICやFPGAなどハードウェアに実装する際は、処理の並列度を上げるために、基準画像ILの各y座標に対応する重み付けされたマッチングコストDSIFyを順次出力してもよい。オプティマイゼーション部1207、ディスパリティフィルタ1209、ディスパリティメモリ1211の構成及び各構成における処理については、第1の実施形態に係るステレオマッチング部106におけるオプティマイゼーション部307、ディスパリティフィルタ309、ディスパリティメモリ311と同様であるため、ここでは説明を省略する。本発明の一実施形態に係るステレオ画像表示装置100のステレオマッチング部1006においては、現フレームと直前フレームとの類似性に基づく係数σを式7乃至式10を用いて算出し、係数σと現フレームの直前フレームのディスパリティとを用いて現フレームの加重値を前述の式11を用いて算出し、算出した加重値と、現フレームの基準画像と参照画像とのマッチングコスト相違度MC、即ち、基準画像IL及び参照画像IRの対応する画素間の輝度の差分の絶対値の総和とを乗算し、現フレームの基準画像ILと参照画像IRとのマッチングコストMCに重み付けし、重み付けした現フレームの基準画像と参照画像とのマッチングコストに基づいて現フレームのディスパリティを算出する。現フレームの画像と直前フレームの画像とにおいて、画像に大きな変更が無い場合は、現フレームのディスパリティが直前フレームのディスパリティに近いほど現フレームにかかる加重値が小さくなるため、現フレームのディスパリティが直前フレームのディスパリティと同一又は近い値となる。また、現フレームの画像と直前フレームの画像との全体的な類似性が高い場合、現フレームのディスパリティが直前フレームのディスパリティに近いほど現フレームにかかる加重値が小さくなるため、現フレームのディスパリティが直前フレームのディスパリティと同一又はより近い値となる。そのため、連続する直前フレームと現フレームとにおけるディスパリティの揺らぎを低減することが可能となる。本発明の一実施形態に係るステレオ画像表示装置100のステレオマッチング部1006において、ディスパリティフィルタ1209を設けて、オプティマイゼーション部1207から出力されたディスパリティから水平方向のノイズを除去したディスパリティを用いて画像データを生成することにより、所定フレームにおけるラインノイズを低減することができる。同時にノイズが除去されたディスパリティを用いて次のフレームの加重値を算出することにより、現フレームと次フレームとにおけるディスパリティの揺らぎを低減することができるとともに現フレームの水平方向のノイズを低減することができる。以上の説明では、DSIフィルタ1205において、所定フレームのマッチングコストDSIに加重値Wを1回のみ重み付けする例を説明したが、第1の実施形態に係るステレオマッチング部106の説明において述べたように、所定フレームのマッチングコストDSIに加重値Wを複数回重み付けする構成としてもよい。ステレオマッチング部1006において、同一フレームのディスパリティを算出する処理をしている間、ディスパリティメモリ1211は、オプティマイゼーション部1207又はディスパリティフィルタ1209から出力された直前に求めたディスパリティを保存し、保存したディスパリティを加重値演算部1203に出力する。このように、同一フレームのディスパリティに基づいて加重値Wを更新し、更新した加重値Wを再度同一フレームのマッチングコストDSIに重み付けすることを繰り返すことにより、加重値演算部1203において算出される加重値Wが安定し、より適切なディスパリティを算出することが可能となる。同一フレームのマッチングコストDSIに加重値Wを重み付けする回数は、適宜設定することができる。"