"2D画像に両眼立体情報を付加し、3D画像を生成する立体画像生成装置であって、処理対象画像から消失点を推定する消失点推定手段と、該消失点推定手段により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成手段と、該奥行モデル生成手段により生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成手段とを備え、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴とする立体画像生成装置。処理対象画像から所定の画像サイズの縮小画像を生成する縮小画像生成手段を備え、前記縮小画像を、前記消失点推定手段と前記奥行モデル生成手段の入力とし、該奥行モデル生成手段により生成した前記縮小画像の奥行モデルから前記処理対象画像と同一画像サイズの拡大奥行モデルを生成する拡大奥行モデル生成手段を備えることを特徴とする請求項1に記載の立体画像生成装置。前記奥行モデル生成手段により生成した処理対象画像の奥行モデルを空間方向に平滑化し、該空間方向に平滑化された前記処理対象画像の奥行モデルと、該処理対象画像よりも過去の比較対象画像の時空間方向に平滑化された奥行モデルとに基づいて、前記処理対象画像の奥行モデルを時間方向に平滑化し、前記処理対象画像の時空間方向に平滑化された奥行モデルを生成する時空間方向平滑化手段を備えることを特徴とする請求項1に記載の立体画像生成装置。前記想定視聴条件情報は、前記3D画像を表示するディスプレイの画素ピッチ、該ディスプレイの画像サイズ、視聴者から前記ディスプレイまでの距離、前記3D画像の奥行量を表す視差範囲、左右の仮想視点間の距離である基線長を含むことを特徴とする請求項1~3のいずれか1項に記載の立体画像生成装置。前記処理対象画像内の各画素の顕著度は、注目画素とその周辺画素との色差が大きい箇所、あるいは、注目画素と画像全体との色差が大きい箇所、あるいは、注目画素を含む局所領域とその周辺領域との色差が大きい箇所ほど高く算出されることを特徴とする請求項1~4のいずれか1項に記載の立体画像生成装置。前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度が高い箇所が手前側になるように奥行モデルを生成することを特徴とする請求項5に記載の立体画像生成装置。前記消失点推定手段は、前記処理対象画像内の直線情報から該処理対象画像の消失点を推定するフレーム内消失点推定手段と、前記処理対象画像と該処理対象画像よりも過去の比較対象画像と該比較対象画像における消失点の位置とに基づいて、前記処理対象画像の消失点を推定するフレーム間消失点推定手段とを備えることを特徴とする請求項1~6のいずれか1項に記載の立体画像生成装置。前記処理対象画像と前記比較対象画像との間でシーンチェンジがあったか否かを検出するシーンチェンジ検出手段を備え、該シーンチェンジ検出手段によりシーンチェンジが検出された場合、前記フレーム内消失点推定手段が選択され、前記シーンチェンジ検出手段によりシーンチェンジが検出されない場合、前記フレーム間消失点推定手段が選択されることを特徴とする請求項7に記載の立体画像生成装置。前記比較対象画像の消失点の位置を含む消失点情報を記憶する記憶手段を備え、該記憶手段に前記比較対象画像の消失点情報が記憶されている場合、前記フレーム間消失点推定手段が選択され、前記記憶手段に前記比較対象画像の消失点情報が記憶されていない場合、前記フレーム内消失点推定手段が選択されることを特徴とする請求項8に記載の立体画像生成装置。前記比較対象画像は、前記処理対象画像の1つ前の画像であることを特徴とする請求項7~9のいずれか1項に記載の立体画像生成装置。2D画像に両眼立体情報を付加し、3D画像を生成する立体画像生成装置による立体画像生成方法であって、前記立体画像生成装置が、処理対象画像から消失点を推定する消失点推定ステップと、該消失点推定ステップにて消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成ステップと、該奥行モデル生成ステップにて生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成ステップとを備え、前記奥行モデル生成ステップは、前記消失点推定ステップにて消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定ステップにて消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴とする立体画像生成方法。コンピュータに、請求項11に記載の立体画像生成方法を実行させるためのプログラム。請求項12に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。しかしながら、特許文献1に開示されている立体画像生成装置では、想定した基本奥行モデルに合致しない画像の奥行モデルを表現することが困難である。例えば、画面外に消失点がある場合、3種類の基本奥行モデルの合成比を変更しても表現することができないという問題がある。このため、自然な奥行感のある立体映像を生成することができなかった。本発明は、上述のような問題点を解決するためになされたものであって、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成し、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度に基づいて画像の奥行モデルを生成することにより、より自然な奥行感のある立体画像を生成可能とする立体画像生成装置、立体画像生成方法、プログラム、及び記録媒体を提供することを目的とする。上記課題を解決するために、本発明の第1の技術手段は、2D画像に両眼立体情報を付加し、3D画像を生成する立体画像生成装置であって、処理対象画像から消失点を推定する消失点推定手段と、該消失点推定手段により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成手段と、該奥行モデル生成手段により生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成手段とを備え、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴としたものである。第2の技術手段は、第1の技術手段において、処理対象画像から所定の画像サイズの縮小画像を生成する縮小画像生成手段を備え、前記縮小画像を、前記消失点推定手段と前記奥行モデル生成手段の入力とし、該奥行モデル生成手段により生成した前記縮小画像の奥行モデルから前記処理対象画像と同一画像サイズの拡大奥行モデルを生成する拡大奥行モデル生成手段を備えることを特徴としたものである。第3の技術手段は、第1の技術手段において、前記奥行モデル生成手段により生成した処理対象画像の奥行モデルを空間方向に平滑化し、該空間方向に平滑化された前記処理対象画像の奥行モデルと、該処理対象画像よりも過去の比較対象画像の時空間方向に平滑化された奥行モデルとに基づいて、前記処理対象画像の奥行モデルを時間方向に平滑化し、前記処理対象画像の時空間方向に平滑化された奥行モデルを生成する時空間方向平滑化手段を備えることを特徴としたものである。第4の技術手段は、第1~第3のいずれか1の技術手段において、前記想定視聴条件情報は、前記3D画像を表示するディスプレイの画素ピッチ、該ディスプレイの画像サイズ、視聴者から前記ディスプレイまでの距離、前記3D画像の奥行量を表す視差範囲、左右の仮想視点間の距離である基線長を含むことを特徴としたものである。第5の技術手段は、第1~第4のいずれか1の技術手段において、前記処理対象画像内の各画素の顕著度は、注目画素とその周辺画素との色差が大きい箇所、あるいは、注目画素と画像全体との色差が大きい箇所、あるいは、注目画素を含む局所領域とその周辺領域との色差が大きい箇所ほど高く算出されることを特徴としたものである。第6の技術手段は、第5の技術手段において、前記奥行モデル生成手段は、前記消失点推定手段により消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度が高い箇所が手前側になるように奥行モデルを生成することを特徴としたものである。第7の技術手段は、第1~第6のいずれか1の技術手段において、前記消失点推定手段は、前記処理対象画像内の直線情報から該処理対象画像の消失点を推定するフレーム内消失点推定手段と、前記処理対象画像と該処理対象画像よりも過去の比較対象画像と該比較対象画像における消失点の位置とに基づいて、前記処理対象画像の消失点を推定するフレーム間消失点推定手段とを備えたことを特徴としたものである。第8の技術手段は、第7の技術手段において、前記処理対象画像と前記比較対象画像との間でシーンチェンジがあったか否かを検出するシーンチェンジ検出手段を備え、該シーンチェンジ検出手段によりシーンチェンジが検出された場合、前記フレーム内消失点推定手段が選択され、前記シーンチェンジ検出手段によりシーンチェンジが検出されない場合、前記フレーム間消失点推定手段が選択されることを特徴としたものである。第9の技術手段は、第8の技術手段において、前記比較対象画像の消失点の位置を含む消失点情報を記憶する記憶手段を備え、該記憶手段に前記比較対象画像の消失点情報が記憶されている場合、前記フレーム間消失点推定手段が選択され、前記記憶手段に前記比較対象画像の消失点情報が記憶されていない場合、前記フレーム内消失点推定手段が選択されることを特徴としたものである。第10の技術手段は、第7~第9のいずれか1の技術手段において、前記比較対象画像は、前記処理対象画像の1つ前の画像であることを特徴としたものである。第11の技術手段は、2D画像に両眼立体情報を付加し、3D画像を生成する立体画像生成装置による立体画像生成方法であって、前記立体画像生成装置が、処理対象画像から消失点を推定する消失点推定ステップと、該消失点推定ステップにて消失点が推定できたか否かに基づいて異なる奥行モデルを生成する奥行モデル生成ステップと、該奥行モデル生成ステップにて生成した奥行モデルと前記処理対象画像と想定視聴条件情報とに基づいて、右眼提示画像と左眼提示画像を生成する視点画像生成ステップとを備え、前記奥行モデル生成ステップは、前記消失点推定ステップにて消失点が推定できた場合、前記消失点に基づいて奥行モデルを生成し、また、前記消失点推定ステップにて消失点が推定できなかった場合、前記処理対象画像内の各画素の顕著度に基づいて奥行モデルを生成することを特徴としたものである。第12の技術手段は、コンピュータに、第11の技術手段における立体画像生成方法を実行させるためのプログラムである。第13の技術手段は、第12の技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。本発明によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成することにより、幾何的な奥行手掛かりによる奥行感を強調した立体画像を生成することができる。また、本発明によれば、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを生成することにより、人の注目する部分の奥行感を強調した立体画像を生成することができる。以下、図面を参照しながら本発明の実施形態について詳しく説明する。なお、図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。図1は、本発明に係る立体画像生成装置の概略構成例を示すブロック図である。図中、1は立体画像生成装置を示す。立体画像生成装置1は、シーンチェンジ検出部10、消失点推定部20、奥行モデル生成部30、及び視点画像生成部40を備えている。また、図2は、本発明に係る立体画像生成装置1のフレーム単位の動作例を説明するためのフロー図である。図2において、まず、図1の立体画像生成装置1は、入力された時刻tの画像以降、処理対象画像Ftともいうをシーンチェンジ検出部10、消失点推定部20、奥行モデル生成部30、及び視点画像生成部40へ出力する図2のステップS11。シーンチェンジ検出部10について図1のシーンチェンジ検出部10は、本発明のシーンチェンジ検出手段に相当し、入力された処理対象画像Ftと、処理対象画像Ftより一つ前に入力された画像以降、比較対象画像Ft-1ともいうから所定の画像特徴量を算出し、算出した画像特徴量の類似度を比較して、時系列に連続する画像の区分点シーンチェンジを検出し、処理対象画像Ftにおいてシーンチェンジの有無を表すシーンチェンジ情報Stを消失点推定部20、および奥行モデル生成部30へ出力する図2のステップS12。ここで、所定の画像特徴量の一例として、画像の輝度値の出現頻度を表す輝度ヒストグラムに基づくシーンチェンジ検出について図3~図5に基づき説明する。図3に示すように、輝度ヒストグラムに基づくシーンチェンジ検出は、処理対象画像Ftと比較対象画像Ft-1からそれぞれの輝度ヒストグラムHLtとHLt-1を算出し、算出した輝度ヒストグラムの類似度dHLtHLt-1と所定の閾値とを比較して、処理対象画像Ftにおいてシーンチェンジの有無を判定するというものである。図4に示すように、シーンチェンジ検出部10は、輝度ヒストグラム生成部101、バッファ102、ヒストグラム類似度算出部103、およびシーンチェンジ判定部104で構成されている。図5は、シーンチェンジ検出部10の動作例を説明するためのフロー図である。図5において、図4の輝度ヒストグラム生成部101は、入力された処理対象画像Ftから輝度情報を取得し、取得した輝度情報から輝度値の出現頻度を表す輝度ヒストグラムHLtを算出し、その算出結果輝度ヒストグラムHLtをバッファ102、ヒストグラム類似度算出部103へ出力する図5のステップS21。図4のバッファ102は、処理対象画像Ftの1つ後の画像Ft1におけるシーンチェンジ検出のために、処理対象画像Ftの輝度ヒストグラムHLtを記憶する図5のステップS22。図4のヒストグラム類似度算出部103は、入力された処理対象画像Ftの輝度ヒストグラムHLtと、バッファ102より読みだした比較対象画像Ft-1の輝度ヒストグラムHLt-1から類似度dHLtHLt-1を式1により算出し、その算出結果をシーンチェンジ判定部104へ出力する図5のステップS23。ここで、式1において、Wは画像の1ライン毎のピクセル数を表し、Hは画像のライン数を表し、vは輝度値を表し、Vは輝度値の階調数を表し、HLv|tは時刻tにおける画像Ft上の輝度値vの出現頻度を表す。また、式1において、類似度dHLtHLt-1のとる値の範囲は0~2となり、値が0に近いほどヒストグラムの形状が似ており、値が2に近いほどヒストグラムの形状が異なることを表す。図4のシーンチェンジ判定部104は、入力されたヒストグラムの類似度dHLtHLt-1と、所定の閾値dthとで閾値判定を行い、式2により処理対象画像Ftにおいてシーンチェンジの有無を表すシーンチェンジ情報Stを設定し、外部へ出力する図5のステップS24。つまり、シーンチェンジ判定部104は、類似度dHLtHLt-1が閾値dthより小さい場合、シーンチェンジが無いと判定し、シーンチェンジ情報Stに0を設定する。それ以外の場合は、シーンチェンジが有ると判定し、シーンチェンジ情報Stに1を設定する。以上、シーンチェンジ検出部10によれば、処理対象画像Ftと、比較対象画像Ft-1から所定の画像特徴量を算出し、算出した画像特徴量の類似度を比較することで、時系列に連続する画像の区分点シーンチェンジを検出することができる。消失点推定部20について図1に戻って、消失点推定部20は、本発明の消失点推定手段に相当し、入力された処理対象画像Ftのシーンチェンジ情報Stと、消失点推定部20の内部で記憶している一つ前の消失点情報VPt-1に基づいて消失点の推定手段画像内の直線から消失点位置を推定するフレーム内消失点推定手段、画像間の特徴点の対応関係と前フレームの消失点位置から現フレームにおける消失点位置を推定するフレーム間消失点推定手段を選択し、選択した消失点推定手段により入力された処理対象画像Ftから消失点の位置を推定して、その結果を記述した消失点情報VPtを奥行モデル生成部30へ出力する図2のステップS13。ここで消失点とは、3次元空間において平行な2直線を平面に射影投影すると、それらの線が必ず1点に収束する点のことである。続いて、本実施形態における消失点推定部20について詳細に説明する。図6に示すように、消失点推定部20は、切替部201,切替部202、フレーム内消失点推定部21、フレーム間消失点推定部22、バッファ203、およびバッファ204で構成されている。また、図6のフレーム内消失点推定部21は、エッジ検出部211、直線検出部212、および消失点同定部213で構成されている。このフレーム内消失点推定部21は、本発明のフレーム内消失点推定手段に相当し、処理対象画像Ft内の直線情報から処理対象画像Ftの消失点を推定する。また、図6のフレーム間消失点推定部22は、特徴点検出部221、対応点算出部222、変換行列算出部223、および消失点位置算出部224で構成されている。このフレーム間消失点推定部22は、本発明のフレーム間消失点推定手段に相当し、処理対象画像Ftと処理対象画像Ftよりも過去の比較対象画像Ft-1と比較対象画像Ft-1における消失点の位置とに基づいて、処理対象画像Ftの消失点を推定する。図7は、消失点推定部20の動作例を説明するためのフロー図である。図7において、図6の消失点推定部20は、入力されたシーンチェンジ情報St、およびバッファ204より読み出した一つ前の消失点情報VPt-1に基づいて消失点推定手段を選択する図7のステップS31。具体的には、シーンチェンジが有る場合St=1、もしくは、消失点情報VPt-1が、前フレームに消失点が無いことを示す場合、つまり、消失点情報VPt-1がvpnum0の場合図7のステップS31においてYes、図6の切替部201は画像の入力先を、図6の切替部202は消失点情報の出力元を、フレーム内消失点推定部21へそれぞれ切り替え図7のステップS32、その後、フレーム内消失点推定部21は、画像内の直線から消失点位置を推定し、その結果消失点情報VPtを出力する図7のステップS33。フレーム内消失点推定部21についてここで、フレーム内消失点推定部21について詳細に説明する。図8は、フレーム内消失点推定部21の動作例を説明するためのフロー図である。図9は、図8のフローに対応した画像例を示す図である。図8のステップS331において、図6のエッジ検出部211は、入力された処理対象画像Ft図9Aを参照から直線検出に用いるエッジ点情報Edgetを算出する。具体的には、まず、色成分例えば、RGBRed赤、Green緑、Blue青毎に微分オペレータを適用し、x方向、y方向における各色成分iの勾配ベクトルGix,y|t=ΔGixtΔGiyti=1,2,3を算出する。なお、i=1、2、3は、それぞれ、R成分、G成分、B成分である。続いて、エッジ検出部211は、式3の演算を、座標x,yの画素毎に行うことで、エッジ強度Ex,y|tを算出する。続いて、エッジ検出部211は、式4の演算を、座標x,yの画素毎に行うことで、エッジ強度Ex,y|tから局所的にエッジ強度が極大値となる座標をエッジ点として抽出し、その結果を記述したエッジ点情報Edgetを直線検出部212へ出力する。つまり、エッジ検出部211は、座標x,yを中心とした窓サイズW1×W2の範囲内で、エッジ強度Ex,y|tが極大値となる場合LocalMaxima、エッジ点Edgex,y|tに1、それ以外はエッジ点Edgex,y|tに0を設定する。ここで、W1はx方向の窓のサイズ、W2はy方向の窓のサイズを表す。図8のステップS332に進んで、図6の直線検出部212は、入力されたエッジ点情報Edgetにハフ変換を適用して直線情報Lt図9Bを参照を取得する。ここで、ハフ変換による直線検出に関して図10に基づいて説明する。なお、図10Aにおいて、ある直線L上にある特徴点A,B,Cを、エッジ検出部211において得られたEdgex,yt=1となるエッジ点とする。まず、ハフ変換では、図10Aに示す画像空間上の直線Lを極座標表現ρ、θを用いて表現する。ρは画像空間の原点から直線Lへ引いた垂線の距離を表し、θはその垂線が画像空間のx軸となす角度を表す。なお、ρの範囲はρ≧0であり、θの範囲は0≦θ0ステップS31においてNo、図6の切替部201は画像の入力先を、図6の切替部202は消失点情報の出力元を、フレーム間消失点推定部22へそれぞれ切り替えステップS34、その後、フレーム間消失点推定部22は、入力された処理対象画像Ftとバッファ203で記憶した1つ前の画像Ft-1から画像間の特徴点の対応関係を求め、その対応関係と、一つ前の消失点情報VPt-1より処理対象画像Ftにおける消失点位置を推定し、その結果消失点情報VPtを出力するステップS35。すなわち、消失点推定部20は、比較対象画像Ft-1の消失点の位置を含む消失点情報VPt-1を記憶する記憶手段図6のバッファ204を備え、前フレームに消失点が有るか否かは、この記憶手段に前フレームの消失点情報VPt-1が記憶されており、この消失点情報VPt-1がvpnum0であるか否かで判定される。フレーム間消失点推定部22についてここで、フレーム間消失点推定部22の詳細について説明する。図11は、フレーム間消失点推定部22の動作例を説明するためのフロー図である。また、図12は、図11のフローに対応した画像例を示す図である。図11のステップS351において、図6の特徴点検出部221は、図12Aに示すように、入力された処理対象画像Ftと一つ前の画像Ft-1との画像間の対応関係を求めるために用いるNK個の特徴点Kss=1,,NKを検出し、その特徴点Ksの座標xKst,yKstを記述した特徴点情報Ktを図6の対応点算出部222へ出力するステップS351。なお、特徴点とは、画素間の色や輝度の変化等に基づいて被写体のエッジの一部や頂点として抽出される点である。例えば、画素x,yを中心とした局所領域Sの範囲内のx方向、y方向の輝度の勾配ベクトルGix,yを用いて表される二次モーメント行列A式10の第一固有値λ1、及び第二固有値λ2を求め、式11に示す条件を満たす画素x,yを特徴点として検出する。つまり、二次モーメント行列Aの第一固有値λ1、及び第二固有値λ2のうち小さい方の固有値が所定の閾値λthより大きいまたは以上場合に特徴点とするものである。なお、式10において係数wu,vは、画素x,yからx方向にu,y方向にvだけ離れた画素xu,yvに関する重み係数を表し、例えば、式12の条件を満たすように定めた、局所領域Sの範囲内の2次ガウス分布の値を正規化した値を用いる。図11のステップS352に進んで、図6の対応点算出部222は、図12Bに示すように、入力された処理対象画像Ftと、バッファ203より読み出した一つ前の画像Ft-1と、ステップS351で取得した処理対象画像Ftの特徴点情報Ktとに基づいて、処理対象画像Ftの各特徴点Kss=1,,NKが一つ前の画像Ft-1上にある位置xKst1,yKst1をオプティカルフローにより算出し、その特徴点Ksの時刻t,時刻t-1における位置を記述した対応点情報Qt,t-1を図6の変換行列算出部223へ出力するステップS352。なお、処理対象画像Ftの各特徴点Ksが一つ前の画像Ft-1上にある位置xKst1,yKst1は、例えば、式13に示す勾配法によるオプティカルフローの拘束条件をxKst1,yKst1について解くことで取得できる例えば、非特許文献2を参照。ここで、式13において、Gix,y|ti=x,y,tは画像Ftの輝度に関するx方向、y方向、t方向時間方向の勾配ベクトルを表し、Sは特徴点Ksを中心とする所定サイズの局所領域を表す。図11のステップS353に進んで、図6の変換行列算出部223は、ステップS352で取得した対応点情報Qt,t-1から、特徴点Kss=1,,NKを一つ前の画像Ft-1上の位置から、処理対象画像Ft上の位置へ射影する変換行列Hを算出し、その変換行列Hを記述した情報を図6の消失点位置算出部224へ出力するステップS353。なお、2枚の画像間Ft,Ft-1の対応関係は、変換行列Hを用いて式14で表すことができる例えば、非特許文献3を参照。この式14において、記号~は同値関係を表し、定数倍の違いを許して等しいことを意味する。また、変換行列Hは、一般的な変換を表現することができるため、射影変換と呼ばれる。ここで、画像間の対応関係を平行移動として表現できると仮定すると、式14は、式15として表現される。式15中の係数tx、tyはそれぞれx方向、y方向への移動量を表す。また、画像間の対応関係を平行移動、回転、拡大縮小を含めたアフィン変換として表現できると仮定すると、式14は、式16として表現される。式16中の係数a,b,c,dは拡大縮小、及び回転を表し、係数tx、tyは式15と同様である。なお、式14、式15、式16における変換行列Hの各係数hiji,j=1,2,3は、各変換モデルの拘束条件と対応点情報Qt,t-1から導かれる連立方程式を最小二乗法により解くことで算出する。なお、十分な対応点数が無く、変換行列Hを算出できない場合は、所定の変換行列H0を用いる。図11のステップS354に進んで、図6の消失点位置算出部224は、時刻tにおける消失点の位置は、一つ前の画像Ft-1上の消失点位置を、図6の変換行列算出部223で算出した変換行列Hを用いて、処理対象画像Ft上へ射影した位置にあると仮定して、時刻tの消失点位置を算出しステップ354、その結果に基づいて消失点情報VPtを設定するステップS355。画像Ft-1上の消失点を変換行列Hにより画像Ft上に射影したときの画像例を図12Cに示す。再び図7のステップS36に戻って、図6のバッファ203は、1つ前の画像Ft-1を削除し、入力された処理対象画像Ftを記憶する。また、図6のバッファ204は、1つ前の消失点情報VPt-1を削除し、フレーム内消失点推定部21、または、フレーム間消失点推定部22より入力された消失点情報VPtを記憶して、処理対象画像Ftにおける消失点推定の処理を終了するステップS36。以上、本実施形態の消失点推定部20によれば、図13に示すように、同一シーン空間方向、時間方向に相関のある時系列画像群において、先頭フレームFt0から同一シーン内で最初に消失点が検出されるフレームFt0k-1までは、フレーム内消失点推定手段フレーム内消失点推定部21により消失点を推定し、同一シーン内で最初に消失点が検出されるフレームFt0k-1の次フレームFt0kから同一シーン内の最終フレームFt0Nまでは、フレーム間消失点推定手段フレーム間消失点推定部22により消失点を推定するため、フレーム単位にフレーム内消失点推定手段により消失点を推定する場合と比べて、カメラワークにロバストでかつ、消失点の揺れを抑制し安定した消失点の推定が可能となる。奥行モデル生成部30について再び図2に戻って、図1の奥行モデル生成部30は、本発明の奥行モデル生成手段に相当し、消失点推定部20により消失点が推定できたか否かに基づいて異なる奥行モデルを生成する。つまり、奥行モデル生成部30は、消失点情報VPtに基づいて、奥行モデルの作成手段消失点位置から奥行モデルを作成する第1の奥行モデル作成手段、人の視覚特性に基づいた画像内の誘目性を表す顕著度から奥行モデルを作成する第2の奥行モデル作成手段を選択し、選択した奥行モデル作成手段により、処理対象画像Ftにおける各画素の奥行値を設定し、各画素の奥行値を表す奥行モデルDtを視点画像生成部40へ出力する図2のステップS14。続いて、本実施形態における奥行モデル生成部30について詳細に説明する。図14に示すように、奥行モデル生成部30は、切替部301、切替部302、領域分割部303、距離算出部304、顕著度算出部305、および奥行値設定部306で構成されている。図15は、奥行モデル生成部30の動作例を説明するためのフロー図である。図15において、図14の奥行モデル生成部30は、入力された消失点情報VPtに基づいて奥行モデル作成手段を選択するステップS41。つまり、現フレームに消失点が有る場合消失点情報VPtのvpnum0ステップS41においてYes、図14の切替部301は画像の入力先を領域分割部303へ、図14の切替部302は奥行値設定部306へ入力するデータの出力元を距離算出部304へそれぞれ切り替え、消失点に基づく第1の奥行モデル作成手段が選択されるステップS42。ステップS43に進んで、図14の距離算出部304は、消失点情報VPtの消失点の座標と各画素の座標との距離Distx,yを算出し、その結果を記述した距離情報Disttを奥行値設定部306へ出力するステップS43。具体的には、消失点の座標と各画素の座標との距離Distx,yは、式17、式18、式19のいずれかに基づいて算出される。なお、式17、式18、式19中のΔx、Δyはそれぞれ各画素と消失点とのx方向の距離、y方向の距離を表す。ここで、画面内に消失点VPがある場合の、それぞれ式17、式18、式19に基づく距離情報Disttの一例を図16に示す。図16Aは、画面内に消失点VPがある一例を表す。図16BのBD1aは式17、図16CのBD1bは式18、図16DのBD1cは式19に基づく距離情報Disttを表している。また、画面外に消失点VPがある場合の、それぞれ式17、式18、式19に基づく距離情報Disttの一例を図17に示す。図17Aは、画面外に消失点VPがある一例を表す。図17BのBD2aは式17、図17CのBD2bは式18、図17DのBD2cは式19に基づく距離情報Disttを表している。なお、図16及び図17において。白い部分が最も近く、黒くなるにつれて遠くなるものとする。ステップS44に進んで、図14の領域分割部303は、処理対象画像Ftを領域分割クラスタリングにより、特徴量が類似する特徴量の値が予め定めた範囲内となる複数の画素の集合領域;クラスに分割する。例えば、領域分割部303は、特徴量空間でのクラスタリングにより画像を複数の領域へ分割する。特徴量空間によるクラスタリングとは、画像空間の各画素を特徴量空間例えば、色、エッジ、動きベクトルに写像し、その特徴量空間においてKmeans法、MeanShift法、又はK最近傍探索法近似K最近傍探索法などの手法により行うクラスタリングである。特徴量空間でのクラスタリング処理の終了後、各領域の代表値となる画素値例えば平均値により、そのクラス内の画素について、元の画像空間における画素値を置き換え、各領域に対して領域を識別するラベルを各領域内の全画素に付与し、その結果を記述した領域情報Rtを奥行値設定部306へ出力するステップS44。ステップS45に進んで、図14の奥行値設定部306は、入力された距離情報Disttと領域情報Rtに基づいて、各画素の奥行値を設定する。具体的には、式20に示すように、領域情報Rtが示す各領域内にある画素の距離Distx,yの平均値をスケーリングし、基準となる奥行値Dbasex,yだけシフトした値を各画素の奥行値Dx,yとして設定するステップS45。なお、式20において、Dmaxは奥行値の上限値、Dminは奥行値の下限値、Distmaxは距離情報Disttの最大値、Distminは距離情報Disttの最小値、Dbasex,yは各画素の奥行値の基準値最遠景とする奥行値を調整するための所定の定数である。ここで、消失点に基づいた奥行モデルの一例を図18に示す。図18において、画像Aは処理対象画像Ftの一例を表し、画像Bは領域分割部303において求めた処理対象画像Ftの領域分割結果領域分割情報Rtの一例を表し、画像Cは処理対象画像Ftの消失点VPの一例を表し、画像Dは距離算出部304において求めた処理対象画像Ftの距離情報Disttの一例を表し、画像Eは奥行値設定部306において、画像Bの領域分割情報Rtと画像Dの距離情報Disttに基づいて求めた奥行モデルの一例である。図18の画像Eにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。再び図15のステップS41に戻って、現フレームに消失点が無い場合消失点情報VPtのvpnum0ステップS41においてNo、図14の切替部301は画像の入力先を顕著度算出部305へ、図14の切替部302は奥行値設定部306へ入力するデータの出力元を顕著度算出部305へそれぞれ切り替え、顕著度に基づく奥行モデル作成手段が選択されるステップS46。図14の顕著度算出部305は、入力された処理対象画像Ftから、人の視覚特性に基づいた画像内の誘目性を表す顕著度Mtを算出するステップS47。人が注目しやすい部分の例としては、注目画素とその周辺画素との色差が大きい箇所局所的な色差、注目する画素と画像全体との色差が大きい箇所、あるいは注目画素を含む局所領域とその周辺領域との色差が大きい箇所大局的な色差がある。色差とは、色の知覚的な相違を定量的に表したものであり、色差を評価する色空間として、均等色空間uniformcolorspaceであるCIELAB色空間CIE1976Lab空間ともいうを用いる。人の視覚特性に基づき、式21により各画素の顕著度Mx,yを算出する。ここで、式21において、ΔElocalは局所的な色差を表し、ΔEglobalは大局的な色差を表し、係数α、βは所定の重み係数を表す。つまり、式21は顕著度を局所的な色差と大局的な色差との線形和によって表わしている。なお、局所的な色差ΔElocalは式22、大局的な色差ΔEglobalは式23によって算出される。また、式22、式23において、Lは明度指数、aは赤-緑の知覚色度、bは黄-青の知覚色度を表す。なお、色差を評価する色空間は、CIELUV色空間CIE1976Luv色空間ともいうを用いてもよい。なお、式22中の係数wu,vは、式12と同一であるため、説明を省略する。ステップS48に進んで、図14の奥行値設定部306は、入力された顕著度Mtに基づいて、式24の演算により各画素の奥行値を設定し、その結果を記述した奥行モデルDtを出力するステップS48。式24において、Dmaxは奥行値の上限値、Dminは奥行値の下限値、Mmaxは顕著度Mtの最大値、Mminは顕著度Mtの最小値、Dbasex,yは各画素の奥行値の基準値最遠景とする奥行値を調整するための所定の定数である。つまり、式24により各画素の顕著度Mx,yをスケーリングし、基準となる奥行値Dbasex,yだけシフトした値を各画素の奥行値Dx,yとして設定する。ここで、顕著度に基づいた奥行モデルの一例を図19に示す。図19において、画像Aは処理対象画像Ftの一例を表し、画像Bは顕著度算出部305において求めた処理対象画像Ftの顕著度Mtの一例を表し、画像Cは基準となる奥行モデルDbaseの一例を表し、画像Dは奥行値設定部306において、画像Cの奥行モデルDbaseに画像Bの顕著度Mtを合成して作成した奥行モデルの一例である。図19の画像Bにおいて、明るい部分白が人の注目しやすい部分誘目性が高いを表し、暗い部分黒が人の注目しにくい部分誘目性が低いを表す。また、図19の画像Dにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。図19の画像Dに示すように、顕著度に基づく奥行モデル作成手段は、基準となる奥行の面上Dbaseに、スケーリングした顕著度を重畳し、注目する領域とその周辺領域との相対的な奥行の違いを強調することによって、疑似的な奥行感を知覚させるものである。顕著度に基づいて奥行モデルを生成する場合には、基準となる奥行の面上に、顕著度の高い誘目性が高い部分の奥行が手前側に、顕著度の低い誘目性が低い部分の奥行が奥側となるように設定する。これにより、注目する領域とその周辺領域との相対的な奥行の違いが強調され、擬似的な奥行感を知覚させることができる。換言すれば、注目領域の顕著度が周辺領域の顕著度よりも高い場合には、周辺領域に対して相対的に奥行が手前になるように設定される。また、注目領域の顕著度が周辺領域の顕著度と同等の場合には、相対的に同じ奥行になるように設定される。また、注目領域の顕著度が周辺領域の顕著度よりも低い場合には、周辺領域に対して相対的に奥行が奥になるように設定される。以上のように、奥行モデル生成部30によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを作成することで、幾何的な奥行手掛かりのによる奥行感を強調する奥行モデルを作成することができる。また、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを作成することで、人の注目する部分の奥行感を強調する奥行モデルを作成することができる。視点画像生成部40について再び図2に戻って、図1の視点画像生成部40は、本発明の視点画像生成手段に相当し、予め設定された想定視聴条件情報に基づいて、奥行モデルDtが表す各画素の奥行値から、基準画像Ft入力画像;処理対象画像上の各画素と視点画像Fiti=l,r;Fr:右眼提示画像、Fl:左眼提示画像上の対応する画素までのずれ量を表す視差ベクトルシフト量を算出し、基準画像Ft上の画素と、対応する算出した視差ベクトルに基づいて、各視点画像Fiti=l,rを生成するステップS15。ここで、想定視聴条件情報とは、視聴者に提示する立体画像左眼提示画像、右眼提示画像を生成するための情報であり、立体画像を表示するディスプレイの画素ピッチ画素間距離μ、ディスプレイの画像サイズ、視聴者と立体画像を表示するディスプレイまでの距離想定視距離f、立体画像の奥行量を表す視差範囲視差ベクトルの範囲、基線長t視点画像Frtの仮想右視点Crと視点画像Fltの仮想左視点Cl間の距離を表す。この想定視聴条件情報に基づいた視点画像を生成するためのカメラ視点配置の一例の俯瞰図を図20に示す。図20の例では、平行法による立体画像の撮影を想定し、仮想右視点Cr上のカメラと仮想左視点Cl上のカメラが基準視点Cc上のカメラとx軸方向に平行に配置され、それぞれのカメラは3次元空間上にある注目点Pを観測しているとする。また基準視点Ccの画像面Ic上に投影された注目点Pの位置をXc、仮想左視点Clの画像面Il上に投影された注目点Pの位置をXl、仮想右視点Crの画像面Ir上に投影された注目点Pの位置をXrとする。図20において、各視点と対応する画像面までの距離焦点距離、あるいは視距離f、視点から注目点Pまでのz方向の距離Z、基準視点Ccと各仮想視点Cr,Clまでのx方向の距離t/2を用いて各画像面上に投影された注目点Pの位置XlとXc,XrとXcの幾何的な関係は、それぞれ式25、26によって表される。以上から、基準画像Ft上の画素と視点画像Fiti=l,r上の対応する画素までのずれ量を表す視差ベクトルシフト量dii=l,rは、式25、26を変形した式27、28によって導出される。なお、式27、28中の変数μは、画素ピッチを表す。つまり、基準画像Ftと相対奥行値である奥行モデルDtと奥行モデルDtを絶対奥行値Zへ変換する関数Z=zDtが与えられれば、式27、式28に基づいて、各視点画像Fiti=l,rを生成することができる。以下では、上記考え方に基づき視点画像生成部40について説明する。図21は、視点画像生成部40の構成例を示すブロック図である。また、図22は、視点画像生成部40の動作例を説明するためのフロー図である。また、図23は、視点画像生成部40における視点画像の生成例を説明するための図である。まず、図21に示すように、視点画像生成部40は、視差ベクトル算出部401、テクスチャシフト部402、ギャップフィリング部オクルージョン補償部ともいう403、及びフローティングウィンドウ重畳部404で構成されている。図22において、図21の視差ベクトル算出部401は、入力された想定視聴条件情報と奥行モデルDtと奥行モデルDtを絶対奥行値へ変換する関数Z=zDtとに基づいて、式27、式28から基準画像Ft上の各画素と各視点画像Fit上の対応する画素までの視差ベクトルdii=l,rを算出し、その結果をテクスチャシフト部402へ出力する図22のステップS51。なお、視差ベクトルの算出方法は、式27、式28に基づいて各画素の視差ベクトルを算出するほかに、図23BのLUTに示すように、予め想定視聴条件情報に基づいて設定した奥行値相対奥行値から視差ベクトルを導くルックアップテーブルを用いて算出してもよい。ここで、図23B中の視差ベクトルシフト量の開散方向、交差方向について図24を用いて説明する。図24において、ある注目点をPとし、右眼から見てディスプレイ面に投影される注目点PをPr、左眼から見てディスプレイ面に投影される注目点PをPlとする。このとき、開散方向の視差ベクトルは、図24のAに示すように、ある注目点Pは、ディスプレイ面の後方に位置し、ディスプレイ面上のPrからPlへの視差ベクトル、あるいはPlからPrへの視差ベクトルの値が正となる場合である。同様に、交差方向の視差ベクトルは、図24のBに示すように、ある注目点Pはディスプレイ面の前方に位置し、ディスプレイ面上のPrからPlへの視差ベクトル、あるいはPlからPrへの視差ベクトルの値が負となる場合である。また、視差ベクトルの値がゼロの場合は、注目点Pはディスプレイ面上に位置する。続いて、図21のテクスチャシフト部402は、基準画像Ftの各画素x,yを、対応する視差ベクトルdii=l,rに基づいて、各視点画像Fiti=l,rと対応する画素u,vの画素値として設定し、生成した視点画像をギャップフィリング部403へ出力する図22のステップS52。なお、画素値を設定するときは、視差ベクトルの値が開散方向側例えば、図23BのLUT上のd2の値を有する画素からテクスチャシフトを行う。例えば、図23Aにおいて、基準画像iF、奥行モデルiDより仮想左視点の視点画像Flt左眼提示画像を生成する場合を考える。なお、奥行モデルiDは、白部分の奥行値がD1であり、黒部分の奥行値がD2で表されるとする。このとき、図23BのLUTに基づいてテクスチャシフトを行うと、まず、図23Aの奥行値D2を有するレイヤL2の各画素を開散方向へd2だけシフトする。その後、図23Aの奥行値D1を有するレイヤL1の各画素を交差方向へd1だけシフトすると、画面の左端/右端に位置しない欠損領域Gs1と画面の左端/右端に位置する欠損領域Gl1を有する視点画像oF1が得られる。ここで、欠損領域オクルージョン領域とは、図23Aの視点画像oF1において、それぞれ基準画像上に対応する画素がないため、画素値が設定されていない領域を表す。続いて、図21のギャップフィリング部403は、入力された視点画像Fiti=l,rにおいて、画面端に位置しない欠損領域例えば、図23Aの視点画像oF1のGs1の画素を、欠損領域周辺に位置する画素群から補間し、補間後の視点画像Fiti=l,rをフローティングウィンドウ重畳部404へ出力する図22のステップS53。なお、欠損領域の画素の補間方法は、例えば、線形補間、メディアンフィルタ、もしくは公知の画像修復方法例えば、非特許文献6参照を用いる。続いて、フローティングウィンドウ重畳部404は、入力された視点画像Fiti=l,rの両方のうち、画面端に位置する欠損領域例えば、図23Aの視点画像oF1のGl1において、欠損領域の幅の最大値W1を取得する。続いて、それぞれの視点画像の右端、左端へ幅W2=αW1のフローティングウィンドウ黒帯を挿入し、その結果を出力する図22のステップS54。なお、W2は、W1を所定の定数αでスケーリングした値である。また、フローティングウィンドウ挿入後の視点画像は、例えば図23Aの視点画像oF2である。図23Aの視点画像oF2では、画面の左端、及び右端にフローティングウィンドウfw1、fw2がそれぞれ挿入されている。なお、フローティングウィンドウを挿入する理由は、左眼/右眼に提示される画像において、ある対象の位置や形状などが極端に異なる場合例えば、生成した視点画像において画面の左端/右端に位置する欠損領域、一つの対象として両眼視することができないことが原因で発生する左右の網膜像を交互に知覚する視野闘争を抑制するためである。このように、本実施形態によれば、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づいて画像の奥行モデルを生成することにより、幾何的な奥行手掛かりによる奥行感を強調した立体画像を生成することができる。また、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度から画像の奥行モデルを生成することにより、人の注目する部分の奥行感を強調した立体画像を生成することができる。奥行モデル生成部30の変形例奥行モデル生成部30a上記実施形態において、奥行モデル生成部30では、顕著度に基づく奥行モデル作成手段の一例として、式24により各画素の顕著度Mx,yをスケーリングし、基準となる奥行値Dbasex,yだけシフトした値を各画素の奥行値Dx,yとして設定する場合について説明したが、本発明はこれに限定されない。例えば、奥行モデル生成部30を、図25に示すように切替部301を取り除き、画像Ftが領域分割部303、顕著度算出部305へ入力されるように構成を変更してもよい。つまり、奥行モデル生成部30aは、切替部302、領域分割部303、距離算出部304、顕著度算出部305、および奥行値設定部306で構成される。この場合の顕著度に基づく奥行モデル作成手段の動作例について、図25に基づいて説明する。なお、消失点に基づく奥行モデル作成手段の動作は、図15のステップS42~S45と同一の処理のため、ここでの説明を省略する。まず、図25の顕著度算出部305は、図15のステップS47と同様の処理によって、処理対象画像Ftより顕著度Mtを算出し、その結果を奥行値設定部306へ出力する図26のステップS47′。続いて、図25の領域分割部303は、図15のステップS44と同様の処理によって、処理対象画像Ftを領域分割し、その結果を記述した領域情報Rtを奥行値設定部306へ出力する図26のステップS48′。その後、図25の奥行値設定部306は、入力された顕著度Mtと領域情報Rtに基づいて、式29に示すように、領域情報Rtが示す各領域内にある画素の顕著度Mx,yの平均値をスケーリングし、基準となる奥行値Dbasex,yだけシフトした値を各画素の奥行値Dx,yとして設定する図26のステップS49′。なお、式29において、Dmaxは奥行値の上限値、Dminは奥行値の下限値、Mmaxは顕著度Mtの最大値、Mminは顕著度Mtの最小値、Dbasex,yは各画素の奥行値の基準値最遠景とする奥行値を調整するための所定の定数である。ここで、変形例における顕著度に基づいた奥行モデルの一例を図27に示す。図27において、画像Aは処理対象画像Ftの一例を表し、画像Bは領域分割部303において求めた処理対象画像Ftの領域分割結果領域情報Mtの一例を表し、画像Cは顕著度算出部305において求めた処理対象画像Ftの顕著度Mtを表し、画像Dは基準となる奥行モデルDbaseの一例を表し、画像Eは奥行値設定部306において、画像Bの領域情報Rtと画像Cの顕著度Mtと画像Dの基準となる奥行モデルDbaseに基づいて求めた奥行モデルの一例である。図27の画像Cにおいて、明るい部分白が人の注目しやすい部分誘目性が高いを表し、暗い部分黒が人の注目しにくい部分誘目性が低いを表す。また、図27の画像Eにおいて、明るい部分が手前であることを表し、暗い部分が奥であることを表す。なお、基準となる奥行モデルDbaseに関して、図27の画像Dでは、同一の奥行値をもつ平面を一例として挙げたが、これに限定されない。例えば、下記の式30に示す平面方程式を予め定めて、各画素の座標x,yによって基準となる奥行値Dbasex,yを設定してもよい。式30によって表される基準となる奥行モデルの一例を図28の画像Aに示す。図28の画像Aは、奥行が下端に近いほど手前となり上端に近いほど奥となるように式30の係数a,b,cを設定した基準となる奥行モデルである。図28の画像Aを、図25の画像Dの代わりに入力した場合に作成される奥行モデルDtの結果を図28の画像Bに示す。以上のように奥行モデル生成部30aは、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度と、画像の領域分割結果領域情報に基づいて、領域毎に均一の奥行値を設定することで、奥行の前後関係の誤りを抑制した奥行モデルを生成することができる。シーンチェンジ検出部10の変形例上記実施形態において、シーンチェンジ検出部10では、シーンチェンジ検出に用いる画像特徴量として、輝度ヒストグラムを用いる場合について説明したが、本発明はこれに限定されない。例えば、輝度ヒストグラムの代わりに、各色成分の出現頻度を表すカラーヒストグラム、フレーム間差分の平均誤差、動きベクトルの分布を画像特徴量として用いてもよい。エッジ検出部211の変形例上記実施形態において、エッジ検出部211では、画像空間において局所的にエッジ強度が極大となる点LocalMaximaをエッジ点として抽出するエッジ検出について説明したが、本発明はこれに限られない。例えば、CannyEdgedetectionなどの公知のエッジ検出手法を用いてもよい。また、微分オペレータエッジ検出器として、ソーベルフィルタSobelfilter、プリューウィットフィルタPrewittfilter、LoGフィルタLapracianofGaussian、DoGフィルタDifferenceofGaussian、などの公知の手法を用いてもよい。消失点同定部213の変形例上記実施形態において、消失点同定部213では、混合モデルに用いる分布モデルとしてガウス分布を用いる場合について説明したが、本発明はこれに限られない。例えば、分布モデルには指数型分布族ラプラス分布、ベータ分布、ベルヌーイ分布などを用いてもよい。また、消失点同定部213は、混合モデルに用いるクラス数Kcを予め定めた値とし、次の一例のように値を決定してもよい。消失点同定部213は、クラス数Kcに予め定めたクラス数Kc′を設定し、Kmeans法により、クラスタリングを行う。その後、消失点同定部213は、クラス間距離が所定閾値以下または未満を満たすクラスCiとクラスCjがある場合は、クラスCiとクラスCjとを併合して、新たなクラスCk′とする処理を行う。消失点同定部213は、この処理を、クラス数が一定値へ収束するまで繰り返すことにより、クラス数Kc≦Kc′を決定する。なお、消失点同定部213が交点の分布モデルの推定に用いる手法は、混合モデルなどのパラメトリックの推定手法に限定されず、Mean-shift法、K-means法、K最近傍探索法近似K最近傍探索法などのノンパラメトリックの推定手法であってもよい。領域分割部303の変形例上記実施形態において、領域分割部303では、特徴量空間でのクラスタリングを行う場合について説明したが、本発明はこれに限らず、画像空間でのクラスタリングを行ってもよい。画像空間でのクラスタリングとは、特徴量空間に写像せず、元の画像空間において、画素間、または領域を構成する画素群領域間の類似度を基に、領域分割を実施する手法である。例えば、領域分割部303は、a画素結合法、b領域成長法RegionGrowing法ともいう、c領域分割統合法SplitMerge法ともいうの手法により、画像空間でのクラスタリングを行ってもよい。顕著度算出部305の変形例上記実施形態において、顕著度算出部305が局所的な色差および大局的な色差に基づいて顕著度を算出する場合について説明したが、本発明はこれに限定されず、局所的な色差式21中の第一項ΔElocal、または、大局的な色差式21中の第二項ΔEglobalのいずれか一方の指標に基づいて顕著度を算出してもよい。また、赤-緑の知覚色度a、黄-青の知覚色度bを用いずに、明度指数であるLのみを用いて色差を算出してもよい。この場合は、人の視覚特性において、明るさの対比コントラスト差が大きい箇所が誘目性の高いことを表す。また、局所的な色差ΔElocal、および大局的な色差ΔEglobalは、CIE方式に基づいて明度の差ΔL、クロマの差ΔC、色相の差ΔHを用いて、それぞれ式31、式32によって求めてもよい例えば、非特許文献4を参照。なお、式31の係数wu,vは、式12と同一である。また、式31および式32中の係数l、c、hは所定の重み係数である。また、顕著度の求め方は、色差に限定されず、色差、エッジ勾配、動きベクトルなど複数の画像特徴量に基づいて顕著度を算出してもよい例えば、非特許文献5を参照。立体画像生成装置1の第一の変形例上記実施形態において、立体画像生成装置1のシーンチェンジ検出部10、消失点推定部20、及び奥行モデル生成部30で入出力の画像サイズは、入力画像Ftと同一の画像サイズと仮定して説明してきたが、これに限定されない。例えば、演算量の低減、メモリサイズの低減を図るために、シーンチェンジ検出部10、消失点推定部20、及び奥行モデル生成部30に入力する画像を、予め所定の画像サイズへ縮小し、奥行モデル生成部30より出力される奥行モデルを入力画像サイズへ拡大する処理を追加して実施してもよい。つまり、立体画像生成装置1の第一の変形例立体画像生成装置2は、図29に示すように、縮小処理部50、シーンチェンジ検出部10、消失点推定部20、奥行モデル生成部30、拡大処理部60、視点画像生成部40によって構成される。縮小処理部50は、本発明の縮小画像生成手段に相当し、入力画像Ftから所定の画像サイズの縮小画像を生成する。そして、生成された縮小画像は、消失点推定部20と奥行モデル生成部30に入力される。拡大処理部60は、本発明の拡大奥行モデル生成手段に相当し、奥行モデル生成部30により生成された縮小画像の奥行モデルから入力画像Ftと同一画像サイズの拡大奥行モデルを生成する。上記立体画像生成装置2の動作例について、図30に基づいて説明する。なお、図29のシーンチェンジ検出部10、消失点推定部20、奥行モデル生成部30、及び視点画像生成部40の各動作図30のステップS63、ステップS64、ステップS65、ステップS67はそれぞれ前述の図1に示した立体画像生成装置1のシーンチェンジ検出部10、消失点推定部20、奥行モデル推定部30、及び視点画像生成部40の各動作前述の図2のステップS12、ステップS13、ステップS14、ステップS15と同一であるため説明を省略する。図30において、まず、図29の立体画像生成装置2は、入力された時刻tの画像を縮小処理部50、及び視点画像生成部40へ出力する図30のステップS61。図29の縮小処理部50は、入力された処理対象画像Ftを予め定められた画像サイズへ縮小し、縮小画像Fdtをシーンチェンジ検出部10、消失点推定部20、及び奥行モデル生成部30へ出力する図30のステップS62。なお、画像の縮小は、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法のいずれかの方法を用いて行う。図29の拡大処理部60は、入力された奥行モデルDtを入力画像Ftの画像サイズへ拡大し、拡大奥行モデルDutを視点画像生成部40へ出力する図30のステップS66。なお、奥行モデルの拡大は、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法のいずれかを用いて行う。上記立体画像生成装置2によれば、入力画像より小さい画像サイズの縮小画像を用いてシーンチェンジ検出処理、消失点推定処理、奥行モデル生成処理を行うため、図1の立体画像生成装置1に比べて、メモリサイズの低減、演算量の低減を図ることができる。立体画像生成装置1の第二の変形例上記実施形態において、立体画像生成装置1では、幾何的な奥行手掛かりにより消失点位置を推定できる場合は、消失点に基づき画像の奥行モデルを生成し、幾何的な奥行手掛かりにより消失点位置を推定できない場合は、人の視覚特性に基づいた画像内の誘目性を表す顕著度に基づいて画像の奥行モデルを生成している。そのため、奥行モデル生成手段が切り替わる前後のフレームにおいて、時間方向に奥行モデルが異なるため、視差奥行の変化が大きくなると考えられる。また、同様にシーンチェンジが発生する前後のフレームにおいても、時間方向に奥行モデルが異なるため、視差奥行の変化が大きくなると考えられる。そこで、立体画像生成装置1の第二の変形例図31の立体画像生成装置3では、時間方向の視差の変化を低減するために、奥行モデルを時空間方向に平滑化する時空間方向平滑化部70を、奥行モデル生成部30と視点画像生成部40の間に設ける。つまり、立体画像生成装置3は、図31に示すように、シーンチェンジ検出部10、消失点推定部20、奥行モデル生成部30、時空間方向平滑化部70、及び視点画像生成部40によって構成される。この時空間方向平滑化部70は、本発明の時空間方向平滑化手段に相当し、図32に示すように、空間方向平滑化部701、時間方向平滑化部702、及びバッファ703によって構成される。時空間方向平滑部70は、奥行モデル生成部30により生成した処理対象画像Ftの奥行モデルDtを空間方向に平滑化し、空間方向に平滑化された画像Ftの奥行モデルDstと、画像Ftよりも過去の比較対象画像Ft-1の時空間方向に平滑化された奥行モデルDtt-1とに基づいて、画像Ftの奥行モデルDstを時間方向に平滑化し、画像Ftの時空間方向に平滑化された奥行モデルDttを生成する。上記立体画像生成装置3の動作例について、図33、図34に基づいて説明する。なお、図31のシーンチェンジ検出部10、消失点推定部20、奥行モデル生成部30、及び視点画像生成部40の各動作図33のステップS72、ステップS73、ステップS74、ステップS76はそれぞれ前述の図1に示した立体画像生成装置1のシーンチェンジ検出部10、消失点推定部20、奥行モデル推定部30、及び視点画像生成部40の各動作前述の図2のステップS12、ステップS13、ステップS14、ステップS15と同一であるため説明を省略する。時空間方向平滑化部70について図31の時空間方向平滑化部70は、入力された処理対象画像Ftの奥行モデルDtに関して、時空間方向に平滑化処理を行い、その結果平滑化奥行モデルDttを出力する図33のステップS75。具体的には、図32の空間方向平滑部701は、水平方向、垂直方向、または垂直方向、水平方向の順に1次元の平滑化フィルタにより空間方向に奥行モデルDtを平滑化し、その結果奥行モデルDstを時間方向平滑部702へ出力する図34のステップS81。なお、1次元の平滑化フィルタは、例えば、1次元のガウシアンフィルタを用いる。図32の時間方向平滑部702は、入力された空間方向に平滑化された奥行モデルDstと、バッファ703に記憶された前フレームの平滑化奥行モデルDtt-1とに基づいて、下記の式33により平滑化奥行モデルDttを生成し、その結果をバッファ703、及び外部へ出力する図34のステップS82。なお、式33中の係数αは、0~1の間の所定の値である。図32のバッファ703は、前フレームの平滑化奥行モデルDtt-1を削除し、入力された現フレームの平滑化奥行モデルDttを記憶する図34のステップS83。上記立体画像生成装置3によれば、時空間方向に奥行モデルを平滑化することにより、奥行モデル生成手段が切り替わる前後のフレーム、及びシーンチェンジが発生する前後のフレームにおいて、視差奥行の変化を低減することができる。以上、本発明に係る立体画像生成装置の各実施形態を中心に説明してきたが、本発明は、立体画像生成装置1による立体画像生成方法の形態とすることもできる。また、この立体画像生成方法をコンピュータに実行させるためのプログラムの形態としてもよい。つまり、上述した実施形態における立体画像生成装置1の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいうコンピュータシステムとは、立体画像生成装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。また、上述した実施形態における立体画像生成装置1の一部、または全部を、LSILargeScaleIntegration等の集積回路として実現しても良い。立体画像生成装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。"