"時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得する取得ステップを備え、前記複数の第1および第2の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものであり、さらに、時間軸上の各位置に対応する第1および第2の入力画像から視差画像を生成する生成ステップと、第1の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、前記第1の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、前記第1の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを備える、画像処理方法。前記補正ステップは、前記第1の時間範囲に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、前記第1の時間範囲にわたって平滑化した結果に応じた値に制限するステップを含む、請求項1に記載の画像処理方法。前記平滑化ステップは、前記第1の時間範囲とは異なる第2の時間範囲にわたって複数の視差画像を時間軸方向に平滑化するステップを含み、前記補正ステップは、前記第1の時間範囲にわたって平滑化した結果、および、前記第2の時間範囲にわたる平滑化により得られた視差画像に基づいて、視差画像を補正するステップを含む、請求項1または2に記載の画像処理方法。前記第1の時間範囲は、前記第2の時間範囲よりも長い、請求項3に記載の画像処理方法。前記複数の第1の入力画像と、前記複数の第1の入力画像にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、立体視画像を生成するステップをさらに備える、請求項1~4のいずれか1項に記載の画像処理方法。前記複数の第1および第2の入力画像を、対応する補正後の視差画像に従ってそれぞれ視差を調整することで得られる画像を用いて、立体視画像を生成するステップをさらに備える、請求項1~4のいずれか1項に記載の画像処理方法。前記補正ステップは、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定するステップを含む、請求項1~6のいずれか1項に記載の画像処理方法。前記補正ステップは、前記視差増減係数を所定範囲に制限するステップを含む、請求項7に記載の画像処理方法。前記補正ステップは、視差画像に生じる視差位置のオフセットを決定するステップを含む、請求項1~8のいずれか1項に記載の画像処理方法。前記補正ステップは、前記第1の時間範囲にわたって平滑化した結果に応じて、視差の最小値を制限するステップを含む、請求項1~9のいずれか1項に記載の画像処理方法。前記平滑化ステップは、時間軸上のある位置に対応する視差画像の視差の最大値または最小値が、時間軸上の近接する位置に対応する視差画像の最大値または最小値に比較して、所定のしきい値を超えて変化している画素については、当該視差の最大値または最小値を当該所定のしきい値に制限するステップを含む、請求項1~10のいずれか1項に記載の画像処理方法。前記平滑化ステップは、時間軸上のある位置に対応する視差画像に含まれる画素が示す視差のうち、平滑化された視差画像に含まれる画素が示す視差に比較して、所定のしきい値を超えて変化している画素については、対応する視差の大きさを当該所定のしきい値に制限するステップを含む、請求項1~10のいずれか1項に記載の画像処理方法。前記第1の時間範囲は、10秒以上である、請求項3~12のいずれか1項に記載の画像処理方法。前記第2の時間範囲は、10秒以下である、請求項3~13のいずれか1項に記載の画像処理方法。時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得する取得手段を備え、前記複数の第1および第2の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものであり、さらに、時間軸上の各位置に対応する第1および第2の入力画像から視差画像を生成する生成手段と、第1の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化手段と、前記第1の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、前記第1の時間範囲にわたって平滑化した結果に応じた値に補正する補正手段とを備える、画像処理システム。画像処理プログラムであって、コンピューターに、時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得する取得ステップを実行させ、前記複数の第1および第2の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものであり、さらに、時間軸上の各位置に対応する第1および第2の入力画像から視差画像を生成する生成ステップと、第1の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、前記第1の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、前記第1の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを実行させる、画像処理プログラム。上述のような動画を立体視表示する場合には、発生する視差を、視聴に快適かつ適切なレベルに調整する必要がある。動画に含まれる被写体として、大きな視差を有するものが急に入ってきたような場合には、視差の調整が難しい。例えば、ある風景の撮像中に、車両などがその視野範囲を横切ったような場合などには、撮像手段により近い車両については、ユーザーの手前側飛出し側に立体視表示される立体感を再現できるようにある程度の視差を生じさせることが好ましい。しかしながら、このような被写体発生する視差の変化に伴って、立体視表示される画像の視差全体調整量視差位置や視差レンジを変化させると、ユーザーからみれば、再現される画像全体の立体感が急激に変化することになり、不快感を与えうる。そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、時間軸に沿って順序付けされた複数の画像を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現できる画像処理方法、画像処理システムおよび画像処理プログラムを提供することである。本発明のある局面に従う画像処理方法は、時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得する取得ステップを含む。複数の第1および第2の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものである。画像処理方法は、さらに、時間軸上の各位置に対応する第1および第2の入力画像から視差画像を生成する生成ステップと、第1の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、第1の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第1の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを含む。好ましくは、補正ステップは、第1の時間範囲に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、第1の時間範囲にわたって平滑化した結果に応じた値に制限するステップを含む。好ましくは、平滑化ステップは、第1の時間範囲とは異なる第2の時間範囲にわたって複数の視差画像を時間軸方向に平滑化するステップを含み、補正ステップは、第1の時間範囲にわたって平滑化した結果、および、第2の時間範囲にわたる平滑化により得られた視差画像に基づいて、視差画像を補正するステップを含む。さらに好ましくは、第1の時間範囲は、第2の時間範囲よりも長い。好ましくは、画像処理方法は、複数の第1の入力画像と、複数の第1の入力画像にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、立体視画像を生成するステップをさらに含む。好ましくは、画像処理方法は、複数の第1および第2の入力画像を、対応する補正後の視差画像に従ってそれぞれ視差を調整することで得られる画像を用いて、立体視画像を生成するステップをさらに含む。好ましくは、補正ステップは、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定するステップを含む。さらに好ましくは、補正ステップは、視差増減係数を所定範囲に制限するステップを含む。好ましくは、補正ステップは、視差画像に生じる視差位置のオフセットを決定するステップを含む。好ましくは、補正ステップは、第1の時間範囲にわたって平滑化した結果に応じて、視差の最小値を制限するステップを含む。好ましくは、平滑化ステップは、時間軸上のある位置に対応する視差画像の視差の最大値または最小値が、時間軸上の近接する位置に対応する視差画像の最大値または最小値に比較して、所定のしきい値を超えて変化している画素については、当該視差の最大値または最小値を当該所定のしきい値に制限するステップを含む。好ましくは、平滑化ステップは、時間軸上のある位置に対応する視差画像に含まれる画素が示す視差のうち、平滑化された視差画像に含まれる画素が示す視差に比較して、所定のしきい値を超えて変化している画素については、対応する視差の大きさを当該所定のしきい値に制限するステップを含む。好ましくは、第1の時間範囲は、10秒以上である。好ましくは、第2の時間範囲は、10秒以下である。本発明の別の局面に従う画像処理システムは、時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得する取得手段を含む。複数の第1および第2の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものである。画像処理システムは、さらに、時間軸上の各位置に対応する第1および第2の入力画像から視差画像を生成する生成手段と、第1の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化手段と、第1の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第1の時間範囲にわたって平滑化した結果に応じた値に補正する補正手段とを含む。本発明の別の局面に従う画像処理プログラムは、コンピューターに、時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得する取得ステップを実行させる。複数の第1および第2の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものである。画像処理プログラムは、さらにコンピューターに、時間軸上の各位置に対応する第1および第2の入力画像から視差画像を生成する生成ステップと、第1の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、第1の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第1の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを実行させる。本発明によれば、時間軸に沿って順序付けされた複数の画像を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現できる。本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。[A.概要]本発明の実施の形態に従う画像処理システムは、時間軸に沿って順序付けされた複数の第1の入力画像と、時間軸に沿って順序付けされた複数の第2の入力画像とを取得して、時間軸に沿って画像を立体視する典型的には、立体的に動画を再現する際に必要な視差画像を生成および調整する。より具体的には、画像処理システムは、時間軸上の各位置に対応する視差画像を生成するとともに、それらの生成した視差画像を時間軸方向に平滑化し、再現される画像に与えられる視差全体調整量が当該平滑化により得られた視差画像に応じた値になるように、時間軸上の各位置に対応する視差画像を補正する。この視差全体調整量は、例えば、飛出し側の視差の大きさ、飛出し側の視差と奥行き側の視差との間の視差レンジ、および視差画像に生じる視差位置あるいは、位置のオフセットを含む。好ましくは、画像処理システムは、時間軸上の各位置に対応する視差画像についても、近接するいくつかの視差画像から平滑化により得られた視差画像を用いる。この平滑化処理は、各視差画像に含まれ得るノイズ成分などを除去することを主目的としている。そのため、上述した視差全体調整量を設定するために用いる平滑化処理とは異なる時間範囲で平滑化される。より具体的には、この時間範囲は、視差全体調整量を設定するために用いる平滑化処理に係る時間範囲に比較して、より短い期間となる。以下の説明においては、説明の便宜上、前者の視差全体調整量を設定するための平滑化処理に係る時間範囲を長時間範囲と称し、後者の時間軸上の各位置に対応する視差画像を生成するための平滑化処理に係る時間範囲を短時間範囲と称する。なお、動画においては、時間毎の画像をフレームと称し、このフレームが更新される周期をフレーム間隔と称する。そのため、平滑化処理に係る時間範囲は、平滑化に用いられるフレームの数、あるいはフレーム間隔の対応する倍数などで表現されることもある。なお、時間軸上の各位置に対応する視差画像を生成するための平滑化処理短時間範囲での平滑化処理については必須ではなく、全く行なわない、あるいは代替の方法を採用してもよい。本実施の形態に従う画像処理システムは、視差全体調整量視差の大きさ、視差レンジ、および視差位置を、より長い期間にわたって視差画像を平滑化した結果に基づいて調整するので、部分的に大きな視差を有する被写体が映り込んだとしても、その被写体によって画像全体の視差量が急激に変化することを防止する。この大きな視差を有する被写体が長期間にわたって存在するような場合には、画像全体の視差量が徐々に増大することになる。また、過度に飛出し側に再現されている被写体については、その飛出し量が徐々に低減される。一方で、時間軸上の各位置各フレームにおける視差画像は、より短い期間にわたる平滑化によって生成されるので、急激に視差が変化するような動画であっても、それに含まれる部分毎に存在する視差の情報は残されるため、各フレームにおける立体感を再現することができる。このように、本実施の形態に従う画像処理システムは、2種類の時間範囲でそれぞれ視差画像を平滑化した結果を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現する。[B.システム構成]まず、本発明の実施の形態に従う画像処理システムの構成について説明する。《b1:基本的構成》図1は、本発明の実施の形態に従う画像処理システム1の基本的構成を示すブロック図である。図1を参照して、画像処理システム1は、撮像部2と、画像処理部3と、3D画像出力部4とを含む。図1に示す画像処理システム1においては、撮像部2が被写体を撮像することで一対の入力画像入力画像1および入力画像2を取得し、画像処理部3がこの取得された一対の入力画像に対して後述するような画像処理を行なうことで、被写体を立体視表示するためのステレオ画像各フレームの左眼用画像および右眼用画像を生成する。そして、3D画像出力部4は、このステレオ画像左眼用画像および右眼用画像を表示デバイスなどへ出力する。撮像部2は、同一対象物被写体を異なる視点で撮像して一対の入力画像を生成する。本実施の形態に従う画像処理システムは、動画を立体視表示することができるので、撮像部2は、所定の時間間隔フレーム間隔で、一対の入力画像を生成する。すなわち、撮像部2からは、時間軸に沿って順序付けされた複数の入力画像1と、時間軸に沿って順序付けされた複数の入力画像2とが、画像処理部3へ与えられる。そして、入力画像1および入力画像2は、それぞれ異なる視点から被写体を撮像することで取得されたものになる。より具体的には、撮像部2は、第1カメラ21と、第2カメラ22と、第1カメラ21と接続されたA/DAnalogtoDigital変換部23と、第2カメラ22と接続されたA/D変換部24とを含む。A/D変換部23は、第1カメラ21により撮像された被写体を示す入力画像1を出力し、A/D変換部24は、第2カメラ22により撮像された被写体を示す入力画像2を出力する。すなわち、第1カメラ21およびA/D変換部23は、被写体を撮像して第1の入力画像を取得する撮像手段に相当し、第2カメラ22およびA/D変換部24は、第1カメラ21とは異なる視点から被写体を撮像して第2の入力画像を取得する別の撮像手段に相当する。第1カメラ21は、被写体を撮像するための光学系であるレンズ21aと、レンズ21aにより集光された光を電気信号に変換するデバイスである撮像素子21bとを含む。A/D変換部23は、撮像素子21bから出力される被写体を示す映像信号アナログ電気信号をデジタル信号に変換して出力する。同様に、第2カメラ22は、被写体を撮像するための光学系であるレンズ22aと、レンズ22aにより集光された光を電気信号に変換するデバイスである撮像素子22bとを含む。A/D変換部24は、撮像素子22bから出力される被写体を示す映像信号アナログ電気信号をデジタル信号に変換して出力する。撮像部2はさらに、各部分を制御するための制御処理回路などを含み得る。後述するように、本実施の形態に従う画像処理においては、一方のカメラで撮像された入力画像だけを用いても、ステレオ画像左眼用画像および右眼用画像を生成することができる。図2は、図1に示す撮像部2の具体的な構成例を示す図である。より具体的には、図2には、基本的なスペックを同一としたレンズ21aおよび22aからなる撮像部2の一例を示す。この撮像部2においては、いずれのレンズについても光学ズーム機能を搭載してもよい。本実施の形態に従う画像処理方法においては、同一の被写体に対するそれぞれのカメラの視線方向視点が異なっていればよいので、撮像部2において、レンズ21aと22aとの配置縦方向配列または横方向配列は任意に設定できる。すなわち、図2aに示すように縦長方向に配置縦ステレオして撮像してもよいし、図2bに示すように横長方向に配置横ステレオして撮像してもよい。本実施の形態に従う画像処理システムは、時間的に連続して被写体を立体視表示する。そのため、第1カメラ21および第2カメラ22は、互いに同期を取りつつ、所定周期で被写体を撮像することで、それぞれのカメラについての時間軸に沿って順序付けされた一連の画像を取得することができる。また、本実施の形態に従う画像処理方法においては、入力画像は、カラー画像であってもよいし、モノクロ画像であってもよい。再度図1を参照して、画像処理部3は、撮像部2によって取得された一対の入力画像に対して、本実施の形態に従う画像処理方法を実施することで、被写体を立体視表示するためのステレオ画像各フレームの左眼用画像および右眼用画像を生成する。より具体的には、画像処理部3は、対応点探索部31と、視差画像生成部32と、平滑化処理部33と、視差全体調整量決定部34と、視差調整部35と、3D画像生成部36とを含む。対応点探索部31は、各フレームの一対の入力画像入力画像1および入力画像2に対して対応点探索の処理を行なう。この対応点探索の処理は、典型的には、POCPhaseOnlyCorrelation演算法、SADSumofAbsoluteDifference演算法、SSDSumofSquaredDifference演算法、NCCNormalizedCrossCorrelation演算法などを用いることができる。すなわち、対応点探索部31は、入力画像1と入力画像2との間における被写体の各点についての対応関係を探索する。視差画像生成部32は、2つの入力画像についての距離情報を取得する。この距離情報は、同一の被写体についての情報の相違に基づいて算出される。典型的には、視差画像生成部32は、対応点探索部31によって探索された被写体の各点についての入力画像の間での対応関係から距離情報を算出する。撮像部2では、異なる視点からそれぞれ被写体を撮像する。そのため、2つの入力画像の間では、被写体のある点注目点を表現する画素は、撮像部2と当該被写体の点との距離に応じた距離だけずれることになる。本明細書においては、入力画像1の注目点に対応する画素の画像座標系上の座標と、入力画像2の注目点に対応する画素の画像座標系上の座標との差を視差と称する。視差画像生成部32は、対応点探索部31によって探索された被写体の注目点の各々について、視差を算出する。この視差は、撮像部2から被写体の対応する注目点までの距離を示す指標値である。視差が大きいほど、撮像部2から被写体の対応する注目点までの距離が短い、すなわち撮像部2により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部2からの距離を、総称して距離情報という用語を用いる。なお、入力画像間で視差が生じる方向は、撮像部2における第1カメラ21と第2カメラ22との間の位置関係に依存する。例えば、第1カメラ21と第2カメラ22とを縦方向に所定間隔だけ離して配置した場合には、入力画像1と入力画像2との間での視差は縦方向に生じることになる。視差画像生成部32は、被写体の各点についての距離情報として算出し、算出したそれぞれの距離情報を画像座標系上の座標に関連付けて表現した視差画像距離画像とも称す。を生成する。平滑化処理部33は、視差画像生成部32によって生成された視差画像に対してスムージング処理平滑化処理する。空間平滑化を行なうとともに、上述したように、本実施の形態においては、2種類の時間範囲でそれぞれ視差画像を平滑化する。平滑化処理部33は、2種類のフレーム数について、それぞれ平滑化処理を行なう。視差全体調整量決定部34は、平滑化処理部33によって平滑化された結果に基づいて、視差全体調整量視差の大きさ、視差レンジ、および視差位置を決定する。視差調整部35は、視差全体調整量決定部34によって決定された視差全体調整量に従って、各フレームに係る視差画像好ましくは、短時間範囲で平滑化された視差画像を補正する。平滑化処理部33、視差全体調整量決定部34および視差調整部35において実行される処理の詳細については後述する。3D画像生成部36は、視差調整部35による調整後の視差画像に基づいて、入力画像を構成する各画素を対応する距離情報画素数だけずらすことで、被写体を立体視表示するためのステレオ画像各フレームの左眼用画像および右眼用画像を生成する。このように、距離情報に基づいて、入力画像に含まれる画素を横方向にずらすことで被写体を立体視表示するためのステレオ画像が生成される。左眼用画像と右眼用画像との間について見れば、被写体の各点は、視差画像によって示される距離情報画素数に応じた距離だけ離れて、すなわち距離情報画素数に応じた視差が与えられて表現される。これにより、被写体を立体視表示することができる。3D画像出力部4は、画像処理部3によって生成されるステレオ画像各フレームの左眼用画像および右眼用画像を表示デバイスなどへ出力する。図1に示す画像処理システム1は、各部を独立に構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理システム1の具現化例について説明する。《b2:具現化例1》図3は、図1に示す画像処理システム1を具現化したデジタルカメラ100の構成を示すブロック図である。図3に示すデジタルカメラ100は、2つのカメラ第1カメラ121および第2カメラ122を搭載しており、被写体を立体視表示するためのステレオ画像を撮像することができる。図3において、図1に示す画像処理システム1を構成するそれぞれのブロックに対応するコンポーネントには、図1と同一の参照符号を付している。デジタルカメラ100では、第1カメラ121で被写体を撮像することで取得される入力画像が記憶および出力され、第2カメラ122で当該被写体を撮像することで取得される入力画像については、主として、上述の対応点探索処理および視差画像生成処理に用いられる。そのため、第1カメラ121についてのみ光学ズーム機能が搭載されているとする。図3を参照して、デジタルカメラ100は、CPUCentralProcessingUnit102と、デジタル処理回路104と、画像表示部108と、カードインターフェイスI/F110と、記憶部112と、ズーム機構114と、第1カメラ121と、第2カメラ122とを含む。CPU102は、予め格納されたプログラム画像処理プログラムを含むなどを実行することで、デジタルカメラ100の全体を制御する。デジタル処理回路104は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路104は、典型的には、DSPDigitalSignalProcessor、ASICApplicationSpecificIntegratedCircuit、LSILargeScaleIntegration、FPGAFieldProgrammableGateArrayなどによって構成される。このデジタル処理回路104は、図1に示す画像処理部3が提供する機能を実現するための画像処理回路106を含む。画像表示部108は、第1カメラ121および/または第2カメラ122により提供される画像、デジタル処理回路104画像処理回路106によって生成される画像、デジタルカメラ100に係る各種設定情報、および、制御用GUIGraphicalUserInterface画面などを表示する。画像表示部108は、画像処理回路106によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、画像表示部108は、3次元表示方式に対応した任意の表示デバイス3次元表示用の液晶表示装置によって構成される。このような3次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。カードインターフェイスI/F110は、画像処理回路106によって生成された画像データを記憶部112へ書き込み、あるいは、記憶部112から画像データなどを読み出すためのインターフェイスである。記憶部112は、画像処理回路106によって生成された画像データや各種情報デジタルカメラ100の制御パラメータや動作モードなどの設定値を格納する記憶デバイスである。この記憶部112は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。ズーム機構114は、ユーザー操作などに応じて、第1カメラ121の撮像倍率を変更する機構である。ズーム機構114は、典型的には、サーボモーターなどを含み、第1カメラ121を構成するレンズ群を駆動することで、焦点距離を変化させる。第1カメラ121は、被写体を撮像することでステレオ画像を生成するための入力画像を生成する。第1カメラ121は、ズーム機構114によって駆動される複数のレンズ群からなる。第2カメラ122は、後述するような対応点探索処理や視差画像生成処理に用いられ、第1カメラ121によって撮像される同一の被写体を別の視点から撮像する。このように、図3に示すデジタルカメラ100は、本実施の形態に従う画像処理システム1の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ100を用いて被写体を撮像することで、画像表示部108において当該被写体を立体的に視認することができる。《b3:具現化例2》図4は、図1に示す画像処理システム1を具現化したパーソナルコンピューター200の構成を示すブロック図である。図4に示すパーソナルコンピューター200では、一対の入力画像を取得するための撮像部2が搭載されておらず、任意の撮像部2によって取得された一対の入力画像入力画像1および入力画像2が外部から入力される構成となっている。このような構成であっても、実施の形態に従う画像処理システム1に含まれ得る。なお、図4においても、図1に示す画像処理システム1を構成するそれぞれのブロックに対応するコンポーネントには、図1と同一の参照符号を付している。図4を参照して、パーソナルコンピューター200は、パーソナルコンピューター本体202と、モニター206と、マウス208と、キーボード210と、外部記憶装置212とを含む。パーソナルコンピューター本体202は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、CPU、RAMRandomAccessMemory、ROMReadOnlyMemoryなどを含む。パーソナルコンピューター本体202は、図1に示す画像処理部3が提供する機能を実現するための画像処理プログラム204が実行可能になっている。このような画像処理プログラム204は、CD-ROMCompactDiskReadOnlyMemoryなどの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム204は、パーソナルコンピューター本体202のハードディスクなどの記憶領域内に格納される。このような画像処理プログラム204は、パーソナルコンピューター本体202で実行されるオペレーティングシステムOSの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム204自体には、OSが提供するモジュールは含まれず、OSと協働して画像処理が実現される。また、画像処理プログラム204は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム204自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム204であっても、本実施の形態に従う画像処理システム1の趣旨を逸脱するものではない。もちろん、画像処理プログラム204によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。モニター206は、オペレーティングシステムOSが提供するGUI画面、画像処理プログラム204によって生成される画像などを表示する。モニター206は、図3に示す画像表示部108と同様に、画像処理プログラム204によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、モニター206としては、画像表示部108において説明したのと同様に、パララックスバリア方式やシャッタメガネ方式などの表示デバイスによって構成される。マウス208およびキーボード210は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体202へ出力する。外部記憶装置212は、何らかの方法で取得された一対の入力画像入力画像1および入力画像2を格納しており、この一対の入力画像をパーソナルコンピューター本体202へ出力する。外部記憶装置212としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。このように、図4に示すパーソナルコンピューター200は、本実施の形態に従う画像処理システム1の一部を単体の装置として実装したものである。このようなパーソナルコンピューター200を用いることで、ユーザーは、任意の撮像部ステレオカメラを用いて異なる視点で被写体を撮像することで取得された一対の入力画像から、当該被写体を立体視表示するためのステレオ画像左眼用画像および右眼用画像を生成することができる。さらに、この生成したステレオ画像をモニター206で表示することで、立体視表示を楽しむこともできる。[C.実施の形態1]本発明の実施形態1として、一方の入力画像からステレオ画像左眼用画像および右眼用画像を生成する構成について説明する。より具体的には、各フレームの一対の入力画像を用いて視差画像の生成および調整補正を行ない、その結果得られた視差画像を用いて一方の入力画像から他方の入力画像を生成する。なお、以下の説明においては、入力画像1を用いて立体視画像ステレオ画像を生成する例を示す。すなわち、本実施の形態においては、入力画像1と、入力画像1に対応する補正後の視差画像に従って視差を与えることで生成される画像とを用いて、立体視画像を生成する。上述したように、本実施の形態においては、2種類の時間範囲フレーム間隔でそれぞれ平滑化処理を行なうことで、体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現する。すなわち、立体動画は、再現される視差が大きすぎると見づらく、一方で、小さすぎると立体感が物足りなく見える。そこで、本実施の形態に従う情報処理システムは、例えば、飛出し側に存在する被写体がシーンの途中から撮像された場合には、立体感としての視差情報は残しつつ、その被写体についての飛出し量を徐々に変更するように、全体的な視差調整を行なう。《c1:全体処理手順》まず、本実施の形態における全体処理手順について説明する。図5は、本発明の実施の形態1に従う全体処理手順を示すフローチャートである。図5を参照して、各フレームの入力画像1および入力画像2が取得される。典型的には、第1カメラ21レンズ21aおよび撮像素子21bが被写体を撮像することで入力画像1を生成する。また、第2カメラ22レンズ22aおよび撮像素子22bが被写体を撮像することで入力画像2を生成する。すなわち、時間軸に沿って順序付けされた複数の入力画像1と、時間軸に沿って順序付けされた複数の入力画像2とが取得される。まず、入力画像1用の視差画像が各フレームについて生成されるステップS1。すなわち、時間軸上の各位置に対応する入力画像1および入力画像2から視差画像が生成される。この視差画像の生成処理は、主として、画像処理部3の対応点探索部31および視差画像生成部32図1によって実行される。続いて、生成された各フレームの視差画像に対して、平滑化処理が実行されるステップS2。この平滑化処理は、主として、画像処理部3の平滑化処理部33図1によって実行される。ステップS2の平滑化処理は、各フレームの視差画像内での平滑化空間平滑化、短時間範囲にわたる複数フレームの視差画像に対する平滑化時間平滑化、および長時間範囲にわたる複数フレームの視差画像に対する平滑化を含む。すなわち、ある時間範囲にわたって複数の視差画像を時間軸方向に平滑化する処理を含む。続いて、長時間範囲にわたる複数フレームの視差画像に対する平滑化の結果に基づいて、視差全体調整量の調整処理が実行されるステップS3。この視差全体調整量の調整処理は、主として、画像処理部3の視差全体調整量決定部34図1によって実行される。続いて、各フレームの視差画像内での平滑化空間平滑化、および短時間範囲にわたる複数フレームの視差画像に対する平滑化時間平滑化によって、生成された視差画像に対して、ステップS3において決定された視差全体調整量に従って、視差を調整する処理が実行されるステップS4。この視差調整処理は、主として、画像処理部3の視差調整部35図1によって実行される。最終的に、ステップS4において調整された視差画像を用いて、入力画像1からステレオ画像が生成されるステップS5。より具体的には、入力画像1は、そのまま左眼用画像として出力され、調整された視差画像を用いて入力画像1に視差を与えることで右眼用画像が出力される。この生成されたステレオ画像各フレームの左眼用画像および右眼用画像がモニターなどへ出力される。以下、各ステップにおける処理について詳述する。《c2:視差画像生成処理》ステップS1の視差画像生成処理の詳細について説明する。まず、各フレームにおける一対の入力画像入力画像1および入力画像2の間の位置関係の対応付けが探索される。この対応点探索処理は、図1に示す対応点探索部31によって実行される。より具体的には、対応点探索処理では、一方の入力画像の注目点にそれぞれ対応する他方の入力画像の画素座標値を特定する。このような対応点探索処理は、POC演算法、SAD演算法、SSD演算法、NCC演算法などを用いたマッチング処理が利用される。対応点探索処理においては、一方の入力画像を基準画像に設定するとともに、他方の入力画像を参照画像に設定して、両画像間の対応付けが行なわれる。いずれの入力画像を主体的に用いるかに応じて、この基準画像に設定される入力画像が変更されることになる。続いて、対応点探索処理によって特定された注目点と対応点との間の対応関係に基づいて、被写体の各点の座標に関連付けられた距離情報を示す視差画像を生成するための視差画像生成処理が実行される。この視差画像生成処理は、図1に示す視差画像生成部32によって実行される。この視差画像生成処理では、注目点の各々について、入力画像1の画像座標系における当該注目点の座標と、入力画像2の画像座標系における対応点の座標との差視差が算出される。本実施の形態においては、入力画像1が主体的に用いられるので、対応する入力画像1の注目点の座標に関連付けて算出される視差が記憶される。なお、入力画像2を主体的に用いる場合には、対応する入力画像2の注目点の座標に関連付けて算出される視差が記憶されてもよい。距離情報としては、対応点探索処理によって探索されたそれぞれの注目点について、入力画像1または入力画像2上の座標および対応する視差が関連付けられる。この距離情報を入力画像1または入力画像2の画素配列に対応付けて配列することで、入力画像1または入力画像2の画像座標系に対応して各点の視差を表す視差画像が生成される。なお、このような対応点探索処理および視差画像生成処理としては、特開2008-216127号公報に記載された方法を採用してもよい。特開2008-216127号公報には、サブピクセルの粒度で視差距離情報を算出するための方法が開示されているが、ピクセルの粒度で視差距離情報を算出するようにしてもよい。なお、入力画像がRGBなどのカラー画像である場合には、グレイ画像に変換した後に対応点探索処理を行なってもよい。図6は、図1に示す撮像部2によって撮像されたあるフレームにおける入力画像の一例を示す図である。図6Aは、第1カメラ21によって撮像された入力画像1を示し、図6Bは、第2カメラ22によって撮像された入力画像2を示す。図6に示す例は、レンズを横方向に所定間隔だけ離して2つ配置した構成において撮像したものである。図7は、実施の形態1に従う画像処理方法に従って図6に示す一対の入力画像から生成された視差画像の一例を示す図である。この例では、図6Aに示す入力画像1を基準画像に設定し、図6Bに示す入力画像2を参照画像に設定した場合の視差画像距離画像の一例を示す。図7に示すように、入力画像1の各点の各点に関連付けられた視差距離情報の大きさは、対応する点の濃淡によって表現される。上述した対応点探索処理および視差画像生成処理において、相関演算を行なうことで注目点およびその対応点を特定するので、所定の画素サイズを有する単位領域毎に対応点が探索される。図7には、48画素×48画素の単位領域毎に対応点探索が実行された一例を示す。すなわち、図7には、X軸横方向およびY軸縦方向のいずれも48画素間隔で規定された単位領域毎に対応点が探索され、その探索された対応点との間の距離の算出結果を示す。この探索された対応点との間の距離を示す視差画像は、入力画像の画素サイズと一致するように生成される。なお、入力画像の最外周にある48画素分の領域探索ウィンドウについては、対応点が存在しないと誤って判断される可能性があるため、対応点探索処理を行なわず、最も近接した位置にある画素の距離視差データで代用した。すなわち、入力画像の最外周にある48画素分の領域については、最外周から48画素だけ内側に入った位置にある画素の値を用いた。《c3:平滑化処理》次に、ステップS2の平滑化処理の詳細について説明する。上述したように、本実施の形態において、平滑化処理は、1各フレームの視差画像内での平滑化空間平滑化、2短時間範囲にわたる複数フレームの視差画像に対する平滑化時間平滑化、3長時間範囲にわたる複数フレームの視差画像に対する平滑化を含む。以下、それぞれの平滑化の内容について説明する。c3.1:各フレームの視差画像内での平滑化空間平滑化まず、各フレームの視差画像に対して、空間平滑化が行なわれる。このような空間的な平滑化処理の具現化例として、所定サイズの二次元フィルタを用いる方法がある。図8は、本発明の実施の形態1に従う空間的な平滑化処理に用いられる平均化フィルタの一例を示す図である。この空間的な平滑化処理では、例えば、図8に示すような145画素×145画素の平均化フィルタが適用される。平均化フィルタでは、注目画素を中心とする縦方向145画素および横方向145画素の範囲に含まれる視差画像の画素値視差の平均値が当該注目画素の新たな画素値として算出される。より具体的には、フィルタ内に含まれる画素が有する画素値の総和をフィルタの画素サイズで除算することで、注目画素の新たな画素値が算出される。なお、フィルタ内に含まれるすべての画素の操作をとるのではなく、所定間隔毎例えば、12画素に間引いて抽出した画素の平均値を用いてもよい。このような間引き処理を行なった場合であっても、全画素の平均値を用いた場合と同様の平滑化結果が得られる場合があり、そのような場合には、間引き処理を行なうことで処理量を低減できる。さらに、空間平滑化については、注目画素に重みを付けた平均化フィルタやメディアンフィルタといった異なる手段を採用してもよい。平滑化によって得られた視差画像のレベルを適切化するため、平滑化に用いるフレーム数も含めて、フィルタサイズなどを調整してもよい。なお、平滑化処理によって得られた視差画像の画素サイズは、入力画像と同一の画素サイズであることが好ましい。画素サイズを同一にすることで、後述するステレオ画像の生成処理において、各画素の距離を一対一で決定することができる。c3.2:時間的な平滑化図9は、本発明の実施の形態1に従う時間的な平滑化処理を説明するための図である。図9を参照して、本実施の形態においては、2種類の時間範囲でそれぞれ視差画像を平滑化した結果を用いる。より具体的には、ある処理対象フレームを含む長時間範囲Aフレーム分について、その範囲に含まれる各フレームの視差画像における視差の最大値MAXおよび視差の最小値MINが平滑化される。すなわち、Aフレーム分の視差画像の各々について、視差の最大値および最小値がそれぞれ抽出され、続いて、抽出されたすべての最大値の間で平均値が算出されるとともに、抽出されたすべての最小値の間で平均値が算出される。この算出された視差の最大値および最小値の平均値は、処理対象フレームに関連付けて一時的に記憶される。この視差の最大値および最小値の平均値は、視差全体調整量の決定に用いられる。また、ある処理対象フレームを含む短時間範囲Bフレーム分について、その範囲に含まれる複数フレームの視差画像の間で平滑化される。すなわち、視差画像を構成する各画素について、対応する画素位置についての複数の視差画像における視差量の平均値が算出される。言い換えれば、時間軸方向にも前後の所定フレーム分の各画素値を加算し平均を取ることで平滑化される。この短時間範囲での平滑化処理は、視差画像に生じるノイズなどを除去するために行われるものである。すなわち、局所的な視差の時間変化については、可能な限り視差画像に反映することが好ましいので、短時間範囲のフレーム数は、そのような意図に基づいて設定される。平滑化処理の高速化のため、例えば、6フレームごとに間引いて平滑化してもよい。図9に示す長時間範囲Aフレーム分にわたる平滑化については、実験的には、10秒以上であることが好ましい。例えば、1秒間に30フレームが更新されるような場合には、長時間範囲としては、処理対象のフレームを含めて、計1081フレーム36秒などに設定できる。また、長時間範囲Bフレーム分にわたる平滑化については、実験的には、10秒以下であることが好ましい。より好ましくは、5秒以下である。例えば、1秒間に30フレームが更新されるような場合には、短時間範囲としては、処理対象のフレームを含めて、計61フレーム2秒などに設定できる。なお、フレームレートが異なる場合には、時間範囲の長さ必要なフレーム数を算出すればよい。このように、ステップS2の平滑化処理は、長時間範囲Aフレーム分とは異なる短時間範囲Bフレーム分にわたって複数の視差画像を時間軸方向に平滑化する処理を含む。図10は、図7に示す視差画像に対して空間的および時間的な平滑化処理によって得られた平滑化された視差画像の一例を示す図である。図10に示す平滑化された視差画像では、隣接する画素間で画素値視差が大きく変化しないようになっていることがわかる。長時間範囲Aフレーム分にわたる平滑化によって得られる結果の利用形態については、後述する。さらに、時間平滑化についても、処理対象のフレームに重みを付けた平均化や、中央値での置き換えといった異なる手段を採用してもよい。平滑化によって得られた視差画像のレベルを適切化するため、平滑化に用いるフレーム数も含めて調整してもよい。《c4:視差全体調整量決定処理》次に、ステップS3の視差全体調整量決定処理の詳細について説明する。視差全体調整量は、図9に示す長時間範囲Aフレーム分にわたる平滑化の結果に基づいて決定される。すなわち、処理対象フレームを含む長時間範囲Aフレーム分における、視差の最大値MAXの平均値AVE_MAXおよび視差の最小値MINの平均値AVE_MINが用いられる。より具体的には、平均値AVE_MAXおよびAVE_MINは、図9に示すように、長時間範囲この例では、前後1081フレーム分の最大値MAXおよび最小値MINの総和を平均化平滑化することで得られる値である。この視差全体調整量は、より快適な視差量で立体視表示できるように、視差を調整するものである。本実施の形態においては、視差全体調整量として、飛出し側の視差の大きさ、飛出し側の視差と奥行き側の視差との間の視差レンジ、および視差画像に生じる視差位置あるいは、位置のオフセットを含む。図11は、本発明の実施の形態1に従う視差全体調整量決定処理を説明するための図である。図11を参照して、平滑化処理後の視差画像の画素値視差量が予め定められた視差レンジターゲット視差レンジ内に存在するように、スケーリングを行なう。すなわち、図11に示す視差調整関数の傾きおよび視差オフセットが決定される。視差レンジターゲット視差レンジは、飛出し側の視差と奥行き側の視差との差に相当する。ターゲット視差レンジrは、入力画像の横幅を基準として経験的に決定される。このとき、飛出し側の許容値および奥行き側の許容値についても経験的に決定される。このターゲット視差レンジrは、動的に決定してもよいし、予め設定された固定値を用いるようにしてもよい。例えば、例えば、1280画素×760画素の入力画像であれば、経験的に決定された値22を用いて、以下のように算出される。ターゲット視差レンジr=画像横サイズ/22=1280/22=58そして、最も飛出している状態の視差と最も奥行き側にある状態の視差との差が、ターゲット視差レンジrになるように、視差調整関数の傾きである視差増減係数cと、視差調整関数の切片である視差オフセットoとが算出される。より具体的には、視差の最大値の平均値AVE_MAXおよび視差の最小値の平均値AVE_MINを用いて、以下の式に従って、視差増減係数cおよび視差オフセットoが算出される。視差増減係数c=ターゲット視差レンジr/平均値AVE_MAX-平均値AVE_MIN視差オフセットo=平均値AVE_MAX平均値AVE_MIN/2調整後視差距離量=視差増減係数c×調整前視差距離量-視差オフセットo例えば、飛出し側の許容値が29.0で、奥行き側の許容値が-29.0であり、かつ、視差の最大値の平均値AVE_MAXが12.7であり、視差の最小値の平均値AVE_MINが-14.56であった場合には、視差増減係数cは2.13と算出され、視差オフセットoは-0.93と算出される。以上のように、ステップS3の視差全体調整量決定処理は、長時間範囲Aフレーム分に存在する処理対象フレームの視差画像について、飛出し側の視差の大きさを、長時間範囲Aフレーム分にわたって平滑化した結果に応じた値に補正する処理を含む。また、ステップS3の視差全体調整量決定処理は、長時間範囲Aフレーム分に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、長時間範囲Aフレーム分にわたって平滑化した結果に応じた値に制限する処理を含む。そして、視差全体調整量決定処理は、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定する処理、および、視差画像に生じる視差位置のオフセットを決定する処理を含む。また、視差全体調整量決定処理では、長時間範囲Aフレーム分にわたって平滑化した結果に応じて、視差の最小値を制限する。《c5:視差調整処理》次に、ステップS4の視差調整処理の詳細について説明する。上述のように、視差全体調整量が決定されると、図11に示される視差調整関数に従って、処理対象のフレームについての視差画像に対して視差調整処理が行われる。すなわち、視差画像を構成する各画素の画素値調整前視差量が視差調整関数に入力され、その出力値が調整後視差量として決定される。図12は、図10に示す平滑化後の視差画像に対して視差調整された視差画像の一例を示す図である。以上のように、ステップS4の視差調整処理は、長時間範囲Aフレーム分にわたって平滑化した結果、および、短時間範囲Bフレーム分にわたる平滑化により得られた視差画像に基づいて、視差画像を補正する処理を含む。《c6:立体視画像生成処理》次に、ステップS5の立体視画像生成処理の詳細について説明する。上述のように、平滑化処理および視差調整処理によって各フレームにおける視差画像が生成されると、立体視画像が生成される。本実施の形態においては、一例として、入力画像1をそのまま左眼用画像として用いるとともに、入力画像1に視差画像に基づいて視差を与えることで右眼用画像を生成する。より具体的には、入力画像1の各画素を、視差画像の対応する画素の座標値距離、視差に応じて位置をずらすことで、右眼用画像が生成される。被写体を立体視表示するためには、左眼用画像および右眼用画像との間で、対応する画素が指定された距離視差だけ離れていればよいので、入力画像から左眼用画像および右眼用画像をそれぞれ生成してもよい。図13は、本発明の実施の形態1に従う立体視画像生成処理を説明するための図である。図13には、入力画像1を主体的に用いる場合の処理例を示す。図14は、図13に示す立体視画像生成処理の処理手順を示すフローチャートである。図13を参照して、立体視画像生成処理においては、視差画像に基づいて、主体的に用いられる入力画像から各フレームのステレオ画像左眼用画像および右眼用画像が生成される。より具体的には、主体的に用いられる入力画像を構成するライン単位で画素の位置をずらすことで、他方の右眼用画像または左眼用画像が生成される。図13には、入力画像1をそのまま左眼用画像として用いるとともに、入力画像1から右眼用画像を生成する例を示す。図13には、左眼用画像として用いる入力画像1のあるラインについて、画素位置座標が101,102,,110である10個の画素が示されている。各画素位置に対応する距離視差がそれぞれ40,40,41,41,41,42,42,41,40,40であるとする。これらの情報を用いて、各画素について、ずらし後の画素位置右眼用画像における座標が算出される。より具体的には、ずらし後の画素位置=左眼用画像における座標-対応する距離視差に従って、1ライン分の各画素についてのずらし後の画素位置が算出される。そして、それぞれの画素値と対応するずらし後の画素位置とに基づいて、右眼用画像の対応する1ライン分の画像が生成される。このとき、距離視差の値によっては、対応する画素が存在しない場合がある。図13に示す例では、右眼用画像の画素位置66および68の画素の情報が存在しない。このような場合には、隣接する画素からの情報を用いて、不足する画素の画素値が補間される。このような処理を入力画像に含まれるすべてのライン分だけ繰り返すことで、右眼用画像が生成される。なお、この画素位置をずらす方向は、視差を生じさせるべき方向であり、具体的には、ユーザーに向けて表示した場合に、水平方向となる方向に相当する。このような処理手順を示すと、図14のようになる。すなわち、図14を参照して、3D画像生成部36図1は、入力画像1の1ライン分の画素について、それぞれのずらし後の画素位置を算出するステップS3601。続いて、3D画像生成部36は、ステップS1において算出されたずらし後の画素位置から1ライン分の画像右眼用画像を生成するステップS3602。その後、3D画像生成部36図1は、入力画像に処理を行なっていないラインが存在するか否かを判断するステップS3603。入力画像に処理を行なっていないラインが存在していればステップS3603においてYES、次のラインが選択され、ステップS3601およびS1402の処理が繰り返される。入力画像のすべてのラインについて処理が完了していればステップS3603においてNO、3D画像生成部36は、入力画像1左眼用画像とともに、生成した右眼用画像を出力する。そして、処理は終了する。図13および図14には、入力画像1が出力画像として決定された場合、すなわち入力画像1が主体的に用いられる場合の処理について説明したが、入力画像2が出力画像として決定された場合、すなわち入力画像2が主体的に用いられる場合の処理についても同様である。但し、上述の対応点探索処理においては、基準画像と参照画像との関係が入れ替わる。図15は、図6に示す入力画像1および入力画像2を用いて生成されたステレオ画像の一例を示す図である。以上のように、ステップS5の立体視画像生成処理は、フレーム毎の入力画像1と、当該フレーム毎の入力画像1にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、立体視画像を生成する処理を含む。《c7:適用例》上述した本実施の形態に従う画像処理方法の適用例について説明する。図16は、本発明の実施の形態1に従う画像処理方法の適用例を示す図である。図17は、図16に示す適用例に対応する各パラメータの時間的変化を示す図である。図16A~Cの1入力画像に示すように、撮像部2を固定して、道路を走行する車両を所定期間にわたって撮像した場合を考える。このような状況では、遠景側にある建物と近景側を通過する車両との関係で、視差量は、比較的頻繁に変化する。すなわち、撮像部2の近くを物体車両が通過するときには、図16A~Cの2視差画像に現れるように、当該物体に対応する位置の視差量が相対的に大きくなることがわかる。これに対して、図16A~Cの3視差調整後の視差画像に示すように、本実施の形態に従う平滑化処理および視差調整処理を行なうことで、画像全体としての視差の変化を緩やかに維持しつつ、車両の通過に相当する視差の変化の情報を反映した視差画像を生成できる。図17Aに示すように、長時間範囲にわたる平滑化を行なうことによって、入力画像から生成される視差画像における視差の最大値および最小値太実線は、比較的大きく変動しているが、視差調整後の視差画像における視差の最大値および最小値細実線の変動は、比較的緩やかに抑えられている。そして、視差調整後の視差画像における視差は、予め定められた視差レンジターゲット視差レンジ太破線内になるように調整される。図17Aの楕円破線の部分が図16に示す車両が通過した期間を示す。このように、被写体の動きによって、視差画像に含まれる視差が急激に変化しているところであっても、長時間範囲にわたって平滑化されているため、この視差の急激な変化に合わせて、出力されるステレオ画像の視差が急激に増減することはない。そのため、立体視表示される動画の全体的な視差が急激に変化することによる違和感は生じない。このことは、図17Bに示す視差増減係数cおよび図17Cに示す視差オフセットoの値が、大きくは変動していないことからもわかる。一方で、図16Cに示すように、視差画像を短時間範囲にわたって平滑化することで、各フレームにおける視差情報立体感の情報は残ったままとなり、各フレームにおける適切な立体視を提供できる。なお、撮像部2の向きを動かして、例えば近くの電柱がずっと撮像され続けられた場合などには、長時間範囲にわたって平滑化されるとしても、その変化が反映されるため、その飛出した視差電柱が徐々に奥側に抑えられることになる。《c8:変形例》c8.1:視差増減係数の制限視差全体調整量を決定する視差増減係数cは、大きくしすぎたり、あるいは小さくしすぎたりしても、その視差調整の誤りを増長させてしまうなど副作用が出る可能性があるので、所定の範囲内に収まるように制限してもよい。例えば、視差増減係数cは、0.5から3.0の間になるよう制限されてもよい。すなわち、視差全体調整量の調整処理ステップS3は、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定する処理を含んでもよい。図18は、視差増減係数cを制限した場合における図17に示す各パラメータの時間的変化を示す図である。視差増減係数cを制限すると、図18Bに示すように、その制限値でクリップされることになり、図18Aに示すように、視差レンジが不要に変化しすぎることを防止できる。c8.2:時間方向の平滑化処理本実施の形態に係る時間方向の平滑化処理は、処理対象フレームを含む長時間範囲および短時間範囲のそれぞれに含まれるフレームを対象に行なわれる。図9には、オフライン処理を想定して、処理対象フレームを中心として、過去および未来のフレームを用いて平滑化する例を示したが、リアルタイム処理の場合には、処理対象フレームから過去のフレームのみを用いて平滑化してもよい。c8.3:クリップ処理長時間範囲にわたる平滑化処理においては、急激な視差の変化を抑制するため、クリップ処理を行なってもよい。すなわち、入力画像から生成された視差画像における視差の最大値および最小値の時間軸方向での変化が所定のしきい値を超える場合には、その変化を制限してもよい。例えば、処理対象フレームにおける視差の最大値および最小値と1フレーム前における視差の最大値および最小値とを比較し、または、処理対象フレームにおける視差の最大値および最小値と1フレーム前の平滑化後の視差の最大値および最小値とを比較し、所定値例えば、30を超えて変化している部分は、急激な変化を抑えるため、所定値にクリップしてもよい。すなわち、平滑化処理は、時間軸上のある位置に対応する視差画像の視差の最大値または最小値が、時間軸上の近接する位置に対応する視差画像の最大値または最小値に比較して、所定のしきい値を超えて変化している画素については、当該視差の最大値または最小値を当該所定のしきい値に制限する処理を含んでもよい。c8.4:ノイズ除去処理短時間範囲にわたる平滑化処理においては、時間軸方向での変化量に基づくノイズ除去処理を行なってもよい。例えば、処理対象フレームの視差画像と1フレーム前の視差画像とを比較し、または、処理対象フレームの視差画像と1フレーム前の平滑化後の視差画像とを比較し、その差が所定値例えば、30を超えている部分例えば、図7の領域300は、ノイズであると判定してもよい。このようにノイズとして判定された部分については、比較対象の、1フレーム前の視差画像、または、1フレーム前の平滑化後の視差画像の対応する部分を用いて置換してもよい。すなわち、平滑化処理は、時間軸上のある位置に対応する視差画像に含まれる画素が示す視差のうち、平滑化された視差画像に含まれる画素が示す視差に比較して、所定のしきい値を超えて変化している画素については、対応する視差の大きさを当該所定のしきい値に制限する処理を含んでもよい。c8.5:視差の最大値のみの平滑化視差全体調整量について、視差の変化が大きく問題となりやすいのは飛出し側であるため、飛出し側の視差についてのみ平滑化してもよい。すなわち、長時間範囲にわたる平滑化処理においては、視差画像における視差の最大値MAXのみを平滑化してもよい。この場合、視差の最小値MINは、無限遠を想定した一定値を用いることができる。c8.6:その他上述の変形例に示した複数の処理を適宜組み合わせてもよい。[D.実施の形態2]上述の実施の形態1においては、一対の入力画像のうち、一方の入力画像から立体動画を生成する処理例1枚モードについて説明した。これに対して、実施の形態2においては、一対の入力画像ステレオ画像に対して視差補正を行なうことで立体動画を生成する処理例2枚モードについて説明する。基本的な処理の内容は、実施の形態1と同様であるので、主として、実施の形態1とは異なる処理について説明する。すなわち、実施の形態2においては、入力画像として、ステレオカメラなどで被写体を撮像して得られる一対の画像左眼用画像および右眼用画像が入力される。そして、左眼用画像は、左眼用の視差画像に基づいて視差調整が行なわれることで、視差調整後の左眼用画像が出力され、右眼用画像は、右眼用の視差画像に基づいて視差調整が行なわれることで、視差調整後の右眼用画像が出力される。図19は、本発明の実施の形態2に従う全体処理手順を示すフローチャートである。図19を参照して、各フレームの入力画像1左眼用画像および入力画像2右眼用画像が取得されると、入力画像1用の視差画像が各フレームについて生成されるステップS11とともに、入力画像2用の視差画像が各フレームについて生成されるステップS12。これらの処理は、基本的には、図5のステップS1と同様であるが、視差を算出する基準となる画像が互いに異なったものとなる。続いて、生成されたそれぞれの視差画像に対して、平滑化処理が実行されるステップS21およびS22。この平滑化処理は、主として、画像処理部3の平滑化処理部33図1によって実行される。続いて、長時間範囲にわたる複数フレームの視差画像に対する平滑化の結果に基づいて、視差全体調整量の決定処理が実行されるステップS30。この視差全体調整量の決定処理については、基本的には、実施の形態1と同様であるが、以下のような点が異なっている。すなわち、視差全体調整量に含まれる、視差増減係数cおよび視差オフセットoについては、左眼用画像の視差画像および右眼用画像の視差画像の2種類があるため、それぞれの視差の平均値を用いる。より具体的には、左眼用画像の視差画像における、視差の最大値の平均値AVE_MAX1および視差の最小値の平均値AVE_MIN1、ならびに、右眼用画像の視差画像における、視差の最大値の平均値AVE_MAX2および視差の最小値の平均値AVE_MIN2を用いて、以下の式に従って、視差増減係数cおよび視差オフセットoが算出される。視差増減係数c=ターゲット視差レンジr×2/平均値AVE_MAX1-平均値AVE_MIN1平均値AVE_MAX2-平均値AVE_MIN2視差オフセットo=平均値AVE_MAX1平均値AVE_MIN1平均値AVE_MAX2平均値AVE_MIN2/4続いて、生成されたそれぞれの視差画像に対して、ステップS30において決定された視差全体調整量に従って、視差を調整する処理が実行されるステップS41およびS42。このステップS41およびS42における処理についても、図5のステップS4と同様であるが、視差を調整する方向が互いに異なったものとなる。すなわち、視差の調整については、実施の形態1とは異なり左眼用画像および右眼用画像において視差の存在する状態から、それぞれ変更すべき視差量1-c分を左右均等に分配して視差を調整する。ここで、視差調整の加算量は、左眼用画像と右眼用画像とでは、動かす向きが互いに逆になるため、以下のように符合は逆になる。左眼用画像の調整後視差距離量=1-視差増減係数c×左眼用画像の調整前視差距離量-視差オフセットo視差オフセットo/2右眼用画像の調整後視差距離量=-1-視差増減係数c×右眼用画像の調整前視差距離量-視差オフセットo視差オフセットo/2そして、調整後の左眼用画像および右眼用画像がステレオ画像としてモニターなどへ出力される。以上のように、S41およびS42の視差調整処理は、フレーム毎の入力画像1および入力画像2を、対応する補正後の視差画像に従ってそれぞれ視差を調整することで得られる画像を用いて、立体視画像を生成する処理を含む。図20は、本発明の実施の形態2に従う画像処理方法の適用例を示す図である。図21は、図20に示す適用例において出力されるステレオ画像の一例を示す図である。図20AおよびBに示すように、本実施の形態においても、長時間範囲にわたって平滑化されているため、局所的なフレームにおける視差の急激な変化があっても、出力されるステレオ画像の視差が急激に増減することはない。そのため、立体視表示される動画の全体的な視差が急激に変化することによる違和感は生じない。一方で、視差画像を短時間範囲にわたって平滑化することで、各フレームにおける視差情報立体感の情報は残ったままとなり、各フレームにおける適切な立体視を提供できる。図21Aは、入力画像1左眼用画像および入力画像2右眼用画像の例を示し、図21Bには、対応して出力されるステレオ画像視差調整後の左眼用画像および右眼用画像の例を示す。上述したように、本実施の形態においては、入力画像1左眼用画像および入力画像2右眼用画像の別に、視差を調整する方向が互いに逆になる破線矢印。実施の形態2のその他の構成や処理などについては、実施の形態1と同様であるので、詳細な説明は繰り返さない。また、実施の形態2に対しても、実施の形態1の変形例において説明した処理や構成を適宜採用できる。[E.その他の形態]本発明は、以下のような別の局面に従う実施の形態を含む。すなわち、本発明の別の局面に従う動画処理方法は、視差量を調整するための少なくとも一つの時間軸方向の平滑化処理を含む画像処理であって、少なくとも飛出し側の視差量を所定の視差以下にする。好ましくは、視差レンジ飛出し-奥行きが所定の視差以下に調整される。好ましくは、時間軸方向の平滑化処理は、2種類の時間範囲で平滑化を行ない、各画素に対応する視差量を決定する。好ましくは、所定の時間範囲の方が、第2の時間範囲よりも長い。好ましくは、立体動画は、片方の画像から生成する1枚モード、あるいは、両方の画像を視差調整して生成する2枚モード。好ましくは、視差全体調整量の決定は、視差増減係数、視差位置の視差オフセットの少なくとも1つを決定することを含む。好ましくは、視差増減係数は、所定範囲を超えないように制限する。好ましくは、所定の時間範囲での平滑化では、視差の最小値を平滑化する。好ましくは、所定の時間範囲および第2の時間範囲での平滑化では、時間的に近いフレームと比較し、しきい値を超えて変化している視差は、しきい値にクリップする。好ましくは、所定の時間範囲および第2の時間範囲での平滑化では、時間的に平滑化したフレームと比較し、しきい値を超えて変化している視差は、しきい値にクリップする。好ましくは、所定の時間範囲は、10秒以上である。好ましくは、第2の時間範囲は、5秒以下である。[F.利点]本発明の実施の形態によれば、立体動画を構成する各フレームの立体感を残しつつ、全体的な視差もうまく調整できる。今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。"