(57)【要約】【課題】劣化がより軽減された高精細な補間画像を生成すること。【解決手段】複数の参照画像の間の補間画像の画素に対応する対応点を検出する対応点検出部１０１と、劣化モデルに従って補間画像を劣化させ劣化補間画像を算出する劣化補間画像算出部１０２と、劣化補間画像の画素値と対応点の画素値の差分値に基づいて、劣化補間画像が補間画像である尤もらしさである尤度を算出する尤度算出部１０４と、補間画像上で隣接する画素の画素値の差分値に基づいて正則化エネルギーを算出する正則化エネルギー算出部１０５と、尤度と正則化エネルギーが減少するように補間画像の画素値を更新する補間画像更新部１０９と、更新された補間画像に対して劣化補間画像の算出、尤度の算出、正則化エネルギーの算出および補間画像の更新の一連の処理を複数回行った後の補間画像を出力する補間画像生成部１０７とを備えた。【選択図】        図１
2008228056.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数の参照画像から、前記参照画像の間に補間すべき補間画像の画素に対応する対応点を検出する対応点検出部と、
前記補間画像の初期値を設定する初期値設定部と、
観測による画質の劣化を表す劣化モデルに従って前記補間画像を劣化させることにより、前記補間画像が劣化した画像である劣化補間画像を算出する劣化補間画像算出部と、
前記劣化補間画像の画素値と前記対応点の画素値の差分値である第１の差分値に基づいて、前記劣化補間画像が前記補間画像である尤もらしさを表す尤度を算出する尤度算出部と、
前記補間画像上で隣接する画素の画素値の差分値である第２の差分値に基づいて、前記第２の差分値が減少するに従ってエネルギー値が減少する性質を有する正則化エネルギーを算出するエネルギー算出部と、
前記尤度と前記正則化エネルギーが減少するように前記補間画像の画素値を更新する補間画像更新部と、
更新された前記補間画像に対して前記劣化補間画像算出部、前記尤度算出部、前記エネルギー算出部および前記補間画像更新部による一連の処理を複数回行うよう制御し、前記一連の処理を複数回行った後の前記補間画像を出力する補間画像生成部と、
を備えたことを特徴とする補間画像生成装置。
【請求項２】
前記対応点検出部は、入力された３以上の参照画像の間に補間すべき補間画像の画素に対応する対応点を検出することを特徴とする請求項１に記載の補間画像生成装置。
【請求項３】
前記尤度算出部は、前記第１の差分値が第１の閾値より大きい差分値の重みを小さくして前記尤度を算出することを特徴とする請求項１または２に記載の補間画像生成装置。
【請求項４】
前記エネルギー算出部は、前記第２の差分値が第２の閾値より大きい差分値の重みを小さくして前記正則化エネルギーを算出することを特徴とする請求項１〜３のいずれか一つに記載の補間画像生成装置。
【請求項５】
前記尤度算出部は、ガウシアンカーネルを用いて定義した前記尤度を算出することを特徴とする請求項１〜４のいずれか一つに記載の補間画像生成装置。
【請求項６】
入力された複数の参照画像から、前記参照画像の間に補間すべき補間画像の画素に対応する対応点を検出する対応点検出ステップと、
前記補間画像の初期値を設定する初期値設定ステップと、
観測による画質の劣化を表す劣化モデルに従って前記補間画像を劣化させることにより、前記補間画像が劣化した画像である劣化補間画像を算出する劣化補間画像算出ステップと、
前記劣化補間画像の画素値と前記対応点の画素値の差分値である第１の差分値に基づいて、前記劣化補間画像が前記補間画像である尤もらしさを表す尤度を算出する尤度算出ステップと、
前記補間画像上で隣接する画素の画素値の差分値である第２の差分値に基づいて、前記第２の差分が減少するに従ってエネルギー値が減少する性質を有する正則化エネルギーを算出するエネルギー算出ステップと、
前記尤度と前記正則化エネルギーが減少するように前記補間画像の画素値を更新する補間画像更新ステップと、
更新された前記補間画像に対して前記劣化補間画像算出ステップ、前記尤度算出ステップ、前記エネルギー算出ステップおよび前記補間画像更新ステップによる一連の処理を複数回行うよう制御し、前記一連の処理を複数回行った後の前記補間画像を出力する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
【請求項７】
入力された複数の参照画像から、前記参照画像の間に補間すべき補間画像の画素に対応する対応点を検出する対応点検出ステップと、
前記補間画像の初期値を設定する初期値設定ステップと、
観測による画質の劣化を表す劣化モデルに従って前記補間画像を劣化させることにより、前記補間画像が劣化した画像である劣化補間画像を算出する劣化補間画像算出ステップと、
前記劣化補間画像の画素値と前記対応点の画素値の差分値である第１の差分値に基づいて、前記劣化補間画像が前記補間画像である尤もらしさを表す尤度を算出する尤度算出ステップと、
前記補間画像上で隣接する画素の画素値の差分値である第２の差分値に基づいて、前記第２の差分が減少するに従ってエネルギー値が減少する性質を有する正則化エネルギーを算出するエネルギー算出ステップと、
前記尤度と前記正則化エネルギーが減少するように前記補間画像の画素値を更新する補間画像更新ステップと、
更新された前記補間画像に対して前記劣化補間画像値算出ステップ、前記尤度算出ステップ、前記エネルギー算出ステップおよび前記補間画像更新ステップによる一連の処理を複数回行うよう制御し、前記一連の処理を複数回行った後の前記補間画像を出力する補間画像生成ステップと、
をコンピュータに実行させる補間画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の参照画像の間に挿入する補間画像を生成する補間画像生成装置、方法およびプログラムに関する。
【背景技術】
【０００２】
複数の参照画像の間に挿入する補間画像を生成する手法としては、従来から種種の技術が一般的に知られている。このような補間画像の生成方法では、現実世界の事象を撮像した複数の参照画像を使用するが、この参照画像は、本来連続な現実世界の画像をカメラ等によって離散的にサンプリングしたものであり、離散的にサンプリングされた画像には、現実世界の事象よりも種種の要因により劣化している。
【０００３】
例えば、静止した背景の前の物体が移動する事象をカメラ等で撮像すると、かかる事象をサンプリングして画像を生成することから、かかる画像を表示する場合には、移動物体がボケてしまうという動きボケという劣化が画像に生じてしまう。
【０００４】
従って、このように現実世界の事象をサンプリングして得られ、劣化した画像を参照画像として、補間画像を生成する場合には、生成される補間画像も劣化してしまうという問題がある。
【０００５】
このような問題を解決するために、例えば、特許文献１の技術が知られている。この特許文献１の技術では、時間積分効果を有する画像センサにより取得された複数画素からなる画像内の処理領域では、動きオブジェクトの画素の画素値が、動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとしてモデル化し、画像データにおける処理領域の画素の画素値に基づき、処理領域に含まれる動きオブジェクトの動きボケが軽減された動きボケ軽減画像を生成し、生成された複数の動きボケ軽減画像に基づいて補間画像を生成している。
【０００６】
【特許文献１】特開２００５−２６０９２９公報（図１３等）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような特許文献１の技術では、まず参照画像の動きボケ軽減画像を生成してから、この動きボケ軽減画像の間に挿入する補間画像を生成するという、動きボケ軽減と補間画像の生成とを別個に行っていたため、生成される補間画像には、劣化が存在してしまうという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであって、劣化がより軽減された高精細な補間画像を生成することができる補間画像生成装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる補間画像生成装置は、入力された複数の参照画像から、前記参照画像の間に補間すべき補間画像の画素に対応する対応点を検出する対応点検出部と、前記補間画像の初期値を設定する初期値設定部と、観測による画質の劣化を表す劣化モデルに従って前記補間画像を劣化させることにより、前記補間画像が劣化した画像である劣化補間画像を算出する劣化補間画像算出部と、前記劣化補間画像の画素値と前記対応点の画素値の差分値である第１の差分値に基づいて、前記劣化補間画像が前記補間画像である尤もらしさを表す尤度を算出する尤度算出部と、前記補間画像上で隣接する画素の画素値の差分値である第２の差分値に基づいて、前記第２の差分が減少するに従ってエネルギー値が減少する正則化エネルギーを算出するエネルギー算出部と、前記尤度と前記正則化エネルギーが減少するように前記補間画像の画素値を更新する補間画像更新部と、更新された前記補間画像に対して前記劣化補間画像算出部、前記尤度算出部、前記エネルギー算出部および前記補間画像更新部による一連の処理を複数回行うよう制御し、前記一連の処理を複数回行った後の前記補間画像を出力する補間画像生成部と、を備えたことを特徴とする。
また、本発明は、上記補間画像生成装置で実行される方法およびプログラムである。
【発明の効果】
【００１０】
本発明によれば、劣化がより軽減されて現実世界の事象に近い高精細な補間画像を生成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明にかかる補間画像生成装置、方法およびプログラムの最良な実施の形態を詳細に説明する。
【００１２】
（実施の形態１）
図１は、実施の形態１にかかる補間画像生成装置の機能的構成を示すブロック図である。実施の形態１にかかる補間画像生成装置１００は、図１に示すように、対応点検出部１０１と、初期値設定部１０８と、劣化補間画像算出部１０２と、尤度算出部１０４と、正則化エネルギー算出部１０５と、補間画像更新部１０９と、補間画像生成部１０７と、メモリ１０３と、フレームメモリ１０６とを主に備えている。
【００１３】
対応点検出部１０１は、２つの参照フレームを入力し、入力された２つの参照フレームの間を補間すべき補間フレームの画素に対応する各参照フレームの画素である対応点を検出する処理部である。初期値設定部１０８は、後述する（２２）式における補間フレームの初期値を設定する処理部である。
【００１４】
劣化補間画像算出部１０２は、補間フレームを観測したと仮定した場合において、補間フレームの劣化した画像である劣化補間フレームの画素値である劣化画素値を算出することにより、劣化補間フレームを算出する処理部である。
【００１５】
尤度算出部１０４は、劣化補間フレームの画素値と対応点の画素値の差分値である第１の差分値に基づいて、劣化補間フレームが補間フレームである尤もらしさを表す尤度を算出する処理部である。
【００１６】
正則化エネルギー算出部１０５は、補間フレーム内の隣接する画素の画素値の差分値である第２の差分値に基づいて、この第２の差分値が減少するに従ってエネルギー値が減少する性質をもつ正則化エネルギーを算出する処理部である。
【００１７】
補間画像更新部１０９は、尤度と正則化エネルギーとが最小となるように補間フレームの各画素の画素値を算出して補間フレームを更新する処理部である。
【００１８】
補間画像生成部１０７は、更新後の補間フレームを用いて劣化画素算出部１０２、尤度算出部１０４、正則化エネルギー算出部１０５および補間画像更新部による一連の処理を行うよう制御し、前記制御が複数回行われた後の補間フレームを出力する処理部である。なお、上記各部の詳細については後述する。
【００１９】
メモリ１０３は、上記各部で求めた各種計算結果や上記各部による計算で使用するパラメータ等を保存する記憶媒体である。フレームメモリ１０６は、入力された参照フレームと保存する記憶媒体である。
【００２０】
図２は、補間フレームを説明するための模式図である。図２に示すように、実施の形態１では、２つの参照フレーム１、２を入力してその間の補間フレームを生成する。また、図２に示すように、参照フレーム１の時間位置を時間０、参照フレーム２の時間位置を時間１、補間フレームの時間位置を時間ｔ（０≦ｔ≦１）とする。
【００２１】
画像全体の集合をＮ、参照フレーム上の点ｎ（∈Ｎ）として、参照フレーム１の画素値をｇ1（ｎ）、参照フレーム２の画素値をｇ2（ｎ）とする。補間フレームとして補間すべきフレーム（推定すべき補間フレーム）の画素値をｘnとする。ここで、本実施の形態では、画素値としてスカラーである輝度値を用いるが、これに限定されるものではなく、画素値として３原色ＲＧＢを示すベクトルや均等色Ｌａｂを示すベクトルを用いることも可能である。ここで、ｇ1（ｎ）、ｇ2（ｎ）は、後述する劣化モデルの（１１）式におけるｇと同様のものであり、これは、観測される参照フレームが画質劣化していることを考慮したものである。画質劣化モデルの詳細については後述する。
【００２２】
対応点検出部１０１について説明する。対応点検出部１０１では、参照画像１と参照画像２から、ブロックマッチングの手法を用いて以下のように２つの画像間の動きを推定している。ここで、本実施の形態では、ブロックマッチングの手法を採用しているが、これに限定されるものではなく、例えば、オプティカルフロー推定、勾配法、ベイジアンメソッドなどの各手法を用いて動き推定を行ってもよい。
【００２３】
ブロックマッチングでは、参照画像を（１）式であらかじめ設定された矩形領域のブロックに分割する。
【００２４】
【数１】
2008228056.tif 000003
【００２５】
動き探索の領域をＷ∈Ｒ2（Ｒ2はベクトル空間）とすると、差分二乗和基準（SSD：Sum of Squared Difference）に従ったブロックマッチングアルゴリズムは（２）式で示される。
【００２６】
【数２】
2008228056.tif 000004
【００２７】
ｄ（i）が動きベクトル、すなわちブロックｉの動きである。ブロックマッチングではブロック内は同一の動きベクトルを有すると仮定され、各画素の動きベクトルは、（３）式で表すことができる。
【００２８】
【数３】
2008228056.tif 000005
【００２９】
次に、対応点検出部１０１は、この動きベクトルを、以下のように補間フレームからの対応点に変換する。動きベクトルを補間フレームのスケールに変換すると、（４）式で示される。
【００３０】
【数４】
2008228056.tif 000006
【００３１】
（４）式は、参照フレーム１から補間フレームへの動きベクトルであり、この動きベクトルが補間フレーム上で指し示している位置を求めると（５）式となる。
【００３２】
【数５】
2008228056.tif 000007
【００３３】
ここで、動きベクトルｄs（ｎ）は、補間フレーム上の画素位置に適合しない場合もあるので、上記切り捨てのオペレータを用いて最近傍の画素位置を求めている。
【００３４】
参照フレーム１から補間フレームへの動きベクトルが（４）式で示されるので、補間フレームから参照フレーム１への動きベクトルは、次式で示される。
【００３５】
−ｔｄ（ｎ）
補間フレームは参照フレーム１と参照フレーム２の内分点のフレームであるため、補間フレームから参照フレーム２への動きベクトルは次式で示されることになる。
【００３６】
（１−ｔ）ｄ（ｎ）
従って、補間フレームの参照フレーム１における対応点は、−ｔｄ（ｎ）の点であり、補間フレームの参照フレーム２における対応点は、（１−ｔ）ｄ（ｎ）の点となる。これにより、対応点検出部１０１では、上述のように、２つの参照フレームの間の補間フレームの画素に対応する参照フレーム１、２上の対応点を求める。図３は、補間フレームの画素に対応する参照フレーム１、２上の対応点を示す模式図である。
【００３７】
ただし、上述の方法では、補間フレーム上の点の中に対応点を割り当てることができない点が生じてしまう。対応点検出部１０１の変形例として、次のように対応点を求めてもよい。かかる手法は、J. Nieweglowski, P. Haavisto, “Motion Compensated Video Sequence Interpolation Using Digital Image Warping”, IEEE Acoustics, Speech, and Signal Processing, vol.5, p205-208, 1994、およびJ. Nieweglowski, T. George Campbell, P. Haavisto, “A Novel Video Coding Sheme Based on Temporal Prediction Using Digital Image Warping”, IEEE Transactions on , Volume: 39 Issue: 3 , Aug. 1993の文献に記載されているDigital Image Wrappingと同様の手法を用いて行う。
【００３８】
対応点検出部１０１は、このDigital Image Wrappingの手法により、四辺形の各点ごとに動きベクトルを求め、四辺形を二つの三角形に分割し、それぞれの三角形ごとに、３つの頂点によって求まるアフィン変換を算出し、そのアフィン変換を用いて内挿する三角形の画像値を求める。
【００３９】
（６−１）式のＶを頂点とする三角形から（６−２）式のＹを頂点とする三角形へのアファイン変換は、（７）式で示される。
【００４０】
【数６】
2008228056.tif 000008
【００４１】
【数７】
2008228056.tif 000009
【００４２】
（７）式のアファイン変換を用いて、三角形Ｖ内の点（ｙ，ｖ）T は（８）式で表される三角形Ｙ内の点（ｘ、ｙ）T に対応することが算出できる。
【００４３】
【数８】
2008228056.tif 000010
【００４４】
対応点検出部１０１は、このアファイン変換を用いて補間フレームを求める。図４は、対応点検出を説明するための模式図である。
【００４５】
【数９】
2008228056.tif 000011
【００４６】
（９−１）式を頂点とする補間フレーム上の三角形をＷ、（９−２）式を頂点とする参照フレーム１上の三角形をＸ、（９−３）式を頂点とする参照フレーム２上の三角形をＹとし、補間フレーム上の三角形Ｗ内の点ｗの画素値を求めるため、三角形Ｗから三角形Ｘへのアファイン変換と、三角形Ｗから三角形Ｙへのアファイン変換とをそれぞれ（７）式で求め、それぞれのアファイン変換から点ｗに対応する画素値を求める。これにより、補間フレーム上の三角形Ｗ内の点ｗに対応する参照フレーム１上の三角形Ｘ内の対応点は、（１０−１）式で、補間フレーム上の三角形Ｗ内の点ｗに対応する参照フレーム２上の三角形Ｙ内の対応点は（１０−２）式で算出される。
【００４７】
【数１０】
2008228056.tif 000012
【００４８】
次に、劣化補間画像算出部１０２について説明する。劣化補間画像算出部１０２は、現実世界の事象をカメラ等により観測して画像に写像する際に発生する現実世界の事象と写像した画像との誤差を画質劣化とし、この画質劣化の要因を、補間フレームを考慮してモデル化する。すなわち、２つの参照フレームの間に補間すべき補間フレームが仮にカメラ等で観測されて、この観測された補間フレームが現実世界の事象から劣化した画像（フレーム）と考える。そして、劣化補間画像算出部１０２は、この劣化した補間フレームの画素値を求める。以下、現実世界の参照フレームの間に補間すべき補間フレームを観測したと仮定して得られた劣化した補間フレームを劣化補間フレームといい、その劣化補間フレームの画素値を劣化画素値という。補間フレーム上の各画素に関して求められた対応点は、劣化補間フレーム上で当該画素と同じ位置にある画素の対応点でもある。
【００４９】
劣化補間フレームの劣化画素値をｇ、対応点をｎ’とすると、画質劣化が（１１）式のようにモデル化して示すことができる。
【００５０】
【数１１】
2008228056.tif 000013
【００５１】
ここで、ｈ（ｘn）は劣化関数であり、画質劣化要因をモデル化した関数である。εはガウシアンノイズである。かかる（１１）式で画素値ｘnが、劣化補間フレームから推定すべき劣化要因の軽減された補間フレームの画素値となる。すなわち、推定する現実世界の補間フレームの画素値ｘnに劣化関数ｈ（ｘn）が施されて、さらにノイズεが加算された画素値を有するフレームが実際に観測された参照フレームから求めた劣化補間フレームであると考える。本実施の形態では、画質劣化はノイズのみと考え、劣化関数を（１２）式で与える。
【００５２】
【数１２】
2008228056.tif 000014
【００５３】
かかる補間フレーム（現実世界において劣化が軽減された補間フレーム）ｘの推定問題は、実際に観測された２つの参照フレームｇ1＝ｇ1（ｎ）、ｇ2＝ｇ2（ｎ）が与えられた場合に、（１３）式に示す事後確率を最大化するMaximum a posteriori（ＭＡＰ）問題（１４）式と等価である。
【００５４】
【数１３】
2008228056.tif 000015
【００５５】
【数１４】
2008228056.tif 000016
【００５６】
（１４）式はベイズの定理によって（１５）式で示される。
【００５７】
【数１５】
2008228056.tif 000017
【００５８】
ここで、尤度は、劣化補間フレームが補間フレームである尤もらしさを表すものであり、より具体的には、劣化した参照フレーム１，２の画素値ｇ1、ｇ2の補間フレームの画素値ｘに対する当てはまりの良好性を評価する確率である。また、ｐ（ｘ）は補間フレームの画素値ｘに関する事前知識である。
【００５９】
対応点検出部１０１によって算出された補間フレームの画素ｎに対応する参照フレーム１、２の対応点をｎ1’、ｎ2’とすると、対応点ｎ1’、ｎ2’は劣化補間フレーム上で画素ｎと同じ位置にある画素（画素ｎ）の対応点でもある。画質劣化のモデルは、（１１）式から（１６）式に示すように表される。
【００６０】
【数１６】
2008228056.tif 000018
【００６１】
（１６）式において、劣化関数ｈ（ｘn）が（１２）式で表されることを考慮した。かかる２式は、差分値（１７）式がガウス分布に従うことであるから、尤度は、（１８）式で定式化することができる。
【００６２】
【数１７】
2008228056.tif 000019
【００６３】
【数１８】
2008228056.tif 000020
【００６４】
一般的に、画像は近傍の画素値が近くなるという性質を有している。この性質は、A. M. Tekalp, "digital video processing", Prentice Hall, 1995の文献に記述されているように、確率過程のMarkov Random Field（ＭＲＦ）でよく近似することが知られている。ＭＲＦを補間画素値ｘの構造として取り入れることにより、上記ノイズの影響を取り除くことができる。ＭＲＦは（１９）式のギブス分布に従うことが知られている。ここで、ｘn，ｘn+(-1,0)T，ｘn+(0,-1)T，ｘn+(0,1)T，ｘn+(1,1)Tは、補間フレーム上の隣接する画素の画素値を示している。
【００６５】
【数１９】
2008228056.tif 000021
【００６６】
従って、このギブス分布を、（２０）式に示すように、補間フレームの画素値ｘn，ｘn+(-1,0)T，ｘn+(0,-1)T，ｘn+(0,1)T，ｘn+(1,1)Tの事前知識として用いることにする。
【００６７】
【数２０】
2008228056.tif 000022
【００６８】
（２０）式に対数をとり負値として最大化を最小化とすることにより（２１）式が導かれる。
【００６９】
【数２１】
2008228056.tif 000023
【００７０】
従って、実際に観測された参照フレーム１、２のもとで、ＭＲＦ構造の補間フレームの画素値ｘの中で尤もらしい画素値は（２１）式を解法処理した結果得られるｘである。ここで、Ｄ（ｎ）が尤度であり、Ｖ（ｎ）が正則化エネルギーである。また、ｍはイテレーションである。
【００７１】
補間画像更新部１０９は、この（２１）式の解法処理を行う。（２１）式の解法処理は、非線形最適化問題であり、本実施の形態では、最急降下法を用いるが、これに限定されるものではなく、ニュートン法、共役勾配法、準ニュートン法等の手法を用いて（２１）を解法処理するように構成してもよい。
【００７２】
補間画像更新部１０９では、メモリ１０３に保存された後述する尤度の勾配と正則化エネルギーの勾配を読み出して、（２２）式によりｘn(m+1)を算出する。ここで、（２２）式の解法処理の際に、初期値設定部１０８が（２２）式において補間フレームの初期値ｘn(0)を設定する。補間画像生成部１０７は、この（２２）式の算出の一連の処理、すなわち、劣化補間画像算出部１０２による劣化画素値の算出、後述する尤度算出部１０４による尤度Ｄ（ｎ）の算出、後述する正則化エネルギー算出部１０５による正則化エネルギーＶ（ｎ）の算出および補間画像更新部１０９による（２２）式の解法の一連の処理の反復を所定回数Ｍだけ繰り返すように制御する。そして、補間画像更新部１０９は、所定回数Ｍまでの反復の途中である算出結果ｘn(m+1)を劣化補間フレームの劣化画素値ｇとして出力し、メモリ１０３に保存する。
【００７３】
【数２２】
2008228056.tif 000024
【００７４】
すなわち、所定回数Ｍに達しない回数において補間画像更新部１０９で算出されたｘn(m+1)を劣化画素値ｇとし、補間画像生成部１０７によって、最終的なｘn(m+1)を画質劣化が軽減された現実世界の補間フレームの画素値として、この最終的に求められた補間フレームの画素値ｘn(m+1)により補間フレームを生成し出力する。
【００７５】
なお、本実施の形態では、（２２）式を所定回数Ｍだけ反復しているが、（２２）式の各項の値は、エネルギーが減少する方向に進むため、（２２）式を反復計算してｘn(m+1)の値に変動がなくなった場合に、当該ｘn(m+1)を現実世界の補間フレームの画素値として決定するように構成してもよい。
【００７６】
次に、尤度算出部１０４について説明する。尤度算出部１０４は、（２２）式の第１項である尤度Ｄ（ｎ）を算出する。具体的には、（２２）式の反復解法処理において、尤度算出部１０４は、所定回数Ｍに達しない回数で劣化補間画像算出部１０２で算出された劣化画素値ｇ（すなわち、計算途中過程の（２２）式の出力であるｘn(m+1)）と、観測された参照フレーム１の画素値ｇ1（ｎ1'）、参照フレーム２の画素値ｇ2（ｎ2'）との差分値を求めて、かかる差分値から（２３）式によりＤ（ｎ）の勾配を算出し、メモリ１０３に保存している。ここで、（２３）式において、劣化画素値ｇと参照フレーム１の画素値ｇ1（ｎ1'）、参照フレーム２の画素値ｇ2（ｎ2'）との差分値は、（１１）式および（１２）式から、劣化関数ｈ（ｘn）（＝ｘn）を用いて表している。
【００７７】
【数２３】
2008228056.tif 000025
【００７８】
次に、正則化エネルギー算出部１０５について説明する。正則化エネルギー算出部１０５は、（２２）式の第１項である正則化エネルギーＶ（ｎ）を算出する。具体的には、（２２）式の反復解法処理において、補間フレームの隣接する画素の画素値ｘn，ｘn+(-1,0)T，ｘn+(0,-1)T，ｘn+(0,1)T，ｘn+(1,1)Tの差分値を求め、この差分値から（２４）式によりＶ（ｎ）を算出して、メモリ１０３に保存する。（２４）式からわかるように、Ｖ（ｎ）は、差分が減少するに従ってエネルギー値が減少するエネルギーとなっている。
【００７９】
【数２４】
2008228056.tif 000026
【００８０】
ここで、ｘn+(-1,0)T、ｘn+(0,-1)T、ｘn+(0,1)T、ｘn+(1,0)Tは、補間フレームの隣接する画素の画素値を示している。
【００８１】
次に、以上のように構成された本実施の形態にかかる補間画像生成装置１００による補間画像生成処理について説明する。図５は、実施の形態１の補間画像生成処理の手順を示すフローチャートである。
【００８２】
まず、対応点検出部１０１は２つの参照フレーム１，２の入力を受付け（ステップＳ１１）、補間フレームの画素に対応する対応点を求める（ステップＳ１２）。次に、初期値設定部によって回数ｍを０に初期化し、さらに画素値ｘnに補間フレームの初期値ｘn(0)を設定することにより画素値ｘnを初期化する（ステップＳ１３）。そして、劣化補間画像算出部１０２によって上述のように劣化画素値ｇを求めることにより劣化補間画像の算出を行う（ステップＳ１４）。
【００８３】
次に、尤度算出部１０４によって、劣化画素値ｇと観測された参照フレーム１，２の画素値ｇ1（ｎ1'）、ｇ2（ｎ2'）とから両者の差分値（ｈ（ｘn）−ｇ1（ｎ1'），ｈ（ｘn）−ｇ2（ｎ2'））を求め、（２３）式を用いて尤度Ｄ（ｎ）を算出する（ステップＳ１５）。さらに、正則化エネルギー算出部１０５によって、補間フレームの隣接する画素の画素値の差分値を求め、（２４）式により正則化エネルギーＶ（ｎ）を算出する（ステップＳ１６）。
【００８４】
そして、補間画像更新部１０９によって、ｘn(m+1)を（２２）式により算出する（ステップＳ１７）。なお、（２２）式の途中段階のｘn(m+1)は劣化画素値ｇとして扱われる。そして、補間画像更新部１０９によって、イテレーションｍを１だけインクリメントし（ステップＳ１８）、補間画像生成部１０７によって、所定回数Ｍをｍが越えたか否かを判断する（ステップＳ１９）。そして、イテレーションｍが所定回数Ｍを越えていない場合には（ステップＳ１９：Ｎｏ）、ステップＳ１４からＳ１８までの処理を繰り返す。
【００８５】
一方、イテレーションｍが所定回数Ｍを越えた場合には（ステップＳ１９：Ｙｅｓ）、補間画像生成部１０７によって、算出された画素値ｘn(m+1)を最終的に劣化が軽減された現実世界の補間フレームの画素値として補間フレームを生成して出力し、処理を終了する。
【００８６】
このように実施の形態１にかかる補間画像生成装置１００では、入力された複数の参照フレームから、参照フレームの間に補間すべき補間フレームの画素に対応する対応点を検出し、観測による画質の劣化を表す劣化モデルに従って補間フレームを劣化させることにより、補間フレームが劣化した画像である劣化補間フレームの劣化画素値ｇを算出し、劣化補間フレームの劣化画素値と対応点の画素値の差分値から劣化補間フレームが補間フレームである尤もらしさを表す尤度Ｄ（ｎ）を算出し、補間フレーム上で隣接する画素の画素値の差分値から、当該差分値が減少するに従ってエネルギー値が減少する性質を有する正則化エネルギーＶ（ｎ）を算出し、尤度Ｄ（ｎ）と正則化エネルギーＶ（ｎ）が減少するように補間フレームの画素値を（２２）式で算出して更新し、更新された補間フレームに対して劣化補間画像の算出、尤度Ｄ（ｎ）の算出、正則化エネルギーＶ（ｎ）の算出および補間フレームの更新の一連の処理を複数回行うよう制御し、一連の処理を複数回行った後で算出された画素値から補間フレームを生成して出力しているので、劣化がより軽減されて現実世界の事象に近い高精細な補間フレームを生成することができる。
【００８７】
（実施の形態２）
実施の形態１にかかる補間画像生成装置では、２つの参照フレームから劣化の軽減した補間フレームを生成していたが、この実施の形態２にかかる補間画像生成装置は、３以上の複数の参照フレームから劣化の軽減した補間フレームを生成している。
【００８８】
図６は、実施の形態２にかかる補間画像生成装置の機能的構成を示すブロック図である。実施の形態２にかかる補間画像生成装置６００は、図６に示すように、対応点検出部６０１と、初期値設定部１０８と、劣化補間画像算出部１０２と、尤度算出部６０４と、正則化エネルギー算出部１０５と、補間画像更新部１０９と、補間画像生成部１０７と、メモリ１０３と、フレームメモリ１０６とを主に備えている。
【００８９】
対応点検出部６０１は、３以上の参照フレームを入力し、入力された３以上の参照フレームの間を補間すべき補間フレームの画素に対応する各参照フレームの画素である対応点を検出する処理部である。
【００９０】
尤度算出部６０４は、劣化補間フレームの画素値と対応点の画素値の差分値である第１の差分値に基づいて、劣化補間フレームが補間フレームである尤もらしさを表す尤度を算出する処理部である。本実施の形態では、劣化補間フレームの劣化画素値ｇと、３以上の複数の参照フレーム対応点の画素値の差分値から尤度を算出している。その他の各部の機能については、実施の形態１と同様である。
【００９１】
本実施の形態では、Ｋ個の参照フレームが入力された場合を考える。この場合、入力された参照フレームを参照フレームｋ＝１、２，・・・、Ｋとし、各参照フレームの画素値をｇK（ｎ）とする。ここで、実施の形態１と同様に、ｇk（ｎ）は、前述した劣化モデルの（１１）式におけるｇと同様のものであり、これは、観測される参照フレームが画質劣化していることを考慮したものである。
【００９２】
図７は、実施の形態２における補間フレームと参照フレームの関係を示す模式図である。図７では、参照フレーム１の時間位置を時間０、参照フレーム２の時間位置を時間１、補間フレームの時間位置をｔ（０≦ｔ≦１）としている。補間フレームとして補間すべきフレーム（推定すべき補間フレーム）の画素値をｘnとする。
【００９３】
対応点検出部６０１では、まず隣接する参照フレーム間（例えば、参照フレーム１と参照フレーム２）で動き推定をおこなう。この場合、時間的に前のフレームから後ろのフレームへの前方推定、時間的に後のフレームから前のフレームへの後方推定を組み合わせておこなってもよい。動き推定の手法は実施の形態１と同様に、ブロックマッチングの手法の他、オプティカルフロー推定、勾配法、ベイジアンメソッドなどの各手法を用いることができる。
【００９４】
参照フレームｉから参照フレームｊへの動きベクトルをｄij（ｎ）とすると、補間フレームに対して隣接するフレームの対応点は実施の形態１と同様に求めることができる。一方、隣接するフレームより離れたフレームの対応点は合成写像により求める。
【００９５】
点ｎに対する参照フレーム１上の対応点をｎ1’とする。このとき参照フレーム３上の対応点は、合成写像により（２５−１）式で求める。
【００９６】
同様に、点ｎに対する参照フレーム２上の対応点をｎ2’とすると、参照フレーム４上の対応点は（２５−２）式で求められる。
【００９７】
【数２５】
2008228056.tif 000027
【００９８】
ただし、動きベクトルが画素ごとにしか求まっていない場合には、bi-linear法などによって間の動きベクトルを補間して用いる。図８は、複数の参照フレームにおける対応点検出の一例を示す模式図である。図８において、点線矢印は前方動き推定を示し、実細線矢印が後方動き推定を示し、実太線が補間フレームと参照フレームの対応点と対応を示している。
【００９９】
尤度算出部６０４では、一般のＫフレームに拡張して考える。補間フレームの点ｎに対応する参照フレームｋ上の対応点をｎk’とすると、尤度Ｄ（ｎ）は、劣化画素値ｇ（すなわち、計算途中過程の（２２）式の出力であるｘn(m+1)）と、観測された参照フレームｋの画素値ｇk（ｎk'）との差分値を用いて、（２６）式で表される。ここで、（２６）式において、劣化画素値ｇと参照フレームｋの画素値画素値ｇk（ｎk'）との差分値は、（１１）式および（１２）式から、劣化関数ｈ（ｘn）（＝ｘn）を用いて表している。
【０１００】
【数２６】
2008228056.tif 000028
【０１０１】
従って、尤度算出部６０４は、尤度Ｄ（ｎ）の勾配を（２７）式によって算出している。
【０１０２】
【数２７】
2008228056.tif 000029
【０１０３】
補間画像更新部１０９では、（２７）式で算出された尤度の勾配を（２２）式に代入して、（２２）式の解法処理を行い、ｘn(m+1)を算出する。そして、補間画像生成部１０７は、実施の形態１と同様に、（２２）式の算出の一連の処理（劣化補間画像算出部１０２による劣化画素値の算出、尤度算出部６０４による尤度Ｄ（ｎ）の算出、正則化エネルギー算出部１０５による正則化エネルギーＶ（ｎ）の算出および補間画像更新部１０９による（２２）式の解法）の反復を所定回数Ｍだけ繰り返すように制御する。そして、補間画像更新部１０９は、所定回数Ｍまでの反復の途中である算出結果ｘn(m+1)を劣化補間フレームの劣化画素値ｇとして出力し、メモリ１０３に保存する。また、補間画像生成部１０７は、実施の形態１と同様に、最終的なｘn(m+1)を画質劣化が軽減された現実世界の補間フレームの画素値として、この最終的に求められた補間フレームの画素値ｘn(m+1)により補間フレームを生成し出力する。なお、実施の形態２にかかる補間画像生成装置６００による補間画像生成処理の流れは、実施の形態１で図５を用いて説明した処理手順と同様に行われる。
【０１０４】
このように実施の形態２にかかる補間画像生成装置６００では、観測された３以上の複数の参照フレームから補間フレームを生成しているので、よりロバストに画質劣化の軽減された高精細な補間フレームを生成することができる。
【０１０５】
（実施の形態３）
実施の形態１および２の補間画像生成装置では、例えば隠面領域（オクルージョン）などが参照フレームに存在する場合に、正確に補間フレームを生成することができない場合がある。このような領域の画素値のような外れ値を、他の参照フレームの画素の画素値と同様に扱うと、推定結果に歪みが生じてしまうという問題がある。また、正則化エネルギーＶ（ｎ）は画面全体で一様に定義していたが、動きの境界などで正則化エネルギーを用いてしまうと結果が歪んでしまう。
【０１０６】
この実施の形態３にかかる補間画像生成装置では、このような隠面領域（オクルージョン）などの外れ値が参照フレームに存在する場合でも、かかる外れ値を除去して補間フレームを生成するものである。
【０１０７】
図９は、実施の形態３にかかる補間画像生成装置の機能的構成を示すブロック図である。実施の形態３にかかる補間画像生成装置９００は、図９に示すように、対応点検出部６０１と、初期値設定部１０８と、劣化補間画像算出部１０２と、尤度算出部９０４と、正則化エネルギー算出部９０５と、補間画像更新部１０９と、補間画像生成部１０７と、メモリ１０３と、フレームメモリ１０を主に備えている。
【０１０８】
本実施の形態では、尤度算出部９０４と正則化エネルギー算出部９０５とが実施の形態１および２と異なっており、他の各部の機能については実施の形態１および２と同様である。
【０１０９】
尤度算出部９０４は、劣化補間フレームの画素値と対応点の画素値の差分値が第１の閾値より大きい差分値の重みを小さくして、劣化補間フレームが補間フレームである尤もらしさを表す尤度Ｄ（ｎ）を算出する処理部である。
【０１１０】
本実施の形態では、ロバスト関数ρを用いて尤度Ｄ（ｎ）を、劣化画素値ｇ（すなわち、計算途中過程の（２２）式の出力であるｘn(m+1)）と、観測された参照フレームｋの画素値ｇk（ｎk'）との差分値を用いて、（２８）式のように定式化している。ここで、（２６）式において、劣化画素値ｇと参照フレームｋの画素値画素値ｇk（ｎk'）との差分値は、（１１）式および（１２）式から、劣化関数ｈ（ｘn）（＝ｘn）を用いて表している。
【０１１１】
【数２８】
2008228056.tif 000030
【０１１２】
ロバスト関数は外れ値、すなわち、劣化補間フレームの劣化画素値と対応点の画素値の差分値が第１の閾値より大きい差分値の重みを小さくの重みを小さくする関数である。S. Farsiu, M. D. Robinson, M. Elad and P. Milanfar, "Fast and robust multiframe super resolution", Image Processing, IEEE Transactions on, Vol. 13, pp. 1327-1344, 2004の文献に記述されているTotal Variation法を用いると、尤度Ｄ（ｎ）は（２９）式のように示される。
【０１１３】
【数２９】
2008228056.tif 000031
【０１１４】
従って、尤度算出部９０４は、尤度Ｄ（ｎ）の勾配を（３０）式で算出し、算出した尤度Ｄ（ｎ）をメモリ１０３に保存している。ここで、（３０）式におけるｓｉｇｎ（ｘ）が正値、負値、０のいずれの値しかとらないことから、尤度は、劣化画素値と対応点の画素値との差分の大きさが無関係となり外れ値が除去されることになる。
【０１１５】
【数３０】
2008228056.tif 000032
【０１１６】
正則化エネルギー算出部９０５は、補間フレームの隣接する画素の画素値ｘn，ｘn+(-1,9)T，ｘn+(0,-1)T，ｘn+(0,1)T，ｘn+(1,1)Tの差分値が第２の閾値より大きい差分値の重みを小さくして正則化エネルギーＶ（ｎ）を算出する処理部である。
【０１１７】
本実施の形態では、ロバスト関数ρを用いて、正則化エネルギーＶ（ｎ）を（３１）式のように定式化する。
【０１１８】
【数３１】
2008228056.tif 000033
【０１１９】
Total Variationを用いると、正則化エネルギーは（３２）式となる。ここで、ｘn，ｘn+(-1,0)T，ｘn+(0,-1)T，ｘn+(0,1)T，ｘn+(1,1)Tは、実施の形態１と同様に、補間フレーム上の隣接する画素の画素値である。
【０１２０】
【数３２】
2008228056.tif 000034
【０１２１】
従って、正則化エネルギー算出部９０５は、正則化エネルギーＶ（ｎ）の勾配を、（３３）式により算出し、メモリ１０３に保存している。
【０１２２】
【数３３】
2008228056.tif 000035
【０１２３】
ここでは、ロバスト関数ρを用いて外れ値の重みを小さくしていたが、このほか、次に示すように、補間フレーム上の点ｎと、参照フレーム上の対応点ｎ’との間の外れ値プロセスＬ（ｎ，ｎ’）を用いることもできる。外れ値プロセスＬ（ｎ，ｎ’）を用いて正則化エネルギーＶ（ｎ）を示すと、（３４）式のように定義される。
【０１２４】
【数３４】
2008228056.tif 000036
【０１２５】
外れ値プロセスＬ（ｎ，ｎ’）は、０から１の間を取る変数で、ｎ，ｎ’の間のデータが外れ値の場合には０に近くなる。このため、外れ値の重みが小さくなる。
【０１２６】
（３４）式の右辺第２項は、外れ値プロセスＬのペナルティであり、γがペナルティの強さをあらわすハイパーパラメータである。平均場近似により外れ値プロセスＬは消去することができる。
【０１２７】
このため、正則化エネルギー算出部９０５は、正則化エネルギーの勾配を（３５）式で算出する。
【０１２８】
【数３５】
2008228056.tif 000037
【０１２９】
補間画像更新部１０９では、（３０）式で算出された尤度の勾配と（３２）式または（３５）式で算出された正則化エネルギーの勾配とを（２２）式に代入して（２２）式の解法処理を行い、ｘn(m+1)を算出する。そして、実施の形態１および２と同様に、補間フレームの最終的な画素値ｘn(m+1)を算出する。そして、最終的なｘn(m+1)を画質劣化が軽減された現実世界の補間フレームの画素値として、この最終的に求められた補間フレームの画素値ｘn(m+1)により補間フレームを生成し出力する。なお、実施の形態３にかかる補間画像生成装置６００による補間画像生成処理の流れは、実施の形態１で図５を用いて説明した処理手順と同様に行われる。
【０１３０】
このように実施の形態３にかかる補間画像生成装置９００では、外れ値が参照フレームに存在する場合でも、かかる外れ値の重みを小さくして補間フレームを生成するので、補間フレームと参照フレームの対応点が正確でない場合や、動きの境界においてもロバストに安定して画質劣化がより軽減された補間フレームを生成することができる。
【０１３１】
（実施の形態４）
実施の形態４にかかる補間画像生成装置では、現実世界が撮像される際に発生する種々の劣化要因としてカメラボケと動きボケを考慮して、現実世界の画質劣化の軽減された補間フレームを生成するものである。
【０１３２】
現実世界を撮像する場合には、実施の形態１のように時間方向に画像がサンプリングされる他、被写体が動くことによる動きボケ、空間的にサンプリングされる画像に存在するカメラボケなどにより画質が劣化する。
【０１３３】
図１０は、実施の形態４にかかる補間画像生成装置の機能的構成を示すブロック図である。実施の形態４にかかる補間画像生成装置１０００は、図１０に示すように、対応点検出部１０１と、初期値設定部１０８と、劣化補間画像算出部１００２と、尤度算出部１００４と、正則化エネルギー算出部１０５と、補間画像更新部１０９と、補間画像生成部１０７と、メモリ１０３と、フレームメモリ１０６とを主に備えている。
【０１３４】
本実施の形態では、劣化補間画像算出部１００２、尤度算出部１００４が実施の形態１〜３と異なっており、他の各部の機能については実施の形態１〜３と同様である。
【０１３５】
劣化補間画像算出部１００２では、動きボケまたはカメラボケにより劣化した劣化画素値を算出する処理部である。
【０１３６】
図１１は、動きボケを説明するための模式図である。動きボケは、図１１に示すように、被写体がカメラの撮像素子に対して動くことにより、被写体が本来有している画素値が分散して記録されることである。これにより動オブジェクトが、動き方向に動きの大きさによって定まる非等方のガウスボケが発生したように記録される。等方のガウスボケによって近似すると以下のようになる。
【０１３７】
実施の形態２で示したような参照フレーム２や参照フレーム４等の時間の進行側の参照フレームをカメラ等で観測された画像のフレームとして考える。
【０１３８】
参照フレームｋの対応点をｎk’、カメラの露光時間をτ、補間フレームから参照フレームｋまでの時間をｔkとする。補間フレームの点ｎの進行方向は、ｎk’−ｎであり、露光中の動きは、（３６）式で示される。
【０１３９】
【数３６】
2008228056.tif 000038
【０１４０】
かかる露光中の動きをＳ等分した地点で露光されるとすると各露光地点の動きは、（３７）式で示される。ただし、本来は積分で計算するが、画像処理では積分計算が困難であるため、（３７）式では、和計算で示している。
【０１４１】
【数３７】
2008228056.tif 000039
【０１４２】
この各露光地点において露光がおこなわれるとモデル化できる。各露光地点において補間フレームの画素値ｘnは１／Ｓの強度となる。また、各露光地点ではガウシアンカーネルがかかるとすると図１２に示すようになる。ガウシアンカーネルのカーネル範囲は、（３８）式で定義される。
【０１４３】
【数３８】
2008228056.tif 000040
【０１４４】
劣化補間画像算出部１００２は、劣化補間フレームの劣化画素値ｇを始め０で初期化しておき、すべての点ｎに対して、露光地点ｓ＝０，・・・，Ｓにおいて、（３９）式により劣化画素値ｇを算出してメモリ１０３に保存する。
【０１４５】
【数３９】
2008228056.tif 000041
【０１４６】
ここでｗはガウシアンカーネルの重みであり、（４０）式で示される。
【０１４７】
【数４０】
2008228056.tif 000042
【０１４８】
ここで、σはガウシアンカーネルの標準偏差であり、例えばＧ／１．９６などのように設定する。
【０１４９】
そして、劣化補間画像算出部１００２は、（３９）式をすべての点ｎに関して計算する。尤度算出部１００４は、メモリ１０３に保存された劣化補間フレームの劣化画素値ｇを読み出して、尤度Ｄ（ｎ）を（４１）式により算出する。
【０１５０】
【数４１】
2008228056.tif 000043
【０１５１】
次に、カメラボケについて説明する。カメラボケはPoint Spread Function（ＰＳＦ）を用いてモデル化される。ＰＳＦは通常ガウシアンカーネルが用いられる。カメラボケでは任意の解像度を持つ補間フレームが、ＰＳＦによりカメラボケがかかりダウンサンプリングされて観測されるというモデル化が（４２）式に示すように行われる。
【０１５２】
【数４２】
2008228056.tif 000044
【０１５３】
ここでＧは点ｎ周りのガウシアンカーネルのカーネル範囲である。
【０１５４】
従って、尤度算出部１００４は、（４３）式によって尤度Ｄ（ｎ）を算出する。（４３）式において、ｘngは（２２）式で算出される途中段階のｘn(m+1)であり、劣化画素値である。
【０１５５】
【数４３】
2008228056.tif 000045
【０１５６】
補間画像更新部１０９では、（４１）式または（４３）で算出された尤度の勾配を（２２）式に代入して、（２２）式の解法処理を行い、ｘn(m+1)を算出する。そして、補間画像生成部１０７は、実施の形態１と同様に、（２２）式の算出の一連の処理（劣化補間画像算出部１０２による劣化画素値の算出、尤度算出部６０４による尤度Ｄ（ｎ）の算出、正則化エネルギー算出部１０５による正則化エネルギーＶ（ｎ）の算出および補間画像更新部１０９による（２２）式の解法）の反復を所定回数Ｍだけ繰り返すように制御する。そして、補間画像更新部１０９は、所定回数Ｍまでの反復の途中である算出結果ｘn(m+1)を劣化補間フレームの劣化画素値ｇとして出力し、メモリ１０３に保存する。また、補間画像生成部１０７は、実施の形態１と同様に、最終的なｘn(m+1)を画質劣化が軽減された現実世界の補間フレームの画素値として、この最終的に求められた補間フレームの画素値ｘn(m+1)により補間フレームを生成し出力する。なお、実施の形態２にかかる補間画像生成装置６００による補間画像生成処理の流れは、実施の形態１で図５を用いて説明した処理手順と同様に行われる。
【０１５７】
このように実施の形態３では、（４１）式、（４３）式で算出された尤度を用いて補間フレームを生成しているので、動きボケやカメラボケがある場合でも、より現実世界に近い画質劣化が軽減された補間フレームを生成することができる。
【０１５８】
実施の形態１〜４の補間画像生成装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１５９】
実施の形態１〜４の補間画像生成装置で実行される補間画像生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１６０】
また、実施の形態１〜４の補間画像生成装置で実行される補間画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１〜４の補間画像生成装置で実行される補間画像生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１６１】
また、実施の形態１〜４の補間画像生成装置で実行される補間画像生成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１６２】
実施の形態１〜４の補間画像生成装置で実行される補間画像生成プログラムは、上述した各部（対応点検出部、劣化画素算出部、尤度算出部、正則化エネルギー算出部、補間画像生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から補間画像生成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、対応点検出部、劣化画素算出部、尤度算出部、正則化エネルギー算出部、補間画像生成部が主記憶装置上に生成されるようになっている。
【０１６３】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【０１６４】
【図１】実施の形態１にかかる補間画像生成装置の機能的構成を示すブロック図である。
【図２】補間フレームを説明するための模式図である。
【図３】補間フレームの画素に対応する参照フレーム１、２上の対応点を示す模式図である。
【図４】対応点検出を説明するための模式図である。
【図５】実施の形態１の補間画像生成処理の手順を示すフローチャートである。
【図６】実施の形態２にかかる補間画像生成装置の機能的構成を示すブロック図である。
【図７】実施の形態２における補間フレームと参照フレームの関係を示す模式図である。
【図８】複数の参照フレームにおける対応点検出の一例を示す模式図である。
【図９】実施の形態３にかかる補間画像生成装置の機能的構成を示すブロック図である。
【図１０】実施の形態４にかかる補間画像生成装置の機能的構成を示すブロック図である。
【図１１】動きボケを説明するための模式図である。
【図１２】各露光地点でガウシアンカーネルがかかった状態を示す模式図である。
【符号の説明】
【０１６５】
１０１，６０１  対応点検出部
１０２，１００２  劣化画素算出部
１０３，６０４，９０４，１００４  尤度算出部
１０５，９０５  正則化エネルギー算出部
１０７  補間画像生成部
１０３  メモリ
１０６  フレームメモリ
【図１】
2008228056.tif 000046
【図２】
2008228056.tif 000047
【図３】
2008228056.tif 000048
【図４】
2008228056.tif 000049
【図５】
2008228056.tif 000050
【図６】
2008228056.tif 000051
【図７】
2008228056.tif 000052
【図８】
2008228056.tif 000053
【図９】
2008228056.tif 000054
【図１０】
2008228056.tif 000055
【図１１】
2008228056.tif 000056
【図１２】
2008228056.tif 000057