(57)【要約】【課題】動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供する。【解決手段】画像生成装置は、対象フレームと複数の参照フレームとを取得する動画像取得部と、対象フレーム内の領域と参照フレーム内の領域との乖離度の下限値に基づいて、対象フレーム内の対象画素ごとに参照フレーム内の対応位置を検出する検出部と、対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、参照画素の画素値と重み係数とに基づいて、対象画素の画素値の近似値を生成する近似値生成部と、近似値に基づいて、対象画素の画素値を更新する更新処理部とを備える。【選択図】図１
2019097004.tif 000002
【特許請求の範囲】
【請求項１】
対象フレームと複数の参照フレームとを取得する動画像取得部と、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する検出部と、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する近似値生成部と、
前記近似値に基づいて、前記対象画素の画素値を更新する更新処理部と
を備える画像生成装置。
【請求項２】
前記検出部は、前記乖離度の下限値に基づいて前記乖離度の最小値の探索を省略し、前記対応位置を検出する、請求項１に記載の画像生成装置。
【請求項３】
画像生成装置が実行する画像生成方法であって、
対象フレームと複数の参照フレームとを取得するステップと、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出するステップと、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成するステップと、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成するステップと、
前記近似値に基づいて、前記対象画素の画素値を更新するステップと
を含む画像生成方法。
【請求項４】
コンピュータに、
対象フレームと複数の参照フレームとを取得する手順と、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する手順と、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する手順と、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する手順と、
前記近似値に基づいて、前記対象画素の画素値を更新する手順と
を実行させるための画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。
【背景技術】
【０００２】
従来のカメラは、光学系の開口時間を変更することによって、時間方向の画質である動きボケ及び重畳雑音を制御する。カメラが開口時間を短くすれば動きボケは低減するが、開口時間の短縮によって受光量が減少するため、重畳雑音は増加してしまう。このように、動きボケの低減と重畳雑音の低減とは、トレードオフの関係にある。つまり、雑音重畳を回避したい場合、従来のカメラは、動きボケを許容して一定の開口時間を確保する必要がある。動きボケを回避したい場合、従来のカメラは、雑音重畳を許容して開口時間を制限する必要がある。
【０００３】
昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。
【０００４】
画像再生時の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることにより、滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置での等速再生を前提としている。
【０００５】
一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、ＦＡ・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。
【０００６】
動画像の入力システムのフレームレートの上限と動画像の出力システムのフレームレートの上限とは非対称である。現在では、動画像の入力システムである高速度カメラのフレームレートの上限は、１００００ｆｐｓを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、１２０ｆｐｓから２４０ｆｐｓである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】A. Golwelkar and J. Woods.  Motion-compensated temporal filtering and motion vector coding using biorthogonal filter. IEEE Trans. Circuits Syst. Video, Vol. CSVT-17, No.4, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、動きボケや雑音低減を目的とした画像生成処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。
【０００９】
高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、１０００Ｈｚ等の高密度時間サンプリングされたフレーム群を用いて３０Ｈｚ等の等速再生用の画像を生成した場合、動きボケが低減された等速再生用の画像を生成することが可能である。しかしながら、従来の画像生成装置は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することができない場合があった。
【００１０】
上記事情に鑑み、本発明は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明の一態様は、対象フレームと複数の参照フレームとを取得する動画像取得部と、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する検出部と、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する近似値生成部と、前記近似値に基づいて、前記対象画素の画素値を更新する更新処理部とを備える画像生成装置である。
【００１２】
本発明の一態様は、上記の画像生成装置であって、前記検出部は、前記乖離度の下限値に基づいて前記乖離度の最小値の探索を省略し、前記対応位置を検出する。
【００１３】
本発明の一態様は、画像生成装置が実行する画像生成方法であって、対象フレームと複数の参照フレームとを取得するステップと、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出するステップと、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成するステップと、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成するステップと、前記近似値に基づいて、前記対象画素の画素値を更新するステップとを含む画像生成方法である。
【００１４】
本発明の一態様は、コンピュータに、対象フレームと複数の参照フレームとを取得する手順と、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する手順と、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する手順と、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する手順と、前記近似値に基づいて、前記対象画素の画素値を更新する手順とを実行させるための画像生成プログラムである。
【発明の効果】
【００１５】
本発明により、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である。
【図面の簡単な説明】
【００１６】
【図１】実施形態における、画像生成装置の構成の例を示す図である。
【図２】実施形態における、画像生成装置の動作の例を示すフローチャートである。
【図３】実施形態における、対応位置同定部の動作の第１例を示す図である。
【図４】実施形態における、対応位置同定部の動作の第１例を示すフローチャートである。
【図５】実施形態における、対応位置同定部の動作の第２例を示す図である。
【図６】実施形態における、対応位置同定部の動作の第２例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像生成装置１の構成の例を示す図である。画像生成装置１は、画像を生成する装置である。画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成する。
【００１８】
画像生成装置１は、入力画像記憶部１０と、参照フレーム設定部１１と、局所近傍領域設定部１２と、対応位置同定部１３と、参照画素設定部１４と、重み設定部１５と、近似値生成部１６と、最終参照フレーム判定部１７と、画素値更新処理部１８と、最終画素判定部１９とを備える。
【００１９】
各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
【００２０】
入力画像記憶部１０は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。入力画像記憶部１０は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。
【００２１】
入力画像記憶部１０は、画像生成装置１に入力された画像データである入力画像を記憶する。入力画像記憶部１０は、フィルタリング処理の対象フレームと参照フレームとを、入力画像として記憶する。対象フレーム及び参照フレームは、高フレームレート（高い時間解像度）の動画像のフレームである。動画像の出力システムであるディスプレイ装置のフレームレートの上限が例えば２４０ｆｐｓである場合、高フレームレートは、例えば２４０ｆｐｓを超えるレートである。
【００２２】
参照フレーム設定部１１は、入力画像記憶部１０に記憶されている参照フレームの候補から、予め定められた順序に基づいて参照フレームを選択する。
【００２３】
局所近傍領域設定部１２は、対象フレーム内の処理対象の画素（以下「対象画素」という。）の局所近傍の領域（以下「局所近傍領域」という。）の画素を、対象フレームに設定する。以下、局所近傍の領域の画素を「局所近傍画素」という。
【００２４】
対応位置同定部１３は、局所近傍画素の画素値を、局所近傍領域設定部１２から取得する。対応位置同定部１３は、参照フレームの探索範囲の画素値を、入力画像記憶部１０から取得する。対応位置同定部１３は、対象フレーム内の対象画素について、参照フレーム内の対応点の位置である対応位置を同定する。対応位置同定部１３は、対応位置情報を参照画素設定部１４に出力する。
【００２５】
参照画素設定部１４は、対応位置情報を対応位置同定部１３から取得する。参照画素設定部１４は、参照フレーム内の対応位置の近傍の整数画素位置の画素を、参照画素と設定する。参照画素設定部１４は、予め定められた全ての参照フレーム内の対応位置の画素の局所近傍領域の画素値を、参照フレーム設定部１１から取得する。
【００２６】
重み設定部１５は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を定める。重み設定部１５は、参照画素の重み係数を近似値生成部１６に出力する。
【００２７】
近似値生成部１６は、参照画素値と参照画素の重み係数との加重和を、対象画素の画素値である対象画素値の近似値として算出する。近似値生成部１６は、対象画素値の近似値を最終参照フレーム判定部１７に出力する。
【００２８】
最終参照フレーム判定部１７は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、参照画素設定部１４は、対象画素値の近似値を算出する処理を繰り返す。画素値更新処理部１８は、いずれかの画素に対する処理が終了していない場合、対象画素値の近似値を算出する処理を次の画素に対して実行する。
【００２９】
予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、画素値更新処理部１８は、予め定められた全ての参照フレームの近似値と対象画素値とを取得する。画素値更新処理部１８は、近似値及び対象画素値の平均値を算出する。画素値更新処理部１８は、近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部１９に出力する。すなわち、画素値更新処理部１８は、予め定められた全ての画素に対する処理が終了した場合、生成された画像（更新画素値）を最終画素判定部１９に出力する。
【００３０】
最終画素判定部１９は、対象フレームの最終画素まで画像が生成された場合、生成された画像（生成画像）を外部装置に出力する。
【００３１】
次に、画像生成装置１の動作の例を説明する。
図２は、画像生成装置１の動作の例を示すフローチャートである。入力画像記憶部１０は、フィルタリング対象となる画像データを取得する。入力画像記憶部１０は、指定された対象フレームである第ｔフレームと、指定されたｒｔ枚の参照フレームを記憶する。
【００３２】
各フレームは、時間フィルタの入力信号のフレーム間隔ｔ（＝ｊδｔ（ｊ＝０，１，…））でサンプリングされる。ｆ（ｘ，ｙ，ｔ）（ｘ＝０，…，Ｘ−１, ｙ＝０，…，Ｙ−１）は、第ｔフレームの位置ｘ，ｙにおける画素値である（ステップＳ１）。
【００３３】
参照フレーム設定部１１は、取得された画像データのフレーム内の全ての対象画素に対して、ステップＳ３からステップＳ１１までの処理を繰り返す（ステップＳ２）。
【００３４】
局所近傍領域設定部１２は、対象画素に対して局所近傍画素を設定する。局所近傍領域設定部１２は、対象フレーム内の対象画素ｆ（ｘ，ｙ，ｔ）に対する局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）として、（２ｂｘ＋１）×（２ｂｙ＋１）×（２ｂｔ＋１）画素から成る領域｛ｆ（ｘ−ｉ，ｙ−ｊ，ｔ−ｋ）｜ｉ∈［−ｂｘ，ｂｘ］，ｊ∈［−ｂｙ，ｂｙ］，ｋ∈［−ｂｔ，ｂｔ］｝を設定する。
【００３５】
局所近傍領域設定部１２は、ｒｔ枚の各参照フレームに対して、ステップＳ５からステップＳ８までの処理を実行する。局所近傍領域設定部１２は、処理対象とする参照フレーム（ｔ−ｒｔフレーム）を、１，…，ｒｔの順に設定する。つまり、局所近傍領域設定部１２は、対象フレームから近い参照フレームを優先して処理に使用する（ステップＳ３）。
【００３６】
画像生成装置１は、参照フレーム内の全ての参照画素に対して、ステップＳ５からステップＳ９までの処理を繰り返す（ステップＳ４）。
【００３７】
対応位置同定部１３は、局所近傍画素の画素値と参照フレームの探索範囲の画素値とを取得する。対応位置同定部１３は、参照フレーム内の対応位置を同定し、同定された対応位置情報を取得する（ステップＳ５）。
【００３８】
参照画素設定部１４は、対応位置情報に基づいて、対応位置の近傍の整数画素位置の画素（近傍画素）を参照画素として設定する（ステップＳ６）。
【００３９】
重み設定部１５は、全ての参照画素の局所近傍領域の画素値と対象画素の局所近傍領域内の画素値とに基づいて、参照画素の重み係数を算出する。重み設定部１５は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を算出する（ステップＳ７）。
【００４０】
近似値生成部１６は、参照画素値と参照画素の重み係数との加重和を、対象画素値の近似値として算出する（ステップＳ８）。
【００４１】
最終参照フレーム判定部１７は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、最終参照フレーム判定部１７は、ステップＳ２に処理を戻す（ステップＳ９）。
【００４２】
画素値更新処理部１８は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、取得された画像データの全ての参照フレームの近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部１９に出力する（ステップＳ１０）。
【００４３】
最終画素判定部１９は、取得された画像データの対象フレーム内の全ての対象画素について処理が終了したか否かを判定する。すなわち、最終画素判定部１９は、対象フレームの最終画素まで画像が生成されたか否かを判定する。最終画素判定部１９は、対象フレームの最終画素まで画像が生成されていない場合、ステップＳ２に処理を戻す。最終画素判定部１９は、対象フレームの最終画素まで画像が生成された場合、生成された画像を外部装置に出力する（ステップＳ１１）。
【００４４】
次に、図２のステップＳ５の詳細を説明する。
図３は、対応位置同定部１３の動作の第１例を示す図である。
図４は、対応位置同定部１３の動作の第１例を示すフローチャートである。
【００４５】
対応位置同定部１３は、局所近傍領域Ｆｂ（ｘ，ｙ）と対応点の局所近傍領域との差分二乗和が最小値となる対応点を、式（１）のように参照フレーム内において同定する。
【００４６】
【数１】
2019097004.tif 000003
【００４７】
ここで、差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ）は、式（２）のように表される。
【００４８】
【数２】
2019097004.tif 000004
【００４９】
式（２）は、差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ−１）が最小値となる対応点の位置（Ｖ（ｘ，ｔ’−ｒｔ＋１），Ｖ（ｙ，ｔ’−ｒｔ＋１））を探索中心とした処理を表す。ｒｔは、局所近傍領域Ｆｂ（ｘ，ｙ）から参照フレームまでの時間間隔を表す。（ｖｘ，ｖｙ）は、探索中心に対する変位量を表す。対象画素位置に対する変位量は、式（３）のように表される。
【００５０】
【数３】
2019097004.tif 000005
【００５１】
ここで、ｒｏｕｎｄ（）は、四捨五入によって整数値化された結果を返す関数である。対応位置同定部１３は、（１／４）画素精度で対応点を探索する。対応位置同定部１３は、小数画素位置の値を、バイリニア（bilinear）補間で取得する。
【００５２】
【数４】
2019097004.tif 000006
【００５３】
閾値θｅに対して、差分二乗和ｅ（ｖｘ，ｖｙ）＞θｅとなる場合、対応位置同定部１３は、適切な対応点が存在しないものと判定し、（ｖｘ，ｖｙ）を設定しない。閾値θｅは、外部パラメータとして設定される。
【００５４】
以下では、ｇ（ｘ’−ｖｘ，ｙ’−ｖｙ，ｔ’）＝ｆ（ｘ’−ｖｘ，Ｖ（ｘ，ｔ’＋１），ｙ’−ｖｙ，Ｖ（ｙ，ｔ’＋１），ｔ’）が成り立つ。差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ）は、式（５）のように表される。
【００５５】
【数５】
2019097004.tif 000007
【００５６】
以下では、変位量ｖｘと変位量ｖｙと参照位置ｒｔとについて、乖離度Ｓｋ(ｖｘ，ｖｙ，ｒｔ)（ｋ＝０，…，２ｂｔ）を「第ｋの部分フレーム間差分」という。対応位置同定部１３は、第ｋの部分フレーム間差分Ｓ０(ｖｘ，ｖｙ，ｒｔ)，Ｓ１(ｖｘ，ｖｙ，ｒｔ)，…，Ｓ２ｂｔ(ｖｘ，ｖｙ，ｒｔ)を取得する。差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ＋１）は、式（６）のように表される。
【００５７】
【数６】
2019097004.tif 000008
【００５８】
対応位置同定部１３は、Ｓ０(ｖｘ，ｖｙ，ｒｔ)，Ｓ１(ｖｘ，ｖｙ，ｒｔ)，…，Ｓ２ｂｔ(ｖｘ，ｖｙ，ｒｔ)のうちのＳ０(ｖｘ，ｖｙ，ｒｔ)を除くＳ１(ｖｘ，ｖｙ，ｒｔ)，…，Ｓ２ｂｔ(ｖｘ，ｖｙ，ｒｔ)の下限値を算出する。対応位置同定部１３は、第０の部分フレーム間差分Ｓ０(ｖｘ，ｖｙ，ｒｔ)を式（７）のように算出する。
【００５９】
【数７】
2019097004.tif 000009
【００６０】
ここで、式（８）が成立する。
【００６１】
【数８】
2019097004.tif 000010
【００６２】
対応位置同定部１３は、式（９）に基づいて、第１の部分フレーム間差分Ｓ１(ｖｘ，ｖｙ，ｒｔ)の下限値を算出する。
【００６３】
【数９】
2019097004.tif 000011
【００６４】
同様に、対応位置同定部１３は、第（ｋ＋１）の部分フレーム間差分Ｓｋ＋１(ｖｘ，ｖｙ，ｒｔ＋１)の下限値を算出する。なお、ｋ＝０，…，ｔ＋２ｂｔ−１，ｔ’＝ｔ−ｂｔ，…，ｔ＋ｂｔ−１である。
【００６５】
【数１０】
2019097004.tif 000012
【００６６】
ここで、Ｑ（ｔ’）は、局所近傍領域におけるフレーム間差分の絶対値和である。Ｑ（ｔ’）が探索領域の画素値に依存しない値であるため、対応位置同定部１３は、ｅ（ｖｘ，ｖｙ，ｒｔ＋１）の最小値を探索する前に、Ｑ（ｔ’）を算出する。対応位置同定部１３は、Ｑ（ｔ’）を記憶部に記録する。対応位置同定部１３は、差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ）の最小値を探索した際、第ｋの部分フレーム間差分Ｓｋ(ｖｘ，ｖｙ，ｒｔ＋１)を記憶部に記録する。差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ＋１）の下限値は、式（３）に基づいて式（１１）のように表される。
【００６７】
【数１１】
2019097004.tif 000013
【００６８】
対応位置同定部１３は、式（１２）を算出する。
【００６９】
【数１２】
2019097004.tif 000014
【００７０】
ここで、式（１３）が成立する。
【００７１】
【数１３】
2019097004.tif 000015
【００７２】
対応位置同定部１３は、算出されたＱ（ｔ’）と式（１３）とに基づいて、差分二乗和ｅ（ｖｘ’，ｖｙ’，ｒｔ＋１）の最小値を同定する。
【００７３】
式（１３）において、第ｋの部分フレーム間差分Ｓｋ(ｖｘ，ｖｙ，ｒｔ)（ｋ＝０，…，２ｂｔ）が全て算出されている場合、対応位置同定部１３は、式（１１）に基づいて、差分二乗和ｅ（ｖｘ，ｖｙ，ｒｔ＋１）の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)を算出する。対応位置同定部１３は、最小値の同定処理におけるｅ（ｖｘ’，ｖｙ’，ｒｔ＋１）の暫定最小値と下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)との大小を比較する。
【００７４】
差分二乗和の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値よりも大きい場合、ｅ（ｖｘ’，ｖｙ’，ｒｔ＋１）が暫定最小値よりも小さくなることはない。差分二乗和の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値以下である場合、差分二乗和ｅ（ｖｘ’，ｖｙ’，ｒｔ＋１）が暫定最小値よりも小さくなることがあるので、対応位置同定部１３は、算出されたｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)とｅ（ｖｘ’，ｖｙ’，ｒｔ＋１）の暫定最小値との大小を比較する。
【００７５】
対応位置同定部１３は、ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値よりも小さい場合、暫定最小値をｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)に更新する（ステップＳ５−１からステップＳ５−１０まで）。
【００７６】
図５は、対応位置同定部１３の動作の第２例を示す図である。
図６は、対応位置同定部１３の動作の第２例を示すフローチャートである。図６では、図４と比較して、ステップＳ５−１１からステップＳ５−１３までのステップが、ステップＳ５−３とステップＳ５−４との間に追加されている。
【００７７】
式（１３）において、第ｋの部分フレーム間差分Ｓｋ(ｖｘ，ｖｙ，ｒｔ)（ｋ＝０，…，２ｂｔ）のうちの一部が算出されており、算出されていないＳｋ(ｖｘ，ｖｙ，ｒｔ)を参照することができない場合、対応位置同定部１３は、ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)を算出し、ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)と暫定最小値との大小を比較する。また、対応位置同定部１３は、後段の処理のため、Ｓｋ(ｖｘ，ｖｙ，ｒｔ＋１)を記憶部に記録する。
【００７８】
ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値よりも小さい場合、対応位置同定部１３は、暫定最小値をｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)で置換する。Ｓｋ(ｖｘ，ｖｙ，ｒｔ）が算出されている場合、対応位置同定部１３は、式（１１）に基づいて、差分二乗和の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)を算出し、差分二乗和の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)と最小値の同定処理における暫定最小値との大小を比較する。
【００７９】
差分二乗和の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値よりも大きい場合、ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)は、暫定最小値よりも小さくなることはない。差分二乗和の下限値~ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値以下である場合、ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値よりも小さくなることがあるので、対応位置同定部１３は、算出されたｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)とｅ（ｖｘ’，ｖｙ’，ｒｔ＋１）の暫定最小値との大小を比較する。
【００８０】
対応位置同定部１３は、差分二乗和ｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)が暫定最小値よりも小さい場合、暫定最小値をｅ(ｖ’ｘ，ｖ’ｙ，ｒｔ＋１)に更新する（ステップＳ５−１からステップＳ５−１３まで）。
【００８１】
次に、図２のステップＳ６及びステップＳ７の詳細を説明する。
式（３）における、第（ｔ−ｒｔ）フレームにおける対応位置での画素（ｘ−Ｖ（ｘ，ｔ−ｒｔ），ｙ−Ｖ（ｙ，ｔ−ｒｔ））と、その近傍に位置する画素（ｘ−Ｖ（ｘ，ｔ−ｒｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒｔ）），（ｘ−Ｖ（ｘ，ｔ−ｒｔ），ｙ−Ｖ（ｙ，ｔ−ｒｔ）＋１），（ｘ−Ｖ（ｘ，ｔ−ｒｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒｔ）＋１）とについて、各々の局所近傍領域を考える。
【００８２】
参照画素設定部１４は、各近傍領域に含まれる画素をラスター走査順に一元化して、（２ｂｘ＋１）×（２ｂｙ＋１）×（２ｂｔ＋１）次元ベクトルの各ベクトルを算出する。（２ｂｘ＋１）×（２ｂｙ＋１）×（２ｂｔ＋１）次元ベクトルの各ベクトルは、Ｒ０（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ１（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ２（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ３（ｘ，ｙ，ｔ−ｒｔ）とである。例えば、Ｒ０（ｘ，ｙ，ｔ−ｒｔ）の要素は、式（１４）のように表される。
【００８３】
【数１４】
2019097004.tif 000016
【００８４】
近似値生成部１６は、Ｒ０（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ１（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ２（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ３（ｘ，ｙ，ｔ−ｒｔ）との加重和で、対象画素の局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）を近似する。近似誤差電力Ｅは、式（１５）のように表される。
【００８５】
【数１５】
2019097004.tif 000017
【００８６】
重み設定部１５は、近似誤差電力Ｅ（ｘ，ｙ，ｔ−ｒｔ）を最小化する重み係数ｗ０，ｗ１，ｗ２，ｗ３を算出する。重み設定部１５は、重み係数ｗ０，ｗ１，ｗ２を、式（１６）に基づいて算出する。
【００８７】
【数１６】
2019097004.tif 000018
【００８８】
ここで、ｉ，ｊ＝０，１，２に対して、ベクトルの内積値は、式（１７）のように表される。
【００８９】
【数１７】
2019097004.tif 000019
【００９０】
ここで、肩付のｔは転置を表す。重み設定部１５は、式（７）に示された重み係数ｗ０，ｗ１，ｗ２を用いて、式（１８）のように重み係数ｗ３を算出する。
【００９１】
【数１８】
2019097004.tif 000020
【００９２】
式（１８）は、重み係数の和が１になるという制約条件の下で近似誤差電力を最小化した結果である。重み係数の和に関して制約条件が設けられていない場合、重み係数は式（１９）のように表される。
【００９３】
【数１９】
2019097004.tif 000021
【００９４】
ここで、ｉ，ｊ＝０，１，２，３に対して、ベクトルの内積値は、式（２０）のように表される。肩付のｔは転置を表す。
【００９５】
【数２０】
2019097004.tif 000022
【００９６】
次に、図２のステップＳ８の詳細を説明する。
近似値生成部１６は、式（１９）に示された重み係数を各参照画素の画素値に式（２１）のように乗算することによって、対象画素値の近似値を算出する。近似値生成部１６は、局所近傍領域単位で画素値に重み係数を乗じるのではなく、画素単位で画素値に重み係数を乗じる。
【００９７】
【数２１】
2019097004.tif 000023
【００９８】
ここで、ｒｉ（ｘ，ｙ，ｔ−ｒｔ）（ｉ＝０，１，２，３）は、式（２２）のように表される。近似値生成部１６は、ｒｔ枚の参照フレーム（第（ｔ−ｒｔ）フレーム、（ｔ＝１，…，ｒｔ））に対する参照画素値を、式（２２）のように算出する。
【００９９】
【数２２】
2019097004.tif 000024
【０１００】
次に、図２のステップＳ１０の詳細を説明する。
画素値更新処理部１８は、式（２２）のように表されるｒｔ枚の参照フレームに対する参照画素値に基づいて、式（２３）のように対象画素値を更新する。
【０１０１】
【数２３】
2019097004.tif 000025
【０１０２】
係数ａｋの第１の設定例は、式（２４）及び式（２５）のように表される。
【０１０３】
【数２４】
2019097004.tif 000026
【０１０４】
【数２５】
2019097004.tif 000027
【０１０５】
係数ａｋの第１の設定例は、式（２６）及び式（２７）のように表される。
【０１０６】
【数２６】
2019097004.tif 000028
【０１０７】
【数２７】
2019097004.tif 000029
【０１０８】
ここで、画素値更新処理部１８は、各ｘ，ｙ，ｔに対して、｜ｆ（ｘ，ｙ，ｔ）−^ｆ（ｘ，ｙ，ｔ，ｌｔ）｜＜ψを満たすサンプル数として、ｒ’ｔ（ｘ，ｙ，ｔ）を定める。なお、ｒ’ｔ（ｘ，ｙ，ｔ）の値域は、ｒｔ≦ｒ’ｔ（ｘ，ｙ，ｔ）≦ｒｔである。変数ψは、外部から与えられる閾値パラメータである。
【０１０９】
係数ａｋの第３の設定例は、式（２８）及び式（２９）のように表される。ここで、εは、ゼロ除算を回避するために付与された微小量である。
【０１１０】
【数２８】
2019097004.tif 000030
【０１１１】
【数２９】
2019097004.tif 000031
【０１１２】
以上のように、実施形態の画像生成装置１は、入力画像記憶部１０（動画像取得部）と、対応位置同定部１３（検出部）と、重み設定部１５（重み生成部）と、近似値生成部１６（近似値生成部）と、画素値更新処理部１８（更新処理部）とを備える。入力画像記憶部１０は、対象フレームと複数の参照フレームとを取得する。対応位置同定部１３は、対象フレーム内の領域と参照フレーム内の領域との乖離度の下限値に基づいて乖離度の最小値の探索を省略し、対象フレーム内の対象画素ごとに参照フレーム内の対応位置を検出する。重み設定部１５は、対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する。近似値生成部１６は、参照画素の画素値と重み係数とに基づいて、対象画素の画素値の近似値を生成する。画素値更新処理部１８は、近似値に基づいて、対象画素の画素値を更新する。
【０１１３】
すなわち、実施形態の画像生成装置１は、入力された画像信号について参照フレーム内の対応位置を同定する際、同じ時空間領域内の異なるフレームに属する領域間の第１乖離度を算出する。画像生成装置１は、参照フレーム内の対応位置を同定する際、同じ時空間領域内の異なるフレームと参照フレーム内の領域との間の第２乖離度を算出する。画像生成装置１は、第１乖離度及び第２乖離度に基づいて、同じ時空間領域と参照領域内の領域との間の第３乖離度の下限値を算出する。画像生成装置１は、複数のフレームに属する領域から成る時空間領域の第３乖離度に基づいて、乖離度の最小値の探索を省略し、参照フレーム内の対応位置を対象画素ごとに同定する。画像生成装置１は、対応位置の近傍に位置する整数画素を参照画素として設定する。画像生成装置１は、参照画素に対する重み係数を設定する。画像生成装置１は、参照画素の画素値に重み係数を乗じて、対象画素の画素値の近似値を生成する。画像生成装置１は、各参照フレームから得た近似値の加重和として、対象画素値を更新する。
【０１１４】
これによって、実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である。実施形態の画像生成装置１は、視覚の検知限を越えた高フレームレート画像から、等速再生用の高画質画像を生成すること（フィルタリング処理）が可能である。実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を、繰り返し処理による計算量の増加を抑えて生成することが可能である。
【０１１５】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１６】
１…画像生成装置、１０…入力画像記憶部、１１…参照フレーム設定部、１２…局所近傍領域設定部、１３…対応位置同定部、１４…参照画素設定部、１５…重み設定部、１６…近似値生成部、１７…最終参照フレーム判定部、１８…画素値更新処理部、１９…最終画素判定部
【図１】
2019097004.tif 000032
【図２】
2019097004.tif 000033
【図３】
2019097004.tif 000034
【図４】
2019097004.tif 000035
【図５】
2019097004.tif 000036
【図６】
2019097004.tif 000037