(57)【要約】【課題】高フレームレート映像を用いて映像の画質を高める画像生成装置を提供する。【解決手段】画像生成装置は、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得部と、対象フレームにおける対象画素に対応する対応位置を参照フレームごとに定める対応位置同定部と、対応位置の近傍の画素と対応位置の画素とを含む参照画素の画素値と、対象画素の画素値とに基づいて、参照画素に対する重み係数を参照フレームごとに算出する重み算出部と、参照画素ごとに画素値と重み係数とを乗算し、乗算結果の和を対象画素の近似値として参照フレームごとに算出する近似値算出部と、対象画素の画素値と参照フレームそれぞれの近似値とを用いて、対象画素の画素値を更新する画素値更新部と、を備える。【選択図】図１
2019004293.tif 000002
【特許請求の範囲】
【請求項１】
映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得部と、
前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定部と、
前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出部と、
前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出部と、
前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新部と、
を備える画像生成装置。
【請求項２】
前記対応位置同定部は、前記対象画素の近傍領域と類似する領域を前記参照フレームにおいて検出し、検出した領域に基づいて前記対応位置を定める、
請求項１に記載の画像生成装置。
【請求項３】
前記重み算出部は、前記参照画素ごとに近傍領域の画素値で表されるベクトルの加重和と前記対象画素の近傍領域の画素値により得られるベクトルとの差分を最小にする前記加重和における重み値を、前記重み係数として算出する、
請求項１に記載の画像生成装置。
【請求項４】
前記画素値更新部は、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値との平均値で、前記対象画素の画素値を更新する、
請求項１に記載の画像生成装置。
【請求項５】
前記画素値更新部は、前記参照フレームそれぞれの前記近似値に前記参照フレームにおける信頼度を乗じた値と、前記対象画素の画素値との平均値で前記対象画素の画素値を更新し、
前記信頼度は、前記重み算出部により前記参照フレームごとに算出される前記差分に基づいて定められる、
請求項３に記載の画像生成装置。
【請求項６】
映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、
前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、
前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出ステップと、
前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、
前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、
を有する画像生成方法。
【請求項７】
映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、
前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、
前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出ステップと、
前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、
前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
現行の映像撮像機器は、時間方向の画質を開口時間により制御する。開口時間を短くすれば、動きボケが低減する。一方、開口時間の短縮により受光量が減少するため、画像に重畳雑音が増加する。このように、動きボケの低減と重畳雑音の低減とはトレードオフの関係にある。つまり、雑音重畳を回避したい場合は、動きボケを許容し、一定量の開口時間を確保する必要がある。一方、動きボケを回避したい場合は、雑音重畳を許容し、開口時間を制限する必要がある。
【０００３】
昨今の半導体技術の進歩を受け、映像撮像機器の映像取得速度が大きく向上している。現状、高速度カメラにより取得された高フレームレート映像の用途は、映像再生時の高画質化と映像解析の高精度化とに分類される。前者の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることを目的としており、映像の高フレームレート化により滑らかな動きを表現することを目的とする。このため、ディスプレイでのリアルタイム再生を前提としている。後者の映像解析の高精度化は、知覚の検知限を超えた高フレームレート映像を用いることにより、映像解析の高精度化を行うことを目的としている。スロー再生による高速移動体の解析は代表的な応用例であり、スポーツ映像、ＦＡ（Factory Automation）検査、自動車などにおいて用いられている。
【０００４】
これは、映像の入力システムと出力システムとにおけるフレームレートの上限が非対称であることによる。現行の撮像系としては、１００００［ｆｐｓ］を超える高フレームレート映像を取得可能な高速度カメラが利用可能である。一方、現行のディスプレイの上限は１２０−２４０［ｆｐｓ］である。このため、高速度カメラで撮影された映像は、スロー再生用途で用いられる。特許文献１にはフレームレートを変換する技術が記載されているが、１００［ｆｐｓ］より低いフレームレートの映像に関するものであり、前述のような高フレームレートの映像の利用を目的はしていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０１１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、高フレームレート映像を用いて映像の画質を高める画像生成装置、画像生成方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の第１の態様における画像生成装置は、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得部と、前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定部と、前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出部と、前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出部と、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新部と、を備える。
【０００８】
本発明の第２の態様によれば、第１の態様の画像生成装置において、前記対応位置同定部は、前記対象画素の近傍領域と類似する領域を前記参照フレームにおいて検出し、検出した領域に基づいて前記対応位置を定める。
【０００９】
本発明の第３の態様によれば、第１の態様の画像生成装置において、前記重み算出部は、前記参照画素ごとに近傍領域の画素値で表されるベクトルの加重和と前記対象画素の近傍領域の画素値により得られるベクトルとの差分を最小にする前記加重和における重み値を、前記重み係数として算出する。
【００１０】
本発明の第４の態様によれば、第１の態様の画像生成装置において、前記画素値更新部は、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値との平均値で、前記対象画素の画素値を更新する。
【００１１】
本発明の第５の態様によれば、第３の態様の画像生成装置において、前記画素値更新部は、前記参照フレームそれぞれの前記近似値に前記参照フレームにおける信頼度を乗じた値と、前記対象画素の画素値との平均値で前記対象画素の画素値を更新し、前記信頼度は、前記重み算出部により前記参照フレームごとに算出される前記差分に基づいて定められる。
【００１２】
本発明の第６の態様における画像生成方法は、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出ステップと、前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、を有する。
【００１３】
本発明の第７の態様におけるプログラムは、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出ステップと、前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、高フレームレート映像を用いて映像の画質を高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】実施形態における画像生成装置の構成例を示すブロック図である。
【図２】実施形態の画像生成装置が行う画像生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態における画像生成装置、画像生成方法及びプログラムを説明する。実施形態における画像生成装置における処理の概略について説明する。画像生成装置は、高い時間解像度で取得した映像に含まれる複数のフレームを入力する。複数のフレームには、指定された１枚の対象フレーム（第ｔフレーム）と、ｒｔ枚の参照フレーム（第ｔ−ｉフレーム、ｉ＝１，２，…，ｒｔ）が含まれる。画像生成装置は、対象フレームと複数の参照フレームとを用いて、第ｔフレームの位置の画像を出力する画像生成を行う。入力される映像に対する時間フィルタのフレーム間隔をδｔとして、各フレームは、ｔ＝ｊδｔ，（ｊ＝０，１，２，…）においてサンプリングされる。ｆ（ｘ，ｙ，ｔ），（ｘ＝０，１，…，Ｘ−１；ｙ＝０，１，Ｙ−１）は、第ｔフレームにおける位置（ｘ，ｙ）の画素値を表す。
【００１７】
［ＳＴＥＰ１］  画像生成装置は、対象フレーム内の対象画素（ｘ，ｙ，ｔ）に対する局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）として、（２ｂ＋１）×（２ｂ＋１）画素からなる領域｛ｆ（ｘ−ｉ，ｙ−ｊ，ｔ）｜ｉ∈［−ｂ，ｂ］，ｊ∈［−ｂ，ｂ］｝を設定する。画像生成装置は、ｒｔ枚の参照フレームの各々に対して、以下の処理（ＳＴＥＰ２〜ＳＴＥＰ５）を行う。処理の対象となる参照フレームは、第ｔ−ｉフレーム（ｉ＝１，２，…，ｒｔ）の順で１枚ずつ選択される。すなわち、画像生成装置は、対象フレームに対して時間的に近い参照フレームから順に選択する。
【００１８】
［ＳＴＥＰ２］画像生成装置は、選択された参照フレームにおいて、対象画素に対応する位置（以下、「対応位置」という）を同定する。
［ＳＴＥＰ３］画像生成装置は、上記の対応位置の近傍画素を参照画素として設定する。
［ＳＴＥＰ４］画像生成装置は、参照画素に対する重みを設定する。
［ＳＴＥＰ５］画像生成装置は、上記の重みを用いて、対象画素の近似値を算出する。
［ＳＴＥＰ６］画像生成装置は、参照フレームごとに算出した近似値を用いて画素の画素値を更新する。
【００１９】
図１は、実施形態における画像生成装置１００の構成例を示すブロック図である。画像生成装置１００は、取得部１０１、参照フレーム設定部１０２、局所近傍領域設定部１０３、対応位置同定部１０４、参照画素設定部１０５、重み算出部１０６、近似値算出部１０７、最終参照フレーム判定部１０８、画素値更新部１０９、最終画素判定部１１０、出力部１１１及び記憶部１２０を備える。
【００２０】
取得部１０１は、高い時間解像度で取得された映像の映像データを画像生成の対象として取得する。取得部１０１は、外部の装置から映像データを受信することにより映像データを取得してもよいし、外部の記憶装置から映像データを読み出すことにより映像データを取得してもよい。取得部１０１は、取得した映像データに含まれる複数のフレームを、対象フレーム及び複数の参照フレームとして記憶部１２０に記憶させる。取得部１０１は、入力された複数のフレームのうち対象フレームを示す対象フレーム情報を取得する。取得部１０１は、対象フレームを示す対象フレーム情報を、参照フレーム設定部１０２と局所近傍領域設定部１０３とに出力する。
【００２１】
参照フレーム設定部１０２は、記憶部１２０に記憶されている複数の参照フレームから１つの参照フレームを選択し、選択した参照フレームを処理対象に設定する。参照フレーム設定部１０２は、処理対象に設定した参照フレームを示す参照フレーム情報を対応位置同定部１０４へ出力する。
【００２２】
局所近傍領域設定部１０３は、対象フレーム情報により示される対象フレームにおける対象画素を選択する。例えば、局所近傍領域設定部１０３は、対象フレームにおいてラスター走査順に画素を対象画素として選択する。局所近傍領域設定部１０３は、対象画素の局所近傍画素と対象画素とを局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）に設定する。局所近傍領域設定部１０３は、局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）を示す局所近傍情報を、対応位置同定部１０４と重み算出部１０６とへ出力する。
【００２３】
対応位置同定部１０４は、参照フレーム設定部１０２と局所近傍領域設定部１０３とから入力される参照フレーム情報と局所近傍情報から、局所近傍画素と参照フレームとを特定する。対応位置同定部１０４は、局所近傍画素の画素値と、参照フレームにおける探索範囲の画素値とを記憶部１２０から読み出す。対応位置同定部１０４は、読み出した画素値を用いて、対象画素の位置に対応する点の位置、すなわち対応位置を参照フレームにおいて同定する。対応位置同定部１０４は、対応位置を示す対応位置情報を参照画素設定部１０５に出力する。
【００２４】
参照画素設定部１０５は、対応位置同定部１０４から出力される対応位置情報から対応位置を取得し、対応位置の近傍にあたる整数画素位置の各画素を参照画素として設定する。参照画素設定部１０５は、参照画素を示す参照画素情報を重み算出部１０６と近似値算出部１０７とに出力する。
【００２５】
重み算出部１０６は、局所近傍領域設定部１０３と参照画素設定部１０５とから出力される参照画素情報と局所近傍情報とから、参照画素と局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）とを特定する。重み算出部１０６は、各参照画素の局所近傍の画素値と、局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）の画素値とを記憶部１２０から読み出す。重み算出部１０６は、参照画素の局所近傍の画素値により局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）内の画素値を近似する際の近似誤差を最小化する規範に基づいて、各参照画素に対する重みを算出する。重み算出部１０６は、各参照画素に対する重みを示す重み情報を近似値算出部１０７へ出力する。
【００２６】
近似値算出部１０７は、参照画素設定部１０５から出力される参照画素情報から参照画素を特定し、重み算出部１０６から出力される重み情報から重みを取得する。近似値算出部１０７は、各参照画素に画素値を記憶部１２０から読み出し、読み出した各画素値に対する重みの加重和を対象画素の近似値として算出する。近似値算出部１０７は、算出した近似値を記憶部１２０へ記憶させる。算出に用いられた参照フレームと対象画素とを示す情報が近似値に付与されてもよいし、算出に用いられた参照フレームと対象画素とに対応付けられた記憶部１２０の領域に近似値が記憶されてもよい。
【００２７】
最終参照フレーム判定部１０８は、近似値算出部１０７による近似値の算出が終わる都度、参照フレームすべてにおいて対象画素の近似値が算出されたか否かを判定する。参照フレームすべてにおいての近似値が算出されていた場合、最終参照フレーム判定部１０８は、対象画素の画素値に対する更新を画素値更新部１０９に指示する。参照フレームすべてにおいて近似値が算出されていない場合、最終参照フレーム判定部１０８は、参照フレームの候補のうち次の参照フレームの選択を参照フレーム設定部１０２へ指示する。この指示により、次の参照フレームを用いた近似値の算出が行われる。
【００２８】
画素値更新部１０９は、参照フレームの候補ごとに算出された近似値と、対象画素の画素値とを記憶部１２０から読み出す。画素値更新部１０９は、読み出した近似値及び画素値の平均値を算出する。画素値更新部１０９は、算出した平均値を対象画素の画素値として記憶部１２０に記憶させ、対象画素の画素値を更新する。
【００２９】
最終画素判定部１１０は、画素値更新部１０９により画素値が更新される都度、対象フレームの画素すべてに対して画素値の更新が行われたか否かを判定する。対象フレームの画素すべてに対して画素値の更新が行われていた場合、最終画素判定部１１０は、対象フレームの出力を出力部１１１へ指示する。対象フレームの画素すべてに対して画素値の更新が行われていない場合、最終画素判定部１１０は、画素値の更新が行われていない対象画素に対する局所近傍画素の設定を局所近傍領域設定部１０３へ指示する。この場合、最終画素判定部１１０は、第ｔ−１フレームを参照フレームに選択させる指示を参照フレーム設定部１０２へ出力する。これらの指示により、次の対象画素に対する画素値の更新が行われる。
【００３０】
出力部１１１は、すべての画素値が更新された対象フレームを記憶部１２０から読み出し、読み出した対象フレームを生成画像として出力する。
【００３１】
図２は、実施形態の画像生成装置１００が行う画像生成処理を示すフローチャートである。画像生成処理は、以下に説明するように、フィルタ処理とインター予測とを含む処理である。画像生成装置１００において画像生成処理が開始されると、取得部１０１は映像データを取得し、取得した映像データに含まれる各フレームを記憶部１２０に記憶させる（ステップＳ１０１）。
【００３２】
画像生成装置１００において、以下のステップＳ１０２からステップＳ１０７の動作が、対象フレームの各画素に対して繰り返される。局所近傍領域設定部１０３は、対象フレームにおいて局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）を設定する（ステップＳ１０２）。
【００３３】
画像生成装置１００において、以下のステップＳ１０３からステップＳ１０６の動作が各参照フレームに対して繰り返される。
【００３４】
［参照フレーム内の対応位置の同定］
対応位置同定部１０４は、処理対象の参照フレームにおいて、対象画素に対する対応位置を同定する（ステップＳ１０３）。対応位置同定部１０４は、局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）と対応点の近傍領域との差分二乗を最小化する対応点の位置を検出することにより、対応位置を同定する。対応点の近傍領域の大きさは、局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）と同じ、（２ｂ＋１）×（２ｂ＋１）画素である。対応点の位置を検出する際の探索は、式（１）として表される。
【数１】
2019004293.tif 000003
【００３５】
式（１）における、Ａは対象フレームにおける対応点の探索範囲の大きさを示すパラメータであり。対応位置同定部１０４は、予め定められた値をＡとして用いてもよいし、外部から入力される値をＡとして用いてもよい。すなわち、探索範囲は、対象フレームにおける２Ａ×２Ａ画素の領域である。式（１）におけるｅ（ｖｘ，ｖｙ）は、式（２）で得られる。
【数２】
2019004293.tif 000004
【００３６】
式（２）は、第（ｔ−ｒｔ＋１）フレームにおいて同定される対応点の位置（Ｖ（ｘ，ｔ−ｒｔ＋１），Ｖ（ｙ，ｔ−ｒｔ＋１））を探索中心とした処理となっている。ｒｔは対象フレームから参照フレームまでの時間間隔を表す。（ｖｘ，ｖｙ）は、式（２）における探索中心に対する変位量である。探索中心位置に対する変位量は式（３）で表すとおりである。
【数３】
2019004293.tif 000005
【００３７】
式（３）において、ｒｏｕｎｄ（）は四捨五入により整数値化された結果を返す関数である。対応位置同定部１０４は、対応位置の探索を１／４画素精度で行う。その際、対応位置同定部１０４は、小数画素位置の画素値を、式（４）によりｂｉｌｉｎｅａｒ補間で算出する。
【数４】
2019004293.tif 000006
【００３８】
ただし、対応位置同定部１０４は、閾値θｅに対して、ｅ（ｖｘ，ｖｙ）＞θｅとなる場合は、適切な対応位置が存在しないと判定し、ｖｘ，ｖｙを設定せずともよい。閾値θｅは、画像生成装置１００の外部より入力されるパラメータである。
対応位置同定部１０４は、以上の演算を行い、参照フレームにおける対応位置（ｘ−Ｖ（ｘ，ｔ−ｒｔ），ｙ−Ｖ（ｙ，ｔ−ｒｔ））を同定する。
【００３９】
［参照画素の設定及び画素値に対する重みの設定］
参照画素設定部１０５は、対応位置同定部１０４が式（３）により得た対応位置の画素と、対応位置の近傍に位置する画素とを参照画素として設定する（ステップＳ１０４）。対応位置は（ｘ−Ｖ（ｘ，ｔ−ｒｔ），ｙ−Ｖ（ｙ，ｔ−ｒｔ））であり、対応位置の近傍の位置は、
（ｘ−Ｖ（ｘ，ｔ−ｒｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒｔ）），
（ｘ−Ｖ（ｘ，ｔ−ｒｔ），ｙ−Ｖ（ｙ，ｔ−ｒｔ）＋１），
（ｘ−Ｖ（ｘ，ｔ−ｒｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒｔ）＋１）
である。
【００４０】
重み算出部１０６は、参照画素設定部１０５により設定された参照画素の近傍領域の画素値と、対象画素の局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）の画素値とを記憶部１２０から読み出す。重み算出部１０６は、読み出した参照画素の近傍領域の画素値と局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）の画素値とを用いて、参照画素に対する重み係数を算出する（ステップＳ１０５）。重み係数の算出手順について、以下に説明する。
【００４１】
重み算出部１０６は、各近傍領域の画素値をラスター走査順に一元化して得られる（２ｂ＋１）×（２ｂ＋１）次元ベクトルそれぞれを、ベクトルＲ０（ｘ，ｙ，ｔ−ｒｔ），Ｒ１（ｘ，ｙ，ｔ−ｒｔ），Ｒ２（ｘ，ｙ，ｔ−ｒｔ），Ｒ３（ｘ，ｙ，ｔ−ｒｔ）とする。例えば、参照画素の近傍領域の画素値からなるベクトルＲ０（ｘ，ｙ，ｔ−ｒｔ）は、式（５）で表される。
【数５】
2019004293.tif 000007
【００４２】
重み算出部１０６は、ベクトルＲ０（ｘ，ｙ，ｔ−ｒｔ），Ｒ１（ｘ，ｙ，ｔ−ｒｔ），Ｒ２（ｘ，ｙ，ｔ−ｒｔ），Ｒ３（ｘ，ｙ，ｔ−ｒｔ）の加重和を、対象画素の局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）を近似するものとして、その近似誤差電力を算出する。近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒｔ）は式（６）により表される。
【数６】
2019004293.tif 000008
【００４３】
近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒｔ）を最小化する重み係数ｗ０，ｗ１，ｗ２，ｗ３は、以下のように求められる。重み係数ｗ０，ｗ１，ｗ２が式（７）により求められる。
【数７】
2019004293.tif 000009
【００４４】
式（７）における、＾ψｉ，ｊ，＾φｉは、ｉ，ｊ＝０，１，２に対して式（８）で表されるベクトルの内積値である。なお、式（８）における肩付きの文字（ｔ）は、転置を表す。
【数８】
2019004293.tif 000010
【００４５】
重み係数ｗ３は、求められた重み係数ｗ０，ｗ１，ｗ２を用いて、式（９）により、求められる。
【数９】
2019004293.tif 000011
【００４６】
上記の重み係数の算出は、重み係数ｗ０，ｗ１，ｗ２，ｗ３の和が１になる制約条件の下で近似誤差電力を最小化する手法である。なお、重み係数の和に対して制約条件を設けない場合、重み係数は式（１０）を用いることにより、重み係数ｗ０，ｗ１，ｗ２，ｗ３が求められる。
【数１０】
2019004293.tif 000012
【００４７】
式（１０）における、ψｉ，ｊ，φｉは、ｉ，ｊ＝０，１，２に対して式（１１）で表されるベクトルの内積値である。式（１０）における肩付きの文字（ｔ）は、式（８）と同様に、転置を表す。
【数１１】
2019004293.tif 000013
【００４８】
重み算出部１０６は、式（７）及び式（９）と、式（１０）とのいずれかを用いて、重み係数ｗ０，ｗ１，ｗ２，ｗ３を算出する。
【００４９】
［参照画素を用いた対象画素の画素値の近似］
近似値算出部１０７は、参照画素設定部１０５により設定された参照画素の画素値を記憶部１２０から読み出す。近似値算出部１０７は、重み算出部１０６が算出した重み係数ｗ０，ｗ１，ｗ２，ｗ３と、読み出した画素値とをそれぞれ乗算し、乗算結果の和を対象画素の近似値として算出する（ステップＳ１０６）。対象画素の近似値＾ｆ（ｘ，ｙ，ｔ，ｒｔ）は、式（１２）により表される。
【数１２】
2019004293.tif 000014
【００５０】
式（１２）における、ｒｉ（ｘ，ｙ，ｔ−ｒｔ），（ｉ＝０，１，２，３）は、式（１３）にて表される。
【数１３】
2019004293.tif 000015
【００５１】
式（１３）は、時刻ｔ−ｒｔに位置する参照フレームに対する参照画素の画素値の算出を表している。近似値算出部１０７は、式（１３）に従い、ｒｔ枚の参照フレーム（第ｔ−ｉフレーム、（ｉ＝１，２，…，ｒｔ））に対する参照画素の画素値を算出する。近似値算出部１０７は、式（１２）に従い、参照画素の画素値を用いて対象画素の近似値＾ｆ（ｘ，ｙ，ｔ，ｒｔ）を算出する。
【００５２】
［対象画素の画素値の更新］
画素値更新部１０９は、近似値算出部１０７が式（１２）により算出したｒｔ枚の参照フレームそれぞれの近似値＾ｆ（ｘ，ｙ，ｔ，ｒｔ）と、対象画素の画素値との平均値を算出する。画素値更新部１０９は、算出した平均値を記憶部１２０に記憶させ、記憶部１２０に記憶されている対象画素の画素値を更新する（ステップＳ１０７）。新たな画素値（平均値）は、式（１４）により算出される。
【数１４】
2019004293.tif 000016
【００５３】
画素値更新部１０９は、対象フレーム内の各画素に対して、式（１４）による画素値の更新を行う。対象フレーム内の画素すべてに対して画素値の更新が行われると、出力部１１１は、記憶部１２０から対象フレームを読み出し、読み出した対象フレームを生成画像として出力し（ステップＳ１０８）、画像生成装置１００は、画像生成処理を終了する。
【００５４】
上述したように、実施形態の画像生成装置１００は、参照フレームにおける複数の参照画素と、各参照画素に対して定めた重み係数とを用いて対象画素の近似値を参照フレームごとに算出する。画像生成装置１００は、各参照フレームの近似値と対象画素の画素値とを用いて、対象画素の画素値を更新する。画像生成装置１００は、画素値の更新において、複数の参照フレームの画素値を用いるので、対象フレームにおけるノイズを低減し、画質を高めることができる。画像生成装置１００は、複数のフレームを逐次入力し、複数のフレーム入力されるごとに前述の画像生成処理により生成される対象フレームを出力してもよい。画像生成装置１００をこのように動作させることにより、映像データを生成できる。
【００５５】
画像生成装置１００は、高フレームレート映像の映像データに含まれる複数のフレームを逐次入力し、複数のフレーム入力されるごとに前述の画像生成処理を行ってもよい。画像生成装置１００は、高フレームレート映像の映像データを入力することにより、動きボケが低減された画質を維持しつつ、重畳雑音を低減させて画質を高めた映像データを構成するフレームを生成することができる。
【００５６】
高フレームレート映像は、時間方向に高密度でサンプリングされたフレーム群を含んでおり、高フレームレート映像には撮影対象の時間方向の情報が高い時間分解能で含まれている。高密度時間サンプリングされたフレーム群（例えば、１０００［ｆｐｓ］）を用いて、リアルタイム再生用途の映像（例えば、３０［ｆｐｓ］）を生成すれば、高い時間分解能で映像の生成を制御できる。すなわち、画像生成装置１００によれば、視覚の検知限を超えた高フレームレート映像を入力として用いることで、動きボケの低減と重畳雑音の低減とを両立して高画質なリアルタイム再生用途の映像データを生成できる。
【００５７】
なお、画素値更新部１０９は、参照フレームそれぞれの近似値＾ｆ（ｘ，ｙ，ｔ，ｒｔ）と、対象画素の画素値との平均値に代えて、近似値＾ｆ（ｘ，ｙ，ｔ，ｒｔ）に対する信頼度を乗じた加重和と対象画素の画素値との平均値を新たな画素値として算出してもよい。信頼度は、例えば、重み係数を算出する際に用いた近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒｔ）に基づいて定められる。
【００５８】
参照フレームにおける参照画素の近傍領域と局所近傍領域Ｆｂ（ｘ，ｙ，ｔ）との類似度が高いほど、近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒｔ）は低い値となる。そこで、参照フレームにおける近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒｔ）と反比例する値を信頼度に用いてもよい。例えば、式（１５）で表される値を参照フレームの信頼度に用いてもよい。
【数１５】
2019004293.tif 000017
【００５９】
また、画素値更新部１０９は、式（１５）得られる各参照フレームに対する値の総和が１になるように各値を正規化し、正規化により得られた値を各参照フレームに対する信頼度に用いてもよい。また、信頼度は、式（１５）の例以外にも、近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒｔ）の増減と反比例する値が得られる関数やテーブルを用いて定めてもよい。各参照フレームから算出される近似値に対して信頼度を乗じることにより、類似度が低い参照画素の影響を低くすることができる。画素値更新部１０９が近似値に信頼度を乗じた加重和を用いて対象画素の画素値を更新することにより、画像生成装置１００は、出力する対象フレームの画質を更に向上できる。
【００６０】
また、画素値更新部１０９は、式（１４）に代えて式（１６）を用いて、対象画素の画素値を更新する値を算出してもよい。画素値更新部１０９は、式（１６）における係数ａｋ（ｋ＝０，１，…，ｒｔ）として、以下に示す３通りの設定のうちいずれか一つを用いてもよい。
【数１６】
2019004293.tif 000018
【００６１】
第１の設定として、画素値更新部１０９は、式（１７）で定められる値を係数ａｋに用いてもよい。なお、第１の設定を用いた場合、式（１６）と式（１４）とは同じである。
【数１７】
2019004293.tif 000019
【００６２】
第２の設定として、画素値更新部１０９は、式（１８）で定められる値を係数ａｋ（ｋ＝０，１，…，ｒｔ）に用いてもよい。
【数１８】
2019004293.tif 000020
【００６３】
式（１８）におけるｒ’ｔ（ｘ，ｙ，ｔ）は、各ｘ，ｙ，ｔに対して定まる値である。具体的には、式（６）により算出される近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｋ）又は｜ｆ（ｘ，ｙ，ｔ）−＾ｆ（ｘ，ｙ，ｔ，ｋ）｜，（ｋ＝１，２，…，ｒｔ）が閾値ψより小さい参照画素の数が、ｒ’ｔ（ｘ，ｙ，ｔ）の値となる。すなわち、画素値更新部１０９は、各参照フレームにおける参照画素のうち対象画素に対する類似度が低い参照画素から算出された近似値を外れ値として省き、一定以上の類似度を有する参照画素から算出された近似値を用いて対象画素の画素値を更新する。なお、ｒ’ｔ（ｘ，ｙ，ｔ）の値域は、１≦ｒ’ｔ（ｘ，ｙ，ｔ）≦ｒｔである。閾値ψは、画像生成装置１００の外部より入力されるパラメータである。
【００６４】
第３の設定として、画素値更新部１０９は、式（１９）で定められる値を係数ａ０，ａｋ（ｋ＝１，…，ｒｔ）に用いてもよい。
【数１９】
2019004293.tif 000021
【００６５】
式（１９）における変数ｅ０は、画像生成装置１００の外部より入力されるパラメータである。変数ｅ０は、対象画素の画素値を更新する際における、元の対象画素の画素値に対する重みを表すパラメータである。なお、式（１９）において、（１／（ｅ０２＋ε））を１に代えて係数ａｋを算出してもよい。
【００６６】
第２及び第３の設定における係数ａｋは、前述した信頼度の一例である。画素値更新部１０９は、第２又は第３の設定の係数ａｋを用いることにより、対象画素の画素値の精度を高めることができ、対象フレームの画質を更に向上できる。
【００６７】
前述した実施形態における画像生成装置１００のすべて又は一部をコンピュータで実現するようにしてもよい。例えば、画像生成装置１００が有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００６８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６９】
本発明は、高フレームレート映像を用いて映像の画質を高めることが不可欠な用途にも適用できる。
【符号の説明】
【００７０】
１００…画像生成装置
１０１…取得部
１０２…参照フレーム設定部
１０３…局所近傍領域設定部
１０４…対応位置同定部
１０５…参照画素設定部
１０６…重み算出部
１０７…近似値算出部
１０８…最終参照フレーム判定部
１０９…画素値更新部
１１０…最終画素判定部
１１１…出力部
１２０…記憶部
【図１】
2019004293.tif 000022
【図２】
2019004293.tif 000023