(57)【要約】【課題】１つの入力映像から高時間分解能映像を生成する方法及び装置を提供することを目的とする。【解決手段】１つの連続露光の低時間分解能映像から、露光時間を分割するようにフレームを分解する高時間分解能化により、低フレームレート映像から高フレームレート映像を生成する。時間分解能の異なる映像間の自己相似性の関係に基づき、自身の映像のみから抽出される自己相似な事例データに基づく事前確率を導入することで、且つ動画復元条件を満たす高時間分解能化を行う。【選択図】図６
2012100189.tif 000002
【特許請求の範囲】
【請求項１】
１つの入力映像V1から高時間分解能映像を生成する方法であって、
１つの入力映像V1から１つ以上の低時間分解能映像Vk(K=2,3,4…)を生成して複数の異なる時間分解能映像V1,Vkを用意し、
前記映像V1,Vk及び前記高時間分解能映像のフレーム画像が、それぞれ複数の微小パッチから成るとし、各微小パッチの位置を時空間座標で特定することで、各フレーム画像の微小パッチが対応付けられて微小パッチセットを形成しており、
前記映像V1,Vkの１つ以上の映像から第１の時空間座標xで特定された１つ以上の第１の微小パッチを選択して、１つ以上の第１の微小パッチからなる第１微小パッチセットとし、第１微小パッチセットの各第１の微小パッチと、物体の動き情報を含む見えが相似する微小パッチを、前記映像V1,Vkから探索して、第２の時間空間座標yで特定された１つ以上の第２の微小パッチからなる第２微小パッチセットを取得し、
前記高時間分解能映像の第１の時空間座標xの微小パッチの物体の動き情報を含む見えが、前記映像V1,Vkの第２の時空間座標ｙで特定された微小パッチから選択した１つの微小パッチと相似すると推定し、当該選択した１つの微小パッチを高時間分解能化に合わせてスケール変換した微小パッチを、前記高時間分解能映像の第１の時空間座標xの微小パッチと推定する、
１つの入力映像から高時間分解能映像を生成する方法。
【請求項２】
前記微小パッチセットを形成する微小パッチは異なる時間分解能映像の微小パッチからなる、請求項１に記載の方法。
【請求項３】
前記相似する微小パッチの探索は、各第１の微小パッチよりも低時間分解能映像から探索することで、異なる時間分解能の微小パッチからなる相似の組が形成される、請求項１、２いずれか１項に記載の方法。
【請求項４】
前記第１微小パッチセットの各第１微小パッチと各第２微小パッチセット候補の各第２微小パッチ候補は、微小パッチの組を形成しており、
前記第２微小パッチセットの取得は、
第１微小パッチセットと各第２微小パッチセット候補との相似度を、第１微小パッチセットと各第２微小パッチセット候補間の１組以上の微小パッチの相似度を用いて算出し、相似度に基づいて、第２微小パッチセット候補から第２微小パッチセットを選択する、請求項１〜３いずれか１項に記載の方法。
【請求項５】
前記相似度として、時間分解能に合わせてスケール変換してサイズを合わせた微小パッチ間の類似度を用いる、請求項４に記載の方法。
【請求項６】
前記入力映像は、露光時間が１フレーム時間に等しい映像である、請求項１〜５いずれか１項に記載の方法。
【請求項７】
前記方法は、前記映像V1,Vkのフレーム間差分画像を生成するステップを備え、
前記各微小パッチは、各映像のフレーム間差分画像から取得される、請求項１〜６いずれか１項に記載の方法。
【請求項８】
前記微小パッチは、複数の画素から成り、前記時空間座標は、前記複数の画素から選択された１つの基準画素の座標である、請求項１〜７いずれか１項に記載の方法。
【請求項９】
前記高時間分解能映像の各微小パッチについて微小パッチを取得し、これらの微小パッチを統合することで高時間分解能映像のフレーム画像を生成する、請求項１〜８いずれか１項に記載の方法。
【請求項１０】
前記高時間分解能映像の各微小パッチについて微小パッチ候補を取得し、これらの微小パッチ候補を統合することで高時間分解能映像のフレーム画像候補を生成し、前記フレーム画像候補に基づく事前確率を用いてＭＡＰ推定によりフレーム画像候補を最適化する、請求項１〜９いずれか１項に記載の方法。
【請求項１１】
前記ＭＡＰ推定において、さらに、高時間分解能映像のフレーム平均が低時間分解能映像のフレームを成すとする時間分解能映像間の動画復元条件を、高時間分解能フレームから低時間分解能フレームを構成する尤度として用いる、請求項１０に記載の方法。
【請求項１２】
１つの入力映像V1から高時間分解能映像を生成する装置であって、
前記装置は、
映像の低時間分解能化手段と、
微小パッチセット形成手段と、
相似する微小パッチセット組の取得手段と、
高時間分解能映像の微小パッチの推定手段と、
を備え、
前記映像の低時間分解能化手段は、１つの入力映像V1から１つ以上の低時間分解能映像Vk(K=2,3,4…)を生成して複数の異なる時間分解能映像V1,Vkを用意し、
前記微小パッチセット形成手段は、前記映像V1,Vk及び前記高時間分解能映像のフレーム画像が、それぞれ複数の微小パッチから成るとし、各微小パッチの位置を時空間座標で特定することで、各フレーム画の微小パッチを対応付けて微小パッチセットを形成し、
前記相似する微小パッチセットの組の取得手段は、前記映像V1,Vkの１つ以上の映像から第１の時空間座標xで特定された１つ以上の第１の微小パッチを選択して、１つ以上の第１の微小パッチからなる第１微小パッチセットとし、第１微小パッチセットの各第１の微小パッチと、物体の動き情報を含む見えが相似する微小パッチを、前記映像V1,Vkから探索して、第２の時間空間座標yで特定された１つ以上の第２の微小パッチからなる第２微小パッチセットを取得し、
前記高時間分解能映像の微小パッチの推定手段は、前記高時間分解能映像の第１の時空間座標xの微小パッチの物体の動き情報を含む見えが、前記映像V1,Vkの第２の時空間座標ｙで特定された微小パッチから選択した１つの微小パッチと相似すると推定し、当該選択した１つの微小パッチを高時間分解能化に合わせてスケール変換した微小パッチを、前記高時間分解能映像の第１の時空間座標xの微小パッチと推定する、
１つの入力映像から高時間分解能映像を生成する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つの入力映像から高時間分解能映像を生成する方法及び装置に関するものである。
【背景技術】
【０００２】
映像（動画）は、限られたフレームレート、且つ限られた露光時間で撮影された静止画の連続で表現される。この映像におけるフレームレート、露光時間、およびフレームレートの逆数である１フレーム時間と露光時間の関係、の３つは、映像の画質に深く関係する。このフレーム時間と露光時間の関係を表した映像例としては、図１上図に示すような連続露光、即ち１フレーム時間に等しい露光時間で撮影された映像と、図２上図のように１フレーム時間よりも短い露光時間で撮影された映像が挙げられる。このような露光時間の異なる映像には各々一長一短があり、カメラや被写体の動きによって、動きぶれ、あるいは動きが不連続になるジャーキネス劣化が発生する場合がある。動きぶれとジャーキネスを共に最小限に抑えるには、フレームレートを向上することが非常に有効である。
【０００３】
時間方向の高分解能化（低フレームレート映像から高フレームレート映像を生成する）を考えた時に、本来、図１上図に示すような連続露光映像においては、同一の低時間分解能フレームを分解して生成できる複数の高時間分解能フレームの組み合わせは無数に存在する。従って、従来手法では複数の時間分解能映像を撮影できるような独自の撮影システムにより、あるいは類似視点から同時に撮影された複数の入力映像を用いることによって、高時間分解能化を実現していた。
【０００４】
例えば、複数の撮像センサを用いたカメラシステムを構築し、低解像度ではあるが高時間分解能映像と高解像度ではあるが低時間分解能映像を用いて、高解像度・高時間分解能映像を生成する手法が提案されている。非特許文献１、非特許文献２では、同一視点で撮影可能なハイブリッドカメラシステムから得られる低解像度・高時間分解能映像を利用し、オプティカルフローによりブラーカーネルを推定することによって、もう一方の映像のブラー除去を実現している。あるいは、非特許文献３では、低解像度・高時間分解能映像を用いて高解像度・低時間分解能映像のフレーム画像の動き補償を行い、２種類の映像をウェーブレット領域で統合することで高解像度・高時間分解能映像を生成している。また、非特許文献４では、時空間解像度ともに異なる複数台のカメラにより露光時間が部分的に重なるよう同時に撮影し、複数映像間の対応をとることで、時空間ともに高解像度化した映像の生成を行っている。いずれも、時間分解能の向上を効果的に実現しているが、新たな撮影システムを構築する等により複数の映像を準備する必要があり、適用範囲が限られていた。
【０００５】
また、高時間分解能化のアプローチとして、１つの入力映像からフレーム補間によりフレームレートを高める手法がよく知られている。フレームレートを増加させる単純な手法としては、フレームの反復、あるいは時間方向のフレーム線形補間が挙げられるが、各々、動きが滑らかでなくなる、あるいは動物体がぼけるという問題がある。これらを解決するため、動き補償を行うフレーム補間手法も多く提案されている（非特許文献５〜８）。フレーム補間では、対応する前後のフレーム画像の画素値やブロックを混合して中間フレームを生成する際に、オプティカルフローのような動きベクトルがしばしば用いられている（非特許文献９）。また、最近では動きベクトルの推定誤差に起因する画素混合時のゴースト、ブラーやブロックノイズを回避するため、元のフレーム画像の勾配情報を画素混合せずに補間フレームに複写するMoving gradients手法も提案されている（非特許文献１０）。
【０００６】
しかしながら、上述のフレーム補間によるフレームレート変換手法は、図２上図のような短時間露光映像に対しては、入力フレーム間の中間フレームを生成して滑らかな動きを作り出すことができるが、図１上図のような連続露光の映像では、動きぶれによりフレーム画像間における密な動きベクトルの対応がとれるとは限らないため、画質を向上した高フレームレート映像を生成できない。
【０００７】
また、１つの画像から静止画像の空間解像度を向上させる手法（Hallucination手法）も提案されている（非特許文献１１〜１３）。非特許文献１１では、自然画像にはテクスチャの繰り返しパターンが、異なるスケール間で多数存在していると報告され、この観察に基づき、静止画像１枚による空間方向の高解像度化手法を提案している。しかしならが、これらの文献はあくまで静止画像の空間解像度について論じるものであり、動画の高時間分解能化という視点は無い。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】M. Ben-Ezra and S. K. Nayar: “Motiondeblurringusing hybrid imaging”, Proc. CVPR 2003, pp. I-657-664 (2003).
【非特許文献２】Y.-W. Tai, H. Du, M. S. Brown and S. Lin:“Image/video deblurring using a hybrid camera”, Proc.CVPR 2008, pp. 1-8 (2008).
【非特許文献３】K. Watanabe, Y. Iwai, H. Nagahara, M.Yachidaand T. Suzuki: “Video synthesis with high spatiotemporalresolution usingmotion compensation and image fusion in wavelet domain”, Proc. ACCV2006(LNCS3851), pp. I-480-489 (2006).
【非特許文献４】E. Shechtman, Y. Caspi and M. Irani:“Space-time super-resolution”, IEEE Trans. PAMI, 27, 4, pp. 531-545 (2005).
【非特許文献５】B.-T. Choi, S.-H. Lee and S.-J. Ko: “Newframe rate up-conversion using bi-directional motion estimation”,IEEE Trans.CE, 46, 3, pp. 603-609 (2000).
【非特許文献６】T. Ha, S. Lee and J. Kim: “Motioncompensated frame interpolation by new block-based motion estimation algorithm”,IEEE Trans. CE, 50, 2, pp. 752-759 (2004).
【非特許文献７】T. ying Kuo, J. Kim and C. c. Jay Kuo:“Motioncompensated frameinterpolation scheme for h.263 codec”, Proc. ISCAS ’99,pp. 491-494 (1999).
【非特許文献８】T. Brox, A. Bruhn, N. Papenberg and J.Weickert: “High accuracy optical flow estimation based on a theory forwarping”, Proc. ECCV 2004 (LNCS3024), pp. 25-36 (2004).
【非特許文献９】S. Baker, J. Scharstein, D.and Lewis, S.Roth, M. Black and R. Szeliski: “A database and evaluation methodology foroptical flow”, Proc. ICCV 2007, pp. 1-8 (2007).
【非特許文献１０】D. Mahajan, F.-C. Huang, W.Matusik, R. Ramamoorthi and P. Belhumeur: “Moving gradients: a path-basedmethod for plausible image interpolation”, Proc. SIGGRAPH ’09, pp. 1-11 (2009).
【非特許文献１１】D. Glasner, S. Bagon and M.Irani: “Super-resolution from a single image”, Proc. ICCV 2009,pp. 349-356(2009).
【非特許文献１２】S. Baker and T. Kanade: “Limitson super-resolution and how to break them”, IEEE Trans. PAMI, 24, 9,pp. 1167-1183(2002).
【非特許文献１３】W. Freeman, T. Jones and E. Pasztor:“Example-basedsuper-resolution”, IEEE ComputerGraphics and Applications, 22, 2, pp. 56-65 (2002).
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記従来手法の不具合を解消することができるような１つの入力映像から高時間分解能映像を生成する方法及び装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明が採用した技術手段は、１つの入力映像V1から高時間分解能映像を生成する方法であって、
１つの入力映像V1から１つ以上の低時間分解能映像Vk(K=2,3,4…)を生成して複数の異なる時間分解能映像V1,Vkを用意し、
前記映像V1,Vk及び前記高時間分解能映像のフレーム画像が、それぞれ複数の微小パッチから成るとし、各微小パッチの位置を時空間座標で特定することで、各フレーム画像の微小パッチが対応付けられて微小パッチセットを形成しており、
前記映像V1,Vkの１つ以上の映像から第１の時空間座標xで特定された１つ以上の第１の微小パッチを選択して、１つ以上の第１の微小パッチからなる第１微小パッチセットとし、第１微小パッチセットの各第１の微小パッチと、物体の動き情報を含む見えが相似する微小パッチを、前記映像V1,Vkから探索して、第２の時間空間座標yで特定された１つ以上の第２の微小パッチからなる第２微小パッチセットを取得し、
前記高時間分解能映像の第１の時空間座標xの微小パッチの物体の動き情報を含む見えが、前記映像V1,Vkの第２の時空間座標ｙで特定された微小パッチから選択した１つの微小パッチと相似すると推定し、当該選択した１つの微小パッチを高時間分解能化に合わせてスケール変換した微小パッチを、前記高時間分解能映像の第１の時空間座標xの微小パッチと推定する、１つの入力映像から高時間分解能映像を生成する方法、である。
１つの態様では、微小パッチセットを形成する微小パッチは異なる時間分解能映像の微小パッチであるが、異なるフレームの同じ時間分解能映像から複数のパッチを選択してもよい。
１つの態様では、前記相似する微小パッチの探索は、各第１の微小パッチよりも低時間分解能映像から探索することで、異なる時間分解能の微小パッチの組が形成されるが、異なるフレームの同じ時間分解能映像から相似の組を形成してもよい。
【００１１】
第１微小パッチセットに相似する第２微小パッチセットを探索する際に、前記第１微小パッチセットの各第１微小パッチと各第２微小パッチセット候補の各第２微小パッチ候補は、微小パッチの組を形成しており、1つの態様では、前記第２微小パッチセットの取得は、
第１微小パッチセットと各第２微小パッチセット候補との相似度を、第１微小パッチセットと各第２微小パッチセット候補間の１組以上の微小パッチの相似度を用いて算出し、相似度に基づいて、第２微小パッチセット候補から第２微小パッチセットを選択する。
典型的には、最も相似度が大きい第２微小パッチセット候補を第２微小パッチセットとする。
より具体的な例では、例えば、第１微小パッチセットと各第２微小パッチセット候補が共に１つの微小パッチf1(x)、f2(y´)から構成される場合には、１組の微小パッチf1(x)、f2(y´)間の相似度が第１微小パッチセット（＝１つの第１の微小パッチ）と第２微小パッチセット候補（＝１つの第２の微小パッチ）の相似度となる。
第１微小パッチセットと各第２微小パッチセット候補が共に複数の微小パッチから構成される場合には、例えば、第１微小パッチセットｆ1(x)、ｆ2(x)、f3(x)、第２微小パッチセット候補ｆ2（y´）、ｆ3（y´）、ｆ4(y´)からなる場合には、１組の微小パッチf1(x)、f2(y´)間の相似度のみを用いて第１微小パッチセットと各第２微小パッチセット候補との相似度としてもよいし、あるいは、２組の微小パッチf1(x)、f2(y´)間、f2(x)、f3(y´)間の相似度を用いて第１微小パッチセットと各第２微小パッチセット候補との相似度としてもよいし、３組の微小パッチf1(x)、f2(y´)間、f2(x)、f3(y´)間、f3(x)、f4(y´)間の相似度を用いて第１微小パッチセットと各第２微小パッチセット候補との相似度としてもよい
結果として、第１の時空間座標xと第２の時空間座標ｙが同じとなる場合もあり得る。
【００１２】
1つの態様では、前記相似度として、時間分解能に合わせてスケール変換してサイズを合わせた微小パッチ間の類似度を用いる。
画像間の類似度の計算は、画像処理の分野で古くから行われており、様々な手法が取り得ることが当業者に理解される。1つの典型的な態様では、パッチ間の距離を画素値の差の二乗和（SSD: Sum of Squared Differences）を用いて計算することで、類似度を計算する。
【００１３】
また、本発明において、時間分解能に適応的にスケール変換されたパッチを用いることで、相似を類似と等価に処理することができ、本発明の１つの入力映像から高時間分解能映像を生成するステップにおいて、スケール変換したパッチを用いるタイミングは限定されるものではなく、スケール変換したパッチを用いる場合には、「相似」は「類似ないし同一」と等価であると考えることができる。
【００１４】
1つの態様では、前記入力映像は、露光時間が１フレーム時間に等しい映像である。
本発明は、このような入力映像に限定されるものではないが、従来手法に比べて、露光時間が１フレーム時間に等しい入力映像に対して有利な効果を奏する。
【００１５】
1つの態様では、前記方法は、前記映像V1,Vkのフレーム間差分画像を生成するステップを備え、前記各微小パッチは、各映像のフレーム間差分画像から取得される。
フレーム差分を利用した場合には、複数フレームからフレーム間差分画像を生成するため、１つのフレーム間差分画像のみでも複数フレームの情報を含むパッチセットとなる。
差分画像を用いることによって、背景や動きのない箇所を除去した動きの情報のみを利用することが可能であり、物体の動き情報を含む見えの相似を計算する際の精度を向上できるものと考えられる。
また、フレーム間差分画像を用いて元の映像を復元することは当業者に良く知られているので詳細な説明は省略する。
【００１６】
微小パッチは、複数の画素から成り、前記時空間座標は、前記複数の画素から選択された１つの基準画素の座標である。基準画素は典型的には微小パッチの中心画素である。
時空間座標は、ある時刻ｔの画像フレーム上の空間座標（ｘ、ｙ）であり、時刻ｔも要素に含まれるが、微小パッチセットを形成する時には時空間座標の空間座標が用いられる。
【００１７】
高時間分解能映像の各微小パッチについて微小パッチを取得し、これらの微小パッチを統合することで高時間分解能映像のフレーム画像を生成することができる。
1つの態様では、前記微小パッチの取得は、ｋ最近傍探法（典型的には最近傍探索）による行う。
1つの態様では、各微小パッチは部分的に重複するように設定され、微小パッチの統合時に、重複部分の画素値として、当該重複部分を形成する複数の微小パッチの画素値の平均あるいは重み付け平均を用いてもよい。
微小パッチをどのように設定するか、また、微小パッチをどのように統合するかについては、従来の画像処理分野のいかなる手法を用いてもよいことが当業者に理解される。
【００１８】
1つの態様では、ＭＡＰ推定の枠組みにより高時間分能化の問題を解く。
ＭＡＰ推定を用いた最適化は、以下の式を最小化するMAP推定値F0を求めるものである。
2012100189.tif 000003
ここで、F0は高時間分解能の画像フレームであり、F1は低時間分解能の画像フレームである。−lnP(F0|F1)は、動画復元条件による尤度であり、−lnP(F0)は、異なる時間分解能映像の自己相似な事例データによる事前確率である。
【００１９】
1つの好ましい態様では、上記式に示すように、動画復元条件による尤度と、異なる時間分解能映像の自己相似な事例データによる事前確率を用いてMAP推定値F0を求めるが、事前確率のみを用いてMAP推定値F0を求めてもよい。この場合、−lnP(F0)の最小化問題となる。
1つの態様では、前記ＭＡＰ推定において、さらに、エッジ保存平滑化項が用いられる。すなわち、上記式において平滑化項Ｓを加えたものを最小化してもよい。平滑化については画像処理の分野で良く知られているので詳細な説明は省略する。
【００２０】
本発明が採用した他の技術手段は、１つの入力映像V1から高時間分解能映像を生成する装置であって、前記装置は、
映像の低時間分解能化手段と、
微小パッチセット形成手段と、
相似する微小パッチセット組の取得手段と、
高時間分解能映像の微小パッチの推定手段と、
を備え、
前記映像の低時間分解能化手段は、１つの入力映像V1から１つ以上の低時間分解能映像Vk(K=2,3,4…)を生成して複数の異なる時間分解能映像V1,Vkを用意し、
前記微小パッチセット形成手段は、前記映像V1,Vk及び前記高時間分解能映像のフレーム画像が、それぞれ複数の微小パッチから成るとし、各微小パッチの位置を時空間座標で特定することで、異なる時間分解能映像の微小パッチを対応付けて微小パッチセットを形成し、
前記相似する微小パッチセットの組の取得手段は、前記映像V1,Vkの１つ以上の映像から第１の時空間座標xで特定された１つ以上の第１の微小パッチを選択して、１つ以上の第１の微小パッチからなる第１微小パッチセットとし、第１微小パッチセットの各第１の微小パッチと、物体の動き情報を含む見えが相似する微小パッチを、各第１の微小パッチよりも低時間分解能映像から探索して、第２の時間空間座標yで特定された１つ以上の第２の微小パッチからなる第２微小パッチセットを取得し、
前記高時間分解能映像の微小パッチの推定手段は、前記高時間分解能映像の第１の時空間座標xの微小パッチの物体の動き情報を含む見えが、前記映像V1,Vkの第２の時空間座標ｙで特定された微小パッチから選択した１つの微小パッチと相似すると推定し、当該選択した１つの微小パッチを高時間分解能化に合わせてスケール変換した微小パッチを、前記高時間分解能映像の第１の時空間座標xの微小パッチと推定する、ものである。
【００２１】
本発明に係る高時間分解能映像の生成方法は、１つあるいは複数のコンピュータによって実行することができ、高時間分解能映像の生成装置は、１つあるいは複数のコンピュータから構成することができる。
本発明は、さらに、高時間分解能映像の生成方法をコンピュータに実行させるためのコンピュータプログラム、あるいは、当該コンピュータプログラムが記録された記録媒体としても定義される。
コンピュータは、典型的には、各種計算を行う演算処理部、時間分解能が異なる各映像（入力画像、低時間分解能画像、高時間分解能画像）の各画像フレームや計算結果等の各種データを格納する記憶部、各映像（入力画像、低時間分解能画像、高時間分解能画像）を表示する表示部、コンピュータを操作するための入力部、計算結果等のデータを出力する出力部、を備えている。
【発明の効果】
【００２２】
本発明は、時空間映像内で観察される自己相似性を考慮することにより、１つの連続露光映像に基づいて高時間分解能化を行うものであり、複数の映像を用いる手法とは異なり、同時に撮影、あるいは特殊なハードウェア構成で撮影された複数映像を必要とせず、１つの入力映像のみを用いる本手法は適用範囲が広い。また、本発明は、フレーム補間に基づく手法と異なり、密な動き推定が不要であるという有利な効果を備えている。
【図面の簡単な説明】
【００２３】
【図１】上図は、連続露光の低時間分解能映像を示し、下図は、高時間分解能化で生成された高時間分解能映像を示す。
【図２】上図は、短露光時間の低時間分解能映像を示し、下図は、フレーム補間手法で生成された高時間分解能映像を示す。
【図３】露光時間（時間分解能）の異なる映像における相似な「動きの見え」（自己相似性）の概念図である。
【図４】自己相似性を説明する図である。
【図５】自己相似な事例を説明する図である。
【図６】自己相似性の利用の仕方を説明する図である。ここでは、入力映像V1のフレーム１の第１の時空間座標の第１の微小パッチと、低時間分解能映像V2のフレーム２の第２の時空間座標の第２の微小パッチとが相似することを用いて、推定する高時間分解能映像V0の第１の時空間座標の微小パッチと、入力画像V1の第２時空間座標の微小パッチとが相似すると推定し、入力映像V1のフレーム４の第２の時空間座標の微小パッチをスケール変換して高時間分解能映像V0のフレーム２の第１の時空間座標の微小パッチとしている。図６において、各微小パッチが属するフレームは例示に過ぎない。
【図７】自己相似な事例の探索を説明する図である。
【図８】本手法と他のフレーム補間手法との比較(千代紙1映像)を示す各フレーム画像例である。(a)：正解映像、(b)、(c)、(d)、(e)は、各手法による生成映像であり、(b)：フレーム反復手法、(c)：フレーム線形補間手法、(d)：オプティカルフロー利用フレーム補間手法、(e)：提案手法、である。(f)、(g)、(h)、(i)は、各生成映像((b),(c),(d),(e))と正解映像(a)との差分映像(ゼロを128にオフセット)である。
【図９】本手法と他のフレーム補間手法との比較(屋外1 映像)を示す各フレーム画像例である。(a)：正解映像、(b)、(c)、(d)、(e)は、各手法による生成映像であり、(b)：フレーム反復手法、(c)：フレーム線形補間手法、(d)：オプティカルフロー利用フレーム補間手法、(e)：提案手法、である。(f)、(g)、(h)、(i)は、各生成映像((b),(c),(d),(e))と正解映像(a)との差分映像(ゼロを128にオフセット)である。
【発明を実施するための形態】
【００２４】
［Ａ］本発明の概要
本発明は、映像における自己相似性を利用することにより、１つの入力映像から、１フレームを時間方向に分解して露光時間を短くし、フレームレートを増加した高時間分解能映像を生成することを特徴としている。自己相似性を利用することにより、図１のように１つの低時間分解能映像（連続露光の低フレームレート映像）から、低時間分解能フレームを分解（例えば、低時間分解能の１フレームをその半分の露光時間を持つ２フレームに分解）することで、複数フレームを生成する高時間分解能化を行う。
【００２５】
自己相似性は、ある元映像から構成される時間分解能の異なる映像間に存在する相似な「露光時間中の物体の動き情報を含む見え（露光時間に積分された動きの見え）」であり、様々な自然映像で観察することが可能である。図３に、露光時間（時間分解能）の異なる映像における相似な「露光時間中の物体の動き情報を含む見え」の概念図を示す。
【００２６】
この自己相似性を観察できる簡潔な例を図４に示す。等速直線運動をしているエッジを、連続露光で撮影した映像V0を考える。同時に、V0の2フレーム平均を1フレームとして生成した2倍の露光時間(=1フレーム時間)を持つ映像V1を考える。V1のフレーム内のエッジは、V0のフレーム内よりも2倍の距離を移動している。
【００２７】
この際、V1で観察する微小領域のサイズをV0の2倍の大きさにするならば、図４（ｂ）のように、時間分解能の異なる映像間における移動エッジの局所的な見えは相似となる。この時間分解能映像間の相似な関係は、空間方向や時間方向にも各々のスケールを適応的に調整することにより拡張でき、様々な運動やテクスチャの微小画像に拡張することが可能である。
【００２８】
連続露光映像の高時間分解能化として、映像に本質的に含まれる構造を利用することは有効なアプローチと思われる。非特許文献１１では、静止画像１枚による空間方向の高解像度化手法が提案されている。本発明ではこれを拡張し、時空間映像内の自己相似な構造を利用するものである。
【００２９】
本来、連続露光映像の高時間分解能化は、同一の低時間分解能映像を構成できる高時間分解能映像として解が無数に存在する不良設定問題のため、解を一意に求められない。本発明の着想は、この制約不足を補うため、自己相似性を利用する点にある。本発明では、入力映像および入力映像から構成される更に低時間分解能の「物体の動き情報を含む見え」の間の関係を、異なる時間分解能間に存在する自己相似な事例として活用することで、１つの入力映像のみから高時間分解能の見えを復元する。
【００３０】
本発明の基本的な考え方は次の通りである。３つの時間分解能の異なる映像、すなわち、求める高時間分解能映像V0、入力される低時間分解能映像V1、V1からフレーム平均によって構成される更に低時間分解能な映像V2、における各微小領域について２つの時空間座標p、時空間座標qを考える。
【００３１】
入力動画V1のある時空間座標p（微小領域）の見えとV2の時空間座標q（微小領域）における見えが相似であれば、高時間分解能映像V0の時空間座標p（微小領域）の見えは入力される低時間分解能映像V1の時空間座標q（微小領域）の見えに相似であると期待できる。この関係を、高時間分解能映像V0の見えとして、低時間分解能映像V1からスケール変換により半分に縮小し、動きぶれを半減させた見えの予測に利用する。
【００３２】
本実施形態では、これらの自己相似性に基づいて、高時間分解能化を最大事後確率(MAP)推定として定式化する。この際に、高時間分解能映像のフレーム平均が低時間分解能映像のフレームを成すという時間分解能映像間の動画復元条件を高時間分解能フレームから低時間分解能フレームを構成する尤度として採用し、且つ前述の自己相似な事例を事前確率として利用する。
【００３３】
本発明の特徴は以下の２点に集約される。1つは、映像（動画）における自己相似性の概念を導入した点である。２つ目は、異なる時間分解能映像間の自己相似性を活用することにより、１つの映像のみからの高時間分解能化手法を提案した点である。このような自己相似性により、１つの映像のみでは制約不足により区別のつかなかった問題を扱えるようにし、従来手法のような直接的な動き推定も不要になる。後述する実施形態では、自己相似性の事前確率と動画復元条件を考慮した確率モデルによって、入力の低時間分解能映像との整合性を保つようなブラーを低減した高時間分解能映像の生成を行っている。
【００３４】
［Ｂ］自己相似性
本発明において重要な概念である時間分解能の異なる映像間の自己相似性の妥当性について議論する。以下に、本発明の基盤を成す自己相似性について定義し、この自己相似性が観察できる必要条件、自己相似性を利用した高時間分解能化、について議論する。
【００３５】
［Ｂ−１］定義
まず、露光時間eで撮影された入力映像V1を考え、V1の連続する２フレーム平均（V2のゲインはV1のゲインの半分と仮定し、V2のフレーム画像は、対応するV1の２フレーム画像の和ではなく平均に等しいとする。）をとり、露光時間2eの映像V2を構成する。これを繰り返し構成した、V1，….Vkを考える(このとき、Vkの露光時間は2k-1eとなる。)。自己相似性とは、１つの入力映像V1から構成された異なる露光時間の映像Vkの間で見られる、「露光時間中の物体の動き情報を含む見え」に関する相似構造を指す。
【００３６】
図５のように映像（動画）V1中で等速直線運動をしている無限の長さの直線エッジを考える。映像V1の微小画像（微小領域）であるパッチについて、そのパッチ中心の時空間座標をp=(x,y,t)T、空間方向のサイズをa=(ax,ay)、露光時間eとおいたパッチをf(p,a,e)と定義する。
【００３７】
同様に、映像V2のパッチもf(p,a,2e)と定義される。映像V2の露光時間は映像V1の露光時間よりも２倍長いため、このエッジは、映像V2のフレームでは映像V1のエッジの２倍の距離を移動する。従って、映像V1のパッチf(p,a,e)と映像V2のパッチf(p,2a,2e)は相似になる。
【００３８】
つまり、映像V1のパッチf(p,a,e)は、映像V2のパッチf(p,2a,2e)に対し空間サイズを１／２にスケール変換して生成したパッチf1/2(p,2a,2e)に等しい。同様に、パッチf(p,a,e)はパッチf1/4(p,4a,4e)に等しくなる。
【００３９】
一般に、異なる時空間座標間のパッチ同士においても、f(p,a,e)=f1/cs(q,csa,cte)を満たすスケールcsとctがあれば、パッチf(p,a,e)とパッチf(q,csa,cte)は自己相似である。
【００４０】
［Ｂ−２］必要条件
異なる露光時間の映像間でみられる「露光時間中の物体の動き情報を含む見え」の相似性は、時空間の両方向において相似でなければならない。また自己相似性の成立には、対象の動きとテクスチャパターンの相似という2つの要因が挙げられる。
【００４１】
空間方向については、映像の持つ時間スケールと対象の動きに合わせて空間スケールを適応的に調整した際に、パッチ同士が相似であれば自己相似性が成立する。1つの態様例では、パッチは、３×３〜５×５ピクセルの微小領域であるが、パッチのサイズはこれらに限定されるものではなく、対象となる画像や目的・用途等に応じて適宜設定することができる。パッチのサイズが小さければ相似が見つかり易く（例えば、エッジやコーナーの動きの見えのみが含まれることが予想できる）、パッチのサイズが大きくなると相似が見つかり難いことが当業者に理解される。非特許文献１１では、自然画像内に様々な空間スケール間においてテクスチャの繰り返しパターンが多数存在すると報告されており、このようなパッチについては上述の成立条件を満たすと考えられる。更に、微小なパッチサイズよりも長いエッジを観察する場合や、フラクタルなテクスチャの場合も、空間スケール変換によって不変なテクスチャと近似することが可能である。
【００４２】
時間方向においては、空間スケールとテクスチャに合わせて時間スケールを適応的に調整した際に、パッチ同士の動きが相似であれば自己相似性が成り立つ。これは、等速直線運動をする対象のcs=2、ct=2の場合や、等加速度運動をする対象のcs=4、ct=2の場合が挙げられる。また、様々な動きについて、露光時間内、即ち微小時間を観察することから、対象の速度は微小時間内で一定と近似できれば、等速運動に近似することが可能である。
【００４３】
［Ｂ−３］自己相似性を利用した高時間分解能化
本発明が採用した自己相似性を利用した高時間分解能化の概念について説明する。露光時間eの入力映像V1、露光時間２k-1eの低時間分解能画像Vk(k=2,3,4….)、露光時間２k-1eの高時間分解能画像Vk(k=0,-1,-2…)を考える。
説明で用いる各要素の記号を以下の通りとする。
ｆ0(x)：推定する高時間分解能映像V0のパッチ
ｆ1(x)：入力映像V1のパッチ
ｆ2(x)：入力映像V1から生成される低時間分解能映像V2のパッチ
ｆ3(x)：入力映像V1から生成される更なる低時間分解能映像V3のパッチ
：
：
ｘ：ある時空間座標
ｙ：ある時空間座標（ｘとｙは異なる。探索した結果が同じになってもよい。）
∝：相似記号
【００４４】
ｆ0(x)
ｆ1(x)  ∝  ｆ2（y）
ｆ2(x)  ∝  ｆ3（y）
：          ：
推定する高時間分解能映像V0のパッチf0(x)を除いた左列のパッチセットと、右列のパッチセットとを比較する。ｆ1(x)、ｆ2(x)、・・・のパッチセットの各パッチと相似なパッチｆ2（y）、ｆ3（y）、・・・からなるパッチセットがある場合、より低時間分解能の映像同士で時空間座標ｘと時空間座標ｙのパッチが相似することから、より高時間分解能の映像同士でも時空間座標ｘと時空間座標ｙのパッチが相似することが推定され、ｆ0(x)  ∝  ｆ1（y）が推定できる。ここで、パッチｆ1（y）のサイズは、パッチｆ0(x)のサイズよりも露光時間が長い分だけ大きくなっており、パッチｆ1（y）のサイズをパッチｆ0(x)の時間分解能に合わせてスケール変換してなるパッチは、パッチｆ0(x)と同一ないし類似のバッチとみなすことができる。
【００４５】
自己相似性を利用した高時間分解能化の概念を、より一般化して説明する。異なる時間分解能画像Vk(k=…-2,-1,0,1,2,3,4….)がそれぞれ複数の微小パッチから成るとし、各微小パッチの位置を時空間座標で特定することで、異なる時間分解能映像の微小パッチを対応付けて、異なる時間分解能の微小パッチから構成される微小パッチセットを形成する。ここで、第１の時空間座標x、第２の時間空間座標yを考えた時に、第１の時空間座標xで特定された複数の第１の微小パッチからなる第１微小パッチセット（左列）と、第２の時空間座標ｙで特定された複数の第２の微小パッチからなる第２微小パッチセット（右列）と、が形成される。
【００４６】
第１微小パッチセットを形成する各第１の微小パッチの物体の動き情報を含む見えと、各第１の微小パッチよりも低時間分解能の各第２の微小パッチの物体の動き情報を含む見えと、が相似する場合には、第１微小パッチセットの第１微小パッチと第２微小パッチセットの第２微小パッチとの間（異なる時間分解能の微小パッチ組）で相似関係が成り立つとみなすことができ、推定する高時間分解能映像の第１の時空間座標xの微小パッチと相似する微小パッチを、当該高時間分解能映像よりも低時間分解能映像における第２の時空間座標ｙの微小パッチの中に求めることができる。
【００４７】
自己相似性を利用した高時間分解能化の概念を、ｋ、ｌ、ｍ、ｎを用いてより汎用的に記載すると以下のようになる（ここでのｋは映像の時間分解能の次数のｋとは異なる意味で用いている点に留意されたい。）。ここでは、低時間分解能映像の生成方法としてフレームレートを１／２倍、１／２倍、・・・と下げていく態様であり、異なる時間分解能映像の関係は、低時間分解能映像の生成方法によって２の倍数以外も設定可能であるとが当業者に理解される。典型的には、ｆm(x)が入力画像である。
ｆm-ｋ(x)
ｆm(x)    ∝  ｆn（y）
ｆm+ｌ(x)  ∝  ｆn+ｌ（y）
：          ：
この時に、推定される相似関係は、ｆm-k(x)  ∝  ｆn-k（y）となる（m≦n-kの関係がある。）。以下に具体的に例示する。
【００４８】
［例１］ｋ＝１、ｌ＝１、ｍ＝１、ｎ＝２
ｆ0(x)
ｆ1(x)  ∝  ｆ2（y）
ｆ2(x)  ∝  ｆ3（y）
：          ：
推定される相似関係は、推定する高時間分解能（１次）のパッチｆ0(x)  ∝  入力画像のパッチｆ1（y）となる。
相似する異なる時間分解能の微小パッチの組は、時間分解能の次数が連続（ｆ1とｆ2、ｆ2とｆ3）している。
【００４９】
［例２］ｋ＝２、ｌ＝１、ｍ＝１、ｎ＝３の場合
ｆ-1(x)
ｆ1(x)  ∝  ｆ3（y）
ｆ2(x)  ∝  ｆ4（y）
：          ：
推定される相似関係は、推定する高時間分解能（２次）のパッチｆ-1(x)  ∝  入力画像のパッチｆ1（y）となる。
相似する異なる時間分解能の微小パッチの組は、時間分解能の次数が飛んでおり（ｆ1とｆ3、ｆ2とｆ4）、次数が連続でなくてもよい。
【００５０】
［例３］ｋ＝２、ｌ＝２、ｍ＝１、ｎ＝４の場合
ｆ-1(x)
ｆ1(x)  ∝  ｆ4（y）
ｆ3(x)  ∝  ｆ6（y）
：          ：
推定される相似関係は、推定する高時間分解能（２次）のパッチｆ-1(x)  ∝  低時間分解能画像（１次）のパッチｆ2（y）となる。
第１微小パッチセットを構成する異なる時間分解能の微小パッチの次数が飛んでおり（ｆ1、ｆ3）、次数が連続でなくてもよい。第２微小パッチセットを構成する異なる時間分解能の微小パッチの次数も第１微小パッチに対応して飛んでおり（ｆ4、ｆ6）、次数が連続でなくてもよい。
【００５１】
このように、上述の態様では、第１微小パッチセットは、異なる時間分解能画像Vk(1,2,3,4….)から第１の時空間座標xで特定された１つ以上の第１の微小パッチを選択して構成することができる。
そして、第１微小パッチセットの各第１の微小パッチと、物体の動き情報を含む見えが相似する微小パッチを、各第１の微小パッチよりも低時間分解能映像から探索して、第２の時間空間座標yで特定された１つ以上の第２の微小パッチからなる第２微小パッチセットを取得する。
第１微小パッチセットと第２微小パッチセットとの間では、相似する異なる時間分解能の微小パッチの組（第１微小パッチと第２微小パッチからなる）が形成されている。
第１微小パッチセットと第２微小パッチセットを形成する第１の微小パッチ、第２微小パッチの選択のやり方には様々な態様があり得る。
最も単純な態様では、第１微小パッチセットは、入力画像V1の第１の微小パッチf1(x)からなり、第２微小パッチセットは、低時間分解能映像V2の第２の微小パッチf2(y)からなる。すなわち、第１の微小パッチf1(x)と、物体の動き情報を含む見えが相似する微小パッチを、第１の微小パッチよりも低時間分解能映像から探索して、第２の時間空間座標ｙで特定された１つの第２の微小パッチf2(y)を取得する。
また、第１微小パッチセット及び第２微小パッチセットがそれぞれ複数の微小パッチを含む場合に、相似する異なる時間分解能の微小パッチの組を形成する第１微小パッチ及び第２微小パッチの時間分解能は、必ずしも１段階ずつ時間分解能が異なる必要はなく、例えば、２段階以上時間分解能が異なる微小パッチの組であってもよい。
また、第１微小パッチセットを構成する異なる時間分解能の微小パッチの時間分解能は必ずしも１段階毎に連続していなくてもよく、第２微小パッチセットを構成する異なる時間分解能の微小パッチの時間分解能も同様である。
第１微小パッチセットと第２微小パッチセットの各微小パッチの相似関係を用いて、高時間分解能映像の第１の時空間座標xで特定された微小パッチを推定するが、当該推定する微小パッチと相似する相手方の第２の時空間座標ｙの微小パッチは、V1,Vk(2,3,4….)の第２の時空間座標ｙで特定された微小パッチから選択される。
上記の態様では、微小パッチセットを形成する複数の微小パッチは異なる時間分解能映像の微小パッチであり、また、相似する第２の微小パッチの探索は、各第１の微小パッチよりも低時間分解能映像から探索することで、異なる時間分解能の微小パッチの組を形成しているが、本発明はこれらに限定されるものではなく、異なるフレームの同じ時間分解能映像から複数のパッチを選択して微小パッチセットを形成してもよく、また、異なるフレームの同じ時間分解能映像から相似の組を形成してもよい。
【００５２】
［Ｃ］高時間分解能化アルゴリズム
［Ｃ−１］概要
本実施形態では、入力映像の時間分解能を２倍（時間分解能を２倍以上に向上するアルゴリズムも同様に定式化可能であるとは当業者に理解される。）に向上する手法を提案する。露光時間eの入力映像V1、および露光時間２k-1eのVk(k＝2,3,4….)(V1から対応する連続フレームの平均をとることで構成される映像)の映像セットから、露光時間e/2のV0を復元する。
【００５３】
ここで、連続露光で撮影された映像、即ち露光時間が1フレーム時間に等しい入力映像を考えるため、V1の1フレーム画像はV0の対応する2フレームの平均と等しくなる。これを、V1の1フレームをV0の2フレームに分解するための動画復元条件と呼ぶ。尚、厳密に言えば、動画復元条件は線形なカメラ応答関数(CRF)の場合に成り立つ。しかし、通常、使用する連続フレームでは画素値は類似していると考えられ、このような場合には、CRFが区分線形近似を満たすならば動画復元条件が成り立つ。また、既知のCRFに従って画素値を逆変換した値を用いてもよい。
【００５４】
しかしながら、このフレーム画像の分解は、条件を満たす無限個のフレーム画像ペアが存在する不良設定問題である。この問題を扱えるようにするため、自己相似性に基づいた別の条件として、自己相似な事例を導入する。
【００５５】
本実施形態では、動画復元条件と自己相似な事例に基づき、MAP推定の枠組みにより高時間分解能化の問題を解く。ある時刻tのVkのフレーム画像をFk(t)あるいは省略してFkと記述する。事象F1が与えられた確率変数F0の事後確率P(F0|F1)は、ベイズ則に従い、
2012100189.tif 000004
と与えられる。F0は高時間分解能の画像フレームであり、F1は低時間分解能の画像フレームである。P(F0|F1)はF0が与えられたときのF1の尤度で、P(F0)はF0の事前確率である。確率P(F1)は定数となり、求めるMAP推定値F0は、P(F1|F0)P(F0)のエネルギーの最小化問題として表される。
2012100189.tif 000005
ここで、−lnP(F0|F1)は、動画復元条件（露光時間が連続的である）による尤度であり、−lnP(F0)は、異なる時間分解能映像の自己相似な事例データによる事前確率である。以下に、尤度と事前確率について動画復元条件と自己相似事例からの計算方法を説明する。
【００５６】
［Ｃ−２］尤度モデル
動画復元条件から尤度を求める。実際に映像を撮影する場合には、カメラや取り込み過程におけるノイズη(x,y,t)が加わることが予想される。従って、フレーム画像F1(t)の動画復元条件は、
2012100189.tif 000006
のように表すことができる。ここで、Fk(x,y,t)は、フレーム画像Fk(t)の座標(x,y)における画素値を表す。
【００５７】
ノイズη(x,y,t)は、標準偏差σlikeのx,y,tによらず独立で同一のガウス分布に従うとすると、式(2)の第１項は、
2012100189.tif 000007
と与えられる。Ωはフレーム画像内の対象としている領域を指し、定数は無視する。
【００５８】
［Ｃ−３］事前確率モデル
自己相似な事例は以下を満たすと仮定して、Hallucination手法と同じ要領で利用する。Hallucination手法についは、例えば、非特許文献１２、非特許文献１３を参照することができる。
【００５９】
映像V1の時空間座標ｐのパッチf(p,a,e)と映像V2のスケール変換した時空間座標ｑのパッチf1/2(q,2a,2e)が類似であれば、映像V0の時空間座標ｐのパッチf(p,a,e/2)と映像V1のスケール変換した時空間座標ｑのパッチf1/2(q,2a,e)も図５に示すように類似である。
【００６０】
具体的には、映像V1の時空間座標ｐのパッチf(p,a,e)に類似する映像V2の時空間座標ｑのパッチf1/2(q,2a,2e)を探索し、映像V1の時空間座標ｑのパッチf1/2(q,2a,e)を映像V0の時空間座標ｐのパッチf(p,a,e/2)の候補とする。映像V0の時空間座標ｐの候補パッチf~(p,a,e/2)は次のように与えられる。
2012100189.tif 000008
パッチ間の距離は画素値の差の二乗和(SSD: Sum of Squared Differences)で定義する。
【００６１】
次に、フレーム画像全体について候補パッチf~(p,a,e/2)を連結し、フレーム画像候補F0~を生成する。ここで、F0と候補F0~の誤差は標準偏差σpriの独立で同一のガウス分布に従うとみなし、式(2)の第2項を次式のように表す。
2012100189.tif 000009
このとき、t´＝t, t+e/2であり、定数項は無視される。
式(6)の候補を決定する際に、上述ではV2まで利用する例で説明したが、V1から生成されたVkまでの複数の低時間分解能映像を用いることが可能である。実際には、本実施形態では、f(p,a,e)とf1/2(p´,2a,2e)のSSDの計算において、f(p,a,2e)とf1/2(p´,2a,4e)のSSDを加えたK=3まで考慮した計算を行っている。
【００６２】
自己相似な事例の探索には、微小画像そのものではなく、微小領域のフレーム差分画像を用いることができる。この場合、上記映像の各パッチは、入力画像及び生成された各低時間分解能映像から取得したフレーム差分画像のパッチとすればよいことが当業者に理解される。差分画像を用いることによって、背景や動きのない箇所を除去した動きの情報のみを利用することが可能である。実際に、後述する実験では、精度が良好であるためフレーム差分を採用している。
【００６３】
［Ｃ−４］最適化
ノイズやちらつきを削減するため式(2)に平滑化項Sを加え、式(4)と式(6)を用いて、F0のMAP推定値は次式のように記述できる。
2012100189.tif 000010
ここで、
2012100189.tif 000011
である。
【００６４】
この平滑化項はラプラシアンフィルタに基づいており、時空間方向のエッジ成分を保存するため、画素ごとの重みw(x,y,t´,m,n,q)を導入する。重みは
2012100189.tif 000012
より、
2012100189.tif 000013
によって定義される。
【００６５】
式(7)の最適化問題を以下のような反復演算により求解する。
（１）式(7)の平滑化項を無視し、最小二乗法により初期推定値F0r=0を計算する。
（２）F0rを用いて重みw(x,y,t´)を算出し、式(2)を最小二乗法によって求めた推定値F0r+1を更新する。
（３）ステップ（２）を変化|Fr+1−Fr|が収束するまで繰り返す。
今回の実験では、反復演算は数回程度で収束している。
【００６６】
［Ｄ］実験
実映像を用いて本発明の評価を行った。評価実験に用いる実動画は、CASIO製のカメラExilimEX-F1を用い、露光時間はほぼ１フレーム時間となるように設定して撮影した。実験に用いる7種類の映像を各々約150フレームのV0として収集した。3種類の映像は、屋内で等速回転運動の千代紙1，2(textured paper 1,2)と、等速直線運動と様々な運動を含むメリーゴーラウンドを撮影した映像である。千代紙1は類似なテクスチャパターンの繰り返し模様であり、千代紙2は複数のテクスチャパターンを含んでいる。残りの4種類の映像は屋外シーンを撮影した映像である。本実験では映像の輝度情報を用いる。撮影映像は高時間分解能の正解映像V0と考え、V0から構成した低時間分解能映像V1、V2およびV3を用いて、提案手法によりV0を復元する。また、５×５ピクセルのパッチを用い、σlike=1、σpri=1.25、λ=1.6に、σsについてはフレームの明るさに合わせて50から100の値に設定した。
【００６７】
［Ｄ−１］他手法との比較
本発明の性能を確認するため、フレーム反復手法、フレーム線形補間手法、オプティカルフロー利用によるフレーム補間手法（非特許文献８、９）との比較実験を行った。様々な動きを含む7種の映像を用いて、各々の手法の性能を評価した。
【００６８】
まず、全4手法の定性的評価を行った。図８と図９に、各々、(a)正解映像、(b)-(e)生成映像((b)フレーム反復手法、(c)フレーム線形補間手法、(d)オプティカルフロー利用フレーム補間手法、(e)提案手法)、(f)-(i)生成映像((b)-(e))と正解映像(a)との差分のフレーム画像例を示す。図８(e)、および図９(e)に示されるとおり、生成されたフレーム画像の画質は、その他のフレーム補間手法に比べて大いに向上していることがわかる。本アルゴリズムで生成された映像(e)では、動きぶれの領域が低減され、エッジやテクスチャが復元されていることがわかる。オプティカルフロー利用フレーム補間手法(d)では、生成フレーム内に動きぶれが残る、あるいはフロー推定を失敗した領域も見られる。同様に、動きぶれは、フレーム反復手法においても改善はされず、フレーム線形補間手法では拡大されている。
【００６９】
本アルゴリズムの推定精度を定量的に評価するため、全4手法について、生成映像と正解映像との輝度情報のピーク信号対雑音比(PSNR)を評価した。表1にPSNRの平均を載せる。全7映像のいずれの実験においても、本アルゴリズムが他のフレーム補間手法に比べて上回っていることがわかる。オプティカルフロー利用フレーム補間手法では、入力映像に動きぶれが含まれるため、フローの推定に失敗し、フレーム反復手法やフレーム線形補間手法よりも多くのゴーストやブラーが生じた可能性がある。以上の定性評価および定量評価から、提案手法は、回転運動等様々な動きに対しても非常に有効な高時間分解能化のアルゴリズムであると言える。
【表１】
2012100189.tif 000014
【００７０】
［Ｄ−２］本実施形態の要素の評価
本実施形態における各要素の効果を確認するため、3種の映像の各30フレームを用いて推定精度比較を行った。要素とは、動画復元条件、平滑化項、用いた映像の時間方向のスケールレベル数Vk、自己相似性を表す特徴(フレーム画像あるいはフレーム差分画像)を指す。
【００７１】
まず、高時間分解能化に用いる低時間分解能映像V1からVkの、時間分解能スケールレベルkを複数用いることによる効果を確認した。表2に示されるように、k=3,4まで用いた場合は、k=2までしか利用しなかった場合に比べて、PSNR結果が良好である。このことから、高時間分解能の動きの見えを表現するには、k=2までよりも更に低時間分解能映像k=3,4までの動きの見えを利用することが効果的であると考えられる。
【表２】
2012100189.tif 000015
【００７２】
各要素の効果を確認するため、要素を順に追加した際の性能評価を行った。表3が各ケースのPSNR結果である。各要素を追加するに従い、生成された映像の質が向上していることがわかる。特に、動画復元条件や用いた映像数k=3は、他の要素よりも推定精度への寄与が高い。以上の結果より、いずれの要素も映像の高時間分解能化の画質改善に大いに貢献していると言える。
【表３】
2012100189.tif 000016
【００７３】
以上述べたように、本発明は、１つの連続露光の低時間分解能映像から、露光時間を分割するようにフレームを分解する高時間分解能化により、低フレームレート映像から高フレームレート映像を生成するアルゴリズムに関するものである。本発明の実施形態では、時間分解能の異なる映像間の自己相似性の関係に基づき、自身の映像のみから抽出される自己相似な事例データに基づく事前確率を導入することで、且つ動画復元条件を満たす高時間分解能化を実現している。実映像を用いた実験により、元の低時間分解能映像との整合性を崩さずに、動きぶれを低減した高時間分解能映像を復元できること、また従来のフレーム補間手法に比較して精度良く復元できることを確認した。
【図７】
2012100189.tif 000017
【図１】
2012100189.tif 000018
【図２】
2012100189.tif 000019
【図３】
2012100189.tif 000020
【図４】
2012100189.tif 000021
【図５】
2012100189.tif 000022
【図６】
2012100189.tif 000023
【図８】
2012100189.tif 000024
【図９】
2012100189.tif 000025