(57)【要約】【課題】再構成型超解像技術における演算量の低減、および／あるいは、処理速度の向上を実現する。【解決手段】複数の低解像度画像から１つの高解像度画像を推定する再構成型超解像装置において、高解像度画像の画素数に対応させた低解像度画像の高周波成分を強調して高域強調画像を取得する高域強調部と、前記高域強調画像が初期画像として入力され、再構成演算を繰り返し実行して、推定された高解像度画像を出力する超解像処理部と、を備えている。【選択図】図１
2013250891.tif 000002
【特許請求の範囲】
【請求項１】
複数の低解像度画像から１つの高解像度画像を推定する再構成型超解像方法において、
当該超解像方法は、再構成演算を繰り返し実行する超解像処理部を用いるものであり、
高解像度画像の画素数に対応させた低解像度画像の高周波成分を強調して高域強調画像を取得するステップと、
前記高域強調画像を初期画像として前記超解像処理部に入力するステップと、
を備えている、超解像方法。
【請求項２】
前記高解像度画像の画素数に対応させた低解像度画像は、前記複数の低解像度画像から選択された１枚の低解像度画像、あるいは、前記複数の低解像度画像を合成して得られた１枚の低解像度画像に、バイキュービック（bicubic）法、バイリニア（bilinear）法、Lanczos法、ニアレストネイバー（nearest neighbor）法のいずれかの手法を適用することで得られる、請求項１に記載の超解像方法。
【請求項３】
前記高域強調画像Ih(t)↑は、
2013250891.tif 000027
によって得られる、請求項１、２いずれかに記載の超解像方法。
I(t)↑は、高解像度画像の画素数に対応させた低解像度画像、
ｂは、ぼけ関数、
ｋ0は、正の定数、
δは、中心画素のみを１、他の画素を０とする関数、である。
【請求項４】
前記高域強調画像Ih(t)↑は、
2013250891.tif 000028
によって得られる、請求項１、２いずれかに記載の超解像方法。
I(t)↑は、高解像度画像の画素数に対応させた低解像度画像
▽2は、ラプラシアン
ｋは、正の定数、である。
【請求項５】
複数の低解像度画像から１つの高解像度画像を推定する再構成型超解像装置において、
高解像度画像の画素数に対応させた低解像度画像の高周波成分を強調して高域強調画像を取得する高域強調部と、
前記高域強調画像が初期画像として入力され、再構成演算を繰り返し実行して、推定された高解像度画像を出力する超解像処理部と、
を備えている、超解像装置。
【請求項６】
前記超解像装置は、拡大画像取得部を備え、前記拡大画像取得部は、前記複数の低解像度画像から選択された１枚の低解像度画像、あるいは、前記複数の低解像度画像を合成して得られた１枚の低解像度画像に、バイキュービック（bicubic）法、バイリニア（bilinear）法、Lanczos法、ニアレストネイバー（nearest
neighbor）法のいずれかの手法を適用することで、前記高解像度画像の画素数に対応させた低解像度画像を得る、請求項５に記載の超解像装置。
【請求項７】
前記高域強調部において、前記高域強調画像Ih(t)↑は、
2013250891.tif 000029
によって得られる、請求項５、６いずれかに記載の超解像装置。
I(t)↑は、高解像度画像の画素数に対応させた低解像度画像、
ｂは、ぼけ関数、
ｋ0は、正の定数、
δは、中心画素のみを１、他の画素を０とする関数、である。
【請求項８】
前記高域強調部において、前記高域強調画像は、
2013250891.tif 000030
によって得られる、請求項５、６いずれかに記載の超解像装置。
I(t)↑は、高解像度画像の画素数に対応させた低解像度画像
▽2は、ラプラシアン
ｋは、正の定数、である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に係り、詳しくは、複数枚の低解像度の入力画像から高解像度の画像を生成する超解像技術に関するものである。
【背景技術】
【０００２】
複数枚の低解像度画像（サブピクセル単位の位置ずれや折り返し歪みがある）から、高解像度の合成画像を生成する技術として超解像技術が知られている。超解像技術の代表的な手法としては、再構成型超解像手法（非特許文献１）と、学習型超解像手法がある。
【０００３】
再構成型超解像手法の基本的な考え方は、画像撮影において生じる画質劣化（モーション、ぼけ、ダウンサンプリング等）＋ノイズを考慮した観測モデルに基づいて、推定する高解像度画像(X)を劣化させた画像を設定し（高解像度画像とＰＳＦの畳み込み）、この劣化画像と入力低解像度画像群との誤差を最小化する(X)を推定するものであり、評価関数の最適化問題として定式化される。
【０００４】
再構成型超解像手法における演算は、通常、超解像モデルを正則化によって抑制しつつ繰り返し演算（最適化演算）により画素値を決定するが、この繰り返し演算は、通常、数十回から数百回行う必要があるため、演算量ないし演算時間が増大してしまい、リアルタイム処理が困難であるという課題がある。
【０００５】
超解像技術は、映像処理装置や映像表示装置における利用が期待されており、また、超解像技術と多視点映像符号化との融合も提案されているが（非特許文献２）、これらのアプリケーションを実現するに際して、超解像処理をリアルタイムで行うことは重要である。
【０００６】
再構成型超解像処理において、超解像処理の計算コストを削減することにより、超解像処理の高速化を実現させる超解像処理の高速化方法も提案されている（特許文献１、２）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３８３７５７５号
【特許文献２】特許第４１２６３７８号
【非特許文献】
【０００８】
【非特許文献１】S.C. Park, M.K. Park, and M.G.Kang: “Super-resolution image reconstruction: a technical overview”, SignalProcessing Magazine, IEEE, vol.20, no.3, pp.21-36(2003).
【非特許文献２】高橋桂太，苗村健:“視点依存型アプローチよる超解像自由視点画像合成”, 画像の認識・理解シンポジウム(MIRU)，IS4-21(2011)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、超解像演算における超解像演算初期値に特徴を持たせることによって、再構成型超解像手法における演算量の低減、および／あるいは、処理速度の向上を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明が採用した第１の技術手段は、
複数の低解像度画像から１つの高解像度画像を推定する再構成型超解像方法において、
当該超解像方法は、再構成演算を繰り返し実行する超解像処理部を用いるものであり、
高解像度画像の画素数に対応させた低解像度画像の高周波成分を強調して高域強調画像を取得するステップと、
前記高域強調画像を初期画像として前記超解像処理部に入力するステップと、
を備えている、超解像方法、である。
【００１１】
本発明が採用した第２の技術手段は、
複数の低解像度画像から１つの高解像度画像を推定する再構成型超解像装置において、
高解像度画像の画素数に対応させた低解像度画像の高周波成分を強調して高域強調画像を取得する高域強調部と、
前記高域強調画像が初期画像として入力され、再構成演算を繰り返し実行して、推定された高解像度画像を出力する超解像処理部と、
を備えている、超解像装置、である。
【００１２】
１つの態様では、前記高解像度画像の画素数に対応させた低解像度画像は、前記複数の低解像画像から選択された１枚の低解像度画像、あるいは、前記複数の低解像度画像を合成して得られた１枚の低解像度画像に、バイキュービック（bicubic）法、バイリニア（bilinear）法、Lanczos法、ニアレストネイバー（nearest neighbor）法のいずれかの手法を適用することで得られる。
１つの態様では、前記複数の低解像度画像を合成して得られた１枚の低解像度画像は、自由視点合成画像である。
【００１３】
１つの態様では、前記高域強調画像Ih(t)↑は、
2013250891.tif 000003
によって得られる。
I(t)↑は、高解像度画像の画素数に対応させた低解像度画像、
ｂは、ぼけ関数、
ｋ0は、正の定数、
δは、中心画素のみを１、他の画素を０とする関数、である。
後述する実施形態では、図３Ａに示すぼけ関数を用いているが、他のぼけ関数を用いてＬＰＦを構成してもよい。
【００１４】
１つの態様では、前記高域強調画像Ih(t)↑は、
2013250891.tif 000004
によって得られる。
I(t)↑は、高解像度画像の画素数に対応させた低解像度画像、
▽2は、ラプラシアンフィルタ、
ｋは、正の定数、である。
後述する実施形態では、図３Ｂに示すラプラシアンフィルタを用いるが、他のラプラシアンフィルタを用いてもよい。
さらに、上記式において、ラプラシアンフィルタ（▽2）に代えて、他の鮮鋭化フィルタを用いてもよい。
【００１５】
本発明に係る超解像方法及び装置を用いた映像表示装置、映像符号化・伝送方法及び装置は、本発明の技術的範囲に属するものである。また、本発明は、低解像度の入力多視点映像から、高画質の自由視点画像を生成する超解像自由視点合成技術にも適用可能であり、本発明に係る超解像方法及び装置を用いた超解像自由視点合成方法及び方法は、本発明の技術的範囲に属するものである。
【発明の効果】
【００１６】
本発明によれば、超解像処理部への入力初期値として、低解像度画像の高周波成分を強調した画像を用いることにより、超解像処理の繰り返し演算回数を低減し、演算量の低減及び演算速度の向上が可能となる。
【００１７】
本発明は、超解像処理部への初期入力値に特徴を有するものであり、超解像処理部で実行される処理に改変を加えるものではないため、再構成型超解像処理部全般、また、超解像処理部に関するいかなる変形や改良とも親和性が高い。
【００１８】
本発明の効果は上記記載に限定されるものではなく、その他の効果は、本明細書の記載から明らかになる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る超解像処理の概要を示すブロック図である。
【図２】超解像処理における高解像度画像と低解像度画像の関係を示す図である。
【図３Ａ】ぼけ関数bを示す図である。
【図３Ｂ】高域強調フィルタとして用いられ得るラプラシアンフィルタを示す図である。
【図４】本実施形態に係る超解像自由視点画像合成の基本設定を示す図である。
【図５】疎行列に対する格納方式を示す図である。
【図６】疎行列の格納順序を示す図である。
【図７】繰り返し演算回数Nに対する高域強調割合kとMSEの関係（評価関数（E1）を使用）を示す図である。
【図８】混色による画像合成の拡大I(t)↑を示す図である。
【図９】高域強調後の初期画像Ih(t)↑(k=0.3)を示す図である。
【図１０】評価関数（E1）を使った場合の超解像合成画像（繰り返し演算回数13 回）を示す図である。
【図１１】(5)式、(11)式の第一項と第二項の動きを示す模式図である。
【図１２】(10)式による超解像結果を示す図である。
【図１３】繰り返し演算回数に対する高域補償割合kとMSEの関係（評価関数（E2）を使用）を示す図である。
【図１４】評価関数（E2）を使った場合の超解像合成画像（繰り返し演算回数5 回、(12)式の演算後）を示す図である。
【図１５】繰り返し演算回数に対する|αj∇Esr(Xj)｜）の値を示す図である。
【図１６】（5）式、（11）式における第一項と第二項の一次ノルム（L1norm）を示す図である。
【図１７】（5）式、（11）式において，第一項と第二項の符号が同じとなる画素の割合を示す図である。
【図１８】入力画像（筑波大学多視点画像データベースより）を示す図である。
【図１９Ａ】処理結果例であり、デプスマップD^ を示す図である。
【図１９Ｂ】処理結果例であり、最小コストマップS^minを示す図である。
【図１９Ｃ】処理結果例であり、混色による画像合成の拡大I(t)↑を示す図である。
【図１９Ｄ】処理結果例であり、超解像による合成画像ISR(t) を示す図である。
【発明を実施するための形態】
【００２０】
［Ａ］本発明の概要
本発明の概要を図１に基づいて説明する。本発明は、低解像度画像群（低解像度画像１、低解像度画像２、・・・、低解像度画像Ｎ）を用いて、１枚の高解像度画像を推定する再構成型超解像に関するものである。本発明に係る超解像装置は、超解像処理部における超解像再構成演算の前処理部として、拡大画像取得部と、高域強調部と、を備えている。
【００２１】
拡大画像取得部は、前記複数の低解像画像から選択された１枚の低解像度画像を拡大して、高解像度画像の画素数に対応する低解像度画像を得るものである。拡大画像を取得する手段は、後述の実施形態ではバイキュービック（bicubic）法を用いているが、その他、バイリニア（bilinear）法、Lanczos法、ニアレストネイバー（nearest neighbor）法等の他の手段を適用してもよいことが当業者に理解される。
【００２２】
高域強調部は、高解像度画像の画素数に対応するように拡大された低解像度画像の高周波成分を強調して高域強調画像を取得するものである。後述する実施形態では、図３Ａに示すぼけ関数（ＬＰＦ）を用いて得られた成分を元画像から差し引いた成分を元画像に加算すること、あるいは、図３Ｂに示すラプラシアンフィルタを用いた画像の鮮鋭化を示すが、本発明に適用される高域強調手法は、これらのものに限定されるものではない。与えられた画像において高周波成分を強調する処理自体は公知であり、例えば、他の鮮鋭化フィルタを用い得ることが当業者に理解される。
【００２３】
高域強調部によって高周波成分が強調された高域強調画像が、初期画像として超解像処理部に入力され、超解像処理部において、再構成演算（最適化計算）が繰り返し実行され、推定された高解像度画像が出力される。
【００２４】
本発明において、再構成型超解像処理部の具体的な構成は限定されない。再構成型超解像手法自体は当業者によく知られており、再構成型超解像処理の具体例については、例えば、非特許文献１、ならびに、非特許文献１で引用されている文献を参照することができる。再構成型超解像手法の枠組みは、画像撮影において生じる画質劣化（モーション、ぼけ、ダウンサンプリング等）＋ノイズを考慮した観測モデルに基づいて、推定する高解像度画像(X)を劣化させた画像を設定し（高解像度画像とＰＳＦの畳み込み）、この劣化画像と入力低解像度画像群との誤差を最小化する(X)を推定するものであり、評価関数の最適化問題として定式化される。すなわち、再構成型超解像処理は、推定する高解像度画像を劣化させた仮想的な低解像度画像と、観測された低解像度画像と、の誤差（典型的には二乗誤差）に基づく評価関数の最適化問題である。
【００２５】
最適化問題における評価関数の設定においても、ＭＡＰ(Maximum A
Posterior)推定、最尤推定等、既存の枠組みに基づいて設定することができる。超解像再構成演算に用いる評価関数は、基本的には、尤度項＋正則化項（拘束項）であるが、各項においてどのような式を具体的に用いるかは、用いられる低解像度画像等に基づく個別事案等に応じて、当業者において、適宜設定し得る事項である。最適化問題の計算は、勾配法等（代表的なものとして、最急降下法がある）の既存の手法を用いて事項することができる。
【００２６】
前処理部（拡大画像取得部、高域強調部）、再構成型超解像処理部のハードウェア構成は、汎用コンピュータ（入力部、出力部、演算部、記憶部、表示部等を備える）から構成することができる。取得した画像データ、計算データは記憶部に記憶され、各種計算は演算部によって実行される。各画像データ（低解像度画像、高域強調画像、高解像度画像等）は、汎用コンピュータの表示部から構成することができる。
【００２７】
本発明では、超解像処理部への入力初期値として、初期画像の高周波成分を強調した画像を用いることにより、超解像処理の繰り返し演算回数を低減し、演算量の低減かつ、演算速度の向上を可能とする。通常、超解像処理部への入力画像としては、低解像画像の任意の１枚を高解像度画像の画素数にまで拡大した画像が用いられる。本発明では、この拡大された画像に対し、画像の高周波成分を強調した画像を作成し、それを超解像処理部の初期入力画像とする。画像の高周波成分の強調処理は、超解像処理と比較して、圧倒的に少ない演算量で実現可能である。
【００２８】
高解像度画像から低解像度画像が生成される過程における画像の周波数成分の変化を模式的に図２に示す。図２は、高解像度画像(a)にPSFが畳み込まれた画像(b)に対し、サンプリング処理により低解像度画像(c)が作成される流れを表している。サンプリング処理によりナイキスト周波数以上の周波数がナイキスト周波数内に折り返し成分（aliasing）として混入する。超解像処理は、この(a)→(b)→(c)の流れを逆に辿る処理、すなわち、折り返し歪み復元処理と、ぼやけ復元処理とを同時に行う処理であると考えることができる。本発明で提案する高周波成分を強調した初期画像は、超解像処理のうち、ぼやけ復元処理の一部を、超解像処理より前に行うことに相当するため、超解像処理における繰り返し演算回数を低減することが可能となる。
【００２９】
特に、超解像自由視点画像合成に本発明を適用する場合には、自由視点画像合成結果に対して高周波成分を強調した画像を超解像処理部の入力とすることで、さらに超解像処理の繰り返し演算回数を低減することが可能である。これは、自由視点画像合成処理により、折り返し復元処理の一部が既になされているとみなすことができ、さらに高周波成分の強調により、ぼやけ低減処理も超解像処理に先立って実行できるためである。
【００３０】
本発明では、超解像演算の高速化により、リアルタイムでの超解像技術の適用が可能となる。例えば、超解像処理と自由視点画像合成処理を融合した映像生成の枠組みでは、低解像度の入力多視点映像から、高解像度の任意視点映像をリアルタイムに生成することを可能にする技術を提供する。また、通信分野において本発明を用いることにより、遠隔地に伝送される多視点映像が低解像度であっても、受信側で映像を高解像度化できるようになるため、伝送帯域の実質的な圧縮が可能になる。さらに、多数の視差像（観察者の視線方向に応じた見え方の異なる像）を表示できる三次元・立体ディスプレイへの実写コンテンツの表示手段として、高画質の任意視点映像生成をリアルタイムに実現する技術が強く望まれており、本発明はそのニーズに対応することができる。
【００３１】
［Ｂ］超解像自由視点画像合成の高速化実装
本発明の実施形態を、超解像自由視点画像合成の高速化実装に基づいて説明する。自由視点画像合成とは、複数の視点で撮影された多視点画像をもとに、任意の新しい視点から見た画像を合成する技術である。この技術は、高度なリアリティを持つ三次元的な映像効果を可能にするものであり、次世代の放送・通信分野への応用が期待されている。自由視点合成画像手法の大半は、多視点画像を混色して画像を合成する。混色合成は、形状推定の誤差を目立たなくする効果があるが、合成画像をぼかしてしまうという限界がある。一方、多視点画像を超解像再構成の枠組みを用いて統合すれば、解像感の高い画像合成が実現できると考えられる。本明細書で言及する超解像自由視点合成画像とは、再構成型超解像を応用して、高解像度で任意の視点から見た画像を自在に合成する技術を指す。
【００３２】
一般的な意味での超解像は、複数枚の低解像度画像のうちの一つを基準画像とし、基準画像を高解像度化するものであり、新しい視点から見た画像の合成を意図したものではない。超解像を自由視点画像合成に導入した例としては、入力多視点画像を超解像する手法（T. Tung, S. Nobuhara, and T. Matsuyama: “Simultaneous
super-resolution and 3d video using graph-cuts", IEEE CVPR, pp.1-8 (2008)）や、被写体のテクスチャマップを超解像合成する手法（B. Goldluecke and D. Cremers: “Superresolution texture maps for
multiview reconstruction", IEEE CVPR, pp.1677-1684 (2009)）があるが、いずれも単一オブジェクトの三次元モデルを生成するものであり、画面全体を超解像合成する本実施形態の目的とは異なる。
【００３３】
本発明者等は、セミグローバル・ステレオ法（H. Hirschmuller: “Stereo processing by semiglobal matching and mutual
information", Pattern Analysis and Machine Intelligence, IEEE Transactions
on, vol.30, no.2, pp.328-341 (2008)）を基にした高精度なデプス推定と、オクルージョン処理、デプスの信頼性に基づく正則化を含めた超解像再構成を組み合わせた、自由視点画像合成手法を提案している（非特許文献２)。本実施形態では、前記自由視点画像合成手法全体をグラフィックプロセッサユニット（GPU）を用いて並列実装した。さらに、演算高速化に寄与する改善として、超解像再構成演算の初期画像および正則化項の変更を行った。結果として、160×120画素の入力画像4枚から320×240画素の超解像自由視点合成画像1枚を約130msで合成可能とした。これは、並列演算化を行わない場合の上記従来の自由視点画像合成手法と比較して約70倍の速度である。以下、詳細に述べる。
【００３４】
［Ｂ−１］超解像自由視点画像合成の概要
本実施形態で用いる設定を図１に示す。入力視点は、ほぼ同一平面上に配置されるとし、入力多視点画像をI(m)(m =1,…,M)と表記する。カメラパラメータは既知とする。zは入力視点平面からの距離を表す。新たな視点（合成対象視点）tから見た画像を合成することを考える。入力画像と同じ解像度の混色による合成画像をI(t)、超解像による高解像度の合成画像をISR(t)と表記する。
【００３５】
非特許文献２の手法では、合成対象視点tの座標系において入力多視点画像の位置合わせを行い、再構成型超解像の枠組みを当てはめることで、高解像度の自由視点画像を得ている。
【００３６】
多視点画像の位置合わせは、デプス推定に等価であり、最初に、合成対象視点から見たデプスマップDを求める。デプスマップを求める解像度は入力画像と同一とするが、ISR(t)のサイズに拡大してD^とし、超解像演算に用いる。このD^を用いて入力多視点画像を合成対象視点の座標系に対応付け、その視点から見た高解像度合成画像ISR(t) を得る。このとき、デプス推定の過程で得られた最小コストマップS^minを正則化に用いることで、デプスの信頼性の高い画素にのみ超解像が強く作用するように制御する。このようにして、混色と超解像を融合し、ノイズを抑制しつつ解像感の高い画像合成を実現する。
【００３７】
［Ｂ−１−１］非特許文献２による評価関数：評価関数（E1）
実際の超解像再構成演算は、入力多視点画像と高解像度合成画像との対応関係を表す尤度項と、最小コストマップに基づく正則化項により構成される評価関数の最適化問題として定式化される。非特許文献２において提案している評価関数を以下に示す。
2013250891.tif 000005
X，X−，Ymは、それぞれISR(t)，I(t)↑,およびI(m)のベクトル表現である。I(t)↑は、混色による合成画像I(t)を、ISR(t)と同じサイズにバイキュービック法により拡大した画像である。(1)式の第一項は尤度項、第二項は正則化項を表している。λは非負定数である。
【００３８】
Amは、デプスマップD^↑を用いて、高解像度合成画像ISR(t)を入力画像I(m)の座標系に変換する処理を表す係数を記述したものである。これには、視点位置の変換に伴う座標の変換だけではなく、解像度の変換も含まれる。
【００３９】
WはコストマップS^minより作成されるデプス推定の信頼度wを一次元のベクトルに展開して対角行列としたもので、ISR(t) 上の座標p→に対して、
2013250891.tif 000006
により定義される。wmin は非負定数である。
(1) 式の最小化には、勾配法による反復解法を用いる。
2013250891.tif 000007
勾配は(5) 式のように表される。
2013250891.tif 000008
【００４０】
非特許文献２で開示されている超解像合成について説明を補充する。入力画像と同一の解像度を持つ合成画像I(t)は、入力画像の対応画素の混色によって以下のように合成する。
2013250891.tif 000009
＾D＾↑、I(t)↑、およびS＾min↑は、入力画像と同一の解像度を持つものを、bicubic法により拡大して高解像度画像ISR(t)のサイズに合わせたものである。一般の再構成型超解像の枠組みを当てはめると、合成対象視点における高解像度画像ISR(t)は、以下のコストを最小化する画像として定義される。
2013250891.tif 000010
ここで、E(1)srは尤度に基づくコストであり、入力多視点画像I(1),…,I(M)と高解像度合成画像ISR(t)の関係の妥当性を評価する。E(2)srはISR(t)そのものの事前知識に基づくコストであり、正則化に対応する。λは重み付け係数である。一般に、λを小さくすれば尤度項の寄与が大きくなるため解像感が高まるが、λを大きくすれば正則化が強まってノイズが抑制される。なお、(3´) 式の関数f(m)の入出力関係を表現した行列をAm、(6´) 式のwを一次元のベクトルに展開して対角行列としたものをWと表記すると、 (1´) 式は，式(1)と等価であることがわかる。
【００４１】
［尤度項］
まず、(1´) 式の第一項を以下のように定義する。
2013250891.tif 000011
(2´)式の関数f(m)は、デプスマップD＾↑を用いて、高解像度合成画像ISR(t)を入力画像I(m)の座標系に変換する処理を表す。この変換では、視点だけではなく、解像度も変換される。PSFは点広がり関数であり、すべての入力画像で一様であると仮定する。(2´)式では、関数f(m)によって生成される画像I´(m)と入力画像I(m) との差分を、I(m)のすべての画素について合計する。以下、関数f(m)の詳細を述べる。まず、オクルージョンの影響を無視すれば、高解像度合成画像上の座標p→と、入力画像I(m)上の座標p→(m)は，
2013250891.tif 000012
によって対応づけられる。解像度はISR(t)、I(m)それぞれのカメラパラメータ行列に内包されるため、縮小も自動的に考慮される。この対応付けにおいては、一般に、p→が整数座標であっても、p→(m)は整数座標とはならないため画素間の補間が必要である。補間を考慮した処理の原理を述べる。まず、(4´)式の対応関係を使ってISR(t)の各画素を移動した変形画像を生成する。この変形画像は、視点位置はI(m)と同一だが、画素のサンプリング位置は異なる。次に、この変形画像を補間して連続信号を生成し，点広がり関数PSFを畳み込む。本研究では、連続信号の生成に線形補間、点広がり関数として入力画像の画素サイズと同一のサポートを持つ方形関数を用いた。最後に、この連続信号をI(m)に対応する画素位置でサンプリングし、I´(m)を得る。上記の原理的なプロセスを、オクルージョンの前後判定と組み合わせると以下のようなアルゴリズムが導かれる。
2013250891.tif 000013
(i)でI´(m)(p→)の全ての画素はゼロで初期化される。(ii)では、(4´)式の対応関係を使って、ISR(t)上の座標p→に対応するI(m)上の座標p→(m)を求める。ｐ→(m)は一般に整数座標ではないため、(iii)において、p→(m)近傍の整数座標p→(m),iを求める。p→(m),iは，補間関数および点広がり関数の形状を考慮して、ISR(t)(p→)が寄与し得る範囲で選べばよい。ここでは、有限なサポートを持つ補間関数と点広がり関数を仮定しているため、求めるp→(m),iの数も有限である。(iv)では、オクルージョンの前後判定に相当する処理をする。D(m)は、入力視点画像I(m)と同一視点から見た画素単位のデプスマップである。変換元のデプスD＾↑(p→)と変換先のデプスD(m)(p→(m),i)が一致する場合にのみ、以降の処理を行う。(v)で求める重みri∈[0,1]は、ISR(t)(p→)のI´(m)( p→(m),i) に対する寄与の割合を表わす。riは、(p→(m),i、p→(m)間の距離の関数であり、関数の形状は、補間関数と点広がり関数によって定められる。最後に(vi)で、重みriを乗じたISR(t)(p→)の値をI´(m)( p→(m),i) に加算する。
I(m)と同一視点から見た画素単位のデプスマップD(m)は、以下の手順で求められる。
2013250891.tif 000014
(i)でD(m)の全画素を無限遠に相当する0で初期化しておく。ISR(t)上の各画素p→について、(ii)でI(m)上での対応点p→(m)を求め、(iii)で前後判定をしたうえで、(iv)でD＾↑(p→)のデプスをD(m)(p→(m))に割り当てる。
【００４２】
［正則化項］
(1´) 式の第二項（正則化項）を以下のように定める。
2013250891.tif 000015
この項は、拡大補間された混色による合成画像I(t)↑が、目的とする画像ISR(t)の近似になっているという仮定に基づく。コストの最小値Smin↑(p→) に基づく重みw(p→) をつけたのは、画素p→ごとに正則化の強度を調整するためである。デプスが信頼できる部分では相対的に第一項の比重を大きくすることで解像感を高め、デプスが信頼できない部分では第一項の比重を下げて混色合成と同程度の結果を得る。wmin によって重みwの最小値を定め、正則化の重みがゼロになるのを防ぐ。この正則化により、混色と超解像を適応的に組み合わせた着色処理が行われる。
【００４３】
［Ｂ−２］GPU を用いた並列化実装
デプス推定含めた超解像自由視点画像合成演算を、グラフィックスハードウェア（GPU）上に、並列演算として実装する。セミグローバル・ステレオ法を基にしたデプス推定の並列化実装は、本発明者等が独自に実装を進めたものであるが、同様の取り組みが既に発表されており（例えば、Christian Banz, Holger Blume, Peter Pirsch:“Real-time
semi-global matching disparity estimation on the GPU", Computer Vision
Workshops (ICCV Workshops), pp.514-521 (2011))、詳細については、当該文献を参照することができる。高速化が達成できたポイントは、奥行きごとのマッチングコストの計算を画素単位に並列化したこと、また、セミグローバル・ステレオ法特有の累積コストの計算処理を、行ごと（行は45度刻みで合計8方向考える）に並列化したことである。超解像再構成演算の並列化は、(5)式の演算に関して考えることができる。以下に、観測行列Am作成の並列化と、演算性能を引き出すための観測行列格納方式について述べる。
【００４４】
［Ｂ−２−１］観測行列作成の並列化
観測行列Amの要素Am(i，j)は、高解像度画像のj 番目の画素と低解像度画像のi番目の画素とを対応付ける重みを表している。Amは、行数が低解像度画像の画素数、列数が高解像度合成画像の画素数の巨大な行列となる。ここでは要点のみ述べるが、導出の詳細は非特許文献２を参照することができる。この対応付けは、
（1）高解像度画像を補間して連続画像を生成する
（2）連続画像に対して，低解像度画像の画素位置で点拡がり関数（PSF）を畳み込みつつサンプリングするというプロセスをたどることで実装する。高解像度画像と低解像度画像の画素の位置関係はデプスマップD^によって求められるが、視点位置が変わる度に変化する。連続画像の生成及びPSFに、有限のサポートを持つカーネル関数を用いれば、高解像度画像の各画素が影響する低解像度画像の画素はごく少数であり、Amは疎行列となる。本実施形態では、連続信号の生成に線形補間、点広がり関数として入力画像の画素サイズと同一のサポートを持つ方形関数を用いる。さらに、合成対象視点が入力多視点画像と同一平面上に配置される場合に限定しているので、入力画像と高解像度合成画像のサンプリング密度が奥行きに依存せず一定となり、行列Amの各行の非零要素の数が一定となる。なお、(2)の過程では、デプスマップD^を用いてデプステストを行なっており、オクルージョンで対応が付かない画素については、行列Amの対応する要素は全て零とする。なお、視点が前進および後退する場合には、入力画像と高解像度合成画像のサンプリング密度の比が奥行きに依存するようになるため（福嶋慶繁，石橋豊: “超解像処理による自由視点画像の画質改善", 信会論(D), vol. 93, no.9, pp.1700-1703 (2010)）、行列Amの非零要素の数は行ごとに異なることが当業者に理解される。
【００４５】
観測行列Amは、合成対象視点が変わるたびに再作成される必要がある。観測行列の係数作成にはISR(t)の各画素位置に対して、上に述べた対応付けにより非零となる要素を算出する必要があるが、ISR(t)上の各画素間には依存関係がないという特徴を利用し、ISR(t)の画素数分の並列演算にてAmの係数作成を行う。
【００４６】
［Ｂ−２−２］観測行列の格納方式
(4)式、(5)式の演算は、観測行列AmもしくはATmを左からかける演算で構成されている。行列の左からの積は、その行列の行ごとに独立に計算できる。したがって、この独立性を活かせるような方式で、観測行列を格納することが重要である。
【００４７】
観測行列Amのサイズは、行数を低解像度画像の画素数、列数を高解像度合成画像の画素数とする大規模な行列となっており、そのままの形で行列の要素を保持すること自体困難である。ただし、前述のように、Amは、ごく少数の要素のみを非零とする疎行列であり、非零要素とその位置のみを保持すればよいため、効率的に表現が可能である。疎行列を効率的に格納する方法の一つとして、圧縮行格納方式（Compressed Row Storage, CRS) が提案されている（大島聡史，櫻井隆雄，片桐孝洋，中島研吾，黒田久泰，直野健，猪貝光祥, 伊藤祥司: “Segmented scan法のcuda向け最適化実装", 情報処理学会研究報告，2010-HPC-126，pp.1-87 (2010)を参照することができる)。このCRS方式は、大規模な疎行列を少ないメモリ量で表現するのに適しているが、データ配列以外にも2つの配列を用意する必要があることや、行列の要素へのアクセスが、必ず間接アドレッシングとなるため、演算速度の観点からは優れているとはいえない。
【００４８】
そこで、本実施形態では、図５に示されるように、観測行列Amを、列幅固定（列幅:L）の2つの行列に格納することを提案する。1 つはAmの非零の要素を左づめで並べた配列Vm、もうひとつは、Amの非零要素のカラム位置を示す配列Cmである。配列中の空白の要素は0とする。この構造の特長は、列幅が固定となることにより、並列演算時の演算時間の粒度が揃うだけでなく、演算に必要な行列要素のアドレス計算が簡略化されるため、演算高速化が期待できる点である。また、先に述べたように、合成対象視点が入力多視点画像と同一平面上に配置されるので、配列Vm、配列Cmの列幅は行に依存せず一定とできる。転置行列に関しては、観測行列Am作成の際に、行と列を入れ替えた行列をあらかじめ作っておき、図５に示される行列構造にて別途保持しておくことにより、演算のたびにAmから転置行列を作る処理を省く工夫を行った。
【００４９】
［Ｂ−２−３］疎行列データ格納順序よる演算速度差
疎行列演算は、演算時間よりもデータ転送時間の方が大きな割合を占めるため、データ転送速度を高めるような工夫が必要である。提案する疎行列格納方式をメモリ上に1次元のデータ配列として実装する際にも注意が必要である。配列Vm を例にとると、図６に示されるように、行方向に順番に格納する格納順序（1）と、列方向に順に格納する格納順序（2）が考えられる。このデータ格納順序は、GPUを利用して実装を行う際には、coalescedメモリアクセスに関係し、大きな性能差となって表れる。
【００５０】
観測行列の行列格納順序（1）の場合と行列格納順序（2）の場合のデータスループットに関してCUDA Toolkit に付属するProfilerを用いて、解析を行った結果を表1 に示す。
【表１】
2013250891.tif 000016
この解析結果は、超解像処理の疎行列演算(Ym−AmX)に関するものである。今回の実装では、Amの行毎に並列化演算を行う構成となっており、表1は、その256 行分の演算に要する値を示している。行列格納順序（2）を用いると、coalescedメモリアクセスの効果により、行列格納順序（1）と比較して、演算時間で約14倍、データスループットで6.5GB/sから94.2 GB/sへと大幅に改善していることが分かる。なお、今回用いたGPUのデータのピークスループットが148.0GB/sであることから、行列格納順序（2）は、ピーク値の68%性能を得られていることになる。この例のように、超解像再構成演算のような演算量よりもデータ量の割合が高い処理の場合には、データスループットを高めるような仕組みを利用することが重要である。
【００５１】
［Ｂ−３］高速化のためのアルゴリズムの改善
上述のように、超解像再構成演算の演算並列化を行い、演算速度を向上させるための実装上の工夫を行ったが、さらに演算高速化に寄与するアルゴリズム面の改善を行う。非特許文献２では、(3)式の繰返し演算の回数のデフォルト値は40回に設定されている。繰り返しごとの評価関数の変化量を解析すると、収束が比較的緩やかであり、アルゴリズム面の改善による高速化の余地があると見込まれる。以下に、超解像再構成演算の初期画像の提案、評価関数の正則化項の変更を提案する。
【００５２】
［Ｂ−３−１］再構成演算における初期画像の提案
超解像再構成演算の初期画像を工夫することにより、繰り返し演算の回数を低減する方法を提案する。非特許文献２の手法では、超解像再構成演算の初期画像として、自由視点合成画像I(t)をバイキュービック法により拡大した画像I(t)↑を用いていた。一般的な意味での超解像においても、基準となる画像をバイキュービック法等で高解像度化画像の画素数まで拡大した画像が用いられることが多いため、I(t)↑も妥当な初期画像といえる。
【００５３】
一般に、高解像度画像から低解像度画像が作られる際の画像の周波数成分の変化を模式的に示したものを図２に示す。簡単のため、一次元のモデルを使い、横軸に各周波数成分（frequency）、縦軸にエネルギー値（Power）を示している。図２は、高解像度画像(a)にPSFが畳み込まれた画像(b)に対し、サンプリング処理により低解像度画像(c)が作成される流れを表している。サンプリング処理によりナイキスト周波数以上の周波数がナイキスト周波数内に折り返し成分（aliasing）として混入する。超解像処理は、この(a)→(b)→(c)の流れを逆に辿る処理と考えることができる。低解像度画像(c)は、PSFの影響により高解像度画像(a)と比較して、画像の高周波成分が低下しているが、再構成演算を繰り返していくことにより、低下していた高周波成分が元の状態に復元される。
【００５４】
再構成演算より前に、低下している高周波成分の強調処理を行えば、より真の解（高解像度画像）に近い画像から再構成演算を開始できるため、同じ画質を得るための繰り返し演算回数が少なくなると期待できる。そこで、従来用いていた初期画像I(t)↑に対して高周波成分を強調した画像を初期画像として用いる方法を提案する。
【００５５】
すなわち、ぼけ関数をbとすると、次式で表せるように、I(t)↑にbを畳み込んだ結果をI(t)↑より引くことで高周波成分Hを取り出す（＊は畳み込み演算を表す）。
2013250891.tif 000017
【００５６】
さらに、k0を正の定数として、次式のようにHとI(t)↑を加算することで、高周波成分が強調された画像Ih(t)↑を得る。
2013250891.tif 000018
（6）、（7）式をまとめると、
2013250891.tif 000019
となる。ただし、δは、中心画素のみを1、その他を0とする関数である。
【００５７】
本実施形態では、再構成演算の高速化が目的であるため、簡易な処理で高周波成分を強調する必要がある。そのため、ぼけ関数として、図３Ａに示される係数のローパスフィルタを用いる。この場合、(8)式は、図３Ｂに示される4近傍のラプラシアンフィルタを用いた画像の高域強調処理と等価となる。すなわち、正の定数k(=k0/8)を高域強調割合とし、新たな初期画像Ih(t)↑を
2013250891.tif 000020
により定義する。
【００５８】
［Ｂ−３−２］再構成演算の初期画像に関する実験
詳細な実験条件は後述するが、合成視点を正解画像が存在する位置に設定し、(9)式により定義される初期画像を用いて作成された超解像合成画像の品質を、正解画像との平均二乗誤差（MSE:Mean Square Error）で評価した。対応が取れない領域が含まれる画面の端部（上下左右の端部24 画素）は評価から外した。
【００５９】
(9)式の高域強調割合kを変化させて、繰り返し演算回数とMSEによる画像品質の評価を行った結果を図７に示す。例えばk=0.3においては、提案する初期画像を用いることにより、繰り返し回数40回で得られるMSE=50.6を得るのに必要な繰り返し演算回数が13回程度に減っていることが分かる。従来、初期画像として用いていた画像を図８に示す。これは、(9)式に当てはめるとk=0に相当する。また、k=0.3として作成された初期画像を図９に示す。図８と比較して、図９では、画像の高域が強調されていることが分かる。さらに、この初期画像を用いて再構成演算した結果画像を図１０に示す。この画像は、従来の初期画像を用いて繰り返し回数を40回とした場合の画像と、主観的にも同等の画質が得られている。すなわち、従来40回程度の繰り返し演算によって得られていたMSE値が、初期画像を工夫することにより、13回程度で得られることが確認できた。
【００６０】
［Ｂ−３−３］再構成演算における正則化項の改善：評価関数（E2）
ここでは、さらに、正則化項を見直すことで、超解像再構成演算の高速化を試みる。従来の評価関数（E1）の第一項は、入力多視点画像と高解像度合成画像との対応関係を表すが、デプスが不正確な領域では、その対応関係が信頼出来ない。そのため、第二項の正則化項で、再構成結果画像が混色による合成画像X−に近くなるという制約を付加している。デプスが信頼できる領域では、正則化の寄与度を小さくして、解像度の向上を促進し、デプスが信頼できない領域では、正則化の寄与度を大きくすることによって、画像の破綻を防いでいる。
【００６１】
この設計方針は、自由視点超解像によく適合するものであるが、評価関数（E1）の最適化は、必ずしも高速ではない。後ほど図１５で示すが、評価関数（E1）の場合は、繰返し演算一回あたりの更新量が小さく、これが収束の遅さに結びついていると考えられる。この理由を図１１を用いて説明する。この図は、勾配法の演算により、初期画像X−hから結果画像Xに向かって画像が更新されていく様子を模式的に示したものである。初期画像X−hは、混色による拡大画像X−を高域強調した画像である。評価関数（E1）では、第二項において現在の画像が混色による拡大画像X−に近くなるように正則化されている。したがって、現在の画像が混色による拡大画像X−から離れていくと、正則化項の勾配∇E1(2)は常に現在の画像を混色による拡大画像X−に引き戻す方向に作用する。これは、解像度を向上させる勾配方向である第一項の勾配∇E1(1)と逆方向になることが多いと考えられるため、勾配法による更新が抑制される。
【００６２】
そこで、正則化項として、従来から再構成型超解像に広く用いられている画面の滑らかさによる正則化を用いる構成を考える。この場合、評価関数は、以下のように表される。
2013250891.tif 000021
尤度項は、評価関数（E1）と同じである。Dは例えば、ラプラシアンカーネルの畳み込み演算に対応する行列、βは拘束の強さを表す拘束パラメータである。(10) 式の評価関数の最小値も勾配法により求めるが、勾配は(11) 式のように表される。
2013250891.tif 000022
この正則化項は、混色による拡大画像X−を含まないため、評価関数の第一項と第二項の勾配が常に逆向きになることはないと考えられる。しかし、この評価関数（E2）で再構成演算を行うと、オクルージョン領域やその境界領域等、デプスが不正確な領域（(2)式のw(p→)が大きな値を取る領域）において、結果画像の品質が悪くなってしまう。処理結果例を図１２に示す。そこで、評価関数（E2）の最小化演算後に、デプス推定の信頼度を利用する。最終的な超解像演算結果X2を、(10)式の最小化により得られたXとX−（混色による合成画像）を用いて、
2013250891.tif 000023
とする。Iは単位行列。W2はコストマップS^minより作成されるデプス推定の信頼度w2を一次元のベクトルに展開して対角行列としたもので、ISR(t)上の座標p→に対して、
2013250891.tif 000024
により定義される。λ2は定数である。
【００６３】
評価関数（E1）は、デプスが信頼できないところは、混色による合成画像X−のままにしたいという設計指針で定義されている。ここで提案するアルゴリズムにおいても、この設計上の指針は依然として有効であり、評価関数（E2）の最小化後に、この要請を後処理で満たしているということになる。また、評価関数（E1）と、提案するアルゴリズムは、異なる式を最小化しているので、同じ解が得られるわけではないが、考慮している要素が共通なので、定性的には同じような解が得られると期待できる。
【００６４】
図１１の模式図を用いて、このアルゴリズムを説明する。評価関数（E2）では、第一項と第二項の勾配方向が打ち消し合わないため、勾配法による更新量が大きく、収束が速くなると期待される。ただし、収束先の画像は、デプスの信頼度が考慮されていないため、デプスが不正確な領域で品質の悪い画像である。これを(12)式の後処理により、混色による合成画像X−と混色することで、所望の結果画像を得ることを目指す。
【００６５】
なお、［Ｂ−３−１］で提案した再構成演算の初期画像に関しては、正則化項の違いによりMSEが最小になるkの値が異なる。評価関数（E2）を用いた場合に、高域強調割合kを変化させて、繰り返し演算回数とMSEによる画像品質の評価を行った結果を図１３に示す。評価関数（E1）と比較して、少ない繰返し演算回数で同程度のMSE値が得られていることが分かる。
【００６６】
また、図１４には、k=1.3とした初期画像を用い、繰り返し演算回数を5回として作成した超解像合成画像を示す。図１０と図１４は、用いている評価関数は異なるが、MSEも同程度であり、主観的にも同等の画質が得られている。
【００６７】
［Ｂ−３−４］評価関数の違いによる再構成演算の速度差
図７、図１３を比較すると、評価関数（E2）の方が、同じMSE値を得るための繰返し演算回数が少ないことが分かる。この原因に関して考察する。（9）式におけるk=0とした同じ初期画像を用いて、評価関数（E1）、（E2）それぞれの繰返し演算毎の勾配の一次ノルム（（3）式における|αj∇Esr(Xj)｜）の値を比較したものを図１５に示す。評価関数（E1）の勾配と比較して、評価関数（E2）の勾配の方が大きな値となっており、勾配法による解の更新が速く進んでいくことが分かる。
【００６８】
さらに、この勾配の大きさの違いの原因を調べる。評価関数（E1）の勾配である（5）式の第一項、第二項をそれぞれ∇E1(1)、∇E1(2)と表記する。同様に、評価関数（E2）の勾配である（11）式においても、第一項、第二項をそれぞれ∇E2(1)、∇E2(2)と表記すると、繰返し演算回数に対する、評価関数の勾配の第一項、第二項それぞれの一次ノルムは、図１６に示されるようになる。この図からは、評価関数（E1）の正則化項の勾配∇E1(2)と比較して、評価関数（E2）の正則化項の勾配∇E2(2)は、繰り返し演算が進んでも、大きな値を持ち続けていることが分かる。
【００６９】
評価関数（E1）、評価関数（E2）において、それぞれの勾配の第一項と第二項の符号が同じとなる画素割合を図１７に示す。この図からは、評価関数（E1）の勾配においては、∇E1(1)と∇E1(2)の符号が同じ画素の割合が数%程度であるのに対し、評価関数（E2）の勾配においては、∇E2(1)と∇E2(2)の符号が同じである画素の割合が40%程度あり、第一項と第二項が打ち消しあう画素の数が少ないことが分かる。この結果は、図１１で示した考察の妥当性を支持している。
【００７０】
［Ｂ−４］実験
シミュレーション実験の入力画像には、「筑波大学多視点画像データベース」より街のジオラマの4枚の画像（図１８）を用いた。入力画像は一辺を16mmとする正方形の頂点（データベースの表記で、（1,6）、（3,6）、（3,8）、（1,8）の位置） に配列されている。［Ｂ−３−２］で用いた正解画像は、中央の位置（2,7）の画像である。元データは640×480画素のカラー画像であるが、これをグレースケール変換し、160×120画素に縮小したものを入力画像として用いた。実験では、与えられた新しい視点において、入力画像と同じ160×120 画素でデプスマップを推定したのち、超解像合成により320×240画素の自由視点画像を得る。また、パラメータは、評価関数（E1）の（1）式のλ=5.0×10-13、（2）式のwmin=10、評価関数（E2）の（10）式のDを4近傍のラプラシアンカーネルの畳み込み演算に対応する行列、λ2 =5.0×10-12、βを0.3とした。
【００７１】
合成対象視点は、入力視点を頂点とする正方形内部に配置した。図１９Ａ〜Ｄに処理結果例を示す。図１９Ａ〜Ｄは、それぞれ、デプスマップD^ 、最小コストマップS^min、混色による画像合成の拡大I(t)↑、超解像による合成画像ISR(t) である。
【００７２】
処理時間の計測に用いた実験環境を表2 にまとめた。GPU実装には、CUDA 4.1 を用い、演算精度は単精度（float）とした。
【表２】
2013250891.tif 000025
提案する観測行列格納方式の列幅L=25とした。観測行列は図５の方式で格納し、1 次元のデータ配列として格納する際に、図６の行列格納順序（2）を用いた。
【００７３】
処理時間を計測した結果を表3に示す。
【表３】
2013250891.tif 000026
表中のCPUは、全ての処理をCPUで行なっている。本実験環境では、CPUは複数の演算コアを有しているが、並列化は行なっていない。表中のGPUは、並列化可能な演算をGPUに割り当てている。比較を公平とするため、CPU/GPUの両者でなるべく同一のコードを用いて、修飾子__device__の有無で関数毎にCPU/GPU実行を切り替える形にした。「その他」と記された処理には、デプス推定結果から自由視点合成画像を作成する処理、およびその高域強調処理、画像の拡大処理等が含まれる。各処理時間は、10回の処理の平均値である。評価関数（E1）の場合にはk=0.3、繰り返し演算回数を13回、評価関数（E2）の場合にはk=1.3、繰り返し演算回数を5回とし、両者で同程度の画質（MSE値）になるようにした。
【００７４】
結論として、初期画像の改善および、正則化項の改善とGPUによる並列化の活用により、画像一枚あたりの処理時間を約130msとすることができ、インタラクティブな描画に向けて有望な結果を得ることができた。これは、非特許文献２の手法をCPUのみを用いて実装した場合と比較して約70倍の速度である。
【００７５】
叙上のように、超解像自由視点画像合成の演算高速化に向けて、超解像再構成演算の実装上の提案と、アルゴリズム面での提案を行い、全体のアルゴリズムをGPU を用いて実装した。実装上の提案では、超解像再構成演算の並列化実装において、疎行列演算を、密行列演算へと変換可能であることを示し、並列化による高速演算を可能とした。アルゴリズム面での提案では、超解像再構成演算時の初期画像の提案を行った。超解像再構成演算の初期画像として、混色による合成画像に高域強調を施した画像を用いることで、同じ画質を得るための繰り返し演算回数を低減できることを示した。また、従来から超解像に用いられてきた滑らかさの拘束を正則化項として再構成演算を行い、その結果をデプスの信頼度に応じた重み付け処理により混色合成の結果と統合する新しい手法を提案した。これにより、デプスの信頼度を直接正則化に用いた従来の手法と比較して、再構成演算の繰り返し回数を大幅に削減しつつ、従来手法と同等の画質が得られるようになった。結果として、従来手法をCPUのみを用いて実装した場合と比較して約70倍の高速化を達成し、160×120画素の入力画像4枚から320×240画素の超解像自由視点合成画像1 枚を約130msで合成可能とした。
【産業上の利用可能性】
【００７６】
本発明は、超解像が用いられ得る全ての分野で利用可能であり、映像表示、映像符号化・伝送、多視点映像符号化を例示することができる。
【図１】
2013250891.tif 000031
【図２】
2013250891.tif 000032
【図３Ａ】
2013250891.tif 000033
【図３Ｂ】
2013250891.tif 000034
【図４】
2013250891.tif 000035
【図５】
2013250891.tif 000036
【図６】
2013250891.tif 000037
【図７】
2013250891.tif 000038
【図１１】
2013250891.tif 000039
【図１３】
2013250891.tif 000040
【図１５】
2013250891.tif 000041
【図１６】
2013250891.tif 000042
【図１７】
2013250891.tif 000043
【図８】
2013250891.tif 000044
【図９】
2013250891.tif 000045
【図１０】
2013250891.tif 000046
【図１２】
2013250891.tif 000047
【図１４】
2013250891.tif 000048
【図１８】
2013250891.tif 000049
【図１９Ａ】
2013250891.tif 000050
【図１９Ｂ】
2013250891.tif 000051
【図１９Ｃ】
2013250891.tif 000052
【図１９Ｄ】
2013250891.tif 000053