NAIST-IS-MT1351089

修士論文

自由視点画像を事例として用いた画像の高解像度化

林 佑亮

2015 年 3 月 12 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
林 佑亮

審査委員：
横矢 直和 教授

（主指導教員）向川 康博 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）河合 紀彦 助教

（副指導教員）自由視点画像を事例として用いた画像の高解像度化 ∗
林 佑亮

内容梗概
近年，映像表示デバイスの高精細化に伴い，映像・画像コンテンツの高解像度化技術に対する需要が高まっている．画像の高解像度化手法の一つとして，高解像な参照画像を用い低解像度画像の高画質化を実現する「事例参照型超解像」手法が研究されている．この手法では，高解像度化の効果が入力した参照画像に依存するため，適切な参照画像データベースを構築する必要がある．これに対して，

Web 上等に存在している同一シーンを撮影した画像から参照画像データベースを自動で構築し，高解像度化する手法が提案されている．しかし，従来手法では高解像度化処理における参照画像と低解像度画像の位置合わせを単一の射影変換行
列を用いて行っており，撮影位置が対象画像と参照画像で異なる場合や，撮影対象が平面的でない場合には，高品位に画像を高解像度化することは難しい．この問題を解決するために，本論文では動画像の各フレームや Web 上の静止画像等の同一シーンを撮影した画像群を入力とし，シーンの三次元復元とカメラの位置
姿勢推定に基づく自由視点画像生成を行うことで，従来手法と比較して参照画像の撮影位置や撮影対象の形状の制約が少ない，画像の高解像度化手法を提案する．
本研究では，まず入力画像から推定されるシーンの三次元形状とカメラの位置姿
勢を用いて画像群を対象画像の視点に変換することで対象画像の見えを統一し，これを参照画像とする．次に，カメラ位置姿勢を用いて高解像度化に適した参照
画像を選択する．最後に，対象画像と選択された参照画像間のテクスチャの類似
度および空間周波数情報に基づくエネルギー関数を定義し，これを最小化するこ∗奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1351089,2015 年 3 月 12 日.

iとで対象画像の高解像度化を実現する．実験では，様々なシーンで撮影した低解像度動画像に対して提案手法を用いた高解像度化処理を行い，従来手法との定量的な比較および主観評価実験を通して提案手法の有効性を示す．

キーワード
超解像処理, 三次元復元, エネルギー最小化, 自由視点画像生成

ii

Example-based Image Resolution Enhancement
Using Novel View Synthesis∗
Yusuke Hayashi

Abstract
With the increase of the resolution of display devices, demands for techniquesof a high-resolution video/image generation from low-resolution one are increasing. Among such techniques, example-based super-resolution methods have been
investigated, in which a target low-resolution image is super-resolved using highresolution images as examples. It is necessary for these methods to construct
a database including suitable example images because the eﬀect of resolution
enhancement depends on examples. For this issue, an example-based superresolution method has been proposed by automatically establishing a reference
database from web images capturing the same scene as a target image. In thismethod, the example images are aligned to the target low-resolution image using
a single homography matrix. Therefore, it is diﬃcult to obtain good results when
the capturing positions of example images are diﬀerent from that of the target
image, or the target scene is not planar. This thesis proposes a method to increase the resolution of a low-resolution image using example images generated
by a novel view synthesis technique using 3D geometry reconstruction and camera pose estimation from a video or web images capturing the same scene. The
proposed method has less constraints on camera positions and geometry of thetarget scene than those in the conventional methods. In this study, first, input∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1351089, March 12, 2015.

iii

images are warped to the viewpoint of the target image using the estimated 3D
geometry and camera poses, and resulting images are used as examples. Second,the example images suitable for increasing the resolution are selected using thecamera poses. Finally, we increase the resolution of the low-resolution image by
minimizing an energy function defined based on the spatial frequency and texture similarity between the target and selected example images. Experiments
demonstrate the eﬀectiveness of the proposed method by qualitatively and quantitatively comparing the results of the proposed and conventional methods using
various low-resolution videos.

Keywords:
super-resolution, 3D reconstruction, energy minimization, novel view synthesisiv

目次
1. はじめに1

2. 関連研究と本研究の位置付け

3

2.1

2.2

画像の高解像度化に関する従来研究 . . . . . . . . . . . . . . . . .

3

2.1.1

補間型超解像手法 . . . . . . . . . . . . . . . . . . . . . . .

3

2.1.2

再構成型超解像手法 . . . . . . . . . . . . . . . . . . . . .

4

2.1.3

事例参照型超解像手法 . . . . . . . . . . . . . . . . . . . .

5

本研究の位置付けと方針および本論文の構成 . . . . . . . . . . . .

7

3. 自由視点画像生成に基づく画像の高解像度化

10

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.2

対象シーンの三次元復元 . . . . . . . . . . . . . . . . . . . . . . .

12

3.3

参照画像データベースの構築. . . . . . . . . . . . . . . . . . . .

14

3.3.1

同一視点画像の生成 . . . . . . . . . . . . . . . . . . . . .

14

3.3.2

高解像度化に適した参照画像の選択 . . . . . . . . . . . . .

16

エネルギー関数最小化による画像の高解像度化 . . . . . . . . . . .

19

3.4

3.4.1

画像高解像度化のためのエネルギー関数の定義. . . . . .

19

3.4.2

エネルギー関数の最小化 . . . . . . . . . . . . . . . . . . .

21

4. 実験

23

4.1

実シーンにおける画像群を用いた高解像度画像生成実験 . . . . . .

23

4.2

従来手法を用いた客観評価実験 . . . . . . . . . . . . . . . . . . .

34

4.3

評価結果と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

5. まとめ

43

謝辞

44

参考文献

45

v

図目次
1

再構成型超解像処理の流れ . . . . . . . . . . . . . . . . . . . . . .

42

異なる種類の参照画像を用いた高解像度化例 [20] . . . . . . . . .

63スケールの異なる画像内に存在する類似テクスチャを用いた高解像度化手法 [26] . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

高解像度静止画像を用いた低解像度動画像の高解像度化手法の流れ [29] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

6Structure from Motion [30,31] と Multi-View Stereo[32] を用いて復元した三次元形状の例 . . . . . . . . . . . . . . . . . . . . . . . .

137

対象画像と対応する奥行き画像 . . . . . . . . . . . . . . . . . . .

148

三次元形状とカメラ位置姿勢を用いた画素の対応付け . . . . . . .

159遮蔽による三次元点の変化 . . . . . . . . . . . . . . . . . . . . . .

1610

事例画像から生成した参照画像 (赤色領域：遮蔽によって事例画像
上に存在しない画素) . . . . . . . . . . . . . . . . . . . . . . . . .

1711

対象までの距離が異なる参照画像の拡大図 . . . . . . . . . . . . .

1812

各画像とエネルギー関数との関係 . . . . . . . . . . . . . . . . . .

20

13

モーションブラーの影響で高周波成分が失われたテクスチャの例 .

21

14

実験 4.1 で使用した入力画像群 . . . . . . . . . . . . . . . . . . . .

25

15

復元した三次元形状と入力画像群のカメラ位置姿勢 . . . . . . . .

26

16

実験結果画像 (屋内シーン) . . . . . . . . . . . . . . . . . . . . . .

27

17

実験結果画像 (屋外シーン) . . . . . . . . . . . . . . . . . . . . . .

28

18

類似テクスチャ探索において選択された各画素における事例画像 .

2919

三次元形状の欠損により違和感が生じた例 . . . . . . . . . . . . .

30

20

反復回数とエネルギー変化の関係 . . . . . . . . . . . . . . . . . .

3121

単一射影変換行列と自由視点画像生成による位置合わせ処理 (屋内
シーン)

22

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

単一射影変換行列と自由視点画像生成による位置合わせ処理 (屋外シーン). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
vi

33

23

実験 4.2 で使用した画像群 . . . . . . . . . . . . . . . . . . . . . .

36

24

実験結果画像と PSNR，SSIM(屋内シーン) . . . . . . . . . . . . .

37

25

実験結果画像と PSNR，SSIM(屋外シーン) . . . . . . . . . . . . .

38

26

各手法により生成した画像の PSNR と SSIM . . . . . . . . . . . .

39

27

正解画像と提案手法を用いた生成画像との各画素における二乗誤差 40

vii

表目次
1

実験 4.1 で用いたエネルギー関数の各パラメータの設定値 . . . . .

242

実験 4.2 で用いたパラメータの設定値 . . . . . . . . . . . . . . . .

35

viii

1. はじめに
近年，映像表示デバイスの高精細化に伴い，画像・動画像コンテンツの高解像度化技術に対する需要が高まっている．画像の高解像度化手法は超解像処理と呼ばれ，これまで多く研究が行われている．超解像手法は「補間型画像超解像」「再構成型超解像」「事例参照型超解像」の 3 種類に分類できる．
「補間型画像超解像」
は，入力として 1 枚の画像のみを用いる高解像度化手法であり，拡大補間に基づき画像を高解像度化する．この手法は処理が簡単で高速である一方，複数の入力
画像を用い解像度を向上させる手法と比較して，解像度の向上効果が低いという問題がある．
「再構成型超解像」では，入力として撮影位置が微小に異なる複数枚の画像を用いて，入力画像群をサブピクセル精度で位置合わせすることで低解像度画像を高解像度化する．これらの手法では，高解像度化の効果は画像間の位置合わせ精度に大きく依存するため，サブピクセル精度での高精度な位置合わせを実現する必要がある．従来手法では，撮影対象のシーンに対する平面仮定や入力
画像間の動きに関する制約などを用いることでこの位置合わせを実現しているが，複雑な形状を含むシーンに対しては良好な結果を得ることが困難であるという問題がある．
「事例参照型超解像」では，高周波成分を含む高解像度画像を用いて参照画像データベースを構築し，高周波成分を持つテクスチャと対象画像中のテクスチャを対応付けて，低解像度画像を高解像度化する．これらの手法では，高解像度化効果は構築するデータベースに大きく依存するため，対象シーンに応じた
データベースが必要となる．
本研究では，歩き回りながら動画像や静止画像群を撮影し，その中の 1 フレームまたは 1 枚をユーザが高解像度化したいというシナリオを想定する．このとき，撮影した画像群に，撮影対象をより近くで撮影したシーンが含まれている場合や，

Web 上に存在する同一地点を撮影した高解像度画像が利用できる場合には，これらの画像中に含まれる高解像なテクスチャを事例として利用することで，入力画像を高解像度化できる．すなわち，対象物体の近くで撮影した画像群や Web 上の高解像度画像群の中から高解像度化に適した画像を選択し，「事例参照型超解像」
手法の枠組みを用いることで，高品位な対象画像の高解像度化が実現できる．
このようなアプローチを採る従来研究として，Yue ら [1] は，Web 上に存在す

1

る同一シーンを撮影した画像を利用することで参照画像データベースを自動で構築し，事例参照型のアプローチで高解像度化を実現する手法を提案している．しかし，従来手法では高解像度化処理における参照画像と低解像度画像の位置合わ
せを単一の射影変換行列を用いて行っているため，撮影位置が対象画像と参照画像で異なり，かつ撮影対象が平面的でない場合には，高品位に画像を高解像度化することは困難である．
本論文では同一シーンを撮影した画像群から復元される撮影対象シーンの三次元形状復元とカメラの位置姿勢推定を用いて自由視点画像生成を行うことで，参照画像の位置合わせを実現し，高品位な画像の高解像度化を実現する手法を提案する．具体的には，まず，入力画像群を用いて対象シーンの三次元形状復元および，各入力画像に対応するカメラ位置姿勢の推定を行う．その後，入力画像群を
対象画像の視点に変換することで対象画像との見えを統一し，おおまかな対応付けを行う．次に，変形後の画像群から，高解像度化に適した画像を推定したカメ
ラ位置姿勢を用いて抽出し，それらを参照画像として高解像度化処理で使用する．
最後に，対象画像と選択された参照画像間のテクスチャの類似度および空間周波数情報に基づくエネルギー関数を定義し，最小化することで，対象画像と参照画
像間の正確な対応付けおよび，対象画像の画素値を決定し高解像度化を実現する．
自由視点画像生成による参照画像の生成とエネルギー最小化の枠組みに基づく高解像度化処理を用いることで，従来手法と比較して参照画像の撮影位置や撮影対象の形状の制約が少ない，画像の高解像度化を可能とする．
以下，2 章では，関連研究および本研究の位置付けについて述べる．3 章では，本論文の提案手法である，自由視点画像生成に基づく画像の高解像度化について述べる．4 章では，様々なシーンで撮影した低解像度動画像に対して提案手法を用いた高解像度化処理を行い，従来手法との定量的な比較および主観評価実験を行うことで提案手法の有効性を示す．最後に，5 章でまとめと今後の展望につい
て述べる．

2

2. 関連研究と本研究の位置付け
本章では，本研究に関連する従来研究と本研究の位置づけについて述べる．以下では，画像の高解像度化に関する従来研究について概観したのち，本研究の位置付けを述べる．

2.1 画像の高解像度化に関する従来研究
ここでは静止画像の高解像度化に関する研究を，１枚の画像のみを用いる「補間型超解像」，微小な位置ずれを含む複数枚の画像を用いる「再構成型超解像」，
高解像度画像を参照画像として用いる「事例参照型超解像」に分類する．以下では，それぞれの従来研究について述べる．

2.1.1 補間型超解像手法
1 枚の画像を用いる補間に基づく手法では，最近傍補間や Bi-cubic 補間などのように，隣接する画素値や周辺の画素値の統計量を利用して拡大後の画素値を決定し，解像度を向上させる [2]．これらの手法は，人間の目が境界線などの不連続に対して敏感であることから，平滑化をベースとしている．このため，生成される画像はエッジ部分や画像の細部でぼけてしまい，鮮明さに欠けるという問題がある．この問題に対して，画像内のエッジ部分を保存しながら拡大補間を行う
手法が提案されている [3,4]．このような拡大補間に基づく手法は，計算コストが低いという特徴があるが，一般的に複数画像を用いた手法と比較して，解像度の向上効果は低い．また，高周波成分の強調が過剰になるとノイズが鮮明に見えてしまうことや，エッジ付近にアーティファクトが発生することが問題となる．
このような問題に対して，Aly ら [5] は，Total Variation 正則化手法に基づき，画質の劣化を抑制しエッジを保持しながら低解像度画像を拡大する手法を提案している．Shan ら [6] は，拡大後の画像から入力画像へのフィードバックを繰り返して高解像度化を行う手法を提案している．これらの手法は，拡大補間に基づく手法と比較し，高い画質向上効果を得ることができる．しかし，目的関数最小化

3

再構成処理位置合わせ情報

位置合わせ処理低解像度画像群

高解像度画像図 1: 再構成型超解像処理の流れのために繰り返し処理が必要となり，計算コストが高くなる．また，ぼけやノイズなどの影響で入力画像が劣化している場合，高解像度化効果を得ることが困難であるという問題がある．

2.1.2 再構成型超解像手法
複数の画像を用いる画像の高解像度化の手法として，「再構成型超解像」がある．
図 1 に再構成型超解像の処理の流れを示す．まず，複数の低解像度画像群の位置合わせ処理を行う．次に，位置合わせ情報と入力画像群の画素情報に基づいた再構成処理を行い，高周波成分を復元するための画素値を推定することで高解像度画像を生成する [7–9]．
位置合わせ処理としては，画像を周波数領域に変換し，その位相を用いて位置を推定する方法や，画像中の特徴点を利用する方法 [10]，画素値の勾配を用いる
手法 [11,12] などが提案されている．また，再構成処理により高解像度画像の画素値を推定する方法として，ML (Maximum-Likelihood) に基づく手法 [13]，MAP(Maximum A Posteriori) を用いた手法 [14, 15] など，様々な手法が提案されている．
これらの手法では，高解像度化の効果は低解像度画像間の位置合わせ精度に大きく依存し，サブピクセル精度で正確な位置合わせを実現する必要がある．従来手法では，低解像度画像群の位置合わせを行うために，撮影対象のシーンに対して平面仮定 [11, 12] や低解像度画像間の動きに関する制約 [7] を用いているが，複雑な形状を含むシーンに対しては良好な結果を得ることが困難であるという問題

4がある．更に，位置合わせを伴う再構成型超解像手法は，画像の劣化過程を示す

PSF (Point Spread Function) の形状に依存して解像度の向上効果に限界がある
ことが示されている [16–18]．

2.1.3 事例参照型超解像手法
事例画像を高解像度化に用いる手法は「事例参照型超解像」と呼ばれ，高解像画像を参照画像として用い低解像度画像を高画質化する．この手法では，まず，高解像度画像と低解像度画像の対応関係を参照画像データベースとして用意する．
次に，低解像度画像を目標の解像度まで拡大補間することで，生成画像に初期値を与える．その後，拡大した低解像度画像中のテクスチャと類似した画像を参照
画像データベースから探索し，対応する高解像度画像のテクスチャに置き換える
ことで高解像度化を実現する．Freeman ら [19, 20] は，マルコフネットワークを用いて低解像度画像と高解像度画像の局所領域のペアをデータベースとして学習
し，入力された低解像度画像に対して，対応する高解像度画像を推定することで，画質を向上させる手法を提案している．Begin ら [21] は，低解像度画像と高解像度画像の対応を学習した上で PSF も推定し，より正確な高解像度画像を推定する手法を提案している．橋本ら [22] は，参照画像データベースを二分木構造化することで，高解像度化処理の高速化と高画質化を実現している．また，画像を再構成する際にエッジや画素値の勾配に関する事前知識を用いて，より高品質な高解像度化結果を得る手法が提案されている [23, 24]．
これらの手法を用いた場合において，生成される高解像度画像の品質は参照画
像データベースに大きく依存する．例えば，図 2 に示すように，文献 [20] の手法において入力画像のテクスチャと大きく異なるテクスチャを含む参照画像を用いて，高解像度化処理を行った場合，生成した高解像度画像中に不自然なテクス
チャが発生する．このため，効果的に解像度を向上させるためには，対象シーンに応じたデータベースを構築する必要がある．例えば，高解像度化対象の画像と参照画像のカテゴリを顔や文字などのように限定した場合，高解像度化効果を大きく向上可能であることが実験的に示されている [16, 20, 25]．
このような課題に対して，同一シーンを撮影した画像群を事例として用い低5(b) 高解像度化に用いた参照画像(a) 低解像度画像(c) 高解像度画像

図 2: 異なる種類の参照画像を用いた高解像度化例 [20]解像度画像を高解像度化する研究が行われている．Glasner ら [26] や Freedman
ら [27] は，自然画像中には異なるスケール間で，類似したテクスチャが多数存在しているという観測に基づき，画像の高解像度化を行う手法を提案している．図 3に示すように，入力した低解像度画像から画像ピラミッドを構築し，各スケール
において高解像度化に適した類似テクスチャを探索して，そのテクスチャを用いることで画像を高解像度化する．

Schubert ら [28] や Ancuti ら [29] は，低解像度動画像を高解像度化する研究として，動画像が撮影されているシーン中の高解像度静止画を撮影し，これを参照
画像として用いることで，高解像度動画像を生成する手法を提案した．これらの手法は，高解像度静止画と低解像度画像間で対応点の探索を行い，対応点を用いて高解像度静止画を射影変換し高解像度化処理を行う (図 4)．
同様のアプローチで，入力画像の高解像度化に適した画像を大量の画像デー
タベース (Web 画像) から抽出し，高解像度化処理で用いる手法が提案されている [1]．しかし，この手法では高解像度化処理における Web 上の画像と低解像度
画像の位置合わせを単一の射影変換行列で行っている．このため，撮影位置が対象画像と参照画像で異なり，かつ撮影対象が平面的でない場合には，高品質に画6

像を高解像度化することは難しい．

2.2 本研究の位置付けと方針および本論文の構成
本研究では，移動しながら動画像や静止画像群を撮影し，その中の 1 フレームまたは 1 枚をユーザが高解像度化したいというシナリオを想定する．既に述べた通り，画像を高解像度化する手法として，「補間型超解像」「再構成型超解像」「事
例参照型超解像」が存在する．
「補間型超解像」では，１枚画像を用いて拡大補間に基づき画像の高解像度化を行うため，入力画像以外の外部情報を用いることができず，複数枚の画像を用いた手法と比較して解像度の向上効果は低い．
「再構成型超解像」では，高解像度化の効果は入力画像間の位置合わせ精度に大きく依存
し，入力画像間でのサブピクセル精度の位置合わせが必要となる．これにより，複雑な形状を含むシーンに対しては良好な結果を得ることが困難であるという問
題がある．
一方，
「事例参照型超解像」は，高解像度化の効果が構築する参照画像データ
ベースに大きく依存し，適切な事例が与えられた場合においては高品位な結果が得られることが示されている [16, 20, 25]．本研究では，同一シーンを歩き回りながら撮影した動画像や静止画像群を入力画像群とするため，撮影対象をより近くで撮影した画像が含まれている場合がある．一般的に，撮影対象の近くで撮影された画像中のテクスチャは，同一シーンを遠くから撮影した画像中のテクスチャ
よりも多くの高周波成分を含む．このため，入力画像群から対象物体との距離が短い画像を用いて参照画像データベースを構築することで，「補間型超解像」や「再構成型超解像」と比較し，高品質に画像を高解像度化できると考えた．
同一シーンを撮影した画像を事例として用いる研究として，Web 上に存在する同一シーンを撮影した静止画像群を利用することで参照画像データベースを自動で構築し，低解像度画像の高解像度化を実現する手法が提案されている [1]．しかし，この手法では高解像度化処理における Web 上の画像と低解像度画像の位置合わせを単一の射影変換行列で行っている．このため，撮影位置が対象画像と参照画像で異なり，撮影対象が平面的でない場合には，高品質に画像を高解像度化することは困難である．

7図 3: スケールの異なる画像内に存在する類似テクスチャを用いた高解像度化手法 [26]

図 4: 高解像度静止画像を用いた低解像度動画像の高解像度化手法の流れ [29]8

これらを踏まえ，本研究では，撮影位置の異なる同一シーンの画像群から復元される，撮影対象シーンの三次元形状とカメラ位置姿勢推定に基づく自由視点画
像生成を用いた，画像の高解像度化手法を提案する．入力画像中に含まれる対象
物体との距離が短い画像や高周波成分を多く含む画像を参照画像として用いることで，画像を高解像度化する．提案手法では自由視点画像生成に基づき，入力画像群を対象画像と同じ見えを持つ画像に変形し，参照画像として高解像度化処理に用いる．ここでは，入力画像群を用いて撮影シーンの三次元形状の復元とカメ
ラ位置姿勢を推定し，それらに基づいて入力画像群を対象画像の視点からの画像に変形する．これにより，入力画像群と対象画像で撮影位置が異なる場合，かつ撮影対象が平面でない場合においても位置合わせを実現することが可能である．
ただし，三次元形状復元に基づく自由視点画像生成を行う場合，三次元形状の欠損や誤差の影響で変形画像中に欠損や歪が生じる可能性がある．そこで，対象画像と変形後参照画像群の間のテクスチャの類似度と高周波成分に関するエネルギー関数を定義し，エネルギー最小化の枠組みを用いて，高解像度化に適した参照画像の選択を行う．最後に，参照画像群から選択したテクスチャを用いて画素値更新を行い，画像を高解像度化する．これにより，参照画像の撮影位置や撮影
対象の形状の制約が少ない，画像の高解像度化手法を実現する．

9

3. 自由視点画像生成に基づく画像の高解像度化
本章では，同一シーンを異なる位置から撮影した画像群を入力とし，入力画像群から復元される三次元情報に基づき生成される自由視点画像を参照画像データ
ベースとして用いる，画像の高解像度化手法について詳細を述べる．以下ではまず，提案手法の処理の流れを概説し，撮影対象シーンの三次元形状とカメラ位置
姿勢に基づく参照画像データベースの構築について述べる．続いて，構築した参照画像データベースを用いた，エネルギー最小化に基づく高解像度化処理について詳述する．

3.1 提案手法の概要
図 5 に提案手法の流れを示す．提案手法ではまず，高解像度化したい対象画像 Itと K 枚の事例画像群から構成される入力画像群から撮影対象シーンの三次元形状を復元し，各入力画像群に対応するカメラ位置姿勢を推定する (1)．次に，撮影対象シーンの三次元形状とカメラ位置姿勢を用いて事例画像群を対象画像の視点に変換することで事例画像群の見えを統一し，それらを参照画像候補 {Irk |k = 1, · · · K}とする (2)．その後，各入力画像に対応するカメラ位置姿勢を用いて参照画像候補の中から，高解像度化処理で使用する参照画像を画素ごとに限定する (3)．最後に，対象画像 It を Bi-cubic 補間を用いて目標解像度まで拡大した画像を生成画
像 Is の初期値として与え，対象画像と選択された参照画像間のテクスチャの類似
度および空間周波数情報に基づくエネルギー関数を定義し，これを最小化することで，参照画像群から対象画像の高解像度化に適したテクスチャの対応付けおよび生成画像の画素値の更新を行い高解像度化を実現する (4)．以下，各処理について詳述する．

10

事例画像

対象画像𝐼𝑡(1) 対象シーンの三次元復元とカメラ位置姿勢推定(2) 事例画像の対象画像
視点への変換

奥行き画像

入力画像群

三次元形状

カメラ位置
姿勢

参照画像候補𝐼𝑠 に初期値設定(3) 高解像度化に適した
参照画像の選択(4) エネルギー最小化による画像の高解像度化

生成画像𝐼𝑠参照画像𝐼𝑟𝑘

図 5: 提案手法の概要

11

3.2 対象シーンの三次元復元
本手法では，まず入力画像群に対して Structure from Motion [30, 31] と Multi-

view Stereo [32] を用いてカメラ位置姿勢推定，および撮影対象シーンの三次元形状の復元を行う．まず，Structure from Motion (SfM) 法では，すべての入力画像群に対して自然特徴点を抽出し，各画像間で対応付けを行うことで，撮影時のカメラ位置姿勢および対応点に対する三次元座標位置を推定する．次に，各画像に対応するカメラ位置姿勢情報を用いて，マルチビューステレオ (MVS) 法によりそれぞれの画像の奥行を推定し，対象シーンの三次元形状を復元する．図 6 に最新の SfM 法および MVS 法の実装である VisualSFM [30,31]，CMPMVS [32] により入力画像群を用いて復元した三次元形状の例を示す．
次に，推定した三次元形状とカメラ位置姿勢を用いて，各入力画像に対応する
奥行き画像を生成する．ここでは，MVS 法で得られた三次元形状と SfM 法により得られた事例画像のカメラ位置姿勢を用いて，三次元形状とカメラとの奥行き距離を計算することで密な奥行き画像を生成する．図 7 に，対象画像 (図中 (a))
に対応した奥行き画像 (図中 (b)) を示す．ここで生成した奥行き画像群は，参照
画像データベース構築のための自由視点画像生成および，高解像度化処理に使用する参照画像の限定に使用する．

12

(a) 入力画像群の例(b) 復元された三次元形状

図 6: Structure from Motion [30,31] と Multi-View Stereo[32] を用いて復元した三次元形状の例

13

(a) 対象画像(b) 奥行き画像

図 7: 対象画像と対応する奥行き画像

3.3 参照画像データベースの構築
本節では，撮影対象シーンの三次元形状とカメラ位置姿勢を用いた自由視点画
像生成により，対象画像の高解像度化処理で用いる参照画像を生成する手法について述べる．

3.3.1 同一視点画像の生成
対象画像の奥行き画像を用いる自由視点画像生成により事例画像群を対象画像の視点の画像に変換し，これらを参照画像候補とする．具体的にはまず，図 8 に示すように，対象画像の奥行き画像とカメラ位置姿勢，事例画像群のカメラ位置
姿勢を用いて，対象画像の奥行き値から三次元点を算出する．その後，事例画像

14

対象画像カメラ
事例画像カメラ

図 8: 三次元形状とカメラ位置姿勢を用いた画素の対応付けのカメラ位置姿勢を用いて，計算した三次元点を事例画像に投影し，画素値を取得することで，事例画像群を対象画像の視点の参照画像に変換する．ここで，生成する参照画像の解像度は，入力画像を高解像度化する際にユーザが与える目標
解像度と同一のものとする．
ここで，単純にこのような視点変換を行った場合，オクルージョンが発生している領域に不自然なテクスチャが生じる．そこで，本研究では変換後の各画素において，対象画像と事例画像の奥行値の整合性を確認する．ここでは，図 9 に示
すように，対象画像カメラの画像上の画素に対応する三次元点 pc を求める．奥
行値の整合性が取れている場合，三次元点 pc と事例画像の画素に対応する三次
元点 p′c は一致する．そこで，三次元点 pc と p′c との誤差を計算し，ある一定値以上の値を持つ場合，遮蔽された画素とみなす．整合性が取れない画素は，遮蔽によって対応する画素が入力画像中に存在しない画素とみなせるため，高解像度

15

p𝑐
三次元形状

p𝑐 ′

事例画像カメラ

対象画像カメラ

図 9: 遮蔽による三次元点の変化化するためのテクスチャとして参照しないよう予め除外する．図 10(b) に事例画
像 (図中 (a)) を対象画像 (図 7(a)) の視点位置に視点変換した画像を示す．ここで，赤色の領域は遮蔽によって事例画像上に存在しない画素を示している．以上の処理により，事例画像群を対象画像から視点の見えを持つ画像に変換し，かつ画像
間でおおまかな対応付けを行う．

3.3.2 高解像度化に適した参照画像の選択
前項で述べた手法により生成した対象画像視点での参照画像候補群においては，
図 11 に示すように同一の対象物体であっても，事例画像を撮影したカメラと対象の距離に応じて，参照画像中のテクスチャに含まれる高周波成分が大きく異なる．すなわち，撮影対象物体を近くで撮影した事例画像を基に生成された参照画
像には，遠くから撮影した参照画像よりも高周波成分を多く含むテクスチャが存

16

(a) 事例画像(b) 参照画像

図 10: 事例画像から生成した参照画像 (赤色領域：遮蔽によって事例画像上に存在しない画素)在し，このような参照画像の方が高解像度化に適していると考えられる．従って，提案手法では，テクスチャに含まれる高周波成分に応じて高解像度化処理で使用する参照画像を画素ごとに限定することで，効果的な高解像度化を実現する．
ここでは，高解像度化に適した参照画像を事例画像に対応する奥行き画像を用いて選択する．具体的にはまず，生成画像 Is の各画素に対応する参照画像候補群
中の画素を決定する．次に，対応づいた画素の中から奥行き値の小さい T 枚の参照画像を生成画像 Is の画素ごとに抽出し，以下の高解像度化処理で参照画像として用いる．また，三次元形状が存在せず対象画像の奥行き画像に値がない画素に対しては，参照画像中の画素との対応付けができず参照画像の選択が不可能であるため，高解像度化処理は行われない．なお，3.4 節で述べる高解像度化処理で

17

事
例
画
像

参
照
画
像

(a) 対象物体に遠い場合(b) 対象物体に近い場合

図 11: 対象までの距離が異なる参照画像の拡大図
はテクスチャ内に含まれる高周波成分を解析することで，限定された参照画像群
から高解像度化に適したテクスチャを優先的に用いる．

18

3.4 エネルギー関数最小化による画像の高解像度化
本節では，参照画像群と元の対象画像 It を用い，エネルギー最小化の枠組みに基づき生成画像 Is を高解像度化する．従来行われていた超解像手法 [24, 26] と同様に，ここではまず RGB 画像を輝度値と色調を持つ色空間に変換する．次に，人間の視覚は色調の変化に敏感ではないことに基づき，輝度値成分のみに高解像度化処理を行う．これにより，R・G・B 独立に処理を行う場合に対して処理時間の短縮を図る．提案手法では，RGB 色空間を YCbCr 色空間に変換し，Y (intensity)
チャンネルのみに提案手法による高解像度化処理を行い，Cb・Cr (chromatic) チャ
ンネルに対しては Bi-cubic 補間を用いた拡大を行う．生成画像 Is の初期値として，対象画像 It を Bi-cubic 補間により拡大した画像を与える．
以下では，まず画像高解像度化のためエネルギー関数の定義について説明する．
次に，定義したエネルギー関数を最小化するための手法について述べる．

3.4.1 画像高解像度化のためのエネルギー関数の定義提案手法では，以下に示すように，Esr と Edata の 2 つの項を持つエネルギー関
数 E を定義する．

E=∑{Esr (xi , xj , k) + βEdata (xi )}

(1)

xi

図 12 に示すように，Esr は生成画像 Is と参照画像群 {Irk } とのテクスチャ類似度に基づくエネルギーである．この項を用いることで，参照画像 Irk 中の高周波成分をより多く含むテクスチャを事例として選択し，生成画像 Is の解像度を向上させる．Edata は，生成画像 Is と対象画像 It との差分に基づくエネルギーであり，これを用いることで．対象画像 It のテクスチャを生成画像 Is に保存する．β は 2 つの項の重み係数である．Esr と Edata は以下の式で示される．

Esr (xi , xj , k) = ω(xj ,k)∑{Is (xi + p) − Irk (xj + p)}2

(2)

p∈W

Edata (xi ) = {Is (xi ) − It (Dxi )}2

(3)

19

𝑘=1
ウインドウ𝑊

𝐸𝑠𝑟

𝑘=2

Dx𝑖

𝐸𝑑𝑎𝑡𝑎

𝐱𝑗

x𝑖
𝐼𝑠 : 生成画像

𝐼𝑡 : 対象画像

𝑘=3⋮
𝐼𝑟𝑘 : 参照画像

図 12: 各画像とエネルギー関数との関係
ここで，xi は Is 中の画素位置，xj は選択された参照画像 Irk 中の画素位置を示す．
また，Is (xi )，Irk (xj )，It (xi ) はそれぞれ，画像 Is ，Irk ，It 中の画素位置に対応する画素値を示す．p は正方ウインドウ W 内をシフトするためのベクトルである．

D は生成画像 Is 中の画素 xi を対応する対象画像 It 中の画素に変換するための行列である．ω(xj ,k) は，参照画像 k 中の画素位置 xj を中心とする正方ウインドウ W
内のテクスチャをフーリエ変換し，ある一定以上の周波数成分のパワースペクト
ル値の合計の逆数を示す．テクスチャの含まれる高周波成分が多いほど Esh は減少する．参照画像の選択においては，撮影対象までの距離が短い参照画像は，高周波成分を多く含む場合が多い．しかし，図 13 に示すようにモーションブラー
やぼけの影響で高周波成分が失われている可能性がある．そこで，ω(xj ,k) を追加することで，T 枚の参照画像中から，より高周波成分を多く持つテクスチャが選
択される．

20

図 13: モーションブラーの影響で高周波成分が失われたテクスチャの例

3.4.2 エネルギー関数の最小化
本研究では，Greedy Algorithm の枠組みを用いてエネルギー関数 E を最小化する．提案手法では以下のプロセスを交互に繰り返すことで，エネルギー関数 Eを最小化する生成画像 Is を推定する．

(i) 画素ごとの参照画像の選択および類似テクスチャ位置の決定(ii) 生成画像の画素値更新(i) 参照画像の選択および類似テクスチャの探索
処理 (i) では，高解像度化に適した参照画像の選択と類似テクスチャの探索を同時に行う．参照画像生成する際において，三次元形状とカメラ位置姿勢を用いた
変形により，対象画像と参照画像群間の画素位置の対応はおおまかに決定されている．しかし，撮影対象シーンの三次元復元における生成形状の誤差の影響により，画素間の対応付けが正確に行われていない場合がある．そこで，T 枚の参照
画像中の画素 xi の周囲 L × L pixel を以下の式を満たすよう探索する．このため，

21

本処理では，生成画像中の位置画素 xi に対応する参照画像群中の参照画像番号 k
およびその中での対応する画素位置 xj は，以下の式を満たすように決定する．

(f (xi ), n(xi )) = argmin Esr (xi , xj , k)(4)(xj ,k)

ここで，n(xi ) は選択された参照画像番号，f (xi ) は選択された参照画像中の類似
テクスチャの画素位置を示す．

(ii) 生成画像の画素値更新
処理 (ii) では，処理 (i) で求めた類似テクスチャの組を固定し，エネルギー関数

E を最小化するように生成画像内の画素値 Is (xi ) を並列に更新する．ここではまず，エネルギー関数 E を生成画像 Is 中の各画素 xi での要素エネルギー E(xi ) に分解する．

E(xi ) =∑ω(f (t),n(t)) {Is (xi )−Irn(t) (f (t)−p)}2 + β{Is (xi )−It (Dxi )}2

(5)

p∈W

t = xi + p(6)

このとき，生成画像全体のエネルギー E と各画素での要素エネルギー E(xi ) の関
係は，以下のように表せる．

E=∑

E(xi )(7)xi

このため，E(xi ) を各画素値 Is (xi ) で微分し極値を求めることで，E を最小化す
る各画素値は以下のように算出される．

∑
Is (xi ) =n(t)(f (t)−p) + βIt (Dxi )p∈W ω(f (t),n(t)) Ir∑p∈W ω(f (t),n(t)) + β

22

(8)

4. 実験
本章では，提案手法の有効性を検証するために，実シーンを異なる位置から撮影した画像群に対して高解像度化処理を行い，従来手法と比較することで画質の評価を行った．本実験において，比較に用いた手法を以下に示す．

• Bi-cubic 補間• 学習型超解像処理 [22]• 自由視点画像生成に基づく画像の高解像度化 (提案手法)
提案手法の各パラメータは，実験ごとに経験的に決定した．また，エネルギー関数を最小化するために，参照画像・類似テクスチャ探索と画素値更新を 10 回繰り返した．なお，本実験では，PC (CPU: Intel Core i7 3.40GHz，メモリ: 16.0GB)を用いた．

4.1 実シーンにおける画像群を用いた高解像度画像生成実験
本実験では，屋内シーンと屋外シーンで動きながら撮影した 2 つの動画像 (640×480 pixel) を用いて，提案手法による高解像度画像生成実験を行った．ここでは，
撮影した動画像中からそれぞれ 60 枚の画像を抽出し入力画像群として用い，入力画像群から高解像度化したい画像を対象画像として選択し，これを対象画像の2 倍の解像度 (1280 × 960 pixel) に拡大した．図 14 に，2 つの動画像から抽出した入力画像群の例を示す．ここで，左上の赤枠で囲まれた画像は対象画像，その他の画像は事例画像群の一部を示している．なお，3.4 節で述べたエネルギー関数の各パラメータは経験的に表 1 に示すように設定した．
図 15 に，各入力画像群を用いて，推定したシーンの三次元形状と入力画像群に対するカメラ位置姿勢を示す．図 16 と図 17 に，提案手法を用いて高解像度化した画像と，比較手法を用いて対象画像を拡大した画像，およびこれらの一部拡大
画像を示す．同図より，拡大補間を用いた高解像度化や従来の学習型超解像手法と比較して，提案手法ではより鮮鋭なテクスチャが生成されることが確認できる．

23

表 1: 実験 4.1 で用いたエネルギー関数の各パラメータの設定値
ウインドウサイズ W

25 × 25

重み係数 β

0.0005

類似テクスチャ探索範囲 L

10

参照画像枚数 T

5

図 18 に，高解像度化処理で対象画像中の各画素に対して選択された参照画像を示す．ここでは，対象画像の各画素に対して，事例画像番号ごとに割り当てた色を表示している．また，黒色の領域は，三次元形状が存在せず奥行き情報がな
いため，画像選択が行われなかった領域を表す．同図より，対象物体に近いところで撮影され，対象物体が大きく写りこんでいる事例画像が選択され高解像度化に用いられていることが確認できる．しかし，三次元形状が復元されず，生成画像の各画素で，奥行き値が存在しない場合高解像度化できない．このため，図 19に示すように，奥行き画像中で奥行き値が存在しない領域に対しては高解像度化されないため，高解像度化された画素との境界部分に違和感が生じた．
図 20 に提案手法による，高解像度化処理時の反復回数とエネルギーの変化の関係を示す．このグラフから，式 (8) による画素値更新を行うことで，エネルギーは単調に減少し，10 回程度の繰り返しによりエネルギーがほぼ収束することを確認できる．
また，自由視点画像生成を用いた画像位置合わせの有効性を確認するために，単一の射影変換行列を用いた画像変形により参照画像を生成し，提案手法により生成した参照画像と比較した．まず，対象画像と事例画像群から SIFT を用いて特徴点と特徴量を抽出する．次に，抽出した特徴量を用いて対象画像と事例画像
間の特徴点を対応付け，これらの対応点の組を用いて事例画像を対象画像に位置合わせするための射影変換行列を算出する．図 21 と図 22 に，単一の射影変換と自由視点画像生成を用いて位置合わせした参照画像を示す．この結果，事例画像
中で奥行きの変化が存在するシーンにおいて，位置合わせ誤差が発生することが確認された．同図中の (d) に，単一の射影変換行列を用いて生成した参照画像群を使用し，対象画像を提案手法により高解像度化した結果を示す．ここでは，入24

(a) 屋内シーン(b) 屋外シーン

図 14: 実験 4.1 で使用した入力画像群
力画像群のカメラ位置姿勢やシーンの三次元形状の推定は行わず，射影変換により変形したすべての参照画像群を用いて，対象画像の高解像度化を行った．同図から，これらの画像群を用いた場合，高解像度効果が低下することを確認した．

25

対象画像カメラ(a) 屋内シーン

対象画像カメラ(b) 屋外シーン

図 15: 復元した三次元形状と入力画像群のカメラ位置姿勢

26

(a) Bi-cubic 補間(b) 学習型超解像 [22](c) 提案手法

図 16: 実験結果画像 (屋内シーン)

27

(a) Bi-cubic 補間(b) 学習型超解像 [22](c) 提案手法

図 17: 実験結果画像 (屋外シーン)

28

𝐼𝑠 : 生成画像

各画素ごとに選択された
事例画像番号

事例画像番号各画素ごとに選択された
事例画像番号

事例画像番号(a) 屋内シーン

𝐼𝑠 : 生成画像(b) 屋外シーン

図 18: 類似テクスチャ探索において選択された各画素における事例画像

29

(a) 屋内シーン(b) 屋外シーン

図 19: 三次元形状の欠損により違和感が生じた例

30

3.5 1e7

Indoor Scene
Outdoor Scene

3.0

Enegy

2.5
2.0
1.5
1.0
0.5
0.0
0

5

10

15
20
Number of iteration

図 20: 反復回数とエネルギー変化の関係

31

25

30

(a) 事例画像(b) 単一の射影変換行列を用いて生成した参照画像(c) 自由視点画像生成を用いて生成した参照画像(d) (b) を参照画像群として用いた生成画像

図 21: 単一射影変換行列と自由視点画像生成による位置合わせ処理 (屋内シーン)

32

(a) 事例画像(b) 単一の射影変換行列を用いて生成した参照画像(c) 自由視点画像生成を用いて生成した参照画像(d) (b) を参照画像群として用いた生成画像

図 22: 単一射影変換行列と自由視点画像生成による位置合わせ処理 (屋外シーン)

33

4.2 従来手法を用いた客観評価実験
本節では，提案手法により生成した画像と従来手法により生成した画像について画質の定量評価を行う．高解像度化効果を定量的に評価するために，正解画像を縮小したものを入力画像として各手法で元のサイズに拡大し，縮小前の正解画像との誤差を計算した．多くの超解像処理の評価実験では，正解画像と生成画像との各画素の誤差を用いた指標とテススチャの類似度の誤差を用いた指標が画質を評価するために用いられている．ここでは画質の評価指標として，文献 [1] の評価に用いられている，PSNR (Peak Signal to Noise Ratio) と SSIM (Structuralsimilarity) を用いた．PSNR は，生成した画像が正解画像に対してどの程度ノイ
ズが混入しているか示す指標であり，以下の式によって定義される．
()
M AXI2
P SN R = 10 · log10
M SE

(9)

ただし，

M SE =∑
1(Ig − Ih )
c∗i∗j

(10)

ここで，Ig ，Ih は c チャンネルで i × j pixel の解像度を持つ画像を示している．
また，M AXI は，有効最大輝度値を示しており，ここでは 255 とする．SSIM は，生成した画像が正解画像に対してどの程度類似した構造が存在するか示す指標であり，この算出には Wang [33] らの手法を用いた．
本定量評価では，原画像を縮小した画像を入力として使用し，原画像を正解画像として用いる．4.1 節で使用した入力画像群では解像度が不足するため，ここでは新たに屋内および屋外で動きながら撮影した 2 つの動画像 (1920 × 1080 pixel)を使用し，撮影した動画像中から 60 枚の画像を抽出した．その後，これらの画像群を 1/3 (640 × 360 pixel) に縮小した画像を入力画像群として用い，縮小後の対
象画像に対して，各手法を用いて拡大を行った．ここでは，縮小前の対象画像を正解画像とし，各手法を用いて対象画像の解像度を 1920 × 1080 pixel まで拡大した画像と正解画像との PSNR と SSIM を算出した．図 23 に入力画像群の例を示す．なお，本実験では，4.1 節で行った実験とは拡大倍率が異なることから，エネルギー関数の各パラメータは新たに表 2 に示すように経験的に設定した．

34

表 2: 実験 4.2 で用いたパラメータの設定値
ウインドウサイズ W

31 × 31

重み係数 β0.1

類似テクスチャ探索範囲 L

10

参照画像枚数 T

5

図 24 と図 25 に，各手法を用いて生成した画像とその一部拡大画像を示す．同図中の数値は，赤線で囲まれた領域についての PSNR，SSIM を表す．図 26 に，画像全体に対して算出した PSNR，SSIM の比較結果を示す．これらの結果から，従来手法と比較して，提案手法用いて拡大した画像は，一部の領域について PSNR，

SSIM ともに高い値を示しており，画質の向上効果があることが分かる．しかし，画像全体を評価した場合には，提案手法により算出された値は従来手法の値と比較し，わずかに低い値となった．これは，対象画像に対して奥行き値が存在せず，高解像度化不可能な領域が発生していることで，全体としての評価値を低下させたことが原因であると考えられる．図 27 に，正解画像と提案手法を用いた生成
画像の各画素の二乗誤差を算出した結果と，二乗誤差が高い画素の周辺を一部拡
大した画像を示す．このことから，一部領域において不連続なテクスチャが発生していることを確認した．

35

(a) 屋内シーン(b) 屋外シーン

図 23: 実験 4.2 で使用した画像群

36

(a) 正解画像(b) Bi-cubic 補間 (PSNR: 28.4525，SSIM: 0.854969)(c) 学習型超解像 [22](PSNR: 28.2227，SSIM: 0.855817)(d) 提案手法 (PSNR: 28.9909，SSIM: 0.867797)

図 24: 実験結果画像と PSNR，SSIM(屋内シーン)

37

(a) 正解画像(b) Bi-cubic 補間 (PSNR: 30.176，SSIM: 0.833507)(c) 学習型超解像 [22](PSNR: 29.8501，SSIM: 0.826325)(d) 提案手法 (PSNR: 30.3071，SSIM: 0.838271)

図 25: 実験結果画像と PSNR，SSIM(屋外シーン)

38

36

Indoor Scene
Outdoor Scene

34

PSNR [dB]

32

30

28

26
Bi-cubic interpolation

Example-based SR [22]Proposed method(a) PSNR
1.00

Indoor Scene
Outdoor Scene

0.95

SSIM

0.90
0.85

0.80
0.75
0.70

Bi-cubic interpolation

Example-based SR [22]Proposed method(b) SSIM

図 26: 各手法により生成した画像の PSNR と SSIM

39

提案手法

二乗誤差

正解画像

(a) 屋内シーン

提案手法

二乗誤差

正解画像

(b) 屋外シーン

図 27: 正解画像と提案手法を用いた生成画像との各画素における二乗誤差40

4.3 評価結果と考察
本節では，高解像度画像生成実験，従来手法との定量実験の結果について考察する．実シーンを用いた高解像度画像生成実験の結果，図 16 や図 17 に示したよ
うに，拡大補間や従来手法に基づく高解像度化手法と比較して，画像内のテクス
チャが鮮鋭であることを確認した．屋内シーンでは，図 15(a) に示したように，対象画像の中央付近は，特徴点を多く含む物体が存在し，三次元形状の復元が容易であることから，より正確な三次元形状を用いた画像間の位置合わせが可能である．この結果，良好な高解像度化効果を得ることができた．しかし，対象画像の左端部分では，その領域を撮影した画像枚数が少ないことから，三次元形状に大きな誤差が発生している．このため，対象画像中で，その三次元形状部分に対応する領域では，不自然なテクスチャが生成された．屋外シーンに関しては，図 15(b)に示したように，対象画像中の木に対応する領域で，特徴点の対応付けが失敗しており，詳細な三次元形状を復元することができない．しかし，提案手法では，三次元形状を用いた位置合わせの後に，テクスチャの類似度と高周波成分に基づく対応点探索を行うことで対象画像と参照画像間で正確な位置合わせを実現し，画質の向上させることができた．
図 18 の示す結果から，対象物体の距離とテクスチャの周波数情報を用いることで，より対象物体に近い画像が高解像度化に利用されていることを確認した．
このことから，生成画像の各画素に対応する対象物体までの距離とテクスチャ内の高周波成分を画像選択の指標に用いることが有効であるといえる．
図 21 や図 22 に示すように，単一の射影変換行列を用いた対象画像と事例画像の位置合わせ処理では，奥行きを含むシーンにおいて正確な位置合わせを行うことができない．このようなシーンに対して，自由視点画像生成による位置合わせ処理は有効であるといえる．また，単一の射影変換行列を用いた参照画像を用いて高解像度化処理を行った結果，高解像度化効果が低下した．この原因として，対象画像と参照画像との間に発生した位置合わせ誤差の影響で，類似テクスチャ
探索の際に対象物体に近い位置から撮影した参照画像のテクスチャが選択されず，対象画像に近い位置から撮影した参照画像のテクスチャが選択されたことが挙げ
られる．

41

従来手法との定量評価実験では，図 24 や図 25 に示すように，提案手法を用いる
ことで，対象画像よりも近くで撮影された画像のテクスチャを対象画像に合成するため，画像は鮮鋭になる．このため，PSNR，SSIM は向上した．しかし，図 26に示すように，生成画像全体に対して，PSNR，SSIM を求めた場合，ともに従来手法を下回る．この原因として，三次元形状が復元されず，生成画像の各画素で，奥行き値が存在しない場合高解像度化できないことが挙げられる．図 19 に示す
ように，奥行き画像中で奥行き値が存在しない領域に対しては高解像度化されな
いため，高解像度化された画素との境界部分に違和感が生じた．また，図 27 に示すように，一部領域に対して不連続なテクスチャが生じた．これは，自由視点
画像生成を用いた参照画像生成時に発生する歪によるものであると考えられる．
このような現象が原因で画像全体を比較した場合における PSNR，SSIM が低下した．

42

5. まとめ
本論文では同一シーンを撮影した画像群から復元される撮影対象シーンの三次元形状復元とカメラの位置姿勢推定を用いて自由視点画像生成を行うことで，参照画像の位置合わせを実現し，高品位な画像の高解像度化を実現する手法を提案
した．
実シーンを撮影した画像群を用いた高解像度画像生成実験では，従来の高解像度化手法と比較して，より鮮鋭なテクスチャが復元できることを確認した．また，対象物体の距離とテクスチャの周波数情報を用いることで，より対象物体に近い画像が高解像度化に利用されていることを確認した．定量評価実験では，正解画像に対する PSNR，SSIM を算出することで，画質の評価を行った．この結果，従来手法と比較して，提案手法を用いて拡大した画像は一部領域について PSNR，

SSIM ともに高い値を示し，画質の向上効果を確認できた．ただし，撮影対象シーンの三次元形状が復元されない部分については，高解像度化ができないため，高解像度化された領域，高解像度化できない領域で違和感が生じた．また，自由視点画像生成を用いた参照画像を生成するときに発生した歪により，生成画像の一部領域において不連続なテクスチャが発生した．このため，提案手法により生成した画像全体に対して PSNR，SSIM を評価した場合，従来手法の値と比較してわずかに低い値となった．
今後の課題として，三次元形状が復元されず，対象画像上に奥行き値が存在しない領域に対する高解像度化を行い，画像全体として画質を向上させる必要がある．また，提案手法では解像度が同じ一つ画像を用いて，画像の高解像度化を行っている．今後は，より解像度の高い画像を参照画像として用いることや，Web 上の画像を用いることで，更なる画質の向上を図る．

43

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜りました視覚情報メディア研究室 横矢 直和 教授に心より感謝致します．また，本研究の遂行にあたり，有益な御助言，御鞭撻を頂いた光メディアインタフェース研究室 向川 康博 教授に厚く御礼申し上げます．そして，本研究を進めるにあたり，始終暖かい御指導をして頂いた視覚情報メディア研究室 佐藤 智和 准教授に深く感謝致します．また，本研究を行うにあたり，多大なる御助言，御鞭撻を賜った視覚情報メディア研究室 河合 紀彦 助教に心より感謝致します．さらに，本研究を通じて，的確な御助言，御鞭撻を頂いた視覚情報メディア研究室 中島 悠太 助教に深く御礼申し上げます．特に，佐藤 智和 准教授，河合 紀彦 助教には，本研究の着想およびテーマ設定から研究の遂行，論文執筆，発表練習，さらに，インターンシップや共同研究など，長期にわたり様々なご指導をいただきました．また，研究室生活において様々な支援をして頂いた，視覚情報メディア研究室秘書 石谷 由美 女史に厚く御礼申し上げます．そして，研究のみならず研究室生活全般においてお世話になりました視覚情報メディア研究室の諸氏に深く感謝いたします．最後に，両親をはじめ，私の二年間の大学院生活に関わった全ての方々に感謝の意を表し
ます．

44

参考文献
[1] H. Yue, X. Sun, J. Yang, and F. Wu. Landmark image super-resolution by
retrieving web images. IEEE Transactions on Image Processing, Vol. 22,
No. 12, pp. 4865–4878, Dec. 2013.
[2] P. Thévenaz, T. Blu, and M. Unser. Image interpolation and resampling. In
Handbook of Medical Imaging, Processing and Analysis, pp. 393–420. Academic Press, 2000.
[3] X. Li and M.T. Orchard. New edge-directed interpolation. IEEE Transactions on Image Processing, Vol. 10, No. 10, pp. 1521–1527, Oct. 2001.
[4] R. Fattal. Image upsampling via imposed edge statistics. ACM Transactions
on Graphics, Vol. 26, No. 3, July 2007.
[5] H.A. Aly and E. Dubois. Image up-sampling using total-variation regularization with a new observation model. IEEE Transactions on Image Processing,Vol. 14, No. 10, pp. 1647–1659, Oct. 2005.
[6] Q Shan, Z. Li, J. Jia, and C.-K. Tang. Fast image/video upsampling. ACM
Transactions on Graphics, Vol. 27, No. 5, pp. 153:1–153:7, Dec. 2008.
[7] M. Irani and S. Peleg. Improving resolution by image registration. CVGIP:
Graphical Models Image Processing, Vol. 53, No. 3, pp. 231–239, Apr. 1991.
[8] S. Farsiu, M.D. Robinson, M. Elad, and P. Milanfar. Fast and robust multiframe super resolution. IEEE Transactions on Image Processing, Vol. 13,
No. 10, pp. 1327–1344, Oct. 2004.
[9] S. C. Park, M. K. Park, and M. G. Kang. Super-resolution image reconstruction: a technical overview. IEEE Signal Processing Magazine, Vol. 20,
No. 3, pp. 21–36, May 2003.

45

[10] B. Zitová and J. Flusser. Image registration methods: A survey. Image andVision Computing, Vol. 21, No. 11, pp. 977 – 1000, June 2003.
[11] Q. Tian and M. N. Huhns. Algorithms for subpixel registration. Computer
Vision, Graphics, and Image Processing, Vol. 35, No. 2, pp. 220–233, Aug.
1986.
[12] S. Baker and I. Matthews. Lucas-Kanade 20 years on: A unifying framework.
International Journal of Computer Vision, Vol. 56, No. 3, pp. 221–255, Fed.
2004.
[13] B.C. Tom and A.K. Katsaggelos. Reconstruction of a high-resolution image
by simultaneous registration, restoration, and interpolation of low-resolution
images. In Proceedings of IEEE International Conference on Image Processing, Vol. 2, pp. 539–542, Oct. 1995.
[14] R.C. Hardie, K.J. Barnard, and E.E. Armstrong. Joint map registration andhigh-resolution image estimation using a sequence of undersampled images.
IEEE Transactions on Image Processing, Vol. 6, No. 12, pp. 1621–1633, Dec.
1997.
[15] H. Shen, L. Zhang, B. Huang, and P. Li. A map approach for joint motion estimation, segmentation, and super resolution. IEEE Transactions on
Image Processing, Vol. 16, No. 2, pp. 479–490, Feb. 2007.
[16] S. Baker and T. Kanade. Limits on super-resolution and how to break them.
IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24,
No. 9, pp. 1167–1183, Sept. 2002.
[17] Z. Lin and H.-Y. Shum. Fundamental limits of reconstruction-based superresolution algorithms under local translation. IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 26, No. 1, pp. 83–97, Jan. 2004.

46

[18] M. Tanaka and M. Okutomi. Theoretical analysis on reconstruction-based
super-resolution for an arbitrary psf. In Proceedings of IEEE Computer
Society Conference on Computer Vision and Pattern Recognition, Vol. 2,
pp. 947–954, June 2005.
[19] W. T. Freeman, E. C. Pasztor, and O. T. Carmichael. Learning low-levelvision. International Journal of Computer Vision, Vol. 40, No. 1, pp. 25–47,
Sept. 2000.
[20] W.T. Freeman, T.R. Jones, and E.C. Pasztor.

Example-based super-

resolution. IEEE Computer Graphics and Applications, Vol. 22, No. 2, pp.
56–65, Mar. 2002.
[21] I. Begin and F.P. Ferrie. Blind super-resolution using a learning-based approach. In Proceedings of International Conference on Pattern Recognition,
Vol. 2, pp. 85–89, Aug. 2004.
[22] 橋本明信, 中矢知宏, 黒木修隆, 廣瀬哲也, 沼昌宏. 学習型超解像のための二分木辞書. 電子情報通信学会論文誌, Vol. J96-D, No. 2, pp. 357–361, Feb. 2013.

[23] S. Dai, M., W. Xu, Y. Wu, and Y. Gong. Soft edge smoothness prior foralpha channel super resolution. In Proceedings of IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, pp. 1–8, June
2007.
[24] J. Sun, J. Sun, Z. Xu, and H. Y. Shum. Image super-resolution using gradient profile prior. In Proceedings of IEEE Computer Society Conference on
Computer Vision and Pattern Recognition, pp. 1–8, June 2008.
[25] S. Baker and T. Kanade. Hallucinating faces. In Proceedings of IEEE International Conference on Automatic Face and Gesture Recognition, pp. 83–88,
Mar. 2000.

47

[26] D. Glasner, S. Bagon, and M. Irani. Super-resolution from a single image.
In Proceedings of IEEE International Conference on Computer Vision, pp.
349–356, Sept. 2009.
[27] G Freedman and R Fattal.

Image and video upscaling from local self-

examples. ACM Transactions on Graphics, Vol. 30, No. 2, pp. 12:1–12:11,
Apr. 2011.
[28] F. Schubert and K. Mikolajczyk. Combining high-resolution images with
low-quality videos. In Proceedings of the British Machine Vision Conference,
pp. 116.1–116.10, Sept. 2008.
[29] C. Ancuti, T. Haber, T. Mertens, and P. Bekaert. Video enhancement usingreference photographs. The Visual Computer, Vol. 24, No. 7-9, pp. 709–717,
July 2008.
[30] C. Wu, S. Agarwal, B. Curless, and S.M. Seitz. Multicore bundle adjustment.
In Proceedings of IEEE Computer Society Conference on Computer Vision
and Pattern Recognition, pp. 3057–3064, June 2011.
[31] C. Wu. Towards linear-time incremental structure from motion. In Proceedings of International Conference on 3D Vision, pp. 127–134, June 2013.
[32] M. Jancosek and T. Pajdla. Multi-view reconstruction preserving weaklysupported surfaces. In Proceedings of IEEE Computer Society Conference
on Computer Vision and Pattern Recognition, pp. 3121–3128, June 2011.
[33] Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli. Image quality
assessment: from error visibility to structural similarity. IEEE Transactions
on Image Processing, Vol. 13, No. 4, pp. 600–612, Apr. 2004.

48