NAIST-IS-MT0951097

修士論文

光源方向の違いによるシェーディングを考慮した
ポアソン画像合成

林 浩一

2011 年 3 月 17 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
林 浩一

審査委員：
横矢 直和 教授

（主指導教員）千原 國宏 教授

（副指導教員）山澤 一誠 准教授

（副指導教員）光源方向の違いによるシェーディングを考慮した
ポアソン画像合成∗
林 浩一

内容梗概
デジタル画像の利用方法として，風景画像を背景画像として用意し，そこに別の画像より切り出した動植物，建物，人間などの様々なオブジェクトを合成する
ことで，新たな画像を作る利用法がある．このような画像合成の従来研究として，アルファブレンディングや，ポアソン画像合成を用いて継ぎ目のない（シームレスな）画像合成を行うアプリケーションが提案されている．しかし，従来の画像合成では，入力画像である背景画像とオブジェクトを含む画像（ソース画像）の光源方向が違う場合，物体により陰影（シェーディング）が異なる画像が合成されるか，手作業によるシェーディングの修正を必要とする．そこで本論文ではポアソン画像合成に用いる式を拡張することで，ソース画像中のオブジェクトのシェーディングをユーザが設定した光源環境に合わせて修正し，そのオブジェク
トを合成する手法を提案する．本手法では，ユーザはソース画像，背景画像，そして各画像の光源方向を入力する．入力されたソース画像をオブジェクト領域とそれ以外の領域にグラブカットにより領域分割する．それらの情報をもとに，ポアソン画像合成を行う際に，拡張された式によりオブジェクト領域に対して新たなシェーディングを与え，画像合成を行う．これにより，オブジェクトと背景画
像のシェーディングが統一された画像合成を可能とする．実験では従来のポアソ
ン画像合成と比較して，シェーディングを考慮した本手法の有効性を確認する．
∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0951097, 2011 年 3 月 17 日.

iキーワードポアソン画像合成, シェーディング, グラブカット, フォンの反射モデル

ii

Poisson blending considering shading diﬀerence
between images∗
Koichi Hayashi

Abstract
Image composition techniques allow us to make new images by pasting a cut
object such as a person, a plant, and a building, on a background image. The
seamless image composition techniques using alpha blending or poisson blending
have been proposed. However, the conventional methods do not consider shading
diﬀerence between the pasted object and the background image. Hence, when
the light direction of the source image, which includes the object, is diﬀerent fromthe light direction of the background image, the composed image has incorrect
shading, or manual shading correcting is needed.
This thesis proposes a method of seamless image composition considering shading diﬀerence between the source image and the background image. The method
corrects the shading of the object for the given light direction and pastes themodiﬁed object on the background image by extending the equation of poisson
blending. Concretely, the user gives a source image, a background image, andthe light directions of them. The object is segmented from the source image byusing GrabCut. When poisson blending composes a new image, the shading of
the pasted object is corrected by the extended equation, which uses the given
information. In experiments, the eﬀectiveness of the proposed method is demonstrated by comparing its results with those of the conventional poisson blending.

∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0951097, March 17, 2011.

iii

Keywords:
poisson image editing, poisson blending, shading, seamless image composition,
GrabCut, Phong reﬂection modeliv

目次
1. はじめに

1

2. 画像合成に関する従来研究と本研究の位置付け

3

2.1

オブジェクトと背景の境界付近で生じる違和感のある変化に対する従来研究. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.1.1

領域抽出に関する従来研究 . . . . . . . . . . . . . . . . . .

3

2.1.2

ブレンディングに関する従来研究 . . . . . . . . . . . . . .

8

2.2

陰影の整合性に関する従来研究 . . . . . . . . . . . . . . . . . . .

13

2.3

本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

14

3. シェーディングを考慮したポアソン画像合成

16

3.1

提案手法における画像合成手法の概要. . . . . . . . . . . . . . .

16

3.2

GrabCut によるソース画像中のオブジェクト領域の決定 . . . . .

16

3.3

Phong のモデルに基づくシェーディングの定義 . . . . . . . . . .

18

3.4

シェーディングの変化を考慮したポアソン画像合成 . . . . . . . .

20

4. 実験
4.1

22
被験者による主観的評価実験と考察 . . . . . . . . . . . . . . . . .

54

4.1.1

被験者による主観的評価実験 . . . . . . . . . . . . . . . .

54

4.1.2

評価結果と考察 . . . . . . . . . . . . . . . . . . . . . . . .

54

5. まとめ

58

謝辞

59

参考文献

60

付録

65

A. 実験における各合成画像の評価

65

v

図目次
1

色ヒストグラムに基づくアクティブ探索法による領域抽出 [3] . . .

42

ユーザ入力を併用した Watershed 法 [14] . . . . . . . . . . . . . .

53

複数の動的輪郭法の適用による領域抽出 [16] . . . . . . . . . . . .

64

輪郭に沿った点に基づく領域抽出 [21] . . . . . . . . . . . . . . . .

75線による領域指定と点による境界修正を用いる領域抽出 [22] . . .

76

矩形の指定とマーキングによる領域抽出 [23] . . . . . . . . . . . .

87

輝度変化を考慮したサンプリングを行う透過度の推定 [29] . . . .

108

最尤推定による透過度の推定 [30] . . . . . . . . . . . . . . . . . .

109MAP 推定による透過度の推定 [28] . . . . . . . . . . . . . . . . .

11

10

Rhemann らによる比較実験の結果 [31] . . . . . . . . . . . . . . .

1111輝度勾配に基づく画像合成 [33] . . . . . . . . . . . . . . . . . . .

1212輝度勾配に基づく画像合成の各領域と概念 . . . . . . . . . . . . .

13

13

提案手法の処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

17

14GraphCut で用いるグラフ . . . . . . . . . . . . . . . . . . . . . .

18

15

本手法における画像合成の各領域と概念 . . . . . . . . . . . . . .

20

16

光源ベクトルと座標系の定義. . . . . . . . . . . . . . . . . . . .

23

17

画像セット (1) を用いた合成結果 . . . . . . . . . . . . . . . . . .

24

18

画像セット (2) を用いた合成結果 . . . . . . . . . . . . . . . . . .

25

19

画像セット (3) を用いた合成結果 . . . . . . . . . . . . . . . . . .

26

20

画像セット (4) を用いた合成結果 . . . . . . . . . . . . . . . . . .

27

21

画像セット (5) を用いた合成結果 . . . . . . . . . . . . . . . . . .

28

22

画像セット (6) を用いた合成結果 . . . . . . . . . . . . . . . . . .

29

23

画像セット (7) を用いた合成結果 . . . . . . . . . . . . . . . . . .

30

24

画像セット (8) を用いた合成結果 . . . . . . . . . . . . . . . . . .

31

25

画像セット (9) を用いた合成結果 . . . . . . . . . . . . . . . . . .

32

26

画像セット (10) を用いた合成結果 . . . . . . . . . . . . . . . . .

33

27

画像セット (11) を用いた合成結果 . . . . . . . . . . . . . . . . .

34

28

画像セット (12) を用いた合成結果 . . . . . . . . . . . . . . . . .

35

vi

29

画像セット (13) を用いた合成結果 . . . . . . . . . . . . . . . . .

3630

画像セット (14) を用いた合成結果 . . . . . . . . . . . . . . . . .

37

31

画像セット (15) を用いた合成結果 . . . . . . . . . . . . . . . . .

38

32

画像セット (16) を用いた合成結果 . . . . . . . . . . . . . . . . .

39

33

画像セット (17) を用いた合成結果 . . . . . . . . . . . . . . . . .

40

34

画像セット (18) を用いた合成結果 . . . . . . . . . . . . . . . . .

41

35

画像セット (19) を用いた合成結果 . . . . . . . . . . . . . . . . .

4236

画像セット (20) を用いた合成結果 . . . . . . . . . . . . . . . . .

43

37

画像セット (21) を用いた合成結果 . . . . . . . . . . . . . . . . .

44

38

画像セット (22) を用いた合成結果 . . . . . . . . . . . . . . . . .

45

39

画像セット (23) を用いた合成結果 . . . . . . . . . . . . . . . . .

46

40

画像セット (24) を用いた合成結果 . . . . . . . . . . . . . . . . .

47

41

画像セット (25) を用いた合成結果 . . . . . . . . . . . . . . . . .

48

42

画像セット (26) を用いた合成結果 . . . . . . . . . . . . . . . . .

49

43

画像セット (27) を用いた合成結果 . . . . . . . . . . . . . . . . .

50

44

画像セット (28) を用いた合成結果 . . . . . . . . . . . . . . . . .

51

45

画像セット (29) を用いた合成結果 . . . . . . . . . . . . . . . . .

52

46

画像セット (30) を用いた合成結果 . . . . . . . . . . . . . . . . .

5347

実験に用いた Web ページの一部 . . . . . . . . . . . . . . . . . . .

55

表目次
1

新たなシェーディングを与える際に用いる仮定 . . . . . . . . . . .

162

実験に用いる手法の比較 . . . . . . . . . . . . . . . . . . . . . . .

23

3

合成画像 (1) に設定した光源条件 . . . . . . . . . . . . . . . . . .

244

合成画像 (2) に設定した光源条件 . . . . . . . . . . . . . . . . . .

25

5

合成画像 (3) に設定した光源条件 . . . . . . . . . . . . . . . . . .

26

6

合成画像 (4) に設定した光源条件 . . . . . . . . . . . . . . . . . .

27

7

合成画像 (5) に設定した光源条件 . . . . . . . . . . . . . . . . . .

28

vii

8

合成画像 (6) に設定した光源条件 . . . . . . . . . . . . . . . . . .

29

9

合成画像 (7) に設定した光源条件 . . . . . . . . . . . . . . . . . .

30

10

合成画像 (8) に設定した光源条件 . . . . . . . . . . . . . . . . . .

31

11

合成画像 (9) に設定した光源条件 . . . . . . . . . . . . . . . . . .

32

12

合成画像 (10) に設定した光源条件 . . . . . . . . . . . . . . . . .

33

13

合成画像 (11) に設定した光源条件 . . . . . . . . . . . . . . . . .

34

14

合成画像 (12) に設定した光源条件 . . . . . . . . . . . . . . . . .

35

15

合成画像 (13) に設定した光源条件 . . . . . . . . . . . . . . . . .

36

16

合成画像 (14) に設定した光源条件 . . . . . . . . . . . . . . . . .

37

17

合成画像 (15) に設定した光源条件 . . . . . . . . . . . . . . . . .

38

18

合成画像 (16) に設定した光源条件 . . . . . . . . . . . . . . . . .

39

19

合成画像 (17) に設定した光源条件 . . . . . . . . . . . . . . . . .

4020

合成画像 (18) に設定した光源条件 . . . . . . . . . . . . . . . . .

41

21

合成画像 (19) に設定した光源条件 . . . . . . . . . . . . . . . . .

42

22

合成画像 (20) に設定した光源条件 . . . . . . . . . . . . . . . . .

43

23

合成画像 (21) に設定した光源条件 . . . . . . . . . . . . . . . . .

44

24

合成画像 (22) に設定した光源条件 . . . . . . . . . . . . . . . . .

45

25

合成画像 (23) に設定した光源条件 . . . . . . . . . . . . . . . . .

46

26

合成画像 (24) に設定した光源条件 . . . . . . . . . . . . . . . . .

47

27

合成画像 (25) に設定した光源条件 . . . . . . . . . . . . . . . . .

48

28

合成画像 (26) に設定した光源条件 . . . . . . . . . . . . . . . . .

49

29

合成画像 (27) に設定した光源条件 . . . . . . . . . . . . . . . . .

5030

合成画像 (28) に設定した光源条件 . . . . . . . . . . . . . . . . .

51

31

合成画像 (29) に設定した光源条件 . . . . . . . . . . . . . . . . .

5232

合成画像 (30) に設定した光源条件 . . . . . . . . . . . . . . . . .

53

33

評価実験において提案手法が高い評価を得た画像の組合わせ . . .

56

34

評価実験において提案手法が低い評価を得た画像の組合わせ . . .

56

35

評価実験の評価（平均点） . . . . . . . . . . . . . . . . . . . . . .

65

viii

1. はじめに近年，インターネットやデジタルカメラが普及し，個人で撮影を行うことや，
ウェブサイトなどから収集することで，デジタル画像を入手，利用することが容易になった．用途としては，鑑賞用やブログ，ウェブページへの掲載，あるいは印刷物への挿入などが挙げられる．また，入手した画像をそのまま利用するのではなく，加工を行った後に利用することも行われる．その中でも，よく行われる加工法の一つとして, 風景画像などを背景画像として用意し，その画像上に別の画像から切り出した動植物，建物，人間などの様々なオブジェクトを挿入する画
像合成がある．このような画像合成は一般的に Adobe Photoshop [1] や GIMP [2]などに代表されるフォトレタッチツールと呼ばれるソフトウェアを用いて行う．
この合成を行う際には以下の問題に注意する必要がある．

• 合成画像上のオブジェクトと背景の境界付近で生じる違和感のある変化• 合成画像上のオブジェクトと背景における陰影の不整合
前者の原因はオブジェクトを切り抜く際，選択された領域にオブジェクト以外の不要な領域が含まれることや，逆に本来必要な領域が欠けているためである．
人間の視覚は色や明るさの変化に敏感であり輝度値が急激に変化する場所を注目するため，オブジェクトの輪郭線の周辺に不要な領域が写っている場合や，逆に欠損が生じている場合，違和感を感じることになる．この問題の対処法は，合成のための領域としてオブジェクトのみを正確に抽出するか，別の手法で境界付近の違和感のある変化を抑制することである．正確にオブジェクトを切り抜くには，注意深く作業を行わなければならずユーザの負担が増える．そこでフォトレタッ
チツールではユーザが選択した色に合わせて領域を抽出するマジックワンドや，選択した輪郭線を自動で補正するマグネットと呼ばれる領域抽出の補助ツールを用意し負担を減らしている．しかし，この様な手法を用いても，ユーザの望む領域の抽出は手のかかる修正が必要である．そこで一般的には，領域抽出を行った後に正確に抽出が出来なかった部分があるものとして，抽出した領域と挿入先の画像がなじむように周辺にぼかしをかけたりすることが一般的である．しかし，ぼかし過ぎる場合や不必要な領域をぼかす事で画像の劣化が生じるため，注意深く

1行う必要がある．後者の問題における原因は，合成に用いる画像間の光源環境の違いである．この問題の対処法は，ユーザは経験的な仮定をもとにオブジェクトの画像の明るさを変化させたり，地面に落ちる影を別途描くことであるが，ユー
ザは陰影に関する知識と描画のための技術を必要とする．このような画像合成の問題に対処するためには多くの労力が求められ，合成結果は作成者の技術に依存する．このことから従来より画像合成に関する処理の自動化や精度の向上が求められてきた．従来研究では，前者と後者のそれぞれの問題に対して少ないインタ
ラクションで解決する手法が提案されている．しかしながら，両方の問題を同時に解決する手法は限られている．そこで本論文では，陰影を修正し，画像合成を行う手法を提案する．
以降，2 章では，オブジェクトを切り抜くさいに行う領域抽出，違和感を軽減する画像合成，陰影の不整合の修正の 3 点に関する従来研究と本手法の位置づけについて述べる．3 章では，新たな陰影を与え継ぎ目のない合成を行う画像合成法を提案する．4 章では，従来の輝度勾配を考慮した画像合成の結果と比較実験を行うことで，陰影を考慮した提案手法の有効性を示す．最後に 5 章で本論文のまとめと今後の課題について述べる．

2

2. 画像合成に関する従来研究と本研究の位置付け
画像合成は，画像上のオブジェクトと背景画像の境界付近で生じる違和感のある変化や，オブジェクトと背景における陰影の不整合により画像の質を下げる問題がある．本章では，前者の問題に対して行われてきた，領域抽出とブレンディ
ングに関する研究を述べた後に，後者の問題に対する陰影付けに関する従来研究について述べ，最後に本研究の位置づけについて述べる．

2.1 オブジェクトと背景の境界付近で生じる違和感のある変化に対する従来研究合成画像において挿入したオブジェクトと背景の境界付近で生じる違和感のある変化は，オブジェクトの切り抜き時に不要な領域が含まれる場合やオブジェク
トの欠損が起きた場合に生じる．そこで，従来より，精度の高い領域抽出のための手法や，抽出した領域と周りの画素をなじませるためのブレンディングと呼ばれる技術を用いて違和感のある変化を抑制する手法が提案されている．以下では，それぞれの研究について代表的な手法を述べる．

2.1.1 領域抽出に関する従来研究
領域抽出は，画像からユーザが意図した領域のみを選択，抽出するために行われる処理である．用途として，本研究で行う画像合成の他に，航空写真や医療画像の解析や動物体の検出などがある．領域抽出は，抽出対象を特化した手法と特化していない手法があり，前者は抽出精度が高いが，対象とする画像が限られる．
後者の手法は様々な場合に利用できるが，抽出精度が低いという特徴がある．画
像合成では，合成するオブジェクトを含む画像（以下，ソース画像）中の背景や，オブジェクトの特徴が一様でないため，後者の手法が必要であり，以下ではそれらについて述べる．

3

(a) 入力画像(b) マスク画像(c) 出力画像(d) (c) の最大領域

図 1 色ヒストグラムに基づくアクティブ探索法による領域抽出 [3]単一画素の色の情報を利用した手法
単一画素の色の情報を利用した手法には，色のヒストグラム (輝度値の分布) を利用する手法 [3–7] や，クラスタリングを利用する手法 [8–10] などがある．
色のヒストグラムを利用する手法として染谷らの手法 [3] がある．この手法では入力画像から抽出対象の色ヒストグラムをマルチテンプレートとして登録し，局所領域に分割した入力画像に対して，アクティブ探索法 [11] を用いたマッチン
グを行うことにより対象を高速に抽出する（図 1 参照）．これにより，背景が単純な画像である場合は照明の変化，物体の変形に対応した抽出が可能となる．しかしこの手法では，抽出対象の色が一様ではない場合や背景画像と抽出対象の色が似ている場合に，物体と背景の判断が難しくなり，誤検出する．
クラスタリングを利用する手法として，複雑な背景画像から看板の文字領域だけを抽出する手法 [8] がある．これは，看板の下地が単色であることから，看板が一つのクラスタとして分類されることに注目し，色情報に基づくクラスタリン
グを行う．さらに看板は画像中の多くの画素を占有するといった仮定から，検出された領域の中でも画素数が少ない領域を排除することで抽出する領域を限定する．しかし，看板の下地が単色であるという仮定の下で行われているように，領域の色が一様ではない場合に応用することは難しい．
このように単一画素の色の情報を利用した手法は背景や，対象物の色が一様でない場合に抽出が難しく，周辺画素との比較から求まるエッジの情報などを用いる必要がある．

4

(a) 入力画像(b) 分割結果(c) 入力した楕円より推定した人物領域(d) 出力画像

図 2 ユーザ入力を併用した Watershed 法 [14]エッジの情報を利用した手法
エッジとは画素値が急激に変化する境界のことであり，画像上のオブジェクトの輪郭や表面の模様に表れる．エッジの情報を利用した手法には，領域成長法による手法 [12–14]，エネルギー最小化原理を利用した動的輪郭法による手法 [15–19]
やHough 変換を利用した手法 [20]，などがある．以下にこれらの従来研究の一部を紹介する．
領域成長法 [12] は，注目する画素と近傍領域の画素の特徴を比較し，似ている
場合に統合する処理を繰り返す手法である．そして領域成長法を輝度勾配画像において用いる手法が Watershed 法 [13] である．Watershed 法は照明の変化など輝度値の微細の変化によって領域の過分割を生じることがあるため，色情報を併用
して領域統合を行う手法や，ユーザによる輪郭の入力補助を要する手法 [14] がある（図 2 参照）．動的輪郭法 [15] は，エッジ強度などのエネルギーの総和として輪郭線のエネルギーを定義し，輪郭線のエネルギーが極小値に収束するまで初期
輪郭から輪郭を異動させ，対象領域の輪郭を抽出する手法である．この動的輪郭法を複数同時に適用して，対象領域を抽出する松澤らの手法 [16] がある．具体的には複数の動的輪郭法により画像特徴量が均一な部分を複数抽出し，それら複数抽出された領域の集合を抽出対象領域とする（図 3 参照）．しかし，画像内のエッジは対象領域だけではなく他の領域にも存在するため．初期輪郭を適切に設定しなければならない．さらに対象領域周辺に対象外のエッジが存在する場合，パラメータ設定が複雑になる．
このようにエッジの情報を利用した手法は対象によっては良い結果を得られる
が，複雑なエッジを持つ対象に対してはユーザの意図した領域抽出に失敗するか，

5

(a) 初期輪郭の入力(b) 輪郭の変形(c) 抽出結果

図 3 複数の動的輪郭法の適用による領域抽出 [16]複雑なパラメータ設定が必要となる．
グラフカットを利用した手法
グラフカットを利用して領域の輪郭線を抽出する手法 [21–25] がある．グラフ
カットとは点と辺の集合で構成されるグラフの連結性を定義されたエネルギーに基づいて削除することであるが，この原理が画像内の前景と背景を分離する処理などに利用できる．

Xu ら [21] は抽出領域の輪郭に沿って点を配置することでそれらの点と元画像の輪郭情報をもとにして領域を抽出すると言う手法を提案している（図 4 参照）．
しかしながら，複雑な輪郭線を持つ領域を抽出する場合や，一度の入力で意図した領域が抽出できなかった場合には，パラメータを変更するか，点を追加する必要がある．

Li らの手法 [22] と Rother らの手法 [23] では，ユーザが抽出したい領域を大まかに指定した後に必要に応じて細かな入力を行う．前者の手法では最初に抽出したい領域と背景に線を引き，次にその輪郭に沿って点を与えることで，正確な輪郭線が計算され領域が抽出される（図 5 参照）．しかし，この手法では輪郭線に沿って多数の点を与える必要があり手間がかかる．Rother らの手法 [23] では，まず抽出対象を囲む矩形を選択し色情報に基づいた領域抽出を行う（図 6 参照）．その後必要に応じて図のようなラベル付けを行い，グラフカットに基づいた抽出を繰り返す．矩形の入力やラベルの与え方が容易であり修正も行いやすい．長橋らの手法 [25] では，まず平滑化処理を行った画像に対し大域的な領域抽出を行い，徐々に平滑化の度合いを弱めながら詳細な領域抽出を行う．この手法では，ユー
ザによる修正が行えないが局所的な変化に頑健な領域抽出が可能である．

6

(a) 入力画像と点の配置(c) 点の追加配置(b) (a) の出力画像(d) (c) の出力画像

図 4 輪郭に沿った点に基づく領域抽出 [21](a) 入力画像(b) 抽出対象指定の線
引き(c) 境界線の修正(d) 出力結果の合成例

図 5 線による領域指定と点による境界修正を用いる領域抽出 [22]このようにグラフカットを利用した手法は，画像全体を一つのグラフとみなす
ことで，大域的な情報から領域を抽出しているため局所的な情報を用いる色やエッジ情報を用いた他の手法に比べて抽出精度が高い．また，ユーザに依存する入力が増えるが，直感的な入力であるため抽出結果に対して修正なども行いやすい．
以上より，グラフカットを利用した手法は画像合成に用いる領域抽出手法として適している．

7

(a) 入力画像と矩形の設置(b) (a) の出力画像(c) 追加情報の入力(d) (c) の出力画像

図 6 矩形の指定とマーキングによる領域抽出 [23]2.1.2 ブレンディングに関する従来研究
ブレンディングは挿入するオブジェクトを背景画像となじませるために行われる．前節で述べたオブジェクト抽出では，画素単位での修正に多くの時間と手間を要するため，画像合成では領域抽出とブレンディングを併用することが一般的である．ブレンディングの簡易な手法としてはオブジェクトと背景の境界にぼかしをかけることであるが，多用すると輪郭線がぼける問題が生じる．そこで従来研究では透過処理を用いる手法や，輝度勾配に基づく手法により違和感を抑制しながら合成する手法が提案されている．以下では，それらの手法について述べる．
透過処理を用いる合成手法
透過処理を用いる合成手法ではアルファブレンディング [26–31] と呼ばれる合成手法を用いる．アルファブレンディングとは，ある合成画像 F 上の画素 (i, j)
における輝度値 IF (i,j) をオブジェクト画像 IF O の対応画素の画素値 IF O(i,j) と透
過度 α(i,j) ，背景画像 IF B の対応画素の画素値 IF B(i,j) をもとに計算する手法であり，以下のように表わす．

IF (i,j) = α(i,j) IF O(i,j) + (1 − α(i,j) )IF B(i,j)(1)

この手法を用いることで精度の低い領域抽出を用いたとしても明確なオブジェ
クトの領域とそれ以外の領域への分類が困難な領域（以下，未知領域）に対して

8

完全な分類をせずに，背景となじむ画像合成が行える．本合成に用いる透過度 αを求めるための手法として，ある一枚の入力画像から，透過度 α を求める手法が数多く提案されている．透過度 α を求めるためには，透過度を求める入力画像に加え，ユーザによるラベル付けをもとに画像をオブジェクト領域 ΩO ，背景領域ΩB ，未知領域 ΩU に分割したマップ（以下，トライマップ）を用意し，各領域間の特徴を比較することで行う．三島らの手法 [32] は，背景と前景の輝度値の差が明確に異なる条件において，画像全体を RGB 座標系において，類似度を比較する．
しかし，輝度値の差が小さい場合やそれぞれの領域が複数の小領域より成り立つ
場合において，大域的な情報を用いて分類することは難しいため，局所的な情報を用いる手法が提案されている．局所的な情報を用いる代表的な手法としては，注目する未知画素に対して隣接する既知領域の境界線に沿った画素をサンプリングする手法 [29] や，既知領域内部の画素も含めてサンプリングする手法 [28,30] が提案されている．前者の手法で最も簡易な手法は注目する未知画素と周辺の既知領域の境界に沿って色情報をサンプリングし類似度を求める Knockout と呼ばれる手法である．しかしこの手法では境界線が複雑な場合，サンプリング候補の境界線を適切に定めることは難しい．それに対して Rheman らの手法 [29] は，画像
距離上の距離に加え輝度勾配も考慮した経路上でサンプリングする（図 7 参照）．
これらの手法はサンプリングする情報が境界線上に限られるため，サンプリング
数が限らる問題や，ユーザの入力したトライマップ上の境界次第で結果が大きく変化する問題が生じる．
後者の手法として，Ruzon らの手法 [30] や Chuang らの手法 [28] がある．Ruzon
らの手法 [30] は未知領域と周辺の既知領域を小領域に分割し，各領域の統計を
元に未知領域を既知領域の混合正規分布と見なし最尤推定を行う（図 8 参照）．

Chuang らの手法 [28] は Ruzon らの手法をもとにしているが，統計を取るためのサンプリングする領域や，推定に MAP 推定を用いる点が異なる（図 9 参照）．このように Ruzon らや Chuang らの手法は境界線に沿った画素よりサンプリングを行う手法に比べ，多くの画素の統計を行うことでトライマップの入力に左右されにくい透過度の算出が可能である．しかし上述の手法においても複雑な輝度変化を持つ画像や，トライマップにおける未知の領域の割合が大きい場合，適切な透9(a) 入力画像(b) トライマップと未知 (c) 青色サンプルを用い (d) 黄色サンプルを用い画素へのサンプリング た結果た結果
候補

図 7 輝度変化を考慮したサンプリングを行う透過度の推定 [29](a) 入力画像(b) トライマップ(c) 結果画像の合成例

図 8 最尤推定による透過度の推定 [30]
過度を求めることは困難である [31]（図 10 参照）. 以上のように透過度を求める手法を利用することで，領域抽出が難しい画像においても周囲となじむような合成が可能である．しかし，画素値の変化が複雑な領域や，未知領域が大きすぎる場合や複雑な形状をに透明度を求める際に良好な結果を得にくいが，見た目に違和感のない過度αの算出には計算コストや複雑なパラメータ入力の手間が大き
く，直感的な入力や修正が難しい．よって未知領域を含めた領域を，違和感なく合成するための別の手法が求められる．

10

(a) 入力画像(b) トライマップ(c) 推定された透過度(d) 合成画像の例

図 9 MAP 推定による透過度の推定 [28](a) 入力画像(b) トライマップ(c) Rhemann らの手法 (d) Chuang らの手法

図 10 Rhemann らによる比較実験の結果 [31]輝度勾配に基づく手法
輝度勾配を基づく手法はポアソン画像合成 [33–37] と呼ばれる合成手法を用いる（図 11 参照）．具体的には，背景画像（以下，fb ）中の合成画像（以下，f ）に対して，ソース画像より切り出したオブジェクトを含む画像（以下，fs ）の輝度
勾配ベクトル（以下，div v ） を，fb 上の合成領域の境界（以下，∂Ω）の輝度値をディリクレ境界条件として求める手法である（図 12 参照）．div v を ∂Ω に与えるためには式 (2) を満たす必要があり，解は式 (3) のポアソン方程式を解くことで求まる．

∫ ∫|∇f − v|2 with f |∂Ω = fb |∂Ω(2)△f = divv over Ω with f |∂Ω = fb |∂Ω

(3)

min
b

Ω

この時，v はソース画像の輝度勾配 ∇f であるので以下の式を満たすことでポア
ソン画像合成が行われる．

11

(a) ソース画像とオブジ (b) 背景画像と合成領域
ェクトを含む領域(c) 通常の合成(d) 輝度勾配を考慮した
画像合成

図 11 輝度勾配に基づく画像合成 [33]△f = △fs over Ω with f = ft |∂Ω(4)

ポアソン画像合成は上述の式 (4) を満たすことでオブジェクトの色を背景画像になじませながら，オブジェクトの輪郭やテクスチャなどの特徴を残すことを両立している．
また本手法に関連する研究として，合成領域の境界 ∂Ω を最適化する手法，オブジェクト画像の色を保存する手法などが存在する．以下にその代表的な手法を述
べる．合成領域の境界を最適化する手法として Jia らの手法 [35] や辻らの手法 [36]がある．ポアソン画像合成の合成式を満たすためには，fs と f における各境界線

f |∂Ω と fs |∂Ω の経路を比較した際に輝度勾配が類似してい方がよいため，一般には fs と f 共に輝度勾配が平坦である領域を選択することが望ましい．そのため，

Jia らの手法 [35] では，graph cut 理論に基づき該当する境界を求める．しかし，この手法ではグラフの最短経路を境界と定めるために，境界線が滑らかさを欠いた不自然な経路であることが多い．一方辻らの手法 [36] では，輪郭の滑らかさを含んだエネルギー関数を用いた動的輪郭法を用いることで，全体的になめらかな境界線を構築し，ユーザの見た目に自然な境界線を選択する．オブジェクトの色情報を保存する手法としては Daniel らの手法 [38] がある．Daniel らの手法では，合成画像を YIQ 表色系で扱い，輝度情報を保存する Y の要素にのみポアソン画
像合成を行う．これにより，色情報を残しながらも，オブジェクトが背景画像になじむように輝度を変化させた画像合成を実現している．

12

fs

fb
オブジェクトを含む領域

境界
輝度勾配ベクトル場（div v）の抽出

∂Ω

f

∆fs

合成領域

Ω
div vを置換

図 12 輝度勾配に基づく画像合成の各領域と概念
このように輝度勾配を用いる手法は，従来の合成画像と違う特性を持つが，領域抽出が難しい場合においても，あらかじめ合成領域をオブジェクトよりも大きく切り抜くことで，周囲となじむ画像合成を手軽に実現可能な手法であり，改善の手段も盛んに研究されている手法である．

2.2 陰影の整合性に関する従来研究
陰影の整合性に関する問題は，主に VR や AR において光学的整合性問題として重要視されている．実世界に近いリアリティのある陰影付けを行う場合，撮影環境の光源環境や，オブジェクトの三次元形状と表面の反射特性を求める必要がある．しかしそのためには装置を用いた手法や，複数画像から推定する手法を用いる必要があり，一般ユーザの画像合成においては現実的ではない．そのため陰影付けを行う画像合成に関する従来研究では，様々な仮定やユーザの入力を元に単一画像による陰影付けを行う手法を提案されている．本研究では陰影を物体表
面の明るさの変化 (以下，シェーディング）と，物体が光源を遮蔽することで地面などに落とす影（以下，シャドウ）に大別する．以下では，シェーディングを13

考慮した手法と，シャドウを考慮した手法，双方を考慮した手法について述べる．
シェーディングを考慮した手法には，田島らの手法 [39] や，Chen らの手法 [40]がある．田島らの手法は，画像上のオブジェクトを球状と仮定し，Phong の反射モデル [41] に基づいた任意光源のシェーディングを与える．この手法では，単純な形状と簡易な反射モデルを対象としているものの，シェーディングの変化を与えることで，物体の印象が変化することを示している．次に Chen らの手法では，漫画のイラストのシェーディングを，人間の顔に与え合成を行う．しかし合成する内容を人間の顔とイラストに限定している，イラストのシェーディングは強調的に描かれているために与えやすいという点で汎用的ではない．
シャドウを考慮した手法として，Lalonde [42] らの手法がある．彼らの画像合
成アプリケーションにおいては，オブジェクトの合成に加えて，シャドウの合成を行う手順を設けている．この手法では，通常の地面とシャドウの領域の照度比より，挿入する画像の地面に対してその比に応じて照度を下げる手法である．この手法では光源方向とそれに伴うシャドウの位置の変化を考慮していない，領域の選択に手間がかかるなどの問題がある．しかしながら，合成するオブジェクトにシャドウを与えることで，オブジェクトが浮いているような錯覚が生じないな
どの特徴がある．
シェーディングとシャドウを考慮する手法としては，佐藤らの手法 [43] がある．
佐藤らは絵画に新たな仮想物体を配置する際に，絵画中の物体形状をインタラク
ティブに入力することと，画家独特の陰影付けの特徴を用いることで，シェーディ
ングとシャドウを与える手法を提案した．
このように本研究で対象とする画像合成において，陰影の整合性を考慮した研究は少ない．しかし，ユーザによる入力を補助とすることで陰影付けを行うこと
により，合成画像をより自然な画像にできる．

2.3 本研究の位置付けと方針
前節までに概観したように，画像合成を行うためには領域抽出，ブレンディン
グ，陰影付けに関する多くの手法が提案されている．領域抽出では，自動で処理

14

を行う手法もあるが，より多くの画像に対応するためには，ユーザ入力を補助的に用いるインタラクティブな手法を用いることが望ましいと考える．
ブレンディングは，周囲となじむような合成を行う手法であるが，アルファブ
レンディングは色の分布やオブジェクト領域の境界面の複雑さによって適切な結果を得られないか，複雑なパラメータ入力などが必要となる．一方でポアソン画
像合成はオブジェクトを切り抜く際にあらかじめ大きめに切りぬくだけで違和感のある変化を抑制できる．陰影付けでは，ユーザの入力を前提とし，シェーディ
ングやシャドウを与えることで合成するオブジェクトをより自然に見せることが可能であるが，シェーディングを変化させる画像合成はイラストや絵画を対象にしているものしかない．シェーディングの異なる二枚の画像を合成する際には，それぞれの処理を手作業で個別に行うことが一般的であり，ユーザは入力が負担となる．そして，簡易にシェーディングを変化させる場合は 2 次元情報のみのオ
ブジェクトに対して，なんらかの 3 次元形状を仮定する必要がある．
本論文では，画像合成における上記の問題に対して，ユーザが少ない入力でシェーディングの修正と違和感のない画像合成を一度に行う手法を提案する．本
研究では，ユーザ入力が簡易である輝度勾配に基づく合成手法 [33] を基礎に，オブジェクトを楕円体と見なし，ユーザの入力した光源方向に合わせた新たなシェー
ディングを与えることで，合成画像の質を向上させる．

15

3. シェーディングを考慮したポアソン画像合成
3.1 提案手法における画像合成手法の概要
本論文では，従来からあるオブジェクトの輝度勾配情報を保存する画像合成の合成式を，光源方向の違いによるオブジェクトの輝度値の変化を考慮して拡張し，その合成式を満たすように画像合成を行う．提案手法の処理の流れを図 13 に示す．本研究では，画像と光源方向の入力を行った後に，オブジェクトの合成位置を決める (a)．そして，ソース画像からグラフカット理論による領域抽出法を適用しオブジェクトを抽出し (b), 入力した光源方向を元に新たな陰付けを行った画
像合成を行う (c)．なお，新たなシェーディングを与える際の仮定を表 1 に記す.
これにより，ユーザは少ない入力で，シェーディングの修正と，違和感の少ない
画像合成を同時に行える．
以下，3.2 節でオブジェクトの抽出方法について述べ，3.3 節では新たな陰影付けを行うための反射モデルについて述べる．最後に，3.4 節で新たな陰影付けを行う画像合成手法について述べる

3.2 GrabCut によるソース画像中のオブジェクト領域の決定
本研究では，合成領域の決定のために，2 章にて述べた GrabCut [23] を用い領域を抽出する．GrabCut とは，GraphCut アルゴリズム [44] に基づいた領域抽出法である．GraphCut とは source(ソース）と sink（シンク）と呼ばれるターミナ
ルと，node（ノード）で構成されているグラフ（図 14 参照）を最大フロー最小

表 1 新たなシェーディングを与える際に用いる仮定
オブジェクトの形状
楕円体
オブジェクトの反射特性

完全拡散反射光源種別

平行光源 (各画像に 1 つ)反射モデル

Phong のモデル [41]16

画像，光源環境などの入力(b)ソース画像から(a)ソース画像からオブジェクトの抽出
オブジェクトが適切に抽出されているか

入力情報

ユーザによる
補助入力
NO

入力画像

背景画像
ソース画像

合成位置

合成領域の座標

光源環境

各画像の光源方向
環境光の強さ

三次元形
状

楕円のパラメータ

オブジェク (a)において用いる
ト形状
矩形領域や点YES(b)新たな陰付けを(c)新たな陰付けを行うポアソン合成
合成画像の出力

図 13 提案手法の処理の流れ
カット定理に基づいて 2 つの部分集合に分割することである．領域抽出で利用す
るには，予めいくつかのピクセルに，背景もしくはオブジェクトに割り振るようにラベル付けを行い，ソースとシンクと定める．次に画像上の各ピクセルをノードと定めグラフを構築する．そして，ターミナルとノードの辺 (t-link) とノード間の辺 (n-link) より与えられるコストを定義し，そのコストが最小となるように最大フロー最小カット定理に基づき分割する．GrabCut では，ある画素 p において，ターミナルの画素と輝度値が近いほどコストが t-link のコストが大きくなる．
また周辺の画素と輝度値が近いほど n-link のコストが小さくなるように定められている．

GrabCut は以下のステップを繰り返すことで領域抽出を行う．これによりユー
ザはインタラクティブかつ高精度の領域抽出を行える．

STEP1 ユーザがオブジェクトを含む領域を矩形で選択する
STEP2 矩形の外側を背景画素とラベル付けし混合正規分布に基づいて背景とオブジェクトの色分布をモデル化する

STEP3 STEP2 に加え，必要であれば図 6c のように線を描くことでラベル付けを行いモデルを更新する

17

sources

node

n-linkt-linktt-linksink

図 14 GraphCut で用いるグラフ

STEP4 Graph Cut を行う
STEP5 ユーザが領域抽出の結果を修正を行いたい場合，STEP3 に戻り必要に応じてモデルを更新する提案手法では GrabCut の結果をオブジェクト領域 Ωobj と定め，新たなシェーディ
ングを与える領域とする．

3.3 Phong のモデルに基づくシェーディングの定義
光源方向の違いによる合成後のシェーディングの変化を表現するためには，撮影シーンにどのような光源が存在し，オブジェクトがどのような反射特性であるかを定めた上で，どのようなパラメータを用いて表現するか定める必要がある．
本手法では，Phong のモデル [41] に基づいた反射モデルを定義し，また前述の表

1 に即した仮定をもとに新たなシェーディングを与える．Phong の反射モデルは，ある画素 p における輝度 Ip を以下の式で表す．

Ip = ka ia +∑(kd (L · N )id + ks (R · V )α is )(5)

lights

ここで ka , kd , ks は反射係数であり，それぞれ 入射光に対する鏡面反射係数 ks ，入射光に対する拡散反射係数 kd ，環境光の反射係数 ka を表わす．第一項の ka ia は，

18

p の周辺の様々な場所で反射することで与えられる光である環境光 A を表わす．
ia , id , is は各項における光の強さを表す．また，L は光源ベクトル，N はオブジェ
クトの法線ベクトルであり，この内積によって拡散反射成分を表現する．R，Vはそれぞれ，反射ベクトルと視点べクトルであり，この内積と物体の材質の光沢
度 α によって鏡面反射成分を表現する．lights は光源の数であり，拡散反射成分
及び鏡面反射成分は，各光源において求めたのちに，総和を求める．本研究ではオブジェクトの反射特性を完全拡散反射面，光源を太陽光のように平行光源，光源数は 1 つと仮定する．また，背景画像とソース画像の光源の光量に大きな差は無いものと考える．この仮定をもとに式 (5) を表わすと式 (6) なる．

Ip = L · N + A(6)

つまり，ある画素 p の輝度値 Ip は，光源方向とオブジェクトの法線方向のなす角により変化する直接光による輝度値と，環境光の輝度値 A を加算したものである．
ここで合成するソース画像 s における輝度 Is を Is = Ls · Ns + As , 背景画像 b における輝度 Ib を Ib = Lb · Nb + Ab と表わす．そしてソース画像中のオブジェク
トの領域に Ib と Is の比を与えることで，背景画像における光源方向にあわせた
シェーディングを表現できる．

Lb · N + Ab
Ib=
Is
Ls · N + As(7)

つまり，背景画像における光源環境に挿入したオブジェクトの輝度 Ib の暫定的な輝度値である Is′ は以下の通りである．

Is′ =Lb · N + Ab
Is
Ls · N + As

(8)以上より，ソース画像 s のオブジェクトを背景画像 b 上に挿入した際の暫定的な輝度値 Is′ は，光源情報 Ls ,As , 背景画像の光源情報 Lb ,Ab ，オブジェクトの法線ベクトル N を与えることにより求まる．本研究では光源情報はユーザの入力によって与えられる値を用いる．オブジェクトの法線ベクトルは，ユーザが入力した楕円体のパラメータをもとに，オブジェクト領域の各画素における法線方向を求める．次節では，s′ をもとに行うシェーディングを考慮したポアソン画像合成について述べる．

19

オブジェクトを含オブジェクトを含む領域

fs

オブジェクト

輝度勾配
ベクトル場
div v =∆fs の抽出

∆fs

fb

境界

f

∆fs

合成領域

Ωobj
Ωout

∆fs′

オブジェクトの領域のみ
新たな陰付け∂Ω

div vを置換

図 15 本手法における画像合成の各領域と概念

3.4 シェーディングの変化を考慮したポアソン画像合成
本研究では，前節までに述べたオブジェクトの暫定的な輝度値をもとにポアソン画像合成を行う．しかし，ポアソン画像合成に用いる合成部分はオブジェクトの領域の外側に，輝度勾配が平坦な余白領域が必要である．特に本手法にオブジェ
クトの輪郭は，新たなシェーディングを与えることで光源ベクトルにあわせて傾斜が起きているため，ポアソン画像合成に用いるためには余白領域は必須である．
そこで，本研究ではポアソン画像合成に用いる合成領域 Ω をオブジェクト領域Ωobj の数ピクセル外側を境界線と定める．また，Ω において，オブジェクト領域
を Ωobj 余白の領域を Ωout と定め，Ωobj においては新たな陰影を与えた画像 fs′ を用い 図 15 のように合成を行う．そのため，ポアソン画像合成に用いる式（4）を20

以下の二式を満たすように拡張する．

△f = △fs′ over Ωobj

(9)△f = △fs over Ωout with f |∂Ω = ft |∂Ω(10)

式 (9), 式 (10) は，それぞれ Ωobj と Ωout における輝度を定義した式である．これにより背景画像の光源方向に則した新たなシェーディングを合成するオブジェク
トに与えることが出来る．また本手法では，従来手法の式を拡張し，Ωobj において用いる式が従来手法と異なるが，解法は従来手法と同様である．

21

4. 実験
本章では図 17-46 に示す画像の組合わせ (1)-(30)，計 30 組の画像を対象として画像合成を行い，被験者による主観的評価実験を通じて，提案手法の有効性を検証する．実験では図 13 の処理を基本として，図 13(b) の合成処理において，表 2のように 6 種の手法を用いて合成を行い，比較実験を行った．従来手法である二種のポアソン画像合成 [33, 38] に加え，そのまま画素を代入する通常の合成 (以下，カット＆ペースト）を行ったものをそれぞれ手法 A,B,C と定め，それらに対して 3.3 節で述べた楕円体を仮定し，Phong のモデルに基づく新たな陰影付けを行った画像を手法 D,E,F と定めた．
合成に必要な各種の入力は筆者の主観により定めた．新たな陰影付けに特に重要な光源のパラメータ（ソース画像の光源ベクトル Ls 環境光の占める割合 As , 背景画像の光源ベクトル Lb , 環境光の占める割合 As ）は表 3-32 に記す．また，光源ベクトル L は，オブジェクトと光源の 3 次元における相対位置を示すが取り扱
う画像は，奥行き情報を持たない．そのため本実験では，画像平面上の xy 座標に，直交する z 軸を図 16 のように定め，L を表わす．

22

z

x
光源ベクトルL(Lx Ly Lz)yオブジェクト

画像

図 16 光源ベクトルと座標系の定義

合成画像

表 2 実験に用いる手法の比較
基本となる
新たな陰影

提案手法と

合成手法

付けの有無

従来手法の分類

手法 A

Perez らの手法 [33]

無し

従来手法

手法 B

Daniel らの手法 [38]

無し

従来手法

手法 C

カット＆ペースト

無し

従来手法

手法 D

Perez らの手法 [33]

有り

提案手法

手法 E

Daniel らの手法 [38]

有り

提案手法

手法 F

カット＆ペースト

有り

どちらでも無い23

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 17 画像セット (1) を用いた合成結果
表 3 合成画像 (1) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.45 -0.89 -0.08)

60%

50%

80%

背景画像 (b)(0.45 -0.89 -0.08)

40%

40%

40%

24

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 18 画像セット (2) を用いた合成結果
表 4 合成画像 (2) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.45 -0.89 -0.08)

50%

50%

60%

背景画像 (b)(0.76 -0.64 -0.11)

50%

50%

40%

25

(a) ソース画像 1-3 (左上） マスク画像 1-3（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 19 画像セット (3) を用いた合成結果
表 5 合成画像 (3) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

50%

50%

60%

ソース画像 1 (s1)(-0.70 -0.70 -0.12)

ソース画像 2 (s2)

変更無し

ソース画像 3 (s3)(-0.00 -0.98 -0.17)

60%

60%

60%

背景画像 (b)(0.76 -0.64 -0.11)

50%

40%

40%

26

変更無し

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 20 画像セット (4) を用いた合成結果
表 6 合成画像 (4) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.70 -0.70 -0.12)

80%

80%

90%

背景画像 (b)(-0.70 -0.70 -0.12)

30%

30%

10%

27

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 21 画像セット (5) を用いた合成結果
表 7 合成画像 (5) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.64 -0.76 -0.13)

30%

30%

30%

背景画像 (b)(-0.64 -0.76 -0.13)

20%

20%

20%

28

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 22 画像セット (6) を用いた合成結果
表 8 合成画像 (6) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

50%

60%

50%

背景画像 (b)(-0.64 -0.76 -0.13)

20%

30%

20%

29

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 23 画像セット (7) を用いた合成結果
表 9 合成画像 (7) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.98 0.00 -0.17)

70%

70%

60%

背景画像 (b)(0.64 -0.76 -0.13)

50%

50%

60%

30

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 24 画像セット (8) を用いた合成結果
表 10 合成画像 (8) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.98 0.00 -0.17)

80%

80%

70%

背景画像 (b)(0.00 0.00 0.00)

80%

70%

70%

31

(a) ソース画像 1-2 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 25 画像セット (9) を用いた合成結果
表 11 合成画像 (9) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 1 (s1)(-0.70 -0.70 -0.12)

50%

50%

60%

ソース画像 2 (s2)(-0.76 -0.63 -0.13)

50%

40%

40%

背景画像 (b)(0.76 -0.64 -0.13)

50%

40%

40%

32

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 26 画像セット (10) を用いた合成結果
表 12 合成画像 (10) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

50%

50%

60%

背景画像 (b)(0.71 0.00 -0.71)

60%

60%

60%

33

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 27 画像セット (11) を用いた合成結果
表 13 合成画像 (11) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.50 0.00 -0.87)

80%

80%

70%

背景画像 (b)(0.50 0.00 -0.87)

80%

80%

70%

34

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 28 画像セット (12) を用いた合成結果
表 14 合成画像 (12) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.71 0.00 -0.71)

60%

60%

60%

背景画像 (b)(0.45 -0.89 -0.08)

70%

70%

70%

35

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 29 画像セット (13) を用いた合成結果
表 15 合成画像 (13) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

70%

60%

90%

背景画像 (b)(0.65 -0.65 -0.38)

80%

80%

30%

36

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 30 画像セット (14) を用いた合成結果
表 16 合成画像 (14) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

80%

70%

80%

背景画像 (b)(0.87 -0.65 -0.50)

80%

70%

70%

37

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 31 画像セット (15) を用いた合成結果
表 17 合成画像 (15) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.69 -0.69 -0.19)

60%

60%

90%

背景画像 (b)(0.00 -0.87 -0.50)

80%

80%

80%

38

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 32 画像セット (16) を用いた合成結果
表 18 合成画像 (16) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.87 0.00 -0.50)

40%

40%

40%

背景画像 (b)(-0.34 -0.93 -0.16)

70%

70%

70%

39

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 33 画像セット (17) を用いた合成結果
表 19 合成画像 (17) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

30%

20%

30%

背景画像 (b)(-0.01 -0.50 -0.87)
40

80%

80%

80%

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 34 画像セット (18) を用いた合成結果
表 20 合成画像 (18) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

20%

20%

30%

背景画像 (b)(0.00 -0.87 -0.50)

30%

20%

30%

41

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 35 画像セット (19) を用いた合成結果
表 21 合成画像 (19) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.87 0.00 -0.50)

80%

80%

70%

背景画像 (b)(0.87 0.00 -0.50)

60%

60%

40%

42

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 36 画像セット (20) を用いた合成結果
表 22 合成画像 (20) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 -0.98 -0.17)

50%

50%

90%

背景画像 (b)(-0.86 -0.05 -0.09)

50%

50%

60%

43

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 37 画像セット (21) を用いた合成結果
表 23 合成画像 (21) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

50%

50%

80%

背景画像 (b)(-0.49 -0.86 -0.15)

70%

70%

50%

44

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 38 画像セット (22) を用いた合成結果
表 24 合成画像 (22) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.70 -0.70 -0.12)

80%

70%

60%

背景画像 (b)(-0.65 -0.38 0.65)

50%

50%

50%

45

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 39 画像セット (23) を用いた合成結果
表 25 合成画像 (23) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.17 -0.98 -0.09)

60%

50%

50%

背景画像 (b)(-0.58 -0.58 -0.58)

40%

40%

40%

46

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 40 画像セット (24) を用いた合成結果
表 26 合成画像 (24) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

40%

50%

60%

背景画像 (b)(-0.49 -0.86 -0.15)

40%

40%

40%

47

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 41 画像セット (25) を用いた合成結果
表 27 合成画像 (25) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(-0.68 -0.68 -0.25)

60%

60%

60%

背景画像 (b)(0.00 0.00 1.00)

50%

50%

50%

48

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 42 画像セット (26) を用いた合成結果
表 28 合成画像 (26) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.69 -0.69 -0.19)

60%

60%

60%

背景画像 (b)(-0.01 -0.50 -0.87)

50%

50%

50%

49

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 43 画像セット (27) を用いた合成結果
表 29 合成画像 (27) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.00 0.00 -1.00)

60%

60%

60%

背景画像 (b)(0.65 -0.65 -0.38)

50%

50%

50%

50

(a) ソース画像 1-2 (左上） マスク画像 1-2（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 44 画像セット (28) を用いた合成結果
表 30 合成画像 (28) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s1)

変更無し

ソース画像 (s2)(0.00 0.00 -1.00)

60%

60%

60%

背景画像 (b)(0.00 -0.98 -0.17)

50%

50%

50%

51

変更無し

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 45 画像セット (29) を用いた合成結果
表 31 合成画像 (29) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.45 -0.89 -0.08)

60%

60%

60%

背景画像 (b)(0.65 -0.65 -0.38)

50%

50%

50%

52

(a) ソース画像 (左上） マスク画像（左下） 背景画像（右）(b) 手法 A(c) 手法 B(d) 手法 C(e) 手法 D(f) 手法 E(g) 手法 F

図 46 画像セット (30) を用いた合成結果
表 32 合成画像 (30) に設定した光源条件
光源ベクトル (L)環境光 (A) の割合
手法 D

手法 E

手法 F

ソース画像 (s)(0.87 0.00 -0.50)

60%

60%

60%

背景画像 (b)(0.00 -0.26 0.97)

50%

50%

50%

53

4.1 被験者による主観的評価実験と考察
4.1.1 被験者による主観的評価実験
実験ではウェブサイト（図 47）に上述の 10 組 6 手法の合成画像，計 60 枚を用意し，10 代から 30 代の男女 16 人の被験者による主観的評価実験を行った．本
実験は被験者に合成画像を主観的に評価してもらう事で，本手法におけるシェー
ディングの修正を考慮した画像合成により違和感の低減が行われているか示す事を目的とする．
実験ではまず，被験者にウェブページにアクセスしてもらい，手法 A-F の各画像に対して，5 段階の点数評価を行ってもらった．評価基準としては，これらの合成画像を，ホームページやブログ，あるいはポストカードの写真に使う場合に，使ってもよい（5 点）から不自然・違和感があり使えない（1 点）の基準を示した．
手法 D,E,F において新たな陰影付けを行ったことに関しては，記していない．また提示する画像に関しては，ランダムに提示している．

4.1.2 評価結果と考察
各手法により合成したそれぞれの結果画像の評価として，提案手法により画像の違和感について改善されているかを確認するために，有意水準を 5%とした

tukey の方法による多重検定を行い，有意差を確認した．従来手法と比較し，提案手法である手法 D，もしくは手法 E が高い評価を得た画像の組合わせを表 33に記す．また，提案手法と比較し，従来手法の手法 A（Perez らの手法 [33]）も
しくは手法 B（Daniel らの手法 [38]）の評価が高かった画像の組合わせを表 34 に記す．また，補足として各画像の平均点は付録の表 35 に記す．
提案手法が従来手法と比較し高い評価を得た画像の組合わせは，表 33 に示すように画像 (1), (4), (13), (16), (22), (28), (29), (30) である．それぞれの画像をの撮影された環境によって以下のように分類する．

1. 晴天の屋外環境 (画像 (1), (22), (29), (28), (30))
2. 光源の配置された屋内環境 (画像 (4), (13), (16))
54図 47 実験に用いた Web ページの一部

55

表 33 評価実験において提案手法が高い評価を得た画像の組合わせ
提案手法
手法 D

手法 E

比較

手法 A,B,C(13), (16), (22)(1), (28), (30)対象

手法 A,B(4)(4), (29)

表 34 評価実験において提案手法が低い評価を得た画像の組合わせ
従来手法

比較対象

手法 D,E

手法 A

手法 B(9), (10)(9), (23), (27)

このように晴天，もしくは光源が配置されている環境を写した背景画像を用いた画像合成では，背景画像上に存在するオブジェクトの陰影や，配置されている光
源を見ることにより，ユーザは光源環境の推測を容易に行える．そして，合成されるオブジェクトを，実際に背景画像上に配置するとどのような陰影が与えられるかも容易に想像できる．そのため，先述のような背景画像を用いる画像合成では，入力画像間の光源方向が異なる場合，従来手法ではユーザは陰影の不整合が気になり合成結果の評価を下げる要因となる．一方提案手法を用い，新たな陰影を与えると，陰影の不整合による違和感が低減され，結果画像の評価が高くなる．
類似する環境の背景画像 (2), (11), (12) においても，手法 A と D，手法 B と E の間に有意な差があった．手法 A と D，B と E の組合わせは，表 2 に示すように，基本とする合成手法が同じであり，また新たな陰影付けの有無が異なる組合わせである．これらの画像においても新たな陰影付けを行うことにより合成結果が改善されたと考える．逆に，画像 (6)-(8) のように，屋内環境で撮影された背景画像への合成では，光源方向の判断が難しく，陰影もはっきりしないため，提案手法の効果がわかりにくい．
一方，提案手法が従来手法と比較し低い評価を得た画像の組合わせは，表 34 に示すように画像 (9)，(10)，(23)，(27) である．それぞれ画像において提案手法の56

評価が低い理由は以下のように考える．

1. 合成したオブジェクト全体の明るさと他のオブジェクトや背景の明るさとの不一致 (画像 (9), (10))

2. 合成したオブジェクトに対する楕円体の当てはめ精度の低さ (画像 (23), (27))
前者に関しては，本手法では入力画像間の光源の明るさの差に関して考慮していないためであり，式 (8) 中の Is に与える比のみでは，入力画像間の光源の明るさの差を表現できていないためと考える．また，後者に関しては，オブジェクトの輪郭が複雑なために，楕円体の当てはめを適切に行えていないためと考える．楕
円体の当てはめが適切ではない場合，画像 (27) で合成した鳥の翼部のように不自然な輝度の変化が生じる．
以上のことから，提案手法は以下の条件で用いることに適している．

• 光源方向が判別しやすい背景画像を用いた合成• 輪郭線が複雑な凹凸を持たず楕円に近いオブジェクトの合成
一方で，屋内や曇天など光源方向の判別が難しい画像や，輪郭線が複雑なオブジェクトの合成には不向きである．

57

5. まとめ
本論文では，ポアソン画像合成を基礎として，合成に用いる画像間の光源の違いから生じるシェーディングの変化を考慮するようにポアソン画像合成に用いる式を拡張し，光源環境の異なる画像間の合成において，違和感のない画像を合成できる手法を提案した．実験では 16 名の被験者による主観評価実験を行い， 新
たにシェーディングを与えることで晴天の屋外環境で撮影された画像や，光源が写る背景画像など，ユーザが陰影の不整合による違和感を強く感じる画像を合成に利用する際に違和感を低減できると確認した．
提案手法を用いることにより評価が下がる画像もあるため，合成する画像よって使い分ける必要がある．そのため今後の課題として，輪郭線が複雑なオブジェ
クトの合成の際に最適なシェーディングを与えるため，楕円体だけではなく円柱や平面など他の形状を当てはめたり，複数の形状の組合わせで近似することで，より複雑な輪郭を持つオブジェクトの合成にも対応できるようにする必要がある．
またその場合，ユーザが簡易に 3 次元形状や光源方向を与えられるインタフェー
スについても考慮する必要がある．

58

謝辞
本研究の全過程を通じて，貴重なご指導を賜った視覚情報メディア講座 横矢直
和教授に心から感謝致します．また本研究のを進めるに当たり御助言を賜りまし
た像情報処理学講座 千原國宏教授に厚く御礼を申し上げます．本研究に多大なる助言とご指導戴いた視覚情報メディア講座 山澤一誠准教授に深く御礼申し上げます．特に山澤一誠准教授には，本論文の執筆，添削のために多くの指導を頂き，また，研究室における勉学においても多くのご指導を頂きました．研究活動
を含め様々な研究室活動におきまして多くの御助言を頂いた環境知能学講座 神原誠之准教授に深く感謝いたします．そして，研究を始めるに際に貴重なご指導戴いた視覚情報メディア講座 佐藤智和助教に深く御礼申し上げます．研究室において，日々お世話になりました視覚情報メディア講座 中村美奈女史に御礼申し上げます．研究や日々の活動に際しお世話になりました視覚情報メディア講座の皆様に感謝いたします．最後になりましたが，本研究のアンケートにご協力頂いた
皆様に御礼申し上げます．

59

参考文献
[1] Adobe Systems Incorporated. Adobe Photoshop CS3.
http://help.adobe.com/ja JP/Photoshop/10.0/.
[2] The GIMP Development Team. GIMP 2.6.
http://www.gimp.org/.
[3] 染谷清登, 熊澤逸夫. 二重アクティブ探索法による画像中の領域抽出. 電子
情報通信学会技術研究報告 PRMU, Vol. 101, No. 524, pp. 123–130, 2001.

[4] 内海章, 鉄谷信二. 画素値分布特徴に基づく人物の検出. 情報処理学会研究
報告 CVIM, Vol. 2001, No. 87, pp. 63–70, 2001.

[5] 周景龍, 渡部広一, 河岡司. 情景画像からの看板領域と看板中の情報抽出 :安定背景領域の推定. 電子情報通信学会技術研究報告 PRMU, Vol. 102, No.

652, pp. 37–42, 2003.
[6] 垣田直士, 菅原一孔, 小西亮介. 色情報による唇領域の抽出について. 電子情報通信学会技術研究報告 DSP, Vol. 101, No. 322, pp. 17–22, 2001.

[7] 松尾賢一, 上田勝彦, 梅田三千雄. 適応しきい値法を用いた情景画像からの看板文字列領域の抽出. 電子情報通信学会論文誌 D, Vol. 80, No. 6, pp.

1617–1626, 1997.
[8] 長井隆行, 影広達彦, 金子正秀, 搏松明. 情景画像中の文字及び看板領域の抽
出. 電子情報通信学会技術研究報告 PRMU, Vol. 100, No. 721, pp. 103–108,

2001.
[9] Ong Chun-Kiat, 松山隆司. 2 色性反射モデルを用いた頑健なカラーセグメン
テーション. 情報処理学会論文誌, Vol. 40, No. 8, pp. 3259–3266, 1999.

[10] 田中昭二, 井口征士, 岩舘祐一, 中津良平. 画像領域の色およびテクスチャのコントラストを特徴量とした図領域の抽出. 情報処理学会論文誌, Vol. 40,

No. 8, pp. 3267–3280, 1999.
60

[11] 村瀬洋, Vinod V.V. 局所色情報を用いた高速物体探索 : アクティブ探索法.
電子情報通信学会論文誌 D, Vol. 81, No. 9, pp. 2035–2042, 1998.

[12] R. Adams and L. Bischof. Seeded region growing. IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol. 16, No. 6, pp. 641–647, 1994.
[13] L. Vincent and P. Soille. Watersheds in digital spaces: an eﬃcient algorithm
based on immersion simulations. IEEE Transactions on Pattern Analysis
and Machine Intelligence, Vol. 13, No. 6, pp. 583–598, 1991.
[14] 服部智広, 目黒光彦, 金子正秀. インタラクティブ操作による緩やかな拘束条
件と領域判定規則に基づくオブジェクトの抽出. 情報科学技術フォーラム一
般講演論文集, Vol. 2002, No. 3, pp. 213–214, 2002.

[15] M. Kass, A. Witkin, and D. Terzopoulos. Snakes: Active contour models.
International Journal of Computer Vision, Vol. 1, No. 4, pp. 321–331, 1988.
[16] 松澤悠樹, 阿部亨. 複数の動的輪郭モデルの競合による領域抽出. 電子情報通信学会論文誌 D, Vol. 83, No. 4, pp. 1100–1109, 2005.

[17] 松澤悠樹, 熊沢逸夫, 阿部亨. 物体輪郭に沿ったクラスタリングに基づく領域
抽出. 電子情報通信学会技術研究報告 PRMU, Vol. 100, No. 702, pp. 87–94,

2001.
[18] 荒木昭一, 横矢直和, 岩佐英彦, 竹村治雄. 複数物体の抽出を目的とした交差判定により分裂する動的輪郭モデル. 電子情報通信学会論文誌 D, Vol. 79,

No. 10, pp. 1704–1711, 1996.
[19] 福井和広. 領域間の分離度に基づく物体輪郭抽出. 電子情報通信学会論文誌
D, Vol. 80, No. 6, pp. 1406–1414, 1997.
[20] 西松均, 久保山潤一, 山内俊明, 関靖夫. バスケットボール試合におけるボール認識法の検討. 情報科学技術フォーラム一般講演論文集, Vol. 3, No. 3, pp.

53–54, 2004.
61

[21] N. Xu, T. Yu, and N. Ahuja. Interactive object selection using s-t minimum
cut. In Proceedings of Asian Conference on Computer Vision, Vol. 3, 2004.
[22] Yin Li, Jian Sun, Chi-Keung Tang, and Heung-Yeung Shum. Lazy snapping.
ACM Transactions on Graphics, Vol. 23, pp. 303–308, 2004.
[23] Carsten Rother, Vladimir Kolmogorov, and Andrew Blake. ”grabcut”: interactive foreground extraction using iterated graph cuts. ACM Transactions
on Graphics, Vol. 23, pp. 309–314, 2004.
[24] Olga Veksler. Image segmentation by nested cuts. IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, Vol. 1, p. 1339,
2000.
[25] 永橋知行, 藤吉弘亘, 金出武雄. 平滑化処理の繰返しによるグラフカットを用いた画像セグメンテーション. 情報処理学会論文誌, Vol. 1, No. 2, pp. 10–20,

2008.
[26] 三島也守志. 多面体スライスを用いたカラー画像の領域抽出法. 画像工学コンファレンス論文集, Vol. 23, No. 10, pp. 253–256, 1992.

[27] Thomas Porter and Tom Duﬀ. Compositing digital images. ACM SIGGRAPH Computer Graphics, Vol. 18, pp. 253–259, January 1984.
[28] Yung-Yu Chuang, Brian Curless, David H. Salesin, and Richard Szeliski. A
bayesian approach to digital matting. In Proceedings of IEEE CVPR 2001,
Vol. 2, pp. 264–271. IEEE Computer Society, 2001.
[29] Christoph Rhemann, Carsten Rother, and Margrit Gelautz. Improving color
modeling for alpha matting. 2008.
[30] Mark A. Ruzon and Carlo Tomasi. Alpha estimation in natural images.
IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1, p. 1018, 2000.
62

[31] C. Rhemann, C. Rother, Jue Wang, M. Gelautz, P. Kohli, and P. Rott. A
perceptually motivated online benchmark for image matting. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
Vol. 0, pp. 1826–1833, 2009.
[32] Yasushi Mishima. Soft edge chroma-key generation based upon hexoctahedral color space. U.S. Patent, No. 5,355,174, 1994.
[33] Perez. Patrick, Gangnet. Michel, and Blake Andrew. Poisson image editing.
ACM Transactions on Graphics, Vol. 22, No. 3, pp. 313–318, 2003.
[34] Daniel Leventhal, Bernard Gordon, and Peter G. Sibley. Poisson image
editing extended. In ACM SIGGRAPH 2006 Research posters, SIGGRAPH’06, New York, NY, USA, 2006. ACM.
[35] Jiaya Jia, Jian Sun, Chi-Keung Tang, and Heung-Yeung Shum. Drag-anddrop pasting. ACM Transactions on Graphics, Vol. 25, pp. 631–637, 2006.
[36] 辻裕之, 依田拓郎 o, 徳増眞司. ポアソン画像合成におけるオブジェクト境界線の最適化に関する検討. 電子情報通信学会論文誌 D, Vol. 90, No. 7, pp.

1686–1689, 2007.
[37] Zeev Farbman, Gil Hoﬀer, Yaron Lipman, Daniel Cohen-Or, and Dani
Lischinski. Coordinates for instant image cloning. ACM Transactions on
Graphics, Vol. 28, pp. 67–67, 2009.
[38] Daniel Leventhal, Bernard Gordon, and Peter G. Sibley. Poisson image
editing extended. In ACM SIGGRAPH 2006 Research posters. ACM, 2006.
[39] 田島譲二, 北野昌秀. Vision assisted graphics の実験 : カラー画像の光源方
向変更. 全国大会講演論文集, Vol. 44, No. 2, pp. 375–376, 1992.

[40] Shifeng Chen, Yuandong Tian, Fang Wen, Ying-Qing Xu, and Xiaoou Tang.
EasyToon: An Easy and Quick Tool to Personaliz e a Cartoon Storyboard
Using Family Photo Album. In ACM Multimedia, 2008.
63

[41] Bui Tuong Phong. Illumination for computer generated pictures. Communications of the ACM, Vol. 18, pp. 311–317, 1975.
[42] Jean-François Lalonde, Derek Hoiem, Alexei A. Efros, Carsten Rother, John
Winn, and Antonio Criminisi. Photo clip art. ACM Transactions on Graphics, Vol. 26, No. 3, p. 3, 2007.
[43] 佐藤いまり, 佐藤洋一, 池内克史. 絵画における陰影特徴の解析とその画像合成への応用. 情報処理学会研究報告 CVIM, Vol. 2002, No. 34, pp. 209–215,

2002.
[44] Yuri Boykov and Gareth Funka-Lea. Graph cuts and eﬃcient n-d image
segmentation. International Journal of Computer Vision, Vol. 70, pp. 109–
131, 2006.

64

付録

A. 実験における各合成画像の評価
表 35 評価実験の評価（平均点）
合成画像 1
合成画像 2
合成画像 3
合成画像 4
合成画像 5
合成画像 6
合成画像 7
合成画像 8
合成画像 9合成画像 10
合成画像 11
合成画像 12
合成画像 13
合成画像 14
合成画像 15
合成画像 16
合成画像 17
合成画像 18
合成画像 19
合成画像 20
合成画像 21
合成画像 22
合成画像 23
合成画像 24
合成画像 25
合成画像 26
合成画像 27
合成画像 28
合成画像 29
合成画像 30

手法 A

手法 B

手法 C

手法 D

手法 E

手法 F

1.44
2.00
2.06
2.31
3.19
3.63
3.38
3.38
4.19
3.38
2.38
2.88
3.69
3.88
1.94
2.31
2.06
2.13
1.56
2.31
3.38
2.38
1.44
2.75
2.94
1.50
2.75
1.25
2.06
1.56

2.69
2.44
3.31
2.13
3.13
3.56
3.63
3.75
4.06
2.69
2.06
3.25
1.94
3.69
4.06
2.88
2.94
2.50
3.25
2.38
3.13
1.94
4.00
2.50
2.25
2.88
3.44
2.94
2.00
1.38

1.63
2.44
3.38
1.75
2.69
3.81
2.94
2.50
3.31
1.81
1.31
3.00
1.56
1.63
3.88
2.44
2.81
2.50
3.88
1.88
1.94
2.13
3.25
2.94
2.75
2.31
3.50
3.88
1.75
1.44

1.69
2.81
2.00
3.88
2.81
2.31
2.75
2.94
2.19
2.25
2.69
3.00
4.13
3.44
1.81
4.13
1.88
2.63
1.56
2.19
3.19
3.31
1.31
2.56
2.94
1.44
1.94
1.19
2.69
2.56

3.69
3.38
3.63
3.88
2.75
3.19
2.88
2.44
1.50
2.13
2.56
3.56
2.56
3.44
3.63
3.75
2.25
3.13
3.63
2.13
2.81
2.63
3.00
2.69
2.31
2.56
2.25
3.31
3.00
3.00

3.38
2.94
3.31
4.38
2.19
1.94
2.69
2.75
2.50
1.50
1.81
3.13
2.44
1.69
3.81
3.50
1.81
2.88
3.44
1.94
2.38
2.38
2.38
3.50
2.38
2.75
2.31
3.81
1.69
3.38

65