NAIST-IS-MT0851061

修士論文

全天球画像データベース作成のための色調統一と動物体除去

高橋 英之

2010 年 3 月 17 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
高橋 英之

審査委員：
横矢 直和 教授

（主指導教員）木戸出 正繼 教授（副指導教員）山澤 一誠 准教授

（副指導教員）神原 誠之 助教

（副指導教員）全天球画像データベース作成のための色調統一と動物体除去∗
高橋 英之

内容梗概
移動カメラを用いて異なる地点・時刻に撮影された全天球画像群を入力として画像処理を行なう研究では，入力画像間での色調の統一および画像中の動物体や陰の除去処理が要求される．本研究では異なる地点・時刻において撮影された映像から，動物体・陰・色調の差異による見え方の違いを取り除いた全天球画像デー
タベースの作成を目的とする．従来，撮影された画像間において照明条件が大きく変化するような環境では動物体除去が，また動物体や陰が存在するような環境
では色調変換が困難であった．そこで本研究では，線形濃度変換パラメータの推定処理と動物体候補領域の推定処理を交互に繰り返し行うことで，これらの問題
を同時に解決する．まず，格子に分割した入力画像に対し，ロバスト推定により動物体が含まれない領域のみを用いて線形濃度変換パラメータを求めることで色調変換を行ない，その結果を用いて画像間の差分から動物体候補が含まれる格子を検出する．その後，動物体候補が含まれる格子の分割を行ない，再び分割された各格子に対して線形濃度変換パラメータの推定を行なうことで動物体候補領域を絞り込む．これを繰り返すことで，線形濃度変換パラメータの推定と動物体候
補領域の推定を同時に行なう．最後にそれらの処理が行なわれた画像群を用いて動物体候補と推定された領域を補完することで，動物体の除去を行なう．実験では，屋外環境において車載全方位カメラで異なる地点・時刻に撮影された全天球
画像群の色調の統一および動物体や陰の除去を行なった結果を示す．
∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0851061, 2010 年 3 月 17 日.

iキーワード全天球画像, 動物体の除去, 色調の補正, 画像データベースiiRemoval of Moving Objects and Consistency ofColor for an Omnidirectional Image Database∗
Hideyuki Takahashi

Abstract
This thesis proposes a method for removing inconsistencies of images due tomoving objects, shadows and color tone from an omnidirectional image database.
The database is used for archive of outdoor scene in wide areas or generationof novel view images based on image-based rendering. In conventional methods,
to remove moving objects in outdoor environment where illumination condition
drastically changes, and to be consistent color tone of images which included
moving objects and shadows are diﬃcult. In order to realize consistency of images,
the proposed method iterates the following two processes: 1) removal of moving
objects and 2) consistency of color tone of images. Consistency of color tone isrealized by estimating linear transformation parameters which change histogramof input image to that of standard image. Regions which are detected as moving
objects can be compensated with corrected input images. In experiments, weshow resultant images by removing inconsistencies among omnidirectional images
captured with a car-mounted omnidirectional camera in outdoor environment.

Keywords:
omnidirectional image, moving object removal, color correction, image database∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0851061, March 17, 2010.

iii

目次
1. はじめに1

2. 関連研究と本研究の位置づけ

3

2.1 異なる地点・時刻で撮影された画像データベースを入力とした従
来研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32.2 動物体除去と色調補正に関する従来研究 . . . . . . . . . . . . . .

6

2.2.1

動物体と影の検出および除去手法に関する従来研究 . . . .

6

2.2.2

色調の補正手法に関する従来研究 . . . . . . . . . . . . . .

13

2.2.3

動物体除去と色調補正を併用した従来研究 . . . . . . . . .

16

2.3 本研究の位置づけと方針 . . . . . . . . . . . . . . . . . . . . . . .

17

3. 全天球画像データベース作成のための動物体除去と色調統一

18

3.1 提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.2 入力画像に対する非線形濃度変換領域の事前除去 . . . . . . . . .

18

3.3 反復処理による動物体候補領域推定と線形濃度変換パラメータの推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.3.1

ロバスト推定法に基づく色調変換 . . . . . . . . . . . . . .

20

3.3.2

色調統一のための線形濃度変換パラメータの推定 . . . . .

21

3.3.3

動物体候補領域の推定 . . . . . . . . . . . . . . . . . . . .

24

3.3.4

処理対象領域の分割 . . . . . . . . . . . . . . . . . . . . .

24

3.4 動物体候補領域の補完 . . . . . . . . . . . . . . . . . . . . . . . .

26

4. 屋外環境で撮影された全天球画像を入力とした実験

28

4.1 全方位画像の撮影環境 . . . . . . . . . . . . . . . . . . . . . . . .

28

4.2 実験結果と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

5. まとめと今後の課題

40

謝辞

42

iv

参考文献

43

v

図目次
1

Photo Tourism [8] . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2

Streetside . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

3

Streetside を用いた街の 3D モデル [10] . . . . . . . . . . . . . . .

54

時空間画像を用いた水滴の除去 [25] . . . . . . . . . . . . . . . . .

105

ホワイトバランスを利用した色調統一. . . . . . . . . . . . . . .

156

提案手法の処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

19

7

LMedS 法を用いた分割小領域に対する線形濃度変換パラメータの推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

8

Bhattacharyya Coeﬃcient . . . . . . . . . . . . . . . . . . . . . .

24

9

処理対象領域の分割. . . . . . . . . . . . . . . . . . . . . . . . .

2510

色調変換され動物体候補領域を含む入力画像 . . . . . . . . . . . .

26

11

動物体候補領域を補完するための色調変換された入力画像群 (囲われた領域は補完する領域). . . . . . . . . . . . . . . . . . . . . .

2712

照明条件が異なり動物体が存在する入力画像群 . . . . . . . . . . .

30

13

全方位マルチカメラシステム (Ladybug2) . . . . . . . . . . . . . .

31

14

車載全方位カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

15

各入力画像に対する空領域と撮影車両の除去結果画像 . . . . . . .

34

16

入力画像 A に対する実験結果 . . . . . . . . . . . . . . . . . . . .

35

17

入力画像 B に対する実験結果 . . . . . . . . . . . . . . . . . . . .

36

18

入力画像 C に対する実験結果 . . . . . . . . . . . . . . . . . . . .

37

19

入力画像 D に対する実験結果 . . . . . . . . . . . . . . . . . . . .

38

20

入力画像 E に対する実験結果 . . . . . . . . . . . . . . . . . . . .

39

表目次
1

各動物体除去の手法の比較 . . . . . . . . . . . . . . . . . . . . . .

122

色調補正処理の手法の比較 . . . . . . . . . . . . . . . . . . . . . .

153入力となる全天球画像の例 . . . . . . . . . . . . . . . . . . . . . .

29

vi

4

色調基準画像とのヒストグラムの類似度 . . . . . . . . . . . . . .

vii

40

1. はじめに
近年，Google ストリートビューに代表されるような，さまざまな遠隔地のシーンが閲覧可能なサービスや，遠隔地における映像の撮影地点だけでなく，その周辺
における新視点映像をイメージベースドレンダリングにより生成する研究 [1, 2, 3]などが多くみられるようになってきた．これらの研究の多くは車載の全方位カメラなどで撮影された画像データベースを入力とすることで実現されている．これ
らのような応用を実現するためには，実環境の様々な地点で撮影した画像を保持するデータベースの整備が必要となる．
一般に，異なる地点・時刻で撮影された画像により作成された画像データベー
スは，画像ごとの照明条件の変化や動物体の存在が問題となる．例えば，Google
ストリートビューでは，入力画像の色調が大きく異なる場合や，動物体が存在している場所では，隣接する地点において見え方が大きく変化する場合がある．一方，イメージベースドレンダリングにより新視点映像を生成する手法では，複数の画像を入力とし画像合成を行なうため，画像中に動物体や色調の異なる領域が含まれる場合，正確な画像合成が行なえない．これらの問題を解決するためには動物体が存在せず，かつ色調が統一された画像データベースが必要とされる．
従来，画像中の動物体を除去する手法として，動物体領域を異なる時刻に撮影された画像中の動物体の存在しない同領域を用いて補完する手法 [4] が一般的であるが，色調の大きく異なる画像を用いて補完を行なうと補完された領域のみ色調が異なり，結果画像の光学的な整合性が保てなくなる．このため照明条件が大きく変化する環境に適用することが困難であった．また，物体が落とす陰を動物体領域として扱い，複数の照明条件下で光源環境を推定し，照明の変化に対応して陰の除去を行なう手法 [5, 6] が提案されているが，背景と類似した色の物体の検出漏れが問題として挙げられる．一方，色調統一を行なう研究として，色調の異なる入力画像を領域分割し，局所的に変化する色調の統一を行なう研究 [7] が挙げられるが，動物体が存在しないことを前提条件としているため，動物体が存在する場合には色調統一を正しく行なうことが困難であった．このように異なる
地点・時刻で撮影された画像に対し従来手法をそのまま適用した場合，動物体や陰の存在，照明条件の大きな変化に同時に対応することは困難である．さらに本

1

研究のように屋外の広域環境を効率的に撮影する目的のために全方位カメラの利用を想定した場合，カメラが広角であるために動物体が撮影されやすく，屋外は
光源環境の変化が大きいといった観点から，それらの問題点には柔軟に対応する必要がある．
本研究では異なる地点・時刻において撮影された全天球画像群から，動物体・陰・色調の差異による画像間の違いを取り除く手法の提案を行なう．本研究ではイメージベースドレンダリングなどの入力となる全天球画像データベースの対象として屋外環境を想定し，車載の全方位カメラで複数回同じパスを撮影した画像群を入力とする．それらの画像は位置・姿勢情報を保持しており，密に撮影されていると仮定する．提案手法では，色調の統一と動物体や陰の除去の二つの処理を交互に繰り返し実行することで全天球画像間での見え方の違いを取り除く．二つの処理を交互に繰り返すことで色調の異なる画像間から動物体領域の絞り込みを行ない，動物体領域の除去かつ色調の一貫性を持つ画像の生成を行なう手法を提案する．
以降，2 章では撮影地点・時刻が異なる画像データベースを入力とした従来研究を概観した後，関連研究を挙げ本研究の位置づけと方針について述べる．3 章
では繰り返し処理による色調の統一と動物体の除去手法および，動物体候補領域を補完する手法について詳述する．4 章では提案手法を用いた実験として車載カメラで撮影された全天球画像の色調統一および動物体除去を行なった結果を示す．
最後に 5 章にまとめと今後の課題を示す．

2

2. 関連研究と本研究の位置づけ
本章では，撮影地点・時刻が異なる画像データベースを入力とした従来研究を概観した後に画像データベース作成の際問題となる，動物体除去，色調統一に関する従来研究について述べ，最後に本研究の位置づけを示す．

2.1 異なる地点・時刻で撮影された画像データベースを入力とした
従来研究
異なる地点・異なる照明条件下で撮影された画像データベースを入力としたア
プリケーションの例として，Google ストリートビュー，また Microsoft の Photo

Tourism[8] や Streetside などが挙げられる．Google ストリートビューは全方位カメラを用いて撮影された大量の道路上の画像を，ユーザが自宅や出先でインターネットを介して web 上で見ることができる．訪れたことのない場所も，Google ス
トリートビューを使うことで実際に道を歩いているかのような感覚を体験できる．

Google ストリートビューは全方位画像の一部を切り出して画像を提示するため，ユーザの要求した視線方向に応じた映像を提示することが可能である．Microsoftの Photo Tourism[8] ではインターネット上の大量の画像を分析し SIFT(Scale In-variant Feature Transform) 特徴 [9] を用いた特徴量の抽出を行ない，同じ特徴点を持つ画像をウェブ上で探索することで，自動的にシーンを復元するシステムである．図 1 は撮影されたカメラの 3 次元位置とモデルの 3 次元点群をあらわしている．また Microsoft の Streetside では Google ストリートビューと同様に道路上から撮影された画像を用いてユーザに道路上の画像を提示している．StreetSide
では図 2 に示すようにユーザが車に乗っているかのような感覚を与える画像を提示している. また，図 3 に示すような StreetSide を用いて街の 3 次元復元を行なう研究 [10] では車載カメラで撮影された画像から Structure from Motion 法 [11]を用いてカメラの位置姿勢を求め，撮影された街の 3 次元モデルを自動的に復元している．しかし，入力画像間での色調が異なる場合に画像の生成結果に違和感が生じる．Google ストリートビューや Streetside, Photo Tourism の例のように，遠隔地の情景をユーザに提供するアプリケーションでは，その遠隔地のシーンの3

(a) 3 次元点群とカメラの位置姿勢(b) 閲覧アプリケーション

図 1 Photo Tourism [8]

図 2 Streetside4

図 3 Streetside を用いた街の 3D モデル [10]画像を作り出すために，イメージベースドレンダリング [12] や画像データベース
から物体の 3 次元復元を行なうモデルベースドレンダリング [13] などの技術が使用されている．以下にイメージベースドレンダリングおよびモデルベースドレン
ダリングについて詳しく述べる．
異なる地点で撮影された画像データベースを入力とし，新視点映像を生成する手法の一つとしてイメージベースドレンダリングがある．イメージベースドレン
ダリングとは撮影環境を明示的に 3 次元復元することなく画像の変形・合成により新たな視点での映像を生成する手法のことである．一般にイメージベースドレン
ダリングを用いて精度の良い新視点映像を生成するには，大量の画像が必要となってくる．[12] では，ユーザが設定した視点位置において Light Field Rendering[14]により視点画像生成に必要な光線を計算し，画像データベースから対応する光線を選択することで映像を生成する研究が行なわれている．しかし，入力とする画像には撮影された日時によって天候や動物体の有無などそれぞれ違いがある．こ
れらの画像を入力とし新視点映像を生成した場合，生成結果の画像に違和感が生じる問題があった．
また，同様に異なる地点で撮影された画像データベースを入力とし，3D モデルを作成し新視点映像を作成する手法としてモデルベースドレンダリングがある．
モデルベースドレンダリングとは実世界環境の 3D モデルを手作業やコンピュー
タビジョンの技術を用いて計算機内に生成することで，3D モデルにテクスチャを5

マッピングし仮想環境内に再構築する手法である．3D モデルを作成する際，従来研究 [15, 16] では，レンズの焦点深度を変化させた複数枚の実写画像を入力とし，画像処理のみで対象の 3 次元データを取得し，モデルの再構築を行なっている．この手法では入力とした画像をテクスチャとして利用できるため高精細なテ
クスチャ情報が得られる．従来研究 [17, 18] では，一組のカメラによるステレオ
画像対だけでなく，より多くのカメラによる複数のステレオ画像対を利用するマ
ルチベースラインステレオ法を用いている．また，[11] では，カメラの動きから
物体の 3D モデルの作成を行なう Structure from Motion 法を用いている．これらの研究では画像間で色調が統一されていることや，入力画像に動物体が存在しな
いことが前提条件となっている．
以上のように異なる地点・異なる照明条件下で撮影された複数の画像を入力とする場合，動物体の有無や色調の違いによって，生成される画像には違和感が生じることがある．そのため動物体の除去かつ色調の統一が行なわれた入力画像デー
タベースの作成は，新視点画像生成のアプローチにかかわらず共通の課題として挙げられる．

2.2 動物体除去と色調補正に関する従来研究
2.2.1 動物体と影の検出および除去手法に関する従来研究
動物体の検出には大きく分けて画像情報のみを用いた検出・除去手法や，画像情報に加えてカメラ以外の機器を併用した検出・除去手法が挙げられる．

• 画像情報のみを用いる手法– 背景差分法– フレーム間差分法– オプティカルフローを用いた手法– 時空間画像を用いた手法
6

• 画像情報およびカメラ以外の機器を用いる手法– 距離画像を用いた手法
実世界の動物体を認識する手法として一般的な手法に背景差分法がある．背景差分法は固定カメラで撮影された画像を背景画像とし，入力画像との差分を求める
ことで動物体の検出・除去を行なう．さらに固定カメラによる撮影から移動カメ
ラによる撮影へ環境が変化した際，背景が変化する問題に対応した手法にフレー
ム間差分法およびオプティカルフローを用いる手法が挙げられる．これらの手法
では画像間での背景の変化量と物体の移動量の大きさを見分けることで動物体の検出・除去を行なう．2 枚の画像のみからではなく，時系列に並べられたより多くの画像を入力とし，動物体を検出する手法として時空間画像を用いる手法がある．複数枚の画像を入力とすることで，より動物体の動きを大局的に追跡することで正確に動物体の検出が可能となる．また，画像情報およびカメラ以外の機器を用いる手法として距離画像を用いた手法が挙げられる．以下にそれぞれの手法について詳しく述べる．

[背景差分法]背景差分とは，動物体が存在しない状態の画像を固定カメラで撮影し背景画像として取り込み，動物体が存在する入力画像との輝度値の差分を得ることである．
背景差分を用いた [19, 20, 21] では，あらかじめ動物体の存在しない背景画像を取得しておき，入力画像との差分処理後に 2 値化を行なうことによって動物体領域を検出する手法である．検出対象の物体に対して事前知識を必要としない点や，複数の動物体を同時に検出することができる点が利点として挙げられる．しかしその反面，背景濃度に近い動物体の検出が困難な点が問題として挙げられる．また，実世界環境下においては，照明の変化などにより常に背景が変動し続ける場
合があるため，それに追従することが必須となる．照明が変化する実世界環境に対応した背景差分の研究として背景画像を逐次的に更新し動物体を検出する手法[22] が挙げられる．この手法では，カメラ画像における変化領域を背景差分および時間差分によって求め，動物体・静止物体・照明変動による変化領域に分類し，

7

照明変動の変化がなかった領域についてのみ背景画像を更新することでロバストな動物体検出が可能である．しかし，固定カメラで撮影された画像を入力としているため移動カメラで撮影された画像には適用が困難で，動物体領域のみを安定に抽出することはできないという問題がある．

[フレーム間差分法]
フレーム間差分とは，時間的に連続する 2 枚のフレームの対応画素における輝度値の差を算出することによって，フレーム間で変化した領域を検出する手法である．フレーム間差分を用いる手法では背景画像を生成する必要がないために移動物体の速度が高速な場合や，照明の変化や影の映り込みがある画像に対しても動物体検出が可能である．しかし，草木の揺れのようなノイズに弱いため屋外での適用は難しく，物体形状の検出も行ないにくいという問題点がある．フレーム間差分を用いた手法 [23] では，ビデオカメラから定期的にサンプリングされるフレームにおいて，連続するフレーム間で一定面積以上の差分領域があらわれ始めた時をイベントの開始とし，その後継続したフレームで差分領域の面積が小さくなったときをイベントの終了としている．イベント開始前の画像とイベント終了
後の画像の差分を計算することで，人が放置する物体の認識を行なうことが可能である．

[オプティカルフローを用いる手法]
オプティカルフローとは，異なる時間に撮影された 2 枚の画像間で同じ対象の対応付けを行ない，その移動量をベクトルデータとしてあらわし利用する手法である．一般的に計算量が多く，対象の大きさが時間的に変化する場合や入力画像に草木の揺れなどのノイズが多い場合は処理が複雑になる．オプティカルフローの推定方法は大きく分けて勾配法とブロックマッチング法に分類される．
勾配法とは連続する 2 枚の画像での対象物の移動量が微小であることを前提に，各点における速度成分を偏微分することでオプティカルフローを求める手法のこ8とである．勾配法では各画素の局所的な演算でオプティカルフローが求まるので，処理が簡便で高速である．しかし，ここでは微小な動きを前提としているため，移動量が多い場合には正しくオプティカルフローを求めることが困難となる．
ブロックマッチング法は画像を一定の大きさの小領域 (ブロック) に分割し，それぞれのブロックの動きベクトルを求める手法である．ブロックマッチング法を用いた関連研究 [24] では，ブロックの大きさを大きいサイズから小さいサイズへと段階的に切り替え，物体の動きの量を推定し高速化を実現している．しかし，画像中の特定の領域の動きしか計算することができないという問題点がある．

[時空間画像を用いる手法]
時空間画像を用いる手法は，画像を時間方向に重ねたデータとして見ることでで，静止物体と動物体を分類する手法 [25, 26] である．画像を時間方向に重ねた
際，静止した背景に動物体が存在すれば動物体の軌跡が柱状にあらわれる．[25]ではカメラに映った水滴を除去するために時空間画像を入力とし，時空間画像上
でカメラのレンズに映った水滴と被写体との間における軌跡の違いに着目することで水滴領域を検出・除去する手法を提案している．図 4(a) ではカメラのレンズに付着した水滴が視野を妨害している画像を示し，図 4(b) では時空間画像を用いて画像中に存在している水滴の除去を行なった結果を示す．また，[27] では時空間画像を用いて車両および歩行者の検出に利用しオクルージョン問題を解決する手法を提案している．この手法では固定カメラにのみを対象としており移動カメ
ラには適用できない．

[距離画像を用いる手法]
距離画像を用いて動物体を推定する手法はカメラから被写体までの距離情報を利用することで，影や照明の変動の影響を受けにくいという特徴を持つ．[28] では動物体の追跡に濃淡画像に加え距離画像を用いることで，より計測速度を向上
させて動物体を検出している．しかし複数の画像から同様の処理速度，かつ低コ

9(b) 水滴が取り除かれた画像(a) 水滴により視野が妨害された画像図 4 時空間画像を用いた水滴の除去 [25]10

ストで距離画像を求めることは難しく，専用のハードウェアが必要となる．

11

表 1 各動物体除去の手法の比較
遅い動物体

照明条件

入力画像の

比較

への対応

の変化

計算コスト

枚数

背景差分

○

×

○

2枚

フレーム間差分

×

×

○

2枚

オプティカルフロー

○

○

×

2枚

時空間画像

○

×

○

多数

距離画像

○

○

×

2枚

以上，各手法の特徴をまとめたものを表 1 に示す．各手法では，動物体検出を行なう際の入力条件として様々な制約が挙げられる．ここで，表からも分かるよ
う動物体の検出を行なう際に一番の問題となってくるのは照明条件の変化である．
照明条件が変化すると，輝度値の差分を計算し動物体の検出を行なう手法では適用が非常に困難となる．このことから照明条件の変化にロバストな動物体検出法が求められていることがわかる．

12

2.2.2 色調の補正手法に関する従来研究
色調補正を行なう代表的な手法として以下のような手法が挙げられる．

• 光源色の変化を利用した色調統一• 推定した物体の反射特性を利用した色調統一• ホワイトバランスを利用した色調統一• 線形濃度変換を利用した色調統一
これらの手法は適用する際にそれぞれ細かく条件が指定されている．以下にそれぞれの手法について詳しく述べる．

[光源色の変化を利用した色調統一]
画像間での色調を補正する手法として光源色の変化を利用した物体色の推定を行なう手法 [29, 30] が挙げられる．画像間での色調が異なっている場合，物体の表面を網羅して撮影し，何枚もの画像を使って 3 次元モデルの作成を行なう際，撮影条件として光源環境を一定に保つことが必要とされる．しかし，屋外の物体をモデリングする場合，光源色の統一は困難である．そこで [30] では異なる光源
下で同一物体を撮影した画像から光源色を推定し，光源色の影響を取り除くこと
で色調統一を行なう手法を提案している．具体的には，屋外において日照下の物
体の色と日陰下の物体の色の違いを利用している．これは影の領域の照明光が大気による拡散光であり，日照下の領域の照明光が空による拡散光と直射日光の混合となることから，この異なる光源を利用して物体の固有の色を求め画像間での色調の違いを統一するという手法である．この手法では入力画像の同一物体において日照下と日陰下の領域が含まれていなければならないという問題がある．

13

[推定した物体の反射特性を利用した色調統一]
一般的に光源状況が異なる複数の画像を用いて，単純にテクスチャマッピングを行なうとテクスチャの繋ぎ目が目立つ．これらの影響を除去するために，得られた複数枚の画像間の色調を補正する手法として物体の反射特性を求めて物体の色を補正する手法 [31] が挙げられている．[31] では，固定された物体の周りをカ
メラ，光源を動かしながら計測した各テクスチャの色調補正を行なう．この手法
では物体の反射率が既知であるという前提条件があるため，屋外環境での適用は困難である．また，テクスチャ情報の取得時の光源環境を推定し色調を補正する
手法 [32] が挙げられる．[32] では複数の入力テクスチャをある共通の光源環境にリライティングすることにより色調補正を行なう手法を提案しているが，すべての点において法線方向を正しく推定する必要があり，3 次元幾何モデルを高精度に計測しなければならないという問題がある．

[ホワイトバランスを利用した色調統一]
ホワイトバランスとは本来は白いものが実際に白く写るように色の補正を行なう機能のことである．[33] では光源が二つ存在する状況下で撮影された画像を入力として，物体の色を再現しているが，二つの光源情報はユーザが既知であることが前提となっている．図 5 にホワイトバランスを利用し色調補正を行なった結果画像を示す．この手法では，二つの光源情報が既知でなければならないという点から屋外環境での適用が困難である．

[線形濃度変換を利用した色調統一]
異なるカメラで撮影された画像間での色調補正を線形濃度変換によって実現する方法 [34, 35] が提案されている．[34] では異なるカメラで撮影された画像を合成して一つの画像を作る際に，カメラ間での色調が異なると繋ぎ目が目立つため，異なるカメラで撮影された画像間での色ヒストグラムが近づくよう，それぞれの14

図 5 ホワイトバランスを利用した色調統一

色に対して線形濃度変換を行なうことで違和感の軽減を行なっている．[35] では
まず分光放射輝度計を用いて，ある照明下でカラーチャート各色の分光放射輝度を調べ，各色の輝度値をあらかじめ測定する．次にカメラにより撮影された画像の輝度値を求め，これらの差が最小となるように変換行列を用いて色調統一を行なっている．しかし，提案されている手法では分光放射輝度計やカラーチャートなどの機器が必要である点が問題として挙げられる．
表 2 に色調補正手法についてまとめる．これら多くの手法では，共通して入力
画像の前提条件として画像中に動物体が存在していないことが挙げられている．
またこれらの手法では，色調を合わせる際の制約条件が多く，適用できる環境が限定されているという問題点がある．
表 2 色調補正処理の手法の比較
動物体

複雑な環境

入力画像の

比較

の存在

への対応

枚数

光源色推定

×

○

1枚

物体の反射特性推定

×

×

複数枚

ホワイトバランス○×2枚

線形濃度変換

×

○

2枚

15

2.2.3 動物体除去と色調補正を併用した従来研究
屋外環境を撮影した映像から動物体の抽出を行なう場合には，日照条件や木の揺れ，光の乱反射など環境の変動に起因する誤検出が多くみられる．そこで [36]では照明条件の変化など複雑な環境に対応した物体の検出法を提案している．[36]では色調補正を行なうことで複数の背景画像をあらかじめ生成し，その中から最も輝度値の差分が少ない画像の選択を行なう．また，[37] では，照明変動を考慮
して動物体・影の検出を行なっている．[37] ではまず，オプティカルフローにより動物体・静止物体およびそれぞれの影を判別し，次にエッジ，テクスチャ，物体と影の連結情報を用いて一時的に静止している物体や照明変動の判別を行なう手法を提案している．これらの研究では照明の変化に対応した動物体検出を行なっているが，屋外環境において照明が大きく変化する場合には対応できないという点が挙げられる．

16

2.3 本研究の位置づけと方針
前述のように，様々な研究やアプリケーションにおいて動物体除去かつ色調補正された全天球画像データベースが要求されている．屋外環境において車載カメ
ラで実環境を撮影した画像には多くの動物体や，照明条件の変化による色調の違いがみられる．従来手法では，照明条件の違いは考慮せず，照明条件は一定であると仮定し動物体のみを除去する手法 [19, 20]，もしくは，静的環境で色調の違いのみを除去する手法 [29, 31] が多く挙げられている．動物体の除去と照明条件の違いを考慮した手法 [37] では，急激な色調変化が認められる部分が動物体として認識されるため，対応できないという問題点が依然残っている．
そのため本研究では画像中に動物体が存在し，かつ画像間で色調が異なる入力
画像から，動物体の除去かつ色調の統一を行なうことを目的とする．まずロバス
ト推定に基づき動物体を例外値として排除し，線形濃度変換法 [34] を用いて色調補正処理を行なう．色調補正処理が行なわれた画像から背景差分法 [21] を用いて動物体候補領域の検出・除去を行なう．検出された動物体がある一定割合以上であった場合，画像を分割し再びロバスト推定法に基づき線形変換パラメータを用いた色調補正を行なう．分割処理を行なうことで動物体候補領域を検出することができる．本手法ではこれらの既存の動物体除去処理と色調補正処理を交互に繰り返すことで段階的に動物体除去と色調補正を行なうことが可能となり，従来手法では困難であった照明条件の変化にも対応した，動物体除去かつ色調統一された全天球画像のデータベースの作成を試みる．

17

3. 全天球画像データベース作成のための動物体除去と色調統一
3.1 提案手法の概要
本研究では，動物体候補領域の推定処理と線形濃度変換パラメータの推定処理を繰り返すことで，段階的な色調統一と動物体候補領域の絞り込みを行ない，動物体除去かつ色調統一された全天球画像データベースの作成を試みる．提案手法の処理の流れを図 6 に示す．本手法は大きく分けて前処理，反復処理，後処理の三つの処理で構成される．前処理では基準となる画像（以下，色調基準画像）を
入力画像群の中から 1 枚選択し，入力画像全てに対して空領域など線形濃度変換
では色調変換できない領域を取り除く (図 6(A))．反復処理 (図 6(B)〜(D)) では動
物体候補領域の推定処理と線形濃度変換パラメータの推定処理を交互に行なう．
まずロバスト推定のアプローチを用いた動物体候補領域を外れ値として排除した領域に対して線形濃度変換パラメータを推定する (図 6(B))．次に推定された線形
濃度変換パラメータを用いて色調変換された画像と色調基準画像の輝度値の差分を求めることで動物体候補領域を推定する (図 6(C))．処理対象済みの領域における動物体候補領域の割合が一定閾値以上ならば分割小領域の一部に動物体が存在すると考え，領域を分割処理 (図 6(D)) し，その分割された各領域に対し再度反復処理を行なう．この反復処理 (図 6(B)〜(D)) を領域分割しながら再帰的に繰り返すことで動物体候補領域の絞り込みと段階的な色調統一を実現する．後処理では反復処理で動物体候補として推定された領域を色調統一入力画像群を用いて補完 (図 6(E)) する．

3.2 入力画像に対する非線形濃度変換領域の事前除去
本研究では色調統一を行なう際の仮定として，動物体以外の領域において物体の色調は線形濃度変換によって補正することができるものとする．ただし屋外環境を全方位カメラで撮影した場合に映り込む空領域は，表現できる輝度値の最大値を超える場合や動物体である雲の存在があるため，線形濃度変換によって正し

18カメラ位置・姿勢が既知で動物体が存在しかつ色調の異なる全天球画像群

前処理

(A)

入力画像に対する非線形濃度変換領域の事前除去

反復処理
反復処理：
処理：動物体候補領域と色調統一のための線形濃度変換パラメータの推定
ロバスト推定に基づく線形濃度変換パラメータの推定
(B)

(C)

動物体候補領域の推定

処理対象領域における動物体候補領域が一定割合以下
繰り返し回数が一定回数以上
or

Yes

No

(D)

後処理

(E)

処理対象領域の分割

動物体候補領域の補完

カメラ位置・姿勢情報付きの動物体除去かつ色調統一が行なわれた全天球画像データベース
図 6 提案手法の処理の流れ

19

い色調に変換することができない可能性がある．本手法では空領域は，全天球画像の上部に存在し輝度値が一定閾値以上の領域と仮定し，事前に検出・除去する．
また，本研究で用いる全天球画像中には，移動撮影時に環境以外の領域，例えば撮影した際の車両の一部などが映っている．これらの領域は，画像データベースを作成する際に不必要な領域のため，空領域と同様に事前に除去する．

3.3 反復処理による動物体候補領域推定と線形濃度変換パラメータの推定
本節では動物体候補の推定処理と線形濃度変換パラメータの推定処理を交互に行なうことで動物体以外の領域において色調統一を行なう手法について述べる．
まず 3.3.2 項と 3.3.1 項ではロバスト推定法に基づく色調統一を行なう手法と，その処理中に用いる 2 つの領域間の色調統一のための線形濃度変換パラメータの推定処理をそれぞれ述べる．3.3.3 項では色調変換された画像と色調基準画像の輝度値の差分から動物体候補領域の推定処理について述べる．最後に 3.3.4 項では処理対象領域における動物体候補領域の割合を求め，一定割合以上ならば領域の一部に動物体が存在すると考え，領域の分割処理を行なう手法について述べる．本
研究では 3.3.1 項と 3.3.2 項で述べる処理を繰り返すことで動物体以外の領域で色調統一を行なう．以下に各項の詳細について述べる．

3.3.1 ロバスト推定法に基づく色調変換
線形濃度変換によって正しく色調変換することができない領域として 3.2 節で述べた領域以外に動物体領域も考えられる．一般的に動物体領域を含む状態で線形濃度変換パラメータの推定処理を行なうと，その領域では正しく線形濃度変換
パラメータの推定を行なうことができない．そこで，動物体候補領域を除去して色調変換を行なうことが望まれるが，動物体候補領域は空領域などとは異なり一枚の入力画像や異なる色調の画像群から推定することは困難である．本研究では，
ロバスト推定法として LMedS 法 [38] に基づき動物体領域の影響を排除して濃度20変換パラメータを求めることにより処理対象領域に対する線形濃度変換パラメー
タの推定を行なう．
動物体領域の影響を排除して線形濃度変換パラメータの推定を行なうためのロ
バスト推定法について図 7 に概略を示す．LMedS 法に基づき線形濃度変換パラメータを算出するための前提条件として，動物体候補領域が分割小領域の画素数の半分以下である必要がある．入力画像中の動物体候補領域が半分以下であるな
ら，ランダムサンプリングを繰り返し行なうことで，動物体の影響を排除し線形
濃度変換パラメータの推定が可能である．
図 7(a) に示すように，ランダムサンプリングされた領域ごとに式 (2) に示すヒストグラムの類似度を求める評価関数を用いて線形濃度変換パラメータを推定す
る．動物体が存在しない場合には各領域で同様の線形濃度変換パラメータを推定することが可能である．その後，図 7(b) に示すように領域ごとに算出された線
形濃度変換パラメータをそれぞれ他の領域に適用する．もし，適用する領域内に動物体が存在しない場合には色調変換後のヒストグラムと色調基準画像のヒスト
グラムの類似度が高くなる．逆に，線形濃度変換パラメータを適用する領域に動物体が存在する場合，色調変換後のヒストグラムと色調基準画像のヒストグラムの類似度が低くなる．動物体が存在しない領域が半数以上あると仮定すると，図7(c) に示すように領域ごとに算出された類似度の中央値を取ることで動物体が存在しない領域に対して色調変換した場合の類似度の算出が可能である．最後に図7(d) に示すように，それぞれの領域で求められたヒストグラムの類似度を比較し，類似度が最も 1 に近づく pa , pb を線形濃度変換パラメータとし，入力画像の 3.2 節で事前除去した領域以外に適用し色調変換を行なう．この結果，動物体が含まれる領域を排除した色調統一が可能である．本研究では入力画像として全方位のパノラマ画像を用いるため，空領域などを考慮し画像を縦に分割することにより領域間でヒストグラムに大きな差が出ないようにした．

3.3.2 色調統一のための線形濃度変換パラメータの推定
一般に屋外環境で大量に画像の取得を行なう場合，各地点における撮影時刻が異なるため，天候や日照条件の変化により撮影画像の色調は統一されていない．

21

(a2 , b2 )(a3 , b3 ) (a4 , b4 )(a0 , b0 ) (a , b )1(a6 , b6 )(a5 , b5 )1

( a8 , b8 )(a9 , b9 )(a3 , b3 )( a7 , b7 )(a) 入力画像からランダムサンプリングされた領域ごとに線形濃度変換パラメータを推定する(a2 , b2 )(a0 , b0 ) (a1, b1)(a3 , b3 ) (a4 , b4 )(a6 , b6 )(a5 , b5 )( a7 , b7 )(a0 , b0 )( a8 , b8 )(b) 各領域で求められた線形濃度変換パラメータを用いて色調変換を行ない色調基準
画像との類似度を算出(a9 , b9 )(a2 , b2 )( a7 , b7 )(a0 , b0 ) (a1, b1)(c) 色調基準画像との類似度が他の領域と比べ大きく異なる変換パラメータを除外(a3 , b3 ) (a4 , b4 )(a6 , b6 )(a5 , b5 )( a8 , b8 )(a9 , b9 )( a7 , b7 )(d) 色調基準画像の色調と最も類似度を高く変換できるパラメータの推定

図 7 LMedS 法を用いた分割小領域に対する線形濃度変換パラメータの推定22

上述のような色調が異なる画像間では，背景差分などの手法では一般的に動物体を検出・除去することはできない．本項では入力画像の中から選択された，色調基
準画像を用いて，画像中から背景差分によって動物体候補領域を検出するために，
色調変換を行なう手法について述べる．また，ここで用いる色調基準画像は，イメージベースドレンダリングなどを行なう際に適切と思われる白とびや黒つぶれがない画像を手動で選択する．線形濃度変換パラメータの推定を行なう際に車載
全方位カメラで移動しながら撮影された画像を入力として用いると，色調基準画
像と入力画像の撮影位置には，ずれが存在するため画素ごとに線形濃度変換パラメータの推定を行なうことはできない．そこで本研究では線形濃度変換パラメー
タの推定を行なう際に，位置ずれの影響を軽減するために色調基準画像と入力画
像の一定領域でヒストグラムを作成し，互いのヒストグラムの類似度が最大となるように線形濃度変換パラメータの推定を行なう．以下に，照明条件が異なる任意の 2 つの領域の全天球画像の輝度値を線形変換することで，基準画像の色調に合わせる処理について詳述する．
本手法では照明条件の変化による見え方の違いに対する色調変換は線形変換
によって補正することができると仮定し，入力画像の輝度値を色調変換するパラメータを pa , pb とした場合，輝度値の変換式 (1) を以下に示す．

I ′ (x, y) = pa I(x, y) + pb ,(1)

ここで I ′ (x, y) は画素位置 (x, y) における色調変換後の輝度値，I(x, y) は画素位
置 (x, y) における色調変換前の輝度値を表す．入力画像と色調基準画像間で輝度値のヒストグラムの類似度が最大となるように線形濃度変換パラメータの推定を行なう．本手法では以下の式 (2) に示す Bhattacharyya Coeﬃcient を用いて色調基準画像と入力画像とのヒストグラムの類似度 γ を算出する．ここで用いる

Bhattacharyya Coeﬃcient は図 8 に示すような二つのヒストグラムの間で重複する部分の面積を計算することで求められる値のことであり，内積を使うことで外れ値の影響を受けにくいという利点がある．
∑√
hA (i)hB (i),
γ=

(2)

i∈C

ここで hA (i) は入力画像における輝度値 i の頻度を，hB (i) は色調基準画像の輝度23頻度 γ=∑∈i C

hA (i ) hB (i )

hA

hB

輝度値

図 8 Bhattacharyya Coeﬃcient
値 i の頻度をあらわす．γ は二つのヒストグラムが類似するほど大きな値になり，完全に一致すると γ = 1 となる．γ が 1 に近づくように線形濃度変換パラメータ

pa , pb を求めるには計算量を要するため，pa , pb をある範囲内で離散的に変化させたときの γ が最も 1 に近くときの pa , pb を解とし，色調変換に用いる．推定した
線形濃度変換パラメータ pa , pb から式 (1) に基づき入力画像の R, G, B を独立に変換させる．

3.3.3 動物体候補領域の推定
3.3.1 項でロバスト推定法を用いて色調変換処理された画像と色調基準画像との輝度値の差分を計算することで動物体候補領域の推定を行なう．本研究では移動カメラで撮影された画像を入力としているため，入力画像間に位置ずれが存在している．そのため輝度値の差分を計算する際，領域ごとにテンプレートマッチ
ングを行ない，画像間の位置ずれを考慮して動物体候補領域の推定を行なう．ここでは推定された動物体候補領域に対しマスク処理を行ない，次節で行なう領域
分割処理に用いる．

3.3.4 処理対象領域の分割
各々の処理対象領域において，動物体候補領域の占める割合を計算し，一定割合以上であった場合，処理対象領域には変換パラメータの異なる物体が存在していると考え，処理対象領域を分割し線形濃度変換パラメータの推定を行なう．

24

2l
l

l

l

2

2

l

l

2

2

分割処理の終了

分割処理の終了l

分割処理の終了

l

4

4

l

分割処理の終了8l8

図 9 処理対象領域の分割
図 9 に入力画像が再分割されている様子を示す．これにより線形濃度変換パラメータの異なる物体に対して，領域ごとに過半数を占める物体の線形濃度変換パラメータを適用することができる．
これらの処理を繰り返し行うことで，動物体以外の領域を色調統一することができる．繰り返し処理において処理対象領域の分割を再帰的に行なう際，領域の大きさを一定以上に保つことで位置ずれの影響にロバストな線形濃度変換パラメータの推定が可能である．

25

図 10 色調変換され動物体候補領域を含む入力画像

3.4 動物体候補領域の補完推定された線形濃度変換パラメータを画像に適用したとしても，図 10 に示す
ように，入力画像に存在する動物体候補領域は色調変換処理を繰り返すだけでは除去することはできない．そこで，図 11 のような色調変換された入力画像群を用いて推定された動物体候補として推定された領域の補完を行なう．本研究では画像間の位置ずれによる，動物体候補領域の補完を行なう際，位置合わせを行なうことにより，入力画像において動物体候補領域と推定される領域に対応する領域を色調の補正された入力画像群から探索し補完を行なう．以下に処理手順を述べる．

1. 分割小領域ごとに動物体と推定される領域を除いてテンプレートの作成を行なう．

2. テンプレートと対応する領域をパターン類似度として Sum of Squared Differences (SSD) を利用することで色調変換された画像群から探索する．
3. 色調変換された画像群は動物体が存在しない領域では同様の色調という仮定の下，対応する領域をそれぞれの画像群から取り出し，各画素の中央値を求めることで動物体候補領域を補完する．

26

図 11 動物体候補領域を補完するための色調変換された入力画像群 (囲われた領域は補完する領域)

27

4. 屋外環境で撮影された全天球画像を入力とした実験
4.1 全方位画像の撮影環境
本実験では車載全方位カメラで撮影された入力画像群を用いて色調の統一と動
物体や陰の除去を行なった．本研究ではイメージベースドレンダリングやモデル
ベースドレンダリングなど新視点映像の生成に必要な情報であるカメラの位置・姿勢情報を，Global Positioning System(GPS) やジャイロスコープなどのセンサを用いて取得する方法 [12] や，Structure from Motion 法 [11] などのビジョンベースの方法 [39] であらかじめ取得されているものとする．また，本実験では入力画像として 5 枚の全天球画像群を一組とし実験を行なった．入力画像はそれぞれ撮
影地点・時刻の異なる画像であり，また半径 1m 以内で密に撮影されている．図12 に入力画像の一例を示す．図 12 に示すように各入力画像には動物体が存在し，照明条件の変化より色調が大きく変化していることが分かる．また，各入力画像には撮影位置の不一致による画像の位置ずれが存在する．入力画像について以下
表 3 に詳述する．

28

表 3 入力となる全天球画像の例
撮影時の

動物体

色調基準画像

天候

撮影時刻

撮影位置

の有無

との輝度の差異

曇り

12 時

―

無

―

有

明

有

明

有

暗

有

明

有

暗

色調基準
画像
色調基準画像
画像 A

晴れ

10 時

の取得位置
から 1m 以内
色調基準画像

画像 B

晴れ

17 時

の取得位置
から 1m 以内
色調基準画像

画像 C

曇り

16 時

の取得位置
から 1m 以内
色調基準画像

画像 D

晴れ

13 時

の取得位置
から 1m 以内
色調基準画像

画像 E

晴れ

16 時

の取得位置
から 1m 以内29

(a) 色調基準画像(b) 入力画像 A(c) 入力画像 B(d) 入力画像 C(e) 入力画像 D(f) 入力画像 E

図 12 照明条件が異なり動物体が存在する入力画像群30

図 13 全方位マルチカメラシステム (Ladybug2)

図 14 車載全方位カメラ
全天球画像群の撮影に用いたカメラについて述べる．撮影には図 13 に示すような全方位マルチカメラシステム (Point Grey Research 社製の Ladybug2) を用
い，屋外環境での撮影を行なった．Ladybug2 は水平方向に 5 個，上方向に 1 個の CCD カメラが外向きに配置されており，各カメラは 768 × 1024 画素の解像度の画像を取得可能である．それぞれのカメラにおけるキャリブレーションはあらかじめ行ない，カメラ間の色調の違いは取り除かれているものとする．実験では
図 14 に示すように車載全方位マルチカメラシステムを用いて移動しながら撮影することで，異なる時刻に異なる照明条件の下で画像群の取得を行なった．

31

4.2 実験結果と考察
本実験では図 12(a) のような，動物体が存在しない上に陰領域が少ない曇りの日に撮影された画像を色調基準画像として一枚定め，実験を行なった．まず図 12に示す入力画像に対し，空領域と推定される領域と撮影車両の領域を事前に除去した．空領域は画像の上部に存在する高輝度値の領域と仮定し，入力画像における高さが半分以上の領域であり，かつ R, G, B の輝度値が 210 以上の領域もしくは B の値が他の R,G よりも輝度値が 50 以上高い時を空領域とみなし，検出・除去する．色調変換時に不必要な撮影車両の領域は手動で除去した．空領域と撮影
車両領域を検出・除去した結果画像の例を図 15 に示す．図 15(a) では画像右部に存在する建物上部が空領域と誤検出されてしまっているが，これは光源の影響で輝度値が飽和しているためであると考えられる．
次に各入力画像に対する処理結果を図 16〜図 20 に示す．LMedS 法を用いて画像全体で各画像の色調を補正した結果を図 16(c)〜図 20(c) に示す．ここでは画像
全体で一組の変換パラメータを推定し入力画像に対して適用しているため，全体的に色調が近づくような結果となっていることが分かる．色調変換後の画像と色調基準画像の輝度値の差分を算出し，輝度値の差分が 15 以上ある部分を黒色にマスク処理を施した画像を図 16(d)〜図 20(d) に示す．図 16(d) 中の一部の道路に見られるように，同一の反射特性を持つ物体であっても正しく色調変換されている場所と正しく色調変換されていない場所が混在していることが分かる．この結果から，入力画像に対して一組の変換パラメータだけで色調変換を行なうことは困難で，小領域に分けてそれぞれの領域で線形濃度変換パラメータを推定しなければならないことが分かる．
次に動物体候補と推定された処理対象領域の分割を行ない繰り返しロバスト推定に基づく線形濃度変換パラメータの推定し，色調変換を行なった結果を図 16(e)〜図 20(e) に示す．これらの画像から，ロバスト推定に基づき動物体を排除して繰り返し処理を行なうことで動物体周辺の領域で画像の色調が近づいていることが確認される．図 16(f)〜図 20(f) には，繰り返し処理の結果画像と色調基準画像との輝度値の差が 15 以上である領域をマスク処理した画像を示す．これらの結果より，動物体候補領域を含む領域のみの検出が行なわれていることが分かる．

32

色調変換された画像を用いて各入力画像の動物体候補領域を補完した結果を
図 16(g)〜図 20(g) に示す．図 16(g) では，色調基準画像に比べ全体的に輝度値の高い画像が低く補正され，入力画像の中央部に存在する移動車両が除去されていることが分かる。また，図 17(g) では，全体的に輝度値の低かった画像が補正され，移動車両の領域が正しく補完されていることが分かる．しかし，図 18(g)，19(g),20(g) に示されるように，補完領域の境界部で擬似エッジが発生する問題がある．各入力画像間での色調統一の不完全さや，動物体を補完するときの位置合
わせの精度の低さが原因であると考えられる．
最後に色調基準画像と入力画像の変換前のヒストグラムの類似度，および色調
基準画像と入力画像の変換後 (色調統一され動物体候補領域を補完した画像) の画
像とのヒストグラムの類似度を算出することで定量的な評価を行なう．ヒストグ
ラムの類似度はバタッチャリヤ係数を用いることで算出する．バタッチャリヤ係
数とは入力された二つのヒストグラムの類似度を値として出力するものであり，値が 1 に近いほど二つのヒストグラムは類似していることを表す．表に各入力画像と色調基準画像のヒストグラムと，各出力画像と色調基準画像とのヒストグラ
ムの類似度を示す．表に示すように入力画像と色調基準画像の類似度に比べ，出力画像と色調基準画像のヒストグラムの類似度の方が全てにおいて 1 に近いことが分かる．このことより，入力画像から動物体候補領域が取り除かれ色調統一されていることが分かる．

33

(a) 画像 A(b) 画像 B(c) 画像 C(d) 画像 D(e) 画像 E

図 15 各入力画像に対する空領域と撮影車両の除去結果画像

34

(a) 入力画像 A(b) 色調基準画像(c) 画像全体で色調変換した画像(d) 画像全体での色調変換後の動物体候補
領域の推定(e) 繰り返し処理を行ない色調統一した画像(f) 繰り返し処理後の動物体候補領域の推定(g) 動物体候補領域を色調統一された入力
画像群を用いて補完した画像

図 16 入力画像 A に対する実験結果

35

(a) 入力画像 B(b) 色調基準画像(c) 画像全体で色調変換した画像(d) 画像全体での色調変換後の動物体候補
領域の推定(e) 繰り返し処理を行ない色調統一した画像(f) 繰り返し処理後の動物体候補領域の推定(g) 動物体候補領域を色調統一された入力
画像群を用いて補完した画像

図 17 入力画像 B に対する実験結果

36

(a) 入力画像 C(b) 色調基準画像(c) 画像全体で色調変換した画像(d) 画像全体での色調変換後の動物体候補
領域の推定(e) 繰り返し処理を行ない色調統一した画像(f) 繰り返し処理後の動物体候補領域の推定(g) 動物体候補領域を色調統一された入力
画像群を用いて補完した画像

図 18 入力画像 C に対する実験結果

37

(a) 入力画像 D(b) 色調基準画像(c) 画像全体で色調変換した画像(d) 画像全体での色調変換後の動物体候補
領域の推定(e) 繰り返し処理を行ない色調統一した画像(f) 繰り返し処理後の動物体候補領域の推定(g) 動物体候補領域を色調統一された入力
画像群を用いて補完した画像

図 19 入力画像 D に対する実験結果

38

(a) 入力画像 E(b) 色調基準画像(c) 画像全体で色調変換した画像(d) 画像全体での色調変換後の動物体候補
領域の推定(e) 繰り返し処理を行ない色調統一した画像(f) 繰り返し処理後の動物体候補領域の推定(g) 動物体候補領域を色調統一された入力
画像群を用いて補完した画像

図 20 入力画像 E に対する実験結果

39

表 4 色調基準画像とのヒストグラムの類似度
画像
入力画像 A

入力画像 B

入力画像 C

入力画像 D

入力画像 E

R(赤)

G(緑)

B(青)

変換前

0.842915 0.899684 0.887715

変換後

0.994531 0.992586 0.991657

変換前

0.958549 0.970392 0.966919

変換後

0.994330 0.992176 0.991820

変換前

0.971788 0.974016 0.969798

変換後

0.995559 0.993571 0.993449

変換前

0.903612 0.926573 0.925197

変換後

0.994438 0.990960 0.992044

変換前

0.920331 0.934636 0.930606

変換後

0.991369 0.981754 0.985673

5. まとめと今後の課題
本研究ではイメージベースドレンダリングやモデルベースドレンダリングの手法によって新視点映像を生成する際に必要となる全天球画像データベースの作成を目的とし，色調統一と動物体除去を行なう手法を提案した．提案手法では線形濃度変換パラメータの推定処理と動物体候補領域の推定処理の二つの処理を交互に繰り返し行なうことで，従来，照明条件が異なる画像間では動物体検出が困難であったこと，また動物体が存在する画像間では色調統一が困難であったことを解決し，高精度な動物体除去かつ動物体にロバストな色調統一を実現した．
実験から，画像を一度だけ分割小領域に分けるのでなく，繰り返し動物体候補領域と推定された処理対象領域の分割を行ない線形濃度変換パラメータの推定と動物体候補領域の推定を行なうことで，より色調基準画像に近い色調に補正されることが分かった．これは，動物体候補領域と推定された処理対象領域には線形
濃度変換パラメータの異なる領域が多く含まれているためである．また，実験からテクスチャが複雑に入り組む部分や周期的な部分は位置合わせが正しく行なわ

40

れず，テクスチャの形状が歪になることが分かった．これは道路の部分に注目するとよくわかる．入力画像では周期的なパターンでテクスチャが表現されているが，動物体候補領域の補完を行なった画像では，テクスチャがずれている場所が見られる．これは位置合わせをする際のテンプレ―トの大きさが小さかったことが原因だと考えられる．
今後の課題として，動物体を補完する際の位置合わせの精度の向上や，動物体の大きさに応じた位置合わせ時のテンプレートの大きさの自動決定などが挙げられる．さらに物体の一部が空領域として誤検出された問題に対して，空領域の高精度な検出方法の検討も挙げられる．また，分割小領域での色調統一を反射特性の同じ物体に色調変換処理を行なうことで，より正確な色調統一が可能だと考え
られる．

41

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜りました視覚情報メディア講座横矢直和教授に心より感謝いたします．本研究を進めるにあたり，有益な
御助言，御指導を頂きました知能情報処理学講座木戸出正継教授に厚く御礼申し上げます．本研究を通じて，温かい御指導をして頂きました視覚情報メディア講座山澤一誠准教授に深く感謝いたします．そして，本研究を行うにあたり，多大なる御助言，御鞭撻を賜った視覚情報メディア講座，神原誠之助教に深く御礼申し上げます．また，本研究の遂行に適切な御助言を頂きました視覚情報メディア
講座，佐藤智和助教に心より感謝いたします．特に，神原誠之助教には本研究のテーマ設定から本論文の執筆，発表練習に至るまで大変細やかな御指導を頂きました．さらに本研究の全過程を通して無数の御助言，御指導を賜った視覚情報メディア講座，堀磨伊也氏に心より深く感謝いたします．研究室において物心両面において常に暖かい御支援を頂いた，視覚情報メディア講座，高橋美央女史に厚く御礼申し上げます．最後に，研究活動だけでなく日々の生活においてもお世話になりました視覚情報メディア講座の諸氏に深く感謝いたします．

42

参考文献
[1] S. Ono, K. Ogawara, M. Kagesawa, H. Kawasaki, M. Onuki, K. Honda andK. Ikeuchi: “Driving view simulation synthesizing virtual geometry and real images
in an experimental mixed-reality traﬃc space,” Proceedings of the 4th IEEE andACM International Symposium on Mixed Augmented Reality (ISMAR), pp. 214–
215, 2005.
[2] M. Hori, M. Kanbara and N. Yokoya: “Novel stereoscopic view generation by
image-based rendering coordinated with depth information,” Scandinavian Conference on Image Analysis (SCIA2007), pp. 193–202, 2007.
[3] R. Sato, S. Ono, H. Kawasaki and K. Ikeuchi: “Real-time image-based renderingsystem for virtual city based on image compression technique and eigen texture
method,” International Conference on Pattern Recognition (ICPR08), 2008.
[4] H. Amirshahi, S. Kondo, K. Ito and T. Aoki: “An image completion algorithm
using occlusion-free images from internet photo sharing sites,” IEICE Transactions
on Fundamentals of Electronics, Communications and Computer Sciences, Vol. 91,
No. 10, pp. 2918–2927, 2008.
[5] G. Finlayson, S. Hordley and M. Drew: “Removing shadows from images,”
Proceedings of the 7th European Conference on Computer Vision-Part IV(ECCV2002), pp. 823–836, 2002.
[6] 森田, 岩井, 谷内田: “室内における背景画像の推定と影の除去”, 情報処理学会論文誌, CVIM, [コンピュータビジョンとイメージメディア], Vol. 44, No. 9, pp. 105–114,
2003.
[7] N. Moroney: “Local color correction using non-linear masking,” Color Science andEngineering Systems, Technologies, Applications, pp. 108–111, 2000.
[8] S. Snavely, S. Seitz and S. Richard: “Photo tourism:exploring photo collections in3d,” ACM Transactions on Graphics (SIGGRAPH2006), Vol. 25, 3, 2006.
[9] 都築, 藤吉, 金出: “Sift 特徴量に基づく mean-shift 探索による特徴点追跡”, 情報処
理学会研究報告, CVIM, [コンピュータビジョンとイメージメディア], Vol. 2007, No.
1, pp. 101–108, 2007.

43

[10] X. Jianxiong, F. Tian, Z. Peng, L. Maxime and Q. Long: “Image-based street-side
city modeling,” ACM Transactions on Graphics (SIGGRAPH Asia 2009), Vol. 28,
No. 5, pp. 1–12, 2009.
[11] P. Beardsley, A.Zisserman and D. Murray: “Sequential updating of projective andaﬃne structure from motion,” International Journal of Computer Vision, Vol. 23,
No. 3, pp. 235–259, 1997.
[12] 堀, 神原, 横矢: “被写体距離を考慮した image-based rendering による広域屋外環境の両眼ステレオ画像生成”, 画像の認識・理解シンポジウム (MIRU2007) 講演論文集,
pp. 303–309, 2007.
[13] 浅井, 神原, 横矢: “全方位レンジデータと全方位画像の統合による屋外環境の三次元モデル化”, 画像の認識・理解シンポジウム (MIRU2004) 講演論文集, pp. 808–813,
2005.
[14] L. Marc and H. Pat: “Light ﬁeld rendering,” ACM Transactions on Graphics(SIGGRAPH2006), pp. 31–42, 1996.
[15] S. K. Nayar: “Shape from focus system,” IEEE Computer Society Conferrence on
Computer Vision and Pattern Recognition (CVPR1992), pp. 302–308, 1992.
[16] H. N. Nair and C. V. Stewart: “Robust focus ranging,” IEEE Computer Society
Conferrence on Computer Vision and Pattern Recognition (CVPR1992), pp. 309–
314, 1992.
[17] 佐藤, 池田, 横矢: “自然特徴点を利用したマルチベースラインステレオによる全方位奥行き画像推定”, 情報科学技術フォーラム 情報科学技術レターズ, Vol. 3,
pp. 161–164, 2004.
[18] 金出, 蚊野, 木村, 川村, 吉田, 織田: “ビデオレートステレオマシンの開発”, 日本ロボット学会誌, Vol.15, No.2, pp. 261–267, 1997.
[19] 平原, 渡邊: “複数移動物体が存在する環境下での状況認識・呈示の研究”, 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解, Vol. 101, No. 713,
pp. 209–216, 2002.
[20] 三井, 浅間, 羽田, 川端, 山口: “エレベータ内映像からの人の移動軌跡の計測”, ロボ
ティクス・メカトロニクス講演会講演概要集, vol. 2005, p. 190, 2005.
[21] 佐久間, 堀田: “動画像からの移動物体の抽出と速度推定”, 愛知工業大学研究報告,
Vol. 40, , 2005.

44

[22] 天本, 藤井: “画像処理技術による障害物検出と移動物体追跡方法”, 電子情報通信学会論文誌, Vol. 81, No. 4, pp. 527–535, 1998.
[23] 渡辺, 前田: “人が放置する物体の動的認識”, 日本機械学會論文集, Vol. 72, No. 720,
pp. 2580–2587, 2006.
[24] 富永, 小松, 宮下, 花村: “階層画素情報を用いた動画像における動き量検出方式”,
電子情報通信学会論文誌. D-2, 情報・システム. 2, パターン処理, Vol. 72, No. 3,
pp. 395–403, 1989.
[25] 福地, 山下, 金子, 三浦: “時空間画像処理による雨天時画像からの視野妨害ノイズ除去”, 映像情報メディア学会誌 : 映像情報メディア, Vol. 62, No. 5, pp. 771–777,
2008.
[26] 仲西, 塩, 石井: “時空間画像処理による走行車両像自動抽出法”, 電子情報通信学会
論文誌. D-II, 情報・システム, II-情報処理, Vol. 77, No. 9, pp. 1716–1726, 1994.
[27] 上条, 坂内: “時空間 mrf モデルに基づく車両と歩行者の統一的トラッキング”, 情報処理学会研究報告, CVIM, [コンピュータビジョンとイメージメディア], Vol. 45,
No.13, pp. 54–63, 2004.
[28] 日浦, 山口, 佐藤, 井口: “距離画像と濃淡画像の融合による任意形状物体の実時間追跡”, 電子情報通信学会論文誌, Vol. 80, No. 11, pp. 2904–2911, 1997.
[29] 川上, T. T. Robby, 池内: “光源環境の変化を利用した物体の色推定”, 画像の認識・理解シンポジウム, 2004.
[30] 川上, T. T. Robby, 池内: “光源色の違いを利用した単画像からのロバストな物体色推定”, 画像の認識・理解シンポジウム, 2005.
[31] 運天, 池内: “テクスチャマッピングにおける擬似 albedo に基づく色調補正手法 : 点
光源下の画像及び一般光源環境での画像への拡張”, 電子情報通信学会論文誌, Vol.
87, No. 12, pp. 2156–2164, 2004.
[32] S. R. Marschner and D. P. Greenberg: “Inverse lighting for photography,”
IS&T/SID Fifth Color Imaging Conference, pp. 262–265, 1997.
[33] E. Hsu, T. Mertens, S. Paris, S. Avidan and F. Durand: “Light mixture estimation for spatially varying white balance,” ACM Transactions on Graphics (SIGGRAPH2008), Vol. 27, No. 3, pp. 1–7, 2008.

45

[34] 池田: 全方位マルチカメラシステムを用いた高臨場感テレプレゼンスシステムの構築手法に関する研究, PhD thesis, 奈良先端科学技術大学院大学 博士論文, 2006.
[35] 山本, 塚田, 北原, 亀田, 大田: “屋外型複合現実感システムにおけるカメラ間の色補正”, 電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環境基礎, No. 105,
256, pp. 49–54, 2005.
[36] 土田, 川西, 村瀬, 高木: “背景差分法による物体検出を目的とした逐次モンテカルロ法による背景推定”, 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理, Vol. 87, No. 5, pp. 1062–1070, 2004.
[37] 霧生, 北澤: “移動物体抽出における一時静止物体・ゴースト・影の統一的処理手法”,
電子情報通信学会技術研究報告. SIP, 信号処理, Vol. 107, No. 22, pp. 7–12, 2007.
[38] D. Massart, L. Kaufman, P. Rousseeuw and A. Leroy: “Least median of squares: arobust method for outlier and model error detection in regression and calibration,”
Analytica Chimica Acta, Vol. 187, pp. 171–179, 1986.
[39] 佐藤, 神原, 横矢, 竹村: “マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元”, 電子情報通信学会論文誌, Vol. 86, No. 10, pp. 1431–1440, 2003.

46

研究業績
1. 高橋 英之, 堀 磨伊也, 神原 誠之, 横矢 直和, ”全天球画像データベース作成のための照明条件の統一と動物体の除去”, 情報科学技術フォーラム (FIT) 一般講演論
文集, Vol. 3, pp. 175-178, Sep. 2009.
2. 高橋 英之, 堀 磨伊也, 神原 誠之, 横矢 直和, ”全天球画像データベース作成のための色調統一と動物体の除去”, 電子情報通信学会 技術研究報告, MVE2009-40, Oct.
2009.

47