大量写真閲覧のためのフォトモザイク生成の一手法
理学専攻 情報科学コース

坂本季穂（指導教員：伊藤貴之）

概要

1

近年、大量写真を扱った写真ブラウザに関する研究 [1]が数多く発表されている．これに加え，ユーザの興味を促進させる写真ブラウザを開発したいと考え，フォトモ

(a)

(b)

(c)

(d)

ザイクという小さい写真をタイル状に並べて作る画像を活用する一手法を提案する．多くの場合，写真は時系列順に閲覧される．そこで本手法は，一般的な生成手法ではなく，時系列順にタイル状に並べた写真群の色変換によってフォトモザイク風の画像生成を実現した．これをズーム操作型の写真ブラウザ CAT[2] に搭載し，ズームアウト時に写真群の代表写真としてフォトモザイクを，ズームイン時に個々の写真が閲覧できる写真ブラウザを提供する．また，ユーザの手動設定を減らすため，本論

図 1: 本手法のフォトモザイクを搭載した写真ブラウザるかを 5 段階評価した．本章でこの評価結果をもとに，風景写真と人物写真について適切さの条件について述べる．

3.2

風景写真における条件

前景物と背景の色差が重要であると考えた．色差が大文では，代表写真を自動選出するための手法を提案する．

きいフォトモザイクは前景物が背景と明確に分離し前景フォトモザイクを活用した写真ブラウザ物の推察が容易だが，同系色が領域を多く占める場合，本手法で生成するフォトモザイクは，個々の写真の探両者が同化し推察が困難となる．また，前景物が大きくしやすさや撮影順に閲覧することを意識しブロック写真中央に位置する写真がフォトモザイクに適すると考えた．

2を時系列順に並べる．また，フォトモザイクの各画素のRGB 値を，ブロック写真の対応する各画素の彩度・明度と，ブロック写真が貼付けられる範囲における代表写真の色相の平均から求める．これにより，ブロック写真の明暗を保持し，さらに代表写真の色合いを保持する．
本手法で生成したフォトモザイクを CAT に搭載した結果を図 1 に示す．ズームアウト時はユーザの選択した代表写真のフォトモザイクを表示し (図 1(a))，ズームインに3.3

写る人物の顔領域の大きさが重要であると考えた．顔領域が大きい場合，背景領域が小さくなり撮影場所の推察が，逆に小さい場合，人物の認証が困難となる．そこで，その中間の顔領域を持つ写真がフォトモザイクに適すると考えた．加えて，3.2 節同様，人物と背景の色差の条件も有効であると考えた．

伴って写真の色をスムーズに元の色に切替え (図 1(b)(c))， 4
さらにズームインすることでブロック写真を大きく表示する (図 1(d))．また，ユーザの興味を促すため，再度ズー
ムアウトすると代表写真がランダムに切替わるようにした．ここで，ユーザの手動設定を減らすため，自動で適切な代表写真を選出しランダム表示させることを考えた．

3

代表写真に適するフォトモザイクの条件

3.1

条件を知るための評価実験

フォトモザイクを自動選出するにあたり，一般的な写真の自動選出手法 [3] とは基準が異なると考え，まず，どのような写真がフォトモザイクとなる代表写真にふさわしいかを知るため評価実験を実施した．被験者 28 人が，本手法で生成したフォトモザイク 41 枚が代表写真に適す

人物写真における条件

風景写真における代表写真の自動選出

4.1自動選出の提案手法

3.2 節の条件をもとに，次の選出手法を提案する．まず，人物の顔が検出されなかった写真を風景写真とする．次に，i 番目の写真について OpenCV で提供される Mean

Shift 法で領域分割を行い，各領域の面積 (画素数) を計算する．その中で最大領域を検出し，その画素数 ai と重心の x 座標と写真の中心の x 座標の差の絶対値 xi を算出する．さらに，その領域と背景の RGB 値の平均値を求め色差 di を算出する．ここで，3.2 章の条件と合わせ，次の関係式を得た．なお，p，q ，r は任意の定数である．

vi = p/ai + qxi + r/di(1)以上の行程を反復させ全ての写真について vi を求める．前景物と思われる画素数最大の領域が写真中央に近差を比較する条件を新たに加えるなどして，図 4 のようなフォトモザイクが生成されるのを回避したい．

くに位置し，その領域と背景の色差が大きい写真，つまx 軸:評価値の平均, y 軸:v 値

り，v の値が小さいほどその写真は代表写真にするフォトモザイクとして適切な写真であると言い換えることができる．ここで v 値が小さい上位数枚の写真をフォトモザイク生成の対象写真とする．

4.2

j

提案手法の実行結果

4.1 節の式より算出された v 値とそれに対応する写真を図 2 に示す．ここでは，定数をそれぞれ p = 3.0 × 107 ,q = 2.0 × 101 , r = 5.0 × 103 として計算した．v 値が小さ102103

104105106107

図 3: 評価値の平均と v 値の関係

い，つまりフォトモザイクとなる代表写真として適切であると判定された写真は図 2 の上段 (a)(b)(c) である．大
きめの前景物が写真中央に位置する写真が選ばれていることがわかる．また，前景物と背景の色差が大きく，前景物を認識することができる．逆に，v 値が大きくフォ

図 4: v 値は小さいが低評価なフォトモザイクの例

トモザイクとするには不適切と判定された写真は図 2 の下段 (d)(e) である．明確に前景物となり得る被写体がな
いうえ，全体的に明暗差が小さく，3 章で述べた条件と5

人物写真における代表写真の自動選出
まず各写真に OpenCV で実装可能な顔認識を適用し，は大幅に隔たりがある．

人物の顔と思われる矩形領域を抽出する．続いて各々の矩形領域の面積を求め，あらかじめ設定する適度な大きさの矩形領域を有する写真を選出する．次に，選出された写真の中から，4.1 節に示した手法と同様に，顔領域(a) v = 783(b) v = 1696(c) v = 1796とその下部を含む矩形領域と背景の色差が大きい写真を選出し，フォトモザイク生成対象写真とする．

6

4.3

今後の課題
風景写真については，4.3 節で新たに発見された色相(d) v = 614596 (e) v = 73590
図 2: 算出された v 値と写真の例に関する条件を加え，図 4 のようなフォトモザイクの選提案手法の実行結果を用いた評価実験の自動選出の提案手法を実行する．そして，双方合わせ以上の実行結果が，ユーザ評価と合致するかを確かめる実験を実施した．被験者 22 人に，本手法で適切および不適切であるとして選抜された写真をもとに生成したフォトモザイク 12 枚が，代表写真として適すると感じるかどうか 5 段階評価をしてもらった．図 3 に被験者 22 人の評価の平均値 (x 軸) と 12 枚の写真の v 値 (y 軸) の関出が回避できたか検証する．人物写真については，5 章て様々な写真群に対応できるようにしたい．

謝辞
評価実験にご協力頂いた方々に感謝申し上げます．

参考文献[1] B. Bederson, PhotoMesa: A Zoomable Image
Browser Using Quantum Treemaps and Bubblemaps, User Interface Software and Technology,
評価を得ていることがわかる．ここで，図 3 の円で囲ん
pp. 71-80, 2001.
だ，v 値は小さいが低評価を得てしまったフォトモザイ
[2] A. Gomi, et al., CAT: A Hierarchical Image Browser
クを図 4 に示す．これらに共通する点として，前景物とUsing a Rectangle Packing Technique, 12th International Conference on Information Visualization, pp.
背景に明暗の差はあるが，色相が似すぎて全体が同化し82-87, 2008.ていること挙げられる．本手法で搭載する式 (1) は，色[3] W.-T. Chu, et al., Automatic Selection of Represen差を RGB 値の平均値の差として取得している．色差のtative Photo and Smart Thumbnailing Using NearDuplicate Detection, ACM Multimedia, pp. 829-832,
算出の仕方を RGB 値ではない方法に，もしくは色相の2008.
係を表した散布図を示す．v 値が小さい写真の多くが高