WISS2014

大量写真閲覧のためのフォトモザイク生成の一手法
坂本季穂

伊藤貴之∗

概要. 本論文ではフォトモザイクを写真ブラウザに活用する一手法を提案する．フォトモザイクは小さい写真をタイル状に並べて 1 枚の大きな画像を作る技法である．本手法はズーム操作型の写真ブラウザ CATにこれを搭載し，ズームアウト時にはフォトモザイクを表示し，ズームイン時には個々の写真が閲覧できる仕組みを提供する．多くの場合において写真は時系列順に閲覧される．そこで本手法では一般的なフォトモザイクの生成手法ではなく，時系列順にタイル状に並べた写真群の色変換によってフォトモザイク風の画像生成を実現する．本論文ではフォトモザイク生成結果のユーザアンケートから，フォトモザイク化するのに適切な写真とはどういう写真であるかを議論する．

1

はじめに大量の写真を扱った写真ブラウザに関する研究や開発が近年数多く発表されている [1] [2]．本研究では，楽しく印象的に写真を閲覧したいという思いから，大量の写真を一覧表示するだけでなく芸術性を取り入れた新しい写真ブラウザの開発に取り組んだ．
ここで大量写真の表現技法として，多数の小さな写真をタイル状に並べて大きな 1 枚の画像を生成するフォトモザイクに着目した．フォトモザイクは遠くから見ると一枚のシーン，近くで見るとそれを構成する一枚一枚の写真として楽しめる．本研究では大規模写真ブラウザ CAT[2] にフォトモザイクを適用する．CAT は大量の写真を階層的に分類し，ズームアウト時にクラスタの代表写真を表示し，ズームイン時にクラスタ内の各写真を表示する．この代表写真としてフォトモザイクを適用することで，その効果を効果的に活用した写真閲覧を実現する．本報
告ではまず，フォトモザイクの新しい生成手法とその CAT への搭載について論じる．続いて，どのようなフォトモザイクが代表写真として適切であるかに関するアンケート結果，およびその結果に沿って代表写真を自動選出する新たな手法について論じる．

2

写真ブラウザのためのフォトモザイク生成手法

本章では，フォトモザイクを各クラスタの代表写真にすることで，スムーズなズーム操作インタフェースを実現する写真ブラウザを提案する．以下，フォトモザイク生成のために参照する写真を「代表写真」と称し，代表写真を格子状に分割した各領域にはめ込む写真を「ブロック写真」と称する．本手法が搭載するフォトモザイク生成手法は，個々の写真の探しやすさや，撮影順を追うように閲覧することを意
Copyright is held by the author(s).
∗お茶の水女子大学

識して，ブロック写真を時系列順に並べる．そして，並べたブロック写真に対して色を加工することで，個々の写真の色合いを元写真に近づける．このとき，与えられた写真数よりもブロック数のほうが多い場
合には，与えられた写真を時系列順に沿って反復的にブロックに埋めるものとする．
本手法では代表写真とブロック写真の HSB 値から，生成するフォトモザイクを構成する各画素のRGB 値を算出する．ここでブロック写真全体の HSB値の平均値を (h1 , s1 , b1 ) とし，代表写真中の対応する領域全体の HSB 値の平均値を (h2 , s2 , b2 ) とし，S 値および B 値について前者に対する後者の比をs12 = s2 /s1 および b12 = b2 /b1 とする．このときブロック写真の各画素における HSB 値 (h, s, b) に対して，以下の数式でブロック写真の色を加工する．

h = h¯2 , s = s × s12 , b = b × b12
この HSB 値の変換によって，ブロック写真の色相は代表写真の対応する部位の色相に置き換えられる．
また，ブロック写真中の彩度および明度は，代表写真の対応する部位の彩度および明度の影響を受けつ
つも，ブロック写真中の明暗は保存される．
以上の方法で生成されたフォトモザイク風の画像を図 1 に示す．図 1（a）は 174 枚の写真を使って生成されたフォトモザイクである．この画像をズームしたものを図 1（b）に示す．さらにズームすると，
図 1（c）のように，本手法で加工したブロック写真の色が，元色に切替わる．このとき，各ブロック写真は色味が変わるだけなので，切り替わりはスムーズである．そのままズームすると，図 1（d）のように大きな写真を閲覧することが可能となる．

3

フォトモザイク生成対象写真の選出に関する評価実験

写真の自動選出はそれ自体が難しい課題であり，既に多くの研究が発表されている [3] [4]．我々はまWISS 2014

(a)

(b)

(c)

ZOOM OUT(d)ZOOM IN

図 1. フォトモザイクとズーム操作ず，どのような写真がフォトモザイクとして表示する代表写真に適切であるかを知るため，ユーザアンケートを実施した．被験者 28 人に対して，本手法で生成したフォトモザイクを閲覧してもらい，代表写真として適切かを 5 段階で評価してもらった．本章ではこの評価結果をもとに，風景写真と人物写真の各々について，フォトモザイクに向いている写真の条件について議論する．

3.1

風景写真における条件評価結果から，前景物と背景の色差が重要であると考えた．色差が大きいフォトモザイクでは，前景物と背景が明確に分離するため，前景物の推察が容易である．一方で，同系色が大半の領域を占めるフォトモザイクでは，前景物と背景が同化してしまい，前景物の推察が困難である．また我々は，前景物が大きく中央に位置するように撮影された写真が，フォトモザイクとして望ましいのではないか，という仮説を立てた．

3.2

人物写真における条件

評価結果から，写る人物の顔のサイズが重要であると考えた．顔のサイズが大きすぎる場合，背景があまり写らないため，撮影場所の推察が困難である．
逆に顔のサイズが小さすぎる場合，人物の推察が困難である．以上から，その間の適度なサイズの顔が写る写真がフォトモザイクにするのに好ましいと考えた．これに加え 3.1 節と同様に，人物と背景の色差が大きい写真がフォトモザイクとして望ましいのではないかと考えた．

4

フォトモザイク生成対象写真の自動選出

前章までに記述した条件にもとづき，以下の写真自動選出手法を開発中である．

4.1 風景写真からの自動選出
3.1 節の議論にもとづいて我々は現在，風景写真からの選出手法を次のように開発している．meanshift 法によって写真を領域分割し，各領域の面積（画素数）と重心を計算し，面積が大きく写真の中央に近い領域を特定する．さらに，その領域と背景の色差を求める．以上の操作を全ての写真について反復し，前景物と思われる領域の面積が大きくかつ写真の中央に位置する写真を選出し，フォトモザイク生成対象写真とする．なお我々の実装では，人物顔が検出されなかった写真を風景写真とする．

4.2 人物写真からの自動選出
3.2 節の議論にもとづいて我々は現在，人物写真からの選出手法を次のように開発している．まず各々の写真に対して顔認識を適用し，人物顔と思われる矩形領域を抽出する．続いて各々の矩形領域の面積を求め，あらかじめ設定された適度な大きさの矩形領域を有する写真を選出する．こうして選出された写真の中から，4.1 節に示した手法と同様に，顔領域と背景の色差が大きい写真を選出し，フォトモザイク生成対象写真とする．

5

今後の課題

フォトモザイク対象写真の自動選出を完成させ，さまざまな写真群に対して本手法を適用し，選出された写真から生成したフォトモザイクがどの程度適切であるかを検証したい．

参考文献[1] J. Yang, et al., Semantic Image Browser: Bridging Information Visualization with AutomatedIntelligent Image Analysis, IEEE Visual Analytics in Science and Technology, pp. 191-198, 2006.
[2] A. Gomi, et al., CAT: A Hierarchical ImageBrowser Using a Rectangle Packing Technique,12th International Conference on Information
Visualization, pp. 82-87, 2008.
[3] G. di Blasi, et al., Fast Techniques for Mosaic
Rendering, Computational Aesthetics in Graphics, Visualization and Imaging, pp. 29-39, 2005.
[4] W.-T. Chu, et al., Automatic Selection of Representative Photo and Smart Thumbnailing Using
Near-Duplicate Detection, ACM Multimedia, pp.
829-832, 2008.