フォトモザイクを利用した写真閲覧の一手法
坂本季穂 （指導教員：伊藤貴之）に小さい写真を色情報に基づいて選択し，タイル状に並べるという典型的な方法をとっているものが多い．鵜飼ら[5]は，ウェブ上のコミュニケーションを目的としており，色情報に加えフォトモザイクの類似性よりも生成速度を重視している．また小島ら[6]は，さらにブロック画像中の複数の特徴点を取ることで，色と形の 2 つの情報によってフォトモザイクを生成する．このような写真ブラウザは写真の整列順が色や形の局所的な類似度以外の意味を持たず，任意の写真を探す上で便利とはいえない．そこで本研究では，従来の生成方法とは異なる，時系列順に整列したブロック画像によるフォトモザイク風の画像生成手法を提案する．

1. 概要
近年，カメラのデジタル化や小型軽量化により，個人の所有する写真の枚数が膨大になることが多くなった．これにともない，記憶媒体に蓄積され続ける大量写真を一覧可視化させる写真ブラウザに関する研究[1][2]が数多く発表されてきた．
本研究では，写真閲覧を通して思い出に浸る楽しみを増やすことを目的として，大量写真の一覧可視化に加えアーティスティックな表現要素のある写真ブラウザの実現を考えた．そこで我々はまず，フォトモザイクという写真の表現技法に注目した．フォトモザイクとは無数の小さなタイル状の写真を並べることで生成される 1 枚の大きな画像である．フォトモザイクには，遠くから見ると 1 枚の画像であり，近づいて見ると個々の小さい写真であるという特徴がある．本研究はこの表現技法を組み合わせた写真ブラウザの開発のためにズーム率に合わせた詳細度制御を設けている CAT[1]に着目した．本研究の 2.1 節において詳しく説明する．
本研究の前半では CAT の代表画像にフォトモザイクを採用した写真ブラウザを提案し，後半ではフォトモザイクの元画像としてどのような写真を採用するのが望ましいかを明らかにするためのアンケート集計結果を報告する．

3. 写真ブラウザのためのフォトモザイク生成手法
本章ではフォトモザイクを各クラスタの代表画像にすることで，スムーズなズーム操作インタフェースを実現する写真ブラウザを提案する．
以下，フォトモザイク生成のために参照する画像を「代表画像」と称し，代表画像を格子状に分割した各領域にはめ込む画像を「ブロック画像」と称する．本手法が搭載するフォトモザイク生成手法は，個々の写真の探しやすさや撮影順を追うように閲覧することを意識し，ブロック画像を撮影時刻順に並べる．そして，並べたブロック画像に対して色を加工することで，個々の画像の色合いを元画像に近づける．このとき，与えられた画像数よりもブロック数の方が多い場合には，前者を時系列順に沿って反復的にブロックに埋めるものとする．
本手法では色の加工のために HSB 表色系を用いる．HSB値表色系とは，色相 Hue，彩度 Saturation，明度 Brightnessを 3 軸とするカラーモデルである．ここで本手法は，代表画像とブロック画像の HSB 値から，生成するフォトモザイクを構成する各画像の RGB 値を算出する．ここでブロック画像全体と代表画像中の対応する領域全体の HSB 値の平均値をそれぞれ，)とし，S 値および B 値について前者に対する後者の比をおよびとする．このときブロック画像の各画素における HSB 値に対して以下の数式を適用することでブロック画像の色を加工する．

2. 関連研究2.1 ズーム操作インタフェースを有する写真ブラウザ
本研究では大量写真を多階層にクラスタリングし，各クラスタから代表画像を選出する CAT[1]を利用している．
これは「平安京ビュー」[3]という大規模階層型データ可視化手法の配置アルゴリズムに基づいて，各クラスタを表わす長方形領域ごとに写真群を表示する．さらに CAT はズーム率に合わせた詳細度制御を設けており，ズームアウト時には図 1(左)(中)のように高階層クラスタまたは低階層クラスタの代表画像を表示し，ズームイン時には図 1(右)のように各々の写真表示に切り替える．写真ブラウザ
PhotoMesa[2]にもズーム操作は搭載されているが，ズームアウト時に適切な大きさおよび形状で代表画像を表示するという方針に基づくズーム操作型写真ブラウザは我々が調べる限り CAT が初めての手法である．

この HSB 値の変換によって，ブロック画像の色相は代表画像の対応する部位の色相に置き換えられる．また，ブロック画像中の彩度および明度の影響を受けつつも，ブロック画像中の各画素の値の変化率は保存される．
以上の方法で生成されたフォトモザイク風の画像，図2(左)は 174 枚の写真を使って生成されたフォトモザイクであり，ブロックの大きさは縦 45 画素，横 60 画素である．
ブロックは全部で 5265 箇所あるため同一画像が約 30 回反復使用されている．この画像を一部拡大表示した図 2(右)を見ると各々のブロックに建物や樹木が写っており，それ

図 1 CAT のズーム操作による写真表示例(左)(中)ズームアウト時は代表画像を表示(右)ズームイン操作により各々の写真を表示

2.2 フォトモザイク
フォトモザイクの生成手法には AndreaMosaic[4]のよう75

らの色合いは実物とは全く異なるが，シルエットの形状からそれらは建物や樹木であることが理解できる．このフォトモザイク風の画像を CAT に組み込むことで，ズームイン時には各々のブロックの色合いだけが各々の画像のものに置き換わり，スムーズに各画像の表示に切り替わる．

また，図 4 から分かるように，建物などがメインに写る風景写真の中でも，ビッグベンやロンドンタワーが高評価を得ている．これは，有名であるというのも高評価を得た一つの要因であったとも考えられるが，それと同時にこれらの写真が他の写真に比べ，建物と背景との間に大きな色の差を持っていたということも高評価を得た一因だったかもしれないと我々は考えた．もしこの色差の大きい画像が代表画像としてふさわしいと判断できるならば，代表画像の自動選出に利用可能である．さらに色差に基づく画像選出であれば，少なくとも真っ暗な画像や全体的に単色である画像は選出されにくくなる．これらについては今後の課題として検討したい．

0%

図 2(左)本手法で生成したフォトモザイク(右)一部拡大したもの

ロンドンの兵隊
ビッグベン
街の風景
ビッグ・オー
船浮かぶ海宮殿
ロンドンタワー
ビッグ・オー light

4. 代表画像自動選出手法に向けてのユーザテスト
CAT のようなズーム操作インタフェースを有する写真
ブラウザにおいて代表画像の自動選出はユーザが手軽に利用するための重要な課題である．代表画像の自動選出はそれ自体が難しい問題であり既に多くの研究が発表されている[7]．本研究においても代表画像の自動選出が大きな課題であるが，それ以前に，一般的な写真とフォトモザイク画像は代表画像として選択する上で，基準に違いがあるか否かという議論が必要であると考えた．
そこで我々はまず，どのような画像がフォトモザイクとなって表示される代表画像にふさわしいと感じるかを知るためユーザアンケートを実施した．ここで回答者には，旅行別にフォルダ分けされたいくつかの写真群からそれぞれ代表画像としてふさわしいと感じるのはどれかといった 6 項目の質問に答えてもらった．各フォルダには 4～8枚の本手法で生成したフォトモザイクが含まれており，該当画像を一枚ずつ閲覧しながらそれが代表画像にふさわしいかどうか 5 段階評価してもらった．なお被験者は 28人であり，提示する写真に関わりのある回答者および無関係の回答者が含まれる．
図 3 からわかるように，人物がメインに写る画像が対象の場合，集合写真やアップ写真のように撮影距離が極端に遠いもしくは近いような画像はあまりいい評価を得られていない．これはモザイクにより人物の顔がつぶれてしまっているからだと考えられる．また，被写体の知人であっても人物特定ができない場合があり，被写体を知らない人にとっては人物特定は不可能であった．これは個人情報の保護につながるのではないかと考えられる．本手法をウェブ上に掲載する際にズームできる閲覧者を限定することにより，被写体の個人情報を守りつつ，イベントの雰囲気を閲覧者全員に伝えることができる．

0%

50%

背景・４人
有名背景・４人
２人アップ
集合写真
建物・４人
３人アップ
イベント・５人
１人アップ

50%

100%
1
2
3
4
5

図 4 風景の写る写真のアンケート結果

5. まとめと今後の課題
本研究では前半にフォトモザイクを活用した写真ブラウザについて提案し，後半にはどのようなフォトモザイクが代表画像にふさわしいかを調べるためのアンケート結果について述べた．
今後の課題は，ブロック数や大きさについてこのままで適切かどうか再検討することと，より快適に写真を閲覧できる機能を考えることがあげられる．またアンケート結果から代表画像にふさわしい画像の特徴を発見し，そのふさわしい画像を選出させる手法を考えたい．

参考 文献[1] 五味，宮崎，伊藤，Li，CAT: 大量画像の一覧可視化と詳細度制御のための GUI， 画像電子学会誌，Vol. 38,
No. 4, pp. 436-443, 2008．
[2] B. Bederson, PhotoMesa: A Zoomable Image Browser
Using Quantum Treemaps and Bubblemaps, User Interface
Software and Technology, pp. 71-80, 2001.
[3] 伊藤，山口，小山田，長方形の入れ子構造による階層型データ視覚化手法の計算時間および画面占有面積の改善，可視化情報学会論文集，Vol. 26, No. 6, pp. 51-61,2006.
[4] AndreaPlanet,AndreaMosaic,100%

http://www.andreaplanet.com[5] 鵜飼，中，遠藤，山田，宮崎，フォトモザイクアート
を用いたウェブコミュニケーションシステム，信学技法，Vol. 108, No. 128, MVE2008-31, pp. 25-30, 2008.
[6] 小島，高橋，岡田，視覚特性を考慮した装飾的フォト
モザイク，情報処理学会論文誌, Vol. 49, No. 7, pp.
2703-2711, 2008．
[7] C.-H. Yeh, Y.-C. Ho, B. A. Barsky, M. Ouhyong,Personalized Photograph Ranking and Selection System,
ACM Multimedia, pp. 211-220, 2010.

12
3
45

図 3 人物がメインに写る写真のアンケート結果

76