WISS2011

人物の共起性を配置に反映した大量個人写真ブラウザ
A browser for large personal photo collections arranged based on co-occurrence of people

安田 理紗

五味 愛

伊藤 貴之∗

Summary. 本報告では，一緒に写ることの多い人物の写真が画面上で近くに配置される写真ブラウザの一手法を提案する．本手法では大量の個人写真に対し，撮影日時をもとにクラスタリングを適用し，イベントを自動検出する．続いて，各クラスタ中の写真に写る人物の共起性をもとに，可視化手法 FRUITS Netの配置アルゴリズムを適用し，クラスタの配置を決定し，可視化する．これによりユーザは，自身が持つ写真群の全貌を容易に把握できる．また同一人物が写る写真が近くに配置されることで，配置にはコミュニティが反映され，コミュニティに沿った写真の閲覧という新しい楽しみ方を提案できると考える．

1

はじめに近年のデジタルカメラの普及に伴い，個人が所有する写真のデジタルデータは膨大な量となっている．
そのような大量の写真の管理はユーザの大きな負担となり，写真の自動分類は重要な課題である．一方，
138 人の学生を対象にアンケート調査を実施したところ，主な被写体は何かという問いに対し，人物と回答した人は，デジタルカメラを所有している人の85 %にのぼった．よって，個人写真の被写体として，人物は重要な要素であるといえる．
以上を踏まえ我々は，被写体としての人物に基づいて写真を自動分類し，一緒に写ることの多い人物の写真が画面絵で近くに配置される写真ブラウザの一手法を提案する．本手法では，まず写真群を撮影日時に基づいてクラスタリングし，クラスタ毎に代表画像を選出する．多くの場合において，このクラスタリングは撮影者のイベントを自動検出することに相当する．続いて各クラスタ中の写真群に写る人物の共起性に基づいて，各クラスタの画面上の配置を決定し，代表画像を表示する．これにより，ユーザは自身が持つ写真群の全貌を容易に把握でき，興味の対象となる写真を短時間で発見できる．また共起性の高い人物が写る写真が近くに配置されることで，配置結果にはコミュニティが反映される．一般的に写真は時系列に沿って閲覧されることが多いのに対して，本手法を用いた写真閲覧はコミュニティに沿った新しい写真閲覧をもたらし，思いがけない気づきにつながると期待できる．

2

関連研究

個人写真を管理・閲覧するために商用ソフトウェ
アとして，Picasa(Google) や iPhoto(Apple) が有∗

Copyright is held by the author(s).
Risa Yasuda, Ai Gomi, and Takayuki Itoh, お茶の水
女子大学大学院 人間文化創成科学研究科

名である．これらは撮影場所・日時・人物などのメタ情報から写真を管理・閲覧する機能をサポートしている．しかし，人物に着目すると，特定の人物が写る写真の検索機能は優れているが，写真の一覧表示に人物情報が活用されているとは言い難い．
写真ブラウザの中で本研究に近い先行研究として，著者らによる CAT[1] と MIAOW[2] があげられる．
CAT は大量画像に対して 2 段階のクラスタリングを適用して階層型データを構築し，その階層構造を長方形領域の入れ子構造で表現する．このとき各クラスタから代表画像を選出し，ズームアウトによる全体表示時には各クラスタを代表画像で表し，ズー
ムイン操作により局所的に各画像を表示することで，対話的操作による詳細度制御を実現する．
MIAOW は CAT の拡張手法であり，写真を撮影日時や撮影場所でクラスタリングし，その時間関係や位置関係を反映するように写真群を画面配置する．
また写真の被写体である人物を共起性でクラスタリングすることで，写真を人物から検索しやすくする．
しかし MIAOW による写真の画面配置には，人物の共起性は反映されない．
CAT や MIAOW が採用する長方形配置アルゴリ
ズムは，以下の 2 条件
配置条件 1 画像，クラスタどうしの遮蔽回避
配置条件 2 画像群の配置占有面積の低減を満たしている．それに対して本手法が採用する長方形配置アルゴリズムは，FRUITS Net[3] というネットワーク可視化手法によるものである．FRUITSNet とは，1 個以上のアイテムが各ノードに付加されたネットワークに対して，同一アイテムを共有するクラスタ間に架空のエッジを追加し，力学モデルを用いてエッジの長さを適正化した配置結果を算出し，空間充填モデルを併用することでクラスタ間の重なりを回避する．FRUITSNet では上述の配置条
件 1,2 に加えて，WISS 2011

配置条件 3 共通アイテムを持つノードの近隣性
配置条件 4 エッジ長の総計，交差数の低減も同時に満たす画面配置を実現する．

3提案手法

本手法で用いる各々の写真には，撮影日時が記録されているものとする．また前処理として，GooglePicasa APIs を用いて人物を識別し，各人物に IDを割り当て，この ID をメタ情報として各写真が保持するものとする．

3.1

階層型データの構築

本手法では，写真の撮影日時に基づいて 2 段階のクラスタリングを適用する．本処理では写真群を撮影日時順に並び変え，前後 2 枚の写真の撮影時間間隔が α 以上あいていたら新しいクラスタを生成する．
我々は α = 24(時間) としたが，ユーザに応じて調節することが望ましい．そして生成されたクラスタを高階層クラスタとし，各々の高階層クラスタが 1イベントを表す．各高階層クラスタについて，含まれている写真群のを撮影日時の日に着目し，日付が変わる毎に区切り，低階層クラスタとする．

3.2

代表画像の選出

続いて各低階層クラスタについて，tf-idf 法を用いてキーパーソンを決定する．次に，低階層クラスタに含まれる撮影日時順に並び変えられた写真群に対して，前後 2 枚の写真の撮影間隔が短い順に再度写真群の並び変えを行う．先頭の写真から順に，キーパーソンが写っているか判定し，最初にキーパーンが写っていると判定された写真を代表画像とする．
尚，1 枚も人物が含まれないクラスタについては並び変え後に先頭となった写真を代表画像とする．以上の手法を採用した理由は以下のとおりである．まず我々は，写真群全体の出現頻度に対して，特定クラスタでの出現頻度の高い人物を，そのクラスタにおけるキーパーソンであると判断した．さらに我々は，撮影間隔の短い写真は，撮影者が集中して撮影をしている重要なシーンであり，そのシーンにおいてキーパーソンを含む写真が代表写真にふさわしい写真と判断した．
高階層クラスタの代表画像には，含まれる低階層クラスタのうち，最も写真枚数の多い低階層クラスタの代表画像を採用した．
なお本手法においても，階層型データを構成する写真群の表示において，CAT と同様に詳細度制御機能を設けている．

4

リングにより生じた高階層クラスタ数は 50，低階層クラスタ数は 79 であった．
可視化結果を図 1 に示す．この結果において，写真 1 枚が 1 つのイベントに該当し，写真群の全貌を一目で把握できる．また，ズームイン操作により局所的に各写真を表示する．このとき，人物ボタンで人物を選択すると，選択された人物が写るイベントがピンク色の枠でハイライトされる．日付ボタンで日付を選択すると，該当する日付のイベントがオレンジ色の枠でハイライトされる．ここでは研究室卒業生を選択しているが，右下部にイベントが集中していることがみてとれることから，確かに写真の配置に人物が反映されているといえる．この例からは，研究室，大学の友人，高校の友人，家族，恋人，恋人の家族といったコミュニティが，配置結果から観察された．

実行結果

我々は，1368 枚の写真を対象に，19 の人物に IDを割りあてて可視化を試みた．このとき，クラスタ

図 1. 可視化結果．

5

まとめ

本報告では，人物の共起性を配置結果に反映した大量個人写真の一覧可視化手法について提案した．今後の課題として，クラスタリング手法および代表画像選出方法の再検討，GUI の機能の拡充，Android携帯エミュレータ上での実装などに着手したい．

参考文献[1] A. Gomi, R. Miyazaki, T. Itoh, J. Li, CAT: A
Hierarchical Image Browser Using a Rectangle
Packing Technique, International Conference on
Information Visualization, 82-87, 2008.
[2] A. Gomi, T. Itoh, A Personal PhotographBrowser for Life Log Analysis based on Location,Time, and Person, ACM Symposium on AppliedComputing, 1250-1257, 2011.
[3] T. Itoh, C. Muelder, K.-L. Ma, J. Sese, A Hybrid
Space-Filling and Force-Directed Layout Methodfor Visualizing Multiple-Category Graphs, IEEE
Pacific Visualization Symposium, 121-128, 2009.