大量写真群からバランスのとれた代表写真群を選出するための一手法
塩谷 祥加(指導教員：伊藤 貴之)

はじめに

1

近年の SNS の普及により，写真の共有がより日常的となった．しかし何千枚といった大量の写真をすべてWeb に掲載するのは非現実である．とはいえ，一枚ずつ写真を確認して代表的な数枚を選び出すのは大変な労力となる．そこで本研究では，大量写真群からさまざまな値の特徴量をもつ写真をバランス良く組み合わせた代表写真群を自動選出して提示する一手法を提案する．本手法ではまず各写真の特徴量を自動算出し，その結果から評価が低い写真群を処理から省く．続いて残った写真群から，ユーザ指定の枚数に応じて仮の代表写真群を選出し，特徴量のバランスのよさを判定する．この処理を反復した結果として，最も特徴量のバランスがよいと判定された写真群を代表写真群として自動選出する．我々の実装では代表写真群の選出結果を表示するユーザインタフェースも提供している．
この画面上で対話的に「選出すべき写真」「選出すべきでない写真」を指定した上で代表写真群の選出を反復することで，ユーザの嗜好を反映して代表写真群の選出結果を調整することもできる．

図 1: 写真の自動選別てないなど）は代表写真に選ばない．

• 一人でも多くの人物が代表写真群の最低 1 枚に，いい表情をして写っているように代表写真を選ぶ．

関連研究

2

• 集合写真がある場合には，最低 1 枚の集合写真を代表写真に選ぶ．

写真評価に関する研究は既に数多く発表されている．
写真の色や構図を評価し [1,2]，さらには人物の表情や数も特徴量に加えて評価を行っている [3,4]．また写真をランク付けし高評価な写真群を自動選出する技術も存在する [5,6]．その上，自動で選出された写真を写真アルバムとして編集し商品化するサービスも行われている [7]．

• 多くの場所を撮影している場合には，できるだけその各所の写真を代表写真に選ぶ．
これらの基準をもとにして，バランスが良い写真群を選出するために，「人物の数」「人物の表情」「ピント」「鮮やかさ」の特徴量を算出することで写真を評価し，各評価値をファイルに保存する．また評価値が低い写真群を第 3 群に自動分類する．

提案手法

3

本手法においては，同じ被写体の写真が多数選出されることを防ぎ，さまざまな人物や風景，場面の写真からそれぞれバランスよい枚数で写真を選び出すことを目指す．
本手法では，写真群を大きく分けて以下の 3 つのグループに分類する．

3.2

評価が高く（＝特徴量ベクタが長い），かつ特徴が異なる（＝特徴量ベクタのなす角が大きい）写真が選出されることでバランスが良い写真群となる．つまり，特徴量をベクトル化した際に、その特徴量ベクタ群で構成される多面体の体積が最大になった際の写真の組み合わせが，第１群の写真ということになる．
本手法では M 次元の特徴量が与えられた N 枚の中から好ましい組み合わせの写真 N 枚を選ぶことを考える．このとき本研究では，M 次元から N 次元に次元削減した特徴量空間にて，N 枚の写真の特徴量ベクトルがつくる N 次元面体の体積を最大にする写真群が，ベストな組み合わせの写真群である，と仮定する．手法では，M 次元の特徴量が与えられた N 枚の写真の中から，バランスよい組み合わせの N 枚を選出することを想定する．

第 1 群: 好ましい組み合わせの写真群
第 2 群: 第 1 群にも第 3 群にも含まれない写真群
第 3 群: 評価が低い写真群
本手法ではまず，各写真について特徴量を自動算出する．この算出結果をもとにして各写真を評価し，評価が低い写真群を第 3 群に分類する．次に残りの写真群の中から，バランスよく多彩な写真群を選び出し第1 群へ分類する．どちらにも分類されなかった写真を第 2 群に分類する．図 1 にその概念図を示す．

3.1

好ましい組み合わせ写真群の選出手法

写真の特徴量自動取得手法

3.3

バランスよくさまざまな写真を選ぶための基準の例
として，我々は以下のような基準を考えた．

特徴量の次元削減

N 本の特徴量ベクタで構成される多面体の体積を求めるにあたり，特徴量ベクタが N 次元であれば，N× N 次元の行列を形成してその行列式を求めればよい．そこで，特徴量ベクタを M 次元から N 次元に次• 写りの悪い写真（例えば暗すぎる，ピントが合っ3る．まず特徴量を自動算出することで写真を評価し，評価値が小さい写真を好ましくない写真として第 3 群に選別する．そして指定された枚数の代表写真を仮に選択し，各写真の特徴量ベクタによって構成される空間の体積を算出する．これが最大となる写真群が「最もバランスよくさまざまな写真を含む代表画像群」であるとして第 1 群に自動選別し，残りの写真群を第 2群とする．また本手法では，ユーザの対話操作に寄って第 1 群と第 2 群の写真を入れ替えるユーザインタフェースを搭載している．対話操作結果に従って第 1群に属する代表写真群を再度自動選出することにより，ユーザの嗜好を反映した代表写真選出を可能とする．
今後の課題として，特徴量取得の精度向上に取り組みたい．また，ユーザの嗜好によって特徴量の重要度が異なることが想定されるため，特徴量の重要度をユーザごとに調節できるようにしたい．
さらに，操作時間と操作手順の削減に取り組みたい．
現時点の実装では行列式の算出を反復することで無視できない計算量が発生している．より少ない操作時間と操作手順でありながら，ユーザがより満足できる写真選出結果を得られるようにシステムを改善したい．

図 2: 手動選択のためのユーザインタフェース
元削減する．まず，M 次元ベクトルにおいて各次元ペア間での Pearson 相関係数を求め，これが一定値以上となる特徴量ベクタを 1 本に結合する．その結果，M次元ベクタが N 次元ベクタ (M>N >N ) に削減される．そしてＮ 次元ベクトルに対して主成分分析を適用し，上位 N 個の主成分を採用することで，N次元ベクタに変換する．我々の実装では，代表写真の枚数 N がユーザによって指定された時点で，以下の2 段階処理を適用することで各写真の特徴量である M次元ベクタを N 次元ベクタに変換する．体積を計算する処理を反復し，体積が最大となる写真群を代表写真群として第 1 群に分類する．

5

本研究を進めるにあたり，数学科の萩田真理子先生，森下奈保子さんには組み合わせの手法について助言していただきました．ここに感謝いたします．

参考文献[1] Ritendra Datta, Dhiraj Joshi, Jia Li, James Z.
Wang, Studying Aesthetics in Photographic Images Using a Computational Approach , European Conference on Computer Vision, pp. 288301, 2006.

1. ユーザが代表写真の枚数 N を指定した時点で，全ての写真の特徴量を N 次元ベクタに変換する．

[2] Ritendra Datta, Jia Li, James Z. Wang, Learning the Consensus on Visual Quality for NextGeneration Image Management , ACM Multimedia Conference, pp. 533-536, 2007.

2. N 枚の代表写真を仮に選出して N × N 次元の行列を構成し，掃き出し法によって行列式を算出することで体積を求める．
3. この処理を一定回数反復し，体積が最大となる代表写真群を正式に代表写真として第 1 群に分類する．

[3] Congcong Li, Andrew Gallagher, Tsuhan Chen,
Aesthetic quality assessment of consumer photos
with faces , Image Processing, pp. 3221-3224,
2010.

現在の我々の実装では，2. においてランダムに N 枚の代表写真を選出している．

3.4[4] Shehroz S Khan and Daniel Vogel, Evaluating
visual aesthetics in photographic portraiture ,Computational Aesthetics in Graphics, Visualization, and Imaging, pp. 1-8, 2012.

ユーザによる手動選別

自動分類の結果に全ユーザが満足するとは限らない．
ゆえに，ユーザ自身による対話操作で代表写真選出結果を修正できるように，写真を表示するユーザインタフェースを開発した．図 2 にその概観を示す．この画
面上でユーザは，移動する写真と固定する写真を選択することが可能である．そして本手法は，ユーザが写真の移動操作を終えるたびに，3.2 節で示した計算を再実行し，バランスよい組み合わせの代表写真群を再選出する．

4謝辞[5] Congcong Li, Alexander C. Loui, Tsuhan Chen,
Towards Aesthetics: a Photo Quality Assessment and Photo Selection System , Association
for Computing Machinery s annual conference on
multimedia, pp. 827-830, 2010.
[6] Lei Huang, Tian Xia, Ji Wan, Yongdong Zhang,
Shouxun Lin, Personalized portraits ranking ,ACM Multimedia Conference, pp. 1277-1280,
2011.

まとめと今後の課題

本研究では，大量写真群からバランスのとれた代表写真群を自動選出して提示する一手法を提案した．まず，本手法では写真を第 1 群から第 3 群に自動分類す[7] 富士フイルム Year Album,http://year-album.jp

4