WISS 2016

大量写真群からバランスのとれた代表写真群を選出するための一手法
塩谷 祥加*

伊藤 貴之*

萩田 真理子*概要．	  SNS の普及に伴い，誰もが手軽に写真を共有することが可能となったが，大量の写真をすべて共有することは必ずしも喜ばしいことではない．そこで多くの場面において我々は，大量の写真の中から適切な枚数の写真を選んで共有する．本報告では，大量写真群からバランスのとれた代表写真群を自動選出して提示する一手法を提案する．本手法ではまず各写真の特徴量を自動算出し，その結果から評価が低いと判断される写真群を処理から省く．続いて残った写真群から，ユーザ指定の枚数に応じて仮の代表写真群を選出し，特徴量のバランスのよさを判定する．この処理を反復した結果として，最も特徴量のバランスがよいと判定された写真群を代表写真群として自動選出する．我々の実装では代表写真群の選出結果を表示するユーザインタフェースも提供している．

1

はじめにデータ容量やアップロード時間を考慮した場合，大量の写真をすべて Web 上に掲載することは非現実的である．一方で一枚ずつ写真を確認して代表的な数枚を選び出すのも大変な労力となる．そこで本
報告では，大量の写真群から好ましい組み合わせの写真を半自動的に数枚選び出して提示するシステムを提案する．

本手法ではまず，各写真の特徴量を自動算出する．
この算出結果をもとに各写真を評価し，評価が低い写真群を第 3 群に分類する．次に残りの写真群の中から，バランスよく多彩な写真群を選出し第 1 群へ分類する．どちらにも分類されなかった写真を第 2群へ分類する．
3.1

2

関連研究

一般的な特徴量をもとにした手法[1]や，被写体となる人物の写り方に着目した手法[2]により写真評価を行う研究が数多く存在する．さらに評価結果にもとづき高評価な写真を自動選出する研究[3]も発表されている．その上，自動選出された写真を写真アルバムとして編集商用するサービス[4]もある．

3

提案手法

本研究では写真の選出において，同じ被写体の写真が多数選出されることを防ぎ，さまざまな人物や風景，場面の写真からそれぞれバランスよい枚数で写真を選出することを目指す．本手法では写真群を大きく以下の 3 グループに自動分類する．
第 1 群：好ましい組み合わせの写真群
第 2 群：第 1 群にも第 3 群にも含まれない写真群
第 3 群：評価が低い写真群
Copyright is held by the author(s).
* お茶の水女子大学

写真の特徴量の自動取得手法

既存の Web アプリケーション等を用いることで各写真について特徴量を算出する．現時点で以下の特徴量を採用している．
･	  写真全体の移具合を評価するために｢ピント｣｢鮮やかさ｣「色合い｣を算出する．
･	  集合写真を 1 枚以上選出するために｢人物の数｣を算出する．
･	  各人物がいい表情で写っている写真を選出するために｢人物の表情｣を数値化する．
そしてその特徴量から評価値を算出し，評価値が低い写真を第 3 群に自動分類する．
3.2

好ましい組み合わせ写真の選出手法

本研究では評価が高いさまざまな写真が選出される状態を「バランスが良い写真群」と呼ぶ．これを実現するために本手法では，特徴量ベクタ群で構成される多面体の体積が最大になった写真の組み合わせを「バランスが良い写真群」として第 1 群に選ぶ．
ここで M 次元の特徴量が与えられた N 枚の中から好ましい組み合わせの写真 N’枚を選ぶことを考える．このとき本手法では，M 次元から N’次元に次元削減した特徴量空間にて，N’枚の写真の特徴量ベWISS 2016

クタがつくる N’次多面体の体積を最大にする写真群が，ベストな組み合わせの写真群であるとする．
3.3

特徴量の次元削減

N’次面体の体積を求める際，特徴量ベクタが N’次元であれば，N’×N’次元の行列を形成してその行列式を求めればよい．そこで，特徴量ベクタを M 次元から N’次元に次元削減する．まず，Pearson 相関係数に従い特徴量ベクタを結合することで，N”次元ベクタ(N’<N”<M)に削減する．そして N”次元ベクタに対して主成分分析を適用し N’次元ベクタに変換する．また，代表写真の枚数 N’がユーザにより指定された時点で以下の 2 段階処理を適用し，各写真の特徴量である M 次元ベクタを N’次元ベクタに変換する．体積を計算する処理を反復し，体積が最大となる写真群を代表写真群として第 1 群に分類する．
1.

2.

3.4

N’枚の代表写真を仮選出して N’×N’次元の行列を構成し，掃き出し法により行列式を算出することで体積を求める．
この処理を一定回数反復し，体積が最大となる代表写真群を正式に代表写真として第 1 群に分類する．
ユーザによる手動選別

自動分類の結果に全ユーザが満足するとは限らない．ゆえに，ユーザ自身による対話操作で代表写真選出結果を修正できるように，写真を表示するユーザインタフェースを開発した．この画面上でユーザは，第 1 群に固定する写真，第 2 群と入れ替える写真を選択できる．そして，ユーザが写真の移動操作を終えるたびに，3.3 節で示した計算を再実行し，バランスよい組み合わせの代表写真群を再選出する．

4

実行結果

人物中心の写真 100 枚から 10 枚の写真を選出した
結果を図 1 に示す．本研究の目的通りに，あらゆる人物をバランス良く含んだ写真群が選出された．一方で，集合写真が必要以上に選出されてしまった．
さらに人物の構図が好ましくない写真も複数枚選出された．ゆえに 1 回の選出結果では｢バランスの良い写真群｣の条件を全て満たすことはできず，何度か画面上での修正が必要となった．

図 1. 実行結果

5

まとめと今後の課題

本研究では，大量写真群からバランスのとれた代表写真群を自動選出して提示する一手法を提案した．
本手法では，まず各写真の特徴量を算出してそれに基づいて各写真を評価し，評価値が小さい写真を計算から省く．そして指定された枚数の代表写真を仮選択し，各写真の特徴量ベクタによって構成される空間の体積を算出する．これが最大となる写真群が｢最もバランスのとれた代表写真群｣であるとして自動選出する．さらにユーザの対話操作によって選出結果を修正するユーザインタフェースを搭載している．結果としてあらゆる人物をバランス良く含んでいたものの，必要以上の集合写真や，人物の構図が思わしくない写真も選出され，何度か画面上での修正が必要となった．
今後の課題は画面上での修正回数を減らすべく，特徴量の追加を検討する．例として｢人物の構図｣の数値化について検討する．また，特徴量から評価値を計算する際の評価基準の設定を見直す必要がある．

参考文献
[1]

R. Datta, D. Joshi, J. Li, and J. Wang. Studying Aesthetics

in Photographic Images Using a Computational Approach.
European Conference on Computer Vision, pp. 288- 301, 2006.
[2]

C. Li, A. Gallagher, and T. Chen. Aesthetic quality

assessment of consumer photos with faces. Image Processing,pp. 3221-3224, 2010.
[3]

C. Li, A. Loui, and T. Chen. Towards Aesthetics: a Photo

Quality Assessment and Photo Selection System. Association
for Computing Machinery’s annual conference on multimedia,
pp. 827-830, 2010.
[4]

富士フイルム(2016/10/17 確認)

Year Album. http://year-album.jp