DEIM Forum 2016 E5-5

大量写真群からバランスのとれた代表写真群を選出するための一手法	 
塩谷	  祥加†

伊藤	  貴之†

萩田	  真理子‡†お茶の水女子大学	  理学部	  情報科学科	  〒112-0012	  東京都文京区 2-1-1	 
‡お茶の水女子大学	  理学部	  数学科	  〒112-0012	  東京都文京区 2-1-1
E-mail:†{hiroka,itot}@itot.is.ocha.ac.jp,‡hagita@is.ocha.ac.jp

あらまし SNS の普及に伴い，誰もが簡単に撮影した写真を共有することが可能となった．しかし大量の写真をすべて共有するのは，記憶容量やネットワーク負荷などの観点からも，また閲覧者が費やす時間の観点からも，必ずしも喜ばしいことではない．そこで多くの場面において我々は，大量の写真の中から適切な枚数の写真を選んで共有する．しかし，そのような代表写真群を適切に選ぶ工程は必ずしも簡単ではない．本報告では，大量写真群からバランスのとれた代表写真群を自動選出して提示する一手法を提案する．ここでいう「バランスのとれた」とは，値の異なる特徴量を持つ写真が同程度に選出されることで，多彩な組み合わせの代表写真を選出することを意味する．本手法ではまず各写真の特徴量を自動算出し，その結果から評価が低いと判断される写真群を処理から省く．
続いて残った写真群から，ユーザ指定の枚数に応じて仮の代表写真群を選出し，特徴量のバランスのよさを判定す
る．この処理を反復した結果として，最も特徴量のバランスがよいと判定された写真群を代表写真群として自動選出する．我々の実装では代表写真群の選出結果を表示するユーザインタフェースも提供している．この画面上で対話的に「選出すべき写真」「選出すべきでない写真」を指定した上で代表写真群の選出を反復することで，ユーザの嗜好を反映して代表写真群の選出結果を調整することもできる．
キーワード 写真選別，写真特徴量，ユーザインタフェース

1. は じ め に真群を大量の写真群から自動選出する手法を提案する．

近 年 の SNS の 普 及 に よ り ，誰 も が 写 真 を 撮 影 し て は本手法ではまず各写真の特徴量を自動算出する．続い

Web 上 で 手 軽 に 共 有 す る こ と が 可 能 と な っ た ．も は やて特徴量から好ましい写真か好ましくない写真かを評

写真を共有することもコミュニケーションの一部と化

価し，評価値が低い写真群を処理から省く．そして残している．食事の際や外出先での数枚から数十枚単位りの写真群について，異なる特徴量を有する写真群をの少ない写真であればすぐに共有することができる．

バランスよく選出する．好ましい組み合わせの写真群

一方，旅行といった大きなイベントとなると数百枚かを自動選別する．この処理では，ユーザ指定の枚数にら数千枚単位の写真を撮る人はたくさんいるだろう．

応じて仮の代表写真群を選出し，特徴量のバランスのこ の よ う な 大 量 な 写 真 の 場 合 ，そ の 全 て を Web 上 でよさを判定する．現段階の我々の実装では，特徴量の共有することは技術的困難を伴うことが多い．共有すバランスのよさを「多次元空間にて特徴量ベクタによる枚数が多ければアップロードにもブラウズにも転送って形成される多面体の体積」と定義する．この処理時間とネットワーク負荷がかかる上に，サービスによを反復した結果として，最も特徴量のバランスがよいっては容量制限などを伴う場合もある．さらに，大量と判定された写真群を代表写真群として自動選出する．の写真を全部公開しても閲覧者は全て閲覧するのに非また，我々の実装では代表写真群の選出結果を表示す

常に大きな所要時間を要するし，重要な写真を探すのるユーザインタフェースも提供している．この画面上に時間がかかってしまう．そこで多くの場面においてで 対 話 的 に「 選 出 す べ き 写 真 」「選出すべきでない写真」

我々は，大量の写真の中から適切な枚数の写真を選んを指定した上で代表写真群の選出を反復することで，で共有する．しかし適切な枚数の写真を選ぶ際に，一ユーザの嗜好を反映して代表写真群の選出結果を調整

般的には大量の写真を 1 枚ずつ目視確認して，好ましすることもできる．

い写真とそうでない写真とに分類する必要があり，非	  本 稿 の 構 成 は 以 下 の 通 り で あ る ． 2 章 で は 関 連 研 究

合理的な作業を必要とする．そこで我々は，適切な枚に つ い て 述 べ る ．続 い て 3 章 で は 提 案 手 法 を 述 べ る ．4

数の代表写真群を自動選別するシステムがあれば，写章では本手法の実行結果について述べる．5 章では本真を楽しむユーザにとって便利になる上に，コミュニ研究で得られた成果のまとめと今後の展望について述ケーションもより円滑になると考えた．

べる．

本報告では，バランスのとれた組み合わせの代表写2. 関 連 研 究

1 群へ分類する．どちらにも分類されなかった写真を	  写 真 評 価 に 関 す る 研 究 は 既 に 数 多 く 発 表 さ れ て お り ，第 2 群に分類する．図 1 にその概念図を示す．

一 般 的 な 特 徴 量 を ベ ー ス に し た 手 法 [1,2,3,4,5]と ，被 写体 と な る 人 物 の 写 り 方 に 着 目 し た 手 法 [6,7,8]に 大 別 さ

3.1. 写 真 の 特 徴 量 自 動 取 得 手 法

れる．一般的な特徴量をベースにした手法では，写真バランスよくさまざまな写真を選ぶための基準のの色や構図，ピントのボケ具合等に注目して写真を自例として，我々は以下のような基準を考えた．

動で評価している．色が鮮やかな写真，被写体が大き!

いもしくは中央に位置している写真，被写体にピントが合っている写真は評価が高い．人物の写り方に着目

写 り の 悪 い 写 真（ 例 え ば 暗 す ぎ る ，ピ ン ト が 合 ってないなど）は代表写真に選ばない．

!

一人でも多くの人物が代表写真群の最低 1 枚に，した手法では，被写体の人数，各人物の表情，人物間いい表情をして写っているように代表写真を選の写真上の位置などを評価要素として加えている．表ぶ．

情が良い，複数の人が写っている，人物どうしの距離!

が近く仲が良さそうな写真はより評価が高い．	  ま た ， 写 真 評 価 結 果 に も と づ い て 評 価 が 高 い 写 真 を
自 動 選 出 す る 研 究 [9,10]も 発 表 さ れ て い る ．さ ら に ，自動選出された写真をアルバムとして編集表示する商用
サ ー ビ ス [11]も あ る ．

集 合 写 真 が あ る 場 合 に は ，最 低 1 枚 の 集 合 写 真 を代表写真に選ぶ．

!

多 く の 場 所 を 撮 影 し て い る 場 合 に は ，で き る だ け
その各所の写真を代表写真に選ぶ．
これらの基準に沿って代表写真を選ぶために，現時点での我々の実装では，「人物の数」「人物の表情」「ピン ト 」「 鮮 や か さ 」「 撮 影 日 時 」 の 5 種 類 の 特 徴 量 を 算出する．これらの特徴量から写真を評価し，各評価値

3. 提 案 手 法
関連研究で紹介した写真評価手法に沿って評価が高い写真を選出すると，撮影状況によっては同じ人物をファイルに保存する．また評価値が低い写真群を第3 群に自動分類する．

や風景のみが選出されてしまう可能性が高い．そこで本手法においては，バランスのよい多彩な組み合わせ

3.1.1. 人 物 の 数の代表写真群を自動選出することを考える．具体的に

我 々 の 実 装 で は ， 画 像 処 理 ラ イ ブ ラ リ OpenCV の 顔は，同じ被写体の写真が多数選出されることを防ぎ，検出機能を用いて矩形の顔領域を抽出し，その顔領域さまざまな人物や風景，場面の写真からそれぞれバラ数によって人物の数を推定し，これを特徴量とする．

ンスよい枚数で写真を選び出すことを目指す．

これにより，多くの人数の顔が写っている写真は優先	  本 手 法 で は ， 写 真 群 を 大 き く 分 け て 以 下 の 3 つ の グ的に代表写真に選出されやすくなる．なお我々の実装

ループに分類する．

では，単に顔領域を抽出するだけでなく，全ての写真

第 1 群; 好ましい組み合わせの写真群から抽出される顔領域を人物ごとに判別できることを

第 2 群: 第 1 群にも第 3 群にも含まれない写真群仮定している．

第 3 群: 評価が低い写真群

3.1.2. 人 物 の 表 情
我 々 の 実 装 で は ，detectFace();[12]と い う Web API を用いることで図 2 のような顔パーツの位置を取得している．

図 1: 写 真 群 の 自 動 選 別
本手法ではまず，各写真について特徴量を自動算出する．この算出結果をもとにして各写真を評価し，評

図 2: 顔 パ ー ツ の 位 置

価が低い写真群を第 3 群に分類する．次に残りの写真群の中から，バランスよく多彩な写真群を選び出し第ここで，いい表情をしている顔は多くの場合にて，口角が上がっていたり，口が開いていたりすることから ，M1 か ら M9 を 用 い て 表 情 の よ さ を 評 価 す る ．口 の選ぶ!

開 き 具 合 は M5 と M9 の y 座 標 の 差 で 判 断 す る ． こ の特徴が異なる（＝特徴量ベクタのなす角が大きい）写真を多く選ぶ

差が大きければ口が開いていると判断できる．また口をできるだけ満たすように代表写真群を選ぶことに相角 の 上 が り 具 合 は ， M2 と M8 の ｙ 座 標 値 の 平 均 と ，当する．図 3 は代表写真の選び方に関する概念を模式

M3 と M7 の y 座 標 値 の 平 均 の 差 で 判 断 す る ．口 角 が 上化 し た も の で あ る ．図 3(左 )の よ う に ，短 く て な す 角 もがっており，かつ口が開いている場合は最高の表情で小さい特徴量ベクタ群に対応する写真群が選出されたあるとし，口角が下がっている場合は好ましくない表

場合，評価が低くかつ似ている写真が多く選出されて情と判断する．

し ま う ．逆 に 図 3(右 )の よ う に ，長 く て な す 角 の 大 き い

結論として，以下の 3 値

特徴量ベクタ群に対応する写真群が選出されれば，評!

M5 と M9 の y 座 標 の 差

価が高くて多彩な写真が多く選ばれると考えられる．

!

M2 と M8 の ｙ 座 標 値 の 平 均!

M3 と M7 の y 座 標 値 の 平 均 の 差

図 3(右 )の よ う な 特 徴 量 ベ ク タ 群 を 選 ぶ た め の 手 段と し て 本 手 法 で は ，N’本 の 特 徴 量 ベ ク タ で 構 成 さ れ るを顔領域の大きさに応じて正規化して一次結合をとっ多次元空間での多面体の体積を計算して，体積を最大た値を，人物の表情に関する特徴量とする．にする特徴量ベクタ群を選出し，これに対応する写真な お 我 々 の 実 装 で は ，3.1.1 項 で 判 別 し た 人 物 ご と に ，群を代表写真群として第 1 群に分類する．

各写真における特徴量を算出する．つまり写真群全体
で K 人 が 写 っ て い る と 判 別 さ れ た ら ，人 物 の 表 情 に 関する特徴量だけで K 次元を有するものとする．なお，
人物 A が写っていない写真 B において，人物 A に対応する次元の値はゼロであるとする．

3.1.3. ピ ン ト
我 々 の 実 装 で は ， OpenCV を 用 い て 人 物 の 顔 が ど の程度はっきり写っているのかを計算する．検出された顔領域に対してエッジ検出を適用し，エッジと判断された画素の割合を計算する．ピントが合っていないほど値は小さくなる．
図 3: 写 真 群 の 特 徴 量 を ベ ク ト ル 化

ピント特徴量 = エッジ検出されたピクセル数/	  	  	  顔 領 域 の ピ ク セ ル 数

3.2.1.特 徴 量 の 次 元 削 減
N’ 本 の 特 徴 量 ベ ク タ で 構 成 さ れ る 多 面 体 の 体 積 をこれにより，人物がぼやけていて鮮明でない写真は好ましくない写真と判定される．

求 め る に あ た り ， 特 徴 量 ベ ク タ が N’次 元 で あ れ ば ，N’×N’次 元 の 行 列 を 形 成 し て そ の 行 列 式 を 求 め れ ば よ

3.1.4. 鮮 や か さい ． そ こ で M>N’で あ る 場 合 に は ， 特 徴 量 ベ ク タ を M

我 々 の 実 装 で は ， 各 ピ ク セ ル の RGB 値 を HSV 値 に次 元 か ら N’次 元 に 次 元 削 減 す る ．現 時 点 で の 我 々 の 実変換をする．そして彩度（S 値）を写真全体での平均

装 で は ，代 表 写 真 の 枚 数 N’が ユ ー ザ に よ っ て 指 定 さ れ値を特徴量として求める．色が鮮やかなほど，つまりた時点で，以下の 2 段階処理を適用することで各写真S の平均値が高いほど評価が高く，好ましい写真となの 特 徴 量 で あ る M 次 元 ベ ク タ を N’次 元 ベ ク タ に 変 換

る．

する．
1)

Pearson 相 関 係 数 を 求 め ，こ れ が 一 定 値 以 上 と な る

3.2 好 ま し い 組 み 合 わ せ 写 真 群 の 選 出 手 法

特徴量ベクタを 1 本に結合する．その結果，M 次

本 手 法 で は ，M 次 元 の 特 徴 量 が 与 え ら れ た N 枚 の 写
真 の 中 か ら ，バ ラ ン ス よ い 組 み 合 わ せ の N’枚 を 選 出 することを想定する．ここでバランスよい組み合わせの写真を選ぶことは以下の 2 条件!

評 価 が 高 い（ ＝ 特 徴 量 ベ ク タ が 長 い ）写 真 を 多 く

まず，M 次元ベクトルにおいて各次元ペア間での元 ベ ク タ が N”次 元 ベ ク タ (M>N”>N’)に 削 減 さ れ る ．
2)

上 述 の Ｎ ”次 元 ベ ク ト ル に 対 し て 主 成 分 分 析 を 適
用 し ，上 位 N’個 の 主 成 分 を 採 用 す る こ と で ，N’次元ベクタに変換する．

な お 任 意 の 写 真 群 に お い て 必 ず し も M>N’で あ る と は限らない．特に写真群での登場人物数が少ない場合，あるいはユーザが非常に多くの写真を代表写真に選びた い 場 合 ，M<N’と な る こ と は 容 易 に 想 定 さ れ る ．こ のよ う な 場 合 の 処 理 に つ い て は 3.3 節 で 後 述 す る ．

3.2.2.写 真 の 仮 選 出 と 体 積 計 算
現時点での我々の実装では，以下の手順によって何通りかの写真群に対して体積を計算する処理を反復し，体積が最大となる写真群を代表写真群として第 1 群に
図 4: 手 動 選 択 の た め の ユ ー ザ イ ン タ フ ェ ー ス

分類する．
1.
2.

3.

ユ ー ザ が 代 表 写 真 の 枚 数 N’を 指 定 し た 時 点 で ，全て の 写 真 の 特 徴 量 を N’次 元 ベ ク タ に 変 換 す る ．

な お ， 3.2 節 で 提 案 し た 手 法 に つ い て ， M<N’で あ る

N’枚 の 代 表 写 真 を 仮 に 選 出 し て N’×N’次 元 の 行 列

ときにはそのままでは実装できないことを論じた．こを構成し，掃き出し法によって行列式を算出する

れに対する解決策として，今後以下のような処理を実ことで体積を求める．

装する事が考えられる．

この処理を一定回数反復し，体積が最大となる代

1.

表写真群を正式に代表写真として第 1 群に分類する．
現 在 の 我 々 の 実 装 で は ，2.に お い て ラ ン ダ ム に N’枚 の

まずユーザインタフェース上の対話操作によって
ユ ー ザ が (N’-M)枚 の 写 真 を 選 択 す る ．

2.

各 写 真 の 特 徴 量 を M 次 元 ベ ク タ に 変 換 し ， M×M
次元の行列を構成して M 枚の写真を自動選出する．

代表写真を選出している．将来的には，ここに遺伝的アルゴリズムなどの進化計算手法を適用することで，限られた反復回数の中で最適に近い代表写真選出を実現できると考えている．

4. ま と め と 今 後 の 課 題
本報告では，大量写真群からバランスのとれた代表写真群を自動選出して提示する一手法を提案した．まず，本手法では写真を第 1 群から第 3 群に自動分類す3.3.ユ ー ザ に よ る 手 動 選 別る．まず特徴量を自動算出することで写真を評価し，以上の処理によって全自動で写真を第 1 群から第 3評価値が小さい写真を好ましくない写真として第 3 群群に振り分けることも可能である．しかし，この結果に選別する．そして指定された枚数の代表写真を仮にに全てのユーザが満足するとは限らない．ゆえに，ユ選択し，各写真の特徴量ベクタによって構成される空ーザ自身による対話操作で代表写真選出結果を修正で間の体積を算出する．これが最大となる写真群が「最きるように，写真を表示するユーザインタフェースをもバランスよくさまざまな写真を含む代表画像群」で開発した．図 4 にその概観を示す．この画面上でユーあるとして第 1 群に自動選別し，残りの写真群を第 2ザは，移動する写真と固定する写真を選択することが群とする．また本手法では，ユーザの対話操作に寄っ可能である．例えば，代表写真に選出したくない写真て第 1 群と第 2 群の写真を入れ替えるユーザインタフが第 1 群に分類されている場合は，それを第 2 群に移ェースを搭載している．対話操作結果に従って第 1 群動させることができる．また逆に，代表写真に選出しに属する代表写真群を再度自動選出することにより，たい写真が第 2 群に分類されている場合は，これを第ユーザの嗜好を反映した代表写真選出を可能とする．

1 群に固定することが可能である．そして本手法は，今後の課題として，特徴量取得の精度向上に取り組

ユ ー ザ が 写 真 の 移 動 操 作 を 終 え る た び に ， 3.2 節 で 示

み た い ． 3.1 節 に 記 述 し た 特 徴 量 で は ま だ 充 分 に 写 真した計算を再実行し，バランスよい組み合わせの代表を評価することはできない．また実装の精度が低いた写真群が再選出される．

めに，例えば人物の顔でないものを顔として認識してしまう場合がある．これらの問題点を解決し，さらに高い精度で写真を評価できるようにしたい．
また，ユーザの嗜好によって特徴量の重要度が異なることが想定されるため，特徴量の重要度をユーザごとに調節できるようにしたい．
さらに，操作時間と操作手順の削減に取り組みたい．
現時点の実装では行列式の算出を反復することで無視できない計算量が発生している．より少ない操作時間と操作手順でありながら，ユーザがより満足できる写真選出結果を得られるようにシステムを改善したい．

参 	  考 	  文 	  献[1] Ritendra Datta, Dhiraj Joshi, Jia Li, James Z. Wang,“Studying Aesthetics in Photographic Images Using aComputational Approach”, European Conference on
Computer Vision, pp. 288-301, 2006.
[2] Ritendra Datta, Jia Li, James Z. Wang, “Learning theConsensus on Visual Quality for Next-Generation
Image Management”, ACM Multimedia Conference,pp. 533-536, 2007.
[3] Yan Ke, Xiaoou Tang, Feng Jing, “The Design ofHigh-Level Features for Photo Quality Assessment”,
Conference on Computer Vision and Pattern
Recognition, pp. 419-426, 2006.
[4] Congcong Li and Tsuhan Chen, “Aesthetic Visual
Quality Assessment of Paintings”, Sel. Top. In Sig.
Proc., IEEE Journal of, vol. 3, no. 2, pp. 236-252,April 2009.
[5] Yiwen Luo and Xiaoou Tang, “Photo and Video
Quality Evaluation: Focusing on the Subject”,
European Conference on Computer Vision, pp.
386-339, 2008.
[6] Congcong Li, Andrew Gallagher, Tsuhan Chen,“Aesthetic quality assessment of consumer photoswith faces”, Image Processing, pp. 3221-3224, 2010.
[7] Shehroz S Khan and Daniel Vogel, “Evaluating
visual aesthetics in photographic portraiture”,
Computational Aesthetics in Graphics, Visualization,and Imaging, pp. 1-8, 2012.
[8] Shao-Fu Xue, Henry Tang, Dan Tretter, Qian Lin, JanAllebach, “Feature Design for Aesthetic Inference onPhotos with Faces”, Image Processing, pp.
2689-2693, 2013.
[9] Congcong Li, Alexander C. Loui, Tsuhan Chen,“Towards Aesthetics: a Photo Quality Assessment
and Photo Selection System”, Association forComputing Machinery’s annual conference on
multimedia, pp. 827-830, 2010.
[10] Lei Huang, Tian Xia, Ji Wan, Yongdong Zhang,
Shouxun Lin, “Personalized portraits ranking”, ACM
Multimedia Conference, pp. 1277-1280, 2011.
[11] 富 士 フ イ ル ム Year Album,http://year-album.jp[12] detectFace();, http://detectface.com