ウェブ上の類似画像に付加されたメタ情報に基づく画像スコアリング
石 原 の ぞ み†高 嶋 和 毅†

伊
岸

藤
野

雄
文

一†
郎††

本論文では，大量の画像データベース内から魅力的な画像を検索するための基盤となる，人間の感性を考慮した新しい画像スコアリングを提案する．提案手法では，スコアリングの対象となる入力画像に対する類似画像を画像共有サイトから検索し，その類似画像に付加されたメタ情報 (アクセス数，
お気に入り数，コメント数，掲載日数など) をスコアリングに利用する．入力画像のスコアは，メタ情報から計算した各類似画像のスコアの，入力画像との類似度を重みとした加重平均として算出される．メタ情報は人間の主観評価と相関があると考えられるため，色や形などの低レベル特徴に基づく既存手法とは異なり，提案手法は人間の主観評価を考慮できる．評価実験により提案手法と参加者の主観評価の間に相関があることを示した．

Attractiveness-based Image Scoring Using Similar Images on Websites
Nozomi Ishihara,† Yuichi Itoh,† Kazuki Takashima†and Fumio Kishino††
We propose a novel image scoring method that reflects human perceptions to retrieve desired images from large image databases. This method uses metadata attached to similar
images from image sharing websites. Our method calculates the score of a new image (input
image) as a weighted average of the scores of similar images from image sharing websites
where each score of similar images is decided from metadata (e.g., the number of viewers,
favorites, and comments), and each similar image score is weighted based on its similarity to
the input image. Our method can reflect human perceptions or human subjective assessments
unlike existing work that uses such low-level features as color and shape since metadata are
expected to have correlations with human subjective assessments. The experiment showed acorrelation between the scores by the proposed method and participant assessments.

1. は じ め に多くの人々は自分の画像データベースや，ウェブサ
イト上から魅力的な画像を検索したいと望んでいる．

な画像が魅力的だと判断されるかを知る必要がある．
しかし，画像の魅力に関する基準は時代とともに変化するものであり，人間の主観も関係しているため，そのような基準を定義することは困難である．

しかし，画像共有サイトやデジタルカメラの普及によ

画像の魅力を計算する手法（スコアリング）は今まりデータベース内の画像データ量が膨大になっている

でにいくつか存在している．色や形といった低レベルため，このような検索は困難である．Google 画像検特徴に基づく手法が多く存在するが1),2) ，人間は画像索のような既存のテキストベースの画像検索や，色やの魅力を判断する際に，色や形だけでなく，コンセプ形などの低レベル特徴に基づくコンテンツベースの画

トや構図なども考慮するため，このような既存手法は像検索では，人間の主観評価の高い魅力的な画像を効

人間の主観評価を十分に考慮できない．

果的に検索できない．
魅力的な画像の検索を実現するためには，どのよう一方で，画像共有サイト上では，日々ユーザが手動で人間の主観に基づいたスコアを付与している．このスコアとはアクセス数，お気に入り数といったメタ情† 大阪大学 大学院情報科学研究科
Graduate School of Information Science and Technology, Osaka University†† 関西学院大学 理工学部
Science and Engineering Department, Kwansei Gakuin
University

報であり，画像が魅力的であるほど，多くのユーザから視聴価値を認められ，そのアクセス数やお気に入り
数は増える傾向にあると考えられる．こうして付与されるメタ情報は，ユーザの主観的な評価を反映していると言え，魅力的な画像であるかどうかをスコアリン

情報処理学会 インタラクション 2011

グする上で，有用な情報であると言える．こうした観量を画像検索にどのように利用するかが問題となる．

点から，画像共有サイト Flickr は，独自の指標であKo らは領域レベルの画像分割と空間関係に基づくマる interestingness をメタ情報から算出し，それに基ルチ領域レベルの画像検索アルゴリズムを提案していづく画像検索を提供している．しかし，これはメタ情

る7) ．

☆

報が付与された画像のみが対象であり，所定のメタ情報を持たない画像をスコアリングできない．

コンテンツベース検索は，画像のコンセプトを考慮できないため，類似画像として検索された画像が，人

そこで本論文では，人間の主観評価を考慮でき，さ間から見ると類似画像に見えない，「semantic gap」とらにあらゆる画像をスコアリングできる新しいスコア呼ばれる問題が生じる．そこで，この問題を解決する

リング手法を提案する．スコアリング対象の入力画像ために，テキストベース検索とコンテンツベース検索

に対する類似画像を，画像共有サイトから検索し，検を組み合わせた手法が多く研究されている．Chi らは，索時点でのその類似画像のメタ情報 (アクセス数，おGoogle 画像検索のようなテキストベース検索のラン

気に入り数，コメント数，掲載日数) を用いて入力画

キング結果を，コンテンツベースの特徴量も考慮した像をスコアリングする．これは入力画像の類似画像が上で再ランキングする手法を提案している8) ．コンテ

魅力的であれば，入力画像も魅力的であると考えられンツ要素としては，YCrCb カラーヒストグラムを利るためである．この仮定に基づき，入力画像のスコア用している．

を，類似度を重みとして，メタ情報から計算された全上に挙げた画像検索手法は，クエリ画像やクエリ

類似画像のスコアの加重平均として計算する．提案手

キーワードに関連のある画像のみを検索している．ク

法は類似画像に付加されたメタ情報を利用しているたエリに関連する画像を検索することはもちろん重要でめ，メタ情報のない画像もスコアリングできる．

あるが，多くの人は魅力的な画像を好むため，魅力的

以下，関連研究，提案手法の詳細について述べ，評な画像を検索する手法も重要である．

価実験により，提案手法によるスコアと実験参加者の2.2 魅力に基づく画像スコアリング

主観評価に相関があるかどうかを評価する．さらに，魅力的な画像を検索するには，まずデータベース内提案手法によるスコアリングが写真家の写真の撮り方の画像を魅力に基づいてスコアリングする必要がある．

ガイドラインに沿っているかも検証する．

魅力に基づく画像スコアリングも従来から様々な研究がなされている．Savakis らは，画像の良さ，魅力に

2. 関 連 研 究

ついて調べるため，複数の画像グループを用意し，参2.1 画 像 検 索

加者に各グループ内で画像をランク付けしてもらい，

画像検索は一般にテキストベース検索とコンテンツ

さらに，そのランク付けの理由を収集している9) ．そベース検索の二つに分けられる．

の結果に基づき，ポジティブな影響とネガティブな影

テキストベース検索では，クエリキーワードに関連

響についてまとめている．これによると，影響の大多するテキスト情報を持つ画像を検索する．Zhang らは，数は，人，構成，テーマといったものである一方，客インターネット上のあらゆる画像フォーラムから画像

観的な基準における影響に関してのみ，画質が画像のを検索し，その周りのテキスト情報を取得し，その情

魅力と関連していると述べている．Wee らは画像の報から検索クエリに近い画像を返す検索システムを提魅力として画像の鮮明さを使用し，画像の鮮明さを固案している3) ．この手法では，画像のタイトル，説明

有値によってモデル化している1) ．Obrador らは，あなどをテキスト情報として利用し，さらに他の情報とらかじめ基準となる良い画像の構図を定義しておき，してレーティングを利用している．

それに基づいて良い画像かどうかを判断してランキン

コンテンツベース検索では，クエリ画像の特徴量とグする手法を提案している2) ．良い画像の要素として類似する特徴量を持つ画像を検索する．特徴量として

は，色の調和，視覚的バランス，画質などを考慮して

4)は色情報を利用する研究が存在する ．また，Belongie
5)いる．また，Pedro らは人間の主観評価を考慮するたは形状情報を特徴量として利用している ．形状情報

めに，画像共有サイト上のメタ情報 (お気に入り数) をに基づく画像検索の精度は，画像の分割手法に大きく画像の魅力の指標として画像スコアリングする手法を依存する．画像の分割手法としては標準カットが有名提案している10) ．この手法では，画像共有サイトから

である6) ．画像から特徴量を抽出した後は，その特徴

画像を収集し，低レベル特徴とテキスト情報を用いてSupport Vector Machine でお気に入り数が閾値以上☆

Flickr: http://www.flickr.com/の画像とそうでない画像の特徴量を学習させる．このウェブ上の類似画像に付加されたメタ情報に基づく画像スコアリング

学習モデルにより，入力画像が魅力的か魅力的でないかを分類することができる．また，回帰モデルにより低レベル特徴とテキスト情報からお気に入り数を計算する関数も求めている．この関数により，画像の魅力に基づくランキングを実現している．この手法は，お気に入り数との相関を実証しているが，人間の主観評
価との相関を検証していない．
低レベル特徴に基づく既存手法は，人間の主観評価

図 1 提案手法のフレームワーク
Fig. 1 Framework of the proposed methodを考慮できないため，魅力に基づく画像スコアリングには不適切である．Pedro らは，画像共有サイト上のお気に入り数を魅力の指標とすることで人間の主観評

共有サイト上の各画像の特徴量の類似度を計算し，類価を考慮しようとしているが，人間の主観評価との相似度が高い画像を類似画像として返す．使用する画像

関を実証していない．さらに画像共有サイト上のお気共有サイトとしては，データベース内の画像量が十分に入り数以外のアクセス数やコメント数といったメタであり，アクセス数，お気に入り数といった様々なメ情報も魅力に基づくスコアリングには有用であると考タ情報が各画像に付加されているものを使用する必要えられる．そこで，本論文では，人間の主観評価を考がある．そこで今回は，画像数が 50 億枚を超え，メ慮するために，画像共有サイト上の様々なメタ情報をタ情報も豊富な画像共有サイト Flickr を利用する．

利用した新しい画像スコアリング手法を提案する．提画像解析部と類似画像検索部では今回は，既存の類案手法は，類似画像のメタ情報を用いることで，メタ

似画像検索サイト Gazopa☆ を利用する．Gazopa は入情報を持たない画像もスコアリングできる．

力画像の色，形などの特徴量に基づいて類似画像を検3. ウェブ上のメタ情報に基づくスコアリング

索するサイトである．検索された各画像には入力画像に対する類似度も付加される．また，検索結果はウェ提案手法では，スコアリング対象の入力画像のスコ

ブ上のあらゆるサイトから検索した結果，動画の検索アを計算するために，画像共有サイト上の類似画像の結果，Flickr から検索した結果などに分類できる．今

メタ情報を利用する．これは，メタ情報は画像共有サ

回は，画像共有サイト上のメタ情報を使用するため，

イトを利用するユーザによって付加された主観評価でこれらの検索結果のうち Flickr の検索結果のみを利用あり，主観評価を考慮した画像スコアリングに有用でする．Gazopa では，入力画像に対して毎回 1000 枚あると考えられるためである．さらに，類似画像のメの類似画像が検索され，Gazopa のデータベースが更タ情報を利用することで，メタ情報を持たない入力画

新されない限り，返される類似画像は不変である．

像もスコアリングできる．類似画像検索では，入力画検索結果にはスコアリングに不適切な画像も含まれ

像の色，形などの画像特徴量と類似した特徴量を持つている．例えば，入力画像との類似度があまりにも低画像が検索されるため，類似画像に付加されたメタ情い画像は類似画像とみなせない．ゆえに，類似画像と報は，入力画像に付加されるであろうメタ情報と類似

しては，類似度が閾値以上の画像を使用する．この閾すると考えることができる．入力画像のスコアは，類値を決めるために，被験者数人で，Gazopa によって似度を重みとして，メタ情報から計算された全類似画検索された類似画像と入力画像を比較する予備実験を像のスコアの加重平均として計算する．本システムは，行った．その結果，類似度 40% 以下の類似画像は，主画像解析部，類似画像検索部，類似画像メタ情報問い観的に見て入力画像と類似していると言えないことが合わせ部，スコアリング部から構成され，図 1 に示す

分かり，今回は，検索結果のうち類似度が 40%以上の手順で実行する．以降では各部の詳細について述べる．

画像を類似画像として取得することとする．また，アクセス数が 0 の画像は，誰にも評価されていないた

3.1 画像解析部・類似画像検索部

め，検索結果の中から除去する．この時，入力画像に

画像解析部では，類似画像を検索する前処理としてよって閾値以上の類似度を持つ類似画像の数に大きな入力画像の色，形などの低レベル特徴による特徴量を差が生じうる．特に Gazopa の検索結果は 1000 枚と抽出する．抽出した特徴量を用いて，次の類似画像検豊富であるため，類似画像数の差が大きくなる恐れが索部で類似画像を画像共有サイト上から検索する．類
似画像検索部では，入力画像の特徴量に対する，画像☆

Gazopa: http://www.gazopa.com/

情報処理学会 インタラクション 2011

ある．提案手法では類似画像の数が豊富であるほどスコアリングの信頼性が上昇すると考えられるが，後のscore1 =f avorites
views

(1)

評価実験において画像間の比較を行う際の不平等が生次に，score2 では，お気に入り数がユーザの主観評価

じないために，参照する類似画像の数に上限を設けると大きく関係していると考え，お気に入り数をより重こととする．今回は類似度上位 100 枚のみをスコアリ

要視している．

ングに利用する．なお，類似度が下位であるほど，そ本手法の特性から，上位のみを参照することで，閾値

f avorites2
(2)
views
しかし，上の二つの式は，お気に入り登録した人がそ以上の全類似画像を参照した際のスコアに近いスコアの画像を何度も見る可能性を考慮していないという問を算出できると考えられる．

題がある．そこで，score3 では，掲載期間が長くなれの画像のスコアは入力画像のスコアに反映されにくい

score2 =3.2 類似画像メタ情報問い合わせ部

ばなるほどお気に入り登録した人はその画像を何度も類似画像メタ情報問い合わせ部では，Gazopa によ見ると考え，その分お気に入り数の重要度を下げていり取得した Flickr 上の各類似画像のメタ情報を取得する．今回，使用するメタ情報として，アクセス数，
お気に入り数，コメント数，掲載日数，入力画像に対する類似度を取得する．

3.3 スコアリング部
スコアリング部では，取得した入力画像に対する類
似画像のメタ情報を利用して，入力画像のスコアを計算する．まず各類似画像のスコアをメタ情報から計算
し，類似度を重みとした全類似画像のスコアの加重平

る．days は掲載日数を表す．

score3 =f avorites · (1/days)
views

(3)

また，コメント数についてもお気に入り数と同じような考え方ができるため，

comments
views
comments2
score5 =viewsscore4 =(4)(5)

均として入力画像のスコアを最終的に計算する．ここも考案できる．comments はコメント数を表す．そしで，類似画像のメタ情報を入力画像のスコアリングにて，お気に入り数とコメント数の両方を考慮し，それ使用するのは，入力画像の色，形などの特徴量と類似

ぞれに重みをつける式として，した特徴量を持つ類似画像に付加されたメタ情報は，づくスコアリングに有効であると考えらえるため，類α · f avorites + β · comments
(6)
views
α · f avorites2 + β · comments2(7)score7 =views
2
α · f avorites + β · comments
score8 =(8)viewsを考案した．score8 は，コメント数よりお気に入り

似画像のスコアは，付加されているメタ情報を利用し数の方が主観評価と相関があると想定した式とする．

て計算する．メタ情報を用いた式としては様々なもの

score6-8 におけるα，βは重みである．

入力画像に付加されるであろうメタ情報と類似すると考えられるためである．

3.3.1 類似画像のスコア
メタ情報は人間の主観評価と相関があり，魅力に基score6 =が考えられるが，どの式が最もスコアリングに適して以上のアクティブメタ情報を考慮した score1-8 は，

いるかわからない．そこで，今回は試験的に 10 個のお気に入り数やコメント数が 0 である場合に，score

候補式を考案し，実際にどの式が最も適しているかをの値が 0 になってしまう問題がある．アクセス数は，評価実験で検証する．以下では，この候補式についてユーザが画像を積極的に評価しようとした結果ではな

述べる．

いが，見るという行為により，暗黙的にその画像を評

メタ情報のうち，お気に入り数やコメント数は，ユー価した結果を表している．ゆえに，アクセス数を考慮

ザが画像を積極的に評価しようとした結果であるため，することも重要であるため，上記の式にアクセス数をこのメタ情報をアクティブメタ情報とする．まず，こ考慮した値を加える．加える値としては，ある掲載日のアクティブメタ情報に着目した式を式 (1) から (8)数における平均アクセス数より，対象画像のアクセスに示す．score1 は画像を見た人のうちお気に入り登録数が多い場合は大きく，逆の場合は小さくなるようなしている人が多ければ，それは良い画像とみなせるこ値とする．そこで，各掲載日数における平均アクセスとを考慮している．f avorites はお気に入り数，views数を求めるために，Flickr から画像を無作為に 10 万はアクセス数を表す．

枚収集し，掲載日数とアクセス数のセットデータを収集した．収集したデータから，各掲載日数における平ウェブ上の類似画像に付加されたメタ情報に基づく画像スコアリング

3.3.2 入力画像のスコア
入力画像のスコアは，類似度を重みとして，全類似
画像のスコアの加重平均として計算する．加重平均は以下の式 (13) で表される．

1 ∑SCORE =
(simk · scorek )
SS
n

SS =

n
∑

(13)

k=1

simk

k=1

SCORE は，入力画像のスコア，scorek は各類似画
像のスコア，simk は各類似画像の類似度，SS は各類

図 2 平均アクセス数の分布
Fig. 2 Distribution of V IEW

似画像の類似度の和，n は入力画像に対する類似画像数である．式 (13) では，より高い類似度を持つ類似

均アクセス数 (V IEW ) を求め，散布図を求めた．平

画像のスコアが入力画像のスコアにより反映される．

均アクセス数は正規分布に従うと仮定し，外れ値は除

この加重平均により求めた値を最終的な入力画像のス

外した．散布図を平滑化するため，約 30 日間の移動コアとする．以下，類似画像のスコアを score，入力平均をとった結果，図 2 に示す散布図が得られた．散画像のスコアを SCORE とする．

布図は二次関数的な変化をしているため，掲載日数から平均アクセス数を計算する二次関数 f を重回帰分析
で求めた．

4. 評 価 実 験
提案手法によるスコアリングが人間の主観評価と相関があるかどうかを評価する．今回複数の score 候

V IEW =
−5

−2days − 1.84 × 10
2days + 21.0

補式を考案しているため，その中でどの式が一番最適= f (days) (days > 0, R2 = 0.86) (9)であるかをまず決める必要がある．そこで，前章で挙3.62× 10

この平均アクセス数を求める関数 f を利用して，式げた複数の score 候補式の中で，どの式から計算した(10) のように score1-8 を補正する．

SCORE が主観評価と最も相関があるかを調べる．次score′ = score + γ · g(views, days)(10)g(views, days) = views − f (days)に，ベストな score を用いて計算した SCORE が実際に人間の主観評価と相関があるかどうかを再度同じ′

以降では，補正して得られた score 1-8 を新たに方法で評価する．さらに，提案手法の妥当性を調べる

score1-8 と定義する．関数 g を加えることで，ある掲

ため，写真家の写真の撮り方ガイドラインに提案手法

載日数における平均アクセス数より，対象画像のアクが沿っているかどうかを調べる．以降，score1-10 から

セス数が多い場合は score が大きく，逆の場合は小さ計算した SCORE をそれぞれ SCORE1-10 とする．

くなる．ただし，g を単に加算するだけでは，g の値

4.1 SCORE 式選定が大きすぎて，元の score の値が無視されてしまうた

最も適切な score は，その score から計算しため，重み γ を用いて元の score の桁に，g の桁を合わ

SCORE が人間の主観評価と最も相関がある必要がせている．

ある．そこで，適切な score を調査するために，ある

また，g はそのままでも score 式となるため，score9
は式 (11) のように定義する．

score9 = g(views, days)

画像群内における各 SCORE の順位と，人間の主観評価の順位の相関係数を計算した．今回，Flickr から(11)

10 テーマ× 10 枚の画像を収集し，同じテーマに属

最後に，1 日当たりのアクセス数が多いほど score

する画像群を一つの画像群とした．テーマとしては，を大きくするような式として，score10 を考案する．

「海」
「山」
「建物」
「車」
「動物」
「バイク」
「木」
「食べ

score10 を他の式と比較することで，アクティブメタ

物」「船」「部屋」の 10 テーマを用意した．ここでは，情報の効果を調べることができる．

人間が写っていない画像を収集した．これは，写ってscore10 =

views
days

(12)

以上の score1-10 を類似画像のスコアを計算する

score 候補式とする．

いる人間の顔や表情に対する好みが，動物の顔に対する好みより，実験参加者によって大きく異なるためである．参加者には，各画像を 10 段階評価 (1: 非常に悪い，10: 非常に良い) してもらい，テーマごとに参情報処理学会 インタラクション 2011

加者の平均評定と提案手法の各 SCORE との相関を手法が写真家の写真の撮り方ガイドラインに沿っていケンドール順位相関系数により算出した．最終的な各るかどうかを検証した．今回は，提案手法が構図の良し

SCORE の相関係数は，全テーマの相関係数の平均

悪しを正しくスコアリングできているかに観点を絞っとして算出した．本実験における参加者は写真の撮りて比較を行った．画像共有サイトを利用するユーザは，方について特別な知識を持っていない学生 8 名 (男性

画像にメタ情報を付加する際に，構図が良いかどうか

6 名，女性 2 名) であり，平均年齢は 22.4 歳である．

を考えながら付加しているとは言い切れないが，今回

表 1 に，実験で得られた各 SCORE に対するケンは試験的に提案手法が構図の良し悪しを評価できていドール順位相関係数を示す．ただし，SCORE6-8 にるかを評価した．まず，2 枚の似た画像が良い構図，

ついては，β = 20, 30,…100 のうちの最も相関のあっ

悪い構図として紹介されているウェブサイト☆ から，2たもののみ記載している．結果として，式 (14) の加枚の画像ペアを 5 ペア収集した．収集した各画像につ重平均 SCORE2 が人間の主観評価と最も相関がある

いて SCORE を計算し，各ペアについて，SCOREとわかる．ただし，式 (14) の第一項の範囲が 10−3〜とガイドラインの大小関係が同じかどうかを比較した．

10−2 であり，第二項の範囲が 0〜102 であったため，

その結果，5 ペアのうち 4 ペアが，ガイドラインの大γ = 1/10000 としている．

小関係と一致し，提案手法の有効性を示すことができscore 2
f avorites2=+ γ · g(views, days) (14)views

た．表 3 に画像とスコアのセットの一部を示す．良い
構図と悪い構図のスコアの差の大きさがどれだけの意
味を持つか，またスコア値そのものの大きさの意味は，

4.2 ベスト SCORE の評価

提案手法のスコアを正規化し，より多くの画像ペアで前述の実験より，式 (14) の加重平均 SCORE2 が，検証してから議論する必要があり，今後の検討課題で

画像スコアリングに最も適切な式であるという結果が得られた．次に，SCORE2 が本当に人間の主観評価と相関があり，スコアリング式として妥当性があるか

ある．

5. 考

察

どうかを確かめるために再度評価した．前実験と同様

5.1 評価実験結果についてに，10 テーマ× 10 枚の画像を収集した．収集した

まず，SCORE 式選定の結果について議論する．

画像は前実験で使用した画像と異なる画像であり，用SCORE3, 10 のように掲載日数で割っている SCORE

意したテーマは，前実験と同様の「海」「山」「建物」と主観評価にはあまり相関が見られなかった．これは，「車」「バイク」「木」「食べ物」に加え，「動物」「船」

掲載日数に，画像が見られていない期間が考慮されて「部屋」の代わりに「犬」「川」「ボトル」を使用した．

おらず，たとえ主観的に見て良い画像であっても，見

前実験と同様の理由で，使用した画像にはすべて人間

られていない期間が長いと，SCORE が小さくなってが含まれていない．また，相関係数についても前実験しまうためであると考えられる．また，SCORE6-8と同様の手順で算出した．本実験における参加者は写を比較したときに，SCORE8 の方が比較的相関が見真の撮り方について特別な知識を持っていない学生 12られた．これはお気に入り数がコメント数より人間の名 (男性 11 名，女性 1 名) であり，平均年齢は 22.8

主観評価と相関があることを意味する．お気に入り登歳である．ただし，参加者中 5 名は，前実験にも参加

録という行為はすべてポジティブな行為であるが，コしている．

メントはすべてがポジティブなものではなくネガティ

図 3 に，評価実験で得られた，各テーマにおけるブなものもあることが反映されていることがわかる．

SCORE2 と平均評定のケンドール順位相関係数を示

SCORE6-8 の方が SCORE3, 4 より相関が見られる

す．ケンドール順位相関係数の全テーマの平均は 0.54のは，SCORE6-8 はネガティブなコメントを考慮しと，SCORE 式選定の結果と同等の相関が見られた．

ていないが，お気に入り数を SCORE に組み込むこ関連研究において 0.48 が十分な相関の値としているとでその分を補っているためであると考えられる．こ

10)

こと

，また，主観評価との相関であることを考慮す

ると，SCORE2 と主観評価は高い相関があると言える．ゆえに SCORE2 が画像の魅力を表していると言える．

れらのことから，コメントの内容を考慮したスコアリ
ングも今後考える必要がある．
次に SCORE2 の評価結果についての考察を述べる．SCORE2 は主観評価と相関があると言える結果

4.3 写真の撮り方のガイドラインとの比較
提案手法の妥当性を示す第一ステップとして，提案☆

Girl’s Graph: http://video.nifty.com/girls/howto/01/

ウェブ上の類似画像に付加されたメタ情報に基づく画像スコアリング
表 1: 各 SCORE の主観評価とのケンドール順位相関係数 (α = 100, ( ) 内の値は β の値)

Table 1: Kendall’s rank correlation coeﬃcient of each SCORE (α = 100, β is the value descrived in ())

SCORE1SCORE2SCORE3SCORE4SCORE50.41700.55550.28600.3006

0.3670SCORE6(30)SCORE7(30)SCORE8(20)SCORE9SCORE100.39950.51130.51570.38050.3083図 3 各テーマにおける SCORE2 と平均評定のケンドール順位相関係数
Fig. 3 Kendall’s rank correlation coeﬃcient for each category

表 3: 提案手法とガイドラインとの比較 (上が良い構図，下が悪い構図)

Table 3: Comparison between the proposed scoring and photography guideline(The upper images are good compositions and lower ones are bad compositions according to guideline)

良い構図

SCORE

0.05380.04460.01770.00620.01030.00230.00760.0179

悪い構図

SCORE

となった．しかし，テーマ「木」については相関があ

類似度が極端に低い類似画像をスコアリングに使用すまり見られなかった．これは，入力画像に対する類似るのは不適切である．他の解決方法は，独自の類似画

画像数が極端に少ない場合があり，スコアリングに必像検索を構築することである．今回は類似画像検索を要な情報が十分得られなかったと考えられる．ゆえに

既存の類似画像検索サイト Gazopa に依存しているた

入力画像に対する類似画像数が少ない場合のスコアリ

め，類似度が 40%以上の類似画像が少ない場合があっングを改善する必要がある．一つの解決策としては，

たが，独自の類似画像検索を構築することで，類似度

類似画像検索の際の類似度の閾値を入力画像によって40% 以上の類似画像を増やすことができる．

変更し，より多くの類似画像を取得する方法である．

5.2 今後の課題

しかし，閾値を変えることで類似画像数は増えるが，実験結果より，提案手法は魅力に基づく画像スコア

情報処理学会 インタラクション 2011

リングとして有効であることが証明されたが，解決すべき問題も存在する．最も重要な問題は類似画像検索

6. 結

論

が，人間から見て，類似画像と見なせる画像を検索し本論文では，人間の主観評価を考慮できる新しい画ているかということである．提案手法のスコアリング

像スコアリングを提案した．提案手法では，入力画像と相性の良い類似画像検索を利用することで初めて適に対する画像共有サイト上の類似画像が使用されてい切なスコアリングを実現できる．今回は，類似画像検る．この類似画像はアクセス数，お気に入り数といっ索として Gazopa を利用したが，人間が類似している

たメタ情報を持ち，このメタ情報は人間の主観評価とと認識できる類似画像を検索する類似画像検索を実装

相関があると考えられる．入力画像のスコアは，メタする必要がある．類似画像検索の改善策としては，タ情報から計算した類似画像のスコアの，類似度を重みグを利用する方法がある．これは入力画像にタグ付けとした加重平均として計算される．評価実験では，提されているという前提のもと，類似画像検索結果の中

案手法と主観評価との相関が実証された．さらに，提からさらに同じタグを持つ画像を検索する手法である．

案手法が写真家の写真の撮り方ガイドラインに沿うこ

この改善により，状況に応じた画像スコアリングも可とも証明した．類似画像検索の改善，スコア式の改善，能になる．例えば，結婚式という状況の場合は，結婚

信頼できるメタ情報を持つ新しいデータベースの構築

式特有の魅力的な写真の撮り方が存在すると考えられ，などが今後の課題である．

タグを用いて類似画像検索をフィルタリングすること
で，結婚式に合ったスコアリングが可能になる．しかし，このフィルタリングを行うためには，画像に写る
対象物によって，その対象物特有の魅力的な構図が存在するという仮説を証明する必要がある．
もう一つの問題は，画像共有サイト上の画像に付加されているメタ情報が必ずしも信頼できるとは限らないことである．例えば，主観的に見て良い画像であるにも関わらず，その画像の存在がユーザに気づかれていないために，アクセス数やお気に入り数が 0 に近い
場合は，このメタ情報は信頼性がない．もし類似画像としてこのような画像が多く検索されてしまうと，提案手法によるスコアは小さくなってしまう．ゆえに，信頼できるメタ情報が付加された画像を類似画像として使用する必要がある．Flickr 上の画像は必ずしもすべてが信頼できるメタ情報を持っているわけではない
ので，独自のデータベースを構築する必要がある．

5.3 手法の応用について
提案手法の応用としては，様々なものが考えられる．
例えば，提案手法をカメラに搭載して，カメラに写っている構図をリアルタイムでスコアリングすることで，ユーザは，スコアを確認しながら簡単に良い写真を撮影できる．リアルタイムに類似画像検索を行うのは現実的ではないので，まず提案手法により，スコアの高い画像を収集し，収集した画像の特徴量を解析する．
解析結果から魅力的である画像であるための特徴量の傾向を決定し，入力画像がその傾向にどれだけ近いかでスコアリングすることが求められる．さらにタグを利用した類似画像フィルタリングにより，状況に応じたスコアリングも可能である．

参 考

文

献

1) Wee, C. and Paramesran, R.: Measure of image
sharpness using eigenvalues, Information Sciences:
an International Journal, Vol.177, No.12, pp.2533–
2552 (2007).
2) Obrador, P.: Document layout and color driven
image retrieval, ACM SIGIR Conf. on Researchand Development in Information, pp. 889–890(2007).
3) Zhang, L., Chen, L., Jing, F., Deng, K. and Ma,
W.: EnjoyPhoto: A vertical image search engine
for enjoying high-quality photos, Proc. ACM Int.
Conf. on Multimedia, pp.367–376 (2006).
4) Zhu, X., Zhao, J., Yuan, J. and Xu, H.: A fuzzy
quantization approach to image retrieval based oncolor and texture, Proc. Int. Conf. on Ubiquitous Information Management and Communication, pp.141–149 (2009).
5) Belongie, S., Malik, J. and Puzicha, J.: Shapematching and object recognition using shape contexts, IEEE Trans. Pattern Analysis and MachineIntelligence, Vol.24, No.4, pp.509–522 (2002).
6) Shi, J. and Malik, J.: Normalized cuts and image segmentation, IEEE Trans. Pattern Analysis
and Machine Intelligence, Vol. 22, No. 8, pp. 888–
905 (2000).
7) Ko, B. and Byun, H.: Integrated region-based image retrieval using region’s spatial relationships,
Proc. IEEE Int. Conf. on Pattern Recognition(2002).
8) Chi, M., Zhang, P., Zhao, Y., Feng, R. and Xue,
X.: Web image retrieval reRanking with multi-view
clustering, Proc. Int. Conf. on World Wide Web,
pp.1189–1190 (2009).
9) Savakis, A., Etz, S. and Loui, A.: Evaluation of image appeal in consumer photography, Proc. SPIE
Human Vision and Electronic Imaging (2000).
10) Pedro, J. and Siersdorfer, S.: Ranking and classifying attractiveness of photos in folksonomies, Proc.
Int. Conf. on World Wide Web, pp.771–780 (2009).