動画共有サイトにおける映像検索のための
編集度順序によるランキング法の提案と評価
豪 †,†† 日 高 浩 太 †,††† 佐 藤
小 島明†
相 澤 清 晴††入 江隆†

本研究では，動画共有サイトにおける消費者生成映像（Consumer Generated Videos: CGV）検索の新たなランキング指標として，CGV が「編集されている程度」に基づく編集度順序を導入し，これを推定する手法の提案を行う．提案手法は，編集された程度によって変化するカット点の数や，音楽区間の時間割合などの画像・音響的な特徴を利用し，評価者が主観的に判断した編集度順序を統計的に推定する．提案手法について，評価者が判断した編集度順序を，提案手法がどの程度推定可能であるかを，順位相関によって評価した．さらに，動画共有サイトでの利用を想定した効果を検証する
ため，約 22,000 件の CGV データベースを用いて，評価者実験を実施した．結果，提案手法が，現在の方式によるランキング結果を改善できることを示唆する結果を得た．

A Degree-of-Edit Ranking for Retrieval on
Video Sharing Sites and Its Evaluation
Go Irie ,†,†† Kota Hidaka,†,††† Takashi Satou,† Akira Kojima †and Kiyoharu Aizawa††
We introduce degree-of-edit ranking to focus on “how much a Consumer Generated Video(CGV) is edited” as a ranking measure for CGV retrieval on video sharing sites; a method toestimate degree-of-edit ranking is proposed. In the proposed method, the degree-of-edit scoreof a CGV is estimated by using audio/visual features such as the number of shot boundaries
and time ratio of music. We evaluate the rank correlation between degree-of-edit ranking
determined by subjects and by our method. To demonstrate its performance in a practicalscenario, application to video sharing sites, a user test is performed on over 22,000 CGVs inthe context of CGV search. Obtained results suggest that our method signiﬁcantly improves
conventional CGV ranking results.

しだす必要があるが，この際，より多くのユーザの興1. は じ め に味を惹く CGV を発見しやすくするためには，検索結『Youtube』 や『ClipLife』☆

☆☆

に代表される動画共有サイトが普及し，公開される消費者生成映像（Con-果に含まれる CGV の提示順序を効果的に制御するランキング指標の導入が不可欠である．

sumer Generated Video: CGV）の数は膨大なものと現在の一般的な動画共有サイトでは，ユーザの興味なっている．動画共有サイトで CGV を視聴するユーを惹く CGV をランキングの上位にあげるため，“視ザは，タグやタイトルに代表される周辺テキストを利聴回数” や “コメント数” などの指標を用いて，キー用したキーワード検索を行い，視聴したい CGV を探

ワード検索結果をランキングできるようになっている．
これらの指標によるランキングは，「多くのユーザが興† 日本電信電話株式会社 NTT サイバーソリューション研究所
NTT Cyber Solutions Laboratories, Nippon Telegraphand Telephone Corporation†† 東京大学大学院 情報理工学系研究科
Graduate School of Information Science and Technology, The University of Tokyo††† 慶應義塾大学大学院 政策メディア研究科
Graduate School of Media and Governance, Keio University

味を持ちやすい CGV は，より多くのユーザによって視聴・コメントされている」という考えに基づいている．ユーザが CGV を視聴したり，コメントを付与したりするのは，その CGV に興味を持ったからである，☆
☆☆

http://www.youtube.com/
http://cliplife.jp/

情報処理学会 インタラクション 2009というのは比較的自然な考え方であることから，合理

ワーク5) ，音楽6) ，テロップ7),8) などのインデクスを的な指標と認識されている．しかしながら，指標その検出する手法が研究されてきており，いずれもかなりものが CGV の内容のみに依存しない外部指標である

高精度に検出することができるようになってきている．

ため，いかに内容が優れ，より多くのユーザの興味を本研究では，これらを統合的に用いることによって，惹くような CGV であったとしても，たまたまユーザ

編集度順序を推定する手法を提案する．

の目に触れることがなければ，ランキングの上位にあ

2.2 映像検索結果のランキング

がることのないまま埋もれてしまう，という問題も有『YouTube』などの多くの動画共有サイトでは，公している．したがって，何らかの観点から CGV の内

開日時のほか，視聴回数や，コメント数，ユーザが付容を評価し，ランキングに反映する手法の導入が必要

与した評価値などのように，より多くのユーザに視となる．

聴・支持された CGV が，検索結果の上位にあがるよ

CGV の特徴として，映像の作成経験もさまざまな，

うなランキング方式が導入されている．一方で，動画一般の消費者によって作成・公開された映像であるこ

共有サイトが普及し，CGV の検索が一般的に行われとがあげられる．したがって，その内容に着目すれば，るようになってきたが，これに主眼をおいた研究例は非常によく編集されているものから，それほど編集さ数少ない．本研究では，動画共有サイトでの新たなラれていないものまで，さまざまなものが存在している．

ンキング手法を提案するものであり，実際に流通する

ここでいう編集とは，post-production に含まれるもCGV を用いた評価実験によって，性能の検証を行う．

のであり，例えば，音質や画質を改善する，あるいは，一般の映像検索におけるランキング手法として代余分な内容を省いて主旨を明確にする，効果を付与し表的なものに，画像片や映像片といった，テキストとて演出を施す，などの行為を指す．これらの編集行為は異なるメディア情報をクエリとして用いる類似検索

は，映像の構造を整えると同時に，魅力・雰囲気を高型のアプローチ9),10) がある．さらに，ユーザとのイ

1)

めることなどを目的として行われるため ，よりよく

ンタラクションを介することで，ユーザの検索意図を編集されているものほど，ユーザの興味を惹きやすい反映したランキング結果を提示する Relevance Feed-

ものになる傾向があると考えられる．このことから，back (RF)11) と呼ばれる手法も研究されている．RF

視聴回数やコメント数などの外部指標に加え，「編集さは，初期検索結果にリストされたいくつかの映像にれている程度」を表す内部指標を用いたランキング手

対して，その映像が positive（結果として望ましいも法を導入することで，ユーザにとってより有益なランの）であるか negative（望ましくないもの）であるか

キングを実現できる可能性があるといえる．

を，ユーザが直接評価する．例えば，画像片をクエリ

本研究では，CGV が編集されている程度に基づくとした初期検索結果に対して，ユーザが positive でランキング指標として，編集度順序を導入し，これをあると判断した画像との類似性を利用して，検索結果自動推定する編集度順序推定法の提案と評価を行う．

を改善する手法が提案されている12) ．RF では，pos-

提案手法は，編集された程度によって変化するカット

itive/negative の決定の際，ユーザの操作を要求する

点の数や，音楽区間の時間割合などの画像・音響的なことになるが，これを自動的に類推することで，イン特徴を利用し，評価者が主観的に判断した編集度順序

タラクションを省略する Pseudo Relevance Feedback

を統計的に推定する．まず，予備実験として，実際の(PRF) もある．初期検索リストのランキングに応じ動画共有サイトで流通する CGV を用い，評価者が判て，pseudo-positive（結果として望ましいと考えられ断した編集度順序を，提案手法がどの程度推定可能でる映像）と pseudo-negative（望ましくない映像）をあるかを順位相関によって評価した．さらに，実際の決定し，これらとの画像特徴の類似度に応じて正，負

動画共有サイトでの利用を想定した効果を検証するたのスコア補正を掛けてリランキングする手法が提案さ

め，約 22,000 件の CGV からなるデータベースを用れている13),14) ．

い，評価者実験を実施した．

2. 関 連 研 究

これらのランキング手法が，クエリやユーザの行動に依存してランキングが変化する，動的な指標を利用
してランキングを行うのに対して，提案手法は，クエ

2.1 映像インデクシング

リやユーザの行動に依存せず，CGV の内容に依存し映像中の構造に関する情報を検出し，これを用いてて定まる静的な尺度によってランキングする手法であ映像やシーンにインデクスを自動的に付与する手法

る．提案手法は，これらの動的な手法と競合するものが研究されている．これまで，カット点2)∼4) ，カメラではなく，むしろ併用することによって，より有益な動画共有サイトにおける映像検索のための編集度順序によるランキング法の提案と評価

ランキング手法とすることもできると考えられる．

2.3 質 の 評 価
Add music

映像の質を評価する手法に関する研究例として，音質・画質の評価手法に関するさまざまな取り組みがなされている15)∼17) ．一方で，本稿で対象とする，編集の程度に着目した研究例はみられない．動画共有サイ
トでの CGV 検索を目的とした場合，音質・画質に加えて，より意味内容の強い編集の程度に着目すること

shot boundary(a) Removal of an unwanted segment.

(b) Adding a music.

図 1 編集行為による変化の例
Fig. 1 Examples of changes with an editing

は，ユーザの利便性を高める上で有益であると考える．
CGV

3. 編集度順序推定法
提案する編集度順序推定法について説明する．まず，Audio Information

Visual Information

提案手法のアプローチについて述べる．その後，提案手法で用いる特徴量と，編集度順序を推定する方法にlength of entire video# of captions# of shot boundaries

Image quality

Audio quality

music time ratio

ついて述べる．

3.1 アプローチ
CGV の集合 V に含まれる n 個の CGV{v1 , v2 , . . . ,Degree-of-Edit Score Computation&
Ranking Estimationvn } ∈ V が与えられたとき，編集度順序による順位

Estimated Degree-of-Edit Ranking{oV (v1 ), oV (v2 ), . . . , oV (vn )} を決定したい．ここで，oV (vi ) は，CGVvi の V 内の順位を表す．本稿では，V によらず，CGVvi の画像・音響特徴量（ベクトル）

図 2 編集度順序推定法の概要
Fig. 2 Proposed degree-of-edit ranking estimation methodx(vi ) のみに基づいて決定される編集の程度（編集度）
e(x(vi )) を考え，この降順によって，任意の V に対る．このような考えに基づき，提案手法では，下記のする編集度順序における順位 oV (vi ) が定まるものと6 種類の特徴量を用いる．

すれば，本稿の問題は，関数 e(x(vi )) を得ることであ• 映像の時間長：Lる．ここで，e(x(vi )) を定める客観的な規則を与える• カット回数：N C

ことは困難であるため，本稿では，評価者により主観• 音質：AQ

的に決定された編集度順序を正解事例とし，統計的に• 画質：IQ

e(x(vi )) を得る．

• テロップの出現回数：N T

利用する特徴量 x は，編集度 e(x(vi )) に関連する• 音楽区間の時間割合：RM

ものであり，編集の程度に応じて変化しやすいもので

図 2 に ，提 案 す る 編 集 度 順 序 推 定 法 の 概 要 をあることが望ましい．本稿では，CGV を含む映像一示 す．提 案 手 法 は ，ま ず，CGVvi の 画 像 信 号 と般に実施されうる，下記の 4 つの post-production を

音 響 信 号 か ら ，前 述 の 6 種 の 特 徴 量 x(vi )編集行為として定義する．

{L(vi ), N C(vi ), AQ(vi ), IQ(vi ), N T (vi ), RM (vi )}=(1)

映像区間の除去・結合，を抽出する．その後，これらの特徴量 x(vi ) から，編(2)

音質・画質の改善，

集度順序を定める編集度 e(x(vi )) を推定し，これに基(3)

視覚的効果の付与（テロップの挿入），

づくランキングを行う．

(4)

聴覚的効果の付与（音楽・BGM の挿入）．

3.2 特徴量抽出

これらの行為を行う場合，いくつかの特徴量に変化が前節で述べた 6 種類の特徴量のうち，容易に取得可起こる．例えば，(1) を実行するためには，図 1(a) に能な映像時間長 L を除いた 5 種類の特徴量を抽出す示すように，カットを実行しなければならず，実行後る方法について説明する．

の映像にはカット点が生じる．複数の映像をつなぎ合3.2.1 カット回数わせる場合にも同様にカット点が生じ，また，映像のカット回数 N C を取得するためには，画像信号か

時間長も長くなることが多い．あるいは，(4) のようらカット点を検出し，映像全体に対して何回カットがに音楽を挿入した場合には，図 1(b) に示すように，音検出されたかをカウントすればよい．カット検出手法

響信号に変化が起こり，音楽信号の時間割合が増加すには，多くの先行研究が存在する2),3) が，本稿では，

情報処理学会 インタラクション 2009

高速かつ高精度にカット点を検出できる手法の一つである谷口らの方法を用いる4) ．検出されたカットの数

RM =を，N C とする．

3.2.2 音質・画質

LM
L

(3)

によって，RM を求める．

音質や画質の尺度として，ビットレートや信号成分

3.3 編集度と編集度順序の推定の大きさ（パワー）とノイズ成分の大きさの割合を表提案手法では，評価者が主観的に判断した編集度順序

す SNR がある．後者については，CGV のように，ノを正解事例とした，統計的な推定を行う．本稿では，学イズ成分の周波数特性が予め想定しにくいような元信習モデルとして，線形回帰（Linear Regression: LR），

号では，厳密に求めることが難しい．そこで，提案手サポートベクター回帰（Support Vecotor Regression:

法では，音質 AQ と画質 IQ を次のように算出する．

SVR），および，Ranking SVM（RSVM）19) の 3 つの

音質 AQ は，音響信号から 60Hz〜400Hz の間で F0モデルを利用した場合について検討を行う．これらをが推定された音響信号区間を信号成分，それ以外の区学習するための学習用データは，4.2.1 に後述する方法

間を雑音成分とみなし，前者の RMS 値 r̄ s と，後者によって得る ground truth データを用いる．groundnの RMS 値 r̄ によって，次式で計算する．

AQ = log

truth データは，評価者が判断した，CGV の編集の程度を 7 段階で表したものであり，編集度順序を定める

r̄s
.
r̄n

(1)

正解データとなる．各学習モデルは，CGVvi から抽出した特徴量ベクトル x(vi ) を正規化した x̄(vi ) ∈ R6を用いた．画質 IQ は，（平から，編集度順序を定める編集度 e(x̄(vi )) ∈ R を計均）ビットレート b と画像横サイズ w，画像縦サイズ

算する関数を学習する．最終的に，出力として得られh を用い，次式によって計算する．

る編集度 e(x̄(vi )) に基づいて，初期検索結果の集合 V

F0 の抽出法は RAPT

18)

IQ =

に含まれる CGV を降順にランキングし，編集度順序

b
.
w×h

(2)

の推定結果とする．

4. 評 価 実 験
3.2.3 テロップの出現回数

提案手法の有効性を評価するために，実際に流通すテロップ出現回数 N T を取得するには，画像信号

る CGV を用いて実施した評価実験について述べる．

からテロップの出現する区間を検出し，映像中に何回まず，予備実験として，評価者が主観的に判断した編

テロップが出現しているかをカウントすればよい．テ

集度順序を，提案手法がどの程度推定可能であるかをロップ検出手法としては，MPEG のマクロブックを評価するため，これらのランキング間の順位相関を評利用する手法7) や，輝度分布から計算するエッジ密集

価する．その後，実際の動画共有サイトでの利用を想

8)度を用いるものなどが提案されている．提案手法で定し，約 22,000 件規模の CGV データベースを用いは，CGV が必ずしも MPEG フォーマットでないこ

た評価者実験を実施することによって，提案手法の効8)とを踏まえ，桑野らによって提案された手法を用い果を検証する．

る．この手法では，テロップが出現してから消失する

4.1 データの取得までを一区間として検出することができる．この一区

本稿では，動画共有サイト『ClipLife』に公開され間を一回の出現とし，出現回数 N T を求める．

ている CGV を対象とする．
『ClipLife』は，商用（放3.2.4 音楽区間の時間割合

送）映像の不法アップロードに厳密に対処しており，

音楽区間の時間割合 RM は，映像時間長 L に対す

消費者が作成した CGV の割合が高いという特徴をる音楽の含まれる区間の時間長 LM の比によって求持つ．
『ClipLife』から，CGV27,564 ファイルを収集める．提案手法では，Minami らにより提案された手した．
『ClipLife』では，動画がユニークに所属するカ法を用いて音楽区間を検出する6) ．この手法は，音楽テゴリが設定されている．表 1 に，各カテゴリ名と，のスペクトルが，時間方向に安定したピークを有する取得した CGV の内訳を示す．本実験では，収集したことを利用し，音楽の開始点 ts ，終了点 te を検出す

CGV27,564 ファイルから，「その他」として分類した

る．検出された音楽区間毎に，∆t = te − ts を計算し，「携帯」，「テスト」，および，未所属の 3 つの例外的その累積和 LM =なカテゴリに含まれる 4,769 ファイルを除く，22,795∑∆t と映像時間長 L との比ファイルを，評価用映像として用いる．

動画共有サイトにおける映像検索のための編集度順序によるランキング法の提案と評価
表 1 取得した CGV のカテゴリと内訳
Table 1 The number of CGVs belongs to each category
カテゴリ名

取得 CGV 数

動物・ペット
観光・旅行
趣味
スポーツ
家族・結婚
映像作品・アニメ
乗り物
テクノロジー
音楽
教育・語学
ニュース
ヘルスケア
グルメ
ユーモア・ジョークビジネス
ファッション・美容
その他

6488
3017
2513
1974
1557
1333
1327
1306
733
567
485
483
345
306
256
105
4769

表 2 評価者間の編集度順序の順位相関
Table 2 Rank correlations of degree-of-edit rankings
between two subjects
評価者 ID

A
B
C
D

B
0.877
-

C
0.910
0.889
-

D
0.930
0.852
0.922
-

E
0.906
0.837
0.918
0.908

表 3 提案手法による編集度順序の順位相関
Table 3 Rank correlations of degree-of-edit rankings

A
B
C
D
E
Ave.

LR
0.753
0.768
0.743
0.740
0.729
0.747

SVR
0.740
0.795
0.761
0.719
0.720
0.747

RSVM
0.827
0.870
0.831
0.794
0.785
0.822

4.2 予 備 実 験を取るため，便宜的に評価値を間隔尺度と見做して平評価者が主観的に判断した編集度順序を，提案手法

均値を用いた．SVR，RSVM には，ガウスカーネル

がどの程度推定可能であるかを評価するために，収集を用いた．結果を，表 3 に示す．いずれのモデルを用した CGV 中から，ランダムに抽出した 100 ファイル

いた場合においても，それぞれの評価者との順位相関を用いて，順位相関を評価する．

は 0.7〜0.8 程度と高いことがわかる．また，RSVM

4.2.1 ground truth の取得を用いた場合が最も高い順位相関となっており，その100 ファイルの CGV それぞれに対して，編集度順

平均は 0.822 となった．

序の正解を定める ground truth データを得る．評価

4.3 実 験 条 件

者 5 名（A，B，C，D，E）に，100 ファイルの CGV

実際の動画共有サイトでの利用を想定した効果を検をランダムな順序で視聴させ，そのそれぞれに対して証する．本実験では 4.1 において収集した「その他」「編集されている程度」を 7 段階（1:全く編集されてを除く 16 種のカテゴリに所属する CGV22,795 ファ

いない〜4:普通に編集されている〜7:非常によく編集

イルからなる CGV データベースを用いる．

されている）の評価値で評価させた．
取得した ground truth データの性質を調査するた

本実験では，下記の 4 種類のランキング方式について比較を行う．

め，評価者毎に，評価値による CGV のランキングを• 公開日時（DATE）：最近公開されたものほど上位，行った後，それぞれのランキング間の順位相関（Spear-• 視聴回数（VIEW）：視聴回数の多いものほど上位，

man 順位相関）を計算した．結果を表 2 に示す．全• 編集度順序（EDIT）：推定された編集度の高いもての評価者間で 0.8 を超える高い相関を持つことが示されており，その平均値は 0.895，標準偏差は 0.031のほど上位，• 視聴回数＋編集度順序（VIEW+EDIT）：視聴回であった．このことから，編集度順序は，主観的差異

数が多く，推定された編集度の高いものほど上位．

による個人差の影響が小さく，客観性の高い指標であこ こ で ，編 集 度 順 序 に つ い て は ，4.2.1 で 得 た 評

るといえ，本稿で用いる ground truth データが，一価値の中央値を用いて学習した RSVM を用いた．

定の妥当性を有するものであると考えられる．

VIEW+EDIT については，おのおのの CGV の視聴

4.2.2 予備実験結果

回数と推定された編集度を，22,795 ファイルに対し

本実験では，ある評価者 1 名の評価データを試験て，それぞれ 0.0〜1.0 となるよう線形正規化し，和を

データ，残り 4 名の評価データを学習データとして用とることによってスコアを計算してランキングした．

いることとし，起こりうる 5 通りの場合について評価

これら 4 種のランキング方式を適用して，上記 16 種を行った．学習データについて，RSVM の学習の際にのカテゴリ毎に CGV をランキングし，それぞれ上位

は，4 名の評価値の中央値を用いた順位を用い，LR，

10 件の検索結果を表示したページ（4 方式× 16 カテ

SVR の 2 つの回帰モデルに対しては，尺度の整合性

ゴリ，計 64 ページ）を準備した．評価者は，予備実験

情報処理学会 インタラクション 2009とは異なる 14 名（男性 6 名，女性 8 名）とし，各評(1)16 種のカテゴリから，最も興味のあるカテゴ

0i ≤ 4 ならば，(3) に進む．そうでなければ，(7)12

選択したカテゴリについて，4 種のランキング

(7)

6

DATE

検索結果に含まれる CGV の視聴を行い，各100

全ての CGV の視聴を終えた後，検索結果に対

1

2

3

する設問［質問 3］に回答する．

(6)

4
5
evaluation value

VIEW+EDIT

7

VIEW

EDIT

VIEW+EDIT

y
c
n
e 30
u
q 20
e
r
f

CGV に対して［質問 1］，［質問 2］に回答する．
(5)

3

50
40

方式による検索結果のうち，i 番目を閲覧する．

(4)

EDIT

(a) Interestingness

へ進む．

(3)

VIEW

y 30
c
n
e
u 20
q
e
r
f 10

リを 1 つ選択する．また，i = 1 とする．

(2)

DATE

40

価者は以下の手順で評価作業を実施するものとした．

i ← i + 1 とし，(2) に戻る．

4
5
evaluation value(b) Quality

7
6

DATE

6

VIEW

EDIT

4
5
evaluation value(c) Satisfaction

6

7

VIEW+EDIT

y5
c
n
e4
u
q3
e
r
f2

4 種のランキング方式全ての回答が終了した後，［質問 4］に回答する．

1
0［質問 1］〜［質問 4］の内容は，以下の通りである．
［質問 1］（Interestingness） 検索結果に含まれる

1

2

3

7

各 CGV を視聴し，各 CGV に対する興味の度合いを
図 3 評価値の分布
Fig. 3 Distribution of evaluation results

7 段階（1：低い〜7：高い）で評価する．
［質問 2］（Quality） 検索結果に含まれる各 CGVを視聴し，各 CGV の品質の高さを 7 段階（1：低い〜7：高い）で評価する．
［質問 3］（Satisfaction） 検索結果に満足した度合

VIEW+EDIT の間に有意水準 5%の有意差があった．
次に，Quality に着目すると，中央値は，DATE：

いを 7 段階（1：低い〜7：高い）で評価する．

4，VIEW：4，EDIT：5，VIEW+EDIT：5 であり，

［質問 4］（Result-Diﬀerence） 4 つの検索結果にEDIT，VIEW+EDIT の 2 種が相対的に高かった．

どの程度差があったかを 7 段階（1：差がない〜7：差

図 3(b) の分布も，EDIT，VIEW+EDIT の 2 種が，がある）で評価する．

DATE，VIEW よりも高い評価値を得ている傾向にあ

4.4 結

果

る．また，表 4(b) によれば，EDIT と DATE および評価者 14 名により，興味のあるカテゴリとして選VIEW，EDIT+VIEW と DATE および VIEW の間

択された頻度は，動物・ペット：3，観光・旅行：1，スに，それぞれ有意水準 1%の有意差が認められた．

ポーツ：2，映像作品・アニメ：1，乗り物：1，音楽：1，

最後に，Satisfaction についての結果を述べる．

グルメ：2，ユーモア・ジョーク：2，ファッション・美中 央 値 は ，DATE：3.5，VIEW：4.5，EDIT：5.5，

容：1 であった．各ランキング手法の性能に関する質

VIEW+EDIT：5 であった．VIEW，EDIT，VIEW+

問である［質問 1］〜［質問 3］に対する回答結果のEDIT が，DATE に比べて高いことがわかる．しかしヒストグラムを図 3 に示す．また，評価項目毎に，各ながら，図 3(c) に示すヒストグラムをみると，評価

ランキング方式間の差が有意であるか否かを確認する

値 6 の点で EDIT，VIEW+EDIT の頻度が高いものために行った Steel-Dwass 検定の結果を表 4 に示す．

の，明らかな分布の違いは確認できず，表 4(c) の結

まず，Interestingness について，その中央値は，

DATE：4，VIEW：4，EDIT：4，VIEW+EDIT：4

果からも，有意傾向は認められなかった．
以上の結果から，EDIT によるランキングについて，であり，方式間の差は見られなかった．しかしながら，

以下のことが確認できたといえる．

図 3(a) をみると，評価値の傾向として，DATE は 2〜

(1)

上位にランキングする，

5，VIEW は 3〜6，EDIT と VIEW+EDIT は 4〜6に高い頻度で分布しており，差がみられた．特に，評価(2)いる．表 4(a) に示すように，DATE と EDIT および

DATE，VIEW よりも Quality の高い CGV をより上位にランキングする，

値 6，7 の高い値では，DATE に比べ VIEW，EDIT，

VIEW+EDIT の 3 種が相対的に高い頻度で分布してDATE よりも Interestingness の高い CGV を(3)

結果に対する Satisfaction は，DATE，VIEWと同程度である．

動画共有サイトにおける映像検索のための編集度順序によるランキング法の提案と評価
表 4 Steel-Dwass 検定の結果（t, p）
Table 4 Results of Steel-Dwass test (t, p)(a) Interestingness
VIEW
EDIT
VIEW+EDIT
DATE(1.89, .23)
(2.84, .02)
(2.86, .02)
VIEW
(0.89, .81)
(0.92, .79)
EDIT
(0.01, >.99)

DATE
VIEW
EDIT

VIEW
(1.37, .52)-(b) Quality
EDIT(4.19, <.01)(5.13, <.01)-

VIEW+EDIT(4.36, < .01)
(5.25, <.01)(0.28, .99)

DATE
VIEW
EDIT

(c) Satisfaction
VIEW
EDIT
(0.70, .90)
(1.35, .53)
(0.70, .90)-

VIEW+EDIT(1.49, .44)
(0.82, .85)
(0.26, .99)

8
y6
c
n
e
u4
q
e
r
f 2

0

1

2

3
4
5
evaluation value of Result Difference

67

図 4 Result-Diﬀerence の分布
Fig. 4 Distribution of Result-Diﬀerenceの導入が必要であると考える．

4.5.2 ランキング結果の差異について［質問 4］として，方式の違いによるランキング結果の差異を質問した．この結果を，図 4 に示す．評価
値 5，6 などの，違いがあると回答した評価者の割合が相対的に高い頻度で分布していることがわかる．全ての評価者に，どのランキング方式が類似していると

4.5 考

察

感じたかを尋ねたところ，EDIT と VIEW+EDIT が4.5.1 予備実験結果について類似していると回答したものが最も多く 9 名，続いて，予備実験の結果，特に RSVM を用いた場合，評価

VIEW と EDIT と VIEW+EDIT が 2 名，DATE と者による編集度順序と高い順位相関が得られることがVIEW，DATE と EDIT，VIEW と VIEW+EDITわかった．しかしながら，評価者間同士の順位相関平

がそれぞれ 1 名づつであった．

均 0.895 に対して，0.07 程度低い値となった．この原

また，DATE，VIEW，EDIT の 3 種について，カ因として，評価者が評価値を判断する際に，判断材料

テゴリ毎のランキング結果の順位相関を求めたところ，とする画像・音響的な特徴と，提案手法で用いた 6 種

その平均値は，DATE と VIEW 間で-0.447，DATEの特徴の間に乖離があることが考えられる．

と EDIT 間で 0.029，VIEW と EDIT 間で-0.045 と評価者から回答を得た後，何を基準に評価値を判断なった．EDIT と他の 2 種のランキング結果との間にしたかをたずねたところ，概ね，カット点の数や音楽相関がないことがわかる．DATE と VIEW 間にみらの有無など，提案手法で利用した特徴量に対応する回れる負相関は，公開されてからある程度時間が経過し答が多かった．一方で，「カメラ動作が安定している

ないと，視聴回数が増加しないことによる．

ほど，良質なシーンを選定しているという観点で，編以上のことから，EDIT は，DATE や VIEW とは集の程度が高いと感じた」といった，提案手法が考慮

主観的にも客観的にも異なるランキング結果を提示でしていないカメラ動作に対する言及があった．この言きるといえる．

及は，どちらかといえば “編集の良し悪し” に関わる

4.5.3 評価項目間の相互相関についてものであるが，カメラ動作自体は映像文法などの観点

実験では，編集度順序が，Quality の高い CGV をからも重要とされており20) ，これまでにも，CGV の上位に挙げやすいランキング方式であることを確認し高品質化を目的として，これを安定化する手法が提案た．ここで，Interestingness，Quality，Satisfaction

されている

21)

．したがって，主観との一致性を向上すの 3 つの評価項目間の順位相関を計算したところ，る，あるいは，さらなる Quality の改善を図るというInterestingness-Quality 間で 0.664，Interestingness-

観点では導入する価値があるものと考える．

Satisfaction 間で 0.514，Quality-Satisfaction 間でまた，今回利用した特徴量のうち，IQ が実際の評

0.483 となった．Interestingness-Satisfaction 間と比価者が感じる画質とは乖離していた可能性も指摘さ較すれば，相対的には弱いものの，Quality と Inter-

れた．この原因の一つとして，動画共有サイトでは，

estingness，Satisfaction の間にも少なからず相関が

動画投稿時にビットレートや画像サイズが変更されるあることが確認できる．この結果は，ユーザの興味や場合があることが考えられる．本実験で対象とした満足度に対して，Quality が寄与しうることを示唆し『ClipLife』においても，このような変更により，必ずている．同時に，Quality を得やすい編集度順序の導しも画質を正確に反映しないものが含まれていた．今入により，ユーザの興味や満足度を向上できることを後は，より正確に，信号レベルで画質を評価する手法

示唆するものであると考える．

情報処理学会 インタラクション 2009

5. ま と め
本研究では，CGV の検索結果をランキングするための新たな指標として編集度順序を導入し，その推定法を提案した．主観的に評価した編集度順序と，提案手法が推定した編集度順序との順位相関を評価し，提案手法が主観による編集度順序を精度よく推定できることを確認した．さらに，約 22,000 件規模の CGV
データベースを用いた評価者実験によって，提案手法
が現在の動画共有サイトにおけるランキング結果を改善できることを示唆する結果を得た．
今後の課題として，より有益なランキング結果の提示に向け，手法の精度改善，および，RF のように，ユーザからのレスポンスを利用してリランキングする
手法などとの組み合わせを検討することが考えられる．
また，実際の動画共有サイトへの実用化を目指すことも重要な課題である．
謝辞 東京大学大学院 講師 山崎俊彦氏，NTT 加藤
洋一氏，谷口行信氏に多大なご協力をいただきました．
また，実験にご協力頂いた皆様に感謝申し上げます．

参

考

文

献

1) Anderson, G.H.: Video Editing and PostProduction: A Professional Guide 3rd Edition, Knowledge Industry Publications, White
Plains, NY (1993).
2) Zhang, H.-J., Kankanhalli, A. and Smoilar,
S.W.: Automatic Partitioning of Full-Motion
Video, Multimedia Systems, Vol. 7, No. 5, pp.
771–785 (1997).
3) 長坂晃朗，田中護：カラービデオ映像における自動索引付け法と物体検索法，情処論，Vol.33，
No.4，pp.543–550 (1992).
4) 谷口行信，外村佳伸，浜田洋：映像ショット切換
え検出法とその映像アクセスインタフェースへの応用，信学論， Vol.J79-D-II, No.4, pp.538–546(1996).
5) Taniguchi, Y., Akutsu, A. and Tonomura,
Y.:PanoramaExcerpts: Extracting and Packing
Panoramas for Video Browsing, Proc. ACM
Multimedia, pp. 427–436 (1997).
6) Minami, K. , Akutsu, A., Hamada, H. and
Tonomura, Y.:Video Hadling with Music andSpeech Detection, IEEE Multimedia, Vol. 5,
No.3, pp.17–25 (1998).
7) 佐藤隆ほか：MPEG 符号化映像からの高速テロッ
プ領域検出法，信学論，Vol.J81-D-II, No.8, pp.
1847–1855 (1998).
8) 桑野秀豪，倉掛正治，小高和己：映像データ検索のためのテロップ文字抽出法，信学技報 PRMU，Vol.96, No.385, pp.39–46 (1996).
9) Dimitrova, N. and Abdel-Mottaleb, M.:
Content-based Video Retrieval by Example
Video Clip, Proc. SPIE, Vol. 3022, pp. 59–70(1997).
10) Chen, L. and Chua, T.-S.: A Matching and
Tiling Approach to Content-based Video Retrieval, IEEE Int. Conf. Multimedia & Expo.,
pp.417–420, (2000).
11) Rui, Y., Huang, S.H., Ortega, M. and Mehrotra, S.: Relevance Feedback: A Power Toolfor Interactive Content-Based Image Retrieval,IEEE Trans. Circuits and Systems and Systems
or Video Technology, Vol.8, No.5, pp.644–655(1998).
12) Doulamis, A.D., Avrithis, Y.S., Doulamis,
N.D. and Kollias, S.D.: Interactive ContentBased Retrieval in Video Databases Using
Fuzzy Classiﬁcation and Relevance Feedback,Proc. of IEEE Inter. Conf. on Multimedia,
Comp. & Syst., Vol.2, pp.954–958 (1999).
13) Yan, R., Hauptmann, A. and Jin, R.: Multimedia Search with Pseudo-Relevance Feedback, LNCS, Vol. 2728/2003, pp. 649–654(2003).
14) Hsu, W.H., Kennedy, L.S. and Chang, S.-F.:
Video Search Reranking via Information Bottleneck Principle, Proc. ACM Multimedia, pp.
35–44 (2006).
15) 宮地悟史，浜田高宏，松本修一：人間の視覚特性を考慮した画像品質評価システムの開発，信学論，Vol.J81-D-II, No.6, pp.1084–1094, (1998).
16) 林孝典ほか：マルチビットレート映像配信サー
ビスにける QoS 制御方式の検討，信学技報 IE，Vol.104, No.313, pp.55–60 (2004).
17) Wang, Z., Bovik, A.C., Sheikh, H.R. andSimoncelli, E.P.: Image Quality Assessment:
From Error Measurement to Structural Similarity, IEEE T. Image Processing, Vol.13, No.4,
pp.600–612, (2004).
18) Talkin, D.: A Robust Algorithm for Pitch
Tracking, Speech Coding and Synthesis, (1995).
19) Joachims, T.: Optimizing Search Engines using Clickthrough Data, Proc. ACM SIGKDD,
pp.133–142 (2002).
20) Arijon, D.: Grammar of the Film language,
Silman-James Press (1991).
21) Gleicher, M.L. and Liu, F.: Re- Cinematography: Improving the Camera Dynamics of Casual Video, Proc. ACM Multimedia, pp.27–36(2007).