【手続補正書】
【提出日】平成26年7月16日(2014.7.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画に登場する各登場物間の関係性を示す関係性情報と、前記動画の中で各登場物が登場する区間を示す区間メタデータとを利用し、ユーザにより選択された登場物との間に所定の関係性を有する登場物が登場する区間を検出する区間検出部を備える、情報処理装置。
【請求項２】
前記関係性情報は、前記関係性の強さを示す関係性値を含み、
前記区間検出部は、前記ユーザにより選択された登場物との間における関係性値の総和が最大となるように所定数の登場物を選択し、選択した登場物が登場する所定数の区間を検出する、請求項１に記載の情報処理装置。
【請求項３】
前記関係性情報は、前記関係性の強さを示す関係性値を含み、
前記区間検出部は、
前記ユーザにより選択された第１の登場物が登場する第１の区間を検出する処理と、
ｎ＝２〜Ｎ（Ｎ≧２）に関し、第ｎ−１の区間の次に再生される第ｎの区間に登場する第ｎの登場物を選択する処理と、
前記第ｎ−１の登場物と前記第ｎの登場物との間における関係性値をｎ＝２〜Ｎに関して積算し、前記関係性値の積算値を算出する処理と、
前記関係性値の積算値が最大となる第２〜第Ｎの登場物を選択する処理と、
選択した前記第ｎの登場物（ｎ＝２〜Ｎ）が登場する第ｎの区間を検出する処理と、
を実行し、前記第１〜第Ｎの区間を検出結果として出力する、請求項１に記載の情報処理装置。
【請求項４】
前記関係性情報は、前記関係性の強さを示す関係性値を含み、
前記区間検出部は、
前記ユーザにより選択された登場物が登場する第１の区間を検出する処理と、
ｎ＝２〜Ｎ（Ｎ≧２）に関し、第ｎ−１の区間以降の各区間について、各区間内に登場する全ての登場物と、前記第ｎ−１の区間に登場する全ての登場物との間における関係性値の総和が最大になる区間を検出して第ｎの区間に設定する処理と、
を実行し、前記第１〜第Ｎの区間を検出結果として出力する、請求項１に記載の情報処理装置。
【請求項５】
前記関係性情報は、前記関係性の強さを示す関係性値を含み、
前記区間検出部は、
前記ユーザにより選択された登場物が登場する第１の区間を検出する処理と、
ｎ＝２〜Ｎ（Ｎ≧２）に関し、第ｎ−１の区間以降の各区間について、各区間内に登場する全ての登場物と、前記ユーザにより選択された登場物との間における関係性値の総和を算出し、算出した関係性値の総和が前記第ｎ−１の区間に関する関係性値の総和に最も近くなる区間を検出して第ｎの区間に設定する処理と、
を実行し、前記第１〜第Ｎの区間を検出結果として出力する、請求項１に記載の情報処理装置。
【請求項６】
前記関係性情報は、前記関係性の強さを示す関係性値を含み、
前記区間検出部は、前記ユーザにより選択された登場物との間における関係性値の総和が最小となるように所定数の登場物を選択し、選択した登場物が登場する所定数の区間を検出する、請求項１に記載の情報処理装置。
【請求項７】
前記区間検出部により検出された区間に対応する画像を出力する画像出力部をさらに備え、
前記区間検出部は、前記関係性情報に含まれる少なくとも１つの関係性値が変更された場合に、変更後の前記関係性情報に基づいて前記区間を再検出し、
前記画像出力部は、前記区間検出部による再検出の結果に応じて出力内容を更新する、請求項２〜６の何れか１項に記載の情報処理装置。
【請求項８】
前記ユーザにより選択された登場物に対応する第１のオブジェクトを操作領域の中心に表示し、当該登場物との間における関係性値の大きさに応じた距離だけ前記第１のオブジェクトから離れた位置に、一又は複数の他の登場物にそれぞれ対応する一又は複数の第２のオブジェクトを表示するオブジェクト表示部と、
前記操作領域において前記第２のオブジェクトの位置が変更された場合に、変更後の当該第２のオブジェクトの位置に応じた関係性値を算出し、算出した関係性値により前記関係性情報を更新する関係性情報更新部と、
をさらに備える、請求項７に記載の情報処理装置。
【請求項９】
同じ作品に登場する頻度が高いほど、或いは、共に登場する区間の長さが長いほど、前記関係性値が大きくなるように、前記区間メタデータを利用して各登場物の組に関する関係性値を算出して前記関係性情報を生成する関係性情報生成部をさらに備える、請求項２〜８の何れか１項に記載の情報処理装置。
【請求項１０】
前記関係性情報は、前記関係性の種類を示した第１〜第Ｎ−１の種類情報を含み、
前記区間検出部は、
前記ユーザにより選択された登場物が登場する第１の区間を検出する処理と、
ｎ＝１〜Ｎ−１に関し、前記ユーザにより選択された登場物との間において第ｎの種類情報が示す種類の関係性を有する第ｎの登場物を検出し、第ｎの区間以降の区間の中から当該第ｎの登場物が登場する区間を検出して第ｎ＋１の区間に設定する処理と、
を実行し、前記第１〜第Ｎの区間を検出結果として出力する、請求項１に記載の情報処理装置。
【請求項１１】
予め用意された複数の動画における特徴的な関係性の時系列変化を検出し、検出した特徴的な関係性の時系列変化に適合するように前記第１〜第Ｎ−１の種類情報を設定する種類情報設定部をさらに備える、請求項１０に記載の情報処理装置。
【請求項１２】
前記第１〜第Ｎ−１の種類情報には、それぞれカメラワーク又はエフェクトの種類を示す補助情報が対応付けられており、
前記区間検出部は、
前記ユーザにより選択された登場物が登場する第１の区間を検出する処理と、
ｎ＝１〜Ｎ−１に関し、前記ユーザにより選択された登場物との間において第ｎの種類情報が示す種類の関係性を有する第ｎの登場物を検出し、第ｎの区間以降の区間の中から当該第ｎの登場物が登場する区間であり、かつ、前記補助情報に適合する区間を検出して第ｎ＋１の区間に設定する処理と、
を実行し、前記第１〜第Ｎの区間を検出結果として出力する、請求項１０又は１１に記載の情報処理装置。
【請求項１３】
動画に登場する各登場物間の関係性を示す関係性情報と、前記動画の中で各登場物が登場する区間を示す区間メタデータとを利用し、ユーザにより選択された登場物との間に所定の関係性を有する登場物が登場する区間を検出するステップを含む、動画要約方法。
【請求項１４】
動画に登場する各登場物間の関係性を示す関係性情報と、前記動画の中で各登場物が登場する区間を示す区間メタデータとを利用し、ユーザにより選択された登場物との間に所定の関係性を有する登場物が登場する区間を検出する区間検出機能をコンピュータに実現させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
さらに、ｔ２〜ｔ３の区間及びｔ１０〜ｔ１１の区間で人物Ａと人物Ｂとが共に登場しているから、動画Ｍ１における人物Ａと人物Ｂとの共演シーン時間Δｔ１ＡＢは、Δｔ１ＡＢ＝｜ｔ３−ｔ２｜＋｜ｔ１１−ｔ１０｜と算出される。同様に、ｔ６〜ｔ７の区間で人物Ｂと人物Ｃとが共に登場しているから、動画Ｍ１における人物Ｂと人物Ｃとの共演シーン時間Δｔ１ＢＣは、Δｔ１ＢＣ＝｜ｔ７−ｔ６｜と算出される。また、ｔ１４〜ｔ１５の区間で人物Ａと人物Ｃとが共に登場しているから、動画Ｍ１における人物Ａと人物Ｃとの共演シーン時間Δｔ１ＣＡは、Δｔ１ＣＡ＝｜ｔ１５−ｔ１４｜と算出される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
例えば、人物Ｄと人物Ｅとが動画Ｍ２、Ｍ５で共演しているとしよう。この場合、人物Ｄと人物Ｅとの組に関する共演時間は、動画Ｍ２及びＭ５における人物Ｄの動画別出演時間（Δｔ２Ｄ及びΔｔ５Ｄ）の合計値と、動画Ｍ２及びＭ５における人物Ｅの動画別出演時間（Δｔ２Ｅ及びΔｔ５Ｅ）の合計値との和（Δｔ２Ｄ＋Δｔ５Ｄ＋Δｔ２Ｅ＋Δｔ５Ｅ）となる。また、人物Ｄと人物Ｅとの組に関する共演シーン時間は、動画Ｍ２における共演シーン時間Δｔ２ＤＥと、動画Ｍ５における共演シーン時間Δｔ５ＤＥとの和（Δｔ２ＤＥ＋Δｔ５ＤＥ）となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
同じ人物に関する関係性値も同様にして求め、これらの関係性値をまとめると、図１０に示すような関係性マトリックスが得られる。なお、ここではスコアの合計値をそのまま関係性値としたが、合計値の平方根を関係性値としてもよい。また、所定の係数をかけたり、正規化したりするなど、加工した数値を関係性値として利用することが望ましい。例えば、対角成分が全て１になるように正規化することが望ましい。また、上記の説明では、役柄の組み合わせに応じてスコア付けする方法を例示したが、例えば、次のように役柄重みＲＷを定義し、下記の式（１）に基づいて関係性値Ｒｅｌを算出してもよい。役柄重みＲＷ（Ｍｋ，Ａ）は、動画Ｍｋにおける人物Ａの役柄が主役の場合に２、脇役の場合に１、出演していない場合に０をとる。また、Ｒｅｌ（Ａ，Ｂ）は、人物Ａと人物Ｂとの関係性を示す関係性値を表す。