(57)【特許請求の範囲】
【請求項１】
複数の参照画像の各々の特徴量から求めた前記複数の参照画像の相互間の類似度を用いて、前記複数の参照画像の各々の関係性を木構造で表した木構造情報を作成する第１作成手段と、
ユーザが保有する複数の対象画像の各々の特徴量と前記木構造の葉ノードに対応する前記参照画像の各々の特徴量とを用いて、前記ユーザの関心度を前記木構造の各ノードに割り当てたユーザプロファイルを作成する第２作成手段と、
を備えたユーザプロファイル作成装置。
【請求項２】
前記類似度は、視覚的特徴から求められる視覚的類似度、文語的特徴から求められる文語的類似度、及び、前記ユーザと前記複数の参照画像の各々との関連性から求められる社会的類似度のうち、少なくとも２つを含む
請求項１記載のユーザプロファイル作成装置。
【請求項３】
動画像を複数の時間帯に分割した分割動画像毎に、請求項１又は２記載のユーザプロファイル作成装置により作成された前記ユーザプロファイルと、前記分割動画像に含まれるフレームの各々の特徴量とを用いて前記ユーザプロファイルと前記分割動画像との類似度を計算し、計算した類似度に応じて、前記分割動画像の再生優先度を算出する算出手段
を備えた動画像分析装置。
【請求項４】
前記算出手段により算出された前記分割動画像の再生優先度を、前記分割動画像の前後に隣接する前記分割動画像の再生優先度に基づいて調整する調整手段を更に備えた
請求項３記載の動画像分析装置。
【請求項５】
前記調整手段は、調整対象とする前記分割動画像である対象分割動画像の再生優先度、及び前記対象分割動画像の前に隣接する分割動画像の再生優先度の第１の差と、前記対象分割動画像の再生優先度、及び前記対象分割動画像の後に隣接する分割動画像の再生優先度の第２の差と、が共に予め定めた閾値以上である場合は、前記第１の差及び前記第２の差が前記閾値未満となるように、前記分割動画像の再生優先度を調整する
請求項４記載の動画像分析装置。
【請求項６】
請求項３〜５の何れか１項記載の動画像分析装置と、
前記算出手段により算出された前記分割動画像の再生優先度に応じて、前記分割動画像の再生速度を調整しながら前記動画像を再生する再生手段と、
を備えた動画像再生装置。
【請求項７】
コンピュータを、請求項１又は２記載のユーザプロファイル作成装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラムに関する。
【背景技術】
【０００２】
特許文献１には、デジタル放送を受信・蓄積し再生する蓄積再生方法であって、入力ストリームを動画及び音声に分離するストリーム処理部と、前記ストリーム処理部の処理したストリームを受け取り蓄積ストリームを作成する蓄積ストリーム作成部と、前記ストリーム処理部の分離した動画を復号する動画処理部と、前記ストリーム処理部の分離した音声を復号する音声処理部と、前記動画処理部の復号した動画の特徴量を抽出する動画特徴量抽出部と、前記音声処理部の復号した音声の特徴量を抽出する音声特徴量抽出部と、前記蓄積ストリーム作成部の作成した蓄積ストリームと、前記動画特徴量抽出部及び前記音声特徴量抽出部の抽出した動画特徴量及び音声特徴量とを蓄積する蓄積装置と、ユーザの特殊再生指示を受信し、操作のタイミングの前後一定期間のストリームの持つ特徴量を前記蓄積装置から読み出し、特徴量のパターンを検出すると共に検出された特徴量のパターンを前記蓄積装置にユーザの好みのパラメタパターンとしてパラメタパターン検出部とを有することを特徴とするデジタル放送蓄積・再生方法が開示されている。
【０００３】
特許文献２には、複数のユーザによりそれぞれ撮影された画像データからそれぞれ抽出された複数の第１のメタ情報と、当該各複数の第１のメタ情報が解析されてそれぞれ導出された複数の第２のメタ情報とが、統計処理されることで生成され、前記第２のメタ情報毎の、当該第２のメタ情報の導出元となった前記各第１のメタ情報の頻度を示す統計情報を記憶する第１の記憶部と、推薦対象となる商品コンテンツまたはサービスコンテンツを示す複数の異なるコンテンツ情報を記憶する第２の記憶部と、前記複数のユーザのうち一のユーザのクライアント装置から、当該クライアント装置において前記複数の第１のメタ情報から導出された前記第２のメタ情報を受信する通信部と、前記受信された第２のメタ情報と、前記記憶された統計情報とを基に、前記記憶された複数のコンテンツ情報から、前記受信された第２のメタ情報について、所定頻度以上の前記頻度を有する前記第１のメタ情報に関連するコンテンツ情報を選択し、当該選択されたコンテンツ情報を前記クライアント装置へ送信するように前記通信部を制御する制御部とを具備するサーバ装置が開示されている。
【０００４】
特許文献３には、携帯電話、ＰＤＡなどの携帯端末を利用してテキスト、静止画、動画像を受信するモバイル環境下で、番組の経過にしたがって番組映像およびその番組映像と関連する番組関連情報から前記携帯端末へ配信するための番組関連コンテンツを生成して提示する番組関連コンテンツ生成・提示方法であって、前記番組映像および番組関連情報を入力して、予め定義された木構造に基づいて前記番組関連コンテンツを生成し、予め携帯端末を有する個々の利用者がそれぞれ視聴リクエストとして設定した視聴データ量に基づいて、前記利用者毎に前記番組関連コンテンツの木構造中のリーフノードを提示候補として選択し、前記木構造のルートから開始して前記提示候補となったリーフノードを順に辿っていく提示経路を提示シナリオとして利用者毎に生成し、生成した提示シナリオを該当する利用者の携帯端末へ送出することを特徴とする番組関連コンテンツ生成・提示方法が開示されている。
【０００５】
非特許文献１には、ユーザの個人的な写真ライブラリの内容を解析して個々の好みを考慮したユーザ適応型ビデオ要約システムが開示されている。この技術では、写真ライブラリを複数のカテゴリに分類し、各カテゴリに属する写真の数によってユーザの嗜好を推測する。また、この技術では、ビデオの各セグメントについても同様に複数のカテゴリに分類し、推測されたユーザの嗜好に基づいて各セグメントに重要度を割り当て、重要性が低いと推測されるセグメントを削除することでビデオ要約を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２７８８０号公報
【特許文献２】特開２０１１−２１５９６４号公報
【特許文献３】特開２００３−３２６５４号公報
【非特許文献】
【０００７】
【非特許文献１】Yuichiro Takeuchi, Masanori Sugimoto, "User-Adaptive Home Video Summarization using Personal Phot Libraries", the 6th ACM international conference on Image and video retrieval (CIVR), Amsterdam, The Netherlands, 2007 July 9-11 (conference duration), Pages 472-479.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、ユーザの関心度を表すユーザプロファイルを木構造を用いずに作成した場合と比較して、ユーザの関心度が精度良く反映されたユーザプロファイルを作成することができるユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に係るユーザプロファイル作成装置は、複数の参照画像の各々の特徴量から求めた前記複数の参照画像の相互間の類似度を用いて、前記複数の参照画像の各々の関係性を木構造で表した木構造情報を作成する第１作成手段と、ユーザが保有する複数の対象画像の各々の特徴量と前記木構造の葉ノードに対応する前記参照画像の各々の特徴量とを用いて、前記ユーザの関心度を前記木構造の各ノードに割り当てたユーザプロファイルを作成する第２作成手段と、を備えている。
【００１０】
請求項２に係るユーザプロファイル作成装置は、請求項１記載の発明において、前記類似度は、視覚的特徴から求められる視覚的類似度、文語的特徴から求められる文語的類似度、及び、前記ユーザと前記複数の参照画像の各々との関連性から求められる社会的類似度のうち、少なくとも２つを含む。
【００１１】
請求項３に係る動画像分析装置は、動画像を複数の時間帯に分割した分割動画像毎に、請求項１又は２記載のユーザプロファイル作成装置により作成された前記ユーザプロファイルと、前記分割動画像に含まれるフレームの各々の特徴量とを用いて前記ユーザプロファイルと前記分割動画像との類似度を計算し、計算した類似度に応じて、前記分割動画像の再生優先度を算出する算出手段を備えている。
【００１２】
請求項４に係る動画像分析装置は、請求項３記載の発明において、前記算出手段により算出された前記分割動画像の再生優先度を、前記分割動画像の前後に隣接する前記分割動画像の再生優先度に基づいて調整する調整手段を更に備えている。
【００１３】
請求項５に係る動画像分析装置は、請求項４記載の発明において、調整対象とする前記分割動画像である対象分割動画像の再生優先度、及び前記対象分割動画像の前に隣接する分割動画像の再生優先度の第１の差と、前記対象分割動画像の再生優先度、及び前記対象分割動画像の後に隣接する分割動画像の再生優先度の第２の差と、が共に予め定めた閾値以上である場合は、前記第１の差及び前記第２の差が前記閾値未満となるように、前記分割動画像の再生優先度を調整する。
【００１４】
請求項６に係る動画像再生装置は、請求項３〜５の何れか１項記載の動画像分析装置と、前記算出手段により算出された前記分割動画像の再生優先度に応じて、前記分割動画像の再生速度を調整しながら前記動画像を再生する再生手段と、を備えている。
【００１５】
請求項７に係るユーザプロファイル作成プログラムは、コンピュータを、請求項１又は２の何れか１項に記載のユーザプロファイル作成装置を構成する各手段として機能させる。
【発明の効果】
【００１６】
請求項１、７の発明によれば、ユーザの関心度を表すユーザプロファイルを木構造を用いずに作成した場合と比較して、ユーザの関心度が精度良く反映されたユーザプロファイルを作成することができる。
【００１７】
請求項２の発明によれば、視覚的特徴から求められる視覚的類似度のみから複数の参照画像の相互間の類似度を算出した場合と比較して、複数の参照画像の相互間の類似度をより精度良く算出することができる。
【００１８】
請求項３の発明によれば、木構造情報として作成されたユーザプロファイルを用いずに、分割動画像の再生優先度を算出した場合と比較して、ユーザの関心度が精度良く反映された再生優先度を算出することができる。
【００１９】
請求項４の発明によれば、動画像を再生する際、前後に隣接する分割動画像の再生優先度の関わらず、分割動画像の再生優先度を固定とした場合と比較して、動画像をより滑らかに再生することができる。
【００２０】
請求項５の発明によれば、直前及び直後の分割動画像の再生優先度が共に低い分割動画像の再生優先度を高いままとした場合、又は、直前及び直後の分割動画像の再生優先度が共に高い分割動画像の再生優先度を低いままとした場合と比較して、動画像をより滑らかに再生することができる。
【００２１】
請求項６の発明によれば、木構造情報として作成されたユーザプロファイルを用いずに算出された分割動画像の再生優先度を算出して再生する場合と比較して、ユーザの関心度が精度良く反映された再生優先度で動画像を再生することができる。
【図面の簡単な説明】
【００２２】
【図１】実施形態に係る動画像再生装置の電気的な構成を示すブロック図である。
【図２】実施形態に係る画像ファイルの構成を示す模式図である。
【図３】実施形態に係るユーザプロファイル作成処理のプログラムの処理の流れを示すフローチャートである。
【図４】実施形態に係る参照画像の一例を示す模式図である。
【図５】実施形態に係る動画像再生装置により複数の参照画像の相互間の類似度を算出する式で用いられる各係数とｎＤＣＧとの関係を示すグラフである。
【図６】実施形態に係る複数の参照画像の各々の関係性を表す木構造情報の一例を示す模式図である。
【図７】実施形態に係る対象画像の一例を示す模式図である。
【図８】実施形態に係るユーザプロファイルの一例を示す模式図である。
【図９】実施形態に係る動画像再生処理のプログラムの処理の流れを示すフローチャートである。
【図１０】実施形態に係る参照画像の一例を示す模式図である。
【図１１】実施形態に係る分割動画像の一例を示す模式図である。
【図１２】実施形態に係る各分割動画像の再生優先度を調整する前における各分割動画像の再生優先度の一例、及び調整した後における各分割動画像の再生優先度の一例を示す模式図である。
【図１３Ａ】実施形態に係る動画像再生装置において再生対象の動画像の表示例を示す模式図である。
【図１３Ｂ】実施形態に係る動画像再生装置において再生対象の動画像を表示する際、分割動画像の再生優先度が変更された場合の表示例を示す模式図である。
【図１４】複数の参照画像の相互間の類似度をランダムとした場合、視覚的類似度のみとした場合、文語的類似度のみとした場合、社会的類似度のみとした場合、及び、実施形態のように各類似度を加算した場合における各々のｎＤＣＧの平均値を示す表である。
【図１５】複数の参照画像の相互間の類似度をランダムとした場合、視覚的類似度のみとした場合、文語的類似度のみとした場合、社会的類似度のみとした場合、及び、実施形態のように各類似度を加算した場合における各々のｎＤＣＧの平均値を示したである。
【図１６】従来法Ｂによる分割動画像の再生優先度を設定する手法を示す模式図である。
【図１７】従来法Ａで分割動画像の再生優先度を算出した場合、従来法Ｂで分割動画像の再生優先度を算出した場合、実施形態の手法で分割動画像の再生優先度を算出した場合におけるｎＤＣＧの値を示すグラフである。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
【００２４】
まず、本実施形態に係る動画像再生装置について説明する。
【００２５】
図１に示すように、本実施形態に係る動画像再生装置１０は、装置全体を制御するコントローラ１２を備えている。また、コントローラ１２は、後述する画像評価処理を含む各種処理を実行するＣＰＵ（Central Processing Unit）１４、及び、ＣＰＵ１４の処理に使用されるプログラム及び各種情報を記憶するＲＯＭ（Read Only Memory）１６を備えている。また、コントローラ１２は、ＣＰＵ１４の作業領域として一時的に各種データを記憶するＲＡＭ（Random Access Memory）１８、及び、ＣＰＵ１４の処理に使用される各種情報を記憶する不揮発性メモリ２０を備えている。更に、コントローラ１２は、動画像再生装置１０に接続された外部装置に対するデータの入出力を行うＩ／Ｏインタフェース２２を備えている。
【００２６】
Ｉ／Ｏインタフェース２２には、ユーザにより操作される操作部２４、各種情報を表示する表示部２６、及び、外部サーバ３０を含む外部装置との通信を行う通信部２８が接続されている。
【００２７】
また、動画像再生装置１０には、通信部２８を介して外部サーバ３０が接続されている。外部サーバ３０には、複数のユーザが保有する多数の画像ファイルが記憶されている。これらの多数の画像ファイルは、動画像再生装置１０を含む複数のクライアント端末から外部サーバ３０に送信された画像ファイルである。
【００２８】
画像ファイル４０では、一例として図２に示すように、画像を示す画像情報４０Ａに、撮影日時、撮影者、撮影場所、撮影対象物等を示すタグ情報４０Ｂが付加されている。なお、撮影対象物は、被写体の種類を表す単語であり、例えば猫を撮影した画像であれば、撮影対象物は「猫」となる。
【００２９】
そして、外部サーバ３０に記憶されている画像をクライアント端末で閲覧する際に、クライアント端末により特定の単語がキーワードとして指定されたとする。この場合、外部サーバ３０は、タグ情報４０Ｂを参照して、キーワードに対応する画像ファイルを抽出し、抽出した画像ファイルクライアント端末に送信する。これにより、所望のキーワードに対応する自分の画像又は他のユーザの画像を、各ユーザがクライアント端末で閲覧可能となる。
【００３０】
このように、外部サーバ３０には複数のユーザの多数の画像が記憶されている。本実施形態では、各々のユーザが保有する複数の画像の各々の特徴量を分析し、ユーザの関心度が反映されたユーザプロファイルを作成する。作成したユーザプロファイルは、様々な分野の様々な技術に適用可能となる。
【００３１】
本実施形態に係る動画像再生装置１０は、複数の画像（参照画像）の各々の特徴量から求められる相互間の類似度を用いて、複数の参照画像の各々の関係性を木構造で表した木構造情報を作成する。また、動画像再生装置１０は、ユーザが保有する複数の画像（対象画像）の各々の特徴量と木構造の葉ノードに対応する参照画像の各々とを用いて、ユーザの関心度を木構造の各ノードに割り当てたユーザプロファイルを作成する。そして、動画像再生装置１０は、作成したユーザプロファイルを利用し、各々のユーザに適した再生方法で動画像の再生を行う。
【００３２】
次に、本実施形態に係る動画像再生装置１０のＣＰＵ１４が実行するユーザプロファイル作成処理を行う際の処理の流れを、図３に示すフローチャートを参照して説明する。
【００３３】
なお、本実施形態では、ユーザプロファイル作成処理のプログラムは予め不揮発性メモリ２０に記憶されているが、これに限らない。例えば、ユーザプロファイル作成処理のプログラムは処理のプログラムは、外部装置から通信部２８を介して受信して実行されても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録されたユーザプロファイル作成処理のプログラムがＣＤ−ＲＯＭドライブ等でＩ／Ｏインタフェース２２を介して読み込まれることにより、ユーザプロファイル作成処理が実行されるようにしてもよい。
【００３４】
例えば、ユーザプロファイル作成処理のプログラムは、操作部２４により実行の指示が入力された場合に、実行される。あるいは、ユーザプロファイル作成処理のプログラムは、外部サーバ３０に対して画像ファイルを送信したタイミングで、実行されても良い。
【００３５】
ステップＳ１０１では、複数の参照画像を示す画像情報を取得する。本実施形態では、外部サーバ３０から、複数のユーザが保有する予め定められた数（例えば、１０００）の画像ファイルを取得する。一例として図４に示すように、複数の参照画像には、建物が建ち並んだ街並みを撮影した風景画像４２Ａ、４２Ｂ、４２Ｅ、４２Ｈ、及び、橋を撮影した風景画像４２Ｃ、４２Ｄ、４２Ｆ、４２Ｇ等が含まれる。
【００３６】
ステップＳ１０３では、取得した画像情報の各々によって示される複数の参照画像の相互間の類似度を算出する。本実施形態では、視覚的特徴から求められる視覚的類似度、文語的特徴から求められる文語的類似度、及び、前記複数の参照画像の各々の保有者と前記複数の参照画像の各々との関連性から求められる社会的類似度を算出する。そして、算出した各々の類似度を加算することにより、複数の参照画像の相互間の類似度を算出する。
【００３７】
まず、ｉ番目の参照画像Ｉｉとｊ番目の参照画像Ｉｊの視覚的類似度ＶＳ（Ｉｉ, Ｉｊ）は、下記の（１）式により求められる。なお、Ｘｉはｉ番目の参照画像の特徴量であり、Ｘｊはｊ番目の参照画像の特徴量であり、σはｉ番目の参照画像の特徴量とｊ番目の参照画像の特徴量との差分の平均値である。
【００３８】
【数１】
0006492849.tif 000002
【００３９】
また、参照画像Ｉｉと参照画像Ｉｊの文語的類似度ＴＳ（Ｉｉ，Ｉｊ）は、下記の（２）式及び（３）式により求められる類似度Ｓｉｍ（ｔｉ，ｔｊ）の平均値として求められる。下記の（２）式及び（３）式の各パラメータは、参照画像Ｉｉ及び参照画像Ｉｊの各々のタグ情報４０Ｂに含まれる撮影対象物を表す単語をワードネットに当てはめることにより求められる。
【００４０】
なお、ワードネットは、公知の概念辞書（意味辞書）であり、多数の単語が上位・下位の関係によって定義された階層構造を持つ木構造情報としてデータベース化された概念辞書である。下記の（２）式のｌｓｏ（ｔｉ，ｔｊ）は、ワードネットにおける単語ｔｉ及び単語ｔｊの双方の親ノードとなる単語であり、ｈｙｐｏ（ｔ）は、単語ｔの子ノードの数であり、ｄｅｅｐ（ｔ）は、単語ｔの階層数である。また、ｎｏｄｅｍａｘは、ワードネットにおけるノードの最大数であり、ｄｅｅｐｍａｘはノードの階層の最大数であり、ｋは定数である。
【００４１】
また、類似度Ｓｉｍ（ｔｉ，ｔｊ）を算出する方法としては、公知の方法が適用され、例えば下記の参考文献１に記載の方法が用いられる。
（参考文献１）International Journal of Multimedia and Ubiquitous Engineering Vol.9, No.8 (2014), pp.39-50, "Obtaining Information Content of Concepts: An Overview", Lingling Meng.
【００４２】
【数２】
0006492849.tif 000003
【数３】
0006492849.tif 000004
【００４３】
なお、本実施形態では、ワードネットを用いて文語的類似度ＴＳ（Ｉｉ，Ｉｊ）を算出する場合について説明したが、これに限らない。多数の単語が上位・下位の関係によって定義された階層構造を持つ木構造情報としてデータベース化された何れかの辞書を用いて、文語的類似度ＴＳ（Ｉｉ，Ｉｊ）を算出すれば良い。
【００４４】
また、参照画像Ｉｉと参照画像Ｉｊの社会的類似度ＳＳ（Ｉｉ，Ｉｊ）は、ｅｉを単位ベクトルとし、Ｗを各々のユーザと各々の参照画像との関係を表す行列とし、ｃを定数として、下記の（４）式乃至（６）式により求められる。なお、下記の（５）式は、例えば下記の参考文献２に記載されたRandom walk with restartの方法を用いた式である。
（参考文献２）DEIM Forum 2011 D3-1, "Efficient Top-k Search for Random Walk with Restart", Yasuhiro FUJIWARA.
【００４５】
【数４】
0006492849.tif 000005
【数５】
0006492849.tif 000006
【数６】
0006492849.tif 000007
【００４６】
そして、本実施形態で用いる、参照画像Ｉｉと参照画像Ｉｊの各々の相互間の類似度は、α、β、γ（α＋β＋γ＝１）を定数とすると、下記の（７）式により求められる。
【００４７】
【数７】
0006492849.tif 000008
【００４８】
なお、（７）式における定数α、β、γは、評価対象に正しい順位付けがなされている程、値が大きくなる指標であるｎＤＣＧ（normalized Discounted Cumulated Gain）の値を用いて決定される。一例として図５に、α及びβの組み合わせ毎にｎＤＣＧの値を算出した際の、定数α及びβの組み合わせとｎＤＣＧとの関係を示すグラフを示した。図５に示すように、ｎＤＣＧの値が最大となる定数α、βの組み合わせにより、定数α、βの値が決定される。また、決定されたα、βの値を用いて、γ＝１−α−βを計算することにより、γの値が決定される。
【００４９】
なお、ｎＤＣＧの値は、下記の（８）式及び（９）式により求められる。ｋは、順位付けを行う最大数であり、ｒｅｌｉは、ｉ番目の順位付けの対象物の類似度であり、ｉｄｅａｌＤＣは、ＤＣＧの最大値である。
【００５０】
【数８】
0006492849.tif 000009
【数９】
0006492849.tif 000010
【００５１】
ステップＳ１０５では、算出した複数の参照画像の相互間の類似度から、階層的なクラスタ解析を行う。クラスタ解析を行う方法としては、最短距離法、最長距離法、群平均法、Ｗａｒｄ法等の公知の技術を用いると良い。
【００５２】
ステップＳ１０７では、階層的なクラスタ解析の結果に応じて、参照画像の各々を葉ノードとした、参照画像の各々の関係性を表す木構造情報を作成する。一例として図６に示すように、木構造情報において、根ノードｎ１は、動物のノードｎ２、及び風景のノードｎ３に分岐している。動物のノードｎ２は、更に、犬の葉ノードｎ４、及び猫のノードｎ５に分岐し、猫のノードｎ５は、更に、猫の種類によって、猫Ａの葉ノードｎ６、及び猫Ｂの葉ノードｎ７に分岐している。風景のノードｎ３は、エッフェル塔の葉ノードｎ８、及び街並みの葉ノードｎ９に分岐している。
【００５３】
また、猫Ｂの葉ノードｎ７には参照画像４２Ｉが対応付けられていて、猫Ａの葉ノードｎ６には参照画像４２Ｊが対応付けられている。また、犬の葉ノードｎ４には参照画像４２Ｋが対応付けられていて、エッフェル塔の葉ノードｎ８には参照画像４２Ｌが対応付けられていて、街並みの葉ノードｎ９には参照画像４２Ｍが対応付けられている。
【００５４】
ステップＳ１０９では、複数の対象画像を示す画像情報を取得する。本実施形態では、外部サーバ３０から、分析対象とするユーザが保有する予め定めた数（例えば、１００）の画像ファイルを取得する。一例として図７に示すように、複数の対象画像には、猫の画像４４Ａ乃至４４Ｆが含まれる。このことから、これらの対象画像を保有するユーザは猫に対して関心度が高いことがわかる。
【００５５】
ステップＳ１１１では、図６に示す木構造情報において、対象画像の各々の特徴量と葉ノードの参照画像の各々の特徴量とを比較し、比較結果に基づいて、対象画像の各々を葉ノードの参照画像の何れかに対応付ける。この対応付けには、例えば公知のＫ近傍法が用いられる。そして、各々の葉ノードの参照画像に対応付けられた対象画像の数を計数する。
【００５６】
ステップＳ１１３では、各ノードに、ユーザの関心度を割り当てる。まず、各々の葉ノードに対してユーザの関心度を割り当てる。関心度は、例えばすべての対象画像の枚数に対する、葉ノードの参照画像に対応付けられた対象画像の枚数の割合とする。すなわち、葉ノードに対応付けられた対象画像の枚数が多い程、関心度が高くなる。次に、葉ノードの１つ上の親ノードに関心度を割り当てる。具体的には、例えば親ノードから分岐した全ての葉ノードに対して割り当てられた関心度を全て加算した値を親ノードの関心度として割り当てる。この関心度の割り当てを根ノードまで繰り返すことにより、各ノードに関心度が割り当てられる。
【００５７】
一例として図８に示すように、猫Ｂの参照画像４２Ｉに対象画像が４０枚、猫Ａの参照画像４２Ｊに対象画像が２０枚、犬の参照画像４２Ｋに対象画像が１５枚対応付けられたとする。また、エッフェル塔の参照画像４２Ｌに対象画像が１５枚、街並みの参照画像４２Ｍに対象画像が１０枚対応付けられたとする。
【００５８】
この場合、犬の葉ノードｎ４に０．１５、エッフェル塔の葉ノードｎ８に０．１５、街並みの葉ノードｎ９に０．１が関心度として割り当てられる。また、猫Ａの葉ノードｎ６及び猫Ｂの葉ノードｎ７を子孫ノードとして持つ猫のノードｎ５には、猫Ａの葉ノードｎ６の関心度０．４と、猫Ｂの葉ノードｎ７の関心度０．２とが加算された０．６が関心度として割り当てられる。さらに、犬の葉ノードｎ４及び猫のノードｎ５を子孫ノートとして持つ動物のノードｎ２には、犬のノードｎ４の関心度０．１５と、猫のノードｎ５の関心度０．６とが加算された０．７５が関心度として割り当てられる。
【００５９】
一方、エッフェル塔の葉ノードｎ８及び街並みの葉ノードｎ９を子孫ノードとして持つ風景のノードｎ３には、エッフェル塔の葉ノードｎ８の関心度０．１５と、街並みの葉ノードｎ９の関心度０．１とが加算された０．２５が関心度として割り当てられる。そして、動物のノードｎ２及び風景のノードｎ３を子ノードとして持つ根ノードｎ１には、動物のノードｎ２の関心度０．７５と、風景のノードｎ３の関心度０．２５とが加算された１が関心度として割り当てられる。このように、猫のノードｎ５の関心度が、犬の葉ノードｎ４、風景のノードｎ３と比較して高いことからも、これらの対象画像を保有するユーザは猫に対して関心度が高いことがわかる。
【００６０】
ステップＳ１１５では、各ノードに関心度が割り当てられた木構造情報をユーザプロファイルとして不揮発性メモリ２０に記憶して、本ユーザプロファイル作成処理プログラムの実行を終了する。
【００６１】
このようなユーザプロファイル作成処理をユーザ毎に行い、ユーザ毎のユーザプロファイルを作成して記憶しておくことで、各々のユーザプロファイルが様々な状況において利用される。本実施形態では、作成したユーザプロファイルが、ユーザに適した動画像再生処理を行う際に利用される場合について説明する。
【００６２】
次に、本実施形態に係る動画像再生装置１０のＣＰＵ１４が操作部２４により実行指示が入力された場合に実行される動画像再生処理を行う際の処理の流れを、図９に示すフローチャートを参照して説明する。
【００６３】
なお、本実施形態では、動画像再生処理のプログラムは予め不揮発性メモリ２０に記憶されているが、これに限らない。例えば、外部装置から通信部２８を介して動画像再生処理のプログラムを受信して不揮発性メモリ２０に記憶しても良い。また、ＣＤ−ＲＯＭ等の記録媒体に記録された動画像再生処理のプログラムをＣＤ−ＲＯＭドライブ等でＩ／Ｏインタフェース２２を介して読み込むことにより、動画像再生処理が実行されるようにしてもよい。
【００６４】
ステップＳ２０１では、再生対象の動画像を示す画像情報を取得する。本実施形態では、外部サーバ３０に記憶されている画像情報を通信部２８を介して取得する。
【００６５】
ステップＳ２０３では、取得した画像情報によって示される動画像を複数の時間帯に分割した分割動画像を生成する。動画像を分割する方法としては、動画像を予め定めた時間毎に分割する方法、動画像を構成する各フレームの特徴量の変化からシーンの切り替わりを抽出してシーン毎に分割する方法等、公知の技術を用いると良い。
【００６６】
ステップＳ２０５では、各分割動画像の特徴量を抽出する。まず、ユーザプロファイルと分割動画像との類似度から求められる類似度点数Ｓ１を算出する。具体的には、分割動画像に含まれる各フレームを対象画像として図３に示すユーザプロファイル作成処理を実行し、分割動画像の木構造情報を作成する。そして、ユーザプロファイルと分割動画像の木構造情報との各ノードについて、コサイン類似により求められる類似度を類似度点数Ｓ１として算出する。
【００６７】
コサイン類似による類似度は、０〜１までの数値で表され、１に近い程、類似していることを示す。類似度ｃｏｓ（ｘ，ｙ）は、木構造情報の各ノードに設定されている関心度をベクトルＶで表し、ユーザプロファイルにおけるベクトルＶのｉ番目の関心度ｘｉとし、分割動画像におけるベクトルＶのｉ番目の関心度ｙｉとして、下記の（１０）式により求められる。
【００６８】
【数１０】
0006492849.tif 000011
【００６９】
次に、画像の顕著性マップ（サリエンシーマップ）を用いて求められる顕著性点数Ｓ２を算出する。画像の顕著性マップは、視覚的な顕著性を画像の各画素について計算したものである。本実施形態では、例えば分割動画像に含まれる各フレームについて公知の方法を用いて顕著性マップを作成し、作成した各顕著性マップの対応する各画素の平均値を算出することで分割動画像の顕著性マップを作成する。なお、本実施形態では、各フレームの顕著性マップから顕著性点数Ｓ２を直接取得するが、この際、後述するように、顕著性マップの各画素にガウシアン・カーネルを適用することによりノイズを減少させている。
【００７０】
顕著性点数Ｓ２は、作成した分割動画像の顕著性マップに基づいて、２つの要素で表される。１つ目の要素は、顕著性マップの各画素の加重和である。加重和Ｓｕｍ（ｓｍａｐ，Ｑ）は、下記の（１１）式により求められる。なお、（１１）式におけるｓｍａｐ（ｉ，ｊ）は、顕著性マップのガウシアン・カーネルを適用する前の座標（ｉ，ｊ）における画素値であり、Ｑ（ｉ，ｊ）は、顕著性マップ上に設定されたガウシアン・カーネルである。
【００７１】
【数１１】
0006492849.tif 000012
【００７２】
２つ目の要素は、人間が画像の中心に焦点を当てがちであることに基づくものである。画像の中心における理想的な分布を正規分布で表した理想分布Ｐと、顕著性マップ上に設定されたガウシアン・カーネルＱとの相違を表す情報量ＤＫＬは、公知の計算方法であるＫＬＤ（Kullback-Leibler divergence）を用いて、下記の（１２）式により求められる。なお、（１２）式におけるｐ（ｕ）は、理想分布Ｐの分布密度であり、ｑ（ｕ）は、ガウシアン・カーネルＱの分布密度である。
【００７３】
【数１２】
0006492849.tif 000013
【００７４】
フレームＦの顕著性点数ＡＳ（Ｆ）は、１つ目の要素である顕著性マップの加重和Ｓｕｍ（ｓｍａｐ，Ｑ）、及び２つ目の要素である理想分布Ｐとガウシアン・カーネルＱとの相違を表す情報量ＤＫＬを用いて、下記の（１３）式で求められる。なお、（１３）式におけるｓｍａｐｆは、フレームＦにおける画素値ｓｍａｐ（ｉ，ｊ）であり、Ｑｆは、フレームＦにおけるガウシアン・カーネルＱである。
【００７５】
【数１３】
0006492849.tif 000014
【００７６】
本実施形態では、顕著性点数Ｓ２を、各フレームＦの顕著性点数ＡＳ（Ｆ）の平均値ＡＳｉとする。平均値ＡＳｉは、ｉ番目のフレームＦｉとすると、下記の（１４）式によりにより求められる。
【００７７】
【数１４】
0006492849.tif 000015
【００７８】
なお、上述した各フレームＦの顕著性点数ＡＳ（Ｆ）の平均値ＡＳｉの算出方法は、公知の手法であり、例えば下記の参考文献３に具体的に記載されている。
（参考文献３）H. J. Seo and P. Milanfar. Static and space-time visual saliency detection by self-resemblance. Journal of vision, 2009.
【００７９】
ステップＳ２０７は、ユーザプロファイルと分割動画像との類似度Ｓを算出する。本実施形態では、上述した類似度点数Ｓ１と上述した顕著性点数Ｓ２とを加算した値を、ユーザプロファイルと分割動画像との類似度Ｓとして算出する。なお、類似度点数Ｓ１及び顕著性点数Ｓ２を加算する際には、少なくとも一方に重みづけを行った上で加算しても良い。
【００８０】
ステップＳ２０９では、ユーザプロファイルと分割動画像との類似度Ｓに応じて、分割動画像の再生優先度を設定する。本実施形態では、ユーザプロファイルと分割動画像との類似度Ｓが高い程、再生優先度が高くなるように、各分割動画像の再生優先度を設定する。
【００８１】
例えば、一例として図１０に示す橋を撮影した画像４４Ｇのような橋の画像をユーザが多数保有しているとする。この場合には、一例として図１１に示すように、複数の分割動画像Ｐ１乃至Ｐ４のうち、橋が撮影された画像を含む分割動画像Ｐ２の類似性が高くなる。従って、橋が撮影された画像を含む分割動画像Ｐ２の再生優先度が高く、橋が撮影された画像を含まない分割動画像Ｐ１、Ｐ３、Ｐ４の再生優先度が低くなるように、各分割動画像Ｐ１乃至Ｐ４の再生優先度を設定する。
【００８２】
ステップＳ２１１では、各々の分割動画像について、前後に隣接する分割動画像の再生優先度に基づいて、分割動画像の再生優先度を調整する。本実施形態では、調整対象とする分割動画像である対象分割動画像の再生優先度、及び対象分割動画像の前に隣接する分割動画像の再生優先度の第１の差を算出する。また、対象分割動画像の再生優先度、及び対象分割動画像の後に隣接する分割動画像の再生優先度の第２の差を算出する。そして、第１の差及び第２の差が共に予め定めた閾値以上である場合は、第１の差及び第２の差が閾値未満となるように、分割動画像の再生優先度を調整する。なお、上記予め定めた閾値は、再生対象の動画像が滑らかに再生されるか否かを判定するための閾値であり、例えば、各分割動画像に設定されている再生優先度の最高値及び最低値の差分より小さい値とし、当該差分の半分の値より大きい値とする。また、調整の際には、対象分割動画像に、前に隣接する分割動画像の再生優先度、及び後に隣接する分割動画像の再生優先度の何れか一方を設定すると良い。あるいは、対象分割動画像に、前に隣接する分割動画像の再生優先度、及び後に隣接する分割動画像の再生優先度の平均値を設定しても良い。
【００８３】
例えば、各分割動画像に再生優先度として「高い」又は「低い」を設定する場合、再生優先度が高い分割動画像であっても、直前及び直後の分割動画像の再生優先度が共に低い場合には、その分割動画像の再生優先度が低くなるように再生優先度を調整する。また、再生優先度が低い分割動画像であっても、直前及び直後の分割動画像の再生優先度が共に高い場合には、その分割動画像の再生優先度が高くなるように再生優先度を調整する。
【００８４】
一例として図１２に示すように、再生優先度が高い分割動画像４６が連続する時間帯においては、それらの分割動画像４６の再生優先度を高いままとする。一方、再生優先度が高い分割動画像４６が連続しない場合には、その分割動画像４６の再生優先度が低くなるように調整する。同様に、再生優先度が低い分割動画像４６が連続する時間帯においては、それらの分割動画像４６の再生優先度を低いままとするが、再生優先度が低い分割動画像４６が連続しない場合には、その分割動画像４６の再生優先度が高くなるように調整する。これにより、再生対象の動画像が滑らかに再生される。
【００８５】
ステップＳ２１３では、動画像の再生画面を表示するように表示部２６を制御する。一例として図１３Ａに示すように、再生対象とする動画像を、再生優先度を表す再生矢印４６Ａ、４６Ｂを付した状態で分割動画像毎に表示させる。なお、１つの矢印で表された再生矢印４６Ａは、再生優先度が高いことを表し、３つの矢印で表された再生矢印４６Ｂは、再生優先度が低いことを表す。
【００８６】
本実施形態では、ユーザが操作部２４により何れかの分割動画像の再生優先度を変更する指示を入力した場合、指示された分割動画像の再生優先度を変更する。一例として図１３Ｂに示すように、操作部２４により再生優先度が低い分割動画像の再生優先度を高くする変更が指示された場合、その分割動画像の再生優先度が高くなるように再生優先度を変更する。
【００８７】
ステップＳ２１５では、動画像の再生が指示されたか否かを判定する。本実施形態では、操作部２４により再生指示が入力された場合に、動画像の再生が指示されたと判定する。
【００８８】
ステップＳ２１５で動画像の再生が指示されたと判定した場合（Ｓ２１５，Ｙ）はステップＳ２１７に移行する。また、ステップＳ２１５で動画像の再生が指示されていないと判定した場合（Ｓ２１５，Ｎ）は、動画像の再生が指示されたと判定されるまでステップＳ２１５の処理を繰り返す。
【００８９】
ステップＳ２１７では、動画像の再生処理を行う。本実施形態では、動画像の再生処理において、再生優先度が高い分割動画像については、通常の再生速度で再生し、再生優先度が低い分割動画像については、通常の再生速度より速い再生速度で再生する。これにより、ユーザの好みの映像でないと推測される分割動画像が自動的に早送りされる。
【００９０】
なお、本実施形態では、分割動画像の再生優先度に応じて各分割動画像の再生速度を変更する場合について説明したが、これに限らない。例えば、再生優先度が高い分割動画像のみを再生させても良い。これにより、ユーザの好みの映像であると推測される分割動画像のみが自動的に選択されて再生される。
【００９１】
図１４に、参照画像の各々の相互間の類似度をランダムとした場合、視覚的類似度のみとした場合、文語的類似度のみとした場合、社会的類似度のみとした場合、及び、本発明のように各類似度を加算した場合における各々のｎＤＣＧの平均値を示した。なお、本実施形態では、上述したように、視覚的類似度、文語的類似度、及び、社会的類似度を加算することにより、複数の参照画像の相互間の類似度を算出する。
【００９２】
図１４によると、ｎＤＣＧの平均値は、本発明のように各類似度を加算した場合が最も高いことがわかる。すなわち、複数の参照画像の相互間の類似度を、視覚的類似度、文語的類似度、及び、社会的類似度を加算することにより算出した場合が最も正しく順位付けが行われていると言える。
【００９３】
図１５に、分割動画像の再生優先度をランダムとした場合、従来法Ａで分割動画像の再生優先度を算出した場合、従来法Ｂで分割動画像の再生優先度を算出した場合、本発明の手法で分割動画像の再生優先度を算出した場合におけるｎＤＣＧの平均値を示した。このｎＤＣＧの平均値は、２０人のユーザにより評価されたｎＤＣＧの平均値である。
【００９４】
従来法Ａは、分割動画像に含まれる各フレームについてパターンマッチング等により対象画像との類似度を算出して、算出した類似度に基づいて各分割動画像の再生優先度を設定する手法である。また、従来法Ｂは、一例として図１６に示すように、対象画像及び参照画像の各々について、例えばＫ近傍法により特徴量を抽出し、各々の参照画像に対応付けられた対象画像の枚数を算出し、その枚数の情報を関心度としたユーザプロファイルを作成する。また、分割動画像に含まれる各フレームについても、例えばＫ近傍法により特徴量を抽出し、各々の参照画像に対応付けられた対象画像の枚数を算出する。そして、算出した対象画像の枚数をユーザプロファイルと比較することにより、各分割動画像の再生優先度を設定する手法である。
【００９５】
図１５によると、ｎＤＣＧの平均値は、本発明の手法で分割動画像の再生優先度を算出した場合が最も高いことがわかる。すなわち、本発明の手法で分割動画像の再生優先度を算出した場合が最も正しく順位付けが行われていると言える。
【００９６】
図１７に、従来法Ａで分割動画像の再生優先度を算出した場合、従来法Ｂで分割動画像の再生優先度を算出した場合、本発明の手法で分割動画像の再生優先度を算出した場合におけるｎＤＣＧの値を示した。図１７によると、２０人中の１６人のユーザが、本発明の手法で分割動画像の再生優先度を算出した場合に最も正しく順位付けが行われていると評価していることがわかる。
【００９７】
なお、本実施形態では、作成したユーザプロファイルを動画像再生処理に適用する場合について説明したが、これに限らない。例えば、作成したユーザプロファイルは、マルチメディア、画像検索勧告、パーソナライズビデオ要約、人工知能、ヒューマンコンピュータインタラクション、強制コンピューティング等、様々な分野の様々な技術に適用される。
【００９８】
また、本実施形態では、動画像再生装置１０で図３のユーザプロファイル作成処理、図９の動画像再生処理を行う場合について説明したが、これに限らない。例えば、外部サーバ３０がユーザプロファイル作成処理を行い、動画像再生装置が外部サーバ３０から動画像情報を取得する際に、ユーザプロファイルを示す情報を動画像情報と併せて取得しても良い。あるいは、動画像再生装置が外部サーバ３０から動画像情報を取得する際に、再生優先度を示す情報が付加された動画像情報を取得しても良い。
【符号の説明】
【００９９】
１０  装置
１２  コントローラ
１４  ＣＰＵ
１６  ＲＯＭ
１８  ＲＡＭ
２０  不揮発性メモリ
２２  Ｉ／Ｏインタフェース
２４  操作部
２６  表示部
２８  通信部
４０Ｂ  タグ情報
４２Ａ乃至４２Ｍ  参照画像
４４Ａ乃至４４Ｆ  対象画像
【図１】
0006492849.tif 000016
【図２】
0006492849.tif 000017
【図３】
0006492849.tif 000018
【図４】
0006492849.tif 000019
【図５】
0006492849.tif 000020
【図６】
0006492849.tif 000021
【図７】
0006492849.tif 000022
【図８】
0006492849.tif 000023
【図９】
0006492849.tif 000024
【図１０】
0006492849.tif 000025
【図１１】
0006492849.tif 000026
【図１２】
0006492849.tif 000027
【図１３Ａ】
0006492849.tif 000028
【図１３Ｂ】
0006492849.tif 000029
【図１４】
0006492849.tif 000030
【図１５】
0006492849.tif 000031
【図１６】
0006492849.tif 000032
【図１７】
0006492849.tif 000033