(57)【要約】【課題】ユーザが再生したコンテンツの再生状況に応じて、より関連性の高いコンテンツを検索する。【解決手段】実施形態の情報管理装置の生成部は、再生コンテンツの特徴量を生成する。格納部は、生成された特徴量を格納する。一方、構造化部は、生成された特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、再生コンテンツを再生区間単位で構造化し、構造情報を生成する。これらにより、検索部は、構造情報に基づいて関連コンテンツを検索し、結果通知部は、関連コンテンツの検索結果を通知する。【選択図】図２
2014130536.tif 000002
【特許請求の範囲】
【請求項１】
再生コンテンツの特徴量を生成する生成部と、
前記生成された特徴量を格納する格納部と、
前記生成された特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、前記再生コンテンツを前記再生区間単位で構造化し、構造情報を生成する構造化部と、
前記構造情報に基づいて関連コンテンツを検索する検索部と、
前記関連コンテンツの検索結果を通知する結果通知部と、
を備える情報管理装置。
【請求項２】
前記格納部は、前記構造化部により生成された構造情報を格納する、
請求項１記載の情報管理装置。
【請求項３】
前記再生区間毎に、当該再生区間のコンテンツ内容を表す見出しを生成し、前記特徴量とともに前記格納部に格納する見出し生成部を、
備えた請求項１又は請求項２記載の情報管理装置。
【請求項４】
前記結果通知部は、前記検索結果を表示することにより通知する表示部を備えた、
請求項１乃至請求項３のいずれかに記載の情報管理装置。
【請求項５】
生成した前記特徴量を外部のサーバに送信する送信部と、
前記特徴量を受信した前記サーバにより送信された関連コンテンツあるいは関連ユーザの情報を表示する情報表示部と、
を備えた請求項１乃至請求項４のいずれかに記載の情報管理装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載の一または複数の情報管理装置と通信ネットワークを介して接続され、前記各情報管理装置のユーザに対応付けて前記特徴量を受信する受信部と、
前記受信した特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、前記再生コンテンツの前記再生区間単位で構造化し、前記ユーザ単位で構造情報を生成する構造化部と、
複数のユーザに対応する前記構造情報に基づいて、関連コンテンツあるいは関連ユーザを検索する関連検索部と、
前記関連検索部の検索結果を推薦情報として各前記情報管理装置に通知する結果通知部と、
を備えるサーバ。
【請求項７】
前記関連検索部は、各前記ユーザのコンテンツ再生の進行状況に応じて、所定再生条件を満たしていない関連コンテンツを検索結果から除外する、
請求項６記載のサーバ。
【請求項８】
コンテンツの再生に関連する情報を管理する情報管理装置で実行される制御方法であって、
再生コンテンツの特徴量を生成する生成過程と、
前記生成された特徴量を格納する格納過程と、
前記生成された特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、前記再生コンテンツの前記再生区間単位で構造化し、構造情報を生成する構造化過程と、
前記構造情報に基づいて関連コンテンツを検索する検索過程と、
前記関連コンテンツの検索結果を通知する結果通知過程と、
を備える制御方法。
【請求項９】
請求項１乃至請求項５のいずれかに記載の一または複数の情報管理装置と通信ネットワークを介して接続されるサーバにおいて実行される制御方法であって、
前記各情報管理装置のユーザに対応付けて前記特徴量を受信する受信過程と、
前記受信した特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、前記再生コンテンツの前記再生区間単位で構造化し、前記ユーザ単位で構造情報を生成する構造化過程と、
複数のユーザに対応する前記構造情報に基づいて、関連コンテンツあるいは関連ユーザを検索する関連検索過程と、
前記関連検索部の検索結果を推薦情報として各前記情報管理装置に通知する検索結果通知過程と、
を備える制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報管理装置、サーバ及び制御方法に関する。
【背景技術】
【０００２】
従来、コンテンツデータを蓄積し、コンテンツの再生履歴を記憶し、記憶した再生履歴に基づいて蓄積された膨大な量のコンテンツデータの中からユーザの嗜好を十分に反映してコンテンツデータの推奨を行う技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２２８２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、あくまであるユーザのコンテンツの再生履歴に基づいて行われるため、ユーザの嗜好と方向性があっているようなコンテンツであっても、当該ユーザが再生したことのないコンテンツまでコンテンツの推奨範囲が拡がるものでは無く、ユーザに意外性を感じさせるコンテンツを推奨したり、期待感を与えるコンテンツを推奨したりすることはできなかった。
【課題を解決するための手段】
【０００５】
実施形態の情報管理装置の生成部は、再生コンテンツの特徴量を生成する。
格納部は、生成された特徴量を格納する。
一方、構造化部は、生成された特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、再生コンテンツを再生区間単位で構造化し、構造情報を生成する。
これらにより、検索部は、構造情報に基づいて関連コンテンツを検索し、結果通知部は、関連コンテンツの検索結果を通知する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態の視聴情報管理システムの概要構成ブロック図である。
【図２】図２は、コンテンツ再生端末装置及びサーバの機能ブロック図である。
【図３】図３は、特徴量抽出処理のフローチャートである。
【図４】図４は、構造化の処理フローチャートを示す図である。
【図５】図５は、構造化の一例の説明図である。
【図６】図６は、複数ユーザのコンテンツ再生履歴に基づく構造化を説明する図である。
【図７】図７は、コンテンツ再生（視聴）の中で同じ画面が複数回表示された場合に順序を考えず同じ画面として扱う場合の例を説明する図である。
【図８】図８は、見出し生成処理の処理フローチャートを示す図である。
【図９】図９は、コンテンツ再生履歴（視聴履歴）の閲覧画面の一例の説明図である。
【図１０】図１０は、再生中のコンテンツに関連する関連コンテンツを検索あるいは閲覧する場合の説明図である。
【図１１】図１１は、複数のコンテンツ再生端末装置をそれぞれ利用している複数のユーザがいる場合の動作説明図である。
【図１２】図１２は、コンテンツ再生の進行状況（視聴の進み具合）に応じたユーザ推薦例を説明する図である。
【発明を実施するための形態】
【０００７】
次に実施形態について図面を参照して説明する。
［１］第１実施形態
本第１実施形態においては、コンテンツ再生端末装置としてのテレビが、放送波、外部接続機器、ネットワークなど様々な経路からデータを入力し、表示あるいは再生可能なシステムを想定して説明を行うものとする。
【０００８】
図１は、実施形態の視聴情報管理システムの概要構成ブロック図である。
視聴情報管理システムＳＹＳは、コンテンツの再生を行うコンテンツ再生端末装置１００と、コンテンツ再生端末装置１００で再生したコンテンツの特徴量を管理し、コンテンツの特徴量に基づいて各種サービスを提供するサーバ２００と、類似データの検索サービスを提供する類似データ検索サービスシステム３００と、コンテンツ再生端末装置１００とサーバ２００あるいは類似データ検索サービスシステム３００との間を接続するインターネット等の通信ネットワークＮＴと、を備えている。
【０００９】
ここで、コンテンツ再生端末装置１００は、テレビ、チューナを内蔵したレコーダ、パーソナルコンピュータ、スマートフォン等の携帯情報端末装置、ゲーム機等として構成される。
【００１０】
図２は、コンテンツ再生端末装置及びサーバの機能ブロック図である。
コンテンツ再生端末装置１００は、コンテンツの再生を行うコンテンツ再生部１０１と、再生しているコンテンツから特徴量を生成する特徴量生成部１０２と、特徴量生成部１０２が生成したコンテンツの特徴量を格納する特徴量格納部１０３と、特徴量格納部１０３に格納された特徴量に基づいて関連コンテンツを検索する関連コンテンツ検索部１０４と、関連コンテンツ検索部１０４が関連コンテンツを検索する際に特徴量を照合する特徴量照合部１０５と、関連コンテンツ検索部１０４の検索結果を表示する検索結果表示部１０６と、特徴量生成部１０２が生成した特徴量を通信ネットワークＮＴを介してサーバ２００に送信する特徴量送信部１０７と、サーバ２００から送信された推薦内容データを受信してサーバ２００の推薦結果を表示する推薦結果表示部１０８と、特徴量格納部１０３に特徴量を格納するに際して当該特徴量に基づいて見出しを生成する見出し生成部１０９と、見出し生成部１０９が見出しを生成するに際して、通信ネットワークＮＴを介して類似データ検索サービスシステム３００と共働して類似データを検索する類似データ検索部１１０と、特徴量格納部１０３に格納された特徴量に基づいて、再生したコンテンツ間の関係を表す構造化を行う構造化部１１１と、を備えている。
【００１１】
サーバ２００は、コンテンツ再生端末装置１００から送信された特徴量の管理を行う特徴量管理部２０１と、コンテンツ再生端末装置１００から送信された特徴量を格納する特徴量格納部２０２と、特徴量格納部２０２に既に格納されている特徴量同士、あるいは、特徴量格納部２０２に既に格納されている特徴量とコンテンツ再生端末装置１００から新たに送信された特徴量とを照合する特徴量照合部２０３と、特徴量の照合結果に基づいて特徴量管理部２０１の管理下でコンテンツ再生端末装置１００のユーザに推薦すべきコンテンツあるいは他のユーザ等を推薦するための推薦内容を生成する推薦内容生成部２０４と、特徴量格納部２０２に格納された特徴量に基づいて再生コンテンツ間の関係を表す構造化を行う構造化部２０５と、を備えている。
【００１２】
以下の説明においては、理解の容易のため、テレビを用いて番組視聴、ビデオ映像視聴、インターネット上のコンテンツ視聴、デジタルカメラに格納された写真のスライドショー表示、家庭用ゲーム機器のプレイなど、テレビを用いて画面を表示し、また音を出力するような環境において、接続機器や視聴内容を問わずに一元管理し、メディアやコンテンツを意識することなく視聴履歴を閲覧・表示したり、関連するコンテンツの検索をしたり、あるいは類似するコンテンツを視聴するユーザを探したりできるようにするシステムを一例として説明する。したがって、本実施形態では、コンテンツ再生端末装置１００としてテレビを想定して説明するが、これに限られるものではない。
【００１３】
次に実施形態の動作を説明する。
図３は、特徴量抽出処理のフローチャートである。
ユーザがテレビで何らかのコンテンツを再生し視聴すると、特徴量生成部１０２は、コンテンツ再生部１０１においてコンテンツが再生されるに伴って、一定時間（所定のサンプリング期間）に入力された情報から特徴量を生成する（ステップＳ１１）。
【００１４】
ここで、生成される特徴量としては、例えば画像フレーム毎に算出可能な特徴量が挙げられる。例えば、各画素に対する３原色（ＲＧＢ）あるいは輝度（Ｙ）、輝度と赤との色差（Ｃｒ）、輝度と青の色差（Ｃｂ）の各階調や、各画素の横軸方向、縦軸方向のヒストグラム等が考えられる。
【００１５】
また、人間の顔を検出する機能を組み合わせることで、どの位置に、どの大きさの顔領域が存在するか、といった高度な情報を特徴量として生成してもよい。
さらに、特徴量を算出する生成単位として、フレーム単位だけでなく、複数フレームに基づき算出するものや、所定時間において入力されるフレームを用いることも考えられる。
【００１６】
コンテンツの再生が音声を含む場合は、各単位時刻におけるパワーや、ビットレート、各単位時間幅におけるピッチ、メル周波数ケプストラム（ＭＦＣＣ：Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）等を特徴量として生成する。
また、映像および音声両方を包含した特徴量を生成するようにしてもよい。
【００１７】
さらに、映像の内容だけでなく、解像度、エンコード方式（ＭＰＥＧ−２、Ｈ．２６４等）や、放送方式（ＮＴＳＣ、ＰＡＬ等）や、入力端子番号または方式（ＨＤＭＩ等）も特徴量として用いることができる。更に、入力端子に接続された外部装置の装置識別子や装置種別の情報（ゲーム機、ＤＶＤプレーヤ等の種別を示す情報）を取得し、これらを特徴量として用いても良い。
また、画面表示に際しどのような操作が行われたかも特徴量として用いることができる。
以上の説明は、特徴量の一例であり、生成する特徴量及び特徴量の生成方式は、これに限られるものではない。
【００１８】
次にテレビ画面上の表示された映像（コンテンツ）のうち、適当な区間に対応するサムネイル画像あるいはプレビュー動画を特徴量格納部１０３に記録する（ステップＳ１２）。
続いて、ステップＳ１１において生成した特徴量を、ステップＳ１２において記録したサムネイル画像あるいはプレビュー動画に対応付けて記録する（ステップＳ１３）。
【００１９】
次に抽出した特徴量に基づくコンテンツの構造化処理について説明する。
図４は、構造化の処理フローチャートを示す図である。
まず、構造化部１１１は、特徴量格納部１０３に格納された特徴量に対応する画像フレーム間の類似度に基づいて、カット点及びショットを検出する（ステップＳ２１）。
【００２０】
カット点の検出は、１枚毎に入力された画像フレームに対し、直前に入力された画像フレームとの類似度を計算し、画像の内容が切り替わる画像変化点を検出することで行われる。また、ＭＰＥＧ−２のように画像圧縮に予測符号化を用いている動画像を用いる場合は、予測符号量の変動を用いることでカット点を検出してもよい。なお、カット点の検出方法は上述した方法に限定されるものではなく、既に知られている様々な方法（例えば、特開平９−９３５８８号公報参照）により実現されてもよい。
【００２１】
そして、カット検出により検出された、時間的に最も近い位置に並ぶ２つのカット点に囲まれた時間区間に属する画像フレームの集合をショットとして検出する。すなわち、各コンテンツを構成している映像はショットの列として構成されていることとなる。
【００２２】
次に構造化部１１１は、複数のコンテンツ間（複数の映像間）でショット同士（ショット間）の類似度を比較する（ステップＳ２２）。
そして、構造化部１１１は、類似度が高いショットの関係をツリー構造として格納する（ステップＳ２３）。
【００２３】
このように本実施形態によれば、単純にある時点の画像を特徴量とするだけではなく、コンテンツ再生端末装置１００に表示された内容（ショット）を時系列を含めて管理することで、あるコンテンツをどこまで視聴したか、等のコンテンツ再生の経過や進度を示す情報も取得、格納可能となっている。
【００２４】
ここで、構造化の一例について説明する。
図５は、構造化の一例の説明図である。
図５（ａ）は、コンテンツ再生の時系列的な変化を説明する図であり、テレビを起動してからゲーム、ＤＶＤ再生、スライドショーなどテレビを用いて様々な視聴操作を行った場合の一例の説明図である。
【００２５】
この場合において、コンテンツ再生系列を構成する各画面の特徴量の算出は、画面全体に対して一定時間毎に一定時間の映像区間に対して行われるものとする。なお、特徴量の算出タイミング（算出単位）は、画面変化が大きくなる度に算出したり、１フレーム毎に算出したり、画面解像度の違いを吸収する正規化処理を行ってから特徴量を算出したりする方法も考えられる。
【００２６】
さて、図５（ａ）に示すように、コンテンツ再生において、再生対象のコンテンツにかかわらず、最初に「テレビ起動」を表す画面が共通して出現している。
そして、ゲームプレイ時には、ゲーム機の起動画面が続き、その後各ゲームのタイトル画面、ゲームの内容、……というように、共通する画面を経由した視聴履歴が得られる。
【００２７】
また、ＤＶＤ再生時には、「テレビ起動」を表す画面の出現後に、ＤＶＤプレーヤ起動画面が続き、その後ＤＶＤタイトルホーム画面、チャプター画面、……というように、共通する画面を経由した視聴履歴が得られる。
また、スライドショー再生時には、「テレビ起動」を表す画面の出現後に、スライドショー起動画面が続き、その後、スライドショーを構成するスライド画面の表示への移行と言うように、共通する画面を経由した視聴履歴が得られる。
【００２８】
したがって、共通する画面と、それらの遷移を構造化することが考えられるため、コンテンツ由来の映像群からショット同士の類似度に基づき構造化を行う。
ここで、ショット同士の類似度は、ショットに含まれる一または複数のフレームを各ショットから選択し、比較により類似度を計測することができる。より詳細には、例えば、特開平９−２７０００６号公報に開示されている方法を用いることができる。特開平９−２７０００６号公報に開示されている方法によれば、対象となる２つのフレームのそれぞれにいて特徴量を算出し、２つの特徴量の距離を計算する。例えば角度ヒストグラムを用いた特徴量を利用する場合には、３６次元空間における２特徴量点の距離を計算する。この距離が類似度に対応する値であって、距離の値が小さいほど類似度が高い。
したがって、類似度が高く、同様（あるいは同一）の場面とみなせるショット同士をまとめることにより、ショット群を構造化することができる。
【００２９】
図５（ｂ）は、図５（ａ）のコンテンツ再生結果に基づいて、ショット群をツリー状に構造化した場合の例を示す図である。
各画面を表す四角形の枠の左上に記した数字は表示した回数（あるいは時間でもよい）を示す。
枠の左上に記した数字が２以上の画面は、当該画面を複数回のコンテンツ再生において表示したことを表す。
【００３０】
この結果、ルート（根）となる「テレビ起動」を表す画面の階層下に属する各階層毎に、利用機器やゲームタイトル、ＤＶＤタイトルの表示画面が階層化されていることが分かる。
また、ゲームやＤＶＤ等の各コンテンツ再生中には、再生の進度に応じて階層の枝分かれが生じる。
【００３１】
したがって、ショット群のツリー構造を参照し、画面遷移を把握することでどのコンテンツ再生装置で再生を行ったか、どのコンテンツ（例えば、ゲーム）を再生したか、コンテンツにおける再生の進捗状況（どこまで再生したか、どこまで進んだか）等の情報を得ることが可能となる。
【００３２】
ただし、１度しか表示していない画面に関しては、構造化が困難であるため、他のユーザのコンテンツ再生において得られた特徴量を共有し、構造化することも考えられる。
例えば、図５（ｂ）において、「ゲームＡ  ステージ１」と「ゲームＡステージ２」は、どちらも１度しか表示していないため、ステージ間を機械で直接区別するのは難しい。
しかしながら、他のユーザのコンテンツ再生履歴をも参酌することによれば、ショット群の構造化結果（あるいは特徴量抽出結果）も含めることで区別することができる。
【００３３】
図６は、複数ユーザのコンテンツ再生履歴に基づく構造化を説明する図である。
例えば、図６に示すように、ある同一ゲームについて「ステージ１」と「ステージ２」を別々の再生時に遊んだユーザＵ１、ユーザＵ２の再生履歴や、各ステージ内での表示上の違いを元に、「ステージ１」の開始画面と「ステージ２」の開始画面を共通する画面として抽出することが可能となっている。
【００３４】
なお、ショットの構造化を行っただけでは、「ステージ１」などを意味するショットはユーザが可読な形ではないが、後述するように、サムネイル画像、プレビュー動画、あるいは見出しテキストを各ショットに対応付けることでユーザインタフェースを介して閲覧、操作できるようになる。
【００３５】
以上の説明のように、本実施形態では、ツリー状に構造化する方式を用いたが、共通する画面の遷移をグラフ状に構造化したり、他の構造化手法を用いたりすることも可能である。
【００３６】
ところで、一度のコンテンツ再生（視聴）の中で同じ画面が複数回表示された場合には、順序を考慮して別々の画面として扱う場合と、順序を考えず同じ画面として扱う場合の双方が考えられる。
【００３７】
図７は、コンテンツ再生（視聴）の中で同じ画面が複数回表示された場合に順序を考えず同じ画面として扱う場合の例を説明する図である。
例えば、コンテンツがゲームのような場合、同一の画面が繰り返してサイクリックに表示される場合である。より詳細には、あるステージがクリアできず、何度もゲームオーバー画面が表示されるような場合である。
【００３８】
このような場合には、順序を考えず同じ画面として扱うことで、再生コンテンツの構造をより簡略化でき、容易に扱うことができる。
【００３９】
また、例えば複数の写真を任意の順序でスライドショー表示する場合など、画像フレームあるいはショットの順序が不定である場合も考えられる。
このような場合には、同一のスライドショーを複数回表示することにより適切に構造化される場合もあるが、必ずしも、同一のスライドショーが複数回表示されるとは限らない。
【００４０】
そこで、カット検出時にコンテンツ再生における表示内容が静止画であることを検出することで、スライドショーであること、あるいは、映像ではなく順序が不定な静止画の集合であるとみなすことが考えられる。
【００４１】
静止画であることを検出する検出方法としては、カット点の検出時に、特徴量の変化点がほとんどない区間が一定時間あるいは一定フレーム数以上続くか否かを検出すればよい。
さらに、スライドショーであることを検出する検出方法としては、上述した方法で検出した静止画が連続して出現する場合をスライドショーとする方法等が考えられる。
【００４２】
このようにしてコンテンツ再生に関する情報を特徴量と対応付けて格納し、それらの結果を後から閲覧したり、検索、表示することにより再利用することができるようになる。
なお、再生した情報が音声など、画像を含まないコンテンツの場合はサムネイル画像を作成しないか、所定の画像、あるいは入力端子などに応じた所定の画像を用いる。あるいは、画像を割り当てず、ファイル名など区別可能なラベルを割り当てるのでも構わない。
【００４３】
そして、画面上に表示された映像のうち、適当な再生区間（ショットあるいは複数ショットに対応）がサムネイル画像またはプレビュー動画として記録される。生成された特徴量は視聴日時およびサムネイル画像またはプレビュー動画と対応付けて記録される。
【００４４】
上記処理により構造化されたコンテンツ再生履歴（視聴履歴）が格納されることとなるが、上記処理だけではユーザが文字情報として読める内容であるとは限らない。
そこで、外部の類似データ検索サービスシステム３００の類似データ検索サービスを利用することで、見出しに用いられるテキスト情報を取得することも考えられる。
【００４５】
以下、画像に基づいて、各画像の見出しとなるテキスト情報を取得する方法について述べる。
図８は、見出し生成処理の処理フローチャートを示す図である。
まず、見出し生成部１０９は、特徴量格納部１０３に格納されたデータのうち、サムネイル画像あるいはプレビュー動画に対応する画像データを取り出す（ステップＳ３１）。
【００４６】
続いて見出し生成部１０９は、類似データ検索部１１０を制御して、外部の類似データ検索サービスシステム３００において、類似画像を検索する（ステップＳ３２）。
そして、見出し生成部１０９は、検索結果として得られたメタデータとしての類似画像に付随するテキスト（例えば、画像がＷｅｂページ中の画像であれば、その画像の周辺に記述されたテキスト情報）のうち、頻出の単語をテキストデータとして取得する（ステップＳ３３）。
【００４７】
具体的には、検索結果として得られた類似画像に付随するテキストを形態素解析し、頻出する固有名詞をテキストデータとして取得する。
これにより見出し生成部１０９は、得られたテキストデータに対応する単語を見出しのテキストとして用いるために、特徴量格納部１０３に格納されている特徴量に対応付けて格納する（ステップＳ３４）。
以上の説明は、画像を起点とした場合について述べたが、音声等他のメディアや特徴量を用いた方式を用いても構わない。また、ステップＳ３２における類似画像の検索では、画像データに対応する他の特徴量データに応じてデータベースを絞り込んだ後、該絞込み済みのデータベースから類似画像を検索してもよい。すなわち、例えばゲーム機から入力端子を介してコンテンツ再生端末装置１００に画像が入力され、当該画像に基づいて見出しを生成する場合、見出し生成部１０９は、データベースの範囲をゲーム機に関連するデータベースから検索を行うよう制御する。そして、データベースの絞り込みの際には、例えばゲーム機の装置種別情報や装置識別子情報に基づき、画像データがゲーム機に関するデータであると判別し、ゲーム機に関連するデータベースに絞り込んでもよい。
【００４８】
また、表示コンテンツ自体にメタデータが対応付けられている場合には、メタデータに由来するデータを付与することも考えられる。メタデータの例としては、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ：電子番組表）、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）、ファイル名等が挙げられる。
【００４９】
また、メタデータとしてＵＲＩ（Ｕｎｉｑｕｅ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）など他のリソースを参照する情報が付与されている場合は、参照先に含まれるテキスト情報も利用可能である。
【００５０】
以上の処理を行うことにより、ユーザは、コンテンツ再生履歴を利用することが可能となる。
図９は、コンテンツ再生履歴（視聴履歴）の閲覧画面の一例の説明図である。
図９に示すように、コンテンツ再生履歴閲覧画面には、既に再生したコンテンツに関する情報、具体的には、写真、映画、ゲーム及びニュースを視聴していたことを示すコンテンツ再生履歴が表示されている。
【００５１】
このように、様々な機器を用いてコンテンツを視聴、閲覧した履歴が、一元的に表示できるようになる。
また、このコンテンツ再生履歴の閲覧画面において、構造化された各コンテンツに対して一つ以上の見出し（例えばコンテンツの名称）を付与される。
【００５２】
ここで、見出しを付与する方法としては、ユーザが直接端末のユーザインタフェースを用いて付与する方法、コンテンツの持つ特徴量に合致または類似する情報を検索し、付随するテキストデータをその特徴量を表すコンテンツの見出し（タグ）として活用する方法等が挙げられる。
【００５３】
例えば、特徴量として画像を用いる場合、インターネット上の類似画像検索サービスを用いることで、類似画像を含むＷｅｂページなどのコンテンツを検索し、検索結果に含まれるテキストの中で頻出あるいは特徴的な単語を抽出し、その画像の見出しとして付与できる。
【００５４】
さらに、付与された見出しを構成する単語の意味に応じてゲーム、自然写真、スポーツ、などの分類を付与することも可能である。これにより、コンテンツの検索時に絞り込み条件として分類を使うことが可能となる。
【００５５】
さらに、あるユーザのコンテンツに対して見出しが付与され、見出しがサーバなどを介して他のユーザとも共有可能である場合、他のユーザのコンテンツで同じ特徴量を持つものに対し、同じ見出しを付与することも可能である。
例えば、見出しを編集する画面において、他のユーザが付与した見出しを候補として提示し、その中から選択したり、一定数以上のユーザが付与した見出しを自動的に付与したりすることが可能である。
【００５６】
なお、見出しを付与する画面は、コンテンツあるいはその構造を判別可能であれば履歴を閲覧する画面に限定するものではない。
【００５７】
以上の説明は、再生済みのコンテンツの再生履歴を閲覧するものであったが、現在再生しているコンテンツに関連するコンテンツの再生履歴を閲覧するように構成することも可能である。
【００５８】
図１０は、再生中のコンテンツに関連する関連コンテンツを検索あるいは閲覧する場合の説明図である。
ここでは、ディジタルカメラで撮影した画像（写真）を、ディジタルカメラを外部入力装置として、コンテンツ再生装置であるテレビでスライドショーを行う場合について説明する。
【００５９】
図１０（ａ）は、スライドショー実行時の表示画面の一例の説明図である。
図１０（ａ）に示すように、スライドショーにおいて、ある写真（画像）が表示されている場合に、ユーザがコンテンツ再生端末装置１００であるテレビにおいて「関連コンテンツ検索」操作を行うと、現在表示されている画像の特徴量に基づき、関連するコンテンツが検索され、表示される。
【００６０】
図１０（ｂ）は、検索結果表示の一例の説明図である。
コンテンツ再生端末装置１００の表示画面には、ユーザが撮影したディジタルカメラの写真（画像）を起点として、他の写真の他、映画のシーンやゲームの画面など、異なるメディアも横断した検索結果が取得され、表示される。
【００６１】
以上の説明のように、本第１実施形態によれば、生成された特徴量に基づいて一の再生コンテンツを複数の再生区間に分割し、当該再生コンテンツの再生区間の再生時の時系列を考慮して、再生コンテンツを再生区間（ショット）単位で構造化し、構造情報を生成し、構造情報に基づいて関連コンテンツを検索するので、より関連性の高いコンテンツを検索することが可能となる。
【００６２】
［２］第２実施形態
上記第１実施形態は、全て一つのコンテンツ再生端末装置（テレビ）、あるいは一人のユーザにおける処理に関するものであったが、本第２実施形態は、取得された特徴量をサーバ２００に蓄積し、他のテレビあるいはユーザの特徴量を比較し、活用する場合の実施形態である。
【００６３】
図１１は、複数のコンテンツ再生端末装置をそれぞれ利用している複数のユーザがいる場合の動作説明図である。
本第２実施形態においては、複数のコンテンツ再生端末装置をそれぞれ利用している複数のユーザが思い思いにコンテンツを再生（視聴）している状況下で、コンテンツの再生状況に応じて、他のユーザやコンテンツを推薦している。
ここで、図１１（ａ）は、それぞれのユーザがコンテンツを再生したときに生成される特徴量を、全てサーバ２００に蓄積される様子を示している。
すなわち、サーバ２００の特徴量格納部２０２は、特徴量管理部２０１の管理下でコンテンツ再生端末装置１００-１〜１００−３から送信された特徴量を格納する。
これと並行して構造化部２０５は、特徴量格納部２０２に格納された特徴量に基づいて再生コンテンツ間の関係を表す構造化を行う。
この時、特徴量は各ユーザＵ１〜Ｕ３あるいは各コンテンツ再生端末装置１００−１〜１００−３と関連付けて格納される。
【００６４】
その後、図１１（ｂ）および図１１（ｃ）に示すように、推薦機能が用いられる。
まず、特徴量照合部２０３は、特徴量格納部２０２に既に格納されている特徴量同士、あるいは、特徴量格納部２０２に既に格納されている特徴量とコンテンツ再生端末装置１００から新たに送信された特徴量とを照合する。
【００６５】
これにより推薦内容生成部２０４は、特徴量照合部２０３における特徴量の照合結果に基づいて特徴量管理部２０１の管理下でコンテンツ再生端末装置１００のユーザに推薦すべきコンテンツあるいは他のユーザ等を推薦するための推薦内容を生成する。
【００６６】
図１１（ｂ）は、視聴履歴に基づき、視聴傾向が類似するユーザを推薦する例である。  ここで、推薦の方式としては、一般的な協調フィルタリング方式を用いることが可能である。視聴コンテンツ全てを用いて推薦する方法の他、機器毎に推薦機能を実行することで、機器毎の好みに応じた推薦を行うことも考えられる。
【００６７】
また、前述の方法で得られたコンテンツの閲覧範囲やゲームの進度などの特徴を用いることで、「○○ゲームでステージ３まで進んだ人のみ推薦」「○○ゲームをクリアした人ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）」といった、従来のコンテンツ単位よりも詳細な範囲での推薦機能が実現される。
【００６８】
さらに、「自分が視聴し終えていないコンテンツを視聴し終えた人一覧」や「自分よりもゲームが先に進んだ人一覧」などを取得し、そのユーザにブログやソーシャルメディアのＩＤが対応付いている場合は、その人が発信する情報をフィルタリングすることで、自分がまだ見ておらず、見るべきでもない情報が見えてしまう、いわゆる「ネタバレ」により開示されてしまうのを防ぐことができる。
図１１（ｂ）の場合には、具体例として、ユーザＵ１が再生を行っている「ゲームＡ」の再生状況（ゲームの進度）である「ステージ３」の関連（つながり）として同一のステージである「ステージ３」を再生しているユーザＸを推薦し、あるいは、ユーザＵ１が再生した「映画Ｃ」の関連（つながり）として同一の「映画Ｃ」を再生したユーザＹを推薦している。
【００６９】
また、図１１（ｃ）は、コンテンツの特徴量を用いることで、自分が過去に視聴したことのない類似コンテンツ、すなわち、未視聴の関連コンテンツを検索し、推薦する例である。
図１１（ｃ）の場合には、具体例として、ユーザＵ１が再生を行っている「ゲームＡ」に関連するコンテンツとして、「画像Ｄ」及び「映像Ｅ」が推薦されている。
【００７０】
図１２は、コンテンツ再生の進行状況（視聴の進み具合）に応じたユーザ推薦例を説明する図である。
ユーザＵ１、Ｕ２、Ｕ３、Ｕ４が同じゲームＡに対しそれぞれステージ３、１、３、５まで進んでいる状況で、ユーザ推薦時のメニューとして例えば「他人にアドバイスする」「同じくらいのユーザと交流」「他人にアドバイスをもらう」のような選択肢の表示を行う。
【００７１】
この場合、見出しが付与されているかどうかによらず、コンテンツ再生の進行状況（視聴の進み具合）に応じ、ユーザＵ１に対してはそれぞれユーザＵ２、Ｕ３、Ｕ４を推薦する、といったユーザ推薦を行うことができるようになる。
このようにコンテンツ再生の進行状況（視聴の進み具合）を用いることで、コンテンツやメディアを横断したユーザ間のコンテンツ推薦や、商品購入の推薦に適用することが可能である。
【００７２】
例えば、ゲームＡの特定のステージにおいてＢＧＭ（Ｂａｃｋ  Ｇｒｏｕｎｄ  Ｍｕｓｉｃ）として映画Ｂの挿入曲が流れる場合、そのステージまで到達したユーザには映画Ｂや映画ＢのサウンドトラックＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を推薦することが考えられる。あるいは、映画Ｂの特定シーンを視聴した人の一定数がそのパロディ映像Ｅも見ている場合には、映像Ｅを推薦することが考えられる。
【００７３】
以上の説明のように、コンテンツ再生端末装置１００を−１〜１００−３を介して蓄積された特徴量を用いることにより、複数の機器やメディアから入力されたコンテンツを一元的に扱えるようになり、アプリケーションやサービスの幅を広げることができる。
【００７４】
以上の説明のように、本第２実施形態によれば、第１実施形態の効果に加えて、各ユーザの再生コンテンツの再生状況に合わせて、関連する再生コンテンツあるいは関連する他のユーザに関する情報を得ることができ、コンテンツの再生をより有効に行うことができる。
【００７５】
［３］実施形態の変形例
本実施携帯におけるコンテンツ再生端末装置１００はテレビなど視聴機器に組み込まれた機器に関して記載しているが、映像・音声を入出力する機器に接続されていればこの形態には限らない。例えば、映像入力端子に接続するアダプタ機器に本装置を構成することで、アダプタ機器を介して入出力される映像・音声情報を全て提案方式により一元管理する方法も考えられる。
【００７６】
あるいは、ネットワーク上を流れるデータを対象にする場合は、ルータ機器などネットワーク上に配置される装置として構成することも可能である。その他視聴情報を入出力する機器として構成することも可能である。
これらの結果、コンテンツ再生端末装置１００であるテレビを介して出力したコンテンツに対し管理情報を付与することで、様々なコンテンツを統一的に扱えるようになる。
【００７７】
本実施形態の情報管理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成とすることも可能である。
【００７８】
本実施形態の情報管理装置で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００７９】
また、本実施形態の情報管理装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報管理装置で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態の情報管理装置の制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００８０】
本実施形態の情報管理装置で実行される制御プログラムは、上述した各部（特徴量生成部、特徴量格納部、見出し生成部、構造化部、関連コンテンツ検索部、特徴量照合部、類似データ検索部、推薦内容生成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から〜プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、特徴量生成部、特徴量格納部、見出し生成部、構造化部、関連コンテンツ検索部、特徴量照合部、類似データ検索部、推薦内容生成部が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
１００  コンテンツ再生端末装置
１０１  コンテンツ再生部
１０２  特徴量生成部
１０３  特徴量格納部
１０４  関連コンテンツ検索部
１０５  特徴量照合部
１０６  検索結果表示部
１０７  特徴量送信部
１０８  推薦結果表示部
１０９  見出し生成部
１１０  類似データ検索部
１１１  構造化部
２００  サーバ
２０１  特徴量管理部
２０２  特徴量格納部
２０３  特徴量照合部
２０４  推薦内容生成部
２０５  構造化部
３００  類似データ検索サービスシステム
ＳＹＳ  視聴情報管理システム
【図１】
2014130536.tif 000003
【図２】
2014130536.tif 000004
【図３】
2014130536.tif 000005
【図４】
2014130536.tif 000006
【図５】
2014130536.tif 000007
【図６】
2014130536.tif 000008
【図７】
2014130536.tif 000009
【図８】
2014130536.tif 000010
【図９】
2014130536.tif 000011
【図１０】
2014130536.tif 000012
【図１１】
2014130536.tif 000013
【図１２】
2014130536.tif 000014