(57)【要約】【課題】メディアからのコンテンツ再生に併せて外部から入力した類似コンテンツ対応のコメントの表示を行う装置、方法を提供する。【解決手段】情報記録媒体に記録されたメディア記録コンテンツの再生処理を実行する再生処理部と、メディア記録コンテンツの特徴量を抽出する特徴抽出部と、特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理部と、情報処理部の制御に基づいて、取得コメントをメディア記録コンテンツの再生画像に重畳して表示する表示処理部を有する。【選択図】図２
2013251667.tif 000002
【特許請求の範囲】
【請求項１】
情報記録媒体に記録されたメディア記録コンテンツを再生する再生処理部と、
前記メディア記録コンテンツの特徴量を抽出する特徴抽出部と、
前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理部と、
を有する情報処理装置。
【請求項２】
前記情報処理部は、
前記特徴抽出部の抽出した特徴量をサーバに送信し、
当該サーバが前記特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを前記情報処理部に送信し、
前記情報処理部は、類似コンテンツに設定されたコメントを取得する請求項１に記載の情報処理装置。
【請求項３】
前記情報処理部は、
追加コメントの入力に応じて、追加コメントを、前記取得コメントに併せて前記メディア記録コンテンツの再生画像に重畳表示する制御を行う請求項１に記載の情報処理装置。
【請求項４】
前記情報処理部は、
前記取得コメントと前記追加コメントを判別可能としたコメント出力制御を行う請求項３に記載の情報処理装置。
【請求項５】
前記情報処理部は、
前記取得コメントの出力位置が、前記メディア記録コンテンツの再生画像中の顔領域に重なるか否かを判定し、重なる場合には前記取得コメントの出力位置を変更する処理を行う請求項１に記載の情報処理装置。
【請求項６】
前記情報処理部は、
追加コメントの入力に応じて、追加コメントをサーバに送信する処理を行う請求項１に記載の情報処理装置。
【請求項７】
前記再生処理部は、
前記メディア記録コンテンツの再生処理において、コメント付与部分の再生速度をその他の部分の再生速度より低下させた再生速度制御を実行する請求項１に記載の情報処理装置。
【請求項８】
再生装置の再生コンテンツの特徴量情報を入力し、入力特徴量に類似するコンテンツの検索を実行し、
検索した類似コンテンツに設定されたコメントを前記再生装置に出力するサーバ。
【請求項９】
前記サーバは、
前記再生装置からユーザ入力された追加コメントを受信し、受信した追加コメントを前記再生コンテンツの類似コンテンツに対応するコメントとして記録する処理を行う請求項８に記載のサーバ。
【請求項１０】
前記サーバは、
前記追加コメントの類似コンテンツに対する記録位置の決定処理において、
前記再生装置から受信したコンテンツ特徴量、または、コンテンツ再生位置情報を適用する請求項９に記載のサーバ。
【請求項１１】
情報処理装置において実行する情報処理方法であり、
再生処理部が、情報記録媒体に記録されたメディア記録コンテンツを再生する再生処理ステップと、
特徴抽出部が、前記メディア記録コンテンツの特徴量を抽出する特徴抽出ステップと、
情報処理部が、前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理ステップを実行する情報処理方法。
【請求項１２】
情報処理装置において情報処理を実行させるプログラムであり、
再生処理部に、情報記録媒体に記録されたメディア記録コンテンツを再生させる再生処理ステップと、
特徴抽出部に、前記メディア記録コンテンツの特徴量を抽出させる特徴抽出ステップと、
情報処理部に、前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行わせる情報処理ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。特に、コンテンツ再生に際してコメント表示を行う情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ネットワークを介した情報通信が盛んになり、例えばネットワーク上のサーバから映像配信を行い、配信された映像を視聴するユーザがコメントをサーバに送信し、このコメントを、さらに配信映像に併せて配信することで多くのユーザがコメントを閲覧し共有可能としたシステムがある。
【０００３】
このようなシステムにおいて様々なユーザから寄せられるコメントは、同じ映像を見ている多くのユーザが同時に閲覧することができ、同じ映像を見ている多数のユーザ間でネットワークを介した情報交換や議論を行うことが可能となる。
なお、このようなコメント配信システムについては、例えば特許文献１（特許４７９９５１５号公報）等に記載がある。
【０００４】
このようなネットワークを介した情報交換技術は、コンテンツをより楽しく視聴することを可能とし、コンテンツの付加価値を高めるための大きな要素となっている。
さらに、同じコンテンツを楽しむユーザ同士の情報交換により、ユーザ間のコミュニケーションの範囲を広げることが可能となり、コンテンツの視聴だけではなく、ユーザ間のコミュニケーションの活性化という新たなサービスを創出している。
【０００５】
しかし、上記のようなコンテンツに付加したコメントを共有するシステムは、例えばライブ映像や、ネットワーク上に存在する同一配信元（または同一記録媒体や同一メディア）の同一コンテンツを対象としている。
従って、例えば各ユーザの所有するディスク、例えばＤＶＤやＢＤ（Ｂｌｕ−Ｒａｙ  Ｄｉｓｃ）などのディスク、あるいは半導体メモリなどの記憶メディテアに記録された互いに異なる記録媒体や異なるメディアの間におけるコンテンツを利用した処理については想定してない。
【０００６】
また、従来の映像とコメントを併せて配信するシステムは特定の配信コンテンツを対象としたものである。すなわち、従来技術は、予め準備されたコンテンツ以外の例えばユーザが任意に選択したコンテンツ、具体的にはディスクに記録されたコンテンツなど、任意のコンテンツに対するコメント提供処理や、コメント共有処理を実現するまでには至っていない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許４７９９５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本開示は、例えば上記問題点に鑑みてなされたものであり、予め準備されたコンテンツ以外の例えばユーザが任意に選択したディスクに記録された互いに異なる記録媒体や異なるメディア間におけるコンテンツなど、任意コンテンツに対してコメントの提供や、コメント共有を可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の第１の側面は、
情報記録媒体に記録されたメディア記録コンテンツを再生する再生処理部と、
前記メディア記録コンテンツの特徴量を抽出する特徴抽出部と、
前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理部と、
を有する情報処理装置にある。
【００１０】
さらに、本開示の情報処理装置の一実施態様において、前記情報処理部は、前記特徴抽出部の抽出した特徴量をサーバに送信し、当該サーバが前記特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを前記情報処理部に送信し、前記情報処理部は、類似コンテンツに設定されたコメントを取得する。
【００１１】
さらに、本開示の情報処理装置の一実施態様において、前記情報処理部は、追加コメントの入力に応じて、追加コメントを、前記取得コメントに併せて前記メディア記録コンテンツの再生画像に重畳表示する制御を行う。
【００１２】
さらに、本開示の情報処理装置の一実施態様において、前記情報処理部は、前記取得コメントと前記追加コメントを判別可能としたコメント出力制御を行う。
【００１３】
さらに、本開示の情報処理装置の一実施態様において、前記情報処理部は、前記取得コメントの出力位置が、前記メディア記録コンテンツの再生画像中の顔領域に重なるか否かを判定し、重なる場合には前記取得コメントの出力位置を変更する処理を行う。
【００１４】
さらに、本開示の情報処理装置の一実施態様において、前記情報処理部は、追加コメントの入力に応じて、追加コメントをサーバに送信する処理を行う。
【００１５】
さらに、本開示の情報処理装置の一実施態様において、前記再生処理部は、前記メディア記録コンテンツの再生処理において、コメント付与部分の再生速度をその他の部分の再生速度より低下させた再生速度制御を実行する。
【００１６】
さらに、本開示の第２の側面は、
再生装置の再生コンテンツの特徴量情報を入力し、入力特徴量に類似するコンテンツの検索を実行し、
検索した類似コンテンツに設定されたコメントを前記再生装置に出力するサーバにある。
【００１７】
さらに、本開示のサーバの一実施態様において、前記サーバは、前記再生装置からユーザ入力された追加コメントを受信し、受信した追加コメントを前記再生コンテンツの類似コンテンツに対応するコメントとして記録する処理を行う。
【００１８】
さらに、本開示のサーバの一実施態様において、前記サーバは、前記追加コメントの類似コンテンツに対する記録位置の決定処理において、前記再生装置から受信したコンテンツ特徴量、または、コンテンツ再生位置情報を適用する。
【００１９】
さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
再生処理部が、情報記録媒体に記録されたメディア記録コンテンツを再生する再生処理ステップと、
特徴抽出部が、前記メディア記録コンテンツの特徴量を抽出する特徴抽出ステップと、
情報処理部が、前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理ステップを実行する情報処理方法にある。
【００２０】
さらに、本開示の第４の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
再生処理部に、情報記録媒体に記録されたメディア記録コンテンツを再生させる再生処理ステップと、
特徴抽出部に、前記メディア記録コンテンツの特徴量を抽出させる特徴抽出ステップと、
情報処理部に、前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行わせる情報処理ステップを実行させるプログラムにある。
【００２１】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２２】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２３】
本開示の一実施例の構成によれば、メディアからのコンテンツ再生に併せて外部から入力した類似コンテンツ対応のコメントの表示を行う装置、方法が実現される。
具体的には、ＢＤ等の情報記録媒体に記録されたメディア記録コンテンツの再生処理を実行する再生処理部と、メディア記録コンテンツの特徴量を抽出する特徴抽出部と、特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理部と、情報処理部の制御に基づいて、取得コメントをメディア記録コンテンツの再生画像に重畳して表示する表示処理部を有する。
本構成により、例えばＢＤ等の情報記録媒体に記録されたメディア記録コンテンツにコメントが付与されていない場合でも、類似コンテンツ対応のコメントを取得して表示することが可能となり、他の多くのユーザの興味の度合いや感想を把握することが可能となり、より付加価値を高めたコンテンツ再生、鑑賞を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】情報処理装置を利用したコンテンツ再生処理の概要について説明する図である。
【図２】情報処理装置とサーバの処理について説明する図である。
【図３】情報処理装置におけるコンテンツ再生制御について説明する図である。
【図４】サーバのコンテンツに対する追加コメントの記録処理例について説明する図である。
【図５】サーバのコンテンツに対する追加コメントの記録処理例について説明する図である。
【図６】コメント表示処理例について説明する図である。
【図７】コメント表示処理例について説明する図である。
【図８】情報処理装置の構成例について説明する図である。
【図９】情報処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図１０】情報処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．情報処理装置を利用したコンテンツ再生処理の概要について
２．情報処理装置とサーバにおいて実行する処理の概要について
３．情報処理装置におけるコンテンツ再生制御処理について
４．サーバ保持コンテンツに対するコメント設定処理例について
５．コメントの表示制御処理について
６．情報処理装置の構成例について
７．情報処理装置の実行する処理シーケンスについて
８．本開示の構成のまとめ
【００２６】
［１．情報処理装置を利用したコンテンツ再生処理の概要について］
図１を参照して、本開示の情報処理装置を利用したコンテンツ再生処理の概要について説明する。
本開示の情報処理装置は、画像や音楽などのコンテンツを記録した情報記録媒体、具体的には、例えばＢＤ（Ｂｌｕ−Ｒａｙ  Ｄｉｓｃ）、ＤＶＤ、あるいはフラッシュメモリなどの様々な記録メディアからコンテンツ再生を行う装置である。
【００２７】
図１には、情報処理装置の例として、ＢＤレコーダやＢＤプレーヤ等の記録再生装置としての情報処理装置１００ａ、さらに、ＰＣとしての情報処理装置１００ｂを示している。
【００２８】
情報処理装置１００ａ，１００ｂは、例えばＢＤ等の情報記録媒体１１０を装着してコンテンツ再生を行う。なお、情報記録媒体１１０には例えば、静止画、動画、音楽などのコンテンツが記録されている。
ＢＤレコーダやＢＤプレーヤ等の再生装置である情報処理装置１００ａには、ディスプレイとスピーカを備えた出力部３０が接続され、情報処理装置１００ａが情報記録媒体１１０から再生したデータ（音声／画像）は、出力部３０において出力される。
ＰＣとしての情報処理装置１００ｂはスピーカ、ディスプレイを備えており、情報処理装置１００ｂが情報記録媒体１１０から再生したデータ（音声／画像）は、ＰＣのスピーカとディスプレイに出力される。
【００２９】
なお、情報処理装置１００は、情報記録媒体１１０からのコンテンツ再生中にネットワーク２０を介してサーバ２００、例えばＷｅｂサイトを提供し、様々なコンテンツを有するサーバ２００と接続される。
サーバ２００は、様々なコンテンツを格納したコンテンツデータベースを有する。
コンテンツデータベースに格納されたコンテンツには、ユーザの閲覧時にユーザが付与したコメントを記録したコンテンツが含まれる。
なお、図１には、サーバ２００を１つのみ示しているが、ネットワーク２０には、複数のサーバが接続され、情報処理装置１００は、ネットワーク２０を介して複数のサーバにアクセス可能である。
【００３０】
［２．情報処理装置とサーバにおいて実行する処理の概要について］
次に、図２を参照して本開示の情報処理装置とサーバにおいて実行する処理の概要について説明する。
なお、情報処理装置１００は、コンテンツを記録したＢＤ、ＤＶＤ、フラッシュメモリ等の様々な記録メディアからのコンテンツ再生が可能であるが、以下の説明では、一例として、情報記録媒体１１０はコンテンツを記録したＢＤ（Ｂｌｕ−Ｒａｙ  Ｄｉｓｃ）である例を説明する。
【００３１】
例えば動画等のコンテンツを記録した情報記録媒体１１０を所有するユーザは、情報記録媒体１１０を情報処理装置１００に装着してコンテンツ再生を実行する。
以下、図２に示すステップＳ１１〜Ｓ１７の各処理について説明する。
ステップＳ１１は、このコンテンツ再生処理である。
【００３２】
図２に示す画像２５１は、再生コンテンツである動画を構成する各フレームを示している。
情報処理装置１００は、コンテンツ再生開始時にサーバ２００との接続を行い、コンテンツ再生期間中は、サーバ２００との通信状態に設定される。
ステップＳ１２において、情報処理装置１００は、コンテンツの再生に併せて、再生コンテンツの各シーンに対応する画像フレームや音声の特徴量を抽出し、サーバ２００に送信する。
【００３３】
なお、サーバ２００に送信するシーン対応のコンテンツ特徴量は、コンテンツ単位あるいは、コンテンツの各画像フレームあるいは複数フレーム単位で情報処理装置１００が抽出した特徴量である。あるいは、属性情報としてディスク（情報記録媒体１１０）に記録された特徴量であってもよい。
【００３４】
ステップＳ１３において、サーバ２００は、情報処理装置１００から受信したコンテンツ特徴量に基づいて、コンテンツデータベースに格納された多数のコンテンツから、受信したコンテンツ特徴量に近い特徴量を有する類似コンテンツを検索する。
なお、この類似コンテンツの抽出は、例えば動画コンテンツであれば、動画コンテンツを構成するシーン単位、例えば画像フレーム単位で実行する。静止画であれば静止画単位で実行する。
サーバ２００の実行するコンテンツ検索は、動画コンテンツを構成するビデオストリームの他、静止画像も対象となる。
【００３５】
さらに、サーバ２００はステップＳ１４において、検索結果として得られた類似コンテンツに設定済みのコメントを抽出する。
この設定済みコメントは、そのコンテンツ、あるいはそのコンテンツに類似するコンテンツを閲覧した様々なユーザによって設定されたコメントである。
【００３６】
なお、サーバ２００におけるコンテンツ検索処理は、ユーザの再生コンテンツに類似するコンテンツからのコメントを抽出することであるので、例えば、コンテンツデータベースに多数のコンテンツが存在する場合は、予め設定済みのコメント情報量が多いコンテンツの集合を検索対象としたコンテンツ検索を行う構成としてもよい。
あるいは、画質の良いコンテンツを優先的に検索するといった処理を行ってもよい。
【００３７】
なお、コメント情報量の判定処理は、画面に付与された文字数に基づいて計測することができる。画面におけるコメント情報検出は、テロップ検出技術を用いて行うことができる。例えば、特開２００７−３２９８３２号公報「画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体」に記載の技術を適用可能である。
【００３８】
サーバ２００は、ステップＳ１５において、抽出コメントを情報処理装置１００に出力する。
情報処理装置１００は、ステップＳ１６において、サーバ２００から受信したコメントを再生コンテンツに併せて表示する。図２のステップＳ１６に示す情報処理装置１００側の画面表示例に示すコメント「かわいい」が、サーバ２００が類似コンテンツから抽出したコメントに相当する。
【００３９】
ユーザは、表示されたコメントに基づいて、その情報に対応して新たなコメントを付与することができる。
図２のステップＳ１６に示す情報処理装置１００側の画面表示例に示すコメント「本当にカワイイ」が追加コメントである。
【００４０】
さらに、ステップＳ１７ａにおいて、情報処理装置１００は、追加コメント情報を、情報処理装置１００のハードディスク、あるいはコンテンツ再生メディアである情報記録媒体１１０等に記録する。
さらに、ステップＳ１７ｂにおいて追加コメントをサーバ２００に送信する。
サーバ２００は、ステップＳ１８において、情報処理装置から受信した追加コメントを、コメント抽出を行ったコンテンツの対応コメントとして追加して記録する。
【００４１】
［３．情報処理装置におけるコンテンツ再生制御処理について］
次に、コンテンツ再生を実行する情報処理装置におけるコンテンツ再生制御処理の一例について図３を参照して説明する。
【００４２】
例えば映像コンテンツに設定されたコメントの多い区間は、ユーザが興味を持った区間と想定でき、視聴して面白いコンテンツ区間、すなわち、ユーザの注目度の高い注目コンテンツ区間である可能性が高いと推定できる。
【００４３】
以下、図３を参照してコメントの付与された注目コンテンツ区間のダイジェスト再生を行うコンテンツ再生制御処理例について説明する。
図３は、横軸にコンテンツの再生時間としての時間軸（ｔ）を示し、各時間における再生コンテンツのシーン（画像フレーム）と各シーンに設定されたコメントを示している。図３には、以下のデータの時系列データを示している。
（Ａ）コメント存在区間
（Ｂ）サーバ上のコンテンツ（類似コンテンツ）
（Ｃ）メディアからの再生コンテンツ
（Ｄ）再生速度推移（ダイジェスト再生やサーチモード実行時）
【００４４】
図３に示す再生区間ａ２、ａ５はコメントの存在する再生区間である。
情報処理装置の再生処理部は、ダイジェスト再生やサーチモード実行時には、図に示す（Ｄ）再生速度推移に従った再生速度制御を実行する。
すなわち、コメントの設定区間である再生区間ａ２、ａ５では、通常再生速度とし、それ以外の区間は、高速再生処理とする。
【００４５】
なお、図３に示す例では、コメント設定区間ａ２、ａ５の前後の区間で徐々に再生速度を変化させている。これは、突然、コメント設定区間ａ２、ａ５区間だけ通常速度にすると、そのシーンだけ再生し、コンテンツ内容のつながりが分かり難いので、再生内容が把握しにくくなるのを改善するためである。
【００４６】
コメントの設定された画像フレームには、コメント設定時に、コメント設定フレームであることを示す識別情報（メタデータ）が設定され。情報処理装置の再生処理部は、このメタデータを参照しながら再生速度の制御を行う。
【００４７】
［４．サーバ保持コンテンツに対するコメント設定処理例について］
上述したように、図１、図２に示す情報処理装置１００は、情報処理装置１００に装着したＢＤ等の情報記録媒体１１０の再生コンテンツの特徴量をサーバ２００に送信する。サーバ２００は、受信特徴量に基づいてサーバの保有コンテンツから類似コンテンツや類似シーンを検索して、検索結果である類似コンテンツや類似シーンに設定されたコメントを抽出して情報処理装置１００に送信する。情報処理装置１００は、情報処理装置１００あるいは情報処理装置１００に接続された表示部に表示中の再生コンテンツに併せてコメントを表示する。
【００４８】
再生コンテンツを見ているユーザは、さらに、追加コメントを入力することができる。この追加コメントは、ユーザの見ているコンテンツに重畳して表示されるのみならず、図２のステップＳ１７〜Ｓ１８の処理として説明したように、サーバ側に送信されて、サーバの保有コンテンツに対応するコメントとして追加記録することができる。
【００４９】
このサーバにおけるコメントの追加記録処理に際して、コメントの記録位置をどのようにして決定するかについて、以下、図４、図５を参照して２つの処理例について説明する。
図４は、画像音声特徴量に基づいてコメント設定位置を決定する場合である。
図４に示す情報処理装置１００が、情報処理装置１００に装着したＢＤ等の情報記録媒体１１０のを格納コンテンツであるコンテンツａ１を再生する。
【００５０】
ユーザは、再生コンテンツａ１に対して追加コメントを入力する。追加コメントは、ユーザの見ているコンテンツに重畳して表示される。さらに、図２のステップＳ１７〜Ｓ１８の処理として説明したように、サーバ側に送信される。
この処理に際して、情報処理装置から、コメント追加シーンの画像や音声の特徴量情報をサーバに送信する。
【００５１】
図５に示す例では、２つのサーバ、すなわちＷｅｂサイト１を提供するサーバＸと、Ｗｅｂサイト２を提供するサーバＹを示している。
情報処理装置１００は、再生コンテンツａ１の特徴量を抽出しサーバＸ，Ｙに送信する。
各サーバは、受信する特徴量情報に基づいて、サーバの保有コンテンツから類似コンテンツや類似シーンを検索して、検索結果である類似コンテンツや類似シーンに対するコメントとして、情報処理装置１００から送信されたユーザの追加コメントを画像フレームに対応付けてコンテンツデータベースに記録する。
【００５２】
図５は、サーバにおけるコメント追加記録処理に際して、画像や音声の特徴量情報を用いず、時間情報を利用した処理例を説明する図である。
この時間情報を利用したコメント追加記録は、情報処理装置１００に装着したＢＤ等の情報記録媒体１１０の格納コンテンツであるコンテンツｂ１と同じコンテンツをサーバが保持している場合に適用可能である。
【００５３】
異なる記録媒体や異なるメディア間における同一コンテンツを想定した場合、各サーバＸ，Ｙのコンテンツ、すなわちＷｅｂ上のコンテンツとユーザの再生しているディスク、すなわち、情報記録媒体１１０のコンテンツでは時間基準が異なるので、コメント付与を正しい位置で処理できない場合が考えられる。
そこで、サーバは、コンテンツの開始位置からの相対位置を算出して、コメント位置を決定する。相対位置として、コンテンツ開始位置からの再生時間情報が利用できる。
さらに、再生時間情報の他、コンテンツ開始位置からのフレーム数を利用してもよい。
【００５４】
なお、図４、図５を参照して説明したユーザによる追加コメント、およびコメント設定位置情報は、サーバのみならず、ユーザ側の情報処理装置１００のローカルストレージ（メモリ）などにコンテンツ識別情報に対応付けて記録する構成としてもよい。
【００５５】
このようなコメントとコメント位置情報の記録処理を実行することで、その後、コンテンツ識別情報に一致する同じコンテンツが再生された場合に、ローカルストレージ（メモリ）に記録されたコメントを追加コメント記録自と同一のシーンで読み出して表示することが可能となる。
【００５６】
［５．コメントの表示制御処理について］
次に、ユーザ側の情報処理装置１００または情報処理装置１００に接続された表示部（例えば図１に示す出力部３０）に対するコメント表示例について説明する。
【００５７】
図６は画面表示の例を示す。図６には、以下の３つのコメント表示処理例を示している。
（１）コメント種類に応じて表示色を変更して表示する処理例
（２）コメント種類に応じて、一方をフェードアウトして表示する処理例
（３）コメント種類に応じて拡縮処理（コメント表示サイズ変更処理）を実行して表示する処理例
【００５８】
図６（１）は、コメント種類に応じて表示色を変更して表示する処理例である。
例えば、元のコメント、サーバから取得したコメントの色と、新たにユーザが追加した追加コメントの表示色を変更して表示する処理例である。
具体的には、例えば、
サーバから取得したコメントを黒で表示し、
新たにユーザが追加した追加コメントを赤で表示する。
【００５９】
図６（２）は、コメント種類に応じて、一方をフェードアウトして表示する処理例である。
具体的には、例えば、サーバから取得したコメントについては、次第に表示が薄れていくようなフェードアウト表示を行う。
【００６０】
図６（３）は、コメント種類に応じて拡縮処理を実行して表示する処理例である。
具体的には、例えば、サーバから取得したコメントについては、次第に文字の大きさを小さくする縮小処理表示を行う。
【００６１】
図７は、画像に対するコメントの表示位置の決定処理について説明する図である。
コメントの表示位置は、画像の邪魔にならない位置に設定することが好ましい。例えば、画面上に人物の顔などのオブジェクトが存在する場合、顔の位置にコメントが表示されるといった状態は好ましくない。
【００６２】
例えばサーバから取得した類似コンテンツ対応のコメントを、ユーザ側の情報処理装置における再生コンテンツに重畳させて表示すると、コメント取得元の類似コンテンツでは、人の顔に重なっていなくても、ユーザ側で再生しているコンテンツの場合には顔に重なってしまうといった場合がある。
【００６３】
そこで、情報処理装置１００は、コメント表示の制御処理として、サーバから取得した類似コンテンツ対応のコメントを表示する場合、以下の処理を行う。
（Ｓ１）ユーザ側の情報記録媒体１１０からの再生コンテンツのコメント表示予定フレームに顔画像が存在するか否かを判定する。
（Ｓ２）コメント表示予定フレームに顔画像が存在しない場合は、コメント取得元の類似コンテンツに表示されていたコメント表示位置と同じ位置にコメント表示を実行する。
（Ｓ３）コメント表示予定フレームに顔画像が存在する場合は、コメント取得元の類似コンテンツに表示されていたコメント表示位置を変更する。
【００６４】
上記（Ｓ３）のコメント表示位置の変更処理の具体例について図７を参照して説明する。
図７上段（１ａ）〜（１ｃ）に示す例は、コメント表示位置調整を実行しないコメント表示例である。各図は以下のデータである。
（１ａ）情報記録媒体１１０からの再生コンテンツ
（１ｂ）サーバ（Ｗｅｂ）から取得した類似コンテンツ対応のコメント、
（１ｃ）コメント表示位置の調整を実行せずにコメントを重畳表示した例
【００６５】
このようなコメント表示を実行すると、図７（１ｃ）に示すように顔の位置にコメントが表示されてしまい、好ましくない。
このような状況の発生を防止するため、情報処理装置１００はコメント表示位置の制御を実行する。
【００６６】
具体的には図７に示すステップＳ５１〜Ｓ５３の処理を実行する。
まず、ステップＳ５１において、情報処理装置１００における情報記録媒体１１０からの再生コンテンツのコメント表示予定画像の画像解析を行う。
【００６７】
具体的には、顔検出処理に基づいて、顔領域を検出し、また、画像セグメンテーション処理によって、顔領域と隣接する領域（胴体領域）とその他の領域（背景領域）を検出する。画像セグメンテーション処理は、画像における各画素の色データや輝度データなどの画像特徴量データを用いてクラスタリング処理に基づいて処理することができる。
【００６８】
次に、ステップＳ５２において、背景領域の重心位置を算出する。
最後に、ステップＳ５３において、背景領域の重心位置にコメントを表示する。
【００６９】
これらの処理を行うことで、図７ステップＳ５３に示すように、顔領域に重畳しない背景領域に、サーバから取得したコメントを表示することができる。
【００７０】
［６．情報処理装置の構成例について］
次に、図８を参照して情報法処理装置１００の構成例について説明する。
情報処理装置１００は、データバス（ＤＢ）、コントロールバス（ＣＢ）に様々な処理系が接続されている。
【００７１】
具体的には、以下の各処理部を有する。
ネットワーク３０１を介したデータ送受信に適用するネットワークＩ／Ｆ３０２。
アンテナを介したコンテンツ送受信等を行うチューナ３０３。
ディスク状記録媒体３０８ａや記録媒体３０９に対するデータ記録を行う記録処理部３０４。
コメント検索、表示制御、顔検出、画像セグメンテーションなどの処理を実行する情報処理部３０５を有する。
ユーザの操作するリモコン等の操作部を介した入力情報を入力するインタフェース（Ｉ／Ｆ）３０６。
システムコントローラ３１４の実行する処理プログラムやパラメータ、あるいはコメントの一時的な記録領域として利用されるＲＡＭ，ＲＯＭ等からなるメモリ３０７。
【００７２】
さらに、以下の構成を有する。
ディスク状記録媒体３０８ａを装着して駆動し、データ記録再生処理系を行うディスクドライブ３０８。
ハードディスク等の記録媒体３０９。
コンテンツ再生制御を実行する再生処理部３１０。
表示部としてのディスプレイ３１２に対するコンテンツやコメント表示を実行する表示処理部３１１。
再生コンテンツの画像、音声の特徴抽出を実行する画像音声特徴抽出部３１３。
各処理部の包括的制御をを実行する例えばプログラム実行機能を持つＣＰＵ等によって構成されるシステムコントローラ３１４。
【００７３】
なお、コンテンツを再生した場合、画像音声特徴量は、画像音声特徴抽出部３１３で抽出処理される。
画像特徴量としては、色特徴、輝度特徴やテクスチャなどの大域的画像特徴量や、ハリスコーナー検出、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などの局所的画像特徴量がある。
【００７４】
抽出された特徴量は、情報処理部３０５の制御の下、ネットワークＩ／Ｆ３０２を介してサーバに送信され、サーバにおいて類似シーンの検出が実行され、コメントが付与されているコンテンツの類似画像シーンからコメントが取得され情報処理装置１００に提供される。
このように、情報処理部３０５は、画像音声特徴抽出部３１３の抽出した特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを取得し、取得コメントをメディア記録コンテンツの再生画像に重畳表示する制御を行う。
【００７５】
なお、情報処理部３０５の実行するコメント取得処理は、例えば画像音声特徴抽出部３１３の抽出した特徴量をサーバに送信し、サーバから類似コンテンツに設定されたコメントを取得する処理として行われる。
さらに、情報処理部３０５は、ユーザが新たに入力した追加コメントの入力に応じて、追加コメントを取得コメントに併せてメディア記録コンテンツの再生画像に重畳表示する制御や、サーバに送信する処理を行う。
また、情報処理部３０５は、コメントの表示制御に際して、先に図６や図７を参照して説明した追加コメントを判別可能としたコメント出力制御や、コメントの出力位置を変更する処理を行う。
【００７６】
［７．情報処理装置の実行する処理シーケンスについて］
次に、情報処理装置の実行する処理シーケンスについて図９、図１０に示すフローチャートを参照して説明する。
【００７７】
図９、図１０に示すフローに従った処理は、例えば図８に示すメモリ３０７に格納されたプログラムに従って、システムコントローラ３１４のＣＰＵによるプログラム実行によって行われる。
【００７８】
ステップＳ１０１において、情報処理装置が、再生モードに設定されているか否かを判定する。
再生モードの場合はＳ１０２に進み、再生モードでない場合は、ステップＳ２００に進み、その他のモードに従った処理を実行する。
【００７９】
情報処理装置が再生モードにある場合は、ステップＳ１０２に進み、コメント検索モードの設定フラグの初期設定を行う。
コメント検索モードの設定フラグは、以下の設定である。
ｆ＝１→オフ：コメント検索を実行しない
ｆ＝０→オン：コメント検索を実行する
【００８０】
ステップＳ１０２におけるコメント検索モードの設定フラグの初期設定は、
ｆ＝０→オン：コメント検索を実行する、
上記設定とする処理である。
【００８１】
ステップＳ１０３において、ユーザが所望のコメント検索モードの設定を行う。このモード設定は、
「コメント検索を実行しない」、または「コメント検索を実行する」いずれかの設定であり、例えばこれらの設定を求めるＵＩ（ユーザインタフェース）を介したユーザ入力を実行させる。
【００８２】
次に、ステップＳ１０４において、ユーザが、
「コメント検索を実行する」（ｆ＝０）
に設定したか否かを判定する。
「コメント検索を実行する」に設定したと判定した場合は、ステップＳ１０５に進む。
「コメント検索を実行しない」に設定したと判定した場合は、ステップＳ１０６に進み、フラグをｆ＝１に設定して処理（Ｍ１）に進む。処理（Ｍ１）は図１０に示すフローに従った処理であり、後段で説明する。
【００８３】
ステップＳ１０４において、ユーザが、「コメント検索を実行する」（ｆ＝０）に設定したと判定した場合は、ステップＳ１０５に進む。
ステップＳ１０５では、再生コンテンツからの特徴検出を実行する。
例えば、画像特徴量として、色特徴やテクスチャなどの大域的画像特徴量や、ハリスコーナー検出、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）などの局所的画像特徴量を検出する。音声特徴量として、音程や音量の時間的推移情報、または所定区間（数１０〜数１００ｍｓ）毎のパワースペクトルなどを取得する。
【００８４】
次に、ステップＳ１０７において、抽出した特徴情報に基づくサーバ格納コンテンツ、すなわちＷｅｂサイトの類似コンテンツ検索を行う。
このコンテンツ検索は、ステップＳ１０５において抽出した特徴量に類似する特徴量を持つコンテンツの例えばシーン検索処理である。
【００８５】
ステップＳ１０８において類似コンテンツの検索に成功したか否かを判定する。
１つも類似コンテンツが検索できなかった場合は、ステップＳ１１１に進み、例えばユーザの見ているコンテンツ表示ディスプレイにコメントが得られなかった旨のメッセージを表示する。
その後、ステップＳ１１２において、フラグ設定をｆ＝１、すなわち「コメント検索を実行しない」の設定として処理（Ｍ１）に進む。処理（Ｍ１）は図１０に示すフローに従った処理であり、後段で説明する。
【００８６】
一方、ステップＳ１０８において類似コンテンツの検索に成功した場合は、ステップＳ１０９に進む。
ステップＳ１０９では、類似コンテンツにコメントが設定されているか否かを判定する。
類似コンテンツからコメントが取得できなかった場合は、ステップＳ１１１に進み、例えばユーザの見ているコンテンツ表示ディスプレイにコメントが得られなかった旨のメッセージを表示する。
その後、ステップＳ１１２において、フラグ設定をｆ＝１、すなわち「コメント検索を実行しない」の設定として処理（Ｍ１）に進む。処理（Ｍ１）は図１０に示すフローに従った処理であり、後段で説明する。
【００８７】
ステップＳ１０９において、類似コンテンツにコメントが設定されていると判定した場合は、ステップＳ１１０に進む。
ステップＳ１１０では、コメントを取得して、取得したコメントを再生コンテンツに併せて表示する。
なお、この表示処理に際しては、先に図７を参照して説明したコメント表示位置の制御を行うことが好ましい。
その後、処理（Ｍ１）に進む。
【００８８】
次に、図１０に示すフローを参照して処理（Ｍ１）以降の処理について説明する。
ステップＳ１２１において、コメントの追加処理設定が有効であるか否かを判定する。設定が無効である場合は、ステップＳ１２３に進む。
設定が有効である場合は、ステップＳ１２２に進み、ユーザからのコメント追加を待って、ステップＳ１２３に進む。
なお、設定が有効である場合でも、予め設定した時間内にコメント追加が実行されない場合は、ステップＳ１２３に進む設定としてよい。
【００８９】
ステップＳ１２３では、コメント検索モードの設定確認を行う。
「コメント検索を実行する」（ｆ＝０）
の設定である場合は、ステップＳ１２４に進む。
「コメント検索を実行しない」（ｆ＝１）
の設定である場合は、ステップＳ１２６に進む。
【００９０】
ステップＳ１２４では、取得コメントの表示変化を行うモードにあるか否かを判定する。
これは、先に図６を参照して説明した図６（１）〜（３）の処理を行うモードにあるか否かの判定処理である。
すなわち、サーバから取得したコメントと、ユーザが新たに追加した追加コメントを判別可能とするための処理を行うモードにあるか否かの判定処理である。
【００９１】
このモードに設定されていない場合はステップＳ１２６に進む。このモードに設定されている場合は、ステップＳ１２５に進み、設定されたモードに従った表示態様の変更処理、例えば図６（１）〜（３）のいずれかの処理に従った表示制御を実行する。
この処理の後、ステップＳ１２６に進む。
【００９２】
ステップＳ１２６では、コンテンツの再生終了判定を実行し、終了の場合は全体処理を終了する。まだコンテンツ再生が継続している場合は、（Ｍ２）の処理、すなわち、図９のフローに示すステップＳ１０４に戻り、ステップＳ１０４以下の処理を繰り返し実行する。
【００９３】
本開示の処理に従えば、例えば以下の効果が期待できる。
ユーザがまだ視聴していないコンテンツに対して、興味深いと思われる部分を容易に検索して視聴することができる。また、そのコンテンツの興味深い区間だけを選択して短時間で効率よく視聴することも可能になる。
さらに、これから視聴しようとするコンテンツに対して、他のユーザがどのような感想を感じているかを知ることができる。
例えば、このような効果が期待できる。
【００９４】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９５】
なお、本明細書において開示した技術は、例えば以下のような構成をとることができる。
（１）  情報記録媒体に記録されたメディア記録コンテンツを再生する再生処理部と、
前記メディア記録コンテンツの特徴量を抽出する特徴抽出部と、
前記特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理部と、
を有する情報処理装置。
【００９６】
（２）前記情報処理部は、前記特徴抽出部の抽出した特徴量をサーバに送信し、当該サーバが前記特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを前記情報処理部に送信し、前記情報処理部は、類似コンテンツに設定されたコメントを取得する前記（１）に記載の情報処理装置。
（３）前記情報処理部は、追加コメントの入力に応じて、追加コメントを、前記取得コメントに併せて前記メディア記録コンテンツの再生画像に重畳表示する制御を行う前記（１）または（２）に記載の情報処理装置。
（４）前記情報処理部は、前記取得コメントと前記追加コメントを判別可能としたコメント出力制御を行う前記（３）に記載の情報処理装置。
【００９７】
（５）前記情報処理部は、前記取得コメントの出力位置が、前記メディア記録コンテンツの再生画像中の顔領域に重なるか否かを判定し、重なる場合には前記取得コメントの出力位置を変更する処理を行う前記（１）〜（４）いずれかに記載の情報処理装置。
（６）前記情報処理部は、追加コメントの入力に応じて、追加コメントをサーバに送信する処理を行う前記（１）〜（５）いずれかに記載の情報処理装置。
（７）前記再生処理部は、前記メディア記録コンテンツの再生処理において、コメント付与部分の再生速度をその他の部分の再生速度より低下させた再生速度制御を実行する前記（１）〜（６）いずれかに記載の情報処理装置。
【００９８】
（８）  再生装置の再生コンテンツの特徴量情報を入力し、入力特徴量に類似するコンテンツの検索を実行し、
検索した類似コンテンツに設定されたコメントを前記再生装置に出力するサーバ。
（９）前記サーバは、前記再生装置からユーザ入力された追加コメントを受信し、受信した追加コメントを前記再生コンテンツの類似コンテンツに対応するコメントとして記録する処理を行う前記（８）に記載のサーバ。
（１０）前記サーバは、前記追加コメントの類似コンテンツに対する記録位置の決定処理において、前記再生装置から受信したコンテンツ特徴量、または、コンテンツ再生位置情報を適用する前記（９）に記載のサーバ。
【００９９】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１００】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０２】
以上、説明したように、本開示の一実施例の構成によれば、メディアからのコンテンツ再生に併せて外部から入力した類似コンテンツ対応のコメントの表示を行う装置、方法が実現される。
具体的には、ＢＤ等の情報記録媒体に記録されたメディア記録コンテンツの再生処理を実行する再生処理部と、メディア記録コンテンツの特徴量を抽出する特徴抽出部と、特徴抽出部の抽出した特徴量に類似する特徴量を持つ類似コンテンツを検索し、検索した類似コンテンツに設定されたコメントを取得し、取得コメントを前記メディア記録コンテンツの再生画像に重畳表示する制御を行う情報処理部と、情報処理部の制御に基づいて、取得コメントをメディア記録コンテンツの再生画像に重畳して表示する表示処理部を有する。
本構成により、例えばＢＤ等の情報記録媒体に記録されたメディア記録コンテンツにコメントが付与されていない場合でも、類似コンテンツ対応のコメントを取得して表示することが可能となり、他の多くのユーザの興味の度合いや感想を把握することが可能となり、より付加価値を高めたコンテンツ再生、鑑賞を行うことができる。
【符号の説明】
【０１０３】
２０  ネットワーク
３０  出力部
１００  情報処理装置
１１０  情報記録媒体
２００  サーバ
３０１  ネットワーク
３０２  ネットワークＩ／Ｆ
３０３  チューナ
３０４  記録処理部
３０５  情報処理部
３０６  インタフェース（Ｉ／Ｆ）
３０７  メモリ
３０８  ディスクドライブ
３０８ａ  ディスク状記録媒体
３０９  記録媒体
３１０  再生処理部
３１１  表示処理部
３１２  ディスプレイ
３１３  画像音声特徴抽出部
３１４  システムコントローラ
【図２】
2013251667.tif 000003
【図３】
2013251667.tif 000004
【図４】
2013251667.tif 000005
【図５】
2013251667.tif 000006
【図６】
2013251667.tif 000007
【図７】
2013251667.tif 000008
【図８】
2013251667.tif 000009
【図９】
2013251667.tif 000010
【図１０】
2013251667.tif 000011
【図１】
2013251667.tif 000012