(57)【特許請求の範囲】
【請求項１】
コンテンツを検索するための情報を取得する取得手段と、
前記取得手段で取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索を行う検索手段と、
前記検索手段により検索されたシーンを含むコンテンツを、検索結果として提示する提示手段と
を備え、
前記提示手段は、複数のコンテンツを提示する場合、各コンテンツに含まれる前記検索手段で検索されたシーンの総合計時間が多い順に順位を設定し、提示する
情報処理装置。
【請求項２】
コンテンツを検索するための情報を取得し、
取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、
検索されたシーンを含むコンテンツを、検索結果として提示する
ステップを含み、
前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位を設定し、提示する
情報処理方法。
【請求項３】
コンテンツを検索するための情報を取得し、
取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、
検索されたシーンを含むコンテンツを、検索結果として提示する
ステップを含み、
前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位を設定し、提示する
処理をコンピュータに実行させるためのプログラム。
【請求項４】
コンテンツを検索するための情報を取得し、
取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、
検索されたシーンを含むコンテンツを、検索結果として提示する
ステップを含み、
前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位を設定し、提示する
処理をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項５】
コンテンツを検索するための情報を取得する取得手段と、
前記取得手段で取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索を行う検索手段と、
前記検索手段により検索されたシーンを含むコンテンツを、検索結果として提示する提示手段と
を備え、
前記提示手段は、複数のコンテンツを提示する場合、各コンテンツに含まれる前記検索手段で検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する
情報処理装置。
【請求項６】
コンテンツを検索するための情報を取得し、
取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、
検索されたシーンを含むコンテンツを、検索結果として提示する
ステップを含み、
前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する
情報処理方法。
【請求項７】
コンテンツを検索するための情報を取得し、
取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、
検索されたシーンを含むコンテンツを、検索結果として提示する
ステップを含み、
前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する
処理をコンピュータに実行させるためのプログラム。
【請求項８】
コンテンツを検索するための情報を取得し、
取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、
検索されたシーンを含むコンテンツを、検索結果として提示する
ステップを含み、
前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する
処理をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、情報を提供するときに、ユーザにとって意味的にまとまりのあるかたちで提供するようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、映像コンテンツを検索する場合、キーワードを指定して検索する方法、参照画像または参照映像を与えて一致する部分や類似する部分を含むものを検索する方法、色や動きの激しさなどの情報を指定して検索する方法などが用いられている。また、映像コンテンツ単位で検索する方法や、映像コンテンツを細分化したシーン単位で検索する方法なども提案されている。（例えば、特許文献１参照）
【特許文献１】特開2004-227423号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
映像解析技術の向上や、映像コンテンツに対するアノテーション（annotation）サービスの普及などにより、シーン単位でコンテンツに意味づけがなされることが多くなってきた。アノテーションサービスとは、例えば、インターネット上に氾濫するＷｅｂページやマルチメディアコンテンツを、単に視聴するだけでなく、高度に利用したいというユーザの欲求に対して、それらのコンテンツに対して何らかの情報を関連付けて、提供するサービスのことである。
【０００４】
このようなアノテーションサービスが普及することにともない、ユーザの求める映像をシーン単位で探し出す手法の精度の向上が見込まれる。しかしながら、シーン単位で検索を行い、検索結果をシーン単位でユーザに返すと、ユーザ側では所望のシーンを得られても、シーン単位の検索で得られる映像断片のみの結果では意味をなさないことがあり、必ずしも、ユーザにとって有意義な検索結果が返せるわけではなかった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、ユーザにとって有意義な検索結果を返せるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の第１の情報処理装置は、コンテンツを検索するための情報を取得する取得手段と、前記取得手段で取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索を行う検索手段と、前記検索手段により検索されたシーンを含むコンテンツを、検索結果として提示する提示手段とを備え、前記提示手段は、複数のコンテンツを提示する場合、各コンテンツに含まれる前記検索手段で検索されたシーンの総合計時間が多い順に順位を設定し、提示する。
【０００７】
本発明の一側面の第１の情報処理方法は、コンテンツを検索するための情報を取得し、取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、検索されたシーンを含むコンテンツを、検索結果として提示するステップを含み、前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位を設定し、提示する。
【０００８】
本発明の一側面の第１のプログラムは、コンテンツを検索するための情報を取得し、取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、検索されたシーンを含むコンテンツを、検索結果として提示するステップを含み、前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位を設定し、提示する処理をコンピュータに実行させるためのプログラム。
【０００９】
本発明の一側面の第１の記録媒体は、コンテンツを検索するための情報を取得し、取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、検索されたシーンを含むコンテンツを、検索結果として提示するステップを含み、前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位を設定し、提示する処理をコンピュータに実行させるためのプログラムを記録している。
【００１０】
本発明の一側面の第２の情報処理装置は、コンテンツを検索するための情報を取得する取得手段と、前記取得手段で取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索を行う検索手段と、前記検索手段により検索されたシーンを含むコンテンツを、検索結果として提示する提示手段とを備え、前記提示手段は、複数のコンテンツを提示する場合、各コンテンツに含まれる前記検索手段で検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する。
【００１１】
本発明の一側面の第２の情報処理方法は、コンテンツを検索するための情報を取得し、取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、検索されたシーンを含むコンテンツを、検索結果として提示するステップを含み、前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する。
【００１２】
本発明の一側面の第２のプログラムは、コンテンツを検索するための情報を取得し、取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、検索されたシーンを含むコンテンツを、検索結果として提示するステップを含み、前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する処理をコンピュータに実行させるためのプログラム。
【００１３】
本発明の一側面の第２の記録媒体は、コンテンツを検索するための情報を取得し、取得された前記情報に該当するシーンを、前記コンテンツから抽出された特徴量を用いて、前記コンテンツから抽出されたシーンを対象とし、シーン単位で検索し、検索されたシーンを含むコンテンツを、検索結果として提示するステップを含み、前記提示は、複数のコンテンツを提示する場合、各コンテンツに含まれる検索されたシーンの総合計時間の前記コンテンツに占める割合が高い順に順位を設定し、提示する処理をコンピュータに実行させるためのプログラムを記録している。
【００１４】
本発明の一側面の第１の情報処理装置、第２の情報処理装置、第１の情報処理方法、第２の情報処理方法、第１のプログラム、第２のプログラム、第１の記録媒体、および第２の記録媒体においては、コンテンツを検索するための情報が取得され、取得された情報に該当するシーンが、コンテンツから抽出された特徴量が用いられて、コンテンツから抽出されたシーンが対象とされ、シーン単位で検索され、検索されたシーンを含むコンテンツが、検索結果として提示される。その提示は、複数のコンテンツが提示される場合、各コンテンツに含まれる検索されたシーンの総合計時間が多い順に順位が設定され、提示される。または、各コンテンツに含まれる検索されたシーンの総合計時間のコンテンツに占める割合が高い順に順位が設定され、提示される。
【発明の効果】
【００１５】
本発明の一側面によれば、シーン単位で検索されたコンテンツを、ユーザに有意義な情報として提供することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１９】
図１は、本発明を適用した情報処理装置の一実施の形態の構成を示す図である。図１に示した情報処理装置１１は、コンテンツ取得部２１、特徴量抽出部２２、特徴量記憶部２３、シーン抽出部２４、シーン記憶部２５、検索方法指示部２６、シーン検索部２７、検索結果集約部２８、検索結果表示制御部２９、再生表示制御部３０、および再生指示部３１を含む構成とされている。検索結果表示制御部２９と再生表示制御部３０は、表示装置１２と接続され、表示装置１２の表示を制御する。
【００２０】
コンテンツ取得部２１は、コンテンツを取得する。取得されるコンテンツは、ここでは映像であるとする。コンテンツ取得部２１は、インターネットなどで構成されるネットワークを介して接続されている他の装置で管理されているコンテンツや、ユーザのパーソナルコンピュータで管理されているコンテンツなどを取得する。取得されるコンテンツは、インターネットなどで公開されているコンテンツであっても良いし、ユーザ自身が撮影したようなプライベートなコンテンツであっても良い。
【００２１】
特徴量抽出部２２は、コンテンツ取得部２１で取得されたコンテンツから特徴量を抽出する。特徴量抽出部２２で抽出された特徴量は、特徴量記憶部２３に一旦記憶される。
【００２２】
シーン抽出部２４は、コンテンツ取得部２１で取得されたコンテンツを複数のシーンに分割、または複数のシーンを抽出する。例えば、シーンチェンジを検出する方法を適用して複数のシーンに分割されるようにしても良いし、所定の条件に当てはまるシーンが抽出されるようにしても良い。ここでは、所定の条件に当てはまるシーンが抽出される場合を例に挙げて説明する。処理対象とされているコンテンツ内のシーンが、所定のシーンに当てはまるか否かは、特徴量抽出部２２により抽出された特徴量を用いて判断される。
【００２３】
例えば、シーン抽出部２４は、第１のシーンが有する第１の特徴量を記憶しており、または取得できるように構成されており、第１の特徴量と一致する特徴量が、特徴量記憶部２３に記憶されているか否かを判断することにより、第１のシーンに当てはまるか否かを判断する。
【００２４】
ここでは、シーン抽出部２４は、所定のシーンと、そのシーンの特徴量を関連付けて記憶しているとして説明を続ける。また、ここでは、特徴量記憶部２３に記憶されている特徴量と、シーン抽出部２４が記憶している特徴量が一致したとき、そのシーンを抽出するとして説明するが、特徴量が“一致”するとの表記は、完全に一致することは勿論含まれるが、特徴量が類似している場合も含まれるとする。類似している場合とは、特徴量の一致度が、例えば、９０％以上であるときには、一致するとして判断して良い場合であるとする。
【００２５】
よって、特徴量抽出部２２が供給されたコンテンツから抽出される特徴量と、シーン抽出部２４に記憶されている特徴量は、比較することが可能な量とされる。
【００２６】
シーン抽出部２４により、シーンが抽出された場合、そのシーンが、シーン記憶部２５に記憶される。シーン抽出部２４により、シーンが抽出された場合、そのシーンの開始点や終了点などを、ユーザ側で編集し、その編集された後のシーンが、シーン記憶部２５に記憶されるようにしても良い。さらに、ユーザによりシーンが抽出されるようにしても良いし、ユーザにより抽出されたシーンも、シーン抽出部２４により抽出された他のシーンとともに、シーン記憶部２５に記憶されるようにしても良い。
【００２７】
シーン記憶部２５に記憶されるのは、コンテンツ取得部２１で取得されたコンテンツから、所定のシーンであると判断された部分を特定できる情報、または判断された部分の映像データそのものである。
【００２８】
また、後述するように、本実施の形態においては、ユーザに対してコンテンツを検索結果として提示するため、また、提示したコンテンツが再生できるように構成されるため、コンテンツ取得部２１により取得されたコンテンツのデータ（以下、コンテンツデータと記述する）も、シーン記憶部２５に記憶されるとして説明する。すなわちここでは、コンテンツデータと、そのコンテンツデータに基づくコンテンツの所定のシーンを特定するための情報（以下、シーン情報と記述する）が関連付けられて記憶される。
【００２９】
ここで、シーン記憶部２５に記憶されるデータについて、図２を参照して説明を加える。シーン記憶部２５には、コンテンツデータ５１と、そのコンテンツデータ５１のシーンに関する情報である、シーン情報５２−１乃至５２−ｐが関連付けられて記憶されている。また、シーン記憶部２５には、コンテンツデータ６１と、そのコンテンツデータ６１のシーンに関する情報である、シーン情報６２−１乃至６２−ｑが関連付けられて記憶されている。
【００３０】
このように、シーン記憶部２５には、複数のコンテンツデータとそのコンテンツデータのシーン情報が関連付けられて記憶されている。以下の説明において、コンテンツデータ５１とコンテンツデータ６１を区別する必要がない場合、コンテンツデータ５１を代表して記述する。また、シーン情報も同様に、シーン情報５２を代表して記述し、シーン情報５２−１乃至５２−ｐも、個々に区別する必要がない場合、単にシーン情報５２と記述する。
【００３１】
シーン情報５２に含まれる情報は、シーン抽出部２４がシーンを抽出したときに生成されるように構成されている。また、シーン情報５２に含ませる情報は、ユーザなどから提供された情報とすることも可能であり、適宜、ユーザから提供された情報で、シーン情報５２が生成される。
【００３２】
コンテンツデータ５１は、コンテンツのデータそのものでも良いし、コンテンツを特定するための情報、例えば、インターネット上で取得できるコンテンツであれば、アドレスなどの情報でも良い。シーン情報５２は、コンテンツデータ５１に基づくコンテンツのうち、どの部分が所定のシーンとして抽出されたかを示す情報である。例えば、シーン情報５２には、シーンの初めと終わりフレームを特定するためのフレーム情報や、どのようなシーンであるかを示す情報が含まれる。
【００３３】
どのようなシーンであるかを示す情報とは、シーン検索部２７がシーンの検索を行うときに参照する情報である。ここで、図１に示した情報処理装置１１の説明に戻る。シーン検索部２７は、検索方法指示部２６により指示された方法により、シーン記憶部２５に記憶されている情報から、指示されたシーンが記憶されているか否かを判断する。
【００３４】
検索方法指示部２６には、ユーザが所望のシーンを検索するときの情報が入力される。例えば、検索方法指示部２６は、ユーザが操作し、情報を入力するための、例えばキーボードなどの操作部（不図示）を含む構成とされる。または、例えば、ネットワークと接続され、ネットワークを介して、ユーザからの指示を入力するためのインタフェース（不図示）を備える構成とされる。
【００３５】
ユーザにより入力される情報は、所望のシーンに含まれる画像や映像、所望のシーンを特定するためのキーワードなどである。また、所望のシーンの特徴、例えば、動きの激しいシーンであるとか、シーンに含まれる色などでも良い。
【００３６】
例えば、検索方法指示部２６に、所定の画像が入力された場合、シーン検索部２７は、その画像に完全に一致する画像を含むシーンや、類似する画像を含むシーンが、シーン記憶部２５に記憶されているか否かを、シーン情報５２を参照して判断する。よってこの場合、シーン情報５２には、シーンに含まれる画像の特徴量など、所定の画像と一致（類似）するか否かを判断できる情報が含まれる。
【００３７】
また例えば、検索方法指示部２６に、所定のキーワードが入力された場合、シーン検索部２７は、そのキーワードに完全に一致するキーワードを含むシーンや、類語を含むシーンが、シーン記憶部２５に記憶されているか否かを、シーン情報５２を参照して判断する。よってこの場合、シーン情報５２には、シーンに含まれるキーワードが、所定のキーワードと一致（類似）するか否かを判断できる情報が含まれる。
【００３８】
なおこの場合、シーンに含まれるキーワードとは、そのシーンにアノテーションされたキーワードや、そのシーンのクローズドキャプション（closed captioning）や、テロップなどである。また、シーン情報５２には、このような文字認識で得られたテキスト情報が含まれる。
【００３９】
さらには、シーン情報５２には、そのシーンの色や被写体の動きの激しさなどの情報も適宜含まれる。
【００４０】
すなわち、シーン記憶部２５に記憶されるシーン情報５２には、検索方法指示部２６に、ユーザが指示として入力する情報で、シーン検索部２７が検索できるような情報が含まれ、その情報には、人により付与された情報や、シーンを解析することにより付与された情報が含まれる。
【００４１】
シーン検索部２７は、このように、ユーザからの指示に基づき、シーンを検索し、その検索結果を、検索結果集約部２８に供給する。検索結果集約部２８は、検索されたシーンを含むコンテンツを、検索結果としてユーザに提示するための処理を行う。シーン検索部２７で検索されたシーンを、そのままユーザに提示した場合、ユーザ側では所望のシーンを得られることになるが、シーン単位の検索で得られる映像断片のみの結果では意味をなさないことがあり、必ずしも、ユーザにとって有意義な検索結果の提示であるとは限らない。
【００４２】
そこで、シーンを含むコンテンツを、ユーザに提示するようにする。検索されたシーンを含むコンテンツをユーザに提示することで、検索されたシーンの前後も提供されることになり、ユーザは、所望のシーンの前後を確認することができるようになる。換言すれば、ユーザに意味的に最もまとまりのある結果を、検索結果として提示することが可能となる。
【００４３】
検索結果集約部２８による結果は、検索結果表示制御部２９に供給される。検索結果表示制御部２９は、検索結果集約部２８からの検索結果（情報）を、表示装置１２を制御してユーザに提示する。
【００４４】
ユーザが、表示装置１２に表示されている検索結果から、再生させたい検索結果を指示した場合、再生指示部３１により、指示された検索結果の再生が、再生表示制御部３０に指示される。再生表示制御部３０は、ユーザが再生を指示した検索結果を、検索結果表示制御部２９からの情報に基づき特定し、その特定された検索結果のデータをシーン記憶部２５から読み出し、その読み出したデータに基づき、表示装置１２を制御して、ユーザが指示した検索結果の表示を制御する。
【００４５】
このような構成を有する情報処理装置１１の動作について、図３と図４に示したフローチャートを参照してさらに説明を加える。
【００４６】
まず、図３に示したフローチャートを参照し、シーン記憶部２５にシーン情報５２が記憶されるまでの処理について説明する。ステップＳ１１において、コンテンツ取得部２１は、コンテンツデータ５１を取得する。コンテンツデータ５１は、接続されているユーザのパーソナルコンピュータなどのローカルな環境で保持されているコンテンツデータであったり、インターネットなどを介して取得されるコンテンツデータであったりする。また、インターネットなどを介して取得されるコンテンツデータは、コンテンツ共有システムなどで共有されているコンテンツデータであっても良い。
【００４７】
ステップＳ１２において、取得されたコンテンツデータ５１から、既に特徴量が抽出されているか否かが判断される。ステップＳ１２において、既に特徴量が抽出されていると判断された場合、ステップＳ１４に処理が進められ、まだ特徴量は抽出されていないと判断された場合、ステップＳ１３に処理が進められる。
【００４８】
ステップＳ１３において、特徴量抽出部２２は、取得されたコンテンツデータ５１から特徴量を抽出し、特徴量記憶部２３に記憶させる。抽出される特徴量は、上述したように、後段のシーン抽出部２４がシーンを抽出するときに用いる情報である。
【００４９】
ステップＳ１４において、取得されたコンテンツデータ５１に基づくコンテンツは、既にシーン抽出済であるか否かが判断される。ステップＳ１４における処理を換言するならば、取得されたコンテンツデータ５１から、既にシーン情報５２が生成されているか否かが判断される処理である。ステップＳ１４において、既にシーン抽出済であると判断された場合、シーン情報５２を記憶するための処理は終了され、まだシーン抽出済ではないと判断された場合、ステップＳ１５に処理が進められる。
【００５０】
ステップＳ１５において、シーン抽出部２４は、コンテンツデータ５１に基づくコンテンツから、特徴量記憶部２３に記憶されている特徴量を参照しながら、所定のシーンを抽出する。上述したように、シーン抽出部２４は、例えば、所定のシーンの特徴量を管理しており、その管理している特徴量と特徴量記憶部２３に記憶されている特徴量を比較しながら、所定のシーンを抽出する。
【００５１】
また、ユーザによりシーンが抽出されるようにしても良い。シーン抽出部２４が行う抽出は、上記したように、予め検索対象として設定されているシーンが抽出されるが、その他に、ユーザが自己の好みでシーンを抽出することができるようにしても良い。
【００５２】
シーン抽出部２４によりシーンが抽出された場合、シーン抽出部２４は、シーン情報５２を生成し、コンテンツデータ５１と関連付けてシーン記憶部２５に記憶させる。このような処理が行われることにより、図２に示したようなコンテンツデータ５１とシーン情報５２が関連付けられたデータベースが構築される。
【００５３】
次に、このようなデータベースが構築された後に行われるシーン抽出について、図４のフローチャートを参照して説明する。
【００５４】
ステップＳ３１において、検索方法指示部２６に、ユーザからの指示が供給される。上記したように、ユーザは、所望のシーンを検索したいとき、画像、映像、キーワード、特徴などを、検索したいシーンの情報として入力する。その入力された情報が、ステップＳ３１において取得される。
【００５５】
ステップＳ３２において、シーン検索部２７は、検索方法指示部２６が取得したユーザからの指示に合致するシーンを検索する。すなわち、シーン検索部２７は、検索方法指示部２６が取得したユーザからの指示を解析し、その解析結果と、一致（類似）するシーン情報５２が、シーン記憶部２４に記憶されているか否かを判断することにより、シーン検索を実行する。この検索は、シーン記憶部２５に記憶されているシーン情報５２の全て、または一部が対象とされる。シーン情報５２が多い場合、検索時間がかかるため、予め何らかの方式により分類されたシーン情報５２のみが、検索対象とされるようにしても良い。
【００５６】
シーン検索部２７は、所定の閾値が設定されており、ユーザからの指示と所定のシーンの適合度が、設定されている閾値以上であるとき、適合するシーンであるとして抽出するようにしても良い。
【００５７】
ステップＳ３３において、検索結果集約部２８は、シーン検索部２７で検索されたシーンを集約する。シーンを集約するのは、検索されたシーンを含むコンテンツをユーザ側に検索結果として提示するためである。複数のシーンが異なるコンテンツから検索された場合、複数のコンテンツがユーザ側に提示される。複数のコンテンツが提示される場合、複数のコンテンツをどのような順番で提示するかを決定する必要がある。ここで、その順番の決定の仕方について、図５を参照して説明する。
【００５８】
図５は、コンテンツに含まれるシーンの数や長さを例示した図である。図５において、コンテンツ１には、シーンＡ、シーンＢ、およびシーンＣが含まれている。コンテンツ２には、シーンＤ、シーンＥ、シーンＦ、およびシーンＧが含まれている。コンテンツ３には、シーンＨ、シーンＩ、シーンＪ、シーンＫ、シーンＬ、シーンＭ、およびシーンＮが含まれている。シーンＡ乃至シーンＮは、それぞれ、シーン検索部２７により検索結果として抽出されたシーンである。
【００５９】
図５において、図中横方向は、時間を示し、ここでは説明の都合上、コンテンツ１乃至３は、同じ長さのコンテンツであるとして図示してある。また、各シーンの図中横方向の長さは、シーンの長さを示している。
【００６０】
検索結果集約部２８は、例えば、シーンＡが検索結果として供給された場合、シーンＡを含むコンテンツ１を、検索結果の候補として設定する。このように、検索結果集約部２８は、供給されたシーンを含むコンテンツを検索結果の候補として設定する。また同様に、例えば、シーンＤが検索結果として供給された場合、シーンＤを含むコンテンツ２を、検索結果の候補として設定する。
【００６１】
また、検索結果集約部２８は、例えば、シーンＡとシーンＤが検索結果として供給された場合、シーンＡを含むコンテンツ１とシーンＤを含むコンテンツ２を、検索結果の候補として設定する。このように複数のコンテンツが検索結果の候補として設定された場合、どちらのコンテンツをユーザ側に優先的に提示するかを決定する必要がある。検索結果集約部２８は、所定のルールに基づき、提示するコンテンツの順番を設定する。
【００６２】
ルール１として、コンテンツに含まれるシーンの数により、順番が設定される。図５に示したような場合、コンテンツ１には、３つのシーンが含まれ、コンテンツ２には、４つのシーンが含まれ、コンテンツ３には、７つのシーンが含まれているので、ルール１に基づいて順番が設定される場合、コンテンツ３、コンテンツ２、コンテンツ１の順になる。そして、この順で、ユーザ側に提示される。
【００６３】
ルール２として、コンテンツに含まれる各シーンの長さが長い順に順番が設定される。図５に示したような場合、コンテンツ１に含まれるシーンＣが最も長いシーンであるので、コンテンツ１が、順位１とされる。次に長いシーンは、シーンＢであるが、シーンＢは、コンテンツ１に含まれ、コンテンツ１は、順位１と既に設定されているので除外される。このようにして、同じコンテンツが重複してユーザに提示されないよう処理される。このようなルール２により順位が設定された場合、コンテンツ１、コンテンツ２、コンテンツ３の順になる。そして、この順で、ユーザ側に提示される。
【００６４】
ルール３として、コンテンツに含まれる各シーンの合計時間が長い順に順番が設定される。図５に示したような場合、各シーンの合計時間を算出したとき、コンテンツ１、コンテンツ３、コンテンツ２の順に合計時間が長いという結果が得られると、コンテンツ１、コンテンツ３、コンテンツ２の順に順位が設定される。そして、この順で、ユーザ側に提示される。
【００６５】
ルール４として、コンテンツに含まれる各シーンの合計時間が、各コンテンツに占める割合を算出し、その割合が高い順に順番が設定される。図５に示した例では、コンテンツ１乃至３の長さは同一であるとして説明しているが、実際には異なる場合が多い。よって、ルール３のように、コンテンツに含まれる各シーンの合計時間から、提示する順番を設定しても良いが、さらに合計時間がコンテンツに占める割合を算出し、その値が高い順に順位を設定するようにしても良い。ルール４により順位が設定された場合、仮に、図５に示すように、コンテンツ１乃至３の長さが同一であったようなときには、コンテンツ１、コンテンツ３、コンテンツ２の順に順位が設定される。そして、この順で、ユーザ側に提示される。
【００６６】
ルール５として、シーン検索部２７で、シーンを検索するとき、適合度などの数値を算出しているような場合、その数値が用いられて順位が設定される。例えば、コンテンツに含まれる各シーンの適合度の合計値が高い順に、順位が設定されるようにしたり、適合度の高いシーンを含む順に、順位が設定されたりするようにしても良い。
【００６７】
ここでは、ルール１乃至５を例示したが、他のルールを設けても良い。また、検索結果集約部２８が順位を設定するとき、ルール１乃至５のうちのいずれか１つのルールに基づいて順位を設定しても良いし、複数のルールを組み合わせて順位を設定するようにしても良い。
【００６８】
図４に示したフローチャートの説明に戻り、ステップＳ３３において、検索結果が集約されると、ステップＳ３４において、検索結果表示制御部２９は、検索結果集約部２８からの情報に基づき、表示装置１２を制御し、検索結果をユーザ側に提示する。
【００６９】
このような処理が行われることで、ユーザに、ユーザが所望としたシーンを含むコンテンツが、ユーザにとって最も意味のある、まとまりのあるかたちで提示される。このような提示が行われることで、ユーザにシーン単位で検索が行われているにも関わらず、そのことを意識させることになく、検索結果を提示させることが可能となる。
【００７０】
シーン単位で検索することで、コンテンツそのものを検索の単位として検索するよりも、精度の高いコンテンツの検索サービスを提供できるようになるが、そのようなシーン単位で検索が行われていることをユーザに意識させずに、精度の高い検索サービスを提供することが可能となる。
【００７１】
ユーザは、表示装置１２に表示されている検索結果を参照し、所望のコンテンツを再生させることができるように構成されている。このような場合、ステップＳ３５において、再生が指示されたか否かが判断される。再生が指示された場合、再生指示部３１により、ユーザからの指示が入力されるため、そのような入力があったか否かが判断されることにより、ステップＳ３５の処理を実行することが可能である。
【００７２】
ステップＳ３５において、再生の指示はなかったと判断された場合、例えば、ユーザにより新たな検索が指示された場合や、終了が指示された場合など、図４に示したフローチャートの処理は終了される。
【００７３】
一方、ステップＳ３５において、再生が指示されたと判断された場合、ステップＳ３６に処理が進められ、コンテンツの再生が実行される。まず、ユーザにより選択され、再生が指示されたコンテンツが特定される。再生指示部３１は、ユーザからの再生の指示を受けた場合、再生表示制御部３０に再生が指示されたことを通知し、再生が指示されたコンテンツを特定するための情報、例えば、再生が指示されたコンテンツ名（情報）が表示されていた表示装置１２上の座標などの情報を供給する。
【００７４】
再生表示制御部３０は、再生の指示がされたことに関する通知を受けると、供給された情報を基に、再生が指示されたコンテンツを特定する。例えば、供給された座標に関する情報と、検索結果表示制御部２９からの情報を付き合わせることで、再生が指示されたコンテンツを特定する。
【００７５】
コンテンツが特定されると、再生表示制御部３０は、特定されたコンテンツのコンテンツデータ５１を、シーン記憶部２５から読み出す。なお、シーン記憶部２５にコンテンツデータ５１そのものが記憶されている場合には、そのコンテンツデータ５１が読み出されるが、コンテンツデータ５１が、例えば、アドレスなどの情報であった場合、そのアドレスに基づき、インターネットなどを介してコンテンツデータが取得される。
【００７６】
再生表示制御部３０は、取得したコンテンツデータ５１に基づいて、表示装置１２を制御し、ユーザが再生を所望したコンテンツを提供する。このようにして、ユーザが所望したコンテンツが提供される。
【００７７】
コンテンツが再生されるとき、そのコンテンツの最初から再生が開始されても良いし、例えば、ユーザの指示した位置から再生されるようにしても良い。また、検索された複数のシーンがダイジェストで再生されるなどの仕組みを設けても良い。
【００７８】
このように本発明によれば、シーン単位でコンテンツに付与された特徴量やアノテーションデータを用いて精度の高いシーン検索を行いつつ、その結果をユーザにとって最も意味的なまとまりのある映像コンテンツ単位で提示することが可能になる。結果として、ユーザにシーン単位で検索が行われていることを意識させない、精度の高い映像コンテンツ検索サービスを提供することが可能になる。
【００７９】
なお、上記した実施の形態においては、シーン記憶部２５にシーン情報５２が記憶された後、検索が行われるとして説明したが、検索が指示されたときに、コンテンツから特徴量が抽出され、シーンが抽出され、検索が行われるといった一例の処理が行われるようにしても良い。
【００８０】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８１】
図６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。
【００８２】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００８３】
バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０１０、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００８４】
以上のように構成されるコンピュータでは、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インターフェース１０５およびバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、上述した一連の処理が行われる。
【００８５】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００８６】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インターフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１０２や記憶部１０８に、予めインストールしておくことができる。
【００８７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００８８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明を適用した情報処理装置の一実施の形態の構成を示す図である。
【図２】シーン記憶部に記憶されているデータについて説明するための図である。
【図３】シーン情報の蓄積の処理について説明するためのフローチャートである。
【図４】シーン検索の処理について説明するためのフローチャートである。
【図５】検索結果の順位の設定の仕方について説明するための図である。
【図６】記録媒体について説明するための図である。
【符号の説明】
【００９１】
１１  情報処理装置，  １２  表示装置，  ２１  コンテンツ取得部，  ２２  特徴量抽出部，  ２３  特徴量記憶部，  ２４  シーン抽出部，  ２５  シーン記憶部，  ２６  検索方法指示部，  ２７  シーン検索部，  ２８  検索結果集約部，  ２９  検索結果表示制御部，  ３０  再生表示制御部，  ３１  再生指示部
【図１】
0005286732.tif 000002
【図２】
0005286732.tif 000003
【図３】
0005286732.tif 000004
【図４】
0005286732.tif 000005
【図５】
0005286732.tif 000006
【図６】
0005286732.tif 000007