(57)【要約】【課題】複数の映像間で区別の容易な代表画像を生成する情報処理装置を提供する。【解決手段】映像取得部１１Ａはデジタル映像データを取得して記憶媒体９０Ａに記録する。類似部分検出部１２は、取得した映像データにおける類似映像区間とそれ以外を区別する類似映像区間情報を生成する。見出し制御情報生成部３１は、類似する部分から選択した代表画像の情報と、それ以外から選択した代表画像の情報と、見出し選択情報とを生成する。一覧表示制御部４１は一覧表示対象とする映像データのセットを記憶媒体９０Ａから選択する。一覧条件判定部４２は、選択された映像データのセットについて相互の類似関係を判定し、各映像データについて２つの代表画像の情報のいずれかを選択する。見出し生成部５２は、選択された代表画像の情報を見出し制御情報生成部３１から取得し、表示するための代表静止画データを作成する。【選択図】      図１
2007274233.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像データを扱う映像情報処理装置において、
前記複数の映像データを取得する映像取得手段と、
前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出手段と、
前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成手段と、
前記複数の映像データの中から一覧表示対象を選択する一覧表示制御手段と、
前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定手段と、
前記一覧条件判定手段による判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成手段とを備え、
前記見出し制御情報生成手段において生成される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含み、
前記見出し生成手段において生成される前記見出し情報は、前記一覧条件判定手段による判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成されることを特徴とする映像情報処理装置。
【請求項２】
前記見出し制御情報生成手段において生成される前記見出し制御情報は、前記選択された一覧表示対象の映像データを一覧表示する際に前記２つの見出し生成情報のいずれを使用して見出し情報を生成するかを、他の映像データと複数組み合わせて判定するための見出し選択情報をさらに含み、
前記一覧条件判定手段は、前記選択された一覧表示対象の映像データの各々についての見出し選択情報相互の関係に基づいて映像データ相互の類似関係を判定することを特徴とする請求項１に記載の映像情報処理装置。
【請求項３】
前記各映像データにおける類似部分検出結果に基づいて、映像データを分割する分割情報生成手段をさらに備え、
前記見出し制御情報生成手段は、前記分割された映像データの各々について見出し制御情報を生成し、
前記一覧表示制御手段は、前記分割された複数の映像データの中から一覧表示対象を選択することを特徴とする請求項１または請求項２に記載の映像情報処理装置。
【請求項４】
複数の映像データを扱う映像情報処理装置において、
前記複数の映像データを取得する映像取得手段と、
前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出手段と、
前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成手段と、
前記生成された見出し制御情報を記録媒体に記録する見出し制御情報記録手段とを備え、
前記見出し制御情報生成手段において生成され、前記見出し制御情報記録手段において記録される見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含むことを特徴とする映像情報処理装置。
【請求項５】
前記見出し制御情報生成手段において生成され、前記見出し制御情報記録手段において記録される見出し制御情報は、一覧表示対象の映像データを一覧表示する際に前記２つの見出し生成情報のいずれを使用して見出し情報を生成するかを、他の映像データと複数組み合わせて判定するための見出し選択情報をさらに含むことを特徴とする請求項４に記載の映像情報処理装置。
【請求項６】
前記各映像データにおける類似部分検出結果に基づいて、前記各映像データを分割する分割情報生成手段と、
前記生成された分割情報を記録媒体に記録する分割情報記録手段とをさらに備え、
前記見出し制御情報生成手段において生成され、前記見出し制御情報記録手段において記録される見出し制御情報は、前記分割された映像データの各々について、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含むことを特徴とする請求項４または請求項５に記載の映像情報処理装置。
【請求項７】
複数の映像データを扱う映像情報処理装置において、
前記複数の映像データの中から一覧表示対象を選択する一覧表示制御手段と、
前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定手段と、
見出し情報を生成するための見出し制御情報を記録媒体から読み出す見出し生成情報読み出し手段と、
前記一覧条件判定手段による判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成手段とを備え、
前記見出し制御情報読み出し手段において読み出される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報との少なくとも一方を含み、
前記見出し生成手段において生成される前記見出し情報は、前記一覧条件判定手段による判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成されることを特徴とする映像情報処理装置。
【請求項８】
類似部分検出結果に基づいて、前記選択された一覧表示対象の映像データを一覧表示する際に前記２つの見出し生成情報のいずれを使用して見出し情報を生成するかを、他の映像データと複数組み合わせて判定するための見出し選択情報を記録媒体から読み出す見出し選択情報読み出し手段をさらに備え、
前記一覧条件判定手段は、前記選択された一覧表示対象の映像データの各々についての見出し選択情報相互の関係に基づいて映像データ相互の類似関係を判定することを特徴とする請求項７に記載の映像情報処理装置。
【請求項９】
前記第１の見出し生成情報は、前記他の映像データと類似する部分から選択した代表画像の情報を含み、
前記第２の見出し生成情報は、前記類似する部分以外から選択した代表画像の情報を含むことを特徴とする請求項１から請求項８までのいずれか一つに記載の映像情報処理装置。
【請求項１０】
前記第１の見出し生成情報は、前記他の映像データと類似する部分を表す類似区間情報と、類似区間を含む映像データを含み、
前記第２の見出し生成情報は、前記類似する部分以外を表す非類似区間情報と、非類似区間を含む映像データを含むことを特徴とする請求項１から請求項８までのいずれか一つに記載の映像情報処理装置。
【請求項１１】
前記第１の見出し生成情報は、前記他の映像データと類似する部分である類似区間を含む映像データを含み、
前記第２の見出し生成情報は、前記類似する部分以外である非類似区間を含む映像データを含み、
さらに、両者に共通な情報として、類似区間情報を含むことを特徴とする請求項１ないし請求項８のいずれか一つに記載の映像情報処理装置。
【請求項１２】
前記代表画像の情報は代表静止画データであり、
前記見出し生成手段は、代表静止画データを含む表示用代表静止画像を生成することを特徴とする請求項９に記載の映像情報処理装置。
【請求項１３】
前記代表画像の情報は、前記各映像データ中のフレーム位置情報と、対応するフレーム位置を含む映像データであり、
前記見出し生成手段は、前記各映像データから前記フレーム位置の代表静止画データを抽出し、前記代表静止画データを含む表示用代表静止画像を生成することを特徴とする請求項９に記載の映像情報処理装置。
【請求項１４】
前記代表画像の情報は代表動画データであり、
前記見出し生成手段は、前記代表動画データを含む表示用代表動画像を生成することを特徴とする請求項９に記載の映像情報処理装置。
【請求項１５】
前記代表画像の情報は、前記各映像データ中のフレーム区間情報と、対応するフレーム区間を含む映像データであり、
前記見出し生成手段は、前記各映像データから前記フレーム区間の代表動画データを抽出し、前記代表動画データを含む表示用代表動画像を生成することを特徴とする請求項９に記載の映像情報処理装置。
【請求項１６】
前記第１の見出し生成情報における前記類似区間情報は、前記類似する部分の終了する箇所を表す類似フレーム位置情報であり、
前記類似区間を含む映像データは、前記各映像データの開始から類似フレームまでを類似区間として抽出した映像データであり、
前記第２の見出し生成情報における前記非類似区間情報は、類似していない部分の開始する箇所を表す非類似フレーム位置情報であり、
前記非類似区間を含む映像データは、非類似フレームから前記各映像データの終了までを前記非類似区間として抽出した映像データであることを特徴とする請求項１０に記載の映像情報処理装置。
【請求項１７】
前記第１の見出し生成情報における前記類似区間情報は、類似する１以上の部分のそれぞれ開始する箇所と終了する箇所を表すフレーム区間情報であり、
前記類似区間を含む映像データは、前記類似区間のいずれか少なくとも１つから抽出した映像データであり、
前記第２の見出し生成情報における前記非類似区間情報は、類似していない１以上の部分のそれぞれ開始する箇所と終了する箇所を表すフレーム区間情報であり、
前記非類似区間を含む映像データは、前記非類似区間のいずれか少なくとも１つから抽出した映像データであることを特徴とする請求項１０に記載の映像情報処理装置。
【請求項１８】
前記類似区間情報は、前記類似する部分の終了する箇所を表す境界フレーム位置情報であり、
前記類似区間を含む映像データは、前記各映像データの開始から境界フレームまでを類似区間として抽出した映像データであり、
前記非類似区間を含む映像データは、前記境界フレームから前記各映像データの終了までを非類似区間として抽出した映像データであることを特徴とする請求項１１に記載の映像情報処理装置。
【請求項１９】
前記類似区間情報は、類似する１以上の部分のそれぞれ開始する箇所と終了する箇所を表すフレーム区間情報であり、
前記類似区間を含む映像データは、区間の開始フレームから終了フレームまでを類似区間として、前記類似区間のいずれか少なくとも１つから抽出した映像データであり、
前記非類似区間を含む映像データは、前記各映像データの開始から前記区間の開始フレームまでと、前記区間の終了フレームから他の区間の開始フレームまでと、前記区間の終了フレームから映像データの終了までを非類似区間として、前記非類似区間のいずれか少なくとも１つから抽出した映像データであることを特徴とする請求項１１に記載の映像情報処理装置。
【請求項２０】
前記見出し選択情報は、前記類似する部分を識別する見出し識別情報であり、
前記一覧条件判定手段は、前記選択された一覧表示対象の映像データの各々における見出し識別情報を読み出して相互の一致を判定し、
前記見出し生成手段は、一致するものがない場合には、前記第１の見出し生成情報を使用して見出し情報を生成し、一致するものがある場合には、前記第２の見出し生成情報を使用して見出し情報を生成することを特徴とする請求項２または請求項８に記載の映像情報処理装置。
【請求項２１】
前記見出し識別情報は、前記第１の見出し生成情報の元となる部分が、他の映像データにおける前記第１の見出し生成情報の元となる部分と類似している場合に、相互に識別できるように構成された唯一の識別子を含むことを特徴とする請求項２０に記載の映像情報処理装置。
【請求項２２】
前記見出し選択情報は、前記類似する部分を識別する見出し識別情報であり、
前記類似部分検出手段は、照合キーとして予め与えられた映像データと類似する区間を、処理対象の映像データから抽出し、
前記見出し識別情報は、類似区間があるときには前記照合キーを相互に識別するキー識別子を含むことを特徴とする請求項２または請求項５に記載の映像情報処理装置。
【請求項２３】
前記見出し選択情報は前記第１の見出し生成情報であり、
前記一覧条件判定手段は、前記選択された一覧表示対象の映像データの各々における前記第１の見出し生成情報を読み出して相互の類似性を判定し、
前記見出し生成手段は、類似性が高いものがない場合には、前記第１の見出し生成情報を使用して見出し情報を生成し、類似性が高いものがある場合には、前記第２の見出し生成情報を使用して見出し情報を生成することを特徴とする請求項２または請求項８に記載の映像情報処理装置。
【請求項２４】
前記見出し生成手段において生成された前記見出し情報を使用して一覧表示の画面情報を生成する表示画面制御手段をさらに備えたことを特徴とする請求項１ないし請求項３、請求項７、請求項８のいずれかに記載の映像情報処理装置。
【請求項２５】
前記見出し生成手段において生成された見出し情報を記録媒体に記録する見出し情報記録手段をさらに備えたことを特徴とする請求項１ないし請求項３、請求項７、請求項８のいずれかに記載の映像情報処理装置。
【請求項２６】
前記見出し生成手段において生成された見出し情報を通信により送出する見出し情報送信手段をさらに備えたことを特徴とする請求項１ないし請求項３、請求項７、請求項８のいずれかに記載の映像情報処理装置。
【請求項２７】
前記映像データは、少なくとも、１続きの映像プログラム、プログラム内を分割したセグメント、これらを任意に配列して再生させるプレイリストのいずれかの単位で定義されることを特徴とする請求項１ないし請求項８のいずれかに記載の映像情報処理装置。
【請求項２８】
前記映像データは、複数のプログラムおよびプレイリストをグループ化して管理するフォルダで定義されることを特徴とする請求項１ないし請求項８のいずれかに記載の映像情報処理装置。
【請求項２９】
一覧表示制御は、
記録されているプログラムおよびプレイリストならびにフォルダの一覧、
利用者によって選択されたプログラムまたはプレイリストに含まれるセグメントの一覧、
利用者によって選択されたフォルダに管理されているプログラムおよびプレイリストならびにフォルダの一覧、
予め設定された条件または利用者によって指定された条件によって検索されたプログラム、セグメントおよびプレイリストならびにフォルダの少なくとも１つを含む複数の映像データの中から、それらの全てまたは一覧表示のために選択されたその一部を一覧表示対象とすることを特徴とする請求項１ないし請求項３、請求項７、請求項８のいずれかに記載の映像情報処理装置。
【請求項３０】
複数の映像データおよびその制御情報を記録したデジタル情報記録媒体において、
前記制御情報は、映像データを一覧表示する際に前記複数の映像データの各々の見出し情報を生成するための見出し制御情報を含み、
前記複数の映像データの各々における前記見出し制御情報は、前記各映像データにおける前記他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報と、前記映像データを一覧表示する際に前記２つの見出し生成情報のいずれを使用して見出し情報を生成するかを、他の映像データと複数組み合わせて判定するための見出し選択情報とを含むことを特徴とするデジタル情報記録媒体。
【請求項３１】
前記第１の見出し生成情報は、前記他の映像データと類似する部分から選択した代表画像の情報を含み、
前記第２の見出し生成情報は、前記類似する部分以外から選択した代表画像の情報を含むことを特徴とする請求項３０に記載のデジタル情報記録媒体。
【請求項３２】
前記第１の見出し生成情報は、前記他の映像データと類似する部分を表す類似区間情報と、前記類似区間を含む映像データを含み、
前記第２の見出し生成情報は、前記類似する部分以外を表す非類似区間情報と、前記非類似区間を含む映像データを含むことを特徴とする請求項３０に記載のデジタル情報記録媒体。
【請求項３３】
前記第１の見出し生成情報は、前記他の映像データと類似する部分である類似区間を含む映像データを含み、
前記第２の見出し生成情報は、前記類似する部分以外である非類似区間を含む映像データを含み、
さらに、両者に共通な情報として、類似区間情報を含むことを特徴とする請求項３０に記載のデジタル情報記録媒体。
【請求項３４】
前記見出し選択情報は前記類似する部分を識別する見出し識別情報であり、
前記見出し識別情報は、前記第１の見出し生成情報の元となる部分が、他の映像データにおける前記第１の見出し生成情報の元となる部分と類似している場合に、相互に識別できるように構成された唯一の識別子を含むことを特徴とする請求項３０に記載のデジタル情報記録媒体。
【請求項３５】
複数の映像データを扱う映像情報処理方法において、
前記複数の映像データを取得する映像取得ステップと、
前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出ステップと、
前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成ステップと、
前記複数の映像データの中から一覧表示対象を選択する一覧表示制御ステップと、
前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定ステップと、
前記一覧条件判定ステップによる判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成ステップとを含み、
前記見出し制御情報生成ステップにおいて生成される前記見出し制御情報は、前記他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含み、
前記見出し生成ステップにおいて生成される前記見出し情報は、前記一覧条件判定ステップによる判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成されることを特徴とする映像情報処理方法。
【請求項３６】
複数の映像データを扱う映像情報処理方法において、
前記複数の映像データを取得する映像取得ステップと、
前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出ステップと、
前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成ステップと、
前記生成された見出し制御情報を記録媒体に記録する見出し制御情報記録ステップとを含み、
前記見出し制御情報生成ステップにおいて生成され、前記見出し制御情報記録ステップにおいて記録される見出し制御情報は、前記他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含むことを特徴とする映像情報処理方法。
【請求項３７】
複数の映像データを扱う映像情報処理方法において、
前記複数の映像データの中から一覧表示対象を選択する一覧表示制御ステップと、
前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定ステップと、
見出し情報を生成するための見出し制御情報を記録媒体から読み出す見出し生成情報読み出しステップと、
前記一覧条件判定ステップによる判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成ステップとを含み、
前記見出し制御情報読み出しステップにおいて読み出される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報との少なくとも一方を含み、
前記見出し生成ステップにおいて生成される前記見出し情報は、前記一覧条件判定ステップによる判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成されることを特徴とする映像情報処理方法。
【請求項３８】
複数の映像データを扱う映像情報処理をコンピュータに行わせるための映像情報処理プログラムにおいて、
前記複数の映像データを取得する映像取得ステップと、
前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出ステップと、
前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成ステップと、
前記複数の映像データの中から一覧表示対象を選択する一覧表示制御ステップと、
前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定ステップと、
前記一覧条件判定ステップによる判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成ステップとを実行させ、
前記見出し制御情報生成ステップにおいて生成される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含み、
前記見出し生成ステップにおいて生成される前記見出し情報は、前記一覧条件判定ステップによる判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成されることを特徴とする映像情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタル映像の記録、再生にかかる処理を行う情報処理装置およびデジタル映像の情報を記録する記録媒体に関する。
【背景技術】
【０００２】
近年、音声や映像を記録する機器の主流は、従来のアナログ方式の磁気テープから、デジタル方式の磁気ディスクや半導体メモリ等に移っている。特に大容量のハードディスクを使用した映像記録再生機器では、記録可能な容量が飛躍的に拡大している。このような機器を使用すれば、放送や通信によって提供される多数の番組の映像を保存しておき、ユーザが自在に選択して視聴できる。
【０００３】
ここで、保存されている映像の管理においては、番組等の単位であるタイトル（プログラム）でファイル化した上で、名称その他の情報を付与しておき、一覧の際にタイトルの代表画像（サムネイル）と名称等を並べて表示することができる。また、一番組（タイトル）の中をチャプタ（セグメント）と呼ばれる単位に分割し、チャプタ単位で再生や編集を行うこともできる。チャプタ名を付与したり、チャプタの代表画像（サムネイル）を表示したりして、チャプタ一覧から好みの場面を含むチャプタを選択して再生したり、選択したチャプタを並べてプレイリスト等を作成したりすることができる。これらの管理方法を規定するものとして、ＤＶＤ（Digital Versatile Disc）のＶＲ（Video Recording）モードがある。また、特許文献１では、メニューのための代表縮小画像の管理方法が提案されている。
【０００４】
また、映像の管理に関する通信プロトコルとして、ＵＰｎＰ（Universal Plug and Play）のContent Directoryの仕様があり、これを含む機器の相互接続の仕様としてＤＬＮＡ（Digital Living Network Alliance）ガイドラインがある。
【０００５】
さらに、番組（タイトル）数が多い場合には、番組ジャンル等の条件で絞り込んで一覧表示したり、番組名等の順に並べ替えて表示したりすることができる。また、番組（タイトル）をフォルダに分類して管理しておき、フォルダ内の番組（タイトル）を一覧表示したりすることもできる。例えば、連続ドラマ番組を毎回（毎週）自動録画し、そのドラマだけを特定のフォルダに入れることもできる。
【０００６】
これらタイトル（プログラム）やチャプタ（セグメント）の一覧表示の際に使用する代表画像（サムネイル）は、先頭フレームまたは先頭から一定時間のフレーム画像を採用するのが一般的であるが、対象となる映像の内容に基づいて、単一のアルゴリズムにより生成するものが種々提案されている。特許文献２においては、複数の選択基準を並立させたサムネイル生成と管理方法も提案されている。
【０００７】
一方、チャプタ（セグメント）分割については、無音部分、映像の切り替わり（カット）、音声多重モード（モノラル、ステレオ、二か国語）の切り替わり等の検出によるものが一般的である。
【０００８】
これに対し、映像の類似性に基づくセグメント分割として、特許文献３において、繰り返し登場する類似ショットを用いた映像のセグメント分割方法が開示されている。
【特許文献１】特開平１１−２１５４６６号公報
【特許文献２】特開２００３−１９６２９７号公報
【特許文献３】特開２００５−１３０４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
映像内の類似性を使用して、タイトルのグループを作成したり、チャプタ分割を行ったり、プレイリスト（ユーザープログラム）を作成したりする場合、対象映像間の類似性により、従来法では代表画像も類似したものになりやすいという問題がある。
【００１０】
本発明は、この様な実状を考慮して成されたものであり、その目的は、類似する複数の対象映像に対して区別の容易な代表画像を生成する情報処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、ある側面によると、複数の映像データを扱う映像情報処理装置を含んでいる。
【００１２】
本発明による情報処理装置は、複数の映像データを取得する映像取得手段と、前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出手段と、前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成手段と、複数の映像データの中から一覧表示対象を選択する一覧表示制御手段と、前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定手段と、前記一覧条件判定手段による判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成手段とを備え、前記見出し制御情報生成手段において生成される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含み、前記見出し生成手段において生成される前記見出し情報は、前記一覧条件判定手段による判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成される。
【００１３】
本発明による別の情報処理装置は、複数の映像データを取得する映像取得手段と、前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出手段と、前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成手段と、前記生成された見出し制御情報を記録媒体に記録する見出し制御情報記録手段とを備え、前記見出し制御情報生成手段において生成され、前記見出し制御情報記録手段において記録される見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含む。
【００１４】
本発明によるまた別の情報処理装置は、複数の映像データの中から一覧表示対象を選択する一覧表示制御手段と、前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定手段と、見出し情報を生成するための見出し制御情報を記録媒体から読み出す見出し生成情報読み出し手段と、前記一覧条件判定手段による判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成手段とを備え、見出し制御情報読み出し手段において読み出される見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報との少なくとも一方を含み、前記見出し生成手段において生成される前記見出し情報は、前記一覧条件判定手段による判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成される。
【００１５】
本発明は、別の側面によると、複数の映像データおよびその制御情報を記録した記録媒体を含んでいる。
【００１６】
本発明による記録媒体は、制御情報は、映像データを一覧表示する際に各々の映像データの見出し情報を生成するための見出し制御情報を含み、各々の映像データにおける見出し制御情報は、映像データにおける他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報と、映像データを一覧表示する際に前記２つの見出し生成情報のいずれを使用して見出し情報を生成するかを、他の映像データと複数組み合わせて判定するための見出し選択情報とを含む。
【００１７】
本発明は、また別の側面によると、複数の映像データを扱う映像情報処理方法を含んでいる。
【００１８】
本発明による情報処理方法は、複数の映像データを取得する映像取得ステップと、前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出ステップと、前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成ステップと、複数の映像データの中から一覧表示対象を選択する一覧表示制御ステップと、前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定ステップと、前記一覧条件判定ステップによる判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成ステップとを含み、前記見出し制御情報生成ステップにおいて生成される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含み、前記見出し生成ステップにおいて生成される前記見出し情報は、前記一覧条件判定ステップによる判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成される。
【００１９】
本発明による別の情報処理方法は、複数の映像データを取得する映像取得ステップと、前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出ステップと、前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成ステップと、前記生成された見出し制御情報を記録媒体に記録する見出し制御情報記録ステップとを含み、前記見出し制御情報生成ステップにおいて生成され、見出し制御情報記録ステップにおいて記録される見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含む。
【００２０】
本発明によるまた別の情報処理方法は、複数の映像データの中から一覧表示対象を選択する一覧表示制御ステップと、前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定ステップと、見出し情報を生成するための見出し制御情報を記録媒体から読み出す見出し生成情報読み出しステップと、前記一覧条件判定ステップによる判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成ステップとを含み、見出し制御情報読み出しステップにおいて読み出される見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報との少なくとも一方を含み、前記見出し生成ステップにおいて生成される前記見出し情報は、前記一覧条件判定ステップによる判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成される。
【００２１】
本発明は、またさらに別の側面によると、複数の映像データを扱う映像情報処理をコンピュータに行わせるための映像情報処理プログラムを含んでいる。
【００２２】
本発明による映像情報処理プログラムは、複数の映像データを取得する映像取得ステップと、前記複数の映像データの各々について、前記各映像データ内の他の部分または前記複数の映像データのうちの他の映像データとの類似部分を検出する類似部分検出ステップと、前記各映像データにおける類似部分検出結果に基づいて、映像データを一覧表示する際に見出し情報を生成するための見出し制御情報を生成する見出し制御情報生成ステップと、複数の映像データの中から一覧表示対象を選択する一覧表示制御ステップと、前記選択された一覧表示対象の映像データ相互の類似関係を判定する一覧条件判定ステップと、前記一覧条件判定ステップによる判定結果および前記見出し制御情報を使用して見出し情報を生成する見出し生成ステップとを実行させ、前記見出し制御情報生成ステップにおいて生成される前記見出し制御情報は、他の映像データと類似する部分から見出しを生成するための第１の見出し生成情報と、前記類似する部分以外から見出しを生成するための第２の見出し生成情報とを含み、前記見出し生成ステップにおいて生成される前記見出し情報は、前記一覧条件判定ステップによる判定結果に応じて、前記２つの見出し生成情報のいずれかを使用して生成される。
【発明の効果】
【００２３】
本発明によれば、類似する複数の対象映像に対して区別の容易な代表画像を生成する情報処理装置が提供される。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照しながら本発明の実施形態について説明する。
【００２５】
［第１の実施の形態］
図１は、この発明の第１の実施の形態に係わる映像情報処理装置の構成を示している。
【００２６】
この実施の形態の映像情報処理装置は、録画再生機器であり、情報生成に係わる構成要素として、映像取得部１１Ａ、類似部分検出部１２および見出し制御情報生成部３１を備え、表示処理に係わる構成要素として、一覧表示制御部４１、一覧条件判定部４２、見出し生成部５２および記憶媒体９０Ａを備えている。
【００２７】
（１）情報生成に係わる構成要素
まず、情報生成に係わる構成要素について説明する。
【００２８】
映像取得部１１Ａは、外部のデジタル放送等の受信チューナー、その他のデジタル映像機器から入力されるデジタル映像データを取得する。また、映像取得部１１Ａは、外部の放送受信チューナー、その他のアナログ映像機器から入力されるアナログ映像信号を取得し、デジタル映像データに変換することもできる。さらに、映像取得部１１Ａは、取得したデジタル映像データを記憶媒体９０Ａに記録する。
【００２９】
類似部分検出部１２は、取得された映像データにおける類似部分を検出し、類似映像区間とそれ以外を区別する類似映像区間情報を生成する。
【００３０】
見出し制御情報生成部３１は、類似映像区間情報を参照して、映像データの単位ごとに、第１の見出し生成情報として、類似する部分から選択した代表画像の情報を生成し、第２の見出し生成情報として、類似する部分以外から選択した代表画像の情報を生成する。見出し制御情報生成部３１は、さらに、代表画像情報生成の際に用いた類似映像区間情報における類似部分識別情報を用いて、見出し選択情報を生成する。
【００３１】
代表画像の情報は、表示用代表静止画像や表示用代表動画像を生成するための情報である。例えば、代表静止画データや、代表動画データであってもよい。また、映像データから代表画像を生成させるために、映像データと対応付けて、代表静止画像を抽出すべきフレーム位置情報や代表動画像を抽出すべきフレーム区間情報であってもよく、これらを併用しても構わない。
【００３２】
図２は、見出し制御情報生成部３１の処理における類似区間と非類似区間の例を模式的に示している。
【００３３】
「類似パターン」とは代表画像の類似ではなく、画像の切り替わり（カット）で区切られた区間（ショット）またはその連続等の時間範囲があるものの類似を判定するのがよい。ショットを類似パターンに分類してアルファベットを付与して表すとして、例えば、図２に示すように、ＡＢＣＤＥＤＥＦ（映像データ８１）とＡＢＣＧＨＪＧ（映像データ８２）のように並んでいる場合、ＡＢＣが類似区間１で、その中の例えばＢ（ＡやＣでも代替可）に含まれる画像が、類似区間１に対応する第１の見出し生成情報（Ｘ１）として選択され、映像データ８１においては非類似区間ＤＥＤＥＦから例えばＤ（Ｆでも代替可）に含まれる画像が、映像データ８２においては非類似区間ＧＨＪＧから例えばＧ（Ｈでも代替可）に含まれる画像が、それぞれ類似区間１に対応する第２の見出し生成情報（Ｙ１）として選択される。見出し選択情報は、類似部分識別子として類似区間１を表す（例えば“１”、“ＡＢＣ”等）。
【００３４】
図３は、見出し制御情報生成部３１の処理における類似区間と非類似区間の別の例を模式的に示している。
【００３５】
また、図３に示すように、ＡＫ…のように並んだ別の映像データ８３との組み合わせで、類似区間１の一部であるＡがさらに類似区間２となった場合、Ａに含まれる画像が、類似区間２に対応する第１の見出し生成情報（Ｘ２）として選択され、非類似区間ＢＣＤＥＤＥＦ（映像データ８１）、ＢＣＧＨＪＧ（映像データ８２）、Ｋ…（映像データ８３）から、例えばそれぞれＢ、Ｂ、Ｋに含まれる画像が、類似区間２に対応する第２の見出し生成情報（Ｙ２）として選択される。
【００３６】
このような類似区間の包含関係がある場合、映像データ８１においては、見出し選択情報の表現や配列の順番等により類似区間１は類似区間２より優先されるよう規定した上で、Ｘ１、Ｙ１、Ｘ２、Ｙ２の各見出し生成情報を保持するのがよい。
【００３７】
また、包含関係にある類似区間１を考慮した上で、類似区間Ａに含まれる画像をＸ２、非類似区間ＤＥＤＥＦ（映像データ８１）、ＧＨＪＧ（映像データ８２）、Ｋ…（映像データ８３）から、例えばそれぞれＤ、Ｇ、Ｋに含まれる画像をＹ２としてもよい。その場合は、Ｙ１とＹ２が同等になるため、Ｙ１を省略してもよい。さらに、Ｘ１を省略してＸ２で代用させるようにしてもよい。
【００３８】
次に、類似部分検出部１２の詳細について説明する。
【００３９】
類似部分検出部１２は、単一の入力映像を分析し、画像の切り替わり（カット）を検出し、カットで区切られた区間（ショット）を画像の情報により類似パターンに分類し、ＩＤを付与する。具体的には、カット近傍の静止画像を抽出し、分析して特徴量に変換し、相互の類似性を判定するか、クラスタリング等により類似するグループに分類してもよい。特徴量は、ＭＰＥＧ等の符号化が行われている場合には、例えばＩピクチャの画像情報の中から、Ｙ、Ｃｂ、ＣｒのＤＣ成分だけを使用する等の方法によってもよい。
【００４０】
さらに類似区間（ショット）が複数連続している場合は、それらをまとめた上で、構成する個別の類似区間ＩＤに加えて、新たな類似区間ＩＤを付与してもよい。
【００４１】
なお、類似部分検出部１２の別の例としては、予め用意されたキーとなる特徴量と、入力映像を分析して抽出した特徴量との間で類似部分を検出するようにしてもよい。特徴量は、１フレームの静止画像から抽出されるものを使ってもよく、複数フレームの動画像から抽出されるものを使ってもよい。所定時間幅の音声から抽出されるものを使ってもよく、それらを時間経過に従って配列した時系列データを使ってもよい。
【００４２】
このように、類似部分検出部１２は、さまざまな実施方法が想定される。
【００４３】
次に、見出し制御情報生成部３１の詳細について説明する。
【００４４】
図４は、見出し制御情報生成部３１において生成される見出し制御情報の例を模式的に示している。
【００４５】
この図では、プログラム１「ＴＶＸ ＮＥＷＳ ０７／２１」とプログラム２「ＴＶＸ ＮＥＷＳ ０７／２２」の２つのニュース番組があり、それぞれ複数のセグメントに分割されている。それぞれのセグメントに対応して、代表画像とその識別名が生成されている。
【００４６】
プログラム１は、６つのセグメントに分割されている。
【００４７】
セグメント１−１は冒頭のヘッドライン等の部分で、オープニングタイトル画面部分から代表画像１−Ｘ１が、それ以外の部分から代表画像１−Ｙ１が選択されている。ここで、タイトル画面部分は、以前の放送との間での類似が検出されているもので、類似パターンＩＤ＝１として管理されている。なお、代表画像の識別子Ｘ１、Ｙ１の数字１は類似パターンＩＤに対応している。
【００４８】
セグメント１−２は挨拶部分で、類似性が検出されていないか、類似部分とそれ以外が明確に区別できない等により、通常の方法によって代表画像２−Ｚだけが選択されている。
【００４９】
セグメント１−３は１つ目のニューストピックの部分で、キャスター部分から代表画像３−Ｘ２が、それ以外の部分から代表画像３−Ｙ２が選択されている。ここで、キャスター部分は、この後のセグメント１−４、１−５との間で類似が検出されるか、以前の放送との間での類似が検出されていて、類似パターンＩＤ＝２として管理されている。
【００５０】
セグメント１−４、セグメント１−５は、それぞれ２つ目、３つ目のニューストピックの部分で、同様にキャスター部分（類似パターンＩＤ＝２）から代表画像４−Ｘ２、５−Ｘ２が、それ以外の部分から代表画像４−Ｙ２、５−Ｙ２がそれぞれ選択されている。
【００５１】
セグメント１−６はスポーツコーナーの部分で、コーナータイトル画面部分から代表画像６−Ｘ３が、それ以外の部分から代表画像６−Ｙ３が選択されている。ここで、コーナータイトル画面部分は、以前の放送との間で類似が検出されていて、類似パターンＩＤ＝３として管理されている。
【００５２】
プログラム２もプログラム１と同様に複数のセグメントに分割されているが、図４には２つのセグメントだけが示されている。
【００５３】
セグメント２−１は冒頭のヘッドライン等の部分で、オープニングタイトル画面部分（類似パターンＩＤ＝１）から代表画像７−Ｘ１が、それ以外の部分から代表画像７−Ｙ１が選択されている。
【００５４】
セグメント２−８はスポーツコーナーの部分で、コーナータイトル画面部分（類似パターンＩＤ＝３）から代表画像８−Ｘ３が、それ以外の部分から代表画像８−Ｙ３が選択されている。
【００５５】
このように、各セグメントに対応して、基本的には２つの代表画像ＸとＹが選択されている。Ｘ１、Ｘ２、Ｘ３の代表画像はそれぞれ類似パターン１、２、３の区間から生成されている。同一類似パターンに対応した代表画像Ｘは、所定の代表画像選択アルゴリズムにより生成された結果として、互いに類似したものになることがある。この説明の図の中では、理解を容易にするために代表画像Ｘ同士を類似性の高いものとして描いているが、本発明においては代表画像同士の類似性により選択されたものではないため、例えばオープニングタイトル画面の１枚目と２枚目など、類似パターン映像内の異なる箇所（ショット）から選択されることも考えられ、必ずしも類似したものであるとは限らない。
【００５６】
一方、Ｙ１、Ｙ２、Ｙ３も類似パターン１、２、３の区間以外から生成されている意味であるが、通常は同一類似パターンに対応した代表画像Ｙ相互についての類似性はない。
【００５７】
このように、見出し制御情報生成部で生成される見出し制御情報は、第１、第２の見出し生成情報として２つの代表画像の情報と、見出し選択情報として類似パターンＩＤとを含む。
【００５８】
なお、見出し生成情報は、同様の代表画像生成を可能にするための情報であればよく、例えば映像データ中の類似区間と非類似区間を区別する情報とそれに対応する映像データ（通常は別途保持されるため重複して準備する必要はない）であってもよい。
【００５９】
類似区間と非類似区間の情報をそれぞれ持たせる場合は、例えば、類似部分の終了フレームによって映像データの開始から当該フレームまでを類似区間として表し、非類似部分の開始フレームによって当該フレームから映像の終了までを非類似区間として表してよい。また、類似区間と非類似区間が複数の区間からなる場合には、それぞれを複数の開始・終了フレームによって表してよい。
【００６０】
また、類似区間以外を非類似区間とみなす場合は、類似区間の情報だけを持たせればよく、例えば、類似部分が終了し非類似部分が開始する箇所である境界フレームによって、映像データの開始から当該フレームまでを類似区間、当該フレームから映像データの終了までを非類似区間として、それぞれ表してよい。また、類似区間が複数の区間からなる場合には、複数の開始・終了フレームによって表してよく、非類似区間はそれ以外の部分（映像の開始から最初の類似区間の開始フレームまでと、各類似区間の終了から開始フレームまでと、最後の類似区間の終了フレームから映像の終了まで）としてよい。
【００６１】
記憶媒体９０Ａは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【００６２】
（２）表示処理に係わる構成要素
次に、表示処理に係わる構成要素について説明する。
【００６３】
一覧表示制御部４１は、ユーザからの操作を受け入れ、記憶媒体９０Ａに記録されている中から一覧表示対象とする映像データのセットを選択する。
【００６４】
一覧条件判定部４２は、一覧表示制御部４１において選択された映像データのセットについて、見出し制御情報生成部３１において生成される見出し選択情報に基づいて相互の類似関係を判定し、各々の映像データについて２種類の代表画像の情報のいずれを使用して見出し情報を生成するかを決定する。一覧条件判定部４２は、選択された映像データのセットにおいて、他の映像データのいずれとも同一類似パターンでない映像データに対しては、第１の見出し生成情報（映像取得部１１Ａにおいて取得された映像データに関して類似部分から選択された代表画像の情報）を選択し、反対に、他の映像データのいずれかと同一類似パターンの映像データに対しては、第１の見出し生成情報（映像取得部１１Ａにおいて取得された映像データに関して類似部分以外から選択された代表画像の情報）を選択する。
【００６５】
見出し生成部５２は、一覧条件判定部４２による判定結果に従って選択された代表画像の情報を見出し制御情報生成部３１から取得し、表示するための代表静止画データを作成する。また、作成した代表静止画データを適宜配置して一覧表示画面を作成する。
【００６６】
図５は、見出し生成部５２において生成される見出し情報の例を模式的に示している。
【００６７】
ビューＡは、一覧表示制御部４１において、プログラム１のセグメント一覧が選択された場合を表している。一覧条件判定部４２において、一覧を構成する６つのセグメントの中で、類似パターンＩＤ＝２に対応するセグメントが複数（１−３、１−４、１−５）あることが判定され、それらについて代表画像Ｙ２が選択されている。それ以外は代表画像ＸまたはＺが選択されている。
【００６８】
ビューＢは、３つのセグメント（１−３、１−４、１−５）からなるプレイリスト１のセグメント一覧が選択された場合を表している。一覧を構成する３つのセグメントは、ビューＡと同様であり、代表画像Ｙ２が選択されている。
【００６９】
ビューＣは、２つのセグメント（１−６、２−８）からなるプレイリスト２のセグメント一覧が選択された場合を表している。一覧を構成する２つのセグメントは、類似パターンＩＤ＝３に対応し、代表画像Ｙ３が選択されている。
【００７０】
ビューＤは、プログラム１、プログラム２、プレイリスト１、プレイリスト２の計４つの一覧が選択された場合を表している。ここで、図に記載していないが、プログラム１全体に対応する代表画像として１−Ｘ１および１−Ｙ１、プログラム２全体に対して７−Ｘ１および７−Ｙ１、プレイリスト１全体に対して３−Ｘ２および３−Ｙ２、プレイリスト２全体に対して６−Ｘ３および６−Ｙ３が選択されているため、一覧においては、図に示されるように、類似パターン１に対応する部分で代表画像１−Ｙ１、７−Ｙ１、それ以外の部分で３−Ｘ２、６−Ｘ３が選択されている。
【００７１】
このように、一覧表示制御部４１において選択される一覧表示対象とする映像データのセットは、１続きの映像プログラム、プログラム内を分割したセグメント、これらプログラムやセグメントを任意に配列して再生させるプレイリスト等からなる。
【００７２】
このときの一覧表示対象としては、記録されている全てのプログラムおよびプレイリストの一覧、利用者によって選択されたプログラムまたはプレイリストに含まれるセグメントの一覧、予め設定された条件または利用者によって指定された条件によって検索されたプログラムおよびセグメントならびにプレイリスト等が可能である。また、それら全てを同時に表示できない場合は、所定の個数ごとにページ切り替えで表示したり、スクロール表示したりするため、その一部だけを表示対象とすることもある。
【００７３】
また、複数のプログラムおよびプレイリストをグループ化して管理するフォルダを設けてもよい。このときの一覧表示対象としては、さらに、記録されている全てのフォルダの一覧、利用者によって選択されたフォルダに管理されているプログラムおよびプレイリストならびにフォルダの一覧、予め設定された条件または利用者によって指定された条件によって検索されたフォルダ等も可能である。
【００７４】
なお、一覧表示対象の範囲およびその選択または限定の方法は上記に限られない。
【００７５】
見出し生成部５２では、見出し生成情報が代表画像の情報の場合は、代表静止画データや代表動画データから表示用代表静止画像や表示用代表動画像を生成したり、フレーム位置情報やフレーム区間情報を参照して映像データから表示用代表静止画像や表示用代表動画像を生成したりする。
【００７６】
また、見出し生成情報が映像データ中の類似区間と非類似区間を区別する情報である場合には、それぞれに対応する映像データ中から表示用代表静止画像や表示用代表動画像を生成する。
【００７７】
次に、表示処理に係わる構成要素における処理の流れについて、図６のフローチャートを用いて説明する。
【００７８】
まず、一覧表示制御部４１に対応する一覧表示制御処理として、ユーザからの操作を受け入れ、記憶媒体９０Ａに記録されている中から一覧表示対象とする映像データのセットを選択する（ステップＳ１１０）。
【００７９】
次に、一覧対象の映像データの各々について、映像データ一覧処理（ＰＡＳＳ１）を行う（ステップＳ１２１からステップＳ１２４のループ）。
【００８０】
ループの中では、見出し制御情報読み出し処理として、一覧対象の映像データの各々について、見出し制御情報を読み出す（ステップＳ１２２）。
【００８１】
また、一覧条件判定部４２に対応する見出し選択情報の組み合わせ判定処理として、読み出された見出し制御情報に含まれる見出し選択情報の組み合わせを判定し、各々の映像データについて２種類の見出し生成情報のいずれを使用して見出し情報を生成するかを決定する（ステップＳ１２３）。
【００８２】
次に、再度一覧対象の映像データの各々について、映像データ一覧表示処理（ＰＡＳＳ２）を行う（ステップＳ１３１からステップＳ１３６のループ）。
【００８３】
ループの中では、ステップＳ１２３において決定された一覧条件判定結果に従って（ステップＳ１３２）、第１の見出し生成情報（ステップＳ１３３）、第２の見出し生成情報（ステップＳ１３４）のいずれかが選択され、見出し生成部５２に対応する見出し生成処理において、表示するための代表静止画データが作成される（ステップＳ１３５）。
【００８４】
［第２の実施の形態］
図７は、この発明の第２の実施の形態に係わる映像情報処理装置の構成を示している。
【００８５】
この実施の形態の映像情報処理装置は、録画再生機器であり、情報生成に係わる構成要素として、映像取得部１１Ｂ、類似部分検出部１２および見出し制御情報生成部３１を備え、表示処理に係わる構成要素として、一覧表示制御部４１、一覧条件判定部４２、見出し生成部５２および記憶媒体９０Ｂを備えている。
【００８６】
第１の実施の形態と異なる点は、映像取得部１１Ｂおよび記憶媒体９０Ｂである。記憶媒体９０Ｂには予め映像データが記録されている。映像取得部１１Ｂは映像データを記憶媒体９０Ｂから読み出して取得する。
【００８７】
類似部分検出部１２は、第１の実施の形態と同様のものでもよいが、ここでは別の例を挙げる。類似部分検出部１２は、予め用意されたキーとなる特徴量を１または複数保持しており、映像取得部１１Ｂにおいて取得された映像を分析して抽出した特徴量との間で類似部分を検出する。特徴量は、映像に含まれる音声を所定時間幅で周波数分析して得られたパワースペクトルを時間経過に従って配列した時系列データであり、時系列データ同士のマッチングにより類似区間を検出してもよい。各々のキーにはＩＤが付与されており、そのキーとの間の類似が検出された区間にキーのＩＤに基づく類似区間ＩＤが付与される。
【００８８】
さらに類似区間が複数連続している場合は、それらをまとめた上で、構成する個別の類似区間ＩＤに加えて、新たな類似区間ＩＤを付与してもよい。ここで、類似区間となりうるもの全てに対応するキーを予め用意せず、所定の間隔を置いて２つの類似区間が検出された場合を統合する等の処理を行うようにしてもよい。
【００８９】
なお、類似部分検出部１２の別の例としては、記録されている１または複数の映像を取得して分析し、特徴量系列相互の類似部分を検出するか、クラスタリング等により類似するグループに分類することにより類似部分を判定してもよい。特徴量は、無音等を手がかりに切り出した音声区間を分析したものでもよく、画像の切り替わり（カット）を手がかりに切り出した区間（ショット）の画像を分析したものでもよい。１フレームの静止画像から抽出されるものを使ってもよく、複数フレームの動画像から抽出されるものを使ってもよい。所定時間幅の音声から抽出されるものを使ってもよく、それらを時間経過に従って配列した時系列データを使ってもよい。
【００９０】
このように、類似部分検出部１２は、さまざまな実施方法が想定される。
【００９１】
記憶媒体９０Ｂは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【００９２】
［第３の実施の形態］
図８は、この発明の第３の実施の形態に係わる映像情報処理装置の構成を示している。
【００９３】
この実施の形態の映像情報処理装置は、録画再生機器であり、情報生成に係わる構成要素として、映像取得部１１Ａ、類似部分検出部１２、分割情報生成部２１および見出し制御情報生成部３１を備え、表示処理に係わる構成要素として、一覧表示制御部４１、一覧条件判定部４２、見出し生成部５２および記憶媒体９０Ａを備えている。
【００９４】
第１の実施の形態と異なる点は、分割情報生成部２１を備えている点であり、類似部分検出部１２において生成された類似映像区間情報は、見出し制御情報生成部３１に加えて分割情報生成部２１においても利用される。
【００９５】
分割情報生成部２１は、類似部分検出部１２において生成された類似映像区間情報を参照して類似映像区間を基準としてその直前で分割したり、予め登録された類似パターンと対応付けて指定された分割位置の決定方法に従って映像データを分割したりする時間位置を含む分割情報を生成する。分割位置の決定方法は、例えば、繰り返し登場する類似ショットを用いる方法（特許文献３）等を用いてよい。また、予め与えられた音声パターンとの類似を検出することにより決定することも可能である。
【００９６】
見出し制御情報生成部３１は、類似映像区間情報および分割情報を参照して、映像データの単位ごとに、類似する部分から選択した代表画像の情報と、類似する部分以外から選択した代表画像の情報とを生成する。
【００９７】
［第４の実施の形態］
図９は、この発明の第４の実施の形態に係わる映像情報処理装置の構成を示している。
【００９８】
この実施の形態の映像情報処理装置は、録画再生機器であり、情報生成に係わる構成要素として、映像取得部１１Ｂ、類似部分検出部１２、分割情報生成部２１および見出し制御情報生成部３１を備え、表示処理に係わる構成要素として、一覧表示制御部４１、一覧条件判定部４２、見出し生成部５２および記憶媒体９０Ｂを備えている。
【００９９】
第３の実施の形態と異なる点は、映像取得部１１Ｂおよび記憶媒体９０Ｂである。第２の実施の形態と同様に、記憶媒体９０Ｂには予め映像データが記録されている。映像取得部１１Ｂは映像データを記憶媒体９０Ｂから読み出して取得する。第３の実施の形態と同様に、類似部分検出部１２において生成された類似映像区間情報は、見出し制御情報生成部３１に加えて分割情報生成部２１においても利用される。また、分割情報生成部２１は、映像データを分割する時間位置を含む分割情報を生成する。
【０１００】
［第５の実施の形態］
図１０は、この発明の第５の実施の形態に係わる映像情報処理装置の構成を示している。
【０１０１】
この実施の形態の映像情報処理装置は、情報生成に係わる構成要素として、映像取得部１１Ａ、類似部分検出部１２、見出し制御情報生成部３１、見出し制御情報記録部３２および記憶媒体９０Ｃを備えている。
【０１０２】
この実施の形態の映像情報処理装置は、録画専用機器であり、第１の実施の形態と異なり、表示処理に係わる構成要素を備えていない。
【０１０３】
映像取得部１１Ａは、外部のデジタル放送等の受信チューナー、その他のデジタル映像機器から入力されるデジタル映像データを取得する。また、映像取得部１１Ａは、外部の放送受信チューナー、その他のアナログ映像機器から入力されるアナログ映像信号を取得し、デジタル映像データに変換することもできる。さらに、映像取得部１１Ａは、取得したデジタル映像データを記憶媒体９０Ｃに記録する。
【０１０４】
見出し制御情報記録部３２は、見出し制御情報生成部３１において生成される第１の見出し生成情報および第２の見出し生成情報ならびに見出し選択情報を記憶媒体９０Ｃに記録する。
【０１０５】
記憶媒体９０Ｃは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【０１０６】
［第６の実施の形態］
図１１は、この発明の第６の実施の形態に係わる映像情報処理装置の構成を示している。
【０１０７】
この実施の形態の映像情報処理装置は、情報生成に係わる構成要素として、映像取得部１１Ｂ、類似部分検出部１２、見出し制御情報生成部３１、見出し制御情報記録部３２および記憶媒体９０Ｄを備えている。
【０１０８】
この実施の形態の映像情報処理装置は、録画専用機器であり、第２の実施の形態と異なり、表示処理に係わる構成要素を備えていない。
【０１０９】
第５の実施の形態と異なる点は、映像取得部１１Ｂおよび記憶媒体９０Ｄである。第２、第４の実施の形態と同様に、記憶媒体９０Ｂには予め映像データが記録されている。映像取得部１１Ｂは映像データを記憶媒体９０Ｄから読み出して取得する。また、第５の実施の形態と同様に、見出し制御情報記録部３２は、見出し制御情報生成部３１において生成される第１の見出し生成情報および第２の見出し生成情報ならびに見出し選択情報を記憶媒体９０Ｄに記録する。
【０１１０】
記憶媒体９０Ｄは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【０１１１】
［第７の実施の形態］
図１２は、この発明の第７の実施の形態に係わる映像情報処理装置の構成を示している。
【０１１２】
この実施の形態の映像情報処理装置は、情報生成に係わる構成要素として、映像取得部１１Ａ、類似部分検出部１２、分割情報生成部２１、分割情報記録部２２、見出し制御情報生成部３１、見出し制御情報記録部３２および記憶媒体９０Ｅを備えている。
【０１１３】
この実施の形態の映像情報処理装置は、録画専用機器であり、第３の実施の形態と異なり、表示処理に係わる構成要素を備えていない。
【０１１４】
映像取得部１１Ａは、外部のデジタル放送等の受信チューナー、その他のデジタル映像機器から入力されるデジタル映像データを取得する。また、映像取得部１１Ａは、外部の放送受信チューナー、その他のアナログ映像機器から入力されるアナログ映像信号を取得し、デジタル映像データに変換することもできる。さらに、映像取得部１１Ａは、取得したデジタル映像データを記憶媒体９０Ｅに記録する。
【０１１５】
また、分割情報生成部２１は、第３の実施の形態と同様に、映像データを分割する時間位置を含む分割情報を生成し、分割情報記録部２２は、分割情報生成部２１において生成される分割情報を記憶媒体９０Ｅに記録する。さらに、見出し制御情報記録部３２は、見出し制御情報生成部３１において生成される第１の見出し生成情報および第２の見出し生成情報を記憶媒体９０Ｅに記録する。
【０１１６】
記憶媒体９０Ｅは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【０１１７】
［第８の実施の形態］
図１３は、この発明の第８の実施の形態に係わる映像情報処理装置の構成を示している。
【０１１８】
この実施の形態の映像情報処理装置は、録画専用機器であり、情報生成に係わる構成要素として、映像取得部１１Ｂ、類似部分検出部１２、分割情報生成部２１、分割情報記録部２２、見出し制御情報生成部３１、見出し制御情報記録部３２および記憶媒体９０Ｆを備えている。
【０１１９】
この実施の形態の映像情報処理装置は、第４の実施の形態と異なり、表示処理に係わる構成要素を備えていない。
【０１２０】
第７の実施の形態と異なる点は、映像取得部１１Ｂおよび記憶媒体９０Ｆである。第２、第４、第６の実施の形態と同様に、記憶媒体９０Ｆには予め映像データが記録されている。映像取得部１１Ｂは映像データを記憶媒体９０Ｆから読み出して取得する。また、第７の実施の形態と同様に、分割情報記録部２２は、分割情報生成部２１において生成される分割情報を記憶媒体９０Ｆに記録する。さらに、見出し制御情報記録部３２は、見出し制御情報生成部３１において生成される第１の見出し生成情報および第２の見出し生成情報を記憶媒体９０Ｆに記録する。
【０１２１】
記憶媒体９０Ｆは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【０１２２】
［第９の実施の形態］
図１４は、この発明の第９の実施の形態に係わる映像情報処理装置の構成を示している。
【０１２３】
この実施の形態の映像情報処理装置は、再生専用機器であり、表示処理に係わる構成要素として、一覧表示制御部４１、一覧条件判定部４２、見出し選択情報読み出し部４３、見出し生成情報読み出し部５１、見出し生成部５２および記憶媒体９０Ｇを備えている。
【０１２４】
この実施の形態の映像情報処理装置は、第１〜第４の実施の形態と異なり、情報生成に係わる構成要素を備えていない。
【０１２５】
記憶媒体９０Ｇに予め記録されている情報は、第２、第４、第６、第８の実施の形態と同様の映像データ、第７、第８の実施の形態において記録されるものと同様の分割情報、第５〜第８の実施の形態において記録されるものと同様の第１の見出し生成情報および第２の見出し生成情報ならびに第５、第６の実施の形態において記録されるものと同様の見出し選択情報である。
【０１２６】
見出し生成情報および見出し選択情報は、１続きの映像プログラム、プログラム内を分割したセグメント、これらプログラムやセグメントを任意に配列して再生させるプレイリスト、複数のプログラムおよびプレイリストをグループ化して管理するフォルダ等の単位ごとに記録してよい。
【０１２７】
見出し選択情報読み出し部４３は、見出し選択情報を記憶媒体９０Ｇから読み出して、一覧条件判定部４２に供給する。
【０１２８】
一覧条件判定部４２は、一覧表示制御部４１において選択された映像データのセットについて、見出し制御情報読み出し部４３から供給される見出し選択情報に基づいて相互の類似関係を判定し、各々の映像データについて２種類の代表画像の情報のいずれを使用して見出し情報を生成するかを決定する。
【０１２９】
見出し生成情報読み出し部５１は、一覧条件判定部４２による判定結果に従って選択された代表画像の情報を記憶媒体９０Ｇから読み出す。
【０１３０】
見出し生成部５２は、一覧条件判定部４２による判定結果に従って選択された代表画像の情報を見出し生成情報読み出し部５１から取得し、表示するための代表静止画データを作成する。また、作成した代表静止画データを適宜配置して一覧表示画面を作成する。
【０１３１】
記憶媒体９０Ｇは、ハードディスク、半導体メモリ、フラッシュ、ＤＶＤ等で、取り外し可能であっても固定式であってもよく、また、ネットワーク越しに読み書きを行うＮＡＳやＤＬＮＡガイドラインに準拠した機器等であってもよい。
【０１３２】
上記情報を記録し、通信を介して上記情報の読み出しを提供するサービス装置においては、同様の映像データ、分割情報、第１の見出し生成情報、第２の見出し生成情報、見出し選択情報を、プレーヤー装置からの要求に応じて送出する機能を持っている。
【０１３３】
また、サービス装置の別の形態としては、プレーヤー装置からの一覧表示要求に応じて、最終的に選択・生成された見出し情報を送出するものであってもよい。
【０１３４】
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
【図面の簡単な説明】
【０１３５】
【図１】この発明に係わる映像情報処理装置の第１の実施の形態の構成を示すブロック図。
【図２】見出し制御情報生成部の処理における類似区間と非類似区間の例を示す模式図。
【図３】見出し制御情報生成部の処理における類似区間と非類似区間の別の例を示す模式図。
【図４】見出し制御情報生成部において生成される見出し制御情報の例を示す模式図。
【図５】見出し生成部において生成される見出し情報の例を示す模式図。
【図６】表示処理に係わる構成要素における処理の流れを示すフローチャート。
【図７】この発明に係わる映像情報処理装置の第２の実施の形態の構成を示すブロック図。
【図８】この発明に係わる映像情報処理装置の第３の実施の形態の構成を示すブロック図。
【図９】この発明に係わる映像情報処理装置の第４の実施の形態の構成を示すブロック図。
【図１０】この発明に係わる映像情報処理装置の第５の実施の形態の構成を示すブロック図。
【図１１】この発明に係わる映像情報処理装置の第６の実施の形態の構成を示すブロック図。
【図１２】この発明に係わる映像情報処理装置の第７の実施の形態の構成を示すブロック図。
【図１３】この発明に係わる映像情報処理装置の第８の実施の形態の構成を示すブロック図。
【図１４】この発明に係わる映像情報処理装置の第９の実施の形態の構成を示すブロック図。
【符号の説明】
【０１３６】
１１Ａ，１１Ｂ…映像取得部、１２…類似部分検出部、２１…分割情報生成部、２２…分割情報記録部、３１…見出し制御情報生成部、３２…見出し制御情報記録部、４１…一覧表示制御部、４２…一覧条件判定部、４３…見出し選択情報読み出し部、５１…見出し生成情報読み出し部、５２…見出し生成部、８１，８２，８３…映像データ、９０Ａ，９０Ｂ，９０Ｃ，９０Ｄ，９０Ｅ，９０Ｆ，９０Ｇ…記憶媒体。
【図１】
2007274233.tif 000003
【図２】
2007274233.tif 000004
【図３】
2007274233.tif 000005
【図４】
2007274233.tif 000006
【図５】
2007274233.tif 000007
【図６】
2007274233.tif 000008
【図７】
2007274233.tif 000009
【図８】
2007274233.tif 000010
【図９】
2007274233.tif 000011
【図１０】
2007274233.tif 000012
【図１１】
2007274233.tif 000013
【図１２】
2007274233.tif 000014
【図１３】
2007274233.tif 000015
【図１４】
2007274233.tif 000016