【手続補正書】
【提出日】平成19年9月27日(2007.9.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する一つ以上のハイライトセグメント記述構造を有するハイライトレベル記述構造を含み、
前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造、および前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造を含むことを特徴とする、階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項２】  前記ハイライトレベル記述構造は、複数個の下位のハイライトレベル記述構造を含むことを特徴とする、請求項１に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項３】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造をさらに含むことを特徴とする、請求項１または２に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項４】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントのオーディオ要約を構成するオーディオセグメント情報を記述するオーディオセグメント位置指定記述構造をさらに含むことを特徴とする、請求項１乃至３のうちのいずれか一項に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項５】  前記階層的要約記述構造は、要約の種類を示すサマリーコンポーネントタイプを列挙して記述しているサマリーコンポーネントリストという属性を有することを特徴とする、請求項４に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項６】  前記サマリーコンポーネントタイプは、
代表フレームを示すキーフレームと、
キービデオセグメントの集合で構成されたビデオ区間の要約を示すキービデオクリップと、
事件（event）または主題に該当するビデオ区間で構成された要約を示すキーイベントと、
代表オーディオ区間の集合で構成されたオーディオ区間の要約を示すキーオーディオクリップ（ＫｅｙＡｕｄｉｏＣｌｉｐｓ）と
を含むことを特徴とする、請求項５に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項７】  前記階層的要約記述構造は、要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造をさらに含むことを特徴とする、請求項１乃至６のうちのいずれか一項に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項８】  前記要約主題リスト記述構造は、任意の数の要約テーマを要素として有し、
前記要約テーマは、該当事件または主題を記述し、固有識別のためにｉｄという属性を有することを特徴とする、請求項７に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項９】  前記要約テーマは、上位の事件または主題のｉｄを識別するようにする親ｉｄという属性をさらに含むことを特徴とする、請求項８に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項１０】  前記ハイライトレベル記述構造は、
前記要約主題リスト記述構造に記述された前記ｉｄ属性を称すテーマＩｄｓという属性を有し、
該当ハイライトレベルを構成するハイライトセグメントやハイライトレベルが共通の事件または主題を有すれば、その共通の事件または主題のｉｄを前記ハイライトレベル記述構造のテーマＩｄｓに記述することを特徴とする、請求項８に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項１１】  前記ハイライトセグメント記述構造は、
前記要約主題リスト記述構造に記述された前記ｉｄ属性を利用して該当ハイライトセグメントの事件または主題を称すテーマＩｄｓという属性を有することを特徴とする、請求項８に記載の階層的要約記述構造が保存されたコンピュータ可読記録媒体。
【請求項１２】  原ビデオの入力を受けてビデオ要約記述構造に従ってビデオ要約記述データを生成するビデオ要約記述データ生成方法において、
原ビデオを分析して、ビデオ分析結果を出力する第１段階と；
要約ビデオ区間を選択するための要約規則を定義する第２段階と；
前記原ビデオ分析結果と前記要約規則に基づいて原ビデオからビデオ内容を要約することができる要約ビデオ区間を選択して要約ビデオ区間情報を構成する第３段階と；
前記要約ビデオ区間情報に基づいて代表フレームを抽出する第４段階と；
前記要約ビデオ区間情報および前記代表フレームを受信して、階層的方式のブラウジングを支援するための階層的要約記述構造によってビデオ要約記述データを生成する第５段階と
を含むことを特徴とする、ビデオ要約記述データ生成方法。
【請求項１３】  前記階層的要約記述構造は、要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する一つ以上のハイライトセグメント記述構造を有するハイライトレベル記述構造を含み、
前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造を含むことを特徴とする、請求項１２に記載のビデオ要約記述データ生成方法。
【請求項１４】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造をさらに含むことを特徴とする、請求項１３に記載のビデオ要約記述データ生成方法。
【請求項１５】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造をさらに含むことを特徴とする、請求項１３または１４のうちのいずれか一項に記載のビデオ要約記述データ生成方法。
【請求項１６】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントのオーディオ要約区間の時間情報を記述するオーディオセグメント位置指定記述構造をさらに含むことを特徴とする、請求項１３乃至１５のうちのいずれか一項に記載のビデオ要約記述データ生成方法。
【請求項１７】  前記階層的要約記述構造は、要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造をさらに含むことを特徴とする、請求項１３乃至１６のうちのいずれか一項に記載のビデオ要約記述データ生成方法。
【請求項１８】  前記第１段階は、
原ビデオから特徴を抽出し、抽出された特徴の種類と特徴が検出される時間区間を出力する段階と、
前記特徴の種類と特徴が検出される時間区間の入力を受けて、原ビデオに含まれているキー事件を検出する段階と、
前記検出されたキー事件に基づいて原ビデオを筋書き中心に区分してエピソードを検出する段階とを含むことを特徴とする、請求項１２乃至１７のうちのいずれか一項に記載のビデオ要約記述データ生成方法。
【請求項１９】  前記第４段階は、前記要約ビデオ区間情報から代表音響を抽出する段階を含むことを特徴とする、請求項１２乃至１８のうちのいずれか一項に記載のビデオ要約記述データ生成方法。
【請求項２０】  原ビデオの入力を受けて要約記述構造に従ってビデオ要約記述データを生成するビデオ要約記述データ生成システムにおいて、
原ビデオを分析して、ビデオ分析結果を出力するビデオ分析部と；
要約ビデオ区間を選択するための要約規則を定義する要約規則定義部と；
前記ビデオ分析部から出力される分析結果と前記要約規則定義部から出力される要約規則に基づいて、原ビデオからビデオ内容を要約することができる要約ビデオ区間を選択して要約ビデオ区間情報を出力する要約ビデオ区間選択部と；
前記要約ビデオ区間選択部から出力される要約ビデオ区間情報の入力を受けて、要約ビデオ区間を代表する代表フレームを出力する代表フレーム抽出部と；
前記要約ビデオ区間選択部から出力された要約ビデオ区間情報および前記代表フレーム抽出部から出力された代表フレーム情報を受信して、階層的方式のブラウジングを支援するための階層的要約記述構造を有するビデオ要約記述データを生成するビデオ要約記述部と；
を含むことを特徴とする、ビデオ要約記述データ生成システム。
【請求項２１】  前記階層的要約記述構造は、要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する一つ以上のハイライトセグメント記述構造を有するハイライトレベル記述構造を含み、
前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造、および前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造を含むことを特徴とする、請求項２０に記載のビデオ要約記述データ生成システム。
【請求項２２】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造をさらに含むことを特徴とする、請求項２１に記載のビデオ要約記述データ生成システム。
【請求項２３】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントのオーディオ要約区間の時間情報を記述するオーディオセグメント位置指定記述構造をさらに含むことを特徴とする、請求項２１または２２に記載のビデオ要約記述データ生成システム。
【請求項２４】  前記階層的要約記述構造は、要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造をさらに含むことを特徴とする、請求項２１乃至２３のうちのいずれか一項に記載のビデオ要約記述データ生成システム。
【請求項２５】  前記ビデオ分析部は、
原ビデオから特徴を抽出し、抽出された特徴の種類と特徴が検出される時間区間を出力する特徴抽出部と、
前記特徴の種類と特徴が検出される時間区間の入力を受けて、原ビデオに含まれているキー事件を検出する事件検出部と、
前記検出されたキー事件に基づいて原ビデオを筋書き中心に区分してエピソードを検出するエピソード検出部とを含むことを特徴とする、請求項２０乃至２４のうちのいずれか一項に記載のビデオ要約記述データ生成システム。
【請求項２６】  前記要約ビデオ区間選択部の要約ビデオ区間情報の入力を受けて、代表音響を抽出して前記ビデオ要約記述部に提供する代表音響抽出部をさらに含むことを特徴とする、請求項２０乃至２５のうちのいずれか一項に記載のビデオ要約記述データ生成システム。
【請求項２７】  ビデオ要約記述データをブラウジングする装置において、
前記ビデオ要約記述データは階層的要約記述構造を有し、
前記階層的要約記述構造は、
要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する複数のハイライトセグメント記述構造を有するハイライトレベル記述構造と；
要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造とを含み、
前記ビデオ要約記述データをブラウジングする装置は、
原ビデオや要約ビデオを再現するビデオ再現部と；
原ビデオの代表フレームを再現する原ビデオ代表フレーム部と；
第１要約レベルの各ビデオ区間と音響情報を再現する第１要約ビデオ代表フレーム部および代表音響部と；
前記第１要約レベルより精巧に要約された第２要約レベルの各ビデオ区間と音響情報を再現する第２要約ビデオ代表フレーム部および代表音響部と；
前記第１要約レベルまたは前記第２要約レベルを選択して、前記ビデオ再現部が該当する要約レベルの要約ビデオを再生するようにするレベル選択部と；
前記要約主題リスト記述構造によって提供される事件および主題を列挙して、使用者が所望の事件をブラウジングするようにする事件選択部とを含むことを特徴とする、ビデオ要約記述データのブラウジング装置。
【請求項２８】  前記ハイライトセグメント記述構造は、
前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造と、
前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造と、
前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造と、
前記該当ハイライトセグメントのオーディオ要約区間の時間情報を記述するオーディオセグメント位置指定記述構造とを含むことを特徴とする、請求項２７に記載のビデオ要約記述データのブラウジング装置。
【請求項２９】  ビデオ要約記述データをブラウジングする方法において、
前記ビデオ要約記述データは階層的要約記述構造を有し、
前記階層的要約記述構造は、要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する一つ以上のハイライトセグメント記述構造を有するハイライトレベル記述構造を含み、
前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造、および前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造を含み、
前記ビデオ要約記述データをブラウジングする方法は、
第１要約レベルの要約ビデオを再現する第１段階と；
前記第１段階で探そうとする場面が要約ビデオ代表フレームを通じて確認されると、前記代表フレームに連結された原ビデオのビデオ区間を再生する第２段階と；
を含むことを特徴とする、ビデオ要約記述データのブラウジング方法。
【請求項３０】  前記ビデオ要約記述データをブラウジングする方法は、前記第１段階で探そうとする場面が確認されない場合、前記第１要約レベルより精巧に要約された第２要約レベルの要約ビデオを再現する第３段階をさらに含むことを特徴とする、請求項２９に記載のビデオ要約記述データのブラウジング方法。
【請求項３１】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造をさらに含み、
前記第２段階は、要約ビデオ代表音響情報を通じて前記第１段階で探そうとする場面を確認する段階を含むことを特徴とする、請求項２９または３０に記載のビデオ要約記述データのブラウジング方法。
【請求項３２】  前記階層的要約記述構造は、要約を構成する主題または事件情報を列挙して事件中心の要約およびブラウジング機能を提供する要約主題リスト記述構造をさらに含むことを特徴とする、請求項２９乃至３１のうちのいずれか一項に記載のビデオ要約記述データのブラウジング方法。
【請求項３３】  要約ビデオ区間にそれぞれ対応し、各要約ビデオ区間に該当する情報を記述する一つ以上のハイライトセグメント記述構造を有するハイライトレベル記述構造を含み、
前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの要約ビデオ区間の時間情報を記述するビデオセグメント位置指定記述構造および前記該当ハイライトセグメントの代表フレームを記述する映像位置指定記述構造を含むことを特徴とする、ビデオの要約記述構造。
【請求項３４】  前記ハイライトレベル記述構造は、複数個の下位のハイライトレベル記述構造を含むことを特徴とする、請求項３３に記載のビデオの要約記述構造。
【請求項３５】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントの代表音響情報を記述する音響位置指定記述構造をさらに含むことを特徴とする、請求項３３または３４に記載のビデオの要約記述構造。
【請求項３６】  前記ハイライトセグメント記述構造は、前記該当ハイライトセグメントのオーディオ要約を構成するオーディオセグメント情報を記述するオーディオセグメント位置指定記述構造をさらに含むことを特徴とする、請求項３３乃至３５のうちのいずれか一項に記載のビデオの要約記述構造。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
以下、添付した図面を参照して本発明の好ましい一実施例を詳細に説明する。図中、参照番号は同一部分または同様部分を識別するために用いる。