(57)【要約】【課題】規定された大きさの画面に多量の情報を表現し得る合成キーフレームの生成方法を提供する。【解決手段】ソースから出力されるビデオストリームの入力を受け、意味を有する区間に区分する段階と、区分された区間を代表するキーフレーム／キーフレーム、または、キー領域／キー領域を選択する段階と、選択されたキーフレーム／キーフレーム、または、キー領域／キー領域を組み合わせて１つのフレームに合成する段階とを順次行って合成キーフレームを生成する。【選択図】  図１
2006101526.tif 000002
【特許請求の範囲】
【請求項１】
ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、
キーイメージ指定子、下位要約構造を描写する階層要約構造目録、及び、ビデオストリームの構造的情報に対して合成キーフレームを割当する段階と
を含むことを特徴とする合成キーフレームを利用した階層ビデオ要約方法。
【請求項２】
キーイメージ指定子は、キー領域指定子、キーフレーム指定子及び合成キーフレーム指定子を利用してイメージを指定する資料構造であることを特徴とする請求項１記載の合成キーフレームを利用した階層ビデオ要約方法。
【請求項３】
各階層要約構造は、特定セグメントを代表するイメージとして表現されることを特徴とする請求項１記載の合成キーフレームを利用した階層ビデオ要約方法。
【請求項４】
下位階層要約構造目録の各構成要素は、下位の階層要約構造として階層／再帰的な要約構造を利用することを特徴とする請求項１記載の合成キーフレームを利用した階層ビデオ要約方法。
【請求項５】
階層要約構造は、要約レベル情報を有することを特徴とする請求項１記載の合成キーフレームを利用した階層ビデオ要約方法。
【請求項６】
ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、
所定ディスプレーに生成された合成キーフレームに関連するビデオをブラウジングすることができるように、合成キーフレームが時間順、かつ、ツリー形態に配列される使用者インターフェースを提供する段階と
を含むことを特徴とするビデオブラウジングインターフェース。
【請求項７】
ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、
所定ディスプレーに生成された合成キーフレームに関連するビデオをブラウジングすることができるように、ＴＯＣ形態であって、各ノードに合成キーフレームが割当てられる使用者インターフェースを提供する段階と
を含むことを特徴とするビデオブラウジングインターフェース。
【請求項８】
使用者インターフェースは、合成キーフレームをビュー形態に提供することを特徴とする請求項６又は７記載のビデオブラウジングインターフェース。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアを内容ベースでサーチするサーチシステムに係るもので、詳しくは、規定された大きさの画面に多量の情報を表現し得る合成キーフレームを利用した階層ビデオ要約方法及びビデオブラウジングインターフェースに関するものである。
【背景技術】
【０００２】
最近、イメージ／ビデオ技術の発達により、使用者は所定のビデオ（または、動映像、例えば、映画、ドラマ、ドキュメンタリープログラム等）に対して、所望の時点または所望の部分のビデオを探し、ブラウジングできるようになっている。
【０００３】
非線形的なビデオブラウジング、または、サーチを行なうための基本技術としては、ショット分割方法、すなわちショットセグメント化及びショットクラスタリング方法あげることができる。それらの方法はマルチメディアのコンテンツを分析するときに利用される。
【０００４】
ビデオ／イメージ技術分野で用いれる一般用語中、ショットとは、一つのカメラから妨害を受けることなく得られたビデオフレームのあるシークエンスであって、ビデオを構成する最も基本となる単位、且つ、ビデオを分析する最も基本となる単位を意味するもので、また、シーンとは、ビデオで意味を有する構成要素、すなわち、ストーリの展開面で意味的な区分要素である。つまり、一つのシーン内には幾つかのショットが含まれる。
【０００５】
一方、ビデオインデクシング技術は、ビデオを構造的に分析してショット及びシーンを検出するために利用される。その技術は、それらのショット及びシーンに基づいてショット／ショット及びシーン／シーンにより構成される全体の中の一部、すなわちセグメントを代表し得るキーフレームまたはキー領域を抽出する。そして、その抽出されたキーフレームまたはキー領域を利用して、ビデオを要約するか、または、ビデオを要約する資料を活用して、ビデオの所望の位置に移動できるようにする。
【０００６】
一般のビデオストリームの構造的情報においては、図１６に示したように、ビデオストリームは、論理的な単位として複数のシーンに分割されており、各シーンは多数のサブシーン、または、ショットに分割され、さらに、各ショットは複数のフレームに分割される。
【０００７】
多くのビデオインデクシングシステムは、ビデオストリームからショットを抽出し、抽出されたショットに基づいてシーンを検出することにしたがって、ビデオストリームの構造的情報をインデクシングする。すなわち、ビデオインデクシングシステムは、シーンまたはショットを代表するキーフレーム（単位セグメントをうまく表現するために、ビデオストリームから抽出されたビデオフレーム）を抽出し、その抽出されたキーフレームを利用するか、または、ニュースなどの特定ビデオストリームに含まれたキー領域を利用して、ビデオストリームをインデクシングし／要約し／ブラウジングする。
【０００８】
従来のアンカフレームとキー領域との関係を図１７に示す。アンカフレーム（Ｆ−ａｎ）内のニュースアイコンは、ニュースを要約するイメージや文字から構成されている。それがキー領域（Ｒｅｇ−ｋ）として選択されると、当該ニュースセグメントを代表する要素となる。すなわち、キー領域（Ｒｅｇ−ｋ）が、イメージからテキスト、人の顔、特定部分のカラー分布特性、横／縦の比率（例えば、ニュースアイコンの）及び動きなどの情報が抽出されて、セグメントの内容を含む（または、代表する）よう設定される。
【０００９】
従来の非線形的ビデオブラウジングインターフェースは、図１８に示したように、ビデオ再生ビュー（Ｖ−ＶＤ）と、ショット／ショット及びシーン／シーンを代表する各キーフレーム（すなわち、一つのビデオフレーム）ビュー（Ｖ−Ｆｋ）と、使用者にビデオストリームの構造的情報を提供するツリー形態の目次（ＴＯＣ：Ｔａｂｌｅ  Ｏｆ  Ｃｏｎｔｅｎｔ）ビュー（Ｖ−ＴＯＣ）とを含んでいる。ここで、ツリー形態の目次において各ノード（例えば、ＮＤ）は、各下部ツリーに含まれている内容を代表するショット及びシーンであって、キーフレームを意味する。従って、上述したようなインターフェースは、ユーザーが所望するビデオ部分に移動することを容易にし、さらには、ビデオ全体を見なくてもストリームから所望の部分だけを選択してブラウジングすることを可能にする。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
然るに、このようなキーフレームまたはキー領域を用いてビデオストリームの部分の区間を代表したビデオをインデクシングし／要約し／ブラウジングするといった従来のビデオブラウジングシステムにおいては、次のような不都合な点があった。
【００１１】
１）画面の大きさが規定され、そこに相対的に多量の情報を表現することが出来ない。非線形的なビデオブラウジングシステム及びＵＭＡ（Universal Multimedia Access Applications）として利用されている従来のキーフレーム及びキー領域は、イメージを通じてビデオストリームの概略的な内容を使用者に伝達するための手段として利用されている。しかし、実際には、使用者は規定された大きさの画面に表現される少数のキーフレームまたはキー領域からビデオストリームに対する全般的な内容を把握することが容易でない。すなわち、ビデオに含まれたプログラムのジャンルや特性にしたがってやや差はあるが、一つのショットはほぼ数秒〜数十秒ほどディスプレーされる量のビデオフレームとして構成され、シーンは各ショットの連続により構成されるため、長いか変化の激しいショットに対しては、一つのキーフレームがショットを代表することはできないため、通常は一つのシーンまたはショットに対して、複数のキーフレームが設定されることが多い。また、規定された大きさの画面に、一度に多数のキーフレームを表示することが出来ないＴＶ、または、携帯用端末機に対し、ショット／ショット及び／またはシーン／シーンを含むセグメントの全体内容を表現するために相対的に多数のキーフレームが提供されると、相対的に多数のキーフレームをブラウジングすべきであるため、使用者は入力装置の操作回数を増加させなければならなくなる。そこで、キーフレームの個数を低減させる案が考えれるが、上述したように、少数のキーフレームではビデオストリームの内容を代表することができないという問題点が発生する。したがって、規定された大きさの画面に多量の情報を表示し得る効率的な使用者インターフェースが要求される。
【００１２】
２）ショット、または、サブシーンを含むシーンに対し、シーンの内容を一つのキーフレームとして選定することが困難である。例えば、図１８の非線形的ビデオブラウジングインターフェースに示したように、一つのノードが、シーンとしてキーフレームであると設定され、それがサフ゛シーン及び／またはショットの内容を含んでいるサブノードを持っていても、使用者は下位ノードをサーチしなくても、上位ノードに該当するキーフレームだけをブラウジングすることにしたがって、自分が関心を持つ位置を容易に選択してサーチすることができる。しかし、このようにショットにより構成されたシーンの内容を伝達することが可能なキーフレームを選定したとしても、そのキーフレームがセグメントの内容を適切に代表、または、表現しているとは限らない。従って、階層構造のビデオストリームにおいて、上部構造のキーフレームが下部構造に含まれた内容をうまく反映できるように、ビデオストリームを要約する新しいビデオ要約方法が求められている。
【００１３】
本発明は、このような従来の課題に鑑みてなされたもので、規定された大きさの画面に多量の情報を表現することが可能な合成キーフレームの生成方法を提供することであるものである。
本発明の他の目的は、キーフレームまたはキー領域を組合せることにしたがって論理的または物理的に形成される合成キーフレーム描写方法を提供することであるものである。
本発明のその他の目的は、合成キーフレームを利用してビデオを階層に要約し得る方法を提供することである。
本発明のさらにその他の目的は、合成キーフレームを利用したビデオブラウジングインターフェースを提供することである。
さらに、本発明のその他の目的は、合成キーフレームを利用した非線形的ビデオブラウジング方法を提供することである。
本発明のその他の目的は、合成キーフレームを利用したデータ管理技法を提供することである。
【課題を解決するための手段】
【００１４】
このような目的を達成するため、本発明に係る合成キーフレームの生成方法においては、第１ソースから出力されるビデオストリームの入力を受け、意味を有する区間に区分する段階と、その区分された区間を代表するキーフレームまたはキー領域を選択する段階と、選択されたキーフレームまたはキー領域を組み合わせて１つのフレームに合成する段階を含むことを特徴とする。
【００１５】
そして、本発明に係る合成キーフレームデータの描写方法においては、ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、合成キーフレームの構成要素に含まれるキーフレームまたはキー領域の目録を描写する段階を含むことを特徴とする。
【００１６】
また、本発明に係る合成キーフレームデータの描写方法においては、ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、合成キーフレームの構成要素に含まれるキーフレーム、キー領域、キーフレーム及びキー領域の組合せを生成し、物理的に格納して合成キーフレームを描写する段階を含むことを特徴とする。
【００１７】
さらに、本発明に係る合成キーフレームを利用した階層ビデオ要約方法においては、ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、キーイメージ指定子、下位要約構造を描写するための階層要約構造目録、及び、ビデオストリームの構造的情報に対して合成キーフレームを割当する段階を含むことを特徴とする。
【００１８】
さらに、本発明に係るビデオブラウジングインターフェース手順においては、ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、所定ディスプレーに生成された合成キーフレームに関連したビデオをブラウジングすることができるように使用者インターフェースを提供する段階を含むことを特徴とする。
【００１９】
そして、本発明に係る合成キーフレームを利用した非線形的なビデオブラウジング方法においては、ビデオストリームを意味を有する区間に区分し、各区間の内容を代表するキーフレームまたはキー領域を一つのイメージに組み合わせて合成キーフレームを生成する段階と、所定ディスプレーに生成された合成キーフレームに関連したビデオをブラウジングすることができるように使用者インターフェースを表示する段階と、使用者入力により合成キーフレームが選択される段階と、選択された合成キーフレームが代表するセグメントを再生する段階を含むことを特徴とする。
【発明の効果】
【００２０】
以上説明したように、本発明に係る合成キーフレームは、ビデオストリームの所定セクション、または、セグメントを代表させるためにキーフレームまたはキー領域を合成することによって一つのフレームを生成するようにしているので、一度に一つの画面に多量の情報を表示し得るという効果がある。
【００２１】
そして、本発明に係る合成キーフレームは、ビデオストリームを一次元的、または、階層として要約することが可能で、また、非線形的なビデオブラウジングを行うための手段としても使用し得るという効果がある。
【００２２】
さらに、本発明に係る合成キーフレームにおいては、端末装置または伝送装置の性能が制限されたＵＭＡに特に有効に適用することが可能で、その他にも全てのビデオジャンルに適用し得るという効果がある。
また、本発明に係る合成キーフレームを利用したビデオ要約方法においては、合成キーフレームを利用して一定に規定された大きさの画面にショットまたはシーンの内容を充分に表示することができるため、ビデオの内容を效率的に要約し得るという効果がある。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態に対し、図面を用いて説明する。
本発明に係る合成キーフレームは、図１（Ａ）に示したように、ビデオストリームが所定のセグメント（Ｓｇｔｌ、Ｓｇｔ２、．．．、Ｓｇｔｉ、Ｓｇｔｉ＋１、．．．）に分割されるとき、セグメント（Ｓｇｔｉ）内の所定の各時点（ｔｌ、ｔｍ、ｔｎ）で抽出される各フレーム（Ｆｌ、Ｆｍ、Ｆｎ）からキーフレームまたはキー領域（Ｒｅｇ−ｋ）を組合せることにしたがって生成される。
【００２４】
また、本発明に係る合成キーフレームは、図１（Ｂ）に示したように、ビデオストリームが所定のセグメント（Ｓｇｔｌ、Ｓｇｔ２、．．．、Ｓｇｔｊ、Ｓｇｔｊ＋１、．．．）に分割されるとき、セグメント（Ｓｇｔｊ＋１）内の所定の各時点（ｔｏ、ｔｐ、ｔｑ、ｔｒ）から抽出される各フレーム（Ｆｏ、Ｆｐ、Ｆｑ、Ｆｒ）及び外部ソースから入力される外部フレーム（Ｆｅｘｔ）からキーフレームまたはキー領域（Ｒｅｇ−ｋ）を組合わせることにしたがって生成される。
【００２５】
すなわち、本発明に係る合成キーフレームは、従来のキーフレームとは異なって、ビデオストリームから特定セグメントを代表させるために、意味的情報を有する領域またはキーフレームを組合わせることにしたがって生成されるため、ビデオストリームに物理的に生成されているフレームではない。
【００２６】
そして、本発明に係るセグメント指定子及びイメージ指定子の描写構造に対して、図２（Ａ）（Ｂ）に基づいて説明する。
先ず、セグメント指定子は、図２（Ａ）に示したように、ビデオストリームからセグメントを指定する手段であって、固有識別子（ＩＤ）、実際にビデオのようなメディアファイルを指定するメディアＵＲＬ、実際のセグメントデータ、そのセグメントの開始／終了時点及び長さのような変数を表示するセグメント時間情報、セグメントに対する注釈を行う描写情報、及び、関連するセグメントに対する関連セグメント目録のような構成要素を含む。
【００２７】
ここで、関連セグメント目録は、各セグメント間の要約、詳細説明関係及び原因／結果関係などを表示するために使用され、目録の構成要素はセグメント指定子またはセグメント指定子を参照するための識別子などの変数を含む。
【００２８】
また、イメージ指定子においては、図２（Ｂ）に示したように、イメージを指定する手段であって、固有識別子（ＩＤ）、実際のイメージファイルを指定するイメージＵＲＬ、実際のイメージデータ、イメージを説明する描写情報、及び、イメージと関連するセグメント目録などの変数を含む。
【００２９】
図３は、本発明に係るキーフレーム指定子の描写構造を示したもので、イメージ指定子、該当のキーフレームが如何なるセグメントを代表しているかを表示する代表セグメント指定子、及び、該当セグメントを如何にうまく表現しているかを表示する充実度情報を含む。
【００３０】
図４は、本発明に係るキー領域指定子の描写構造を示したもので、論理的なキー領域描写構造、または、物理的なキー領域描写構造により表示される。
【００３１】
論理的なキー領域描写構造としては、固有識別子（ＩＤ）、該当領域が存在するイメージを指定するイメージ指定子、及び、イメージ指定子により指定されたイメージからキー領域に該当する領域情報、該当キー領域が如何なるセグメントを代表しているかを表示する代表セグメント指定子、該当キー領域が該当セグメントを如何にうまく表現しているかを表示する充実度情報、その他、注釈のための描写情報、及び、キー領域と関連するセグメントを指定する関連セグメント目録などを含む。なお、論理的なキー領域描写構造は、実際に領域データが独立的に存在しない場合にメタデータを利用してキー領域を描写する。
【００３２】
一方、物理的なキー領域描写構造においては、固有識別子（ＩＤ）、キー領域に対する実際のデータ、必要にしたがって如何なるセグメントを代表しているかを表示する代表セグメント指定子、充実度情報、描写情報、及び、関連セグメント目録などを含む。
【００３３】
本発明に係る合成キーフレームを利用したビデオブラウジングインターフェースのために、合成キーフレームは、物理的に生成されているか、または、論理的にビデオストリームに対する内容ベースデータ領域に描写されているべきである。
【００３４】
図５は、本発明に係る合成キーフレーム情報の描写構造を示したもので、論理的な描写構造、または、物理的な描写構造により表現される。
ここで、論理的合成キーフレーム描写構造は、固有識別子（ＩＤ）、合成キーフレームが代表するセグメントを指定する代表セグメント指定子、合成キーフレームの構成要素であるキーフレーム目録及びキー領域目録、合成キーフレームが該当のセグメントを如何にうまく表現しているかを表示する充実度情報、及び、合成キーフレームにおける各構成要素の配列状態を表現する配列情報等の変数を含む。
【００３５】
一方、物理的合成キーフレーム描写構造においては、固有識別子（ＩＤ）、実際の合成キーフレームを指定するイメージ指定子、合成キーフレームが代表するセグメントを指定する代表セグメント指定子、該当セグメントを如何にうまく表現しているかを表示する充実度情報、合成キーフレームに関連するキーフレームまたはキー領域に対する目録、及び、合成キーフレームにおける各構成要素の配列状態を表現する配列情報などの変数を含む。
【００３６】
ここで、キーフレーム目録を構成するキーフレーム要素は、キーフレーム描写単位構造であって、該当キーフレームを指定するキーフレーム指定子及び該当キーフレームが合成キーフレーム構造において如何に重要な意味的情報を表現しているかを表示する充実度情報を含む。また、キー領域目録を構成するキー領域要素は、キー領域描写単位構造であって、該当キー領域を指定するキー領域指定子及び該当キー領域が合成キーフレーム構造において如何に重要な意味的情報を表現しているかを表示する充実度情報を含む。
【００３７】
なお、充実度情報は、自動または手動的に抽出することが可能で、自動抽出方法により抽出される充実度情報は、キー領域の持続時間、オブジェクトの大きさ及びオーディオなどの情報と、それら情報のマッチング水準とを考慮して求められる。
【００３８】
図６は、本発明に係る合成キーフレームの構成要素の配列に関するレイアウト描写構造を示したもので、ＨＴＭＬまたはＸＭＬのようなマークアップ言語により表現されている。
【００３９】
レイアウト描写構造は、合成キーフレームの各構成要素を重ねて配列することができるため、第１層（ｌａｙｅｒ＝０）、第２層（ｌａｙｅｒ＝１）、．．．それぞれに対する層（Ｌａｙｅｒ）情報と、各層に含まれたキーフレームまたはキー領域が画面にディスプレーされるか、または、ディスプレーされる位置情報とを含む。
【００４０】
以下、本発明に係る合成キーフレーム構造及び合成キーフレームの形成方法を放送プログラムに適用した例を図面を参照して説明する。
【００４１】
Ａ）ニュースビデオから形成された合成キーフレーム
図７は、本発明に係るニュースビデオの構造を示したものである。
一般に、ニュースビデオは、内容にしたがって、ヘッドラインニュースセクション（ＮＳ−ＨＬ）、詳細ニュース説明セクション（ＮＳ−ＤＴ）、要約ニュースセクション及び天気／スポーツセクション等により構成され、場合にしたがっては、コマーシャルセクションを追加で含めて構成される。
そして、各セクションはそれぞれサブセクションを含めて構成される。
【００４２】
ここで、各セクションは、ビデオストリーム構造におけるシーンに該当する。例えば、ヘッドラインニュースセクション（ＮＳ−ＨＬ）は、内容にしたがってヘッドラインアイテム（ＨＬ−ｉｔ）毎に区分され、詳細ニュースセクション（ＮＳ−ＤＴ）もニュースアイテム（ＤＴ−ｉｔ）毎に区分することが可能である。ここで、各アイテムはキーフレームにより形成される。
【００４３】
そして、各ニュースアイテム（ＤＴ−ｉｔ）は、基本的にアンカシーン（Ｓｃｎ−ａｎ）とエピソードシーン（Ｓｃｎ−ｅｐ）とに分割され、ヘッドラインアイテム（ＨＬ−ｉｔ）及びエピソードシーン（Ｓｃｎ−ｅｐ）は個別ショットにより構成される。
【００４４】
図８は、本発明に係るヘッドラインニュースセクション（ＮＳ−ＨＬ）の合成キーフレームを示したものである。ヘッドラインニュースセクション（ＮＳ−ＨＬ）は、例えば、５つのヘッドラインアイテム（ＨＬ−ｉｔ）により構成され、それら５つのヘッドラインアイテムは２３個のショットにより構成されて、ランニングタイムは５９秒ほどである。５つのヘッドラインアイテムは、各時点（ｔ１、ｔ２、ｔ３、ｔ４、ｔ５）から抽出された各キーフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５）である。
【００４５】
従って、本発明に係る一つの合成キーフレーム（Ｆｓｋ）は、各キーフレーム（Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５）から、各テキストにより構成されたキー領域（Ｒｅｇｌ、Ｒｅｇ２、Ｒｅｇ３、Ｒｅｇ４、Ｒｅｇ５）が抽出され、合成されることにしたがって生成される。合成キーフレームは、一定に規定された大きさの画面にヘッドラインニュースセクション（ＮＳ−ＨＬ）の全体内容を一度に表示することができる。
【００４６】
これに対して、従来のビデオインデクシングシステムの場合は、個別ショットまたはシーンに対して１つ以上のキーフレームを割当てるため、例えば、ヘッドラインニュースセクションを代表するだけのキーフレームを幾つか選択しなければならないだけでなく、１つの画面に一度に表示することができないという問題点を有していた。
【００４７】
図９（Ａ）（Ｂ）は、本発明に係る各詳細ニュース説明セクション（ＴＳ−ＤＴ）の合成キーフレームを示したものである。図９（Ａ）は、詳細ニュース説明セクション（ＴＳ−ＤＴ）中の、例えば、ランニングタイムが５７秒ほどで、２１個のショットにより構成された１つのニュースアイテム（ＮＳ−ｉｔ）から形成される合成キーフレーム（Ｆｓｋ）を示したものである。図９（Ｂ）は、例えば、ランニングタイムが１０７秒で、２１個のショットにより構成された１つのニュースアイテムから形成される合成キーフレーム（Ｆｓｋ）を示したものである。
【００４８】
従って、各ニュースプログラム毎に、それぞれのニュースアイテムに対応する一つの合成キーフレームを異なるように形成することができる。また、合成キーフレームがＴＯＣインターフェースにおいて該当のノードに配列、または、割り当てられると、ＴＯＣインターフェースの下位構造の内容を一度に表示することができる。
【００４９】
これに対して、従来のビデオインデクシングシステムの場合は、ニュースアイテムに対して多数のキーフレームを抽出しなければならないという問題点を有すると共に、抽出された多数のキーフレームを画面に一度に表示することができない。
【００５０】
Ｂ）スポーツビデオから形成された合成キーフレーム
サッカービデオなどのスポーツビデオにおいて、１つのショットは非常に多数のビデオフレームにより構成され、したがって、ランニングタイムも長い。従って、例えば、サッカービデオを要約しようとすると、一つのショットは多数のキーフレームにより表現されるべきで、また、ショットが集まったシーンに対して一つのキーフレームはシーンの内容を代表することができない。
【００５１】
図１０（Ａ）（Ｂ）は、本発明に係るサッカー競技ビデオから生成される合成キーフレームを示したものである。図１０（Ａ）は、９個のショットにより構成され、それらショットのランニングタイムが６５秒である一つのセクションから生成される合成キーフレーム（Ｆｓｋ）を示した。図１０（Ｂ）は、９個のショットにより構成され、それらショットのランニングタイムが５３秒である一つのセクションから生成される合成キーフレーム（Ｆｓｋ）を示した。
【００５２】
このように、本発明に係る合成キーフレーム（Ｆｓｋ）は、一つのセクションに含まれた幾つかのショットがそれぞれ相異する内容を含んでいるが、一つの画面に内容を代表する各キーフレームを一つのフレームに入れて表示するため、セクションに含まれた内容を代表することができる。
【００５３】
これに対して、従来のビデオインデクシングシステムの場合は、セクションを表現するために多数のキーフレームを抽出すべきであると共に、セクションの内容を画面に一度に表示することができない。
【００５４】
なお、ニュースやスポーツビデオに対する合成キーフレーム形成方法と同様に、娯楽用プログラム、ドキュメンタリー、トークショー、教育用プログラム、広告及びホームショッピングなどのビデオに対しても、キーフレームまたはキー領域を利用して、本発明に係る合成キーフレームを形成することができる。
【００５５】
一方、合成キーフレームを構成するキー領域またはキーフレームのような各構成要素の配列情報が描写されていると、使用者は合成キーフレーム自体を利用してビデオブラウジングを行なうことができるだけでなく、各構成要素を利用して非線形的なビデオブラウジングを行なうことができる。例えば、図８に示した合成キーフレームは、ヘッドラインニュースセクションから抽出された各キーフレームの複数のキー領域（Ｒｅｇｌ、Ｒｅｇ２、Ｒｅｇ３、Ｒｅｇ４、Ｒｅｇ５）を組み合わせて構成されているため、使用者が合成キーフレームのキー領域（例えば、Ｒｅｇｌ）を選択することによって、キー領域に該当するヘッドラインニュースアイテム、または、詳細ニュース説明アイテムをブラウジングすることができる。
【００５６】
図１１は、本発明に係るビデオストリームの構造的情報及び構造的情報を階層に要約する合成キーフレームを示したもので、各ノードはプログラム、ショット及びシーンを代表するフレームである。
【００５７】
各ノード中、Ｎａ、Ｎｂ、Ｎｃ、Ｎｄは合成キーフレームであって、下位フレームに含まれた内容を代表して、下位フレームを要約している。下位構造を要約するために、下位構造の合成キーフレームのために使用されたキー領域またはキーフレームが上位構造に対する合成キーフレームを構成する要素となる。
【００５８】
従って、使用者は自身が所望する水準のビデオの階層構造及び合成キーフレームを利用してビデオストリームをサーチ／ブラウジングすることができる。
そして、このような階層構造のビデオストリームを要約しようとすると、階層イメージ要約要素を定義すべきである。
【００５９】
図１２は、本発明に係る階層ビデオストリームを要約する階層イメージ要約要素の描写構造を示したもので、イメージを利用した階層要約方式は、再帰的構造であって、キーイメージ指定子、下位階層イメージ要約要素単位目録、及び、要約レベル情報及び該当合成キーフレームが下位構造を如何にうまく代表しているかを示す充実度などの変数を含む。
【００６０】
キーイメージ指定子は、キーフレーム、キー領域及び合成キーフレームなどを指定することができる資料構造で、下位階層イメージ要約単位構造目録は下位要約構造を描写し、目録の各要素は階層要約単位構造である。例えば、下位階層イメージ要約単位構造目録の要素の個数が“０”であると、最下位ノードであって、それ以下の下位要約構造はないことを意味する。
【００６１】
図１３は、本発明に係る合成キーフレームを利用した非線形的なビデオブラウジングインターフェースを示したもので、ビデオディスプレービュー（Ｖ−ＶＤ）及びキーフレーム／キー領域ビュー（Ｖ−Ｆｋ／Ｒｅｇ）並びに合成キーフレームビュー（Ｖ−Ｆｓｋ）を含む。
【００６２】
ビデオディスプレービュー（Ｖ−ＶＤ）及びキーフレーム／キー領域ビュー（Ｖ−Ｆｋ／Ｒｅｇ）は、図１８に示したように、一般的な非線形的ビデオブラウジングインターフェースに含まれる機能と同様である。
【００６３】
しかし、合成キーフレームビュー（Ｖ−Ｆｓｋ）は、所定の大きさに規定された画面に合成キーフレームを利用してビデオ要約を表示することによって、使用者が合成キーフレームまたは合成キーフレームに含まれた構成要素を利用してキーフレームまたはキー領域を選択できるようにして、キーフレームまたはキー領域に該当するセクションに容易に移動できるように表示する。合成キーフレームビュー（Ｖ−Ｆｓｋ）は、図１３に示したように、一次元的にディスプレーするか、または、ＴＯＣ形態のツリー構造にディスプレーすることができる。
【００６４】
本発明に係る合成キーフレームは、ＵＭＡ（Universal Multimedia Access Applications）に適用することができる。
ここで、ＵＭＡとは、多様な使用者の環境変化に応じて、如何なるマルチメディア情報であっても使用者環境に最も適合した形態に加工することによって使用者が情報を容易に利用することができるようにした、情報の伝達能力を向上させた装置である。
【００６５】
一般的に、使用者の端末装置やその使用者端末装置とサーバーとを連結するネットワーク環境等にしたがって、使用者が得られる情報には限界がある。すなわち、使用者が利用するディバイスの種類にしたがって、例えば、停止映像は支援するが動映像は支援しないとか、または、オーディオは支援するが映像は支援しないなどである。また、ネットワークの連結方式／媒体にしたがって、ネットワークを介して伝送されるデータの伝送容量が不足するため、規定された時間内に、使用者のディバイスが伝送を受けられるデータの量が制限されることもある。
【００６６】
従って、本ＵＭＡは、ディバイス／ネットワークなどの制約条件にしたがってビデオストリームを受けてディスプレーすることのできない使用者に、使用者の環境が許す限度内で縮小された大きさ及び個数のキーフレームを利用してビデオストリームを変換して伝送するようにして、ビデオストリームに含まれた内容を使用者が理解するのみ役にたたせる。
【００６７】
すなわち、本発明に係る合成キーフレームは、ＵＭＡが適用されて、伝送されるキーフレームの個数を低減させることにより伝送されるデータの量を減少させながらより多くの意味的情報を提供する手段として利用することができる。
【００６８】
以下、より詳しく説明する。
図１４は、本発明に係る合成キーフレームをＵＭＡに適用した例である。この例では、本発明に係る合成キーフレームを出力するサーバーＳと、サーバーＳから伝送された合成キーフレームを受信して所定の要請（リクエスト）信号を伝送するターミナルＴとで構成される。ここで、合成キーフレーム（Ｆｓｋ）は、上述したように、テキスト、キー領域及びキーフレームにより構成される。
【００６９】
図１５は、ＵＭＡアプリケーションに適用された本発明に係る合成キーフレームを利用して情報を受信する方法を示したものである。先ず、使用者のターミナルＴにサーバーＳから合成キーフレーム（Ｆｓｋ）が伝送されると、使用者はブラウジングしようとする部分の合成キーフレームまたは合成キーフレームの構成要素を選択した後、サーバーＳにオーディオを要請する（ＳＴｌ）。
【００７０】
次いで、サーバーＳが使用者から要請された部分に対するオーディオを伝送すると、使用者はオーディオを受信する。その受信した情報が自分が所望した情報でないと、合成キーフレームに含まれた内容をそれ以上ブラウジングしない。
【００７１】
一方、受信した情報からもっと詳しい情報が欲しいと思う場合は、該当セクションに対するキーフレームを要請する（ＳＴ２）。従って、使用者は合成キーフレームに含まれた内容をさらにブラウジングすることが可能で、また、ビデオを要請してビデオストリームもブラウジングすることができる（ＳＴ３）。
【００７２】
このようにＵＭＡに本発明に係る合成キーフレームが利用されると、使用者は自分が所望する部分を選択し、必要とする部分だけをブラウジングすることが容易にできるため、通信費用を節約することが可能である。また、サーバーは、機能が制限された装置にもマルチメディアストリームの内容に対する情報を伝送するサービスを提供することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る合成キーフレームの概念を説明する構成図である。
【図２】本発明に係るセグメント指定子及びイメージ指定子の描写構造をそれぞれ示した構成図である。
【図３】本発明に係るキーフレーム指定子の描写構造を示した構成図である。
【図４】本発明に係るキー領域指定子の描写構造を示した構成図である。
【図５】本発明に係る合成キーフレーム情報の描写構造を示した構成図である。
【図６】本発明に係る合成キーフレームの構成要素配列に関するレイアウト描写構造を示した構成図である。
【図７】本発明に係るニュースビデオ構造を示した構成図である。
【図８】本発明に係るニュースのヘッドライン部分の合成キーフレームを示した構成図である。
【図９Ａ】本発明に係る詳細ニュース区間の合成キーフレームを示した構成図である。
【図９Ｂ】本発明に係る詳細ニュース区間の合成キーフレームを示した構成図である。
【図１０】本発明に係るサッカー競技ビデオから生成される合成キーフレームを示した構成図である。
【図１１】本発明に係るビデオの構造的情報及び階層合成キーフレームを示した構成図である。
【図１２】本発明に係る階層ビデオストリームを要約する階層イメージ要約要素の描写構造を示した構成図である。
【図１３】本発明に係る合成キーフレームを利用したビデオブラウジングインターフェースを示した構成図である。
【図１４】ＵＭＡ応用アプリケーションに本発明に係る合成キーフレームを適用した例である。
【図１５】ＵＭＡアプリケーションに適用された本発明に係る合成キーフレームを利用して情報を受信する方法を示したフローチャートである。
【図１６】従来のビデオストリームの構造的情報を示した構成図である。
【図１７】従来のアンカフレームとニュースアイコン間の関係を示した構成図である。
【図１８】従来の非線形的ビデオブラウジングインターフェースを示した構成図である。
【図１】
2006101526.tif 000003
【図２】
2006101526.tif 000004
【図３】
2006101526.tif 000005
【図４】
2006101526.tif 000006
【図５】
2006101526.tif 000007
【図６】
2006101526.tif 000008
【図７】
2006101526.tif 000009
【図８】
2006101526.tif 000010
【図９Ａ】
2006101526.tif 000011
【図９Ｂ】
2006101526.tif 000012
【図１０】
2006101526.tif 000013
【図１１】
2006101526.tif 000014
【図１２】
2006101526.tif 000015
【図１３】
2006101526.tif 000016
【図１４】
2006101526.tif 000017
【図１５】
2006101526.tif 000018
【図１６】
2006101526.tif 000019
【図１７】
2006101526.tif 000020
【図１８】
2006101526.tif 000021