(57)【要約】本発明は、与えられたジャンルの番組の特性を表すマルチメディアの手掛かりを利用して、ビデオをセグメント化及びインデクス化する方法に向けたものである。本発明によれば、これらのマルチメディアの手掛かりは、ビデオセグメントのそれぞれのフレームについて算出されるマルチメディア情報確率により選択される。それぞれの前記ビデオセグメントはサブセグメントに分割される。マルチメディア情報の確率分布も、それぞれのフレームについての前記マルチメディア情報を利用して、それぞれの前記サブセグメントについて算出される。それぞれのサブセグメントについての前記確率分布は、結合された確率分布を作成するために結合される。更に、前記結合された確率分布において最も高い結合された確率を持つ前記マルチメディア情報は、優位なマルチメディアの手掛かりとして選択される。
2004520756.tif 000002
【特許請求の範囲】
【請求項１】
ビデオから番組セグメントを選択するステップと、
前記番組セグメントを番組サブセグメントに分割するステップと、
前記番組サブセグメントに対して、与えられたジャンルの番組の特性を表すマルチメディアの手掛かりを利用して、ジャンルに基づくインデクス化を実行するステップとを有する、ビデオをセグメント化及びインデクス化する方法。
【請求項２】
前記番組セグメントを選択するステップは、与えられたタイプのビデオセグメントの特性を表すマルチメディアの手掛かりを利用して実行される、請求項１に記載の方法。
【請求項３】
前記番組セグメントを番組サブセグメントに分割するステップは、前記番組セグメントに含まれるクローズドキャプション情報に従って実行される、請求項１に記載の方法。
【請求項４】
前記ジャンルに基づくインデクス化は、
与えられたジャンルの番組の特性を表す前記マルチメディアの手掛かりを、それぞれの前記番組サブセグメントと比較するステップと、
前記マルチメディアの手掛かりの１つとサブセグメントとの間に合致があった場合に、前記番組サブセグメントの１つにタグを挿入するステップとを含む、請求項１に記載の方法。
【請求項５】
前記番組サブセグメントに対してオブジェクトに基づくインデクス化を実行するステップを更に含む、請求項１に記載の方法。
【請求項６】
前記ビデオセグメントのそれぞれのフレームについてマルチメディア情報確率を算出するステップと、
それぞれのフレームについてのマルチメディア情報を利用して、それぞれの前記サブセグメントについて前記マルチメディア情報の確率分布を算出するステップと、
結合された確率分布を作成するために、それぞれのサブセグメントについての前記確率分布を結合するステップと、
前記結合された確率分布において、最も高い結合された確率を持つ前記マルチメディア情報を、与えられたジャンルの特性を表す前記マルチメディアの手掛かりとして選択するステップとを有する、請求項１に記載の方法。
【請求項７】
前記ビデオセグメントは、コマーシャルセグメントと番組セグメントとから成るグループから選択される、請求項１に記載の方法。
【請求項８】
それぞれのサブセグメントについての前記確率分布を結合するステップは、平均又は重みを掛けられた平均から成るグループから選択される操作によって実行される、請求項６に記載の方法。
【請求項９】
前記結合された確率分布は、複数の番組のサブセグメントの確率分布から作成される、請求項６に記載の方法。
【請求項１０】
与えられたテレビ番組のタイプ又はコマーシャルの特性を表すマルチメディアの手掛かりを最初に選択するステップを更に含む、請求項１に記載の方法。
【請求項１１】
ビデオを前処理するプリプロセッサと、
前記ビデオから番組セグメントを選択し、前記番組セグメントを番組サブセグメントに分割し、インデクス化された番組サブセグメントを生成するために、与えられたジャンルの番組の特性を表すマルチメディアの手掛かりを利用して、前記番組サブセグメントに対してジャンルに基づくインデクス化を実行するセグメント化及びインデクス化ユニットと、
前記インデクス化された前記番組サブセグメントを保存する記憶装置とを有する、ビデオを保存する装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的にはビデオデータのサービス及び装置に係り、さらに詳細にはマルチメディアの手掛かり（ｍｕｌｔｉｍｅｄｉａ ｃｕｅ）を利用した、テレビ番組をセグメント化及びインデクス化する方法及び装置に関する。
【０００２】
【従来の技術】
今日の市場においては、多くのビデオデータのサービス及び装置がある。その一例がＴＩＶＯボックスである。この装置は連続的に衛星、ケーブル又は放送のテレビを録画することが可能な個人向けデジタルビデオレコーダである。ＴＩＶＯボックスは、ユーザが録画されるべき特定の番組又は番組のカテゴリを選択することを可能とする、電子プログラムガイド（ＥＰＧ）も含む。
【０００３】
単方向テレビ番組はジャンル（Ｇｅｎｒｅ）に従って分類される。ジャンルは、ビジネス、ドキュメンタリ、ドラマ、健康、ニュース、スポーツ及びトークといったカテゴリによりテレビ番組を記述する。ジャンルの分類の例は、トリビューン・メディア・サービス（Ｔｒｉｂｕｎｅ Ｍｅｄｉａ Ｓｅｒｖｉｃｅｓ）のＥＰＧに見出される。特にこのＥＰＧにおいては、「ｔｆ＿ｇｅｎｒｅ＿ｄｅｓｃ」と呼ばれるフィールド１７３から１７８までがテレビ番組のジャンルのテキストの記述のために予約されている。それ故、これらのフィールドを利用して、ユーザはＴＩＶＯ型のボックスを特定のタイプのジャンルの番組を録画するようにプログラムすることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、ＥＰＧに基づく記述を利用することはいつも望ましいわけではない。第一に、ＥＰＧデータはいつも利用可能又はいつも正確であるわけではない。更に、現在のＥＰＧにおける前記ジャンルの分類は番組全体についてのものである。しかしながら、単一の番組中の前記ジャンルの分類はセグメントからセグメントへと変化することがあり得る。それ故、前記ＥＰＧデータには頼らずに前記番組から直接ジャンルの分類を生成することが望ましいであろう。
【０００５】
【課題を解決するための手段】
本発明は多数のビデオセグメントから優位なマルチメディアの手掛かりを選択する方法に向けられたものである。本方法は、前記ビデオセグメントのそれぞれのフレームについて計算されるマルチメディア情報確率（ｍｕｌｔｉ−ｍｅｄｉａ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ）を含む。それぞれの前記ビデオセグメントはサブセグメントに分割される。マルチメディア情報の確率分布も、それぞれのフレームについての前記マルチメディア情報を利用して、それぞれのサブセグメントについて算出される。それぞれのサブセグメントについての前記確率分布は、結合された確率分布を形成するために結合される。更に、前記結合された確率分布中で最も高い結合された確率を持つ前記マルチメディア情報が、優位なマルチメディアの手掛かりとして選択される。
【０００６】
本発明は、ビデオをセグメント化及びインデクス化する方法にも向けたものである。本方法は前記ビデオから選択された番組セグメントを含む。前記番組セグメントは番組サブセグメントに分割される。ジャンルに基づいたインデクス化が、与えられたジャンルの番組の特性を表すマルチメディアの手掛かりを利用して前記番組サブセグメントに対して実行される。更に、オブジェクトに基づいたインデクス化も前記番組サブセグメントに対して実行される。
【０００７】
本発明は、ビデオを保存する方法にも向けたものである。本方法は前処理された前記ビデオを含む。更に、番組セグメントが前記ビデオから選択される。前記番組セグメントは番組サブセグメントに分割される。ジャンルに基づいたインデクス化が、与えられたジャンルの番組の特性を表すマルチメディアの手掛かりを利用して番組サブセグメントについて実行される。更に、オブジェクトに基づいたインデクス化も前記番組サブセグメントについて実行される。
【０００８】
本発明は、ビデオを保存する装置にも向けたものである。本装置は前記ビデオを前処理するプリプロセッサを含む。インデクス化された番組サブセグメントを生成するために前記ビデオから番組セグメントを選択し、前記番組セグメントを番組サブセグメントに分割し、与えられた番組のジャンルに特有なマルチメディアの手掛かりを利用して前記番組サブセグメントに対してジャンルに基づいたインデクス化を実行するために、セグメント化及びインデクス化ユニットが含まれる。前記インデクス化された番組サブセグメントを保存するための記憶装置も含まれる。更に、前記セグメント化及びインデクス化ユニットは、前記番組サブセグメントに対して、オブジェクトに基づいたインデクス化をも実行する。
【０００９】
ここで、同一の参照番号が対応する部分を表す図を参照する。
【００１０】
【発明の実施の形態】
マルチメディア情報は、（１）音声（２）映像及び（３）テキストを含む３つのドメインに分類される。それぞれのドメインの該情報は、低レベル、中レベル及び高レベルを含む異なるレベルの粒度に分類される。例えば低レベルの音声情報は、平均信号絵エネルギー、ケプストラム係数及びピッチのような信号処理パラメータによって記述される。低レベルの映像情報の例は色、動き、形及びテキストのようなそれぞれのピクセルにおいて表現される映像属性を含む、ピクセル又はフレームに基づくものである。クローズドキャプション（ＣＣ）に関しては、文字又は単語のようなＡＳＣＩＩキャラクタにより低レベル情報が与えられる。
【００１１】
本発明によれば、中レベルのマルチメディア情報を利用することが好ましい。通常かような中レベルの音声情報は、無音、雑音、話、音楽、話プラス雑音、話プラス話、及び話プラス音楽というカテゴリから成る。中レベル映像情報に関してはキーフレーム（ビデオ映像にスーパーインポーズされたテキスト）が利用される。ここでキーフレームとは、新しいビデオショット（同様の強度のプロファイルを伴うビデオフレームのシーケンス）、色、及び映像テキストの最初のフレームとして定義される。中レベルのＣＣ情報に関しては、キーワードのセット（テキスト情報を代表する単語）並びに天気、国際、犯罪、スポーツ、映画、ファッション、ハイテク株、音楽、車、戦争、経済、エネルギー、災害、芸術及び政治といったカテゴリが利用される。
【００１２】
前記３つのマルチメディアのドメインの中レベル情報として、確率が利用される。該確率は０と１との間の実数であり、与えられたビデオセグメントの中で、それぞれのドメインについて、それぞれのカテゴリがどの程度代表的なものであるかを決定する。例えば１に近い数は、与えられたカテゴリが非常に高い確率でビデオシーケンスの一部であることを決定し、一方０に近い数は対応するカテゴリがビデオシーケンス中に出現する見込みが少ないことを決定する。本発明は上述した中レベル情報の特定の選択に制限されないことに留意されたい。
【００１３】
本発明によれば、特定のタイプの番組については、優位なマルチメディア特性又は手掛かりがあることが見出されている。例えば通常、コマーシャルのセグメントにおいて、番組のセグメントにおけるよりも高い単位時間当たりのキーフレームの割合がある。更に、通常トークショーにおいては大量の話がある。かくして本発明によれば、図２に関連して以下に説明されるように、テレビ番組をセグメント化しインデクス化するために、これらのマルチメディアの手掛かりが利用される。特にこれらのマルチメディアの手掛かりは、テレビ番組のサブセグメントについてジャンルの分類情報を生成するために利用される。対照的に、ＴＩＶＯボックスのような現在の個人向けビデオレコーダは、前記ＥＰＧの中の短い記述的なテキスト情報として、番組全体についてのジャンルの分類のみを含む。更に、本発明によれば、前記マルチメディアの手掛かりは番組セグメントをコマーシャルセグメントから分離するためにも利用される。
【００１４】
前記マルチメディアの手掛かりは、利用される前に最初に決定される。本発明による前記マルチメディアの手掛かりを決定する方法の一例は図１に示される。図１の方法においては、それぞれの番組についての離散的なビデオセグメントがステップ２〜１０において処理される。更にステップ１２〜１３において、特定のジャンルについての前記マルチメディアの手掛かりを決定するために多くの番組が処理される。この議論の目的のために、前記ビデオセグメントはケーブル、衛星又は放送のテレビ番組に源を発するものと仮定される。これらのタイプの番組は全て番組セグメントとコマーシャルセグメントとの両方を含むため、ビデオセグメントは番組セグメントか又はコマーシャルセグメントのいずれかであると更に仮定される。
【００１５】
ステップ２において、前記ビデオのそれぞれのフレームについてマルチメディア情報確率が算出される。該算出、ビデオのそれぞれのフレーム中の音声、ビデオ及び字幕（ｔｒａｎｓｃｒｉｐｔ）といったマルチメディア情報の出現の確率の算出を含む。ステップ２を実行するために、前記マルチメディア情報のカテゴリに依存して異なる技術が利用される。
【００１６】
キーフレームに関するような映像ドメインにおいては、フレームの相違を決定するためのＤＣＴ係数のＤＣ成分からのマクロブロックのレベルの情報が利用される。キーフレームの出現の確率は、（実験的に）与えられた閾値よりも大きな、与えられたＤＣ成分の差の、０と１との間の正規化された数である。２つの連続するフレームが与えられると、前記ＤＣ成分が抽出される。この差は、実験的に決定された閾値と比較される。更に、前記ＤＣの差の最大値が算出される。前記最大値と０（前記ＤＣの差が閾値に等しい）との間の範囲は、前記確率を生成するために用いられ、前記確率は、（ＤＣの差−閾値）／ＤＣの差の最大値に等しい。
【００１７】
ビデオテキストについては、前記確率は輪郭（ｅｄｇｅ）検出、閾値の決定、領域併合及びキャラクタの形状抽出の順次の利用によって算出される。現在の実施化においては、フレームごとのテキストキャラクタの存在又は不在のみが検査される。それ故、テキストキャラクタの存在に対しては前記確率は１に等しく、テキストキャラクタの不在に対しては前記確率は０に等しい。更に顔に対しては前記確率は、顔の肌の色合いと楕円形の顔の形との接合に依存した、与えられた確率を利用した検出により算出される。
【００１８】
音声ドメインにおいては、それぞれが２２ｍｓの時間的なウィンドウ、即ち「セグメント」について、分類が無音、雑音、話、音楽、話プラス雑音、話プラス話、及び話プラス音楽というカテゴリのいずれかに認識される。これは、１つのカテゴリだけが勝利する「勝者ひとり占め（ｔｈｅ ｗｉｎｎｅｒ ｔａｋｅｓ ａｌｌ）」の決定である。次いで、このことは１００個のかような連続するセグメントについて、即ち約２秒間繰り返される。次いで、与えられたカテゴリ分類を持つセグメントの数の計数（又は投票）が実行され、次いで１００で割られる。このことは全ての２秒の間隔に対してそれぞれのカテゴリについて前記確率を与える。
【００１９】
字幕ドメインにおいては、天気、国際、犯罪、スポーツ、映画、ファッション、ハイテク株、音楽、車、戦争、経済、エネルギー、株、暴力、経済、国内、バイオテクノロジー、災害、芸術及び政治を含む２０個のクローズドキャプションカテゴリがある。それぞれのカテゴリは「主」キーワードのセットに関連している。該キーワードのセットには重なりが存在する。記号「＞＞」の間のそれぞれのＣＣパラグラフに対して、例えば繰り返す単語のようなキーワードが決定され、該キーワードを２０個の「主」キーワードのリストと突き合わせる。この２つに一致があった場合、票が該キーワードに与えられる。このことは該パラグラフ中の全てのキーワードについて繰り返される。最後に、これらの票は、それぞれのパラグラフ内の該キーワードの出現回数で割られる。それ故、この値がＣＣカテゴリの確率となる。
【００２０】
ステップ２に関しては、それぞれのドメイン内の前記マルチメディア情報のそれぞれの前記（中レベルの）カテゴリについての確率が算出され、このことは前記ビデオシーケンスのそれぞれのフレームについて成されることが好ましい。上述した７つの音声カテゴリを含む、音声ドメインにおけるかような確率の例は図２に示される。図２の最初の２列は前記ビデオの開始及び終了フレームに対応する。最後の７つの列が対応する確率を含み、それぞれの中レベルのカテゴリに対して１列である。
【００２１】
図１を再び参照すると、ステップ４において、与えられたタイプのテレビ番組の特性を表すマルチメディアの手掛かりが最初に選択される。しかしながらこのとき、該選択は一般の知識に基づいている。例えば、テレビコマーシャルは概して高いカット率（＝多数のショット又は単位時間当たりの平均キーフレーム）を持ち、従って映像のキーフレーム率情報を利用することが一般に知られている。他の例では、ＭＴＶ番組に関しては、大抵の場合、多くの音楽があることが一般的である。従って、前記一般の知識は、音声の手掛かりが利用されるべきであり、特に「音楽」及び（場合によると）「話＋音楽」のカテゴリに焦点を合わせるべきであることを示唆する。それ故一般の知識は、テレビ番組において（実地試験により確かめられたものとして）一般的な、テレビ製作の手掛かり及び要素のコーパスである。
【００２２】
ステップ６において、前記ビデオセグメントがサブセグメントに分割される。ステップ６は、ビデオセグメントを任意の同一なサブセグメントに分割すること又は予め算出されたテッセレーションを利用することを含む、多くの異なる方法によって実行されても良い。更に前記ビデオセグメントは、前記ビデオセグメントの字幕情報に含まれる場合、クローズドキャプション情報を利用して分割されても良い。一般に知られているように、クローズドキャプション情報はアルファベットの文字を表現するＡＳＣＩＩキャラクタに加え、話題や話している人物の変化を示す二重矢印のようなキャラクタを含む。話し手又は話題の変化はビデオの内容情報における重要な変化を示す場合があるため、話し手の変化情報を考慮するように前記ビデオセグメントを分割することが望ましい場合がある。それ故、ステップ６において、かようなキャラクタの出現した時点において前記ビデオセグメントを分割することが好ましい場合がある。
【００２３】
ステップ８において、それぞれのサブセグメントに含まれた前記マルチメディア情報について、ステップ２で算出された確率を利用して確率分布が算出される。算出される確率はそれぞれのフレームについてのものであり、典型的には毎秒およそ３０フレームという多くのテレビ番組のビデオ中のフレームがあるため、該算出は必要である。かくしてサブシーケンス毎の確率分布を決定することにより、かなりの緻密さが得られる。ステップ８において、前記確率分布は最初にそれぞれの確率を、マルチメディア情報のそれぞれのカテゴリについての（所定の）閾値と比較することにより得られる。フレームの最大限の量を通過させるために、０．１のような低い閾値が好ましい。それぞれの確率が対応する閾値より大きい場合、「１」が該カテゴリに関連付けられる。それぞれの確率が大きくない場合、「０」が割り当てられる。更に、０及び１をそれぞれのカテゴリに割り当てた後、これらの値は合計され、ビデオのサブセグメント毎のフレームの総数で割られる。このことは、与えられたカテゴリが閾値のセットを条件として存在する回数を決定する数に帰着する。
【００２４】
ステップ１０において、ステップ８においてそれぞれのサブセグメントについて算出された前記確率分布が、対象の番組中の前記ビデオセグメントの全てについての単一の確率分布を提供するために結合される。本発明によれば、ステップ１０は、それぞれの前記サブセグメントの前記確率分布の平均値又は重みを掛けられた平均値のいずれかを形成することにより実行される。
【００２５】
ステップ１０のための重みを掛けられた平均値を算出するため、投票及び閾値のシステムが利用されることが好ましい。かようなシステムの例は図３に示される。この図において、最初の３列における票の数は最後の３行における閾値に対応している。例えば図３においては、７つの音声カテゴリのうち３つが優位であることが仮定されている。この仮定は図１のステップ４において最初に選択された前記マルチメディアの手掛かりに基づいている。目的のビデオのそれぞれのサブセグメントについての、及び前記７つの音声カテゴリのそれぞれについての確率は、０から１までの数に変換される。ここで１００％は確率１．０に対応するなどする。最初に、前記サブセグメントの確率Ｐがどの範囲に入るかが決定される。例えば図３において、与えられた確率Ｐに対して４つの範囲が含まれる。１行目においては、（ｉ）（０≦Ｐ≦３）、（ｉｉ）（０．３≦Ｐ≦０．５）、（ｉｉｉ）（０．５≦Ｐ≦０．８）、（ｉｖ）（０．８≦Ｐ≦１．０）がある。３つの閾値は範囲の限界を決定する。２つ目に、どの範囲内にＰが入るかに依存した投票が次いで割り当てられる。この処理は、図３に示された１５通りの可能な組み合わせ全てについて繰り返される。この処理の終了時に、サブセグメント毎の投票の与えられた総数が得られる。該処理は全てのマルチメディアのカテゴリに共通である。この処理の終了時に、与えられた番組の（又はコマーシャルの）セグメントのサブセグメントの全て及び番組セグメントの全てが、番組全体についての確率分布を提供するために処理される。
【００２６】
再び図１を参照すると、ステップ１０の実行の後本方法は、他の番組の前記ビデオセグメントの処理を開始するためにステップ２に戻る。１つの番組だけが処理される場合は、本方法はステップ１３へと進む。しかしながら、番組又はコマーシャルの与えられたジャンルについて、多くの番組が処理されるべきことが望ましい。処理されるべき番組がもう無い場合は、本方法はステップ１２へと進む。
【００２７】
ステップ１２において、同一のジャンルの多数の番組からの前記確率分布は結合される。このことは、同一のジャンルの全ての番組についての確率分布を提供する。かような確率分布の例は図４に示される。本発明によればステップ１２は、同一のジャンルの全ての番組についての前記確率分布の平均又は重みを掛けられた平均のいずれかを算出することによって実行されても良い。また、ステップ１２において結合される前記確率分布が、投票及び閾値のシステムを利用して算出された場合は、ステップ１２は、同一のジャンルの全ての番組について同一のカテゴリの投票を単に合計することによって実行されても良い。
【００２８】
ステップ１２の実行の後ステップ１３において、高い確率を持つ前記マルチメディアの手掛かりが選択される。ステップ１２において算出された前記確率分布においては、確率はそれぞれのカテゴリに関連し、それぞれのマルチメディアの手掛かりについてのものである。かくしてステップ１３において、高い確率を持つカテゴリは、優位なマルチメディアの手掛かりとして選択される。しかしながら、絶対的な最大確率値を持つ単一のカテゴリは選択されない。その代わりに、合わせて最も高い確率を持つカテゴリのセットが選択される。例えば図４においては、話カテゴリ及び話プラス音楽（ＳｐＭｕ）カテゴリはテレビニュース番組について最大の確率を持ち、従ってステップ１３において優位なマルチメディアの手掛かりとして選択される。
【００２９】
本発明による、テレビ番組をセグメント化及びインデクス化する方法の一例は図５に示される。図に見られるように、最初の四角形は、本発明によりセグメント化及びインデクス化されることになるビデオ入力１４を表す。本議論の目的のために、ビデオ入力１４は、多くの離散的な番組セグメントを含むケーブル、衛星又は放送のテレビ番組を表しても良い。更に、殆どのテレビ番組におけるように、前記番組セグメントの間にはコマーシャルセグメントがある。
【００３０】
ステップ１６において、番組セグメント１８を前記コマーシャルセグメントから分離するために、ビデオ入力１４から前記番組セグメントが選択される。ステップ１６において前記番組セグメントを選択する多くの既知の方法が存在する。しかしながら本発明によれば、前記番組セグメントは、与えられたタイプのビデオセグメントの特性を示すマルチメディアの手掛かりを利用して選択される（ステップ１６）ことが好ましい。
【００３１】
前述したように、ビデオストリーム中のコマーシャルを識別することができるマルチメディアの手掛かりが選択される。一例が図６に示される。図に見られるように、キーフレームの割合は番組よりもコマーシャルについてのものの方が非常に高い。かくして、キーフレーム率はステップ１６において利用されるべきマルチメディアの手掛かりの良い例になる。ステップ１６において、これらのマルチメディアの手掛かりは、ビデオ入力１４のセグメントと比較される。前記マルチメディアの手掛かりのパターンに合致しない前記セグメントは、番組のセグメント１８として選択される。このことは、それぞれのマルチメディアのカテゴリについてテストのビデオ番組／コマーシャルセグメントの確率を、図１の方法において前に得られた前記確率と比較することによって成される。
【００３２】
ステップ２０において、前記番組セグメントはサブセグメント２２に分割される。該分割は、前記番組セグメントを任意の同一のサブセグメントに分割することによって、又は予め算出されたテッセレーション（ｔｅｓｓｅｌｌａｔｉｏｎ）を利用することによって成されても良い。しかしながら、前記ビデオセグメントに含まれたクローズドキャプション情報に従って、ステップ２０において前記番組セグメントを分割することが好ましい場合がある。前述したように、クローズドキャプション情報は話題や話している人物の変化を示すためのキャラクタ（二重矢印）を含む。話し手又は話題の変化は前記ビデオにおける重要な変化を示す場合があるため、この位置は番組セグメント１８を分割するための望ましい場所である。それ故ステップ２０において、かようなキャラクタの出現した時点において前記番組セグメントを分割することが好ましい場合がある。
【００３３】
ステップ２０の実行の後、図示されるように、ステップ２４及び２６において番組のサブセグメント２２に対してインデクス化が次いで実行される。ステップ２４において、それぞれの番組サブセグメント２２に対してジャンルに基づくインデクス化が実行される。前述したようにジャンルは、ビジネス、ドキュメンタリ、ドラマ、健康、ニュース、スポーツ及びトークといったカテゴリによってテレビ番組を記述する。かくしてステップ２４において、ジャンルに基づく情報がぞれぞれのサブセグメント２２に挿入される。該ジャンルに基づく情報はそれぞれのサブセグメント２２のジャンル分類に対応するタグの形であっても良い。
【００３４】
本発明によれば、ジャンルに基づくインデクス化２４は、図１に示した方法によって生成された前記マルチメディアの手掛かりを利用して実行される。上述したように、これらのマルチメディアの手掛かりは与えられたジャンルの番組の特性を示すものである。かくしてステップ２４において、特定のジャンルの番組の特性を示すマルチメディアの手掛かりは、それぞれのサブセグメント２２と比較される。前記マルチメディアの手掛かりの１つとサブセグメントとの間に合致がある場所において、該ジャンルを示すタグが挿入される。
【００３５】
ステップ２６において、オブジェクトに基づくインデクス化が番組サブセグメントの２２に対して実行される。かくしてステップ２６において、サブセグメント中に含まれるそれぞれの前記オブジェクトを識別する情報が挿入される。このオブジェクトに基づく情報は、それぞれの前記オブジェクトに対応するタグの形であっても良い。本議論の目的のために、オブジェクトは背景、前景、人物、車、音声、顔、ミュージッククリップなどであっても良い。該オブジェクトに基づくインデクス化を実行する多くの既知の方法が存在する。かような方法の例は、Ｃｏｕｒｔｎｅｙによる「Ｍｏｔｉｏｎ Ｂａｓｅｄ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許番号第５，９６９，７５５号、Ａｒｍａｎ他による「Ｍｅｔｈｏｄ Ｆｏｒ Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｃｏｎｔｅｎｔｓ Ｏｆ Ａ Ｓｉｎｇｌｅ Ｖｉｄｅｏ Ｓｈｏｔ Ｕｓｉｎｇ Ｆｒａｍｅｓ」と題された米国特許番号第５，６０６，６５５号、Ｄｉｍｉｔｒｏｖａ他による「Ｖｉｓｕａｌ Ｉｎｄｅｘｉｎｇ Ｓｙｓｔｅｍ」と題された米国特許番号第６，１８５，３６３号、及びＮｉｂｌａｃｋ他による「Ｖｉｄｅｏ Ｑｕｅｒｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許第６，１８２，０６９号において説明されている。これら全ての開示内容は参照することによって本明細書に組み込まれたものとする。
【００３６】
ステップ２８において、ステップ２４、２６においてインデクス化された後、前記サブセグメントは、セグメント化された及びインデクス化された番組セグメント３０を生成するために結合される。ステップ２８の実行において、対応するサブセグメントからのジャンルに基づく情報又はタグと、オブジェクトに基づく情報又はタグとが比較される。これら２つの間に合致がある場所において、ジャンルに基づく情報とオブジェクトに基づく情報とが、同一のサブセグメントに結合される。ステップ２８の結果として、セグメント化及びインデクス化された番組セグメント３０は、ジャンル情報とオブジェクト情報との両方を示すタグを含む。
【００３７】
本発明によれば、図１の方法によって生成されたセグメント化及びインデクス化された番組セグメント３０は、個人向け録画装置において利用されても良い。かようなビデオ録画装置の例は図７に示される。図に見られるように、前記ビデオ録画装置はビデオ入力を受信するビデオプリプロセッサ３２を含む。動作の間、プリプロセッサ３２は必要な場合、ビデオ入力に対して必要な場合は多重化又はデコードといった前処理を実行する。
【００３８】
セグメント化及びインデクス化ユニット３４は、ビデオプリプロセッサ３２の出力部に結合される。セグメント化及びインデクス化ユニット３４は、図５の方法に従って該ビデオをセグメント化及びインデクス化するために、前処理された後の前記ビデオ入力を受信する。前述したように、図５の方法は前記ビデオ入力を番組サブセグメントに分割し、次いで、セグメント化及びインデクス化された番組セグメントを生成するために、それぞれのサブセグメントに対してジャンルに基づくインデクス化及びオブジェクトに基づくインデクス化を実行する。
【００３９】
記憶ユニット３６は、セグメント化及びインデクス化ユニット３４の出力部に結合される。記憶ユニット３６は、セグメント化及びインデクス化された後の前記ビデオ入力を保存するために利用される。記憶ユニット３６は磁気又は光記憶装置のいずれかにより実施化されても良い。更に図に見られるように、ユーザインタフェース３８も含まれる。ユーザインタフェース３８は、記憶ユニット３６にアクセスするために利用される。本発明によればユーザは、前述したように、前記セグメント化及びインデクス化された番組セグメントに挿入された、ジャンルに基づく情報及びオブジェクトに基づく情報を利用しても良い。このことは、ユーザが、ユーザ入力４０を介して特定のジャンル又はオブジェクトのいずれかに基づいて、番組全体、番組セグメント又は番組サブセグメントを取得することを可能とする。
【００４０】
本発明の以上の説明は例示及び説明の目的のために提示された。該説明は開示されたとおりの形式に本発明を限定することを意図するものではない。上述の教示を考慮して多くの修正及び変更が可能である。それ故、本発明の範囲は、詳細な説明によって限定されるべきではないことが意図されている。
【図面の簡単な説明】
【図１】本発明によるマルチメディアの手掛かりを決定する方法の一例を示すフローチャートである。
【図２】中レベルの音声情報に関する確率の一例を示す表である。
【図３】本発明による投票及び閾値のシステムの一例を示す表である。
【図４】図３のシステムを利用して算出された確率分布を示す棒グラフである。
【図５】本発明によるテレビ番組をセグメント化及びインデクス化する方法の一例を示すフローチャートである。
【図６】本発明によるマルチメディアの手掛かりの他の例を説明する棒グラフである。
【図７】本発明によるビデオ録画装置の一例を示すブロック図である。
【図１】
2004520756.tif 000003
【図２】
2004520756.tif 000004
【図３】
2004520756.tif 000005
【図４】
2004520756.tif 000006
【図５】
2004520756.tif 000007
【図６】
2004520756.tif 000008
【図７】
2004520756.tif 000009
【国際公開パンフレット】
2004520756.tif 000010
2004520756.tif 000011
2004520756.tif 000012
2004520756.tif 000013
2004520756.tif 000014
2004520756.tif 000015
2004520756.tif 000016
2004520756.tif 000017
2004520756.tif 000018
2004520756.tif 000019
2004520756.tif 000020
2004520756.tif 000021
2004520756.tif 000022
2004520756.tif 000023
2004520756.tif 000024
2004520756.tif 000025
2004520756.tif 000026
2004520756.tif 000027
2004520756.tif 000028
2004520756.tif 000029
2004520756.tif 000030
【国際公開パンフレット（コレクトバージョン）】
2004520756.tif 000031
【国際調査報告】
2004520756.tif 000032
2004520756.tif 000033
2004520756.tif 000034
2004520756.tif 000035
2004520756.tif 000036