(57)【要約】  ストーリーが同時ストリームを有するマルチメディア・データにおいてオーディオ、映像及びテキストのような種々のモードについて検出され、関連ストーリーとリンクされる。第１に、該ストリームの属性における均一性の期間は「構成ブロック」としての役目を担い、該構成ブロックは検出されるストーリーを特徴付ける規則によって統合される。該属性は更に、検出するストーリーを検出するよう該属性の各々の信頼性によってランク付けされる。該期間のインター属性和集合は該ランク付けに基づいた順序で属性毎に累積される。開始時及び終了時によって区切られたマルチメディア・データのバッファされた部分は大容量記憶装置に保持される。開始時及び終了時は関連するストーリーのセグメントに対するリンクを伴うデータ構造に維持されるストーリー・セグメントを形成するよう該部分のコンテンツの特性によってインデックスされる。
2005514841.tif 000002
【特許請求の範囲】
【請求項１】
対象のマルチメディア・データのセグメントを特定する装置であって、該マルチメディア・データがオーディオ要素、映像要素及びテキスト要素の少なくとも１つのストリームを有し、該要素が数値を有する少なくとも１つの属性を有し、該属性が該要素のコンテンツを示し、該装置は：
均一性の期間がある場合、該均一性の期間を特定する、該均一性の期間中に該ストリームの該要素の当該属性の該数値が属性均一性閾値を満足する、イントラ属性均一性モジュール；及び
該特定された均一性の期間に相当する該マルチメディア・データのセグメントを特定するモジュール；
を有することを特徴とする装置。
【請求項２】
請求項１記載の装置であって、前記セグメントを特定するモジュールは特定された均一性の期間の対を、該特定された均一性の期間の対を時間的に有する単一の均一性の期間に、統合する属性統合モジュールを有することを特徴とする装置。
【請求項３】
請求項２記載の装置であって、前記対の統合は、該対の間に入る時間間隔と、前記属性とデータの所定の主題コレクションの特性とに基づいた閾値、との間の比較に基づくものであることを特徴とする装置。
【請求項４】
請求項２記載の装置であって、前記属性統合モジュールは優性な属性を、前記イントラ属性均一性モジュールによって特定された均一性の期間の閾値とパラメータとの間の比較に基づいて、特定することを特徴とする装置。
【請求項５】
請求項４記載の装置であって、前記セグメントを特定するモジュールが更に、優性な属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間と、少なくとも１つの別の当該属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間との、累積の、インター属性の、和集合を、形成するインター属性マージ・モジュールを有し、該和集合は開始時及び終了時を有するストーリー・セグメント時間間隔を規定し、該和集合の形成の際に、少なくとも一部の累積が、該和集合の形成において、累積される、特定又は単一期間と既に累積された特定又は単一期間との間の、少なくとも部分的な、交わりの、存在を条件とすることを特徴とする装置。
【請求項６】
請求項５記載の装置であって、前記インター属性マージ・モジュールが前記ストーリー・セグメント時間間隔の前記開始時及び終了時を、該ストーリー・セグメント時間間隔内に時間的に存在する前記マルチメディア・データの一部分のコンテンツの特性によって、インデックスすることを特徴とする装置。
【請求項７】
請求項６記載の装置であって、更に：
セグメント関連性基準を満足するインデックスされたストーリー・セグメント時間間隔の個々の間のリンクを確立するマルチメディア・セグメント・リンク・モジュール；
を有することを特徴とする装置。
【請求項８】
請求項５記載の装置であって、前記少なくとも1つの別の当該属性が少なくとも２つの属性を有し、属性で、該属性によって前記累積の、インター属性和集合が形成されるもの、の順序は、前記イントラ属性均一性モジュールによって特定された均一性の期間の閾値と当該パラメータとの間の比較に基づいて判定されることを特徴とする装置。
【請求項９】
請求項８記載の装置であって、前記累積は前記属性に及ぶ複数のパスについて続くことを特徴とする装置。
【請求項１０】
請求項９記載の装置であって、前記マルチメディア・データはジャンルを有し、前記順序は第２パス及び、後続するパスがある場合、該後続するパスの際の該マルチメディア・データの該ジャンルに基づいて変わることを特徴とする装置。
【請求項１１】
請求項５記載の装置であって、前記累積の、インター属性和集合は、特定及び単一期間を有し、該特定及び単一期間が、少なくとも、優性な属性に基づいて判定された特定期間又は単一期間を、該優性な属性に基づいて判定された当該特定又は単一期間の長さの所定の比率だけ、時間的に交わることを特徴とする装置。
【請求項１２】
請求項５記載の装置であって、前記インター属性マージ・モジュールは、第１属性に基づいて判定された特定又は単一期間の、第２属性に基づいて判定された特定又は単一期間との、暫定的和集合を形成するよう構成され、該暫定的和集合が前記累積の、インター属性和集合を形成するのに累積される期間を規定することを特徴とする装置。
【請求項１３】
請求項５記載の装置であって、前記少なくとも１つの別の当該属性が少なくとも2つの属性を有し、属性で、該属性によって前記累積の、インター属性和集合が形成されるもの、の順序は、前記要素のストリームが前記対象のマルチメディア・データのセグメントの１つを特定するよう該装置によって処理されると同時に修正を条件とすることを特徴とする装置。
【請求項１４】
請求項４記載の装置であって、前記セグメント特定モジュールは更に、優性な属性に基づいて判定された特定又は単一期間中に位置する前記ストリームの一部分のコンテンツ特性を有するストーリー・セグメントを時間的に規定するストーリー・セグメント時間間隔を形成するインター属性マージ・モジュールを有することを特徴とする装置。
【請求項１５】
請求項２記載の装置であって、前記セグメント特定モジュールが更に、所定の、優性な属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間と、少なくとも当該別の属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間との、累積の、インター属性の、和集合を形成するインター属性マージ・モジュールを有し、該和集合は開始時及び終了時を有するストーリー・セグメント時間間隔を規定することを特徴とする装置。
【請求項１６】
請求項２記載の装置であって、前記属性は特性を有し、前記属性統合モジュールは該属性の該特性に基づいて優性な属性を特定し、前記セグメント特定モジュールは更に、優性な属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間と、少なくとも１つの別の当該属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間との、累積の、インター属性の、和集合を形成するインター属性マージ・モジュールを有し、該和集合は開始時及び終了時を有するストーリー・セグメント時間間隔を規定し、該和集合の形成の際に、少なくとも一部の累積は、該和集合の形成において、累積される、特定又は単一期間、と、既に蓄積された、特定又は単一期間との、少なくとも部分的な、交わりの存在が条件となることを特徴とする装置。
【請求項１７】
請求項１記載の装置であって、前記属性は字幕属性を有し、前記ストリームは該字幕属性を有する代表フレームを有するテキスト要素を有し、前記数値は均一性の期間の前記特定において1つ以上の連続する代表フレームに遭遇する字幕マーカ要素の数のカウントを有することを特徴とする装置。
【請求項１８】
対象のマルチメディア・データのセグメントを特定する方法であって、該マルチメディア・データは少なくともオーディオ要素、映像要素及びテキスト要素の1つのストリームを有し、該要素は数値を有する少なくとも1つの属性を有し、該属性は該要素のコンテンツを示し、該方法は：
均一性の期間がある場合、該均一性の期間を特定する、該期間中に当該ストリームの該要素の該属性の該数値が属性均一性閾値を満足する、工程；及び
該特定された均一性期間に相当する該マルチメディア・データのセグメントを特定する工程；
を有することを特徴とする方法。
【請求項１９】
請求項18記載の方法であって、前記セグメントを特定する工程が特定された均一性の期間の対を該特定された均一性の期間の対を時間的に有する単一の均一性の期間に統合する工程を有することを特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、前記セグメントを特定する工程が更に、前記対の間に入る時間間隔を、前記属性と所定のデータの主題コレクションの特性とに基づいた閾値、と比較する工程を有することを特徴とする方法。
【請求項２１】
請求項１９記載の方法であって、前記セグメントを特定する工程が更に、優性な属性を特定するよう、均一性の期間の閾値とパラメータとを比較する工程を有することを特徴とする方法。
【請求項２２】
請求項２１記載の方法であって、前記セグメントを特定する工程が更に、優性な属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間と、別の当該属性に基づいて判定された特定及び単一期間がある場合の、該特定及び単一期間との、累積の、インター属性の、和集合を形成し、該和集合が開始時及び終了時を有するストーリー・セグメント時間間隔を規定することを特徴とする方法。
【請求項２３】
対象のマルチメディア・データのセグメントを特定するコンピュータ・プログラムであって、該マルチメディア・データがオーディオ要素、映像要素及びテキスト要素の少なくとも１つのストリームを有し、該要素が数値を有する少なくとも1つの属性を有し、該属性は該要素のコンテンツを示し、該プログラムは：
均一性の期間がある場合、該均一性の期間を特定する、該期間中に当該ストリームの該要素の該属性の該数値が属性均一性閾値を満足する、命令手段；及び
該特定された均一性期間に相当する該マルチメディア・データのセグメントを特定する命令手段；
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、マルチメディア・データ・ストリームのセグメンテーション、特に、コンテンツによってマルチメディア・データ・ストリームをセグメント化する手法に関するものである。
【背景技術】
【０００２】
パーソナル・ビデオ・レコーダ（PVR）はユーザによって選択されたトピック又はストーリーに関するマルチメディアを選択的に記録するようプログラム化し得る。本明細書及び特許請求の範囲において用いられる「ストーリー」は、データの主題コレクションである。ストーリーの例としてはニュース・ストーリー、映画又はテレビ番組のわき筋、及び特定のスポーツ・テクニックのフッテージがある。PVRは特定のトピック、主題、又はテーマに関するストーリーについて生放送又は記録コンテンツをサーチするようプログラム化し得る。したがって、例えば、テーマはアラスカにおける石油採掘であり得、そのテーマの中の２つのストーリーはアラスカにおける石油採掘の経済性及びアラスカにおける石油採掘の政治的意味合いであり得る。アラスカにおける石油採掘に関するコンテンツを視ることを所望するユーザはPVRによってこれらのストーリーの両方を再生するか、何れか１つを再生するかの、選択肢が提示される。
【０００３】
マルチメディアは一般に、オーディオ、映像及びテキスト（又は「聴覚」、「視覚」、及び「文書」）のような、複数のモダリティにフォーマット化される。例えば、テレビ番組の放送又は記録は一般に、少なくともオーディオ・ストリーム及び映像ストリームにフォーマット化され、更に、テキスト・ストリーム、例えば、字幕付きストリーム、にもフォーマット化されることがよくある。
【０００４】
ストーリーの開始点及び終了点を検出するのは簡単な処理ではない。特定のストーリーのコンテンツは、ストーリーがコマーシャル又は間に起こるトピックによって当該表示において中断され得るので、完全に存在することも存在しないこともある。更に、如何なる特定の時点でも、1つ以上のモダリティが存在しないことがある。字幕テキストは、例えば、存在しないことがあれば、存在する場合、理解可能でないこともあるが、それは、生番組の場合、例えば、字幕はこれらのイベントのリアル・タイムのトランスクリプトからもたらされるからである。トランスクリプトが生放送に遅れないようについていくことができない場合、アーチファクトが字幕に現れる。実際に、オーディオは、映像付きであるがナレーション付きでない自然番組においてのように、セグメントの一部分について、全くないことがある。だが、そのセグメントは、例えば、クマの飼育条件を表し、クマ、又は動物の飼育条件、に関するコンテンツをPVRがサーチし損ね得る。ストーリーを検出する別の考慮点は、ストーリーの特性に基づいて特定のストーリーを検出するのに、1つ以上のモダリティが他のモダリティよりも正確であり得るという点である。
【０００５】
ストーリー検出に関する公知のアプローチは単に、テキスト又はオーディオのモダリティに合わせた手法、又は、マルチメディアにおいて利用可能なモダリティに合わせた手法、に依存する。従来、ストーリー・セグメンテーションを記載したものがある（「Multimedia  Computer  System  With  Story  Segmentation  Capability  And  Operating  Program  Therefor」と題するDimitrova,N.による、特許文献１及び特許文献２参照。）。又、マルチメディア情報のコンテンツ・ベースの記録及び選定を記載したものもある（「Method  and  Apparatus  for  Audio/Data/Visual  Information  Selection」と題する特許文献３参照。）。
【０００６】
更に、ストーリーの境界を判定する主要因として、テキストに、該テキストが依存する場合、依存することを開示したものもある（Ahmad他（「Ahmad」）による特許文献４参照。）。しかしながら、時には、別のモダリティが特定のストーリーを検出するよう利用可能な手がかりを提供するのに信頼をおける。ストーリー検出においてどのモダリティが優性を占めるかを決定するのに、又は、該モダリティに与えられる優先度を決定するのに、検出されるストーリーの特性が考慮されることが好適である。
【０００７】
更に、キーフレームを記載するものもある（非特許文献１参照。）。
【０００８】
又、大容量記憶装置の管理及び検索の最適化に関するものもある（「Apparatus  And  Method  for  Optimizing  Keyframe  And  Blob  Retrieval  And  Storage」と題する、Elenbaas,  J.H.、Dimitrova,  N.による、西暦２０００年９月１２日出願の特許文献５、及び、西暦２０００年２月２日出願の特許文献６参照。）。
【０００９】
更に、Ｌ１、Ｌ２、ヒストグラム重なり率、カイ2乗、ビンに関するヒストグラム重なり率のような、種々の距離測定値を用い得ることを記載したものもある（非特許文献２参照。）。又、均一性を検出するヒストグラム手法を記載したものもある（「A  Histogram  Method  For  Characterizing  Video  Content」と題する、Martino,J、Dimitrova,N、Elenbaas、JH、Rutgers,Jによる、特許文献7参照。）。
【００１０】
又、音響特性に形成された定義又はアルゴリズムを記載したものもある（非特許文献３参照。）。
【００１１】
映像テキスト抽出を説明したものもある（非特許文献４参照。）。
【００１２】
更に、カメラの動きの種々のタイプを記載したものもある（非特許文献５参照。）。
【００１３】
更に、アプローズ認識を記載したものもある（Ichimuraによる特許文献８参照。）。
【００１４】
又、字幕テキストの他のモダリティへのアラインメントを行う手法を記載したものもある（Ahmadによる特許文献９及びWittemanによる特許文献１０参照。）。
【００１５】
更に、ストーリーをリンクする方法及び装置を記載したものもある（「Method  and  Apparatus  for  Linking  a  Video  Segment  to  Another  Segment  or  Information  Source」と題する、Nevenka  Dimitrovaによる、特許文献11参照。）。
【特許文献１】欧州特許出願公開第０９６６７１７号明細書
【特許文献２】欧州特許出願公開第１０５７１２９号明細書
【特許文献３】米国特許出願公開第0009/0442960号明細書
【特許文献４】米国特許第６２５３５０７号明細書
【特許文献５】米国特許第６１１９１２３号明細書
【特許文献６】欧州特許出願公開第０９７６０７１号明細書
【特許文献７】欧州特許出願公開第１０３８２６９号明細書
【特許文献８】米国特許第６１８８８３１号明細書
【特許文献９】米国特許第６２６３５０７号明細書
【特許文献１０】米国特許第６２４３６７６号明細書
【特許文献１１】欧州特許出願公開第１１１０１５６号明細書
【非特許文献１】N.Dimitrova,  T.McGee,  H.Elenbass,  “Video  Keyframe  Extraction  and  Filtering:  A  Keyframe  is  Not  a  Keyframe  to  Everyone”,  Proc.  ACM  Conf.  on  Knowledge  and  Information  Management,  pp.  113-120,  1997
【非特許文献２】N.  Dimitrova、J.Martino、L.Agnihotri、H.Elenbaas  “Superhistograms  for  video  representation”,  IEEE  ICIP  1999  Kobe  Japan
【非特許文献３】Dongge  Li、I.K.Sethi、N.Dimitrova、and  T.McGee,  “Classification  of  General  Audio  Data  for  Content-Based  Retrieval“,  Pattern  Recognition  Letters,  vol.  22,  pp.  533-544,2001
【非特許文献４】N.Dimitrova,L.Agnihotri,C.Dorai,R.Bolle,  “MPEG-7  VideoText  Description  Scheme  for  Superimposed  Text“,  International  Signal  Processing  and  Image  Communications  Journal,  September,  2000.  Vol.  16,  No.  1-2,  pp.  137-155(2000)
【非特許文献５】Jeannin,  S.,  Jasinschi,  R.,  She,  A.,  Naveen,  T.,  Mory,  B.,＆  Tabatabai,  A.(2000)  Motion  descriptors  for  content-based  video  representation.  Signal  Processing：Image  Communication,  Vol.  16,  issue  1-2、pp.  59-85
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は、マルチメディア・データにおいて対象の所定のストーリー（主題データ・コレクション）を特定する、デバイス、及び相当する方法並びにプログラム、に関する。マルチメディア・データは一般に、オーディオ要素、映像要素若しくはテキスト要素のストリーム、又は、字幕付きテレビ放送における、ような、該各々のタイプの要素の組み合わせを有する。該特定ストーリーはデータ構造においてインデックスされ、ユーザが将来、取り出し及び視聴を行うようデータベースに記録される。ユーザは、例えば、南米に関するニュース・セグメント、野球の試合、既知の設定において行われる特定の連続テレビ番組にけるわき筋のような、対象のタイプのストーリーを選定するようディスプレイ装置上でメニュー画面を操作し得る。ユーザは選定ストーリーを記録し、後に、セーブされて視聴に利用可能なストーリーについてデータ構造をサーチするのに、戻るよう、本発明を備え得る。ストーリーは単に、マルチメディア・ストリームのオーディオ成分、映像成分又はテキスト成分のうちの１つに基づいて検出し得ることが効果的である。したがって、例えば、ドキュメンタリーの間に、ナレーターがある期間中、声を出さずにいる場合、ストーリーはそれでも、映像コンテンツが対象ストーリーに関連した認識可能な特性を有する場合、記録された映像に基づいて検出し得る。更に、本発明は、対象ストーリーの既知の特性を用いて、マルチメディア・データにおけるストーリーの特定を行うようオーディオ、映像及びテキストに与えられる優先度を判定する。その結果、本発明はストーリーを検出するのに先行技術よりも効果的である。本発明は更に、ストーリーを効率的に、時間間隔の交わり及び/又は和集合に基づいた低オーバヘッド手法を用いて、セグメント化する。
【課題を解決するための手段】
【００１７】
本発明の手法は「時間的規則」を形成して対象のストーリーを検出する準備段階及び該ストーリーが検出されるマルチメディア・データに時間的規則を適用することによって対象のストーリーを検出する運用段階を有する。
【００１８】
準備段階においては、時間的規則は一般に、１）オーディオ、映像及びテキスト・データ・タイプ（又は「モダリティ」）各々について、特に、各モダリティの各「属性」（例えば、映像の属性である「色」）について、対象ストーリーを有することがわかっている、マルチメディア・データにおける均一性の、期間を特定し、２）該均一性の期間に基づいて時間的規則を導出する、ことによって導出される。
【００１９】
運用段階は一般に、１）各モダリティの属性毎に、該ストーリーが検出される、マルチメディア・データにおける均一性の、期間を特定し、２）属性毎に、「イントラ属性」の、「時間的規則」による均一性の期間の対、を統合し、３）属性間（イントラ属性）で、停止基準を条件として、均一性の、統合及び非統合期間をマージすることによってマルチメディア・データが対象のストーリーを有する期間を判定する、ことを有する。
【発明を実施するための最良の形態】
【００２０】
本発明の他の目的及び特性は添付図面とともに以下の詳細説明を検討することによって明らかになるものである。しかしながら、該図面は単に、図示の目的で企図されたものであり、本発明の限界を規定するものでなく、該限界については本特許請求の範囲を参照するものとする。更に、該図面は必ずしも一定の縮小比で描かれたものでなく、別途示されていない限り、該図面は単に、本明細書及び特許請求の範囲に記載された構造及び手順を概念的に示すことを企図するものである。
【００２１】
該図面においては、同様な参照番号は類似した又は同一の要素をいくつかの図を通じて規定する。
【実施例】
【００２２】
図１は本発明による例示的パーソナル・ビデオ・レコーダ（PVR）１００を表す。PVR１００はビデオ入力108を有し、該ビデオ入力によってマルチメディア・データ１１５がデマルチプレクサ１１６に渡される。マルチメディア・データ１１５は種々のソース、例えば、衛星ソース、地上ソース、放送ソース、ケーブル・プロバイダ・ソース、及びインターネット映像ストリーミング・ソース、から発生し得る。該データ１１５はMPEG（動画像符号化専門グループ）-１、MPEG-2、MPEG-４のような種々の圧縮フォーマットで符号化し得る。その代わりに、該データ１１５は非圧縮映像としてビデオ入力１０８で受信し得る。
【００２３】
マルチメディア・データ１１５はデマルチプレクサ１１６に渡され、該デマルチプレクサはマルチメディア・データ１１５をモダリティによってオーディオ・ストリーム１１８、映像ストリーム１２０及びテキスト・ストリーム１２２に多重分離する。一般に、該ストリーム１１８、１２０及び１２２各々はフレームに分割され、タイム・スタンプされる。テキスト・ストリーム１２２は、例えば、字幕トランスクリプトを有し得、（「キーフレーム」とも「代表フレーム」とも呼ばれる）有意なフレーム各々が、例えば、語の1つ以上の文字を有するよう、分割される。
【００２４】
ストリーム各々は、属性を有する、要素、すなわち、「時間的部分」、を有する。映像ストリーム１２０は、例えば、色、動き、テクスチャ、及び形状のような属性を有し、オーディオ・ストリーム１１８は無声、雑音、音声、音楽、などの属性を有する。
【００２５】
ストリーム１１８、１２０、１２２は、ハード・ディスクのような大容量記憶装置１２６と通信し合うバッファ１２４の当該部分に記憶される。
【００２６】
ストリーム１１８、１２０、１２２は更に、バッファ１２４の当該部分からイントラ属性均一性モジュール１３６のオーディオ・ポート１３０、映像ポート１３２及びテキスト・ポート１３４を介して受信される。ユーザは、操作ユニット１４５のキーボード、マウス等を操作して、メニューから選定するか、さもなければ対象のストーリーを示す。該選定は更に、テンプレート・モジュール１３７に伝達される。テンプレート・モジュール１３７はイントラ属性均一性モジュール１３６に属性均一性信号を該選定に基づいて送信する。イントラ属性均一性モジュール１３６はストリーム１１８、１２０、１２２からタイミング情報を導出するよう属性均一性信号を用いる。イントラ属性均一性モジュールは更にタイミング情報を属性統合モジュール１４４のオーディオ・ポート１３８、映像ポート１４０及びテキスト・ポート１４２に対して送信する。
【００２７】
属性統合モジュール１４４は、マイクロプロセッサ、ユーザ・インタフェース等のような、通常のPVRの（図なしの）構成部分を有する操作ユニット１４５からのストーリー選定に基づいて、テンプレート・モジュールが送信する、時間的規則を受信する。属性統合モジュール１４４はタイミング情報を該時間的規則及び受信タイミング情報に基づいて導出し、導出タイミング情報をインター属性マージ・モジュール１５２のオーディオ・ポート１４６、映像ポート１４８及びテキスト・ポート１５０に送信する。導出タイミング情報のパラメータに基づいて、属性統合モジュール１４４は「優性な」属性、すなわち、後続するストーリー検出において優性な属性、を選定し、該選定を、線１５４を通じて、インター属性マージ・モジュール１５２に送信する。
【００２８】
インター属性マージ・モジュール１５２は優性な属性選定及びポート１４６、１４８、１５０を通じて受信された導出タイミング情報を用いて別のタイミング情報を導出する。インター属性マージ・モジュール１５２はストリーム１１８、１２０、１２２をバッファ１２４の当該各々の部分から受信し、導出タイミング情報によって区切られたストリーム１１８、１２０、１２２のコンテンツの特性を導出する。インター属性マージ・モジュール１５２は、その代わりに、又は、更に、モジュール１３６が既に導出した、コンテンツの特性をイントラ属性均一性モジュール１３６から取得し得る。インター属性マージ・モジュール152は更に、「ストーリー・セグメント」を、コンテンツの特性によって導出タイミング情報をインデックスすることによって、生成する。マージ手法は以下に更に詳細に説明する。その代わりに、属性統合モジュール１４４及びインター属性マージ・モジュール１５２は単一のセグメント特定モジュールとして実施し得る。インター属性マージ・モジュール１５２はストーリー・セグメントをマルチメディア・セグメント・リンク・モジュール１５６に送信する。
【００２９】
マルチメディア・セグメント・リンク・モジュール１５６はストーリー・セグメントをデータ構造モジュール１５８のデータ構造に組み入れ、ストーリー・セグメントをデータ構造中の関連ストーリー・セグメントに対して、ある関連ストーリー・セグメントがデータ構造に存在する場合に、リンクする。マルチメディア・セグメント・リンク・モジュール１５６は更に、生成ストーリー・セグメントのタイミング情報をバッファ124に送信する。バッファ124は更に、タイミング情報を用いて、該バッファにバッファされたオーディオ・ストリーム１１８、映像ストリーム120及びテキスト・ストリーム１２２におけるストーリー・セグメントを特定し、該特定ストーリー・セグメントを大容量記憶装置１２６に記憶する。PVR１００はそれによって、ユーザが操作ユニット１４５を介して選定したトピックに意味論的に関係したストーリーを蓄積する。
【００３０】
ユーザが操作ユニット１４５を操作して表示（すなわち「視聴」）するストーリーの取り出しを要求する場合、操作ユニット１４５はデータ構造モジュール１５８と通信し合ってストーリー・セグメントによって、又は、関連ストーリー・セグメントの群によって、インデックスされたタイミング情報を取り出す。操作ユニット１４５は取り出されたタイミング情報をバッファ１２４に伝達する。バッファ１２４はタイミング情報を用いて、大容量記憶装置１２６からストーリー・セグメント又は関連セグメントの群を取り出し、操作ユニット１４５に該セグメント又はセグメント群を、後にユーザに対して、ディスプレイ画面、オーディオ・スピーカ及び/又は如何なる他の手段をも介して、表示するよう、転送する。
【００３１】
図２はモダリティ・ストリーム、例えば、マルチメディア・データ１１５の当該各々のオーディオ・モダリティ、映像・モダリティ及びテキスト・モダリティのオーディオ・ストリーム１１８、映像ストリーム１２０又はテキスト・ストリーム１２２、の属性の2つの時間的表現の機能図の例を表す。表現２００はイントラ属性均一性モジュール１３６によって生成され、モダリティ・ストリームにおけるタイム・スタンプによって影響されるモダリティ・ストリーム内の時間的順序によって時間２０２から時間２０４まで延びる。
【００３２】
オーディオについての属性の例示的群は無声、雑音、音声、音楽、雑音付加音声、音声付加音声及び音楽付加音声がある。他のオーディオ属性はピッチ及び音色である。映像については、該群は、例えば、色、動き（２次元及び3次元）、形状（2次元及び３次元）及びテクスチャ（確率論的及び構造的）を有し得る。テキストについては、該群はキーワード、すなわち、選定語、文及び段落、を示し得る。各属性はある特定の時点で特定の数値を呈する。例えば、雑音属性に対する値は、該測定値が閾値を超える場合、雑音を示す、オーディオ測定値であり得る。色属性の値は、例えば、フレームの、輝度すなわち明るさの度合いの、測定値、であり得る。該値は複数の数値を有し得る。例えば、色属性値は単一フレームについての輝度ヒストグラムのビン・カウントを有し得る。ヒストグラムは観測発生数の統計的集計であり、ビンの数及びビン毎のカウントを有する。したがって、輝度レベル１からｎまでについては、輝度ヒストグラムは輝度レベル毎のビン及び、フレームが、例えば、画素毎に、検査されるとともに発生するその輝度レベルの数を表す、ビン毎の、カウントを有する。輝度レベルが「j」のフレームに「ｘ」画素がある場合、値「ｊ」に対するビンは「ｘ」のカウントを有する。ビン・カウントはその代わりに、値の範囲を表すので、「ｘ」は輝度値の範囲中の画素の数を示す。輝度ヒストグラムは更に、色属性値が、例えば、色合い又は飽和レベルに対するビン・カウントであり得るよう、色合い及び/又は飽和レベルに対するビンを有するヒストグラムの一部であり得る。形状及びテクスチャ属性は、各々、フレームの部分とフレームが検査される各々の形状又はテクスチャとの間の整合の度合いに相当する値によって規定し得るが、値は単一フレームで規定されなくても良い。キーワード、文及び段落のテキスト属性は、例えば、各々、複数のフレームについて規定し得る。したがって、例えば、キーワード属性は特定の語、又は、一般に、語の特定の語根について規定し得る。したがって、本明細書の原文における「yard」、「yards」、「yardage」などの語の存在の数を所定の連続するフレームの数に及んでカウントしてもよく、特定の停止基準によって連続カウントを保持してもよい。
【００３３】
表現２００はキーワード「yard」及び該キーワードの種々のサフィックスについてのテキスト属性に関する。ゴルフの試合又はトーナメントのアナウンサはよく、「yard」の語、又はその語幹からの変形、を、ゴルファがドライブ、すなわち、飛距離の長いショット、を放つ場合に、用いる。検出される「ストーリー」、すなわち、対象のストーリー、はゴルフのドライブのフッテージである。
【００３４】
表現２００は「均一性」又は「均質性」の期間２０６、２０８、２１０、２１２、２１４を有し、該期間中にはモダリティの属性の値は属性均一性基準を満足する。本例においては、属性均一性基準は、語根として「yard」の語を有する語の存在数を検査した期間の長さで除算した結果が所定の閾値よりも大きいことを、規定する。均一性の期間２０６は開始時２１６及び終了時２１８を有する。開始時２１６でのフレームは、例えば、文字「y」を有し、期間２０６中の後続するフレームは、「y」が「yard」のキーワードの最初の文字であることを示す。終了時２１８はキーワードの存在数の期間長に対する比率がもう閾値を超えない時点として判定される。期間２０８乃至２１４は同様に、本実施例においては、同様な閾値を用いて、判定される。
【００３５】
イントラ属性均一性モジュール１３６がテンプレート・モジュール１３７から受信する属性均一性信号はモダリティ、属性、数値及び閾値を規定することが好適である。上記の例では、モダリティはテキストで、属性は「キーワード」で、数値は「yard」を語根として有する語の数である。
【００３６】
キーワード属性の表現を表すが、テキスト・モダリティ又は他のモダリティの他の属性を、各々の表現を生成するよう、代わりに、又は、更に、処理し得る。例えば、上記の輝度ヒストグラムによって評価される色属性の表現は、各連続フレームの輝度ヒストグラムを検査し、検査フレーム各々を均一性の期間に、２つの連続ヒストグラムの各々の値間の距離の測定値が所定の閾値を超えるまで、有し続ける属性均一性基準によって規定し得る。
【００３７】
その代わりに、PVR１００は、属性均一性信号なしで、イントラ属性均一性モジュール１３６が、検出されるストーリーに無関係の、属性及び各々の数値並びに閾値の所定の群について均一性の期間をサーチすることによって実施し得る。１つの手法では、マルチメディア・ストリーム１１５の各代表フレームは所定の群における属性毎に数値を有する。該値は、映像が時間的に横断されると同時に監視され、均一性の期間は連続フレームの値間の差異が所定の範囲内に収まる限り、存在する。均一性の期間が終結する場合、新しい均一性の期間が開始するが、所定の限度を下回る持続時間を有する均一性の期間は除外される。別の手法では、フレームの値が先行フレームに対してではなく、均一性の期間が既に有するフレームの値の平均値に対して、比較される。同様に、最小持続時間が均一性の期間を保持するのに必要となる。
【００３８】
上記特許文献４は音楽認識手法を記載し、該方法によって、特定のテレビ放送番組の導入部で流れるような、特徴的な音楽テーマをオーディオにおける「ブレーク」を特定するのに用い得る。本発明の意味合いにおいては、テーマ又はテーマの一部は音楽属性の「副属性」となる。例えば、テーマ属性の値はオーディオ・ストリーム１１８のコンテンツと検出されるテーマ又はテーマの一部との間の類似性の測定値であり得る。オーディオにおける均一性の期間を特定する別の手法は中断認識、音声認識及び語認識手法に基づいて実施し得る。本発明の発明者は連続オーディオ・データを7つの分類にセグメント化して分類する課題に対して計１４３の分類特性を調査した。当該システムにおいて用いた７つのオーディオ分類は、無声、単一の話し手の音声、音楽、環境雑音、複数の話し手の音声、同時音声並びに音楽、及び雑音付加音声を有する。
【００３９】
本発明の発明者は、MFCC（メル周波数ケプストラム係数）、LPC（線形予測）、デルタMFCC、デルタLPC、自己相関MFCC、及びいくつかの時間的特性及びスペクトル特性を有する、６つの音響特性の群を抽出するツールを用いた。
【００４０】
上記の音声属性及び特定のテーマ属性の場合のように、いくつかの属性は他の属性に対する階層関係を呈し得る。例えば、映像属性「色」は均一性の、輝度レベルが比較的に変わらない、期間を検出するのに用い得る。「色」は、しかしながら、均一性の、映像ストリーム１２０の可視コンテンツが緑色である、すなわち、光の周波数が緑色の周波数に十分近い、期間を検出又は特定するのに用いる「緑」のような、「副属性」を有し得る。
【００４１】
属性均一性の別の例として、ニュースにおけるネーム・プレート、番組の題名、最初と最後のクレジットのような、オーバレイされた映像テキストを有する全ての映像テキストを抽出することがある。
【００４２】
特定された均一性の期間に対して、属性統合モジュール１４４はテンプレート・モジュール１３７からの時間的規則を適用して特定された均一性の期間の対を単一の均一性の期間又は「ストーリー属性時間間隔」に統合する。時間的規則は、ストーリー検出がマルチメディア・ストリーム１１５に行われる前に、形成され、静的(固定)又は動的（新しい経験的データに応じて、可変）であり得る。準備段階における時間的規則を形成するよう、均一性の期間が検出されるストーリーを有することがわかっている複数の映像シーケンスにおいて特定される。準備段階中には、均一性の期間が、上記の運用段階について別の実施例と同様に形成されることが好適である。すなわち、１つの均一性の期間が終了する場合、次の均一性の期間が、所要最小持続時間を条件に、開始する。種々の映像シーケンスについての均一性の期間が、如何なる再発する、時間的パターン、すなわち、検出するストーリーを特徴付けるパターン、をも検出するよう検査される。時間的規則は検出再発時間的パターンに基づいて導出される。一般に、時間的規則を形成するのに考慮する更に別の点がある。すなわち、検出されるストーリーの表示中に流されることがわかっている、既知の総持続時間の、ひと続きのコマーシャルは類似した値を有する２つの均一性の期間を隔て得る。運用段階においては、時間的規則に基づいて統合することは、結局、２つの時間間隔が検出されるストーリーを（決定的にではないが）示すことを認識することになる。しかしながら、非統合均一性期間は検出されるストーリーを示し得る。例えば、晴れた日には、ゴルフのドライブのフッテージは、ほとんど純粋な空の青色の映像の中断されることのない、連続したパンを有し得、統合されない均一性の期間を結果として生じる。
【００４３】
本例におけるキーワード属性について、時間的規則は、ストーリー属性時間間隔を形成するのに、（上記のような、「yard」の存在の頻度に基づいて形成された）２つの連続した均一性の期間がお互いに、該期間の間の時間的距離が所定の閾値よりも少ない場合、クラスタされることを、要求する。本例では、時間的規則に基づいて、期間２０６及び２０８は相互に統合されることはないが、期間２０８、２１０及び２１２は相互に統合され、期間２０８、２１０、２１２に時間的に及ぶストーリー属性時間間隔２３４を表現２３０に形成する。同様に、時間的規則に基づいて、均一性の期間２１４及び２１２は相互に統合されることはない。その代わりに、表現２３０において、ストーリー属性時間間隔２３６が均一性の期間２１４と時間的に一致するよう形成され、同様に、ストーリー属性時間間隔２３２が均一性の期間206と時間的に一致するよう形成される。
【００４４】
属性統合モジュール１４４は属性の同様な値について均一性の期間を統合するよう示したが、同様な属性の異なる値に対する期間は相互に統合し得る。したがって、例えば、イントラ属性均一性モジュールは均一性の各々の期間をキーワードの2つの値、例えば、「yard」の存在の数及び「shot」の存在の数、毎に判定し得る。「shot」の語は更に、ゴルフのドライブをアナウンスするアナウンサによって、特に「yard」の語とともに、発話されることが観察されている。例えば、均一性の期間２１０がキーワード「yard」の代わりにキーワード「shot」を表す場合、統合するかを判定する、属性統合モジュール１４４によって用いられる、時間的規則はキーワードの両方の値に基づくものとなる。したがって、属性統合モジュール１４４は以前のように期間２０８、２１０、２１２を、ストーリー属性時間間隔２３４を生成するよう、統合することを決定し得る。
【００４５】
属性統合モジュール１４４は同様な属性内の期間に限定されるものでない、その代わりに、異なる属性内の期間をストーリー属性時間間隔に統合し得る。例えば、テキスト・ストリーム１２２は放送事業者によって埋め込まれた字幕テキストである。テレビ・ニュースにおける字幕テキストは時には、ストーリーの境界を示すマーカを有する。しかしながら、字幕テキストも、字幕が時には、代わりに、段落の境界、広告の開始及び終了、及び話し手の切り替えのような、ストーリーの境界の、信頼性の低い、インディシアを有するので、ストーリーを検出するのに常に信頼をおけるものでない。話し手の切り替えは、例えば、単一のストーリーの情景中に、各々のストーリーの間の変わり目を示すのではなく、起こり得る。字幕はデリミタとして、トピックの切り替えを表す、マルチメディア・ストリームの部分間の境界のインディシアとしての「＞＞＞」のような文字を用いる。字幕がストーリーの境界又は他の種類の境界を区分するかにかかわらず、テキスト・ストリーム１２２が字幕を有する場合、イントラ属性均一性モジュール１３６は字幕属性における均一性の期間を特定し、該期間中には連続するフレームが字幕デリミタを有する。字幕属性の値は検出された連続する字幕マーカ要素の数であり得、例えば、3つの連続する「＞」のマーカ要素は３つのマーカ要素の属性均一性閾値を満足し、したがって、均一性の期間を規定する。デリミタ間のテキスト・ストリームの部分は更に、特定のキーワード値についてイントラ属性の均一性モジュール１３６によって処理され、均一性の期間が更に、特定のキーワードについて形成される。キーワードは、例えば、検出されるストーリーを開始して終了することがわかっている語であり得る。テンプレート・モジュール１３７は、属性統合モジュール１４４に対して、時間的規則を送信し、該時間的規則はストーリー属性時間間隔を判定するよう字幕及びキーワードの均一性の期間に適用される。時間的規則は、例えば、字幕の均一性の期間と存在するはずの特定のキーワードについての均一性の期間との間の時間間隔を、検出されるストーリーの特性に基づいて、フレーム字幕マーキングが検出するストーリーを規定するものと考えられる場合、規定し得る。例えば、特定の経済報告のニュースキャスタが一般に既知の語又は句を用いて該報告を開始又は終了する場合、該語又は句の1つ以上の存在を均一性の期間として検出し得る。その均一性の期間と字幕の均一性の期間との間の時間間隔は、フレーム字幕期間が特定の経済報告を規定するかを判定するよう所定の閾値と比較され得る。選択的に、コマーシャルは、対象のストーリーを視聴するとコマーシャルを飛ばすよう、コマーシャルを区切るポインタを均一性の期間において保持し得るので、検出し得る。コマーシャルを検出する方法は公知のものである。1つの導入キューは、例えば、「コマーシャルの後も又、お届けいたします。」であると思われる。
【００４６】
属性統合モジュール１４４は時間的規則を適用して優性な属性を選定する別の機能を有する。該選定は均一性の期間の閾値とパラメータとの間の比較に基づくものであり、優性な属性のデフォールトの選択をオーバライドする役目を担い得る。
【００４７】
マルチメディア・データ１１５がテキスト・ストリーム１２２を有する場合、テキスト・ストリーム１２２の属性は一般に、ストーリー検出が一般に他のモダリティよりもテキスト・モダリティに依存することが観察されているので、当初、デフォールトとして優性が与えられる。
【００４８】
しかしながら、上記のように、テキスト属性は常に信頼をおけるものでなく、他のモダリティの属性のほうが信頼をおけるものであり得る。例えば、テキスト属性についての均一性の期間は特定のキーワードに基づいて形成し得る。図2に戻れば、時間的規則は、開始時並びに終結時及び/又は当該期間の長さのような、均一性の期間の特定のパラメータを重点的に扱う。１つの期間の終結時と後続する、連続した期間との時間差は、例えば、均一性の期間各々が統合されるよう、所定の閾値までに収まる必要があり得る。統合の他、時間的規則は対象のストーリーを検出する根拠となるよう、特定の属性のストーリー属性時間間隔の信頼性を評価するのに用いられる。単一の均一性の期間に統合される期間の数が経験的データに基づいた所定の限度を超える場合、これはキーワード属性がストーリーを検出するのに比較的正確でないことを示し得る。インター属性マージ・モジュール１５２はキーワード属性に対して相応の「信頼性尺度」を割り当てる。一方、映像ストリームの「パン」属性はゴルフのドライブのフッテージを（決定的ではないが）示す特徴的で予測し得る均一性の期間を表し得る。パンはカメラの水平方向の走査で、一連のフレームは、例えば、地平線を横切って走査するフッテージを表すものである。均一性の期間はパン属性が「オン」状態にある期間として規定される。「パン」属性についての時間的規則は、例えば、「パン」属性に対する更に高い信頼性が、当該ストーリーが検出されるマルチメディア・データの均一性の更に少ない期間が所定の閾値を下回る相互の至近範囲内に収まる場合に、与えられ得る。該理由はカメラが継続してゴルフのドライブで放たれたゴルフ・ボールの飛行をたどってパンし、該パンは一般に、他のパンによって直ちに後続されることがないということである。したがって、キーワード及びパン属性によって生じたとみなされる相対的信頼性尺度に基づいて、パン属性は優性な属性とみなし得、それによってキーワード属性のデフォールト優性をオーバライドする。本例においては、「パン」は水平方向の動きを示す値を呈する。該値は閾値と比較されて、パンがフレーム毎に「オン」か「オフ」かのどちらかを判定し、それによって均一性の期間を判定する。「パン」以外に、他のタイプのカメラの動きには「固定」、「ティルト」、「ブーム」、「ズーム」、「ドリー」及び「ロール」がある。
【００４９】
所定のストーリーについての時間的規則が属性に割り当てる信頼性尺度は１つの均一性の期間から別の均一性の期間まで変わってくることがあり、当該パラメータ以外の均一性の期間の特性によって変わってくることがある。したがって、例えば、テキスト属性が「経済」及び「マネー」のキーワードに基づいた均一性の期間を有する場合、時間的規則はテキストがオーディオよりも「経済」のキーワードに基づいた均一性の期間中のみ優性であることを要求し得る。
【００５０】
図３は本発明によるインター属性マージ処理３００の例示的機能図である。表現３１０は時間的に、パン属性についての各々の均一性の期間に及ぶストーリー属性時間間隔３１２、３１４に分割されるので、パンは均一性の期間中に「オン」となる。期間３１２、３１４は各々、開始時及び終了時３１６、３１８、３２０、３２２を有する。表現３２４は時間的にストーリー属性時間間隔３２６及び３２８に分割され、該ストーリー属性時間間隔は各々の均一性の期間に及び、該期間中は映像ストリーム１２０の色属性はフレームが主に空の青色であることを示す値を有する。期間３２６、３２８は各々、開始時及び終了時３３０、３３２、３３４、３３６を有する。図３は更に、図２からの表現２３０を表す。ストーリー属性時間間隔２３２、２３４、２３６は各々、開始時及び終了時３３８、３４０、３４２、３４４、３４６、３４８を有する。表現３５０は時間的にストーリー属性時間間隔３５２、３５４に分割され、該時間間隔は均一性の各々の期間に及び、該期間中には雑音属性の副属性である「アプローズ（喝采）」属性が所定の範囲内におさまる値を有する。均一性の期間３５２、３５４は各々、開始時及び終了時３５６、３５８、３６０、３６２を有する。
【００５１】
本例においては、「パン」属性は信頼性尺度を有し、該尺度は他の属性の該尺度を、「パン」属性が優性にされるのに十分なほどに、上回る。これに応じて、パン属性についての表現を上に表す。その代わりに、パン属性はゴルフ・ドライブのフッテージのような特定のストーリーについて優性なようにあらかじめ規定し得る。本例のように、他の属性表現が、該属性表現の各々の信頼性尺度に基づいて、色属性が2番目で、キーワード属性が3番目などとして、順序付けられることが好適である。信頼性尺度が高いことは該順序における優先度を保証するものでない。したがって、雑音表現３５０は信頼性尺度を有することが必要になり得、該信頼性尺度は色表現２３０の該信頼性尺度を所定の閾値だけ、雑音表現３５０が色表現２３０に先行するよう、上回るものである。その代わりに、該順序はPVR１００においてあらかじめ指定し得、選択的に、操作ユニット１４５を操作するユーザによって選定可能であり得る。
【００５２】
表現３６４は時間的に、優性な属性に基づいて判定されたストーリー属性時間間隔の、別の当該属性に基づいて判定された少なくとも1つの別のストーリー属性時間間隔との、累積の、インター属性和集合を規定する。優性な属性に基づいて判定されたストーリー属性時間間隔は間隔３１２である。別のストーリー属性時間間隔に基づいて判定されたストーリー属性時間間隔は間隔３２６である。累積の、インター属性和集合は当初、優性な属性に基づいて判定されたストーリー属性時間間隔を有し、本例においては、当初、間隔312を有する。累積の、インター属性和集合が内部に有する次の間隔は間隔３２６であるが、それは間隔３２６が表現の順序の次のもので、間隔３２６が、少なくとも部分的に、既に蓄積された間隔、すなわち、間隔３１２、と交わるからである。したがって、累積の、インター属性和集合が有することは、該和集合が既に有する間隔と、少なくとも部分的に、交わることを条件とするものである。間隔３２６を累積の、インター属性和集合が有するのと同様な理由で、間隔３１４、３２８も累積の、インター属性和集合が内部に有する。該累積のこの時点で、和集合の開始時及び終了時が時間３３０、３１８、３３４、３２２によって規定される。
【００５３】
該順序における次の表現、表現２３０、に進めば、ストーリー属性時間間隔２３２、２３４、２３６は累積の、インター属性和集合が内部に有する。和集合の開始時及び終了時はその場合、時間３３８、３４４、３３４、３２２によって規定される。
【００５４】
次に、表現３５０では、ストーリー属性時間間隔３５２を累積の、インター属性和集合が内部に有するが、それは該間隔が時間的に、該和集合が既に有するストーリー属性時間間隔に、少なくとも部分的に、交わるからである。ストーリー属性時間間隔３５４は、しかしながら、該和集合が有するものでなく、それは間隔３５４が、該和集合が既に有するストーリー属性時間間隔の何れとも全く交わることがないからである。したがって、和集合の開始時及び終了時はその場合、時間３３８、３５８、３３４、３２２によって規定される。これらの時間は表現３６４において表され、同様な参照番号は先行する表現から残されたものである。本例において適用された停止基準によって、マージはこの時点、すなわち、表現３５０のマージ後、に停止する。以下に見られるように、別の停止基準も考えられる。表現３６４は２つのストーリー・セグメント時間間隔３６６、３６８を規定する累積の、インター属性和集合である。２つのストーリー・セグメント時間間隔３６６、３６８は別個のストーリーを区分するものとみなされるが、それは該時間間隔が時間的に相互排除的であるからである。字幕トランスクリプトは、一般に時間的に相互に同期されている、相当する、オーディオ及び映像、に後続することが多いものである。したがって、インター属性がマージする前に、字幕属性に基づいて判定されたストーリー属性時間間隔は選択的に、時間的に早い時間にシフトされて字幕テキストにおける遅延を補正する。
【００５５】
別の実施例においては、ストーリー・セグメントを該累積の、インター属性和集合が有するのは、ストーリー・セグメントの、優性な属性に基づいて判定された該ストーリー・セグメントのストーリー属性との、交わりが、少なくとも、優位な属性に基づいて判定されたストーリー属性時間間隔の長さの所定の比率である場合のみである。例えば、５０％の比率の場合、間隔３２６は時間的に間隔３１２に間隔３１２の長さの少なくとも５０％だけ交わり、したがって、累積の、インター属性和集合が内部に有する。同様に、間隔３２８は時間的に間隔３１４の長さの少なくとも５０％だけ間隔３１４と交わり、同様に、累積の、インター属性和集合が内部に有する。したがって、該累積におけるこの時点では、和集合は時間３３０、３１８、３３４、３２２によって区切られる。間隔２３２、２３４、２３６はどれも、間隔３１２、３１４、各々に、少なくとも、間隔３１２、３１４、各々、の長さの５０％だけ、交わることはなく、したがって、累積の、インター属性和集合は内部に有しない。同様のことが間隔３５２、３５２にも当てはまり、該間隔は同様に累積の、インター属性和集合が内部に有しない。したがって、該和集合の開始時及び終了時はその場合、時間３３０、３１８、３２０、３２２によって規定され、停止基準はこの時点でマージを停止する。これらの時間は表示３７０に表され、同様な参照番号は先行する表現から残されたものである。表現３７０は２つのストーリー・セグメント時間間隔３７２、３７４を規定する累積の、インター属性和集合である。２つのストーリー・セグメント間隔３７２、３７４は別個のストーリーを区切るものとみなされるが、それは該間隔が時間的に相互排除的であるからである。
【００５６】
図４はマージに進む前に２つの属性のストーリー属性時間間隔の和集合を形成する選択枝を示すインター属性マージ処理４００の例示的機能図である。（このインター属性「和集合」はインター属性「統合」からは、上記の「字幕」と「キーワード」とのように、区別される。時間的に排除的な時間間隔の和集合は、例えば、該時間間隔の、２つの時間的に排除的な時間間隔に及ぶ時間間隔を生成する、「統合」とは異なる。）参照番号は図３で既に表した構造に関連したものを残すものである。表現４１０はストーリー属性時間間隔４１２、４１４を有し、該時間間隔は各々、ストーリー属性時間間隔３１２、３３０の和集合及びストーリー属性時間間隔３１４、３２８の和集合である。インター属性マージ・モジュール１５２は和集合４１２及び４１４を図3に示すマージ処理を開始する前に生成する。ストーリー属性時間間隔４１２、４１４は両方とも優性な属性、すなわち、「パン」、に基づいて判定される（更に、非優性属性、すなわち、「色」に基づいて判定される。）。表現２３０及び３５０は図３にも表され、テキスト属性「キーワード」及びオーディオ属性「雑音」に相当する。
【００５７】
図４では、表現３６４は、図３にも表されるストーリー属性時間間隔の２つの累積の、インター属性和集合３６６、３６８を有する。和集合３６６、３６８を形成する際に、該処理は図３において行われる処理と同様に進む。表現４１０、２３０、３５０におけるストーリー属性時間間隔で、累積のインター属性和集合が既に有するストーリー属性時間間隔と少なくとも部分的に交わるものが蓄積される。
【００５８】
たまたま、「少なくとも部分的な交わりの方法」から結果として生じる（あらかじめ結合されたものとしてパン属性及び色属性を表す）図４におけるストーリー・セグメント時間間隔３６６、３６８は（パン属性及び色属性が別個の）図３と同様な方法によって形成されたストーリー・セグメント時間間隔３６６、３６８と全く同じである。
【００５９】
同様に、「少なくとも所定の比率による交わりの方法」を用いて該表現をマージすることはたまたま、（パン属性及び色属性があらかじめ結合された）図４のストーリー・セグメント時間間隔３７２を生成し、該間隔は（パン属性及び色属性が別個の）図３のマージ処理によって生成されたまさにその間隔と全く同じものである。
【００６０】
しかしながら、「少なくとも所定の比率による交わりの方法」は（パン属性及び色属性があらかじめ結合された）図４のストーリー・セグメント時間間隔３６８を生成することによって異なる結果をもたらす一方、該方法は（パン属性及び色属性が別個の）図３のストーリー・セグメント時間間隔３７４を生成する。各々の結果の差異は、間隔３２８が時間的に間隔３１４と交わり、２つの該間隔が図４であらかじめ結合されていることが理由である一方、間隔３２８は間隔３１４の長さの５０％だけ間隔３１４と交わることができない理由で、図３の累積のインター属性和集合から除外される。
【００６１】
「少なくとも部分的な交わりの方法」の変形は、該表現を通じて、単一パスではなく複数パスが行われ、該複数パスは往復して行われる。すなわち、下方パスは上記の方法で行われ、既に蓄積されたストーリー属性時間間隔と、少なくとも部分的に、交わる、如何なる別のストーリー属性時間間隔をも、累積の、インター属性和集合に有する上方パスによって後続される。例えば、優性は第１パスについてはテキスト、オーディオ及び映像の順序で割り当てられ得、マージはテキスト、次にオーディオ、更に、次に映像に相当する下方順序で行われる。マージの第２パスは、映像、次にオーディオ、更に、次に、テキスト、に相当する、逆の順序で行われる。したがって、奇数番号のパスは第１パスと同様の順序でマージする一方、偶数番号のパスは第２パスと同様な順序でマージする。パスの数は停止基準によって判定される。
【００６２】
選択的に、属性の優性及び、該属性がマージされる相当する順序、はパスからパスによって変わってくることがある。したがって、上記の例においては、例えば、第２パスはオーディオ、次にテキスト、更に、次に映像の順にマージし得る。第２パス又は後続するパスにおいて属性に割り当てられる優性は経験的に映像番組（例えば、ニュース、アクション、ドラマ・トーク番組など）のジャンル（分類）によってあらかじめ規定される。ジャンルは、例えば、イントラ属性均一性モジュール１３６によって、公知の自動映像分類方法によって、判定し得る。経験的学習処理はパス毎に属性に対する優性の割り当てを変える方法を判定し、所望のストーリー・セグメンテーション結果を実現する。
【００６３】
「少なくとも部分的な交わりの方法」の別の変形はストーリー属性時間間隔を選択的に、該間隔が判定される属性の信頼性尺度に基づいて、有する。
【００６４】
別の代替例として、ストーリー・セグメント時間間隔は優性な属性に基づいて判定されたストーリー属性時間間隔と同一にさせ得る。
【００６５】
操作上、ユーザが、保存するようマルチメディア・データ１１５から抽出されたストーリーを、操作ユニット１４５を通じて、規定する。ストーリー選定はテンプレート・モジュール１３７に転送される。着信マルチメディア・データ１１５はデマルチプレクサ１１６によって多重分離され、着信マルチメディア・データ１１５の当該モダリティ・ストリーム成分のモダリティに相当するバッファ１２４の部分にバッファされる。
【００６６】
イントラ属性均一性モジュール１３６はモダリティ・ストリーム１１８、１２０、１２２を各ポート１３０、１３２、１３４を通じて、かつ、属性均一性信号を、均一性の期間を特定する属性を規定するテンプレート・モジュール１３７から、受信する。イントラ属性均一性モジュール１３６は該期間の開始時及び終了時を属性統合モジュール１４４に各々のモダリティのポート１３８、１４０、１４２を介して送信する。
【００６７】
属性統合モジュール１４４はテンプレート・モジュール１３７から検出されるストーリーを特徴付ける時間的規則を受信し、該規則を均一性の期間に適用して各々のストーリー属性時間間隔を形成する。該規則の適用は更に、属性統合モジュール１４４が各々の属性についての信頼性尺度を導出し、該尺度に基づいて、優性属性の、デフォールト選定値を、該選定値がある場合、オーバライドすることを可能にする。属性統合モジュール１４４は優性属性の選択をインター属性マージ・モジュール１５２に伝え、ストーリー属性時間間隔の開始時及び終了時をインター属性マージ・モジュール１５２に各々のモダリティのポート１４６、１４８、１５０を介して送信する。
【００６８】
インター属性マージ・モジュール１５２は累積して種々の属性のストーリー属性時間間隔を、属性統合モジュール144が特定した優性の属性から開始して、インター属性マージ・モジュールが導出する各々の属性信頼性尺度に基づいた順序によって、マージする。該マージの結果は1つ以上のストーリー・セグメント時間間隔である。
【００６９】
ストーリー・セグメント時間間隔が判定されると、インター属性マージ・モジュール１５２はストーリー・セグメントを、時間的にストーリー・セグメント時間間隔中に存在するマルチメディアの部分のコンテンツの特性によって、該時間間隔の開始時及び終了時をインデックスすることによって、形成する。コンテンツの特性の例はイントラ属性マージ・モジュール１５２がイントラ属性均一性モジュール１３６から得る均一性の期間を特定するのに用いるヒストグラム又は他のデータである。別の例は、インター属性マージ・モジュール１５２が字幕テキストから、ことによると辞書又は「知識」データベースを照会してから、導出する、該ストーリー（又は、「グローバル経済学」のような、該ストーリーのテーマ）を記述する語である。別の例はインター属性マージ・モジュール１５２がバッファ１２４におけるストリーム１１８、１２０、１２２から直接導出する特性データである。
【００７０】
イントラ属性マージ・モジュール１５２はインデックスされたセグメントをマルチメディア・セグメント・リンク・モジュール１５６に転送する。マルチメディア・リンク・モジュール１５６はバッファ１２４に新しいストーリー・セグメントの開始時と終了時との範囲内に時間的におさまる現在バッファされているストリーム１１８、１２０、１２２の部分を大容量記憶装置１２６に記憶するよう通知する。バッファ１２４は該部分が記憶された大容量記憶装置に対して新しいストーリー・セグメントの開始時インデックス及び終了時インデックスをリンクする情報を保持する。
【００７１】
別の実施例では、累積の、インター属性和集合が内部に有するストーリー属性セグメントの開始時及び終了時が、イントラ・モードで、例えば、所定のモードのあるストーリー属性時間間隔の最も早い開始時及び最も遅い終了時を保存することによって、組み合わされる。該モードの開始時はその場合、ストーリー・セグメントにおけるポインタとして保持され、各々のポインタ内部に時間的に存在するストリーム１１８、１２０、１２２の部分のみが大容量記憶装置にセーブされる。
【００７２】
マルチメディア・セグメント・リンク・モジュール１５６はデータ構造に新しいストーリー・セグメントを記憶し、データ構造モジュール１５８と連携して該データ構造において何か関連するストーリーが既に存在するか、すなわち、新しいストーリー・セグメントと何か既に存在するストーリー・セグメントが一緒に適切性フィードバックにおいて使用されるようなセグメント関連性基準を満足するか、を判定する。
【００７３】
特定のストーリーを視るよう、ユーザは、画面メニューを介するなどして、操作ユニット１４５を操作して、データ構造モジュール１５８に対してサーチ・インデックスを送信する。データ構造モジュール１５８は操作ユニット１４５に対して所望するストーリー及び、もしあれば、関連するストーリーの相当する開始時及び終了時を応答する。操作ユニット１４５は該開始時及び終了時をバッファ１２４に転送し、該バッファは該開始時及び終了時を保持されたリンクと照合して大容量記憶装置１２６において該ストーリーを区切るアドレスを判定する。該バッファは大容量記憶装置１２６からの該ストーリーを、ユーザが視るよう、操作ユニット１４５に転送する。
【００７４】
本発明はPVR内部での実施に限定されるものでないが、例えば、インターネット上の自動ニュース・パーソナル化システム、セット・トップ・ボックス、インテリジェントPDA（携帯情報端末）、大容量映像データベース及び広く普及している通信/娯楽用デバイスにおけるアプリケーションを有する。
【００７５】
したがって、本発明の基本的な新規の特徴を該発明の好適実施例に形成されたようなものを表し、説明し、指摘した一方で、該示したデバイスの形態及び詳細における種々の省略及び置換並びに変更を、本発明の精神から逸脱することなく当業者によって行い得ることがわかる。例えば、同様な結果をもたらす実質的に同様な方法において同様な機能を実行する当該要素及び/又は方法工程の組み合わせは全て、本発明の範囲内におさまることが明らかに企図されている。更に、本発明の開示された形態又は実施例のどれかに関連して表された、かつ/又は、説明された、構造並びに/若しくは要素及び/又は方法は設計の選択の一般的な事項として如何なる別の、開示された、若しくは、説明された、又は、提案された、形態又は実施例においても組み入れられてもよいことがわかるはずである。
したがって、本特許請求の範囲によって示されたようにのみ限定されることを企図するものである。
【図面の簡単な説明】
【００７６】
【図１】本発明による実施例の構成図である。
【図２】本発明による、均一性の期間を形成する工程及び該期間を統合する工程の機能図である。
【図３】本発明による、属性間で期間をマージする工程の機能図である。
【図４】本発明による、属性間で期間をマージする工程の別の機能図である。
【図１】
2005514841.tif 000003
【図２】
2005514841.tif 000004
【図３】
2005514841.tif 000005
【図４】
2005514841.tif 000006
【国際調査報告】
2005514841.tif 000007
2005514841.tif 000008
2005514841.tif 000009
2005514841.tif 000010