(57)【要約】  無線通信に関する包括的マルチメディアコンテンツリパーパス処理は、コンテンツ情報のコンパクト表現であるコンテンツコンストラクトを利用する。映像コンテンツに対し、コンストラクトは、シーケンス内のオブジェクトの２Ｄ画像領域及び/または３Ｄ空間領域を表すコンテンツオペレータであり、様々な視覚属性により特徴付けされ、映像処理技術を利用したセグメント化により映像シーケンスから抽出される。コンストラクトは、可動装置のリソース制約に適応するためイントラ及びインターモダリティ変換に利用される。
2005512215.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ情報のコンパクト表現であり、映像コンテンツのためのコンテンツオペレータを有するコンテンツコンストラクトを生成するコントローラを有するマルチメディアコンテンツリパーパス処理のためのシステムであって、前記コンテンツコンストラクトはモダリティ内あるいはモダリティ間の前記コンテンツの変換に適することを特徴とするシステム。
【請求項２】
請求項１記載のシステムであって、前記映像コンテンツのための視覚コンテンツオペレータは、シーケンス内の連続する画像を登録し、前記登録された画像の画像速度を予測し、フォアグラウンドオブジェクトを特定する画像領域をセグメント化し、及び形状テンプレートを生成することにより構成されることを特徴とするシステム。
【請求項３】
請求項１記載のシステムであって、前記コンテンツコンストラクトは、カット及びペースト処理により再帰的に合成された連続した画像のためのアルファマップから導出される前記映像コンテンツのための階層化モザイクを有することを特徴とするシステム。
【請求項４】
請求項１記載のシステムであって、前記映像コンテンツのためのコンテンツコンストラクトは、前記映像コンテンツ内の画像をカラー、明るさ、テクスチャ及び動きの１以上のスムース値の領域に変換するため利用されることを特徴とするシステム。
【請求項５】
請求項１記載のシステムであって、前記映像コンテンツのためのコンテンツコンストラクタは、前記映像コンテンツ内の画像をアニメ画像に変換するため利用されることを特徴とするシステム。
【請求項６】
マルチメディアコンテンツに選択的にアクセスすることが可能な可動装置と、
可動装置への送信のためのマルチメディアコンテンツを有し、コンテンツ情報のコンパクト表現であり、映像コンテンツのためのコンテンツ処理を有するコンテンツコンストラクトを生成するコントローラを有するサーバとを有するマルチメディアコンテンツリパーパス処理のためのシステムであって、前記コンテンツコンストラクトはモダリティ内あるいはモダリティ間の前記コンテンツの変換に適することを特徴とするシステム。
【請求項７】
コンテンツ情報のコンパクト表現であり、映像コンテンツのためのコンテンツオペレータを有するコンテンツコンストラクトを生成するステップを有するマルチメディアコンテンツリパーパス処理のための方法であって、前記コンテンツコンストラクトはモダリティ内あるいはモダリティ間の前記コンテンツの変換に適することを特徴とする方法。
【請求項８】
請求項７記載の方法であって、前記映像コンテンツのためのコンテンツオペレータを生成するステップは、さらに、
シーケンス内の連続する画像を登録するステップと、
前記登録された画像の画像速度を予測するステップと、
フォアグラウンドオブジェクトを特定する画像領域をセグメント化するステップと、
形状テンプレートを生成するステップとを有することを特徴とする方法。
【請求項９】
請求項７記載の方法であって、前記映像コンテンツのためのコンテンツコンストラクトを生成するステップは、さらに、階層化モザイクを生成するため、カット及びペースト処理により連続する画像のためのアルファマップを再帰的に合成することを特徴とする方法。
【請求項１０】
請求項７記載の方法であって、さらに、
前記映像コンテンツのためのコンテンツコンストラクトを利用して前記映像コンテンツ内の画像をカラー、明るさ、テクスチャ及び動きの１以上のスムース値の領域に変換するステップを有することを特徴とする方法。
【請求項１１】
請求項７記載の方法であって、さらに、
前記映像コンテンツのためのコンテンツコンストラクタを利用して前記映像コンテンツ内の画像をアニメ画像に変換するステップを有することを特徴とする方法。
【請求項１２】
コンテンツ情報のコンパクト表現であり、映像コンテンツのためのコンテンツオペレータを有するコンテンツコンストラクトから生成されるマルチメディア情報を有する信号であって、前記コンテンツコンストラクタはモダリティ内あるいはモダリティ間の前記コンテンツの変換に適することを特徴とする信号。
【請求項１３】
請求項１２記載の信号であって、前記映像コンテンツのための視覚コンテンツオペレータは、シーケンス内の連続する画像を登録し、前記登録された画像の画像速度を予測し、フォアグラウンドオブジェクトを特定する画像領域をセグメント化し、及び形状テンプレートを生成することにより構成されることを特徴とする信号。
【請求項１４】
請求項１２記載の信号であって、前記コンテンツコンストラクトは、カット及びペースト処理により再帰的に合成された連続した画像のためのアルファマップから導出される前記映像コンテンツのための階層化モザイクを有することを特徴とする信号。
【請求項１５】
請求項１２記載の信号であって、前記映像コンテンツのためのコンテンツコンストラクトは、前記映像コンテンツ内の画像をカラー、明るさ、テクスチャ及び動きの１以上のスムース値の領域に変換するため利用されることを特徴とする信号。
【請求項１６】
請求項１２記載の信号であって、前記映像コンテンツのためのコンテンツコンストラクタは、前記映像コンテンツ内の画像をアニメ画像に変換するため利用されることを特徴とする信号。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本出願は、２００１年１２月４日に出願された米国特許出願第１０／０１１，８８３号「マルチメディア情報の分散処理、記憶及び送信」の一部継続出願として優先権を主張する。上記出願の内容は参照することによりここに含まれる。
【０００２】
本発明は、一般にマルチメディアコンテンツトランスコード処理（ｍｕｌｔｉｍｅｄｉａ  ｃｏｎｔｅｎｔ  ｔｒａｎｓｃｏｄｉｎｇ）に関し、より詳細には可動装置のリソース制約の下での利用のためのイントラ及びインターモダリティマルチメディアコンテンツトランスコード処理（ｉｎｔｒａ−  ａｎｄ  ｉｎｔｅｒ−ｍｏｄａｌｉｔｙ  ｍｕｌｔｉｍｅｄｉａ  ｃｏｎｔｅｎｔ  ｔｒａｎｓｃｏｄｉｎｇ）に関する。
【０００３】
マルチメディアコンテンツは、音声、映像及びテキストの相異なる３つのモダリティの１つ、あるいはそれらを組み合わせたものの形態をとりうる。「リパーパス処理（ｒｅ−ｐｕｒｐｏｓｉｎｇ）」の内容は、例えば、映像から映像へ、映像から静止グラフィック画像へ、映像領域における自然画像からアニメへ、音声領域における自然音声から人工音声へ、及びテキスト領域におけるフルテキストからサマリへのような、与えられた領域内のコンテンツ表現を変えることによるコンテンツの再フォーマット処理（ｒｅ−ｆｏｒｍａｔｔｉｎｇ）、再スケール処理（ｒｅ−ｓｃａｌｉｎｇ）及び/またはトランスコード処理（ｔｒａｎｓｃｏｄｉｎｇ）のことを一般的及び理論的にいう。さらに、コンテンツは、例えば、映像からテキストへ、あるいは音声からテキストへのようなある領域から他の領域への変更によりリパーパス処理されるかもしれない。
【０００４】
コンテンツリパーパス処理の主たる利用は、可動（例えば、無線）装置上でのマルチメディア情報の処理、記憶、送信及び表示を可能にすることである。典型的に、そのような装置には、処理、記憶、送受信及び表示能力にかなり厳しい制限がある。コンテンツリパーパス処理を通じて、可動装置のユーザは、状況に応じた可変的クオリティを有するマルチメディア情報に、最善の利用可能なマルチメディアモダリティを利用することにより、コンスタントなアクセスを有するかもしれない。
【０００５】
現在のコンテンツリパーパス処理の実現には、主として、会話中の音声が解析されて、例えば、音声応答（ダイアルイン）システムで利用されるテキストへの変換のため母音と子音に変換される発話テキスト変換が含まれる。ほとんどテキスト情報のみを処理する要約化が利用される。
【０００６】
以上より、より汎用的な利用のためのコンテンツリパーパス処理のためのより向上した技術の必要性がある。
【０００７】
上記従来技術の問題点を解決するため、本発明の主たる課題は、無線通信システムにおける利用のため、コンテンツ情報のコンパクト表現であるコンテンツコンストラクトを利用する包括的なマルチメディアコンテンツリパーパス処理を提供することにある。映像コンテンツに対しては、コンストラクトは、シーケンス内の様々な視覚属性により特徴付けされたオブジェクトに対する２Ｄ画像領域及び/または３Ｄ空間領域を表し、映像処理技術を利用したセグメント化により映像シーケンスから抽出されるコンテンツオペレータである。コンストラクトは、形態装置のリソース制約を調整するイントラ及びインターモダリティ変換に利用される。
【０００８】
前述の説明は、当業者が以下の本発明の詳細な説明をよりよく理解できるよう、本発明の特徴及び技術的効果をやや広く概説したものである。本発明のクレームの主題を構成する本発明のさらなる特徴及び効果が以下で説明される。本発明と同様の目的を実行するための他の構成を変更及び設計するための基礎として、開示される概念及び特定の実施例が容易に利用されうるということは、当業者には理解されるであろう。当業者はまた、そのような等価な構成が最も広い形態において本発明の趣旨及び範囲から逸脱するものでないとわかるであろう。
【０００９】
以下における本発明の詳細な説明を行う前に、本特許書類を通じて利用される特定の単語及びフレーズの定義を与えることが有益であろう。「〜を含む」及び「〜より構成される」という用語は、それらの派生語と共に限定のない包含を意味し、「または」という用語は、「及び/または」を意味する包含的なものであり、「〜に関する」及び「それに関する」という用語は、それらの派生語と共に、「〜を含む」、「〜に含まれる」、「〜と結び付く」、「含む」、「〜に含まれる」、「〜と接続する」、「〜と結合する」、「〜と通信する」、「〜と協調する」、「〜を挟む」、「〜を並列する」、「〜に近似する」、「〜に制限される」、「〜を有する」、「〜の性質を有する」などを意味し、「コントローラ」という用語は、少なくとも１つの処理を制御する任意の装置、システムまたはその要素を意味し、そのような装置はハードウェア、ファームウェア、ソフトウェアあるいはそれら少なくとも２つの組み合わせにより実現されるかもしれない。ここで、任意の特定のコントローラに関する機能は集中化または分散化されていてもよく、ローカルあるいは遠隔的であってもよい。本特許書類を通じて、特定の単語及びフレーズの定義が与えられ、当業者はそのような定義が、大部分ではないが多くの場合、そのように定義された単語とフレーズの従来及び将来の利用に適用されるということを理解するであろう。
【００１０】
本発明及びそれの効果のより完全なる理解のため、図面と共に与えられる以下の説明に対する参照がなされる。ここで、同一の番号は同一のオブジェクトを表す。
【００１１】
以下に説明される図１から図３と、本特許書類における本発明の原理の説明に利用される様々な実施例は、単なる例示のためのものであり、本発明の範囲を制限するものと解釈されるべきではない。本発明の原理が任意の適当にアレンジされた装置により実現されるということを当業者は理解するであろう。
【００１２】
図１は、本発明の一実施例によるコンテンツリパーパス処理を利用するデータ処理システムネットワークを示す。データ処理システムネットワーク１００は、サーバシステム１０１とクライアントシステム１０２を有する。示される例では、サーバ１０１とクライアント１０２は無線接続され、相互動作可能である。サーバ１０１は、デスクトップパーソナルコンピュータ（ＰＣ）、ラップトップ及び「スーパーコンピュータ」のような任意のシステム、あるいは中央演算ユニット（ＣＰＵ）、ローカルメモリシステム及び畳み込みのような特定の信号処理を実行する専用チップ群を有する他の任意のシステムであるかもしれない。データ処理システム１００は、映像、データ、音声あるいはそれらの組み合わせを含む任意のタイプの無線通信ネットワークを含んでもよい。可動（あるいは固定の無線接続された）装置１０２は、例えば、電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、コンピュータ、衛星または地上波テレビ及び/または無線受信システム、あるいはセットトップボックスであるかもしれない。
【００１３】
データ処理システムネットワークの完全な構成及び動作は図面に示されず、またここで説明されないということを当業者は認識している。代わりに、簡単化のため、本発明に特徴的あるいは本発明の理解に必要なデータ処理システムの構成及び動作の詳細のみが図示及び説明される。システムの残りは、既存のものにより構成及び実行されるかもしれない。
【００１４】
図２Ａから２Ｃは、本発明の一実施例によるイントラモダリティ視覚コンテンツリパーパス処理を示す。本実施例では、サーバ１０１は、クライアント１０２に送られるコンテンツに対する映像シーケンス及び/または静止画像リパーパス処理を実行することができる。
【００１５】
図２Ａに示される映像リパーパス処理では、映像シーケンス２０１がコンストラクト生成器２０２によりコンストラクトに変換される。コンストラクトは、コンパクトな映像シーケンス表示の要素を説明し、（ａ）映像シーケンスコンテンツ情報２０３へのアクセス、もとの入力映像シーケンス２０４の合成（または新しい映像シーケンスの生成）、及び（ｃ）映像シーケンス２０５の圧縮を可能にする。各コンストラクトは、長い映像シーケンスを表すことが可能な少数のコンストラクトにより、映像コンテンツ情報のコンパクトな表現である。
【００１６】
コンストラクトの利用は、単なる映像圧縮などを越えるものである。映像シーケンスをコンストラクト群に変換するとき、映像シーケンスは実際新たなビルディングブロック群に改められる。映像符号化では、例えば、映像シーケンスは、圧縮されていない形式でのフレームまたはフィールドにより、あるいは圧縮形式での映像ストリームにより表される。この表現では、原子となるユニットは、非圧縮形式では画素またはフィールド（フレーム）であり、圧縮形式ではパッケージであり、この表現は映像コンテンツ情報に関して構成されてはいない。
【００１７】
映像コンテンツ情報は、様々な視覚属性（例えば、色、動き、形状）により特徴付けされる２次元（２Ｄ）画像領域または３次元（３Ｄ）画像領域のような「オブジェクト」により与えられる中間レベルの視覚コンテンツ情報である。映像コンテンツ情報を生成するために、当該情報は映像シーケンスからセグメント化される必要があり、これには様々な画像処理及び/またはコンピュータ視覚技術の利用が必要とされる。例えば、エッジ/形状セグメント化、動き解析（２Ｄまたは３Ｄ）、あるいはカラーセグメント化が、セグメント処理に利用されてもよい。さらに、セグメント化された映像コンテンツ情報のコンパクトな表現もまた重要である。図２Ｂは、セグメント化とコンパクト化を示し、ここでは入力映像シーケンス２０１がコンパクト映像コンテンツオペレータ２０８を生成するためセグメント及びコンパクト化ユニット２０６と２０７により処理される。コンテンツオペレータ２０８は、映像コンテンツコンストラクト群の一部を構成する。
【００１８】
他のタイプの映像コンテンツコンストラクトとして階層化モザイク２０９があり、これは、（ｉ）異なるモザイク間の相対深さ情報を決定し、（ｉｉ）この相対深さ情報を図２Ｃに示されるような入力ソース、部分モザイク及びコンテンツオペレータからの各フレームと増加的に合成することにより生成される。
【００１９】
図２Ｃのコンパクト映像コンテンツオペレータ２０８と階層化モザイク２０９により、映像コンテンツセグメント及びコンパクト化ユニット２０６と２０７と共に、図２Ａのコンストラクト生成器２０２を表す映像コンストラクトを構成する。
【００２０】
以下のコンストラクトの生成例を与えるのに、以下の視覚条件が仮定される。すなわち、３Ｄの世界（シーン）は剛体オブジェクトから構成され、これらのオブジェクトが、フォアグラウンドが独立に動く（剛体）オブジェクト群から構成される一方、静止（または少なくともゆっくり変化する）したシーンバックグラウンドを構成する異なる深さで分布し、オブジェクトはほぼ平面であるローカル面を有し、全体シーンの明るさは一様である。
【００２１】
時点ｋ及びｋ−１で映像シーケンスからとられる２つの連続したフレームＩｋ−１とＩｋが与えられると、コンパクト映像コンテンツオペレータは以下のように生成される。
【００２２】
まず、各画素における画像強度を比較することにより画像Ｉｋ−１とＩｋを登録せよ。もしＩｋ−１＝Ｉｋ−１（ｘｋ−１，ｙｋ−１）かつＩｋ＝Ｉｋ（ｘｋ，ｙｋ）（ただし、（ｘｋ−１，ｙｋ−１）と（ｘｋ，ｙｋ）は、それぞれ時点ｋ及びｋ−１でのｘｙ座標画像画素を表す）である場合、３×３行列Ｒ（・，・）の９つの要素を以下のように
【００２３】
【数１】
2005512215.tif 000003
計算することにより画像Ｉｋ−１とＩｋを登録する。行列Ｒ（・，・）は、例えば、Ｒ（２，０）＝Ｒ（２，１）＝０，Ｒ（２，２）＝１，Ｒ（０，０）＝ｓｘ，Ｒ（０，１）＝ｒｘ，Ｒ（１，０）＝ｒｙ及びＲ（１，１）＝ｓｙ（ただし、ｓｘ，ｓｙ，ｒｘ及びｒｙは、それぞれスケーリング及び回転（２Ｄ）画像ベクトル
【００２４】
【数２】
2005512215.tif 000004
のｘｙ要素を表す）による（６つのパラメータの）アファインモデルを利用するというような異なる方法により計算されてもよい。他の適切なモデルとして、８つのパラメータによるパースペクティブモデル（ｐｅｒｓｐｅｃｔｉｖｅ  ｍｏｄｅｌ）がある。何れの場合でも、画像Ｉｋ−１とＩｋの登録結果は、画像ＩＲｋ−１である。
【００２５】
次に、エネルギーベース及び勾配ベースを含む多くのテクニックの１つを利用して、登録画像Ｉｋ−１とＩｋに対して画像速度が予測される。結果として得られる画像速度は、一様に動く３Ｄ剛体オブジェクトに関する領域の画素速度を決定し、フォアグラウンドの３Ｄオブジェクトと関連する２Ｄ画像領域に対応する。
【００２６】
画像速度の予測結果と他の視覚属性に基づき、フォアグラウンドのオブジェクトに関する要素を決定するため、画像領域がセグメント化される。これにより、関連するアルファマップによるギャップを埋めるための適切な後処理が行われる画像領域が得られる。
【００２７】
この画像領域から、コンパクトな形状テンプレート群が計算幾何のテクニックにより生成されるかもしれない。シンプルな表現は矩形近似に関するものである。例えば、モザイクはワールド領域の関連する相対深さに従いレイヤに入力され、再帰アルゴリズムを通じて追加的に生成される映像シーケンスに関する非冗長情報を符号化した拡張平面画像である。このアルゴリズムの各ステップで、最も最近に生成されたモザイクと現在映像シーケンスの画像との比較により、当該モザイクの新しいインスタンスが生成される。一般的に、階層化モザイクの生成は、各々が{α１，…，αＮ}の関連するコンパクトアルファマップαを有するＮ個の連続するフレームから構成される映像シーケンス{Ｉ１，…，ＩＮ}から始まる。各アルファマップは、モザイク領域の内部を埋めることによりコンパクト映像コンテンツオペレータから生成され、内部領域には１を、それ以外には０を有するバイナリ画像である。相対深さについての情報、すなわち、バックグラウンド画像に関する各フォアグラウンドオブジェクトとフォアグラウンドオブジェクトのすべての相対順序が利用され、レベルＬ以内の各モザイク平面間の区別が可能であると仮定すると、Ｌ個のモザイク群｛Φ１，…，ΦＬ｝(ただし、ｉ番目のモザイクΦｉは開始ステップｒ＝１においてΦｉ１＝αｉ１Ｉ１により計算され、以降のステップｒ＝２，…，Ｎにおいてアルファマップ｛αｉ２，…，αｉＮ｝の集合を｛Ｉ１，…，ＩＮ｝と再帰的に合成することにより計算される)は、各ステップｒに対してΦｉｒを生成する。
【００２８】
最後に、画像領域及び形状テンプレートを補完し、画像速度と映像コンテンツ情報を十分表すのに必要な他の視覚属性を記述する補助的情報が決定される。映像コンストラクトの生成結果は、コンパクト映像コンテンツオペレータ群、階層化モザイク群及び補助的情報である。画像リパーパス処理は、画像の複雑さを減少させるためのものである。例えば、画像は、カラー、明るさ、テクスチャ、動きなどのスムースな値の領域に変換されてもよい。このタスクのための１つの可能な一般的テクニックは、以下のコスト関数を最小するというものである。
【００２９】
【数３】
2005512215.tif 000005
ただし、Ｉ（・，・）は予測対象の画像領域Ｒを、ＩＭ（・，・）は実際の（未加工の）画像を表し、
【００３０】
【数４】
2005512215.tif 000006
である。
【００３１】
実際、画像領域Ｒは、
【００３２】
【数５】
2005512215.tif 000007
であり、境界全体Γは領域Ｒ全体を囲む。方程式（３）の第１項が実際の画像とスムース画像との「誤差」を決定し、第２項が「スムース」項を決定し、第３項は境界長さ｜Γ｜（ただし、νは定数）に比例する。動作の実現のため、方程式（３）は略離散化されるべきであり、すなわち、各項の合計により近似されるべきである。
【００３３】
方程式（３）の解析で、Ｉ（・，・）及びＩＭ（・，・）はスムース化される視覚属性を表している。例えば、スムース化画像速度が
【００３４】
【数６】
2005512215.tif 000008
である場合、
【００３５】
【数７】
2005512215.tif 000009
であるなどである。
【００３６】
あるいは、画像は、Ｉ（・，・）が区分的に定数に限定される
【００３７】
【数８】
2005512215.tif 000010
方程式（３）の簡易版を利用することによりアニメ画像ＩＣに変換されてもよい。より正確には、各領域Ｒｉに対して、Ｉ（・，・）の値は、Ｉｉ（・，・）＝Ｋｉ（ここで、Ｋｉは領域Ｒｉ内の一定の実数）として近似される。μが一定である場合、方程式（３）は、
【００３８】
【数９】
2005512215.tif 000011
により近似される。ただし、
【００３９】
【数１０】
2005512215.tif 000012
である。これにより、
【００４０】
【数１１】
2005512215.tif 000013
となることがわかるであろう。
【００４１】
Ｉ（・，・）のアニメ化は与えられた属性に対して一定の値を有する領域を生成する。領域の境界が黒でマークされるとき、完全なアニメ化が実現される。アニメ画像ＩＣは、もとの画像Ｉの主要な特徴を維持するもとの画像をシンプル化したものとなる。
【００４２】
自然から合成への視覚情報の変換は、コンテンツリパーパス処理の重要なアプリケーションである。自然の３Ｄオブジェクトから合成３Ｄオブジェクトへの変換のため３Ｄメッシュが利用されてもよい。すなわち、自然３Ｄオブジェクトから合成２Ｄオブジェクトメッシュへの変換に対して透視及び射影変換の組み合わせが利用されてもよい。自然２Ｄオブジェクトから合成２Ｄオブジェクトへの変換に対して、２Ｄメッシュ及び計算幾何ツールが利用されてもよい。
【００４３】
音声リパーパス処理は、音声認識により音素が生成され、音素からテキストへの変換が行われる既知のテクニックによる音声テキスト変換を含む。本発明では、音素はコンパクトな基本要素群としてみなされ、それによって、テキスト情報が以下で詳細に説明されるような辞書を利用して生成される。
【００４４】
インターモダリティコンテンツリパーパス処理は、異なるモダリティ間のリパーパスマルチメディア情報に対応する。一般に、インターモダリティコンテンツリパーパス処理の枠組みは、（ｉ）マルチメディアコンテンツのセグメント化、（ｉｉ）テンプレート/パターンマッチング、（ｉｉｉ）クロスモダリティ翻訳辞書の利用、を含む。マルチメディア情報を処理するとき、複雑さに関する全体的な階層は、以下のような３つの構成要素（視覚、音声及びテキスト）で存在する。
【００４５】
視覚（映像）→視覚（画像）→音声→テキスト  （７）
従って、これらの異なるモダリティでの変換は式（７）で定義されるフローに従うべきである。このパターンは、コンテンツ階層として必ずしも支配されるわけではないが、様々なモダリティ内のコンテンツを表現するのに必要なビットにより必要とされる。
【００４６】
方程式（７）により定義されるフローに従うリパーパスコンテンツのための１つの一般的なテクニックは、すべての視覚及び音声情報をテキストによる記述に変換するというものである。映像から静止画への変換は、あまり一般的でない視点（または透視）に関するコンテンツ情報の変換による映像シーケンスのフレームをサブサンプリングすることにより通常行われる。
【００４７】
本発明では、映像からテキストへの変換時における、テキスト領域でのコンパクト映像コンテンツ（映像コンストラクト）が説明される。同様に、コンパクト画像コンテンツがテキスト記述に変換される。映像から画像への変換では、コンパクトコンテンツオペレータを適用することにより、映像コンストラクトの特定領域（情報）にアクセスされる。
【００４８】
図３は、本発明の一実施例によるコンパクト情報を利用したインターモダリティコンテンツリパーパス処理を示す。一般に、マルチメディアモダリティにおけるコンテンツリパーパス処理がコンパクト情報（例えば、映像コンストラクト、画像アニメ）を利用した本発明において実行される。与えられたモダリティを表すコンパクト要素間の変換には、映像フレーム/フィールドから静止フレームまたはテキストへの変換において重要なコンパクト情報フォーマットが利用される。
【００４９】
システム３００において、別々の映像、音声及びテキスト入力３０１から３０３が利用され、追加的入力３０４が独立な入力から、あるいは映像入力３０１からサブサンプリングされた静止画像のために利用される。コンパクトコンストラクト３０５から３０８が、上述のように、異なるモダリティのコンパクトコンテンツ要素群の間の情報を解釈する辞書群（個別に図示せず）を利用したインターモダリティコンテンツリパーパス処理により生成される。モダリティ間の辞書はコンパクトコンテンツ情報が与えられたモダリティにおいてどのように記述されるかを定義し、独自の形式、あるいは合意された規格（例えば、ＭＰＥＧ−７、ＴＶ−Ａｎｙｔｉｍｅ、及び/またはＳＩＭＰＴＥ）を利用したメタデータにおけるテキスト及び/または基づくものであってもよい。異なるモダリティの要素間の変換は、映像から画像への変換に特に適したこれらの記述を利用して実行されるべきである。映像、画像または音声からテキストへの変換時、この記述は異なる詳細レベルで実現される説明を表す。このタイプの辞書の構成及び機能は、上記相互参照される出願においてより詳細に説明され、参照することによりここに含まれる。
【００５０】
本発明は、データベース内にコンテンツを含み、そのようなコンテンツの可動アクセスのためコンテンツをリパーパス処理する継続的にアクセスするコンテンツサーバにおいて実現されてもよい。コンテンツは、可動装置による当該コンテンツへのリクエストの前、あるいは可動装置内で利用可能なリソースに当該コンテンツをカスタマイズする特定装置からの特定リクエストに応答して、リパーパス処理される。特に、本発明は、カスタマイズされたＰＤＡやミニラップトップなどにインターネットアクセスを提供するためのＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｖｅｒｇｅｎｃｅ  Ｐｒｏｔｏｃｏｌ）やＲＴＰ（Ｒａｄｉｏ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｐｒｏｔｏｃｏｌ）を利用した無線通信において有効に利用されるかもしれない。
【００５１】
本発明はフル機能システムに関して説明されてきたが、本発明の機構の少なくとも一部は様々な形式での指示を含むマシーン利用可能な媒体の形態で配布可能であり、本発明は配布を実際行うのに利用される特定タイプの信号保持媒体に関係なく等しく適用されるということを当業者は理解するであろう。マシーン利用可能な媒体例として、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）のような不揮発性ハードコードタイプ媒体、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）のような記録可能タイプディスク、及びデジタルアナログ通信リンクのような送信タイプ媒体があげられる。
【００５２】
本発明は詳細に説明されてきたが、ここで開示された発明の様々な変化、代替、変形、拡張、ニュアンス、ぼかし、低級の形式、変更、改良、改善及び模倣が、最も広い形式において本発明の趣旨及び範囲を逸脱することなく可能である。
【図面の簡単な説明】
【００５３】
【図１】図１は、本発明の一実施例によるコンテンツリパーパス処理を利用したデータ処理システムネットワークを示す。
【図２Ａ】図２Ａは、本発明の一実施例によるイントラモダリティ視覚コンテンツリパーパス処理を示す。
【図２Ｂ】図２Ｂは、本発明の一実施例によるイントラモダリティ視覚コンテンツリパーパス処理を示す。
【図２Ｃ】図２Ｃは、本発明の一実施例によるイントラモダリティ視覚コンテンツリパーパス処理を示す。
【図３】図３は、本発明の一実施例によるコンパクト情報を利用したインターモダリティコンテンツリパーパス処理を示す。
【図１】
2005512215.tif 000014
【図２Ａ】
2005512215.tif 000015
【図２Ｂ】
2005512215.tif 000016
【図２Ｃ】
2005512215.tif 000017
【図３】
2005512215.tif 000018
【国際調査報告】
2005512215.tif 000019
2005512215.tif 000020
2005512215.tif 000021