(57)【特許請求の範囲】
【請求項１】
既存のメディア信号から新しいメディアプロダクションを作成する方法であって、該方法は、
メディア信号を解析してコンテンツ表現に対して予め定められた多数のデータ型の中の１つに対応するフォーマットでメディア信号のコンテンツの表現を作成するステップと、
前記コンテンツ表現ともう１つのデータ信号との間の機能的関係を定義するステップと、
前記機能的関係に従って前記メディア信号を変換して新しいメディアプロダクションを発生するステップと、
を含む方法。
【請求項２】
請求項１記載の方法であって、前記データ信号は第２のメディア信号のコンテンツ表現である方法。
【請求項３】
既存のメディア信号から適応メディアプロダクションを作成する方法であって、該方法は、
オリジナルメディア信号を解析して信号の性質を識別するメディア信号のコンテンツ表現を発生するステップと、
メディア信号およびコンテンツ表現のパーサー、関数、および生産者の関数従属性ネットワークを生成するステップと、
１つ以上の入力メディア信号を型付きデータパラメータとして関数従属性ネットワークへ指定してテンプレートを形成するステップと、
テンプレート入力の１つに対するデータ型に対応する新しいメディア信号を提供するステップと、
関数従属性ネットワーク内の関数を実行してオリジナルメディア信号を新しいメディア信号へ適応させ、かつ／もしくは新しいメディア信号をオリジナルメディア信号へ適応させるステップと、
その結果得られるメディアプロダクションをテンプレートから出力するステップと、
を含む方法。
【請求項４】
適応メディアコンテンツを発生するシステムであって、該システムは、メディア信号を処理してそのコンテンツの異なる各表現を提供する多数のメディアパーサーと、
前記コンテンツ表現およびメディア信号を各関数に従って処理してメディア信号を作成する多数のメディア生産者と、
前記個別のメディアパーサーおよびメディア生産者を選択的に組み合わせて、メディア信号の異なるコンテンツ表現とメディア信号との間の関数従属性を定義して新しいメディア信号を発生する、関数従属性ネットワークを発生するステップと、
前記関数従属性ネットワークへの入力信号に対するパラメトリックデータ型仕様を有するテンプレートを生成する手段と、
を含むシステム。
【請求項５】
適応メディアプロダクションを生成するための適応テンプレートであって、該テンプレートは、
互いに接続されたメディアパーサーおよびメディア生産者を含み、少なくとももう１つのメディア信号のコンテンツに基づいてメディア信号への予め定められた変換を生じる関数従属性ネットワークと、
メディア信号に対するパラメトリックデータ型を指定し、かつ指定したデータ型のメディア信号を前記関数従属性ネットワークへ通して指定したタイプのメディア信号を含むメディアプロダクションを発生させるメディア特性関数と、
を含む適応テンプレート。
【請求項６】
メディアプロダクション内にパラメトリック特殊効果を生成する方法であって、該方法は、
映像信号と共に演奏されるサウンドトラックの振幅を検出するステップと、
映像信号のフレームを、検出した振幅に比例する量だけ水平および垂直方向の少なくとも一方へ移動させるステップと、
前記移動と同時に、映像信号から発生される画像を、検出した振幅に比例する量だけ拡大するステップと、
を含む方法。
【請求項７】
メディアコンテンツを生成するためのユーザインターフェイスであって、該ユーザインターフェイスは、
メディア信号とコンテンツ表現の少なくとも選択された部分が空間的にディスプレイされる第１の列と、
ディスプレイされたメディア信号およびコンテンツ表現に対して実施される操作を指定する手段と、
ディスプレイされたメディア信号およびコンテンツ表現に対して実施される操作をグラフィック表示して操作の相互関係を空間的に表示する第２の列と、
前記結果が引き出されるメディア信号の時間的ディスプレイに対応する時間的方法で前記操作の結果を前記第１の列内にディスプレイする手段と、
を含むユーザインターフェイス。
【請求項８】
既存のメディア信号からメディアプロダクションを遠隔作成する方法であって、該方法は、
オリジナルメディア信号を第１のサイトで解析して信号の性質を識別するメディア信号のコンテンツ表現を発生するステップと、
メディア信号およびコンテンツ表現のパーサー、関数、および生産者の関数従属性ネットワークを含むテンプレートを前記第１のサイトで生成するステップと、
前記オリジナルメディア信号の少なくともいくつかを前記第１のサイトから遠隔の第２のサイトに格納するステップと、
前記オリジナルメディア信号の前記テンプレートおよび識別子を前記第２のサイトへ伝送するステップと、
前記第２のサイトに格納されたオリジナルメディア信号に関して前記テンプレートの関数従属性の関数を実行して前記第２のサイトでメディアプロダクションを作成するステップと、
を含む方法。
【請求項９】
請求項８記載の方法であって、前記関数従属性ネットワークへのオリジナルメディア信号入力の少なくともいくつかは前記第２のサイトには格納されず、さらに前記第２のサイトには格納されないオリジナルメディア信号だけをテンプレートを用いて伝送するステップを含む方法。
【請求項１０】
既存のメディア信号からメディアプロダクションを発生するシステムであって、該システムは、
メディア信号を処理してそのコンテンツの異なる各表現を提供する多数のメディアパーサーと、
各関数に従って前記コンテンツ表現およびメディア信号を処理してメディア信号を作成する多数のメディア生産者と、
個別の前記メディアパーサーおよびメディア生産者を選択的に組み合わせて、メディア信号の異なるコンテンツ表現とメディア信号との間の関数従属性を定義して新しいメディア信号を発生する、関数従属性ネットワークを発生する手段と、
前記関数従属性ネットワークへ入力される既存のメディア信号に対して実施される変換をディスプレイする手段と、
を含むシステム。
【発明の詳細な説明】
発明の分野
本発明は映像および音声信号等のタイムベースメディア信号の生産、変換、修正、再シーケンシング、および流通に関し、特に、ユーザ側に高レベルの技能を必要とせずにユーザから供給される新しいメディア信号を受け入れ、適応し、かつ／もしくは適応されることができる再構成可能な、適応メディアプロダクションを提供することができるメディア処理システムに関する。これらのプロセスは、限定はされないが、映画、テレビジョン、音楽、オーディオ、およびオンラインコンテンツ産業に向けられる。
発明の背景
今日、最も進んだメディア処理システムは計算装置ではなく機械装置である。それらは今世紀初頭の最初のフィルム編集システムと同様に広範な時間的メディアを直接操作し、そのユーザはまだそのように考えることを必要とされるている。最も進んだメディア編集システムがどのように作動するかを理解するために、時間的入口および出口点に従ってメディアを操作するバーチュアルロボットアームを想定することができる。操作されるコンテンツおよび実施される操作の異なるモデルにより、異なるメディア生産方法および異種のメディアプロダクションとなることがある。これに関して２つの歴史的な類似性が実例となる。最初の１つは１８世紀後半の銃製造工程における製品化された交換可能部品の発明に関連している。交換可能部品が発明される前は、銃メーカは部品が標準化されず再使用できないため困っていた。各部品は標準化され製品化されたものではなく、独特な手工芸によるものであった。製品化された交換可能な部品の発明により、銃の生産は前近代的生産モードから産業生産モードへと転換した。２０世紀後半において、メディア生産方法は１８世紀の終りに銃メーカが到達した産業化段階にまだ達成していない。本発明はこのような状況を変えようとするものである。
メディアを交換可能部品の製作により生産するには、純粋に機械的な生産モードでは不十分である。ソフトウェア部品の単純な定義、生成、および再使用を可能にした１９８０年代のソフトウェア設計における計算的生産方法の発明と同様に、計算的メディア生産方法が必要である。
新しいメディアコンテンツを迅速、簡単かつ反復生産する能力は、技能および資源の欠如により映画製作を歴史的に妨げてきた状況における特別な関心事である。特に、ホーム消費者による映画コンテンツの生産は、これらの目標を満たすのに必要な次の３つの能力の欠如に悩まされている。
・使い易くしかも強力な合成ツール
・ホーム内で生産できないメディアコンテンツへのアクセス
・高品質サウンドトラック（マルチトラック音楽、対談、ナレーション、および音響効果を含む）を生産するツール。
現在のメディア処理システムに関連するもう１つの制約は既存のメディアコンテンツの再使用にあまり適さないという事実である。新しいメディアコンテンツを生成するコストおよび／もしくは困難さが既存のメディアコンテンツを再使用するためのコストおよび／もしくは困難さを越えるような状況では特にそうである。メディア生産に参加したい消費者にとって、生産技能、財政的資源、およびメディア資産が欠如する場合既存のメディアへアクセスすることは最も重要なことである。現在、既存のレコーディングを効率的に検索し組み合わせて所望の効果を提供する機構はない。
要約すると、ユーザ側に高い技能レベルを必要とせずに高品質、適応メディアプロダクションを提供することができ、したがって平均的な消費者が使用するのに適したタイムベースメディア処理システムが必要とされている。本発明の目的はメディアコンテンツの生産および流通において新しい効率、方法、および形式を可能とすることである。また、本発明はメディアコンテンツの再使用、および間接的にはそれを生成する労力および専門的技術、を助成するメディア処理システムの必要性を満たすものである。
発明の要約
これらの目的を追求するために、本発明は２つの基本的構成要素からなる計算的メディア処理のための新しいパラダイムを実施する。
・コンテンツ表現
（メディア信号の内容を表す自動的、半自動的、および手動的に発生した記述データ）
・関数従属性（Ｆｕｎｃｔｉｏｎａｌ  Ｄｅｐｅｎｄｅｎｃｙ）
（コンテンツ表現およびメディア信号に作用して新しいメディアコンテンツを計算する関数関係）
本発明はこれら２つの技術を組み合わせてタイムベースメディアメディア処理システムを生成し、それは新しいメディアコンテンツを計算するためにメディアコンテンツの表現を操作する。本発明はメディアの簡単な時間的表現（フレーム、タイムコード、等）の直接操作から、メディアコンテンツのハイレベル表現およびそれらの間の関数従属性から新しいメディアをインタラクティブに計算することへのパラダイムシフトをサポートするものである。メディア処理および合成のこのパラダイムにより従来のメディア（例えば、映画、テレビジョンプログラム、音楽映像、等）の生産を現在の方法よりも数桁高速とすることができる。そのため、本発明を使用することはメディア生産、流通、および再使用の現在の産業プロセスにとって基本的な意義がある。コンテンツ表現および関数従属性により、本発明は何が含まれ、どのように処理、適応、および再使用できるかを決定できる計算的メディア構成要素の生産プロセスを生成する。
本発明に従って、メディア信号がメディアパーサーで処理されてその内容の記述表現が得られる。各コンテンツ表現はメディア信号に関する情報を提供するデータであり、基本的にメディア信号に依存する。コンテンツ表現の特定のデータ型に応じて、メディアに関するさまざまな種類の情報を得ることができ、この情報およびそれが基本的に依存するメディアに対してさまざまなタイプの操作を実施することができる。また、コンテンツ表現は有向グラフ構造を介した挙動の継承をサポートし（例えば、一般から特定へ）かつ新しいコンテンツ表現へ構成することができる。例えば、音声信号を解析してそのピッチを識別することができる。このコンテンツ表現に対して高次の解析を実施してその韻律（すなわち、そのピッチパターン）、もしくは音楽の場合には、その和音構造等のメディア信号に関する付加情報を得ることができる。
メディアパーサーは自動的、半自動的、もしくは手動的に操作することができる。自動メディアパーサーはその入力メディア信号からそのコンテンツ表現を作成するのに人間による入力を必要としない。半自動および手動メディアパーサーはそのコンテンツ表現を作成するのに人間による入力もしくは手動注釈を必要とする。
メディア信号のコンテンツ表現から得られる情報はメディア生産者へ送られ、そこで入力メディア信号とコンテンツ表現間の関数的関係が定義されて新しいメディアプロダクションが作成される。例えば、特定の歌のイベントレートを使用して映像信号が放映されるレートを制御し、映像内のイベントが歌の中のイベントと同期化されるようにすることができる。また、映像シーケンスに適合するようにサウンドトラックを加減速および／もしくは修正することができる。別の例では、関数的関係を使用してメディアの１つのアイテムを別のアイテムと置換することができる。例えば、映像信号に対するサウンドトラック内のオリジナル音響を、オリジナル音響のそれに対応する同様な性質、例えば持続時間、を有する１組の新しい音響で置換することができる。別の例では、映像もしくは音声信号内のイベントを検出し、一方もしくは両方のメディア信号を特定の方法で修正して特殊効果を生成するのに使用することができる。さらに別の例では、別のメディア信号の内容に応答して特定のメディア信号をトリガーして、例えば、依存性コンテンツ表現を有する着信メディア信号流の意味（ｓｅｍａｎｔｉｃ）内容に反応するアニメーションを作成することができる。
本発明のシステムでは、再構成可能な適応メディアプロダクションの発生は２つの主要なフェーズで実施される。第１のフェーズにおいて、ここではテンプレートビルダーといわれる人間により関数従属性ネットワークが形成される。関数従属性ネットワークにより究極のメディアプロダクションを出力する関数構造、すなわちテンプレート、が提供される。そのために、多数の異なるメディアパーサーおよびメディア生産者を利用してコンテンツ表現に対するさまざまなタイプのメディア信号およびさまざまなデータ型がそれぞれ処理される。関数従属性ネットワークは、メディア信号を処理してそれらの間に所望の関数関係を与えるように、選択したメディアパーサーおよびメディア生産者を組み合わせて形成される。作成フェーズ中に、１組の固定メディア信号が関数従属性ネットワークへ入力され、テンプレートビルダーはパーサーおよび生産者を反復的に変えてこの１組の固定入力信号を使用して所望の結果を得ることができる。さらに、このフェーズ中に、新しいコンテンツ表現および新しいデータ型を定義することができる。テンプレートビルダーは既存のテンプレートを新しいテンプレートの構成に再使用することができる。
テンプレートが形成されると、関数従属性ネットワークへの１つ以上の入力を一定入力信号からそのデータ型により定義されるパラメータへ変化させることができる。その結果得られるパラメータ入力を有する関数従属性ネットワークはテンプレートユーザへ与えられる適応テンプレートを形成する。手順の第２のフェーズでは、テンプレートユーザは、関数従属性ネットワークへの入力信号として使用される、所要データ型であるメディア信号を供給する。これらのメディア信号は適応テンプレート内に組み込まれた関数に従って処理されて、テンプレートユーザの入力に適応する、および／もしくは適応する、新しいメディアプロダクションを作成する。
本発明の別の実施例では、関数従属性ネットワークが定義されている場合には、一定の入力信号をパラメータへ変える必要がない。この場合には、従来のメディア表現、すなわち適応性ではないメディア表現が得られる。しかしながら、メディアプロダクションを反復的に作成して変更する能力により、従来のメディア生産方法よりも遥かに高い効率および自動化が提供される。さらに、本システムにより既存のメディアコンテンツを有意に再使用することができる。
本発明のもう１つの特徴として、関数従属性ネットワークの形成においてメディアパーサーおよび生産者の選択、組合せおよび構成を容易にするためにビジュアルデータフローインターフェイスが提供される。パーサー、生産者、関数、メディア信号、データ型、およびコンテンツ表現の操作はテンプレートビルダーがグラフィックデータフローネットワーク内でそれらのアイコン表現を選択し、ドラッグし、接続して遂行される。インターフェイスにより提供される機能性は、ネットワークビルダーが特定構成のデータアイテム、すなわちメディア信号、を選択かつ配置してデータアイテム間の関数従属性を指定できるという感覚において、スプレッドシートの操作に類似している。インターフェイスは入力信号、中間処理結果、および最終出力を空間的かつ時間的にディスプレイして、関数従属性ネットワークにおけるメディア信号とコンテンツ表現の関係を敏速に理解させる。この特徴によりネットワークは直観的に構成することができる。
本発明により提供される能力により、任意特定の媒体もしくは媒体の組合せにおけるデータは解析および／もしくは注釈され、続いて関数結合されて新しいメディアプロダクションを作成することができるテンプレートを構成する。新しいメディアプロダクションは、各々がそれ自体のメディアを提供する他のテンプレートユーザ、もしくはテンプレートビルダーが作成して類似構造の多数のプロダクションを作ることができる。
本発明により、消費者は訓練、専門的技術、および時間の従来の高い生産コストをかけずに、高い生産値で映画コンテンツを生産することができる。また、本発明により、新しいメディア入力に適応、および適応、することができる新しいタイプのメディアプロダクションを生成することができる。このような適応メディアプロダクションの例は同期化の損失なしに新しい映像を内蔵するか、あるいはその映像コンテンツを新しい音楽へ適応することができる音楽映像である。映画、映像およびテレビジョンプログラムに反映されるのを見たい消費者の観点から、消費者自体のメディアコンテンツに適応されたおよび／もしくは適応するメディアプロダクションを作るもしくは見るのに、編集ではなく、簡単なインタラクティブ選択しか必要ではない。
本発明のこれらの特徴およびそれにより提供される利点を、添付図に示す特定の例を参照して以下に詳細に説明する。
【図面の簡単な説明】
図１は本発明を実現することができるタイプのコンピュータシステムの一般的なブロック図。
図２Ａ−図２Ｄは本発明の状況において実施される基本操作の略図。
図３はさまざまなタイプのコンテンツ表現の関係を示すブロック図。
図４は関数従属性ネットワークのブロック図。
図５Ａおよび図５Ｂは典型的なテンプレートのブロック図。
図６は本発明に従って構成されるシステムのアーキテクチュアのブロック図。
図７は関数パレットの実例。
図８は音声／映像信号を操作してそのイベントを他の音声信号のイベントに同期化させるユーザインターフェイスの実例。
図９は音声／映像信号を操作して新しい音響を置換するユーザインターフェイスの実例。
図１０は映像信号を操作してオートランブル（ａｕｔｏ  ｒｕｍｂｌｅ）効果を生成するユーザインターフェイスの実例。
図１１は新しいメディア信号を選択して適応テンプレートから新しいメディアプロダクションを作成するユーザインターフェイスの実例。
詳細な説明
本発明の原理および特徴の理解を容易にするために、メディアコンテンツおよび処理の特定例について説明を行う。特に、本発明の簡単で容易に理解できる実施例の状況において、さまざまな映像および音声ストリームの解析および変換について説明する。しかしながら、本発明の基礎となる原理の実用的な応用はこれら特定の例に限定されるものではないことがお判りであろう。本発明は広範な状況において、さまざまな異種メディアおよびプロダクション背景に関して有用である。
一般的に、本発明はさまざまなタイプのメディア信号を処理および変換して新しいメディアコンテンツを発生することに向けられている。下記の原理を実現することができるシステムの特定のハードウェア構成要素は本発明自体の一部を形成するものではない。しかしながら、本発明の特徴がこのようなシステムの構成要素と協同して所望の結果を作り出す方法を完全に理解するために、典型的なコンピュータシステムについて簡単に説明する。
図１において、コンピュータシステムは多様な外部周辺装置１２が接続されたコンピュータ１０を含んでいる。コンピュータ１０は中央処理装置１４および関連するメモリを含んでいる。このメモリは、一般的に、典型的にはランダムアクセスメモリ１６の形で実現される主記憶装置、リードオンリーメモリ１８を含むスタティックメモリ、および磁気もしくは光ディスク２０等の永久記憶装置を含んでいる。ＣＰＵ１４はこのような形状の各メモリと内部バス２２を介して通信する。多様なメディア信号に関連するデータを永久記憶装置２０に格納し、必要に応じてＲＡＭ１６へ選択的にロードして処理することができる。
周辺装置１２はキーボード２４等のデータエントリー装置、マウス、トラックボール、ペン等のポインティングもしくはカーソル制御装置２６、およびマイクロホンおよびカメラ等の適切なメディア入力装置２７を含んでいる。ＣＲＴモニターもしくはＬＣＤスクリーン等のＡ／Ｖディスプレイ装置２８がコンピュータ１内で処理される映像および音声情報の視覚ディスプレイを提供する。ディスプレイ装置はコンピュータ内で発生される音響を発生する１組のスピーカ（図示せず）も含むことができる。メディア信号の永久コピーをビデオカセットレコーダ等の適切な記録機構３０上に記録することができる。モデムやトランシーバ等のネットワーク通信装置３１により他のコンピュータシステムとの通信を提供することができる。これらの各周辺装置はコンピュータ上の１つ以上の入出力ポート３２によりＣＰＵ１４と通信する。
本発明に従ったメディア信号の処理において、４つのタイプの基本的操作が実施される。図２Ａにおいて、第１タイプの操作はオリジナルメディア信号を解析してその信号のコンテンツ表現とすることである。オリジナルメディア信号は信号の内容を定義するデータを含んでいる。例えば、音声信号の場合には、そのデータは音圧波の振幅の個別のサンプルを含んでいる。映像信号の場合には、そのデータは信号のフレームを構成する個別ピクセルの値とすることができる。
１次パーサーにおいて、オリジナルメディアデータが処理、すなわち解析されてオリジナルデータの１つ以上の属性を記述する新しいデータが得られる。新しいデータ、およびその対応する型情報は、ここではコンテンツ表現といわれる。例えば、音声信号の場合には、第１タイプの１次パーサーが信号のピッチを記述する出力データを発生することができる。映像用１次パーサーは映像が異なるカメラショットへ切り替わる各時間を表示することができる。さまざまなタイプのメディア信号が関連する形状のコンテンツ表現を有している。例えば、音声信号は話者から発せられる個別の音声要素、例えば、単音（ｐｈｏｎｅ）、により表現することができる。これに関して、音声要素に従ったメディア信号の注釈および変換の詳細検討については、ＷＩＰＯ刊行物ＷＯ０７／３６２９７６を参照されたい。映像信号も同様に解析していくつかの異なる形状のコンテンツ表現が得られる。これに関して、映像のコンテンツ表現の詳細検討については、１９９５年、２月にＰｒｏｇｒａｍ  ｉｎ  Ｍｅｄｉａ  Ａｒｔｓ  ａｎｄ  Ｓｃｉｅｎｃｅ，Ｍａｓｓａｃｈｕｓｅｔｔｓ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙへ提出されたデービスのＰｈ．Ｄ，論文“Ｍｅｄｉａ  Ｓｔｒｅａｍ：Ｒｅｐｒｅｓｅｎｔｉｎｇ  Ｖｉｄｅｏ  ｆｏｒ  Ｒｅｔｒｉｅｖａｌ  ａｎｄ  Ｒｅｐｕｒｐｏｓｉｎｇ”、特に第４章、を参照されたい。この論文の開示は本明細書の一部としてここに組み入れられている。
メディア信号を解析してコンテンツ表現を発生することは自動的、半自動的、もしくは手動的に実施することができる。例えば、映像信号を手動解析して異なるカメラショットを識別するために、人間観察者が映像を見てフレームを注釈しカメラショットが変化するものを識別することができる。自動解析方法では、各フレームを解析してそのカラーヒストグラムを決定し、１つのフレームから次のフレームへ所定のしきい値だけヒストグラムが変化するものとして新しいショットをラベルすることができる。半自動解析方法では、ビューアが最初の数回新しいショットが生じるのを手動識別することができ、そこからシステムは適切なしきい値を決定しその後新しいカメラアングルを自動的に検出することができる。
図２Ｂに示す第２タイプの基本操作において、コンテンツ表現は２次以上のパーサーで処理されてさらにいくつかの形状のコンテンツ表現が発生される。例えば、音声信号のピッチコンテンツ表現を解析してその韻律の性質、すなわちピッチが上昇するか下降するか、を表示することができる。映像信号の場合には、１次コンテンツ表現はフレーム内のピクセルの色を使用して色付きオブジェクトの位置を計算することができ、２次パーサーは１次表現からそのオブジェクトの速度を計算することができる。別の映像例では、ショットデータの高次解析によりｄｉｅｇｅｔｉｃ（すなわち、ストーリー）時間および位置の連続性に従って一連のショット内のシーン境界を識別するコンテンツ表現を作成することができる。これらのタイプのコンテンツ表現は容易には計算できない人間の知覚の特徴に依存し、したがって手動および／もしくは半自動注釈を利用することができる。
異なる形状の各コンテンツ表現は、そのデータ値がメディア信号のデータに関数的に依存するデータ型を利用する。これらのデータ型は全てのメディア信号に対してコンポーネントアーキテクチュアを有効に定義する。この点に関して、さまざまな表現が互いに階層もしくはピア−ツウ−ピア関係を有することができる。図３において、所与のメディア信号の１次解析により作成されるさまざまなコンテンツ表現がピア−ツウ−ピア関係を有している。したがって、音声信号を解析して導出されるピッチデータおよび単音データはお互いのピアである。高次パーサーにより作成されるコンテンツ表現は低次パーサーにより発生されるコンテンツ表現に対して階層関係を有することができ、かつ互いにピア−ツウ−ピア関係を有することができる。したがって、韻律データはピッチデータに階層的に依存する。データ型はパーサーもしくは生産者が計算することができるコンテンツ表現およびメディア信号の型、およびどのような方法で計算するかを固有に定義する。この情報に基づいて、さまざまなコンテンツ表現とメディア信号との間に所望の関数従属性を確立してテンプレートから新しいメディアコンテンツを発生することができる。
図２Ｃにおいて、第３タイプの操作はコンテンツ表現を処理して新しいメディア信号を作成することである。このタイプの操作では、コンテンツ表現のデータは例えばメディア信号を発生させるメディア生産者への入力パラメータとすることができ、それぞれ、コンピュータアニメーションパラメータもしくはＭＩＤＩ列等のそのコンテンツ表現から合成メディア信号を表現することができる。図２Ｄに示す第４タイプの操作では、メディア信号は定義されたメディア生産者に従って変換されて新しいメディア信号を作成する。
これらの基本操作により、本発明で利用される２つの基本的タイプの操作が定義される。ここで使用されるメディアパーサーは、入力データがメディアデータであっても、すなわち１次パーサー、あるいは２次もしくは高次パーサーの場合のように他の形式のコンテンツ表現であっても、その出力データとしてコンテンツ表現を作成する演算子である。一方、メディア生産者は入力データを変換してその出力としてメディア信号を作成する演算子である。
本発明の状況において、これらの演算子は選択的に組み合わされて関数従属性ネットワークを形成する。関数従属性ネットワークの簡単な例を図４に示す。そこでは、関数従属性ネットワークは１つ以上のメディア信号を入力信号として受信し、これらの入力信号を解析して各々に対するコンテンツ表現を発生する。関数従属性ネットワークへ入力されるメディア信号はハードディスク２０等の記憶媒体から検索するか、あるいはリアルタイム信号とすることができる。コンテンツ表現およびメディア信号はメディア生産者において処理されて新しいメディア信号を発生する。本発明の状況では、関数従属性ネットワーク内でメディア信号に対して多数の異種の変換を実施することができる。メディア変換の１例として同期化が含まれ、１つのメディア信号内のイベントが、例えばその再生レートを変えることにより、もう１つのメディア信号内のイベントと同期化される。もう１つのタイプの変換は従来の映画プロダクションにおけるｆｏｌｅｙ等の音響置換を含んでおり、１つのタイプの音響が音声／映像信号内の他のタイプの音響と置換される。第３のタイプの処理はもう１つのメディア信号に従ってメディア信号を修正してパラメトリックな特殊効果を作り出すことである。第４のタイプの処理はもう１つのメディア信号に従って特定のメディア信号をトリガーして、例えば、従属コンテンツ表現を有するメディア信号の着信ストリームへのリアクティブアニメーションを作り出すことである。例えば、アニメートされたキャラクタはライブクローズドキャプションテキストデータからリアルタイムで解析されたコンテンツ表現に応答することができる。システムが入力メディア信号に対して実施することができる変換の範囲はシステム内で定義できるパーサー、生産者、関数、およびコンテンツ表現データ型の範囲だけで制限される。
解析および生産の他に、他のタイプの操作も関数従属性ネットワークで実施することができる。例えば、数学、統計学および類似タイプのスカラー演算をコンテンツ表現に対して実施することができ、例えばその表現の数値へ乗算もしくは加算することにより音声信号のピッチを増加することができる。これらのタイプの操作は、ここでは関数といわれる。パーサーにより入力および出力信号間でデータ型に変換、すなわち変化、が生じるが関数により固有のデータ型は変化しない点において、関数はパーサーとは異なる。
本発明の目的に対して、特定の候補データはデータ型のメンバーであるか否か、したがって関数従属性ネットワークにより変換できるかどうかを確認する特性関数によってデータ型が定義される。特性関数はデータおよび型情報を入力として取り入れ、そのデータがコンテンツとして表現できるかどうかを示す真もしくは偽を戻す。例えば、音声信号に対するピッチデータ型のクリエータは“母音コンテンツのあるスピーチを有する音声”もしくは“非衝撃音コンテンツを有する音楽”上でその操作を定義することができる。場合によっては、特性関数は戻される真に対して予期される型と一致するようにその入力を抑圧することができる。好ましくは、ロバストな関数従属性ネットワークのビルダーはその用途が広いかもしくはその限界が明確となるようにデータ型を設計する。
データ型はより一般的な型からより特定的な型へ挙動が受け継がれる一般化グラフに構成することができる。例えば、“音楽”および“音声音響”は“音声”の両タイプである。特に、“非言語音声音響”および“言語音声音響”は両タイプの音声音響である。タイプ定義特性関数自体を関数従属性ネットワークとして構成することができる。
パーサーおよび生産者の選択およびネットワーキングにより、特定の所望の結果を達成するように関数従属性ネットワークが形成されると、新しいメディアプロダクションを発生するためのテンプレートが形成される。本発明の１実施例では、そのオリジナルメディア入力信号の１つ以上を特定のデータ型を定義するパラメータで置換することにより、テンプレートは適応テンプレートへ変換される。図４の関数従属性ネットワークから生成される１つのタイプの適応テンプレートの例を図５に示す。この例では、メディア信号に対するオリジナル入力端末は、特定のタイプであるかどうかに応じてメディア信号をパーサーへ選択的に通すことができるメディア特性関数により置換される。特性関数はテンプレートビルダーにより指定される特定タイプのメディア信号を受け入れるように設計されている。非常に一般的な例では、データ型はメディア信号が映像であるか音声であるかを指定できるにすぎない。しかしながら、テンプレートにより与えられる特定の結果に応じて、特性関数に対するデータ型パラメータはより特定的とすることができる、例えば“浜辺を歩く人の映像”もしくは“人が発生する衝撃音響の音声”。入力メディア信号が指定したタイプであれば、特性関数によりパーサーへ通される。
典型的には、テンプレートは、メディア信号の性質およびコンテンツについて少なくともある程度馴染みのあるテンプレートビルダーにより、パーサーおよび生産者を組み合わせて所望の結果を有効に作成できるように形成される。テンプレートは形成されると、その詳細および初期メディア信号にはほとんど馴染みのないテンプレートユーザへ与えられることがある。そのユーザはテンプレートパラメータにより指定されるデータ型の特定のメディア信号を供給する。これらの新しいメディア信号は既存の信号、もしくはテンプレートユーザにより特定的に発生される信号、例えば、テンプレート入力パラメータのタイプと一致するように生成された古いホームムービーもしくは新しいデジタル映像レコーディングとすることができる。新しいメディア信号は入力信号としてテンプレートへ与えられ、適切に適応されたメディアプロダクションを生成する。
メディアテンプレートを形成するシステムのアーキテクチュアを図６にブロック図で示す。本図において、楕円形内に示す要素は実施される操作を表し、矩形オブジェクトはこれらの操作が作用するデータを表す。処理されるオリジナル生データを形成するメディア信号はさまざまなファイル７０内に格納される。前記したように、これらのファイルはコンピュータへアクセス可能な、ハードディスク２０等の、永久記憶媒体内に配置することができる。あるいは、関数従属性ネットワークが構成もしくは使用される場合にシステムへ入力されるリアルタイム信号とすることができる。
テンプレートが作られる時は常に、例えば、コンピュータのランダムアクセスメモリ１６内、および／もしくはハードディスク２０上にプロジェクトファイル７２が生成される。プロジェクトに必要なメディアファイルはプロジェクトファイル７２内へ連結される。例えば、映像信号用メディアファイル、その関連するサウンドトラック、および歌ファイルを適切なメディアフォルダーもしくはディレクトリ７４からプロジェクトファイル７２内へ連結することができる。メディアファイルがプロジェクトファイル７２内へ連結されると、その一部をタイムラインウィンドウ７６内にディスプレイすることができる。
適切なメディアファイルがプロジェクトファイル７２内へ連結された後で、選択もしくはコンテンツベース質問により、テンプレートビルダーはメディアデータに対して実施される操作を指定してコンテンツ表現を発生し関数従属性を確立する。これらの操作は、指定されると関数フックアップウィンドウ７８内にディスプレイされる。これらの関数は関数ライブラリ８０から得られ、図７に示すような関数パレットから選択したり質問を介して検索することができる。図７にメディア信号およびコンテンツ表現に対して実施することができる多様な異なる操作を例示し、各々にアイコンが付随している。テンプレートビルダーが特定のアイコン上にカーソルを配置すると、その対応する関数名およびメディア信号のタイプおよび／もしくはそれに対して作用するコンテンツ表現がパレットの底部にディスプレイされる。
テンプレートビルダーにより定義される関数従属性はプロジェクトファイル７２内の別のフォルダー８２、もしくは類似のこのようなデータ構造、内に格納される。この手順の結果はタイムラインウィンドウ７６内にディスプレイすることができる新しいメディアの生成である。この新しいメディアはメディアフォルダー７４内に格納することができ、またメディアファイル７０へエクスポートして永久格納したりリアルタイムで放映することができる。プロジェクトファイルは、完成するとやはりコンピュータのハードディスク２０もしくは他の適切な記憶媒体上に永久格納することができる。
この点において、関数従属性ネットワークは生成されていてオリジナルメディア入力信号に基づいた新しいメディアプロダクションを作成することができる。本発明の１つの特徴に従って、この新しいメディアプロダクションを再生するのに必要な情報を共有ネットワークを介して、伝送帯域幅必要条件を低減するコンパクトな形で、同じメディア信号へのローカルアクセスを有する任意の位置へ電子的に伝送することができる。特に、少なくともいくつかのオリジナルメディア信号を任意の簡便な方法で、例えばコンパクトディスクにより、ネットワーク上の遠隔位置へ分散させ将来のコンテンツ発生のためそこへ格納することができる。新しいメディアプロダクションが生成されると、ネットワーク上の遠隔地へ伝送する必要のある唯一のデータは、ローカルおよび遠隔メディアデータへのポインターだけでなく、メディア信号間の適切な関数関係を記述するプロジェクトファイルからのデータである。新しいメディアコンテンツを発生するのに必要な全てのメディアデータへのローカルアクセスが遠隔地にはない場合には、遠隔地にまだ存在しないメディアデータもプロジェクトデータと共に伝送される。この限定された量の新しい情報から、プロダクションはその全体をネットワークを介して伝送することなく、遠隔地で再生することができる。
本発明の前記したもう１つの特徴に従って、パラメータをオリジナルコンスタントメディア入力信号と置換することによりメディアプロダクションが修正される。これらのパラメータはオリジナルメディア信号と置換できるデータの型を記述する。例えば、オリジナルメディア信号の１つが拍手等の特定の人間が作り出した衝撃音の音声トラックでる場合には、データ型から“人間が作り出した非言語衝撃音”を指定することができる。この場合、これらのデータ型はデータライブラリ８１内に格納され、テンプレートが生成される時にそこから検索して関数従属性ネットワークへ供給される。適応テンプレートを生成するように訂正されると、関数従属性ネットワークはテンプレートユーザへ送るように準備される。この準備の一部として、メディア入力パラメータとして与えられる特定のメディア信号をテンプレートユーザが選択および／もしくは発生できるようにする異なるインターフェイス９０がテンプレートへ付加される。
次に、完成したテンプレートはテンプレートユーザへ通される。前記した例では、テンプレートユーザは指定したデータ型を満たす他の音響、例えばキス、げっぷ、ストンプ、等、のサウンドトラックを供給する。新しいサウンドトラックがテンプレートの背景において演奏されると、テンプレートユーザの入力メディア信号に自動的に適応されている、および／もしくは適応されている、メディアプロダクションが作成される。
テンプレートユーザインターフェイス９０の特定の例を図１１に示す。そこでは、テンプレートユーザが提供する必要のある３つのデータ型がこの特定のインターフェイスにより指定される。これらのデータ型はアイコン形式で示されている。第１のデータ型は住宅建築外観の映像である。第２のデータ型は住宅建築内部の外向き窓へ向かって走る人間の映像であり、第３のデータ型は絶叫する人間の映像である。ユーザが各データ型を満たす新しいメディア信号を与えると、それは後で選択するためにデータ型のアイコン表現の下にディスプレイされる。例えば、各映像例の１フレームをディスプレイすることができる。例示するケースでは、ユーザは第１のデータ型の１例と、第２の２例と、第３の３例を与える。
新しいメディアプロダクションが生成される場合には、ユーザは各データ型の１例を選択する。各データ型の選択された例は、例えば、ハイライトバー９２により表示することができる。各例は、指定されると適応テンプレートの関数従属性ネットワーク、すなわちメディア特性関数の入力端末へ入力される。次に、関数従属性ネットワークにより確立された関係に従ってメディア信号が変換されて、新しい適応したメディアプロダクションが提供される。適応テンプレートはテンプレートユーザの新しいメディア信号を新しいメディア信号およびオリジナルメディア信号の持続時間、順序、およびイベントレートがそれぞれ適応される新しいメディアプロダクションへ変換し、新しいメディア信号およびオリジナルメディア信号のコンテンツのさまざまな特徴が関数的に関連ずけられて新しいメディア信号が作成される。図示する例では、新しい適応したメディアプロダクションは適応サウンドトラックを付随するミニモンスター映画を提供し、モンスターは都会に近づき、住宅建築の居住者は窓へ向かって走ってモンスターが都会を破壊するのを見、モンスターの叫び声が１人の居住者の恐怖の絶叫へとクロスフェードしていき、モンスターはその足取りにより住宅建築を震動させて破壊する。
次に、関数従属性ネットワーク構造の特定の実施例について説明する。第１の実施例では、１つのメディア信号、すなわちサウンドトラックを付随する映像信号が第２のメディア信号、すなわち異なるサウンドトラック、と同期化される。
２つのメディア信号間で同期化を実施することが望ましい１つの状況は、映像内に生じるアクションが楽譜と結び付けられる場合である。このタイプの変換によく適した映像信号の例は、テンポを確立する規則的に生じるアクションを有するものである。映像信号が放映されるレートは、そのタイミングがミュージカルソングのそれと調整されるように調整することができる。適切な映像の例として人間や動物が歩いていて歩行ペースによりテンポが確立される場合や、テーブルテニスゲーム、釘打ち、拍手、もしくはタップダンス等の他のタイプの繰り返しアクションが実施される場合が含まれる。一般的に、同じアクションがサイクリックに繰り返される場合でも、異なるイベントであっても、検出可能な任意の個別イベント列を利用してイベントレートすなわちテンポを確立することができる。次の例では、利用される映像は食物を刻む人を描いており、したがってそのためのテンポを計算することができる。この映像は歌の中の特定のイベント、例えばギター上の特定の音符、と同期化される。
ディスプレイ２８の画面上に表示してテンプレートビルダーが関数従属性ネットワークを構成するのを助けるグラフィックユーザインターフェイスを図８に示す。このユーザインターフェイスはいくつかの異なるセクションを含み、それらは列形式に配置されている。１つの列３４において、メディア信号およびそれらのコンテンツ表現がタイムラインフォーマットでディスプレイされる。この列の頂部にはルーラー３６がある。図８の例では、ルーラーは時間の増分、すなわち秒、を表す。実際上、任意の適切なメトリック、例えばメディア信号の逐次表現内のイベントのインデクス、をルーラーで表現することができる。ルーラーのすぐ下にはテンプレートビルダーにより選択されているメディア入力信号３８、ここでは歌の音声信号、がディスプレイされる。インターフェイスのこの行がオリジナル入力信号に関連するという事実は、インターフェイスの隣接列４２内のアイコンタップシンボル４０により表現される。他にも２つのオリジナルメディア信号、すなわち一切れのセロリを刻むナイフが示されている映像信号の選択されたフレーム４４、および映像に付随するサウンドトラック４６、がインターフェイス内にディスプレイされる。これら２つの入力信号は列４２内の関連するタップ４０ａ，４０ｂにより表現される。タイムラインウィンドウ７６内のデータ信号のディスプレイされるイベントは線形順序である必要はない。例えば、映像信号のデータビュー内で２５番日毎のフレームをディスプレイすることができ、あるいはナイフがテーブルトップに接触するフレームを全てディスプレイすることができる。
ユーザインターフェイス内のもう１つの列４８は列３４内に示されるメディア信号およびコンテンツ表現の名前を提供する。したがって、映像入力信号はこの列の第１行内で識別され、他のメディア入力信号は対応する行内にラベルされる。各記述にはメディア信号もしくはコンテンツ表現のデータ型を表す対応するアイコンが付随している。
メディア信号が関数従属性ネットワークへの入力として選択されると、それに対して実施されるファンクションを選択して適切なコンテンツ表現へ解析することができる。所望のファンクションは、例えば、図７に示すファンクションパレットからアイコンを選択して識別することができる。ファンクション用アイコンを信号用タップもしくは信号自体のディスプレイ上へ引きずっていくことにより、信号に対して所望の操作が実施される。図８の例では、音声信号に対して実施される第１の解析操作は特定の周波数範囲、例えばギターからの音符、を識別することである。解析操作はアイコン５０により識別され、得られるコンテンツ表現がユーザインターフェイスの第２行に信号５２により示される。アイコン５０はワイヤによりタップ４０に接続されて、それらの関係を示す。次に、この１次コンテンツ表現に対して２次解析操作が実施され、ここでは、アイコン５４およびインターフェイスの次の行に示すデータ信号５６で表すように、信号５２により表現される新しい各イベントを検出するしきい値操作である。インターフェイスの第４行に示すように、このデータはギター音符のイベントレートを識別するようにさらに操作される。
同様に、サウンドトラックの音声信号４６は２レベルの解析を行って、ここではナイフの刻みであるイベント、およびインターフェイスの行５８および６０に示す変化するイベントレートをそれぞれ識別する。
２つの音声信号のイベントレートが識別されると、それらの相対レートが計算される。それは、アイコン６２で表されるように、信号の間中ギターイベントレートを刻みイベントレートで除算して行われる。この操作結果はコンテンツ表現６４として例示される。このデータ信号はダイナミックテンポ因子を表し、刻み音声信号４６および対応する映像信号４４へ加えられると、それらのイベント時間はギターイベントのそれに一致させられる。こここでは、テンポアイコン適用６６で示すように、映像信号のレートは刻みアクションが歌のギター音符イベントと一致するように修正される。あるいは、このダイナミックテンポ因子の逆数を計算して歌に加え、ギター側が映像内の刻みイベントと一致するようにすることができる。
図８のグラフィックユーザインターフェイスは、テンプレートビルダーがスプレッドシートの操作と同様な方法で関数従属性ネットワークを構成できるツールを提供することがお判りであろう。列３４に示すデータビューはこのデータに対して実施した操作の結果を、スプレッドシート内のメンバーに対して実施した数学的および統計学的操作に対するものと同様に含んでいる。操作結果はデータビュー内に空間的に、またメディアが再生されるプレビューウィンドウ（図示せず）内に時間的にディスプレイすることができる。したがって、ユーザにはメディア信号に対してさまざまな変換を実施し、変換結果を即座に観察する直観的機構が提供される。さらに、結果をプレビューウィンドウ内にディスプレイすることにより、テンプレートビルダーはパーサーと生産者の新しい各組合せの効果をそれらが接続される時に即座に調べて、所望により変更して、テンプレートを構成するための反復方法を提供することができる。そのメディア入力信号の変化だけでなく関数従属性ネットワークの構造を容易に変える能力もシステム内のメディア処理効率に寄与する。
前例に示す２つのメディア信号の同期化の他に、本発明の特徴を利用して他の効果を達成することができる。このような１つの効果は１つの音をもう１つの音と置換することである。映画信号の場合、１つの音響を別の音響と置換することによりある音響効果を強化することが望ましい場合が多い。例えば、玉石街路等の堅い表面上を歩く馬をシーンに描くことができる。石を叩く馬の蹄の音を高める１つの既知の技術はココナツの殻等の堅い物体でテーブルその他の固体表面を叩くことである。ココナツ殻の音で馬の蹄のオリジナルな記録音を置換することにより、街路上を歩く馬の高められた印象が生成される。１つの音響でもう１つの音響を置換するこの技術は従来の映画プロダクションにおいて“ｆｏｌｅｙ”として知られている。
本発明によりｆｏｌｅｙ等の操作を容易に実現できる機構が提供される。図９に示す例を参照して、本発明のこのような応用について説明する。この例では、メディア信号の１つはテンプレートビルダーのインターフェイスのデータビュー１００内に示す空手マッチにおける２人の対抗者の映像である。映像の付随するサウンドトラック１０２は頂部データビューに現れる。この例で実施される変換の目的はオリジナルメディア内の各パンチおよびキックの音を新しい音で置換することである。そうするために、サウンドトラック１０２を解析してパンチやキック音が現れる各時間を示す１次コンテンツ表現を得る。この特定の例では、これらの音はサウンドトラックにおいて最も大きく、しきい値操作により検出される。サウンドトラック信号１０２の振幅がしきい値を越える度に対応する音響の持続時間、すなわち音響がしきい値よりも高い時間長、も検出される。このタイプの処理はイベント検出器アイコン１０４により識別され、１０６に示すようなコンテンツ表現となる。このコンテンツ表現はしきい値を越える音響が検出される度にイベントを含んでいる。イベント幅は検出された音響の持続時間に対応し、高さはその間隔にわたる音響の平均振幅を示す。
第２のメディア信号１０８はパンチおよびキック音と置換される音響の音声レコーディングを含んでいる。例えば、レコーディングはキス、げっぷ、拍手、フィンガースナップ等の人間が作り出す１つ以上の非言語衝撃音とすることができる。レコーディングは異なる回数作り出される同じ音響、もしくは異なる個別の音響とすることができる。このレコーディングはイベント検出プロセスにより同様に解析されて、音響イベントのもう１つのコンテンツ表現１１０が作り出される。実際上、これらのイベントおよび付随する録音１０８は振幅、周波数、および持続時間等の異なる性質を有する個別音響の注釈付きデータベースを構成する。次に、このデータベース内の個別音響がオリジナルサウンドトラック１０２内の検出されたイベントと一致される。特に、コンテンツ表現１０６内の各イベントの持続時間が決定され、同じ持続時間もしくは最も近い持続時間を有するデータベース１０８からの音響が選択される。データビュー１１２はオリジナルサウンドトラック１０２のそれと一致されているデータベースからの音響を例示する。最終結果がデータビュー１１４内に示される。変換されたメディア信号内で、オリジナルサウンドトラックの背景部分は映像と共に正規の方法で演奏される。しかしながら、データビュー１０６に示すように、検出されたイベントの１つが生じる度に、オリジナル音響は音響データベース１０８からの対応する音響により置換される。したがって、映像内にパンチやキックが生じる度に、それはげっぷ等の人間が作り出す音で置換される。
本発明の別の応用では、コンテンツ表現にに基づく関数関係を使用してパラメトリックな特殊効果を生成することができる。例えば、街を歩行する巨人やモンスターを描く映像では、モンスターが一歩進む度に物体を震動させてモンスターの足取りにより生じる震動の印象を作り出すことが望ましい。本発明のこの応用の例を図１０に示す。この例における第１の入力信号１２０はモンスター映画からのサウンドトラックである。この特定の例では、各足取りに大きな音が伴うものとする。図１０の右側に見える部分のような、信号の高振幅部はモンスターにより作り出される大きな足音を表す。第２の入力信号１２２は、ここでは住宅である、住宅建築の外観のビデオショットである。これら２つのメディア信号は、アイコン１２４で表される、“オートランブラー”といわれるファンクションへ入力信号として送られる。このファンクションは１つの音声信号および１つの映像信号をその入力として受け入れ、１２６に示すように、音声入力に応答して映像を震動させる。映像の震動は映像の関数従属性垂直および／もしくは水平シフトを導入して遂行することができる。視覚効果を高めるだけでなく、フレームの変換により生じる画像内の空白領域を回避するために、画像をシフトする時にズーミングも行われる。好ましい実施例では、シフト量およびズーミングの大きさは震動をトリガーする音響の振幅に比例する。したがって、音響の大きさが増すとシーンは一層震動する。所望により、画像の震動を生じる音響の振幅に下限を設けることができる。したがって、震動は選択的であり、モンスターの足取り等の、大きな音響が作り出される時しか見られない。
より複雑な実施例では、震動は例えば住宅内部等のあるシーンだけで表現され、遠くから眺めたモンスター等の他のシーンでは表現されないことが望ましい。この場合、映像信号を解析して映像内のさまざまなタイプのシーンを記述するコンテンツ表現を発生することができる。この情報を使用して映像の震動を選択的に制御し、所望のシーン中でしか生じないようにすることができる。同様に、コンテンツ表現を使用してメディアプロダクションのどの映像もしくは音声レイヤが修正されるかを確認することができる。
図１０の底部はこの応用の第２の実施例を示す。ここでは、音声入力信号１２８は歌であり、好ましくは、例えばディスコソング等の特有のビートを有している。オートランブラーにより、ここでは同じ住宅の、画像が歌の振幅に比例して震動される。修正された映像はインターフェイス内の１３０に表現される。したがって、住宅は歌に従って振動し、住宅内部で非常に騒々しく音楽が演奏される印象を与える。
前記したように、図８−図１０に示すようなグラフィックユーザインターフェイスにより、テンプレートビルダーはスプレッドシートの操作と同様な方法でメディアデータに作用することができる。特に、テンプレートビルダーはあるデータ、すなわちメディア信号、を選択しそれに対して実施される操作および異なるデータセット間の関数従属性を指定することができる。コンテンツ表現を使用してメディア信号に関する情報を提供することにより、テンプレートビルダーには所望する特定のメディア信号を探索して見つけだすのに適切な機構が提供される。この状況において、本発明のシステムによりデータベースの機能と同様な能力も提供される。図６において、テンプレートビルダーはある探索規準８４を指定することができ、それはディスプレイ装置２８上に表示される質問パレット８６を介して入力することができる。探索規準は、例えば、テンプレートビルダーが入力する質問に応答してメディアファイル７０内に格納されたコンテンツ表現に対して直接作用して、和音列内に特定の調和リズムを含む全ての歌もしくは、例えば、右から左へ移動する成人の姿を含む全ての映像を捜し出すことができる。探索結果は質問パレット内にディスプレイすることができる。あるいは、もしくはさらに、質問規準の一部として関数演算子を利用して低次コンテンツ表現のデータベース内の高次コンテンツ表現を探索することができる。
関数ライブラリ８０は最初に既知のデータ型に対して実施することができるさまざまな種類の操作を含むことができる。付加データ型が生成されると、既存のデータ型に対する新しいすなわち更新された関数だけでなく、これらのデータ型に対して操作することができる特定関数をさまざまなプラグインモジュール８８、もしくは関数従属性ネットワーク内の既存のパーサー、関数、および生産者の合成およびカプセル化により付加することができる。
前記したことから、本発明により比較的低レベルの技能しかないユーザが新しいメディアコンテンツを容易に生成できるようにするシステムが提供されることがお判りであろう。このシステムの操作は関心のあるメディア信号に対するコンテンツ表現の使用、およびこれらの表現とメディア信号との間の関数従属性の確立に基づいている。さらに、テンプレートビルダーがスプレッドシートの操作と同様な方法で関数従属性を確立できるようにするグラフィックユーザインターフェイスを提供することにより、より直観的なメディア変換方法が提供される。また、テンプレートビルダーにより構成される適応テンプレートにより、テンプレートユーザはいかなるメディア処理および生産技能も必要とせずに新しいメディア信号を内蔵する新しいメディアプロダクションを生成することができる。
当業者ならば、本質的な特徴を逸脱することなく他の形式で本発明を実施できることがお判りであろう。したがって、開示した実施例はあらゆる点において説明用であって制約的な意味合いはない。本発明の範囲は前記説明ではなく添付した請求の範囲によって示され、それと同等のものの意味および範囲内に入る変更は全て包含されるものとする。
【図１】
0003955099.tif 000002
【図２Ａ】
0003955099.tif 000003
【図２Ｂ】
0003955099.tif 000004
【図２Ｃ】
0003955099.tif 000005
【図２Ｄ】
0003955099.tif 000006
【図３】
0003955099.tif 000007
【図４】
0003955099.tif 000008
【図５】
0003955099.tif 000009
【図６】
0003955099.tif 000010
【図７】
0003955099.tif 000011
【図８】
0003955099.tif 000012
【図９】
0003955099.tif 000013
【図１０】
0003955099.tif 000014
【図１１】
0003955099.tif 000015