(57)【要約】【課題】簡単な操作で加工または合成アプリケーションを開発することのできるデータ処理装置を提供する。【解決手段】データ処理装置は、主としてコンテンツ提供者が用いることを想定する加工条件設定セクション２１０、また、主として最終ユーザが用いることを想定する加工実行セクション２２０、およびデータ格納セクション２３０から構成される。さらに加工条件設定セクション２１０の構成要素抽出・分類部２１２は、対象データの各構成要素（オブジェクト）を抽出し特性に応じて分類する。そして、加工条件設定部２１３は、設定操作パネル２１１からの入力に基づいて、各構成要素毎の加工条件を設定する。このような構成により、加工の対象となる各構成要素毎の種類に応じた加工条件を対話的に設定、簡単な操作で加工条件を設定することができる。【選択図】　　　　図２
2004118522.tif 000002
【特許請求の範囲】
【請求項１】
処理の対象であるデータの構成要素を抽出し、前記抽出した構成要素を特性に応じて分類する構成要素抽出分類手段と、
前記分類された構成要素ごとの加工条件を設定する加工条件設定手段とを備える、データ処理装置。
【請求項２】
前記加工条件設定手段は、前記構成要素の加工を行なうためのユーザインタフェイスの生成情報を設定することを特徴とする、請求項１に記載のデータ処理装置。
【請求項３】
前記加工条件設定手段は、前記構成要素の加工を行なうためのユーザインタフェイス部材に対する表示上の名称を設定することを特徴とする、請求項２に記載のデータ処理装置。
【請求項４】
前記加工条件設定手段は、前記構成要素の置換を行なうための候補となるデータ情報を設定することを特徴とする、請求項１または２に記載のデータ処理装置。
【請求項５】
前記加工条件設定手段は、前記構成要素の属性を変更するための加工情報を設定することを特徴とする、請求項１または２に記載のデータ処理装置。
【請求項６】
前記加工条件設定手段は、前記構成要素の加工方法を制約するための制約条件情報を設定することを特徴とする、請求項１または２に記載のデータ処理装置。
【請求項７】
前記制約条件情報は、前記構成要素を置換するデータの最大容量を含むことを特徴とする、請求項６に記載のデータ処理装置。
【請求項８】
前記制約条件情報は、前記構成要素を置換するデータの表示サイズに関するパラメータの最小値または最大値を含むことを特徴とする、請求項６に記載のデータ処理装置。
【請求項９】
前記制約条件情報は、前記構成要素を置換するデータの種類を記述する種類情報を含むことを特徴とする、請求項６に記載のデータ処理装置。
【請求項１０】
特定のデータに対応し、前記データの構成要素の加工を行なうためのユーザインタフェイスの生成情報を含む加工条件が記述された加工条件記述データを読込み、前記ユーザインタフェイスを生成するユーザインタフェイス生成手段と、
前記生成したユーザインタフェイスから入力された制御データに基づき、前記データの加工方法を決定する加工方法決定手段とを備える、データ処理装置。
【請求項１１】
前記加工方法決定手段は、決定した前記データの加工方法を、データ加工プログラムに対する指示として出力することを特徴とする、請求項１０に記載のデータ処理装置。
【請求項１２】
前記加工条件記述データは、前記データの構成要素の加工を制約するための加工方法制約条件を含み、前記加工方法制約条件に基づいて前記構成要素の加工可否の判断を行なう加工可否決定手段をさらに備える、請求項１０または１１に記載のデータ処理装置。
【請求項１３】
処理の対象であるデータの構成要素を抽出し、前記抽出した構成要素を特性に応じて分類する構成要素抽出分類ステップと、
前記分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定ステップと、
前記ユーザインタフェイスを生成するユーザインタフェイス生成ステップと、前記生成したユーザインタフェイスから入力された制御データに基づき、前記データの加工方法を決定する加工方法決定ステップと、
前記決定した加工方法に基づいて、前記データの加工を行なうデータ加工ステップとを備える、データ処理方法。
【請求項１４】
前記構成要素の加工の可否の判断を行なう加工可否決定ステップをさらに備える、請求項１３に記載のデータ処理方法。
【請求項１５】
処理の対象であるデータの構成要素を抽出し、前記抽出した構成要素を特性に応じて分類する構成要素抽出分類手段と、
前記分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定手段と、
前記ユーザインタフェイスを生成するユーザインタフェイス生成手段と、
前記生成したユーザインタフェイスから入力された制御データに基づき、前記データの加工方法を決定する加工方法決定手段と、
前記決定した加工方法に基づいて、前記データの加工を行なうデータ加工手段とを備える、データ処理システム。
【請求項１６】
処理の対象であるデータの構成要素を抽出し、前記抽出した構成要素を特性に応じて分類する構成要素抽出分類ステップと、
前記分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定ステップと、
前記ユーザインタフェイスを生成するユーザインタフェイス生成ステップと、前記生成したユーザインタフェイスから入力された制御データに基づき、前記データの加工方法を決定する加工方法決定ステップと、
前記決定した加工方法に基づいて、前記データの加工を行なうデータ加工ステップとをコンピュータに実行させる、データ処理プログラム。
【請求項１７】
処理の対象であるデータの構成要素を抽出し、前記抽出した構成要素を特性に応じて分類する構成要素抽出分類ステップと、
前記分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定ステップと、
前記ユーザインタフェイスを生成するユーザインタフェイス生成ステップと、前記生成したユーザインタフェイスから入力された制御データに基づき、前記データの加工方法を決定する加工方法決定ステップと、
前記決定した加工方法に基づいて、前記データの加工を行なうデータ加工ステップとをコンピュータに実行させるデータ処理プログラムを記録した、コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はデータ処理装置、データ処理方法、データ処理システム、データ処理プログラム、および該プログラムを記録した記録媒体に関し、特に、マルチメディアデータの加工を行なうことができるデータ処理装置、データ処理方法、データ処理システム、データ処理プログラム、および該プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、コンピュータグラフィックスの技術を用いたアニメーション、静止画、動画、テキストデータ、音声などの種々のフォーマットが共存するマルチメディアデータの作成は、一般に作成専用のコンピュータプログラムを用いて行なわれていた。マルチメディアデータの作成専用のプログラムでは、データを作成するに当たって非常に複雑な操作を行なう必要があった。
【０００３】
このようなマルチメディアデータの作成に要する複雑な操作を簡略化するために、例えば、マクロメディア株式会社の「Ｇｅｎｅｒａｔｏｒ（Ｒ）」というプログラムは、マルチメディアデータの提供者（以下、コンテンツ提供者と称する）が事前に適切な準備を行なうことで、編集を行ないたいユーザ（以下、最終ユーザと称する）が簡単な操作で、雛型となるマルチメディアデータ（テンプレートと呼ばれる）の特定の部分を置換えるような編集操作を行なうことを可能にしている。
【０００４】
ここで、図１５〜図１７を参照して、「Ｇｅｎｅｒａｔｏｒ（Ｒ）」の使用例を説明する。
【０００５】
まず、図１５は、「Ｇｅｎｅｒａｔｏｒ（Ｒ）」を用いたデータ加工システムの構成の具体例を示す図である。図１５を参照して、コンテンツ提供者はサーバ機器１５０１を用意する。最終ユーザは、クライアント機器１５０８に内蔵されたＷＷＷ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）ブラウザプログラム１５０９を用いて、通信ネットワーク１５０７を介してサーバ機器１５０１が提供するサービスを利用する。
【０００６】
例えば、図１７を参照して、マルチメディアデータ１７００中の白い花の画像１７０１を、最終ユーザが、赤い花の画像１７０２・黄色の花の画像１７０３・青い花の画像１７０４のうちのいずれか任意の画像に置換えることを可能にするようなアプリケーションを開発する場合について考える。そのとき、コンテンツ提供者は、「Ｇｅｎｅｒａｔｏｒ（Ｒ）」を用いるとすると、概略として次のような手順でアプリケーションを開発することができる。
【０００７】
（１）図示しないコンテンツ作成プログラムを用いて、テンプレート１７００（白い花の画像オブジェクトを含むマルチメディアデータ）を作成する。さらに、テンプレート１７００中で、白い花の画像オブジェクト１７０１を置換えの対象として指定しておく。
【０００８】
（２）テンプレート１７００および素材データすなわち置換する候補となる赤・黄・青それぞれの花の画像データ１７０２〜１７０４を用意し、テンプレートおよび素材データ記憶部１５０５に格納しておく。
【０００９】
（３）ＷＷＷブラウザプログラム１５０９上にて、置換する画像を選択するためのユーザインタフェイス１６０２（図１６参照）をＨＴＭＬ（Ｈｙｐｅ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）を用いて開発し、ユーザインタフェイスデータ格納部１５０３に格納しておく。この場合のユーザインタフェイス１６０２のＨＴＭＬ１６０１を、図１６に示す。
【００１０】
（４）サーバ機器１５０１上に、ＷＷＷブラウザプログラム１５０９からの入力を解釈して合成プログラム１５０６（Ｇｅｎｅｒａｔｏｒ（Ｒ））に適切な合成指示を与えるための入力解析・合成指示プログラム１５０４を開発する。
【００１１】
以上のように、コンテンツ提供者によって開発されたデータおよびプログラムは、通信ネットワーク１５０７に接続されたサーバ機器１５０１内に置かれる。なお、ＷＷＷブラウザプログラム１５０９およびＷＷＷサーバプログラム１５０２は、一般的なものを用いることができるため、当アプリケーション用に新たに開発する必要はない。
【００１２】
次に、最終ユーザは、通信ネットワーク１５０７に接続された端末上のＷＷＷブラウザプログラム１５０９を用いて、上記ユーザインタフェイス１６０２を呼出す。そして、赤・黄・青それぞれの色の花の画像に対応する選択肢１６０５からいずれかを選択し、リクエストとしてサーバ機器１５０１に送信するための操作、すなわちＳｕｂｍｉｔ　Ｑｕｅｒｙボタン１６０６を押下する。
【００１３】
サーバ機器１５０１に送られたリクエストは、入力解析・合成指示プログラム１５０４によって解釈される。そして、適切なパラメータを伴なった指示（この場合、テンプレート１７００中の白い花の画像１７０１をどの画像に置換えるかという指示）が生成され、合成プログラム１５０６（Ｇｅｎｅｒａｔｏｒ（Ｒ））に与えられる。このことによって、実際の合成が行なわれる。
【００１４】
合成の結果としてのコンテンツは、通常、最終ユーザ側のクライアント機器１５０８にレスポンスとして返送され、ＷＷＷブラウザプログラム１５０９上にて、テンプレート１６０３中の画像１６０４を置換えた状態で表示される。
【００１５】
【発明が解決しようとする課題】
しかしながら、以上のような、「Ｇｅｎｅｒａｔｏｒ（Ｒ）」を用いた合成アプリケーションの開発においては、コンテンツ（テンプレートおよび素材）のみならず、ユーザインタフェイスデータおよび入力解析・合成指示プログラムを開発する必要があるという問題がある。
【００１６】
しかも、新たなアプリケーションを追加するごとに、対応するユーザインタフェイスデータおよび入力解析・合成指示プログラムも新たに開発していく必要があるため、多大の開発コストを要するという問題がある。とりわけ、入力解析・合成指示プログラムの開発については、システムエンジニアまたはコンピュータプログラマの技能を必要とするため、コンテンツ（テンプレートおよび素材）を制作するクリエータ（またはデザイナ）と呼ばれる人材の技能だけでは、プログラム開発までを担当することは困難であった。
【００１７】
本発明は、上述の問題を解決するためになされたものであって、コンテンツ提供者が、コンピュータプログラマの技能を要することなく、簡単な操作で加工または合成アプリケーションを開発することのできるデータ処理装置、データ処理方法、データ処理システム、データ処理プログラム、および該プログラムを記録した記録媒体を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、データ処理装置は、処理の対象であるデータの構成要素を抽出し、抽出した構成要素を特性に応じて分類する構成要素抽出分類手段と、分類された構成要素ごとの加工条件を設定する加工条件設定手段とを備える。
【００１９】
このことにより、加工の対象となる各構成要素毎の種類に応じた加工条件を対話的に設定できることから、加工条件をプログラムによって直接記述する必要はなく、コンピュータプログラマの技能を要することなく、簡単な操作で加工条件を設定することが可能となる。
【００２０】
また、上述の加工条件設定手段は、構成要素の加工を行なうためのユーザインタフェイスの生成情報を設定することが望ましい。
【００２１】
これにより、加工の対象となる各構成要素毎の種類に応じたユーザインタフェイスを対話的に設定できることから、加工のためのユーザインタフェイスをプログラムによって直接記述する必要はなく、コンピュータプログラマの技能を要することなく、簡単な操作で加工のためのユーザインタフェイスを設定することが可能となる。
【００２２】
また、上述の加工条件設定手段は、構成要素の加工を行なうためのユーザインタフェイス部材に対する表示上の名称を設定することが望ましい。
【００２３】
これにより、加工アプリケーションの最終ユーザにわかりやすい構成要素の名称を簡単に設定することが可能となる。例えば、１つのマルチメディアデータの中に複数の置換対象画像データが含まれる場合、「花」「人物」などと具体的なわかりやすい名称を上記同様簡単に設定することができる。
【００２４】
また、上述の加工条件設定手段は、構成要素の置換を行なうための候補となるデータ情報を設定することが望ましい。
【００２５】
これにより、加工アプリケーションの最終ユーザが構成要素の置換を行なうための候補データを、上記同様簡単に設定することが可能となる。また、上述のユーザインタフェイス部材に対する表示上の名称を設定可能とすると、例えば、「花」の画像の置換の候補として、単にファイル名を羅列するよりも「赤い花」「青い花」といった具体的なわかりやすい名称を上記同様簡単に設定することができる。
【００２６】
また、上述の加工条件設定手段は、構成要素の属性を変更するための加工情報を設定することが望ましい。
【００２７】
これにより、構成要素の属性（色など）を変更するための加工情報を、上記同様簡単に設定することができる。
【００２８】
また、上述の加工条件設定手段は、構成要素の加工方法を制約するための制約条件情報を設定することが望ましい。
【００２９】
これにより、不都合な外部データや加工方法を排除するための制約条件情報を、上記同様簡単に設定することができる。特に、最終ユーザが用意した外部データにより構成要素を置換するような場合、加工条件設定手段により不都合な外部データを排除するようにするとよい。また、最終ユーザが加工に対するパラメータを設定するような場合、加工条件設定手段によりそのパラメータの最小値や最大値を設定しておくとよい。
【００３０】
また、上述の制約条件情報は、構成要素を置換するデータの最大容量を含むことが望ましい。
【００３１】
これにより、出力データの保存や通信に対して障害になるような大容量の入力データを排除するための制約条件情報を、上記同様簡単に設定することができる。
【００３２】
また、上述の制約条件情報は、構成要素を置換するデータの表示サイズに関するパラメータの最小値または最大値を含むことが望ましい。
【００３３】
これにより、出力データの外観に対して障害になるような表示サイズの入力データを排除するための制約条件情報を、上記同様簡単に設定することができる。
【００３４】
また、上述の制約条件情報は、構成要素を置換するデータの種類を記述する種類情報を含むことが望ましい。
【００３５】
これにより、合致しない形式の入力データを排除するための制約条件情報を上記同様簡単に設定することができる。例えば、構成要素としての画像データを置換する場合、画像ファイルの形式として、対応している形式のみを適用可能として設定するとよい。
【００３６】
本発明の他の局面に従うと、データ処理装置は、特定のデータに対応し、データの構成要素の加工を行なうためのユーザインタフェイスの生成情報を含む加工条件が記述された加工条件記述データを読込み、ユーザインタフェイスを生成するユーザインタフェイス生成手段と、生成したユーザインタフェイスから入力された制御データに基づき、データの加工方法を決定する加工方法決定手段とを備える。
【００３７】
このことにより、上述の加工条件記述データに基づいて、ユーザインタフェイスを表示し、また、ユーザからの入力に基づいて加工方法を決定することができることから、データ加工アプリケーションの提供者は、アプリケーション毎にユーザインタフェイスおよび加工方法決定のためのプログラムを開発する必要がなくなり、アプリケーションの開発効率が向上する。
【００３８】
また、上述の加工方法決定手段は、決定したデータの加工方法を、データ加工プログラムに対する指示として出力することが望ましい。
【００３９】
これにより、データ加工アプリケーションの提供者は、データ加工プログラムに対する指示を与えるためのプログラムを開発する必要がなくなり、アプリケーションの開発効率が向上する。
【００４０】
また、上述の加工条件記述データは、データの構成要素の加工を制約するための加工方法制約条件を含み、データ処理装置は、加工方法制約条件に基づいて構成要素の加工可否の判断を行なう加工可否決定手段をさらに備えることが望ましい。
【００４１】
これにより、不都合な外部データや加工方法を排除することができる。特に、最終ユーザが用意した外部データにより構成要素を置換するような場合、不都合な外部データを排除するようにするとよい。また、最終ユーザが加工に対するパラメータを設定するような場合、そのパラメータの最小値や最大値を制限してもよい。
【００４２】
本発明のさらに他の局面に従うと、データ処理方法は、処理の対象であるデータの構成要素を抽出し、抽出した構成要素を特性に応じて分類する構成要素抽出分類ステップと、分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定ステップと、ユーザインタフェイスを生成するユーザインタフェイス生成ステップと、生成したユーザインタフェイスから入力された制御データに基づき、データの加工方法を決定する加工方法決定ステップと、決定した加工方法に基づいて、データの加工を行なうデータ加工ステップとを備える。
【００４３】
このことにより、加工の対象となる各構成要素毎の種類に応じた加工条件を対話的に設定できることから、加工条件をプログラムによって直接記述する必要はなく、コンピュータプログラマの技能を要することなく、簡単な操作でデータの加工を行なうことが可能となる。
【００４４】
また、データ処理方法は、構成要素の加工の可否の判断を行なう加工可否決定ステップをさらに備えることが望ましい。
【００４５】
これにより、不都合な外部データや加工方法を排除することができる。特に、最終ユーザが用意した外部データにより構成要素を置換するような場合、不都合な外部データを排除するようにするとよい。また、最終ユーザが加工に対するパラメータを設定するような場合、そのパラメータの最小値や最大値を制限してもよい。
【００４６】
本発明のさらに他の局面に従うと、データ処理システムは、処理の対象であるデータの構成要素を抽出し、抽出した構成要素を特性に応じて分類する構成要素抽出分類手段と、分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定手段と、ユーザインタフェイスを生成するユーザインタフェイス生成手段と、生成したユーザインタフェイスから入力された制御データに基づき、データの加工方法を決定する加工方法決定手段と、決定した加工方法に基づいて、データの加工を行なうデータ加工手段とを備える。
【００４７】
このことにより、加工の対象となる各構成要素毎の種類に応じた加工条件を対話的に設定できることから、加工条件をプログラムによって直接記述する必要はなく、コンピュータプログラマの技能を要することなく、簡単な操作でデータの加工を行なうことが可能となる。
【００４８】
本発明のさらに他の局面に従うと、データ処理プログラムは、処理の対象であるデータの構成要素を抽出し、抽出した構成要素を特性に応じて分類する構成要素抽出分類ステップと、分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定ステップと、ユーザインタフェイスを生成するユーザインタフェイス生成ステップと、生成したユーザインタフェイスから入力された制御データに基づき、データの加工方法を決定する加工方法決定ステップと、決定した加工方法に基づいて、データの加工を行なうデータ加工ステップとをコンピュータに実行させる。
【００４９】
このことにより、加工の対象となる各構成要素毎の種類に応じた加工条件を対話的に設定できることから、加工条件をプログラムによって直接記述する必要はなく、コンピュータプログラマの技能を要することなく、簡単な操作でデータの加工を行なうことが可能となる。
【００５０】
本発明のさらに他の局面に従うと、記録媒体は、コンピュータ読取可能な記録媒体であって、処理の対象であるデータの構成要素を抽出し、抽出した構成要素を特性に応じて分類する構成要素抽出分類ステップと、分類された構成要素ごとの加工を行なうためのユーザインタフェイスの生成情報を含む加工条件を設定する加工条件設定ステップと、ユーザインタフェイスを生成するユーザインタフェイス生成ステップと、生成したユーザインタフェイスから入力された制御データに基づき、データの加工方法を決定する加工方法決定ステップと、決定した加工方法に基づいて、データの加工を行なうデータ加工ステップとをコンピュータに実行させるデータ処理プログラムを記録する。
【００５１】
【発明の実施の形態】
この発明の実施にあたっては、複数階層の主体（開発者あるいはユーザ）が想定される。すなわち、この発明に関する装置・システム・プログラムなどを開発するシステム開発者、この発明を用いてコンテンツ加工／合成のためのアプリケーションおよび素材データを開発し提供を行なうコンテンツ提供者、および提供されたアプリケーションを利用し実際の合成の作業を行なう最終ユーザ、の三者が想定される。
【００５２】
なお、それぞれの階層の開発者あるいはユーザの一部が同一である場合もある。例えば、システム開発者とコンテンツ提供者とが同一である場合、または、コンテンツ提供者と最終ユーザとが同一である場合などが考えられる。
【００５３】
なお、当アプリケーションを利用した結果、加工／合成されたコンテンツを視聴する視聴者が、前述の最終ユーザ以外に存在する場合もあり得る。例えば、最終ユーザが加工したコンテンツを別のユーザに送信して見てもらう場合が考えられる。
【００５４】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００５５】
［第１の実施の形態］
図１は、この発明の第１の実施の形態に係る（マルチメディア）データ処理装置が搭載されるコンピュータのブロック図である。
【００５６】
図１を参照して、コンピュータは、情報の表示を行なうモニタ１１０、情報の入力を行なうキーボード１５０やマウス１６０やペンタブレット１７０、該コンピュータ自体を集中的に制御するためのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）またはＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んで構成されるメモリ１２４、固定ディスク１２６、ＦＤ（フレキシブルディスク）１３２が自在に装着されて、装着されたＦＤ１３２へアクセスするＦＤ駆動装置１３０、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１４２が自在に装着されて装着されたＣＤ−ＲＯＭ１４２へアクセスするＣＤ−ＲＯＭ駆動装置１４０、およびネットワークＮＥと該コンピュータとを通信接続するための通信インタフェイス１８０を含む。これらの各部は、バスを介して接続される。
【００５７】
次に、図２は、本実施の形態におけるデータ処理装置の機能構成図である。図２を参照して、データ処理装置は、主としてコンテンツ提供者が用いることを想定する加工条件設定セクション２１０、主として最終ユーザが用いることを想定する加工実行セクション２２０、およびデータ格納セクション２３０から構成される。
【００５８】
加工条件設定セクション２１０は、データの加工条件を入力する設定操作パネル２１１と、テンプレートデータ２３２を読込み構成要素を抽出・分類する構成要素抽出・分類部２１２と、設定操作パネル２１１からの指示によりテンプレートデータ２３２の加工可能条件を設定し、加工条件記述データ２３１を出力する加工条件設定部２１３とを含む。
【００５９】
加工実行セクション２２０は、加工条件記述データ２３１を読込み、設定された加工条件に応じて加工実行操作パネル２２１を生成すると同時にリクエスト待機テーブル２３４を生成するための加工実行セッション準備部２２２と、生成された加工実行操作パネル２２１と、加工実行操作パネル２２１から入力された指示入力を解析し、合成部２２４に合成の具体的な指示を与える入力解析・合成指示部２２３と、入力解析・合成指示部２２３からの指示によりテンプレートデータ２３２および素材データ２３３を読込んで実際の合成を行ない、処理結果データ２３５を出力する合成部２２４とを含む。なお、素材データ２３３を用いない場合もあり得る。
【００６０】
構成要素抽出・分類部２１２、加工条件設定部２１３、加工実行セッション準備部２２２、入力解析・合成指示部２２３、および合成部２２４は、図１の固定ディスク１２６などからメモリ１２４に読込まれ、ＣＰＵ１２０によって実行されるプログラムによって構成される。
【００６１】
設定操作パネル２１１は、図示されないプログラムによってモニタ１１０上に表示され、キーボード１５０またはマウス１６０による入力操作を受付ける。
【００６２】
加工実行操作パネル２２１は、加工実行セッション準備部２２２によってモニタ１１０上に表示され、キーボード１５０またはマウス１６０による入力操作を受付ける。
【００６３】
データ群２３１、２３２、２３３、２３５は、固定ディスク１２６に格納され、各プログラムによって必要に応じてメモリ１２４上に展開され処理が行なわれる。
【００６４】
なお、加工条件設定セクション２１０と加工実行セクション２２０とは、上述のように通常はユーザが異なることを想定しているため、それぞれ、異なるコンピュータであって、複数の図１に示されるコンピュータによって構成されてもよい。
【００６５】
この場合、加工条件記述データ２３１、テンプレートデータ２３２、および素材データ２３３は、それぞれのコンピュータに装備された通信インタフェイス１８０および通信ネットワークＮＥを介して相互に伝送されてもよいし、取外し可能なメディアであるＦＤ１３２またはＣＤ−ＲＯＭ１４２を介して運ばれてもよい。
【００６６】
また、加工条件設定セクション２１０、加工実行セクション２２０の各セクションのそれぞれの内部が、通信ネットワークＮＥを介して接続された複数のコンピュータによって構成されてもよい。この場合、ユーザインタフェイスを用いた操作を行なうコンピュータはクライアント機器と呼ばれ、クライアント機器からの要求により処理を行なうコンピュータはサーバ機器と呼ばれる。
【００６７】
例えば、構成要素分類・抽出部２１２および加工条件設定部２１３をサーバ機器に装備する場合、設定操作パネル２１１はクライアント機器上に表示するように構成してもよい。同様に、例えば、加工実行セッション準備部２２２、入力解析・合成指示部２２３、および合成部２２４をサーバ機器に装備する場合、加工実行操作パネル２２１はクライアント機器上に表示するように構成してもよい。さらに、加工実行セッション準備部２２２、入力解析・合成指示部２２３、および合成部２２４は、それぞれ異なるサーバ機器に装備し、それぞれをサーバ機器間の通信により機能するように構成してもよい。
【００６８】
このように各操作パネル２１１または２２１をクライアント機器上に表示する場合、各操作パネルの元となるデータをＨＴＭＬで記述し、ＷＷＷブラウザと呼ばれるプログラムを用いて表示する方法がある。この場合、サーバ機器上ではＷＷＷサーバと呼ばれるプログラムを稼動させ、ＷＷＷブラウザとＷＷＷサーバとの間でＨＴＴＰ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）と呼ばれるプロトコルなどによりデータの送受信を行なう。
【００６９】
次に、図３は、本実施の形態に係るデータフォーマットの具体例を示す図である。図３（ａ）は主に静止画を表現するデータフォーマットを想定しており、ヘッダ情報３０１に続いて０個以上のオブジェクト情報３０２を含む。
【００７０】
ヘッダ情報３０１は、データフォーマットの種類、総データ長、保有するオブジェクト数、画面全体の縦横サイズ、および著作権情報などが記述される。
【００７１】
オブジェクト情報３０２は、画像オブジェクト、文字オブジェクト、図形オブジェクト、音響オブジェクト、グループオブジェクト（複数のオブジェクトを内包するオブジェクト）、特殊機能オブジェクト（例えば、ユーザからの入力を受付ける部品オブジェクト）など、複数の種類のオブジェクト情報が想定される。
【００７２】
オブジェクト情報３０２の内容には、例えば画像データである場合について述べると、画像データであることを示す種類情報、画像データの容量、画像データを特定するためのオブジェクトＩＤ、画像データの形式（圧縮方法など）、縦横サイズ、拡大率、回転角度、画面のどこに配置するかという座標情報、および画素データなどが含まれる。なお、オブジェクト情報３０２中のいくつかの情報を、本データの外部ファイルとして保持し、オブジェクト情報３０２は、その外部ファイルへの参照情報を含んでもよい。
【００７３】
なお、図３（ｂ）および（ｃ）は、表現上の時間軸を持つことを想定したデータフォーマットであり、詳細は後述する。
【００７４】
本実施の形態では、テンプレートデータ２３２および処理結果データ２３５は、共に図３に示すいずれかのデータフォーマットに適合したデータである。また、テンプレートデータ２３２と処理結果データ２３５とは、原則として同一のデータフォーマットである。
【００７５】
次に、図４に示すフローチャートを用いて、加工条件設定セクション２１０の動作を説明する。加工条件設定セクション２１０は、あらかじめ用意されたテンプレートから構成要素（オブジェクト群）を抽出する。そして、コンテンツ提供者は、それぞれのオブジェクトについて、加工条件を設定する操作を行なう。なお、図４のフローチャートに示される処理は、加工条件設定セクション２１０を構成するコンピュータのＣＰＵ１２０が、メモリ１２４のＲＯＭ、あるいは固定ディスク１２６に記憶されるプログラム、あるいはＦＤ駆動装置１３０やＣＤ−ＲＯＭ駆動装置１４０がアクセスするＦＤ１３２やＣＤ−ＲＯＭ１４２に記憶されるプログラム、あるいは通信インタフェイス１８０がネットワークＮＥを介してダウンロードするプログラム等をＲＡＭ等へ読出して実行することによって実現される。
【００７６】
以下、図４のフローチャートに沿って、加工条件設定セクション２１０の動作を、具体例を用いて説明する。
【００７７】
図４を参照して、ステップＳ１００１では、コンテンツ提供者から、予め用意された図３（ａ）のような形式のテンプレートの１つの指定を受付け、メモリ１２４上に読込む。
【００７８】
次に、ステップＳ１００２では、読込んだテンプレートの内容を、構成要素抽出・分類部２１２にて解析し、設定操作パネル２１１上に、図５に具体例を示すようなオブジェクト一覧表４０１として、テンプレートに含まれるオブジェクトを表示する。
【００７９】
次に、ステップＳ１００３において、コンテンツ提供者から図５に示すオブジェクト一覧表４０１にて、加工可能とすべきオブジェクトの選択、あるいは設定の終了の指示を受付ける。
【００８０】
ステップＳ１００３において、図５に示す設定ボタン４０２が押下され、オブジェクトの選択を受付けた場合は（Ｓ１００４でＮＯ）、ステップＳ１００５にて、選択されたオブジェクトに該当するオブジェクト情報３０２に含まれる種類情報に基づいて、選択されたオブジェクトの種類に対応する加工条件設定ステップＳ１００６に分岐する。
【００８１】
そして、Ｓ１００６では、選択されたオブジェクトに該当するオブジェクト情報３０２を解析する。そして、例えば、選択されたオブジェクトが画像オブジェクトの場合は、設定操作パネル２１１上に、図６のようなユーザインタフェイスを提示する。
【００８２】
ここで図６を参照して、項目５０１は、オブジェクトの種類（例えば「画像」）を表示する。項目５０２は、オブジェクトを特定するために予めオブジェクト情報内に設定されているＩＤを表示する。
【００８３】
さらに、項目５０３以降は、入力／設定項目である。項目５０３は、加工実行操作パネル２２１に表示するための表示名を入力する入力欄であり、項目５０４は、オブジェクトが複数ある場合の表示順位を入力する入力欄である。項目５０５は、置換する画像の候補を提示する場合のチェックボックスであり、項目５０６は、候補画像そのものを加工実行操作パネル２２１に一覧表示するかどうかのチェックボックスである。項目５０７は、それぞれの候補画像のファイル名および表示上の名称の入力欄である。項目５０８は、最終ユーザが任意の画像ファイルを直接指定可能とする場合のチェックボックスである。
【００８４】
さらに、項目５０９以降は、最終ユーザによって指定された画像に適用可否条件を付与する場合の入力欄である。項目５０９は、適用可能な最大ファイルサイズを指定する入力欄であり、項目５１０，５１１は、画像の縦横サイズの最小値および最大値を指定する入力欄であり、項目５１２は、適用可能な画像のフォーマットの種類を指定する入力欄である。
【００８５】
さらに、図７に、図６の項目５０３〜５１２に実際に値を入力した具体例を示す。図７に示されるように入力することで、加工実行操作パネル２２１として、図１６（ｂ）に示すようなユーザインタフェイスが表示される。また、選択された画像に、データサイズおよび縦横サイズの制約条件が設定される。例えば、図７のように入力された場合には、８０ＫＢを超える画像が選択された場合はエラーとする、という制約条件が設定される。なお、このような制約条件は、実際には、項目５０８である「任意のファイル指定」がチェックされている場合に、想定外のデータを除外する目的において特に有効である。
【００８６】
このように、ステップＳ１００６にて１つのオブジェクトに対して設定入力が完了し、ＯＫボタン５１３が押下されると、処理をステップＳ１００２に戻す。そして、前記同様、必要なオブジェクトの加工条件の設定を繰返す。
【００８７】
ステップＳ１００３において保存・終了ボタン４０３が押されると（Ｓ１００４でＹＥＳ）、ステップＳ１００７にて、入力された内容を加工条件記述データ２３１として出力する。
【００８８】
以上のようにして出力された加工条件記述データ２３１の内容の具体例を、図８に示す。図８は、加工条件記述データ２３１をＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）形式で表現した具体例を示す図であって、説明の便宜上、左側に行番号を付加したものである。
【００８９】
図８を参照して、１行目は、当データがＸＭＬであることを示す。２行目は、対応するテンプレートデータの名前が”ｓａｍｐｌｅ．ｎｖａ”であることを示す。３行目は、画像オブジェクト（識別名はＧ０００１）の加工条件の記述開始および加工実行操作パネル２２１上の表示順位（ｏｒｄｅｒ）を示す。４〜６行目は、表示名を示す。７行目は、制約条件の記述開始を示す。８〜１４行目は、選択または入力されたデータに対する制約条件を示す。１５〜１９行目は、選択候補の画像のファイル名および表示名を示す。２０〜２２行目は、制約条件、加工条件、および当該テンプレートデータに関する記述終了を示す。
【００９０】
次に、図９に示すフローチャートを用いて、加工実行セクション２２０の動作を説明する。加工実行セクション２２０は、最終ユーザからのリクエストに応じて、加工実行操作パネル２２１を表示するための処理を行なう。また、加工実行操作パネル２２１からの入力を受付けて実際の加工の実行を行なう。
【００９１】
なお、本実施の形態では、加工実行セクション２２０のうち、加工実行操作パネル２２１がクライアント機器に実現され、その他の部分はサーバ機器に装備される場合について説明する。この場合、前述のように、クライアント機器とサーバ機器との通信は、ＷＷＷブラウザおよびＷＷＷサーバという（図示されない）プログラムを介して行なわれる。また、図９のフローチャートに示される処理は、サーバ機器であるコンピュータのＣＰＵ１２０が、メモリ１２４のＲＯＭ、あるいは固定ディスク１２６に記憶されるプログラム、あるいはＦＤ駆動装置１３０やＣＤ−ＲＯＭ駆動装置１４０がアクセスするＦＤ１３２やＣＤ−ＲＯＭ１４２に記憶されるプログラム、あるいは通信インタフェイス１８０がネットワークＮＥを介してダウンロードするプログラム等をＲＡＭ等へ読出して実行することによって実現される。
【００９２】
以下、図９のフローチャートに沿って、加工実行セクション２２０の動作を、具体例を用いて説明する。
【００９３】
図９を参照して、ステップＳ１１０１では、ＷＷＷサーバが、最終ユーザからのリクエストを受付ける。
【００９４】
ステップＳ１１０１で受付けたリクエストが、加工実行操作パネル２２１を表示させるリクエスト（具体的には、特定の加工条件記述データ２３１に対応するＵＲＬ指定またはパラメータを含むＨＴＴＰリクエスト）であった場合（Ｓ１１０２で「操作パネル表示」）、ステップＳ１１０３に分岐する。なお、ステップＳ１１０２において、リクエストの種類は、ＨＴＴＰリクエスト中のＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒｓ）、メソッド、あるいはパラメータなどによって判断される。
【００９５】
次に、ステップＳ１１０３では、前述の処理で出力された加工条件記述データ２３１を検索し、メモリ１２４上に読込む。
【００９６】
次に、ステップＳ１１０４では、検索された加工条件記述データ２３１に基づいて、図１０に具体例を示すようなリクエスト待機テーブル９００をメモリ１２４上に作成する。リクエスト待機テーブル９００は、ユーザからのリクエストよりデータ加工プログラムを生成するために用いる中間データである。
【００９７】
図１０に具体例が示されるリクエスト待機テーブル９００は、最終ユーザの操作により、加工実行操作パネル２２１から、図１１（ｂ）のような加工実行リクエストが送られた際に、選択または入力された素材データ２３３の制約条件のチェックを行なうと共に、図１１（ｃ）のようなデータ加工指示情報を生成するための具体的な処理内容を記述しておくものである。なお、図１１（ａ）は、加工実行セッション準備部２２２によってＨＴＭＬ形式で出力されたデータの具体例を示す図である。これにより生成された加工実行操作パネル２２１の外観の例は、従来例である図１６（ｂ）と同様となる。
【００９８】
また、図１１（ｂ）は、最終ユーザが加工実行操作パネル２２１を用いて特定の画像（赤い花）を選択し決定した場合に、入力解析・合成指示部２２３に向けて送信されるリクエストの主要部分の具体例を示す図である。図１１（ｂ）に示す具体例では、加工実行操作パネル２２１がクライアント機器にあり、サーバ機器上の入力解析・合成指示部２２３に向けて、ＨＴＴＰプロトコルを用いて送信した場合を想定している。
【００９９】
また、図１１（ｃ）は、最終ユーザからのリクエストに基づいて生成された、データ加工プログラムに対する指示の具体例を示す図である。
【０１００】
さらに、図１０を参照して、リクエスト待機テーブル９００の詳細を説明する。処理番号９０１は、処理の順序を示す番号である。オブジェクト名９０２は、データ内の処理の対象となるオブジェクトの識別名である。処理内容９０３は、素材データの制約条件のチェック条件またはデータ加工指示を記述する。処理内容９０３の各行でＰＡＲＡＭ０１と記されているものは変数を示し、加工実行リクエストの処理の際に具体的な値あるいはデータ名に書換えられる。
【０１０１】
このリクエスト待機テーブル９００は、図８に示すような加工条件記述データ２３１に基づいて、予め決められた条件によって作成される。例えば、図８の１１行目のｆｉｌｅＳｉｚｅ要素に基づいて、リクエスト待機テーブル９００の処理番号０１に記載しているような処理が記述される。このような、各処理に対応する加工条件記述データ２３１内の要素名を、対応する要素名９０４の各行に参考として示す。なお、対応する要素名９０４は、実際のリクエスト待機テーブル９００上には必ずしも必要ではない。
【０１０２】
次に、ステップＳ１１０５では、予め定められた規則に基づき、加工条件記述データ２３１を、加工実行操作パネル２２１として直接表示するためのデータに変換する。
【０１０３】
例えば、ステップＳ１１０５においては、図８に示すようなＸＭＬ形式の加工条件記述データ２３１を、図１１（ａ）に示すようなＨＴＭＬデータに変換する。このような変換に際して、素材データ２３３の制約条件についても変換が可能な場合もある（ＨＴＭＬを表示するＷＷＷブラウザが高度な入力チェック機能を有する場合など）が、ここでは、制約条件を除いたユーザインタフェイスの記述に該当する部分のみを変換するものとする。
【０１０４】
なお、このようにＸＭＬ形式のデータからＨＴＭＬデータに変換する方法は各種あるが、例えば、変換規則を記したスタイルシートと呼ばれるデータ基づいて変換することが一般的に行なわれている。なお、ステップＳ１１０５では、オブジェクト単位の表示順位（ｏｒｄｅｒ）が指定されている場合は、変換に際してソートを行なう。
【０１０５】
以上のように変換されたＨＴＭＬデータは、通信回線を介して、クライアント機器上のＷＷＷブラウザに向け、リクエストに対するレスポンスという形で送信される。そして、ステップＳ１１０６では、クライアント機器上のＷＷＷブラウザ上にて、受信したＨＴＭＬデータを解釈して図１６（ｂ）に示すようなユーザインタフェイスとして表示する。
【０１０６】
ここで最終ユーザが、例えば、最初の選択肢、すなわち赤い花の画像を選択してＳｕｂｍｉｔ　Ｑｕｅｒｙボタン１６０６を押下すると、ＷＷＷブラウザが図１１（ｂ）に示すようなＨＴＴＰリクエストを発行し、サーバに向けて送信する。ここで、図１１（ｂ）に示されるｒｅｑｕｅｓｔ＿ｉｄ＝００１は、どのリクエストに関わるものであるかを判別するためのものであり、ＰＡＲＡＭ０１＝Ａ１．ｊｐｇは、本実施の形態ではテンプレート上の該画像オブジェクトのＩＤと、それに対応する選択された候補画像の名前とを示す。
【０１０７】
一方、ＷＷＷサーバでは、ステップＳ１１０１にて常時リクエストを受付けており、図１１（ｂ）に示すようなＨＴＴＰリクエストを受付けると、ステップＳ１１０２にて加工実行のリクエストであることが判断される（ＵＲＬまたはパラメータによる）。すると、ステップＳ１１０７に分岐する。
【０１０８】
次に、ステップＳ１１０７では、入力パラメータを解析し、ステップＳ１１０８にてリクエスト待機テーブルの変数を具体的な値あるいはデータ名に置換える。すなわち、図１０に示されるリクエスト待機テーブル９００の場合には、ＰＡＲＡＭ０１という変数が全てＡ１．ｊｐｇというデータ名に置換えられる。
【０１０９】
このようにＡ１．ｊｐｇというような素材データが要求されている場合は、ステップＳ１１０９にて素材データ２３３から必要な素材データを取得する。なお、素材データは、加工実行操作パネル２２１を通じで最終ユーザから送信される場合もあり得る。
【０１１０】
その後、ステップＳ１１１０にて、リクエスト待機テーブルに基づき、素材データが制約条件（例えば画像データのファイルサイズ、縦横サイズ、拡張子など）に適合しているかどうかのチェックを行なう。なお、素材データの適合性のチェックだけでなく、入力パラメータのチェック（数値・文字などの範囲チェックなど）をステップＳ１１１０で行なってもよい。
【０１１１】
ステップＳ１１１０にて取得した素材データが制約条件を外れていると判断された場合は（Ｓ１１１０で「エラー」）、ステップＳ１１１４にてエラー表示の処理を行なう。
【０１１２】
取得した素材データが制約条件に適合していると判断された場合は（Ｓ１１１０で「ＯＫ」）、リクエスト待機テーブル（この例では処理番号０４）に基づき、ステップＳ１１１１にて図１１（ｃ）のような合成指示命令セットを生成する。そして、ステップＳ１１１２では、合成部２２４がこれを用いて合成プログラムを起動し、必要な素材データを用いて、実際の合成を行なう。その後、ステップＳ１１１３にて合成結果をＷＷＷサーバと通信回線とを介してクライアント機器上のＷＷＷブラウザに向けて送信する。その結果、最終ユーザ側では、図１６の白い花の画像１６０４が、最終ユーザの要求どおり赤い花に置換わった画像が表示される。
【０１１３】
ここで、図１２〜１４を参照して、オブジェクトが画像以外のデータである場合について説明する。
【０１１４】
図１２は、オブジェクトが文字列の場合の、設定操作パネル２１１の表示の具体例を示す図である。図１２を参照して、項目１２０１は、オブジェクトの種類を表示する。項目１２０２は、オブジェクトを特定するために予めオブジェクト情報内に設定されているＩＤを表示する。
【０１１５】
さらに、項目１２０３以降は入力／設定項目である。項目１２０３は、加工実行操作パネル２２１に表示するための表示名を入力する入力欄であり、項目１２０４は、置換・加工対象のオブジェクトが複数ある場合の表示順位を入力する入力欄である。項目１２０５は、置換する文字列の候補を提示する場合のチェックボックスであり、項目１２０６は、それぞれの候補文字列の入力欄である。項目１２０７は、最終ユーザが文字列を直接入力可能とする場合のチェックボックスであり、項目１２０８は、入力する文字列に改行を含ませることを可能とする場合のチェックボックスである。項目１２０９は、文字の色の候補を提示する場合のチェックボックスであり、項目１２１０は、候補となるそれぞれの色をＲＧＢ（光の３原色となる赤・緑・青）成分で指定するための入力欄である。なお、ＲＧＢ成分を指定するには、各成分を数値で直接指定する方法の他、任意の色をグラフィカルに指定するためのダイアログボックスにより入力しＲＧＢ成分に変換することがプログラム開発において一般的に行なわれている。項目１２１１は、最終ユーザがＲＧＢ成分を直接指定可能とするためのチェックボックスである。
項目１２１２は、該文字列の表示フォントの候補を提示する場合のチェックボックスであり、項目１２１３は、候補となるそれぞれのフォントを識別する名前を指定するための入力欄である。項目１２１４は、最終ユーザが該文字列の表示フォントを直接指定可能とする場合のチェックボックスである。項目１２１５は、最終ユーザによって指定または入力された文字列に対して適用可能と判断する文字数の最小値および最大値を指定するための入力欄である。
【０１１６】
そして、ＯＫボタン１２１６を押下することで、上述の各項目に入力された内容が設定される。
【０１１７】
次に、図１３は、オブジェクトが図形の場合の、設定操作パネル２１１の表示の具体例を示す図である。図１３を参照して、項目１３０１は、オブジェクトの種類を表示する。項目１３０２は、オブジェクトを特定するために予めオブジェクト情報内に設定されているＩＤを表示する。
【０１１８】
さらに、項目１３０３以降は入力／設定項目である。項目１３０３は、加工実行操作パネル２２１に表示するための表示名を入力する入力欄である。項目１３０４は、置換・加工対象のオブジェクトが複数ある場合の表示順位を入力する入力欄である。項目１３０５は、図形の塗り色の候補を提示する場合のチェックボックスであり、項目１３０６は、候補となるそれぞれの塗り色をＲＧＢ成分で指定するための入力欄である。項目１３０７は、最終ユーザが図形の塗り色のＲＧＢ成分を直接指定可能とするためのチェックボックスである。項目１３０８〜１３１０は、図形の輪郭の色について、前記塗り色同様に設定するための入力欄である。
【０１１９】
そして、ＯＫボタン１３１１を押下することで、上述の各項目に入力された内容が設定される。
【０１２０】
次に、図１４の説明に関連して、まず、図３に示すデータフォーマットの具体例について前述の（ａ）以外の、（ｂ）および（ｃ）について説明する。
【０１２１】
図３（ｂ）に具体例を示すデータフォーマットは、主に表現上の時間軸を持つデータフォーマットを想定しており、ヘッダ情報３０３に続いて０個以上のフレーム情報３０４を含む。
【０１２２】
フレーム情報３０４は、再生開始時刻を基準とした特定時刻における表現情報であり、個々のフレーム情報３０４は、単一の静止画データで構成されていてもよいし、０個以上のオブジェクト情報を含んで階層構造を形成していてもよい。
さらに、フレーム情報３０４は、連続的な動きとして再生されるオブジェクト群の、特定時刻における状態情報、すなわちキーフレーム情報であってもよい。
【０１２３】
図３（ｃ）は、前述のような連続したフレーム情報の集合をシーン情報３０７としてまとめ、さらにシーン情報の空間および時間軸上の配置をシーン構成情報３０６として含めたデータフォーマットの具体例を示す図である。シーン構成情報３０６は、図示されないさらに上位のシーン構成情報に含まれて階層構造を形成してもよい。
【０１２４】
以上述べたようなオブジェクト情報３０２、フレーム情報３０４、およびシーン情報３０７は、本発明では全て広義のオブジェクトと考える。例えば、図１７を用いた例では、画像オブジェクトの置換えについて述べたが、本発明は、フレーム情報またはシーン情報の置換え、または加工についても適用可能である。
【０１２５】
そこで、図１４に、シーンオブジェクトに対する設定操作パネル２１１の表示の具体例を示す。図１４を参照して、項目１４０１は、オブジェクトの種類（ここではシーン）を表示する。項目１４０２は、シーンオブジェクトを特定するために予めシーンオブジェクト情報内に設定されているＩＤを表示する。
【０１２６】
さらに、項目１４０３以降は、入力／設定項目である。項目１４０３は、加工実行操作パネル２２１に表示するための表示名を入力する入力欄である。項目１４０４は、置換／加工対象のオブジェクトが複数ある場合の表示順位を入力する入力欄である。項目１４０５は、置換するシーンオブジェクトの候補を提示する場合のチェックボックスであり、項目１４０７は、候補シーンの動画そのものを加工実行操作パネル２２１に一覧表示するかどうかのチェックボックスである。
項目１４０６は、それぞれの候補シーンに対応する動画ファイル名および表示上の名称の入力欄であり、項目１４０８は、最終ユーザが任意の動画ファイルを直接指定可能とする場合のチェックボックスである。項目１４０９は、該シーンの再生時間の制御を行なう場合のチェックボックスであり、項目１４１０は、該シーンに対する候補となるそれぞれの再生時間とそれに対応する表示名との入力欄であり、項目１４１１は、最終ユーザが再生時間を直接指定可能とする場合のチェックボックスである。
【０１２７】
さらに、項目１４１２以降は、最終ユーザによって指定されたシーンデータに制約条件を付ける場合の入力欄であり、項目１４１２は、適用可能な最大ファイルサイズを指定し、項目１４１３，１４１４は、シーンデータの縦横サイズの最小値および最大値を指定し、項目１４１５は、該シーンの再生時間の最大値および最小値を指定し、項目１４１６は、該シーンのフレーム数の最小値および最大値を指定する。
【０１２８】
そして、ＯＫボタン１４１７を押下することで、上述の各項目に入力された内容が設定される。
【０１２９】
以上説明した第１の実施の形態では、テンプレートデータ、素材（候補）データ、および加工条件記述データのそれぞれが別個のデータとして扱われているが、これらのうち２種類または全てが１つのファイルとしてまとまっていてもよい。これにより、データの扱いを簡略化することができる。
【０１３０】
また、第１の実施の形態では、加工実行操作パネル２２１を表示し、これを最終ユーザが操作するものとしているが、最終ユーザに該当する部分をプログラムに置換えてもよい。例えば、第１の実施の形態の冒頭では、加工実行セクション２２０の構成のうち、加工実行操作パネルをクライアント機器に装備し、残りの部分をサーバ機器（Ａとする）に装備し、クライアント機器とサーバ機器との間はＨＴＴＰと呼ばれるプロトコルで通信する例を示したが、このクライアント機器に当たる部分をさらに別のサーバ機器（Ｂとする）とし、サーバ機器Ｂの動作はプログラムによって制御するように構成してもよい。この場合、加工実行操作パネルを表示する必要はなく、サーバ機器Ｂからサーバ機器Ａに対し、単に図１１（ｂ）のようなリクエストをあるタイミングで自動的に送信し、処理結果データをサーバ機器Ａからサーバ機器Ｂに返送するように構成してもよい。これにより、人手を介することなくデータ加工を行なうシステムを構築することができる。例えば、サーバ機器Ｂは定期的に時刻に応じた素材の合成を要求するリクエストをサーバ機器Ａに送信し、返送されたデータをサーバ機器Ｂに接続された表示装置に表示する。このことにより、定期的に自動的に更新されるアプリケーションを実現することができる。
【０１３１】
このようなデータ処理システムは、従来技術を用いても実現可能であるが、本発明による構成を併用することにより、加工の対象となる各構成要素毎の種類に応じた加工条件を対話的に設定できる。
【０１３２】
このように、本実施の形態におけるデータ処理装置、およびデータ処理システムは、加工条件をプログラムによって直接記述する必要はなく、コンピュータプログラマの技能を要することなく、簡単な操作で加工条件あるいはデータの制約条件を設定し、少ないコストでアプリケーションを追加していくことができる。
【０１３３】
また、加工アプリケーションの最終ユーザにわかりやすい構成要素の名称を簡単に設定することができる。例えば、１つのマルチメディアデータの中に複数の置換対象画像データが含まれる場合、「花」「人物」などと具体的なわかりやすい名称を上記同様簡単に設定することができる。
【０１３４】
また、加工アプリケーションの最終ユーザが構成要素の置換を行なうための候補データを簡単に設定することができる。すなわち、上述の如く、ユーザインタフェイス部材に対する表示上の名称を設定可能であるため、例えば、「花」の画像の置換の候補として、単にファイル名を羅列するよりも「赤い花」「青い花」といった具体的なわかりやすい名称を簡単に設定することができる。
【０１３５】
また、構成要素の属性（色など）を変更するための加工情報も簡単に設定することができる。
【０１３６】
不都合な外部データや加工方法を排除するための制約条件情報も簡単に設定することができる。特に、最終ユーザが用意した外部データにより構成要素を置換するような場合に、制約条件を付与することで、不都合な外部データを排除することが有効である。また、最終ユーザが加工に対するパラメータを設定するような場合にも、そのパラメータの最小値や最大値を設定しておくとよい。
【０１３７】
また、出力データの保存や通信に対して障害になるような大容量の入力データを排除するための制約条件情報も、簡単に設定することができる。
【０１３８】
また、出力データの外観に対して障害になるような表示サイズの入力データを排除するための制約条件情報も、簡単に設定することができる。
【０１３９】
また、合致しない形式の入力データを排除するための制約条件情報も簡単に設定することができる。例えば、構成要素としての画像データを置換する場合、画像ファイルの形式として、対応している形式のみを適用可能として設定するとよい。
【０１４０】
また、本実施の形態におけるデータ処理装置およびデータ処理システムでは、加工条件記述データに基づいて、ユーザインタフェイスを表示し、また、ユーザからの入力に基づいて加工方法を決定することができる。このことから、データ加工アプリケーションの提供者は、アプリケーション毎にユーザインタフェイスおよび加工方法決定のためのプログラムを開発する必要がなくなり、アプリケーションの開発効率が向上する。
【０１４１】
また、最終的に前述のようなサーバ機器Ａとサーバ機器Ｂとによる構成を目標として開発する場合、開発段階でサーバ機器Ｂの代用またはテスト機器として、第１の実施の形態に示すようなクライアント機器を用いた加工実行操作パネルを用いることも可能である。
【０１４２】
また、既存の合成プログラムに対する指示コマンド（図１１（ｃ）参照）の規則が仮に複雑かつ難解であるような場合、該合成プログラムを直接制御するアプリケーションの開発が困難となる。しかし、本発明の構成を用いたデータ処理システムを開発しておくことにより、容易に指示コマンドのサンプルを得ることができる。すなわち、本発明の構成は、該合成プログラムを直接制御するアプリケーションの開発のための支援システムとして用いることも可能である。
【０１４３】
［第２の実施の形態］
以上説明した処理機能を有したデータ処理装置およびデータ処理システムは、プログラムで実現される。第２の実施の形態では、このプログラムは、コンピュータで読取可能な記録媒体に格納される。第２の実施の形態では、この記録媒体として、図１に示されているコンピュータで処理が行なわれるために必要なメモリ、たとえばメモリ１２４のＲＯＭのようなそのものがプログラムメディアであってもよいし、また外部記憶装置として磁気テープ装置およびＣＤ−ＲＯＭ駆動装置１４０などのプログラム読取装置が設けられ、そこに記録媒体である磁気テープまたはＣＤ−ＲＯＭ１４２が挿入されることで読取可能なプログラムメディアであってもよい。
【０１４４】
いずれの場合においても、格納されているプログラムは、ＣＰＵ１２０がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムが一旦読出されて、読出されたプログラムが、図１の所定のプログラム記憶エリア、たとえばメモリ１２４のＲＡＭのプログラム記憶エリアにロードされて、ＣＰＵ１２０により読出されて実行される方式であってもよい。このロード用のプログラムは、予めコンピュータに格納されているものとする。
【０１４５】
ここで、上述したプログラムメディアは、コンピュータ本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、ＦＤ１３２や固定ディスク１２６などの磁気ディスクやＣＤ−ＲＯＭ１４２やＭＯ（Ｍａｇｎｅｔｉｃ　Ｏｐｔｉｃａｌ　Ｄｉｓｃ）やＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの光ディスクのディスク系、ＩＣカード（メモリカードを含む）や光カードなどのカード系、あるいはマスクＲＯＭやＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）（Ｒ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）（Ｒ）やフラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１４６】
また、本実施の形態においては、コンピュータは、インターネットを含むネットワークＮＥと接続可能な構成が採用されているから、ネットワークＮＥからプログラムがダウンロードされる、いわゆる流動的にプログラムを持する媒体であってもよい。なお。このようにネットワークＮＥからプログラムがダウンロードされる場合には、ダウンロード用プログラムは予め当該コンピュータに格納しておくか、あるいは別の記録媒体から予め当該コンピュータにインストールされるものであってもよい。
【０１４７】
なお記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１４８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態に係る（マルチメディア）データ処理装置が搭載されるコンピュータのブロック図である。
【図２】この発明の第１の実施の形態におけるデータ処理装置の機能構成図である。
【図３】データフォーマットの具体例を示す図である。
【図４】加工条件設定セクション２１０の動作を示すフローチャートである。
【図５】設定操作パネル２１１に表示されるオブジェクト一覧表の具体例を示す図である。
【図６】設定操作パネル２１１に表示されるユーザインタフェイスの具体例を示す図である。
【図７】設定操作パネル２１１に表示されるユーザインタフェイスに入力中の状態の具体例を示す図である。
【図８】加工条件記述データ２３１をＸＭＬ形式で表現した具体例を示す図である。
【図９】加工実行セクション２２０の動作を示すフローチャートである。
【図１０】リクエスト待機テーブル９００の具体例を示す図である。
【図１１】加工実行セッション準備部２２２によってＨＴＭＬ形式で出力されたデータの具体例、入力解析・合成指示部２２３に向けて送信されるリクエストの主要部分、およびデータ加工プログラムに対する指示データの具体例を示す図である。
【図１２】オブジェクトが文字列の場合の、設定操作パネル２１１の表示の具体例を示す図である。
【図１３】オブジェクトが図形の場合の、設定操作パネル２１１の表示の具体例を示す図である。
【図１４】シーンオブジェクトに対する設定操作パネル２１１の表示の具体例を示す図である。
【図１５】従来のデータ加工システムの構成の具体例を示す図である。
【図１６】従来のマルチメディアデータの合成に関する、ＨＴＭＬを用いたユーザインタフェイスの具体例を示す図である。
【図１７】マルチメディアデータの具体例と、その構成要素を置換える候補となる画像データの具体例とを示す図である。
【符号の説明】
１１０　モニタ、１２０　ＣＰＵ、１２４　メモリ、１２６　固定ディスク、１３０　ＦＤ駆動装置、１３２　ＦＤ、１４０　ＣＤ−ＲＯＭ駆動装置、１４２ＣＤ−ＲＯＭ、１５０　キーボード、１６０　マウス、１７０　ペンタブレット、１８０　通信インタフェイス、２１０　加工条件設定セクション、２１１　設定操作パネル、２１２　構成要素抽出・分類部、２１３　加工条件設定部、２２０　加工実行セクション、２２１　加工実行操作パネル、２２２　加工実行セッション準備部、２２３　入力解析・合成指示部、２２４　合成部、２３０　データ格納セクション、２３１　加工条件記述データ、２３２　テンプレートデータ、２３３　素材データ、２３４，９００　リクエスト待機テーブル、２３５　処理結果データ、３０１，３０３，３０５　ヘッダ情報、３０２　オブジェクト情報、３０４　フレーム情報、３０６　シーン構成情報、３０７　シーン情報、４０１　オブジェクト一覧表、４０２　設定ボタン、４０３　保存・終了ボタン、５０１〜５１２，１２０１〜１２１５，１３０１〜１３１０，１４０１〜１４１６　項目、５１３，１２１６，１３１１，１４１７　ＯＫボタン、９０１　処理番号、９０２　オブジェクト名、９０３　処理内容、９０４　対応する要素名、１５０１　サーバ機器、１５０２　ＷＷＷサーバプログラム、１５０３　ユーザインタフェイスデータ格納部、１５０４　入力解析・合成指示プログラム、１５０５　テンプレートおよび素材データ記憶部、１５０６　合成プログラム、１５０７　通信ネットワーク、１５０８　クライアント機器、１５０９　ＷＷＷブラウザプログラム、１６０１　ユーザインタフェイス１６０２のＨＴＭＬ、１６０２　ユーザインタフェイス、１６０３，１７００　テンプレート、１６０４　画像、１６０５　選択肢、１６０６　Ｓｕｂｍｉｔ　Ｑｕｅｒｙボタン、１７０１　白い花の画像オブジェクト、１７０２〜４　赤・黄・青それぞれの花の画像データ。
【図１】
2004118522.tif 000003
【図２】
2004118522.tif 000004
【図３】
2004118522.tif 000005
【図４】
2004118522.tif 000006
【図５】
2004118522.tif 000007
【図６】
2004118522.tif 000008
【図７】
2004118522.tif 000009
【図８】
2004118522.tif 000010
【図９】
2004118522.tif 000011
【図１０】
2004118522.tif 000012
【図１１】
2004118522.tif 000013
【図１２】
2004118522.tif 000014
【図１３】
2004118522.tif 000015
【図１４】
2004118522.tif 000016
【図１５】
2004118522.tif 000017
【図１６】
2004118522.tif 000018
【図１７】
2004118522.tif 000019