(57)【要約】      （修正有）【課題】  ごく簡単かつ非常に効果的なフォーマット記述方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、また図形へのプライオリティ値を指示し、これを図形表示スケールに依存した情報端末での図形の表示と音声再生を実現する。【解決手段】  スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、全体表示からの部分表示を行う部分表示領域の指定手段と、特定のベクタグラフィックス図形表示を指定する指定手段と、該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、該図形に、関連付けられたマルチメディアソースのプライオリティを数値化して設定するプライオリティ値設定手段と、該マルチメディアソースの表示・再生を行う表示・再生手段と、該表示・再生手段の動作を制御する制御手段とを、具備する。【選択図】        図１
2005092495.tif 000002
【特許請求の範囲】
【請求項１】
表示領域の大小に依存せず拡大・縮小表示の可能なスケーラブルベクタグラフィックスフォーマット方式において、
スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、
全体表示からの部分表示を行う部分表示領域の指定手段と、
特定のベクタグラフィックス図形表示を指定する指定手段と、
該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、
該図形に、関連付けられたマルチメディアソースのプライオリティを数値化して設定するプライオリティ値設定手段と、
該マルチメディアソースの表示・再生を行う表示・再生手段と、
該表示・再生手段の動作を、スケーラブルベクタグラフィックス上での特定のベクタグラフィックスの表示スケールとプライオリティ値によってこれを制御する制御手段と、を備え、
該制御手段は、特定のベクタグラフィックス図形表示を行う指定をする指定手段に指定される制御限指定手段とを、具備することを特徴とするスケーラブルベクタグラフィックスのフォーマット方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声、動画等を具備する拡大縮小が可能なベクタ図形、スケーラブルベクタグラフィックスのフォーマット方式に関する。
【背景技術】
【０００２】
従来、Ｗｅｂ技術の発達により、様々なコンピュータ、携帯端末での情報の表示が行われるようになってきている。
【０００３】
各端末では、情報表示画面の大小、解像度のバリエーションがあるが、そこに表示される画像、とりわけ２次元図形表示について、表示領域の大小に依存せず拡大・縮小表示の可能な、ベクタ図形フォーマット、例えばＷ３Ｃが推進するスケーラブルベクタグラフィックス（ＳＶＧ）がある（例えば、非特許文献１参照。）。
【０００４】
一方で表示端末装置の発達により従来の２次元図形表示だけでなく、２次元図形表示に関連付けて、音声、動画などのマルチメディアを具備する技術の提案、推進などが行われており、例えばＷ３Ｃが推進するシンクロナイズドマルチメディアインテグレーションランゲージ（ＳＭＩＬ）がある。
【０００５】
ハガキ、カード、ポスター、プレゼンテーション資料作成用に用いられるグラフィック編集アプリケーションでは、予めデザイナーにより作成された図形部品成果品（以降クリップアート）を組み合わせて、ユーザが所望のデザインを得ることができるアプリケーションがある。スケーラブルベクタグラフィックスを扱うグラフィック編集アプリケーションでは、ユーザは自由にクリップアートの品質を一定に拡大縮小貼り付けを行うことができる。
【０００６】
クリップアートには、音声・画像などのマルチメディアソースを関連付けることが可能である。
【非特許文献１】中越智哉著、「ＸＭＬとの連携、活用  ＳＶＧとは何ですか？」、インターネット上ホームページ、２００１年１０月２５日掲載、２００３年８月７日検索、ｈｔｔｐ：／／ｗｗｗ．ａｔｍａｒｋｉｔ．ｃｏ．ｊｐ／ｆｊａｖａ／ｊａｖａｆａｑ／ｘｍｌ／ｘｍｌ０５．ｈｔｍｌ
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特定の音声が関連付けられたクリップアートファイルが２つある。その２つのクリップアートを組み合わせで構成された図形ファイルの表示レンダリングにおいて、例えば音声の再生順は、レンダリング順によって行うか、レンダリング順とは別にＳＭＩＬなどで用いられる予めタイムラインに従った順を与える以外では、表示スケールと共に予め設定されたプライオリティ値によって順付けを行う技術は確立されていない。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、以下の構成を備える。
【０００９】
スケーラブルベクタグラフィックスの全体表示のサイズを指定する指定手段と、
全体表示からの部分表示を行う部分表示領域の指定手段と、
特定のベクタグラフィックス図形表示を指定する指定手段と、
該図形に、特定の図形、音声、動画などのマルチメディアソースを関連付ける関連付け手段と、
該図形に、関連付けられたマルチメディアソースのプライオリティを数値化して設定するプライオリティ値設定手段と、
該マルチメディアソースの表示・再生を行う表示・再生手段と、
該表示・再生手段の動作を、スケーラブルベクタグラフィックス上での特定のベクタグラフィックスの表示スケールとプライオリティ値によってこれを制御する制御手段と、
該制御手段は、特定のベクタグラフィックス図形表示を行う指定をする指定手段に指定される制御限指定手段とを、具備する。
【発明の効果】
【００１０】
ごく簡単かつ非常に効果的なフォーマット記述方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、また図形へのプライオリティ値を指示し、これを図形表示スケールに依存した情報端末での図形の表示と音声再生を実現することができる。図形表示スケールとの連動により、感覚的にも、図形表示と適切に関連付けられた音声再生の制御が可能となる。
【発明を実施するための最良の形態】
【００１１】
従来、Ｗｅｂ技術の発達により、様々なコンピュータ、携帯端末での情報の表示が行われるようになってきている。
【００１２】
各端末では、情報表示画面の大小、解像度のバリエーションがあるが、そこに表示される画像、とりわけ２次元図形表示について、表示領域の大小に依存せず自由に拡大・縮小表示の可能な、ベクタ図形フォーマット、例えばＷ３Ｃが推進するスケーラブルベクタグラフィックス（ＳＶＧ）がある。
【００１３】
図１に、本発明実施例における、拡大・縮小表示が可能な（以下スケーラブルとする）ベクタグラフィックスフォーマットファイル記述の一実施例を示す。記述方法にはＸＭＬ形式を用いる。例示されているＸＭＬ形式によるファイル記述は、スケーラブルベクタグラッフィックスフォーマットで記述された、スケーラブルベクタ図形の図形表示例であり、順に説明を行う。
【００１４】
１−１はスケーラブルベクタグラッフィックスのデータが、データ表示サイズ（以下ビューポート）が論理単位幅４００，高さ３００にて表示されることを示す。通常は、論理単位は例えばディスプレイ表示の場合は表示デバイスのピクセル単位に置き換えられ、今回は４００×３００ピクセルの領域となるが、実際の適用はスケーラブルベクタグラフィックスのレンダリング機能を持つ処理系に依存する。実サイズ例えばミリメートル単位による指定でもよい。
【００１５】
１−２は、ユーザ定義座標系の表示領域（以下ビューボックス）の指定を表す。“０  ０  ２００  １５０”の指定は、画像フォーマット上の原点（０，０）、幅２００、高さ１５０の座標系（ビューボックス）を、１−１で指定されたビューポートの座標システムにマッピングすることを意味する。つまり、本実施例ではビューポート４００：３００、ビューボックス２００：１５０の同一比率を持ち、丁度２倍となるマッピングを指定していることから、ビューポートには２倍の大きさで、本実施例の図形フォーマットファイルの内容が表示されることを意味する。また、ビューボックスの指定は省略可能である。省略時はビューポートとビューボックスは一致する。
【００１６】
なお、ビューポートの指定には論理単位を用いているが、実サイズ例えばミリメートル単位を用いても良い。
【００１７】
なお、本説明ではビューポートおよびビューボックスが同一の比率を持つ事例を示すが、異なる比率でのマッピングも様々に可能である。しかし、本実施例では詳細に言及しない。
【００１８】
１−３は、表示されるベクタ図形として、座標（ｘ，ｙ，ｗｉｄｔｈ，ｈｅｉｇｈｔ）が（５０，５０，１００，１００）となる矩形表示を意味する。なお、ベクタ図形座標の指定には論理単位を用いているが、実サイズ例えばミリメートル単位を用いても良い。
【００１９】
１−４〜１−８は、１−３の矩形表示に関連付けられた、マルチメディアオブジェクトをそれぞれ指す。１−４〜１−８に関連付けられた親オブジェクトである１−３が表示（以下レンダリング）された場合、それぞれの子オブジェクトであるマルチメディアオブジェクトが固有の機能を実現する。例えば１−３レンダリング領域を表示に用いたり、あるいは端末に接続された特定のデバイスで実現する。
【００２０】
例えば、１−４は音声再生デバイスの動作を指定する。１−３のレンダリングを前提とし、音声再生を行う。例えば１−４に示すｓｏｕｎｄ．ｒｍソースファイルに、「これは四角です」と読み上げる音声ファイルがデータとして関連付けられているならば、レンダリングの際に「これは四角です」と読み上げを行うことが可能である。もちろん、非常に複雑な図形ファイルで、例えば動物の絵に「これは鹿です」と読み上げる音声ファイルを関連付けることも可能であるし、例えば地図表示において、大田区の区域表示と共に「大田区です」と地名の読み上げを記録した音声ファイルを関連付けることも可能である。また、ユーザアクションによる、当該図形のマウスクリックやマウスオーバーにより、音声を再生する、などの技術も実現可能である。しかし、本実施例は、図形表示に関連付けられたマルチメディアソースの動作、再生に関して、特定の図形表示状態に依存させる発明であり、一例としてレンダリングの際の音声再生を事例として挙げるにとどめ、ユーザによるマウスクリック等による再生等に関して詳細は割愛する。
【００２１】
１−５は、動画ファイルの関連付けの事例である。１−３レンダリング領域を用いて、ファイルｍｏｖｉｅ．ｗｍｆに記録された動画の表示を行う。このように、１−４，１−５において複数のマルチメディアソース（ファイル）の動作指定を行うことができるが、１つの図形に複数関連付けられたマルチメディアソース同士のその同期（シンクロナイゼーション）、動作・再生順番、音量、再生スピード、単位時間あたりの再生画像フレーム数などの詳細は、説明を簡略化するために１ソースとし、ここでは割愛する。
【００２２】
１−６は、例えば弱視者支援の特殊な拡大デバイスへの何らかの出力を指す。１−７は例えば盲目者用の点字表示デバイスへの何らかの出力を指す。このように、様々なマルチメディアソースを、１−３に示す図形表示に関連付けることが可能である。しかし、本実施例は、図形表示に関連付けられたマルチメディアソースの動作、再生に関して、特定の図形表示状態に依存させる発明であり、本実施例では１−５〜１−８の指定に関して、複数のマルチメディアソース相互のその動作や同期、再生タイミングについては詳細には言及しない。１−８は、１−３図形オブジェクトにさらに同じスケーラブルベクタグラフィックス形式のファイル表示を関連付ける。１−８に指定されたｓｖｇｆｉｌｅ．ｓｖｇは、１−３の矩形領域に内容をレンダリングされることを期待される。もちろん、指定を“ｓｒｃ＝”となるファイル形式でなく、本実施例にあるｘｍｌタグ形式で書かれた例えば＜ｒｅｃｔ＞のようなスケーラブルベクタグラフィックスフォーマットによる図形表示でもよい。
【００２３】
図２には、図１のベクタグラフィックスフォーマットの記述例より簡略化された記述例２を示す。２−１に示されるように、ビューポートを４００×３００、ビューボックス同サイズを４００×３００に指定してある。
【００２４】
図３は、図２のベクタグラフィックスフォーマットの表示例である。
【００２５】
図４は、図２のベクタグラフィックスフォーマットの記述例より４−１に示されるように、ビューポートを２００×１５０、ビューボックスを４００×３００に指定してある。つまり図２に比して縦横２分の１の領域に、図２と同一のビューボックス（ユーザ座標系）をマッピングしてある。つまり、縮尺（倍率）１／２となる表示が得られる。以下、縮尺と倍率は同じ意味を持つことから、スケールと呼ぶ。
【００２６】
図５に図示するが、図３と同一論理単位で描かれた図は、表示領域ビューポートの変更により１／２の表示が得られることを示している。斯様に、本実施例の特徴とするところは、スケーラブルベクタグラフィックスで記述された図形は、その記述ファイルが表示される際に指定される、ビューポートとビューボックスの関係から、自由に拡大・縮小がなされて表示される。また本発明では、ユーザは、表示デバイスに表示された図形を、携帯電話のような小さなキーボードやテンキーによるビューボックスの数値設定（拡大や縮小・移動）、あるいはパーソナルコンピュータで一般的なマウスによる表示ウィンドウ（ビューポート）の拡大縮小、等の入力機器、あるいは他の方法により、自由に表示スケールや領域を変更できるような、情報端末環境を想定することができる。
【００２７】
次に、図２の記述ファイルを元に、音声再生について説明を行う。
【００２８】
図６は、通常の描画および音声再生フローチャートを示す。
【００２９】
６−１は、スケーラブルベクタグラフィックスの記述について、２−１に示されたようなビューポート、ビューボックスの指定を得る。
【００３０】
６−２は表示を行う情報端末やコンピュータの表示ディスプレイデバイスの情報を得る。
【００３１】
６−３において、６−２の情報に基づきビューポートを作成し、６−４でビューボックスをマッピングすることにより、スケールが確定する。
【００３２】
６−５では、図２で示された図形ファイルがパージングされ、２−２に示されたベクタ図形タグが順に取り出される。取り出してレンダリングされる図形は、指定されたビューボックス内での表示部分がある図形のみに限られる。図形タグのレンダリングがすべて終了すれば、この系は終了である。
【００３３】
６−６では、図形２−２が表示され、続いて６−７にて２−３に関連付けられた音声ファイルが再生される。Ｓｒｃ＝“ｓｏｕｎｄ．ｒｍ”に記録された音声が、「正方形です」という音声ならば、正方形の表示と共に「正方形です」と再生がなされる。先に述べたように、２−２に関連付けられたマルチメディアソースは音声に限らず、動画、様々なデバイスへの出力、あるいは同様にベクタグラフィックスファイルの表示なども実施可能であるが、本実施例では説明を簡略化するために音声の再生のみを行う。
【００３４】
このように、ごく簡単な方法によって、スケーラブルベクタグラフィックスのファイル記述に、音声等のマルチメディアソースのファイル内での関連付けを行い、これを情報端末での図形の表示と音声再生が実現される。ここまでが基本的な動作となる。
【００３５】
次に、図７に示されるようなスケーラブルベクタグラフィックスのファイル記述の表示を例に説明する。図７に記述されたファイルでは、２つの同じ大きさを持つ正方形Ａ，Ｂがベクタ図形として記述されており、それぞれｓｏｕｎｄＡ．ｒｍ，ｓｏｕｎｄ．Ｂ．ｒｍが関連付けられている。
【００３６】
それぞれ正方形Ａの記述はグルーピングを行う＜ｇ＞グループタグ７−１〜７−３で定義され、正方形Ｂの記述はグループタグ７−４から７−６までの記述で実現されている。
【００３７】
これは、予めデザイナーによって作成されたクリップアート正方形Ａと正方形Ｂによる組み合わせによる図形表示を示している。このように、スケーラブルベクタグラフィックスを扱うことのできる図形編集アプリケーションでは、ユーザは既存クリップアートの組み合わせて所望のデザイン結果を得るが、これは最も簡略化された事例である。また、この編集アプリケーションによるファイル作成方法の詳細は、本発明では特に触れない。
【００３８】
表示例は図８となるが、図８は、ビューポートとビューボックスの関係から、スケール０．５での表示が行われている。図８の実例では図６のフローチャートに従えば、それぞれ正方形Ａ，Ｂが表示され、音声に例えば、「正方形Ａです」「正方形Ｂです」という音声記録が再生される。
【００３９】
しかしながら、図形表示においては、正方形Ａ、正方形Ｂの図形表示では、正方形Ｂが図形前面にあり、むしろレンダリングとは逆順の再生「正方形Ｂです」「正方形Ａです」となる場合が望ましい場合もある。ゆえに以降に示される、再生プライオリティ値と、表示スケールの組み合わせによる、再生順の決定方法を記す。
【００４０】
図７の記述例において、再生プライオリティを付加した場合の記述例を図９に、図９を図形レンダリングと、マルチメディアソースの再生順についての処理のフローチャートを図１１に示す。
【００４１】
図６と同様に、まず１１−１は、スケーラブルベクタグラフィックスの記述について、９−１に示されたようなビューポート、ビューボックスの指定を得る。
【００４２】
１１−２は表示を行う情報端末やコンピュータの表示ディスプレイデバイスの情報を得る。
【００４３】
１１−３において、１１−２の情報に基づきビューポートを作成し、１１−４でビューボックスをマッピングする。１１−５では、ビューポート、ビューボックスの関係から、図９で示された記述がどれだけのスケールで表示されるかを計算する。本例では、ビューボックスが０．５倍の大きさのビューポートへマッピングされるためスケールは０．５となる。
【００４４】
１１−６では、図９に記述されている図形ファイルが順にパージングされ、表示対象のベクタ図形タグが順に取り出される。取り出してレンダリングされる図形は、指定されたビューボックス内での表示部分がある図形のみに限られる。まず９−３が次のループで取り出される図形タグは９−６となる。図形タグのレンダリング（パーザーによる取り出し）がすべて終了すれば、この系は終了である。
【００４５】
１１−７では、図形９−３がレンダリングされ、続いて１１−８にて９−４に指定された音声ファイルを取得する。１１−９では、図形がビューポートとは別に持つローカルスケール指定を取得し（ここでは指定がないため１）、次に表示プライオリティ値として、９−２からｐｌａｙＷｅｉｇｈｔ＝“４０”を得る。ちなみに、図１０で示す記述例６においては、図形が持つローカルスケールｓｃａｌｅ＝“１．５”、つまり１．５倍表示の記述例を示すが、説明については後述を行う。
【００４６】
１１−１０は、表示スケールに依存した表示プライオリティの計算を行う。正方形Ａについては、ｐｌａｙＷｅｉｇｈｔに表示スケールを掛け合わせたもの、つまり４０×０．５で２０を得る。
【００４７】
続いて１１−１１では、音声ファイルであるｓｏｕｎｄＡ．ｒｍと、１１−１０で得られたプライオリティ２０を対にして、再生リスト領域にプライオリティにしたがって再生順リストに順番に積まれる。図１２に再生リスト領域の概念図を示す。
【００４８】
同様に、正方形ＢにおいてｓｏｕｎｄＢ．ｒｍとプライオリティ２５を得る。図１２に示された再生順リストにおいては、最初はｓｏｕｎｄＡ．ｒｍが再生順１で設定されるが、次の正方形Ｂの処理で、プライオリティが高いｓｏｕｎｒｄＢ．ｒｍが先に挿入されて、図１２のような再生順リストを得る。斯様に、逐次プライオリティ順にリストを作成する。
【００４９】
全ての図形レンダリングが終了すれば、１１−６に続いて１１−１２では、再生順リストによる音声再生が行われる。本実施例は音声ファイルを対象として簡略化を行っているが、無論、様々なマルチメディアソースでよい。この場合、表示レンダリング順とは異なり、「正方形Ｂです」「正方形Ａです」の順にて再生が行われる。
【００５０】
また、図１０には、正方形Ａに図形ローカルのスケールが設定されている場合の記述例を示す。ローカルスケールとしてｓｃａｌｅ＝“１．５”が指定されている。例えばユーザが編集によって、正方形Ａのクリップアートを１．５倍拡大して編集した場合に相当する。図１０の記述例における表示例を図１３に示す。
【００５１】
この場合、正方形Ａのプライオリティ指定値５０に対し、５０×０．５に図形ローカルスケール１．５を掛け合わせ、ｓｏｕｎｄＡ．ｒｍのプライオリティは３７．５となり、再生順リストについては、
ｓｏｕｎｄＡ．ｒｍ  ３７．５
ｓｏｕｎｄＢ．ｒｍ  ２５
となって、図１３の表示例の場合は、「正方形Ａです」「正方形Ｂです」の順にて再生が行われる。
【００５２】
このように、図形に指定されたプライオリティ値ｐｌａｙＷｅｉｇｈｔと、その図形に関連付けられたマルチメディアソースの再生を、図形の表示スケールによって再生順のプライオリティ付けを行うことが可能となる。
【００５３】
〔実施例２〕
本発明において、ｐｌａｙＷｅｉｇｈｔは、予め自動的に全てのクリップアートデザイン時の図形面積にて与えることとする。
【００５４】
その場合、クリップアート貼り付けによって構成された図形ファイルは、各図形の再生プライオリティは、元のデザイン面積×個々の図形表示スケールによって計算されるため、各図形のビューポートの実表示面積順となる。
【００５５】
このように、あらゆる表示図形と、それに関連付けられたマルチメディアソースの再生順は、表示レンダリング順ではなく、表示の大きさ（表示面積）順に再生を行うことが実現可能である。また本実施例はスケーラブルベクタグラフィックスフォーマットを基礎にしているため、表示の実表示が再生順に関わるのであり、デザイン時のクリップアートの大きさは再生順に影響しないため、表示面積順のプライオリティ付けを目的とする場合は、同じスケーラブルベクタグラフィックスフォーマットを利用する限り、あらゆるオーサリングツールでのデザイン、マルチメディアソースの埋め込みを実現できる。
【００５６】
〔実施例３〕
本実施例１または２は、プライオリティ付けによる再生順を指定したが、例えば選択的に１つの図形ファイルに関連付けられたマルチメディアソースの再生を行いたい場合には、再生リストのトッププライオリティを持つソースだけの再生を行うようにすればよい。
【００５７】
また、ある一定の再生プライオリティ閾値を設けて、指定閾値を上回る図形に関連付けられたマルチメディアソースの再生だけを行うことも非常にたやすい。
【００５８】
〔実施例４〕
実施例１〜３までに述べられた本発明を実現するための様々なアトリビュートや属性値などの用語は一事例であり、同様な効果を得られることを目的とした他の用語による定義でももちろん構わない。
【図面の簡単な説明】
【００５９】
【図１】ベクタグラフィックスフォーマットの記述例を示す図
【図２】ベクタグラフィックスフォーマットの記述例２を示す図
【図３】図２で示されたファイルの表示例を示す図
【図４】ベクタグラフィックスフォーマットの記述例３を示す図
【図５】図４で示されたファイルの表示例を示す図
【図６】描画および音声再生フローチャート
【図７】ベクタグラフィックスフォーマットの記述例４を示す図
【図８】図７で示されたファイルの表示例を示す図
【図９】ベクタグラフィックスフォーマットの記述例５を示す図
【図１０】ベクタグラフィックスフォーマットの記述例６を示す図
【図１１】描画および音声再生フローチャート２
【図１２】再生リスト領域の概念図
【図１３】図１０で示されたファイルの表示例を示す図
【図１】
2005092495.tif 000003
【図２】
2005092495.tif 000004
【図３】
2005092495.tif 000005
【図４】
2005092495.tif 000006
【図５】
2005092495.tif 000007
【図６】
2005092495.tif 000008
【図７】
2005092495.tif 000009
【図８】
2005092495.tif 000010
【図９】
2005092495.tif 000011
【図１０】
2005092495.tif 000012
【図１１】
2005092495.tif 000013
【図１２】
2005092495.tif 000014
【図１３】
2005092495.tif 000015