(57)【要約】【課題】  シーケンス演奏での音楽は、機械による演奏のため曲が殺伐とした感じとなる。そこで、架空演奏者などの視覚効果を付加して音楽性をより向上させる。【解決手段】  シーケンス・データ３は、音源ＬＳＩ７を鳴らすための手順が記録された、いわゆる楽譜を含んでいる。それは、どの楽器でどの音階を弾けという演奏データである。そこで、演奏データなどから、デコーダ６にて、この演奏データなどが含まれている部分をデコード（解読）して演奏情報１０など抽出する。その情報の内容に従って作動するＣ．Ｇ．画像処理プログラム／画像メモリー１１のトリガー信号として利用する方法で、ディスプレイ１３に、キャラクターがあたかも演奏したり、歌ったり、踊ったり、するような動きを表示する。更に、任意の情報を信号として外部に取り出し、玩具等に動きを与える。この方法により課題を解決する。【選択図】  図１
2005157233.tif 000002
【特許請求の範囲】
【請求項１】
音源ＬＳＩをドライブするためのシーケンス・データ及びそのデータと関係が類似した演奏派生情報などを利用した、動く登場人物などの付加方法であって、そのデータに含まれる演奏情報などを任意に抽出しＣ．Ｇ．（コンピュータ・グラフィックス）のトリガー信号として取り込み画像処理することで、演奏の変化に応じて動きを変えることを特徴とする、音楽や音声に合わせて動く視覚効果の付加方法。
【請求項２】
デジタルオーディオ信号を用いた媒体の再生時、それに並行して送り出される音源ＬＳＩをドライブするためのシーケンス・データ及びそのデータと関係が類似した演奏派生情報などを利用した、動く登場人物などの付加方法であって、請求項第１項記載の音楽や音声に合わせて動く視覚効果の付加方法。
【請求項３】
上記の、請求項第１項及び第２項で扱われるデータから抽出された、情報の１部又は全部を利用した、磁気・熱を介してのワイヤード・コントロール及び光・電波・超音波を介してのワイヤレス・コントロールで、キャラクターなどを音楽や音声に合わせて動かす視覚効果の付加方法。
【発明の詳細な説明】
【発明の詳細な説明】
【技術分野】
【０００１】  この発明は、電子楽器に分類される音源モジュールを鳴らすための演奏データを、Ｃ．Ｇ．のトリガー信号や玩具への接点信号に利用することでの、視覚効果付加方法に関するものである。
【背景技術】
【０００２】  音源ＬＳＩは演奏データによって楽器音などを発生させるもので、一般的にその周辺回路も含めて総称して「音源モジュール」と呼ばれる。この音源モジュールに演奏データを伝える方式は複数存在し、その内蔵された音源ＬＳＩの種類により方式も異なる。【０００３】  音源モジュールを鳴らすためのデータを送り出すものに、シーケンス再生装置などがある。これらのコミニュケーション手段として、現在複数のシーケンス・データ・フォーマットが存在するが、表１にそのフォーマットの概要を示す。それら音楽シーケンスのフォーマットにトラック・チャンクと呼ばれる音源モジュール用演奏イベントが入る領域があり、その中に演奏データが含まれる。それは、音源モジュールを鳴らすための演奏の方法を符号化して、各イベント毎にまとめてデータ化したものである。これを、送り出して音源モジュールを鳴らすことを、シーケンス演奏と呼び、そのデータをシーケンス・データとも呼ぶ。【０００４】
【表１】
2005157233.tif 000003
【０００５】  これらのデータ伝送方式は規格上、音源モジュールを鳴らす目的以外に他の用途にも転用が認められているため、シーケンス・データの１部を使い音響機器のコントロールや舞台の照明器材コントロール及びカラオケ歌詞表示等にも利用されている。しかしながら、このデータの用途は楽器や音楽を供給する側の原則に基づいているため、これらのデータを用いてのキャラクターを加えるといった大胆な発想に至ることはなく、ユーザーも後に述べる殺伐さを許容していた。このことより、これら方式のいかんを問わず、演奏データはどの方式も音にまつわるものだけの狭い目的だけに用いられているのみで、ある意味で有効利用されているとはいえない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】  音源モジュール用音楽媒体のデータや自作データを用いたシーケンス演奏での音楽は、奏者がシーケンス再生装置で楽器が音源モジュールといった機械演奏となる。そのため音楽を再生した場合に奏者を特定することができないため違和感を覚え、殺伐とした雰囲気に包まれる。それは、機械演奏がゆえの弊害といえる。これを解決するには、奏者などが音楽に合わせて動くといったような、視覚上の変化要素を加える手段を実現させることにある。しかしながら、従来のグラフィックス方式で奏者などの画像を加えることはデータ量を増やす結果となり、規格変更につながり互換性を損なうので、実用性に乏しくなる。少ない情報量で最大限の視覚効果を得る方法が、課題となる。
【課題を解決するための手段】
【０００７】  動きのある画像を得る手段として、ＤＶＤのような連続データを用いる能動的表示法と、Ｃ．Ｇ．キャラクターをトリガー信号で動かすゲーム機のような断続データを用いる受動的表示法の、２つの手段がある。前者は画像データが膨大となるが、後者は画像構成そのものをＣ．Ｇ．側に委ねるので前者よりはるかにデータ量は少なくて済む。ＣＤ等の音楽媒体は音楽を収録したもので、そのデータは各楽器の鳴り始めから鳴り終えるまでの音の響きを収録した、連続データである。そのデータから各楽器の演奏の情報を抽出することは技術的に困難である。ならば、シーケンス再生装置等より送り出される演奏データやそのデータから派生した他のデータは、何かを行わせる命令のデータであり、ＣＤ等の音楽媒体に含まれるデータとは異なることに着目した。本発明は、媒体の負荷を増やすことなく動画を得られる受動的表示法を採用することにより、課題を解決した。【０００８】  Ｃ．Ｇ．画像はトリガー信号により動きを得るが、通常はそのトリガー信号は画像用として別途作成される。しかし、本発明では音源ＬＳＩをドライブする演奏データや演奏データをもとにつくられた他の派生データを用い、断続的なデータを取り出しＣ．Ｇ．画像処理のトリガー信号として利用することで、あえて画像用としてのトリガー信号を作成しなくても動画を構成することを可能とした。このことで、媒体に然したる影響を及ぼすことなく新たな視覚効果を得られる。【０００９】  演奏データは表２の下段に記載のデータ・バイトに含まれるもので、音楽シーケンスのデータ・フォーマットより生成されるシーケンス・データである。それは、時間軸に沿ってリアルタイムで伝送される、音源モジュールを鳴らすためのいわゆる楽譜に相当する。そのデータをデコード（解読）することで、１つの例として表３の情報を得られる。「バイオリン」を使え、「ド」の音を弾け、「ビブラート」をかけろ、「楽器」を代えよ、などの命令である。その他に、「汎用操作子」や「バンク・セレクト」の情報を用いて、楽器演奏以外にもさまざまな命令内容を持たせることが可能である。これらの情報が演奏情報であり、それに従って作動するＣ．Ｇ．画像処理プログラムのトリガー信号として取り込むことで、「ド」の音を弾けの情報を受けたらプログラムにより「ド」の音を弾くしぐさをするといった、音階の変化に応じて追従させたり、楽器を持ち代えたり、ビブラートをかけるしぐさをしたり、画面の背景を変えたり、歌ったり踊ったりするしぐさをしたりの、架空の演奏者の表示が可能となる。これらの、演奏情報とプログラム内容の対照表を表４に示す。【００１０】
【表２】
2005157233.tif 000004
【表３】
2005157233.tif 000005
【表４】
2005157233.tif 000006
【００１１】  以上は、コンピュータ・ソフト上のソフト・キャラクターへの作用であるが、更に任意の情報をコントロール・ロジック回路にて用途に応じた接点信号を作成し外部に取り出し、玩具などのハード・キャラクターを作動させることで、コミカルな視覚効果も得ることができる。図３で説明するとハード・キャラクター（１）１９は、ワイヤード・コントロールを、ハード・キャラクター（２）２０は、ワイヤレス・コントロールの場合を示す。
【発明の効果】
【００１２】  電子楽器産業には音源データのノウハウが、ゲーム産業にはＣ．Ｇ．データのノウハウがある。本発明により、両者の融合が図られるのでプロモーション・ビデオなどから感じる音楽とは違った新分野の音楽世界が生まれる。【００１３】  同一の曲にも拘らず、登場人物などを任意に選択可能であるので、従来の「おしきせ」的要素がなくなり、新しい音楽スタイルが確立する。携帯電話の着信メロディーに応用すれば、表示画面のユニークさを増す。【００１４】  音楽に、任意の画像を加えることで新しい舞台効果も生まれる。採用するＣ．Ｇ．の処理能力を高めれば、大画面による鮮明なキャラクターが展開できるので、アニメキャラ等の、架空ミュージシャンによるステージライブが可能となるため、世界同時多発的に迫力のあるライブ公演することができ、音楽興行を効率よく運営できるので、電子音楽機器のマーケットが拡大する。【００１５】  更に、ＣＤ−ＭＩＤＩのような音楽情報エリアとサブ・コード・エリアを持つフォーマットに載せることで、ユーザーにて任意に選ばれたキャラクターが登場し、音声信号の童謡歌手の歌に合わせてくちをパクパク開閉したり、動物キャラクターが演奏のまねをするといったことが可能となり、幼児向けの楽しい音楽教材が供給できるので、低年令層への需要が生まれる。更に、過去のソースと組み合わせサブ・コード・エリアでトリガー信号を加えることで、曲に合わせてインテリアなどを変化させるといった応用ができるので、古いソースでも他方面にわたって活用できる付加価値のついた音楽ソフト資産となり、音楽産業への寄与するところが大きい。【００１６】  玩具に応用すれば、動き回りながら音楽に合わせて反応したり、キャラクターから歌声がでたりと、高機能な製品が供給可能となり、玩具産業への寄与するところが大きい。
【図面の簡単な説明】
【００１７】
【図１】本発明の、シーケンス演奏における視覚効果の付加の模式図である。
【図２】本発明の、ＣＤなどのデジタルオーディオ媒体と同時再生における視覚効果の付加の模式図である。
【図３】本発明の、玩具などのハード・キャラクターへの視覚効果の付加の模式図である。
【符号の説明】
【００１８】  １  媒体
２  シーケンス再生部分
３  シーケンス・データ
４  音源モジュール部分
５  データ分配器
６  デコーダ
７  音源ＬＳＩ
８  音響装置
９  Ｃ．Ｇ．画像処理部分
１０  演奏情報
１１  Ｃ．Ｇ．画像処理プログラム／画像メモリー
１２  演奏派生情報
１３  ディスプレイ
１４  データ分配経路
１５  オーディオ信号
１６  ＣＤなどの再生部分
１７  コントロール・ロジック
１８  キャラクター・コントローラ
１９  ハード・キャラクター（１）
２０  ハード・キャラクター（２）
２１  ワイヤレス・コントロール用トランスミッター
【図１】
2005157233.tif 000007
【図２】
2005157233.tif 000008
【図３】
2005157233.tif 000009