(57)【要約】【課題】  オーディオに付随した映像の表示が比較的簡単に行えるようにする。【解決手段】  指定された形状のキャラクタを表示させるキャラクタデータが付加されたオーディオデータを再生する場合に、キャラクタデータを解析して、そのデータで指定された形状の画像データを生成させて、オーディオデータの再生に合わせて表示させる。また、キャラクタデータで指定された形状のキャラクタの動きを指示するモーションデータが付加されている場合に、そのモーションデータで示された動きを、オーディオデータの再生に合わせて行う。さらに、立体形状のキャラクタを示すデータとして、所定の操作入力に基づいて、任意の視点から見た形状のキャラクタを表示させる。【選択図】      図４ 
2005044297.tif 000002
【特許請求の範囲】
【請求項１】
指定された形状のキャラクタを表示させるキャラクタデータが付加されたオーディオデータを再生する場合に、
前記キャラクタデータを解析して、そのキャラクタデータで指定された形状の画像データを生成させて、
その生成されたキャラクタデータを、前記オーディオデータの再生に合わせて表示させる処理を行う
オーディオ再生方法。
【請求項２】
請求項１記載のオーディオ再生方法において、
前記オーディオデータには、さらに前記キャラクタデータで指定された形状のキャラクタの動きを指示するモーションデータが付加されている場合に、そのモーションデータで示された動きを、前記オーディオデータの再生に合わせて行う
オーディオ再生方法。
【請求項３】
請求項１記載のオーディオ再生方法において、
前記キャラクタデータは、立体形状のキャラクタを示すデータであり、所定の操作入力に基づいて、表示されるキャラクタを、任意の視点から見た形状のキャラクタとした
オーディオ再生方法。
【請求項４】
指定された形状のキャラクタを表示させるキャラクタデータが付加されたオーディオデータを保持する保持手段と、
前記保持手段に保持されたオーディオデータを再生処理するオーディオ再生手段と、
前記オーディオ再生手段で再生させたオーディオデータにキャラクタデータが付加されている場合に、そのキャラクタを解析して、そのキャラクタデータで指定された形状の画像データを生成させる画像処理手段と、
前記画像処理手段で生成された画像データを、前記オーディオ再生手段での再生に合わせて表示させる表示手段とを備えた
オーディオ再生装置。
【請求項５】
請求項４記載のオーディオ再生装置において、
前記保持手段が保持するオーディオデータには、さらに前記キャラクタデータで指定された形状のキャラクタの動きを指示するモーションデータが付加され、
前記画像処理手段は、前記モーションデータで示された動きを前記キャラクタデータで指定されたキャラクタに加える画像を生成させる
オーディオ再生装置。
【請求項６】
請求項４記載のオーディオ再生装置において、
前記保持手段が保持するオーディオデータに付加されたキャラクタデータは、立体形状のキャラクタを示すデータであり、
前記立体形状のキャラクタの視点を指示する操作手段を備え、
前記操作手段により指示された視点に基づいて、前記画像処理手段で生成される画像データを、該当する視点のキャラクタの画像とした
オーディオ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば何らかの媒体に記憶されたオーディオデータやダウンロードしたオーディオデータを再生するオーディオ再生方法及び装置に関する。
【背景技術】
【０００２】
従来のステレオ再生装置の如きオーディオ再生装置は、装着されたＣＤ（コンパクトディスク），ＭＤ（ミニディスク）などの記録媒体に記録されたオーディオデータ、或いは外部から受信したオーディオデータを、再生する処理を行うようにしてあった。この場合、再生装置での再生時に、視覚的な表示を行う処理としては、例えば、スペクトルアナライザとしての表示パネルを設けて、再生中の音楽のスペクトルアナライザで解析された帯域毎のレベルの変動などを表示させる等がある。
【０００３】
特許文献１には、オーディオ機器でスペクトルアナライザの表示を行うことについての開示がある。
【特許文献１】特開平８−１３０４２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、従来のスペクトルアナライザ等による表示は、あくまでも再生される音楽等のデータ的な特質を示しているに過ぎず、その音楽データに関連した情報の表示を積極的に行っているとは言えない問題があった。即ち、従来のこの種の再生装置による表示では、再生中の音楽に関連するモーションや、その音楽の歌い手のキャラクタを表示させるようなことは困難であった。
【０００５】
この問題点を解決するためには、例えば、ＤＶＤ（Digital Video Disc又はDigital Versatile Disc）などの映像データが記録可能な媒体を用意して、オーディオデータと共に映像データを記録する等して用意して、オーディオデータの再生時に映像データによる映像も表示させるようにすることが考えられるが、このような映像データはデータ容量が大きく、一般的なオーディオ再生装置で扱うようにすると、負担が大きくなってしまう問題があった。
【０００６】
本発明はかかる点に鑑みてなされたものであり、オーディオに付随した映像の表示が比較的簡単に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、指定された形状のキャラクタを表示させるキャラクタデータが付加されたオーディオデータを再生する場合に、キャラクタデータを解析して、そのキャラクタデータで指定された形状の画像データを生成させて、その生成されたキャラクタデータをオーディオデータの再生に合わせて表示させる処理を行うようにしたものである。
【０００８】
このようにしたことで、オーディオ再生に合わせて、オーディオデータに付加されたキャラクタデータによるキャラクタが表示されるようになる。
【発明の効果】
【０００９】
本発明によると、オーディオ再生時に、そのオーディオ再生に合わせたキャラクタが表示されるようになり、動画データを別途用意する場合に比べて、少ないデータサイズでオーディオに合わせた表示を行うことが可能になる。
【００１０】
この場合、キャラクタデータで指定された形状のキャラクタの動きを指示するモーションデータがさらに付加されている場合に、そのモーションデータで示された動きを、オーディオデータの再生に合わせて行うようにしたことで、オーディオ再生に連動させた動きのキャラクタ表示が可能になり、例えば、音楽に合わせた振り付けなどが表示キャラクタのモーションから判るようになる。
【００１１】
また、キャラクタデータを立体形状のキャラクタを示すデータとして、所定の操作入力に基づいて、表示されるキャラクタを、任意の視点から見た形状のキャラクタと出来るようにしたことで、ユーザ操作に基づいて任意の方向から見たキャラクタの表示が行え、ユーザにとって好みの形態で表示できるようになる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
図１は、本例のオーディオ再生装置の構成例を示した図である。本例の場合には、オーディオデータを記録する記録媒体１１が再生装置に装着される構成としてある。この記録媒体１１としては、例えば、ＣＤ，ＭＤなどのデジタルオーディオデータが記録される光ディスク又は光磁気ディスクや、各種メモリカードであっても良い。また、再生装置が内蔵した半導体メモリやハードディスクなどで構成して、外部からダウンロードしたオーディオデータが記録される構成としても良い。ここで本例の記録媒体１１に記録されるオーディオデータには、何らかの物体を表現する形状のデータで構成されるキャラクタデータが付加されるようにしてある。キャラクタデータの具体的な例については後述する。
【００１３】
そして、記録媒体１１に記録されたオーディオデータは、データ読出部１２により読出される。キャラクタデータなどのオーディオデータに付加されたデータがある場合には、その付加されたデータについても同時にデータ読出部１２で読出される構成としてある。読出されたデータは、データ処理部１３に供給されて、エラー訂正などのデータ処理が行われた後、オーディオデータについてはオーディオ再生処理部１４に供給して、オーディオ再生用の処理が施される。オーディオ再生処理部１４で処理された再生オーディオデータは、デジタル／アナログ変換器１５に供給されて、右チャンネル及び左チャンネルのアナログ音声信号に変換され、変換された各チャンネルのアナログ音声信号を、増幅器１６Ｌ，１６Ｒで増幅した後、各チャンネル用のスピーカ１７Ｌ，１７Ｒに供給して出力させる。
【００１４】
また、データ読出部１２でオーディオデータと共に読出されたキャラクタデータについては、データ処理部１３でオーディオデータから分離されて、キャラクタデータ処理部２１に供給される。キャラクタデータ処理部２１では、キャラクタデータの内容を判断して、そのキャラクタデータで指示された形状の画像を表示させるためのデータを生成させ、生成された画像データを映像処理部２２に供給して、所定のフォーマットの映像データとし、その映像データを表示パネル２３に供給して、表示パネル２３に表示させるようにしてある。表示パネル２３としては、例えば再生装置に組み込まれた表示装置である場合には、液晶表示パネルなどが適用可能である。
【００１５】
オーディオ処理部１４でのオーディオ処理や、キャラクタデータ処理部２１でのキャラクタ処理などは、中央制御ユニットである制御部２４の制御で実行される。制御部２４には、制御用のプログラムなどを記憶するメモリ２５が接続してある。また、操作キー２６の操作による指令が制御部２４に届く構成としてある。操作キー２６による操作としては、オーディオの再生に関係した操作の他に、本例の場合には、表示されるキャラクタの視点を設定する操作が可能としてある。
【００１６】
このように構成される本例のオーディオ再生装置を、キャラクタデータの処理から見た場合、図２に示すような階層構造化されていると見なすことができる。即ち、制御部２４に実装されたＯＳ（オペレーティング・システム）１で、オーディオデータ再生装置２全体を制御するようにしてあり、その再生装置２でオーディオ再生を行う場合に、オーディオデータにキャラクタデータが付加された場合に、データ処理部１３，キャラクタデータ処理部２１，映像処理部２２，表示パネル２３などで構成されるキャラクタエンジン３で、キャラクタデータについての処理が実行される。キャラクタエンジン３としては、構文解析モジュール３ａと、実行モジュール３ｂと、表示モジュール３ｃとで構成されることになる。
【００１７】
図３は、本例のオーディオ再生装置でのデータ処理の流れを示したフローチャートである。まず、制御部２４は、記録媒体１１からオーディオデータを読出した場合に（ステップＳ１１）、その読出したオーディオデータに、キャラクタデータとモーションデータが付加されているか否か判断する（ステップＳ１２）。この判断で、キャラクタデータとモーションデータが付加されていないと判断した場合には、記録媒体１１から読出したオーディオデータだけを取り出して（ステップＳ１３）、スピーカ１７Ｌ，１７Ｒから出力させるための再生処理を行う（ステップＳ１４）。また、ステップＳ１２の判断で、キャラクタデータとモーションデータが付加されていると判断した場合には、オーディオデータと他のデータ（キャラクタデータ及びモーションデータ）とを分離処理し（ステップＳ１５）、分離されたオーディオデータについては、ステップＳ１４に移って再生処理を行う。
【００１８】
そして、ステップＳ１５で分離されたキャラクタデータ及びモーションデータについては、構文解析を行って（ステップＳ１６）、その解析された構文に基づいて画像を生成させる画像処理を実行し（ステップＳ１７）、その生成された画像を表示パネルに表示させる（ステップＳ１８）。
【００１９】
図４にその処理状態の例を示すと、キャラクタデータとモーションデータとが付加されたオーディオデータ１００の再生処理が行われた場合に、構文解析モジュール３ａとして機能する部分で、オーディオデータとキャラクタデータとが分離されて、キャラクタデータであると判断されたデータについて、実行モジュール３ｂと、表示モジュール３ｃとでそのキャラクタを表示させる処理が実行される。キャラクタデータとモーションデータについては、構文解析モジュール３ａで、実行モジュールが扱いやすい形に、内部データ構造に変更する処理が行われる。ここでのキャラクタデータは、人間の体の構造に対応するように、関節と部位のつながりで表示される。モーションデータとしては、各種関節のローカル座標系で相対値的に記述される場合や、キャラクタデータ自身のワールド座標系の絶対値で記述される場合がある。モーションデータでキャラクタを動かす処理は、オーディオ再生に連動して行われる。
【００２０】
図５は、表示状態のイメージ例を示した図である。本例の場合には、図５（ａ），（ｂ），（ｃ）に示すように、キャラクタデータに基づいて作成された人物などのキャラクタが表示パネルに表示される。ここで、モーションデータでのキャラクタの動きの指示として、ある音楽再生位置では、図５（ａ）に示すように、キャラクタの一方の手が上がった状態で表示され、その状態から音楽の再生が進むと、図５（ｂ）に示すように、キャラクタの一方の手が下がり、反対側の手が上がった状態の表示に変化する。さらにその状態から音楽の再生が進むと、図５（ｃ）に示すように、キャラクタの両方の手が上がった状態の表示に変化する。
【００２１】
このような表示が行われるキャラクタデータとモーションデータは、例えば図６に示すような構成とされる。具体的には、例えば、オーディオデータ（音楽データ）１０１と、キャラクタデータ１０２と、モーションデータ１０３とで１つのオーディオデータファイルが構成される。この場合、例えばオーディオデータには、何らかのフラグを付与して、キャラクタデータとモーションデータが付加されていることを示すようにする。そして、キャラクタデータ１０２としては、表示されるキャラクタの各部のパーツの形状のデータとする。モーションデータ１０３としては、そのキャラクタの特定位置のパーツ（ここでは例えば腕のパーツ）を、特定のオーディオ再生時間に、どの座標位置に変化させるかを示すようにしてある。図６に示したモーションデータは、ＶＲＭＬ（virtual reality modeling language ）と称される３次元グラフィックの記述言語で示してある。
【００２２】
図７は、オーディオデータとキャラクタデータとモーションデータとを、１つのデータとして梱包した例を示してある。
【００２３】
このように構成されるキャラクタデータとモーションデータをオーディオデータに付加しておくことで、オーディオ再生を行う際には、表示パネルにオーディオ再生に対応して動きがあるキャラクタが表示されるようになる。このように表示されることで、例えば再生される音楽に合わせた振り付けがある場合に、その振り付けをキャラクタの表示で指示するようにすることで、表示を見て振り付けをマスターすることができるようになる。
【００２４】
このように表示されるキャラクタは、オーディオデータそのものに付加されたデータであるため、再生される音楽によって、表示されるキャラクタや動きを変えることができ、各々の音楽に適したキャラクタを表示させることが可能になる。また、映画などを再生させる映像プログラムの場合と異なり、動画再生を行う映像信号が用意されているのはないので、データサイズが非常に小さく、オーディオデータを記録させる媒体として、通常のオーディオデータを記録させる媒体とほぼ同様の記録容量のものが使用できる。また、一般の映像プログラムの場合と異なり、コンテンツを製作した後であっても、画像を表示させるためのデータ（キャラクタデータ，モーションデータ）の修正が容易であり、例えばキャラクタの動きの修正などが後から簡単に行える。
【００２５】
なお、オーディオデータに付加させるキャラクタデータとして、３次元で人物などが表現される表示用のデータである場合には、再生装置のキー２６などの操作で、表示されるキャラクタの視点（見る角度）の指示を行うことで、表示パネル２３上での表示形態として、任意の視点から見たキャラクタとすることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図２】本発明の一実施の形態による再生処理の階層構造例を示す説明図である。
【図３】本発明の一実施の形態によるデータ処理例を示したフローチャートである。
【図４】本発明の一実施の形態による処理状態の例を示した説明図である。
【図５】本発明の一実施の形態による表示例を示した説明図である。
【図６】本発明の一実施の形態によるデータ例を示した説明図である。
【図７】本発明の一実施の形態によるデータ梱包例を示した説明図である。
【符号の説明】
【００２７】
１１…記録媒体、１２…データ読出部、１３…データ処理部、１４…オーディオ再生処理部、１５…デジタル／アナログ変換器、１６Ｌ，１６Ｒ…増幅器、１７Ｌ，１７Ｒ…スピーカ、２１…キャラクタデータ処理部、２２…映像処理部、２３…表示パネル、２４…制御部、２５…メモリ、２６…操作キー
【図１】
2005044297.tif 000003
【図２】
2005044297.tif 000004
【図３】
2005044297.tif 000005
【図４】
2005044297.tif 000006
【図５】
2005044297.tif 000007
【図６】
2005044297.tif 000008
【図７】
2005044297.tif 000009