(57)【要約】【課題】演算処理を行うＣＰＵの負荷を増大させることなく、波形を迅速に表示できるようにすると共に、表示された波形をより有効に活用できるようにする。【解決手段】操作部を通じて波形を捉える仮想カメラの位置や方向を変える指示入力を受け付けると、これに応じた制御信号が制御部２１で形成され描画処理部２２に供給される。描画処理部２２においては、表示処理対象の波形データは波形メモリに記憶保持しており、制御信号に応じて、波形メモリの波形データを用い、再計算を行って、指示された「波形を捉える位置や方向」に応じた波形表示データを迅速に形成し、これを用いて目的とする波形を表示できるようにする。【選択図】図１
2007011451.tif 000002
【特許請求の範囲】
【請求項１】
波形を仮想３次元空間に表示する場合の制御を行う制御部と、前記波形を前記仮想３次元空間上に展開する処理を行う描画処理部と、前記仮想３次元空間に表示する波形を捉える仮想的な位置および方向の指示入力を受け付ける受付部とを備える波形処理装置であって、
前記制御部は、
前記仮想３次元空間における前記波形に対する初期設定値を設定する設定手段と、
前記受付部を通じて前記指示入力を受け付ける毎に、受け付けた前記仮想的な位置および方向に応じて波形を表示することを指示する制御信号を形成し、これを前記描画処理部に供給する制御信号形成手段と
を備え、
前記描画処理部は、
表示対象の前記波形を形成する波形データの供給を受けて、これを記憶保持する波形メモリと、
前記形成手段からの前記制御信号の供給を受ける毎に、当該制御信号によって指示される前記仮想的な位置および方向に応じて捉えた場合の前記波形を表示するための表示用データを、前記波形メモリに記憶保持されている前記波形データから形成する形成手段と、
を備えることを特徴とする波形処理装置。
【請求項２】
請求項１に記載の波形処理装置であって、
前記描画処理部の前記形成手段は、
２つの独立波形を同時に扱う場合に、前記仮想３次元空間における３つの直交する軸の内、１つを共通軸に用い、他の２つの軸については、それぞれ毎に異なる波形の振幅を展開するようにして、２つの前記独立波形の情報を含む３次元立体オブジェクトを形成することを特徴とする波形処理装置。
【請求項３】
請求項１に記載の波形処理装置であって、
処理対象の前記波形は、音声データの波形であり、
前記音声データに対するエフェクト処理についての指示入力を受け付ける指示入力受付手段を備え、
前記描画処理部は、
前記波形メモリに記憶保持されている前記波形データに対して、前記指示入力受付手段を通じて受け付けた前記指示入力に応じたエフェクト処理を施す処理手段と、
前記処理手段によりエフェクト処理された前記波形データを音声再生用として出力する出力手段と
を備え、
前記描画処理部の前記形成手段は、前記処理手段によってエフェクト処理された波形データから表示用データを形成することができるものであり、
前記出力手段から出力されたエフェクト処理後の前記波形データの供給を受けて、これを解析して再生するようにする再生処理手段
を備えたことを特徴とする波形処理装置。
【請求項４】
請求項１に記載の波形処理装置であって、
前記形成手段によって形成された前記表示用データに応じて表示される波形に対して直接的に施す加工指示入力を受け付ける加工指示受付手段を備え、
前記描画処理部は、
前記波形メモリに記憶保持されている前記波形データに対して、前記加工指示受付手段を通じて受け付けた前記加工指示入力に応じたエフェクト処理を施す処理手段と、
前記処理手段によりエフェクト処理された前記波形データを音声再生用として出力する出力手段と
を備え、
前記描画処理部の前記形成手段は、前記加工指示受付手段を通じて受け付けた加工指示入力に応じて、表示用データを形成することができるものであり、
前記出力手段から出力されたエフェクト処理後の前記波形データの供給を受けて、これを解析して再生するようにする再生処理手段
を備えることを特徴とする波形処理装置。
【請求項５】
波形を仮想３次元空間に表示する場合の制御を行う制御部と、前記波形を前記仮想３次元空間上に展開する処理を行う描画処理部と、前記仮想３次元空間に表示する波形を捉える仮想的な位置および方向の指示入力を受け付ける受付部とを備える波形処理装置における波形処理方法であって、
前記制御部においては、
前記仮想３次元空間における前記波形に対する初期設定値を設定し、
前記受付部を通じて前記指示入力を受け付ける毎に、受け付けた前記仮想的な位置および方向に応じて波形を表示することを指示する制御信号を形成して、これを前記描画処理部に供給し、
前記描画処理部においては、
表示対象の前記波形を形成する波形データの供給を受けて、これを波形メモリに記憶保持し、
前記制御部からの前記制御信号の供給を受ける毎に、当該制御信号によって指示される前記仮想的な位置および方向に応じて捉えた場合の前記波形を表示するための表示用データを、前記波形メモリに記憶保持されている前記波形データから形成し
形成した表示用データに応じて波形を表示できるようにすることを特徴とする波形処理方法。
【請求項６】
請求項５に記載の波形処理方法であって、
前記描画処理部における表示用データの形成は、
２つの独立波形を同時に扱う場合に、前記仮想３次元空間における３つの直交する軸の内、１つを共通軸に用い、他の２つの軸については、それぞれ毎に異なる波形の振幅を展開するようにして、２つの前記独立波形の情報を含む３次元立体オブジェクトを形成することを特徴とする波形処理方法。
【請求項７】
請求項５に記載の波形処理方法であって、
処理対象の前記波形は、音声データの波形であり、
前記音声データに対するエフェクト処理についての指示入力を受け付け、
前記描画処理部においては、
前記波形メモリに記憶保持されている前記波形データに対して、受け付けた前記指示入力に応じたエフェクト処理を施し、
エフェクト処理が施された波形データから表示用データを形成して、表示できるようにし、
エフェクト処理が施された前記波形データを音声再生用として出力し、
前記描画処理部から出力されたエフェクト処理後の前記波形データの供給を受けて、これを解析して再生することを特徴とする波形処理方法。
【請求項８】
請求項５に記載の波形処理方法であって、
前記表示用データに応じて表示される波形に対して直接的に施す加工指示入力を受け付けるようにし、
前記描画処理部においては、
受け付けた加工指示入力に応じて、表示用データを形成して、表示できるようにし、
前記波形メモリに記憶保持されている前記波形データに対して、受け付けた前記加工指示入力に応じたエフェクト処理を施し、
エフェクト処理が施された前記波形データを音声再生用として出力し、
前記描画処理部から出力されたエフェクト処理後の前記波形データの供給を受けて、これを解析して再生することを特徴とする波形処理方法。
【請求項９】
波形を仮想３次元空間に表示する場合に、前記仮想３次元空間における前記波形に対する初期設定値を設定し、使用者からの前記仮想３次元空間に表示する波形を捉える仮想的な位置および方向の指示入力を受け付ける毎に、受け付けた前記仮想的な位置および方向に応じて波形を表示することを指示する制御信号を形成する制御部と、前記波形を前記仮想３次元空間上に展開する処理を行う描画処理部とを備える波形処理装置の前記描画処理部のコンピュータに、
表示対象の前記波形を形成する波形データの供給を受けた場合に、これを波形メモリに格納する格納ステップと、
前記制御部からの前記制御信号の供給を受ける毎に、当該制御信号によって指示される前記仮想的な位置および方向に応じて捉えた場合の前記波形を表示するための表示用データを、前記波形メモリに記憶保持されている前記波形データから形成する形成ステップと
を実行することを特徴とする波形処理プログラム。
【請求項１０】
請求項９に記載の波形処理プログラムであって、
前記形成ステップにおいては、
２つの独立波形を同時に扱う場合に、前記仮想３次元空間における３つの直交する軸の内、１つを共通軸に用い、他の２つの軸については、それぞれ毎に異なる波形の振幅を展開するようにして、２つの前記独立波形の情報を含む３次元立体オブジェクトを形成することを特徴とする波形処理プログラム。
【請求項１１】
請求項９に記載の波形処理プログラムであって、
処理対象の前記波形は、音声データの波形であり、
前記音声データに対するエフェクト処理についての指示入力を受け付けた場合に、前記波形メモリに記憶保持されている前記波形データに対して、前記指示入力に応じたエフェクト処理を施す処理ステップと、
前記処理ステップにおいてエフェクト処理された前記波形データを音声再生用として出力する出力ステップと
を実行し、
前記形成ステップにおいては、前記処理ステップにおいてエフェクト処理された波形データから表示用データを形成する
ことを特徴とする波形処理プログラム。
【請求項１２】
請求項９に記載の波形処理プログラムであって、
前記形成手段によって形成された前記表示用データに応じて表示される波形に対して直接的に施す加工指示入力を受け付けた場合に、前記波形メモリに記憶保持されている前記波形データに対して、前記加工指示入力に応じたエフェクト処理を施す処理ステップと、
前記処理ステップにおいてエフェクト処理された前記波形データを音声再生用として出力する出力ステップと
を実行し、
前記形成ステップにおいては、前記加工指示入力に応じて、表示用データを形成する
ことを特徴とする波形処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、音声データなどの波形データを処理する装置、波形データを処理する方法およびプログラムに関する。
【背景技術】
【０００２】
従来から、家庭用音響装置などにおいては、楽曲などの再生音声のレベル変化を、レベルメータを用いて表示することによりユーザーに通知したり、いわゆるグラフィックスイコライザを用いることにより、複数の周波数帯域ごとの再生音声レベルをヒストグラムのように表示することによりユーザーに通知したりすることが行われている。
【０００３】
近年においては、例えば、パーソナルコンピュータを用い、楽曲などの音声データ（音声信号）からそのレベル変化を示すデジタル時系列データを形成し、これを波形データとしてパーソナルコンピュータのディスプレイに表示することによりレベル変化の状態を、視覚を通じてユーザーが認識できるようにすることも行われている。このような、音声データを波形データとして表示してユーザーに通知することは、例えば、ゲーム機や高機能ＡＶ（Audio/Visual）機器などにおいても行われている。
【０００４】
また、後に記す特許文献１には、サウンドモニターにおける信号レベル表示において、実行値およびピーク値の複合方式を採用することにより、再生音声のリスナーの聞いた感じと、当該再生音声についての波形表示とがほぼ一致するように、当該再生音声の波形を表示できる信号レベル表示装置についての技術が開示されている。
【０００５】
このように、音声データのレベルなど、音声データの特性に関する情報を視覚化してユーザーに提供できるようにすることにより、視覚を通じて再生音声の特性を把握し、音質などの調整の目安として用いるなどのことが行われている。特に、音声データのレベルを波形表示することによって、音声データの特性を連続的に知ることができるので、音声データの特性把握のための有効な手段として広く用いられている。
【０００６】
なお、上述の特許文献１は以下の通りである。
【特許文献１】特開２００１−１４１７４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、楽曲などの音声データの波形を表示することが可能な従来の波形表示装置においては、ユーザーの目的に応じて、観察したい波形の位置（範囲）、時間方向の長さ、振幅の範囲などのパラメータについて指定することができるものが提供されている。そして、パラメータが変更された場合には、これに応じた波形を表示し直すために、表示対象の音声データである波形データを再度読み込んで、変更されたパラメータに応じた波形表示データを形成するために再計算を行わなければならない。この場合の再計算の処理は、一般に、波形表示装置のＣＰＵが一手に担っているため、パラメータの変更が頻繁に行われる場合には、ＣＰＵ（Central Processing Unit）の負荷が増大するという問題がある。
【０００８】
また、近年においては、コンピュータの高機能化やインターネットを通じた音楽データ配信の普及などに伴い、業務用であるか否かにかかわらず、豊富に提供されるようになった音楽データに対して、加工を施して利用することが一般的になりつつある。この場合、表示装置に対して音楽データ（サンプリング周波数Ｆｓ（Ｈｚ）で離散化された波形）を表示して、これを元に加工を施すようにできれば便利であり、これを可能にしたいとする要求がある。また、音声データの波形を従来に無い、より利用しやすい態様でも表示できるようにしたいとする要求がある。
【０００９】
しかし、上述もしたように、波形データを処理するＣＰＵには既に大きな負荷が掛かっており、これ以上の処理の追加は好ましくない。ここで、従来の波形表示装置において、波形データを処理するＣＰＵにおける具体的な処理内容を明確して、ＣＰＵにかかる負荷の大きさを明らかにする。
【００１０】
上述のように、音声データを波形データとして表示可能なパーソナルコンピュータやゲーム機や高機能ＡＶ機器などの波形表示装置において、音声データに応じた波形データを表示する場合、その処理は、波形表示装置の主にＣＰＵの機能によって実現される。図２２は、音声データを波形データとして表示する処理を行う従来の波形表示装置の構成例を示すブロック図である。
【００１１】
図２２に示すように、従来の波形表示装置は、音声データである波形データを記憶保持する波形データファイル１００と、ＣＰＵを備え、処理プログラムを実行することにより波形データファイル１００の波形データを読み出して、波形表示データを形成する波形処理部２００と、波形処理部２００によって形成された波形表示データの供給を受けて、波形表示データに応じた波形を表示画面に表示する波形表示部３００とからなっている。
【００１２】
波形データから、実際に波形を表示するための波形表示データを形成するのは、ＣＰＵを備えた波形処理部２００であり、この波形処理部２００に波形データ処理が集中する。図２２に示した従来の一般的な波形表示装置における波形表示の具体例について説明する。ここでは、２次元平面上での波形表示の例を示す。
【００１３】
一般的に、サンプリングされた波形データは、Ｌ（秒）分のデータであれば、サンプリング周波数Ｆｓ（ｋＨｚ）×時間Ｌ（秒）個のサンプル数（データ数）となり、例えば１秒分の波形データであってもサンプリング周波数Ｆｓ＝４８ｋＨｚとした場合は４８０００サンプルとなる。一方、これを表示する表示デバイスは、（波形を横に並べると仮定して）横軸（水平方向）の画素数は数百〜数千であり、少ない画素数の中で、より多くの波形データの情報を含められるかが問題となる。
【００１４】
ここで、図２３Ａに示すように、「Ｎサンプル」分の波形イメージを表示画面に表示する場合について考える。この場合、波形表示エリアの横軸方向（水平方向）、縦軸方向（垂直方向）の画素数は既に決まっているのが通常である。つまり、波形表示領域の画素数は、波形表示装置の表示画面の大きさなど、システムの構成上から固定的に決まっていたり、また、最近のＯＳ−ＧＵＩ（Graphical User Interface）システムのように、予めユーザーによって波形表示領域が設定されたりする。
【００１５】
ここで横軸の画素数を「Ｖ画素」とする。実際に、Ｖ＝Ｎであれば１画素あたり１サンプルづつ表示していけば問題はない。また、Ｖ＞Ｎである場合（波形の詳細を見たい場合）などは、およそＶ／Ｎ画素ごとに１サンプルづつの値の位置に波形を表示していけば良い。また、Ｖ＜Ｎである場合には、Ｎ／Ｖ画素ごとに１サンプルづつの値の位置に波形を表示することになる。
【００１６】
図２３Ａに示した「Ｎサンプル」分の波形の全部を図２３（１）に示した波形表示装置の表示画面Ｇ上に設けられる波形表示領域Ｒにおける領域部分ＲＢに表示する場合を考える。この領域部分ＲＢの横軸方向の画素数がＶ画素である。そして、表示対象の波形のサンプル数Ｎと表示領域部分ＲＢの横軸方向の画素数Ｖとの関係が、Ｖ＜Ｎであるとする。この場合、横軸方向の１画素単位に波形データの１サンプルを割り当てたのでは画素数が足りない。
【００１７】
このため、図２３Ｂに表示対象の波形の一部分を抜き出して示したように、表示対象波形のＮ／Ｖ個のサンプルデータについて、横軸方向に１画素を割り当てるようにする。図２３Ｂの場合の例は、Ｎ／Ｖサンプルが４サンプルの場合であり、表示用波形データの４サンプルに横軸方向の１画素が割り当てられる。
【００１８】
しかし、この４サンプルの波形が振幅方向に大きく変化している場合もあるので、図２３Ｂに示したように、各Ｎ／Ｖの区間において、表示対象波形の最大値と最小値とを検出し、図２３Ｃに示したように、横軸方向の１画素単位に、最大値と最小値との両方を表示するようにする。
【００１９】
このようにすることによって、図２３Ｄに示すように、表示画面Ｇに設けられる表示領域Ｒ内の領域部分ＲＢに対して、図２３Ａに示した「Ｎサンプル」分の表示対象波形の全部を表示することができるようにされる。また、図２３（１）に示したように、ＧＵＩを通じて波形表示エリアの指定が可能な場合には、波形表示エリアの画素数の指定が可能となり、縦軸方向（振幅方向）の大きさはユーザーの目的により相対的に大小加工しての表示が可能となる。
【００２０】
なお、ここでは、割り切れない小数の整数化については、誤差範囲とし、本質的な問題でないので省略している。また、横軸の画素を１つ分で縦軸方向に画素数が複数個伸びたもの（画素数は特に規定しない）を、この明細書においては「画素列」と呼ぶことにする。さらに、表示の際、縦軸方向の大きさは、データ中の数値に対して、画素表示するのに好適なゲイン（係数）を掛けるなどの適宜の処理が施される。
【００２１】
図２３を用いて説明したような波形表示を行う場合の処理フローを図２４に示す。図２４においても、値Ｖは表示領域の横軸方向の画素数であり、値Ｎは表示対象波形のサンプル数である。そして、図２４に示すように、表示対象波形の設定、表示領域の設定、表示用振幅ゲインの設定を行うと、波形表示処理が行われるが、表示画素数Ｖがサンプル数Ｎより少ない場合（Ｖ＜Ｎの場合）には、図２３を用いて説明したように、横軸方向の１画素で複数サンプル分の波形を表示するように考慮しなければならず、当該複数サンプル分の波形データの中の最大値、最小値を検出する処理や、それらを接続した波形表示データを形成する処理などが必要になる。
【００２２】
つまり、ＮサンプルのデータをＶ画素の横軸に表示する場合、実際のデータサンプルをＮ／Ｖサンプルごとに区切り（図２３Ｂ）、その中で最大の値及び、最小の値を求め、各「画素列」ごとに最大・最小を結んだラインを表示していくことになる（図２３Ｃ）。これにより、Ｎサンプルあった波形の概要を横軸方向にＶ画素の範囲に表示することができるようにしている。
【００２３】
このように、従来手法の場合、表示画素数やデータの数などにより、場合分けが必要であったり、観測する波形の場所を移動する場合など再計算が多くなったりして、ＣＰＵの負荷が重くなっている。
【００２４】
そして、表示される音声データの波形表示を確認しながら音声データに対して、ディストーション、エコーなどといった種々のエフェクト処理（エフェクト信号処理）を施すようにしたい場合、波形データを処理するＣＰＵにかかる負荷の増大を防止するために、例えば、図２５に示すように、エフェクト処理用のＣＰＵを別途設けるようにすることが考えられている。図２５に示す音響処理装置は、図２２に示した波形表示装置の波形データファイル１００と波形処理部２００との間に、ＣＰＵを備えたエフェクト処理部４００を設けるように構成したものである。
【００２５】
そして、波形データファイル１００から読み出した音声データ（波形データ）に対してエフェクト処理部４００のＣＰＵによりエフェクト処理を実行し、処理後の音声データを図示しないＤ／Ａ変換器やアンプなどを介してスピーカＳＰに供給して音声データに応じた音声を再生する。また、エフェクト処理後の音声データは、波形処理部２００に供給され、ここで上述もしたように決められた表示領域に波形を表示するための波形表示データに変換され、これが波形表示部３００に供給されて、その表示画面に波形が表示するようにされる。
【００２６】
この場合、エフェクト処理と波形処理とを異なるＣＰＵに分散させることができるので、波形処理部２００のＣＰＵの負荷を増大させることは無いが、波形を新たな態様で表示するようにしたり、また、波形自体を変化させ、これに応じたエフェクトをかけるようにしたりするなど、新たな態様での音声データに対しする処理を施すためには、波形処理部２００の負荷を増大させることになる。
【００２７】
また、近年においては、ゲーム機や高機能なＡＶ機器などをも含め、表示デバイスを持つコンピュータなどにおいては、データ量、計算量とも大きなグラフィックスデータを高速に処理し、高精度にグラフィックスの表示を可能にするため、ＧＰＵ（Graphics Processing Unit）などと呼ばれるグラフィックスデータ専用の処理装置を搭載し、このＧＰＵが、グラフィックスデータについての処理を行うようにすることも行われている。
【００２８】
このようにＧＰＵを用いることによって、ＣＰＵ自体がオブジェクトの座標変換やレンダリングなどのグラフィックスデータに関する処理を行うことは無いので、ＣＰＵの負荷を軽減することができる。しかしながら、波形データを表示する場合、波形データから波形表示データへの変換処理（演算処理）は、演算処理担当のＣＰＵが行うことには代わりはないため、ＣＰＵの負荷を十分に軽減させることができない場合もあると考えられる。
【００２９】
以上のことにかんがみ、この発明は、演算処理を行うＣＰＵの負荷を増大させることなく、波形を迅速に表示できるようにすると共に、表示された波形をより有効に活用できるようにすることを目的とする。
【課題を解決するための手段】
【００３０】
上記課題を解決するため、請求項１に記載の発明の波形処理装置は、
波形を仮想３次元空間に表示する場合の制御を行う制御部と、前記波形を前記仮想３次元空間上に展開する処理を行う描画処理部と、前記仮想３次元空間に表示する波形を捉える仮想的な位置および方向の指示入力を受け付ける受付部とを備える波形処理装置であって、
前記制御部は、
前記仮想３次元空間における前記波形に対する初期設定値を設定する設定手段と、
前記受付部を通じて前記指示入力を受け付ける毎に、受け付けた前記仮想的な位置および方向に応じて波形を表示することを指示する制御信号を形成し、これを前記描画処理部に供給する制御信号形成手段と
を備え、
前記描画処理部は、
表示対象の前記波形を形成する波形データの供給を受けて、これを記憶保持する波形メモリと、
前記形成手段からの前記制御信号の供給を受ける毎に、当該制御信号によって指示される前記仮想的な位置および方向に応じて捉えた場合の前記波形を表示するための表示用データを、前記波形メモリに記憶保持されている前記波形データから形成する形成手段と、
を備えることを特徴とする。
【００３１】
この請求項１に記載の発明の波形処理装置によれば、仮想３次元空間に波形を表示するようにする処理を行う場合に、制御部の設定手段によって初期設定がなされて波形を表示することができるようにされ、さらに、波形を捉える位置や方向の指示入力を受け付けた場合には、制御部の制御信号形成手段によって、受け付けた指示入力に応じて制御信号が形成され、これが描画処理部に供給される。
【００３２】
描画処理部においては、表示対象の波形データの供給を受けて、これを波形メモリに記憶保持し、制御部からの制御信号の供給を受ける毎に、波形メモリに記憶保持している波形データを用い、供給を受けた制御信号に応じて再計算を行って、波形を捉える位置や方向が変更された場合に、これに応じた波形を表示し直すことができるようにする。
【００３３】
これにより、波形を捉える位置や方向が変更された場合には、描画処理部において、波形メモリに記憶保持した波形データを用い、迅速に再計算を行い、指示された「波形を捉える位置や方向」に応じた波形を迅速に表示することができるようにされる。また、波形を捉える位置や方向を変更することにより、今までにない態様で波形を捉えるようにして波形を表示することができるなど、波形の有効活用を促進することができる。しかも、従来、波形表示のための種々の演算処理を一手に行っていた制御部の負荷を増大させることもない。
【発明の効果】
【００３４】
この発明によれば、この発明は、演算処理を行うＣＰＵの負荷を増大させることなく、波形を迅速に表示でき、また、種々の態様で波形を表示することができるので、波形をより有効に活用することができる。
【発明を実施するための最良の形態】
【００３５】
以下、図を参照しながら、この発明の一実施の形態について説明する。
【００３６】
［波形表示処理装置の構成について］
図１は、この発明の一実施の形態が適用された波形表示処理装置を説明するためのブロック図である。図１に示すように、この実施の形態の波形表示処理装置は、大きく分けると、波形データファイル１と、波形処理部２と、表示装置部３、操作部４とを備えたものである。
【００３７】
波形データファイル１は、波形表示の対象である楽曲などの音声データ（音声信号）を記憶保持している部分である。具体的には、記録媒体としてハードディスクを搭載したハードディスクドライブやＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）などのディスク記録媒体が内蔵されたあるいは着脱可能とされたディスクドライブなどである。
【００３８】
また、表示装置部３は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode-Ray Tube）、有機ＥＬパネル（Organic Electro luminescence Panel）、ＰＤＰ（Plasma Display Panel）などの表示素子と表示制御部とを備え、波形表示データなどの表示情報の供給を受けて、これを表示素子の表示画面に表示することができるものである。
【００３９】
また、操作部４は、種々の操作キーや操作つまみなどを備え、ユーザーからの入力操作を受け付けて、これに応じた電気信号を形成して後述する波形処理部２の制御部２１に供給することができるものである。
【００４０】
そして、この実施の形態の波形表示処理装置において、波形処理部２は、制御部２１と、描画処理部２２とからなるものである。  制御部２１は、ＣＰＵ２１１、ＲＯＭ（Read Only Memory）２１２、ＲＡＭ（Random Access Memory）２１３などがバスラインを通じて接続されて構成されたものであり、この実施の形態の波形表示処理装置の各部を制御したり、種々の演算処理を行ったりする部分である。なお、図示しないが、制御部２１には、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）やフラッシュメモリーなどのいわゆる不揮発性メモリが設けられ、プログラムや処理に必要なデータなどの変更や追加などを行うこともできるようにされている。
【００４１】
また、描画処理部２２は、ＧＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、波形メモリ２２４などがバスラインを通じて接続されて構成されたものである。ＧＰＵは、表示デバイスを持つコンピュータなどにおいても用いられているものであり、主に、画像表示のためのレンダリング、３Ｄ（３次元）上における座標変換や３Ｄから２Ｄ（２次元）への座標変換、照度計算などを行うためのものである。なお、図示しないが、描画処理部２２にも、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）やフラッシュメモリーなどのいわゆる不揮発性メモリが設けられ、プログラムや処理に必要なデータなどの変更や追加などを行うこともできるようにされている。
【００４２】
昨今、ＧＰＵは、能力が向上してきており、グラフィックのアクセラレータというより、座標変換（行列計算）等を得意とするＤＳＰ（Digital Signal Processor）的な機能を持ち始めている。すなわち、ＧＰＵとして用いられるものの中には、処理プログラムをＣ言語で実装できるもの、３２ビット浮動少数点の使用が可能なもの、分岐処理やループ処理の使用が可能のものなど、ＤＳＰ同様の自由かつ複雑な計算が可能であるものが登場してきている。
【００４３】
このような、ＧＰＵの高機能化に着目し、波形を表示する場合においても、ＧＰＵの機能を用いることによって、種々の演算処理を行う制御部２１のＣＰＵの負荷を増大させることなく、音声データの波形を迅速に表示できるようにすると共に、ＣＰＵ２１１を備えた制御部２１と、ＧＰＵ２２１を備えた描画部２２との新たな連携を確立することによって、新たな態様で音声データについての波形表示を行うようにしたり、表示された波形を介して音声データに対して目的とするエフェクト処理（エフェクト信号処理）を施すようにしたりすることを可能にしている。
【００４４】
そして、図１に示したこの実施の形態の波形表示装置は、操作部４を通じて受け付けたユーザーからの入力操作に応じて、波形処理部２の制御部２１が波形データファイル１から目的とする波形データ（音声データ）ＤＴを読み出し、これを描画処理部２２に供給すると共に、後述もするが、波形データの表示サンプル数や表示領域の位置や大きさなどを含む描画指示などの種々の制御信号ＣＴを形成して、描画処理部２２に供給する。
【００４５】
描画処理部２２は、制御部２１からの波形データを受け付けて、これを自己の波形メモリ２２４に記憶保持する。そして、描画処理部２２は、制御部２１からの制御信号ＣＴに応じて、波形メモリ２２４に記憶保持した波形データを用いて波形表示データを形成し、これを表示装置部３に供給する。これにより、読み出された波形データに応じた波形が、表示装置部３の表示素子の表示画面に表示される。
【００４６】
そして、ユーザーは操作部４を通じて波形の表示領域の変更、波形自体の表示範囲の変更、波形を見る方向の変更などを指示することができ、これらの指示は制御部２１を通じて制御信号ＣＴとして描画処理部２２に供給される。この場合、描画処理部２２は、制御部２１から制御信号ＣＴとして供給される指示に応じて、波形メモリ２２４に記憶保持している波形データから波形表示データを形成し直すことにより、ユーザーからの指示に応じた波形に表示を変更することができる。
【００４７】
また、制御部２１からの制御信号ＣＴに応じた波形表示データの変更を行った場合には、この波形の変更に応じて信号処理されることによりエフェクト処理された波形データがリターン情報ＲＥとして戻され、このリターン情報である波形データが示す情報に基づいて表示対象の波形データである音声データが再生するようにされ、エフェクト処理を施した音声データの再生を行うことができるようにしている。
【００４８】
このように、この実施の形態の波形表示処理装置においては、最初に一度だけ、表示対象となった波形データの全部をＧＰＵ２２１側に送り、波形メモリ２２４に登録しておく。その後、表示に関するパラメータが変更された場合は、制御部２１からの制御信号ＣＴにより、波形を捉える位置や方向を特定する仮想的なカメラ（仮想カメラ）の位置や向きをコントロールするのみで、波形の表示する部分や、大きさなどの変更が可能になる。この場合、再計算よる波形表示データの形成処理は、描画処理部２２のＧＰＵ２２１において行うようにするので、ＣＰＵ２２１側での波形表示データを形成するための再計算などの必要はまったくない。
【００４９】
さらに、操作部４を通じて受け付けた入力操作に応じて、制御部２１が制御信号ＣＴを形成し、これを用いて描画処理部２２に対して波形表示の変更を指示した場合、これに応じて描画処理部２２が波形表示を変更したときには、その変更に応じた信号処理（エフェクト処理）が音声データである波形データに施され、これが処理部２１側に戻されて再生することもできるようにされるので、制御部２１側で波形データファイルから音声データを読み出してエフェクト処理を施すなどの必要もなく、制御部２１のＣＰＵ２１１の負荷を大幅に軽減することができるようにしている。
【００５０】
なお、ここでは便宜的にＧＰＵは座標計算等処理を行うところで、ディスプレイに波形を表示させる機能はＧＰＵ以外の機能として説明するようにしたが、これに限るものではない。実際には、ＧＰＵは複合的に構成され、ＧＰＵと表示装置部３のコントローラとが協働するなどして、波形表示を行う場合など種々の場合がある。
【００５１】
［画像表示に用いる投影手法の概要について］
次に、この実施の形態の波形表示処理装置における波形表示の具体的な態様や波形表示の具体的な利用対象について説明する前に、仮想３Ｄ空間（仮想３次元空間）での仮想カメラについての考え方について説明する。なお、ここで、仮想３Ｄ空間や仮想カメラの「仮想」と言う文言は、「想定した」あるいは「設定した」という意味である。
【００５２】
すなわち、仮想３Ｄ空間は、波形を表示する空間として想定した３次元空間である。また、仮想カメラは、波形を捉えるための（見るための）想定した位置や方向を特定する概念であり、より具体的には、仮想３Ｄ空間上での仮想カメラの設定は、３Ｄ空間を２Ｄの画像（現実のディスプレイ）にレンダリングするための、表示位置や方向、画角などを定義するものである。
【００５３】
仮想３Ｄ空間におけるオブジェクトの投影法には、「透視投影」と「並行投影」との２種類がある。図２は、「透視投影」について説明するための図である。一般的に奥行き表現のある２Ｄ画像を作るために、図２Ａに示すように、仮想カメラＣＰは、想像上のビラミッドの頂点に置かれるようにされる。
【００５４】
このピラミッドは、四角形のフロントクリッピング面ＦＣと、このフロントクリッピング面ＦＣよりも面積の大きな四角形のバッククリッピング面ＢＣとを有し、これら２つのクリッピング面ＦＣ、ＢＣの対応する頂点を直線によって結ぶようにしたときに、その交点部分がピラミッドの頂点となり、この部分が仮想カメラＣＰが置かれる位置となる。
【００５５】
そして、フロントクリッピング面ＦＣと、バッククリッピング面ＢＣとで挟まれた台形の内部（体積部分）が「視錐台」と呼ばれる観視可能範囲であり、この視錐台ＶＤ内のオブジェクトだけが画面での可視可能なものとして表示処理の対象となる。
【００５６】
この「透視投影」は、上述のように、一般的に奥行き表現が可能とされ、例えば、図２Ｂに示すように、視錐台ＶＤ内に、直方体Ｏｂｊを仮想的なカメラＣＰに対して斜めに向くように置いた場合、これを２次元画像に変換すると、図２Ｂにおいて点線矢印で示した２Ｄ画像のように、奥行きが表現されたものとなる。
【００５７】
図３は、「並行投影」について説明するための図である。この「並行投影」の場合には、図３Ａに示すように、同じ形状、同じ面性を有するフロントクリッピング面ＦＣとバッククリッピング面ＢＣとで挟まれた直方体内部が視錐台ＶＤとなる。この「平行投影」で作成された２Ｄ画像は奥行きの表現がないものである。
【００５８】
したがって、図３Ｂに示すように、図２Ｂに示した場合と同様にして、視錐台ＶＤ内に、直方体Ｏｂｊを仮想カメラＣＰに対して斜めに向くように置いた場合、これを２Ｄ画像に変換すると、図３Ｂにおいて点線矢印で示した２Ｄ画像のように、奥行きの表現は無いようにされる。
【００５９】
そして、この実施の形態の波形表示処理装置においては、基本的に図３を用いて説明した「平行投影」手法をベースとして用いている。しかし、説明を簡単にするため、図の上では透視投影的に表現している場合もある。
【００６０】
［波形表示を行う場合の処理について］
次に、この実施の形態の波形表示処理装置における表示パラメータ変更・再計算時の処理について、図４のフローチャートを参照しながら説明する。波形を捉える仮想カメラの位置や向きを変更すると、表示対象の波形の表示すべき部分、表示に必要な横軸方向の画素数、表示に必要な縦軸方向の画素数などの表示パラメータに変更が生じ、波形を表示し直すために再計算を行って、波形表示データを生成し直す必要が生じる。このような場合に実行されるのが、図４に示すフローチャートの処理である。
【００６１】
なお、上述もしたように、目的とする音声データ（波形データ）の表示が最初に指示された場合には、制御部２１によって読み出された当該波形データが描画処理部２２に送られ波形メモリ２２４に記憶保持される。そして、制御部２１からの表示パラメータを含む制御信号ＣＴに応じて、描画処理部２２において、波形メモリ２２４の波形データから波形表示データを形成し、これを表示装置部３に供給して、表示装置部３の表示素子の表示画面に波形が表示される。
【００６２】
この後においては、仮想カメラの位置などが変更された場合であっても、波形データを波形データファイル１から再度読み出しして、描画処理部２２に供給する必要はない。仮想カメラの位置などが変更された場合には、この図４に示す処理が実行され、制御部２１の制御により、描画処理部２２が自己の波形メモリ２２４に記憶保持している波形データを用いて波形表示を行うことになる。
【００６３】
そして、図４に示したフローチャートにおいて、ステップＳ１０１からステップＳ１０３までの処理が、制御部２１の主にＣＰＵ２１１によって行われる処理であり、ステップＳ１０４からステップＳ１０５までの処理が描画処理部２２の主にＧＰＵ２２１において行われる処理である。
【００６４】
すなわち、制御部２１は、操作部４を通じてユーザーからの仮想カメラの位置等の変更指示を受け付けると、図４に示す処理を実行し、受け付けた変更指示に基づいて、まず、表示サンプルＮの設定を行う（ステップＳ１０１）。具体的には、目的とする波形データの何処から何処までを表示するようにするかを設定する処理である。
【００６５】
次に、ＣＰＵ２１１は、受け付けた変更指示に基づいて、表示領域の横方向（時間方向）の画素数を設定する（ステップＳ１０２）。また、ＣＰＵ２２１は、変更指示に基づいて表示用振幅ゲインを設定する。具体的には、表示する波形の振幅の大きさを考慮し、波形を適正に表示可能な縦方向（振幅方向）の画素数を設定する（ステップＳ１０３）。
【００６６】
これらステップＳ１０１からステップＳ１０３において設定された情報により、図４のフローチャートの右側にも示したように、３次元仮想空間上の位置、Ｘ，Ｙ，Ｚ軸の回転角度、フロントクリッピング面までの距離が決まる。これら決まった情報、その他必要な情報が、制御信号ＣＴに含められて描画処理部２２に通知される。
【００６７】
描画処理部２２は、制御部２１からの制御信号ＣＴに応じて、波形メモリ２２４に記憶保持している波形データを用い、変更するようにされた表示パラメータに応じて、まず、ジオメトリ処理、すなわち、カメラ空間への波形データの展開、クリッピング影面処理、光源処理を行い（ステップＳ１０４）、次に、ラスタライズ処理やレンダリング処理を行って、変更された表示パラメータに応じた波形表示データを形成する（ステップＳ１０５）。  このようにして形成された波形表示データが表示装置部３に供給され、変更された表示パラメータに応じて形成された波形が表示されることになる。
【００６８】
このように、この実施の形態の波形表示処理装置は、最初に波形を表示する場合に、ＧＰＵ２２１側に表示対象の波形全体のサンプルデータを提供して保持するようにしておき、その後は、すべて３Ｄ空間上の仮想なカメラを移動するようにすることで、表示パラメータの変更・及び再計算指定を行うようにしている。
【００６９】
そして、この実施の形態の波形表示処理装置においては、レンダリング処理を行うと、仮想カメラから遠い波形サンプルが近い波形サンプルによって上書きされ、１サンプルの線が表示するようにされる。このような処理は、グラフィックスカードなどとして実現される描画処理部２２の主にＧＰＵ２２１のハードウェアによって行なわれるため、処理部２１のＣＰＵ２１１は、別の処理を行うことができるようにされる。
【００７０】
［表示波形の具体例について］
次に、この実施の形態の波形表示処理装置によって行われる波形表示の具体例について説明する。まず、目的とする１つの波形データに応じた波形を表示する場合について説明する。図５、図６は、目的とする１つの波形を表示する場合の例を説明するための図である。
【００７１】
ここでは、仮想３Ｄ空間を（ｔ，ｙ，ｚ）空間とする。最初に、３Ｄ空間にて表示すべき１つの波形の登録を行い、この波形を仮想空間上のｔ軸に沿って、ｔ−ｙ平面上にマッピングしていく。すなわち、制御部２１が目的とする波形データを波形データファイル１から読み出し、これを描画処理部２２に供給するので、これを描画処理部２１が受け付けて、自己の波形メモリ２２４に記憶保持し、ＧＰＵ２２１が機能して、図５Ｂに示すように、波形データをｔ−ｙ平面上にマッピングするようにして波形表示データを形成し、これを表示装置部３に供給して表示することができるようにする。
【００７２】
この図５Ｂに示した波形表示の態様は一般的なものであり、時間ｔの経過にしたがって、波形の振幅の変化を観察することができる。この場合に、ｚ−ｙ平面上で同じ波形を観視しようとした場合には、図５Ａに示したように、ｙ軸上において変化する波形を観視することができる。
【００７３】
そして、図６において仮想カメラＣＰ２が示すように、ｔ−ｙ平面と対向し、その観視の方向がｔ−ｙ平面と直交する方向から表示波形を観視するようにする場合には、図６Ｃに示すように、時間の経過に従って変化する波形の所定の部分の詳細を観視することができるようにされる。また、仮想カメラＣＰ２を仮想カメラＣＰ１が示す位置に移動させるようにし、波形をこの座標系の原点側から時間の経過方向を見渡すように観視するようにした場合には、表示波形は、図６Ａに示したように、波形の全体的な様子を観視することができるようにされる。
【００７４】
このように、同じ表示領域に同じ波形を表示しているのであるが、波形を見る位置として設定する仮想カメラの位置や観視の方向を変更することにより、図６Ａに示したように、波形の全体をユーザーに提供したり、また、図６Ｃに示したように、波形の目的とする部分だけに注目できるようにして提供したりすることができるようにしている。
【００７５】
そして、このパラメータ変更（仮想カメラ移動）以降の処理に関しては、図４に示したフローチャートの処理に示した通り、ジオメトリ処理、レンダリング処理などはＧＰＵで行うためＣＰＵでの負荷はかかっていない。ＣＰＵは、ユーザーが観測したいパラメータを仮想カメラの位置・設定パラメータに変換するのみである。ここでの仮想カメラの位置・設定パラメータは、図４を用いて説明したように、「３Ｄ空間上の位置」「ｘ，ｙ，ｚ軸の回転角度」（もしくはカメラの方向ベクトル）「フロントクリッピング面までの距離」などを意図するものである。
【００７６】
このように、カメラ位置を移動し、前述の平行投影を用いることで、従来ＣＰＵで再計算が必要であった波形の範囲指定、拡大縮小などがすべてＧＰＵ上で行える。今後、ＧＰＵに関連するメモリ部の増大や、機能の大きな発展が見込まれるため、この発明の有効性は高まる。
【００７７】
［２波形の適用に関して］
［２波形を表示する場合の第１の例］
前述したのは、１つの波形についての適用であったが、２つの波形の場合についても応用が可能である。これは特に、ステレオのＬ（左）チャンネルの音声データと、Ｒ（右）チャンネルの音声データなど同期する２波形を同時に表示するような場合に好適である。なお、この２波形の適用に関しても、仮想３Ｄ空間を（ｔ，ｙ，ｚ）空間とする。この場合のｔ軸は、時間軸を意味し、（ｘ，ｙ，ｚ）空間におけるｘ軸と等価である。
【００７８】
図７〜図１３は、２つの波形を同時に表示して観視できるようにする場合の例を説明するための図である。ここでは、図７Ａに示すように、時間軸ｔを共通に使用し、ｙ軸方向にはＬチャンネルの音声データの振幅を、ｚ軸方向にはＲチャンネルの音声データの振幅を表して、Ｌ（左）Ｒ（右）両音声チャンネルの音声データの波形を表示する場合を例にして説明する。
【００７９】
すなわち、図７Ｂに示すように、点線で示した波形１が、ｔ０，ｔ１，ｔ２，…，ｔｎの時間系列において、ｙ軸方向にＬ０，Ｌ１，Ｌ２，…，Ｌｎの値を取るＬチャンネルの音声データの波形である。また、２点差線で示した波形２が、同じく、ｔ０，ｔ１，ｔ２，…，ｔｎの時間系列において、ｚ軸方向にＲ０，Ｒ１，Ｒ２，…，Ｒｎの値を取るＲチャンネルの音声データの波形である。
【００８０】
そして、この時、仮想３Ｄ空間上で、（ｔ，ｙ，ｚ）＝（ｔ０，Ｌ０，Ｒ０），（ｔ１，Ｌ１，Ｒ１），（ｔ２，Ｌ２，Ｒ２），…，（ｔｎ，Ｌｎ，Ｒｎ）のポイントをつなぐようにして表示される、ひも状の立体（図７Ｂにおいて実線で示したもの）を表示することを考える。なお、後述もするように、このひも状の立体は、仮想３Ｄ空間において、Ｌチャンネルの音声データの波形とＲチャンネルの音声データの波形とを合成するようにして形成したものであり、仮想３Ｄ空間における「３Ｄ立体オブジェクト」であり、以下においては、「波形オブジェクト」、あるいは、「ひも状オブジェクト」と呼ぶ。
【００８１】
また、この例のように、ステレオ音声データのＬチャンネルの音声データと、Ｒチャンネルの音声データとの２波形を同時に表示するようにした場合における３Ｄ立体オブジェクトは、上述もしたように、仮想３Ｄ空間において、Ｌチャンネルの音声データの波形とＲチャンネルの音声データの波形とを合成するようにして形成したものであり、ステレオ波形オブジェクトと呼ぶこともできるものである。
【００８２】
そして、この場合、図７Ｂに示した仮想カメラＣＰＡの位置からｙ−ｚ平面についての射影を、サンプル時間ごとにフロントクリッピング面とバッククリッピング面を設定しながら求めていくことで、図８Ａに示すように「ＬＲ間のリサージュ図形」を求めることができる。ステレオ信号のリサージュ図形は、両者の信号の相関性やレベルバランスを見るのに、実際によく使われている。
【００８３】
また、図７Ｂに示したカメラＣＰＢの位置からｔ−ｚ平面についての射影画像を求めると、図８Ｂに示すような正弦波である波形２が求められる。また、１つの波形オブジェクトながら図７Ｂに示した仮想カメラＣＰＣの位置からｔ−ｙ平面についての射影画像を求めると、図８Ｃに示すような正弦波である波形１が求められる。
【００８４】
その他にも、図７Ａに示したように、仮想カメラを置く位置を変えることにより、ＬチャンネルとＲチャンネルとの和信号や、差信号の波形などが瞬時に求められる。これにより、例えばＬＲ間の任意のミキシング波形も容易に求められることがわかる。すなわち、ｚ軸方向から波形を見るようにした場合には、ｔ−ｙ平面の波形を観視することができ、また、ｙ軸方向から波形を見るようにした場合には、ｔ−ｚ平面の波形を観視することができるようにされる。
【００８５】
そして、図７Ａに示すように、ｚ軸方向とｙ軸方向との間に示した矢印の方向から波形を見るようにした場合には、Ｌチャンネルの音声の波形とＲチャンネルの音声の波形とが加算された波形（Ｌｃｈ＋Ｒｃｈ）や、Ｌチャンネルの音声の波形からＲチャンネルの音声の波形が減算された波形（Ｌｃｈ−Ｒｃｈ）を観視するなどのことができるようにされる。
【００８６】
なお、ここでは、説明を簡単にするため、Ｌチャンネルの音声データの波形とＲチャンネルの音声データの波形との両方の要素を含む３Ｄ立体オブジェクトとして「ひも状オブジェクト」を表示できるようにした。このように２つの波形の要素を含むオブジェクトを形成して３Ｄ空間上に表現することにより、波形データについての新たな特性などを把握することができる。
【００８７】
また、２つの波形の要素を含む３Ｄ立体オブジェクトは、「ひも状」のものに限るものではなく、ｔ軸と波形部の間が埋められているものなど、オブジェクトの種類はさまざまに考えられ、種々のものを用いるようにすることが可能である。
【００８８】
［２波形を表示する場合の第２の例］
次に、２波形を表示する場合の第２の例について説明する。図７、図８に示した例の場合には、Ｌチャンネルの音声データの波形も、Ｒチャンネルの音声データの波形も共に同一周期の正弦波である場合を例にして説明した。ここでは、Ｌチャンネルの音声データの波形と、Ｒチャンネルの音声データの波形とが異なる周期の場合について説明する。
【００８９】
なお、この２波形の適用に関しても、図７、図８を用いて説明した２波形を表示する場合の第１の例の場合と同様に、仮想３Ｄ空間を（ｔ，ｙ，ｚ）空間とする。また、この例においても、時間軸ｔを共通に使用し、ｙ軸方向にはＬチャンネルの音声データの振幅を、ｚ軸方向にはＲチャンネルの音声データの振幅を表して、Ｌ（左）Ｒ（右）両音声チャンネルの波形を表示する場合とする。
【００９０】
したがって、この例においても、図９に示すように、点線で示した波形１が、ｔ０，ｔ１，ｔ２，…，ｔｎの時間系列において、ｙ軸方向にＬ０，Ｌ１，Ｌ２，…，Ｌｎの値を取るＬチャンネルの音声データの波形である。また、２点差線で示した波形２が、同じく、ｔ０，ｔ１，ｔ２，…，ｔｎの時間系列において、ｚ軸方向にＲ０，Ｒ１，Ｒ２，…，Ｒｎの値を取るＲチャンネルの音声データの波形である。また、この時、仮想３Ｄ空間上で、（ｔ，ｙ，ｚ）＝（ｔ０，Ｌ０，Ｒ０），（ｔ１，Ｌ１，Ｒ１），（ｔ２，Ｌ２，Ｒ２），…，（ｔｎ，Ｌｎ，Ｒｎ）のポイントをつなぐような、ひも状の立体である「ひも状オブジェクト（図９において実線で示したもの）」を表示することを考える。
【００９１】
この場合、図９に示した仮想カメラＣＰＡの位置からｙ−ｚ平面についての射影を、サンプル時間ごとにフロントクリッピング面とバッククリッピング面を設定しながら求めていくことで、図１０Ａに示すように八の字形の波形となる「ＬＲ間のリサージュ図形」を求めることができる。
【００９２】
そして、図８Ａと図１０Ａとを比較すると分かるように、左右両チャンネルの音声データの周期が同じであれば、図８Ａに示したように表示される波形は、一直線上に表示されるのに対して、左右両チャンネルの音声データの同期は合っているが周期が異なっている場合には、その波形は八の字状に表示され、左右両チャンネルの波形の周期（位相）が異なっていることが分かるようにされる。
【００９３】
また、図９に示したカメラＣＰＢの位置からｔ−ｚ平面についての射影画像を求めると、図１０Ｂに示すような正弦波である２周期分の波形２が求められる。すなわち、仮想カメラＣＰＢの位置からｔ−ｚ平面についての射影画像を求めると、図１１おいて塗りつぶして示したＲチャンネルの音声データの波形のみを観視することができるようにされる。
【００９４】
また、１つの波形オブジェクトながら図９に示した仮想カメラＣＰＣの位置からｔ−ｙ平面についての射影画像を求めると、図１０Ｃに示すような正弦波である１周期分の波形１が求められる。すなわち、仮想カメラＣＰＣの位置からｔ−ｙ平面についての射影画像を求めると、図１２おいて塗りつぶして示したＬチャンネルの音声データの波形のみを観視することができるようにされる。
【００９５】
また、このように、Ｌチャンネルの音声データの波形とＲチャンネルの音声データの波形とを時間軸を共通に用い、振幅を異なる座標軸に対応させることによって、３次元仮想空間において、２波形を同時に表現することができるようにされる。また、波形を捕らえる仮想カメラの位置や角度を指定するだけで、ＣＰＵには負荷をかけることなく、ＧＰＵ側の処理により波形表示データの最生成（パラメータ変更・再計算）を実行して、波形を迅速に表示できるようにし、波形の多面的な観察を行う迅速かつ容易に行うことができるようにされる。
【００９６】
なお、２波形を表示する場合の第２の例について、図９に示した各波形（各オブジェクト）の３次元的な配置が分かりやすいように、２つの波形の要素を含むひも状の３Ｄ立体オブジェクトについて、仮想３Ｄ空間において影付けをして表示するようにした場合を図１３に示す。
【００９７】
図１３において、その中央部分であって、直線で示された座標軸上に表示された波形が、（ｔ−ｙ−ｚ空間）である仮想３Ｄ空間におけるＬチャンネルの音声データの波形とＲチャンネルの音声データの波形とが合成するようにされて形成されたひも状のオブジェクト（ステレオ波形オブジェクト）であり、これが仮想３Ｄ空間に表示するようにされ、仮想カメラの位置を変更することにより、ｔ−ｙ平面に形成されるＬチャンネルの音声データの波形や、ｔ−ｚ平面に形成されるＲチャンネルの音声データの波形や、ｙ−ｚ平面に形成されるＬＲ間のリサージュ図形として観視することができるものである。
【００９８】
そして、図１３において、正面左側に表示された１周期分の正弦波は、当該ひも状のオブジェクトのｔ−ｙ平面についての射影画像であり、この例の場合には、Ｌチャンネルの音声データの波形に相当する。また、図１３において、正面右側の八の字上に表示された波形は、当該ひも状のオブジェクトのｙ−ｚ平面についての射影画像であり、Ｌチャンネルの音声データの波形とＲチャンネルの音声データの波形との間におけるいわゆるリサージュ図形に相当する。また、図１３において、正面下側に表示された２周期分の正弦波は、当該ひも状のオブジェクトのｔ−ｚ平面についての射影画像であり、Ｒチャンネルについての音声データの波形に相当する。
【００９９】
このように、３次元仮想空間において、２波形を合成した波形と、ｔ−ｙ平面、ｔ−ｚ平面、ｙ−ｚ平面の各平面毎に、２波形を合成した波形の射影波形を平行投影することによって、各面における波形を同時に表示してそのそれぞれを観視することも簡単かつ迅速に行うことができるようにされる。
【０１００】
なお、図７、図９、図１１、図１２においては、説明を簡単にするため、仮想３Ｄ空間において、ｔ−ｙ平面に形成されるＬチャンネルの音声データの波形と、ｔ−ｚ平面に形成されるＲチャンネルの音声データの波形と、これらの波形を合成するようにして形成される「ひも状オブジェクト」とを示すようにしたが、常にこれら３種類を表示する必要はない。
【０１０１】
通常は、「ひも状オブジェクト」だけを表示するようにして、仮想カメラの位置を変更することにより、Ｌチャンネルの音声データの波形や、Ｒチャンネルの音声データの波形や、ＬＲ間のリサージュ図形を表示して、別個に観視できるようにすればよい。もちろん、図７、図９、図１１、図１２に示したように、仮想３Ｄ空間における、ｔ−ｙ平面に形成されるＬチャンネルの音声データの波形と、ｔ−ｚ平面に形成されるＲチャンネルの音声データの波形と、これらの波形を合成するようにして形成される「ひも状オブジェクト」とを区別がつくように表示して観視できるようにすることも可能である。
【０１０２】
［２波形を表示する場合の第３の例］
次に、２波形を表示する場合の第３の例について説明する。ここでは、２つの異なるインパルス応答の波形を同時に観察できるようにする場合について説明する。複数のインパルス応答を同時に観察できるようにすることは、例えば、リスニングルーム等の部屋における音の反射の状態を見る場合などおいて重要である。
【０１０３】
図１４、図１５は、２つの異なるインパルス応答の波形を同時に観察できるようにする場合の例を説明するための図である。図１４に示すように、点線で示した波形１が、ｔ軸方向に時間を、ｙ軸方向に振幅をとるようにして表現したｔ−ｙ平面における第１のインパルス応答波形であり、２点鎖線で示した波形２が、ｔ軸方向に時間を、ｚ軸方向に振幅をとるようにして表現したｔ−ｚ平面における第２のインパルス応答波形である。
【０１０４】
そして、図１４において、実線で示した波形が、この例において、仮想３Ｄ空間に実際に表示するようにされる波形であって、第１のインパルス応答波形である波形１と第２のインパルス応答波形である波形２とを合成するようにして、仮想３Ｄ空間において表現するようにした「ひも状オブジェクト（波形オブジェクト）」である。
【０１０５】
そして、この実施の形態の波形表示処理装置のユーザーが、操作部４を通じて仮想カメラを図１４に示した仮想カメラＣＰＡに示す位置に位置付け、「ひも状オブジェクト」を観視するようにすると、描画処理部２２が制御部２１を通じて供給を受けるユーザーからの操作入力に応じて、図１４Ａに示すように、波形１と波形２との間のリサージュ図形を形成する処理を行い、これを表示することにより、ｙ−ｚ平面についての波形を観視することができるようにされる。
【０１０６】
また、この実施の形態の波形表示処理装置のユーザーが、操作部４を通じて仮想カメラを図１４に示した仮想カメラＣＰＢに示す位置に位置付け、「ひも状オブジェクト」を観視するようにすると、描画処理部２２が制御部２１を通じて供給を受けるユーザーからの操作入力に応じて、図１４Ｂに示すように、ｔ−ｚ平面における波形２を形成する処理を行い、これを表示することにより、ｔ−ｚ平面についての波形を観視することができるようにされる。
【０１０７】
また、この実施の形態の波形表示処理装置のユーザーが、操作部４を通じて仮想カメラを図１４に示した仮想カメラＣＰＣに示す位置に位置付け、「ひも状オブジェクト」を観視するようにすると、描画処理部２２が制御部２１を通じて供給を受けるユーザーからの操作入力に応じて、図１４Ｃに示すように、ｔ−ｙ平面における波形２を形成する処理を行い、これを表示することにより、ｔ−ｙ平面についての波形を監視することができるようにされる。
【０１０８】
このように、２つのインパルス応答を図１４において実線で示したように合成して仮想３Ｄ空間に表示できるようにし、仮想カメラの位置や向きなどを変更するようにして、波形１のみ、波形２のみ、また、波形１と波形２との間のリサージュ図形などの、種々の波形を表示して、これを観視することができるようにされる。
【０１０９】
また、図１４において実線で示したひも状オブジェクト（波形１と波形２との仮想３Ｄ空間における合成波形）について、時間情報を持たせるようにすることもできる。図１６、図１７は、波形１と波形２との仮想３Ｄ空間における「ひも状オブジェクト（合成波形）」に対して時間情報を持たせるようにした場合の例を説明するための図である。
【０１１０】
図１６に示すように、表示するひも状オブジェクトに対して、時間軸方向に所定の時間範囲毎に例えばグラディエーションを付けるようにして、時間情報を付加する。図１６に示した例の場合には、所定の時間範囲毎に波形の表示態様を変化させている。すなわち、図１６に示した例の場合には、所定時間後とに、濃い実線→薄い実線→濃い点線→薄い点線→細線のように波形を変化させている。
【０１１１】
なお、所定の時間範囲は、１秒毎、０．５秒毎、０．２秒毎など、種々の範囲とすることが可能である。また、「ひも状オブジェクト」などの波形表示の表示態様も、図１６に示した例に限るものではなく、色合いの変化、濃淡の変化、線種の変化、これらの組み合わせなど種々の態様で表現することが可能である。
【０１１２】
そして、この実施の形態の波形表示処理装置のユーザーが、操作部４を通じて仮想カメラを図１６に示した仮想カメラＣＰＡに示す位置に位置付け、「ひも状オブジェクト」を観視するようにすると、描画処理部２２が制御部２１を通じて供給を受けるユーザーからの操作入力に応じて、図１７Ａに示すように、波形１と波形２との間のリサージュ図形を形成する処理を行い、これを表示することにより、ｙ−ｚ平面についての波形を観視することができるようにされる。この図１６Ａに示したリサージュ図形の場合には、時間方向にグラディエーションが付けられているので、時間方向（奥行き方向）の情報を持たせることができ、時間の経過に従った位相の変化などの情報を得ることができる。
【０１１３】
また、この実施の形態の波形表示処理装置のユーザーが、操作部４を通じて仮想カメラを図１６に示した仮想カメラＣＰＢに示す位置に位置付け、「ひも状オブジェクト」を観視するようにすると、描画処理部２２が制御部２１を通じて供給を受けるユーザーからの操作入力に応じて、図１７Ｂに示すように、ｔ−ｚ平面における波形２を形成する処理を行い、これを表示することにより、ｔ−ｚ平面についての波形を監視することができるようにされる。
【０１１４】
同様に、この実施の形態の波形表示処理装置のユーザーが、操作部４を通じて仮想カメラを図１６に示した仮想カメラＣＰＣに示す位置に位置付け、「ひも状オブジェクト」を観視するようにすると、描画処理部２２が制御部２１を通じて供給を受けるユーザーからの操作入力に応じて、図１７Ｃに示すように、ｔ−ｙ平面における波形２を形成する処理を行い、これを表示することにより、ｔ−ｙ平面についての波形を監視することができるようにされる。
【０１１５】
このように、観視しようとする波形について、時間情報を持たせるようにすることにより、時間の経過に応じた波形の変化を観視することができるようにされる。
【０１１６】
［異なる投影法の利用］
上述した実施の形態においては、平行投影法を用いて波形表示を行う場合を例にして説明したが、平行投影法と透視投影法を使い分けるようにしてもよい。図１８は、平行投影法と透視投影法との使い分けについて説明するための図である。図１８Ａは、監視対象のインパルス応答の波形を示している。そして、図１８において、カメラが示すように、観視対象の波形を振幅が収束する側（時間的に後より側）に仮想カメラを設けて波形を捉える場合を考える。
【０１１７】
そして、図１８Ｂ、図１８Ｃのそれぞれは、同じ位置の仮想カメラによって図１８Ａに示したインパルス応答捉えた場合に表示される波形であって、図１８Ｂは平行投影法を用いて表示するようにしたものであり、図１８Ｃは透視投影法を用いて表示するようにしたものである。図１８Ｂに示した平行投影法により表示するようにした波形は、図３を用いて説明したように、時間、振幅ともスケールを変えることなく表示することができるので、波形全体を同じ条件で観察することができるようにされる。
【０１１８】
これに対して、図１８Ｃに示した透視投影法により表示するようにした波形は、図２を用いて説明したように、奥行きが表現されるので、仮想カメラの手前側の部分、この例においては、インパルス応答波形が収束する部分をより明確に表示することができるようにされる。
【０１１９】
このように、用いる投影法を変えることもできるようにされる。そして、用いる投影法を変えた場合には、表示対象の波形データについて波形表示データを得るために再計算が必要になるが、この場合にも、描画処理部２２の波形メモリ２２４に記憶保持された波形データを用い、ＧＰＵ２２１によって目的とする再計算を行うことにより、当該目的とする投影法によって表現するようにされた波形表示データ形成することができるので、制御部２１のＣＰＵ２１１の負荷を増大させることもない。
【０１２０】
したがって、インパルス応答を観察する場合であっても、平行投影法を用いて表示される波形によってその全体を観察し、透視投影法を用いて表示される波形によってカメラ側の波形をクローズアップしつつ全体を観察することなどが、ＣＰＵに負荷をかけることなくできるようにされる。
【０１２１】
また、異なる２つのインパルス応答波形を上述したように合成するようにして仮想３Ｄ空間に形成し、ｔ−ｙ平面に形成される波形とｔ−ｚ平面に形成される波形とを、図１８に示したように、波形の時間方向後よりの仮想カメラの位置から見るようにして、透視投影法を用いて表示し、両者のインパルス応答波形の収束する部分の詳しい状態を比較することが簡単に行うことができるようにされる。
【０１２２】
［ＧＰＵを利用した音声データに対するエフェクト処理について］
次に、エフェクトについてのこの発明の応用について説明する。図１９は、この発明の波形表示処理装置において、描画処理部２２のＧＰＵ２２１を利用して行うことが可能なエフェクト処理について説明するためのブロック図である。この図１９に示したブロック図の内、図１９Ａは、（１）エフェクト処理をＧＰＵ２２１において行う場合を説明するためのものであり、図１９Ｂは、（２）表示された波形を利用してエフェクト処理を行う場合を説明するためのものである。なお、いずれの場合にも、エフェクト処理は基本的に描画処理部２２のＧＰＵ２２１側において行うようにしている。
【０１２３】
［（１）エフェクト処理をＧＰＵ２２１において行う場合について］
まず、図１９Ａを用いて、（１）エフェクト処理をＧＰＵ２２１において行う場合について説明する。図１９Ａに示すように、この例の波形表示処理装置は、基本的に図１に示した波形表示処理装置と同様の構成を有するものである。
【０１２４】
すなわち、この例の波形表示処理装置は、波形データファイル１と、波形処理部２と、表示装置部３と、操作部４とを備えるものである。波形処理部２は、制御部２１と、描画処理部２２とを備えたものである。なお、この例においては、説明を簡単にするため省略しているが、制御部２１、描画処理部２２は、図１に示した制御部２１、描画処理部２２と同様の構成を有するものである。
【０１２５】
そして、この例の波形表示処理装置において、制御部２１には、スピーカＳＰが接続するようにされている。これにより、再生対象の音声データが、制御部２１を通じてスピーカＳＰに供給するようにされ、音声を再生することができるようにしている。なお、制御部２１とスピーカＳＰとの間には、例えば、Ｄ／Ａ変換器やオーディオアンプなどが設けられるが、これらについては説明を簡単にするために省略している。
【０１２６】
そして、この図１９Ａに示す波形表示処理装置において、描画処理部２２のＧＰＵ２２１の役割は波形を３Ｄから２Ｄにして表示するのみでなく、ＧＰＵ２２１内の例えばＥＥＰＲＯＭなどのプログラマブルシェーダにＣＰＵ２１１からエフェクト処理（フィルタやダイナミクス操作など）のプログラムを予め送信しておく。このようにしておくことにより、操作部４を通じて、表示対象の波形データである音声データに対して目的とするエフェクト処理を施して再生することが指示された場合、この指示に応じた制御信号ＣＴが描画処理部２２に供給される。
【０１２７】
描画処理部２２のＧＰＵ２２１は、制御部２１からの制御信号ＣＴに応じて、指示されたエフェクト処理を表示対象の波形データである音声データに対して施し、このエフェクト処理後の波形データに基づいて再計算を行って波形表示データを形成し、表示対象の波形データについてのエフェクト処理後の波形を表示することができるようにしている。これは、もちろん波形をあくまで「立体図形」として扱い、その中での立体図形処理として実現する。
【０１２８】
さらに、ＧＰＵ２２１側からＣＰＵ２１１に対して、処理・再生用データであるエフェクト処理がされた波形データを返せるように構成する。これにより、図１９Ａに示すように、制御部２１のＣＰＵ２１１は、ＧＰＵ２２１側からの再生用の波形データの供給を受けて、この波形データのレベル等の必要な情報を読み取り、その上でＣＰＵ２１１を経由してエフェクト処理の再生音声データを形成し、これを図示しないＤ／Ａ変換器、アンプを通じてスピーカＳＰに供給して、エフェクト処理後の音を再生することができるようにしている。
【０１２９】
このように、この図１９Ａに示した波形表示処理装置の場合には、音声データである波形データに対してエフェクト処理を施すのは描画処理部２２のＧＰＵ２２１である。すなわち、描画処理部２２のＧＰＵ２２１は、表示対象の波形データに対してエフェクト処理を施した後、波形表示データに変換して表示装置部３に供給して表示することができると共に、エフェクト処理後の波形データを制御部２１側に戻して、これを再生することができるようにしている。
【０１３０】
すなわち、波形データに対するエフェクト処理は、ＧＰＵ２２１側において、レンダラの計算処理過程の中で行うことができるようにされるので、制御部２１のＣＰＵ２１１の負荷を増大させることなく、エフェクト処理を施した波形データである音声データを再生することができる。
【０１３１】
［（２）表示された波形を利用してエフェクト処理を行う場合について］
次に、図１９Ｂ、図２０、図２１を用いて、（２）表示された波形を利用してエフェクト処理を行う場合について説明する。図１９Ｂに示すように、この例の波形表示処理装置は、基本的に図１、図１９Ａに示した波形表示処理装置と同様の構成を有するものである。そして、この例の波形表示処理装置は、波形データファイル１と、波形処理部２と、表示装置部３とを備えるものである。波形処理部２は、制御部２１と、描画処理部２２とを備えたものである。
【０１３２】
なお、この例においても、説明を簡単にするため省略しているが、制御部２１、描画処理部２２は、図１に示した制御部２１、描画処理部２２と同様の構成を有するものである。そして、制御部２１を通じて再生対象の音声データがスピーカＳＰに供給されて、音声が再生するようにされる。なお、制御部２１とスピーカＳＰとの間には、例えば、Ｄ／Ａ変換器やオーディオアンプなどが設けられるが、これらについては説明を簡単にするため、この例においても省略している。
【０１３３】
また、図１９Ａに示すこの例の波形表示処理装置においても、操作部４が制御部２１に対して接続されている。操作部４は、ユーザーからの種々の入力操作を受け付けて、これを電気信号に変換して制御部２１に供給することができるものである。そして、この図１９Ｂに示す波形表示処理装置において、操作部４は、波形操作のためのＵＩ（User Interface）コントロール部としての機能を有するものである。
【０１３４】
すなわち、表示装置部３の表示画面内の仮想３Ｄ空間上に表示された波形に対して、つまむ、伸ばす、縮めるなどの直接的な操作を、操作部４を通じて行うことができるようにしている。このような波形に対する直接的な操作は、操作部４により受け付けられ、これに応じた電気信号が制御部２１に供給される。制御部２１は、操作部４からの信号に応じて、表示されている波形を直接的に変形するためのＵＩコントロール信号を形成し、これを描画処理部２２に供給する。
【０１３５】
描画処理部２２のＧＰＵ２２１は、制御部２１からの表示されている波形を直接的に変形するためのＵＩコントロール信号に基づいて、表示されている波形をユーザーの操作に応じて変形し、これを表示する処理を実行すると共に、変形された表示波形に応じた信号処理を表示対象の波形データである音声データに対して施し、この信号処理後の波形データを処理・再生ようデータとして制御部２１に供給する。
【０１３６】
これにより、変形された波形に対応する信号処理がなされた波形データである音声データが制御部２１に戻され、これが再生対象の音声データとしてＤ／Ａ変換されて増幅処理され、スピーカＳＰに供給されて再生される。このように、再生する音声データについての波形を表示し、この表示された波形を変形するようにする操作をユーザーが行うことによって、再生する音声データについて、目的とするエフェクトをかけることができるようにしている。
【０１３７】
例えば、図７〜図１３を用いて説明したように、時間軸（ｔ軸）を共通に用い、ｙ軸はＬチャンネルの音声データの振幅を、ｚ軸はＲチャンネルの音声データの振幅を表すものとして用い、これらＬチャンネルの音声データの波形とＲチャンネルの音声データの波形とを仮想３Ｄ空間内において合成するようにして、図２０において実線で示したように「ひも状オブジェクト」を表示するようにした場合を考える。
【０１３８】
そして、図２０に示すように、仮想３Ｄ空間において、実線で示した「ひも状オブジェクト」について、大きな矢印で示した部分を「つまむ」ようにし、小さな矢印で示した方向に「伸ばす」ように変形させたとすると、これに応じて、Ｌチャンネル、Ｒチャンネルの音声データについて「ひも状のオブジェクト」の変化に応じたエフェクト処理が行われ、これを再生することができる。
【０１３９】
このように、表示装置部３の表示画面に表示される波形と、操作部４とによりいわゆるＧＵＩ（Graphical User Interface）を構成し、波形を変形するように操作することにより、その波形の元になった音声データに対して、その波形に対する変形に応じたエフェクト処理を行うことができるようにしている。
【０１４０】
換言すれば、ＧＵＩによってユーザーが仮想３Ｄ空間上に表示された波形に対して直感的なインターフェイスにより（つまむ、伸ばす、縮める、など）波形に対する直接操作を入力し、それに対してＧＰＵ上で波形表示操作を行い、図１９Ａの場合と同様に再生のためにデータをＣＰＵ側に返すことにより、エフェクトを施した音声を再生することができる。
【０１４１】
また、波形に対する変更操作の他の例として、図２１に示すような例が挙げられる。図２１Ａに示すように、時間軸（ｔ軸）を共通に用い、ｙ軸はＬチャンネルの音声データの振幅を、ｚ軸はＲチャンネルの音声データの振幅を表すものとして用い、これらＬチャンネルの音声データの波形とＲチャンネルの音声データの波形とを仮想３Ｄ空間内において合成するようにして、実線で示した「ひも状オブジェクト（ステレオ波形オブジェクト）」を表示するようにした場合を考える。
【０１４２】
そして、図２１Ａに示したステレオ波形オブジェクトを、図２１Ｂに示すように、ｚ軸に対して直交し、ｔ−ｙ平面と平行な２つの平面で切断するようにし、２つの平面によって切断された断面部までを有効とすることで、図２１Ｃに示すように、Ｒチャンネルの波形だけをカットし、Ｒチャンネルの音声データに対してのみディストーション効果を施すようにすることができる。
【０１４３】
これとは逆に、ｙ軸に対して直交し、ｔ−ｚ平面と平行な２つの平面でステレオ波形オブジェクトを切断するようにし、２つの平面によって切断された断面部までを有効とすることで、Ｌチャンネルの波形だけをカットし、Ｌチャンネルの音声データに対してのみディストーション効果を施すようにすることができる。
【０１４４】
この他、上述もしたように、ステレオ波形オブジェクトに対して、「つまむ」、「伸ばす」、「縮める」、「切断する」、などの種々の操作を行うことによって、当該ステレオ波形オブジェクトを形成する音声データに対して、その変化に応じて種々のエフェクト処理を施して再生することができる。
【０１４５】
もちろん、ＬＲステレオで同時に同じエフェクト処理を行う場合には、Ｌチャンネルの音声データの波形とＲチャンネルの音声データの波形とを合成するようにして仮想３Ｄ空間に形成されるステレオ波形オブジェクトに対して、種々の変更を加えることで、ＬチャンネルとＲチャンネルの双方に対してエフェクト処理を施すようにすることができる。
【０１４６】
また、Ｌチャンネルの音声データと、Ｒチャンネルの音声データのそれぞれに対して別個にエフェクト処理を施すようにした場合には、仮想カメラの位置を目的とするチャンネルの波形のみを捉えるように設定し直し、目的とする波形のみに対して変更を加え、これに応じたエフェクトをそのチャンネルの音声データに対してのみエフェクト処理を施すようにすることができる。
【０１４７】
したがって、３Ｄ画像表現が可能な仮想３Ｄ空間に波形を持ち込むことで、各チャンネル毎の波形表示データを記憶保持しておく必要なども無く、リソースの節約に役立つ。
【０１４８】
なお、上述した実施の形態においては、音声データを波形データとして処理する波形表示処理装置にこの発明を適用した場合を例にして説明したが、これに限るものではない。例えば、音声データの再生が可能なパーソナルコンピュータ、ゲーム機、種々の音響機器など、音声データを波形データとして表示することが可能な種々の電子機器に適用することができる。特に、音声データの周波数特性などの調整を可能にするグラフィックスイコライザなどに適用して好適である。
【０１４９】
また、上述した実施の形態においては、音声データの波形を表示する場合を例にして説明したが、波形の表示に関しては、音声データに限るものではなく、時間の経過にしたがぅて変化する種々の波形データを表示対象とする場合にこの発明を適用することができる。
【０１５０】
また、上述した実施の形態においては、設定手段、制御信号形成手段としての機能は、制御部２１のＣＰＵ２１１が実現し、表示用データを形成する形成手段としての機能は、描画処理部２２のＧＰＵ２２１が実現するようにしている。また、エフェクト処理を施す処理手段としての機能は、描画処理部２２のＧＰＵ２２１が実現している。また、音声再生用の波形データを出力する出力手段は、描画処理部２２のＧＰＵ２２１の機能として実現されるが、図１において、リターン信号ＲＥを出力する出力端が描画処理部２２側に設けられた、リターン信号ＲＥを受け付ける入力端が制御部側に設けられることになる。
【０１５１】
また、エフェクト処理後の音声を再生する再生処理手段としての機能は、制御部２１のＣＰＵ２１１が実現するようにしている。また、ユーザーからの各種の情報の受付手段としての機能は、操作部４が実現するようにしている。
【０１５２】
また、上述した実施の形態の説明からも分かるように、描画処理部２１は、ＧＰＵ２２１を備えたマイクロコンピュータであり、このＧＰＵ２２１で実行されるプログラムによって、制御部２１によって波形データファイル１から読み出された波形データの供給を受けて、これを波形メモリ２２４に格納する格納ステップと、制御部２１からの制御信号ＣＴに応じて、当該制御信号ＣＴによって指示される前記仮想カメラが捉えた波形を表示するための表示用データを、波形メモリ２２４に記憶保持されている波形データから形成する形成ステップとを実行することにより、仮想カメラが移動された場合に、一々制御部２１のＣＰＵ２１１側で波形表示データを形成するための再計算を行うことなく、描画処理部２２のＧＰＵ２２１側で移動された仮想カメラに応じて波形の再表示を行うことができるようにしている。
【０１５３】
また、２つの波形データを合成するようにして、３次元立体オブジェクトである「ひも状オブジェクト」を形成する処理も、ＧＰＵ２２１で実行されるプログラムによって行うことができるようにされる。
【０１５４】
さらに、波形データに対してエフェクト処理を施す処理も、描画処理部２２のＧＰＵ２２１で実行されるプログラムによって行うことができる。また、エフェクト処理後の波形データの供給を受けて、これを解析し、エフェクト処理後の音声データを再生する処理は、制御部２１のＣＰＵ２１１で実行されるプログラムによって実現することができる。
【図面の簡単な説明】
【０１５５】
【図１】この発明の一実施の形態が適用された波形表示処理装置を説明するためのブロック図である。
【図２】透視投影法を説明するための図である。
【図３】平行投影法を説明するための図である。
【図４】表示パラメータ変更・再計算時の処理を説明するためのフローチャートである。
【図５】目的とする１つの波形を表示する場合の例を説明するための図である。
【図６】目的とする１つの波形を表示する場合の例を説明するための図である。
【図７】２つの波形を同時に表示して観視できるようにする場合の例を説明するための図である。
【図８】図７に示した仮想３Ｄ空間において、ｔ−ｙ平面、ｔ−ｚ平面、ｙ−ｚ平面の波形について説明するための図である。
【図９】２つの波形を同時に表示して観視できるようにする場合の他の例を説明するための図である。
【図１０】図９に示した仮想３Ｄ空間において、ｔ−ｙ平面、ｔ−ｚ平面、ｙ−ｚ平面の波形について説明するための図である。
【図１１】図９に示した仮想３Ｄ空間において、ｔ−ｙ平面の波形について説明するための図である。
【図１２】図９に示した仮想３Ｄ空間において、ｔ−ｚ平面の波形について説明するための図である。
【図１３】図９に示した仮想３Ｄ空間における３Ｄ立体オブジェクトと、ｔ−ｙ平面、ｔ−ｚ平面、ｙ−ｚ平面のそれぞれにおける射影された波形について説明するための図である。
【図１４】２つの異なるインパルス応答の波形を同時に観察できるようにする場合の例を説明するための図である。
【図１５】図１４に示した仮想３Ｄ空間において、ｔ−ｙ平面、ｔ−ｚ平面、ｙ−ｚ平面のそれぞれの波形について説明するための図である。
【図１６】仮想３Ｄ空間における合成波形に対して時間情報を持たせるようにした場合の例を説明するための図である。
【図１７】図１６に示した仮想３Ｄ空間において、ｔ−ｙ平面、ｔ−ｚ平面、ｙ−ｚ平面のそれぞれの波形について説明するための図である。
【図１８】インパルス応答の波形を異なる投影法を用いて表示するようにした場合の例を説明するための図である。
【図１９】エフェクト処理を行うこの発明による波形表示装置の一例を説明するためのブロック図である。
【図２０】波形を用いたエフェクト処理を説明するための図である。
【図２１】波形を用いたエフェクト処理を説明するための図である。
【図２２】音声データを波形データとして表示する処理を行う従来の波形表示装置の構成例を示すブロック図である。
【図２３】従来の波形表示処理の一例を説明するための図である。
【図２４】従来の波形表示処理の一例を説明するためのフローチャートである。
【図２５】エフェクト処理用のＣＰＵを別途設けるようにした従来の波形表示処理装置の一例を説明するためのブロック図である。
【符号の説明】
【０１５６】
１…波形データファイル、２…波形処理部、２１…制御部、２１１…ＣＰＵ、２１２…ＲＯＭ、２１３…ＲＡＭ、２２…描画処理部、２２１…ＧＰＵ、２２２…ＲＯＭ、２２３…ＲＡＭ、３…表示装置部、４…操作部、ＤＴ…波形データ、ＣＴ…コントロール信号（制御信号）、ＲＥ…リターン情報、ＤＴＤ…波形表示データ
【図１】
2007011451.tif 000003
【図２】
2007011451.tif 000004
【図３】
2007011451.tif 000005
【図４】
2007011451.tif 000006
【図５】
2007011451.tif 000007
【図６】
2007011451.tif 000008
【図７】
2007011451.tif 000009
【図８】
2007011451.tif 000010
【図９】
2007011451.tif 000011
【図１０】
2007011451.tif 000012
【図１１】
2007011451.tif 000013
【図１２】
2007011451.tif 000014
【図１３】
2007011451.tif 000015
【図１４】
2007011451.tif 000016
【図１５】
2007011451.tif 000017
【図１６】
2007011451.tif 000018
【図１７】
2007011451.tif 000019
【図１８】
2007011451.tif 000020
【図１９】
2007011451.tif 000021
【図２０】
2007011451.tif 000022
【図２１】
2007011451.tif 000023
【図２２】
2007011451.tif 000024
【図２３】
2007011451.tif 000025
【図２４】
2007011451.tif 000026
【図２５】
2007011451.tif 000027