(57)【要約】【課題】音楽波形をモニタ等に表示する方法として，従来は，ＰＣＭデータを基に波形データを作成し，音楽波形を表示させていた。しかしながら，ＭＰ３形式等により圧縮された音楽データをデコード処理した後のＰＣＭデータは膨大なデータ量であるため，上記ＰＣＭデータを蓄積するために大規模なメモリを必要とし，また，上記音楽波形を表示するためのＣＰＵ処理に多大な時間を要していた。【解決手段】本発明は，圧縮データのデコード処理に含まれる中間処理過程から，ＰＣＭデータと比べて格段データ量の少ない所定の時系列データを抽出し，かかるデータに基づき音楽波形を表示することで，メモリの容量を縮小し，ＣＰＵの処理負担を軽減させ，迅速且つ容易に音楽波形を形成する。【選択図】図１
2004163635.tif 000002
【特許請求の範囲】
【請求項１】
音に関する所定の符号化データをデコード処理して再生する再生装置において，上記所定の符号化データの上記デコード処理に含まれる中間処理工程から所定の時系列情報を抽出する時系列情報抽出手段と，上記時系列情報を蓄積記憶する時系列情報記憶手段と，上記時系列情報を視覚的に表示する時系列情報表示手段と，を具備してなることを特徴とする再生装置。
【請求項２】
上記時系列情報抽出手段が，少なくとも音量データを抽出するものであり，上記時系列情報表示手段が，上記音量データに基づき表示データを作成して視覚的に表示するものである，請求項１に記載の再生装置。
【請求項３】
上記時系列情報表示手段により表示された時系列情報に基づき，所定の再生条件を指定する再生条件指定手段を更に具備してなる，請求項１又は２に記載の再生装置。
【請求項４】
上記符号化データがＭＰ３形式の圧縮データである，請求項１〜３のいずれかに記載の再生装置。
【請求項５】
上記中間処理工程が，パラメータ復元処理工程である，請求項１〜４のいずれかに記載の再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，音楽や音声等の符号化データの再生装置に関するものである。
【０００２】
【従来の技術】
ＭＰ３（ｍｐｅｇ  ａｕｄｉｏ  ｌａｙｅｒ  ３）をはじめとする圧縮方式により圧縮された音楽や音声等の圧縮データは，パーソナルコンピュータ（以下，「パソコン」と称す）上で取り扱われるだけでなく，近年ではそのデコード機能が搭載された携帯型プレーヤやディジタルカメラ等でも扱われるようになり，ディジタル信号処理技術の発達に伴い急速に普及しはじめている。これらの圧縮データは各々の符号化方式に対応したデコーダにてＷＡＶＥ等に代表されるＰＣＭ形式のデータにデコードされた後，Ｄ／Ａ変換器を通じて音として出力される。
【０００３】
上記圧縮データをパソコン上で取り扱う方法として，一般に波形編集ソフトが使用される。該波形編集ソフトは，パソコンにインストールして使用されることにより，上記圧縮された音楽データを再生するだけでなく，この音楽データの例えば音楽波形をモニタ画面に表示することも可能であり，更には，音楽波形上に現在の再生位置を表示したり，音楽波形上で再生範囲を指定したり，また，指定した再生範囲をリピート再生させる等の再生制御を可能とするものである。このような音楽波形から再生位置を指定したり編集したりするためには，１曲分或いは数曲分の音楽波形を一挙にモニタ上に表示する必要がある。
通常，上記波形編集ソフトは，図２に示される処理に従って，音楽波形を形成するＰＣＭデータを生成する。ＰＣＭデータの生成にあたって，この波形編集ソフトにおいては，まず，ＨＤＤ等の蓄積メディア２１に格納されている圧縮データを取り出し，デコーダ２２によりＰＣＭデータにデコードする。デコードされたＰＣＭデータはＤ／Ａ変換器２３により音楽データに復元され，再生可能となる。他方，上記ＰＣＭデータは，Ｄ／Ａ変換される前に，表示用メモリ２４に抽出蓄積され，かかる蓄積データに基づいて音楽波形が形成される。この時モニタに表示される音楽データは，前記したように１曲分或いは数曲分にわたるものであるから，上記表示用メモリ２４に蓄積されるＰＣＭデータは膨大な量となる。
【０００４】
しかしながら，例えば英会話学習や楽曲のお気に入りフレーズを繰返し聞くために再生範囲を指定することを目的とする限りでは，上記のような膨大ななＰＣＭデータに基づいて音楽波形を形成する必要はない。例えば波形を比較的視認しやすい音量データのみを抽出して，該音量データに基づき音楽波形を形成すれば足りる。かかる音量データは図３に示される処理に従って抽出することができる。図２と比較して相違する点は，ＰＣＭデータから音量データを抽出するために表示用加工処理３５の工程を必要とするところである。この表示用加工処理３５は，例えば単位時間当たりに含まれるサンプルの絶対値平均や二乗平均等を求める処理を実行する。かかる処理を実行することにより，ＰＣＭデータから音量データを抽出することができる。かかる処理により抽出された音量データはＰＣＭデータよりデータ量が小さくなるため，表示用メモリ３４の容量を縮小することができ，メモリアクセス時間を短縮することができる。
【０００５】
特許文献１には、時系列スケールを可変設定することにより、曲の全体長に対する相対的再生位置と絶対的再生位置とを表示させる情報表示装置が提案されている。これにより、短い曲であっても長い曲であっても、演奏時間の経過に対する演奏の進行状況を視覚的に理解しやすくなる。
【０００６】
特許文献２には、指定した音楽の特定範囲の音楽波形を利用して、再生位置を指定や文字情報の入力を可能とする再生装置が提案されている。これにより、音楽波形に所定の情報を登録することができるので、音楽波形と登録した情報から音楽内容を容易に把握することができる。
【０００７】
【特許文献１】
特開２００１−２７２９７４号公報
【特許文献２】
特開２００１−３２４９８８号公報
【０００８】
【発明が解決しようとする課題】
しかしながら，上記従来技術では，例えばＰＣＭデータは，４４．１ｋＨｚ，ｓｔｅｒｅｏの場合は４４１００ｋＨｚ＊２ｃｈ＊１６ｂｉｔ  ＝  １４１１．２ｋｂｉｔ／ｓもの膨大なデータ量になり，メモリアクセスに多大な時間を要する。またデコード処理を実施する上で，ＣＰＵの演算処理の負担が大きく，例えば１曲分の圧縮データがＰＣＭデータにデコードされ，ＰＣＭデータが表示用メモリへ転送され，音楽波形としてモニタ等の画面に表示されるまでに数秒〜数十秒を要する場合がある。かかる表示までに数十秒も時間を要するとなると，ユーザーが不快に感じる恐れがある。しかも楽曲が音楽アルバムのように複数曲ある場合は，表示までの待ち時間が１曲毎に必要となるため，１曲を聴き終えるたびにユーザーの不快度は増すことになる。これを解決するために再生装置の内部メモリに表示用データとして復元したＰＣＭ波形を蓄えておくことも考えられるが，例えばアルバム１枚６０分とすると４４．１ＫＨｚ，  １６ｂｉｔ，  ｓｔｅｒｅｏデータで６３５．０４Ｍｂｙｔｅものデータ量になり，現状のパソコンでは，内部メモリが２５６Ｍｂｙｔｅもあればかなりのハイスペックであることを考えても，あまり現実的ではない。ましてやポータブルやモバイル系の音楽プレーヤではなおさら非現実的である。
【０００９】
また，従来のように，表示加工処理３５を実行することにより，音楽波形を形成する音量データ量が小さくなり，上記表示用メモリ３４の容量を縮小することができ，メモリアクセス時間を短縮することができるが，表示用加工処理３５はＣＰＵにより実行されるため，必然的にＣＰＵの演算処理が増加し，ＣＰＵの負担は却って増大する。従って，ＣＰＵの処理能力が遅い場合は，表示までの待ち時間短縮の課題を解決することはできない。
【００１０】
更に、上記特許文献１に記載の表示装置は、再生位置を表示する機能を有するが、音楽波形を利用したものではない。
また上記特許文献２に記載の再生装置は、音楽波形を利用したものであるが、指定した特定範囲の波形しか表示しないものである。従って、曲全体を検索することができず不便であり、音楽データそのものを波形形成に使用しているため取り扱うデータは膨大な量となり、膨大なメモリが必要であり、ポータブルやモバイル系の音楽プレーヤには対応できない。
【００１１】
従って，本発明は上記事情に鑑みてなされたものであり，その目的とすることろは，音楽や音声等の符号化データの時系列情報である音楽波形を迅速且つ容易に表示し，かつ，その場合にＣＰＵの負担の小さい再生装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するために本発明は，音に関する所定の符号化データをデコード処理して再生する再生装置において，上記所定の符号化データの上記デコード処理に含まれる中間処理工程から所定の時系列情報を抽出する時系列情報抽出手段と，上記時系列情報を蓄積記憶する時系列情報記憶手段と，上記時系列情報を視覚的に表示する時系列情報表示手段と，を具備してなることを特徴とする再生装置として構成されている。
例えばＭＰ３形式で圧縮された圧縮データをＷＡＶＥ等のＰＣＭデータにデコード処理する場合，上記圧縮データは，デコーダ内で種々の処理工程を経てＰＣＭデータにデコードされる。従って，ＰＣＭデータにデコードされる前段階の中間処理工程からＰＣＭデータよりも格段にデータ量の小さいデータを抽出し，かかるデータに基づいて音楽波形を形成すれば，表示用メモリに蓄積記憶させるデータ量も小さくなり，メモリの容量を縮小することができる。また，ＰＣＭデータから所定のデータを抽出するための加工処理工程を削減することができる。その結果，ＣＰＵの処理負担が軽減し，メモリアクセス時間が短縮され，迅速且つ容易に音楽波形を形成することが可能となる。この場合，上記時系列情報抽出手段が，少なくとも音量データを抽出するものであり，上記時系列情報表示手段が，上記音量データに基づき表示データを作成して視覚的に表示するものであることが望ましい。音量データは比較的その時系列情報である音楽波形を視認しやすく，また，ＰＣＭデータと比べてデータ量が小さいからである。
【００１３】
ここで，上記時系列情報表示手段により表示された時系列情報に基づき，所定の再生条件を指定することができればなお好ましい。
例えば，上記時系列情報表示手段により表示された音楽波形等を見ながら，再生位置を確認したり，反復して視聴したい再生範囲や再生開始位置を指定することができれば，ユーザの操作性も向上し便利である。
【００１４】
【発明の実施の形態】
以下添付図面を参照しながら，本発明の実施の形態及び実施例について説明し，本発明の理解に供する。尚，以下の実施の形態及び実施例は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本発明の一実施の形態に係る再生装置が行うデコード処理を表すブロック図，図２及び図３は従来例のデコード処理を表すブロック図である。
【００１５】
図１を用いて，本発明の実施の形態に係る再生装置が行う圧縮データのデコード処理について説明する。ここで，上記再生装置が扱う圧縮データはＭＰ３形式のデータである。
本再生装置は図１に示されるように，ＭＰ３データを蓄積記憶するＨＤＤ等の蓄積メディア１１と，パラメータ復元処理１２１，スペクトル復元処理１２２及びＰＣＭ復元処理１２３を順次実行することにより上記ＭＰ３データをＰＣＭデータにデコードするデコーダ１２と，上記デコーダ１２によりデコードされたＰＣＭデータ（例えばＷＡＶＥ，ＡＩＦＦ，ＡＵ等）のディジタルデータをアナログデータに変換するＤ／Ａ変換器１３と，波形表示用の音量データを蓄積記憶するメモリ１４（時系列情報記憶手段の一例）と，時系列情報抽出機能（時系列情報抽出手段が達成），時系列情報記憶機能（時系列情報記憶手段が達成），時系列情報表示機能（時系列情報表示手段が達成）及び再生条件指定機能（再生条件指定手段が達成）を有し，上記各部を統括制御する不図示のＣＰＵとを備えて構成されている。
【００１６】
ここで，上記時系列情報抽出機能，時系列情報表示機能，再生条件指定機能について説明する。
時系列情報抽出機能は，所定の符号化データのデコード処理に含まれる中間処理工程から所定の時系列情報を抽出する機能であって，例えばＭＰ３データの中間処理工程であるパラメータ復元処理後に，音量データ等の所定のデータを抽出する機能である。
時系列情報記憶機能とは，上記時系列情報を蓄積記憶する機能であって，例えば不揮発性メモリや、ＣＰＵの内部ＲＡＭや外付けＤＲＡＭ等の揮発性メモリに記憶する機能である。
時系列情報表示機能とは，上記時系列情報を視覚的に表示する機能であって，例えば上記音量データに基づいて音楽波形等の表示データを作成し，ＬＣＤパネル等に視覚的に表示する機能である。
再生条件指定機能とは，上記時系列情報表示手段により表示された時系列情報に基づき，所定の再生条件を指定する機能であって，例えば，上記時系列情報表示手段により表示された音楽波形等を見ながら，音楽の再生位置を確認したり，反復して視聴したい音楽の再生範囲や再生開始位置を指定する機能である。
【００１７】
本実施の形態では，ＭＰ３データのデコード処理工程のうち，初期工程であるパラメータ復元処理１２１の後に，ＣＰＵは上記時系列情報抽出機能に基づいて音量データを抽出する。デコード処理の中でも特にＣＰＵ演算処理の負荷が大きいスペクトル復元処理１２２及びＰＣＭ復元処理１２３を実行する前に音量データを抽出し，表示用メモリ１４に蓄積させる。上記音量データはＰＣＭデータと比べて格段にデータ量が小さいため，表示用メモリ１４を従来例より縮小することができ，ＣＰＵのメモリアクセス時間も短縮することができる。その結果，音楽波形が表示されるまでさほど時間を要さない。
また，従来例である図３と比較して明らかなようにデコーダ１２でデコードされたＰＣＭデータを更に加工処理する工程が不要であるので，ＣＰＵの負担も軽減されることになる。
【００１８】
以下，具体的にＭＰ３データから音量データを抽出する方法を説明する。
本実施の形態では，音量パラメータとしてｇｌｏｂａｌ＃ｇａｉｎ〔（ＭＰ３の規格書：ＩＳＯ／ＩＥＣ  １１１７２−３  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ＭＰＥＧ−１  Ａｕｄｉｏ（Ａｕｇ．１９９３）  ｐ１７）〕を用いることとする。
ｇｌｏｂａｌ＃ｇａｉｎから計算される音量データ（ｇａｉｎ）はＭＰ３の場合１グラニュール（５７６ｓａｍｐｌｅ）毎に以下の式で計算される。
ｇａｉｎ  ＝  ２＾（０．２５＊（ｇｌｏｂａｌ＃ｇａｉｎ  −  ２１０）
ここで，図４はＭＰ３データからデコードされたＰＣＭデータに基づいて形成された音楽波形図であり，図５はＭＰ３データのデコード処理に含まれる中間処理工程から抽出したｇｌｏｂａｌ  ｇａｉｎ波形図であり，図６はｇｌｏｂａｌ  ｇａｉｎから上記計算式により算出された音量データに基づいて形成された音楽波形図である。
図４〜６を比較すると，各波形に違いはあるが，どの図からも音楽データが無音であるか有音であるかを，視覚的且つ明確に判断することができ，さらに，図６の波形においては，音量の変化，大きさまでもある程度理解することができる。音楽データの有音無音が判別できる程度の波形を形成できれば，該波形から，反復して視聴したい再生範囲や再生開始位置を指定等することが可能になる。
【００１９】
また，図５や図６のような音楽波形において，実際に音楽が存在する範囲をグリッド化することで，ユーザが容易に再生範囲等を指定することができる。図５を基にグリッド化した例を図７に示す。これは抽出したｇｌｏｂａｌ  ｇａｉｎが０になる最初の位置と０から０以外の数値へと変化する位置をグリッド位置として示したものである。奇数番号が前者で偶数番号が後者である。ユーザが再生範囲を指定する際，マウスやボタン操作を行う毎にこのグリッド位置を順次移動することで，ユーザは有音範囲と無音範囲を容易に区別することができる。
【００２０】
なお，これらはあくまでも一例であって限定されるものではない。例えば音楽データ（ｇａｉｎ）に関してはさらに先の過程に進めばｌｏｎｇ／ｓｈｏｒｔのフレーム種によって音量に関する計算に他の処理が加えられたり，さらにその先の過程ではスケールファクタ処理の範囲毎に他の処理が加えられたりするので，かかる処理後のデータを抽出して音楽波形を形成しても問題はない。
また，圧縮データのフォーマット形式については，ＭＰ３を実施の形態に取り上げたが，その他のフォーマット形式（ＡＡＣ，ＷＭＡ，ＴｗｉｎＶＱ等）でも音楽の存在有無が分かるパラメータを抽出して表示させてもよい。
【００２１】
【実施例】
上記実施の形態では，主にＭＰ３形式の圧縮データをデコードする場合について説明したが，本発明にかかる再生装置は，ＭＩＤＩデータに対しても対応可能である。
社団法人  音楽電子事業協会（ＡＭＥＩ）から発行されているＭＩＤＩに関する規格書「ＭＩＤＩ１．０  規格書」によれば，ＭＩＤＩデータにはチャンネル毎に独立した演奏情報が存在し，かかる演奏情報を伝えるためのチャンネルメッセージというものがある。その中の最も基本的なメッセージに「ノートオン」と「ノートオフ」があり，これらを用いて各チャンネル毎の楽器楽曲再生の開始と停止を制御している。
従って，ＭＩＤＩデータから各チャンネル毎の音量データ（例えばベロシティデータ）を抽出することで，ＭＩＤＩデータの時系列情報である音楽波形を各チャンネル毎に表示することが可能となる。
また，楽器楽曲再生の開始と停止の制御を行うノートオン及びノートオフメッセージを抽出することで演奏の開始及び停止を認識することができ，各チャンネル毎の楽曲の再生範囲を指定することも可能になる。すなわち，複数の楽器が奏でる音楽から，特定の楽器楽曲を再生することができ，更に，かかる音楽の再生範囲等も指定することが可能となる。
【００２２】
他の実施例としては，本発明は，ポータブル，モバイル機器において特に効果的である。例えば図９のような携帯型音楽プレーヤを考える。図１０はその内部システム構成図である。図１０中のＭＰＵは図１〜図３で示すデコード処理や表示用データ形成処理を行うものである。携帯端末であれば電力消費を極力押さえたいところ，かかる携帯型音楽プレーヤに本発明を使用すれば，ＣＰＵの負荷及びメモリアクセス時間の短縮を図ることができ，消費電力の低減と処理の高速化に著しい効果を奏する。
【００２３】
【発明の効果】
以上説明したように，本発明にかかる再生装置は，音に関する所定の符号化データをデコード処理して再生する再生装置において，上記所定の符号化データの上記デコード処理に含まれる中間処理工程から所定の時系列情報を抽出する時系列情報抽出手段と，上記時系列情報を蓄積記憶する時系列情報記憶手段と，上記時系列情報を視覚的に表示する時系列情報表示手段とを具備して構成されているので，ＰＣＭデータにデコードされる前段階の中間処理工程からＰＣＭデータよりも格段にデータ量の小さいデータを抽出し，かかるデータに基づいて音楽波形を形成することができ，表示用メモリに蓄積記憶させるデータ量も小さくなり，メモリの容量を縮小することができる。また，ＰＣＭデータから所定のデータを抽出するための加工処理工程を削減することができる。その結果，ＣＰＵの処理負担が軽減し，メモリアクセス時間が短縮され，迅速且つ容易に音楽波形を形成することが可能となる。
また，上記時系列情報表示手段により表示された時系列情報に基づき，所定の再生条件を指定する再生条件指定手段を更に具備することで，例えば音楽波形等を見ながら，再生位置を確認したり，反復して視聴したい再生範囲や再生開始位置を指定することが容易となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る再生装置が行うデコード処理を表すブロック図。
【図２】従来例のデコード処理を表すブロック図。
【図３】従来例のデコード処理を表すブロック図。
【図４】ＭＰ３データからデコードされたＰＣＭデータに基づいて形成された音楽波形図。
【図５】ＭＰ３データのデコード処理工程から抽出したＧｌｏｂａｌ  Ｇａｉｎの波形図。
【図６】Ｇｌｏｂａｌ  Ｇａｉｎから算出された音量データに基づいて形成された音楽波形図。
【図７】図５をグリッド化した例示図。
【図８】本発明にの実施例に係る再生装置が行うＭＩＤＩデータの時系列情報の表示例図。
【図９】本発明に実施例に係る再送装置。
【図１０】本発明に実施例に係る再送装置のシステム構成図。
【符号の説明】
１１，２１，３１…蓄積メディア
１１，２２，３２…デコーダ
１３，２３，３３…Ｄ／Ａ変換器
１４，２４，３４…表示用メモリ
３５…表示加工処理工程
１２１…パラメータ処理
１２２…スペクトル復元処理
１２３…ＰＣＭ復元処理
【図１】
2004163635.tif 000003
【図２】
2004163635.tif 000004
【図３】
2004163635.tif 000005
【図４】
2004163635.tif 000006
【図５】
2004163635.tif 000007
【図６】
2004163635.tif 000008
【図７】
2004163635.tif 000009
【図８】
2004163635.tif 000010
【図９】
2004163635.tif 000011
【図１０】
2004163635.tif 000012