(57)【要約】【課題】ファイルフォーマットに関係なくダイジェスト部分を再生すること。また、ダイジェスト部分間を再生する場合、ノイズの発生を抑制すること。【解決手段】符号化部３がマイク２から入力されたオーディオ信号の符号化を行なうと共に、各フレームの位置情報を保持する。またこれと平行してダイジェスト情報生成部４はマイク２から入力されたオーディオ信号を分析してダイジェスト部を判定する。そして判定した部分を含む各フレームの符号化データの先頭位置情報のリストをダイジェスト情報として生成する。次に透かし生成部５はダイジェスト情報から透かしデータを構成し、透かし挿入部６は符号化データに透かしデータを埋め込み、透かしデータの埋め込まれたフレームを含む全てのフレームの符号化データを記憶装置７に蓄積する。【選択図】  図１
2004163672.tif 000002
【特許請求の範囲】
【請求項１】
入力されたオーディオ信号をフレーム毎に符号化し、フレーム毎の符号化データを生成する符号化工程と、
入力されたオーディオ信号において、ダイジェスト部分を含むフレーム群の符号化データを特定する情報を、前記入力されたオーディオ信号の各フレームのうち、予め定められたフレームの符号化データに対して埋め込む埋め込み工程と
を備えることを特徴とするオーディオ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオ処理技術に関するものである。
【０００２】
【従来の技術】
高音質オーディオの符号化方式として、変換符号化方式である、ドルビーデジタル（ＡＣ−３）や、ＡＴＲＡＣ−３、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ＣｏｄｉｎｇＥｘｐｅｒｔｓ  Ｇｒｏｕｐ）１  ＬａｙｅｒＩＩ、ＬａｙｅｒＩＩＩ（ＭＰ３）、ＭＰＥＧ２−ＡＡＣなどの符号化方式が世の中に広く使われている。
【０００３】
これらの符号化方式の一部はＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）によって国際標準化されている。
【０００４】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータなどの上で扱うためのファイルフォーマットが策定されている。例えばＭＰＥＧ−４ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのＯＳやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しない、あるいは、変化が知覚できないレベルで少量の情報を埋め込む技術である。オーディオデータに対して電子透かしを埋め込む技術としては従来からいくつかの技術が開示されている（特許文献１，特許文献２を参照）。
【０００６】
このような電子透かしは、主にマルチメディアデータの著作権情報を埋め込むことによって、マルチメディアデータの著作権を保護するために利用されているが、その他の目的に応用可能である。
【０００７】
【特許文献１】
特開２００１−２０２０８９号公報
【特許文献２】
特開平１１−３１６５９９号公報
【０００８】
【発明が解決しようとする課題】
これらのファイルフォーマットではフレームの同期やフレームの制御に関して各種各様の方式が採用されている。したがって、これらのファイルに格納されているオーディオデータをダイジェスト再生したい場合は、ダイジェスト再生するフレームの位置情報を各フォーマット独自の形式で符号化データとは別に格納するため、フォーマット間でダイジェスト情報を共有できないという問題が生じている。
【０００９】
たとえば、同じＭＰＥＧ１−Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩデータを格納したファイルであっても、動画像との同期のためのタイムスタンプの付与の方法はＡＶＩファイルフォーマットやＱｕｉｃｋＴｉｍｅファイルフォーマットでは異なる。また、可変長符号化した場合は、フレーム毎のデータ量が一定ではない。したがって、ダイジェスト再生を行なう場合、ファイルフォーマットのヒントトラックにストリーム中でダイジェスト再生するフレームの位置情報やそれぞれの符号化モードを格納しておき、ダイジェスト再生時にはこの情報を用いて情報の読み出し位置を制御して実現する方法が一般的である。
【００１０】
しかしながら、このような方式では、ファイルフォーマットを変換した際に、変換先のフォーマットに対応する領域が無ければ消失し、別なファイルフォーマットではランダムアクセスを行なうのに非常な困難が伴うことが生じる。また、ビットストリームにこれらの情報を追加することは他のデータとの互換性を損なう危険性をはらんでいる。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ１−Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩであればアンシラリデータ域に追加情報を記載できるが、この領域に格納されるデータは各アプリケーションごとに任意となっており、互換性が取れないという問題がある。
【００１１】
本発明は以上の問題に鑑みてなされたものであり、ファイルフォーマットに関係なくダイジェスト部分を再生可能にするオーディオ処理技術を提供することを目的とする。
【００１２】
また、オーディオデータをダイジェスト再生する場合、ダイジェスト部分間をそのまま再生してしまうと、音のとぎれが生じるばかりでなく、プチプチというノイズが頻繁に発生してしまうという問題が生じてしまう。
【００１３】
本発明の別の目的としては、ダイジェスト部分間を再生する場合、ノイズの発生を抑制するオーディオ処理技術を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明のオーディオ処理方法は以下の構成を備える。
【００１５】
すなわち、入力されたオーディオ信号をフレーム毎に符号化し、フレーム毎の符号化データを生成する符号化工程と、
入力されたオーディオ信号において、ダイジェスト部分を含むフレーム群の符号化データを特定する情報を、前記入力されたオーディオ信号の各フレームのうち、予め定められたフレームの符号化データに対して埋め込む埋め込み工程と
を備えることを特徴とする。
【００１６】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明するが、要するに本発明は入力されたオーディオ信号をフレーム毎に符号化し、フレーム毎の符号化データを生成し、入力されたオーディオ信号において、ダイジェスト部分を含むフレーム群の符号化データを特定する情報を、入力されたオーディオ信号の各フレームのうち、予め定められたフレームの符号化データに対して埋め込むものである。
【００１７】
また復号化する場合においては、オーディオ信号の符号化データにおけるオーディオ信号のダイジェスト部分の位置情報が埋め込まれたフレームの符号化データを含む、複数のフレームの符号化データにおいて、位置情報が埋め込まれたフレームから位置情報を抽出し、複数のフレームの符号化データから、抽出された位置情報に基づいたフレームを復号し、再生するオーディオ処理を行うものである。以下、かかる構成の具体的な例を実施形態として説明する。
【００１８】
［第１の実施形態］
図１は本実施形態におけるオーディオ処理装置の機能構成を示すブロック図である。１はオーディオ処理装置本体である。２はオーディオ信号を入力するマイクである。３はマイク２を介して入力したオーディオ信号をフレーム単位で符号化する符号化部である。４はオーディオ信号の各特性（音圧、周波数など）に基づき、特徴的な部分を抜き出し、抜き出したオーディオ信号の先頭と終端に相当する符号化データの先頭位置をダイジェスト情報として格納するダイジェスト情報生成部である。５はダイジェスト信号生成部４の出力から透かしデータを生成する透かし生成部であり、６は透かしデータを符号化データに埋め込む透かし挿入部である。７は生成された符号化データを記録する記憶装置である。
【００１９】
同図に示した符号化部３、ダイジェスト情報生成部４、透かし生成部５、透かし挿入部６の夫々はハードウェアで構成されていても良いし、ソフトウェアで構成されていても良い。要するに、入力されたオーディオ信号をフレーム毎に符号化し、フレーム毎の符号化データを生成する符号化部と、入力されたオーディオ信号において、ダイジェスト部分を含むフレーム群の符号化データを特定する情報を、前記入力されたオーディオ信号の各フレームのうち、予め定められたフレームの符号化データに対して埋め込む透かし挿入部として機能する構成を備えればよい。
【００２０】
以下の説明では各部がソフトウェアで構成されているものとして説明する。
【００２１】
図４は本実施形態におけるオーディオ処理装置１の基本構成を示すブロック図である。本実施形態におけるオーディオ処理装置はＣＰＵ１２０１、ＲＡＭ１２０２、ＲＯＭ１２０３、キーボード１２０４，マウス１２０５、Ｉ／Ｆ１２０６、マイク１２０７、表示部１２０８，外部記憶装置１２０９、記憶媒体ドライブ１２１０、ネットワークＩ／Ｆ１２１１、バス１２１２により構成されている。また図１に示した符号化部３、ダイジェスト情報生成部４、透かし生成部５、透かし挿入部６の夫々は本実施形態ではソフトウェアにより構成されているので、このソフトウェアのプログラムをＣＰＵ１２０１が実行することで、本実施形態におけるオーディオ処理装置は図１に示した機能構成を有することになる。
【００２２】
ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述のオーディオ処理を行うために、各部を制御する。ＲＡＭ１２０２は、外部記憶装置１２０９や記憶媒体ドライブ１２１０から読み出したプログラムやデータ、処理対象のデータなどを一時的に記憶するエリアを備えると共に、ＣＰＵ１２０１が各種の処理を行う際に用いるワークエリアも備える。ＲＯＭ１２０３は、本装置全体の制御を行うためのプログラムやデータを保持する。
【００２３】
キーボード１２０４、マウス１２０５は、ユーザコマンド入力装置であり、ＣＰＵ１２０１に対して各種の指示を入力することが出来る。マイク１２０７はオーディオ信号を入力するためのもので、図１に示したマイク２に相当する。マイク１２０７から入力するオーディオ信号はＩ／Ｆ１２０６でＡ／Ｄ変換され、その結果はＲＡＭ１２０２に書き込まれる。表示部１２０８は、ＣＲＴや液晶画面などにより構成されており、各種の画像情報や文字情報を表示することができる。
【００２４】
外部記憶装置１２０９は、ハードディスクドライブなどの大容量情報記憶装置であって、ＯＳや後述のオーディオ処理を行うためのプログラムやデータを格納する。後述のオーディオ処理を行うためのプログラムは上述の通り、図１に示した符号化部３、ダイジェスト情報生成部４、透かし生成部５、透かし挿入部６により構成されている。また、図１に示した記憶装置７は外部記憶装置１２０９に相当するものである。
【００２５】
記憶媒体ドライブ１２１０は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体からプログラムやデータを読み取り、ＲＡＭ１２０２や外部記憶装置１２０９に出力する。なお、この記憶媒体に後述のオーディオ処理を行うためのプログラムやデータを格納させておいても良い。
【００２６】
また、記憶媒体が情報書き込み可能なものである場合、記憶媒体ドライブ１２１０はこの記憶媒体に対して各種のプログラムやデータを書き込むことが出来る。ネットワークＩ／Ｆ１２１１は、オーディオ処理装置をインターネットやＬＡＮなどのネットワークに接続するためのＩ／Ｆであって、オーディオ処理装置に対してプログラムやデータを上記ネットワークに接続された他の装置からダウンロードしたり、オーディオ処理装置からプログラムやデータを上記ネットワークに接続された他の装置に対して送信する際には、ネットワークＩ／Ｆ１２１１を介して行われる。バス１２１２は上述の各部を繋ぐためのものであって、各部はこのバス１２１２を介して互いにデータ通信が可能となる。
【００２７】
本実施形態ではオーディオ信号のみからダイジェスト情報を生成する場合について説明する。また、説明の便宜のため、符号化方式としてＭＰＥＧ２−ＡＡＣを用いるが、ＭＰＥＧ１  Ａｕｄｉｏ  Ｌａｙｅｒ  Ｉ，ＩＩ，ＩＩＩ，ＡＴＲＡＣ３，ＡＣ−３などのその他の変換符号化方式についても全く同様な方法で実現可能である。
【００２８】
以下では、ＣＰＵ１２０１が、図１に示した符号化部３、ダイジェスト情報生成部４、透かし生成部５、透かし挿入部６により構成されるソフトウェアのプログラムを実行することで行われるオーディオ処理について説明する。
【００２９】
まず、マイク２（１２０７）で集音されたオーディオ信号は連続して符号化部３に入力される。符号化部３は入力されたオーディオ信号に対してフレーム毎にＡＡＣ符号化方式で符号化し、各フレームの符号化データをメモリ（ＲＡＭ１２０２）に保持する。また、符号化部３は各フレームの符号化処理が終了する毎に、各フレームの符号化データの位置情報をダイジェスト情報生成部４へ送出する。この位置情報としては本実施形態では符号化データ先頭からのバイト数（先頭位置）とする。なお、本実施形態では符号化方式としてＭＰＥＧ２−ＡＡＣを用いており、各フレームがバイト単位で作成されることを前提にしているが、各フレームがバイト単位にならない符号化方式の場合は、位置情報として先頭からのビット数を用いてもよい。
【００３０】
ダイジェスト情報生成部４では、マイク２から入力される音声信号（オーディオ信号）の音圧や周波数を適宜分析し、音圧と周波数の変化や連続性などによってダイジェストとして抜き出す部分（ダイジェスト部分）を判定し、ダイジェスト部分の先頭と終端に当たる符号化フレームの先頭位置を、符号化部３から送出される位置情報を元に算出し、逐次メモリに格納する。
【００３１】
図５に示すように、ダイジェスト部分の先頭と終端の符号化フレームの符号化データの先頭位置情報のリストをダイジェスト情報とする。なお、このような音声に基づくダイジェスト生成技術は一般的に用いられており、公知であるため、ここでは詳細は説明しない。
【００３２】
透かし生成部５はダイジェスト情報生成部４から、ダイジェスト部分の先頭フレームの先頭位置と終端フレームの先頭位置を受け取り、これらを例えば、各々３２ビットの正の整数として扱い、透かしデータとする。生成された透かしデータと、予め設定された埋め込み位置は透かし挿入部６に入力される。
【００３３】
透かし挿入部６は、ダイジェスト情報生成部４に格納されているダイジェスト情報を元に、符号化部３から読み出した符号化データの予め設定された位置に、生成された透かしデータを埋め込む。本実施形態では、ダイジェスト部分の先頭フレームに、終端フレームの位置を埋め込み、終端フレームに次のダイジェスト部分の先頭位置を埋め込む。
【００３４】
この埋め込みについて、図６を用いて説明する。図６は各フレームの符号化データにおいて、ダイジェスト部分に対する埋め込みの一例を示す図である。同図において斜線部分がダイジェスト部分を含むフレームの符号化データ群であって、同図では先頭位置が５０バイト目から１００バイト目までの符号化データと、先頭位置が２００バイト目から（２００＋α）バイト目（α＞０）までの符号化データとがこれに相当する。
【００３５】
この状態で透かし挿入部６は、５０バイト目の符号化データに対しては同じダイジェスト部分の最後のフレームである１００バイト目の符号化データの先頭位置のバイト数、即ち数値「１００」を埋め込む。また、この１００バイト目の符号化データには、次のダイジェスト部分の先頭位置のバイト数である「２００」を埋め込む。このようにすることで、最初に符号化されたフレームから見て、最初に埋め込みが行われたフレームを探すことができると、このフレームから、このフレームに埋め込まれた数値が表現する位置のフレームまでを再生対象とすることでダイジェスト部分を再生することが出来る。またこのダイジェスト部分の最後のフレームに埋め込まれた数値を抽出することが出来ると、次にダイジェスト部分を続けて再生することが出来る。なお、先頭フレームや終端フレームの位置情報は先頭バイト数に限定されるものではなく、他の指標を用いてもよい。
【００３６】
なお、埋め込みの方法としては、例えば各符号化データにおける最も高周波のサブバンドにおける、各周波数スペクトルを±１の範囲で増減させ、意図的に奇数、もしくは偶数にして符号化データを変更する方法などで透かしデータを埋め込めばよい。すなわち、埋め込むデータの１ビットが０であれば、最後の周波数スペクトルを偶数に、１であれば奇数にする。
【００３７】
また他にも特開平１１−３１６５９９号公報「電子透かし埋め込み装置、オーディオ符号化装置および記録媒体」に記載されている方法等の既存の方法を使用しても良い。このようにして透かしデータが埋め込まれた符号化データは記憶装置７（外部記憶装置１２０９）の所定の位置に蓄積される。
【００３８】
以上説明した、本実施形態におけるオーディオ処理のフローチャートを図１０に示す。まずステップＳ２０１にて、装置の初期化を行なう。次に、ステップＳ２０２にて符号化部３がマイク２（１２０７）から入力されたオーディオ信号の符号化を行なうと共に、各フレームの位置情報をメモリ（ＲＡＭ１２０２）に保持する。またこれと平行して、ダイジェスト情報生成部４はステップＳ２０３にてマイク２（１２０７）から入力されたオーディオ信号を分析してダイジェスト部を上記方法により判定する。そして判定した部分の先頭と終端の符号化フレームの先頭位置情報のリストをダイジェスト情報として生成する。
【００３９】
図７にこのリストの構成例を示す。各ダイジェスト部分にはＩＤ番号が付けられており、各ＩＤ番号にはダイジェスト部分の先頭フレームのフレーム番号と位置情報（先頭からのバイト数）、終端フレームのフレーム番号と位置情報（先頭からのバイト数）が対応している。
【００４０】
次にステップＳ２０５にて透かし生成部５はダイジェスト情報から透かしデータを構成し、ステップＳ２０６にて透かし挿入部６は符号化データに透かしデータを埋め込み、ステップＳ２０７にて透かしデータの埋め込まれたフレームを含む全てのフレームの符号化データを記憶装置７（外部記憶装置１２０９）に蓄積する。
【００４１】
図８に、本実施形態におけるオーディオ処理装置のＲＡＭ１２０２の構成を示す。ＲＡＭ１２０２には上記ＯＳ、そして上記符号化部３として機能する符号化ソフトウェアのプログラム、上記透かし挿入部６として機能する透かし埋め込みソフトウェアのプログラム、上記ダイジェスト情報生成部４として機能するダイジェスト情報生成ソフトウェアのプログラムがロードされている。またＲＡＭ１２０２には入力したオーディオ信号を格納するためのオーディオエリア、各フレームの符号化データを格納するための符号エリア、ＣＰＵ１２０１が各種処理を行うために使用するワーキングエリアが備わっている。
【００４２】
以上の説明により、本実施形態におけるオーディオ処理装置によって、ダイジェスト再生時に復号再生する部分の情報を透かしとして埋め込むことにより、復号側でのダイジェスト再生を行なえるようにすることが可能である。
【００４３】
また、ダイジェスト部分を示す情報を符号化データに埋め込むことで、符号化データを含むファイルのフォーマットに依存せずに、復号側でダイジェスト部分を特定することが出来る。
【００４４】
なお本実施形態では透かしデータを埋め込んだフレームを含む全てのフレームの符号化データは記憶装置７に記憶させたが、これに限定されるものではなく、記憶媒体ドライブ１２１０により書き込み可能な記憶媒体に記憶させても良いし、ネットワークＩ／Ｆ１２１１を介してネットワークに接続された外部装置に対して送信しても良い。
【００４５】
［第２の実施形態］
本実施形態における、上記第１の実施形態におけるオーディオ処理装置によって生成した、透かしデータを埋め込んだフレームを含む全てのフレームの符号化データを復号再生可能であると共に、ダイジェスト部分の再生が可能なオーディオ処理装置について以下説明する。なお本実施形態におけるオーディオ処理装置も、第１の実施形態のオーディオ処理装置による符号化データを復号するためにＭＰＥＧ２−ＡＡＣ符号化方式を採用するが、これに限定されない。
【００４６】
図２は本実施形態におけるオーディオ処理装置の機能構成を示すブロック図である。１１は本実施形態におけるオーディオ処理装置の本体である。１２は記憶装置であり、第１の実施形態におけるオーディオ処理装置によって生成された符号化データが記録されている。１３は不図示のユーザがオーディオ処理装置の起動、各種条件の設定、再生の指示を行なうための端末である。１４は記憶装置１２を制御する制御部である。１５は符号化データから透かしデータを抽出する透かし抽出部である。１６は抽出された透かしデータからダイジェスト情報を再生するダイジェスト情報再生部である。１７はダイジェスト情報によって指定されたフレームのみを再生するように制御部１４を制御する情報を生成する制御情報生成部である。１８は符号化されたオーディオデータを復号する復号部である。１９は復号されて再生されたオーディオ信号を出力するスピーカーである。
【００４７】
同図に示した制御部１４、透かし抽出部１５、ダイジェスト情報再生部１６、制御情報生成部１７，復号部１８の夫々はハードウェアで構成されていても良いし、ソフトウェアで構成されていても良い。要するに、オーディオ信号の符号化データにおける当該オーディオ信号のダイジェスト部分の位置情報が埋め込まれたフレームの符号化データを含む、複数のフレームの符号化データにおいて、当該位置情報が埋め込まれたフレームから当該位置情報を抽出する透かし抽出部と、前記複数のフレームの符号化データから、抽出された位置情報に基づいたフレームを復号し、再生する復号部として機能する構成を備えればよい。
【００４８】
以下の説明では各部がソフトウェアで構成されているものとして説明する。
【００４９】
図１２は本実施形態におけるオーディオ処理装置１１の基本構成を示すブロック図である。本実施形態におけるオーディオ処理装置は第１の実施形態におけるオーディオ処理装置のマイク１２０７の代わりにスピーカ１５０７がＩ／Ｆ１５０６に接続されており、Ｉ／Ｆ１５０６は復号されたオーディオ信号をＤ／Ａ変換してスピーカ１５０７に出力する点以外は第１の実施形態におけるオーディオ処理装置と同じ構成を有している。
【００５０】
また図２に示した制御部１４、透かし抽出部１５、ダイジェスト情報再生部１６、制御情報生成部１７，復号部１８の夫々は本実施形態ではソフトウェアにより構成されているので、このソフトウェアのプログラムをＣＰＵ１５０１が実行することで、本実施形態におけるオーディオ処理装置は図２に示した機能構成を有することになる。
【００５１】
以下では、ＣＰＵ１５０１が、図２に示した制御部１４、透かし抽出部１５、ダイジェスト情報再生部１６、制御情報生成部１７，復号部１８により構成されるソフトウェアのプログラムを実行することで行われるオーディオ処理について説明する。
【００５２】
まず端末１３から再生するオーディオデータが選択される。この端末は第１の実施形態におけるオーディオ処理装置であってもよいし、キーボード１５０４やマウス１５０５などのユーザコマンド入力装置であってもよい。制御部１４は、選択されたオーディオデータの先頭を読み出せるように記憶装置１２（外部記憶装置１５０９、記憶媒体ドライブ１５１０）に制御信号を送る。記憶装置１２は制御信号により、読み出し位置を変更し、読み出しを開始する。
【００５３】
読み出された符号化データはフレーム単位でオーディオ処理装置１１に入力され、透かし抽出部１５に入力される。端末１３からの指示により通常再生を行う場合には、透かし抽出部１５は何も処理を行わず、入力をバイパスし、復号部１８に符号化データを送出する。一方、端末１３からの指示によりダイジェスト再生を行う場合には、透かし抽出部１５では上記第１の実施形態の図１における透かし挿入部７が行う処理手順とは逆の手順に従って符号化データから３２ビットの透かしデータを抽出し、ダイジェスト情報再生部１６に入力する。
【００５４】
ダイジェスト情報再生部１６は透かしデータを解析してダイジェスト部分の開始フレームの符号化データと終端フレームの符号化データの位置情報（先頭からのバイト数）をダイジェスト情報として再生し、制御情報生成部１７に通知する。制御情報生成部１７は通知された情報を元に、ダイジェスト部分のフレームのみを再生するように制御部１４を制御する情報を生成する。
【００５５】
透かしデータの抽出が終わった符号化データはそのまま復号部１８に入力され、復号処理されてオーディオ信号に戻され、スピーカ１９（１５０７）から音としてで出力される。
【００５６】
以下、ダイジェスト再生を行う場合の図２に示した各部が行う処理について更に詳細に説明する。透かし抽出部１５は記憶装置１２に格納されている各フレームの符号化データを１フレーム目から順に参照し、透かしデータが埋め込まれているフレームであると最初に判断したフレーム（第１のフレーム）の符号化データを特定する。そして透かし抽出部１５は特定した第１のフレームの符号化データに埋め込まれた透かしデータを抽出し、抽出した３２ビットの整数で表される数値データを、第１のフレームを先頭フレームとするダイジェスト部分の終端のフレーム（第２のフレーム）の位置情報（先頭からのバイト数）として、この位置情報と、上記第１のフレームの位置情報を制御情報生成部１７に送出する。
【００５７】
制御情報生成部１７は、上記第１のフレームから第２のフレームまでの符号化データを制御部１４が記憶装置１２から復号部１８に送出するような制御指示情報を生成し、制御部１４に送出する。
【００５８】
制御部１４はこの制御指示情報を受け、指示されたフレーム（第１のフレームから第２のフレーム）の符号化データを記憶装置１２から読み出して復号部１８に送出する。復号部１８は受けた符号化データを復号し、Ｄ／Ａ変換した後にスピーカ１９（１５０７）に音として出力する。
【００５９】
また、上記第２のフレームを再生した後には、透かし抽出部１５は第２のフレームに埋め込まれている透かしデータを抽出し、抽出した３２ビットの整数で表される数値データを、次のダイジェスト部分の先頭フレーム（これを新たに第１のフレームとする）してダイジェスト情報再生部１６に送出すると共に、この先頭フレームに埋め込まれた透かしデータを、次のダイジェスト部分の終端のフレーム（これを新たに第２のフレームとする）の位置情報（先頭からのバイト数）として、ダイジェスト情報再生部１６に送出する。以降の処理については同じである。
【００６０】
以上説明した、本実施形態におけるオーディオ処理である復号再生処理のフローチャートを図１１に示す。まずステップＳ３０１にて、オーディオ処理装置の初期化を行ない、ステップＳ３０２にて処理の終了判断を行なう。終了しない場合にはステップＳ３０３にて上記端末１３から指示された再生対象のオーディオデータの１フレーム目の符号化データが透かし抽出部１５によって読み込まれる。次に制御部１４はステップＳ３０４にて、端末１３からの指示が通常再生モード（上記通常再生を行うモード）であるのか、ダイジェスト再生モード（上記ダイジェスト部分の再生を行うモード）であるのかを判断し、以降の処理を変更する。
【００６１】
ダイジェスト再生モードの場合は、ステップＳ３０５に処理が進む。通常再生の場合は、ステップＳ３０８に処理が進む。通常再生モードの場合、ステップＳ３０８で透かし抽出部１５は何もせずに１フレームの符号化データを復号部１８に送出し、復号部１８は送出された１フレームの符号化データを復号し、復号結果をＤ／Ａ変換し、スピーカ１９（１５０７）に出力する。
【００６２】
一方、ダイジェスト再生を行なう場合は、ステップＳ３０５にて透かし抽出部１５が透かしデータが埋め込まれたフレームの符号化データから透かしデータをダイジェスト部分の先頭のフレームの符号化データの位置情報として抽出し、透かしデータが埋め込まれていたフレームの位置情報と、この透かしデータが表す位置情報をダイジェスト情報再生部１６に送出する。ステップＳ３０６ではダイジェスト情報再生部１６が送出された２つの位置情報からダイジェスト情報を再生し、ステップＳ３０７にて制御情報生成部１７がダイジェスト情報を元に、制御部１４を制御する情報を生成する。そしてステップＳ３０９では制御部１４がダイジェスト情報で指示されるフレームの符号化データを記憶装置１２から復号部１８に送出し、復号部１８は１フレームづつ符号化データを復号してスピーカ１９（１５０７）に出力する。
【００６３】
そしてステップＳ３１０で再生しているフレームが終端フレームである場合、処理はステップＳ３１２に移行し、透かし抽出部１５は終端フレームに埋め込まれた透かしデータを表す数値を次のダイジェストの先頭フレームの位置情報として抽出すると共に、この先頭フレームに埋め込まれた透かしデータを、次のダイジェストの終端フレームの位置情報として抽出する。すなわち次にダイジェスト部分を特定する。そしてステップＳ３１３で制御部１４に次のダイジェスト部分のフレームの符号化データを記憶装置１２から読み出させる。
【００６４】
図９に、本実施形態におけるオーディオ処理装置のＲＡＭ１２０２の構成を示す。ＲＡＭ１２０２には上記ＯＳ、そして上記復号部１８として機能する復号化ソフトウェアのプログラム、上記透かし抽出部１５として機能する透かし抽出ソフトウェアのプログラム、上記ダイジェスト情報再生部１６として機能するダイジェスト情報生成ソフトウェアのプログラムがロードされている。またＲＡＭ１２０２には復号したオーディオ信号を格納するためのオーディオエリア、各フレームの符号化データを格納するための符号エリア、ＣＰＵ１２０１が各種処理を行うために使用するワーキングエリアが備わっている。
【００６５】
以上の説明により、本実施形態におけるオーディオ処理装置によって、符号化データを含むファイルのフォーマットに依存せずに、ダイジェスト部分を再生することが出来る。
【００６６】
［第３の実施形態］
図３は本実施形態に係るオーディオ処理装置の機能構成を示すブロック図である。同図において、図１と同じ部部については同じ番号を付けており、その説明を省略する。
【００６７】
図３において、１０１は本実施形態におけるオーディオ処理装置本体である。１０２はダイジェスト情報生成部であるが、第１の実施形態におけるダイジェスト情報生成部４と異なり、オーディオ信号を分析する機能は持たない。その代わりに、外部（後述の動画像符号化システム）から送信されるダイジェスト部分の先頭と終端の時間情報（タイムスタンプ）を受信し、その情報を元に、適宜符号化データのダイジェスト部分の先頭フレームと終端フレームの位置に変換し、これらをリストとして保持するダイジェスト情報を生成する。１０３は動画像符号化システムであり、オーディオ処理装置に対して上記タイムスタンプを出力する。
【００６８】
また本実施形態におけるオーディオ処理装置の基本構成は第１の実施形態と同じ図４に示したとおりである。
【００６９】
上記のように構成されたオーディオ処理装置におけるオーディオデータの処理動作を以下で説明する。マイク２で集音されたオーディオ信号は連続して符号化部３に入力され、符号化部３は入力されたオーディオ信号に対して各フレーム毎にＡＡＣ符号化方式で符号化し、各フレーム毎の符号化データをメモリ（ＲＡＭ１２０２）に保持する。また、１つのフレームの符号化処理が終了する毎に、各フレームの位置情報をダイジェスト情報生成部１０２へ送出する。
【００７０】
同時にダイジェスト情報生成部１０２では、動画像符号化システム１０３からダイジェストとして抜き出される部分の先頭と終端の時間情報を受信し、これらに相当するフレームの符号化データの先頭位置を、符号化部３から送出される位置情報を元に算出し、逐次格納する。なお、本実施形態において、動画像によるダイジェスト情報は、動画像符号化システムにおいて動画像の分析によって自動生成されても良いし、ユーザが意図して生成したものであっても良い。すなわち、どのような手法で生成されたかには関わらない。
【００７１】
透かし生成部５は第１の実施形態と同様に、ダイジェスト部分の先端フレームの位置と終端フレームの位置から透かしデータを生成する。生成された透かしデータと埋め込み位置は透かし挿入部６に入力される。透かし挿入部６は第１の実施形態と同様に、符号化部３から読み出した符号化データの適宜位置に、生成された透かしデータを埋め込む。透かしデータが埋め込まれた符号化データは記憶装置７の所定の位置に蓄積される。
【００７２】
なお本実施形態においてはオーディオの符号化方式をＭＰＥＧ２−ＡＡＣとしたが他の符号化方式、たとえば、ＭＰＥＧ１  Ａｕｄｉｏ  Ｌａｙｅｒ  Ｉ，ＩＩ，ＩＩＩ、ＭＰＥＧ４、ＡＴＲＡＣ３，ＡＣ−３でももちろんかまわない。
【００７３】
なお、本実施形態におけるオーディオ処理装置によって符号化されたオーディオデータは、上記第２の実施形態のオーディオ処理装置で復号可能であり、同様にダイジェスト再生を行なうことができる。
【００７４】
［第４の実施形態］
本実施形態におけるオーディオ処理装置は、第１の実施形態、もしくは第３の実施形態のオーディオ処理装置によって得られるオーディオ信号の符号化データを復号し、ダイジェスト部分を再生可能にするものであるが、複数のダイジェスト部分を連続して再生する場合に、ダイジェスト部分間で生じやすいノイズを抑制する。
【００７５】
本実施形態におけるオーディオ処理装置の機能構成を図１３に示す。同図において、図２と同じ部分については同じ番号を付けており、その説明を省略する。１５０１は本実施形態におけるオーディオ処理装置本体である。１５０２は基本的には第２の実施形態の制御部１４と同じ動作を行うが、それに加えて、ヴォリューム２１を制御する。ヴォリューム２１は復号部１８によって復号されたオーディオ信号の出力（振幅）を、設定された値に応じた大きさに制御する。よってスピーカ１９からはヴォリューム２１によって制御された結果のオーディオ信号が出力されることになる。
【００７６】
また本実施形態におけるオーディオ処理装置の基本構成は図４に示すとおりである。なお、ヴォリューム２１をハードウェアにて構成する場合には、図４に示す構成にハードウェアとしてのヴォリューム２１を付加し、ＣＰＵ１２０１の制御対象に加える必要がある。またヴォリューム２１をソフトウェアにて構成する場合には、このソフトウェアは外部記憶装置１２０９に保存されており、必要に応じてＲＡＭ１２０２に読み出される。また記憶媒体ドライブ１２１０により記憶媒体から読み出されても良い。
【００７７】
以上の構成を有する本実施形態におけるオーディオ処理装置が行うオーディオ処理について以下、説明する。まず各部を初期化するが、ヴォリューム２１に設定する値を１０に設定する。この値はオーディオ信号を増幅する大きさ、すなわちスピーカ１９から出力される音の大きさ（ヴォリューム）を示しており、この値が大きければ大きいほどスピーカ１９から出力される音の大きさは大きくなる。なお本実施形態ではこの値の設定範囲は０〜１０とする。
【００７８】
第２の実施形態と同様にして、記憶装置１２から読み出された符号化データは復号部１８により復号処理が施され、フレーム単位でのオーディオ信号が得られる。得られたオーディオ信号はヴォリューム２１に送出される。ここで制御情報生成部１７は、ダイジェスト情報再生部１６からダイジェスト部分の開始フレームの符号化データと終端フレームの符号化データの位置情報をダイジェスト情報として得、復号部１８がダイジェスト部分の終端フレームを復号再生するタイミングで、制御部１５０２に、ヴォリューム２１に設定している値を１づつ減じる制御を行う制御信号を送出する。
【００７９】
この１づつ減じる速度としては、例えば終端フレームを再生する時間内にヴォリューム２１に設定されている値が０となるような速度とする。このように終端フレームの再生を、ヴォリュームを小さくしながら行うことで、ダイジェスト部分の最後の部分をフェードアウトさせることが出来る。
【００８０】
そしてこの値が０になった時点で制御部１５０２は次のダイジェスト部分の再生を行うよう、各部を制御する。そして次のダイジェスト部分の再生が始まると、ヴォリューム２１に設定されている値は０であるので、制御情報生成部１７はこの値が１０になるまで１づつ増加させる制御を行う信号を制御部１５０２に送出する。
【００８１】
この１づつ増加させる速度としては、例えば先端フレームを再生する時間内にヴォリューム２１に設定されている値が１０となるような速度とする。このように先端フレームの再生を、ヴォリュームを大きくしながら行うことで、ダイジェスト部分の先頭の部分をフェードインさせることができる。また以上のフェードイン、フェードアウトにより、ダイジェスト部分間のみ音のヴォリュームを下げるので、ダイジェスト部分間で発生しやすいノイズの出力を抑制することが出来る。
【００８２】
本実施形態におけるオーディオ処理装置が行うオーディオ処理のフローチャートを図１４に示す。なお、ステップＳ１６００〜ステップＳ１６０９の各ステップの処理は、第１の実施形態の図１１に示すステップＳ３０１〜ステップＳ３１０の各ステップの処理と同じであるので、その説明を省略する。すなわち本実施形態のオーディオ処理の特徴であるステップＳ１６０９以降の処理について説明する。
【００８３】
ステップＳ１６０７で復号されたフレームがダイジェスト部分の終端フレームである場合、処理はステップＳ１６１３に以降する。ステップＳ１６１３ではヴォリューム２１に設定されている値（Ｖｏｌｕｍｅ）が０であるか否かが判断される。０である場合には処理をステップＳ１６１６に移行し、制御部１５０２は各部を制御して、ステップＳ３１２，Ｓ３１３と同様にして次のダイジェスト部分のフレームの符号化データの読み出しを行う。
【００８４】
一方、Ｖｏｌｕｍｅが０でない場合には、処理はステップＳ１６１４に移行し、制御情報生成部１７は制御信号を制御部１５０２に送出し、制御部１５０２はステップＳ１６１５でＶｏｌｕｍｅの値を１つづつ減じる。
【００８５】
一方、ステップＳ１６０７で復号されたフレームがダイジェスト部分の終端フレームではない場合、処理はステップＳ１６０９からステップＳ１６１０に移行し、ステップＳ１６１０ではＶｏｌｕｍｅが１０，すなわち最大値であるか否かが判断される。Ｖｏｌｕｍｅが１０である場合には処理をステップＳ１６０１に戻し、Ｖｏｌｕｍｅが１０でない場合には、処理はステップＳ１６１１に移行し、制御情報生成部１７は制御信号を制御部１５０２に送出し、制御部１５０２はステップＳ１６１２でＶｏｌｕｍｅの値を１つづつ加算する。
【００８６】
以上の説明により、本実施形態におけるオーディオ処理装置によって、ダイジェスト部分間で発生しやすいノイズの出力を抑制することが出来る。
【００８７】
なお、本実施形態ではＶｏｌｕｍｅの値を下げる場合には０まで下げていたが、これに限定されるものではなく、人間に知覚されがたいレベル（値）であれば０でなくとも例えば２や３などのレベルでも良い。
【００８８】
また、本実施形態ではＶｏｌｕｍｅの値を上げる場合には１０まで上げていたが、これに限定されるものではなく、予め設定した、もしくは所定レベルまで上げても良い。
【００８９】
［第５の実施形態］
上記実施形態に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばアンシラリデータ領域等にダイジェスト情報を記載することはもちろんかまわない。
【００９０】
また、上記実施形態において透かしの埋め込み方法として、ダイジェスト先頭フレームに終端位置の情報を、また、ダイジェスト終端フレームに次のダイジェスト先頭位置の情報を埋め込む方法を取っているが、これはその他の方法をとってもかまわない。例えば、ダイジェストとなるフレーム全てに対して、予め定められた同じ透かしを埋め込む方法をとっても良い。また、先頭や終端部分の複数フレームに透かしを分割して埋め込んでも良い。
【００９１】
［その他の実施形態］
さらに、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵあるいはＭＰＵ）に、上記実施形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【００９２】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【００９３】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９４】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【００９５】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【００９６】
【発明の効果】
以上の説明により、本発明によって、ファイルフォーマットに関係なくダイジェスト部分を再生することができる。また、本発明によって、ダイジェスト部分間を再生する場合、ノイズの発生を抑制することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるオーディオ処理装置の機能構成を示すブロック図である。
【図２】本発明の第２の実施形態におけるオーディオ処理装置の機能構成を示すブロック図である。
【図３】本発明の第３の実施形態におけるオーディオ処理装置の機能構成を示すブロック図である。
【図４】本発明の第１の実施形態におけるオーディオ処理装置の基本構成を示すブロック図である。
【図５】算出される先頭位置を説明する図である。
【図６】各フレームの符号化データにおいて、ダイジェスト部分に対する埋め込みの一例を示す図である。
【図７】ダイジェスト情報としてのリストの構成例を示す図である。
【図８】本発明の第１の実施形態におけるオーディオ処理装置のＲＡＭ１２０２の構成を示す。
【図９】本発明の第２の実施形態におけるオーディオ処理装置のＲＡＭ１２０２の構成を示す。
【図１０】本発明の第１の実施形態におけるオーディオ処理のフローチャートである。
【図１１】本発明の第２の実施形態におけるオーディオ処理のフローチャートである。
【図１２】本発明の第２の実施形態におけるオーディオ処理装置１１の基本構成を示すブロック図である。
【図１３】本発明の第４の実施形態におけるオーディオ処理装置の機能構成を示すブロック図である。
【図１４】本発明の第４の実施形態におけるオーディオ処理のフローチャートである。
【図１】
2004163672.tif 000003
【図２】
2004163672.tif 000004
【図３】
2004163672.tif 000005
【図４】
2004163672.tif 000006
【図５】
2004163672.tif 000007
【図６】
2004163672.tif 000008
【図７】
2004163672.tif 000009
【図８】
2004163672.tif 000010
【図９】
2004163672.tif 000011
【図１０】
2004163672.tif 000012
【図１１】
2004163672.tif 000013
【図１２】
2004163672.tif 000014
【図１３】
2004163672.tif 000015
【図１４】
2004163672.tif 000016