(57)【要約】【課題】従来、２つの非可逆な圧縮音声ストリームを編集して結合する場合、その２つのストリームの音量の差異によって、結合位置のレベル差によって高周波ノイズが発生するという課題があった。あるいはそれを回避するための手段として、圧縮音声データを一旦解凍して、音量を変更させた後、再び圧縮処理するために音質の劣化が避けられなかった。【解決手段】入力されるストリームのコーデックの特徴に応じて、ダイナミックレンジ、あるいはスケールファクタというバイナリデータの数値のみを変化させることで、擬似的にフェードアウトに相当する効果や、フェードインに相当する効果を得る。その結果、音量レベルの違いによるノイズを発生することを防ぎ、解凍・圧縮という処理による音質を劣化させることもなく、解凍・圧縮という処理負荷を必要とすることもなく、２つの音声を結合することを可能とする。【選択図】図５
2011013620.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２の音声データを入力する入力ステップと、
前記入力ステップで入力された第１及び第２の音声データの音量変更区間を判定する第１の判定ステップと、
前記第１の判定ステップで判定された音量変更区間のコーデックの方式を判定する第２の判定ステップと、
前記第２の判定ステップで判定されたコーデックに応じて特定の位置にあるバイナリデータの内容を変更する変更ステップと、
前記変更ステップで変更された第１音声データ及び第２の音声データを結合する結合ステップと
を有することを特徴とする音声編集方法。
【請求項２】
前記変更ステップは、
前記第２の判定ステップでＡＣ３と判定された場合には、前記第１の判定ステップで判定された音量変更区間のダイナミックレンジを変更する第１の変更ステップと、
前記第２の判定ステップでＭＰＥＧオーディオと判定された場合には、前記第１の判定ステップで判定された音量変更区間のスケールファクタを変更する第２の変更ステップと
を有することを特徴とする、請求項１に記載の音声編集方法。
【請求項３】
第１の音声データと第２の音声データを入力するストリーム入力ステップと、
音声データの構造と位置情報を抽出するストリーム解析ステップと、
前記ストリーム解析ステップで抽出された位置情報抽から、データの変換が必要か否かを判断する変更開始位置判定ステップと、
前記変更開始位置判定ステップで、データの変換が必要と判断された場合には、前記ストリーム入力ステップで入力されたストリームのデータを変更する数値変更ステップと、
前記数値変更ステップで変更されたストリーム、または前記変更開始位置判定ステップで、データの変換が不要と判断された場合には、前記ストリーム入力ステップで入力されたストリームを出力するストリーム出力ステップとを有することを特徴とする音声編集方法。
【請求項４】
前記変更開始位置ステップで、ストリームのゲイン値を変更する必要があると判断された場合には、前記数値変更ステップで、前記ストリーム入力ステップで入力されたストリームのゲインを変更することを特徴とする、請求項３に記載の音声編集方法。
【請求項５】
前記変更開始位置判定ステップで、ストリームのゲイン値を変更する必要があると判断された場合には、前記数値変更ステップで、前記ストリーム入力ステップで入力されたストリームのダイナミックレンジを変更することを特徴とする、請求項３に記載の音声編集方法。
【請求項６】
前記変更開始位置ステップで、ストリームのゲイン値を変更する必要があると判断された場合には、前記数値変更ステップで、前記ストリーム入力ステップで入力されたストリームのスケールファクタを変更することを特徴とする、請求項３に記載の音声編集方法。
【請求項７】
前記数値変更ステップとして、
入力ストリームのコーデックの種類を判別するコーデック判別ステップと、
ＤｏｌｂｙＤｉｇｉｔａｌ音声ストリームの入力ストリームのダイナミックレンジの値を変更して適応音声変更ストリームとして出力するダイナミックレンジ変更ステップと、
ＭＰＥＧ音声ストリームの入力ストリームのスケールファクタの値を変更して適応音声変更ストリームとして出力するスケールファクタ変更ステップと、
その他のストリームの入力ストリームのゲインの値を変更して適応音声変更ストリームとして出力するゲイン変更ステップとを有し、
前記コーデック判別ステップで複数の種類の入力ストリームを判別可能とし、入力ストリームがＤｏｌｂｙＤｉｇｉｔａｌ音声ストリームである場合には、前記ダイナミックレンジ変更ステップを実行し、
入力ストリームがＭＰＥＧ音声ストリームである場合には、前記スケールファクタ変更ステップを実行し、
その他の入力ストリームである場合には、前記ゲイン変更ステップを実行することを特徴とする、請求項３に記載の音声編集方法。
【請求項８】
第１及び第２の音声データを入力する入力手段と、
前記入力手段で入力された第１及び第２の音声データの音量変更区間を判定する第１の判定手段と、
前記第１の判定手段で判定された音量変更区間のコーデックの方式を判定する第２の判定手段と、
前記第２の判定手段で判定されたコーデックに応じて特定の位置にあるバイナリデータの内容を変更する変更手段と、
前記変更手段で変更された第１音声データ及び第２の音声データを結合する結合手段と
を備えることを特徴とする音声編集装置。
【請求項９】
前記変更手段は、
前記第２の判定手段でＡＣ３と判定された場合には、前記第１の判定手段で判定された音量変更区間のダイナミックレンジを変更する第１の変更手段と、
前記第２の判定手段でＭＰＥＧオーディオと判定された場合には、前記第１の判定手段で判定された音量変更区間のスケールファクタを変更する第２の変更手段と
を備えることを特徴とする音声編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤｏｌｂｙＤｉｔａｌ方式やＭＰＥＧ方式の圧縮音声ストリームの編集において、編集位置の音量を変更してストリームを結合したり、分割したりする音声編集の方法及びその装置に関するものである。
【背景技術】
【０００２】
従来、この種の方法としては、例えば特許文献１に記載されているようなものがあった。
一般的に音量の異なる２つの音声ファイルを結合すると、その音量レベルの違いによって結合位置でノイズが発生する。それを防ぐこと目的として一般的にファイルの結合前にフェードアウトをして音量を絞り、結合後にフェードインして音量を増加する方法がとられる。
特許文献１では、記録を開始して記録ファイルサイズが記録制限に到達する時点Ｔｅより時間Ｔｗだけ前の段階で、音声レベルの計測期間に入る。計測を開始して、音声レベルが所定レベルを下回った時点Ｔｂ１から所定期間Ｔｏｕｔの音声フェードアウトを実行して、ファイルＦ１をクローズし、ファイルＦ２を新規作成する。後続のファイルＦ２に対して所定期間Ｔｉｎの音声フェードインを実行する。画像は、２つのファイルＦ１，Ｆ２で継続して記録される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９９１２５号公報（第１０頁、第３図、第４図、第５図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来例では、ファイルに記録する際に、終了前にフェードアウトし、開始時にフェードインするなど、記録時に実時間で制御する方法である。
また単純な連続再生を想定しており、ファイルの途中部分を削除して結合するような映像編集などでは効果を得られないという課題があった。
【０００５】
あるいは、映像編集などを想定した他の結合方法においては、圧縮音声データの場合、一旦音声データを解凍し、再圧縮する必要があり、非可逆の圧縮音声コーデックの場合には音質の劣化が避けられないという課題もあった。
【０００６】
本発明は、上記課題を解決するために、音声ストリームを一旦解凍することなしに、圧縮されたストリームのままで編集処理することを可能としており、
音声ストリーム１  及び音声ストリーム２  を結合する際に、音声ストリーム１の最後の数パッケットを解凍せずにそのコーデックの特徴に応じて、ダイナミックレンジ、あるいはスケールファクタのようなバイナリデータの数値のみを変化させることで、擬似的にフェードアウトに相当する効果を得て、音声ストリーム２の最初の数パッケットを解凍せずにフェードインに相当する効果を得ることで、解凍・圧縮という処理負荷が多大にかかる処理をすることなく、２つの音声を結合する際に、その音量レベルの違いによるノイズを発生することを防ぐことを可能とする。
また音声データを解凍したり、再圧縮する必要がないため、非可逆の圧縮音声コーデックの場合でも音質の劣化が発生しない。
その結果、低い処理能力の装置でも、音質を劣化させることも、ノイズを発生させることもなく、２つのストリームを結合する方法を提供することができる。
【課題を解決するための手段】
【０００７】
従来の課題を解決するため、本発明の音声編集方法は
第２の判別ステップを設け、入力されるストリームのコーデックの種類を判別して、コーデックに適した音量変更ステップへストリームを出力する。
また入力されるストリームがＤｏｌｂｙＤｉｇｉｔａｌ方式である場合には、変更ステップとしてダイナミックレンジ変更ステップを設け、入力ストリームのデータ構造からダイナミックレンジ値のビット位置を特定し、フェードアウトやフェードインと同等の音量変化を生じるようにその値のみを変更させる。
更に入力されるストリームがＭＰＥＧ方式である場合には、変更ステップとしてスケールファクタ変更ステップを設け、入力ストリームのデータ構造からスケールファクタ値のビット位置を特定し、フェードアウトやフェードインと同等の音量変化を生じるようにその値のみを変更させる。
【０００８】
このように構成することによって、従来のゲイン値の変更による音量の増減に加えて、入力されるストリームのコーデックに応じた音量変更手段を選択できるようになり、低い処理能力の装置でも、ノイズを発生させることなくストリームの結合・分割などを可能とする。
【発明の効果】
【０００９】
圧縮音声データでは、これまで解凍・圧縮という処理が必要であり、この処理には非常に高い処理能力を要する手段も必要としていたが、本発明では、解凍・圧縮しょりを不要とするため低い処理能力の装置でも実現が可能である。
また、非可逆な圧縮音声データの場合、データの解凍・圧縮という処理によって、これまで音質の劣化が発生していたが、本発明では、この音質を劣化させることがない。
更に２つ以上の音声データを結合したり、切れ目なく再生する際に、２つの音声データの音量レベルの差異により、擬似的な高周波成分が生じ、この高周波成分によりノイズが発生するが、
本発明では、解凍・圧縮という処理なしにフェードイン、フェードアウトを実現して高周波成分を発生させないためノイズを防ぐことができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態１の音声編集方法に係わるフローチャート
【図２】本実施の形態２の音声編集方法に係わるフローチャート
【図３】本実施の形態３の音声編集方法に係わるフローチャート
【図４】本実施の形態４の音声編集方法に係わるフローチャート
【図５】本実施の形態５の音声編集方法に係わるフローャート
【図６】本実施の形態６の音声編集装置に係わるブロック図
【発明を実施するための形態】
【００１１】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【実施例１】
【００１２】
図１は、本実施の形態１における音声編集方法のフローチャートである。ストリーム入力ステップ１には、第１の音声データと第２の音声データが入力される。第１、第２の音声データとしては、例えばムービーで撮影した映像データから分離されたＤｏｌｂｙＤｉｇｉｔａｌ形式の音声データや、ＣＤをリッピングして作成されたＬＰＣＭ形式の音声データ、あるいはインターネットで入手したＭＰＥＧ１ＬａｙｅｒＩＩＩ（以降ＭＰ３）形式の音声データなどが入力される。入力された音声データは、ストリーム入力ステップ１で最終的に本手段にて編集後音声データ  １７０として出力される順序となるように順序を並べかえて入力ストリーム  １００として出力される。
ストリーム解析ステップ２において、ストリーム入力ステップからの入力ストリーム  １００を解析してアクセスユニット（以下ＡＡＵ）と呼ばれる最小の再生データ単位の境界情報や第１の音声データと第２の音声データの切り替わり点を示す切り替わり位置情報といったストリームの付加情報を解析情報  １０１として、入力ストリーム  １００と共に出力する。
変更開始位置判定ステップ３では、解析情報  １０１と入力ストリーム  １００を入力し、解析情報から切り替わり位置情報が検出されるまでは、入力ストリーム  １００をそのままストリーム出力ステップ５に出力する。切り替わり位置が検出されると、切り替わり位置の直前の音声データ１の数ＡＡＵと、切り替わり位置の直後の音声データ２の数ＡＡＵのみを変更入力ストリーム  １０２としてコーデック判定ステップに出力する。切り替わり位置を過ぎると次の切り替わり位置、あるいは入力ストリームの終端まで再びストリーム出力ステップ５に出力する。
数値変更ステップ４において、変更開始位置判定ステップ３から変更入力ストリーム  １０２が入力されたら、変更入力ストリームの音声データ１のＡＡＵの先頭からの特定ビットを５，４，３，２，０に変更して、フェードインをし、音声データ２のＡＡＵの同じビットを逆に０，２，３，４，５に変更してフェードアウトとなるように音量を変更させて変更ストリーム  １１０として出力する。
ストリーム出力ステップ５では、変更開始位置判定ステップ３からの入力ストリーム  １００と数値変更ステップ４からの変更ストリーム  １１０を順に結合して編集後音声ストリーム  １６０として出力する。
【実施例２】
【００１３】
実施の形態２は実施の形態１において、第１、第２の音声データとしてＬＰＣＭデータが入力され、数値変更ステップとしてゲインの変更するようにしたものであり、その一例について図２を利用して以下に記述する。図２は実施の形態２のフローチャートである。
ゲイン変更ステップ１０では、入力されるストリームがＬＰＣＭ方式である場合に入力ストリームのデータ構造からゲイン値のビット位置を特定し、フェードアウトやフェードインと同等の音量変化を生じるようにその値のみを変更させる。この様に特定の方式に特化した変更ステップを設けることにより、機械的にＡＡＵの先頭からのオフセット値をスキップし、そこから固定ビット分のバイナリデータを機械的に書き換えるだけで、フェードイン、フェードアウトの効果を得られるため、デコーダやエンコーダといったＣｏｄｅｃを利用せずに音量の制御が可能となる。
【実施例３】
【００１４】
実施の形態３は実施の形態１において、第１、第２の音声データとしてＤｏｌｂｙＤｉｇｉｔａｌデータが入力され、数値変更ステップとしてダイナミックレンジの変更するようにしたものであり、その一例について図３を利用して以下に記述する。図３は実施の形態３のフローチャートである。
ダイナミックレンジ変更ステップ１１では、入力されるストリームがＤｏｌｂｙＤｉｇｉｔａｌ方式である場合に入力ストリームのデータ構造からダイナミックレンジ値のビット位置を特定し、フェードアウトやフェードインと同等の音量変化を生じるようにその値のみを変更させる。
【実施例４】
【００１５】
実施の形態４は実施の形態１において、第１、第２の音声データとしてＭＰ３データが入力され、数値変更ステップとしてスケールファクタの変更するようにしたものであり、その一例について図４を利用して以下に記述する。図４は実施の形態４のフローチャートである。
スケールファクタ変更ステップ１２では、入力されるストリームがＭＰＥＧ方式である場合に入力ストリームのデータ構造からスケールファクタ値のビット位置を特定し、フェードアウトやフェードインと同等の音量変化を生じるようにその値のみを変更させる。このように構成することによって、従来のゲイン値の変更による音量の増減に加えて、入力されるストリームのコーデックに応じた音量変更手段を選択できるようになり、低い処理能力の装置でも、ノイズを発生させることなくストリームの結合・分割などを可能とする。
【実施例５】
【００１６】
実施の形態５は実施の形態１において、第１、第２の音声データとしてＤｏｌｂｙＤｉｇｉｔａｌ、ＭＰ３、ＬＰＣＭのいずれのデータが入力されても数値変更ステップにて、自動的にコーデック判定を行い、適応的に音量変更をできるようにしたものであり、その一例について図５を利用して以下に記述する。図５は実施の形態５のフローチャートである。
コーデック判定ステップ６では、変更開始位置判定ステップから入力される変更入力ストリーム  １０２がＤｏｌｂｙＤｉｇｉｔａｌ、ＭＰ３、ＬＰＣＭのいずれであるかを自動判別して、ＤｏｌｂｙＤｉｇｉｔａｌ形式であればダイナミックレンジ変更ステップ１１に出力し、ＭＰ３形式であればスケールファクタ変更ステップ１２に出力し、ＬＰＣＭ形式であればゲイン変更ステップ１０に出力してフェードアウトやフェードインと同等の音量変化を生じるようにその値のみを変更させる。
【００１７】
このように構成することによって、従来のゲイン値の変更による音量の増減に加えて、入力されるストリームのコーデックに応じた音量変更手段を選択できるようになり、低い処理能力の装置でも、ノイズを発生させることなくストリームの結合・分割などを可能とする。
【実施例６】
【００１８】
図６は、本実施の形態６における音声編集装置のブロック図である。入力手段２１には、第１の音声データと第２の音声データが入力される。第１、第２の音声データとしては、例えばムービーで撮影した映像データから分離されたＤｏｌｂｙＤｉｇｉｔａｌ形式の音声データや、ＣＤをリッピングして作成されたＬＰＣＭ形式の音声データ、あるいはインターネットで入手したＭＰＥＧ１ＬａｙｅｒＩＩＩ（以降ＭＰ３）形式の音声データなどが入力される。入力された音声データは、入力手段２１で最終的に本手段にて編集後音声データ  １６０として出力される順序となるように順序を並べかえて入力ストリーム  １００として出力される。
第１の判定手段２２において、入力手段からの入力ストリーム  １００を解析してアクセスユニット（以下ＡＡＵ）と呼ばれる最小の再生データ単位の境界情報や第１の音声データと第２の音声データの切り替わり点を示す切り替わり位置情報といったストリームの付加情報を解析情報  １０１として、入力ストリーム  １００と共に出力する。
第２の判定手段２３では、解析情報  １０１と入力ストリーム  １００を入力し、解析情報から切り替わり位置情報が検出されるまでは、入力ストリーム  １００をそのまま結合手段２５に出力する。切り替わり位置が検出されると、切り替わり位置の直前の音声データ１の数ＡＡＵと、切り替わり位置の直後の音声データ２の数ＡＡＵのみを変更入力ストリーム  １０２としてコーデック判定ステップに出力する。切り替わり位置を過ぎると次の切り替わり位置、あるいは入力ストリームの終端まで再び結合手段２５に出力する。
変更手段２４において、第２の判定手段２３から変更入力ストリーム  １０２が入力されたら、変更入力ストリームの音声データ１のＡＡＵの先頭からの特定ビットを５，４，３，２，０に変更して、フェードインをし、音声データ２のＡＡＵの同じビットを逆に０，２，３，４，５に変更してフェードアウトとなるように音量を変更させて変更ストリーム  １１０として出力する。
結合手段２５では、第２の判定手段２３からの入力ストリーム  １００と変更手段２４からの変更ストリーム  １１０を順に結合して編集後音声ストリーム  １６０として出力する。
【産業上の利用可能性】
【００１９】
本発明は、ＭＰＥＧやＡＡＣ、ＤｏｌｂｙＤｉｇｉｔａｌといった非可逆な圧縮方式の音声ストリームを編集する装置において、ストリームの結合時の音量レベルの違いによるノイズを発生することを防ぎ、非可逆なストリームの解凍・圧縮という処理による音質を劣化させることもなく、さらに解凍・圧縮という高い処理能力を要する手段も必要とすることもないため、携帯端末や携帯電話、低い処理能力のＰＣなどで音声、静止画、動画を編集、整理するソフトウェアや装置等に有用である。
【符号の説明】
【００２０】
１００    入力ストリーム
１０１    解析情報
１０２    変更入力ストリーム
１１０    音声変更ストリーム
１２０    ゲイン変更ストリーム
１３０    ダイナミックレンジ変更ストリーム
１４０    スケールファクタ変更ストリーム
１５０    適応音量変更ストリーム
１６０    編集後音声ストリーム
【図１】
2011013620.tif 000003
【図２】
2011013620.tif 000004
【図３】
2011013620.tif 000005
【図４】
2011013620.tif 000006
【図５】
2011013620.tif 000007
【図６】
2011013620.tif 000008