(57)【要約】    【課題】  符号化された音声信号を編集する際に音声信号を復号化する処理を必要とすることなく、編集点における異音の発生を軽減することができる信号処理装置を提供する。    【解決手段】  記録再生部は、音声信号の振幅値を制御するための正規化情報に従って符号化された音声信号と、前記正規化情報とを含む音声信号列を再生する。正規化情報変更部は、再生された前記音声信号列の前記正規化情報を変更する。再生された前記音声信号列の第１の音声信号列の第１の符号化音声信号に対応する第１の正規化情報の値と、再生された前記音声信号列の第２の音声信号列の第２の符号化音声信号に対応する第２の正規化情報の値とが一致するよう、前記第１の正規化情報及び前記第２の正規化情報の少なくとも一方は、前記正規化情報変更部によって変更される。【選択図】      図６
2004362747.tif 000002
【特許請求の範囲】
【請求項１】
符号化された音声信号を処理する信号処理装置であって、
音声信号の振幅値を制御するための正規化情報に従って符号化された音声信号と、前記正規化情報とを含む音声信号列を再生する再生手段と、
該再生手段により再生された前記音声信号列の前記正規化情報を変更する変更手段とを備え、
前記変更手段は、前記再生手段により再生された前記音声信号列の第１の音声信号列の第１の符号化音声信号に対応する第１の正規化情報の値と、前記再生手段により再生された前記音声信号列の第２の音声信号列の第２の符号化音声信号に対応する第２の正規化情報の値とが一致するよう、前記第１の正規化情報及び前記第２の正規化情報の少なくとも一方を変更することを特徴とする信号処理装置。
【請求項２】
符号化音声信号と正規化情報とを記録媒体に記録する記録手段と、前記変更手段により変更された正規化情報を、変更する前に記録されていた正規化情報の代わりに前記記録媒体に記録するよう前記記録手段を制御する制御手段とを備えたことを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記記録媒体は磁気テープであり、前記第１の音声信号列と前記第２の音声信号列はそれぞれ前記磁気テープ上の複数のトラックに記録されており、前記変更手段は前記複数のトラックの所定数のトラックから再生された前記第１及び第２の音声信号列を記憶するメモリを有し、前記メモリに記憶された第１及び第２の音声信号列の少なくとも一方に含まれる正規化情報を変更することを特徴とする請求項２記載の信号処理装置。
【請求項４】
前記制御手段は、前記変更手段により変更された正規化情報を含む所定数のトラック分の第１及び第２の音声信号列を前記メモリから読み出して、前記所定数のトラックに対応するトラックに前記読み出された第１及び第２の音声信号列のうち正規化情報が変更されたいずれか一方を上書き記録するよう前記記録手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項５】
前記第２の音声信号列は前記第１の音声信号列に引き続いて前記磁気テープ上に記録されていることを特徴とする請求項３記載の信号処理装置。
【請求項６】
前記再生手段は前記第１の音声信号列に引き続いて前記第２の音声信号列を再生し、前記変更手段は前記第１の符号化音声信号と前記第２の符号化音声信号の再生切り替わり位置直前の前記第１の正規化情報及び前記再生切り替わり位置直後の前記第２の正規化情報の少なくともいずれか一方を変更することを特徴とする請求項１記載の信号処理装置。
【請求項７】
符号化された音声信号は、所定量の音声サンプルからなる音声フレーム単位で音声信号が符号化されており、前記変更手段は前記再生切り替わり位置の前及び後の少なくともいずれか一方における所定数の前記音声フレームの正規化情報を変更することを特徴とする請求項６記載の信号処理装置。
【請求項８】
前記再生手段は前記第１の音声信号列に引き続いて前記第２の音声信号列を再生し、前記変更手段は前記第１の符号化音声信号と前記第２の符号化音声信号の再生切り替わり位置の直後における前記第２の正規化情報を前記再生切り替わり位置の直前における前記第１の正規化情報の値に応じて変更することを特徴とする請求項１記載の信号処理装置。
【請求項９】
前記再生手段により再生された音声信号列を復号する復号手段を備え、前記復号手段は、前記再生切り替わり位置の直後に再生された前記第２の符号化音声信号を前記変更手段により変更された第２の正規化情報に従って復号することを特徴とする請求項８記載の信号処理装置。
【請求項１０】
前記第１の符号化音声信号と前記第２の符号化音声信号の再生手順を表わすプレイリストデータに従い前記第１の符号化音声信号と前記第２の符号化音声信号を再生するよう前記再生手段を制御する再生制御手段を備えることを特徴とする請求項８記載の信号処理装置。
【請求項１１】
前記変更手段は、前記第１の正規化情報と前記第２の正規化情報のうち、小さい方の値を大きい方の値に変更することを特徴とする請求項１記載の信号処理装置。
【請求項１２】
前記変更手段は、前記第１の正規化情報の値と前記第２の正規化情報の値が共に所定値よりも小さい場合、前記第１の正規化情報と前記第２の正規化情報を共に前記所定値に変更することを特徴とする請求項１記載の信号処理装置。
【請求項１３】
符号化音声信号と正規化情報とを記録媒体に記録する記録手段を備え、該記録手段は、前記第１の音声信号列は第１のシーンを示す画像信号と共に記録し、前記第２の音声信号列は第２のシーンを示す画像信号と共に記録することを特徴とする請求項１記載の信号処理装置。
【請求項１４】
前記符号化音声信号は、複数の周波数帯域毎に独立に決定された前記正規化情報により符号化されており、前記変更手段は前記複数の周波数帯域の正規化情報を全て変更することを特徴とする請求項１記載の信号処理装置。
【請求項１５】
音声信号を入力する入力手段と、
前記入力手段により入力された音声信号を、前記音声信号の振幅値を制御するための正規化情報に従って符号化する符号化手段と、
前記符号化手段により符号化された音声信号と前記正規化情報とからなる音声信号列を前記記録媒体に対して記録する記録手段と、
前記正規化情報に従って符号化された第１の音声信号と前記正規化情報とからなる第１の音声信号列が記録された前記記録媒体に対し、新たに、第２の音声信号を記録するつなぎ記録モードにおいて、前記第２の音声信号の記録開始の指示に応じて、前記記録媒体における前記第２の音声信号の記録開始位置の直前の位置から再生された前記第１の音声信号列に含まれる正規化情報に基づいて前記入力手段により入力された第２の音声信号を符号化するよう前記符号化手段を制御する制御手段とを備える信号処理装置。
【請求項１６】
前記制御手段は、前記記録開始位置の直前の正規化情報の値と同じ値の正規化情報に基づいて前記第２の音声信号を符号化するよう前記符号化手段を制御することを特徴とする請求項１５記載の信号処理装置。
【請求項１７】
前記制御手段は、前記第２の音声信号の記録開始から所定期間の間、前記記録開始位置の直前の正規化情報と同じ値の正規化情報にて前記第２の音声信号の符号化を行い、前記記録開始から所定期間経過後は、任意に決定した正規化情報にて前記第２の音声信号の符号化を行うよう前記符号化手段を制御することを特徴とする請求項１５記載の信号処理装置。
【請求項１８】
前記符号化手段は前記入力された音声信号を複数の周波数帯域に分割し、前記複数の周波数帯域毎に独立に前記正規化情報を決定して前記音声信号を符号化し，前記制御手段は、前記複数の周波数帯域の前記第２の音声信号を前記記録開始位置の直前の正規化情報と同じ値の正規化情報に基づいて符号化するよう前記符号化手段を制御することを特徴とする請求項１５記載の信号処理装置。
【請求項１９】
前記記録手段は更に、符号化された動画像信号を前記音声信号と共に前記記録媒体に記録し、前記第１の音声信号と共に記録されている動画像信号の符号化単位と前記第１の音声信号の符号化単位とが一致するタイミングにて、前記第２の音声信号と共に前記符号化された動画像信号の記録を開始することを特徴とする請求項１５記載の記録装置。
【請求項２０】
それぞれ音声信号の振幅値を制御するための正規化情報に従って符号化された複数の音声信号と、前記複数の音声信号の符号化時に用いられた正規化情報とを含む複数の音声信号列を記録媒体から再生する再生手段と、
前記再生手段により再生された音声信号列の音声信号を復号する復号手段と、
前記記録媒体に記録されている音声信号の再生手順を示すプレイリストデータに従って前記複数の音声信号を切り替えながら再生するプレイリスト再生モードにおいて、前記音声信号の切り替え直前に再生された音声信号列に含まれる正規化情報に基づいて、前記切り替え直後に再生される音声信号列に含まれる音声信号を復号するよう前記復号手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項２１】
前記制御手段は、前記切り替え直後の所定期間の間、前記切り替え直前に再生された音声信号列に含まれる正規化情報に基づいて前記切り替え直後に再生される音声信号列に含まれる音声信号を復号し、前記所定期間経過後は前記切り替え直後に再生される音声信号列に含まれる正規化情報に応じて復号するよう前記復号手段を制御することを特徴とする請求項２０記載の再生装置。
【請求項２２】
前記音声信号はそれぞれ所定数の音声サンプルからなる音声フレーム単位に符号化されており、前記制御手段は前記切り替え直後の所定数の前記音声フレームを前記切り替え直前の音声フレームの正規化情報に基づいて復号することを特徴とする請求項２０記載の再生装置。
【請求項２３】
前記音声信号は複数の周波数帯域毎に独立に決定された正規化情報により符号化されており、前記制御手段は、前記切り替え直前の正規化情報に基づいて、全ての前記複数の周波数帯域の音声信号を復号するよう前記復号手段を制御することを特徴とする請求項２０記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に関し、特に、符号化された音声信号の処理を実行する信号処理装置に関する。
【背景技術】
【０００２】
従来、複数の音声サンプルにより構成される音声フレームを単位として音声信号を符号化し、符号化された音声信号を符号化された動画像信号と多重化して記録することが可能なデジタルビデオカメラがある。撮影したシーンを編集する編集機能を有するデジタルビデオカメラの場合には、動画像のフレーム単位或いは動画像の複数フレームをまとめたグループ単位で編集を行っている（例えば、特許文献１参照）。
【特許文献１】特開２０００−１７５１３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術では、動画像のフレームを基準とした編集を行っているため、通常、動画像のフレームに同期していない音声信号に関しては、音声信号を一度復号化して編集後に再符号化する処理が必要となってしまう。また、上記従来技術では、音質が劣化することを抑制するためや音声信号の処理量を削減するために、音声信号も符号化の単位である音声フレームを単位とした編集を行っているが、音声信号の振幅値の制御に関する処理は特に行っていないため、編集点（異なる二つのシーンのつなぎ部分）において異音が発生するという問題があった。
【０００４】
本発明の目的は、符号化された音声信号を編集する際に、音声信号を復号化する処理を必要とすることなく、編集点における異音の発生を軽減することができる信号処理装置を提供することにある。
【０００５】
また、本発明の他の目的は、異なるシーンの音声を続けて再生した場合にも、シーンの切り替え部分において異音が発生することを防止することができる信号処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る信号処理装置は、符号化された音声信号を処理する信号処理装置であって、音声信号の振幅値を制御するための正規化情報に従って符号化された音声信号と、前記正規化情報とを含む音声信号列を再生する再生手段と、該再生手段により再生された前記音声信号列の前記正規化情報を変更する変更手段とを備え、前記変更手段は、前記再生手段により再生された前記音声信号列の第１の音声信号列の第１の符号化音声信号に対応する第１の正規化情報の値と、前記再生手段により再生された前記音声信号列の第２の音声信号列の第２の符号化音声信号に対応する第２の正規化情報の値とが一致するよう、前記第１の正規化情報及び前記第２の正規化情報の少なくとも一方を変更することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、第１の音声信号の正規化情報の値と第２の音声信号の正規化情報の値とが一致するように変更することにので、符号化された音声信号を編集する際に、音声信号を復号化する処理を必要とすることなく、編集点における異音の発生を軽減することができる。加えて、第１の音声信号列と第２の音声信号列とを再生した場合のシーンの切り替え部分において、異音の発生を防止することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を図面を参照しながら説明する。
【０００９】
図１は、本発明の第１の実施の形態に係る信号処理装置を備えるデジタルＶＴＲ１００の構成を示すブロック図である。
【００１０】
図１において、デジタルＶＴＲ１００は、撮像部１０１、画像符号化部１０２、マイク１０３、音声符号化部１０４、ストリーム形成部１０５、記録再生部１０６、ストリーム解析部１０７、メモリ１０８、正規化情報変換部１０９、画像復号化部１１０、表示部１１１、音声復号部１１２、スピーカ１１３、制御部１１４、操作部１１５を備えている。
【００１１】
デジタルＶＴＲ１００は、撮影した動画像信号をＭＰＥＧ方式で符号化すると共に、マイクより得られた音声信号を音声フレーム単位でＭＰＥＧオーディオの形式に従って符号化し、符号化された動画像信号と音声信号とを所定量のパケットに分割した後に多重してテープＴに対して記録再生する機能を有する。
【００１２】
撮像部１０１は撮像素子（ＣＣＤ）等から構成されており、撮像した被写体像に対応した動画像信号を出力する。画像符号化部１０２は撮像部１０１から出力される画像信号をＭＰＥＧ形式に従って符号化する。マイク１０３は入力された音声に対応した音声信号を出力する。音声符号化部１０４はマイク１０３から出力される音声信号をＭＰＥＧオーディオ形式に従って符号化する。ストリーム形成部１０５は、画像符号化部１０２が出力する符号化画像信号と音声符号化部１０４が出力する符号化音声信号とを多重化して、ＭＰＥＧ２−ＴＳやＭＰＥＧ２−ＰＳ形式などの多重化信号列を生成する。記録再生部１０６は、ストリーム形成部１０５により生成された多重化信号列をそれぞれ所定量のデータや、同期信号又はＩＤを付加して複数の同期ブロックに分割すると共に、エラー訂正符号化やデジタル変調処理などを施し、テープＴに記録するために適した形式に変換する。そして、不図示の回転ヘッドによりテープＴ上に図８に示した様に多数のトラックを形成して多重化信号列を記録する。
【００１３】
また、記録再生部１０６はテープＴから多重化信号列を再生し、ストリーム解析部１０７に出力する。ストリーム解析部１０７は記録再生部１０６により再生されたデータに対して復調処理やエラー訂正処理を施し、各同期ブロックを検出することにより多重化信号列の内容を解析して、符号化画像信号と符号化音声信号とに分離する。そして、符号化画像信号を画像復号部１１０に出力すると共に、符号化音声信号を音声復号部１１２に出力する。また、ストリーム解析部１０７は、後述の如く、制御部１１４からの指示に従って記録再生部１０６から受け取った多重化信号列を記憶する。なお、メモリ１０８は複数トラック分の多重化信号列を記憶可能な容量を持つ。正規化情報変換部１０９は、制御部１１４からの指示に従い、メモリ１０８に記憶された多重化信号列のうち、符号化音声信号の正規化情報を書き換える。
【００１４】
画像復号部１１０はストリーム解析部１０７が出力する符号化画像信号を復号し、表示部１１１に出力する。表示部１１１は画像復号部１１０が出力する画像信号に従う画像や、撮像部１０１から得られた画像信号に従う画像などを表示する。音声復号部１１２はストリーム解析部１０７が出力する符号化音声信号を復号し、スピーカ１１３に出力する。スピーカ１１３は音声復号部１１２が出力する音声信号に対応した音声を出力する。
【００１５】
制御部１１４は、操作部１１５の指示に従い、デジタルＶＴＲ１００の各部の動作を制御する。操作部１１５は電源スイッチや記録スイッチなど、ユーザが操作可能な各種のスイッチを有する。
【００１６】
次に、デジタルＶＴＲ１００における画像信号及び音声信号の記録動作を説明する。
【００１７】
撮像部１０１により得られた動画像信号は画像符号化部１０２によりＭＰＥＧ方式に従って符号化され、ストリーム形成部１０５に出力される。一方、マイク１０３から入力された音声信号は、音声符号化部１０４によりＭＰＥＧオーディオ形式に従って符号化され、ストリーム形成部１０５に出力される。また、撮像部１０１により得られた動画像信号は表示部１１１にも出力され、記録ポーズ状態において表示部１１１には撮像部１０１により得られた動画像が表示される。
【００１８】
音声符号化部１０４は、入力した左右２チャンネルのステレオ音声信号をｎ個、例えば３２個の周波数帯域に分割し、周波数帯域毎にそれぞれ所定数の音声サンプルからなる音声フレーム単位で音声信号を符号化する。一つの帯域の音声フレームの一例を図２に示す。各音声フレームは、各サブバンドの正規化係数を対応する正規化情報インデックスに置き換えた正規化情報を含んでいる。正規化情報は各フレーム内におけるサンプルのうちの最大の振幅を持つサンプルを１として他のサンプルの振幅を正規化した際に得られる情報であり、音声信号の振幅値の増減を制御するための情報である。そして、正規化係数が大きいほど小さい値をとり、逆に正規化係数が小さいほど大きい値をとるように、正規化係数に対応している。
【００１９】
また、図２に示した一つの音声フレームのデータは、ヘッダ２０１、ビット割り当て２０２、正規化情報２０３、サブバンド信号２０４から構成されている。
【００２０】
この状態で操作部１１５により記録開始の指示があると、制御部１１４はストリーム形成部１０５に対し、符号化動画像信号と符号化音声信号の多重処理を開始するよう制御すると共に、記録再生部１０６に対し、ストリーム形成部１０５から出力された多重化信号列の記録を開始するよう指示を出す。
【００２１】
ストリーム形成部１０５は、画像符号化部１０２により符号化された符号化動画像信号と、音声符号化部１０４により符号化された符号化音声信号とを多重化して多重化信号列を生成し、記録再生部１０６に出力する。
【００２２】
ここで、ＭＰＥＧ２方式においては、多重化信号列としてＭＰＥＧ２−ＴＳという形式が規定されている。ＭＰＥＧ２−ＴＳでは、符号化動画像信号と符号化音声信号とをそれぞれ所定量のデータ（１８８バイト）からなるパケット（ＴＳパケット）に分割し、各ＴＳパケットを多重することにより多重化信号列を生成する。図７を参照してストリーム形成部１０５により生成されるＭＰＥＧ２−ＴＳストリームを説明する。
【００２３】
図７において、７０１は符号化動画像信号、７０２は符号化音声信号である。図７に示した様に、符号化画像信号７０１と符号化音声信号７０２とをそれぞれ１８８バイト毎に分割してＴＳパケットを生成し、画像信号のＴＳパケットと音声信号のＴＳパケットを適当なタイミングで多重することで多重化信号列７０３を形成する。
【００２４】
記録再生部１０６はストリーム形成部１０５より出力された多重化信号列をテープＴに記録するための信号に変換し、テープＴに記録する。また、記録再生部１０６は不図示のメカニズムによりテープＴを所定速度で搬送しながら、図８に示した様に回転ヘッドにてテープＴ上に多数のトラックｔを形成し、多重化信号列を記録する。
【００２５】
本実施の形態では、動画像信号と音声信号とを互いに異なるフレーム周期で符号化している。図３は符号化された符号化動画像信号と符号化音声信号の符号化周期を示す図である。ＭＰＥＧ符号化では、ＧＯＰ（Group Of Picture）と呼ばれる所定数のフレームからなるグループを単位として符号化を行う。ＧＯＰとは、１フレームのＩピクチャと所定数のＰ、Ｂピクチャから構成される符号化の単位であり、このＧＯＰの単位で復号が可能となる。一方、音声信号は、動画像信号のＧＯＰ周期とは非同期な所定数のサンプルからなる音声フレームを単位として符号化が行われる。
【００２６】
図３（ａ）はテープＴに記録したシーンＡの符号化動画像信号３０１と符号化音声信号３０２とのフレーム周期を示す図、図３（ｂ）はシーンＢの符号化動画像信号３０３と符号化音声信号３０４のフレーム周期を示す図である。図３において、３０１ａ〜３０１ｅ及び、３０３ａ〜３０３ｅはそれぞれ一つのＧＯＰのデータであり、３０２、３０４における一つのブロックがそれぞれ一つの音声フレームのデータである。図３（ａ）、図３（ｂ）では、符号化動画像信号のＧＯＰと符号化音声信号のフレームが４ＧＯＰごとに一致する例を示している。
【００２７】
次に、この様に記録された動画像信号と音声信号の再生処理を説明する。
【００２８】
操作部１１５により再生の指示があると、制御部１１４は記録再生部１０６を制御して、テープＴを搬送し、多数のトラックに記録されている信号を再生する。そして、再生された信号に対してエラー訂正などの処理を施し、ストリーム解析部１０７に出力する。
【００２９】
ストリーム解析部１０７は再生された多重化信号列から符号化動画像信号と符号化音声信号とを検出し、符号化動画像信号を画像復号部１１０に出力すると共に符号化音声信号を音声復号部１１２に出力する。画像復号部１１０は入力された符号化動画像信号を復号し、表示部１１１に出力する。表示部１１１は画像復号部１１０から出力された複合化動画信号に基づく再生画像を表示する。また、音声復号部１１２は符号化音声信号を復号し、スピーカ１１３に出力する。スピーカ１１３は入力された複合化音声信号に基づき再生された音声を出力する。
【００３０】
次に、つなぎ撮り（インサート記録）時の処理について説明する。
【００３１】
ここで、つなぎ撮りとは、例えば、図３（ａ）のシーンＡの信号が記録されているテープＴに対し、新たにシーンＢの信号を記録する処理のことである。
【００３２】
まず、ユーザがテープＴからの再生画像を確認しながら操作部１１５を操作して、つなぎ撮りを開始したい位置にて再生一時停止を指示する。制御部１１４は一時停止の指示があると、記録再生部１０６に対してテープＴの搬送を一時停止するよう指示すると共に、停止位置のトラック番号の情報をストリーム解析部１０７から受け取り、制御部１１４内部のレジスタに記憶する。
【００３３】
この状態で、ユーザが操作部１１５により記録開始を指示すると、制御部１１４は記録再生部１０６に対してテープＴを所定量巻き戻した後、再生を開始するよう指示する。再生開始後、制御部１１４はストリーム解析部１０７から出力されるトラック番号情報を監視し、先に記憶しておいたテープＴの停止位置の直後で、再生している符号化動画像信号のＧＯＰ周期と音声フレームの周期とが一致するタイミングのトラックの次のトラックから、シーンＢに対応する符号化動画信号及び符号化音声信号の記録を開始するよう、ストリーム形成部１０５、及び記録再生部１０６を制御する。制御部１１４は、つなぎ撮りの記録を開始したトラック番号の情報を記録再生部１０６から受け取り、内部のレジスタに記憶しておく。また、制御部１１４は、つなぎ撮り開始後の最初の音声フレームの信号を記録したトラック番号の情報も記録再生部１０６から受け取り、レジスタに記憶しておく。このつなぎ撮り開始トラックの情報、及び、最初の音声フレームのトラック番号情報は後述の正規化情報変更処理にて用いる。
【００３４】
例えば、図３（ａ）において、３０１ｆのタイミングで再生一時停止の指示があった後、つなぎ撮りを開始した場合、ＧＯＰ３０１ｄ及び音声フレーム３０２ａのタイミングでＧＯＰの周期と音声フレームの周期が一致するので、ＧＯＰ３０１ｄ及び音声フレーム３０２ａのデータが記録されたトラックの次のトラックから記録を開始することになる。
【００３５】
また、新たに記録するシーン、例えば、図３（ｂ）におけるシーンＢの信号の先頭部分は、ＧＯＰ３０３ａの先頭と音声フレーム３０４ａの先頭のタイミングが一致した状態となっている。その後、新たなシーンの記録を続け、記録停止の指示により記録を停止する。
【００３６】
次に、この様につなぎ撮りされた符号化音声信号における、つなぎ撮り位置（編集点）前後の正規化情報の変換処理について説明する。
【００３７】
図６は正規化情報の変更処理を示すフローチャートである。
【００３８】
つなぎ撮りによる記録が終了すると、制御部１１４は記録再生部１０６を制御して、つなぎ撮り開始（編集点）トラックの所定量前の位置までテープＴを巻き戻し、再生を開始する（Ｓ６０１）。つなぎ撮り開始トラックの情報は、前述の様に、つなぎ撮り開始時に制御部１１４内のレジスタに記憶してある。
【００３９】
そして、ストリーム解析部１０７を制御して、メモリ１０８に対し、テープＴから再生された多重化信号列を出力する。メモリ１０８は、ストリーム解析部１０７から順次出力された数トラック分、例えば、２フレーム分の画像信号が記録されるｎトラック分の多重化信号列を記憶する。従って、メモリ１０８には常に最新のｎトラック分の多重化信号列のデータが記憶される。
【００４０】
そして、制御部１１４は、ストリーム解析部１０７から出力されるトラック番号情報を監視し、つなぎ撮り開始位置のトラックを検出した場合、更に、つなぎ撮り開始後の最初の音声フレームのデータが記録されているトラックのデータを再生するまで再生を続けるよう記録再生部１０６を制御する。そして、最初の音声フレームのデータが記録されているトラックのデータを再生した後、記録再生部１０６を制御してテープＴの搬送を停止する。
【００４１】
このため、メモリ１０８には、つなぎ撮り位置前後の音声フレームのデータが記録されたトラックの多重化信号列のデータが全て記憶されていることになる（Ｓ６０２）。
【００４２】
次に、正規化情報変更部１０９は制御部１１４からの指示を受けて、メモリ１０８に記憶された多重化信号列から、編集点前後の音声フレームの正規化情報Ｄ１、Ｄ２をそれぞれ検出する（Ｓ６０３）。前述の様に、正規化情報は、正規化係数が大きいほど小さい値をとり、逆に正規化係数が小さいほど大きい値をとる。また、正規化情報変更部１０９は、正規化情報Ｄ１，Ｄ２のうち、編集点前後の音声フレームにおける全てのサブバンドの正規化情報を検出する。
【００４３】
そして、各音声フレームの正規化情報Ｄ１とＤ２が共に所定値Ｃよりも小さいか否かを判別し（Ｓ６０４）、小さかった場合、Ｄ１、Ｄ２における全てのサブバンドの正規化情報の値を所定値Ｃに変更する（Ｓ６０５）。
【００４４】
また、正規化情報変換部１０９は、正規化情報Ｄ１の値と正規化情報Ｄ２の値の何れか一方が所定値Ｃよりも小さいと判断した場合、Ｄ１の値とＤ２の値とを比較し、小さい方の値を大きい方の値に変更する（Ｓ６０６）。
【００４５】
なお、所定値Ｃは本出願人により実験で求められた値である。
【００４６】
図４（ａ）は、つなぎ撮り開始前後の音声フレームの正規化情報のうち、小さい方の値を大きい方の値に変更する場合を説明するための図である。図４（ａ）のＡは変更前の正規化情報Ｄ１、Ｂは変更前の正規化情報Ｄ２、Ｂ’は変換後の正規化情報Ｄ２をそれぞれ示している。また、図４（ｂ）のＡは変更前の正規化情報Ｄ１、Ｂは変更前の正規化情報Ｄ２、Ａ’は変換後の正規化情報Ｄ１、Ｂ’は変換後の正規化情報Ｄ２を示している。
【００４７】
この様に正規化情報変換部１０９により正規化情報変換処理を行った後、制御部１１５は記録再生部１０６を制御して、テープＴをつなぎ撮り開始トラックの直前まで巻き戻した後、テープＴの再生を開始する。そして、ストリーム形成部１０５を制御して、正規化情報の変更処理が施された後にメモリ１０８に記憶されているｎトラック分の多重化信号列を読み出し、テープＴにおける元のトラックに順次記録する（Ｓ６０７）。
【００４８】
この様に、本実施の形態によれば、つなぎ撮り位置（編集点）の前後に記録されている音声フレームの正規化情報の値を揃えるように変更することで、再生時において、このつなぎ撮り位置の前後で音声信号の振幅を揃えることができる。そのため、従来の様に、つなぎ撮り位置前後の音声信号を復号して音声信号の振幅を変更した後に再符号化することなく、つなぎ撮り部分における異音の発生を防止することが可能となる。
【００４９】
また、本実施の形態では、編集点直前及び直後の一対の音声フレームの正規化情報を変更していたが、連続する複数の音声フレームにわたり連続的に正規化情報を変更することにより、より効果的に編集点における異音の発生を軽減することができる。この様に複数の音声フレームの正規化情報を変更した場合の編集点前後における音声信号の変化を図５（Ａ）〜図５（ｆ）を参照して説明する。
【００５０】
図５（ｂ）に示す５０１は正規化情報の変更前におけるシーンＡ（図５（ａ））の音声信号の様子を示し、図５（ｄ）に示す５０２は正規化情報の変更前におけるシーンＢ（図５（ｃ））の音声信号の様子を示し、図５（ｆ）に示す５０５は正規化情報変更後の編集点前後のシーンＡ及びシーンＢ（図５（ｅ））の音声信号の様子を示す図である。また、図５中、３０１〜３０４はそれぞれ、シーンＡ及びシーンＢの符号化動画像信号及び符号化音声信号を示し、５０３、５０４はそれぞれ、つなぎ撮り後の符号化動画像信号、符号化音声信号を示している。
【００５１】
５０５に示した様に、編集点の直後の音声フレームの正規化情報を変更することで、編集点前後で音声信号の振幅が大きく変化することが無くなり、異音の発生を防止することができる。
【００５２】
次に、本発明の第２の実施の形態について説明する。
【００５３】
前述の第１の実施の形態では、つなぎ撮りを行った後で、つなぎ撮り位置（編集点）の前後の音声フレームにおける正規化情報の値を変更していたが、本実施の形態では、つなぎ撮りを行うときに、つなぎ撮り開始位置の直前の音声フレームの正規化情報に従ってつなぎ撮り開始部分の音声フレームの正規化情報の値を決定する。
【００５４】
図９は本実施の形態に係る振動処理装置を備えるデジタルＶＴＲ９００の構成を示すブロック図であり、図１のデジタルＶＴＲ１００とほぼ同様の構成を持つ。図９中、図１のデジタルＶＴＲ１００と同じ構成には同一番号を付し、詳細な説明は省略する。
【００５５】
図９のＶＴＲ１００において、基本的な記録、再生処理は図１のＶＴＲ１００と同様であるため、説明を省略する。本実施の形態では、つなぎ撮り時の処理が異なる。
【００５６】
即ち、本実施の形態においては、つなぎ撮り時において、つなぎ撮り開始位置の直前の音声フレームの正規化情報を検出し、正規化情報変換部９０１により、この直前の音声フレームにおける正規化情報に基づいて音声符号化部１０４による符号化を制御する。以下、つなぎ撮り時の処理について説明する。
【００５７】
図１０は本実施の形態におけるつなぎ撮り時の処理を示すフローチャートである。
【００５８】
本実施の形態においても、つなぎ撮りを行う場合、まず、ユーザがテープＴからの再生画像を確認しながら、つなぎ撮りを開始したい位置にて操作部１１５を操作して再生一時停止を指示する。制御部１１４は一時停止の指示があると、記録再生部１０６に対してテープＴの搬送を一時停止するよう指示すると共に、停止位置のトラック番号の情報をストリーム解析部１０７から受け取り、内部のレジスタに記憶する。
【００５９】
この状態で、ユーザが操作部１１５により記録開始を指示すると、制御部１１４は記録再生部１０６に対してテープＴを所定量巻き戻した後（Ｓ１００１）、再生を開始するよう指示する（Ｓ１００２）。再生開始後、制御部１１４はストリーム解析部１０７から出力されるトラック番号情報を監視し、先に記憶しておいたテープＴの停止位置の直後で、符号化動画像信号のＧＯＰ周期と音声フレームの周期とが一致するタイミングの音声フレームのデータを検出し（Ｓ１００３）、正規化情報変換部９０１に送るよう、ストリーム解析部１０７を制御する（Ｓ１００４）。このときに正規化情報変換部９０１に送られる音声フレームのデータがつなぎ撮り開始位置の直前の音声フレームのデータとなる。
【００６０】
正規化情報変換部９０１は、制御部１１４からの指示に従い、ストリーム解析部１０７から送られた音声フレームのデータから正規化情報を検出し、この正規化情報の値と同じ値にて、所定数の音声フレーム期間、音声信号の符号化（正規化）処理を行うよう、音声符号化部１０４を制御する（Ｓ１００５）。
【００６１】
そして、制御部１１４は、テープＴの停止位置の直後で、符号化動画像信号のＧＯＰ周期と音声フレームの周期とが一致するタイミングのトラックの次のトラックから記録を開始するよう、ストリーム形成部１０５、及び記録再生部１０６を制御する（Ｓ１００６）。正規化情報変換部９０１は、つなぎ撮り開始後、所定数の音声フレームの信号を符号化した後、任意の正規化情報にて符号化を行うよう音声符号化部１０４を制御する。
【００６２】
そして、操作部１１５の操作によって制御部１１４から記録停止の指示があると（Ｓ１００７）、画像、音声信号の記録を停止する（Ｓ１００８）。
【００６３】
この様につなぎ撮りを行った結果、再生される音声信号の様子は図５に示した通りとなり、やはり、つなぎ撮り前後で異音が発生しない。
【００６４】
次に、本発明の第３の実施の形態について説明する。
【００６５】
本実施の形態では、磁気テープＴに代わり、ディスク媒体に対して多重化信号列を記録するディスクレコーダに対して本発明を適用したものである。
【００６６】
図１１は本実施の形態に係る信号処理装置を備えるディスクレコーダ１１００の構成を示すブロック図である。本実施の形態においても、動画像信号と音声信号とをＭＰＥＧ方式にて符号化して記録再生する構成である。そして、撮像部１０１、画像符号化部１０２、マイク１０３、音声符号化部１０４、ストリーム形成部１０５は図１のＶＴＲ１００と同様に動画像信号と音声信号を符号化し、多重化信号列を生成する。また、ストリーム解析部１０７、画像復号部１１０、表示部１１１、音声復号部１１２、スピーカ１１３も図１のＶＴＲ１００と同様に動作するが、本実施の形態では、音声復号部１１２が、後述のプレイリスト再生時において正規化情報変換部１１０３からの指示に従って音声信号を復号する点が異なる。
【００６７】
図１１において、記録再生部１１０１は、ストリーム生成部１０５から出力された多重化信号列に対し、同期情報、ＩＤなどを付加して同期ブロックを形成すると共に、エラー訂正符号化処理などを施し、ディスクＤに対する記録フォーマットに従う形態に変換してディスクＤに記録する。本実施の形態では、ディスクＤとして、ＤＶＤなどの光磁気ディスクを用いる。
【００６８】
また、記録再生部１１０１は、制御部１１０２の指示に従い、ディスクＤからデータを再生し、多重化信号列を検出してストリーム解析部１０７に出力する。制御部１１０２は、ディスクレコーダ１１００の各部を制御する。正規化情報変換部１１０３は、プレイリスト再生時において、音声復号部１１２に対して変換した正規化情報を渡して音声信号の復号処理を制御する。プレイリスト生成部１１０４は、ディスクＤに記録されている画像、音声データの再生手順を示すプレイリストデータを生成し、記録再生部１１０１に出力する。記録再生部１２０１はこのプレイリストデータもディスクＤに対して記録可能である。
【００６９】
次に、ディスクレコーダ１１００における記録処理について説明する。
【００７０】
撮像部１０１により得られた動画像信号は画像符号化部１０２によりＭＰＥＧ方式に従って符号化され、ストリーム形成部１０５に出力される。一方、マイク１０３から入力された音声信号は、音声符号化部１０４によりＭＰＥＧオーディオ形式に従って符号化され、ストリーム形成部１０５に出力される。また、撮像部１０１により得られた動画像信号は表示部１１１にも出力され、記録ポーズ状態において表示部１１１には撮像部１０１により得られた動画像が表示される。
【００７１】
この状態で操作部１１５により記録開始の指示があると、制御部１２０２はストリーム形成部１０５に対し、符号化動画像信号と符号化音声信号の多重処理を開始するよう制御すると共に、記録再生部１１０１に対し、ストリーム形成部１０５から出力された多重化信号列の記録を開始するよう指示を出す。
【００７２】
ストリーム形成部１０５は、画像符号化部１０２により符号化された動画像信号と、音声符号化部１０４により符号化された音声信号とを多重化して多重化信号列を生成し、記録再生部１１０１に出力する。
【００７３】
記録再生部１１０１はストリーム形成部１０５より出力された多重化信号列をディスクＤに記録するために適した形態に変換し、ディスクＤに記録する。そして、記録停止の指示があると、制御部１２０２は記録再生部１２０１に対して記録停止を指示する。記録再生部１２０１は記録停止の指示があると、記録開始の指示から記録停止の指示までの間にディスクＤに記録した一連の多重化信号列を一つのファイルとしてディスクＤに記録して記録処理を終了する。
【００７４】
次に、この様に記録された動画像信号と音声信号の再生処理を説明する。
【００７５】
操作部１１５により再生の指示があると、制御部１１０２は記録再生部１１０１を制御して、ディスクＤより指定されたファイルのデータを再生する。そして、再生された信号に対してエラー訂正などの処理を施し、多重化信号列を検出してストリーム解析部１０７に出力する。
【００７６】
ストリーム解析部１０７は再生された多重化信号列から符号化動画像信号と符号化音声信号とを検出し、符号化動画像信号を画像復号部１１０に出力すると共に符号化音声信号を音声復号部１１２に出力する。画像復号部１１０は出力された符号化動画像信号を復号し、表示部１１１に出力する。表示部１１１は画像復号部１１０から入力された複合化画像信号に基づく再生画像を表示する。また、音声復号部１１２は符号化音声信号を復号し、スピーカ１１３に出力する。スピーカ１１３は入力された複合化音声信号に基づき再生された音声を出力する。
【００７７】
次に、プレイリストを用いた編集処理について説明する。
【００７８】
本実施の形態のレコーダ１１００は、ディスクＤ上の画像、音声信号の再生手順を示すプレイリストデータを用いてディスクＤに記録されている画像、音声信号を編集する機能を持つ。
【００７９】
操作部１１５によりプレイリスト編集の指示があると、制御部１１０２は表示部１１１に対して、プレイリスト編集用の画面を表示するように制御する。そして、ユーザはこの編集用の画面を確認しながら、ディスクＤに記録されている画像、音声データの再生手順を操作部１１５の操作により指定する。制御部１１０２はプレイリリスト生成部１１０４を制御して、指定された再生手順を示すプレイリストデータを生成する。そして、操作部１１５の操作によりプレイリスト編集終了の指示があると、プレイリスト生成部１１０４により生成されたプレイリストデータを記録再生部１１０１に出力し、一つのファイルとしてディスクＤに記録する。
【００８０】
この様に、本実施の形態では、再生手順を示すプレイリストデータを生成し、再生時において、このプレイリストデータに記述された再生手順に従ってディスクＤに記録された画像、音声データを再生することにより、ディスクＤに記録されたデータを変更することなく、ユーザが指定した手順で画像、音声データを再生する編集機能を実現することが可能となる。
【００８１】
このようなプレイリストを利用すれば、ディスクＤ上で離れた位置に記録されている二つのシーンを連続して再生することが可能となる。
【００８２】
次に、プレイリストに従う再生処理について説明する。図１２はプレイリスト再生処理を示すフローチャートである。
【００８３】
操作部１１５によりプレイリスト再生が指定されると、制御部１１０２は記録再生部１１０１を制御して、指定されたプレイリストデータのファイルを再生する。再生されたプレイリストデータはストリーム解析部１０７を介して制御部１１０２に送られる。制御部１１０２は再生されたプレイリストデータの内容を確認し（Ｓ１２０１）、プレイリストにて指定された手順でディスクＤから画像、音声データを再生するよう記録再生部１１０１を制御する（Ｓ１２０２）。
【００８４】
この様にプレイリストに従って画像、音声データを再生しながら、異なるシーンの切り替え位置となったか否かを判別し（Ｓ１２０３）、シーンの切り替え位置であった場合、制御部１１０２は正規化情報変更部１１０３に対し、切り替え後のシーンの先頭から所定数の音声フレームにおける正規化情報の値を、切り替え直前のシーンの最後の音声フレームにおける正規化情報の値と同じ値となるよう変更し、変更した結果を音声復号部１１２に出力する。音声復号部１１２は、正規化情報変更部１１０３の指示に従い、シーン切り替え直後の所定数の音声フレームを、変更された正規化情報に従って復号する（Ｓ１２０４）。その後は、再生された符号化音声信号に含まれる正規化情報に従って音声信号を復号する。
【００８５】
そして、プレイリストにて指定された再生手順による再生が終了すると、再生処理を終了する（Ｓ１２０５）。
【００８６】
この様に、本実施の形態においては、プレイリストに従って複数の異なるシーンの画像、音声信号を再生する場合に、シーンの切り替え位置を検出し、切り替え直後の所定数の音声フレームの正規化情報の値を、切り替え直前の音声フレームの正規化情報と同じ値となるように変更するので、シーン切り替え位置において異音の発生を防ぐことが可能となる。
【００８７】
なお、本実施の形態では、記録媒体としてディスク媒体を用いているが、これ以外にも、メモリカードなどのランダムアクセス媒体等を用いることも可能であり、同様の効果をもつ。
【００８８】
また、前述の各実施の形態では、符号化動画像信号と符号化音声信号を多重化した多重化信号列を記録再生する装置に対して本発明を適用した場合について説明したが、符号化音声信号のみを記録再生する装置に対しても同様に本発明を適用可能である。
【００８９】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。
【００９０】
また、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコード（図６、図１０、図１２のフローチャート）を記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）
が記憶媒体に格納されたプログラムコードを読出して実行することによっても達成される。
【００９１】
この場合、記録媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は発明を構成することになる。
【００９２】
この場合、上記プログラムコードは、該プログラムコードを記録した記憶媒体等から直接供給されるか、又はインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
【００９３】
上記プログラムコードの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。
【００９４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９５】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることはいうまでもない。
【００９６】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１の実施の形態に係る信号処理装置を備えるＶＴＲの構成を示すブロック図である。
【図２】符号化音声信号の構成を示す図である。
【図３】符号化動画像信号と符号化音声信号を示す図である。
【図４】正規化情報の変更処理を説明するための図である。
【図５】再生された音声信号を示す図である。
【図６】正規化情報の変更処理を示すフローチャートである。
【図７】ＭＰＥＧストリームを示す図である。
【図８】テープ上のトラックの様子を示す図である。
【図９】本発明の第２の実施の形態に係る信号処理装置を備えるＶＴＲの構成を示すブロック図である。
【図１０】つなぎ撮り時の処理を示すフローチャートである。
【図１１】本発明の第３の実施の形態に係る信号処理装置を備えるディスクレコーダの構成を示すブロック図である。
【図１２】プレイリスト再生モード時の正規化情報変更処理を示すフローチャートである。
【符号の説明】
【００９８】
１００，９００  デジタルＶＴＲ
１０１  撮像部
１０２  画像符号化部
１０３  マイク
１０４  音声符号化部
１０５  ストリーム形成部
１０６，１１０１  記録再生部
１０７  ストリーム解析部
１０８  メモリ
１０９，９０１，１１０３  正規化情報変換部
１１０  画像復号部
１１１  表示部
１１２  音声復号部
１１３  スピーカ
１１４，１１０２  制御部
１１５  操作部
１１００  ディスクレコーダ
１１０４  プレイリスト形成部
【図１】
2004362747.tif 000003
【図２】
2004362747.tif 000004
【図３】
2004362747.tif 000005
【図４】
2004362747.tif 000006
【図５】
2004362747.tif 000007
【図６】
2004362747.tif 000008
【図７】
2004362747.tif 000009
【図８】
2004362747.tif 000010
【図９】
2004362747.tif 000011
【図１０】
2004362747.tif 000012
【図１１】
2004362747.tif 000013
【図１２】
2004362747.tif 000014