(57)【要約】【課題】  記録系または再生系により生じたノイズを音声からより効果的に除去する。【解決手段】  ノイズ波形抽出部３７は、ビデオカメラにより記録された音声から、ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、フィールドを単位とするノイズをシーン毎に抽出する。ノイズ波形保存部４３は、シーン毎に、フィールドを単位とする抽出されたノイズのデータを記録する。出力しようとする音声から、記録されているノイズのデータによって、ノイズが除去される。本発明は、画像データおよび音声データを記録するパーソナルコンピュータに適用できる。【選択図】      図２
2007049421.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出する抽出手段と、
シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録するノイズデータ記録手段と、
記録されているノイズのデータによって、出力しようとする音声からノイズを除去する除去手段と
を備える情報処理装置。
【請求項２】
前記ノイズデータ記録手段は、シーンを識別するシーン識別番号と共に、抽出されたノイズのデータを記録する
請求項１に記載の情報処理装置。
【請求項３】
前記ビデオカメラにより記録された音声のデータを記録する音声データ記録手段をさらに備え、
前記抽出手段は、記録されている音声のデータで再生される音声から、動画像における１画面を単位とするノイズをシーン毎に抽出する
請求項１に記載の情報処理装置。
【請求項４】
前記除去手段は、記録されている音声のデータから再生される音声である、出力しようとする音声からノイズを除去する
請求項１に記載の情報処理装置。
【請求項５】
前記抽出手段は、１つのシーンにおける音声を、４つのフィールド毎に同期加算することによって、ノイズを抽出する
請求項１に記載の情報処理装置。
【請求項６】
前記抽出手段は、ノイズを抽出する前に、音声を記録した前記ビデオカメラにおける音声の調整の特性に対応した特性で音声を調整する
請求項５に記載の情報処理装置。
【請求項７】
抽出されたノイズのスペクトラムを分析する分析手段と、
ノイズのスペクトラムの分析の結果に応じて、ノイズのデータを修正する修正手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項８】
前記修正手段は、注目しているシーンのノイズと他のシーンのノイズとの相関を求めて、相関の最も強い他のシーンのノイズを注目しているシーンのノイズに加算することにより、ノイズのデータを修正する
請求項７に記載の情報処理装置。
【請求項９】
ノイズが除去された音声のデータを記録する音声データ記録手段をさらに備える
請求項１に記載の情報処理装置。
【請求項１０】
前記除去手段は、記録されているノイズのデータによって再生されるノイズを音声から引き算することで、出力しようとする音声からノイズを除去する
請求項１に記載の情報処理装置。
【請求項１１】
前記除去手段は、音声を記録した前記ビデオカメラにおける音声の調整の特性に対応した特性で調整したノイズを音声から引き算することで、出力しようとする音声からノイズを除去する
請求項１０に記載の情報処理装置。
【請求項１２】
ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出し、
シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録し、
記録されているノイズのデータによって、出力しようとする音声からノイズを除去する
ステップを含む情報処理方法。
【請求項１３】
ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出し、
シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録し、
記録されているノイズのデータによって、出力しようとする音声からノイズを除去する
ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、並びにプログラムに関し、特に、音声からノイズを除去する情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
撮影機能および集音機能が一体的に設けられ、磁気テープに画像信号および音声信号を記録するビデオレコーダ、いわゆるビデオカメラが広く用いられている。
【０００３】
従来の再生用磁気ヘッドとしてＭＲヘッドを用いたヘリカルスキャン方式の磁気記録再生装置には、磁気テープに記録するデータを、変調回路によってＤＣフリーの符号列に変換したデータとするものがある（例えば、特許文献１参照）。この磁気記録再生装置には、ＭＲヘッドによって検出された再生信号の低周波成分を減衰させる高域通過フィルタが設けられるとともに、高域通過フィルタによって低周波成分が減衰された再生信号から、ＤＣフリーの符号列に変換される前のデータを復調する復調回路が設けられる。この高域通過フィルタとして、回転ドラムに搭載されたロータリトランスが用いられる。
【０００４】
【特許文献１】国際公開第９９／１８５６７号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ビデオカメラの集音機能であるマイクロフォンは、回転ドラムのヘリカルスキャンにより生じる騒音を音声として、ひろってしまう。この騒音は、ビデオカメラにより、音声のノイズとして記録されることになる。
【０００６】
一般に、ビデオカメラには、集音する音の大きさにより、記録される音声のレベルを調整するAGC（Automatic Gain Control）が設けられているが、この騒音を目立ちにくくするために、小音量における利得をあまり上げないように設計されているのが普通である。
【０００７】
そのため、このようなビデオカメラで成長記録として子供を撮影する場合には、子供が離れているか、または子供の声が小さいことが多いので、子供の声がほとんど録音されていないことが多い。すなわち、子供の声の記録のレベルは、通常の画像に対応する音声に比較して、極めて低いことが多い。
【０００８】
また、ビデオレコーダには、ヘリカルスキャンによりFM（Frequency Modulation）方式の音声信号を磁気テープに記録するものがある。この場合、記録と再生とを異なるセットで行うと、ヘッドの磁気テープに突入するときの速度が記録と再生とで異なることになり、異なる速度の分だけ、再生された音声信号に変調がかかることになる。この変調は速度方向なので、音声信号に周波数方向の変調がかかり、音声にノイズが発生することがある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、記録系または再生系により生じたノイズを音声からより効果的に除去することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の情報処理装置は、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出する抽出手段と、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録するノイズデータ記録手段と、記録されているノイズのデータによって、出力しようとする音声からノイズを除去する除去手段とを備える。
【００１１】
前記ノイズデータ記録手段は、シーンを識別するシーン識別番号と共に、抽出されたノイズのデータを記録するようにすることができる。
【００１２】
情報処理装置に、前記ビデオカメラにより記録された音声のデータを記録する音声データ記録手段をさらに設け、前記抽出手段は、記録されている音声のデータで再生される音声から、動画像における１画面を単位とするノイズをシーン毎に抽出するようにすることができる。
【００１３】
前記除去手段は、記録されている音声のデータから再生される音声である、出力しようとする音声からノイズを除去するようにすることができる。
【００１４】
前記抽出手段は、１つのシーンにおける音声を、４つのフィールド毎に同期加算することによって、ノイズを抽出するようにすることができる。
【００１５】
前記抽出手段は、ノイズを抽出する前に、音声を記録した前記ビデオカメラにおける音声の調整の特性に対応した特性で音声を調整するようにすることができる。
【００１６】
抽出されたノイズのスペクトラムを分析する分析手段と、ノイズのスペクトラムの分析の結果に応じて、ノイズのデータを修正する修正手段とをさらに設けることができる。
【００１７】
前記修正手段は、注目しているシーンのノイズと他のシーンのノイズとの相関を求めて、相関の最も強い他のシーンのノイズを注目しているシーンのノイズに加算することにより、ノイズのデータを修正するようにすることができる。
【００１８】
ノイズが除去された音声のデータを記録する音声データ記録手段をさらに設けることができる。
【００１９】
前記除去手段は、記録されているノイズのデータによって再生されるノイズを音声から引き算することで、出力しようとする音声からノイズを除去するようにすることができる。
【００２０】
前記除去手段は、音声を記録した前記ビデオカメラにおける音声の調整の特性に対応した特性で調整したノイズを音声から引き算することで、出力しようとする音声からノイズを除去するようにすることができる。
【００２１】
本発明の一側面の情報処理方法は、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出し、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録し、記録されているノイズのデータによって、出力しようとする音声からノイズを除去するステップを含む。
【００２２】
本発明の一側面のプログラムは、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出し、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録し、記録されているノイズのデータによって、出力しようとする音声からノイズを除去するステップをコンピュータに実行させる。
【００２３】
本発明の一側面の情報処理装置および方法並びにプログラムにおいては、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズがシーン毎に抽出され、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータが記録され、記録されているノイズのデータによって、出力しようとする音声からノイズが除去される。
【発明の効果】
【００２４】
以上のように、本発明の一側面によれば、ノイズを除去することができる。
【００２５】
また、本発明の一側面によれば、記録系または再生系により生じたノイズを音声からより効果的に除去することができる。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２７】
本発明の一側面の情報処理装置は、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面（例えば、フィールド）を単位とするノイズをシーン毎に抽出する抽出手段（例えば、図２のノイズ波形抽出部３７）と、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録するノイズデータ記録手段（例えば、図２のノイズ波形保存部４３）と、記録されているノイズのデータによって、出力しようとする音声からノイズを除去する除去手段（例えば、図９のノイズ除去部１０４）とを備える。
【００２８】
情報処理装置に、前記ビデオカメラにより記録された音声のデータを記録する音声データ記録手段（例えば、図２のデータ記録部３３）をさらに設け、前記抽出手段は、記録されている音声のデータで再生される音声から、動画像における１画面を単位とするノイズをシーン毎に抽出するようにすることができる。
【００２９】
抽出されたノイズのスペクトラムを分析する分析手段（例えば、図２のスペクトラム分析部４０）と、ノイズのスペクトラムの分析の結果に応じて、ノイズのデータを修正する修正手段（例えば、図２の統合部４１）とをさらに設けることができる。
【００３０】
ノイズが除去された音声のデータを記録する音声データ記録手段（例えば、図９のデータ記録部３３）をさらに設けることができる。
【００３１】
本発明の一側面の情報処理方法またはプログラムは、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面（例えば、フィールド）を単位とするノイズをシーン毎に抽出し（例えば、図８のステップＳ５６乃至ステップＳ５９）、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録し（例えば、図８のステップＳ６７）、記録されているノイズのデータによって、出力しようとする音声からノイズを除去する（例えば、図１０のステップ８５）ステップを含む。
【００３２】
図１は、本発明に係る情報処理装置の一実施の形態であるパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。
【００３３】
なお、CPU１１として、”Ｃｅｌｌ誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているＣｅｌｌを採用することができる。
【００３４】
CPU１１にはまた、バス１４を介して入出力インターフェース１５が接続されている。入出力インターフェース１５には、キーボード、マウス、マイクロフォン、後述するアナログ入力端子などよりなる入力部１６、ディスプレイ、スピーカ、後述する出力端子などよりなる出力部１７が接続されている。CPU１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果を出力部１７に出力するか記憶部１８に記憶させる。
【００３５】
入出力インターフェース１５に接続されている記憶部１８は、例えばハードディスクからなり、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００３６】
また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。
【００３７】
入出力インターフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。
【００３８】
図２は、プログラムを実行するパーソナルコンピュータの機能の構成の例を説明するブロック図である。パーソナルコンピュータがプログラムを実行することにより、セレクタ３１、符号化部３２、データ記録部３３、シーン情報記録部３４、デマルチプレクサ３５、音声復号部３６、ノイズ波形抽出部３７、フィールド検出部３８、ノイズ波形保存部３９、スペクトラム分析部４０、統合部４１、機器推定部４２、ノイズ波形保存部４３、およびノイズ抽出制御部４４が実現される。
【００３９】
セレクタ３１は、入力部１６として設けられている複数のアナログ入力端子のそれぞれから入力された動画像の画像信号および音声信号のうち、１組の画像信号および音声信号を選択して、選択した画像信号および音声信号を符号化部３２に供給する。
【００４０】
なお、セレクタ３１は、プログラムを実行するCPU１１により実現しても、ハードウェアとして設けるようにしても、いずれであってもよい。
【００４１】
符号化部３２は、セレクタ３１から供給された画像信号および音声信号を符号化して、画像データおよび音声データを生成する。また、符号化部３２は、セレクタ３１から供給された画像信号および音声信号から、シーンの開始位置およびシーンの終了位置を検出して、検出したシーンの開始位置およびシーンの終了位置を示すシーン位置データを生成する。さらにまた、符号化部３２は、シーンの識別するためのシーン識別番号を生成する。
【００４２】
ここで、シーンとは、一定の状態にあるかまたは連続的に変化している被写体を撮影した一連の画像および音声をいう。言い換えれば、シーンとは、絵柄が一定か、絵柄が連続的に変化している一連の画像と、これに対応する音声であるとも言える。
【００４３】
なお、シーンの区切りはカメラのスタートストップ時のインデックスで行うのが確実であるが、そのインデックスが記録されていない場合もある。その場合は映像及び/又は音声の不連続性からシーンの区切りを判断する。
【００４４】
符号化部３２は、画像データおよび音声データをデータ記録部３３に供給する。符号化部３２は、シーン位置データおよびシーン識別番号をシーン情報記録部３４に供給する。
【００４５】
デジタル式ビデオカメラからデジタルインタフェースで信号を得る場合は、スタート、ストップのインデックスが得られるので、これをシーンチェンジとして扱える。アナログ信号で入力される場合、シーンチェンジ検出は、一旦、データ記録部３３から再生した画像、音声信号からシーチェンジ検出を行った方が理想的な場合が多い。
【００４６】
以上、複数のビデオカメラから編集されたコンテンツに対応するために、シーン単位で区切り、ノイズ波形を保存している。しかし、編集されている場合はまれであるとして、ソースのテープ単位として、処理する考え方もある。この場合、ソースのテープ一本分を1シーンとして扱う。
【００４７】
図３は、符号化部３２の構成の例を示すブロック図である。符号化部３２は、画像符号化部６１、音声符号化部６２、マルチプレクサ６３、シーンチェンジ検出部６４、およびシーン識別番号生成部６５から構成される。
【００４８】
画像符号化部６１は、アナログ信号である画像信号を、量子化することで画像データを生成し、さらに、例えば、MPEG（Moving Pictures Experts Group）などの圧縮符号化方式で符号化することにより、圧縮された画像データを生成する。画像符号化部６１は、生成した画像データをマルチプレクサ６３に供給する。
【００４９】
音声符号化部６２は、アナログ信号である音声信号を、量子化することで音声データを生成し、さらに、例えば、非圧縮、AC3（Audio Code Number 3）（商標）、MPEGなどの圧縮符号化方式で符号化することにより、圧縮された音声データを生成する。音声符号化部６２は、生成した音声データをマルチプレクサ６３に供給する。
【００５０】
なお、画像データの符号化方式および音声データの符号化方式は、本発明を限定するものではなく、MPEGに限らず、いずれの方式であってもよい。
【００５１】
マルチプレクサ６３は、画像符号化部６１から供給された画像データおよび音声符号化部６２から供給された音声データを多重化し、例えば、プログラムストリームまたはトランスポートストリームとして、多重化された画像データおよび音声データを出力する。
【００５２】
シーンチェンジ検出部６４は、画像信号により表示される画像の輝度または色の時間的な変化や空間的な変化を検出することにより、シーンの開始位置およびシーンの終了位置の位置を検出する。シーンチェンジ検出部６４は、検出したシーンの開始位置およびシーンの終了位置の位置を示すシーン位置データを生成して、生成したシーン位置データを出力する。
【００５３】
例えば、シーンチェンジ検出部６４は、複数の画像を基に編集された１つ画像データから、編集の元になった画像の単位であるシーンの開始位置およびシーンの終了位置の位置を検出する。
【００５４】
なお、シーンチェンジ検出部６４は、画像データと共に音声データを基に、シーンの開始位置およびシーンの終了位置の位置を検出するようにしてもよい。
【００５５】
シーンチェンジ検出部６４は、シーンの開始位置を検出した場合、シーンの開始位置を検出した旨を示す信号をシーン識別番号生成部６５に供給する。
【００５６】
シーン識別番号生成部６５は、シーンチェンジ検出部６４からシーンの開始位置を検出した旨を示す信号が供給された場合、開始位置が検出されたシーンを識別するためのシーン識別番号を生成する。例えば、シーン識別番号生成部６５は、シーンチェンジ検出部６４からシーンの開始位置を検出した旨を示す信号が供給された場合、内蔵している所定のビット数のカウンタをインクリメントして、そのカウンタからシーン識別番号としてのカウンタ値を読み出すことにより、シーン識別番号を生成する。また、例えば、シーン識別番号生成部６５は、シーンチェンジ検出部６４においてシーンの開始位置が検出された場合、十分長い系列の乱数であるシーン識別番号を生成するようにしてもよい。
【００５７】
シーン識別番号生成部６５は、生成したシーン識別番号を出力する。
【００５８】
図２に戻り、データ記録部３３は、符号化部３２から供給された画像データおよび音声データを記録する。データ記録部３３は、記憶部１８またはリムーバブルメディア２１の記録（記憶）領域上に構築される。なお、入力部１６または通信部１９を介して、デジタルデータである画像データおよび音声データが直接入力された場合には、データ記録部３３は、その直接入力された画像データおよび音声データを記録する。
【００５９】
なお、データ記録部３３は、画像データおよび音声データをシーン識別番号と共に記録するようにしてもよい。
【００６０】
シーン情報記録部３４は、符号化部３２から供給されたシーン位置データおよびシーン識別番号を記録する。この場合、例えば、シーン情報記録部３４は、画像データおよび音声データのファイル名と共に、シーン位置データおよびシーン識別番号を記録することで、画像データおよび音声データと、シーン位置データおよびシーン識別番号とを関係付けて記録する。シーン情報記録部３４は、記憶部１８またはリムーバブルメディア２１の記録（記憶）領域上に構築される。
【００６１】
デマルチプレクサ３５は、多重化されている画像データおよび音声データをデータ記録部３３から読み出して、読み出した画像データおよび音声データを分離する。デマルチプレクサ３５は、分離した音声データを音声復号部３６に供給し、分離した画像データをフィールド検出部３８に供給する。
【００６２】
音声復号部３６は、デマルチプレクサ３５から供給された音声データを復号することで、符号化されていない、いわゆるベースバンドの音声データ（例えば、PCM（Pulse Code Modulation）方式で符号化されている音声データ）を生成して、生成したベースバンドの音声データをノイズ波形抽出部３７に供給する。
【００６３】
フィールド検出部３８は、デマルチプレクサ３５から供給された画像データを基に、フィールドの境界を検出して、連続する４つのフィールドを１つの単位として同期するための同期信号を生成する。例えば、同期信号は、連続する４つのフィールドのうちの最初のフィールドの先頭を示す。同期信号により、４つのフィールドのうちの最初のフィールドの先頭に対する、ベースバンドの音声データ上の位置を特定することができる。
【００６４】
フィールド検出部３８は、生成した同期信号をノイズ波形抽出部３７に供給する。
【００６５】
ノイズ波形抽出部３７は、フィールド検出部３８から供給された同期信号、およびシーン情報記録部３４から読み出したシーン位置データを基に、音声復号部３６から供給された音声データで示される音声からノイズを抽出する。
【００６６】
図４は、ノイズ波形抽出部３７の構成の例を示すブロック図である。ノイズ波形抽出部３７は、ゲート回路８１、レベル調整部８２、および同期加算部８３からなる。
【００６７】
ゲート回路８１は、音声データから、予め定めた所定の閾値よりレベルが高い部分を取り除く。例えば、ゲート回路８１は、音声データを記録したビデオカメラの音声のリミッタがかかったレベルに対応するレベルを示す閾値を基に、音声データからレベルが高い部分を取り除く。
【００６８】
レベルが高い音声データには、記録している音声の成分に比較して、より少ないノイズの成分しか含まれていない。そこで、ゲート回路８１において、音声データからレベルが高い部分を取り除くことで、ビデオカメラにおいて生じたノイズの成分の少ない音声データを除去して、同期加算部８３において、より確実に、より正確に、ビデオカメラにおいて生じたノイズの成分を抽出できるようにする。
【００６９】
ゲート回路８１は、レベルが高い部分を取り除いた音声データをレベル調整部８２に供給する。
【００７０】
なお、ゲート回路８１は、ハードウェアで構成しても、ソフトウェアで構成するようにしてもよい。
【００７１】
レベル調整部８２は、音声データを記録したビデオカメラのノイズリダクション回路の特性と同様の特性で音声データを圧縮する。そして、レベル調整部８２は、音声データを記録したビデオカメラのAGCの特性と逆の特性で、音声データのレベルを調整する。
【００７２】
すなわち、レベル調整部８２は、音声データを記録したビデオカメラにおけるAGCおよびノイズリダクション回路による音声の処理と逆の処理を音声データに適用する。
【００７３】
このようにすることで、音声データに、ビデオカメラのマイクロフォンで拾った、ビデオカメラにおいて生じたノイズが正確に再現される。
【００７４】
レベル調整部８２は、圧縮し、レベルを調整した音声データを同期加算部８３に供給する。
【００７５】
同期加算部８３は、フィールド検出部３８から供給された同期信号およびシーン情報記録部３４から読み出したシーン位置データを基に、レベル調整部８２から供給された、１つのシーンにおける音声データを、４つのフィールド（２つのフレーム）毎に同期加算する。
【００７６】
例えば、同期信号は、連続する４つのフィールドを１つの単位として示し、シーン位置データは、シーンの開始位置およびシーンの終了位置を示すので、同期加算部８３は、レベル調整部８２から供給された音声データから、４フィールド分の音声データを順に抽出し、抽出された音声データを同期加算する。
【００７７】
すなわち、例えば、同期加算部８３は、１つのシーンの最初の４フィールド分の音声データを抽出する。次に、同期加算部８３は、そのシーンの次の４フィールド分の音声データを抽出し、最初の４フィールド分の音声データと、次の４フィールド分の音声データとを同期加算する。そして、同期加算部８３は、さらに、次の４フィールド分の音声データを抽出し、前の同期加算の結果と抽出した４フィールド分の音声データとを同期加算する。
【００７８】
同期加算部８３は、そのシーンの最後まで、４フィールド分の音声データを抽出し、前の同期加算の結果と抽出した４フィールド分の音声データとを同期加算する処理を繰り返す。
【００７９】
ここで、同期加算の詳細を説明する。
【００８０】
同期加算部８３は、同期加算される４フィールドの先頭のフィールドの開始位置から、同期加算される４フィールドの最後のフィールドの終了位置まで、音声データのサンプリングの間隔を単位として時刻を変化させていった場合のそれぞれの時刻における、同期加算される４フィールド分の音声データで示される音声のレベルと、同期加算する４フィールドの先頭のフィールドの開始位置から、同期加算する４フィールドの最後のフィールドの終了位置まで、音声データのサンプリングの間隔を単位として時刻を変化させていった場合のそれぞれの時刻における、同期加算する４フィールド分の音声データで示される音声のレベルとを加算するように、同期加算される４フィールド分の音声データに、同期加算する４フィールド分の音声データを加算する。
【００８１】
言い換えれば、同期加算される４フィールドの先頭のフィールドの開始位置と、同期加算する４フィールドの先頭のフィールドの開始位置とをそれぞれ基準位置として、基準位置から同じ時間だけ経過した時点における、同期加算される４フィールドの音声のレベルと同期加算する４フィールドの音声のレベルとが加算される。
【００８２】
なお、加算の結果得られた値を、予め定めた定数（例えば、２など）で適宜除算するようにしてもよい。これにより、加算の結果のオーバーフローを防止できる。
【００８３】
ところで、ビデオカメラの回転ドラムが小径ドラムである場合、回転ドラムには、４つのヘッドが設けられている。磁気テープに画像信号および音声信号を記録する場合、回転ドラムが回転し、このヘッドは、磁気テープの進行方向に対して、斜めの経路で磁気テープに接触し、いわゆるビデオトラックが形成される。ビデオトラックのそれぞれにおいて、１フィールド分の画像信号が記録される。FM方式の音声信号を磁気テープに記録する場合、ビデオトラックのそれぞれにおいて、１フィールド分の音声信号が記録される。
【００８４】
回転ドラムに設けられたヘッドについて、回転ドラムからの突き出し量や回転ドラムに対する位置などが管理されているが、ヘッドの突き出し量や位置などは、管理幅の中でばらついている。
【００８５】
ビデオトラックに画像信号が記録される場合、ビデオトラックの先頭の位置で、磁気テープに、回転ドラムのヘッドが当たる（衝突する）ので、これによりノイズ（雑音）が発生する。
【００８６】
まず、第１に、磁気テープとヘッドとが物理的に接触して音が発生する。画像を撮影し、内蔵しているマイクロフォンで音声を集音している場合、この音は、ビデオカメラ自身を伝わって、マイクロフォンで拾われることになる。
【００８７】
管理幅の中でヘッドの突き出し量や位置などがばらついているので、磁気テープに当たることにより発生する音（ノイズ）は、ヘッド毎に異なっている。そのため、４つのフィールドを１つの単位として、フィールド毎に異なる波形の音である雑音が発生する。
【００８８】
第２に、ビデオトラックの先頭の付近において、磁気テープとヘッドとの相対速度は、ヘッドの物理的な形状により変化する。例えば、ベータHiFi（商標）方式、８ミリビデオ方式、またはVHS (Video Home System)（商標）方式のアナログHi-Fiステレオオーディオ規格に準拠した方式など、FM方式の音声信号を磁気テープに記録する場合、磁気テープとヘッドとの相対速度が時間的に変化すると、記録された音声信号に周波数方向の変調がかかる。
【００８９】
記録と再生とを同一のセットで行うと、磁気テープとヘッドとの相対速度の時間的な変化は同一になるので、相対速度の変化による音声信号の周波数方向の変調は打ち消されることになる。
【００９０】
しかしながら、記録と再生とを異なるセットで行うと、記録における磁気テープとヘッドとの相対速度の時間的な変化と、再生における磁気テープとヘッドとの相対速度の時間的な変化が異なることになり、再生された音声信号に周波数方向の変調がかかり、結果として、音声にノイズが発生する。この場合も、４つのフィールドを１つの単位として、フィールド毎に異なる波形の雑音が発生することになる。
【００９１】
以下、ビデオトラックの先頭の付近において、磁気テープとヘッドとの相対速度が変化することにより生じるノイズを互換性ノイズとも称する。
【００９２】
このように、磁気テープとヘッドとが物理的に接触することにより、また、磁気テープとヘッドとの相対速度が時間的に変化することにより雑音が発生する。
【００９３】
これらのノイズ（雑音）の波形は、ヘッドの物理的な形状により変化することになる。
【００９４】
上述したように、ビデオカメラの回転ドラムが小径ドラムである場合、回転ドラムには、４つのヘッドが設けられているので、４フィールドを周期として、繰り返し同じ波形がノイズとして現れることになる。
【００９５】
図５は、４フィールドを周期とするノイズの波形の例を示す図である。最初のフィールドＡの音声には、回転ドラムの１つ目のヘッドの物理的な形状に応じたノイズがのり、２番目のフィールドＢの音声には、回転ドラムの２つ目のヘッドの物理的な形状に応じたノイズがのり、３番目のフィールドＣの音声には、回転ドラムの３つ目のヘッドの物理的な形状に応じたノイズがのり、４番目のフィールドＤの音声には、回転ドラムの４つ目のヘッドの物理的な形状に応じたノイズがのる。４番目のフィールドＤの後には、同様に、フィールドＡ、フィールドＢ、フィールドＣ、およびフィールドＤが順に繰り返される。
【００９６】
厳密に言えば、フィールドＡの音声にのるノイズの波形は、フィールドＢ、フィールドＣ、またはフィールドＤの音声にのるノイズの波形と異なる。すなわち、フィールドＡ、フィールドＢ、フィールドＣ、またはフィールドＤの音声にのるノイズの波形は相互に異なる。
【００９７】
しかしながら、順に繰り返されるフィールドＡのそれぞれにおいて、音声にのるノイズの波形は、同じになる。同様に、順に繰り返されるフィールドＢのそれぞれにおいて、音声にのるノイズの波形は、同じになり、順に繰り返されるフィールドＣのそれぞれにおいて、音声にのるノイズの波形は、同じになり、順に繰り返されるフィールドＤのそれぞれにおいて、音声にのるノイズの波形は、同じになる。
【００９８】
このように、４フィールドを周期として、それぞれのフィールド毎に、繰り返し同じ波形が音声にノイズとして現れる。
【００９９】
音声の信号成分は、時間的にランダムに変化するが、ヘッドの物理的な形状のばらつきにより生じる音声の雑音成分は、周期的に変化することになる。
【０１００】
そこで、同期加算部８３において、十分に長い１つのシーンにおける音声データが、４つのフィールド毎に同期加算されると、時間的にランダムに変化する音声の信号成分は互いに打ち消されて、消えてしまい、４つのフィールド毎に周期的に変化する、ヘッドの物理的な形状のばらつきにより生じる音声の雑音成分の同じ値が累積的に加算されることになり、最終的に雑音成分だけが残ることになる。
【０１０１】
このように、同期加算部８３は、１つのシーンにおける音声データを、４つのフィールド毎に同期加算した結果得られた、ノイズ（雑音）の波形を示すノイズ波形データを出力する。
【０１０２】
なお、標準形ドラムには、２つのヘッドが設けられているので、２フィールド（１フレーム）を周期として、繰り返し同じ波形がノイズとして現れる。例えば、図５のフィールドＡの音声にのるノイズと、フィールドＣの音声にのるノイズとは同じ波形となり、フィールドＢの音声にのるノイズと、フィールドＤの音声にのるノイズとは同じ波形となる。この場合、１つのシーンにおける音声データを、４つのフィールド毎に同期加算しても、同様に、ノイズ（雑音）の波形を示すノイズ波形データを得ることができる。
【０１０３】
勿論、標準形ドラムを備える装置により記録された音声からノイズの波形を抽出する場合、同期加算部８３において、１つのシーンにおける音声データを、２つのフィールド毎に同期加算するようにしてもよい。
【０１０４】
このように、ノイズ波形抽出部３７は、ノイズを音声から抽出する。ノイズ波形抽出部３７は、ノイズ（雑音）の波形を示すノイズ波形データをノイズ波形保存部３９に供給する。
【０１０５】
図２に戻り、ノイズ波形保存部３９は、ノイズ波形抽出部３７から供給されたノイズ波形データを、シーン情報記録部３４から読み出したシーン識別番号であって、ノイズの波形を抽出した音声のシーンを特定するシーン識別番号と共に記録する。
【０１０６】
スペクトラム分析部４０は、ノイズ波形保存部３９からノイズ波形データを読み出して、ノイズのスペクトラムを分析する。例えば、スペクトラム分析部４０は、FFT（Fast Fourier Transform）の処理をノイズ波形データに適用することにより、ノイズのスペクトラムを分析する。スペクトラム分析部４０は、ノイズのスペクトラムの分析の結果を示すデータを統合部４１に供給する。
【０１０７】
統合部４１は、スペクトラム分析部４０におけるノイズのスペクトラムの分析の結果に応じて、ノイズ波形データを修正する。例えば、統合部４１は、スペクトラムの分析の結果、抽出したノイズの主成分の周期がフレームの整数分の１または整数倍の周期でない場合、スペクトラムが分析された注目しているシーンのノイズと、ノイズ波形保存部３９に記録されている他のシーンのノイズとの相関を求める。そして、統合部４１は、注目しているシーンのノイズ波形データに、相関の最も強い他のシーンのノイズのレベルを加算する。
【０１０８】
統合部４１は、ノイズのスペクトラムの分析の結果および修正したノイズ波形データを機器推定部４２に供給する。
【０１０９】
機器推定部４２は、スペクトラムの分析の結果として表されるノイズの成分、またはノイズ波形データで表されるノイズの波形を基に、画像信号または音声信号を記録した機器を推定する。機器推定部４２は、画像信号または音声信号を記録したと推定される機器を識別する機器識別番号を取得する。
【０１１０】
例えば、機器推定部４２は、画像信号または音声信号を記録する各種の機器のノイズの成分またはノイズの波形と、それぞれの機器の機器識別番号とを関係付けて予め記憶しておく。機器推定部４２は、統合部４１から供給されたノイズの成分またはノイズの波形と、記憶しているノイズの成分またはノイズの波形との相関を求めて、求めた相関から画像信号または音声信号を記録した機器を推定する。機器推定部４２は、画像信号または音声信号を記録したと推定される機器を識別する機器識別番号として、最も強い相関を示す、記憶しているノイズの成分またはノイズの波形に関係付けられている機器識別番号を取得する。
【０１１１】
機器推定部４２は、画像信号または音声信号を記録したと推定される機器を識別する機器識別番号、シーン識別番号、および修正されたノイズ波形データをノイズ波形保存部４３に供給する。
【０１１２】
ノイズ波形保存部４３は、機器推定部４２から供給された、機器識別番号、シーン識別番号、およびノイズ波形データを記録する。
【０１１３】
ノイズ抽出制御部４４は、セレクタ３１、符号化部３２、データ記録部３３、シーン情報記録部３４、デマルチプレクサ３５、音声復号部３６、ノイズ波形抽出部３７、フィールド検出部３８、ノイズ波形保存部３９、スペクトラム分析部４０、統合部４１、機器推定部４２、およびノイズ波形保存部４３の各部を制御する。
【０１１４】
なお、ノイズ波形保存部３９およびノイズ波形保存部４３を統合して設けるようにしてもよい。
【０１１５】
図６は、記録の処理を説明するフローチャートである。ステップＳ１１において、ノイズ抽出制御部４４は、入力部１６のアナログ入力端子から信号が入力されるか否かを判定し、入力部１６のアナログ入力端子から信号が入力されると判定された場合、セレクタ３１に、入力部１６のアナログ入力端子から入力された信号である画像信号および音声信号を符号化部３２に供給させる。ステップＳ１２において、符号化部３２は、入力された画像信号および音声信号から画像データおよび音声データを生成する。
【０１１６】
すなわち、ステップＳ１２において、符号化部３２の画像符号化部６１は、画像信号を量子化することで画像データを生成し、さらに、MPEGの方式で符号化することにより、圧縮された画像データを生成する。また、音声符号化部６２は、音声信号を量子化することで音声データを生成し、さらに、MPEGの方式で符号化することにより、圧縮された音声データを生成する。そして、マルチプレクサ６３は、圧縮された画像データおよび圧縮された音声データを多重化する。
【０１１７】
ステップＳ１３において、シーンチェンジ検出部６４は、画像信号により表示される画像の輝度または色の時間的な変化や空間的な変化を検出することにより、シーンの開始位置およびシーンの終了位置の位置を検出する。シーンチェンジ検出部６４は、検出したシーンの開始位置およびシーンの終了位置の位置を示すシーン位置データを生成する。ステップＳ１４において、シーン識別番号生成部６５は、シーンチェンジ検出部６４においてシーンの開始位置が検出されると、シーンを識別するためのシーン識別番号を生成する。シーン位置データおよびシーン識別番号はシーン情報記録部３４に供給される。
【０１１８】
ステップＳ１５において、シーン情報記録部３４は、シーン位置情報およびシーン識別番号を記録する。
【０１１９】
ステップＳ１６において、データ記録部３３は、アナログ入力端子の番号を示すデータと共に、画像データおよび音声データを記録して、処理は終了する。
【０１２０】
一方、ステップＳ１１において、入力部１６のアナログ入力端子から信号が入力されないと判定された場合、入力部１６または通信部１９を介して、デジタルデータである画像データおよび音声データが直接入力されたので、ステップＳ１７に進み、ノイズ抽出制御部４４は、入力部１６または通信部１９を介して、画像データおよび音声データを供給してくる機器に名前を要求して、画像データおよび音声データを供給してくる機器からその機器の名前である機器名を取得する。また、ノイズ抽出制御部４４は、画像データおよび音声データを供給してくる機器から、画像データおよび音声データのメタデータを取得する。
【０１２１】
例えば、デジタルビデオ方式またはDigital8方式で画像データおよび音声データを記録するデジタルビデオカメラが通信部１９に接続された場合、ノイズ抽出制御部４４は、通信部１９に、IEEE（Institute of Electrical and Electronic Engineers）1394の規格に準拠した通信方式で、そのデジタルビデオカメラから機器名およびメタデータを受信させて、機器名およびメタデータを取得する。
【０１２２】
ノイズ抽出制御部４４は、取得した機器名およびメタデータをデータ記録部３３に供給する。
【０１２３】
ステップＳ１８において、データ記録部３３は、機器名およびメタデータと共に、画像データおよび音声データを記録して、処理は終了する。
【０１２４】
図７のフローチャートを参照して、ノイズの抽出の処理を説明する。ステップＳ３１において、ノイズ抽出制御部４４は、使用者の操作に応じた入力部１６からの信号を基に、ノイズを抽出するシーンを選ぶ。例えば、ノイズ抽出制御部４４は、ディスプレイである出力部１７に、シーンの名前またはシーンのサムネイルなどを表示させる。使用者が入力部１６を操作して、表示されたシーンの名前またはシーンのサムネイルなどが選択されることにより、ノイズを抽出するシーンが選択される。ノイズ抽出制御部４４は、この使用者の操作に応じた入力部１６からの信号を基に、ノイズを抽出するシーンを選び、選択された、ノイズを抽出するシーンを識別するシーン識別番号を取得する。
【０１２５】
ステップＳ３２において、ノイズ抽出制御部４４は、シーン識別番号を基に、データ記録部３３から、選択されたシーンの画像データおよび音声データと共に記録されているアナログ入力端子の番号を示すデータを読み出す。ステップＳ３３において、ノイズ抽出制御部４４は、読み出したデータで示されるアナログ入力端子の番号が予め定めた番号と同じであるか否かを判定する。
【０１２６】
ステップＳ３３において、読み出したデータで示されるアナログ入力端子の番号が予め定めた番号と同じであると判定された場合、ステップＳ３４に進み、ノイズ波形の抽出の処理が実行され、処理は終了する。この場合、ノイズ抽出制御部４４は、選択されたシーンを識別するシーン識別番号をデマルチプレクサ３５に供給する。選択されたシーンを識別するシーン識別番号は、さらに、ノイズ波形抽出部３７に供給される。
【０１２７】
ノイズ波形の抽出の処理の詳細は後述する。
【０１２８】
一方、ステップＳ３３において、読み出したデータで示されるアナログ入力端子の番号が予め定めた番号と同じでないと判定された場合、ステップＳ３４はスキップされ、処理は終了する。
【０１２９】
例えば、ビデオカメラから画像信号および音声信号を入力する場合、入力端子１であるアナログ入力端子から画像信号および音声信号を入力し、据え置きのビデオレコーダから画像信号および音声信号を入力する場合、入力端子２であるアナログ入力端子から画像信号および音声信号を入力するものと定めておいて、ステップＳ３３において、読み出したデータで示されるアナログ入力端子の番号が入力端子１を示す番号と同じであるか否かを判定するようにすれば、ビデオカメラから入力された音声信号から生成された音声データについてだけノイズ波形の抽出の処理を適用できるようになる。
【０１３０】
例えば、据え置きのビデオレコーダによって放送された番組を記録した場合、その番組の音声に含まれるノイズのほとんどは、互換性ノイズなので、以下で説明する処理を適用しないほうが好ましい。
【０１３１】
なお、アナログ入力端子の番号を示すデータが記録されていない場合、すなわち、ステップＳ１７およびステップＳ１８の処理で記録された音声データについては、ステップＳ３３において、読み出したデータで示されるアナログ入力端子の番号が予め定めた番号と同じでないと判定され、ステップＳ３４はスキップされる。すなわち、撮影の際にデジタル方式で記録された音声データには、撮影の際に、アナログ方式に比較してより強力なノイズ除去の処理が適用されているので、以下で説明する処理を適用しないほうが好ましい。
【０１３２】
この場合、画像データおよび音声データと共に記録されている機種名を基に、ステップＳ３４を実行するか否かを決めるようにしてもよい。
【０１３３】
次に、図８のフローチャートを参照して、ステップＳ３４に対応するノイズ波形の抽出の処理の詳細を説明する。ステップＳ５１において、ノイズ波形抽出部３７は、シーン情報記録部３４から、選択されたシーンを識別するシーン識別番号に対応して記録されている、選択されたシーンのシーン位置データを読み出す。
【０１３４】
ステップＳ５２において、ノイズ波形抽出部３７は、選択されたシーンの音声データをデータ記録部３３から読み出す。すなわち、ステップＳ５２において、ノイズ波形抽出部３７は、デマルチプレクサ３５に、選択されたシーンの多重化されている画像データおよび音声データをデータ記録部３３から読み出させ、読み出した画像データおよび音声データを分離させる。デマルチプレクサ３５は、分離した音声データを音声復号部３６に供給する。ノイズ波形抽出部３７は、音声復号部３６に、デマルチプレクサ３５から供給された音声データを復号させて、ベースバンドの音声データを生成させ、生成したベースバンドの音声データをノイズ波形抽出部３７に供給させる。
【０１３５】
このようにして、ノイズ波形抽出部３７は、シーンの音声データをデータ記録部３３から読み出す。
【０１３６】
また、フィールド検出部３８は、デマルチプレクサ３５において分離された画像データを基に、フィールドの境界を検出して、連続する４つのフィールドを１つの単位として同期するための同期信号を生成する。フィールド検出部３８は、同期信号をノイズ波形抽出部３７に供給する。
【０１３７】
ステップＳ５３において、ゲート回路８１は、音声データから、予め定めた所定の閾値よりレベルが高い部分を取り除く。
【０１３８】
なお、ステップＳ５３において、ゲート回路８１は、音声データの部分のうち、予め定めた所定の閾値よりレベルが高い部分のレベルを下げるようにしてもよい。
【０１３９】
ステップＳ５４において、レベル調整部８２は、音声を記録したビデオカメラのノイズリダクション回路の特性と同様の特性で音声データを圧縮する。ステップＳ５５において、レベル調整部８２は、音声データを記録したビデオカメラのAGCの特性と逆の特性で、音声データのレベルを調整する。
【０１４０】
ステップＳ５６において、同期加算部８３は、ステップＳ５１の処理で読み出したシーン位置データおよびフィールド検出部３８から供給された同期信号を基に、レベル調整部８２から供給された音声データから、シーンの最初の４フィールドの音声データを抽出する。
【０１４１】
ステップＳ５７において、同期加算部８３は、抽出した後の残りの音声データが４フィールド未満の音声データであるか否かを判定し、残りの音声データが４フィールド未満の音声データでないと判定された場合、ステップＳ５８に進み、同期加算部８３は、シーン位置データおよび同期信号を基に、残りの音声データから、次の４フィールドの音声データを抽出する。ステップＳ５９において、同期加算部８３は、抽出した音声データを同期加算し、ステップＳ５７に戻り、上述した処理を繰り返す。
【０１４２】
最初に実行されるステップＳ５９において、同期加算部８３は、ステップＳ５６の処理で抽出されたシーンの最初の４フィールドの音声データと、その次の４フィールドの音声データとを同期加算する。２回目以降に実行されるステップＳ５９において、同期加算部８３は、その前に実行された同期加算の結果と、ステップＳ５８において、抽出された４フィールドの音声データとを同期加算する。
【０１４３】
すなわち、１つのシーンの音声データが、４フィールド毎に、累積的に同期加算される。
【０１４４】
ステップＳ５６乃至ステップＳ５９の処理により、シーンの音声データから、時間的にランダムに変化する音声の信号成分が消去されて、４つのフィールド毎に周期的に変化する音声の雑音成分が抽出される。
【０１４５】
ステップＳ５７において、残りの音声データが４フィールド未満の音声データであると判定された場合、同期加算の処理はこれ以上実行できないので、ステップＳ６０に進み、同期加算部８３は、抽出されたノイズの波形を示すノイズ波形データをノイズ波形保存部３９に供給し、ノイズ波形保存部３９は、シーン情報記録部３４から読み出したシーン識別番号であって、選択されたシーンを特定するシーン識別番号と共に、ノイズ波形抽出部３７の同期加算部８３から供給された４つのフィールドのノイズ波形データを記録する。
【０１４６】
ステップＳ６１において、スペクトラム分析部４０は、ノイズ波形保存部３９からノイズ波形データを読み出して、抽出したノイズのスペクトラムを分析する。スペクトラム分析部４０は、ノイズのスペクトラムの分析の結果を示すデータを統合部４１に供給する。
【０１４７】
ステップＳ６２において、統合部４１は、抽出したノイズの主成分の周期が、フレーム（の長さ）の整数分の１または整数倍であるか否かを判定する。ステップＳ６２において、抽出したノイズの主成分の周期が、フレームの整数分の１または整数倍でないと判定された場合、フレームを単位とするノイズ（雑音）の波形が正確に抽出できなかったので、ステップＳ６３に進み、統合部４１は、ノイズ波形保存部３９に記録されている他のシーンのノイズと、今回選択したシーンの音声から抽出したノイズとの相関を求める。
【０１４８】
ステップＳ６４において、統合部４１は、今回選択したシーンの音声から抽出したノイズの波形を示すノイズ波形データに、相関の最も強い他のシーンのノイズを加算して、ステップＳ６５に進む。
【０１４９】
このようにすることで、そのシーンからノイズが正確に抽出できなかった場合であっても、後述するノイズの除去の処理によって、そのシーンの音声からノイズを除去することができるようになる。
【０１５０】
ステップＳ６２において、抽出したノイズの主成分の周期が、フレームの整数分の１または整数倍であると判定された場合、フレームを単位とするノイズ（雑音）の波形が正確に抽出できたので、ステップＳ６３およびステップＳ６４はスキップされて、手続きは、ステップＳ６５に進む。
【０１５１】
ステップＳ６５において、機器推定部４２は、ステップＳ６１におけるスペクトラムの分析の結果として表されるノイズの成分、またはノイズ波形データで表されるノイズの波形を基に、画像信号または音声信号を記録した機器を推定する。ステップＳ６６において、機器推定部４２は、画像信号または音声信号を記録したと推定される機器を識別する機器識別番号を取得する。
【０１５２】
ステップＳ６７において、ノイズ波形保存部４３は、機器識別番号およびシーン識別番号と共に、４つのフィールドのノイズ波形データを記録し、処理は終了する。
【０１５３】
このように、シーン毎に、回転ドラムのヘッドが磁気テープに当たることにより生じるノイズの波形が抽出されて、記録される。
【０１５４】
機器識別番号およびシーン識別番号が記録されるので、これを用いて、シーンを記録した機器を区別することができる。
【０１５５】
次に、ノイズの除去について説明する。
【０１５６】
図９は、ノイズを除去する場合の、プログラムを実行するパーソナルコンピュータの機能の構成の例を説明するブロック図である。パーソナルコンピュータがプログラムを実行することにより、データ記録部３３、シーン情報記録部３４、ノイズ波形保存部４３、デマルチプレクサ１０１、画像復号部１０２、音声復号部１０３、ノイズ除去部１０４、フィールド検出部１０５、音声符号化部１０６、およびノイズ除去制御部１０７が実現される。
【０１５７】
データ記録部３３、シーン情報記録部３４、およびノイズ波形保存部４３は、図２に示す場合と同様なので、その説明は省略する。
【０１５８】
デマルチプレクサ１０１は、多重化されている画像データおよび音声データをデータ記録部３３から読み出して、読み出した画像データおよび音声データを分離する。デマルチプレクサ１０１は、分離した画像データを画像復号部１０２およびフィールド検出部１０５に供給し、分離した音声データを音声復号部１０３に供給する。
【０１５９】
画像復号部１０２は、デマルチプレクサ１０１から供給された画像データを復号することで、符号化されていない、いわゆるベースバンドの画像データを生成して、生成した画像データをD/A変換して、画像信号を出力部１７の出力端子から出力する。
【０１６０】
音声復号部１０３は、デマルチプレクサ１０１から供給された音声データを復号することで、符号化されていない、いわゆるベースバンドの音声データを生成して、生成したベースバンドの音声データをノイズ除去部１０４に供給する。
【０１６１】
フィールド検出部１０５は、デマルチプレクサ１０１から供給された画像データを基に、フィールドの境界を検出して、連続する４つのフィールドを１つの単位として同期するための同期信号を生成する。フィールド検出部１０５は、生成した同期信号をノイズ除去部１０４に供給する。
【０１６２】
ノイズ除去部１０４は、シーン情報記録部３４から、画像信号および音声信号が出力されるシーンを特定するシーン識別番号およびシーン位置データを読み出す。ノイズ除去部１０４は、シーン情報記録部３４から読み出したシーン識別番号に対応して記録されているノイズ波形データをノイズ波形保存部４３から読み出す。
【０１６３】
そして、ノイズ除去部１０４は、ノイズ波形データを基に、音声復号部１０３から供給された音声データからノイズを除去する。ノイズ除去部１０４は、音声データからノイズ波形データを音声から引き算することで、音声データからノイズを除去する。すなわち、ノイズ除去部１０４は、ノイズ波形保存部４３に記録されているノイズのデータであるノイズ波形データによって再生されるノイズを音声から引き算することで、出力しようとする音声からノイズを除去する。
【０１６４】
ノイズ除去部１０４は、ノイズを除去した音声データをD/A変換して、音声信号を出力部１７の出力端子から出力する。
【０１６５】
ノイズ除去部１０４は、調整部１２１を備える。調整部１２１は、音声を記録したビデオカメラにおける音声の調整の特性に対応した特性でノイズ（ノイズ波形データ）を調整する。
【０１６６】
音声符号化部１０６は、ノイズが除去された音声またはノイズが除去された音声データを、MPEGなどの圧縮符号化方式で符号化することにより、圧縮された音声データを生成する。音声符号化部１０６は、生成した音声データをデータ記録部３３に供給する。
【０１６７】
データ記録部３３は、音声符号化部１０６から供給された、ノイズが除去され、圧縮された音声データを記録する。
【０１６８】
ノイズ除去制御部１０７は、データ記録部３３、シーン情報記録部３４、ノイズ波形保存部４３、デマルチプレクサ１０１、画像復号部１０２、音声復号部１０３、ノイズ除去部１０４、フィールド検出部１０５、および音声符号化部１０６を制御する。
【０１６９】
なお、ノイズ除去部１０４は、デジタルデータである音声データとノイズ波形データとを用いてノイズを除去するようにしても、アナログ信号である音声（信号）とノイズ波形データから得られたノイズ（信号）とを用いてノイズを除去するようにしてもよい。
【０１７０】
図１０は、ノイズの除去の処理を説明するフローチャートである。ステップＳ８１において、ノイズ除去部１０４は、再生されるシーンのシーン識別番号を取得する。例えば、ノイズ除去制御部１０７は、シーン識別番号と対応させて、ディスプレイである出力部１７に、シーンの名前またはシーンのサムネイルを表示させる。使用者が入力部１６を操作して、表示されたシーンの名前またはシーンのサムネイルが選択されることにより、再生されるシーンが選択される。ノイズ除去制御部１０７は、この使用者の操作に応じた入力部１６からの信号を基に、選択された、再生されるシーンを識別するシーン識別番号を取得する。ノイズ除去制御部１０７は、このシーン識別番号をノイズ除去部１０４に供給する。
【０１７１】
ステップＳ８２において、ノイズ除去部１０４は、ステップＳ８１で取得したシーン識別番号と共に記録されているノイズ波形データをノイズ波形保存部４３から読み出す。
【０１７２】
ステップＳ８３において、音声復号部１０３は、音声データを復号する。すなわち、ステップＳ８３において、デマルチプレクサ１０１は、再生するシーンの多重化されている画像データおよび音声データをデータ記録部３３から読み出し、読み出した画像データおよび音声データを分離する。デマルチプレクサ１０１は、分離した画像データを画像復号部１０２およびフィールド検出部１０５に供給し、分離した音声データを音声復号部１０３に供給する。音声復号部１０３は、デマルチプレクサ１０１から供給された音声データを復号して、ベースバンドの音声データを生成する。音声復号部１０３は、生成したベースバンドの音声データをノイズ除去部１０４に供給する。
【０１７３】
なお、画像復号部１０２は、デマルチプレクサ１０１から供給された画像データを復号する。
【０１７４】
また、フィールド検出部１０５は、画像データを基に、フィールドの境界を検出して、連続する４つのフィールドを１つの単位として同期するための同期信号を生成し、同期信号をノイズ除去部１０４に供給する。
【０１７５】
ステップＳ８４において、ノイズ除去部１０４の調整部１２１は、音声を記録したビデオカメラのノイズリダクション回路の特性、AGCの特性、および復号された音声データのレベルに応じて、ノイズ波形データのノイズの成分およびレベルを調整する。例えば、調整部１２１は、復号された音声データのレベルに応じて、音声を記録したビデオカメラのAGCの特性と同じ特性で、ノイズのレベルを調整する。また、例えば、調整部１２１は、復号された音声データのレベルに応じて、音声を記録したビデオカメラのノイズリダクション回路の特性と同じ特性でノイズの成分を調整する。
【０１７６】
ステップＳ８５において、ノイズ除去部１０４は、音声データから、４つのフィールド毎に、成分およびレベルを調整したノイズを引き算して、音声データからノイズを除去する。
【０１７７】
ステップＳ８６において、ノイズ除去部１０４は、引き算した結果を音声として出力して、処理は終了する。例えば、ノイズ除去部１０４は、ノイズを引き算した音声データをD/A変換して、音声信号を出力部１７の出力端子から出力する。
【０１７８】
このように、音声からノイズを除去することができる。
【０１７９】
シーン毎にノイズ波形データを記録し、再生するときに、音声からノイズを引き算するようにすれば、万一、ノイズの除去の処理が誤動作したとしても、元の音声を復活することができる。すなわち、元の音声データには影響がないので、少なくとも、元の音声を確実に再生することができる。
【０１８０】
なお、ステップＳ８５の処理において、ノイズ除去部１０４は、AGCのゲインが最も大きい場合のノイズを求めて、そのノイズを音声データから引き算して、音声データからノイズを除去するようにしてもよい。
【０１８１】
記録されている音声に含まれるノイズのレベルは、音声を記録したビデオカメラのAGCのゲインによって変化する。マイクロフォンで集音した音声が小さい場合、AGCのゲインは大きくなり、AGCのゲインが最大のとき、音声信号に含まれるノイズの成分のレベルは、最大になる。
【０１８２】
AGCのゲインが最も大きい場合のノイズを音声データから引き算すると、AGCのゲインが最大のときに記録された音声に対応する音声データに含まれるノイズがゼロになる。AGCのゲインが最大でない場合には、引き算されるノイズは、音声データに含まれているノイズより大きくなるが、AGCのゲインが最大でない場合は、集音した音声のレベルが高いので（音量が大きいので）、マスキング効果が大きく、引き算により生じてしまうノイズは聞こえにくくなる。
【０１８３】
すなわち、より簡単な処理で、目立つノイズをより効果的に除去することができる。
【０１８４】
以上のように、音声からノイズが除去されるので、小音量で聞きにくい部分の音声のレベルを上げることができ、そのようにしても、ノイズが目立つことがない。
【０１８５】
また、ステップＳ８４の処理を省略するようにしてもよい。
【０１８６】
図１１は、ノイズの除去の他の処理を説明するフローチャートである。ステップＳ１０１において、ノイズ除去部１０４は、ノイズを除去する処理の対象の音声データに対するシーン識別番号を取得する。例えば、ノイズ除去制御部１０７は、シーン識別番号と対応させて、ディスプレイである出力部１７に、シーンの名前またはシーンのサムネイルを表示させる。使用者が入力部１６を操作して、表示されたシーンの名前またはシーンのサムネイルが選択されることにより、ノイズを除去する処理の対象となる音声データに対するシーンが選択される。ノイズ除去制御部１０７は、この使用者の操作に応じた入力部１６からの信号を基に、ノイズを除去する処理の対象となる音声データに対するシーンを識別するシーン識別番号を取得する。ノイズ除去制御部１０７は、このシーン識別番号をノイズ除去部１０４に供給する。
【０１８７】
ステップＳ１０２乃至ステップＳ１０５の処理は、それぞれ、図１０のステップＳ８２乃至ステップＳ８５の処理と同様なので、その説明は省略する。
【０１８８】
ステップＳ１０６において、音声符号化部１０６は、引き算した結果を符号化する。例えば、音声符号化部１０６は、引き算した結果、ノイズが除去された音声データを、MPEGなどの圧縮符号化方式で符号化し、圧縮された音声データを生成する。音声符号化部１０６は、生成した音声データをデータ記録部３３に供給する。
【０１８９】
ステップＳ１０７において、データ記録部３３は、符号化により得られた音声データを記録して、処理は終了する。
【０１９０】
このように、ノイズを除去した音声データが記録されるので、この記録された音声データを基に音声を出力すれば、ノイズを除去する処理を繰り返し実行することなく、ノイズが除去された音声を出力することかできる。
【０１９１】
ノイズが除去された音声データを記録する場合、元の音声データを消去するようにすれば、１つのシーンについて、２つの音声データを管理する必要もなく、また、記録領域を節約することもできる。
【０１９２】
また、ノイズが除去された音声データを記録する場合、元の音声データを消去しないで、そのまま記録しておくようにすれば、万一、ノイズの除去の処理が誤動作し、ノイズが除去された音声データとして誤ったデータが記録されたとしても、元の音声を復活することができる。
【０１９３】
なお、ノイズが除去された音声データを記録し、ノイズ波形データを記録したままにしておけば、２つの音声データを記録する場合に比較して記録領域を節約できると共に、必要に応じて、ノイズが除去された音声データとノイズ波形データとから、元の音声データを復活させることもできる。
【０１９４】
以上のように、音質を劣化させることなく、特に、音声としての有効な成分が失われることなく、音声からノイズを除去できる。
【０１９５】
リアルタイム処理では、ノイズの抽出が完了するまで、ノイズを除去できないが、本発明によれば、これと異なり、音声の再生のし始めや、シーンの変わり目や、シーンの最初などで、音声にノイズが残ってしまうことがない。
【０１９６】
本発明によれば、撮影した後の音声から効果的にノイズを除去できる。
【０１９７】
例えば、成長記録として子供を撮影する場合には、子供が離れているか、または子供の声が小さいことが多いので、子供の声がほとんど録音されていないことが多いが、効果的にノイズを除去できるので、ノイズに埋もれていた子供の声が十分聞き取れる程度に音声のレベルを上げることができるようになる。
【０１９８】
すなわち、低いレベルで記録されている音声であっても、効果的にノイズを除去できるので、ノイズに埋もれていた音声が十分聞き取れる程度に音声のレベルを上げることができるようになる。
【０１９９】
なお、入力されている画像信号および音声信号または画像データおよび音声データに対して、上述した処理をリアルタイムに適用するようにしてもよい。
【０２００】
また、フィールドを単位とする例を説明したが、フレームを単位としてもよい。なお、フィールドまたはフレームは、動画像における１画面の一例である。
【０２０１】
なお、本発明は、パーソナルコンピュータに適用できると説明したが、これに限らず、画像データおよび音声データを処理する装置であれば適用でき、例えば、サーバ、ハードディスクレコーダ、ポータブルオーディオビデオプレーヤ、または携帯電話機などにも適用できる。
【０２０２】
また、アナログ記録方式の場合は1画面（例えば、フィールド）を単位とする事が合理的であるが、デジタル記録の場合、ドラムの回転数が大きく1画面の整数倍が合理的である。
【０２０３】
このように、音声からノイズを抽出するようにした場合には、ノイズを除去することができる。また、ビデオカメラにより記録された音声から、前記ビデオカメラの回転ドラムに設けられているヘッドであって、磁気テープに信号を記録するヘッドにより生じる、動画像における１画面を単位とするノイズをシーン毎に抽出し、シーン毎に、動画像における１画面を単位とする抽出されたノイズのデータを記録し、記録されているノイズのデータによって、出力しようとする音声からノイズを除去するようにした場合には、記録系または再生系により生じたノイズを音声からより効果的に除去することができる。
【０２０４】
なお、フィールド検出部３８により、ビデオ信号からの同期信号を得る形で、以上、説明したが、必ずしも、ビデオ信号から得られなくても、ノイズの抽出、除去はできる。ビデオ信号のフィールド周波数は水晶の発振精度で、極めて正確に決められている。よって、フィールド単位の時間的長さを正確にあわせて、ノイズ波形を抽出する時と除去する時、オーディオ信号との同期がずれないようにすれば、十分に効果が出せる。
【０２０５】
上述した一連の処理は、専用のDSP（Digital Signal Processor）などのハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１、または、プログラムが一時的もしくは永続的に格納されるROM１２や、記憶部１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２０７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２０９】
【図１】パーソナルコンピュータの構成の例を示すブロック図である。
【図２】プログラムを実行するパーソナルコンピュータの機能の構成の例を説明するブロック図である。
【図３】符号化部の構成の例を示すブロック図である。
【図４】ノイズ波形抽出部の構成の例を示すブロック図である。
【図５】ノイズの波形の例を示す図である。
【図６】記録の処理を説明するフローチャートである。
【図７】ノイズの抽出の処理を説明するフローチャートである。
【図８】ノイズ波形の抽出の処理の詳細を説明するフローチャートである。
【図９】ノイズを除去する場合の、プログラムを実行するパーソナルコンピュータの機能の構成の例を説明するブロック図である。
【図１０】ノイズの除去の処理を説明するフローチャートである。
【図１１】ノイズの除去の処理を説明するフローチャートである。
【符号の説明】
【０２１０】
１１  ＣＰＵ，  １２  ＲＯＭ，  １３  ＲＡＭ，  １８  記憶部，  ２１  リムーバブルメディア，  ３３  データ記録部，  ３４  シーン情報記録部，  ３７  ノイズ波形抽出部，  ３９  ノイズ波形保存部，  ４０  スペクトラム分析部，  ４１  統合部，  ４２  機器推定部，  ４３  ノイズ波形保存部，  ８１  ゲート回路，  ８２  レベル調整部，  ８３  同期加算部，  １０４  ノイズ除去部，  １２１  調整部
【図１】
2007049421.tif 000003
【図２】
2007049421.tif 000004
【図３】
2007049421.tif 000005
【図４】
2007049421.tif 000006
【図５】
2007049421.tif 000007
【図６】
2007049421.tif 000008
【図７】
2007049421.tif 000009
【図８】
2007049421.tif 000010
【図９】
2007049421.tif 000011
【図１０】
2007049421.tif 000012
【図１１】
2007049421.tif 000013