(57)【要約】【課題】間欠ノイズが重畳した音声信号についてノイズ除去を行う場合の音質劣化を最小限に抑える。【解決手段】音声信号中に発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づいてノイズ発生タイミングを検出する。これによれば、音声信号中に重畳するノイズを実際に検出することができ、例えばノイズ発生源に対する制御タイミングからノイズ発生タイミングを予想する場合と比較すれば適正にノイズ発生区間を設定することができ、ノイズ除去を行うための区間としては必要最小限に抑えることができる。この結果、ノイズ除去に伴う音質劣化は最小限に抑えることができる。【選択図】図１２
2008077707.tif 000002
【特許請求の範囲】
【請求項１】
収音手段と、上記収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段とを備えると共に、記録動作に伴い間欠的なノイズが発生する記録装置であって、
上記音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づき上記ノイズの発生タイミングの検出を行うノイズタイミング検出手段と、
上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段と、
を備えることを特徴とする記録装置。
【請求項２】
上記音声信号を入力して時間周波数変換を行う時間周波数変換手段と、
上記時間周波数変換により得られるスペクトルを時間軸方向に蓄積していくことで、上記音声信号についてのスペクトログラムを生成するスペクトログラム生成手段とをさらに備えると共に、
上記ノイズタイミング検出手段は、
上記スペクトログラムにおける各時間ごとに、その時間を含む所定の中心範囲と上記対象中心範囲と隣接する周辺範囲とのパワー差を算出すると共に、算出したパワー差が所定範囲内となっているか否かを判別することで、上記発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別する、
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
上記ノイズタイミング検出手段は、
上記スペクトログラムにおける所定の周波数帯域を対象として上記中心範囲と上記周辺範囲とのパワー計算を行う、
ことを特徴とする請求項２に記載の記録装置。
【請求項４】
上記音声信号を入力して時間周波数変換を行う時間周波数変換手段と、
上記時間周波数変換により得られるスペクトルを時間軸方向に蓄積していくことで、上記音声信号についてのスペクトログラムを生成するスペクトログラム生成手段とをさらに備えると共に、
上記ノイズタイミング検出手段は、
上記スペクトログラムにおける各時間ごとに、その時間を基準とした所定の対象時間範囲の所定の周波数ごとのパワーと、それら所定の周波数ごとのパワーについて予め設定された範囲情報とを比較し、上記所定の周波数ごとのパワーがそれぞれ所定範囲内となっているか否かを判別した結果に基づき上記ノイズの発生タイミングの検出を行う、
ことを特徴とする請求項１に記載の記録装置。
【請求項５】
上記時間周波数変換手段は、
それぞれの変換区間が７５％以上オーバーラップされるようにして時間周波数変換を行い、
上記スペクトログラム生成手段は、
上記時間周波数変換手段により得られる各変換長ごとの上記スペクトルをオーバーラップさせた状態で蓄積することで上記スペクトログラムを生成する、
ことを特徴とする請求項２又は４に記載の記録装置。
【請求項６】
上記ノイズタイミング検出手段は、
所定情報に基づき取得されるノイズ発生予想区間内でのみ上記ノイズの検出のための動作を行う、
ことを特徴とする請求項１に記載の記録装置。
【請求項７】
上記記録媒体に記録されるべき音声信号が一時保持される一時保持手段と、
上記一時保持手段に保持される音声信号が上記記録手段によって上記記録媒体に間欠的に書き込まれるように制御する間欠記録制御手段とをさらに備え、
上記ノイズは、上記間欠記録制御手段の間欠記録制御に伴う上記記録手段の動作に伴って生じるものとされると共に、
上記ノイズタイミング検出手段は、
上記間欠記録制御手段による間欠記録制御に伴い発生する情報に基づき取得されるノイズ発生予想区間内でのみ上記ノイズの検出のための動作を行う、
ことを特徴とする請求項１に記載の記録装置。
【請求項８】
上記音声信号のパワーを計算した結果に基づき、上記ノイズが上記音声信号の他の信号成分に埋没するか否かについて判定を行う埋没判定手段をさらに備え、
上記ノイズタイミング検出手段は、
上記埋没判定手段の判定の結果上記ノイズが埋没しないとされた場合にのみ、上記ノイズの検出のための動作を行う、
ことを特徴とする請求項１に記載の記録装置。
【請求項９】
上記記録媒体に記録されるべき音声信号が一時保持される一時保持手段と、
上記一時保持手段に保持される音声信号が上記記録手段によって上記記録媒体に間欠的に書き込まれるように制御する間欠記録制御手段とをさらに備え、
上記ノイズは、上記間欠記録制御手段の間欠記録制御に伴う上記記録手段の動作に伴って生じるものとされると共に、
上記埋没判定手段は、
上記間欠記録制御手段による間欠記録制御に伴い発生する情報に基づき取得されるノイズ発生予想区間内でのみ上記音声信号のパワー計算を行う、
ことを特徴とする請求項８に記載の記録装置。
【請求項１０】
上記音声信号を入力して時間周波数変換を行う時間周波数変換手段と、
上記時間周波数変換により得られるスペクトルを時間軸方向に蓄積していくことで、上記音声信号についてのスペクトログラムを生成するスペクトログラム生成手段とをさらに備えると共に、
上記ノイズタイミング検出手段は、
上記スペクトログラムにおける各時間ごとにその時間を基準とした所定期間を対象とした分析を行った結果に基づき上記発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別するようにされており、
上記埋没判定手段は、
上記スペクトログラムにおける各時間ごとに上記所定期間内のパワーを計算した結果に基づき、各時間ごとに上記ノイズが上記音声信号の他の信号成分に埋没するか否かについて判定を行う、
ことを特徴とする請求項８に記載の記録装置。
【請求項１１】
収音手段と、上記収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段とを備えると共に、記録動作に伴い間欠的なノイズが発生する記録装置において、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去方法であって、
上記音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づき上記ノイズの発生タイミングの検出を行うノイズタイミング検出手順と、
上記ノイズタイミング検出手順により検出した上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。
【請求項１２】
音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、
上記音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づき上記ノイズの発生タイミングの検出を行うノイズタイミング検出手段と、
上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段と、
を備えることを特徴とするノイズ除去装置。
【請求項１３】
音声信号に重畳する間欠的なノイズを除去するためのノイズ除去方法であって、
上記音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づき上記ノイズの発生タイミングの検出を行うノイズタイミング検出手順と、
上記ノイズタイミング検出手順により検出した上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備える記録装置として、特に記録動作に伴い間欠的にノイズが発生する記録装置に関する。また、例えばこのような記録装置に適用されて、上記音声信号に重畳する上記間欠的なノイズを除去するのに好適なノイズ除去方法、及びノイズ除去装置に関する。
【背景技術】
【０００２】
従来より、撮影映像及び収音音声を所要の記録媒体に記録するビデオカメラ装置が普及している。そして、このようなビデオカメラ装置として、特に近年では、ＨＤＤ（ハードディスクドライブ）を内蔵しこれに撮影映像及び収音音声（以下撮影データとも言う）を記録するようにされたものがある。
【０００３】
このように撮影データをＨＤＤに記録するビデオカメラ装置では、回転駆動される磁気ディスク上に磁気ヘッドをロードしたままの状態で撮影データの記録を継続的に行うようにされたものがある。すなわち、記録開始指示から記録停止指示までの間、撮影データを継続的に磁気ディスクに書き込むといったものである。
【０００４】
しかしながら、この手法では、記録動作中は常時磁気ディスクの回転駆動を伴うことから、これを改良した記録手法として、間欠アクセスの手法が提案されている。
この間欠アクセスでは、記録開始後、撮影データを一旦内蔵メモリに蓄積するものとしておき、その間は磁気ヘッドを所定のパーキング位置に退避させた上で磁気ディスクの回転を止めておく。そして、内蔵メモリへの撮影データの蓄積量が所定以上となったことに応じ、磁気ディスクの回転駆動及び磁気ヘッドの記録位置へのロードを行って蓄積された撮影データの読出・記録を行い、所定時間分の記録を行うと、再度磁気ヘッドをパーキング位置へ退避させ且つ磁気ディスクの回転駆動を停止する。このようにして内蔵メモリへの撮影データの蓄積量に応じ、磁気ディスクに対する間欠的な記録を行う。
この間欠アクセスの手法により、磁気ディスクを常時回転させたままの状態で記録を行う場合よりも消費電力の削減が図られる。
【０００５】
但し、この間欠アクセスの手法を採用する場合には、磁気ヘッドを磁気ディスク上にロードする際、或いは磁気ヘッドをパーキング位置に退避させる際に、デバイスの物理的な衝突に起因するノイズがＨＤＤ内部で発生するものとなってしまう。そして、このノイズは、ビデオカメラ装置が備えるマイクロフォンにより収音され、これによって撮影データと共に記録されてしまうという問題が発生する。
このため、間欠アクセスの手法を用いる場合には、消費電力の削減が図られる一方で、このようなノイズについての対策を行うことが必要となってくる。
【０００６】
なお、以下の特許文献１〜３には音声信号に重畳するノイズを除去する技術について記載されている。また、下記特許文献４には、音声信号中から拍手の信号成分を検出するための技術について記載されている。
【特許文献１】特開２００５−２０３０１４号公報
【特許文献２】特開２００２−２５１８２３号公報
【特許文献３】特開２００５−２２８４００号公報
【特許文献４】特開２０００−３１５０９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記のような間欠アクセスに伴うノイズを対策するとしたときには、それが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
ここでノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
このようなことを考慮すると、上記のような間欠アクセスに伴うノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
【０００８】
具体的に、ノイズ発生タイミングの情報を得るにあたっては、例えばノイズの発生源となる該当部位への制御が行われるタイミングからこれを予測するといったことが考えられる（例えば特許文献２，３に記載）。
しかしながら、上記のような間欠アクセスにおいて、記録開始指示に応じ磁気ヘッドのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッドのパーキングに伴う衝突音が生じるまでの時間長は、記録開始／終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始／停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、ノイズ除去を行う対象区間は最小限とすることが望ましく、その意味で、このように記録開始／停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
【課題を解決するための手段】
【０００９】
そこで、本発明では以上のような問題点に鑑み、記録装置として以下のように構成することとした。
つまり、本発明の記録装置は、収音手段と、上記収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段とを備えると共に、記録動作に伴い間欠的なノイズが発生する記録装置であって、先ず、上記音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づき上記ノイズの発生タイミングの検出を行うノイズタイミング検出手段を備える。
また、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段を備えるものである。
【００１０】
また、本発明ではノイズ除去装置として以下のように構成することとした。
すなわち、本発明のノイズ除去装置は、音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、上記音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づき上記ノイズの発生タイミングの検出を行うノイズタイミング検出手段を備える。
また、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段を備えるものである。
【００１１】
上記本発明によれば、音声信号中において、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを実際に判別した結果に基づきノイズ検出を行うことができるので、例えばノイズ発生源としての部位に対する制御タイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングを検出することができる。
【発明の効果】
【００１２】
上記のようにして本発明によれば、音声信号中に発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを実際に判別した結果に基づき、適正にノイズ発生タイミングを検出することができ、これによってノイズ除去を行う区間は必要最小限とすることができる。そして、これによれば、ノイズ除去に伴い生じる可能性のある音質劣化も最小限に抑えることができる。
【発明を実施するための最良の形態】
【００１３】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。
[記録装置の構成]
図１は、本発明の記録装置の一実施形態であるビデオカメラ装置１について、その外観構成を斜視図により示した図である。
このビデオカメラ装置１は、図示するようにしてカメラレンズ１ａを備え、当該カメラレンズ１ａを介して得られる撮影映像を内部の記録媒体に対して記録することができる。また、ビデオカメラ装置１は、図示するようにして筐体外部に表出するようにして設けられた外部音収音マイク（マイクロフォン）１ｂを備えており、この外部音収音マイク１ｂにより収音された音声を、上記撮影映像と共に上記記録媒体に対して記録することができる。
【００１４】
図２は、ビデオカメラ装置１の内部構成について示すブロック図である。
先ず、この図２においても、図１に示したカメラレンズ１ａが示されている。カメラレンズ１ａは、図示するようにしてカメラブロック５内に設けられる。
カメラブロック５は、上記カメラレンズ１ａを介して入射される被写体光を検出するＣＣＤ（Charge Coupled Device）センサ或いはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の固体撮像素子部や、固体撮像素子部から画素信号を転送してゲイン調整やＡ／Ｄ変換などを行って映像信号を得る映像信号生成部等を備える。
【００１５】
カメラブロック５により得られた映像信号は、図示する映像信号処理部６に供給され、ここで例えばホワイトバランスやＹ／Ｃ処理等の所定の映像信号処理が施されて映像信号圧縮処理部７に供給される。
映像信号圧縮処理部７は、映像信号に対し所定の映像圧縮方式に基づく圧縮処理を施し圧縮ビデオデータを生成する。そして、この圧縮ビデオデータをストリームデータ（図示するビデオストリームＶstrm）として出力する。
【００１６】
また、この図２には、図１に示した外部音収音マイク１ｂも示されている。この外部音収音マイク１ｂの収音動作に基づき得られた入力音声信号Ａinは、図中の一点鎖線により囲うノイズ検出・除去部２に供給される。
【００１７】
ノイズ検出・除去部２は、上記入力音声信号Ａinと、後述するシステムコントローラ１１からのノイズ発生予想区間情報ＮcSとに基づき、ノイズ発生タイミングの検出やノイズ発生タイミングに基づいたノイズの除去を行い、その結果を図示する出力音声信号Ａoutとして出力する。
なお、このノイズ検出・除去部２の内部構成及び動作については後述する。
【００１８】
音声信号処理部３は、上記出力音声信号Ａoutを入力して所定の音声信号処理を施し、その結果を音声信号圧縮処理部４に供給する。
音声信号圧縮処理部４は、上記音声信号処理部３から供給される出力音声信号Ａoutに対して所定の音声圧縮方式に基づく圧縮処理を施し圧縮オーディオデータを生成する。そして、この圧縮オーディオデータをストリームデータ（図示するオーディオストリームＡstrm）として出力する。
【００１９】
ＡＶ（Audio Visual）ストリーム生成部８は、先に述べた映像信号圧縮処理部７からのビデオストリームＶstrmと、上記音声信号圧縮処理部４からのオーディオストリームＡstrmとを入力して、これらを合成したＡＶストリームAVstrmを生成する。そして、このＡＶストリームAVstrmをバッファメモリ９に対して供給する。
【００２０】
バッファメモリ９は、後述するシステムコントローラ１１からの指示に従って上記ＡＶストリーム生成部８から供給されるＡＶストリームAVstrmについての内部メモリへの書込／読出を行うことで、ＡＶストリームAVstrmのバッファリングを行う。
【００２１】
ＨＤＤ（ハードディスクドライブ）１０は、システムコントローラ１１の指示に基づき上記バッファメモリ９から供給されるＡＶストリームAVstrmを内部の磁気ディスク（磁気ディスク１０Ｂ）に対して記録する。
【００２２】
ここで、このＨＤＤ１０の内部構成を次の図３に示しておく。図３に示されるようにＨＤＤ１０には、磁気ディスク１０Ｂと、磁気ディスク１０Ｂに対して信号を記録するための磁気ヘッド１０Ａとが備えられている。なお、この他にも、例えば磁気ヘッド１０Ａを図中ロード／パーキング位置に駆動するための駆動系や磁気ディスク１０Ｂを回転駆動するための駆動系なども備えられるが、ここではそれら他の詳細な構成については省略している。
【００２３】
図２に戻り、システムコントローラ１１は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成され、起動されたプログラムに従って当該ビデオカメラ装置１の全体制御、演算処理を行う。
例えば、図示されない操作入力部からの操作信号に応じ必要な各部を制御することで、ユーザの操作入力に応じた動作を実現させたり、またＨＤＤ１０へのデータファイルの格納や管理情報の作成・更新等を行う。
【００２４】
また、特に実施の形態の場合のシステムコントローラ１１は、ＨＤＤ１０に対するＡＶストリームAVstrm（撮影データとも言う）の記録時における間欠アクセスを実現するための制御処理も実行する。
つまり、システムコントローラ１１は、撮影データの記録開始後、直ちにバッファメモリ９からの撮影データの読み出し及びＨＤＤ１０への撮影データの記録開始指示は行わず、バッファメモリ９への撮影データの蓄積量が第１の閾値以上となったことに応じてそれらの指示を行う。そして、バッファメモリ９からの撮影データの読み出し、及びＨＤＤ１０によるその記録の開始後は、バッファメモリ９における撮影データの蓄積量が第２の閾値以下となったことに応じ、バッファメモリ９からの撮影データの読み出し及びＨＤＤ１０の記録動作を停止させる指示を行う。以降も、バッファメモリ９の撮影データの蓄積量と上記第１及び第２の閾値との比較結果に応じ、バッファメモリ９からの撮影データの読み出し開始指示及びＨＤＤ１０への記録開始指示と、バッファメモリ９からの撮影データの読み出し停止指示及びＨＤＤ１０への記録停止指示とを繰り返し行うようにされる。
【００２５】
[ＨＤＤノイズ]
ここで、図２に示すビデオカメラ装置１において、このような間欠アクセスの手法が採用されることによっては、例えばＨＤＤ１０において磁気ディスク１０Ｂを回転させたままの状態で磁気ヘッド１０Ａによる記録動作を継続的に行う場合と比較して、その分消費電力の削減を図ることができる。
【００２６】
しかしながらこの間欠アクセスの手法において、上述したような記録開始指示に伴っては、ＨＤＤ１０において磁気ヘッド１０Ａを磁気ディスク１０Ｂ上にロードすることになるが、その際に、デバイスの物理的な衝突に起因するノイズがＨＤＤ１０内部で発生することになる。また、記録停止指示に応じては、磁気ヘッド１０Ａをパーキング位置に退避させることになるが、その際にもデバイスの物理的な衝突に起因するノイズがＨＤＤ１０内で発生することとなる。
【００２７】
このようにして撮影データの記録動作中にＨＤＤ１０内で生じるノイズは、外部音収音マイク１ｂによって収音され、入力音声信号Ａinに重畳してしまい、この結果撮影データと共にＨＤＤ１０に対して記録されてしまうという問題が発生する。
【００２８】
図４は、このようにして間欠アクセスに伴いＨＤＤ１０内で生じるノイズ（以下ＨＤＤノイズとも言う）の特性を例示した図であり、図４（ａ）ではその時間波形を、また図４（ｂ）ではそのスペクトログラムを示している。
このようなＨＤＤノイズは、ＨＤＤ１０の個体差に依存するものとはなるが、時間波形（図４（ａ））で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。またスペクトログラム（図４（ｂ））で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布していることが確認できる。
このＨＤＤノイズは極めてレベルの小さい信号成分ではあるが、これらの特性より、聴覚的に非常に煩わしいノイズとなる。そして、このように煩わしいノイズが、間欠アクセスに伴う記録開始／停止ごとに間欠的に発生し、これが撮影データ（音声信号）に重畳されて記録されてしまう。
【００２９】
ここで、このようなＨＤＤノイズの記録が防止されるようにするためには、それを入力音声信号Ａinから除去することが考えられるが、その際には、ＨＤＤノイズが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
つまり、ノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
【００３０】
このようなことを考慮すると、上記のようなＨＤＤノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
【００３１】
そのための具体的な手法としては、例えば従来のようにノイズの発生源への制御が行われるタイミングからこれを予測するといったことが考えられる。
しかしながら、上述した間欠アクセスにおいて、記録開始指示に応じ磁気ヘッド１０Ａのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッド１０Ｂのパーキングに伴う衝突音が生じるまでの時間長は、記録開始／終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始／停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、除去を行う区間は最小限とすることが望ましく、その意味で、このように記録開始／停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
【００３２】
［実施の形態のノイズタイミング検出］
そこで、本実施の形態のビデオカメラ装置１では、図２に示されるノイズ検出・除去部２によって、実際にノイズの発生するタイミングを検出するものとし、この検出されたタイミングに基づく区間内についてのみノイズの除去を行うものとしている。
【００３３】
図２において、ノイズ検出・除去部２に対しては、ノイズ検出を行うための構成として、図示するノイズタイミング検出・ノイズ区間設定部２４が設けられる。
このノイズタイミング検出・ノイズ区間設定部２４は、先に述べた外部音収音マイク１ｂからの入力音声信号Ａinが図示するディレイ回路２１により所定時間遅延されて得られる入力音声信号Ａin-1と、システムコントローラ１１からのノイズ発生予想区間情報ＮcSとに基づき、後述するようにしてノイズ発生タイミングの検出、及び検出したノイズ発生タイミングに基づくノイズ区間の設定を行う。
【００３４】
なお、この場合、外部音収音マイク１ｂからディレイ回路２１（及び後述するノイズ埋没判定部２５）に入力される入力音声信号Ａinについては、このような遅延後の入力音声信号Ａin-1と区別するために、以下、入力音声信号Ａin-0とも呼ぶこととする。
なお、上記ディレイ回路２１に設定されるべき遅延時間については後述する。
【００３５】
ここで、先にも説明したように本実施の形態におけるＨＤＤノイズは、ＨＤＤ１０における記録動作の開始／停止に応じて間欠的に発生するノイズであり、その発生タイミングは、システムコントローラ１１からＨＤＤ１０に対する記録開始指示及び記録停止指示の行われたタイミングから或る程度予測することができる。
このため本実施の形態では、このようにして予測される、ＨＤＤノイズが発生するとされる区間でのみ、上記ノイズタイミング検出・ノイズ区間設定部２４による動作が実行されるようにし、無駄な検出動作の削減を図るものとしている。
【００３６】
ビデオカメラ装置１では、上記のようにして予測されるタイミングの情報を、システムコントローラ１１がノイズタイミング検出・ノイズ区間設定部２４に対して上記ノイズ発生予想区間情報ＮcSにより指示するようにされている。
つまり、システムコントローラ１１は、上述した間欠アクセスのための制御処理に伴いＨＤＤ１０に対する記録開始指示、記録停止指示を行ったことに応じ、予め定められた区間情報をノイズ発生予想区間情報ＮcSとしてノイズタイミング検出・ノイズ区間設定部２４に対して供給する。
【００３７】
ノイズタイミング検出・ノイズ区間設定部２４は、このようにしてシステムコントローラ１１から供給されたノイズ発生予想区間情報ＮcSが示す区間内でのみ、上記入力音声信号Ａin-1について後述するようなノイズ検出のための動作を行い、その結果に基づきＨＤＤノイズの発生タイミングを検出する。
そして、検出したノイズ発生タイミングに基づき、ＨＤＤノイズが生じる区間を示すノイズ区間を設定し、その開始タイミングと終了タイミングとを示すノイズ区間情報ＮSを出力する。
【００３８】
また、さらに本実施の形態の場合、上記ノイズタイミング検出・ノイズ区間設定部２４は、図示するようにしてノイズ検出・除去部２内に設けられたノイズ埋没判定部２５の判定結果に基づき、入力音声信号Ａin中においてノイズが他の信号成分に埋没しないとされた場合にのみ、上記のようなノイズ発生予想区間内でのノイズ検出のための動作を行うようにされる。
【００３９】
ここで、先の図４での説明時にも触れたように、本実施の形態の場合のＨＤＤノイズとしては、その信号レベルが比較的小さいものであることから、場合によってはそれが外部音（背景音）に埋もれてかき消されるといった可能性も考えられる。
【００４０】
次の図５〜図８は、このような外部音とＨＤＤノイズとの関係について模式的に示した図である。
先ず図５、図６は、それぞれ背景音が比較的小音量とされる場合について示した図であり、図５では（ａ）図により背景音の時間波形を、また（ｂ）図によりＨＤＤノイズの時間波形を、さらに（ｃ）図ではこれらＨＤＤノイズと背景音とが加算された入力音声信号Ａin（Ａin-1）の時間波形を示している。また、図６では背景音（破線）とＨＤＤノイズ（実線）の周波数スペクトルをそれぞれ対比して示している。
【００４１】
先ず、図５（ａ）（ｂ）を比較してわかるように、ＨＤＤノイズは16ビットフルスケール（±32767）に対しておよそ±300程度の振幅がある。これを踏まえると、例えば図５（ａ）に示されるような比較的小音量の背景音下での記録時には、図５（ｃ）に示す入力音声信号Ａin中において、ＨＤＤノイズは埋没しにくくなる。また、これを図６に示す周波数スペクトルで比較した場合にも、ＨＤＤノイズのスペクトルは背景音のスペクトルより所々大きいパワーで分布することがわかる。
これら図５、図６の結果からも、比較的小音量の背景音下では人間の聴覚はＨＤＤノイズを知覚しやすくなり、そのような場合にノイズ除去を行うことは有効であることがわかる。
【００４２】
一方図７、図８は、背景音が比較的大音量とされる場合について示した図であり、図７（ａ）は背景音、図７（ｂ）はＨＤＤノイズ、図７（ｃ）は入力音声信号Ａin（Ａin-1）の時間波形をそれぞれ示し、図８は背景音（破線）とＨＤＤノイズ（実線）の周波数スペクトルを対比して示している。
図７（ａ）のような比較的大音量による背景音下では、図７（ｃ）に示す入力音声信号Ａin中においてＨＤＤノイズは埋没しやすいものとなり、また図８に示す周波数スペクトルを見ても、ＨＤＤノイズのスペクトルは背景音のスペクトルより概ね小さいパワーで分布するものとなることがわかる。
このように大音量の背景音下では人間の聴覚はＨＤＤノイズを知覚しにくく、このような状況でノイズ除去を行う利点は極めて少ないものとなる。むしろこの場合には、ノイズ除去を行う入力音声信号Ａinのレベルが非常に大きなものとなるのだから、ノイズ除去を行ったことによる音質劣化がより聴取されやすくなってしまう可能性が高くなる。
【００４３】
これらのことから本実施の形態のビデオカメラ装置１では、背景音が比較的小音量とされ、ＨＤＤノイズが埋もれないとされた場合にのみノイズ除去が行われるようにし、比較的大音量の背景音下でＨＤＤノイズが埋もれてしまうような場合に無駄なノイズ除去が行われてしまうことを防止するものとしている。
【００４４】
図２に戻り、ノイズ埋没判定部２５には、図示するようにして外部音収音マイク１ｂからの入力音声信号Ａin-0が入力され、この入力音声信号Ａin-0に基づきＨＤＤノイズが背景音に埋没するか否かについて判定を行うようにされる。
具体的に、ノイズ埋没判定部２５は、入力音声信号Ａin-0の時間波形について、その所定区間ごとのパワーを計算し、このパワーが予め定められた所定の閾値ｔｈ-pより大きい場合には、人間の聴覚によってＨＤＤノイズが知覚されない、すなわちＨＤＤノイズが埋没する（マスクされる）という判定結果を埋没判定結果情報Ｍとして出力する。また、計算したパワーが上記閾値ｔｈ-pよりも大きくない場合には、ＨＤＤノイズが知覚される、すなわちＨＤＤノイズが埋没しないという判定結果を埋没判定結果情報Ｍとして出力する。
この際、入力音声信号Ａin-0の時間波形のパワーは、例えば以下の式に示すようにして、各時間における入力音声信号Ａin-0の値の２乗和により算出することができる。
Σt = 0 〜 T-1 {Ain(t)}2
【００４５】
なお、ノイズ埋没判定は、このように時間波形のパワー計算の結果に基づく以外にも、周波数スペクトルのパワー計算の結果に基づき判定することもできる。
すなわち、入力音声信号Ａin-0の周波数スペクトルのパワーを計算し、そのパワーが所定の閾値より大きい場合にはＨＤＤノイズが埋没するとの判定結果を埋没判定結果情報Ｍとして出力し、パワーが所定の閾値より小さい場合にはＨＤＤノイズが埋没しないとの判定結果を埋没判定結果情報Ｍとして出力する。
なお、周波数スペクトルのパワーは、例えば以下の式のように各時間における入力音声信号Ａin-0の周波数スペクトルの２乗和により算出することができる。
Σf = 0 〜 fs / 2 {Ain(f)}2
【００４６】
また、例えば対象とするノイズのスペクトルが所定の帯域において特徴的な周波数分布となるような場合には、その帯域からのみパワーを計算してもよい。周波数スペクトルのうち所定の帯域（例えば周波数ａ〜ｂとする）のパワーは、例えば以下のように算出することができる。
Σf = fa 〜 fb {Ain(f)}2
【００４７】
ところで、これまでで説明したノイズ埋没判定部２５の構成によっては、入力音声信号Ａin-0について上述のような信号分析を常時行って、埋没判定結果情報Ｍを常時出力するようにされることになるが、そもそも埋没判定結果情報ＭはＨＤＤノイズが背景音に埋没するか否かについて示す情報であり、従ってこれが常時出力されている必要性はないと考えることができる。
【００４８】
そこで、実施の形態では、このノイズ埋没判定部２５についても、先に説明したノイズタイミング検出・ノイズ区間設定部２４の場合と同様に、図示するようにシステムコントローラ１１からのノイズ発生予想区間情報ＮcSを入力させると共に、上記のようなノイズ埋没判定のための動作を当該ノイズ発生予想区間情報ＮcSにより示されるノイズ発生予想区間内でのみ行わせるものとしている。
具体的に、ノイズ埋没判定部２５は、ノイズ発生予想区間情報ＮcSにより示されるノイズ発生予想区間内でのみ、上述したような入力音声信号Ａin-0の時間波形のパワー計算、及びそのパワーについての閾値ｔｈ-pとの比較、及びその比較結果に基づく埋没判定結果情報Ｍの出力を行うようにされている。
【００４９】
説明をノイズタイミング検出・ノイズ区間設定部２４に戻す。
ノイズタイミング検出・ノイズ区間設定部２４は、このようにしてノイズ埋没判定部２５により出力される埋没判定結果情報Ｍを入力し、この埋没判定結果情報Ｍに基づいて、入力音声信号Ａin-1中においてノイズが他の信号成分に埋没しないとされた場合にのみ、上述したようなノイズ発生予想区間内でのノイズ検出のための動作を行うようにされる。
具体的にノイズタイミング検出・ノイズ区間設定部２４は、上記埋没判定結果情報ＭによりＨＤＤノイズが埋没しないという判定結果が示される場合にのみ、ノイズ発生予想区間情報ＮcSにより示されるノイズ発生予想区間内でのノイズ検出のための動作を行うものである。
【００５０】
続いて、ノイズタイミング検出・ノイズ区間設定部２４による具体的なノイズ検出手法について説明する。
次の図９は、ノイズタイミング検出・ノイズ区間設定部２４の内部構成について示している。
図示するようにノイズタイミング検出・ノイズ区間設定部２４内には、時間周波数変換部２４Ａ、スペクトログラム生成部２４Ｂ、メモリ２４Ｃ、分析部２４Ｄ、ノイズ区間設定部２４Ｅが備えられる。
【００５１】
先ず、この図９において、図示は省略しているが、図２に示したシステムコントローラ１１からのノイズ発生予想区間情報ＮcS、及びノイズ埋没判定部２５からの埋没判定結果情報Ｍは、ノイズタイミング検出・ノイズ区間設定部２４内の各部（時間周波数変換部２４Ａ、スペクトログラム生成部２４Ｂ、分析部２４Ｄ）に対して供給される。これらノイズタイミング検出・ノイズ区間設定部２４内の各部は、上記ノイズ発生予想区間情報ＮcSにより示されるノイズ発生予想区間内であり、且つ上記埋没判定結果情報ＭによりＨＤＤノイズが背景音に埋没しないという判定結果が示される場合にのみ動作するように構成されている。これによりノイズタイミング検出・ノイズ区間設定部２４は、上述したようにしてＨＤＤノイズが埋没しないという判定結果が得られた場合にのみノイズ発生予想区間内でのノイズ検出のための動作を行うようにされている。
【００５２】
そして、この図９において、上記時間周波数変換部２４Ａは、図示するようにして入力音声信号Ａin-1を入力し、この入力音声信号Ａin-1について時間周波数変換を行い周波数スペクトルを出力する。例えば、２Ｎサンプル分の入力音声信号Ａin-1に対してＦＦＴ（Fast Fourier Transform）やＭＤＣＴ（Modified Discrete Cosine Transform）等の直行変換を用いて時間周波数変換を行い、Ｎ個の係数データを出力する。
【００５３】
スペクトログラム生成部２４Ｂは、上記のようにして時間周波数変換部２４Ａにて得られた変換長２Ｎ分の周波数スペクトルに基づき、メモリ２４Ｃ内にスペクトログラムを生成する。
【００５４】
ここで、次の図１０〜図１１を参照して、上記時間周波数変換部２４Ａ、及びスペクトログラム生成部２４Ｂによるスペクトログラムの生成手法について説明しておく。
先ず図１０は、一般的なスペクトログラムの生成手法について示している。図１０（ａ）は入力音声信号Ａinと時間周波数変換部２４Ａにおける変換長との関係を示し、図１０（ｂ）ではスペクトログラムを例示している。
【００５５】
先に述べたように、この場合の時間周波数変換部２４Ａでは、図１０（ａ）に示されるようにして入力音声信号Ainに対して変換長２Ｎの時間周波数変換を行うものとしているが、このように変換長２Ｎの変換を行った場合、一般的な手法では、５０％オーバーラップとして、Ｎステップごとの変換を行うようにされる。すなわち、図示するようにして変換長２Ｎの時間周波数変換をＮサンプル分ずつずらして順次行っていくことで、常に前の変換部分と５０％のオーバーラップ部分ができるように時間周波数変換を行うものである。
そして、このような時間周波数変換により得られた、各変換長２Ｎ分のＮ個の周波数スペクトルを、図示するようしてオーバーラップ状態を維持したまま時間軸方向に所定時間分蓄積することで、図１０（ｂ）に示されるようなスペクトログラムが生成される。
このような変換長２Ｎ、Ｎステップの時間周波数変換を行って生成されたスペクトログラムの時間分解能は、図示するようにして「Ｎ」（Ｎサンプル分の時間長）となる。
【００５６】
ここで、この図１０に示したような５０％オーバーラップの時間周波数変換は、音声信号符号化等において一般的に使用される効率的な変換手法であるが、本例の場合のように比較的発生期間の短いＨＤＤノイズの検出を行うような場合には、この手法では十分な精度の時間分解能が得られなくなってしまう虞がある。
【００５７】
そこで本実施の形態では、次の図１１に示すような手法によって時間周波数変換・スペクトログラム生成を行うものとしている。なお、この図１１においても（ａ）図では入力音声信号Ａinと時間周波数変換部２４Ａにおける変換長との関係を示し、（ｂ）図ではスペクトログラムを例示している。
【００５８】
図１１（ａ）に示すようにして、本実施の形態の場合の時間周波数変換部２４Ａでは、入力音声信号Ainに対して変換長２Ｎ、Ｎ／２ステップの時間周波数変換を行うようにされる。すなわち、Ｎ／２ステップの時間周波数変換として、図示するように変換長２Ｎ分の変換をＮ／２サンプル分ずつずらして順次行っていくことで、常に前の変換部分と７５％のオーバーラップ部分ができるように時間周波数変換を行うものである。
【００５９】
そして、このような時間周波数変換部２４Ａの変換動作により得られた各変換長２Ｎ分のＮ個の周波数スペクトルを、スペクトログラム生成部２４Ｂがメモリ２４Ｃに対して図示するようしてオーバーラップ状態を維持したまま時間軸方向に所定時間分蓄積させていくことで、図１１（ｂ）に示されるようなスペクトログラムが生成される。
このような変換長２Ｎ、Ｎ／２ステップの時間周波数変換を行って生成されたスペクトログラムの時間分解能は、図示するようにして「Ｎ／２」（Ｎ／２サンプル分の時間長）となる。
【００６０】
このような７５％オーバーラップの時間周波数変換を行うことにより、先に説明した一般的な５０％オーバーラップの時間周波数変換を行う場合と比較して、周波数分解能は変えずに（周波数スペクトルの個数は双方ともＮ個である）、時間分解能は２倍に引き上げることができる。
これにより、十分な精度の時間分解能と周波数分解能とを確保することが可能となり、実施の形態のＨＤＤノイズのように比較的発生期間が短く、また比較的広帯域にパワーが分布するような信号成分の検出に好適なスペクトログラムを生成することができる。
【００６１】
なお、ここでは時間周波数変換部２４Ａにて得られたＮ個の周波数スペクトルの全てに基づきスペクトログラムを生成するものとしたが、例えばＨＤＤノイズのスペクトルが所定の帯域において特徴的な周波数分布となるような場合等には、所定の帯域の周波数スペクトルからのみスペクトログラムを生成するものとしても良い。
【００６２】
また、以下の説明において、上記のようなスペクトログラムの時間分解能となる時間軸方向の最小単位（図１１（ｂ）の場合はＮ／２サンプル分の時間長）のことを、「フレーム」とも称する。
【００６３】
説明を図９に戻す。
分析部２４Ｄは、上記により説明した時間周波数変換部２４Ａ及びスペクトログラム生成部２４Ｂの動作によってメモリ２４Ｃ内に生成されるスペクトログラムに対し所定の信号分析を行い、検出情報Ｄｔを出力する。この検出情報Ｄｔは、入力音声信号ＡinにおいてＨＤＤノイズの発生タイミングが検出されたか否かを示す情報である。
【００６４】
図１２は、上記分析部２４Ｄのノイズ検出動作について説明するための図である。図１２（ａ）ではスペクトログラムを、また図１２（ｂ）ではＨＤＤノイズを含む入力音声信号Ａinの時間波形の例を示している。
先ず、分析部２４Ｄの基本的な動作としては、メモリ２４Ｃ内にて生成されるスペクトログラムについて、各フレームごとに、そのフレームを含む中心範囲とこの中心範囲と隣接する周辺範囲とのパワー差を計算し、このパワー差が予め定められた所定範囲内の値に収まっているか否かを判別した結果に基づき、ノイズ検出を行う。
【００６５】
具体的に、この場合の分析部２４Ｄは、図１２（ａ）に示されるようなスペクトログラムについて、各フレームごとに（ｉ番目のフレームとする）、そのｉ番目のフレームｉとｉ＋１番目のフレームとによる中心範囲のパワーを計算する（図中両斜線部分）。また、これと共に、この中心範囲に対して時間的に前方向に隣接するｉ−１〜ｉ−３番目のフレームのパワーと、時間的に後方向に隣接するｉ＋２〜ｉ＋４番目のフレームのパワーを計算する（周辺範囲：図中各片斜線部分）。
その上で、上記中心範囲のパワーと上記周辺範囲のパワーとの差を計算し、このパワー差が予め定められた所定範囲内の値となっているか否かを判別する。この結果、上記パワー差が上記所定範囲内であると判別した場合は、ＨＤＤノイズが検出されたと判定し、上述した検出情報ＤｔとしてＨＤＤノイズが検出されたことを示す情報を出力する。また、上記パワー差が上記所定範囲外であると判別した場合には、ＨＤＤノイズが検出されないと判定し、検出情報ＤｔとしてＨＤＤノイズが検出されていないことを示す情報を出力する。
【００６６】
また、このとき分析部２４Ｄは、上記中心範囲と上記周辺範囲のパワー計算にあたっては、図１２（ａ）に示されるようにして、スペクトログラムにおける所定の周波数帯域のみを対象としたパワー計算を行う。
具体的にこの場合は、スペクトログラムにおける周波数ｊａ〜ｊｂの範囲のみを対象としてパワー計算を行う。
【００６７】
ここで、このような周波数ｊａ〜ｊｂのみを対象としたときの、上記中心範囲のスペクトログラムのパワーは、スペクトログラムをＳ(f,t)とした場合に以下のように算出することができる。
Σt=i〜i+1Σf=ja〜jb{Ｓ(f,t)}2／２
また、上記周辺範囲のスペクトログラムのパワーは、同じくスペクトログラムをＳ(f,t)とした場合以下のように算出することができる。
Σt=i-3〜i-1,i+2〜i+4Σf=ja〜jb{S(f,t)}2／６
【００６８】
図１２（ｂ）では、図１２（ａ）に示すｉ番目のフレームを基準としたときにＨＤＤノイズが検出される場合の入力音声信号Ａinの波形の例を示している。
これら図１２（ａ）（ｂ）を比較してわかるように、この場合の中心範囲の時間長（フレーム数）は、例えばＨＤＤノイズのパワーが比較的大きい部分がカバーされるようにして設定される。また、周辺範囲の時間長（フレーム数）は、このようにＨＤＤノイズのパワーが比較的大きい部分が含まれないようにして設定される。
例えばこのようにして中心範囲と周辺範囲との時間長の設定が行われていることで、上述のノイズ検出動作によって適正にＨＤＤノイズの検出を行うことができる。
【００６９】
ここで、上記のようにして本例では、各時間ごとに、その時間を含む中心範囲とその周辺範囲とのパワー差が所定範囲内であるか否かを判別し、その結果に基づきＨＤＤノイズの検出を行うものとしているが、このような動作により、結果的に、音声信号中から発生期間が上記中心範囲としての所定時間以下であり且つパワーが所定範囲内に収まる信号成分が得られたか否かを判別していることになる。
つまり、上記のような本例の検出動作によると、例えばパワーとしてはＨＤＤノイズと同等となるが、その発生期間が中心範囲（ｉ〜ｉ＋１）の時間長よりも長い期間となるような信号成分が得られた場合、周辺範囲のパワーがその分上昇する傾向となり、結果として中心範囲と周辺範囲とのパワー差は所定範囲内とはならず、ＨＤＤノイズは検出されないものとなる。このことからも、上記本例の動作は、結果的には音声信号中から発生期間が上記中心範囲としての所定時間以下であり且つパワーが所定範囲内に収まる信号成分が得られたか否かを判別しているものであることが理解できる。
【００７０】
再び図９に戻り、ノイズ区間設定部２４Ｅは、分析部２４Ｄにより出力される検出情報Ｄｔを入力し、当該検出情報Ｄｔに基づいてノイズ区間の設定を行う。具体的には、上記検出情報ＤｔによりＨＤＤノイズが検出されたことが示されたことに応じて、そのタイミング（つまりノイズ発生タイミング）を含む所定区間をノイズ区間として設定する。
【００７１】
図１３は、ノイズ発生タイミング（図１３（ａ））とそれに基づき設定されるノイズ区間（図１３（ｂ））との関係を例示している。
この図に示されるようにしてノイズ区間設定部２４Ｅは、ノイズ発生タイミングを基準として、その前後にわたる所定区間をノイズ区間として設定する。
そしてノイズ区間設定部２４Ｅは、このように設定したノイズ区間の開始点と終了点の情報を、図９に示すノイズ区間情報ＮSとして出力する。
【００７２】
このようにして設定されたノイズ区間情報ＮSは、後述するようにして入力音声信号Ａin中のＨＤＤノイズを除去すべき区間を示す情報として利用されることになる。換言すれば、このノイズ区間情報ＮSにより、入力音声信号Ａin中のノイズ除去を行うべき区間が特定されるものである。
【００７３】
なお、確認のために述べておくと、上記ノイズ区間設定部２４Ｅは、上記検出情報ＤｔによりＨＤＤノイズが検出されていないことが示される場合には、ノイズ区間の設定及びノイズ区間情報ＮSの出力は行わないようにされる。
【００７４】
また、上述の説明においては、分析部２４Ｄが、ノイズ発生タイミングの検出後も各フレームごとに中心範囲と周辺範囲とのパワー計算を継続して行うものとしたが、ノイズ発生予想区間内において、ノイズ発生タイミングの検出後には、特にこのようなノイズ検出のためのパワー計算を行う必要性はないので、パワー計算を終了するものとしてもよい。
その場合には、分析部２４Ｄに対しても検出情報Ｄｔを入力するものとし、分析部２４Ｄは当該検出情報ＤｔによりＨＤＤノイズが検出されたことが示されたことに応じて上記のような各フレームごとのパワー計算を終了するように構成すればよい。
このようにすることで、分析部２４Ｄにおける処理負担を有効に削減することができる。
【００７５】
また、このようなノイズタイミング検出後の処理負担の軽減手法は、時間周波数変換部２４Ａ、及びスペクトログラム生成部２４Ｂに対しても同様に適用することができる。すなわちその場合には、これら時間周波数変換部２４Ａ、スペクトログラム生成部２４Ｂに対しても検出情報Ｄｔを入力するものとし、時間周波数変換部２４Ａ、スペクトログラム生成部２４Ｂは当該検出情報ＤｔによりＨＤＤノイズが検出されたことが示されたことに応じてそれぞれ時間周波数変換動作、スペクトログラム生成動作を終了するように構成すればよい。
【００７６】
［ノイズ除去］
続いては、本実施の形態としてのビデオカメラ装置１にて行われるノイズ除去の手法について説明する。
先ずは、実施の形態のノイズ除去手法の説明に先立ち、実施の形態のＨＤＤノイズについて再考してみると、このＨＤＤノイズとしては、時間波形（図４（ａ））で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。また、スペクトログラム（図４（ｂ））で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布しているものとなる。
【００７７】
このようにしてＨＤＤノイズは、その発生時間が非常に短い期間となっていることから、例えば従来行われていたような適応型フィルタを用いたノイズ除去手法では、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
【００７８】
また、ＨＤＤノイズは上記のように比較的広帯域にわたりそのパワーが分布する特性とされるので、これを例えば逆位相の信号を加算することにより除去する手法を適用した場合には、ノイズを除去することが困難となる可能性がある。
【００７９】
そこで、本実施の形態では、このようなＨＤＤノイズの特性を考慮して適正にこれを除去することのできるノイズ除去の手法を採用するものとしている。
図１４は、実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図であり、図１４（ａ）は、入力音声信号Ａinについてノイズ区間とその前後を含む時間波形とを示し、図１４（ｂ）ではノイズ除去後の音声出力信号Ａoutについてノイズ区間とその前後を含む時間波形を示している。
【００８０】
本実施の形態では、上記のようなＨＤＤノイズの特性を考慮して、ノイズ区間の音声信号を、ノイズ発生タイミングの周辺の音声信号の波形情報を利用して補間するものとしている。
つまり、図１４（ｂ）に示されるようにして、ノイズ発生タイミングの周辺波形からノイズを除去するためのノイズ除去信号を生成し、ノイズ区間に対し、このように生成したノイズ除去信号を挿入するようにしてノイズ区間の信号を補間するというものである。
【００８１】
このようなノイズ除去手法を実現するために、実施の形態のビデオカメラ装置１は、図２に示すノイズ除去信号生成部２６と信号挿入部２７、及びディレイ回路２２とディレイ回路２３とを備えている。
図２に示すようにしてノイズ除去信号生成部２６には、ディレイ回路２１と上記ディレイ回路２２とを介して得られる入力音声信号Ａin-2と、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSとが入力される。
ノイズ除去信号生成部２６は、上記ノイズ区間情報ＮSが供給されたときにのみ、上記入力音声信号Ａin-2における上記ノイズ区間情報ＮSが示すノイズ区間を補間するためのノイズ除去信号を生成し、これを上記信号挿入部２７に対して供給する。
なお、このノイズ除去信号生成部２６の内部構成及び動作については後述する。
【００８２】
信号挿入部２７には、ノイズ除去信号生成部２６からのノイズ除去信号と共に、ディレイ回路２１とディレイ回路２２とディレイ回路２３とを介して得られる入力音声信号Ａin-3と、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSとが入力される。
この信号挿入部２７は、上記ノイズ区間情報ＮSの供給の有無に応じて、上記入力音声信号Ａin-3をそのまま出力するか、或いは上記入力音声信号Ａin-3における上記ノイズ区間情報ＮSが示すノイズ区間に、上記入力音声信号Ａin-3に代えて上記ノイズ除去信号を出力するかを選択可能に構成される。
すなわち、信号挿入部２７は、上記ノイズ区間情報ＮSが供給されない場合は上記入力音声信号Ａin-3をそのまま出力する。また、上記ノイズ区間情報ＮSが供給された場合は上記入力音声信号Ａin-3における上記ノイズ区間情報ＮSが示すノイズ区間に、上記入力音声信号Ａin-3に代えて上記ノイズ除去信号を挿入して出力する。
この信号挿入部２７の選択出力は、図示するようにして音声出力信号Ａoutとして音声信号処理部３に対して供給される。
【００８３】
なお、上記ディレイ回路２２、及びディレイ回路２３に設定されるべき遅延時間については後述する。
【００８４】
ここで、本実施の形態のノイズ除去信号の生成手法について説明する。
図１５は、図２に示すノイズ除去信号生成部２６の内部構成を示している。
この図１５に示すようにしてノイズ除去信号生成部２６内には、ディレイ回路３１、前半ピッチ計算部３２、後半ピッチ計算部３３、前半信号生成部３４、後半信号生成部３５、クロスフェード処理部３６が備えられる。
先の図２にも示されているように、ノイズ除去信号生成部２６には、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSと、ディレイ回路２２からの入力音声信号Ａin-2とが供給される。図示は省略しているが、これらのうち上記ノイズ区間情報ＮSは、ノイズ除去信号生成部２６内の各部に対して供給されている。
【００８５】
図１５において、先ず前半ピッチ計算部３２、後半ピッチ計算部３３に対しては、上記入力音声信号Ａin-2が入力される。
上記前半ピッチ計算部３２は、入力音声信号Ａin-2について、ノイズ区間情報ＮSにより示されるノイズ区間の開始点を基準としてその前後の最も相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す前半ピッチ情報Ｐ-fを得る。
また、上記後半ピッチ計算部３３は、入力音声信号Ａin-2について、ノイズ区間情報ＮSにより示されるノイズ区間の終了点を基準としてその前後の最も相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す後半ピッチ情報Ｐ-rを得る。
【００８６】
上記前半ピッチ計算部３２及び後半ピッチ計算部３３において、上記ピッチ周期は、例えば以下で定義するような平均歪みを最小にするサンプル数Tとして算出することができる。
(1 / T) * Σt = 0 〜 T-1 {Ain(t) - Ain(t + T)}2
又は、
(1 / T) * Σt = 0 〜 T-1 | Ain(t) - Ain(t + T) |
このようにして上記前半ピッチ計算部３２及び後半ピッチ計算部３３においては、波形相関が最も高くなるようなピッチ周期が算出される。
【００８７】
なお、上記のようにしてこの場合のピッチ周期の計算時には、ノイズ区間の開始点・終了点を基準としてその前後も対象とすることで、ノイズ区間内の部分もピッチ計算の対象としているが、これは、実施の形態ではノイズ区間を実際にＨＤＤノイズの存在する区間に対して広めに設定しているためであり、さらに、ＨＤＤノイズは極めてレベルの小さい信号でありピッチ計算において支配的な信号にはならないためである。
【００８８】
上記前半ピッチ計算部３２にて得られた前半ピッチ情報Ｐ-fは、前半信号生成部３４に対して供給される。また、上記後半ピッチ計算部３３にて得られた後半ピッチ情報Ｐ-rは後半信号生成部３５に対して供給される。
【００８９】
前半信号生成部３４、及び後半信号生成部３５に対しては、入力音声信号Ａin-2が図示するディレイ回路３１によって遅延された入力音声信号Ａin-2dが入力される。
なお、このディレイ回路３１に設定されるべき遅延時間については後述する。
【００９０】
前半信号生成部３４は、上記入力音声信号Ain-2dと、上記前半ピッチ情報Ｐ-fとに基き、次の図１６に説明するようにして前半信号を生成する。
また後半信号生成部３５は、上記入力音声信号Ain-2dと上記後半ピッチ情報Ｐ-rとに基き、次の図１７に説明するようにして後半信号を生成する。
【００９１】
図１６、図１７は、上記前半信号生成部３４における前半信号の生成処理と、後半信号生成部３５における後半信号の生成処理とについてそれぞれ模式的に示している。
先ず、図１６において、例えば図１６（ａ）に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、前半ピッチ計算部３２によっては、図１６（ｂ）に示すようなピッチ周期が計算される。先の説明からも理解されるように、このようなピッチ周期は、ノイズ区間の開始点を基準として、その前後において最も波形相関の高くなる周期が算出される。
【００９２】
そして、前半信号生成部３４は、このようなピッチ周期により特定される２つの区間（ピッチ区間）を示す前半ピッチ情報Ｐ-fに基づき、入力音声信号について所定の信号処理を施すことによって前半信号を生成する。
つまり、前半信号生成部３４は、先ずは入力音声信号（Ａin-2d）における、上記前半ピッチ情報Ｐ-fにより示される２つのピッチ区間の信号に対して、図１６（ｃ）に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。
図示するようにしてこの場合の重み窓データは、ノイズ区間の開始点を「１」として、それぞれのピッチ区間の端点側に向けて徐々に「０」に向けて低下するような窓データが設定される。
【００９３】
そして、前半信号生成部３４は、このようにしてそれぞれの窓データにより重み付けされた音声信号を図１６（ｄ）に示すようにして加算することにより、１ピッチ周期分の重み付け加算信号を得る。
その上で、次の図１６（ｅ）に示すようにして、この１ピッチ周期分の重み付け加算信号をノイズ区間の開始点からノイズ区間の終了点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。図示するようにしてこの場合は、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するものとしている。
【００９４】
ここで、個々の重み付け加算信号は、元々波形相関の高い信号同士を重み付け加算したものであり、またそれを繰り返した上記繰り返し重み付け加算信号は、入力音声信号の連続性を保持した繰り返し手法であるため、このようにして生成される繰り返し重み付け加算信号は聴感上極めて自然な音声信号とすることができる。
前半信号生成部３４は、この繰り返し重み付け加算信号を前半信号として出力する。
【００９５】
また、図１７は、後半信号生成部３５における後半信号の生成処理について示している。
この場合も、例えば図１７（ａ）に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、後半ピッチ計算部３３によっては、図１７（ｂ）に示すようなピッチ周期が計算される。このような後半ピッチ計算部３３によって計算されるピッチ周期としても、ノイズ区間の終了点を基準として、その前後において最も波形相関の高くなる周期となる。
【００９６】
そして、後半信号生成部３５としても、このようなピッチ周期により特定される２つのピッチ区間を示す後半ピッチ情報Ｐ-rに基づき、入力音声信号について所定の信号処理を施すことによって後半信号を生成する。
すなわち後半信号生成部３５は、入力音声信号（Ａin-2d）における、上記後半ピッチ情報Ｐ-rにより示される２つのピッチ区間の信号に対して、図１７（ｃ）に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。この場合の重み窓データとしても、図示するようにしてノイズ区間の終了点を「１」として、それぞれのピッチ区間の端点側に向けて徐々に「０」に向けて低下するような窓データが設定される。
【００９７】
そして、後半信号生成部３５としても、このようにしてそれぞれの窓データにより重み付けされた入力音声信号を、次の図１７（ｄ）に示すようにして加算して１ピッチ周期分の重み付け加算信号を得る。
その上で、図１７（ｅ）に示すようにして、この１ピッチ周期分の重み付け加算信号をノイズ区間の終了点からノイズ区間の開始点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。この場合も、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するようにされる。
【００９８】
後半信号生成部３５は、このようにして生成した繰り返し重み付け加算信号を後半信号として出力する。この後半信号としても、上記のようにして前半信号の場合と同様の手法により生成されることで、聴感上極めて自然な音声信号とすることができる。
【００９９】
説明を図１５に戻す。
クロスフェード処理部３６は、前半信号生成部３４が出力する前半信号と、後半信号生成部３５が出力する後半信号とを入力し、それらのクロスフェード処理を行ってノイズ除去信号を生成する。
【０１００】
図１８は、クロスフェード処理部３６のクロスフェード処理について模式的に示した図である。
クロスフェード処理部３６では、図１８（ａ）に示されるようにして、前半信号生成部３４からの前半信号に対し、図のような重み窓データを乗算して重み付けを行う。
同様に、図１８（ｂ）に示されるようにして、後半信号生成部３５からの後半信号に対しても、図のような重み窓データを乗算して重み付けを行う。
前半信号、後半信号に対して重み付けを行うための窓データは、それぞれ図示するようにして前半信号と後半信号とがオーバーラップする区間の長さを有し、「１」から「０」に徐々に低下するものが設定される。具体的に、前半信号に対する窓データは、後半信号の開始点を「１」として、前半信号の終了点にかけて徐々に「０」に向けて低下するものが設定される。また、後半信号に対する窓データとしては、前半信号の終了点を「１」として後半信号の開始点にかけて徐々に「０」に向けて低下するものが設定される。
【０１０１】
そして、クロスフェード処理部３６は、このようにして重み付けされた前半信号および後半信号を、次の図１８（ｃ）に示すように加算することにより、ノイズ区間と等しい長さの前半・後半重み付け加算信号を得る。
クロスフェード処理部３６は、このような処理により生成された前半・後半重み付け加算信号（つまりクロスフェード信号）を、ノイズ除去信号として出力する。
【０１０２】
先に述べたようにしてこのノイズ除去信号は、図２（図１５）に示される信号挿入部２７に入力され、これが入力音声信号（Ａin-3）におけるノイズ区間に挿入されることで、ノイズ除去が行われるようになっている。
【０１０３】
なお、以上のようにしてノイズ除去が行われるノイズ検出・除去部２においては、複数のディレイ回路が設けられているが、ここでそれら各ディレイ回路（２１，２２，２３，２８，３１）に設定されるべき遅延時間について整理しておく。
先ず、ディレイ回路２１の遅延時間としては、少なくともノイズ埋没判定部２５によるノイズ発生予想区間内についての埋没判定結果情報Ｍが出力された後に、ノイズタイミング検出・ノイズ区間設定部２４に対して入力音声信号Ａin-1のノイズ発生予想区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。
【０１０４】
また、ディレイ回路２２の遅延時間としては、ノイズタイミング検出・ノイズ区間設定部２４によるノイズ区間の設定後において、ノイズ除去信号生成部２６に対して入力音声信号Ａin-2のノイズ区間の開始点より前の信号部分が供給されるように設定されればよい。
【０１０５】
また、ディレイ回路３１については、前半ピッチ情報Ｐ-fの出力後に前半信号生成部３４に入力音声信号Ａin-2dのノイズ区間開始点より所定分前の信号部分が供給され、且つ後半ピッチ情報Ｐ-rの出力後に後半信号生成部３５に入力音声信号Ａin-2dのノイズ区間終了点より所定分前の信号部分が供給されるようにしてその遅延時間が設定されればよい。
【０１０６】
また、ディレイ回路２３については、ノイズ除去信号生成部２６によるノイズ除去信号の生成後に、信号挿入部２７に対して入力音声信号Ａin-3のノイズ区間開始点より前の信号部分が供給されるようにその遅延時間が設定されればよい。
【０１０７】
各ディレイ回路に対してこのような遅延時間を設定することで、連続的に入力される入力音声信号について、埋没判定結果に応じてノイズ検出動作を実行／不実行とする動作と、ノイズ検出に応じてそのノイズ区間を補間してノイズを除去する動作とがそれぞれ適正に行われるようにすることができる。
【０１０８】
[実施の形態のまとめ及び変形例]
これまでで説明したようにして、本実施の形態のビデオカメラ装置１では、入力音声信号Ａin中において、その発生期間が所定時間以下で且つパワーが所定範囲内となる信号成分が得られたか否かを実際に判別した結果に基づき、ＨＤＤノイズの検出を行うものとしている。これによれば、例えばＨＤＤ１０への記録開始／停止指示のタイミングからノイズ発生区間を設定する等、ノイズ発生源としての部位に対する制御タイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングを検出することができ、これによってノイズ区間は必要最小限の区間を設定することができる。
このようにしてノイズ区間を必要最小限に設定することができれば、ノイズ除去に伴い生じる可能性のある音質劣化部分としても最小限に抑えることができる。
【０１０９】
ここで、上記のようにして発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別した結果に基づき行う本例のノイズ検出の有効性について、次の図１９を用いて説明しておく。この図１９の各図では横軸を時間、縦軸をパワーとして音声信号の時間波形を示しており、（ａ）図ではＨＤＤノイズ信号を、（ｂ）〜（ｅ）図ではＨＤＤノイズ以外の音声信号を例示的に示している。
【０１１０】
先ず、上記のような本例の手法の場合、ノイズ発生期間の条件を定義するための上記所定時間の情報と、パワーについて定義するための上記所定範囲の情報とは、図１９（ａ）に示すような実際のＨＤＤノイズの発生期間、及びそのパワーに基づいてそれぞれ設定される。つまり、この図に示す例では、上記所定時間の情報は時間軸方向に２目盛り分の時間長とし、上記所定範囲の情報は図示するような閾値ｔｈ-aと閾値ｔｈ-bとにより定義される範囲に設定される。
なお確認のために述べておくと、先の図１２の例においては、中心範囲（ｉ〜ｉ＋１）が上記所定時間に相当するものとなっている。また、図１２の例では、中心範囲とその周辺範囲とのパワー差について設定された「所定範囲」の情報が、上記のような閾値ｔｈ-aと閾値ｔｈ-bとにより定義される範囲に相当する役割を担うものとなっている。
【０１１１】
先の図１２にて説明した本例の手法は、入力音声信号における各時間において、その発生期間が上記所定時間以下となり且つパワーが上記閾値ｔｈ-a〜ｔｈ-bの範囲内に収まる信号成分が得られるか否かを順次判別し、その判別結果に基づきＨＤＤノイズを検出していることに相当する。
【０１１２】
このような発生期間とパワーの制限に基づく判別が行われることで、例えば図１９（ｂ）のような音声信号については、その発生期間が範囲外と判別されて、ＨＤＤノイズの誤検出が防止される。
また、図１９（ｃ）に示されるような発生期間が所定時間以下となる、ＨＤＤノイズと良く似た波形が得れた場合においても、パワーが所定範囲外と判別されることで同様に誤検出を防止することができる。
【０１１３】
さらに、図１９（ｄ）のように比較的パワーの大きな音声信号についてはノイズは検出されないものとなるが、このとき図中の破線で示すように実際にはＨＤＤノイズが含まれていることもある。しかしながらこの場合において、ＨＤＤノイズは背景音に埋没するため、ノイズが検出されないことによる実質的な弊害はないものとできる。
また図１９（ｅ）のようなフロアノイズに対してもノイズの検出は行われないようにすることができる。
【０１１４】
この図１９の説明から理解されるように、本例のように発生期間が所定時間以下で且つパワーが所定範囲内となる信号成分が得られたか否かを判別した結果に基づくノイズ検出手法としたことで、ノイズ検出を有効に行うことができる。
【０１１５】
ところで、本実施の形態のように実際にノイズの発生タイミングを検出する手法としては、他にも例えばＨＤＤ１０に対してノイズ検出用のセンサ（例えばマイクや振動センサなど）を設ける手法も考えられる。
しかしながら、このようなセンサとして例えばマイクを用いる場合は、当該マイクに背景音が混入してノイズが誤検出される可能性が高くなる。また、振動センサを用いる場合は、このような背景音に依る誤検出は防止されるものの、使用時に与えられる衝撃等による誤検出が問題となる。
さらには、このように別途のセンサを用いる手法は、センサの追加分によるコスト増や、省スペース化の妨げとなる。
【０１１６】
これに対し本例のノイズ検出手法は、先の図１９による説明のように有効にＨＤＤノイズを検出することができ、また音声信号に基づく検出であるので振動に伴う誤検出も防止することができる。
また、本例のノイズ検出手法としては、音声信号に基づく信号処理のみで行うことが可能であるので、追加構成は最小でプログラムの書き換えのみで実現可能となり、その分、追加コストの抑制や省スペース化を図ることができる。
【０１１７】
また、本実施の形態によるノイズ検出手法は、間欠的に発生する比較的期間の短いノイズの検出に好適な手法とすることができる。
つまり、本例の手法では、上述のようにして発生期間が所定時間以下であるか否かを判別するので、比較的発生期間の短いノイズの検出に好適なものとなる。また、仮にノイズの発生期間が比較的長い場合には、判別のためにパワーを計算する範囲も広くなり、その分、分析部２４Ｄの処理負担も増大化する傾向となるが、本例のＨＤＤノイズのように発生期間が比較的短いノイズを対象とする場合には、分析部２４Ｄにおける処理負担は少ないものとすることができ、この点でも間欠的に生じるノイズの検出に好適な手法となる。
【０１１８】
また、本実施の形態では、上記のようなノイズ検出のための動作を、ノイズ発生タイミングが含まれるとされる所定区間内でのみ行うものとしている。具体的には、ＨＤＤ１０に対する記録開始／停止指示に応じてシステムコントローラ１１が出力するノイズ発生予想区間情報ＮcSが示す範囲内でのみ行うものとしている。
これにより、ノイズタイミング検出・ノイズ区間設定部２４では、常時ノイズタイミング検出のための動作を行う必要はないものとでき、その分の処理負担と消費電力とを削減することができる。
【０１１９】
また、このとき、ノイズ検出のための動作はあくまでＨＤＤノイズの発生することが予想される区間内で行われるものであるので、上記のようにその動作期間が削減されることによるＨＤＤノイズの検出漏れはないものとすることができる。すなわちこのことから、ＨＤＤノイズの検出漏れの防止と、処理負担・消費電力の削減との両立が図られるものである。
【０１２０】
さらに、このようにノイズ検出を行うための期間がノイズ発生予想区間内に限られることによっては、ノイズの誤検出の防止効果も期待できる。
例えばこのような動作期間の限定がなく常時ノイズ検出のための動作が行われた場合には、ノイズ発生予想区間外でＨＤＤノイズと良く似た特性の信号が得られた場合にそれを誤検出してしまう可能性が皆無ではない。このことから、上記のようにしてノイズ検出を行うための期間がノイズ発生予想区間内に限られることにより、ノイズ誤検出の防止も図られることが理解できる。
【０１２１】
また、実施の形態では、ノイズ埋没判定部２５の動作により、ＨＤＤノイズが入力音声信号Ａinにおける背景音に埋没しないとされた場合にのみノイズタイミング検出・ノイズ区間設定部２４によるノイズ検出のための動作が実行されるようにしているが、これにより、ＨＤＤノイズが背景音に埋没しノイズ除去を行う必要がない場合に、後段のノイズ除去信号生成部２６及び信号挿入部２７により無駄なノイズ除去が行われてしまうことを効果的に防止することができる。
すなわち、このようにしてＨＤＤノイズが埋没しないとされた場合にのみノイズ検出のための動作が実行されるようにすることで、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSに基づきノイズ除去信号生成動作、信号挿入動作を行うようにされたノイズ除去信号生成部２６、信号挿入部２７によってはノイズ除去動作が行われないようにすることができ、この結果、ＨＤＤノイズが背景音に埋没しノイズ除去が不要な場合における無駄なノイズ除去が行われてしまうことを有効に防止することができる。
このように無駄なノイズ除去が行われないようにすることができれば、その分ノイズ除去に伴う音質劣化の機会も有効に削減することができ、その分音質劣化を低減することができる。
【０１２２】
また、上記のようにしてＨＤＤノイズが背景音に埋没しないとされた場合にのみノイズタイミング検出・ノイズ区間設定部２４によるノイズ検出動作を実行させれば、ノイズ区間情報ＮSが供給された場合にのみ動作するようにされたノイズ除去信号生成部２６についても同様にＨＤＤノイズが背景音に埋没しないとされた場合にのみその動作を実行させることができる。
これによれば、ＨＤＤノイズが背景音に埋没しノイズ除去を行う必要がない場合に、ノイズタイミング検出・ノイズ区間設定部２４と共に上記ノイズ除去信号生成部２６においても無駄な動作が行われてしまうことを効果的に防止することができ、その分これら各部の処理負担の低減と消費電力の削減を図ることもできる。
【０１２３】
また、実施の形態では、上記のようなノイズ埋没判定部２５によるノイズ埋没判定のための信号分析としてもこれを常時行うものとはせず、ＨＤＤノイズの発生するとされる区間内でのみ行うものとしている。具体的には、システムコントローラ１１が出力するノイズ発生予想区間情報ＮcSが示す予想区間内でのみ行うものとしている。
このようにしてノイズ埋没判定のための信号分析を行う期間がノイズの発生するとされる区間内のみに絞られれば、その分ノイズ埋没判定部２５の処理負担を軽減することができ、またその消費電力としても削減を図ることができる。
【０１２４】
そして、ノイズ埋没判定としても、このように少なくともノイズが発生するとされる区間内でのみ信号分析が行われるものとされることで、ノイズ埋没判定の判定漏れがないようにすることができ、このことで判定漏れの防止と上記のような処理負担・消費電力の削減と両立が図られるものとなる。
【０１２５】
また、実施の形態では、ノイズタイミング検出・ノイズ区間設定部２４において、検出されたノイスタイミングに基づく所定区間をノイズ区間として設定し、入力音声信号Ａin中のこのノイズ区間に対し、入力音声信号Ａinから生成したノイズ除去信号を置き換えるようにして挿入することで、ノイズ除去を行うものとしている。
これによれば、本実施の形態のＨＤＤノイズのように、その発生期間が非常に短く、また比較的広い周波数帯域にわたりパワーが分布するノイズに対し、例えば従来の適応型フィルタを用いる手法や逆位相信号を加算する手法などが採られる場合と比較して、より有効にノイズ除去を行うことができる。
【０１２６】
また、実施の形態では、ノイズ区間の開始点前後の入力音声信号Ａin、及びノイズ区間の終了点前後の入力音声信号Ａinに対してピッチ計算を行い、得られたピッチ情報Ｐに基いてノイズ区間を補間するための前半信号および後半信号の生成を行い、これら前半信号と後半信号とのクロスフェード処理を行ってノイズ除去信号を生成するものとしたが、これにより、ノイズ区間前後の音声のつながりが聴感上極めて自然となるようにすることのできるノイズ除去信号を生成することができる。すなわち、このようなノイズ除去信号を用いて、聴感上極めて自然にノイズ区間を補間することができる。
【０１２７】
−実施の形態の変形例−
＜第１の変形例＞
以下、実施の形態の変形例について説明する。
先ず、第１の変形例は、これまでで説明した実施の形態としての動作を、ソフトウェア処理により実現するものである。
ここでは一例として、ビデオカメラ装置の全体制御を行うシステムコントローラのソフトウエア処理により実施の形態としての動作を実現する場合について説明する。
【０１２８】
図２０は、第１の変形例としてのビデオカメラ装置１５の内部構成を示すブロック図である。なお、この図において、既に図２にて説明した部分と同様となる部分については同一符号を付して説明を省略する。
図示するようにしてこの場合は、外部音収音マイク１ｂからの入力音声信号Ａin（Ａin-0）、ディレイ回路２１からの入力音声信号Ａin-1、ディレイ回路２２からの入力音声信号Ａin-2、ディレイ回路３１からの入力音声信号Ａin-2d、及びディレイ回路２３からの入力音声信号Ａin-3が、それぞれシステムコントローラ１６に対して供給される。
この場合のシステムコントローラ１６としても、先に説明したシステムコントローラ１１と同様に、間欠アクセスのための制御処理を行うものとされる。
【０１２９】
図２１〜図２４は、先に説明した実施の形態としての動作を実現するために、システムコントローラ１６が実行すべき処理動作について示したフローチャートである。なお、これらの図に示す処理動作は、システムコントローラ１６が例えば内部のＲＯＭ等に格納されるプログラムに基づいて実行するものである。
【０１３０】
先ず、図２１では、図２に示したノイズ埋没判定部２５の動作に対応した処理動作について示している。
図２１において、先ずステップＳ１０１では、記録開始／停止指示の発生を待機する。つまり、この図に示す処理動作とは並行して行われることになる間欠アクセスのための制御処理によって行われる、ＨＤＤ１０への記録開始指示又は記録停止指示の発生を待機するようにされる。
そして、記録開始／停止指示があった場合は、ステップＳ１０２において、ノイズ発生予想区間の設定処理を行う。すなわち、上記のようにして記録開始／停止指示のタイミングが検出されたことに応じ、そのタイミングに基づくノイズ発生予想区間（ノイズ発生予想区間情報ＮcS）を設定するものである。
【０１３１】
なお、ここでは記録開始／停止指示に応じたノイズ発生予想区間の設定処理がノイズ埋没判定処理内に組み込まれたものとして示しているが、このようなノイズ発生予想区間の設定処理は別途単独で行われるようにしてもよいし、後に説明する図２２、図２３の処理に組み込まれてもよい。
【０１３２】
続くステップＳ１０３では、入力音声信号Ａin-0を入力する。
そして、ステップＳ１０４では、ノイズ発生予想区間における入力音声信号Ａin-0のパワー（Ｐ-NcSとする）を計算する。つまり、このパワーＰ-NcSとしては、先に説明したノイズ埋没判定部２５と同様に、ノイズ区間における入力音声信号Ａin-0の例えば時間波形のパワーを計算する。このような入力音声信号Ａin-0の時間波形のパワーは、先にも述べたように各時間における入力音声信号Ａin-0の値の２乗和により算出することができる。
【０１３３】
ステップＳ１０５では、計算したパワーＰ-NcSが閾値ｔｈ-pを超えるか否かについて判別処理を行う。パワーＰ-NcSが閾値ｔｈ-pを超えるとして肯定結果が得られた場合は、ステップＳ１０６に進みノイズ埋没判定を行って「ＲＥＴＵＲＮ」となる。
一方、パワーＰ-NcSが閾値ｔｈ-pを超えないとして否定結果が得られた場合は、ステップＳ１０７に進んでノイズ非埋没判定を行って「ＲＥＴＵＲＮ」となる。
【０１３４】
また、図２２は、図９に示した時間周波数変換部２４Ａ及びスペクトログラム生成部２４Ｂによる時間周波数変換・スペクトログラム生成動作に対応した処理動作について示している。
先ず、ステップＳ２０１では記録開始／停止指示を待機し、記録開始／停止指示があった場合には、ステップＳ２０２においてノイズ非埋没判定があったか否かを判別する。ノイズ非埋没判定がなかったとして否定結果が得られた場合は、図示するようにして「ＲＥＴＵＲＮ」となり、これによってＨＤＤノイズが埋没する場合の不要なスペクトログラム生成動作の実行が防止される。
【０１３５】
一方、ノイズ非埋没判定があったとして肯定結果が得られた場合は、ステップＳ２０３に進み入力音声信号Ａin-1の入力を開始した後、続くステップＳ２０４において変換長２Ｎ分の待機処理を実行する。すなわち、先に説明したようにして時間周波数変換について設定された変換長＝２Ｎサンプル分の時間長の待機処理を実行する。
【０１３６】
そして、次のステップＳ２０５では、変換長２Ｎの時間周波数変換として、入力音声信号Ａin-1について変換長２Ｎの時間周波数変換を行ってＮ個の周波数スペクトルを得る。
さらにステップＳ２０６では、変換により得られたスペクトルに基づきスペクトログラムを更新する。この場合、スペクトログラムは、例えばシステムコントローラ１６が備えるＲＡＭ等において生成されればよい。
【０１３７】
ステップＳ２０７では、Ｎ／２サンプル分の時間長が経過したか否かについて判別処理を行う。Ｎ／２サンプル分の時間長が未だ経過していないとして否定結果が得られた場合は、ステップＳ２０８においてノイズ発生予想区間が終了したか否かについて判別処理を行い、このステップＳ２０８にてノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合は、上記ステップＳ２０７に戻るようにされる。
これらステップＳ２０７とステップＳ２０８によっては、Ｎ／２サンプル分の時間長の経過と、ノイズ発生予想区間の終了との何れかを待機するようにされている。
【０１３８】
そして、上記ステップＳ２０７において、Ｎ／２サンプル分の時間長が経過したとして肯定結果が得られた場合は、先のステップＳ２０５に戻り、再度変換長２Ｎの時間周波数変換を行うようにされる。
【０１３９】
また、上記ステップＳ２０８において、ノイズ発生予想区間が終了したとして肯定結果が得られた場合は、図示するようにして「ＲＥＴＵＲＮ」となる。
【０１４０】
図２３は、図９に示した分析部２４Ｄ、ノイズ区間設定部２４Ｅによるノイズタイミング検出・ノイズ区間設定動作に対応した処理動作について示している。
図２３において、ステップＳ３０１では、記録開始／停止指示の発生を待機する。
そして、記録開始／停止指示があった場合は、ステップＳ３０２においてノイズ非埋没判定があったか否かを判別する。ノイズ非埋没判定がなかったとして否定結果が得られた場合は、図示するようにして「ＲＥＴＵＲＮ」となり、これによってＨＤＤノイズが埋没する場合の不要なノイズ検出動作の実行が防止される。
【０１４１】
また、上記ステップＳ３０２において、ノイズ非埋没判定があったとして肯定結果が得られた場合は、ステップＳ３０３に進んで８フレーム分の時間長の待機処理を実行する。すなわち、先ずはノイズ検出のために必要なフレーム数分のスペクトログラムが生成されるまで待機するようにされているものである。
【０１４２】
続くステップＳ３０４では、ｉ＝４を設定する。すなわち、ノイズ検出にあたり基準とするフレームをｉ＝４番目のフレームに設定する。
そして、次のステップＳ３０５では、スペクトログラムにおけるｉ番目とｉ＋１番目のフレームのパワー（Ｐｍとする）を計算する。すなわち、先の図１２にて説明したように先ずはｉ番目のフレームを基準とした中心範囲のパワーを計算するものである。
【０１４３】
さらに、続くステップＳ３０６では、スペクトログラムにおけるｉ−３〜ｉ−１番目のフレームとｉ＋２〜ｉ＋４番目のフレームのパワー（Ｐｓｈ）を計算する。つまり、上記中心範囲と隣接する周辺範囲のパワーを計算する。
【０１４４】
なお、図示は省略しているが、上記ステップＳ３０５とＳ３０６の処理において上記中心範囲と上記周辺範囲とのパワー計算を行うにあたっては、先に説明したようにして所定の周波数帯域（ｊａ〜ｊｂ）を対象としてのみそれぞれパワー計算を行うようにされる。
【０１４５】
その上で、ステップＳ３０７では、計算した中心範囲のパワーＰｍと周辺範囲のパワーＰｓｈとのパワー差（Ｐｍ−Ｐｓｈ）が所定範囲内であるか否かについて判別処理を行う。
ステップＳ３０７において、中心範囲のパワーＰｍと周辺範囲のパワーＰｓｈとのパワー差が所定範囲内ではないとして否定結果が得られた場合は、ステップＳ３０８に進み、１フレーム分の時間長が経過したか否かについて判別処理を行う。そして、１フレーム分の時間長が未だ経過していないとして否定結果が得られた場合は、ステップＳ３０９に進んでノイズ発生予想区間が終了したか否かについて判別処理を行う。このステップＳ３０９においてノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合は、上記ステップＳ３０８に戻るようにされる。これらステップＳ３０８とＳ３０９とによっては、１フレーム分の時間長の経過と、ノイズ発生予想区間の終了との何れかを待機するようにされている。
【０１４６】
上記ステップＳ３０９において、ノイズ発生予想区間が終了したとして肯定結果が得られた場合は、図示するようにして「ＲＥＴＵＲＮ」となる。
また、一方の上記ステップＳ３０８において、１フレーム分の時間長が経過したとして肯定結果が得られた場合は、ステップＳ３１０に進んでｉの値を１インクリメントした後、先のステップＳ３０５に戻って中心範囲のパワー計算、周辺範囲のパワー計算（Ｓ３０６）、パワー差が所定範囲内であるか否かの判別処理（Ｓ３０７）を再度行うようにされる。すなわち、これによって各フレーム（各時間）ごとのパワー計算・パワー差についての判別処理が行われるようになっている。
【０１４７】
また、先のステップＳ３０７において、中心範囲のパワーＰｍと周辺範囲のパワーＰｓｈとのパワー差が所定範囲内であるとして肯定結果が得られた場合は、ステップＳ３１１に進み、ｉ番目のフレームを含む所定期間をノイズ区間に設定した後、図示するようにして「ＲＥＴＵＲＮ」となる。
【０１４８】
さらに、図２４は、ノイズ除去信号生成部２６、信号挿入部２７によるノイズ除去動作に対応した処理動作を示している。
先ず、ステップＳ４０１では、上記ステップＳ３１１によるノイズ区間の設定を待機するようにされる。そして、ノイズ区間の設定があった場合は、ステップＳ４０２において入力音声信号Ａin-2を入力する。
【０１４９】
続くステップＳ４０３では、前半ピッチ情報Ｐ-f、後半ピッチ情報Ｐ-rを計算する処理を実行する。すなわち、先に説明した前半ピッチ計算部３２、後半ピッチ計算部３３と同様に、入力音声信号Ａin-2のノイズ区間開始点前後のピッチ周期、終了点前後のピッチ周期を計算し、それら計算したピッチ周期から前半ピッチ情報Ｐ-f、後半ピッチ情報Ｐ-rを得る。
【０１５０】
ステップＳ４０４では、入力音声信号Ａin-2dを入力する。
そして、ステップＳ４０５では、前半ピッチ情報Ｐ-fに基づき前半信号を生成するための処理を実行する。すなわち、入力音声信号Ａin-2dについて、前半ピッチ情報Ｐ-fにより示される２つのピッチ区間の信号に先の図１６（ｃ）に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図１６（ｄ）に示したようにノイズ区間の開始点から終了点側に所定回数繰り返すことで前半信号を生成する。
【０１５１】
また、ステップＳ４０６では、後半ピッチ情報Ｐ-rに基づき後半信号を生成するための処理を実行する。すなわち、入力音声信号Ａin-2dについて、後半ピッチ情報Ｐ-rにより示される２つのピッチ区間の信号に先の図１７（ｃ）に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図１７（ｄ）に示したようにノイズ区間の終了点から開始点側に所定回数繰り返すことで後半信号を生成する。
【０１５２】
そして、ステップＳ４０７では、前半信号・後半信号のクロスフェード処理を実行する。つまり、上記のようにして生成した前半信号、後半信号について、先の図１８に示したようなクロスフェード処理を実行してクロスフェード信号（ノイズ除去信号）を得る。
【０１５３】
続くステップＳ４０８では、入力音声信号Ａin-3のノイズ区間にノイズ除去信号を挿入して出力するための処理を実行する。すなわち、入力される上記入力音声信号Ａin-3と、上記のようにして生成したノイズ除去信号とのうち上記ノイズ除去信号を選択し、これを上記入力音声信号Ａin-3のノイズ区間の信号部分の代わりに出力する。
これにより、図１８に示す出力音声信号Ａoutとして、ＨＤＤノイズが除去された信号を出力することができる。
【０１５４】
＜第２の変形例＞
続いて、第２の変形例について説明する。
第２の変形例は、先の実施の形態の場合はノイズ埋没判定部２５にてノイズ発生予想区間の全体についてパワー計算を行うことで、ノイズ発生予想区間内全体についての埋没判定を行うようにしていたものを、各時間ごとにパワー計算を行って各時間ごとに埋没判定を行うようにしたものである。
【０１５５】
図２５は、このような第２の変形例としての動作を実現するためのノイズタイミング検出・ノイズ区間設定部２４の内部構成について示している。
なお、この図２５において、先の図９にて説明した部分と同様となる部分については同一符号を付して説明を省略する。
また、第２の変形例の場合、先の図２に示したノイズ埋没判定部２５は省略されるものとなる。さらに、この場合は、ノイズタイミング検出・ノイズ区間設定部２４の前段で埋没判定動作を行うものではないので、先の実施の形態の場合のように埋没判定結果を待つためのディレイ回路２１も省略される。
【０１５６】
この場合のノイズタイミング検出・ノイズ区間設定部２４に対しては、図示するようにして外部音収音マイク１ｂからの入力音声信号Ａin（Ａin-0）が供給され、これが時間周波数変換部２４Ａに対して供給される。
【０１５７】
そして、この場合のノイズタイミング検出・ノイズ区間設定部２４には、図示するパワー計算・埋没判定部２４Ｆが新たに追加される。
このパワー計算・埋没判定部２４Ｆには、図２に示したシステムコントローラ１１からのノイズ発生予想区間情報ＮcSが供給される。パワー計算・埋没判定部２４Ｆは、このノイズ発生予想区間情報ＮcSにより示されるノイズ発生予想区間内でのみ、メモリ２４Ｃ内にて生成されるスペクトログラムについて、各時間ごとにその所定範囲のパワー計算を順次行い、各時間ごとにそのパワー計算結果に基づくノイズ埋没判定動作を行う。そして、その結果を順次分析部２４Ｄに供給する。
【０１５８】
図２６は、上記パワー計算・埋没判定部２４Ｆによる動作について説明するための図として、メモリ２４Ｃ内に生成されるスペクトログラムを示している。
パワー計算・埋没判定部２４Ｆは、スペクトログラムにおける各フレーム（ｉ番目のフレームとする）ごとに、そのｉ番目のフレームを基準としてｉ−３〜ｉ＋４番目のフレームのパワーを計算する。すなわち、これによって分析部２４Ｄが各時間でパワー計算対象とする中心範囲と周辺範囲との合計パワーを計算するようにされているものである。この場合は、分析部２４Ｄにて周波数ｊａ〜ｊｂのみを対象としてパワー計算を行うことに対応させて、パワー計算・埋没判定部２４Ｆとしても、図示するようにｉ−３〜ｉ＋４番目のフレームにおける周波数ｊａ〜ｊｂまでの範囲についてのみパワー計算を行う。
このようなパワー計算・埋没判定部２４Ｆによるパワー計算は、スペクトログラムをS(f,t)とした場合以下のように表わされる。
Σt=i-3〜i + 4Σf=ja〜jb{S(f,t)}2／８
【０１５９】
そして、パワー計算・埋没判定部２４Ｆは、このようにして計算したｉ−３〜ｉ＋４番目のフレームのパワー（Ｐａとする）と、予め定められた閾値ｔｈ−ｐａとを比較した結果に基づき、各時間ごとに、分析部２４Ｄが各時間でパワー計算対象とする範囲についての埋没判定を行う。具体的に、上記パワーＰａが閾値ｔｈ−ｐａを超えない場合には、人間の聴覚がＨＤＤノイズを知覚することができる、すなわちノイズが背景音に埋没しないとの判定結果を分析部２４Ｄに出力し、また上記パワーＰａが閾値ｔｈ−ｐａを超える場合には、人間の聴覚がＨＤＤノイズを知覚することができない、すなわちノイズが背景音に埋没するとの判定結果を分析部２４Ｄに出力する。
【０１６０】
図２５において、この場合の分析部２４Ｄは、上記ノイズが背景音に埋没しないとの判定結果に応じてのみ、その判定結果が得られたフレームを基準としたパワー計算を行うようにされる。つまり、例えば上記判定結果がｉ番目のフレームを基準とした範囲についての判定結果である場合には、このｉ番目のフレームを基準とした中心範囲、及び周辺範囲についてのパワー計算を行うものである。
【０１６１】
これにより、ＨＤＤノイズが背景音に埋没するとされ、ノイズ検出の必要がないとされる場合の無駄なパワー計算を省略することができ、分析部２４Ｄの処理負担・消費電力の削減を図ることができる。
また、これと共に、このような無駄なノイズ検出動作が省略されることで、無駄なノイズ除去が行われてしまう機会も相応に減らすことができ、この結果音質劣化の低減も図ることができる。
【０１６２】
また、この第２の変形例のように、各時間ごとに埋没判定を行うものとすれば、先の実施の形態の場合のようにノイズ発生予想区間全体について埋没判定を行う場合とは異なり、ノイズ検出後の無駄なパワー計算を行わないようにすることができる。
その場合、パワー計算・埋没判定部２４Ｆとしては、分析部２４Ｄからの検出情報Ｄｔを入力するように構成する。そして、この検出情報Ｄｔによりノイズ発生タイミングが検出されたことが示された場合は、ノイズ発生予想区間の終了前であっても、上述のようなパワー計算及び閾値ｔｈ−ｐａとの比較動作を終了するようにする。
【０１６３】
なお、このような第２の変形例としての動作を、先の第１の変形例のようにソフトウエア処理により実現する場合、先ずは先の図２０に示したディレイ回路２１は省略され、システムコントローラ１６に対しては、外部音収音マイク１ｂからの入力音声信号Ａin-0と、ディレイ回路２２によるディレイ後の入力音声信号Ａin-２と、ディレイ回路２２とディレイ回路３１とによるディレイ後の入力音声信号Ａin-2dと、ディレイ回路２２とディレイ回路２３とによるディレイ後の入力音声信号Ａin-3とが供給されるようにする。
【０１６４】
そして、この場合のシステムコントローラ１６としては、先の図２１に示したようなノイズ埋没判定のための処理動作は実行せず（但し、記録開始／停止指示に応じたノイズ発生予想区間の設定処理は除く）、代わりに図２３に示した処理動作中に次の図２７に示すようなステップＳ５０１とＳ５０２の処理を追加する。
【０１６５】
図２７は、第２の変形例としての動作を実現するために行われるべき処理動作について示したフローチャートである。なお、この図において既に図２３にて説明した処理と同様の処理については同一のステップ番号を付して説明を省略する。また、当然のことではあるが、この場合は上記のようにして先の図２１に示したような別途のノイズ埋没判定は行われないので、図２３に示した処理動作のうち、ステップＳ３０２のノイズ非埋没判定の有無についての判別処理は省略されるものとなる。
図示するようにしてこの場合に実行されるべき上記ステップＳ５０１とＳ５０２とは、ステップＳ３０４とＳ３０５との間に挿入される。
先ず、上記ステップＳ５０１では、ｉ−３〜ｉ＋４番目のフレームのパワー（Ｐａ）を計算する。そして、続くステップＳ５０２では、計算したパワーＰａが閾値ｔｈ−ｐａを超えるか否かについて判別処理を行う。パワーＰａが閾値ｔｈ−ｐａを超えていないとして否定結果が得られた場合は、ステップＳ３０５に進むようにされる。つまり、これによってＨＤＤノイズが背景音に埋没しないとされた場合に対応して、現在対象とされているフレームを基準とした中心範囲と周辺範囲とのパワー計算、及びそれらのパワー差が所定範囲内となっているか否かの判別処理が実行される。
なお、図示するようにしてこの場合は、ステップＳ３１０のインクリメント処理により対象が次のフレームに移された後に、上記ステップＳ５０１の処理が実行されるようになっている。これによってパワーＰａの計算処理とパワーＰａと閾値ｔｈ−ｐａとの比較処理が各フレーム（各時間）ごとに行われるようになっている。
【０１６６】
一方、上記ステップＳ５０２において、パワーＰａが閾値ｔｈ−ｐａを超えるとして肯定結果が得られた場合は、ステップＳ３０８に進むようにされ、これによって１フレーム分の時間長の経過とノイズ発生予想区間の終了との何れかを待機するようにされる。
このようにして、ＨＤＤノイズが背景音に埋没するとされた場合は、ステップＳ３０５〜Ｓ３０７によるノイズ検出のための動作は実行されないものとなり、結果としてＨＤＤノイズが背景音に埋没しないとされた場合にのみノイズ検出のための動作が実行されるようになる。
【０１６７】
＜第３の変形例＞
ところで、これまでで説明してきたように本実施の形態としては、その発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られるか否かを判別した結果に基づき、ノイズ検出を有効に行うことできるものであるが、このようにして発生期間とパワーのみを条件としたノイズ検出を行う場合、例えばＨＤＤノイズと良く似た振幅で、且つその持続時間も同等となるような信号成分が混入した場合に、これを誤検出してしまう可能性がないとは言い切れない。
このような状況に対する対策として、本実施の形態では、ノイズ検出の対象区間をノイズ発生予想区間内のみに絞っていることで、適正なノイズ検出精度を確保できるようにしているが、場合によっては上記のように紛らわしい信号成分がノイズ発生予想区間内に混入してしまうことも考えられなくはない。
【０１６８】
図２８は、このようにＨＤＤノイズと振幅・持続時間の良く似た信号成分について考察するための図として、ＨＤＤノイズ信号についてのスペクトログラム（図２８（ａ））と、ＨＤＤノイズと良く似た信号成分についてのスペクトログラム（図２８（ｂ））とを例示している。なお、図中の数値はパワーを示している。
これらの図を比較してわかるように、双方とも中心範囲（ｉ〜ｉ＋１）のスペクトログラムのパワーが、周辺範囲（ｉ−３〜ｉ−１，ｉ＋２〜ｉ＋４）のスペクトログラムのパワーよりも大きくなっており、発生時間とパワーのみの条件に基づく判別を行っていたのでは、双方ともＨＤＤノイズとして検出されてしまう虞がある。
【０１６９】
そこで、より万全を期すのであれば、上記のような時間とパワーとによる条件に加えて、周波数ごとのパワー分布の特徴も考慮に入れたノイズ検出を行うようにすることもできる。
図２９は、図２８に示したＨＤＤノイズとそれと良く似た信号成分とのスペクトルの例を示しており、図２９（ａ）はＨＤＤノイズについてのスペクトル（実線）を、図２９（ｂ）では上記良く似た信号成分についてのスペクトル（破線）を、図２９（ｃ）では両者を重ね合わせた図を示している。
【０１７０】
このようにしてＨＤＤノイズと持続時間・パワー的に良く似た信号成分であっても、例えば周波数特性を特徴づけるピーク周波数の分布が異なるなど、周波数ごとのパワーの分布は異なるものとなる。
【０１７１】
このことから、第３の変形例としては、分析部２４Ｄにおいて、ＨＤＤノイズに特徴的な所定の周波数ごとに、それぞれの周波数のパワーが所定範囲内に収まるか否かを判別し、この判別結果に基づきノイズ検出を行うようにする。
具体的に、この場合の分析部２４Ｄに対しては、予めＨＤＤノイズについての周波数特性パターンを設定しておく。この周波数特性パターンの情報としては、所定の周波数ごとのパワーについての範囲情報を設定しておけばよい。
その上で、この場合の分析部２４Ｄは、メモリ２４Ｃにて生成されるスペクトログラムの各フレームごとに、基準とするフレームをｉ番目として、このｉ番目のフレームを含む所定範囲（この場合もｉ−３〜ｉ＋４番目のフレームとする）のスペクトログラムについて、所定の周波数ごとに、そのパワーが上記のようにしてそれらの周波数ごとに設定された範囲内にそれぞれ収まるか否かを判別する。そして、その判別結果に基づき検出情報Ｄｔを出力する。具体的には、上記のような所定の周波数ごとのパワーがそれらの周波数ごとに設定された範囲内にそれぞれ収まる場合には、ＨＤＤノイズが検出されたことを示す上記検出情報Ｄｔを出力する。また、上記所定の周波数ごとのパワーがそれらの周波数ごとに設定された範囲内にそれぞれ収まらない場合には、ＨＤＤノイズが検出されていないことを示す上記検出情報Ｄｔを出力する。
【０１７２】
このようにして第３の変形例は、各フレーム（各時間）ごとに、そのフレームを基準した所定範囲内（ｉ−３〜ｉ＋４）における所定の周波数ごとのパワーが、予め定められた所定範囲内に収まるか否かについて判別を行い、その結果に基づきノイズ検出を行うものである。
ここで、第３の変形例では、このようにして各時間ごとに検出対象とする範囲を所定範囲に定めてノイズ検出を行っているが、このようにノイズ検出にあたっての対象範囲が上記所定範囲に定められていることで、発生期間が所定以下あるという条件設定が行われている。換言すれば、このことによって発生期間が所定時間以下あるか否かの判別も行われていることに相当する。
【０１７３】
なお、上記説明では、対象とする所定範囲内において、ＨＤＤノイズに特徴的となる所定の周波数についてのみパワーが所定範囲内であるか否かについて判別するものとしたが、このように対象とする周波数範囲を絞らずに、全ての周波数についてパワーが所定範囲内であるか否かを判別するものとしてもよい。
【０１７４】
また、このような第３の変形例を先の第１の変形例に適用する場合は、先の図２３に示した処理動作において、ステップＳ３０５〜Ｓ３０７の処理に代えて、以下のような処理を設けるものとすればよい。つまり、先ずはｉ−３〜ｉ＋４番目のフレームのスペクトログラムについて、そのうちの所定の周波数ごとのパワーを取得する処理を設ける。そして、これに続く処理として、取得した周波数ごとのパワーがそれらの周波数ごとに設定された範囲内にそれぞれ収まるか否かを判別する処理を設ける。
このような判別処理の結果、上記周波数ごとのパワーが上記範囲内にそれぞれ収まるとされた場合はステップＳ３１１に進み、収まらないとされた場合はステップＳ３０８に進むようにする。
【０１７５】
＜その他の変形例＞
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、各時間ごとに基準としたフレームを含む２フレームを中心範囲とし、この中心範囲に対し時間的に前方向となる３フレームと時間的に後方向となる３フレームとの計６フレームの領域を周辺範囲とする場合を例示したが、中心範囲のフレーム数と周辺範囲のフレーム数とは実際のノイズの性質等に応じて任意に設定することができる。
【０１７６】
また、実施の形態では、スペクトログラムにおける所定の周波数帯域（周波数ｊａ〜ｊｂ）のみを対象としてパワー計算を行う場合を例示したが、本発明としては必ずしも周波数帯域を限定してパワー計算を行う必要はない。
そして、このように特に周波数帯域を限定したパワー計算を行わないとした場合には、時間周波数変換・スペクトログラム生成は行わず、入力音声信号（時間波形）について、その信号中に発生期間が所定時間以下であり且つパワーが所定範囲内となる信号成分が得られたか否かを判別し、その結果に基づきノイズ発生タイミングの検出を行うようにすることもできる。
このように時間波形に基づく検出を行う場合も、実施の形態で例示した場合と同様に適正にノイズ検出を行うことができる。
【０１７７】
また、実施の形態では、７５％オーバーラップによる時間周波数変換を行ってスペクトログラムを生成する場合を例示したが、このようなオーバーラップの割合は７５％に限定されるべきものではなく、例えばそれ以上の割合のオーバーラップによる時間周波数変換を行ってより時間分解能の向上を図ることもできる。
或いは、特に詳細な時間分解能を要さない場合等には、一般的な５０％オーバーラップの手法を採ることもできる。
【０１７８】
また、実施の形態において、ノイズ埋没判定は、主に音声信号の時間波形のパワー（つまり音量）が所定閾値を超えるか否かを判別した結果に基づき行うものとしたが、このように音量のみに基づくノイズ埋没判定を行った場合には、以下のような問題も起こりかねない。
例えば、背景音がピアノ音単体などである場合は、背景音量的には比較的大きいが、ＨＤＤノイズのような広帯域にパワーが分布する信号に対する周波数的なマスク効果が得られなくなる場合もあり、その場合には聴感上ＨＤＤノイズが聞こえてしまうといった虞もある。
なお、このような周波数的なマスク効果も考慮したノイズ埋没判定の手法としては、既に先の説明において、所定の周波数帯域のみについてパワーを計算した結果に基づきノイズ埋没判定を行うことについて触れているが、より厳密とするのであれば、例えばＨＤＤノイズに特徴的な所定の周波数ごとにパワーを計算し、それらのパワーが上記所定の周波数ごとに予め設定された閾値を超えるか否かを判別した結果に基づき、埋没判定を行うようにすることもできる。
これによれば、よりＨＤＤノイズの周波数特性を考慮したノイズ埋没判定を行うことができ、周波数的なマスク効果が得られない場合にノイズが埋没するとの判定が行われてしまうことをより強固に防止することができる。そして、これによれば、本来は除去されるべきノイズの除去漏れを強固に防止することができる。
【０１７９】
また、実施の形態では、ノイズが発生するとされるノイズ発生予想区間の情報を、ＨＤＤ１０に対する記録開始／停止指示の発生タイミングに応じて設定する場合を例示したが、このようなノイズ発生予想区間の情報は、上記記録開始／停止指示以外の情報に基づき取得することもできる。例えば、上記のような記録開始／停止指示に応じては、ＨＤＤ１０内で磁気ヘッド１０Ａをロード／パーキング位置に駆動するための制御信号が該当する駆動部に出力されるが、この制御信号からノイズ発生予想区間の情報を取得するようにすることもできる。
【０１８０】
また、実施の形態では、ＨＤＤの磁気ヘッドのロード／パーキングに伴って発生するノイズについての検出・除去を行う場合を例示したが、本発明としては、ノイズ発生源から間欠的に生じるノイズが音声信号に重畳して記録されてしまう場合に広く好適に適用することができる。
【０１８１】
また、実施の形態で例示したノイズ除去の手法はあくまで一例であり、例えばノイズ区間の音声信号をフィルタ処理により除去する等、様々なノイズ除去手法を適用することができる。
何れのノイズ除去手法が採られる場合にも、ノイズ除去に伴う音質の劣化は免れないものとなるので、そのような場合に実施の形態で例示したようなノイズ検出手法を採用して上述したようなノイズ除去区間（ノイズ区間）の最小限化、及びノイズ誤検出機会の削減に伴うノイズ除去機会の削減が図られることで、同様に音質劣化の防止を図ることができる。
【０１８２】
また、実施の形態では、本発明の記録装置が記録媒体に対する記録のみが可能とされる場合を例示したが、再生も可能となるように構成することもできる。
【０１８３】
また、本発明としては、このようなビデオカメラ装置１に限らず、収音マイクを入力源とする入力音声信号にノイズ発生源からの間欠的なノイズが重畳して記録されてしまう可能性のある記録装置全般に広く好適に適用することができる。
【０１８４】
また、実施の形態では、収音マイクからの入力音声信号を記録する前にノイズ除去を行う場合を例示したが、本発明はこれに限らず、録音済みの音声信号からノイズを除去する場合にも好適に適用することができる。
その場合、先ずノイズ埋没判定としては、例えば対象とする音声信号の記録中に行われた記録開始／停止指示のタイミング情報を保持しておき、記録後に、それら保持したタイミング情報に基づき取得した各ノイズ発生予想区間内についてのみ行うものとすればよい。
また、ノイズ検出については、上記のような埋没判定の結果、ノイズが埋没しないと判定されたノイズ発生予想区間内でのみ行うものとすればよい。そして、検出したノイズ発生タイミングに基づき、それぞれのノイズ区間の設定を行う。
そして、ノイズ除去としては、記録済み音声信号について、上記のように設定されたそれぞれのノイズ区間を対象としてのみ先に説明したような信号処理を行ってノイズ除去信号を生成し、これをそのノイズ区間の信号として挿入すればよい。
【０１８５】
なお、確認のために述べておくと、このように記録済み音声信号についてノイズ除去を行う場合には、先に説明したような各ディレイ回路は特に設ける必要性はないことになる。
【図面の簡単な説明】
【０１８６】
【図１】実施の形態の記録装置についての外観斜視図である。
【図２】実施の形態の記録装置の内部構成について示すブロック図である。
【図３】実施の形態の記録装置が備えるＨＤＤの内部構成を示す図である。
【図４】ＨＤＤノイズの特性を示す図である。
【図５】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的小音量とされる場合の背景音、ＨＤＤノイズ、ＨＤＤノイズと背景音とが加算された音声信号の時間波形をそれぞれ示した図である。
【図６】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的小音量とされる場合の背景音とＨＤＤノイズの周波数スペクトルを対比して示した図である。
【図７】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的大音量とされる場合の背景音、ＨＤＤノイズ、ＨＤＤノイズと背景音とが加算された音声信号の時間波形をそれぞれ示した図である。
【図８】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的大音量とされる場合の背景音とＨＤＤノイズの周波数スペクトルを対比して示した図である。
【図９】実施の形態の記録装置が備えるノイズタイミング検出・ノイズ区間設定部の内部構成について示すブロック図である。
【図１０】一般的な時間周波数変換・スペクトログラム生成動作について説明するための図である。
【図１１】実施の形態の時間周波数変換・スペクトログラム生成動作について説明するための図である。
【図１２】実施の形態のノイズ検出手法について説明するための図である。
【図１３】ノイズ区間の設定手法について説明するための図である。
【図１４】実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図である。
【図１５】実施の形態の記録装置が備えるノイズ除去信号生成部の内部構成を示したブロック図である。
【図１６】前半信号の生成処理について模式的に示した図である。
【図１７】後半信号の生成処理について模式的に示した図である。
【図１８】クロスフェード処理について模式的に示した図である。
【図１９】実施の形態のノイズ検出手法の有効性について説明するための図である。
【図２０】実施の形態の第１の変形例としての記録装置の内部構成について示すブロック図である。
【図２１】実施の形態としての動作を実現するために行われるべき処理動作のうち、ノイズ埋没判定動作に対応した処理動作について示すフローチャートである。
【図２２】実施の形態としての動作を実現するために行われるべき処理動作のうち、スペクトログラムの生成動作に対応した処理動作について示すフローチャートである。
【図２３】実施の形態としての動作を実現するために行われるべき処理動作のうち、ノイズタイミング検出・ノイズ区間設定動作に対応した処理動作について示したフローチャートである。
【図２４】実施の形態としての動作を実現するために行われるべき処理動作のうち、ノイズ除去動作に対応した処理動作について示したフローチャートである。
【図２５】第２の変形例としての構成について示すブロック図である。
【図２６】第２の変形例としての動作について説明するための図である。
【図２７】第２の変形例としての動作を実現するために行われるべき処理動作について示したフローチャートである。
【図２８】ＨＤＤノイズ信号についてのスペクトログラムとＨＤＤノイズと良く似た信号成分についてのスペクトログラムを例示した図である。
【図２９】ＨＤＤノイズ信号のスペクトルとＨＤＤノイズと良く似た信号成分についてのスペクトルとを例示した図である。
【符号の説明】
【０１８７】
１,１５  ビデオカメラ装置、１ａ  カメラレンズ、１ｂ  外部音収音マイク、２  ノイズ検出・除去部、３  音声信号処理部、４  音声信号圧縮処理部、５  カメラブロック、６  映像信号処理部、７  映像信号圧縮処理部、８  ＡＶストリーム生成部、９  バッファメモリ、１０  ＨＤＤ、１０Ａ  磁気ヘッド、１０Ｂ  磁気ディスク、１１,１６  システムコントローラ、２１,２２,２３,３１  ディレイ回路、２４  ノイズタイミング検出・ノイズ区間設定部、２４Ａ  時間周波数変換部、２４Ｂ  スペクトログラム生成部、２４Ｃ  メモリ、２４Ｄ  分析部、２４Ｅ  ノイズ区間設定部、２４Ｆ  パワー計算・埋没判定部、２５  ノイズ埋没判定部、２６  ノイズ除去信号生成部、２７  信号挿入部、３２  前半ピッチ計算部、３３  後半ピッチ計算部、３４  前半信号生成部、３５  後半信号生成部、３６  クロスフェード処理部
【図１】
2008077707.tif 000003
【図２】
2008077707.tif 000004
【図３】
2008077707.tif 000005
【図４】
2008077707.tif 000006
【図５】
2008077707.tif 000007
【図６】
2008077707.tif 000008
【図７】
2008077707.tif 000009
【図８】
2008077707.tif 000010
【図９】
2008077707.tif 000011
【図１０】
2008077707.tif 000012
【図１１】
2008077707.tif 000013
【図１２】
2008077707.tif 000014
【図１３】
2008077707.tif 000015
【図１４】
2008077707.tif 000016
【図１５】
2008077707.tif 000017
【図１６】
2008077707.tif 000018
【図１７】
2008077707.tif 000019
【図１８】
2008077707.tif 000020
【図１９】
2008077707.tif 000021
【図２０】
2008077707.tif 000022
【図２１】
2008077707.tif 000023
【図２２】
2008077707.tif 000024
【図２３】
2008077707.tif 000025
【図２４】
2008077707.tif 000026
【図２５】
2008077707.tif 000027
【図２６】
2008077707.tif 000028
【図２７】
2008077707.tif 000029
【図２８】
2008077707.tif 000030
【図２９】
2008077707.tif 000031