(57)【要約】【課題】例えば発生時間が比較的短かったり比較的広帯域にパワーが分布するノイズについての除去を適正に行う。【解決手段】ノイズ区間の近傍の音声信号に基づき生成されたノイズ除去信号により上記ノイズ区間の音声信号が置き換えられるようにしてノイズを除去する。これにより上記のような特性のノイズについても有効にその除去を行うことができる。また、上記ノイズ除去信号としては、ノイズ区間の近傍で特定された波形相関性のあるとされる２区間の音声信号に基づき生成することで、ノイズ区間の前後の音声のつながりを聴感上極めて自然とすることができノイズ除去に伴う音質劣化を最小限に抑えることができる。【選択図】図１１
2008053802.tif 000002
【特許請求の範囲】
【請求項１】
収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段と、
上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる２区間を割り出し、割り出した２区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段と、
を備えることを特徴とする記録装置。
【請求項２】
上記ノイズ除去手段は、
上記ノイズ区間の近傍として、上記ノイズ区間の開始点側の近傍と上記ノイズ区間の終了点側の近傍との双方について上記波形相関性のあるとされる２区間をそれぞれ割り出すと共に、上記開始点側の近傍について割り出した２区間の上記音声信号に基づき前半信号を生成し、また上記終了点側の近傍について割り出した２区間の上記音声信号に基づき後半信号を生成し、これら前半信号と後半信号とを合成して上記ノイズ除去信号を生成する、
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
上記ノイズ除去手段は、
上記ノイズ区間の近傍として、上記ノイズ区間の開始点側の近傍と上記ノイズ区間の終了点側の近傍との双方について上記波形相関性のあるとされる２区間をそれぞれ割り出すと共に、上記開始点側の近傍について割り出した２区間の上記音声信号を合成しこれを時間軸方向に所定回数繰り返して前半信号を生成し、また上記終了点側の近傍について割り出した２区間の上記音声信号を合成しこれを時間軸方向に所定回数繰り返して後半信号を生成し、それら前半信号と後半信号とを合成して上記ノイズ除去信号を生成する、
ことを特徴とする請求項１に記載の記録装置。
【請求項４】
上記ノイズ除去手段は、
上記ノイズ区間の開始点と終了点との双方を基準としてそれぞれ上記波形相関性を有するとされる２区間を割り出すと共に、上記開始点を基準として割り出した２区間の上記音声信号に基づいて前半信号を生成し、また上記終了点を基準として割り出した２区間の上記音声信号に基づいて後半信号を生成し、これら前半信号と後半信号とを合成して上記ノイズ区間と同等の長さの上記ノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去する、
ことを特徴とする請求項１に記載の記録装置。
【請求項５】
上記ノイズ除去手段は、
上記ノイズ区間の開始点よりも前となる前半所定点と、終了点よりも後となる後半所定点とを基準としてそれぞれ上記波形相関性を有するとされる２区間を割り出すと共に、上記前半所定点を基準として割り出した２区間の上記音声信号に基づいて前半信号を生成し、また上記後半所定点を基準として割り出した２区間の上記音声信号に基づいて後半信号を生成し、これら前半信号と後半信号とを合成して上記前半所定点から上記後半所定点までと同等の長さの上記ノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去する、
ことを特徴とする請求項１に記載の記録装置。
【請求項６】
上記ノイズ除去手段は、
上記音声信号に対するダウンミックス処理を行うと共に、このダウンミックス処理により得られた上記音声信号に基づいて上記波形相関性のあるとされる２区間を割り出す、
ことを特徴とする請求項１に記載の記録装置。
【請求項７】
上記ノイズ除去手段は、
上記音声信号に対するダウンサンプル処理を行うと共に、このダウンサンプル処理により得られた上記音声信号に基づいて上記波形相関性のあるとされる２区間を割り出す、
ことを特徴とする請求項１に記載の記録装置。
【請求項８】
上記音声信号が無音又はランダムノイズとされる態様で得られているか否かについて判定する判定手段をさらに備え、
上記ノイズ除去手段は、
上記判定手段による判定の結果、上記音声信号が無音又はランダムノイズとされる態様で得られているとされた場合は、上記波形相関性のあるとされる２区間の割り出しは行わずに、所定の音声信号により上記ノイズ区間が置き換えられるようにする、
ことを特徴とする請求項１に記載の記録装置。
【請求項９】
上記ノイズ発生源に対して設けれらたノイズ検出用センサと、
上記ノイズ検出用センサの検出信号についての分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段とをさらに備え、
上記ノイズ区間設定手段は、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき上記ノイズ区間を設定する、
ことを特徴とする請求項１に記載の記録装置。
【請求項１０】
上記音声信号についての分析結果に基づき、上記ノイズが上記音声信号中の他の信号成分に埋もれるか否かを判定するノイズ埋没判定手段と、
上記ノイズ埋没判定手段の判定結果に基づき、上記ノイズ除去手段によるノイズ除去動作の実行／不実行について制御する除去動作制御手段とをさらに備える、
ことを特徴とする請求項１に記載の記録装置。
【請求項１１】
上記ノイズ発生源に対して設けれらたノイズ検出用センサと、
上記ノイズ検出用センサの検出信号についての分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段とをさらに備え、
上記ノイズ区間設定手段は、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき上記ノイズ区間を設定すると共に、
上記音声信号についての分析結果に基づき、上記ノイズが上記音声信号中の他の信号成分に埋もれるか否かを判定するノイズ埋没判定手段と、
上記ノイズ埋没判定手段の判定結果に基づき、上記ノイズ除去手段によるノイズ除去動作の実行／不実行について制御する除去動作制御手段とをさらに備える、
ことを特徴とする請求項１に記載の記録装置。
【請求項１２】
収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置におけるノイズ除去方法であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手順と、
上記音声信号における、上記ノイズ区間設定手順により設定したノイズ区間の近傍で波形相関性のあるとされる２区間を割り出し、割り出した２区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。
【請求項１３】
音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段と、
上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる２区間を割り出し、割り出した２区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段と、
を備えることを特徴とするノイズ除去装置。
【請求項１４】
音声信号に重畳する間欠的なノイズを除去するためのノイズ除去方法であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手順と、
上記音声信号における、上記ノイズ区間設定手順により設定したノイズ区間の近傍で波形相関性のあるとされる２区間を割り出し、割り出した２区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備える記録装置として、特に記録動作に伴い間欠的なノイズ音を発生するノイズ発生源を有する記録装置に関する。また、例えばこのような記録装置に適用されて、上記音声信号に重畳するノイズを除去するのに好適なノイズ除去方法、及びノイズ除去装置に関する。
【背景技術】
【０００２】
従来より、撮影映像及び収音音声を所要の記録媒体に記録するビデオカメラ装置が普及している。そして、このようなビデオカメラ装置として、特に近年では、ＨＤＤ（ハードディスクドライブ）を内蔵しこれに撮影映像及び収音音声（以下撮影データとも言う）を記録するようにされたものがある。
【０００３】
このように撮影データをＨＤＤに記録するビデオカメラ装置では、回転駆動される磁気ディスク上に磁気ヘッドをロードしたままの状態で撮影データの記録を継続的に行うようにされたものがある。すなわち、記録開始指示から記録停止指示までの間、撮影データを継続的に磁気ディスクに書き込むといったものである。
【０００４】
しかしながら、この手法では、記録動作中は常時磁気ディスクの回転駆動を伴うことから、これを改良した記録手法として、間欠アクセスの手法が提案されている。
この間欠アクセスでは、記録開始後、撮影データを一旦内蔵メモリに蓄積するものとしておき、その間は磁気ヘッドを所定のパーキング位置に退避させた上で磁気ディスクの回転を止めておく。そして、内蔵メモリへの撮影データの蓄積量が所定以上となったことに応じ、磁気ディスクの回転駆動及び磁気ヘッドの記録位置へのロードを行って蓄積された撮影データの読出・記録を行い、所定時間分の記録を行うと、再度磁気ヘッドをパーキング位置へ退避させ且つ磁気ディスクの回転駆動を停止する。このようにして内蔵メモリへの撮影データの蓄積量に応じ、磁気ディスクに対する間欠的な記録を行う。
この間欠アクセスの手法により、磁気ディスクを常時回転させたままの状態で記録を行う場合よりも消費電力の削減が図られる。
【０００５】
但し、この間欠アクセスの手法を採用する場合には、磁気ヘッドを磁気ディスク上にロードする際、或いは磁気ヘッドをパーキング位置に退避させる際に、デバイスの物理的な衝突に起因するノイズがＨＤＤ内部で発生するものとなってしまう。そして、このノイズは、ビデオカメラ装置が備えるマイクロフォンにより収音され、これによって撮影データと共に記録されてしまうという問題が発生する。
このため、間欠アクセスの手法を用いる場合には、消費電力の削減が図られる一方で、このようなノイズについての対策を行うことが必要となってくる。
【０００６】
なお、関連する従来技術については下記特許文献を挙げることができる。
【特許文献１】特開２００５−２０３０１４号公報
【特許文献２】特開２００２−２５１８２３号公報
【特許文献３】特開２００５−２２８４００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記のような間欠アクセスに伴うノイズを対策するとしたときには、それが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
ここでノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、例えばノイズが生じる区間のみを対象として行われることが望ましいものとなる。
【０００８】
また、上記のような間欠アクセスに伴うノイズについて、その特性に目を向けてみると、その発生時間は、例えば図４（ａ）に示されるようにして例えば0.03secと非常に短い期間に集中して得られる特性となっている。
このようにして間欠アクセスに伴うノイズは、その発生期間が非常に短いものとされているので、これを除去するとした場合に、例えば従来行われているような適応型フィルタを用いたノイズ除去（例えば特許文献１に記載）を行っていたのでは、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
【０００９】
また、上記のような間欠アクセスに伴うノイズは、例えば図４（ｂ）に示されるようなスペクトログラムで見ると、インパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布するものとなる。
このように比較的広帯域にわたりそのパワーが分布する特性とされるので、上記のような間欠アクセスに伴うノイズを、例えば従来より行われているような逆位相の信号を加算する手法により除去するとした場合には、ノイズを除去することが困難となる可能性がある。
【課題を解決するための手段】
【００１０】
そこで、本発明では以上のような問題点に鑑み、記録装置として以下のように構成することとした。
つまり、本発明の記録装置は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段を備える。
また、上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる２区間を割り出し、割り出した２区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段を備えるものである。
【００１１】
また、本発明ではノイズ除去装置として以下のように構成することとした。
すなわち、本発明のノイズ除去装置は、音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段を備える。
また、上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる２区間を割り出し、割り出した２区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段を備えるものである。
【００１２】
上記本発明によれば、ノイズ区間の近傍の音声信号に基づき生成されたノイズ除去信号により、上記ノイズ区間の音声信号が置き換えられるようにしてノイズが除去される。これによれば、発生期間が比較的短かかったり、比較的広い周波数帯域にパワーが分布するようなノイズについても有効にその除去を行うことができる。
また、上記本発明において、上記ノイズ除去信号は、ノイズ区間の近傍で特定された波形相関性のあるとされる２区間の音声信号に基づき生成されるものとなる。
このようにして生成されたノイズ除去信号によりノイズ区間の音声信号が置き換えられるようにしていることで、ノイズ区間の前後の音声のつながりを聴感上極めて自然とすることができ、ノイズ除去に伴う音質劣化の可能性を最小限に抑えることができる。
【発明の効果】
【００１３】
上記のようにして本発明によれば、その発生期間が比較的短い、又は比較的広い周波数帯域にパワーが分布するようなノイズについて、その除去を、音質劣化の可能性が最小限となるようにして行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。
[記録装置の構成]
図１は、本発明の記録装置の一実施形態であるビデオカメラ装置１について、その外観構成を斜視図により示した図である。
このビデオカメラ装置１は、図示するようにしてカメラレンズ１ａを備え、当該カメラレンズ１ａを介して得られる撮影映像を内部の記録媒体に対して記録することができる。また、ビデオカメラ装置１は、図示するようにして筐体外部に表出するようにして設けられた外部音収音マイク（マイクロフォン）１ｂを備えており、この外部音収音マイク１ｂにより収音された音声を、上記撮影映像と共に上記記録媒体に対して記録することができる。
【００１５】
図２は、ビデオカメラ装置１の内部構成について示すブロック図である。
先ず、この図２においても、図１に示したカメラレンズ１ａが示されている。カメラレンズ１ａは、図示するようにしてカメラブロック５内に設けられる。
カメラブロック５は、上記カメラレンズ１ａを介して入射される被写体光を検出するＣＣＤ（Charge Coupled Device）センサ或いはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の固体撮像素子部や、固体撮像素子部から画素信号を転送してゲイン調整やＡ／Ｄ変換などを行って映像信号を得る映像信号生成部等を備える。
【００１６】
カメラブロック５により得られた映像信号は、図示する映像信号処理部６に供給され、ここで例えばホワイトバランスやＹ／Ｃ処理等の所定の映像信号処理が施されて映像信号圧縮処理部７に供給される。
映像信号圧縮処理部７は、映像信号に対し所定の映像圧縮方式に基づく圧縮処理を施し圧縮ビデオデータを生成する。そして、この圧縮ビデオデータをストリームデータ（図示するビデオストリームＶstrm）として出力する。
【００１７】
また、この図２には、図１に示した外部音収音マイク１ｂも示されている。この外部音収音マイク１ｂの収音動作に基づき得られた入力音声信号Ａinは、図中の一点鎖線により囲うノイズ検出・除去部２に供給される。
【００１８】
ノイズ検出・除去部２は、上記入力音声信号Ａinと、後述するノイズ検出用マイク（マイクロフォン）１１からの検出用音声信号ＡNinと、後述するシステムコントローラ１２からのノイズ発生予想区間情報ＮcSとに基づき、ノイズ発生タイミングの検出やこのノイズ発生タイミングに基づいたノイズの除去を行い、その結果を図示する出力音声信号Ａoutとして出力する。
なお、このノイズ検出・除去部２の内部構成及び動作については後述する。
【００１９】
音声信号処理部３は、上記出力音声信号Ａoutを入力して所定の音声信号処理を施し、その結果を音声信号圧縮処理部４に供給する。
音声信号圧縮処理部４は、上記音声信号処理部３から供給される出力音声信号Ａoutに対して所定の音声圧縮方式に基づく圧縮処理を施し圧縮オーディオデータを生成する。そして、この圧縮オーディオデータをストリームデータ（図示するオーディオストリームＡstrm）として出力する。
【００２０】
ＡＶ（Audio Visual）ストリーム生成部８は、先に述べた映像信号圧縮処理部７からのビデオストリームＶstrmと、上記音声信号圧縮処理部４からのオーディオストリームＡstrmとを入力して、これらを合成したＡＶストリームAVstrmを生成する。そして、このＡＶストリームAVstrmをバッファメモリ９に対して供給する。
【００２１】
バッファメモリ９は、後述するシステムコントローラ１２からの指示に従って上記ＡＶストリーム生成部８から供給されるＡＶストリームAVstrmについての内部メモリへの書込／読出を行うことで、ＡＶストリームAVstrmのバッファリングを行う。
【００２２】
ＨＤＤ（ハードディスクドライブ）１０は、システムコントローラ１２の指示に基づき上記バッファメモリ９から供給されるＡＶストリームAVstrmを内部の磁気ディスク（磁気ディスク１０Ｂ）に対して記録する。
【００２３】
ここで、このＨＤＤ１０の内部構成を次の図３に示しておく。図３に示されるようにＨＤＤ１０には、磁気ディスク１０Ｂと、磁気ディスク１０Ｂに対して信号を記録するための磁気ヘッド１０Ａとが備えられている。なお、この他にも、例えば磁気ヘッド１０Ａを図中ロード／パーキング位置に駆動するための駆動系や磁気ディスク１０Ｂを回転駆動するための駆動系なども備えられるが、ここではそれら他の詳細な構成については省略している。
また、本実施の形態の場合、ＨＤＤ１０内にはノイズ検出用マイク（マイクロフォン）１１が設けられるものとなるが（図示せず、図２参照）、これについては後述する。
【００２４】
図２に戻り、システムコントローラ１２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成され、起動されたプログラムに従って当該ビデオカメラ装置１の全体制御、演算処理を行う。
例えば、図示されない操作入力部からの操作信号に応じ必要な各部を制御することで、ユーザの操作入力に応じた動作を実現させたり、またＨＤＤ１０へのデータファイルの格納や管理情報の作成・更新等を行う。
【００２５】
また、特に実施の形態の場合のシステムコントローラ１２は、ＨＤＤ１０に対するＡＶストリームAVstrm（撮影データとも言う）の記録時における間欠アクセスを実現するための制御処理も実行する。
つまり、システムコントローラ１２は、撮影データの記録開始後、直ちにバッファメモリ９からの撮影データの読み出し及びＨＤＤ１０への撮影データの記録開始指示は行わず、バッファメモリ９への撮影データの蓄積量が第１の閾値以上となったことに応じてそれらの指示を行う。そして、バッファメモリ９からの撮影データの読み出し、及びＨＤＤ１０によるその記録の開始後は、バッファメモリ９における撮影データの蓄積量が第２の閾値以下となったことに応じ、バッファメモリ９からの撮影データの読み出し及びＨＤＤ１０の記録動作を停止させる指示を行う。以降も、バッファメモリ９の撮影データの蓄積量と上記第１及び第２の閾値との比較結果に応じ、バッファメモリ９からの撮影データの読み出し開始指示及びＨＤＤ１０への記録開始指示と、バッファメモリ９からの撮影データの読み出し停止指示及びＨＤＤ１０への記録停止指示とを繰り返し行うようにされる。
【００２６】
[ＨＤＤノイズ]
ここで、図２に示すビデオカメラ装置１において、このような間欠アクセスの手法が採用されることによっては、例えばＨＤＤ１０において磁気ディスク１０Ｂを回転させたままの状態で磁気ヘッド１０Ａによる記録動作を継続的に行う場合と比較して、その分消費電力の削減を図ることができる。
【００２７】
しかしながらこの間欠アクセスの手法において、上述したような記録開始指示に伴っては、ＨＤＤ１０において磁気ヘッド１０Ａを磁気ディスク１０Ｂ上にロードすることになるが、その際に、デバイスの物理的な衝突に起因するノイズがＨＤＤ１０内部で発生することになる。また、記録停止指示に応じては、磁気ヘッド１０Ａをパーキング位置に退避させることになるが、その際にもデバイスの物理的な衝突に起因するノイズがＨＤＤ１０内で発生することとなる。
【００２８】
このようにして撮影データの記録動作中にＨＤＤ１０内で生じるノイズは、外部音収音マイク１ｂによって収音され、入力音声信号Ａinに重畳してしまい、この結果撮影データと共にＨＤＤ１０に対して記録されてしまうという問題が発生する。
【００２９】
図４は、このようにして間欠アクセスに伴いＨＤＤ１０内で生じるノイズ（以下ＨＤＤノイズとも言う）の特性を例示した図であり、図４（ａ）ではその時間波形を、また図４（ｂ）ではそのスペクトログラムを示している。
このようなＨＤＤノイズは、ＨＤＤ１０の個体差に依存するものとはなるが、時間波形（図４（ａ））で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。またスペクトログラム（図４（ｂ））で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布していることが確認できる。
このＨＤＤノイズは極めてレベルの小さい信号成分ではあるが、これらの特性より、聴覚的に非常に煩わしいノイズとなる。そして、このように煩わしいノイズが、間欠アクセスに伴う記録開始／停止ごとに間欠的に発生し、これが撮影データ（音声信号）に重畳されて記録されてしまう。
【００３０】
ここで、このようなＨＤＤノイズの記録が防止されるようにするためには、それを入力音声信号Ａinから除去することが考えられるが、その際には、ＨＤＤノイズが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
つまり、ノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
【００３１】
このようなことを考慮すると、上記のようなＨＤＤノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
【００３２】
そのための具体的な手法としては、例えば従来のようにノイズの発生源への制御が行われるタイミングからこれを予測するといったことが考えられる。
しかしながら、上述した間欠アクセスにおいて、記録開始指示に応じ磁気ヘッド１０Ａのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッド１０Ｂのパーキングに伴う衝突音が生じるまでの時間長は、記録開始／終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始／停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、除去を行う区間は最小限とすることが望ましく、その意味で、このように記録開始／停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
【００３３】
［実施の形態のノイズタイミング検出］
そこで、本実施の形態のビデオカメラ装置１では、図２に示されるようにしてＨＤＤ１０内にノイズ検出用マイク１１を設けるものとし、当該ノイズ検出用マイク１１の収音動作に基づき得られる検出用音声信号ＡNinに基づき、ＨＤＤノイズの発生タイミングを検出するものとしている。
【００３４】
図２において、ノイズ検出用マイク１１からの検出用音声信号ＡNinは、ノイズ検出・除去部２内における、ノイズタイミング検出・ノイズ区間設定部２４に供給される。ノイズタイミング検出・ノイズ区間設定部２４は、このようにして供給される検出用音声信号ＡNinに基づき、後述するようにしてノイズ発生タイミングの検出、及び検出したノイズ発生タイミングに基づくノイズ区間の設定を行う。
【００３５】
ここで、先にも説明したように本実施の形態におけるＨＤＤノイズは、ＨＤＤ１０における記録動作の開始／停止に応じて間欠的に発生するノイズであり、その発生タイミングは、システムコントローラ１２からＨＤＤ１０に対する記録開始指示及び記録停止指示の行われたタイミングから或る程度予測することができる。
【００３６】
そこで、本実施の形態では、このようにして予測される、ＨＤＤノイズが発生するとされる区間でのみ、上記ノイズタイミング検出・ノイズ区間設定部２４による動作が実行されるようにし、無駄な検出動作の削減を図るものとしている。
【００３７】
図２に示すビデオカメラ装置１では、このように予測されるタイミングの情報を、システムコントローラ１２がノイズタイミング検出・ノイズ区間設定部２４に対して指示するようにされている。つまり、システムコントローラ１２は、上述した間欠アクセスのための制御処理に伴いＨＤＤ１０に対する記録開始指示、及び記録停止指示を行ったことに応じ、予め定められた区間情報をノイズ発生予想区間情報ＮcSとしてノイズタイミング検出・ノイズ区間設定部２４に対して供給する。
【００３８】
ノイズタイミング検出・ノイズ区間設定部２４は、このようにしてシステムコントローラ１２から供給されたノイズ発生予想区間情報ＮcSが示す区間内でのみ、ノイズ検出用マイク１１から供給される検出用音声信号ＡNinについての信号分析を行い、その結果に基づきＨＤＤノイズの発生タイミングを検出する。
そして、検出したノイズ発生タイミングに基づき、ＨＤＤノイズが生じる区間を示すノイズ区間を設定し、その開始タイミングと終了タイミングとを示すノイズ区間情報ＮSを出力する。
【００３９】
図５は、このようなノイズタイミング検出・ノイズ区間設定部２４によるノイズ発生タイミングの検出動作、及びノイズ区間の設定動作について模式的に示した図である。図５（ａ）では、ＨＤＤノイズ成分を含む検出用音声信号ＡNinの例を示し、図５（ｂ）では図５（ａ）に示される検出用音声信号ＡNinに応じて設定されるべきノイズ区間の例を示している。
【００４０】
先ず、ノイズタイミング検出・ノイズ区間設定部２４には、図５（ａ）に示されるように、検出用音声信号ＡNinの振幅値について予め定められた第１閾値ｔｈ-s1と第２閾値ｔｈ-s2とが設定されている。ノイズタイミング検出・ノイズ区間設定部２４は、入力される検出用音声信号ＡNinの振幅値が、これら第１閾値ｔｈ-s1と第２閾値ｔｈ-s2とにより定義される所定範囲外の値となったか否かを判別することで、ＨＤＤノイズが発生したか否かを判別するようにされる。すなわち、検出用音声信号ＡNinの振幅値が第１閾値ｔｈ-s1と第２閾値ｔｈ-s2とによる所定範囲外となったタイミングを、ＨＤＤノイズの発生タイミングとして検出する。
このとき、ノイズタイミング検出・ノイズ区間設定部２４は、ノイズ発生予想区間情報ＮcSが示すノイズ発生予想区間内でのみ、このような検出用音声信号ＡNinの振幅値と上記閾値ｔｈ-s1と閾値ｔｈ-s2との比較を行うようにされている。
【００４１】
上記のような判別の結果、ＨＤＤノイズの発生タイミングが検出された場合は、図５（ｂ）に示されるようにして、そのノイズ発生タイミングを含む所定区間をノイズ区間として設定する。例えばこの場合は、図示するようにしてノイズ発生タイミングを基準としてその前後にわたる所定区間をノイズ区間として設定する。
その上で、このように設定したノイズ区間の開始点と終了点の情報を、ノイズ区間情報ＮcSとして出力する。
【００４２】
なお、確認のために述べておくと、ノイズタイミング検出・ノイズ区間設定部２４は、ノイズ発生予想区間内において、検出用音声信号ＡNinの振幅値が上記閾値ｔｈ-s1と閾値ｔｈ-s2とによる範囲外とならずＨＤＤノイズが検出されなかった場合は、ノイズ区間情報ＮSの出力は行わないようにされる。
また、ＨＤＤノイズが検出されたとしてノイズ区間の設定を行った場合、以降、この設定したノイズ区間内においては検出用音声信号ＡNinについての信号分析（この場合は振幅値の第１閾値ｔｈ-s1・第２閾値ｔｈ-s2との比較）は行わないようにされている。
【００４３】
また、上記による例では、ノイズ発生タイミングの検出にあたっては、単に検出用音声信号ＡNinの振幅値と所定閾値とを比較するものとしたが、これに代えて、例えば所定時間内の平均パワーを計算し、その平均パワーと所定閾値との比較結果に基づきノイズ発生タイミングを検出するようにすることもできる。
【００４４】
[ノイズ埋没判定]
本実施の形態のビデオカメラ装置１では、上記のようにしてノイズタイミング検出・ノイズ区間設定部２４により検出・設定されたノイズ区間の情報（ＮS）に基づき、後述する構成によって入力音声信号Ａinからのノイズの除去を行うようにされることになるが、先の図４での説明時にも触れたように、本実施の形態の場合のＨＤＤノイズとしてはその信号レベルが比較的小さいものであることから、場合によっては外部音（背景音）に埋もれてかき消される可能性も考えられる。
【００４５】
図６〜図９は、このような外部音とＨＤＤノイズとの関係について模式的に示した図である。
先ず図６、図７は、それぞれ背景音が比較的小音量とされる場合について示した図であり、図６では（ａ）図により背景音の時間波形を、また（ｂ）図によりＨＤＤノイズの時間波形を、さらに（ｃ）図ではこれらＨＤＤノイズと背景音とが加算された入力音声信号Ａinの時間波形を示している。また、図７では背景音（破線）とＨＤＤノイズ（実線）の周波数スペクトルをそれぞれ対比して示している。
【００４６】
先ず、図６（ａ）（ｂ）を比較してわかるように、ＨＤＤノイズは16ビットフルスケール（±32767）に対しておよそ±300程度の振幅がある。これを踏まえると、例えば図６（ａ）に示されるような比較的小音量の背景音下での記録時には、図６（ｃ）に示す入力音声信号Ａin中において、ＨＤＤノイズは埋没しにくくなる。また、これを図７に示す周波数スペクトルで比較した場合にも、ＨＤＤノイズのスペクトルは背景音のスペクトルより所々大きいパワーで分布することがわかる。
これら図６、図７の結果からも、比較的小音量の背景音下では人間の聴覚はＨＤＤノイズを知覚しやすくなり、そのような場合にノイズ除去を行うことは有効であることがわかる。
【００４７】
一方図８、図９は、背景音が比較的大音量とされる場合について示した図であり、図８（ａ）は背景音、図８（ｂ）はＨＤＤノイズ、図８（ｃ）は入力音声信号Ａinの時間波形をそれぞれ示し、図９は背景音（破線）とＨＤＤノイズ（実線）の周波数スペクトルを対比して示している。
図８（ａ）のような比較的大音量による背景音下では、図８（ｃ）に示す入力音声信号Ａin中においてＨＤＤノイズは埋没しやすいものとなり、また図９に示す周波数スペクトルを見ても、ＨＤＤノイズのスペクトルは背景音のスペクトルより概ね小さいパワーで分布するものとなることがわかる。
このように大音量の背景音下では人間の聴覚はＨＤＤノイズを知覚しにくく、このような状況でノイズ除去を行う利点は極めて少ないものとなる。むしろこの場合には、ノイズ除去を行う入力音声信号Ａinのレベルが非常に大きなものとなるのだから、ノイズ除去を行ったことによる音質劣化がより聴取されやすくなってしまう可能性が高くなる。
【００４８】
これらのことから本実施の形態のビデオカメラ装置１では、背景音が比較的小音量とされ、ＨＤＤノイズが埋もれないとされた場合にのみノイズ除去が行われるようにし、比較的大音量の背景音下でＨＤＤノイズが埋もれてしまうような場合に無駄なノイズ除去が行われてしまうことを防止するものとしている。
【００４９】
このための構成として、図２に示されるノイズ検出・除去部２には、ディレイ回路２１、ノイズ埋没判定部２５、除去動作制御部２７、ディレイ回路２８、及び選択制御部２９が設けられる。
先ず、ディレイ回路２１は、外部音収音マイク１ｂからの入力音声信号Ａinを入力し、これに予め定められた所定時間長分のディレイを与え出力する。このようなディレイ回路２１による遅延が与えられた入力音声信号Ａinについては、入力音声信号Ａin-1と呼ぶ。
なお、この場合、外部音収音マイク１ｂからディレイ回路２１に入力される入力音声信号Ａinについては、このような遅延後の入力音声信号Ａinと区別するために、以下、入力音声信号Ａin-0とも呼ぶ。
【００５０】
ここで、このディレイ回路２１に設定される遅延時間としては、次に説明するノイズ埋没判定部２５に供給される入力音声信号Ａin-1として、少なくともノイズタイミング検出・ノイズ区間設定部２４により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。すなわち、ノイズ区間が設定されたときに、少なくともこのノイズ区間よりも前の信号部分がノイズ埋没判定部２５に供給されるようにして遅延が行われればよいものである。
【００５１】
ノイズ埋没判定部２５は、上記ディレイ回路２１からの入力音声信号Ａin-1について信号分析を行い、ＨＤＤノイズが背景音（つまり入力音声信号ＡinにおけるＨＤＤノイズ以外の信号成分）に埋もれるか否かを判定する。
具体的に、ノイズ埋没判定部２５は、入力音声信号Ａin-1の時間波形について、その所定区間ごとのパワーを計算し、このパワーが予め定められた所定の閾値ｔｈ-pより大きい場合には、人間の聴覚によってＨＤＤノイズが知覚されない、すなわちＨＤＤノイズが埋没する（マスクされる）という判定結果を埋没判定結果情報Ｍとして出力する。また、計算したパワーが上記閾値ｔｈ-pよりも大きくない場合には、ＨＤＤノイズが知覚される、すなわちＨＤＤノイズが埋没しないという判定結果を埋没判定結果情報Ｍとして出力する。
この際、入力音声信号Ａin-1の時間波形のパワーは、例えば以下の式に示すようにして、各時間における入力音声信号Ａin-1の値の２乗和により算出することができる。
Σt = 0 〜 T-1 {Ain(t)}2
【００５２】
なお、ノイズ埋没判定は、このように時間波形のパワー計算の結果に基づく以外にも、周波数スペクトルのパワー計算の結果に基づき判定することもできる。
すなわち、入力音声信号Ａin-1の周波数スペクトルのパワーを計算し、そのパワーが所定の閾値より大きい場合にはＨＤＤノイズが埋没するとの判定結果を埋没判定結果情報Ｍとして出力し、パワーが所定の閾値より小さい場合にはＨＤＤノイズが埋没しないとの判定結果を埋没判定結果情報Ｍとして出力する。
なお、周波数スペクトルのパワーは、例えば以下の式のように各時間における入力音声信号Ａin-1の周波数スペクトルの２乗和により算出することができる。
Σf = 0 〜 fs / 2 {Ain(f)}2
【００５３】
また、例えば対象とするノイズのスペクトルが所定の帯域において特徴的な周波数分布となるような場合には、その帯域からのみパワーを計算してもよい。周波数スペクトルのうち所定の帯域（例えば周波数ａ〜ｂとする）のパワーは、例えば以下のように算出することができる。
Σf = fa 〜 fb {Ain(f)}2
【００５４】
ところで、これまでで説明したノイズ埋没判定部２５の構成によっては、入力音声信号Ａin-1について上述のような信号分析を常時行って、埋没判定結果情報Ｍを常時出力するようにされることになるが、そもそも埋没判定結果情報ＭはＨＤＤノイズが背景音に埋没するか否かについて示す情報であり、従ってこれが常時出力されている必要性はないと考えることができる。
【００５５】
そこで、実施の形態のノイズ埋没判定部２５としては、先に説明したノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSを入力し、このノイズ区間情報ＮSにより示される区間内でのみ、上述したような信号分析及びその結果に基づくノイズ埋没判定を行うようにされる。
具体的には、ノイズ区間情報ＮSにより示される区間内でのみ、上述したような入力音声信号Ａin-1の時間波形のパワー計算、及びそのパワーについての閾値ｔｈ-pとの比較、及びその比較結果に基づく埋没判定結果情報Ｍの出力を行うようにされているものである。
【００５６】
このようなノイズ埋没判定部２５により出力される上記埋没判定結果情報Ｍは、図示するようにして除去動作制御部２７に対して供給されると共に、分岐してディレイ回路２８を介し選択制御部２９に対しても供給される。
【００５７】
先ず、上記除去動作制御部２７は、上記埋没判定結果情報Ｍに基づき、後述するノイズ除去信号生成部２６の動作をON/OFFするためのON/OFF制御信号を出力する。具体的に、埋没判定結果情報Ｍが、ＨＤＤノイズが埋没しないとの判定結果を示すものである場合には、上記ON/OFF制御信号としてONを指示する信号を出力し、ＨＤＤノイズが埋没するとの判定結果を示すものである場合には上記ON/OFF制御信号としてOFFを指示する信号を出力する。
【００５８】
ここで後述もするが、上記ノイズ除去信号生成部２６は、入力音声信号Ａin（Ａin-2）を入力して所定の信号処理を施すことで、ＨＤＤノイズを除去したノイズ除去信号を生成する。このようなノイズ除去信号生成部２６に対し、上記のように埋没判定結果情報Ｍの内容に応じたON/OFF制御信号が供給されることで、ＨＤＤノイズが背景音に埋もれるとされた場合にはノイズ除去信号の生成動作が行われず、ＨＤＤノイズが背景音に埋もれないとされた場合にのみノイズ除去信号の生成動作が行われるようにすることができる。
【００５９】
一方、上記選択制御部２９は、上述したようにしてディレイ回路２８を介して得られる埋没判定結果情報Ｍを入力し、この埋没判定結果情報Ｍに基づき、図示する信号挿入部３０に入力される２つの入力信号のうちの一方を択一的に選択させるための選択制御信号ＳＬＣを出力する。
【００６０】
後述もするように上記信号挿入部３０は、先に説明したディレイ回路２１と共に図示するディレイ回路２２とディレイ回路２３とを介して得られる入力音声信号Ａin-3を入力すると共に、ノイズ除去信号生成部２６からのノイズ除去信号を入力するようにされる。そして、上記選択制御信号ＳＬＣに応じて、上記入力音声信号Ａin-3をそのまま出力するか、或いは上記入力音声信号Ａin-3に代えて上記ノイズ除去信号を出力するかを選択するものとされる。
【００６１】
上記選択制御部２９は、上記埋没判定結果情報Ｍが、ＨＤＤノイズが背景音に埋もれるとの判定結果を示すものである場合には、入力音声信号Ａin-3の選択を指示する選択制御信号ＳＬＣを出力する。一方、上記埋没判定結果情報ＭがＨＤＤノイズが背景音に埋もれないとの判定結果を示すものである場合には、ノイズ除去信号の選択を指示する選択制御信号ＳＬＣを出力する。
すなわち、このような選択制御信号ＳＬＣが信号挿入部３０に対して供給されることで、ＨＤＤノイズが背景音に埋もれるとされた場合には入力音声信号Ａin-3がそのまま出力され（つまりノイズ除去の行われていない音声信号が出力され）、ＨＤＤノイズが背景音に埋もれないとされた場合にのみ上記ノイズ除去信号（つまりノイズが除去された音声信号）が出力されるようにすることができる。
【００６２】
このようにしてノイズ埋没判定部２５が出力する埋没判定結果情報Ｍによっては、ＨＤＤノイズが背景音に埋没しなとされた場合、つまりノイズ除去が必要であるとされた場合に、入力音声信号Ａinについてのノイズ除去処理が行われると共に、ノイズ除去の行われた音声信号が選択出力されるようにすることができる。
一方、ＨＤＤノイズが背景音に埋没するとされた場合、つまりノイズ除去が不要であるとされた場合には、入力音声信号Ａinについてのノイズ除去処理は行われないようにすると共に、ノイズ除去の行われていない音声信号が選択出力されるようにすることができる。
【００６３】
なお、上述したディレイ回路２２、ディレイ回路２３、及びディレイ回路２８にそれぞれ設定されるべき遅延時間については後述する。
【００６４】
［ノイズ除去］
続いては、本実施の形態としてのビデオカメラ装置１にて行われるノイズ除去の手法について説明する。
先ずは、実施の形態のノイズ除去手法の説明に先立ち、実施の形態のＨＤＤノイズについて再考してみると、このＨＤＤノイズとしては、時間波形（図４（ａ））で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。また、スペクトログラム（図４（ｂ））で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布しているものとなる。
【００６５】
このようにしてＨＤＤノイズは、その発生時間が非常に短い期間となっていることから、例えば従来行われていたような適応型フィルタを用いたノイズ除去手法では、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
【００６６】
また、ＨＤＤノイズは上記のように比較的広帯域にわたりそのパワーが分布する特性とされるので、これを例えば逆位相の信号を加算することにより除去する手法を適用した場合には、ノイズを除去することが困難となる可能性がある。
【００６７】
そこで、本実施の形態では、このようなＨＤＤノイズの特性を考慮して適正にこれを除去することのできるノイズ除去の手法を採用するものとしている。
図１０は、実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図であり、図１０（ａ）は、入力音声信号Ａinについてノイズ区間とその前後を含む時間波形とを示し、図１０（ｂ）ではノイズ除去後の音声出力信号Ａoutについてノイズ区間とその前後を含む時間波形を示している。
【００６８】
本実施の形態では、上記のようなＨＤＤノイズの特性を考慮して、ノイズ区間の音声信号を、ノイズ発生タイミングの周辺の音声信号の波形情報を利用して補間するものとしている。
つまり、図１０（ｂ）に示されるようにして、ノイズ発生タイミングの周辺波形からノイズを除去するためのノイズ除去信号を生成し、ノイズ区間に対し、このように生成したノイズ除去信号を挿入するようにして（つまり置き換えるようにして）ノイズ区間の信号を補間するというものである。
【００６９】
このようなノイズ除去手法を実現するために、実施の形態のビデオカメラ装置１は、図２に示すノイズ除去信号生成部２６と信号挿入部３０とを備えている。
図２に示すようにしてノイズ除去信号生成部２６には、ディレイ回路２１とディレイ回路２２とを介して得られる入力音声信号Ａin-2と、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSとが入力される。
ノイズ除去信号生成部２６は、上記入力音声信号Ａin-2における上記ノイズ区間情報ＮSが示すノイズ区間を補間するためのノイズ除去信号を生成し、これを上記信号挿入部３０に対して供給する。
【００７０】
また、先に述べたようにしてノイズ除去信号生成部２６には、除去動作制御部２７からのON/OFF制御信号が供給され、このON/OFF制御信号に基づきノイズ除去信号の生成動作のON/OFFが制御されるようになっている。
なお、このノイズ除去信号生成部２６の内部構成及び動作については後述する。
【００７１】
信号挿入部３０には、ノイズ除去信号生成部２６からのノイズ除去信号と共に、ディレイ回路２１とディレイ回路２２とディレイ回路２３とを介して得られる入力音声信号Ａin-3と、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSとが入力される。
この信号挿入部３０は、上記入力音声信号Ａin-3をそのまま出力するか、或いは上記入力音声信号Ａin-3における上記ノイズ区間情報ＮSが示すノイズ区間に、上記入力音声信号Ａin-3に代えて上記ノイズ除去信号を出力するかを選択可能に構成される。この信号挿入部３０の選択出力は、図示するようにして音声出力信号Ａoutとして音声信号処理部３に対して供給される。
【００７２】
このような信号挿入部３０の選択動作は、先にも述べたように選択制御部２９からの選択制御信号ＳＬＣによって制御されるようになっている。
つまり、信号挿入部３０は、上記選択制御信号ＳＬＣにより入力音声信号Ａin-3の選択が指示された場合は、入力音声信号Ａin-3をそのまま選択出力する。そして、上記選択制御信号ＳＬＣによりノイズ除去信号の選択が指示された場合は、上記入力音声信号Ａin-3におけるノイズ区間の信号の代わりに、上記ノイズ除去信号を出力するようにされる。換言すれば、入力音声信号Ａin-3におけるノイズ区間にノイズ除去信号を挿入するようにされるものである。
【００７３】
ここで、本実施の形態のノイズ除去信号の生成手法について説明する。
図１１は、図２に示したノイズ除去信号生成部２６の内部構成を示している。
この図１１に示すようにしてノイズ除去信号生成部２６内には、ディレイ回路３１、前半ピッチ計算部３２、後半ピッチ計算部３３、前半信号生成部３４、後半信号生成部３５、クロスフェード処理部３６が備えられる。
先の図２にも示したように、ノイズ除去信号生成部２６には、ノイズタイミング検出・ノイズ区間設定部２４からのノイズ区間情報ＮSと、除去動作制御部２７からのON/OFF制御信号が供給される。図示は省略しているが、上記ノイズ区間情報ＮSは、ノイズ除去信号生成部２６内の各部に対して供給されている。
また、上記ON/OFF制御信号としても、ノイズ除去信号生成部２６内の各部に対して供給され、各部はこのON/OFF制御信号に応じてON/OFFするように構成されている。
【００７４】
図１１において、先ず前半ピッチ計算部３２、後半ピッチ計算部３３に対しては、先の図２に示したディレイ回路２１とディレイ回路２２とを介して得られる入力音声信号Ａin-2が入力される。
上記前半ピッチ計算部３２は、入力音声信号Ａin-2について、ノイズ区間情報ＮSにより示されるノイズ区間の前側近傍で最も波形相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す前半ピッチ情報Ｐ-fを得る。
具体的にこの場合は、上記ノイズ区間の開始点を基準としてその前後の最も波形相関性のあるとされるピッチ周期を計算して上記前半ピッチ情報Ｐ-fを得る。
また、上記後半ピッチ計算部３３は、入力音声信号Ａin-2について、ノイズ区間情報ＮSにより示されるノイズ区間の後側近傍で最も波形相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す後半ピッチ情報Ｐ-rを得る。具体的には、上記ノイズ区間の終了点を基準としてその前後の最も波形相関性のあるとされるピッチ周期を計算して上記後半ピッチ情報Ｐ-rを得る。
【００７５】
上記前半ピッチ計算部３２及び後半ピッチ計算部３３において、上記ピッチ周期は、例えば以下で定義するような平均歪みを最小にするサンプル数Tとして算出することができる。
(1 / T) * Σt = 0 〜 T-1 {Ain(t) - Ain(t + T)}2
又は、
(1 / T) * Σt = 0 〜 T-1 | Ain(t) - Ain(t + T) |
このようにして上記前半ピッチ計算部３２及び後半ピッチ計算部３３においては、波形相関が最も高くなるようなピッチ周期が算出される。
【００７６】
なお、このようなピッチ周期の計算（以下ピッチ計算とも言う）の手法は、いわゆる話速変換と呼ばれるような音声の時間軸方向への伸張／圧縮の技術でも適用されている手法である。このような話速変換の技術については、例えば以下の文献を参照されたい。
・日本音響学会論文集（昭和６１年１０月）森田、板倉「ポインター移動量制御による重加算法（PICOLA）を用いた音声の時間軸での伸張圧縮とその評価」ｐ１４９−１５０
【００７７】
また、上記説明によると、この場合のピッチ周期の計算時にはノイズ区間の開始点・終了点を基準としてその前後も対象とすることで、ノイズ区間内の部分もピッチ計算の対象としているが、これは、実施の形態ではノイズ区間を実際にＨＤＤノイズの存在する区間に対して広めに設定しているためであり、さらに、ＨＤＤノイズは極めてレベルの小さい信号でありピッチ計算において支配的な信号にはならないことを前提としているためである。
【００７８】
上記前半ピッチ計算部３２にて得られた前半ピッチ情報Ｐ-fは、前半信号生成部３４に対して供給される。また、上記後半ピッチ計算部３３にて得られた後半ピッチ情報Ｐ-rは後半信号生成部３５に対して供給される。
【００７９】
前半信号生成部３４、及び後半信号生成部３５に対しては、入力音声信号Ａin-2が図示するディレイ回路３１によって遅延された入力音声信号Ａin-2dが入力される。
なお、このディレイ回路３１に設定されるべき遅延時間については後述する。
【００８０】
前半信号生成部３４は、上記入力音声信号Ain-2dと、上記前半ピッチ情報Ｐ-fとに基き、次の図１２に説明するようにして前半信号を生成する。
また後半信号生成部３５は、上記入力音声信号Ain-2dと上記後半ピッチ情報Ｐ-rとに基き、次の図１３に説明するようにして後半信号を生成する。
【００８１】
図１２、図１３は、上記前半信号生成部３４における前半信号の生成処理と、後半信号生成部３５における後半信号の生成処理とについてそれぞれ模式的に示している。
先ず、図１２において、例えば図１２（ａ）に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、前半ピッチ計算部３２によっては、図１２（ｂ）に示すようなピッチ周期が計算される。先の説明からも理解されるように、このようなピッチ周期は、ノイズ区間の開始点を基準として、その前後において最も波形相関の高くなる周期が算出される。
【００８２】
そして、前半信号生成部３４は、このようなピッチ周期により特定される２つの区間（ピッチ区間）を示す前半ピッチ情報Ｐ-fに基づき、入力音声信号について所定の信号処理を施すことによって前半信号を生成する。
つまり、前半信号生成部３４は、先ずは入力音声信号（Ａin-2d）における、上記前半ピッチ情報Ｐ-fにより示される２つのピッチ区間の信号に対して、図１２（ｃ）に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。
図示するようにしてこの場合の重み窓データは、ノイズ区間の開始点を「１」として、それぞれのピッチ区間の端点側に向けて徐々に「０」に向けて低下するような窓データが設定される。
【００８３】
そして、前半信号生成部３４は、このようにしてそれぞれの窓データにより重み付けされた音声信号を図１２（ｄ）に示すようにして加算することにより、１ピッチ周期分の重み付け加算信号を得る。
その上で、次の図１２（ｅ）に示すようにして、この１ピッチ周期分の重み付け加算信号をノイズ区間の開始点からノイズ区間の終了点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。図示するようにしてこの場合は、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するものとしている。
【００８４】
ここで、個々の重み付け加算信号は、元々波形相関の高い信号同士を重み付け加算したものであり、またそれを繰り返した上記繰り返し重み付け加算信号は、入力音声信号の連続性を保持した繰り返し手法であるため、このようにして生成される繰り返し重み付け加算信号は聴感上極めて自然な音声信号とすることができる。
前半信号生成部３４は、この繰り返し重み付け加算信号を前半信号として出力する。
【００８５】
また、図１３は、後半信号生成部３５における後半信号の生成処理について示している。
この場合も、例えば図１３（ａ）に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、後半ピッチ計算部３３によっては、図１３（ｂ）に示すようなピッチ周期が計算される。このような後半ピッチ計算部３３によって計算されるピッチ周期としても、ノイズ区間の終了点を基準として、その前後において最も波形相関の高くなる周期となる。
【００８６】
そして、後半信号生成部３５としても、このようなピッチ周期により特定される２つのピッチ区間を示す後半ピッチ情報Ｐ-rに基づき、入力音声信号について所定の信号処理を施すことによって後半信号を生成する。
すなわち後半信号生成部３５は、入力音声信号（Ａin-2d）における、上記後半ピッチ情報Ｐ-rにより示される２つのピッチ区間の信号に対して、図１３（ｃ）に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。この場合の重み窓データとしても、図示するようにしてノイズ区間の終了点を「１」として、それぞれのピッチ区間の端点側に向けて徐々に「０」に向けて低下するような窓データが設定される。
【００８７】
そして、後半信号生成部３５としても、このようにしてそれぞれの窓データにより重み付けされた入力音声信号を、次の図１３（ｄ）に示すようにして加算して１ピッチ周期分の重み付け加算信号を得る。
その上で、図１３（ｅ）に示すようにして、この１ピッチ周期分の重み付け加算信号をノイズ区間の終了点からノイズ区間の開始点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。この場合も、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するようにされる。
【００８８】
後半信号生成部３５は、このようにして生成した繰り返し重み付け加算信号を後半信号として出力する。この後半信号としても、上記のようにして前半信号の場合と同様の手法により生成されることで、聴感上極めて自然な音声信号とすることができる。
【００８９】
説明を図１１に戻す。
クロスフェード処理部３６は、前半信号生成部３４が出力する前半信号と、後半信号生成部３５が出力する後半信号とを入力し、それらのクロスフェード処理を行ってノイズ除去信号を生成する。
【００９０】
図１４は、クロスフェード処理部３６のクロスフェード処理について模式的に示した図である。
クロスフェード処理部３６では、図１４（ａ）に示されるようにして、前半信号生成部３４からの前半信号に対し、図のような重み窓データを乗算して重み付けを行う。
同様に、図１４（ｂ）に示されるようにして、後半信号生成部３５からの後半信号に対しても、図のような重み窓データを乗算して重み付けを行う。
前半信号、後半信号に対して重み付けを行うための窓データは、図示するようにしてそれぞれ前半信号と後半信号とがオーバーラップする区間の長さを有し、「１」から「０」に徐々に低下するものが設定される。具体的に、前半信号に対する窓データは、後半信号の開始点を「１」として、前半信号の終了点にかけて徐々に「０」に向けて低下するものが設定される。また、後半信号に対する窓データとしては、前半信号の終了点を「１」として後半信号の開始点にかけて徐々に「０」に向けて低下するものが設定される。
【００９１】
そして、クロスフェード処理部３６は、このようにして重み付けされた前半信号および後半信号を、次の図１４（ｃ）に示すように加算することにより、ノイズ区間と等しい長さの前半・後半重み付け加算信号を得る。
クロスフェード処理部３６は、このような処理により生成された前半・後半重み付け加算信号（つまりクロスフェード信号）を、ノイズ除去信号として出力する。
【００９２】
先に述べたようにしてこのノイズ除去信号は、図２（図１１）に示される信号挿入部３０に入力され、これが入力音声信号（Ａin-3）におけるノイズ区間に挿入されることで、ノイズ除去が行われるようになっている。
【００９３】
なお、以上のようにしてノイズ除去が行われるノイズ検出・除去部２においては、複数のディレイ回路が設けられているが、ここでそれら各ディレイ回路（２１，２２，２３，２８，３１）に設定されるべき遅延時間について整理しておく。
先ず、ディレイ回路２１の遅延時間としては、先にも述べたようにノイズ埋没判定部２５に供給される入力音声信号Ａin-1として、少なくともノイズタイミング検出・ノイズ区間設定部２４により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。
【００９４】
また、ディレイ回路２２の遅延時間としては、ノイズ埋没判定部２５によるノイズ埋没判定が行われた後に、ノイズ除去信号生成部２６に対して入力音声信号Ａin-2のノイズ区間前の信号部分が供給されるように設定されればよい。
【００９５】
また、ディレイ回路３１については、前半ピッチ情報Ｐ-fの出力後に前半信号生成部３４に入力音声信号Ａin-2dのノイズ区間開始点より所定分前の信号部分が供給され、且つ後半ピッチ情報Ｐ-rの出力後に後半信号生成部３５に入力音声信号Ａin-2dのノイズ区間終了点より所定分前の信号部分が供給されるようにしてその遅延時間が設定されればよい。
【００９６】
また、ディレイ回路２３については、ノイズ除去信号生成部２６によるノイズ除去信号の生成後に、信号挿入部３０に対して入力音声信号Ａin-3のノイズ区間前の信号部分が供給されるようにその遅延時間が設定されればよい。
【００９７】
さらに、ディレイ回路２８については、ノイズ除去信号生成部２６によるノイズ除去信号の生成後に、選択制御部３０に対して更新された埋没判定結果情報Ｍが供給されるようにその遅延時間が設定されればよい。
【００９８】
各ディレイ回路に対してこのような遅延時間を設定することで、連続的に入力される入力音声信号に対して、ノイズ検出に応じてそのノイズ区間を補間してノイズを除去する動作、及びノイズ検出に応じてそのノイズ区間についてのノイズ埋没判定を行う動作、及び埋没判定結果に応じてノイズ除去の実行／不実行を制御する動作が、それぞれ適正に行われるようにすることができる。
【００９９】
[実施の形態のまとめ及び変形例]
これまでで説明したようにして、本実施の形態のビデオカメラ装置１によれば、ノイズ発生源としてのＨＤＤ１０内に設けたノイズ検出用マイク１１からの検出信号に基づいてＨＤＤノイズの発生タイミングを検出するので、例えばＨＤＤ１０への記録開始／停止指示のタイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングの検出を行うことができ、これによってノイズ区間は必要最小限の区間を設定することができる。
このようにしてノイズ区間を必要最小限に設定することができれば、ノイズ除去に伴い生じる可能性のある音質劣化部分としても最小限に抑えることができる。
【０１００】
そして、本実施の形態では、上記のようなノイズ検出用マイク１１の検出信号に基づくノイズ発生タイミングの検出のための信号分析を、ノイズ発生タイミングが含まれるとされる所定区間内でのみ行うものとしている。具体的には、ＨＤＤ１０に対する記録開始／停止指示に応じてシステムコントローラ１２が出力するノイズ発生予想区間情報ＮcSが示す範囲内でのみ行うものとしている。
これにより、ノイズタイミング検出・ノイズ区間設定部２４では、常時ノイズタイミング検出のための信号分析を行う必要がないものとでき、その分の処理負担と消費電力とを削減することができる。
【０１０１】
また、このとき、上記信号分析はあくまでＨＤＤノイズの発生することが予想される区間内で行われるものであるので、上記のように信号分析区間が削減されることによるＨＤＤノイズの検出漏れはないものとすることができる。すなわちこのことから、ＨＤＤノイズの検出漏れの防止と、分析期間の削減による処理負担・消費電力の削減との両立が図られるものである。
【０１０２】
また、上記のような信号分析に基づくノイズタイミング検出は誤検出の可能性が皆無ではないが、上記のようにしてノイズタイミング検出のための信号分析を行う期間がノイズ発生予想区間ＮcSの区間内のみに絞られれば、その分ノイズタイミング検出の誤検出の機会は減り、その分、このような誤検出に基づく無駄なノイズ除去動作が行われる機会も減らすことができる。そして、このようにノイズ誤検出に基づく無駄なノイズ除去動作の機会を減らすことができれば、音質劣化の機会も減らすことができる。
すなわち、本実施の形態によれば、このようにノイズ検出のための信号分析の期間を削減したという面でも、音質劣化の最小限化を図ることができるものである。
【０１０３】
また、実施の形態では、ノイズ埋没判定部２５、除去動作制御部２７、及び選択制御部２９の動作により、ＨＤＤノイズが入力音声信号Ａinにおける背景音に埋没しないとされた場合にのみノイズ除去信号生成部２６によるノイズ除去信号の生成動作を実行させ、且つ信号挿入部３０にてノイズ除去信号（つまりノイズの除去された音声信号）が選択出力されるようにしている。
このようにして、ＨＤＤノイズが背景音に埋没しないとされた場合にのみノイズの除去された音声信号が選択出力されるようにしたことで、ＨＤＤノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去が行われてしまうことを効果的に防止することができる。そして、このように無駄なノイズ除去が行われないようにすることができれば、その分ノイズ除去に伴う音質劣化の機会も有効に減らすことができる。
【０１０４】
また、上記のようにしてＨＤＤノイズが入力音声信号Ａinにおける背景音に埋没しないとされた場合にのみノイズ除去信号生成部２６によるノイズ除去信号の生成動作を実行させるようにしたことで、ＨＤＤノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去動作が行われてしまうことを効果的に防止することができ、その分処理負担の削減と消費電力の削減を図ることができる。
【０１０５】
また、実施の形態では、上記のようなノイズ埋没判定部２５によるノイズ埋没判定のための信号分析を常時行うものとはせず、ＨＤＤノイズの発生するとされる区間内でのみ行うものとしている。具体的には、ノイズタイミング検出・ノイズ区間設定部２４によって設定されたノイズ区間内でのみ行うものとしている。
このようにしてノイズ埋没判定のための信号分析を行う期間がノイズの発生するとされる区間内のみに絞られれば、その分ノイズ埋没判定部２４の処理負担を軽減することができ、またその消費電力としても削減を図ることができる。
【０１０６】
そして、ノイズ埋没判定としても、このように少なくともノイズが発生するとされる区間内でのみ信号分析が行われるものとされることで、ノイズ埋没判定の判定漏れがないようにすることができ、このことで判定漏れの防止と上記のような処理負担・消費電力の削減と両立が図られるものとなる。
【０１０７】
また、実施の形態では、ノイズ発生源に対して設けたノイズ検出用マイクによりノイズ発生タイミングを検出する手法を採る場合に、上記のようなノイズ埋没判定に応じたノイズ除去動作の制御を行うものとしているが、このことによっては以下のような利点も得られる。
すなわち、このようにしてノイズ検出用マイクを用いる場合には、仮に背景音が比較的大きい状況下には、その背景音がノイズ検出用マイクにより収音されることで、ノイズが誤検出される可能性がなくはないが、万が一背景音の比較的大きい状況下でノイズが誤検出されてしまったとしても、上記のようなノイズ埋没判定の結果に基づくノイズ除去制御が行われることで、結果的にはノイズ除去が行われないようにすることができることになる。
【０１０８】
また、実施の形態では、ノイズタイミング検出・ノイズ区間設定部２４において、検出されたノイスタイミングに基づく所定区間をノイズ区間として設定し、入力音声信号Ａin中のこのノイズ区間に対し、入力音声信号Ａinから生成したノイズ除去信号を置き換えるようにして挿入することで、ノイズ除去を行うものとしている。
これによれば、本実施の形態のＨＤＤノイズのように、その発生期間が非常に短く、また比較的広い周波数帯域にわたりパワーが分布するノイズに対し、例えば従来の適応型フィルタを用いる手法や逆位相信号を加算する手法などが採られる場合と比較して、より有効にノイズ除去を行うことができる。
【０１０９】
また、実施の形態では、ノイズ区間の開始点前後の入力音声信号Ａin、及びノイズ区間の終了点前後の入力音声信号Ａinに対してピッチ計算を行い、得られたピッチ情報Ｐに基いて前半信号および後半信号の生成を行い、これら前半信号と後半信号とのクロスフェード処理を行ってノイズ除去信号を生成するものとしたが、これによりノイズ除去信号としては、それ自体の音質を聴感上極めて自然なものとでき、またノイズ区間前後の音声のつながりも聴感上極めて自然となるようにすることのできる信号を得ることができる。つまり、このようなノイズ除去信号によりノイズ区間の音声信号が置き換えられることで、聴感上極めて自然にノイズ区間を補間することができる。
【０１１０】
ところで、本実施の形態では、ピッチ計算として波形歪みを最小とするような波形相関性を有する区間を割り出し、その区間の信号に基づいてノイズ除去信号を生成するものとしているが、これによってノイズ除去に伴う音質劣化は最小限に抑えることができる。
ここで、ノイズ除去に関しては、例えば他の手法として、ノイズ区間前後の波形がつながるように近似式を用いて生成したノイズ除去信号をノイズ区間に挿入することも考えられる。しかしながら、このように近似によって前後の波形のつながりを確保する手法では、波形の歪みを生じさせ兼ねないものとなる。
これに対し本実施の形態の手法では、波形歪みを最小とするような波形相関性を有する区間を割り出し、その区間の信号に基づいてノイズ除去信号を生成するので、より音質劣化の少ないノイズ除去を実現することができる。
【０１１１】
また、実施の形態では、ピッチ計算により割り出された２つのピッチ区間の信号を合成した信号（先の例では重み付け加算信号）を、時間軸方向に所定回数繰り返して前半信号、及び後半信号を生成し、さらにこれら前半信号と後半信号とを合成することでノイズ除去信号を生成するものとしたが、これにより、ノイズ区間が１ピッチ区間に対して比較的長い場合に対応した長さによるノイズ除去信号を生成することができる。
また、確認のために述べておくと、このとき時間軸方向に繰り返す信号が、２つのピッチ区間の信号について先の図１２（ｂ）、図１３（ｂ）のような重み窓データによる重み付け加算した重み付け加算信号とされていることで、前半信号、後半信号自体の音質は聴感上極めて自然なものとでき、またこのように生成された前半信号と後半信号とを上述したようなクロスフェード処理などにより合成して得られるノイズ除去信号としても、同様にそれ自体の音質は聴感上極めて自然なものとできる。
【０１１２】
ここで、先にも述べたように本実施の形態では、ピッチ計算の手法として、先にその文献を例示した話速変換の場合と同様の手法を適用するものとしているが、この話速変換の技術は、ピッチ計算で割り出された２つのピッチ区間の信号を合成した信号（実施の形態では重み付け加算信号に相当）を、音声信号中における、ピッチ計算の際に基準とした点に割り込ませるようにして挿入するものである。すなわち、実施の形態のようにして音声信号中の所定区間を置き換えるという手法が採られているものではなく、この点で本実施の形態とは全く異なる技術となる。
【０１１３】
−実施の形態の変形例−
＜第１の変形例＞
以下、実施の形態の変形例について説明する。
先ず、第１の変形例は、これまでで説明した実施の形態としての動作を、ソフトウェア処理により実現するものである。
ここでは一例として、ビデオカメラ装置の全体制御を行うシステムコントローラのソフトウエア処理により実施の形態としての動作を実現する場合について説明する。
【０１１４】
図１５は、第１の変形例としてのビデオカメラ装置１５の内部構成を示すブロック図である。なお、この図において、既に図２にて説明した部分と同様となる部分については同一符号を付して説明を省略する。
図示するようにしてこの場合は、ディレイ回路２１からの入力音声信号Ａin-1、ディレイ回路２２からの入力音声信号Ａin-2、ディレイ回路３１からの入力音声信号Ａin-2d、及びディレイ回路２３からの入力音声信号Ａin-3が、それぞれシステムコントローラ１６に対して供給される。また、システムコントローラ１６には、ノイズ検出用マイク１１からの検出用音声信号ＡNinも供給される。
この場合のシステムコントローラ１６としても、先に説明したシステムコントローラ１２と同様に、間欠アクセスのための制御処理を行うものとされる。
【０１１５】
図１６〜図１８は、先に説明した実施の形態としての動作を実現するために、システムコントローラ１６が実行すべき処理動作について示したフローチャートである。なお、これらの図に示す処理動作は、システムコントローラ１６が例えば内部のＲＯＭ等に格納されるプログラムに基づいて実行するものである。
【０１１６】
先ず、図１６では、図２に示したノイズタイミング検出・ノイズ区間設定部２４の動作に対応した処理動作について示している。
先ず、ステップＳ１０１では、記録開始／停止指示の発生を待機する。つまり、この図に示す処理動作とは並行して行われることになる間欠アクセスのための制御処理によって行われる、ＨＤＤ１０への記録開始指示又は記録停止指示の発生を待機するようにされる。
【０１１７】
そして、上記記録開始／停止指示が発生した場合は、ステップＳ１０２において、検出用音声信号ＡNinを入力する。
さらに、続くステップＳ１０３では、ノイズ発生予想区間における信号分析を行う。すなわち、上記のようにして記録開始／停止指示のタイミングが検出されたことに応じ、そのタイミングに基づくノイズ発生予想区間（ノイズ発生予想区間情報ＮcS）を設定し、入力される検出用音声信号ＡNinの振幅値と先に述べた閾値ｔｈ-s1と閾値ｔｈ-s2との比較を行う。
【０１１８】
続くステップＳ１０４では、検出用音声信号ＡNinの振幅値が所定範囲外であるか否かについて判別する。つまり、上記信号分析の結果から検出用音声信号ＡNinの振幅値が閾値ｔｈ-s1と閾値ｔｈ-s2とによる所定範囲を超えたか否かについて判別処理を行う。
ステップＳ１０４において、検出用音声信号ＡNinの振幅値が上記所定範囲を超えていないとして否定結果が得られた場合は、ステップＳ１０５に進みノイズ発生予想区間が終了したか否かを判別する。そして、ノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合はステップＳ１０４に戻り、またノイズ発生予想区間が終了したとして肯定結果が得られた場合はステップＳ１０７に進んで信号分析を終了して「ＲＥＴＵＲＮ」となる。
【０１１９】
また、ステップＳ１０４において、検出用音声信号ＡNinの振幅値が上記所定範囲を超えたとして肯定結果が得られた場合は、ステップＳ１０６において、その検出タイミングを含む所定長期間をノイズ区間（ノイズ区間情報ＮS）として設定した後、ステップＳ１０７にて信号分析を終了して「ＲＥＴＵＲＮ」となる。
【０１２０】
また、図１７は、ノイズ埋没判定部２５の動作に対応した処理動作について示している。
図１７において、ステップＳ２０１では、ノイズ検出待機処理として、先の図１６に示したステップＳ１０６によるノイズ区間の設定を待機するようにされる。
そして、ノイズ区間が設定された場合は、ステップＳ２０２において、入力音声信号Ａin-1を入力する。
【０１２１】
続くステップＳ２０３では、ノイズ区間における入力音声信号Ａin-1のパワー（Ｐ-NSとする）を計算する。つまり、このパワーＰ-NSとしては、先に説明したノイズ埋没判定部２５と同様に、ノイズ区間における入力音声信号Ａin-1の例えば時間波形のパワーを計算する。このような入力音声信号Ａin-1の時間波形のパワーは、先にも述べたように各時間における入力音声信号Ａin-1の値の２乗和により算出することができる。
【０１２２】
ステップＳ２０４では、計算したパワーＰ-NSが閾値ｔｈ-pを超えるか否かについて判別処理を行う。パワーＰ-NSが閾値ｔｈ-pを超えるとして肯定結果が得られた場合は、ステップＳ２０５に進みノイズ埋没判定を行って「ＲＥＴＵＲＮ」となる。
一方、パワーＰ-NSが閾値ｔｈ-pを超えないとして否定結果が得られた場合は、ステップＳ２０６に進んでノイズ非埋没判定を行って「ＲＥＴＵＲＮ」となる。
【０１２３】
さらに、図１８は、ノイズ除去信号生成部２６、除去動作制御部２７、選択制御部２９、及び信号挿入部３０の動作に対応した処理動作を示している。
先ず、ステップＳ３０１では、上記ステップＳ２０６によるノイズ非埋没判定を待機するようにされる。そして、ノイズ非埋没判定があった場合は、ステップＳ３０２において入力音声信号Ａin-2を入力する。
【０１２４】
続くステップＳ３０３では、前半ピッチ情報Ｐ-f、後半ピッチ情報Ｐ-rを計算する処理を実行する。すなわち、先に説明した前半ピッチ計算部３２、後半ピッチ計算部３３と同様に、入力音声信号Ａin-2のノイズ区間開始点前後のピッチ周期、終了点前後のピッチ周期を計算し、それら計算したピッチ周期から前半ピッチ情報Ｐ-f、後半ピッチ情報Ｐ-rを得る。
【０１２５】
ステップＳ３０４では、入力音声信号Ａin-2dを入力する。
そして、ステップＳ３０５では、前半ピッチ情報Ｐ-fに基づき前半信号を生成するための処理を実行する。すなわち、入力音声信号Ａin-2dについて、前半ピッチ情報Ｐ-fにより示される２つのピッチ区間の信号に先の図１２（ｃ）に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図１２（ｄ）に示したようにノイズ区間の開始点から終了点側に所定回数繰り返すことで前半信号を生成する。
【０１２６】
また、ステップＳ３０６では、後半ピッチ情報Ｐ-rに基づき後半信号を生成するための処理を実行する。すなわち、入力音声信号Ａin-2dについて、後半ピッチ情報Ｐ-rにより示される２つのピッチ区間の信号に先の図１３（ｃ）に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図１３（ｄ）に示したようにノイズ区間の終了点から開始点側に所定回数繰り返すことで後半信号を生成する。
【０１２７】
そして、ステップＳ３０７では、前半信号・後半信号のクロスフェード処理を実行する。つまり、上記のようにして生成した前半信号、後半信号について、先の図１４に示したようなクロスフェード処理を実行してクロスフェード信号（ノイズ除去信号）を得る。
【０１２８】
続くステップＳ３０８では、入力音声信号Ａin-3のノイズ区間にノイズ除去信号を挿入して出力するための処理を実行する。すなわち、入力される上記入力音声信号Ａin-3と、上記のようにして生成したノイズ除去信号のうち上記ノイズ除去信号を選択し、これを上記入力音声信号Ａin-3のノイズ区間の信号部分の代わりに出力する。
これにより、図１５に示す出力音声信号Ａoutとして、ＨＤＤノイズが除去された信号を出力することができる。
【０１２９】
＜第２の変形例＞
図１９〜図２１は、第２の変形例について示している。
第２の変形例は、ビデオカメラ装置１内のノイズ除去信号生成部２６にのみ変更を加えたものであり、これら図１９〜図２１においては、第２の変形例のビデオカメラ装置１が備えるノイズ除去信号生成部２６の内部構成を示している。なお、これら図１９〜図２１においても、既に説明済みの部分については同一符号を付して説明を省略する。
【０１３０】
先ず、図１９の例は、ダウンサンプル部４０を追加したものである。
図１９において、このダウンサンプル部４０は、先の図２に示したディレイ回路２２を介して得られる入力音声信号Ａin-2に対して例えば１／２間引きや１／４間引きといったダウンサンプル処理を行い、その結果を前半ピッチ計算部３２、及び後半ピッチ計算部３３に対して出力する。すなわち、この場合の前半ピッチ計算部３２、後半ピッチ計算部３３は、このようなダウンサンプル処理後の入力音声信号Ａin-2についてピッチ計算を行うようにされる。
【０１３１】
なお、このようにダウンサンプル部４０によりダウンサンプルされた入力音声信号Ａin-2に基づき算出されるピッチ周期は、実際のピッチ周期に対しダウンサンプル倍率に応じた分短い周期となる。そこで、この場合の前半ピッチ計算部３２、後半ピッチ計算部３３のそれぞれは、算出されたピッチ周期をダウンサンプル倍率に応じた値で倍数化するなどして本来の周期情報に修正する。
【０１３２】
ここで、ピッチ計算は比較的多くの演算を要するため、高サンプリングレートの音声信号に対してノイズ除去を行うような場合には、演算量が増大してしまうことになる。このため、上記のようにダウンサンプル処理を行った音声信号に対してピッチ計算を行うことにより、演算量を大幅に低減して、前半ピッチ計算部３２及び後半ピッチ計算部３３の処理負担の軽減を図ることができる。
【０１３３】
続いて、図２０の例は、ダウンミックス部４１を追加したものである。
このダウンミックス部４１は、入力音声信号Ain-2に対してマルチ/ステレオやマルチ/モノラル、ステレオ/モノラルといったダウンミックス処理を行い、その結果を前半ピッチ計算部３２及び後半ピッチ計算部３３に出力する。
このように前半ピッチ計算部３２及び後半ピッチ計算部３３にダウンミックス処理後の音声信号を入力してピッチ計算を行うようにした場合としても、ピッチ計算に要する演算量を大幅に低減でき、ピッチ計算に伴う処理負担の軽減を図ることができる。
【０１３４】
また、図２１の例は、ダウンサンプル部４０とダウンミックス部４１とを組み合わせたものである。
この場合、先ずはダウンミックス部４１が入力音声信号Ａin-2に対してダウンミックス処理を行い、このダウンミックス処理後の音声信号をダウンサンプル部４０が入力してダウンサンプル処理を行ってその結果を前半ピッチ計算部３２及び後半ピッチ計算部３３に出力するようにされる。
このようにすることで、ピッチ計算に要する演算量はダウンサンプル処理のみ又はダウンミックス処理のみとする場合よりもさらに低減することができ、ピッチ計算に伴う処理負担のさらなる軽減を図ることができる。
なお、ダウンミックス処理とダウンサンプル処理の順序は前後しても構わない。また、この場合の前半ピッチ計算部３２、後半ピッチ計算部３３としても、算出したピッチ周期をダウンサンプル倍率に応じて倍数化するように構成しておく。
【０１３５】
ここで、第２の変形例において、このようなピッチ計算の演算量削減のための処理を第１の変形例のようなソフトウエア処理により実現する場合に適用するとしたときは、先の図１８のステップＳ３０２とＳ３０３との間に、上記のようなダウンサンプル処理単体、又はダウンミックス処理単体、又はダウンミックス処理とダウンサンプル処理との組み合わせ処理を追加するものとすればよい。
【０１３６】
＜第３の変形例＞
図２２は、第３の変形例について示すブロック図である。
第３の変形例は、入力音声信号Ａinが無音に近い又はランダムノイズとされる態様で得られているか否かを判定し、その結果に基づきノイズ除去信号生成部２６の動作を制御するようにしたものである。
【０１３７】
図２２において、第３の変形例では、図示するようにして無音・ランダムノイズ判定部４３が追加される。この無音・ランダムノイズ判定部４３は、この場合は図２に示したノイズ検出・除去部２内に設けられるものとされ、ディレイ回路２１を介して得られる入力音声信号Ａin-1を入力するようにされている。
【０１３８】
無音・ランダムノイズ判定部４３は、入力音声信号Ａin-1について例えばそのパワー計算や所定閾値との比較など所定の信号分析を行った結果に基づき、上記入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られているか否かを判定する。そして、上記入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られているとした場合は、その旨を示す判定結果情報ＮＲを出力する。また、上記入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られてはいないとした場合は、その旨を示す判定結果情報ＮＲを出力する。
この判定結果情報ＮＲは、図示するようにしてノイズ除去信号生成部２６内の前半ピッチ計算部３２、後半ピッチ計算部３３、前半信号生成部３４、後半信号生成部３５に対してそれぞれ供給される。
【０１３９】
この場合の前半ピッチ計算部３２、後半ピッチ計算部３３は、上記判定結果情報ＮＲによって上記入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られてはいない旨が示される場合には、通常通りピッチ計算を行ってピッチ情報Ｐを出力する。
そして、前半信号生成部３４、後半信号生成部３５としても、このように判定結果情報ＮＲにより無音又はランダムノイズではないことが示される場合には、通常通りピッチ情報Ｐに基づいて入力音声信号Ａin-2dから前半信号、後半信号を生成する。
【０１４０】
一方、前半ピッチ計算部３２、後半ピッチ計算部３３は、上記判定結果情報ＮＲにより上記入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られている旨が示される場合には、ピッチ計算は行わず、ピッチ情報Ｐの出力は行わないようにされる。
そして前半信号生成部３４、後半信号生成部３５は、このように判定結果情報ＮＲにより無音又はランダムノイズであることが示される場合には、例えば次のようにして前半信号、後半信号を生成するようにされる。
つまり、前半信号生成部３４は、ノイズ区間情報ＮＳにより示されるノイズ区間の開始点近傍の所定長区間の入力音声信号Ａin-2dをそのまま前半信号として取得する。また、後半信号生成部３５としては、ノイズ区間情報ＮＳにより示されるノイズ区間の終了点近傍の所定長区間の入力音声信号Ａin-2dをそのまま後半信号として取得する。
この場合も上記前半信号及び後半信号はクロスフェード処理部３６に供給され、それらがクロスフェードされて信号挿入部３０に供給される。
【０１４１】
例えば無音に近い状態やランダムノイズ下では、音声信号波形の前後のつながりを特に考慮する必要はなくなるので、ピッチ計算を行う必要性はない。そこで、上記のようにして無音に近い状態やランダムノイズ下であるとされた場合に、ピッチ計算が行われないようにすることで、音質の劣化を防ぎつつ、ピッチ計算に伴う処理負担の削減との両立を図ることができる。
【０１４２】
図２３、図２４では、このような第３の変形例としての動作をソフトウエア処理により実現する際に行われるべきフローチャートを示している。なお、これらの図に示す処理動作としても、先の図１５に示したシステムコントローラ１６が内部のＲＯＭ等に格納されるプログラムに基づいて実行するものである。
【０１４３】
先ず、図２３は、無音・ランダムノイズ判定部４３の動作に対応した処理動作を示している。先ずステップＳ４０１において入力音声信号Ａin-1を入力すると、続くステップＳ４０２において、無音又はランダムノイズであるか否かの判別を処理を行う。すなわち、入力音声信号Ａin-1について先に述べたような所定の信号分析を行った結果に基づき、上記入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られているか否かを判別するものである。
【０１４４】
ステップＳ４０２において、入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られてはいないとして否定結果が得られた場合は、図示するようにして「ＲＥＴＵＲＮ」となる。
またステップＳ４０２において、入力音声信号Ａin-1が無音又はランダムノイズとされる態様で得られているとして肯定結果が得られた場合は、ステップＳ４０３に進んで無音・ランダムノイズ判定を行って「ＲＥＴＵＲＮ」となる。
【０１４５】
図２４では、このような無音・ランダムノイズ判定部４３に対応した処理と共に行われるべき第３の変形例としてのノイズ除去動作を実現するための処理動作について示している。図示するようにしてこの処理動作としては、先の図１８に示した処理動作に対し、図中のステップＳ５０１〜５０４が挿入されたものとなる。
つまりこの場合、ステップＳ３０１によるノイズ非埋没判定の待機処理後に、ステップＳ５０１が追加される。このステップＳ５０１では、無音・ランダムノイズ判定の有無を判別するようにされる。すなわち、先のステップＳ４０３の処理による無音・ランダムノイズ判定が行われたか否かを判別するものである。
【０１４６】
ステップＳ５０１において、無音・ランダムノイズ判定がなかったとして否定結果が得られた場合は、図示するようにして先に説明したステップＳ３０２〜Ｓ３０６の処理を実行した後、ステップＳ３０７のクロスフェード処理に進むようにされる。
【０１４７】
一方、ステップＳ５０１において、無音・ランダムノイズ判定があったとして肯定結果が得られた場合は、ステップＳ５０２に進み、先ずは入力音声信号Ａin-2dを入力する。そして、続くステップＳ５０３においては、上記入力音声信号Ａin-2dについて、ノイズ区間の開始点近傍の所定長区間の信号をそのまま前半信号として取得する。
さらに、続くステップＳ５０４では、上記入力音声信号Ａin-2dについて、ノイズ区間の終了点近傍の所定長区間の信号をそのまま後半信号として取得する。
このステップＳ５０４の処理を実行すると、図示するようにしてステップＳ３０７のクロスフェード処理に進むようにされる。
【０１４８】
なお、第３の変形例では、無音・ランダムノイズ判定に応じてピッチ計算のみが省略されるものとしたが、クロスフェード処理も省略するものとしてもよい。その場合は、例えば上述のようにして生成した前半信号、後半信号の何れかでそのままノイズ区間を補間するものとすればよい。
このようにクロスフェード処理も省略すれば、音質劣化の防止を図りつつさらなる処理負担の削減を図ることができる。
【０１４９】
＜第４の変形例＞
ここで、先の図１２〜図１４の説明によると、ノイズ除去信号の生成にあたっては、ノイズ区間の開始点又はノイズ区間の終了点を基準として、その前後の部分を対象としてピッチ計算を行ったので、ノイズ区間内もピッチ計算の対象とするものとした。これは、先にも述べたようにＨＤＤノイズは極めてレベルの小さい信号であってピッチ計算において支配的な信号にはならないとの前提があり、また上述の実施の形態では実際にノイズが発生する区間よりも広めにノイズ区間を設定していたことによるものである。
【０１５０】
しかしながら、実際にＨＤＤノイズの存在する区間と同程度にノイズ区間を設定しており、且つ背景音が無音に近いなどＨＤＤノイズがピッチ計算において支配的な信号になる場合には、ノイズ区間をピッチ計算の対象から除外することも可能である。
【０１５１】
図２５〜図２７は、このようにしてノイズ区間をピッチ計算の対象から除外するとした第４の変形例としての動作について模式的に示した図である。
先ず、図２５は、第４の変形例における前半ピッチ計算部３２と前半信号生成部３４とにより行われるべき前半信号の生成処理について示している。
先ず、この場合の前半ピッチ計算部３２は、例えば図２５（ａ）に示すようなノイズ区間が設定されていたとすると、ノイズ区間の前側の近傍のうち、ノイズ区間の開始点よりも前側となる所定点（以下、前半所定点ＰＣ-fとする）を基準としてピッチ計算を行うものとされる。このようなピッチ計算により、この場合の前半ピッチ計算部３２によっては、ノイズ区間の前側周辺で且つノイズ区間外となる時点を中間点とする２つのピッチ区間が特定され、このような２つのピッチ区間を示す前半ピッチ情報Ｐ-fが生成される。
【０１５２】
そして、前半信号生成部３４は、このようにして生成された前半ピッチ情報Ｐ-fが示す２つのピッチ区間の信号に対し、次の図２５（ｃ）（ｄ）に示すようにして、先の図１２にて説明したものと同様の重み窓データを乗算し、それらを加算した１ピッチ周期分の重み付け加算信号を生成する。
【０１５３】
その上で、この場合の前半信号生成部３４は、次の図２５（ｅ）に示すようにして、上記重み付け加算信号を、上記前半ピッチ情報Ｐ-fが示す２つのピッチ区間の中間点（つまり上記前半所定点ＰＣ-f）から、ノイズ区間の終了点側に所定回数繰り返すことで繰り返し重み付け加算信号（前半信号）を生成する。この場合も前半信号の生成にあたっては、例えば図示するようにして上記重み付け加算信号をノイズ区間の終了点を超えない範囲で最大個数繰り返すようにされる。
【０１５４】
また、図２６は、第４の変形例における後半ピッチ計算部３３と後半信号生成部３５とにより行われるべき後半信号の生成処理について示している。
この場合の後半ピッチ計算部３３は、ノイズ区間の後側の近傍のうち、ノイズ区間の終了点よりも後側となる所定点（以下、後半所定点ＰＣ-rと呼ぶ）を基準としてピッチ計算を行うものとされる。このようなピッチ計算により、この場合の後半ピッチ計算部３３によっては、ノイズ区間の後側周辺であって且つノイズ区間外となる時点を中間点とする２つのピッチ区間が特定され、このような２つのピッチ区間を示す後半ピッチ情報Ｐ-rが生成される。
【０１５５】
そして、後半信号生成部３５は、このようにして生成された後半ピッチ情報Ｐ-rが示す２つのピッチ区間の信号に対し、次の図２６（ｃ）（ｄ）に示すようにして、先の図１３にて説明したものと同様の重み窓データを乗算し、それらを加算した１ピッチ周期分の重み付け加算信号を生成する。
【０１５６】
その上で、この場合の後半信号生成部３５は、次の図２６（ｅ）に示すようにして、上記重み付け加算信号を、上記後半ピッチ情報Ｐ-rが示す２つのピッチ区間の中間点（つまり上記後半所定点ＰＣ-r）から、ノイズ区間の開始点側に所定回数繰り返すことで繰り返し重み付け加算信号（後半信号）を生成する。この後半信号についても、その生成にあたっては上記重み付け加算信号を例えば図示するようにノイズ区間の開始点を超えない範囲で最大個数繰り返すようにされる。
【０１５７】
さらに、図２７は、この場合のクロスフェード処理部３６により行われるクロスフェード処理について示している。
この場合のクロスフェード処理部３６としても、前半信号と後半信号とについて、図示するようにそれぞれがオーバーラップする区間に対して重み窓データによる重み付けを行うようにされる。
具体的に、前半信号については、図２７（ａ）に示すように後半信号の開始点から前半信号の終了点にかけて徐々に「１」から「０」に向けて低下する窓データを乗算するようにされる。これによって前半信号は、図示するようにして前半所定点ＰＣ-fから後半信号の開始点までが「１」で前半信号の終了点までにかけては徐々に「０」に向けて低下するようにして重み付けが行われる。
【０１５８】
また、後半信号については、図２７（ｂ）に示されるように前半信号の終了点から後半信号の開始点にかけて徐々に「１」から「０」に向けて低下する窓データを乗算するようにされ、これによって後半信号は、図示するようにして後半所定点ＰＣ-rから前半信号の終了点までが「１」で後半信号の開始点までにかけては徐々に「０」に向けて低下するようにして重み付けが行われる。
【０１５９】
そして、この場合のクロスフェード処理部３６は、上記のようにして重み付けを行った前半信号及び後半信号を次の図２７（ｃ）に示すようにして加算することで、図のような前半・後半重み付け加算信号をクロスフェード信号（ノイズ除去信号）として得る。
【０１６０】
このようにして生成されたクロスフェード信号は信号挿入部３０に供給され、図２７（ｃ）に示されるようにして前半所定点ＰＣ-fと後半所定点ＰＣ-rとによる区間内に挿入されるようになる。
なお、このようにノイズ区間外でピッチ計算を行った場合は、前半所定点ＰＣ-fから後半所定点ＰＣ-rまでの区間へのノイズ除去信号の挿入を行うものとなるので、そのためにこの場合の信号挿入部３０に対しては、例えば前半ピッチ情報Ｐ-f、後半ピッチ情報Ｐ-rを供給し、信号挿入部３０はこれら前半ピッチ情報Ｐ-f、後半ピッチ情報Ｐ-rによりそれぞれ特定される上記前半所定点ＰＣ-fと後半所定点ＰＣ-rとの情報に基づき信号挿入を行うようにしておけばよい。
【０１６１】
このような第４の変形例は、先の図１２〜図１４にて説明した手法との比較では、結果としてノイズ除去信号の挿入区間を上記前半所定点ＰＣ-fから後半所定点ＰＣ-rまでの区間に変更したに過ぎないものとなるから、図１２〜図１４にて説明した手法が採られる場合と同様にノイズ除去に伴う音質劣化は最小限に抑えることができる。
また、ノイズ区間をピッチ計算の対象とはしないので、実際にＨＤＤノイズの存在する区間と同程度にノイズ区間を設定していて且つＨＤＤノイズがピッチ計算において支配的な信号となる場合にも、適正にノイズ除去を行うことができる。
【０１６２】
なお、上記のようにして前半所定点ＰＣ-fと後半所定点ＰＣ-rとの間にノイズ除去信号を挿入する場合としても、その区間中にはノイズ区間が含まれるものとなるので、結果としてノイズ除去信号によりノイズ区間が置き換えられるようにしていることに変わりはない。
【０１６３】
＜第５の変形例＞
ところで、これまでの説明では、重み付け加算信号を、補間すべき区間の長さ内に最大限繰り返すことにより前半信号及び後半信号を生成する例について述べたが、例えば補間すべき区間の１／２を超えた時点など、適当なタイミングで重み付け加算信号の繰り返しを打ち切ってもよい。
【０１６４】
図２８は、このように重み付け加算信号の繰り返しを途中で打ち切るものとした第５の変形例としての動作について模式的に示した図である。なお、この図２８では第５の変形例において行われるべきクロスフェード処理について示している。また、この図２８では、図１２〜図１４にて説明した手法のようにノイズ区間の開始点・終了点を基準としたピッチ計算を行った結果に基づき前半信号・後半信号が生成された場合の例を示している。
【０１６５】
上述のように前半信号、後半信号として重み付け加算信号の繰り返しを途中で打ち切るものとしたことで、この場合のクロスフェード処理としては、図示するようにして少なくとも前半信号と後半信号とがオーバーラップする区間でのみ、前半信号と後半信号のそれぞれに重み窓データによる重み付けを行う。
【０１６６】
具体的に、前半信号については、図２８（ａ）に示すようにノイズ区間の開始点からノイズ区間内の所定時点までは「１」でその以降前半信号の終了点にかけて徐々に「０」に向けて低下するような重み窓データによる重み付けを行う。
また、後半信号については、図２８（ｂ）に示すようにノイズ区間の終了点からノイズ区間内の所定時点までは「１」でその以前は後半信号の開始点にかけて徐々に「０」に向けて低下するような重み窓データによる重み付けを行う。
そして、図２８（ｃ）に示すようにして、このような重み付けが行われた前半信号と後半信号とを加算してクロスフェード信号が生成される。
【０１６７】
このようなクロスフェード処理により生成されたノイズ除去信号としても、その音質は聴感上極めて自然なものとすることができ、先の図１２〜図１４に示した手法が採られる場合と同様に音質劣化は最小限とすることができる。
【０１６８】
なお、確認のために述べておくと、この場合の前半信号生成部３４、後半信号生成部３５は、ノイズ区間内において少なくとも前半信号と後半信号とのオーバーラップ部分ができるようにしてそれぞれの重み付け加算信号の繰り返しを行う必要がある。
また、このような第５の変形例は、先の第４の変形例の手法が採られる場合にも好適に適用することができる。
【０１６９】
＜その他の変形例＞
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、実際にノイズの発生する区間に対してノイズ区間が比較的長めに設定され、１ピッチ区間が複数個分入る長さとなる場合について例示したが、ノイズ区間が比較的短く、例えば１ピッチ区間と同等の長さとなることも考えられる。
このような場合において、例えばＨＤＤノイズがピッチ計算において支配的な信号とはならないとして、先の図１２〜図１４にて説明した手法と同様にノイズ区間開始点を基準とした（つまりノイズ区間内も対象とした）ピッチ計算を行うと、算出される２つのピッチ区間としては、ノイズ区間自体と、ノイズ区間の開始点より前側にノイズ区間と同等の長さのピッチ区間が得られるということになる。
ここで、このように２つのピッチ区間としてノイズ区間とその前側のノイズ区間と同等の長さとなるピッチ区間とが割り出され、それらピッチ区間の信号を先の図１２（ｃ）（ｄ）のようにして重み付け加算した重み付け加算信号が生成された場合を想定しみると、このような重み付け加算信号は、ノイズ区間の終了点後の信号とも或る程度の波形相関性が得られている可能性があるといえる。
このことを踏まえると、この場合には敢えてノイズ区間の終了点側の音声のつながりを考慮せずとも、上記のようなノイズ区間と、その前側におけるノイズ区間と同等の長さのピッチ区間との重み付け加算信号をそのままノイズ区間に挿入すれば、ノイズ区間の前側はもちろん、後側における音声のつながりも自然なものとできると考えられなくはない。
なお、このことは、ノイズ区間の終了点を基準としたピッチ計算を行った場合にも同様のことが言える。
【０１７０】
このようにしてノイズ区間と１ピッチ区間とが同等の長さとなる場合も考慮に入れると、ノイズ除去信号としては、少なくともノイズ区間の近傍で波形相関性を有するとされる２区間を割り出し、割り出した２区間の音声信号を合成して生成したものとすれば、音質劣化を最小限に抑えたノイズ除去を実現する信号を得ることができることになる。
【０１７１】
また、実施の形態では、ノイズ発生源に対して設けられたノイズ検出用センサとして、ノイズ検出用マイク１１としてのマイクロフォンを設ける場合を例示したが、ノイズ検出用センサとしてはこのようなマイクロフォン以外にも、例えば振動センサなど、ノイズの発生を検出することのできるセンサであれば他のセンサを用いることができる。
【０１７２】
ここで、例えば上記のような振動センサを用いる場合には、次のような効果を期待できる。つまり、背景音が大きい場合、ノイズ検出用センサとしてマイクのみを用いる場合だとノイズが誤検出される可能性がなくはないが、例えばこのような振動センサからの検出信号に基づくノイズ検出も組み合わせるものとする（つまり双方のセンサの検出信号の分析結果に基づきノイズ検出を行う）ことで、このように背景音が大きい場合の誤検出の防止を図ることができる。
【０１７３】
また、実施の形態では、ノイズが発生するとされるノイズ発生区間の情報を、ＨＤＤ１０に対する記録開始／停止指示の発生タイミングに応じて設定する場合を例示したが、このようなノイズ発生予想区間の情報は、上記記録開始／停止指示以外の情報に基づき取得することもできる。例えば、上記のような記録開始／停止指示に応じては、ＨＤＤ１０内で磁気ヘッド１０Ａをロード／パーキング位置に駆動するための制御信号が該当する駆動部に出力されるが、この制御信号からノイズ発生予想区間の情報を取得するようにすることもできる。
【０１７４】
また、実施の形態では、ノイズ発生タイミングに基づき設定されたノイズ区間内でのみ、ノイズ埋没判定のための信号分析を行う場合を例示したが、これに代えて、上記したようなＨＤＤ１０への記録開始／停止指示に応じて取得されたノイズ発生予想区間内でのみ埋没判定のための信号分析を行うようにすることもできる。
このようにしてノイズ埋没判定のための信号分析は、少なくともノイズが生じるとされる区間内でのみ行うものとすれば、ノイズ埋没判定の判定漏れなく信号分析することと、ノイズ埋没判定のための処理負担・消費電力の削減との両立を図ることができる。
【０１７５】
また、実施の形態では、本発明の記録装置が記録媒体に対する記録のみが可能とされる場合を例示したが、再生も可能となるように構成することもできる。
【０１７６】
また、本発明としては、このようなビデオカメラ装置１に限らず、収音マイクを入力源とする入力音声信号にノイズ発生源からのノイズが重畳して記録されてしまう可能性のある記録装置全般に広く好適に適用することができる。
【０１７７】
また、実施の形態では、収音マイクからの入力音声信号を記録する前にノイズ除去を行う場合を例示したが、本発明はこれに限らず、録音済みの音声信号からノイズを除去する場合にも好適に適用することができる。
その場合、先ずノイズ発生タイミングの検出については、例えば対象とする音声信号の記録中に行われた記録開始／停止指示のタイミング情報を保持しておき、記録後に、それら保持したタイミング情報に基づき取得した各ノイズ発生予想区間内で、記録済み音声信号についてのノイズ発生タイミング検出を行うものとすればよい。そして、検出したノイズ発生タイミングに基づき、それぞれのノイズ区間の設定を行えばよい。
また、ノイズ埋没判定としては、このようにして設定されたノイズ区間内でのみ記録済み音声信号についての信号分析を行って、各ノイズ区間についてのノイズ埋没判定を行えばよい。
そして、ノイズ除去としては、記録済み音声信号について、上記のように設定されたノイズ区間のうちノイズ非埋没判定の為されたノイズ区間を対象としてのみ先に説明したような信号処理を行ってノイズ除去信号を生成し、これをそのノイズ区間の信号として挿入すればよい。
【０１７８】
なお、このようにして記録済み音声信号について行われるノイズ除去制御としても、ノイズ埋没判定結果に応じてノイズ除去の行われていない音声信号とノイズ除去の行われた音声信号とについての選択が行われていることに変わりはない。
【０１７９】
また、確認のために述べておくと、このように記録済み音声信号についてノイズ除去を行う場合には、先に説明したような各ディレイ回路は特に設ける必要性はないことになる。
【図面の簡単な説明】
【０１８０】
【図１】実施の形態の記録装置についての外観斜視図である。
【図２】実施の形態の記録装置の内部構成について示すブロック図である。
【図３】実施の形態の記録装置が備えるＨＤＤの内部構成を示す図である。
【図４】ＨＤＤノイズの特性を示す図である。
【図５】実施の形態としてのノイズタイミング検出・ノイズ区間設定の手法について説明するための図である。
【図６】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的小音量とされる場合の背景音、ＨＤＤノイズ、ＨＤＤノイズと背景音とが加算された音声信号の時間波形をそれぞれ示した図である。
【図７】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的小音量とされる場合の背景音とＨＤＤノイズの周波数スペクトルを対比して示した図である。
【図８】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的大音量とされる場合の背景音、ＨＤＤノイズ、ＨＤＤノイズと背景音とが加算された音声信号の時間波形をそれぞれ示した図である。
【図９】背景音（外部音）とＨＤＤノイズとの関係について模式的に示す図として、背景音が比較的大音量とされる場合の背景音とＨＤＤノイズの周波数スペクトルを対比して示した図である。
【図１０】実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図である。
【図１１】実施の形態の記録装置が備えるノイズ除去信号生成部の内部構成を示したブロック図である。
【図１２】前半信号の生成処理について模式的に示した図である。
【図１３】後半信号の生成処理について模式的に示した図である。
【図１４】クロスフェード処理について模式的に示した図である。
【図１５】実施の形態の第１の変形例としての記録装置の内部構成について示すブロック図である。
【図１６】実施の形態としての動作を実現するために行われるべき処理動作のうち、ノイズタイミング検出・ノイズ区間設定動作に対応した処理動作について示したフローチャートである。
【図１７】実施の形態としての動作を実現するために行われるべき処理動作のうち、ノイズ埋没判定動作に対応した処理動作について示したフローチャートである。
【図１８】実施の形態としての動作を実現するために行われるべき処理動作のうち、ノイズ除去信号生成、除去動作制御、選択制御、及び信号挿入動作に対応した処理動作について示したフローチャートである。
【図１９】第２の変形例の記録装置が備えるノイズ除去信号生成部の内部構成を示したブロック図である。
【図２０】第２の変形例の他の例の記録装置が備えるノイズ除去信号生成部の内部構成を示したブロック図である。
【図２１】第２の変形例のさらに他の例の記録装置が備えるノイズ除去信号生成部の内部構成を示したブロック図である。
【図２２】第３の変形例の記録装置が備えるノイズ除去信号生成部（ノイズ検出・除去部）の内部構成を示したブロック図である。
【図２３】第３の変形例としての動作を実現するための処理動作について示したフローチャートである。
【図２４】同じく、第３の変形例としての動作を実現するための処理動作について示したフローチャートである。
【図２５】第４の変形例の前半信号の生成処理について模式的に示した図である。
【図２６】第４の変形例の後半信号の生成処理について模式的に示した図である。
【図２７】第４の変形例のクロスフェード処理について模式的に示した図である。
【図２８】第５の変形例におけるクロスフェード処理について模式的に示した図である。
【符号の説明】
【０１８１】
１,１５  ビデオカメラ装置、１ａ  カメラレンズ、１ｂ  外部音収音マイク、２  ノイズ検出・除去部、３  音声信号処理部、４  音声信号圧縮処理部、５  カメラブロック、６  映像信号処理部、７  映像信号圧縮処理部、８  ＡＶストリーム生成部、９  バッファメモリ、１０  ＨＤＤ、１０Ａ  磁気ヘッド、１０Ｂ  磁気ディスク、１１  ノイズ検出用マイク、１２,１６  システムコントローラ、２１,２２,２３,２８,３１  ディレイ回路、２４  ノイズタイミング検出・ノイズ区間設定部、２５  ノイズ埋没判定部、２６  ノイズ除去信号生成部、２７  除去動作制御部、２９  選択制御部、３０  信号挿入部、３２  前半ピッチ計算部、３３  後半ピッチ計算部、３４  前半信号生成部、３５  後半信号生成部、３６  クロスフェード処理部、４０  ダウンサンプル部、４１  ダウンミックス部、４３  無音・ランダムノイズ判定部
【図１】
2008053802.tif 000003
【図２】
2008053802.tif 000004
【図３】
2008053802.tif 000005
【図４】
2008053802.tif 000006
【図５】
2008053802.tif 000007
【図６】
2008053802.tif 000008
【図７】
2008053802.tif 000009
【図８】
2008053802.tif 000010
【図９】
2008053802.tif 000011
【図１０】
2008053802.tif 000012
【図１１】
2008053802.tif 000013
【図１２】
2008053802.tif 000014
【図１３】
2008053802.tif 000015
【図１４】
2008053802.tif 000016
【図１５】
2008053802.tif 000017
【図１６】
2008053802.tif 000018
【図１７】
2008053802.tif 000019
【図１８】
2008053802.tif 000020
【図１９】
2008053802.tif 000021
【図２０】
2008053802.tif 000022
【図２１】
2008053802.tif 000023
【図２２】
2008053802.tif 000024
【図２３】
2008053802.tif 000025
【図２４】
2008053802.tif 000026
【図２５】
2008053802.tif 000027
【図２６】
2008053802.tif 000028
【図２７】
2008053802.tif 000029
【図２８】
2008053802.tif 000030