(57)【要約】【課題】ノイズを適切に低減できるデータ処理装置を提供する。【解決手段】データ処理装置は、第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータと前記第２区間のデータとを周波数領域のデータに変換する第１変換部と、前記第１変換部により変換された前記第１区間のデータの所定の周波数成分を変更する変更部と、前記変更部により変更された前記第１区間のデータと前記第１変換部により変換された前記第２区間のデータとを時間領域のデータに変換する第２変換部と、前記第２変換部により変換された前記第１区間のデータと前記第２区間のデータとを、一部の区間を重複させて加算する加算部と、前記第２変換部により変換された前記第１区間のデータと前記第２区間のデータとに基づいて、前記加算部により加算されたデータを補正する補正部と、を備える。【選択図】図１
2015138204.tif 000002
【特許請求の範囲】
【請求項１】
第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータと前記第２区間のデータとを周波数領域のデータに変換する第１変換部と、
前記第１変換部により変換された前記第１区間のデータの所定の周波数成分を変更する変更部と、
前記変更部により変更された前記第１区間のデータと前記第１変換部により変換された前記第２区間のデータとを時間領域のデータに変換する第２変換部と、
前記第２変換部により変換された前記第１区間のデータと前記第２変換部により変換された前記第２区間のデータとを、一部の区間を重複させて加算する加算部と、
前記第２変換部により変換された前記第１区間のデータと前記第２変換部により変換された前記第２区間のデータとに基づいて、前記加算部により加算されたデータを補正する補正部と、
を備えることを特徴とするデータ処理装置。
【請求項２】
請求項１に記載のデータ処理装置であって、
前記変更部は、前記第１変換部により変換された前記第１区間のデータから所定の周波数成分を減算する処理を行うこと、
を特徴とするデータ処理装置。
【請求項３】
請求項１又は請求項２に記載のデータ処理装置であって、
前記入力データは、前記入力データを記憶した装置の動作部が動作したタイミングを示すデータと関連付けられ、
前記第１区間のデータは、前記タイミングを示すデータと関連付けて記憶されており、
前記変更部は、前記タイミングを示すデータに基づいて、前記入力データのうち前記タイミングを示すデータが関連付けられている区間のデータの所定の周波数成分を変更すること、
を特徴とするデータ処理装置。
【請求項４】
請求項１から請求項３のいずれかに記載のデータ処理装置であって、
前記補正部は、前記加算部により加算される前の、前記第２変換部により変換された前記第１区間のデータ及び前記第２変換部により変換された前記第２区間のデータと、前記加算部により加算されたデータとを比較し、比較した結果に基づいて前記加算部により加算されたデータを補正すること、
を特徴とするデータ処理装置。
【請求項５】
請求項１から請求項４のいずれかに記載のデータ処理装置であって、
前記第１変換部で変換する際に、前記第１区間と前記第２区間との一部を重複させた区間と、前記加算部で加算する際に、前記第１区間と前記第２区間との一部を重複させた区間とは同じ大きさの区間であること、
を特徴とするデータ処理装置。
【請求項６】
請求項１から請求項５のいずれかに記載のデータ処理装置であって、
前記補正部は、前記加算部により加算される前の、前記第２変換部により変換された前記第１区間のデータと前記第２変換部により変換された前記第２区間のデータとの和である第１の和と、前記加算部に加算されたデータとに基づいて、前記第１の和と前記加算されたデータとが所定の範囲内に含まれるように前記加算部により加算されたデータを補正すること、
を特徴とするデータ処理装置。
【請求項７】
請求項１から請求項６のいずれかに記載のデータ処理装置において、
前記加算部により加算されたデータのパワーの和と、前記加算部により加算される前の前記第１区間のデータと前記第２区間のデータとのパワーの和とに基づいて補正係数を算出する補正係数算出部を備え、
前記補正部は、前記加算部により加算されたデータのパワーの和と、前記加算部により加算される前の前記第１区間のデータと前記第２区間のデータとのパワーの和を加算した値とが所定の範囲となるように、前記加算部により加算されたデータを前記補正係数算出部により算出された前記補正係数に基づいて補正すること、
を特徴とするデータ処理装置。
【請求項８】
請求項１から請求項６のいずれかに記載のデータ処理装置において、
前記加算部により加算されたデータの和と、前記加算部により加算される前の前記第１区間のデータと前記第２区間のデータとの和とに基づいて補正係数を算出する補正係数算出部を備え、
前記補正部は、前記加算部により加算されたデータの和と、前記加算部により加算される前の前記第１区間のデータと前記第２区間のデータとの和を加算した値とが所定の範囲となるように、前記加算部により加算されたデータを前記補正係数算出部により算出された前記補正係数に基づいて補正すること、
を特徴とするデータ処理装置。
【請求項９】
請求項１から請求項８のいずれかに記載のデータ処理装置において、
前記入力データは、前記入力データを記録した装置の動作部が動作したタイミングを示す信号と関連付けられ、
前記第１変換部は、前記動作部が動作したタイミングを示す信号に基づいて、前記入力データを前記第１区間のデータと前記第２区間のデータとに分割すること、
を特徴とするデータ処理装置。
【請求項１０】
第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータを周波数領域のデータに変換する第１変換部と、
前記第１変換部により変換された前記第１区間のデータの所定の周波数成分を変更する変更部と、
前記変更部により変更された前記第１区間のデータを時間領域のデータに変換する第２変換部と、
前記第２変換部により変換された前記第１区間のデータと前記第２区間のデータとを、一部の区間を重複させて加算する加算部と、
前記第２変換部により変換された前記第１区間のデータと前記第２区間のデータとに基づいて、前記加算部により加算されたデータを補正する補正部と、
を備えることを特徴とするデータ処理装置。
【請求項１１】
請求項１から請求項１０のいずれかに記載のデータ処理装置を備えることを特徴とする撮像装置。
【請求項１２】
コンピュータにおいて実行されるデータ処理プログラムであって、
前記コンピュータを、
第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータと前記第２区間のデータとを周波数領域のデータに変換する第１変換手段と、
前記第１変換手段により変換された前記第１区間のデータの所定の周波数成分を変更する変更手段と、
前記変更手段により変更された前記第１区間のデータと前記第１変換手段により変換された前記第２区間のデータとを時間領域のデータに変換する第２変換手段と、
前記第２変換手段により変換された前記第１区間のデータと前記第２変換手段により変換された前記第２区間のデータとを、一手段の区間を重複させて加算する加算手段と、
前記第２変換手段により変換された前記第１区間のデータと前記第２変換手段により変換された前記第２区間のデータとに基づいて、前記加算手段により加算されたデータを補正する補正手段と、
して機能させるデータ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、撮像装置、及びデータ処理プログラムに関する。
【背景技術】
【０００２】
音データに含まれるノイズを低減する技術がある（例えば、非特許文献１参照）。非特許文献１に記載された技術には、スペクトル減算法と呼ばれるノイズ低減処理が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】S.  F.  Boll,  “Suppression  of  Acoustic  Noise  in  Speech  Using  Spectral  Subtraction.”  IEEE  TRANSACTION  ON  ACOUSTICS,  SPEECH,  AND  SIGNAL  PROCESSING,  vol.ASSP-27,  pp.113-120,  APRIL,1979.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
スペクトル減算法は、入力信号を複数の区間に分割し、区間毎の分割信号に対して周波数変換、周波数領域処理（ノイズ低減処理）、逆変換を順に行い、連続する区間の逆変換された分割信号を接続することにより、処理信号を得る手法である。このスペクトル減算法では、入力信号を複数の区間に分割した際の各分割信号の極性が、周波数領域処理において元の極性と異なる極性となることがある。そのため、各分割信号を接続した際に、接続した部分の処理信号のレベルが不用意に低下してしまうことがある。
【０００５】
本発明の目的は、ノイズを適切に低減させることができるデータ処理装置、撮像装置、及びデータ処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。
本発明の一実施形態は、第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータと前記第２区間のデータとを周波数領域のデータに変換する第１変換部と、前記第１変換部により変換された前記第１区間のデータの所定の周波数成分を変更する変更部と、前記変更部により変更された前記第１区間のデータと前記第１変換部により変換された前記第２区間のデータとを時間領域のデータに変換する第２変換部と、前記第２変換部により変換された前記第１区間のデータと前記第２変換部により変換された前記第２区間のデータとを、一部の区間を重複させて加算する加算部と、前記第２変換部により変換された前記第１区間のデータと前記第２変換部により変換された前記第２区間のデータとに基づいて、前記加算部により加算されたデータを補正する補正部と、を備えることを特徴とするデータ処理装置である。
また、本発明の一実施形態は、第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータを周波数領域のデータに変換する第１変換部と、前記第１変換部により変換された前記第１区間のデータの所定の周波数成分を変更する変更部と、前記変更部により変更された前記第１区間のデータを時間領域のデータに変換する第２変換部と、前記第２変換部により変換された前記第１区間のデータと前記第２区間のデータとを、一部の区間を重複させて加算する加算部と、前記第２変換部により変換された前記第１区間のデータと前記第２区間のデータとに基づいて、前記加算部により加算されたデータを補正する補正部と、を備えることを特徴とするデータ処理装置である。
また、本発明の一実施形態は、上記のデータ処理装置を備えることを特徴とする撮像装置である。
また、本発明の一実施形態は、コンピュータにおいて実行されるデータ処理プログラムであって、前記コンピュータを、第１区間と第２区間との一部の区間を重複させて、入力データを前記第１区間のデータと前記第２区間のデータとに分割し、前記第１区間のデータと前記第２区間のデータとを周波数領域のデータに変換する第１変換手段と、前記第１変換手段により変換された前記第１区間のデータの所定の周波数成分を変更する変更手段と、前記変更手段により変更された前記第１区間のデータと前記第１変換手段により変換された前記第２区間のデータとを時間領域のデータに変換する第２変換手段と、前記第２変換手段により変換された前記第１区間のデータと前記第２変換手段により変換された前記第２区間のデータとを、一手段の区間を重複させて加算する加算手段と、前記第２変換手段により変換された前記第１区間のデータと前記第２変換手段により変換された前記第２区間のデータとに基づいて、前記加算手段により加算されたデータを補正する補正手段と、して機能させるデータ処理プログラムである。
【発明の効果】
【０００７】
本発明によれば、動作ノイズを適切に低減させることができるデータ処理装置、撮像装置、及びデータ処理プログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態におけるデータ処理装置１００の構成を示すブロック図である。
【図２】フレームシフトをＬｆ／２とした場合の処理区間、フレーム長、フレームシフト及びオーバーラップの関係を示す模式図である。
【図３】窓関数を乗算する前後における音データの一例を示す波形図である。
【図４】分割した音データに窓関数を乗算した場合の一例を示す波形図である。
【図５】周波数領域処理を行った後の処理信号及び処理後の音データの波形図である。
【図６】データ処理装置１００による周波数領域処理の手順を示すフローチャートである。
【図７】データ処理装置１００による周波数領域処理の具体例を示す説明図である。
【図８】フレームシフトをＬｆ／３とした場合の処理区間、フレーム長、フレームシフト及びオーバーラップの関係を示す模式図である。
【図９】第１実施形態のデータ処理装置１００を備えた撮像装置１の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施形態について説明する。
［第１実施形態］
図１は、第１実施形態におけるデータ処理装置１００の構成を示すブロック図である。本実施形態のデータ処理装置１００は、音データＳ（入力データ）に対してデータ処理を実行し、処理後の音データＳ´を出力する。例えば、データ処理装置１００は、記憶媒体に記録されている音データを取得し、取得した音データに対してデータ処理を実行する。ここで、記憶媒体とは、フラッシュメモリカード、磁気ディスク、光学ディスク等の可搬媒体である。
【００１０】
データ処理装置１００は、記憶媒体から音データを読み出すための読み出し部（不図示）を内部に備えた構成としてもよい。また、データ処理装置１００は、有線通信又は無線通信等により接続可能な外部装置（読み出し装置）を備えた構成としてもよい。また、記憶媒体に代えて、フラッシュメモリを搭載してＵＳＢ（Universal  Serial  Bus）コネクタを介して接続可能なＵＳＢメモリ、又はハードディスク等の記憶装置としてもよい。
【００１１】
記憶媒体には、録音された音の音データが記憶されている。記憶媒体には、少なくとも録音機能を有する装置により収音された音の音データが記憶されている。また、記憶媒体には、録音された音の音データにおいて、ノイズが含まれる区間又はノイズが含まれない区間を示す情報が、音データと関連付けられて記憶されている。
【００１２】
例えば、録音された音の音データにおいて、ノイズが含まれる区間は、この音データを録音（記録）した装置の動作部が動作している区間であってもよい。一方、録音された音の音データにおいて、ノイズが含まれない区間は、この音データを録音した装置の動作部が動作していない区間であってもよい。また、録音された音の音データにおいて、ノイズが含まれる区間を示す情報、又はノイズが含まれない区間を示す情報は、この音データの音を録音した装置の動作部が動作したタイミングを示すデータであってもよい。
【００１３】
ここで、音データを録音した装置の動作部とは、当該装置が備える構成のうち、動作により音が生じる（或いは、音が生じる可能性がある）構成をいう。例えば、音データを録音した装置が撮像装置の場合、その撮像装置が備える、ズームレンズ、防振用レンズ（以下、「ＶＲレンズ」ともいう）、焦点調整レンズ（以下、「ＡＦレンズ」ともいう）、操作部等である。即ち、ノイズとは、撮像装置の備えるズームレンズ、ＶＲレンズ、ＡＦレンズ、操作部等が動作することで生じた音が録音されたものである。
【００１４】
撮像装置は、動作部であるズームレンズ、ＶＲレンズ、又はＡＦレンズを駆動する駆動部の動作を、駆動制御信号により制御する。即ち、撮像装置は、駆動制御信号の出力値を制御することにより、上述の動作部を動作させる。撮像装置は、駆動制御信号の出力レベル（Ｈｉｇｈ／Ｌｏｗ）を、動作部が動作したタイミングを示す信号として、録音した音の音データと関連付けて記憶媒体に記憶させてもよい。例えば、駆動制御信号の出力レベルがＨｉｇｈであれば、動作部が動作したタイミングを示す信号となり、出力レベルがＬｏｗであれば、動作部が動作していないタイミングを示す信号となる。従って、駆動制御信号の出力レベルがＨｉｇｈであれば、ノイズが含まれる区間と判定することができる。また、駆動制御信号の出力レベルがＬｏｗであれば、ノイズが含まれていない区間と判定することができる。なお、動作部を備えた撮像装置の構成については、後述する。
【００１５】
データ処理装置１００は、音データに対してデータ処理を実行する。例えば、データ処理装置１００は、録音された音の音データと、その音データに関連付けられた動作部が動作するタイミングを示す信号とに基づいて、音データに含まれるノイズを低減する処理を実行する。
【００１６】
続いて、データ処理装置１００の構成について説明する。図１に示すように、データ処理装置１００は、データ処理部１１０と、記憶部１２０と、を備える。
【００１７】
記憶部１２０は、後述する周波数領域処理前の音データ、窓関数、分割された各フレームの処理前データ、フレーム毎に逆変換された処理データ、処理後の音データ（処理後データ）、各演算式、データ処理プログラム等に関するデータが記憶される。記憶部１２０の所定領域に記憶されたこれらのデータは、後述するデータ処理部１１０において、適宜に書き込み及び読み出しが行われる。
【００１８】
データ処理部１１０は、変換部１１１（第１変換部）と、判定部１１２と、ノイズ低減部１１３（変更部）と、逆変換部１１４（第２変換部）と、加算部１１５と、補正係数算出部１１６と、補正部１１７と、を備える。
【００１９】
変換部１１１は、入力した音データＳを、処理区間においてオーバーラップする複数のフレーム（短時間区間）に分割し、分割した音データＳをフレーム毎に周波数スペクトル（周波数領域データ）に変換する。具体的には、変換部１１１は、入力した音データＳを、処理区間においてオーバーラップする複数のフレームの処理前データに分割し、処理対象となるフレームを抽出する。変換部１１１は、処理対象となるフレームの処理前データに窓関数を乗算する。そして、変換部１１１は、窓関数を乗算した処理前データをフーリエ変換して、処理対象となるフレームに対応する周波数スペクトルを生成する。なお、変換部１１１において、窓関数を乗算した処理前データを、高速フーリエ変換（ＦＦＴ：Fast  Fourier  Transform）により、周波数スペクトルに変換してもよい。
【００２０】
ここで、音データから処理前データを分割する際の条件について説明する。図２は、フレームシフトをＬｆ／２とした場合の処理区間、フレーム長、フレームシフト及びオーバーラップの関係を示す模式図である。
【００２１】
図２は、音データを、第ｋ−１フレーム、第ｋフレーム、第ｋ＋１フレームの処理前データに分割する例を示している。図２において、フレームシフトは、隣接する２つの処理前データが時間的にオーバーラップする区間を示す。本実施形態において、フレームシフトは、フレーム長Ｌｆの半分（Ｌｆ／２）である。フレームシフトがＬｆ／２の場合、フレーム長Ｌｆの半分となる半フレームが処理区間（オーバーラップ区間）となる。
【００２２】
変換部１１１は、Ｌｆ／２のフレームシフトで分割した処理前データに対して窓関数を乗算する。窓関数とは、有限の特定区間以外で値が０（ゼロ）になる関数である。本例では、各フレームの開始タイミングと終了タイミングとの間が有限の特定区間となる。即ち、窓関数とは、フレーム内においてある値をとり、フレーム外においては値が０（ゼロ）になる関数である。
【００２３】
図３は、窓関数を乗算する前後における音データの一例を示す波形図である。図３（ａ）は窓関数を乗算する前の音データＷｉの一例を示す。図３（ｂ）は、窓関数を乗算した後の音データＷｏの一例を示す。図３（ａ）に示すように、窓関数を乗算する前の波形Ｗｉは、時刻ｔ０から時刻ｔ２までの間において、振幅Ａが一定である。一方、窓関数を乗算した後の波形Ｗｏは、時刻ｔ０及び時刻ｔ２において、振幅Ａが０（ゼロ）であり、時刻ｔ１において、振幅Ａが最大である。なお、本例において、時刻ｔ０から時刻ｔ２までの間が１フレームである。窓関数を乗算せずにフーリエ変換した場合、逆フーリエ変換後の音データが、各フレーム間で不連続な波形となることがある。窓関数を乗算してフーリエ変換することにより、逆フーリエ変換後の音データが、各フレーム間で不連続な波形となるのを低減することができる。
【００２４】
図４は、分割した音データに窓関数を乗算した場合の一例を示す波形図である。音データＳに対して、図３（ｂ）に示すような窓関数を乗算することにより、図４に示すような処理前データＳｋ−１、Ｓｋ、Ｓｋ＋１が生成される。本例では、音データＳに、値が０〜１の窓関数を乗算することにより音データＳを分割している。そのため、例えば、処理前データＳｋ−１の後半のデータと処理前データＳｋの前半のデータを比較すると、同じ時間に対応するサンプリング点の極性（＋／−）は、全サンプリング点で一致する。
【００２５】
なお、図４に示す処理前データＳｋ−１は、例えば、本実施形態において第１区間のデータに対応する。また、処理前データＳｋは、例えば、本実施形態において第２区間のデータに対応する。即ち、変換部１１１において、第１区間と第２区間との一部の区間をオーバーラップさせて、音データ（入力データ）を第１区間のデータと第２区間のデータとに分割した場合、例えば、処理前データＳｋ−１は第１区間のデータに対応し、処理前データＳｋは第２区間のデータに対応する。
【００２６】
判定部１１２は、音データに関連付けられた駆動制御信号の出力レベル（Ｈｉｇｈ／Ｌｏｗ）に基づいて、音データの各フレームが、ノイズが含まれる区間のフレームであるか、又はノイズが含まれない区間のフレームであるかを判定する。判定部１１２において、音データのフレームが、ノイズが含まれる区間のフレームであると判定された場合、そのフレームの音データは、ノイズ低減部１１３へ送られる。一方、判定部１１２において、音データのフレームが、ノイズの含まれない区間のフレームであると判定された場合、そのフレームの音データは、逆変換部１１４へ送られる。
【００２７】
例えば、判定部１１２において、上述した第１区間のフレームが、ノイズが含まれる区間のフレームであると判定された場合、第１区間のデータは、ノイズ低減部１１３へ送られる。また、判定部１１２において、上述した第２区間のフレームが、ノイズが含まれない区間のフレームであると判定された場合、第２区間のデータは、逆変換部１１４へ送られる。
【００２８】
なお、判定部１１２は、１フレームの途中まで駆動制御信号の出力レベルがＨｉｇｈの場合、又は１フレームの途中から駆動制御信号の出力レベルがＨｉｇｈとなった場合には、そのフレームをノイズが含まれる区間のフレームであると判定する。
【００２９】
ノイズ低減部１１３は、変換部１１１において変換された周波数スペクトルに含まれる所定の周波数成分を変更する処理（以下、「周波数領域処理」ともいう）を実行する。ノイズ低減部１１３による周波数領域処理については後述する。
【００３０】
逆変換部１１４は、ノイズ低減部１１３で周波数領域処理された周波数スペクトル（又は、ノイズ低減部１１３で周波数領域処理されていない周波数スペクトル）を、処理区間毎に時間領域の処理データに逆変換する。逆変換部１１４における逆変換処理については後述する。
【００３１】
加算部１１５は、処理区間においてオーバーラップする２つの処理データを加算して、処理後データを生成する。なお、変換部１１１において、分割した２つの処理前データの一部をオーバーラップさせた処理区間と、加算部１１５において、加算する２つの処理データの一部をオーバーラップさせた処理区間とは、同じ大きさの区間となる。
【００３２】
ここで、上述した変換部１１１、ノイズ低減部１１３、及び逆変換部１１４の処理について具体的に説明する。本実施形態のノイズ低減部１１３で実行される周波数領域処理は、周波数スペクトルにおける全周波数成分の振幅の大きさを揃え、フーリエ変換した際の位相情報を使用して逆変換することにより処理データを生成する処理である。
【００３３】
ここでは、変換部１１１において、図４に示す第ｋフレームの処理前データＳｋをフーリエ変換した場合について説明する。
まず、変換部１１１において、第ｋフレームの処理前データＳｋを、式（１）によりフーリエ変換して、式（２）に示す振幅情報と、式（３）に示す位相情報とに分離する。式中の「ｎ」は、１フレームにおけるサンプリング点の番号（１≦ｎ≦Ｌｆ）である。式中の「ｓ」は、周波数成分のビン番号である。
【００３４】
【数１】
2015138204.tif 000003
【数２】
2015138204.tif 000004
【数３】
2015138204.tif 000005
【００３５】
次に、ノイズ低減部１１３において、式（２）の振幅情報を、式（４）により、周波数に依存しない定数に変更する。この処理を全周波数成分について実行することにより、振幅情報の大きさが揃えられる。この周波数領域処理において、各フレームにおける全周波数成分のパワーの和は変化しない。この周波数領域処理は、本実施形態におけるノイズ低減処理である。
【００３６】
なお、他のノイズ低減処理として、例えば、前述したスペクトル減算法を用いてもよい。スペクトル減算法によるノイズ低減処理は、ノイズの含まれるフレームの周波数スペクトルから、推定ノイズスペクトルを、周波数ビン毎（周波数成分毎）にそれぞれ減算することにより、音データのノイズを低減させるものである。
【００３７】
【数４】
2015138204.tif 000006
【００３８】
次に、逆変換部１１４において、式（５）により、周波数領域処理後の振幅情報と、周波数領域処理前の位相情報とを組み合わせて逆変換する。
【００３９】
【数５】
2015138204.tif 000007
【００４０】
逆変換部１１４で逆変換された処理データを、後段の加算部１１５において、処理区間毎にオーバーラップさせて加算することにより、処理後データが生成される。
次に、周波数領域処理された処理後データのパワーの和が、周波数領域処理前の処理前データのパワーの和に対して変化することについて説明する。
【００４１】
図４では、値が０〜１の窓関数を乗算することにより音データＳを分割したので、処理前データＳｋ−１の後半のデータと処理前データＳｋの前半のデータにおいて、同じ時間に対応するサンプリング点の極性（＋／−）は、全サンプリング点で一致する。そのため、処理前データＳｋ−１の後半のデータと処理前データＳｋの前半のデータとがオーバーラップする区間（処理区間）における音データのパワーは、式（６）により求められる。式（６）において、「ＦＳ」は、フレームシフト（＝Ｌｆ／２）値を示す。例えば、フレーム長Ｌｆのサンプリング数が１０２４であれば、ＦＳは５１２となる。
【００４２】
【数６】
2015138204.tif 000008
【００４３】
ここで、周波数領域処理された、第ｋ−１フレーム、第ｋフレームにおける処理データを、それぞれ処理データＳ´ｋ−１、Ｓ´ｋとすると、それぞれのフレームがオーバーラップする区間の音データのパワーは、式（７）により求められる。
【００４４】
【数７】
2015138204.tif 000009
【００４５】
各フレームにおいて全周波数成分のパワーの和が変化しないように周波数領域処理された処理データＳ´ｋ−１、Ｓ´ｋと、周波数領域処理する前の処理前データＳｋ−１、Ｓｋとがオーバーラップする区間におけるパワーの和の変化量は、式（８）により求められる。
【００４６】
【数８】
2015138204.tif 000010
【００４７】
式（８）において、周波数領域処理する前の処理前データでは、オーバーラップする区間のパワーを示す│Ｓｋ−１（ｎ＋ＦＳ）││Ｓｋ（ｎ）│が、必ず正値となる。一方、周波数領域処理された処理後データでは、第ｋ−１フレーム、第ｋフレームのオーバーラップする区間での相関が弱くなる、或いは極性（＋／−）に相違が生じることがある。そのため、式（９）に示すように、オーバーラップする区間におけるパワーは全体として小さくなることが考えられる。式（９）では、第ｋ−１フレーム、第ｋフレームのオーバーラップする区間での相関がゼロに近づくにつれて、式（９）もゼロ（０）に近づくことを示している。
【００４８】
【数９】
2015138204.tif 000011
【００４９】
なお、相関が弱くなるとは、２つの波形の相関係数の大きさが１より小さくなること（２つの波形の近似性が低くなること）をいう。相関係数は、例えば、−１から１の間に正規化された値によって表される。相関係数が０であるとは、２つの波形に相関が全くない状態を表す。また、相関係数の大きさが１であるとは、２つの波形が完全に相関している状態を表す。２つの波形の相関係数が１より小さくなると、オーバーラップする区間において、２つの処理データを加算した処理後データのパワーが、周波数領域処理前よりも低下することがある。同様に、周波数領域処理の前後で極性（＋／−）に相違が生じた場合も、オーバーラップする区間において、２つの処理データを加算した処理後データのパワーが、周波数領域処理前よりも低下することがある。
【００５０】
そのため、ノイズ低減部１１３において、各フレームにおけるパワーの和が変化しないような周波数領域処理を行っても、２つの処理データを加算した処理後データのパワーの和は、周波数領域処理前よりも全体として低下する傾向にある。
【００５１】
図５は、図４に示す処理前データＳｋ−１、Ｓｋ、Ｓｋ＋１に、周波数領域処理を行った後の処理データＳ´ｋ−１、Ｓ´ｋ、Ｓ´ｋ＋１、及び処理後の音データＳ´示す波形図である。図５に示す各フレームの処理データＳ´ｋ−１、Ｓ´ｋ、Ｓ´ｋ＋１と、図４に示す処理前データＳｋ−１、Ｓｋ、Ｓｋ＋１とを比較すると、図４に示す処理前データでは、同時間に対応する隣接フレームにおいて、オーバーラップする両データの極性（＋／−）は一致している。一方、図５に示す処理データでは、同時間に対応する隣接フレームにおいて、オーバーラップする両データの極性は必ずしも一致していない。
【００５２】
また、図４に示す処理前データＳｋ−１、Ｓｋ、Ｓｋ＋１では、窓関数により各フレームの両端において振幅が絞られている。これに対して、図５に示す処理データＳ´ｋ−１、Ｓ´ｋ、Ｓ´ｋ＋１では、各フレームの両端において振幅が大きくなっており、窓関数を乗算した効果が薄くなっている。そのため、オーバーラップする２つの処理データを加算した場合に、各フレームの両端付近においても、両データの極性が一致していなければ、処理後データのパワーの和は、周波数領域処理前よりも低下する傾向にある。
【００５３】
再び図１の説明に戻り、データ処理部１１０の補正係数算出部１１６、及び補正部１１７について説明する。
補正係数算出部１１６は、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する複数の処理データのパワーの和を加算した値とに基づいて補正係数を算出する。
【００５４】
補正係数算出部１１６は、処理対象となるフレームの処理後データに対して、補正係数の算出が必要と判定した場合にのみ補正係数を算出する。補正係数算出部１１６は、判定部１１２において、処理対象となるフレームが、ノイズが含まれる区間のフレームであると判定された場合に、補正係数の算出が必要と判定する。また、補正係数算出部１１６は、判定部１１２において、処理対象となるフレームが、ノイズが含まれない区間のフレームであると判定された場合に、補正係数の算出が不要と判定する。
【００５５】
以下、図４に示す処理前データＳｋ−１、Ｓｋ、及び図５に示す処理データＳ´ｋ−１、Ｓ´ｋを例にして説明する。
図４及び図５では、フレームシフトがＬｆ／２であるため、隣接する２つのフレームの処理データを、処理区間（半フレーム）でオーバーラップさせて加算することにより、処理後データとなる音データＳ´を得ている。そのため、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する２つの処理データのパワーの和を加算した値とが等しくなるように補正係数を算出する。両データのパワーの和が等しくなるようにするための補正係数ＣＣは、式（１０）により求められる。
【００５６】
【数１０】
2015138204.tif 000012
【００５７】
式（１０）において、分数式の分母は、処理区間における加算後の処理後データのパワーの和（加算値の２乗）を示す。また、分子は、同じ処理区間における加算前の隣接する２つの処理データのパワーの和を加算した値（２乗した値の加算値）を示す。両データのパワーは、振幅の２乗に相当するため、分数式により得られた解の平方根を取ったものが処理後データを補正するための補正係数ＣＣとなる。
【００５８】
補正部１１７は、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する２つの処理データのパワーの和を加算した値とが等しくなるように、処理区間における加算後の処理後データを補正係数ＣＣに基づいて補正する。
【００５９】
補正後の処理区間における処理後データＳ´ｃｏｒｒｅｃｔｅｄ（ｎ）は、式（１１）により求められる。補正部１１７における処理後データの補正は、処理区間（本例では半フレーム）毎に行われる。
【００６０】
【数１１】
2015138204.tif 000013
【００６１】
なお、補正係数算出部１１６において、処理区間における加算後の処理後データの振幅の和と、同じ処理区間における加算前の隣接する複数の前記処理データの振幅の和を加算した値とに基づいて補正係数を算出してもよい。フレームシフトがＬｆ／２である場合に、両データの振幅の和を等しくするための補正係数ＣＣは、式（１２）により求められる。
【００６２】
【数１２】
2015138204.tif 000014
【００６３】
式（１２）で求められる補正係数ＣＣにより処理後データを補正した場合も、両データのパワーの和を等しくするための補正係数ＣＣにより処理後データを補正した場合と同様の効果を得ることができる。また、式（１２）によれば、補正係数ＣＣの演算量を抑制することができる。
【００６４】
次に、データ処理装置１００による周波数領域処理の一連の動作について説明する。図６は、データ処理装置１００による周波数領域処理の手順を示すフローチャートである。図６に示すフローチャートの処理は、記憶部１２０（図１参照）に記憶されたデータ処理プログラムに基づいて、データ処理部１１０により実行される。
【００６５】
図６に示すステップＳ１において、変換部１１１は、入力した音データＳを、処理区間においてオーバーラップする複数のフレームに分割し、処理対象となるフレームを抽出する。
【００６６】
ステップＳ２において、変換部１１１は、処理対象となるフレームの処理前データに窓関数を乗算する。
ステップＳ３において、変換部１１１は、窓関数を乗算した処理前データを、フーリエ変換により周波数スペクトルに変換する。
【００６７】
ステップＳ４において、判定部１１２は、処理前データに関連付けられた駆動制御信号の出力レベル（Ｈｉｇｈ／Ｌｏｗ）に基づいて、処理対象となるフレームが、ノイズが含まれる区間のフレームであるか、ノイズが含まれない区間のフレームであるかを判定する。このステップＳ４の判定がＹＥＳであれば、処理はステップＳ５へ移行する。また、ステップＳ４の判定がＮＯであれば、処理はステップＳ６へ移行する。
【００６８】
ステップＳ５において、ノイズ低減部１１３は、ステップＳ３で変換された周波数スペクトルに対して、周波数領域処理（ノイズ低減処理）を実行する。
なお、ステップＳ５において、例えば、スペクトル減算法によるノイズ低減処理を行った場合に、周波数領域に変換されたノイズデータからノイズデータを減算した後、所定のデータを加算してもよい。ここで、所定のデータとは、例えば、擬似乱数を生成するプログラムにより生成されたランダムノイズであってもよい。周波数領域に変換されたノイズデータからノイズデータを減算した場合、想定されるノイズの大きさ以上に減算し過ぎる場合、若しくは、想定されるノイズの大きさよりも大きな値を意図的に減算させる場合がある。そのような場合に、所定のデータを加算する処理を追加することにより、減算し過ぎた音を補間することができる。
【００６９】
ステップＳ６において、逆変換部１１４は、ステップＳ５で周波数領域処理されたフレームの周波数スペクトル、又は周波数領域処理されていないフレームの周波数スペクトルを、時間領域の処理データに逆変換する。
【００７０】
ステップＳ７において、加算部１１５は、処理区間においてオーバーラップする２つの処理データを加算して、処理後データを生成する。例えば、処理対象となるフレームが、図４に示す第ｋ−１フレーム及び第ｋフレームであれば、図５に示す処理データＳ´ｋ−１の後半部分と、処理データＳ´ｋの前半部分とを、処理区間（半フレーム）でオーバーラップさせて加算する。
【００７１】
ステップＳ８において、補正係数算出部１１６は、ステップＳ４における判定部１１２での判定結果に基づいて、処理対象となるフレームについて補正係数の算出が必要か否かを判定する。このステップＳ８の判定がＹＥＳであれば、処理はステップＳ９へ移行する。また、ステップＳ８の判定がＮＯであれば、処理はステップＳ１１へ移行する。
【００７２】
ステップＳ９において、補正係数算出部１１６は、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する２つの処理データのパワーの和を加算した値とが等しくなるように補正係数を算出する。例えば、処理対象となるフレームが、図４に示す第ｋ−１フレーム及び第ｋフレームであれば、補正係数ＣＣは、式（１０）により求められる。
【００７３】
ステップＳ１０において、補正部１１７は、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する２つの処理データのパワーの和を加算した値とが等しくなるように、処理区間における加算後の処理後データを補正係数ＣＣに基づいて補正する。例えば、処理対象となるフレームが、図４に示す第ｋ−１フレーム及び第ｋフレームであれば、補正後の処理区間（第ｋ−１フレームの後半部分、及び第ｋフレームの前半部分）における処理後データは、例えば、式（１１）により求められる。補正された処理後データは、音データＳ´としてデータ処理部１１０から出力される。なお、補正係数算出部１１６において、補正係数が算出されないフレームについては、加算部１１５で加算された処理データが音データＳ´としてデータ処理部１１０から出力される。
【００７４】
ステップＳ１１において、変換部１１１は、入力した音データＳのすべてのフレームについて処理が終了したか否かを判定する。このステップＳ１１の判定がＹＥＳであれば、本フローチャートの処理を終了する。また、ステップＳ１１の判定がＮＯであれば、処理はステップＳ１へ戻る。
【００７５】
次に、本実施形態のデータ処理装置１００による周波数領域処理（ノイズ低減処理）の具体例について説明する。
【００７６】
図７は、データ処理装置１００による周波数領域処理の具体例を示す説明図である。図７において、横軸は時間を示す。図７（ａ）及び（ｃ）において、縦軸はデータの値を示す。図７（ｂ）において、縦軸はデータの出力レベルを示す。図７（ｄ）において、縦軸は処理前データのパワーの和を１としたときの処理後データのパワーの和の比率を示す。
【００７７】
図７（ａ）は、入力データとなる音データＳの波形図である。ここでは、値が−０．５〜０．５の擬似乱数データを音データＳとして使用した。
図７（ｂ）は、駆動制御信号の出力レベルの変化を示す。本例では、駆動制御信号の出力レベルがＨｉｇｈの区間を、音データＳにノイズが含まれる区間と仮定した。また、駆動制御信号の出力レベルがＬｏｗの区間を、音データＳにノイズが含まれていない区間と仮定した。本例では、駆動制御信号の出力レベルがＨｉｇｈとなる区間（以下、「出力レベルがＨｉｇｈの処理区間」ともいう）において、ノイズ低減部１１３（図１参照）による周波数領域処理を実施した。
【００７８】
図７（ｃ）は、周波数領域処理された音データＳ´の波形図である。図７（ｃ）に示す波形図は、補正部１１７（図１参照）において補正係数による補正を行っていない音データＳ´の波形図である。
【００７９】
図７（ｄ）は、処理前データのパワーの和に対する処理後データのパワーの和の大きさを示すグラフである。本例では、フレーム長Ｌｆのサンプリング数を１０２４とし、フレームシフト（ＦＳ）を５１２とした。図７（ｄ）では、処理前データのパワーの和を１としたときの、処理後データのパワーの和の大きさを半フレーム（サンプリング数５１２）毎にグラフ化している。
【００８０】
図７（ｄ）に示す実線は、処理区間において、補正係数による補正を行っていない処理後データの結果を示すグラフである。また、図７（ｄ）に示す破線は、処理区間において、補正係数による補正を行った処理後データの結果を示すグラフである。図７（ｄ）において、駆動制御信号の出力レベルがＬｏｗとなる区間はグラフが重複するため、すべて実線で示している。
【００８１】
図７（ｄ）に示すように、補正係数による補正を行っていない処理後データでは、出力レベルがＨｉｇｈの処理区間において、パワーの和が全体的に低下する傾向があることが確認された。一方、補正係数による補正を行った処理後データでは、出力レベルがＨｉｇｈの処理区間において、パワーの和がほとんど低下しないことが確認された。
【００８２】
以上説明したように、第１実施形態のデータ処理装置１００では、処理後データのパワーの和、及び加算前の隣接する複数の処理データのパワーの和に基づいて補正係数を算出し、この補正係数に基づいて加算後の処理後データを補正するため、音データに含まれる環境音のレベル低下を抑制しつつ、動作部が動作したときに発生する動作ノイズを適切に低減させることができる。
【００８３】
また、第１実施形態のデータ処理装置１００では、動作部が動作したタイミングを示す信号として、駆動制御信号の出力レベル（Ｈｉｇｈ／Ｌｏｗ）を使用するため、ノイズが含まれる区間をより正確に判定することができる。
【００８４】
なお、第１実施形態では、フレームシフトをＬｆ／２とした場合（図２参照）について説明したが、フレームシフトは、Ｌｆ／３であってもよい。図８は、フレームシフトをＬｆ／３とした場合の処理区間、フレーム長、フレームシフト及びオーバーラップの関係を示す模式図である。図８では、音データを、第ｋ−２フレーム、第ｋ−１フレーム、第ｋフレーム、第ｋ＋１フレームの処理前データに分割する例を示している。図８において、フレームシフトは、隣接する３つの処理前データが時間的にオーバーラップする区間を示す。図８に示す実施形態において、フレームシフトは、フレーム長Ｌｆの半分（Ｌｆ／３）である。フレームシフトがＬｆ／３の場合、フレーム長Ｌｆの２／３となる２／３フレームが処理区間（オーバーラップ区間）となる。
【００８５】
フレームシフトをＬｆ／３とした場合は、隣接する３つのフレームの処理データを、処理区間（２／３フレーム）でオーバーラップさせて加算することにより、処理後データとなる音データＳ´を得ることができる。そのため、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する３つの処理データのパワーの和を加算した値とが等しくなるように補正係数を算出する。両データのパワーの和が等しくなるようにするための補正係数ＣＣは、式（１３）により求められる。
【００８６】
【数１３】
2015138204.tif 000015
【００８７】
また、本例において、補正部１１７は、処理区間における加算後の処理後データのパワーの和と、同じ処理区間における加算前の隣接する３つの処理データのパワーの和を加算した値とが等しくなるように、処理区間における加算後の処理後データを補正係数ＣＣに基づいて補正する。補正後の処理区間における処理後データＳ´ｃｏｒｒｅｃｔｅｄ（ｎ）は、式（１４）により求められる。補正部１１７における処理後データの補正は、処理区間（本例では２／３フレーム）毎に行われる。
【００８８】
【数１４】
2015138204.tif 000016
【００８９】
なお、フレームシフトをＬｆ／３とした場合に、補正係数算出部１１６において、処理区間における加算後の処理後データの振幅の和と、同じ処理区間における加算前の隣接する複数の前記処理データの振幅の和を加算した値とに基づいて補正係数を算出してもよい。フレームシフトがＬｆ／３である場合に、両データの振幅の和を等しくするための補正係数ＣＣは、式（１５）により求められる。
【００９０】
【数１５】
2015138204.tif 000017
【００９１】
式（１５）で求められる補正係数ＣＣにより処理後データを補正した場合も、両データのパワーの和を等しくするための補正係数ＣＣにより処理後データを補正した場合と同様の効果を得ることができる。また、式（１５）によれば、補正係数ＣＣの演算量を抑制することができる。
【００９２】
［第２実施形態］
図９は、第１実施形態のデータ処理装置１００を備えた撮像装置１の構成を示すブロック図である。なお、図９において、図１に示す各部に対応する構成には同じ符号を付し、その説明を適宜に省略する。
【００９３】
撮像装置１は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部６０と、バッファメモリ部３０と、通信部７０と、マイク２１と、Ａ／Ｄ変換部２２と、音データ処理部２３と、データ処理部１１０と、バス３００と、を備える。撮像装置１において、データ処理部１１０、及び記憶部６０の一部は、第１実施形態のデータ処理装置１００に対応する。
【００９４】
撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０と、を備える。撮像部１０は、設定された撮像条件（例えば、絞り値、露出値等）に従ってＣＰＵ９０により制御される。撮像部１０は、光学系１１による光学像を撮像素子１９に結像させ、Ａ/Ｄ変換部２０によりデジタル信号に変換された、当該光学像に基づく画像データを生成する。
【００９５】
光学系１１は、ズームレンズ１４と、ＶＲレンズ１３と、ＡＦレンズ１２と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、防振制御部１８と、を備える。光学系１１を通過した光学像は、撮像素子１９の受光面に導かれる。
【００９６】
レンズ駆動部１６は、ＣＰＵ９０（後述）から入力される駆動制御信号に基づいて、ズームレンズ１４又はＡＦレンズ１２の位置を制御する。防振制御部１８は、ＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。防振制御部１８において、ＶＲレンズ１３の位置を検出していてもよい。
【００９７】
ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ９０に出力する。
なお、上述した光学系１１は、撮像装置１に取り付けられて一体とされていてもよいし、撮像装置１に着脱可能に取り付けられてもよい。
【００９８】
撮像素子１９は、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部２０に出力する。また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、記憶媒体２００に記憶させる。一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０及び表示部５０に出力する。Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００９９】
操作部８０は、電源スイッチ、シャッターボタン、その他の操作キー等を含む。操作部８０は、ユーザの操作入力を受け付け、ＣＰＵ９０に出力する。画像処理部４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、又は記憶媒体２００に記録されている画像データに対して画像処理を行う。表示部５０は、液晶ディスプレイにより構成される。表示部５０は、撮像部１０によって得られた画像データ、操作画面等を表示する。記憶部６０は、主に撮像条件等を記憶する。マイク２１は、音を収音し、収音した音に応じた音データに変換する。この音データは、アナログデータである。Ａ／Ｄ変換部２２は、マイク２１によって変換されたアナログデータである音データを、デジタルデータである音データに変換する。
【０１００】
音データ処理部２３は、Ａ／Ｄ変換部２２が変換したデジタルデータである音データに対して、記憶媒体２００に記憶させるためのデータ処理を実行する。また、音データ処理部２３は、動作部が動作するタイミングを示す信号を、音データに関連付けて記憶媒体２００に記憶させる。この動作部が動作するタイミングを示す信号は、タイミング検出部９１（後述）が検出した情報である。なお、音データ処理部２３が記憶媒体２００に記憶させる音データは、例えば、動画に関連づけて記憶される音の音データ、記憶媒体２００に記憶されている静止画像に対して音声を付加するために録音された音の音データ、ボイスレコーダとして録音された音の音データ等である。
【０１０１】
バッファメモリ部３０は、撮像部１０で撮像された画像データ、音データ処理部２３によりデータ処理された音データ及び情報等を、一時的に記憶する。通信部７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続される。通信部７０は、この記憶媒体２００への情報の書込み、読み出し、或いは消去を行う。記憶媒体２００は、撮像装置１に対して着脱可能に接続される記憶部である。記憶媒体２００は、撮像部１０によって生成された（撮影された）画像データ、音データ処理部２３によりデータ処理された音データ及び情報等を記憶する。
【０１０２】
ＣＰＵ９０は、撮像装置１の全体を制御する。ＣＰＵ９０は、例えば、ズームエンコーダ１５から入力されるズームポジション、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力等に基づいて、ズームレンズ１４及びＡＦレンズ１２の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームレンズ１４及びＡＦレンズ１２の位置を制御する。また、ＣＰＵ９０は、タイミング検出部９１を備える。タイミング検出部９１は、撮像装置１が備える動作部が動作するタイミングを検出する。
【０１０３】
ここで、動作部とは、例えば、ズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、又は、操作部８０である。即ち、動作部とは、撮像装置１が備える構成のうち、動作することにより、又は動作されることにより、音が生じる（又は、音が生じる可能性がある）構成である。
【０１０４】
タイミング検出部９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出する。制御信号とは、動作部の動作を制御する制御信号、又は動作部（例えば、ズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２等）を駆動する駆動部（例えば、レンズ駆動部１６、防振制御部１８）を制御する駆動制御信号である。タイミング検出部９１は、ズームレンズ１４、ＶＲレンズ１３、又は、ＡＦレンズ１２を駆動させるためにレンズ駆動部１６又は防振制御部１８に入力される駆動制御信号に基づいて、又はＣＰＵ９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出する。本実施形態では、ズームレンズ、ＶＲレンズ、又はＡＦレンズの上述した駆動制御信号を、動作部が動作したタイミングを示す信号としている。
【０１０５】
また、ＣＰＵ９０が駆動制御信号を生成する場合に、タイミング検出部９１は、ＣＰＵ９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。また、タイミング検出部９１は、操作部８０から入力されるズームレンズ１４、又は、ＡＦレンズ１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。また、このタイミング検出部９１は、動作部が動作したことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【０１０６】
例えば、タイミング検出部９１は、ズームエンコーダ１５又はＡＦエンコーダ１７の出力に基づいて、ズームレンズ１４又はＡＦレンズ１２が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。また、タイミング検出部９１は、防振制御部１８からの出力に基づいて、ＶＲレンズ１３が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。また、このタイミング検出部９１は、操作部８０からの入力に基づいて、操作部８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。そして、タイミング検出部９１は、撮像装置１が備える動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音データ処理部２３に出力する。
【０１０７】
バス３００は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部１６０と、バッファメモリ部３０と、通信部７０と、音データ処理部２３と、に接続される。バス３００は、上記各部から出力されたデータや制御信号等を転送する。
【０１０８】
このように構成された撮像装置１は、記憶媒体２００に記憶されている音データに対して、第１実施形態で説明した周波数領域処理（ノイズ低減処理）を実行することができる。ここで、記憶媒体２００に記憶されている音データは、撮像装置１が収音して記録した音データであってもよいし、他の撮像装置が収音して記録した音データであってもよい。
【０１０９】
これにより、撮像装置１は、音データから動作ノイズを低減した際に、環境音のレベル低下が生じることを抑制することができる。そのため、撮像装置１は、動画を再生した際に、撮影時の雰囲気を適切に再現することができる。また、撮像装置１は、動画を再生した際に、ノイズ低減した箇所をユーザに感知されにくくなり、ユーザに違和感を与えることがない。
このように、第２実施形態の撮像装置１においては、音データにおける環境音のレベル低下を抑制しつつ、動作ノイズを適切に低減することができる。
【０１１０】
（変形形態）
以上説明した実施形態に限定されることなく、本発明は以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
例えば、上記実施形態では、１つのオーバーラップ区間（処理区間）に対して、１つの補正係数を算出する例について説明した。これに限らず、１つのオーバーラップ区間を更に細かく分割し、分割した区間毎に補正係数を算出して、前記区間毎に処理後データを補正するようにしてもよい。これによれば、隣接する２つのフレームの処理データにおける相関関係が、オーバーラップ区間で変化している場合でも、処理後データをより適切に補正することができる。
【０１１１】
また、複数のオーバーラップ区間において算出した補正係数を平滑化し、その補正係数に基づいて処理後データを補正してもよい。これによれば、隣接するオーバーラップ区間において、補正係数が急激に変化するのを抑制できるため、より良好な音データを得ることができる。
【０１１２】
また、補正係数算出部１１６で算出した補正係数が規定値よりも小さい場合には、補正部１１７において処理後データの補正を行わないようにしてもよい。即ち、処理前データに関連付けられた駆動制御信号の出力レベルがＨｉｇｈ（動作部が動作したタイミングを示す信号）であっても、周波数領域処理によるパワーの低下が小さい場合には、処理後データの補正を行わないことにより、処理速度を向上させることができる。
【０１１３】
また、補正部１１７において、加算部１１５で加算される前の、隣接する２つの処理データの和（第１の和）と、加算部１１５で加算された処理後データとに基づいて、第１の和と加算された処理後データとが所定の範囲内に含まれるように加算部１１５で加算された処理後データに対して補正を行うようにしてもよい。ここで、所定の範囲は、例えば、第１の和と加算された処理後データとの差が±５％となる範囲である。即ち、補正部１１７において、第１の和と加算された処理後データとの差が０（ゼロ）となるように補正することが好ましいが、これに限定されることなく、第１の和と加算された処理後データとが所定の範囲内に含まるように加算部１１５で加算された処理後データに対して補正を行うようにしてもよい。
【０１１４】
また、上記実施形態では、変換部１１１において、分割した処理前データを周波数領域のデータに変換した後、判定部１１２においてノイズが含まれる区間のフレームか否かを判定する例について説明した。これに限らず、先に判定部１１２において音データにノイズが含まれる区間のフレームがあるか否かを判定し、次に変換部１１１において分割したフレームの処理前データを周波数領域のデータに変換してもよい。
【０１１５】
更に、上記変形例において、判定部１１２でノイズが含まれる区間のフレームであると判定されたフレームの処理前データのみを変換部１１１に入力し、ノイズが含まれない区間のフレームであると判定されたフレームの処理前データについては、加算部１１５に入力させるようにしてもよい。例えば、処理前データＳｋ−１にノイズが含まれ、処理前データＳｋにはノイズが含まれないとする。この場合、窓関数を乗算した２つの処理前データのうち、処理前データＳｋ−１のみを変換部１１１に入力し、処理前データＳｋを加算部１１５に入力する。変換部１１１では、処理前データＳｋ−１を周波数領域のデータに変換し、ノイズ低減部１１３で周波数領域処理（ノイズ低減処理）を行い、更に逆変換部１１４で時間領域のデータ（処理データＳ´ｋ−１）に変換する。そして、加算部１１５において、周波数領域処理された処理データＳ´ｋ−１と、周波数領域のデータに変換しなかった処理前データＳｋとを加算することにより、処理後データを生成する。
【０１１６】
また、上記実施形態においては、動作部が動作したタイミングを示す信号に基づいて、ノイズが含まれる区間を判定する例について説明した。これに限らず、記憶媒体２００に記憶されている音データに対してノイズ解析処理を行うことにより、ノイズが含まれる区間を特定するようにしてもよい。
【０１１７】
また、第２実施形態の撮像装置１において、記憶媒体２００に記憶されている音データに対してのみ、上述したデータ処理部１１０による周波数領域処理を実行することに限定されない。例えば、撮像装置１は、マイク２１により収音された音データに対してデータ処理部１１０によるノイズ低減を実行してから、処理後の音データを記憶媒体２００に記憶させてもよい。即ち、撮像装置１は、マイク２１により収音された音データに対して、リアルタイムにデータ処理部１１０によるノイズ低減を実行してもよい。
【０１１８】
なお、データ処理部１１０によりデータ処理された音データが記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関連付けられて記憶されてもよいし、音データを含む動画として記憶されてもよい。
【０１１９】
また、上記実施形態においては、音データに含まれるノイズとして、主に光学系１１が動作することにより生じる音について説明したが、ノイズはこれに限られるものではない。例えば、操作部８０に備えられているボタン等が押下された場合に生じる音の場合も、同様である。この場合も、操作部８０に備えられているボタン等が押下されたことを検出する信号が、ＣＰＵ９０のタイミング検出部９１に入力される。よって、タイミング検出部９１は、光学系１１が駆動する場合と同様に、操作部８０等の動作するタイミングを検出することができる。即ち、操作部８０等の動作するタイミングを示す情報を、動作部が動作するタイミングを示す情報としてもよい。
【０１２０】
また、動作部は、光学系１１が備える各レンズ、又は、操作部８０に限られるものではなく、動作することによって音が発生する（或いは音が発生する可能性がある）他の構成であってもよい。例えば、動作部は、ポップアップ時に音が発生するポップアップ式の光源（例えば、撮影用の光源、閃光装置（フラッシュ）等）であってもよい。
【０１２１】
また、上記実施形態においては、データ処理装置１００又は撮像装置１が、撮像装置（例えば撮像装置１）により収音された音の音データに対してデータ処理部１１０による処理を実行する例について説明したが、撮像装置以外の装置に収音された音の音データに対してデータ処理部１１０による処理を実行してもよい。
【０１２２】
また、第２実施形態においては、データ処理装置１００（データ処理部１１０）が、撮像装置１に備えられている構成について説明した。これに限らず、データ処理装置１００（データ処理部１１０）は、例えば、録音装置、携帯電話、パーソナルコンピュータ、タブレット型端末、電子玩具、又は、通信端末等の他の装置に備えられていてもよい。
【０１２３】
なお、図１及び図９におけるデータ処理部１１０、又はデータ処理部１１０が備える各部は、専用のハードウェアにより実現されるものであってもよいし、メモリ及びマイクロプロセッサにより実現させるものであってもよい。その場合に、データ処理部１１０、又はデータ処理部１１０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することにより、その機能を実現させるものであってもよい。
【０１２４】
また、図１、図１３におけるデータ処理部１１０、又はデータ処理部１１０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、データ処理部１１０、又はデータ処理部１１０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。
【０１２５】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置をいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含む。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１２６】
また、上記実施形態及び変形形態は適宜に組み合わせて用いることができるが、各実施形態の構成は図示と説明により明らかであるため、詳細な説明を省略する。更に、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【０１２７】
１：撮像装置、１００：データ処理装置、１１０：データ処理部、１１１：変換部、１１２：判定部、１１３：ノイズ低減部、１１４：逆変換部、１１５：加算部、１１６：補正係数算出部、１１７：補正部、１２０：記憶部
【図１】
2015138204.tif 000018
【図２】
2015138204.tif 000019
【図３】
2015138204.tif 000020
【図４】
2015138204.tif 000021
【図５】
2015138204.tif 000022
【図６】
2015138204.tif 000023
【図７】
2015138204.tif 000024
【図８】
2015138204.tif 000025
【図９】
2015138204.tif 000026