(57)【要約】      （修正有）【課題】マイクロホンアレイによる音源分離の指向性を改善する音源分離装置および音源分離方法を提供する。【解決手段】音源分離装置１０は、複数のマイクロホンがアレイ状に配置されたマイクロホンアレイ１から出力された複数の出力信号各々の音圧の時間波形から音圧情報をサンプリング抽出し、音圧情報を画像情報における色空間の１つまたは複数の要素に対応するデータ値に変換して時空間音圧分布画像を生成し、生成された時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出するように構成される。【選択図】図１
2018036359.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンがアレイ状に配置されたマイクロホンアレイから出力された複数の出力信号各々の音圧の時間波形から音圧情報をサンプリング抽出し、前記音圧情報を画像情報における色空間の１つまたは複数の要素に対応するデータ値に変換して時空間音圧分布画像を生成し、
生成された前記時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出する音源分離装置。
【請求項２】
前記要素は、輝度あるいは彩度あるいは明度の何れか１つを含む請求項１に記載の音源分離装置。
【請求項３】
前記要素が、輝度であることを特徴とする請求項１に記載の音源分離装置。
【請求項４】
前記画像信号処理において、前記時空間音圧分布画像の超解像処理により高精細化した後、前記抽出を行う請求項１乃至３のいずれか１項に記載の音源分離装置。
【請求項５】
前記画像信号処理は、前記時空間音圧分布画像をフーリエ変換して得られた空間スペクトル画像に現れた所定の成分を抽出し、抽出された前記成分を逆フーリエ変換して前記音を抽出することを特徴とする請求項１乃至４の何れか１項に記載の音源分離装置。
【請求項６】
複数のマイクロホンがアレイ状に配置されたマイクロホンアレイと、
前記マイクロホンの各々に対応して接続されたＡ／Ｄコンバータを複数有し複数の前記マイクロホンが出力した出力信号の音圧の時間波形から音圧情報をサンプリングするＡ／Ｄコンバータアレイと、
前記複数のＡ／Ｄコンバータから出力された複数の前記音圧情報を、画像情報における色空間の１つまたは複数の要素に対応するデータ値にそれぞれ変換して時空間音圧分布画像を生成する画像合成器と、
生成された前記時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出する音源分離器を備えた音源分離装置。
【請求項７】
前記要素は、輝度あるいは彩度あるいは明度の何れか１つを含む請求項６に記載の音源分離装置。
【請求項８】
前記要素が、輝度であることを特徴とする請求項６に記載の音源分離装置。
【請求項９】
超解像処理により画像データを高精細化する画像復元器をさらに備え、
前記画像合成器が出力した前記時空間音圧分布画像を高精細化した画像データを音源分離器に出力することを特徴とする請求項６乃至８のいずれか１項に記載の音源分離装置。
【請求項１０】
前記音源分離器は、前記時空間音圧分布画像をフーリエ変換して空間スペクトル画像をに現れた所定の成分を抽出し、抽出された前記成分を逆フーリエ変換して前記音を抽出することを特徴とする請求項６乃至９の何れか１項に記載の音源分離装置。
【請求項１１】
複数の細孔がアレイ状に配置されたパネルと、
複数の前記マイクロホンアレイと、
複数の前記マイクロホンアレイ各々の音孔と前記細孔とを接続する導波路とを備え、
前記細孔の間隔が前記音孔の間隔よりも狭いことを特徴とする請求項１乃至１０の何れか１項に記載の音源分離装置。
【請求項１２】
複数のマイクロホンがアレイ状に配置されたマイクロホンアレイから出力された複数の出力信号各々の音圧の時間波形から音圧情報をサンプリング抽出し、
前記音圧情報を画像情報における色空間の１つまたは複数の要素に対応するデータ値に変換して時空間音圧分布画像を生成し、
生成された前記時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出する音源分離方法。
【請求項１３】
前記要素は、輝度あるいは彩度あるいは明度の何れか１つを含む請求項１２に記載の音源分離方法。
【請求項１４】
前記要素が、輝度であることを特徴とする請求項１２に記載の音源分離方法。
【請求項１５】
前記画像信号処理において、前記時空間音圧分布画像の超解像処理により高精細化した後、前記抽出を行う請求項１２乃至１４のいずれか１項に記載の音源分離方法。
【請求項１６】
前記画像信号処理は、前記時空間音圧分布画像をフーリエ変換して得られた空間スペクトル画像に現れた所定の成分を抽出し、抽出された前記成分を逆フーリエ変換して前記音を抽出することを特徴とする請求項１２乃至１５の何れか１項に記載の音源分離方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源分離装置および音源分離方法に関し、特にマイクロホンアレイを用いた音源分離装置および音源分離方法に関する。
【背景技術】
【０００２】
多数の音源から放射された音から所望の音（目的音）のみを抽出する音源分離は、音をマイクロホンアレイ（マイクロホンを並べた装置）を通じて計算機に取り込んだ後に、音響信号処理により行うことが一般に行われている。特許文献１や非特許文献１に示されているようにマイクロホンアレイを用いて音源分離を行う技術は様々の方式がある。これらを大別すると、ビームフォーマと呼ばれる複数マイクロホンからの出力に適当な重み係数をかけた後に加算することで所望の音を抽出する方式と、ブラインド音源分離と呼ばれる音源間の統計的性質の違いを利用して所望の音を抽出する方式に大別できる。しかしながら、いずれの方式も音データをそのまま扱う音響信号処理の範疇にある。
【０００３】
一方、たとえば非特許文献２にあるように画像処理技術（超解像技術）を利用した音場再現技術が開示されている。なお、超解像技術としては非特許文献２に示される技術の他、たとえば非特許文献３のような技術なども提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１７３５８４号公報
【非特許文献】
【０００５】
【非特許文献１】浅野太，音のアレイ信号処理, コロナ社，2011．
【非特許文献２】小山翔一, “スパース音場表現に基づく超解像型収音・再現,”日本音響学会誌, Vol. 71, No. 11, pp. 632-638, 2015.
【非特許文献３】加藤利幸, 日野英逸, 村田昇, “スパースコーディングを用いたマルチフレーム超解像,”情報処理学会研究報告 IPSJ SIG Technical Report, Vol.2013-CVIM-187, No. 3, pp. 1-9, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のマイクロホンアレイによる音源分離は、音データをそのまま扱う音響信号処理の範疇にある。これは、個々のマイクロホンで収録される信号を総合することで空間情報を抽出しているため、指向性改善に限りがあった。そのため、音源分離に限界がある。すなわち従来の音源分離手法の限界を打破する新たな音源分離装置ならびに音源分離方法が求められている。
【課題を解決するための手段】
【０００７】
本発明の音源分離装置は、複数のマイクロホンがアレイ状に配置されたマイクロホンアレイから出力された複数の出力信号各々の音圧の時間波形から音圧情報をサンプリング抽出し、音圧情報を画像情報における色空間の１つまたは複数の要素に対応するデータ値に変換して時空間音圧分布画像を生成し、生成された時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出するように構成される。
【０００８】
また、本発明の音源分離装置は、複数のマイクロホンがアレイ状に配置されたマイクロホンアレイと、マイクロホンの各々に対応して接続されたＡ／Ｄコンバータを複数有し複数のマイクロホンが出力した出力信号の音圧の時間波形から音圧情報をサンプリングするＡ／Ｄコンバータアレイと、複数のＡ／Ｄコンバータから出力された複数の音圧情報を、画像情報における色空間の１つまたは複数の要素に対応するデータ値にそれぞれ変換して時空間音圧分布画像を生成する画像合成器と、生成された時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出する音源分離器を備えるよう構成される。
【０００９】
さらに、音源分離方法は、複数のマイクロホンがアレイ状に配置されたマイクロホンアレイから出力された複数の出力信号各々の音圧の時間波形から音圧情報をサンプリング抽出し、音圧情報を画像情報における色空間の１つまたは複数の要素に対応するデータ値に変換して時空間音圧分布画像を生成し、生成された時空間音圧分布画像を画像信号処理して所望の音源からの音を抽出するようにする。
【発明の効果】
【００１０】
従来の音源分離手法の限界を打破する新たな音源分離装置ならびに音源分離方法が提案される。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１に係る音源分離装置の構成図である。
【図２】マイクロホンアレイの一例を示す図である。
【図３】本発明の実施例１に係る音源分離装置の動作を示すフローチャートである。
【図４】本発明に係る音源分離装置の処理を説明する図である。
【図５】画像復元前の時空間音圧分布画像（ａ）および画像復元後の時空間音圧分布画像（ｂ）の一例である。
【図６】実験の結果を示す図である。
【図７】時空間音圧分布画像ならびに空間スペクトル画像の一例を示す図である。
【図８】本発明の実施例２に係る音源分離装置の構成図である。
【図９】本発明の実施例２に係る音源分離装置の動作を示すフローチャートである。
【図１０】本発明の実施例３を説明する図である。
【図１１】本発明の実施例３を説明する図である。
【図１２】本発明の実施例３を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施の形態につき図面を用いて説明する。
【実施例１】
【００１３】
本発明の音源分離装置１０の実施例１における構成図を図１に示す。図１に示すように本発明の音源分離装置１０は、複数のマイクロホンがアレイ状に配置されたマイクロホンアレイ１と、Ａ／Ｄコンバータ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌコンバータ）アレイ２と、画像合成（Ｉｍａｇｅ  ｓｙｎｔｈｅｓｉｓ）を行う画像合成器３と、画像復元（Ｉｍａｇｅ  ｒｅｓｔｏｒａｔｉｏｎ）を行う画像復元器４と、最終的に音源分離（Ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ）を行う音源分離器５とから構成される。
【００１４】
ここで、マイクロホンアレイ１は図２に示すようにＭ本（Ｍは２以上の整数）のマイクロホンＰ１〜ＰＭが等間隔（距離Ｄ）にアレイ状に配置された構成である。マイクロホンアレイ１はＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｒｃｔｒｏｎｉｃｓ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ：微小電気機械システム）である。本実施例ではマイクロホン（Ｐ１〜ＰＭ）の各々は、音をマイクロホンに取り入れる音孔２１を備える。音孔の中心の間隔が本実施例の場合は距離Ｄとなる。マイクロホンアレイ１のマイクロホン（Ｐ１〜ＰＭ）は各々入力された音をアナログ信号（アナログ音声信号）ｙ1(ｔ)〜ｙM（ｔ）としてそれぞれ出力する。なお、ここでは、マイクロホンＰ１〜ＰＭが等間隔（距離Ｄ）にアレイ状に配置された構成としたがマイクロホン間隔は不等間隔であってもよく、またマクロホンアレイはＭＥＭＳ型に限るものではない。
【００１５】
また、距離Ｄは可聴周波数帯域において空間折返し歪が発生しない間隔となるよう複数のマイクロホンをアレイ状に設置している。このようなマイクロホンアレイを、マイクロ間隔マイクロホンアレイと称する。仮に可聴周波数の上限を２０ｋＨｚとした場合には、Ｄ＜８．５ｍｍが条件となる。Ｄ＜８．５ｍｍの間隔で複数のマイクロホンを配置することを本明細書では「密に」配置すると称する。
【００１６】
Ａ／Ｄコンバータアレイ２は、マイクロホンアレイ１のＭ本のマイクロホン（Ｐ１〜ＰＭ）それぞれ対応するＡ／Ｄコンバータを備え、マイクロホン（Ｐ１〜ＰＭ）が出力したアナログ信号（アナログ音声信号）１１（ｙ1(ｔ)〜ｙM（ｔ））をデジタルデータ（デジタル音声信号）１２（ｙ1(ｎ)〜ｙM（ｎ））に変換して画像合成器３に出力する。
【００１７】
画像生成器３は、Ｍ本のマイクロホンごとに得られたデジタルデータ１２（ｙ1(ｎ)〜ｙM（ｎ））それぞれが示す音圧値を輝度値に変換し１ピクセル幅の濃淡画素データに変換する。さらにそれらを、連続するＬ点の時系列データに基づいてＬ×Ｍの濃淡画素データからなる１枚の画像データとして生成する。本明細書ではこのようにして得た画像（本実施例では濃淡画像となっている）を時空間音圧分布画像と称する。
【００１８】
画像復元器４は、解像度が低い画像から高精細画像を復元する。マイクロホン間隔が広く空間軸に関して解像度が低い画像しか得られない場合に利用される。画像復元器４は、例えば超解像技術を用いて高精細画像を復元する回路であればよく、種々の手法が適用できる。なお、マイクロホン間隔Ｄが極めて小さい場合には、マイクロホンアレイからの出力を並べるだけで時空間音圧分布画像が構成されるので、画像復元器４は省略が可能である。
【００１９】
音源分離器５は、画像復元器４（または画像生成器３）で得られた時空間音圧分布画像データ１４（または１３）に基づき音源分離を行う。本実施例においては、音源分離器５は、時空間音圧分布画像データ１４（または１３）をフーリエ変換により空間スペクトルに変換し空間周波数領域において所望のフィルタリング処理を行い音源分離する。また空間スペクトルから分離された要素を逆フーリエ変換し、音源ごとに元の音声データ１５（ｘ１（ｎ）〜ｘｋ（ｎ））に再生する。このため、図１では図示していないが、音源分離器５は、フーリエ変換用のＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）回路と、逆フーリエ変換用の逆ＦＦＴ（Ｉｎｖｅｒｓｅ  ＦＦＴ）回路とが所望の数、設けられる。
【００２０】
続いて、本実施例における音源分離装置１０の動作を図３および図４を用いて説明する。図３は本発明の実施例１に係る音源分離装置の動作を示すフローチャートである。図４は実施例１に係る音源分離装置の処理の一例を説明する図である。
【００２１】
まず、音源分離装置１０はマイクロホンアレイ１のＭ本のマイクロホン（Ｐ１〜ＰＭ）が取得したアナログ信号１１（ｙ1(ｔ)〜ｙM（ｔ））をＡ／Ｄコンバータアレイ２によりデジタルデータ１２（ｙ1(ｎ)〜ｙM（ｎ））にＡ／Ｄ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換して音圧時系列データ（Ｌ点分）を取得する（Ｓ１０１）。
【００２２】
次に、Ｓ１０１で取得されたＬ×Ｍ個の音圧の標本値（デジタル値）を、画像生成器３にて輝度値に変換しこれらを並べて時空間音圧分布画像 (サイズＬ×Ｍ) を構成する（Ｓ１０２）。例えば周波数１ｋＨｚの正弦波について６ｍｓ分の音圧波形をマイクロホンアレイ１で取得して時空間音圧分布画像にする場合、マイクロホンアレイ１の各マイクロホンが取得した音圧信号(図４（１））をそれぞれ「横：６（ｍｓ）×ｆｓ（ｋＨｚ）ピクセル」×「縦：１ピクセル」の画像(図４（２））に変換（ただし、ｆｓは標本化周波数）される。これをマイクロホンアレイ１のＭ本のマイクロホン（Ｐ１〜ＰＭ）から得られたこの縦１ピクセル幅の画像をマイクロホンの並びに応じて並べ１枚の画像を得る（図５（ａ））。図５（ａ）がＳ１０２で得られる時空間音圧分布画像の一例である。
【００２３】
得られた時空間音圧分布画像が高精細画像か否かを判断（Ｓ１０３）し、高精細画像である場合は、Ｓ１０５に処理を進める。高精細画像でない場合は、超解像技術を用いて高精細画像 (サイズＬ×Ｍ') の復元を画像復元器４により実施する（Ｓ１０４）。Ｓ１０２で得られた図５（ａ）から超解像技術を用いて高精細画像化を行って図５（ｂ）を得る。図５（ｂ）がＳ１０４によって得られた時空間音圧分布画像１４に相当する。したがってＳ１０３の時点で図５（ｂ）に相当する画像が得られる場合はＳ１０４の処理は不要である。なお、Ｓ１０２またはＳ１０４により得られた１枚の時空間音圧分布画像が１フレームを構成する。
【００２４】
所定の精度を備えた時空間音圧分布画像１４（または１３）をフーリエ変換して空間スペクトルに変換する。この時、時空間音圧分布画像１４をフーリエ変換して空間スペクトルにする場合はサイズはＬ×Ｍ'となり、時空間音圧分布画像１３をフーリエ変換して空間スペクトルにする場合はサイズＬ×Ｍとなる（Ｓ１０５）。
【００２５】
その後、空間周波数領域において所望のフィルタリング処理を行い音源分離する。これらは音源分離器５で行われる。ここで、音源位置ｒ（位置ベクトル）と音源波形の（時間）離散周波数ｆｋおよび画像のサイズを定めれば、時空間音圧分布の画像パターンは一意に定められる。その画像パターンを、輝度値をスキャンしたベクトルｇ（ｒ、ｆｋ）で表現すればこれが基底（後述のようにこれが独立した１つの音源が作り出す単一周波数の音に相当する）となる。音源信号ｓは、離散周波数ｆｋについての振幅Ａｋと位相φｋの関数ｓ（Ａｋ、φｋ）として記述される。ここで、音源を抽出することは、与えられた時空間音圧分布画像１４（または１３）を基底により分解した結果として、振幅Ａｋが非零の基底成分を探索することに相当する。基底による分解は、空間周波数領域では、時空間音圧分布画像の空間スペクトルと、この基底のフーリエ変換の掛け算(積）により行われる。
【００２６】
Ｓ１０５の後、予め準備した基底を用いてフィルタリングしパワーの大きな音源Ｋ個を抽出（Ｓ１０６）する。これによって音源位置が特定できる。
【００２７】
さらにＫ個の音源それぞれについて逆フーリエ変換を経て音源波形（長さＬ）を算出する（Ｓ１０７）ことで各音源について波形を分離する。
【００２８】
分離された各波形(音声データ）１５（ｘ１（ｎ）〜ｘｋ（ｎ））をそれぞれ出力する（Ｓ１０８）。
【００２９】
なお、上述した１フレーム（１枚の時空間音圧分布画像）の処理を１単位とすると、この１単位の処理を繰り返すことにより連続した音源抽出が行える。
【００３０】
次に本発明の音源分離装置の効果の検証実験について述べる。
図６は雑音抑圧性能（２音源分離）に関する計算機実験の結果を示す図であり、従来法（図６の（１））と本発明の音源分離方法（図６の（２））の性能を比較して示したものである。また、この実験結果は、正面０度からの目的音のみを抽出した場合に、他の角度から到来した雑音が混入してくるパワーを測定したものを示している。雑音低減量は全体としては４ｄＢ程度の改善であるが、特に正面０度付近の指向性が鋭くなっており２音源の分離性能が向上したことを示している。
【００３１】
ここで、従来法は「遅延和アレイ」と呼ばれる手法を用いた。この手法はビームフォーマの最も基本的な構成法である。すなわち、全てのマイクロホンからの出力を加算した総和を出力とするものであり、マイクロホンごとに適切な遅延を与えることで指向性を向ける方向を調整する（ここでは目的音が正面から到来するので全マイクロホンの遅延は０とした）。
【００３２】
この実験における詳細な実験条件は次のとおりである。まず、マイクロホンアレイは長さ１ｍ、マイクロホン数１８０個（したがって、マイクロホン間隔Ｄは５．５９ｍｍ）のものを使用した。標本化周波数は１９２ｋＨｚとし、雑音と目的音の周波数帯域は８ｋＨｚ以下に制限した。目的音は女声音声による「あー」の音声がマイクロホンアレイの正面（０度）から到来するようにし、雑音は白色雑音（ホワイトノイズ）が正面（０度）以外の方向から到来するように１度ずつ変化させて測定した。測定は、正面からの目的音を抽出した場合に、混入してくる白色雑音のパワーを測定し、測定結果は、仮に０度から雑音のみが到来した場合のパワーを０ｄＢとして表示している。
【００３３】
また、測定は次の通り行った。まず観測時間２１．３ｍｓ単位に１フレームとし、１８０ピクセル（縦）×４０９６ピクセルの時空間音圧分布画像を構成する。得られた時空間音圧分布画像データをＦＦＴ（高速フーリエ変換）処理を行いスペクトルに変換し、正面方向に対応する方向成分のみを抽出した。ここで具体的には空間スペクトル（振幅スペクトル）画像における中心を通る水平線上の成分のみを抽出している。逆ＦＦＴ（逆高速フーリエ変換）によって正面方向からの音圧波形に逆変換し、その音に含まれる雑音成分のパワーを計算した。以上の一連の作業を９２フレームにわたって実施し、雑音パワーの平均を計算（ｄＢ表示）した。
【００３４】
一方、従来法についての測定は次の通り行った。まず観測時間２ｓで１フレームとし、全てのマイクロホンからの出力波形を単純に加算する。そして、その音に含まれる雑音成分のパワーを計算する。以上の一連の作業を１フレーム分のみ実施し、雑音パワーの平均を計算（ｄＢ表示）した。
【００３５】
以上の実験における観測を行った際、本発明の音源分離方法では同時に雑音の波形も計算される。具体的には、空間スペクトルにおいて雑音成分は明らかであり、それを空間スペクトルから抜き出して逆フーリエ変換すればよい。このことは、本発明の音源分離装置ならびに音源分離方法は音源を分離することが非常に容易であることを示している（後述する図７（ｃ）を参照）。
【００３６】
一方、比較対象の遅延和アレイによる方法では、雑音の波形を出力するために各マイクロホンからの出力に対して雑音の到来方向に対応する適切な遅延を与えた後に加算するという再度の作業が必要となる。実際には、雑音の到来方向は未知なので、全ての方向に対応する遅延を与えて試行する到来方向探索が必要であり、莫大な計算コストを要する。以上の計算コストの優位性は、本実験のような２音源の場合の音源分離に比べ、３音源以上の分離を行う場合についても同様である。
【００３７】
実験条件を上記の条件から、全長１ｍに５１２個のマイクロホンを等間隔（Ｄ＝約２ｍｍ）に配置したマイクロホンアレイ、標本化周波数は１６ｋＨｚ、音の継続時間を約１秒に代えた場合の時空間音圧分布画像ならびに空間スペクトル画像の一例を図７に示す。図７（ａ）は目的音のみの時空間音圧分布画像であり、図７（ｂ）は目的音に加え４５度の方向から白色雑音が重畳した場合の時空間音圧分布画像である。図７（ｂ）に示す画像をＳ１０５にあるようにフーリエ変換して得た空間スペクトル（振幅スペクトル）画像が図７（ｃ）である。図７（ｃ）にあるように正面から到来した目的音は傾き０度の直線上の成分として、また白色雑音は傾いた直線上の成分として出現している。このスペクトル画像の中心は空間周波数が０サイクル／ｍであり、中心画素からの距離が大きくなるほど空間周波数が増加するように示されている。またこのスペクトル画像の端の空間周波数はナイキスト周波数である。この空間スペクトルのうち目的音成分のみを抽出して逆フーリエ変換したものが図７（ｄ）である。図７（ａ）と図７（ｄ）とを比較すると図７（ｄ）は雑音が抑圧されて元の図７（ａ）が再現されていることが分かる。
【００３８】
（変形例１）
なお、上述の実施例１においては、音源分離器５は、時空間音圧分布画像１４（または１３）データをフーリエ変換により空間スペクトルに変換し空間周波数領域において所望のフィルタリング処理を行い音源分離する例を示した。しかしながら、これに代えて、音源分離器５は時空間音圧分布画像１４（または１３）データをそのままの空間領域においてフィルタリング処理するように構成することも可能である。ただしこの場合、基底による分解は、空間領域では与えられた画像ベクトルｙと基底ベクトルｇ（ｒ、ｆｋ）を畳込む演算ｙ＊ｇ（ｒ、ｆｋ）により実現される。したがって、演算処理量は上述のようなフーリエ変換を用いて交換周波数領域において処理する場合よりも増える傾向にある。
【００３９】
（変形例２）
また、上述の実施例１においては、画像復元器４は解像度が高い画像が画像合成器３で得られる場合は不要であるとした。しかしマイクロホン間隔が広く空間軸に関して解像度が低い画像しか得られない場合（時空間音圧分布画像１３が所望の解像度を備えない場合）には、超解像技術を用いることで高精細画像を復元することができる。超解像技術としては、種々の手法が適用できるが、非特許文献３に示されるスパースコーディングに基づく方法が有用である。実施例１においては、画像復元器４として、以下に示すような超解像処理を行う回路を備えるようにしてもよい。
【００４０】
行列Ｄ＝［ｄ１，ｄ２，・・・，ｄｎ，・・・，ｄＮ］は辞書行列と呼ばれるサイズＬ×Ｍ×Ｎの行列であり、Ｎは取り出す基底の数（すなわち上述したＫの最大値に相当する）であり、十分に大きな数である。ｄｎはＬＭ次元の縦ベクトルであり、ｎ番目の基底と呼ばれるサイズＬ×Ｍの画像における輝度値をスキャンして得た画像パターンを表わす。この基底は、予め十分な量の高精細画像とそれを間引くなど劣化させた画像を用意して、機械学習によって獲得しておく。
【００４１】
スパースコーディングでは、予め用意したＮ個の基底のうち少数の（疎な）Ｋ個の線形和によって観測データである画像ベクトルβが表現できるものと考える。そして、以下の最適化問題を解くことでＫ個の基底を抽出する。
【００４２】
【数１】
2018036359.tif 000003
【００４３】
ここで、ベクトルα は基底の線形和における係数を与えるＮ次元縦ベクトルであり、その第ｎ行に「ｎ番目の基底画像についての係数」を成分としてもつ。||β-Dα||22はこのモデルによって観測データを表現しきれない程度（モデル誤差）を与え、これが最小となるようにαを定める。ただし、式（１）では正則化項λ||α||1を加えて最小化を行うことを示しており、これによりスパースな解が得られる（少数の基底のみが抽出される）。なお、λは正則化項の重みを調整するパラメータであり、抽出される基底の数を調整するものである。
【００４４】
さて実際の超解像処理にあたっては、画像を小さなパッチに分割して処理を行う。まず、高解像パッチγに対応する辞書Ｄｈ（添え字ｈはｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎを示す）を用意する。また画像の劣化を表わす行列Ｑを用いて、以下のようにβを表現する。
【００４５】
【数２】
2018036359.tif 000004
式（１）の最適化問題の解である
【００４６】
【数３】
2018036359.tif 000005
を式（２）に代入することで、高解像度パッチγを復元できる。これらのパッチの重複部を処理することで全体として高解像度化が実施される。
【００４７】
（変形例３）
また、上述の実施例１では、マイクロホンアレイ１、Ａ／Ｄコンバータアレイ２ならびに画像合成器３とは別々の構成としているが、たとえばマイクロホンアレイ１にＡ／Ｄコンバータを組み込んで１つの構成としてもよく、またさらに画像合成器３にて行っている音圧値の輝度値への変換をＡ／Ｄコンバータアレイ２で行う構成としてもよい。
【実施例２】
【００４８】
図８は本発明の音源分離装置の実施例２における構成図である。本実施例の音源分離装置５０は、複数のマイクロホンがアレイ状に配置されたマイクロホンアレイ５１、Ａ／Ｄコンバータ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌコンバータ）アレイ５２、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）回路アレイ５６を備える。また、画像合成（Ｉｍａｇｅ  ｓｙｎｔｈｅｓｉｓ）を行う画像合成器５３、画像復元（Ｉｍａｇｅ  ｒｅｓｔｏｒａｔｉｏｎ）を行う画像復元器５４、音源分離（Ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ）を行う音源分離器５５、逆ＦＦＴ（Ｉｎｖｅｒｓｅ  ＦＦＴ）回路５７とから構成される画像処理回路（７０−１〜７０−ｘ）を複数備える。さらに画像処理回路（７０−１〜７０−ｘ）の数に相当する加算器（５８−１〜５８−ｘ）を備える。ここで、マイクロホンアレイ５１、Ａ／Ｄコンバータアレイ５２は実施例１の構成と同じである。
【００４９】
マイクロホンアレイ５１は実施例１と同様にＭ本（Ｍは２以上の整数）のマイクロホンＰ１〜ＰＭが等間隔（距離Ｄ）にアレイ状に配置された構成である。マイクロホンアレイ１はＭＥＭＳであってよい。マイクロホンアレイ５１のマイクロホン（Ｐ１〜ＰＭ）は各々入力された音をアナログ信号６１（ｙ1(ｔ)〜ｙM（ｔ））としてそれぞれ出力する。また、Ａ／Ｄコンバータアレイ５２は、マイクロホンアレイ５１のＭ本の各マイクロホン（Ｐ１〜ＰＭ）それぞれ対応するＡ／Ｄコンバータを備え、マイクロホン（Ｐ１〜ＰＭ）が出力したアナログ信号６１（ｙ1(ｔ)〜ｙM（ｔ）（６１））をデジタルデータ６２（ｙ1(ｎ)〜ｙM（ｎ））に変換して、ＦＦＴ回路アレイ５６に出力する。なお、実施例１と同様マイクロホンの間隔は不等間隔であってもよい。
【００５０】
本実施例においては、各離散周波数（時間離散周波数）ｆｋに限定して処理を行うので、音源位置ｒ（位置ベクトル）および画像のサイズを定めれば、時空間音圧分布の画像パターンは一意に定まる。すなわち実施例１のような辞書行列を学習によって得る必要はなく、その画像パターンを辞書に埋込んだ後に実施例１と同様に最適化問題を解くことが可能となる。このため、本実施例においては、離散周波数分（ｘ個）の画像処理回路（７０−１〜７０−ｘ）をパラレルに用意している。
【００５１】
ＦＦＴ回路アレイ５６は、ＦＦＴ回路をマイクロホンアレイ５１のマイクロホンの数に相当する分備えている。ＦＦＴ回路アレイ５６の各ＦＦＴ回路は、各々入力されたデジタルデータ６２（ｙ1(ｎ)〜ｙM（ｎ））をフーリエ変換し、変換データ６６を離散周波数に応じてそれぞれ対応する画像処理回路（７０−１〜７０−ｘ）に出力する。
【００５２】
各画像処理回路（７０−１〜７０−ｘ）の逆ＦＦＴ回路５７は、割り当てられたデジタルデータ６２（ｙ1(ｎ)〜ｙM（ｎ））の周波数成分に相当する変換データ（６６）を逆フーリエ変換し逆変換データ６７を、各画像処理回路（７０−１〜７０−ｘ）の画像生成器５３に与える。画像生成器５３は、逆フーリエ変換されたデータ６７が示す音圧値を輝度値に変換し１ピクセル幅の濃淡画素データに変換する。さらにそれらを連続するＬ点の時系列データに基づいて、Ｌ×Ｍ個の濃淡画素データからなる１枚の画像データ（時空間音圧分布画像）６３を生成する。画像復元回路５４は、実施例１と同様、得られた時空間音圧分布画像の解像度が低い場合、超解像技術を用いて高精細化した時空間音圧分布画像６４に復元する。
【００５３】
音源分離器５５は、実施例１と同様、画像復元器５４（または画像生成器５３）で得られた時空間音圧分布画像データ６４（または６３）に基づき音源分離を行い、音源ごとに分離した音源波形６５（ｘ１（ｎ）〜ｘｋ（ｎ））を出力する。なお、音源分離器５５は、画像復元器５４による高精細化の過程で音源位置、音源波形を求めることが可能であるので、画像復元器５４が所望の性能を有する場合は省略可能である。したがって、画像復元器５４を備えない場合や画像復元器５４が所望の性能を備えない場合は、ノイズをフィルタリングするために必要となる。
【００５４】
続いて、実施例２の音源分離装置５０の動作を図９を用いて説明する。図９は本発明の実施例２に係る音源分離装置の動作を示すフローチャートである。
【００５５】
まず、音源分離装置５０はマイクロホンアレイ５１のＭ本のマイクロホン（Ｐ１〜ＰＭ）が取得したアナログ信号６１（ｙ1(ｔ)〜ｙM（ｔ））をＡ／Ｄコンバータアレイ５２によりデジタルデータ６２（ｙ1(ｎ)〜ｙM（ｎ））にＡ／Ｄ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換して音圧時系列データ(Ｌ点分)を取得する（Ｓ２０１）。
【００５６】
次に、Ｍ個のマイクロホンのそれぞれに対応するＦＦＴ回路アレイ５６のＦＦＴ回路により、Ｓ２０１で取得された各マイクロホンからのＬ個の音圧の標本値（デジタル値）を、フーリエ変換し変換データ６６を作成する（Ｓ２０２）。ここでは、音のデータであるためフーリエ変換された結果のうちＬ／２個の周波数成分のみのデータを対象とすればよい。
【００５７】
ここで、備えられた画像処理回路（７０−１〜７０−ｘ）の分だけ、Ｓ２０２で得られた処理対象の変換データ６６を周波数成分に対応させて設定する（Ｓ２０３）。
【００５８】
設定された周波数成分に対応する変換データ６６を対応する画像処理回路（７０−１〜７０−ｘ）の逆ＦＦＴ回路５７で逆フーリエ変換する。これによって、周波数成分ごとに分けられたＬ個の時系列データ（逆変換データ）６７を作成する（Ｓ２０４）。
【００５９】
こうして得られたＬ個の時系列データを画像生成器５３にて輝度値に変換し、輝度値に変換したものをマイクロホンの数に相当するＭ分並列に並べて時空間音圧分布画像６３(サイズＬ×Ｍ) を構成する（Ｓ２０５）。
【００６０】
得られた時空間音圧分布画像が高精細画像か否かを判断（Ｓ２０６）し、高精細画像である場合は、Ｓ２０８に処理を進める。高精細画像でない場合は、超解像技術を用いて高精細な時空間音圧分布画像６４ (サイズＬ×Ｍ') の復元を画像復元器５４により実施する（Ｓ２０７）。
【００６１】
上述したように、画像復元器５４を備えない場合や画像復元器５４が所望の性能を備えない場合は、ノイズをフィルタリングするために音源分離器５５が必要となる。ノイズのフィルタリングを行う場合は、実施例１と同じく予め準備した基底を用いてフィルタリングしパワーの大きな音源Ｋ個の抽出（Ｓ２０９）（図３のＳ１０６に相当する処理）、Ｋ個の音源ごとに音源波形(長さＬ)の算出（Ｓ２１０）（図３のＳ１０７に相当する処理）を行う。これらは、画像復元器５４による高精細化の過程で音源位置、音源波形を求めることが可能であるので、画像復元器５４が所望の性能を有する場合は省略可能である。
【００６２】
Ｓ２０４〜Ｓ２１０までの処理を全ての周波数成分について処理したかを判断（Ｓ２１１）し、処理が終わっていない場合はＳ２０３に戻って残りを処理する。すべての周波数成分について処理が完了している場合は、各画像処理回路（７０−１〜７０−ｘ）から出力される周波数成分に分けられた音源データ６８を、それぞれの音源ごとに対応する加算器（５８−１〜５８−Ｋ）で加算し音源ごとに分離した音源波形６５（ｘ１（ｎ）〜ｘｋ（ｎ））を出力する（Ｓ２１１）。
【００６３】
実施例２では、音源の分布はスパース（疎）であると仮定し、予めＮ個の音源を要したうち少数のＫ個によって観測データである画像ベクトル y が表現できるものと考える。そして、以下の最適化問題を解くことでK個の音源を抽出する。
【００６４】
【数４】
2018036359.tif 000006
【００６５】
ここで、ベクトルαは解を与えるＮ次元縦ベクトルであり、その第ｎ行に「ｎ番目の音源候補についての振幅と位相を表わす複素数」を成分としてもつ。Ａは辞書行列と呼ばれるＭＬ×Ｎ型の行列であり、その第ｎ行に「ｎ番目の音源から振幅１、位相０の信号が放射された場合に観測される画像パターン」を表わす成分（画像パターン）が埋め込まれている。||β−Aα||22はこのモデルによって観測データを表現しきれない程度（モデル誤差）を与え、これが最小となるようにαを定める。式（３）では正則化項λ||α||1を加えて最小化を行うことを示しており、これによりスパースな解が得られる（少数の音源のみが抽出され、その振幅と位相が求められる）。なお、λは正則化項の重みを調整するパラメータであり、抽出される音源の数Ｋ個を調整するものである。以上の過程により、音源Ｋ個が抽出されるので、辞書行列Ａをかけることで高精細な画像が得られる。各周波数について高精細画像を求めた後で、全周波数について輝度値の和をとり最終的な高精細画像とする。
【００６６】
また、本実施例では、予め（時間）離散周波数ごとに分けて処理を行うので、基底はｇ（ｒ）とｒのみの関数で記述されるため基底の数を絞ることができ、音源分離処理が軽減される。図８の画像処理回路７０−１〜７０−ｘのように、離散周波数ごとに、例えばＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔｓ）を用いた並列処理で独立に行うことで全体の処理時間を短縮することが可能である。なお、周波数ごとに違う音源が抽出される場合には、加算器５８−１〜５８−Ｋの出力時に周波数間での整合性を観測して、最終的に出力する音源を選択することも可能である。
【００６７】
（変形例４）
上述したように実施例２では、図８の画像処理回路７０−１〜７０−ｘのように複数の画像処理回路を設けパラレル処理する構成としたが、これに代えて離散周波数ごとに逐次処理するようにしてもよい。これは回路規模と画像処理回路の処理速度に応じて適宜決めることができる。
【実施例３】
【００６８】
実施例３は、マイクロホンアレイ１、５１の改良版に相当する。画像復元回路４、５４はそもそも入力される複数のマイクロホンからのデータから高解像度の時空間音圧分布画像が得られれば不要となる。つまりマイクロホン間隔を小さくすればするほど（すなわちマイクロホンを密に配置すればするほど）よいことになる。
【００６９】
これまでの予備的検討では、マイクロホンは２ｍｍ程度の間隔に配置したものであれば、単一方向の音のみを十分な精度で抽出可能である。ただし、仮にＭＥＭＳマイクロホンを用いるとしても、２ｍｍ間隔でマイクロホンを配置するのは困難である。それを解決するために、以下の「マイクロ間隔マイクロホンアレイ」の構成を提案する。
【００７０】
このため、マイクロホンアレイ１、５１に代えて図１０のように複数のマイクロホンアレイ（１−１〜１−３）を各マイクロホンの音孔間隔が所望の距離（たとえばｄ＝２ｍｍ）となるようにずらして複数配置したマイクロホンアレイ８０に置き換えることができる（図１０の例では３個のマイクロホン）。複数のＭＥＭＳマイクロホンアレイをずらして配置することで隣接するマイクロホンの間隔を等価的に小さくする。図２のマイクロホンアレイ１の音孔間隔Ｄよりも短い間隔ｄに代えることができる。
【００７１】
さらにまた、図１１のような複数の音孔を備えた音孔パネル９０を設け、音孔パネル９０の各音孔２１'と図１０のマイクロホンアレイ８０の各マイクロホンの音孔２１とを等距離の導波路でつなげるように構成してもよい。このとき音孔パネル９０の各音孔２１'の音孔ａ、ｂ、ｃ、・・・ｚが図１０のマイクロホンアレイ８０の各マイクロホンの音孔ａ、ｂ、ｃ、・・・ｚに対応するように導波路でつなげるように構成する。
【００７２】
さらには、図１２のような音孔パネル９０と導波路とからなるボックス９１を備え、ボックス９１の「上面、下面、背面」にそれぞれにマイクロホンアレイ（１−１〜１−３）を立体的に配置する構成としてもよい。この場合も各マイクロホンアレイと音孔パネルとの接続については、それぞれ等距離となるように接続する。
【００７３】
いずれのケースも例えば６ｍｍ角のＭＥＭＳマイクロホンを使って２ｍｍ間隔の音孔から導波された音を受けることができる。導波路をさらに工夫することで、背側のＭＥＭＳマイクロホンアレイの配置には自由度があるので、原理的には「音孔の間隔」でマイクロホンを並べることが可能である。なお、導波路は細いチューブを用いてもよいし、３Ｄプリンタにより細孔を成形してもよい。
【００７４】
導波路を形成する際には、導波路の経路長について工夫の余地がある。上述のように、「全て同じ長さ」にするのが最もシンプルであり、正面の音孔に直接MEMSマイクロホンがついているのと等価である。一方、積極的に導波路の長さを変えること、あるいは一つの音孔から「長さの異なる２本以上の導波路で、独立のＭＥＭＳマイクロホンに導波すること」で、音の到来方向に関する情報を付与することも可能である。さらに長い導波路を設けることも可能であり、「アレイ全長が短い場合には、低周波の音に対してマイクロホン間での位相回転が少ない」という問題にも対処できる。この解決によって、全長が短くても高性能を得ることができる。
【００７５】
以上説明したように、本発明は、従来のマイクロホンアレイによる音源分離方法が、音データをそのまま扱う音響信号処理の範疇にあり、原理的には昆虫の複眼と同様に個々のマイクロホンで収録される信号を総合することで空間情報を抽出しているため、指向性パターンが広がり音源分離に限界がある点を解決することを鑑みてなされたものである。
【００７６】
一方、単眼（レンズ眼）では、レンズ系を経た光の集合である「像」を記録できるので指向性を極めて鋭くできる。音の「像」を記録する方式が有利であると考えられる。光学系におけるレンズの作用は光線行列により記述できることから、その行列による変換に相当する変換基底を考えることで、ソフトウェア的な音響レンズによる結像を実現することを本願発明者らは発明するに至った。
【００７７】
このため、本発明はマイクロホンアレイからの出力（音圧信号）を輝度に変換することで画像を生成し、フーリエ変換によって音の到来方向を画像の周波数領域における傾きに変換した上で、画像信号処理によって所望の音のみを抽出する音源分離装置並びに音源分離方法を発明するに至ったものである。これにより、従来のアレイ信号処理における限界を打破することが可能となる。
【００７８】
マイクロホン数が少ない場合には、音源分離に関して十分な性能を得ることはできない。これは、小規模アレイから出力される時空間音圧分布画像を考えると、空間軸に関する分解能が低いものであることが原因である。しかしながら本発明では、この画像に対して超解像処理を行うことで高精細画像を復元することが可能であり、これにより音源分離の性能を格段に向上させることが可能である。
【００７９】
一方、多くのマイクロホンを備えた大規模なアレイを使用し高性能な音源分離・雑音抑圧を行う場合には、統計的信号処理を駆使する必要があるなど計算コストが一般的に高くなるが、本発明ではフーリエ変換という簡単な処理を基本とするため、計算コストを低く抑えられるので民生機器への搭載も容易で広範な利用が期待できる。
【００８０】
なお、上述の実施例においては、音圧信号を輝度に変換することで画像を生成する例を示しているが、本発明はこの限りではない。一般に画像データは３原色のＲ・Ｇ・ＢやＨＳＬ（色相・彩度・輝度）あるいはＨＳＶ（色相・彩度・明度）などで表される。したがって音圧信号を輝度に代えて、色相、彩度、明度あるいはＲＧＢの各色素データの１つまたは複数に対応付けて変換してもよい。すなわち画像情報における色空間の１つまたは複数の要素に変換するとよい。好ましくは音圧信号を輝度あるいは彩度あるいは明度に変換するとよい。さらに好ましくは上述の実施例に示すように輝度に変換するとよい。これは変換後の画像処理が最も簡単になるからである。
【００８１】
以上説明したように、本発明の音源分離装置は、複数のマイクロホン（Ｐ１〜ＰＭ）がアレイ状に配置されたマイクロホンアレイ１から出力された複数の出力信号（１１）各々の音圧の時間波形からＡ／Ｄコンバータアレイ２で音圧情報をサンプリング抽出する。この音圧情報を画像情報における色空間の１つまたは複数の要素に対応するデータ値に変換（例えば輝度値に変換）する。そしてこれらを並べて時空間音圧分布画像（１３または１４）を生成（Ｓ１０５）し、生成された時空間音圧分布画像を音源分離器５で画像信号処理（Ｓ１０６〜Ｓ１０８）して所望の音源からの音を抽出する。またこれら要素は、輝度あるいは彩度あるいは明度の何れか１つとすることができる。さらに好ましくは、輝度である。
【００８２】
また、本発明の音源分離装置は、音声信号を時空間音圧分布画像に変換して処理を行う。そのため、画像信号処理において、時空間音圧分布画像（１３、６３）は超解像処理により高精細化することが可能である。そして、この画像信号処理は、時空間音圧分布画像をフーリエ変換して得られた空間スペクトル画像に現れた所定の成分を抽出し、抽出された成分を逆フーリエ変換して所望の音を抽出する。
【００８３】
上述の実施例では、説明の容易化のため、マイクロホンを平面上に配置した場合を取り上げて２次元画像処理について説明した。しかしながら本発明は、これに限定されることなく例えば、マイクロホンを立体的に配置にした場合にも適用が可能である。この場合は、立体的に複数収録された音信号から３次元時空間音圧分布画像を作成し、これらを３次元画像処理を行うことで全く同様な処理が可能である。
【００８４】
所望の音のみを分離録音する技術の確立は、極めて多くの応用・発展性を有する。音源分離の直接の用途は、騒音中の目的音声の選択的収音である。現状では接話型マイクロホン・ガンマイクロホンといった高指向性マイクロホンを用いて行われている収音を、本システムにより遠隔かつ高精度に実現できる。例えば、業務用・家庭用ビデオカメラに音声ズームとして搭載することができるので、その応用場面は多岐にわたる。また、音空間を完全収録できるので、２０２０年から本放送開始となる次世代テレビジョン用の録音に用いる直接的用途がある。そして、遠隔コンサート体験のような高次コミュニケーションシステムの構築、または歴史的瞬間の完全記録・再現の実現、さらには自由視点映像に対応する自由聴点音響技術の開発は、後世への責務であると考える。今日では多くの一般ユーザがコンテンツ制作を行いインターネットに公開していることから、本発明は大きな波及効果を及ぼすことが期待できる。さらにマイクロホンアレイからの音響出力を全て記録・保存しておき、後日、指定した音源位置からの音のみが抽出可能である。音に対応する映像を記録しておき、その映像中の音源をタッチパネルで指定することも可能である。これにより、群衆画像の中の特定話者の声のみを抽出するといったことが可能であり、警察による犯罪捜査などにも利用できる。
【産業上の利用可能性】
【００８５】
音の分離を使う民生機器や産業機器に広く利用が可能である。
【符号の説明】
【００８６】
１、１−１〜１−３、５１、８０  マイクロホンアレイ
２、５２  Ａ／Ｄコンバータアレイ
３、５３  画像合成器
４、５４  画像復元器
５、５５  音源分離器
１０、５０  音源分離装置
１１、６１  アナログ信号
１２、６２  デジタルデータ
１３、１４、６３、６４  時空間音圧分布画像
１５、６５  音声データ
２１  音孔
５６  ＦＦＴ回路アレイ
５７  逆ＦＦＴ回路
５８−１〜５８−ｋ  加算器
６６  変換データ
６７  逆変換データ
６８  音源データ
７０−１〜７０−ｘ  画像処理回路
９０  音孔パネル
９１  ボックス
【図１】
2018036359.tif 000007
【図２】
2018036359.tif 000008
【図３】
2018036359.tif 000009
【図４】
2018036359.tif 000010
【図５】
2018036359.tif 000011
【図６】
2018036359.tif 000012
【図７】
2018036359.tif 000013
【図８】
2018036359.tif 000014
【図９】
2018036359.tif 000015
【図１０】
2018036359.tif 000016
【図１１】
2018036359.tif 000017
【図１２】
2018036359.tif 000018