(57)【要約】【課題】位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号を生成する音声信号変換装置等を提供する。【解決手段】音声信号変換装置は、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W,x軸方向の双指向性信号X,y軸方向の双指向性信号Y,z軸方向の双指向性信号Zを生成する変換処理部を含み、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、変換処理部は、W=F+B+L+R+U+D, X=F-B, Y=L-R, Z=U-Dにより、信号W,双指向性信号X,双指向性信号Y,双指向性信号Zを生成する。【選択図】図５
2018120007.tif 000002
【特許請求の範囲】
【請求項１】
前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W, x軸方向の双指向性信号X, y軸方向の双指向性信号Y, z軸方向の双指向性信号Zを生成する変換処理部を含み、
前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、前記変換処理部は、
W=F+B+L+R+U+D
X=F-B
Y=L-R
Z=U-D
により、前記信号W, 前記双指向性信号X, 前記双指向性信号Y, 前記双指向性信号Zを生成する、
音声信号変換装置。
【請求項２】
請求項１の音声信号変換装置であって、
Mを3以上の整数の何れかとし、M本のマイクロホンで収音した収音信号を入力とし、M個の前記収音信号を用いて、6つの前記強調信号を生成する方向別収音部を含み、
前記方向別収音部は、
M個の前記収音信号を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した音声信号である6つのビームフォーミング出力値を求めるビームフォーミング部と、
ウィーナーフィルタを用いて、6つの前記ビームフォーミング出力値からそれぞれ雑音を抑圧した6つの信号をそれぞれ6つの前記強調信号として求めるウィーナーフィルタ部とを含む、
音声信号変換装置。
【請求項３】
請求項１または請求項２の音声信号変換装置であって、
6つの前記強調信号の音量を個別に調整する方向別音量調整部とを含む、
音声信号変換装置。
【請求項４】
前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W, x軸方向の双指向性信号X, y軸方向の双指向性信号Y, z軸方向の双指向性信号Zを生成する変換処理ステップを含み、
前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、前記変換処理ステップは、
W=F+B+L+R+U+D
X=F-B
Y=L-R
Z=U-D
により、前記信号W, 前記双指向性信号X, 前記双指向性信号Y, 前記双指向性信号Zを生成する、
音声信号変換方法。
【請求項５】
請求項４の音声信号変換方法であって、
Mを3以上の整数の何れかとし、M本のマイクロホンで収音した収音信号を入力とし、M個の前記収音信号を用いて、6つの前記強調信号を生成する方向別収音ステップを含み、
前記方向別収音ステップは、
M個の前記収音信号を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した音声信号である6つのビームフォーミング出力値を求めるビームフォーミングステップと、
ウィーナーフィルタを用いて、6つの前記ビームフォーミング出力値からそれぞれ雑音を抑圧した6つの信号をそれぞれ6つの前記強調信号として求めるウィーナーフィルタステップとを含む、
音声信号変換方法。
【請求項６】
請求項４または請求項５の音声信号変換方法であって、
6つの前記強調信号の音量を個別に調整する方向別音量調整ステップとを含む、
音声信号変換方法。
【請求項７】
請求項１から請求項３の何れかの音声信号変換装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間や聴取者の頭が回転した際の音場の変化をソフトウェア的に容易に再現できる立体音響技術に関する。
【背景技術】
【０００２】
ユーザが見たい任意の方向の映像は360度映像と呼ばれている。近年、映像配信サービスを利用して、360度映像を視聴できる機会が増えている。例えば、2016年4月頃には、360度映像の視聴に対応して、音が変化する(見ている方向に応じた音像定位を実現する)サービスがYouTube(登録商標)にてリリースされた。なお、YouTubeにおける音の収音/再生方式はアンビソニックス形式に基づく(非特許文献１参照)。
【０００３】
アンビソニックス形式の音を生成するためのハードウェアとして、通常は専用のマイクロホンアレイ(以下アンビソニックスマイクロホンアレイともいう)を用いる。無指向性マイクまたは単一指向性マイクを四面体の頂点に設置した形状をしており、周囲には反射または回折するような物体を設置しないことが原則とされている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】西村竜一、"５章  アンビソニックス"、[online]、映像情報メディア学会誌、vol.68, No.8, (2014), [平成29年1月11日検索]、インターネット<URL:https://www.jstage.jst.go.jp/article/itej/68/8/68_616/_pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術のアンビソニックスマイクロホンアレイのマイクロホンの位置は、原則として、四面体の頂点に対応する位置に制限されており、自由度が低い。そのため、アンビソニックスマイクロホンアレイをカメラに直接埋め込むような実装ができない。そこで、図１のように、単一指向性マイクを正四面体の頂点に設置した形状からなるアンビソニックスマイクロホンアレイ９２を360度カメラ９１の上部に設置する構成が考えられる。この場合には、アンビソニックスマイクロホンアレイ９２が360度カメラ９１の映像に映り込んでしまうという問題が生じうる。このとき、アンビソニックスマイクロホンアレイ９２全体を覆う風防等を設けると、さらにこの問題が生じやすくなる。また、このような構成とすると、装置の一体感が低下し、ポータビリティの低下を招くという問題も生じる。
【０００６】
本発明は、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号を生成する音声信号変換装置、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様によれば、音声信号変換装置は、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W,x軸方向の双指向性信号X,y軸方向の双指向性信号Y,z軸方向の双指向性信号Zを生成する変換処理部を含み、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、変換処理部は、W=F+B+L+R+U+D, X=F-B, Y=L-R, Z=U-Dにより、信号W,双指向性信号X,双指向性信号Y,双指向性信号Zを生成する。
【０００８】
上記の課題を解決するために、本発明の他の態様によれば、音声信号変換方法は、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W,x軸方向の双指向性信号X,y軸方向の双指向性信号Y,z軸方向の双指向性信号Zを生成する変換処理ステップを含み、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、変換処理ステップは、W=F+B+L+R+U+D, X=F-B, Y=L-R, Z=U-Dにより、信号W,双指向性信号X,双指向性信号Y,双指向性信号Zを生成する。
【発明の効果】
【０００９】
本発明によれば、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号を生成することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】アンビソニックスマイクロホンアレイと360度カメラとを組合せた構成を示す図。
【図２】複数のマイクロホンをカメラの筐体に直接埋め込んだ構成の例を示す図。
【図３】複数のマイクロホンをカメラの筐体に直接埋め込んだ構成の例を示す図。
【図４】4本の無指向性マイクロホンとBフォーマット信号との関係を説明するための図。
【図５】第一実施形態に係る音声信号変換装置の機能ブロック図。
【図６】第一実施形態に係る音声信号変換装置の処理フローの例を示す図。
【図７】強調信号を説明するための図。
【図８】方向別収音部の機能ブロック図。
【図９】方向別収音部の処理フローの例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
【００１２】
＜第一実施形態のポイント＞
本実施形態では、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、アンビソニックス形式の音声信号を擬似的に生成する。そのため、複数のマイクロホンをカメラの筐体に直接埋め込むような構成が可能となる。
【００１３】
複数のマイクロホンをカメラの筐体に直接埋め込んだ構成の例を図２、図３に示す。図２Ａは平板状の筐体の正面、側面、上面にマイクロホン９５を配置した例を、図２Ｂは円筒上の筐体の正面図であり、図２Ｃは図２Ｂの背面図である。図２Ｂでは２つのマイクロホン９５を水平方向に並べて配置し、図２Ｃでは２つのマイクロホン９５を垂直方向に並べて配置している。図３Ａは球状の筐体にマイクロホンを配置した例を、図３Ｂは直方体状の筐体にマイクロホンを配置した例を示す。なお、これらの構成は一例であって、他の配置であってもよい。
【００１４】
ただし、3本以上のマイクロホンを用いることを前提とする。4本以上のマイクロホンを用いる場合には、それらが同一平面上にないほうが良いと考えられる。また、マイクロホン間隔はある程度狭いほうが好ましい(1〜5cm)。
【００１５】
＜アンビソニックスBフォーマット＞
360度映像向けのオーディオ生成技術の従来法としてアンビソニックスBフォーマットについて説明する。主に用いられているアンビソニックスマイクロホンアレイは、感度が揃った単一指向性マイク、または、無指向性マイクを四面体の頂点に並べる。マイクロホン間隔は狭いことが多い(1〜4cm程度)。以後、特に説明の一般性を失わないので、無指向性マイクロホン4本を用いてアンビソニックスBフォーマット形式の音声信号(以下、Bフォーマット信号ともいう)を生成する方法について説明する。4本の無指向性マイクロホン９３を原点、X軸上、Y軸上、Z軸上に配置する(図４参照)。なお、各軸上の無指向性マイクロホン９３は原点から見て等距離に配置する。
【００１６】
アンビソニックスBフォーマット形式の音声信号は、無指向性、3種類の双指向性(X方向、Y方向、Z方向)で収音した計4チャネルの信号で構成される。4本のマイクロホン９３で観測した時間領域の信号をOt(原点に配置される無指向性マイクロホンの出力信号),At(X軸上に配置される無指向性マイクロホンの出力信号),Bt(Y軸上に配置される無指向性マイクロホンの出力信号),Ct(Z軸上に配置される無指向性マイクロホンの出力信号)と定義する。アンビソニックスBフォーマットの無指向性で収音した時間信号をWt、X軸方向の双指向性信号をXt、Y軸方向の双指向性信号をYt、Z軸方向の双指向性信号をZtとするとその関係は以下で書ける。
Wt=Ot
Xt=At-Ot
Yt=Bt-Ot
Zt=Ct-Ot
【００１７】
アンビソニックスBフォーマットは、非常に単純な演算で音場を一次微分表現し、かつ360度映像のための音像定位として一定の効果があることから利用されるケースが増えている。
【００１８】
しかしながら、前述の通り、従来技術のアンビソニックスマイクロホンアレイのマイクロホンの位置は、原則として、四面体の頂点に対応する位置に制限されており、自由度が低いという問題がある。また、以下の問題点がある。
【００１９】
(i)アンビソニックス形式の音を生成するためには、マイクロホンの感度が揃っていないといけない。しかしながら、アンビソニックス形式の音を生成するために必要な水準でマイクロホンの感度を揃えて製造することは容易なことではない。そのため、多くのマイクロホンを製造し、その中から感度が揃っている4つのマイクロホンを選別するという作業を行うことが多い。そのため、製造コストが高くなる。
【００２０】
(ii)アンビソニックスマイクロホンアレイの近傍に反射/回折の発生源を置いてはいけない。アンビソニックスマイクロホンアレイをカメラに直接埋め込むとカメラの筐体が音が反射したり回折する。よって、この観点からも、マイクロホンをカメラに直接埋め込むような実装はできない。
【００２１】
(iii)収音した後に特定のエリアの音の音量調整を原理上、行えないという問題がある。
【００２２】
＜第一実施形態に係る音声信号変換装置１００＞
図５は第一実施形態に係る音声信号変換装置１００の機能ブロック図を、図６はその処理フローを示す。
【００２３】
音声信号変換装置１００は、M個のマイクロホンのマイクロホン９５−ｍで収音したM個の収音信号sm,tを入力とし、M個の収音信号sm,tを4つのアンビソニックスBフォーマット形式の音声信号Wt,Xt,Yt,Ztに変換し、出力する。ただし、mをマイクロホンのインデックス、tを離散時間を示すインデックス、m=1,2,…,M、Mを3以上の整数の何れかとする。
【００２４】
音声信号変換装置１００は、CPUと、RAMと、以下の処理を実行するためのプログラムを記録したROMを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００２５】
音声信号変換装置１００は、方向別収音部１１０と、変換処理部１３０とを含む。
【００２６】
＜方向別収音部１１０＞
方向別収音部１１０は、M個の収音信号sm,tを入力とし、これらの値を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号Ft,Bt,Lt,Rt,Ut,Dtを生成し（Ｓ１１０、図７参照、図中のFt,Bt,Lt,Rt,Ut,Dtは強調信号Ft,Bt,Lt,Rt,Ut,Dtにより強調されている音声信号変換装置１００から見た方向を示す）、出力する。強調信号の生成方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、一例としてビームフォーミングとウィナーフィルタを用いた雑音抑圧方式がある。本方式の詳細については多数述べられているので、詳細はここには記載しない。例えば、特開２０１６−１３１３４３号公報記載の方法を用いることができる。
【００２７】
図８はビームフォーミングとウィナーフィルタを用いた雑音抑圧方式を採用する場合の方向別収音部１１０の機能ブロック図を、図９はその処理フローの例を示す。
【００２８】
例えば、方向別収音部１１０は、ビームフォーミング部１１１とウィーナーフィルタ部１１３とを含む。
【００２９】
ビームフォーミング部１１１は、M個の収音信号sm,tを入力とし、これらの値を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した音声信号である6つのビームフォーミング出力値F't,B't,L't,R't,U't,D'tを求め（Ｓ１１１）、出力する。
【００３０】
ウィーナーフィルタ部１１３は、ウィーナーフィルタを用いて、6つのビームフォーミング出力値F't,B't,L't,R't,U't,D'tからそれぞれ雑音を抑圧した6つの信号を強調信号Ft,Bt,Lt,Rt,Ut,Dtとして求め（Ｓ１１３）、出力する。
【００３１】
＜変換処理部１３０＞
変換処理部１３０は、6つの強調信号Ft,Bt,Lt,Rt,Ut,Dtを入力とし、これらの値を用いて、無指向性の信号Wt, x軸方向の双指向性信号Xt, y軸方向の双指向性信号Yt, z軸方向の双指向性信号Ztを生成し（Ｓ１３０）、出力する。無指向性の信号Wt, x軸方向の双指向性信号Xt, y軸方向の双指向性信号Yt, z軸方向の双指向性信号Ztは次式により求める。
Wt=Ft+Bt+Lt+Rt+Ut+Dt
Xt=Ft-Bt
Yt=Lt-Rt
Zt=Ut-Dt
【００３２】
＜効果＞
以上の構成により、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号Wt,Xt,Yt,Ztを生成することができる。生成した信号Wt,Xt,Yt,Ztは、Bフォーマット信号と同様に扱うことができる。例えば、YouTubeにアップロードすることができる。また、独自プレーヤーで再生するのであれば、マルチチャネルオーディオ符号化し、頭部運動に応じた座標系回転を考慮して、バイノーラル合成を行い、独自プレーヤーに対応するステレオチャネルの音声信号を生成してもよい。
【００３３】
本実施形態の場合、複数のマイクロホンの位置関係が制限されないため、カメラに埋め込んだマイクを用いて疑似的にアンビソニックスBフォーマット形式の音を生成できる。それにより、カメラにマイクが映り込んでしまう問題やポータビリティを損なう問題を解決した。
【００３４】
さらに、各マイクロホンの感度を揃えずとも、前後左右上下の6つの方向から到来する音に対する感度が揃うように調整することができる。そのため、多くのマイクロホンを製造し、その中から感度が揃っている4つのマイクロホンを選別するという作業を行う必要はなく、製造コストを抑えることができる。
【００３５】
また、反射/回折を考慮した収音処理をしているため、アンビソニックスマイクロホンアレイをカメラに直接埋め込むような実装ができる。
【００３６】
本実施形態では、M個の収音信号sm,tをBフォーマット信号に直接変換するのではなく、ビームフォーミングとウィナーフィルタを用いた雑音抑圧方式を利用して一度前後左右上下方向から到来する音を強調した強調信号を求め、強調信号からBフォーマット信号を求める。なお、M個の収音信号sm,tをBフォーマット信号に直接変換した場合、マイクロホン数Mが少なかったり(例えばMが6以下とか)、マイクロホンの周囲に反射・回折を生じさせる構造物(特に非対称性の構造物)が設置されているとき、Bフォーマットを構成する双指向性に相当する収音を実現することが難しい。一方、マイクロホン数Mが少なかったり、マイクロホンの周囲に構造物が設置されているときであっても、単一の方向から到来した音だけを強調しその周囲雑音を抑圧するという処理であれば、マイクロホンアレイ処理で比較的容易に実現することができる。本実施形態では、一度前後左右上下方向から到来する音を強調した強調信号を求め、強調信号からBフォーマット信号を求めるため、マイクロホン数Mや、マイクロホンの周囲の構造物の有無に制限されることなく、マイクロホンアレイ処理で比較的容易に、擬似的にアンビソニックス形式の音声信号を生成することができる。
【００３７】
本実施形態の音声信号変換装置をマイクロホンを内蔵した全方位カメラ内に組み込んでもよいし、マイクロホンを内蔵した全方位カメラの出力信号に含まれるM個の収音信号sm,tを別体の音声信号変換装置の入力としてもよい。
【００３８】
＜変形例＞
本実施形態では、M個の収音信号sm,tを入力としているが、6つの強調信号Ft,Bt,Lt,Rt,Ut,Dtを入力としてもよい。その場合、方向別収音部１１０を備えなくともよい。例えば、別装置として構成した音声強調装置(例えば国際公開第２０１２／０８６８３４号等参照)の出力値を音声信号変換装置１００の入力としてもよい。また、例えば、単一指向性の6つのマイクロホンを前後左右上下の6つの方向から到来する音をそれぞれ収音するように設置し、その出力値を音声信号変換装置１００の入力としてもよい。ただし、本実施形態のようにビームフォーミングとウィナーフィルタを用いた雑音抑圧方式を利用したほうが、干渉性雑音を低減し、周囲の雑音を効果的に低減できるため、アンビソニックスマイクロホンアレイ９２で収音した信号からBフォーマット信号を合成したときと同じような音を生成することができる。
【００３９】
音声信号変換装置１００は、方向別音量調整部１２０を含んでもよい（図５中、破線で示す）。方向別音量調整部１２０は、6つの強調信号Ft,Bt,Lt,Rt,Ut,Dtを入力とし、その音量を個別に調整し（Ｓ１２０、図６中、破線で示す）、音量調整後の強調信号Ft,Bt,Lt,Rt,Ut,Dtを出力する。各領域に掛け合わせるボリューム(0以上の数)をαF, αB, αL, αR, αU, αD と記述すると以下のように調整作業を行うことができる。
Ft←αF・Ft
Bt←αB・Bt
Lt←αL・Lt
Rt←αR・Rt
Ut←αU・Ut
Dt←αD・Dt
方向別音量調整部１２０を設けることで、前・後・左・右・上・下の各領域の音量を制御できる。例えば、正面方向にいる人の声をもう少し下げて収音したい、特定の方向にいる人の声が小さい場合に音量を上げるといった調整作業を行うことができる。こういった方向別に音量を調整する機能は従来のアンビソニックス収音では実現できない。なぜなら、基本的に場をそのまま再現しようという発想で原理が組まれているからである。言い換えると、従来技術では、収音した後に特定のエリアの音のボリューム調整を原理上、行えないという問題がある。本変形例では、収音した後に、特定のエリアから到来する音のボリュームを調整することが可能となる。
【００４０】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００４１】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００４２】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００４４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４５】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018120007.tif 000003
【図２】
2018120007.tif 000004
【図３】
2018120007.tif 000005
【図４】
2018120007.tif 000006
【図５】
2018120007.tif 000007
【図６】
2018120007.tif 000008
【図７】
2018120007.tif 000009
【図８】
2018120007.tif 000010
【図９】
2018120007.tif 000011