(57)【要約】【課題】  バイノーラル録音信号の中で定位音を含む信号区間を検出することができる音響制御装置を提供する。【解決手段】  一実施形態に係る音響制御装置は、両耳間相互相関関数算出部及び定位音区間判定部を備える。両耳間相互相関関数算出部は、一定の時間間隔毎にバイノーラル信号の両耳間相互相関関数を算出する。定位音区間判定部は、前記バイノーラル信号中において、前記両耳間相互相関関数が最大値をとるピーク時間が、予め定められる複数の時間範囲のうちのいずれかの時間範囲に連続して含まれる信号区間を、音像が定位している定位音区間と判定する。【選択図】図１
2015065541.tif 000002
【特許請求の範囲】
【請求項１】
一定の時間間隔毎にバイノーラル信号の両耳間相互相関関数を算出する両耳間相互相関関数算出部と、
前記バイノーラル信号中において、前記両耳間相互相関関数が最大値をとるピーク時間が、予め定められる複数の時間範囲のうちのいずれかの時間範囲に連続して含まれる信号区間を、音像が定位している定位音区間と判定する定位音区間判定部と、
を具備する音響制御装置。
【請求項２】
前記定位音区間判定部は、前記バイノーラル信号中において、前記ピーク時間が前記いずれかの時間範囲に連続して含まれ、かつ、前記最大値が連続して所定の閾値以上である信号区間を、前記定位音区間と判定する、請求項１に記載の音響制御装置。
【請求項３】
前記定位音区間に含まれるコンテンツ音の中から定位音を抽出する定位音抽出部をさらに具備する、請求項１又は２に記載の音響制御装置。
【請求項４】
前記定位音を定位させる方向を示す音像方向を指定するユーザ入力を受け付ける入力部をさらに具備する、請求項１乃至３のいずれか一項に記載の音響制御装置。
【請求項５】
前記音像方向に基づいて、前記定位音区間に対応する定位音信号を生成する信号生成部をさらに具備する請求項４に記載の音響制御装置。
【請求項６】
前記定位音の定位感を強調する程度を示す強調度を指定するユーザ入力を受け付ける入力部をさらに具備する、請求項１乃至５のいずれか一項に記載の音響制御装置。
【請求項７】
前記定位音の定位感を強調するか否かを示す強調度を指定するユーザ入力を受け付ける入力部をさらに具備する、請求項１乃至５のいずれか一項に記載の音響制御装置。
【請求項８】
前記強調度に基づいて、前記定位音区間に対応する定位音信号を生成する信号生成部をさらに具備する請求項６又は７に記載の音響制御装置。
【請求項９】
前記生成された定位音信号に基づいて生成されるバイノーラル音響信号を出力する出力部をさらに具備することを特徴とする請求項５又は８に記載の音響制御装置。
【請求項１０】
前記定位音区間それぞれについて、定位音が定位している方向及び該定位音の定位感を示す強度を表示する表示部をさらに具備する請求項１乃至９のいずれか一項に記載の音響制御装置。
【請求項１１】
一定の時間間隔毎にバイノーラル信号の両耳間相互相関関数を算出することと、
前記バイノーラル信号中において、前記両耳間相互相関関数が最大値をとるピーク時間が、予め定められる複数の時間範囲のうちのいずれかの時間範囲に連続して含まれる信号区間を、音像が定位している定位音区間と判定することと、
を具備する音響制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音響制御装置及び方法に関する。
【背景技術】
【０００２】
２つのマイクを用いて立体音響を録音するバイノーラル録音技術は存在する。また、バイノーラル録音信号を用いてイヤホンやスピーカで立体音響を再生するための信号処理技術も存在する。しかしながら、スピーカで立体音響再生するトランス再生技術は、イヤホンでのバイノーラル再生技術と比べて、映像音響技術者による正確な録音や信号処理及び分析手法に基づいて実施され、一般ユーザ（素人）を対象にしたものではない。
【０００３】
一般ユーザがバイノーラルイヤホンを用いて取得したバイノーラル録音信号は、周囲雑音が重畳していて音質が悪く、背景音と音像定位感のある定位音が混在した音源である。そのため、このバイノーラル録音信号をそのまま再生しても立体音響としては再生性能が乏しい。仮に、音像定位感のある定位音のみを録音できたとしても、このユーザがその場で聞いて感じた方向に再生音像を再現できるとは限らない。よって、屋外で録音した音を再生しても臨場感や没入感を体感できるとは限らない。
【０００４】
一般ユーザが録音したバイノーラル録音信号を対象とし、所望する方向に音像を定位させるようにバイノーラル録音信号を編集できる技術が望まれている。バイノーラル録音信号の編集を容易にするために、バイノーラル録音信号から定位音を含む信号区間を抽出できることが求められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−８１７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、バイノーラル録音信号の中で定位音を含む信号区間を検出することができる音響制御装置及び方法を提供することである。
【課題を解決するための手段】
【０００７】
一実施形態に係る音響制御装置は、両耳間相互相関関数算出部及び定位音区間判定部を備える。両耳間相互相関関数算出部は、一定の時間間隔毎にバイノーラル信号の両耳間相互相関関数を算出する。定位音区間判定部は、前記バイノーラル信号中において、前記両耳間相互相関関数が最大値をとるピーク時間が、予め定められる複数の時間範囲のうちのいずれかの時間範囲に連続して含まれる信号区間を、音像が定位している定位音区間と判定する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る音響制御装置を概略的に示すブロック図。
【図２】両耳間相互相関関数の概要を説明する図。
【図３】本実施形態の説明で使用する角度と方向の関係を示す図。
【図４】両耳間相互相関関数の分析方法を説明する図。
【図５】バイノーラル録音信号の分析結果の例を示す図。
【図６】バイノーラル録音信号の分析結果の例を示す図。
【図７】バイノーラル録音信号の分析結果の例を示す図。
【図８】バイノーラル録音信号の分析結果の例を示す図。
【図９】バイノーラル録音信号の分析結果の例を示す図。
【図１０】バイノーラル録音信号の分析結果の例を示す図。
【図１１】バイノーラル録音信号の分析結果の例を示す図。
【図１２】バイノーラル録音信号の分析結果の例を示す図。
【図１３】バイノーラル録音信号の分析結果の例を示す図。
【図１４】バイノーラル録音信号の分析結果の例を示す図。
【図１５】バイノーラル録音信号の分析結果の例を示す図。
【図１６】バイノーラル録音信号の分析結果の例を示す図。
【図１７】図１に示した表示部が表示する画面の一例を示す図。
【図１８】図１に示した信号生成部の一例を示す図。
【図１９】図１に示した信号生成部の他の例を示す図。
【図２０】強調度を指定する方法の一例を示す図。
【図２１】図１の音響制御装置の処理手順例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、必要に応じて図面を参照しながら、実施形態を説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１０】
バイノーラル録音信号（２ｃｈ立体音響信号）は、ダミーヘッドと呼ばれる頭部耳形状を模擬したモデルの両耳それぞれの耳介に内蔵されたマイク又はバイノーラルマイク（イヤホンに内蔵されたマイク）によって収録された２ｃｈステレオ音響信号である。バイノーラル録音信号は、通常の２ｃｈステレオマイク（離間配置した２つのマイク）で得られた２ｃｈステレオ音響信号と異なり、両耳間距離及び頭部耳介の影響も加味された音響信号であるので、バイノーラル録音信号を再生した音をイヤホンで聴くと立体音響に聞こえる。
【００１１】
屋外で録音したバイノーラル録音信号をイヤホンで再生して聞くと、サラウンド感のある背景音（例えば、町中の雑踏、風の音などの音源の位置がわからない音）と、音像を知覚できる定位音（例えば、人の声や鳥の鳴き声などの音源の位置と強さがわかる音）に大別されることがわかる。しかし、後者は収録現場では知覚していたはずが、再生音ではぼやけて聞こえる、或いは、全く別の方向から聞こえるなど、現場で体感したイメージが忠実に再生されるとは限らない。これは録音の仕方や現場の環境騒音の影響もあるが、仮に暗騒音がない場合でも、定位感がしっかり再生できるとは限らない。また、例えば、森で録音を行ったシーンで、鳥は真横で大きな声で鳴いていたが、立体音響再生時には、全体のバランスから、必ずしも忠実にその位置で大きな声では鳴いてほしくはない、斜め後ろからさりげなく鳴ってほしい、などのユーザのイメージも大切である。また、逆に、仮に後方にある定位音をしっかり録音できたとしても、スピーカでの立体音響再生では後方定位は難しく、折角収録された定位音が忠実に再生されない場合もある。このような場合には、録音した定位音の方向を変えて前方に再定義することで、スピーカでの立体音響再生時に、この定位音が再現され、方向こそ違うが、ユーザのイメージに、この定位音を付与することができる。このように、ユーザに所望の音響空間を提供する上では、定位音の存在は重要である。
【００１２】
図１は、一実施形態に係る音響制御装置１００を概略的に示している。音響制御装置１００は、図１に示すように、バイノーラル録音信号取得部１０１、両耳間相互相関関数算出部１０２、定位音区間判定部１０３、表示部１０４、背景音抽出部１０５、定位音抽出部１０６、入力部１０７、信号生成部１０８、及び出力部１０９を備える。
【００１３】
バイノーラル録音信号取得部１０１は、バイノーラル録音信号を取得する。例えば、バイノーラル録音信号取得部１０１は、一般ユーザによる事前の録音で得られたバイノーラル録音信号を外部から取得する。
【００１４】
両耳間相互相関関数算出部１０２は、一定の時間間隔ΔＴ毎にバイノーラル録音信号の両耳間相互相関関数（ＩＡＣＦ：inter-aural cross-correlation function）を算出する。両耳間相互相関関数は、下記数式（１）のように表すことができる。
【数１】
2015065541.tif 000003
【００１５】
ここで、ＰＬ（ｔ）は時刻ｔにおける左耳に入る音圧を表し、ＰＲ（ｔ）は時刻ｔにおける左耳に入る音圧を表す。ｔ１及びｔ２は、測定時間を表し、ｔ１＝０、ｔ２＝∞である。実際の計算では、ｔ２は、残響時間程度の測定時間に設定すればよく、例えば１００ミリ秒（ｍｓｅｃ）に設定される。τは相関時間を表し、相関時間τの範囲は例えばマイナス１ミリ秒から１ミリ秒とされる。従って、両耳間相互相関関数を算出する信号上の時間間隔ΔＴは、測定時間以上に設定する必要がある。本実施形態では、時間間隔ΔＴは０．１秒である。
【００１６】
両耳間相互相関関数算出部１０２は、両耳間相互相関関数が最大値をとる相関時間（ピーク時間）τ（ｉ）及びその最大値（強度）γ（ｉ）を含む情報を出力する。強度は、両耳に伝わる音圧波形がどの程度一致しているかを表す。値ｉは、両耳間相互相関関数を算出した順番を表すものであって、バイノーラル録音信号上の時間位置を特定するための情報である。
【００１７】
図２（ａ）は、強度と音像の定位感との関係を示し、図２（ｂ）は、相関時間と音像が定位する方向（音像方向）との関係を示している。図２（ａ）に示すように、強度が大きい場合、音像の定位感が強い。反対に、強度が小さい場合、音像の定位感が弱い、すなわち、音像がぼける。図２（ｂ）に示すように、音像が右側に存在する場合、負の時間においてピークが現れる。反対に、音像が左側に存在する場合、正の時間においてピークが現れる。
【００１８】
本実施形態では、図３に示すように、聴取者（ユーザ）の真正面を０°として反時計回りに角度を設定する。例えば、９０°の方向は左横に対応し、１８０°の方向は真後ろに対応し、２７０°の方向は右横に対応する。図４は、９０°の方向に（左横に）設置した音源から発せられた音を録音したバイノーラル録音信号に対して両耳間相互相関関数を算出した結果を示している。図４の上側のグラフに示されるように、両耳間相互相関関数は、約０．８ミリ秒の相関時間において最大値を持つ。図４の下側のグラフには、両耳間相互相関関数の最大値（すなわち、強度）に対応するデータ点がプロットされている。強度は１以下の値である。
【００１９】
両耳間相互相関関数を利用して音像方向を特定する場合、両耳間相互相関関数の性質上、音像が前方に存在するか後方に存在するかを識別するのは困難とされる。例えば、音源から同じ音を発した場合、４５°の方向に設置した音源からの音を録音したバイノーラル録音信号に対して両耳間相互相関関数を算出した結果は、１３５°の方向に設置した音源からの音を録音したバイノーラル録音信号に対して両耳間相互相関関数を算出した結果と同様の特性を有する。より具体的には、音源が０°の方向に設置される場合及び音源が１８０°の方向に設置される場合では、ピーク時間はともに０ミリ秒である。音源が４５°の方向に設置される場合及び音源が１３５°の方向に設置される場合では、ピーク時間はともに約０．４ミリ秒である。音源が９０°の方向に設置される場合、ピーク時間は約０．８ミリ秒である。音源が２２５°の方向に設置される場合及び音源が３１５°の方向に設置される場合では、ピーク時間はともに約マイナス０．４ミリ秒である。音源が２７０°の方向に設置される場合、ピーク時間は約マイナス０．８ミリ秒である。
【００２０】
人間の錯覚を利用する音像定位においては、４５°単位で音像方向をユーザに提示することができれば十分であるとされる。また、上述したように、両耳間相互相関関数を利用して音像方向を特定する場合、前後方向の区別は困難とされる。従って、ユーザに提示する音像方向としては、正面（真後ろを含む）、左斜め（左斜め前及び左斜め後ろを含む）、左横、右斜め（右斜め前及び右斜め後ろを含む）、右横の５つの方向が候補となる。本実施形態では、これら５つの方向に対応して、下記数式（２）〜（６）に示す５つの時間範囲を設定する。数式（２）に示される時間範囲は、正面（０°又は１８０°）に対応し、数式（３）に示される時間範囲は、左斜め（４５°又は１３５度）に対応し、数式（４）に示される時間範囲は、左横（９０°）に対応し、数式（５）に示される時間範囲は、右斜め（２２５°又は３１５°）に対応し、数式（６）に示される時間範囲は、右横（２７０°）に対応する。ピーク時間τは、両耳間の時間差に相当し、入射角の違いで変化する。このため、方向別の時間範囲は不均一となる。さらに、人は真正面又は真後ろから到来したかどうかの判断に関しては敏感であり、それ以外の方向からの音に関しては音像方向が斜めと判断する傾向があるため、斜め方向については、数式（３）及び数式（５）に示すように、広い範囲が設定される。
【数２】
2015065541.tif 000004
【００２１】
定位音区間判定部１０３は、ピーク時間に基づいて、バイノーラル録音信号中で、音像が定位している信号区間（定位音区間）を検出する。一例では、定位音区間判定部１０３は、所定数以上のピーク時間が予め定められる複数の（本実施形態では５つの）時間範囲のうちのいずれかの時間範囲に連続して含まれる信号区間を、定位音区間と判定する。定位音としては、例えば、動物の鳴き声、扉の開閉音、足音、警告音などの効果音を想定している。このような効果音は１秒から長くても１０秒程度の継続時間である。従って、定位音区間判定部１０３は、例えば、音像方向が変化しない１秒以上の信号区間を定位音区間として検出する。０．１秒の時間間隔で両耳間相互相関関数を計算する例では、連続する１０以上のピーク時間が同じ時間範囲に属する場合、これらのピーク時間に対応する信号区間が定位音区間と判定される。例えば、連続するピーク時間τ（５）〜τ（２０）が全て例えば数式（３）に示す時間範囲内の値である場合、０．５秒から２．０秒までの信号区間が定位音区間と判定される。この例では、定位音区間での音像方向は左斜めである。
【００２２】
なお、連続するピーク時間τの全てがいずれかの時間範囲に含まれる場合に限らず、途中の少数のピーク時間τが他の時間範囲に含まれている場合にも、定位音区間判定部１０３は、例えば、それらのピーク時間に対応する信号区間を定位音区間と判定してもよい。上述した例を参照すると、例えばピーク時間τ（１５）及びτ（１６）がピーク時間τ（５）〜τ（１４）及びτ（１７）〜τ（２０）と異なる時間範囲に属する場合にも、ピーク時間τ（５）〜τ（２０）がいずれかの時間範囲に連続して含まれるとみなすことができる。このとき、信号区間を定位音区間と判定するために他の時間範囲に含まれてもよい少数のピーク時間τの個数は、例えば事前に定めておくことができる。
【００２３】
本実施形態では、ピーク時間τに基づいて定位音区間の判定を行っている。強度γは、一般には、定位感の強さ、すなわち、音像がはっきり知覚できる度合いを表す。強度γが小さいほど、音像方向が判断できなくなる。たたし、以下に挙げるケース（１）から（４）では、強度γが小さくても定位感は知覚できる。よって、強度γは、ピーク時間τと異なり、定位音と判断するための必要十分条件にはならない。
【００２４】
ケース（１）：効果音自体の特性。例えば、動物の鳴き声のように、左右の耳に入る音の音圧や周波数が変動する場合や、缶蹴り音のように、缶の響きが付与される場合。  
ケース（２）：効果音とは無相関の暗騒音や雑音が効果音に重畳している場合。例えば、定位音に無相関な音が重畳すると、両耳間相互相関関数の分母だけが増大するので、強度は低下する。  
ケース（３）：効果音を録音した環境特性（例えば部屋の特性など）が効果音に付与される場合。例えば、教会内で足音を録音した場合残響が足音に自然に畳み込まれて録音される。  
ケース（４）：音源がある方向から近づいてくる、或いは、ある方向に遠ざかる場合。距離減衰効果で左耳音圧ＰＬ及び右耳音圧ＰＲの両方が時間とともに増大若しくは減少するため、それまで無視できていた背景音の影響も加味されて、強度が変化する。
【００２５】
図５から図１１は、強度は低いが、定位感は知覚できる効果音の両耳間相互相関関数を算出した結果を示している。  
図５は、右横に位置する電話のベル音を録音することで得られた信号の分析結果を示している。図５では、背景音は全くなく、ベル音が主体であり、音色の変化にともなって強度が変化している。図６は、左後方に位置するドライヤーの駆動音を録音することで得られた信号の分析結果を示している。図６では、背景音は全くなく、ファン音が主体であり、騒音増加にともない強度が増加している。図７は、右斜め後ろに位置する扉を開ける音を録音することで得られた信号の分析結果を示している。図７では、線で囲まれた部分が扉を開ける音に対応するデータ点である。図５から図７の例はケース（１）に対応する。図８は、右斜め後ろに知覚した会話を録音することで得られた信号の分析結果を示している。図８では、線で囲んである部分が会話に対応するデータ点であり、連続したデータ点のうち２点が正面エリアに存在するが、この点を除いても、右斜め後ろを認識できる。図９は、左後方で女性のささやきに近い会話音を録音することで得られた信号の分析結果を示している。図９では、線で囲まれた部分が会話に対応するデータ点であり、会話の音量が小さいため、周囲の騒音の影響で強度にばらつきが生じている。図８及び図９の例はケース（２）に対応する。
【００２６】
図１０は、教会内において右斜め後ろで発生する足音を録音することで得られた信号の分析結果を示している。線で囲まれた部分が足音に対応するデータ点である。同一方向に遠ざかる一連の中で、前半はマイナス０．２ミリ秒付近の音であり、後半はマイナス０．５ミリ秒付近の音である。両者ともに残響感のある音であり、強度にばらつきが生じる。図１０の例はケース（３）に対応する。図１１は、左斜め前から近づいてくる足音と右斜め前で生じる缶蹴りの音を録音することで得られた信号の分析結果を示している。缶蹴り音の音源位置は移動しないが、響きを伴うため強度にばらつきがある。図１１の例はケース（４）に対応する。
【００２７】
次に、定位音と判定されない音の例について説明する。  
図１２は、２ｃｈの無相関なランダム信号（１０秒間）の分析結果を示している。図１２では、０．５秒間隔で両耳間相互相関分析を行い、前半の５秒間のデータ点を「＊」、後半５秒間のデータ点を「+」で表している。図１２からは、完全に無相関である場合は方向がばらつき、強度も低いことがわかる。図１３は、横断歩道前における暗騒音を録音した信号（４秒間）の分析結果を示している。図１３では、０．２秒間隔で両耳間相互相関分析を行い、０．２秒から１秒までのデータ点及び２．２秒から３秒までのデータ点を「＊」、１．２秒から２秒までのデータ点及び３．２秒から４秒までのデータ点を「+」で表している。この例では、方向も強度もばらついている。図１４は、町中における暗騒音を録音した信号（６秒間）の分析結果を示している。図１４では、０．５秒間隔で両耳間相互相関分析を行い、前半の３秒間のデータ点を「＊」、後半３秒間のデータ点を「+」で表している。この例でも、方向も強度もばらついている。
【００２８】
図１５は、目の前の交差点を右から左にバイクが横切った音を録音した信号（６秒間）の分析結果を示している。図１５では、０．５秒間隔で両耳間相互相関分析を行い、前半の３秒間のデータ点を「＊」、後半３秒間のデータ点を「+」で表している。この例では、音像が左右に移動する定位感は感じるが、方向も大幅に変動し、距離減衰による音圧低下も起こる。このような移動音像は、定位音でなく、背景音として扱う。図１６は、海辺の波の音を２波分録音した信号（１０秒）の分析結果を示している。図１６では、０．５秒間隔で両耳間相互相関分析を行い、前半の５秒間のデータ点を「＊」、後半５秒間のデータ点を「+」で表している。この例では、方向も強度もばらついている。
【００２９】
なお、定位音区間判定部１０３は、ピーク時間と強度の組み合わせに基づいて定位音区間の判定を行ってもよい。具体的には、定位音区間判定部１０３は、所定数以上のピーク時間が、いずれかの時間範囲に連続して含まれ、かつ、所定数以上の強度が連続して所定の閾値以上である信号区間を、定位音区間と判定する。例えば、ピーク時間τ（５）〜τ（１４）が全て数式（３）に示す時間範囲内の値であり、強度γ（５）〜γ（１４）が全て閾値（例えば０．５）以上の値である場合、０．５秒から１．４秒までの信号区間が定位音区間と判定される。
【００３０】
なお、所定数以上の強度が連続して所定の閾値以上であることは、途中の数個の強度が所定の閾値未満である場合も含んでもよい。例えば、強度γ（５）〜γ（１０）、γ（１２）〜γ（１４）が閾値（例えば０．５）以上であるが、強度γ（１１）が閾値未満である場合にも、強度γ（５）〜γ（１４）が連続して閾値以上であるとみなすことができる。このとき、信号区間を定位音区間と判定するために他の時間範囲に含まれてもよい数個の強度の個数は、例えば事前に定めておくことができる。
【００３１】
表示部１０４は、定位音区間判定部１０３の判定結果に関する情報を表示する。図１７に、定位音区間に関する情報を表示する画面の一例を示す。図１７の例では、Ｍ個の定位音区間が検出された場合における表示画面を示し、定位音ごとに、時間、音像方向、強度が記述されている。強度の欄において、「○」は強度が大きいことを示し、「×」は強度が小さいことを示す。ここでは、強度を２レベルで評価しているが、複数の閾値を設定して３以上のレベルで評価してもよい。ユーザが入力部１０７を用いて例えば定位音１の欄の再生ボタンを選択すると、時間区間Ｔ１〜Ｔ２のバイノーラル録音信号が再生される。
【００３２】
定位音抽出部１０６は、バイノーラル録音信号において、定位音区間に含まれるコンテンツ音の中から定位音成分を抽出して抽出定位音信号（２ｃｈバイノーラル音響信号）を生成する。例えば、定位音区間がＭ個ある場合には、Ｍ個の抽出定位音信号が生成される。背景音抽出部１０５は、バイノーラル録音信号において、定位音区間に含まれる背景音成分を抽出して背景音信号（２ｃｈバイノーラル音響信号）を生成する。この背景音信号は、バイノーラル録音信号から抽出定位音信号を除去したものに相当する。すなわち、コンテンツ音は、定位音に背景音を重畳加算したものである。特定の信号区間内のコンテンツ音を対象にすれば、異なる種類の音を分離抽出する技術は公知である。定位音抽出部１０６及び背景音抽出部１０５は、例えばこの公知技術を利用して、定位音区間中で定位音と背景音を分離することができる。
【００３３】
入力部１０７は、ユーザからの指示を受け付ける。ユーザは入力部１０７を用いて定位音を再定義するか否かを指示することができる。再定義とは、音像を定位させる方向（音像方向）と音像の定位感の強調の程度（強調度）との少なくとも一方を変更することを指す。例えば、ユーザは、表示画面に表示されている定位音それぞれについて、音像方向及び強調度を指定することができる。
【００３４】
信号生成部１０８は、ユーザによって指定された音像方向及び強調度に基づいて定位音信号を生成する。一例では、信号生成部１０８は、図１８に示すように、定位音抽出部１０６で抽出された抽出定位音信号をモノラル信号に変換して定位音モノラル信号を生成する。例えば、抽出定位音信号に含まれる左用信号及び右用信号の平均、又はこれらのいずれか一方を定位音モノラル信号として使用することができる。そして、信号生成部１０８は、定位音モノラル信号とユーザが指定した音像方向及び強調度とに基づいて定位音信号（２ｃｈバイノーラル信号）を生成する。具体的には、信号生成部１０８は、音像方向及び強調度に対応付けられた複数の音響伝達特性を保持し、これらの音響伝達特性の中から、指定された音像方向及び強調度に最も適合する音響伝達特性を選択し、選択した音響伝達特性を定位音モノラル信号に対して畳み込み演算することで、前後方向の定位情報及び強調度が付与された定位音モノラル信号を得る。さらに、信号生成部１０８は、この定位音モノラル信号に対して両耳間の強度差及び時間差を付与することで、左右方向の定位情報が付与された定位音信号を生成する。信号生成部１０８は、生成した定位音信号を背景音抽出部１０５で抽出された背景音信号に重畳加算する。なお、再定義を指示されなかった定位音に対応する定位音信号はそのまま背景音信号に重畳加算される。これにより、ユーザが所望する方向に音像が定位したバイノーラル音響信号が生成される。信号生成部１０８は、生成したバイノーラル音響信号を出力部１０９（例えば、スピーカ、イヤホンなど）に対して出力し、ユーザは出力部１０９により再定義されたコンテンツ音を聴取することができる。出力部１０９として２つのスピーカ１８０１及び１８０２を用いてバイノーラル音響信号を聴取者の両耳に再現する場合は、クロストークをキャンセルするための制御フィルタ処理が必要となる。制御フィルタ係数は、スピーカ１８０１及び１８０２それぞれから聴取者１８０３の両耳位置までの４つの頭部伝達関数に基づいて決定される。図１８において、丸印１８０４は音像の位置を表す。
【００３５】
他の例では、信号生成部１０８は、図１９に示すように、映像音響技術者によって録音されて信号処理された関連コンテンツ音響信号（１ｃｈモノラル信号）を記憶する関連コンテンツデータベース（ＤＢ）１９０１を保持し、定位音抽出部１０６で抽出された定位音信号の代わりに、関連コンテンツＤＢ１９０１に記憶されている関連コンテンツ音響信号を用いてバイノーラル音響信号を生成する。この例においては、定位音信号の代わりに関連コンテンツ音響信号を用いる点以外は上述した処理と同様なので説明を省略する。
【００３６】
図２０は、強調度を指定する方法の一例を示している。図２０は、強調度を３つのレベル（弱、中、強）の中から選択する例を示している。弱を選択した場合、強度が例えば０．５以上になるバイノーラル音響信号が生成される。中を選択した場合、強度が例えば０．６５以上になるバイノーラル音響信号が生成される。強を選択した場合、強度が例えば０．８以上になるバイノーラル音響信号が生成される。なお、他の例では、ユーザは、定位音の定位感を強調するか否かを示す強調度を指定してもよい。強調すること示す強調度を指定した場合、強度が所定値（例えば０．５）以上になるようにバイノーラル音響信号が生成される。
【００３７】
図２１は、本実施形態に係る音響制御装置１００の処理手順を概略的に示している。図２１のステップＳ２１０１では、両耳間相互相関関数算出部１０２は、一定の時間間隔毎にバイノーラル録音信号の両耳間相互相関関数を算出する。ステップＳ２１０２では、定位音区間判定部１０３は、両耳間相互相関関数算出部１０２で算出された両耳間相互相関関数が最大値となるピーク時間に基づいて、バイノーラル録音信号中で定位音区間を検出する。一例では、定位音区間判定部１０３は、所定数以上のピーク時間が、予め定められる複数の時間範囲のうちのいずれかの時間範囲に連続して含まれる信号区間を、定位音区間と判定する。他の例では、所定数以上のピーク時間が、予め定められる複数の時間範囲のうちのいずれかの時間範囲に連続して含まれ、かつ、所定数以上の強度が連続して所定の閾値以上である信号区間を、定位音区間と判定する。
【００３８】
ステップＳ２１０３では、表示部１０４は、定位音区間判定部１０３で検出された定位音区間について音像方向及び強度を含む情報を表示する。ステップＳ２１０４では、ユーザは、入力部１０７を用いて、定位音に関して所望する音像方向及び強調度を指定する。ステップＳ２１０５では、信号生成部１０８は、指定された音像方向及び強調度と対応する定位音区間から抽出された定位音信号とに基づいて新たな定位音信号を生成し、生成した定位音信号を背景音信号に重畳加算する。これにより、ユーザが所望する方向に音像が定位したバイノーラル音響信号が生成される。
【００３９】
以上のように、本実施形態に係る音響制御装置は、一定の時間間隔毎にバイノーラル録音信号の両耳間相互相関関数を算出し、バイノーラル録音信号中で音像方向が所定時間以上変化しない信号区間を定位音区間として検出している。これにより、バイノーラル録音信号の中で定位音区間を容易に検出することができる。
【００４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４１】
１００…音響制御装置、１０１…バイノーラル録音信号取得部、１０２…両耳間相互相関関数算出部、１０３…定位音区間判定部、１０４…表示部、１０５…背景音抽出部、１０６…定位音抽出部、１０７…入力部、１０８…信号生成部、１０９…出力部、１８０１、１８０２…スピーカ、１９０１…関連コンテンツデータベース。
【図１】
2015065541.tif 000005
【図２】
2015065541.tif 000006
【図３】
2015065541.tif 000007
【図４】
2015065541.tif 000008
【図５】
2015065541.tif 000009
【図６】
2015065541.tif 000010
【図７】
2015065541.tif 000011
【図８】
2015065541.tif 000012
【図９】
2015065541.tif 000013
【図１０】
2015065541.tif 000014
【図１１】
2015065541.tif 000015
【図１２】
2015065541.tif 000016
【図１３】
2015065541.tif 000017
【図１４】
2015065541.tif 000018
【図１５】
2015065541.tif 000019
【図１６】
2015065541.tif 000020
【図１７】
2015065541.tif 000021
【図１８】
2015065541.tif 000022
【図１９】
2015065541.tif 000023
【図２０】
2015065541.tif 000024
【図２１】
2015065541.tif 000025