(57)【特許請求の範囲】
【請求項１】
空間音源に関連する入力音声信号を空間音声のシナリオ内で操作する装置であって、前記空間音源が、前記空間音声のシナリオ内で聞き手に対して特定の距離を有し、前記装置は、
前記入力音声信号を操作して出力音声信号を得るように構成された振動子と、
前記特定の距離に基づいて、前記入力音声信号を操作するために前記振動子のパラメータを制御するように構成されたコントローラと
を含み、
前記振動子は、
前記入力音声信号をフィルタリングしてフィルタリング済音声信号を得るように構成されたバンドパスフィルタと、
前記フィルタリング済音声信号を非線形処理して非線形処理済音声信号を得るように構成された非線形プロセッサと、
前記非線形処理済音声信号を前記入力音声信号と結合して前記出力音声信号を得るように構成された結合器と
を含む、装置。
【請求項２】
前記コントローラは、前記振動子のバンドパスフィルタの周波数伝達関数を前記特定の距離に基づいて決定するように構成される、請求項1に記載の装置。
【請求項３】
前記コントローラは、前記特定の距離が減少およびその逆に増加する場合に、前記振動子のバンドパスフィルタの低域遮断周波数および／または高域遮断周波数を増加させるように構成され、および／または
前記コントローラは、前記特定の距離が減少およびその逆に増加する場合に、前記振動子のバンドパスフィルタの帯域幅を増大させるように構成され、および／または
前記コントローラは、前記振動子の前記バンドパスフィルタの低域遮断周波数および／または高域遮断周波数を、次の式
fH＝（2−rnorm）・b1＿freq
fL＝（2−rnorm）・b2＿freq
【数１】
0006430626.tif 000016
に従って決定するように構成され、
式中、fHは前記高域遮断周波数を表し、fLは前記低域遮断周波数を表し、b1＿freqは第1基準遮断周波数を表し、b2＿freqは第2基準遮断周波数を表し、rは前記特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表す、請求項1または2に記載の装置。
【請求項４】
前記コントローラは、前記特定の距離に基づいて、非線形処理済音声信号を得るために前記振動子の非線形プロセッサのパラメータを制御するように構成される、請求項1から3のいずれか一項に記載の装置。
【請求項５】
前記コントローラは、前記特定の距離が減少およびその逆に増加する場合に、非線形処理済音声信号が、前記非線形処理済音声信号の高周波部分においてより高い高調波および／またはより多くの電力を含むように、前記振動子の非線形プロセッサのパラメータを制御するように構成される、請求項1から4のいずれか一項に記載の装置。
【請求項６】
前記振動子の非線形プロセッサは、時間領域内のフィルタリング済音声信号の大きさを限界閾値未満の大きさに制限して、非線形処理済音声信号を得るように構成され、前記コントローラは、前記限界閾値を前記特定の距離に基づいて制御するように構成される、請求項1から5のいずれか一項に記載の装置。
【請求項７】
前記コントローラは、前記特定の距離が減少およびその逆に増加する場合に前記限界閾値を減少させるように構成され、および／または
前記コントローラは、前記特定の距離に基づいて前記限界閾値を、次の式
lt＝LT・rnorm
【数２】
0006430626.tif 000017
に従って決定するように構成され、
式中、ltは前記限界閾値を表し、LTは限界閾値定数を表し、rは前記特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表す、請求項6に記載の装置。
【請求項８】
前記振動子の非線形プロセッサは、フィルタリング済音声信号に時間領域内のゲイン信号を乗算するように構成され、前記ゲイン信号は、前記特定の距離に基づいて前記入力音声信号から決定される、請求項1から7のいずれか一項に記載の装置。
【請求項９】
前記コントローラは、前記特定の距離に基づいて前記ゲイン信号を、次の式
【数３】
0006430626.tif 000018
lt［n］＝limithr＋（1−limithr）・rnorm［n］
【数４】
0006430626.tif 000019
に従って決定するように構成され、
式中、μは前記ゲイン信号を表し、srmsは二乗平均平方根入力音声信号を表し、sBPは前記フィルタリング済音声信号を表し、ltは、さらなる限界閾値を表し、limthrは、さらなる限界閾値定数を表し、rは前記特定の距離を表し、rmaxは最大距離を表し、rnormは正
規化距離を表し、nはサンプル時間指数を表す、請求項8に記載の装置。
【請求項１０】
前記振動子は、非線形処理済音声信号をゲイン係数で重み付けするように構成された計数器を含み、前記コントローラは、前記計数器の前記ゲイン係数を前記特定の距離に基づいて決定するように構成される、請求項1から9のいずれか一項に記載の装置。
【請求項１１】
前記コントローラは、前記特定の距離が減少およびその逆に増加する場合に前記ゲイン係数を増加させるように構成され、および／または
前記コントローラは、前記特定の距離に基づいて前記ゲイン係数を、次の式
gexc［n］＝1−rnorm［n］
【数５】
0006430626.tif 000020
に従って決定するように構成され、
式中、gexcは前記ゲイン係数を表し、rは前記特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表し、nはサンプル時間指数を表す、請求項10に記載の装置。
【請求項１２】
前記装置は、前記特定の距離を決定するように構成された決定部をさらに含む、請求項1から11のいずれか一項に記載の装置。
【請求項１３】
空間音源に関連する入力音声信号を空間音声のシナリオ内で操作する方法であって、前記空間音源は、前記空間音声のシナリオ内で聞き手に対して特定の距離を有し、前記方法は、
前記入力音声信号を前記特定の距離に基づいて励起するために励起パラメータを制御するステップと、
出力音声信号を得るために前記入力音声信号を励起するステップと
を含み、
前記入力音声信号を励起するステップは、
フィルタリング済音声信号を得るために前記入力音声信号をバンドパスフィルタリングするステップと、
非線形処理済音声信号を得るために前記フィルタリング済音声信号を非線形処理するステップと、
前記出力音声信号を得るために前記非線形処理済音声信号を前記入力音声信号と結合させるステップと
を含む、方法。
【請求項１４】
コンピュータ上で実行する場合に、請求項13の前記方法を行うためのプログラムコードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理の分野に関し、特に、空間音声信号処理の分野に関する。
【背景技術】
【０００２】
空間音声信号の合成は、複数の用途において主要な議題である。例えば、バイノーラル音声の合成では、空間音源に関連する音声信号を処理することで、空間音声のシナリオ内の聞き手に対して所望の位置に空間音源を仮想的に配置することができ、これにより、聞き手が処理済の音声信号がその所望の位置から生じていると知覚することができる。
【０００３】
聞き手に対する空間音源の空間位置は、例えば、空間音源と聞き手との間の距離、および／または空間音源と聞き手との相対的な方位角を特徴とする。異なる距離および／または方位角に応じて音声信号を適合させる一般的な音声信号処理技術は、例えば、音声信号のラウドネスレベルおよび／または群遅延を適合させることに基づいている。
【０００４】
U．Zolzer著、“DAFX：Digital  Audio  Effects”、John  Wiley＆Sons、2002年の文献では、一般的な音声信号処理技術の概要が提供されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】U．Zolzer著、“DAFX：Digital  Audio  Effects”、John  Wiley＆Sons、2002年
【発明の概要】
【０００６】
本発明の目的は、空間音声のシナリオ内で入力音声信号を操作するための効率的な概念を提供することである。
【課題を解決するための手段】
【０００７】
この目的は、従属請求項の特徴によって達成される。本発明のさらなる実施形態は、従属請求項、説明および図面から明らかである。
【０００８】
本発明は、入力音声信号を振動子によって操作することができるという発見に基づいており、振動子の制御パラメータを、空間音声のシナリオ内で空間音源と聞き手との間の特定の距離に基づいてコントローラによって制御することができる。振動子は、入力音声信号をフィルタリングするバンドパスフィルタと、フィルタリング済音声信号を非線形処理する非線形プロセッサと、フィルタリング済かつ非線形処理済の音声信号を入力音声信号と結合させる結合器とを含むことができる。特定の距離に応じて振動子のパラメータを制御することで、近接効果などの複雑な音響効果を考慮することができる。
【０００９】
第1の態様によれば、本発明は、空間音源に関連する入力音声信号を空間音声のシナリオ内で操作する装置に関し、ここで、空間音源は、空間音声のシナリオ内で聞き手に対して特定の距離を有し、装置は、入力音声信号を操作して出力音声信号を得るように構成された振動子と、特定の距離に基づいて、入力音声信号を操作するために振動子のパラメータを制御するように構成されたコントローラとを含む。したがって、聞き手までの距離に基づいて入力音声信号を空間音声のシナリオ内で操作するための、効率的な概念を実現することができる。
【００１０】
装置は、空間音声のシナリオ内の聞き手までの空間音源の距離の変化を現実的に知覚するために、空間音源に関連する入力音声信号を空間音声のシナリオで操作または適合させる効率的な解決策を促進する。
【００１１】
例えば仮想現実、拡張現実、映画のサウンドトラックのミキシング、およびさらに多くの異なる応用シナリオに装置を適用することができる。拡張現実の応用シナリオについては、空間音源を聞き手から特定の距離に配置することができる。他の音声信号処理の応用シナリオでは、空間音源の認識された近接効果を高めるために入力音声信号を操作することができる。
【００１２】
空間音源は仮想音源に関連していてもよい。空間音声のシナリオは仮想音声のシナリオに関連していてもよい。特定の距離は、空間音源に関連する距離情報に関連していてもよく、空間音声のシナリオ内の聞き手までの空間音源の距離を表してもよい。聞き手は、空間音声のシナリオの中心に位置してもよい。入力音声信号および出力音声信号は、単一チャンネル音声信号であってもよい。
【００１３】
特定の距離は、絶対距離、または例えば最大距離などの基準距離に正規化される正規化距離であってもよい。装置は、例えばグラフィカル・ユーザー・インタフェースおよび／またはスライディング制御などのマン・マシン・インタフェースを介した手動入力によって、例えば空間音源が有するものとする（例えば拡張現実および／または仮想現実アプリケーション用の）例えば所望の位置または複数の位置の経路に基づいて特定の距離を算出するプロセッサによって、または任意の他の距離決定部によって、特定の距離を、装置の外部の、または装置に一体化された距離測定機器またはモジュールから得るように構成されてもよい。
【００１４】
第1の態様自体による装置の第1の実施の形態では、振動子は、入力音声信号をフィルタリングしてフィルタリング済音声信号を得るように構成されたバンドパスフィルタと、フィルタリング済音声信号を非線形処理して非線形処理済音声信号を得るように構成された非線形プロセッサと、非線形処理済音声信号を入力音声信号と結合して出力音声信号を得るように構成された結合器とを含む。したがって、振動子を効率的に実現することができる。
【００１５】
バンドパスフィルタは周波数伝達関数を含んでもよい。バンドパスフィルタの周波数伝達関数は、フィルタ係数によって決定することができる。例えばハードリミットまたはソフトリミットなどの非線形処理をフィルタリング済音声信号に施すように、非線形プロセッサを構成することができる。フィルタリング済音声信号のハードリミットは、フィルタリング済音声信号のハードクリッピングに関連していてもよい。フィルタリング済音声信号のソフトリミットは、フィルタリング済音声信号のソフトクリッピングに関連していてもよい。結合器は、非線形処理済音声信号を入力音声信号に加算するように構成された加算器を含んでもよい。
【００１６】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第2の実施の形態では、コントローラは、振動子のバンドパスフィルタの周波数伝達関数を特定の距離に基づいて決定するように構成される。バンドパスフィルタは、例えば、入力音声信号をフィルタリングするように構成されてもよい。したがって、入力音声信号の励起された周波数成分を効率的に決定することができる。
【００１７】
コントローラを、例えば低域遮断周波数、高域遮断周波数、通過帯域減衰、阻止帯域減衰、通過帯域リップルおよび／または阻止帯域リップルなどのバンドパスフィルタの周波数伝達関数の伝達特性を特定の距離に基づいて決定するように構成することができる。
【００１８】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第3の実施の形態では、コントローラは、特定の距離が減少およびその逆に増加する場合に、振動子のバンドパスフィルタの低域遮断周波数および／または高域遮断周波数を増加させるように構成される。バンドパスフィルタは、例えば、入力音声信号をフィルタリングするように構成されてもよい。したがって、特定の距離が減少した場合に入力音声信号のより高い周波数成分を励起することができる。
【００１９】
低域遮断周波数は、バンドパスフィルタの周波数伝達関数の−3dBの低域遮断周波数に関連していてもよい。高域遮断周波数は、バンドパスフィルタの周波数伝達関数の−3dBの高域遮断周波数に関連していてもよい。
【００２０】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第4の実施の形態では、コントローラは、特定の距離が減少およびその逆に増加する場合に、振動子のバンドパスフィルタの帯域幅を増加させるように構成される。バンドパスフィルタは、例えば、入力音声信号をフィルタリングするように構成されてもよい。したがって、特定の距離が減少した場合に入力音声信号のより多くの周波数成分を励起することができる。バンドパスフィルタの帯域幅は、バンドパスフィルタの−3dBの帯域幅に関連していてもよい。
【００２１】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第5の実施の形態では、コントローラは、振動子のバンドパスフィルタの低域遮断周波数および／または高域遮断周波数を、次の式
fH＝（2−rnorm）・b1＿freq
fL＝（2−rnorm）・b2＿freq
【数１】
0006430626.tif 000002
に従って決定するように構成され、式中、fHは高域遮断周波数を表し、fLは低域遮断周波数を表し、b1＿freqは第1基準遮断周波数を表し、b2＿freqは第2基準遮断周波数を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表す。したがって、低域遮断周波数および／または高域遮断周波数を効率的に決定することができる。コントローラが、低域遮断周波数および高域遮断周波数を減少する特定の距離rに基づいて増加させる場合、バンドパスフィルタの帯域幅もまた増大する。コントローラが、低域遮断周波数および高域遮断周波数を増加する特定の距離rに基づいて減少させる場合、バンドパスフィルタの帯域幅もまた減少する。バンドパスフィルタは、例えば、入力音声信号をフィルタリングするように構成されてもよい。
【００２２】
第5の実施の形態によるコントローラは、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るように構成されてもよい。
【００２３】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第6の実施の形態では、コントローラは、特定の距離に基づいて、非線形処理済音声信号を得るために振動子の非線形プロセッサのパラメータを制御するように構成される。非線形プロセッサは、例えばバンドパスフィルタによってフィルタリングされた入力音声信号のフィルタリング済のバージョンに基づいて、非線形処理済音声信号を得るように構成されてもよい。したがって、入力音声信号を励起するため、すなわち、入力音声信号またはフィルタリング済入力音声信号の非線形処理済のバージョンに基づいて出力音声信号を得るために、非線形効果を用いることができる。
【００２４】
非線形プロセッサのパラメータは、ハードリミット方式の限界閾値および／またはソフトリミット方式のさらなる限界閾値を含むことができる。
【００２５】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第7の実施の形態では、コントローラは、特定の距離が減少およびその逆に増加する場合に、非線形処理済音声信号が、非線形処理済音声信号の高周波部分においてより高い高調波および／またはより多くの電力を含むように、振動子の非線形プロセッサのパラメータを制御するように構成される。あるいは、換言すれば、コントローラは、非線形プロセッサが、非線形プロセッサに入力された信号に存在しない高調波周波数成分を生成するように、それぞれ、非線形プロセッサによって出力された信号が、非線形プロセッサに入力された信号に存在しない高調波周波数成分を含むように、振動子の非線形プロセッサのパラメータを制御するように構成される。したがって、特定の距離を減少させるときに出力音声信号の知覚輝度を増大させることができる。
【００２６】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第8の実施の形態では、振動子の非線形プロセッサは、時間領域内のフィルタリング済音声信号の大きさを限界閾値未満の大きさに制限して非線形処理済音声信号を得るように構成され、コントローラは、限界閾値を特定の距離に基づいて制御するように構成される。したがって、フィルタリング済音声信号のハードリミットまたはハードクリッピングを実現することができる。フィルタリング済音声信号は、例えば、バンドパスフィルタによってフィルタリングされた入力信号であってもよい。
【００２７】
第1の態様の第8の実施の形態による装置の第9の実施の形態では、コントローラは、特定の距離が減少およびその逆に増加する場合に限界閾値を減少させるように構成される。したがって、非線形効果は、特定の距離が減少すると影響が増大する可能性がある。特定の距離が減少すると、限界閾値は減少し、より高い高調波が生成される。
【００２８】
第1の態様の第8の実施の形態または第9の実施の形態による装置の第10の実施の形態では、コントローラは、特定の距離に基づいて限界閾値を、次の式
lt＝LT・rnorm
【数２】
0006430626.tif 000003
に従って決定するように構成され、
式中、ltは限界閾値を表し、LTは限界閾値定数または限界閾値基準を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表す。したがって、限界閾値を効率的に決定することができる。
【００２９】
第10の実施の形態によるコントローラは、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るように構成されてもよい。
【００３０】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第11の実施の形態では、振動子の非線形プロセッサは、フィルタリング済音声信号に時間領域内のゲイン信号を乗算するように構成され、ゲイン信号は、特定の距離に基づいて入力音声信号から決定される。したがって、フィルタリング済音声信号のソフトリミットまたはソフトクリッピングを実現することができる。
【００３１】
非線形プロセッサおよび／またはコントローラによって特定の距離に基づいて、ゲイン信号を入力音声信号から決定することができる。
【００３２】
第1の態様の第11の実施の形態による装置の第12の実施の形態では、コントローラは、特定の距離に基づいてゲイン信号を、次の式
【数３】
0006430626.tif 000004
lt［n］＝limithr＋（1−limithr）・rnorm［n］
【数４】
0006430626.tif 000005
に従って決定するように構成され、
式中、μはゲイン信号を表し、srmsは二乗平均平方根入力音声信号を表し、sBPはフィルタリング済音声信号を表し、ltは、さらなる限界閾値を表し、limthrは、さらなる限界閾値定数を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表し、nはサンプル時間指数を表す。したがって、ゲイン信号を効率的に決定することができる。二乗平均平方根入力音声信号を、非線形プロセッサおよび／またはコントローラによって入力音声信号から決定することができる。
【００３３】
第12の実施の形態によるコントローラは、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るように構成されてもよい。
【００３４】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第13の実施の形態では、振動子は、例えば入力音声信号のフィルタリング済のバージョンの非線形処理済のバージョンなどの非線形処理済音声信号をゲイン係数で重み付けするように構成された計数器を含み、コントローラは、計数器のゲイン係数を特定の距離に基づいて決定するように構成される。したがって、非線形効果の影響を特定の距離に基づいて適応させることができる。
【００３５】
計数器は、非線形処理済音声信号をゲイン係数で重み付けするための乗算器を含んでもよい。ゲイン係数は、例えば0から1までの範囲の実数であってもよい。
【００３６】
第1の態様の第13の実施の形態による装置の第14の実施の形態では、コントローラは、特定の距離が減少およびその逆に増加する場合にゲイン係数を増加させるように構成される。したがって、非線形効果は、特定の距離を減少させると影響が増大する可能性がある。
【００３７】
第1の態様の第13の実施の形態または第14の実施の形態による装置の第15の実施の形態では、コントローラは、特定の距離に基づいてゲイン係数を、次の式
gexc［n］＝1−rnorm［n］
【数５】
0006430626.tif 000006
に従って決定するように構成され、
式中、gexcはゲイン係数を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表し、nはサンプル時間指数を表す。したがって、特定の距離が増加およびその逆に減少する場合にゲイン係数を効率的に決定し、かつ減少させることができる。
【００３８】
第15の実施の形態によるコントローラは、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るように構成されてもよい。
【００３９】
第1の態様自体による、または第1の態様の任意の先行する実施の形態の装置の第16の実施の形態では、装置は、特定の距離を決定するように構成された決定部をさらに含む。したがって、特定の距離を、外部の信号処理構成要素が提供する距離情報から決定することができる。
【００４０】
決定部は、例えば任意の距離測定値、空間音源の空間座標、および／または、空間音声のシナリオ内の聞き手の空間座標から特定の距離を決定することができる。
【００４１】
決定部は、絶対距離、または例えば最大距離などの基準距離に正規化される正規化距離として、特定の距離を決定することができる。決定部は、例えばグラフィカル・ユーザー・インタフェースおよび／またはスライディング制御などのマン・マシン・インタフェースを介した手動入力によって、例えば空間音源が有するものとする（例えば拡張現実および／または仮想現実アプリケーション用の）例えば所望の位置または複数の位置の経路に基づいて特定の距離を算出するプロセッサによって、または任意の他の距離決定部によって、特定の距離を、装置の外部の、または装置に一体化された距離測定機器またはモジュールから得るように構成されてもよい。
【００４２】
第2の態様によれば、本発明は、空間音源に関連する入力音声信号を空間音声のシナリオ内で操作する方法に関し、ここで、空間音源は、空間音声のシナリオ内で聞き手に対して特定の距離を有し、この方法は、入力音声信号を特定の距離に基づいて励起するために、コントローラによって励起パラメータを制御するステップと、出力音声信号を得るために振動子によって入力音声信号を励起するステップとを含む。したがって、聞き手までの距離に基づいて入力音声信号を空間音声のシナリオ内で操作するための、効率的な概念を実現することができる。
【００４３】
この方法は、空間音声のシナリオ内の聞き手までの空間音源の距離の変化を現実的に知覚するために、空間音源に関連する入力音声信号を空間音声のシナリオで操作または適合させる効率的な解決策を促進する。
【００４４】
第2の態様自体による方法の第1の実施の形態では、振動子によって入力音声信号を励起するステップは、フィルタリング済音声信号を得るためにバンドパスフィルタによって入力音声信号をバンドパスフィルタリングするステップと、非線形処理済音声信号を得るために非線形プロセッサによってフィルタリング済音声信号を非線形処理するステップと、出力音声信号を得るために結合器によって非線形処理済音声信号を入力音声信号と結合させるステップとを含む。したがって、入力音声信号を励起するステップを効率的に実現することができる。
【００４５】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第2の実施の形態では、方法は、振動子のバンドパスフィルタの周波数伝達関数を、特定の距離に基づいてコントローラによって決定するステップを含む。したがって、入力音声信号の励起された周波数成分を効率的に決定することができる。
【００４６】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第3の実施の形態では、方法は、特定の距離が減少およびその逆に増加する場合に、コントローラによって振動子のバンドパスフィルタの低域遮断周波数および／または高域遮断周波数を増加させるステップを含む。したがって、特定の距離が減少した場合に入力音声信号のより高い周波数成分を励起することができる。
【００４７】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第4の実施の形態では、方法は、特定の距離が減少およびその逆に増加する場合に、コントローラによって振動子のバンドパスフィルタの帯域幅を増加させるステップを含む。したがって、特定の距離が減少した場合に入力音声信号のより多くの周波数成分を励起することができる。
【００４８】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第5の実施の形態では、方法は、振動子のバンドパスフィルタの低域遮断周波数および／または高域遮断周波数を、コントローラによって次の式
fH＝（2−rnorm）・b1＿freq
fL＝（2−rnorm）・b2＿freq
【数６】
0006430626.tif 000007
に従って決定するように構成され、式中、fHは高域遮断周波数を表し、fLは低域遮断周波数を表し、b1＿freqは第1基準遮断周波数を表し、b2＿freqは第2基準遮断周波数を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表す。したがって、低域遮断周波数および／または高域遮断周波数を効率的に決定することができる。
【００４９】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第6の実施の形態では、方法は、特定の距離に基づいて、非線形処理済音声信号を得るためにコントローラによって振動子の非線形プロセッサのパラメータを制御するステップを含む。したがって、入力音声信号を励起するために非線形効果を使用することができる。
【００５０】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第7の実施の形態では、方法は、特定の距離が減少およびその逆に増加する場合に、非線形処理済音声信号が、非線形処理済音声信号の高周波部分においてより高い高調波および／またはより多くの電力を含むように、コントローラによって振動子の非線形プロセッサのパラメータを制御するステップを含む。あるいは、換言すれば、方法は、非線形プロセッサに入力された信号に存在しない高調波周波数成分が生成されるように、それぞれ、非線形プロセッサによって出力された信号が、非線形プロセッサに入力された信号に存在しない高調波周波数成分を含むように、振動子の非線形プロセッサの制御パラメータを制御するステップを含む。したがって、特定の距離を減少させるときに出力音声信号の知覚輝度を増大させることができる。
【００５１】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第8の実施の形態では、方法は、非線形処理済音声信号を得るために振動子の非線形プロセッサによって、時間領域内のフィルタリング済音声信号の大きさを限界閾値未満の大きさに制限するステップと、限界閾値をコントローラによって特定の距離に基づいて制御するステップとを含む。したがって、フィルタリング済音声信号のハードリミットまたはハードクリッピングを実現することができる。
【００５２】
第2の態様の第8の実施の形態による方法の第9の実施の形態では、方法は、特定の距離が減少およびその逆に増加する場合にコントローラによって限界閾値を減少させるステップを含む。したがって、非線形効果は、特定の距離が減少すると影響が増大する可能性がある。
【００５３】
第2の態様の第8の実施の形態または第9の実施の形態による方法の第10の実施の形態では、方法は、限界閾値を、特定の距離に基づいてコントローラによって次の式
lt＝LT・rnorm
【数７】
0006430626.tif 000008
に従って決定するように構成され、
式中、ltは限界閾値を表し、LTは限界閾値定数または限界閾値基準を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表す。したがって、限界閾値を効率的に決定することができる。
【００５４】
第10の実施の形態による方法は、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るステップを含んでもよい。
【００５５】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第11の実施の形態では、振動子の非線形プロセッサによってフィルタリング済音声信号に時間領域内のゲイン信号を乗算するステップと、ゲイン信号を特定の距離に基づいて入力音声信号から決定するステップとを含む。したがって、フィルタリング済音声信号のソフトリミットまたはソフトクリッピングを実現することができる。
【００５６】
第2の態様の第11の実施の形態による方法の第12の実施の形態では、方法は、ゲイン信号を、特定の距離に基づいてコントローラによって次の式
【数８】
0006430626.tif 000009
gexc［n］＝1−rnorm［n］
【数９】
0006430626.tif 000010
に従って決定するように構成され、
式中、μはゲイン信号を表し、srmsは二乗平均平方根入力音声信号を表し、sBPはフィルタリング済音声信号を表し、ltは、さらなる限界閾値を表し、limthrは、さらなる限界閾値定数を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表し、nはサンプル時間指数を表す。したがって、ゲイン信号を効率的に決定することができる。
【００５７】
第12の実施の形態による方法は、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るステップを含んでもよい。
【００５８】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第13の実施の形態では、方法は、振動子の計数器によって非線形処理済音声信号をゲイン係数で重み付けするステップと、コントローラによって特定の距離に基づいて計数器のゲイン係数を決定するステップとを含む。したがって、非線形効果の影響を特定の距離に基づいて適応させることができる。
【００５９】
第2の態様の第13の実施の形態による方法の第14の実施の形態では、方法は、特定の距離が減少およびその逆に増加する場合にコントローラによってゲイン係数を増加させるステップを含む。したがって、非線形効果は、特定の距離を減少させると影響が増大する可能性がある。
【００６０】
第2の態様の第13の実施の形態または第14の実施の形態による方法の第15の実施の形態では、方法は、ゲイン係数を、特定の距離に基づいてコントローラによって次の式
gexc［n］＝1−rnorm［n］
【数１０】
0006430626.tif 000011
に従って決定するように構成され、
式中、gexcはゲイン係数を表し、rは特定の距離を表し、rmaxは最大距離を表し、rnormは正規化距離を表し、nはサンプル時間指数を表す。したがって、ゲイン係数を効率的に決定することができる。
【００６１】
第15の実施の形態による方法は、距離rを、または代替実施の形態では正規化距離rnormを、特定の距離として得るステップを含んでもよい。
【００６２】
第2の態様自体による、または第2の態様の任意の先行する実施の形態の方法の第16の実施の形態では、方法は、装置の決定部によって特定の距離を決定するステップをさらに含む。したがって、特定の距離を、外部の信号処理構成要素が提供する距離情報から決定することができる。
【００６３】
本方法を装置によって行うことができる。方法のさらなる特徴は、装置の機能に直接起因する。
【００６４】
第1の態様について提供した説明およびその実施の形態は、第2の態様および対応する実施の形態に同様に適用される。
【００６５】
第３の態様によれば、本発明は、コンピュータ上で実行される場合に、第2の態様またはその実施の形態のうちのいずれかによる方法を行うためのプログラムコードを含むコンピュータプログラムに関する。したがって、この方法を自動的かつ反復可能に行うことができる。
【００６６】
コンピュータプログラムを装置によって行うことができる。装置を、コンピュータプログラムを実行するようにプログラム可能に構成することができる。
【００６７】
ハードウェア、ソフトウェアまたはこれらの任意の組み合わせにおいて本発明を実施することができる。
本発明のさらなる実施形態を、以下の図面に関連して説明する。
【図面の簡単な説明】
【００６８】
【図１】一実施の形態による、空間音声のシナリオ内で空間音源に関連する入力音声信号を操作する装置の図である。
【図２】一実施の形態による、空間音声のシナリオ内で空間音源に関連する入力音声信号を操作する方法の図である。
【図３】一実施の形態による、空間音源および聞き手を含む空間音声のシナリオの図である。
【図４】一実施の形態による、空間音声のシナリオ内で空間音源に関連する入力音声信号を操作する装置の図である。
【図５】一実施の形態による、聞き手周囲の空間音源の配置の図である。
【図６】一実施の形態による、入力音声信号および出力音声信号のスペクトログラムである。
【００６９】
同一または少なくとも同等の特徴については、同一の参照符号を用いる。
【発明を実施するための形態】
【００７０】
図1は、本発明の一実施形態による、空間音声のシナリオ内で空間音源に関連する入力音声信号を操作する装置100の図を示している。空間音源は、空間音声のシナリオ内で聞き手に対して特定の距離を有する。
【００７１】
装置100は、出力音声信号を得るために入力音声信号を操作するように構成された振動子101と、入力音声信号を操作する振動子のパラメータを特定の距離に基づいて制御するように構成されたコントローラ103とを含む。
【００７２】
装置100を、例えば仮想現実、拡張現実、映画のサウンドトラックのミキシング、およびさらに多くの異なる応用シナリオに適用することができる。
【００７３】
拡張現実の応用シナリオについては、一般的に追加の空間音源が既存の空間音声のシナリオに追加されるが、この追加の空間音源を、聞き手から特定の距離に配置することができる。音声信号処理の応用シナリオでは、空間音源の認識された近接効果を高めるために入力音声信号を操作することができる。
【００７４】
振動子101は、入力音声信号をフィルタリングしてフィルタリング済音声信号を得るように構成されたバンドパスフィルタと、フィルタリング済音声信号を非線形処理して非線形処理済音声信号を得るように構成された非線形プロセッサと、非線形処理済音声信号を入力音声信号と結合して出力音声信号を得るように構成された結合器とを含んでもよい。振動子101は、非線形処理済音声信号をゲイン係数で重み付けするように構成された計数器をさらに含んでもよい。
【００７５】
コントローラ103は、特定の距離に基づいて入力音声信号を操作するために、バンドパスフィルタ、非線形プロセッサ、結合器および／または計数器のパラメータを制御するように構成される。
【００７６】
図3から図6に基づいて、装置100の実施形態をさらに詳細に説明する。
【００７７】
図2は、本発明の一実施形態による、空間音声のシナリオ内で空間音源に関連する入力音声信号を操作する方法200の図を示している。空間音源は、空間音声のシナリオ内で聞き手に対して特定の距離を有する。
【００７８】
方法200は、特定の距離に基づいて、入力音声信号を励起するために励起パラメータを制御するステップ201と、出力音声信号を得るために入力音声信号を励起するステップ203とを含む。
【００７９】
入力音声信号を励起するステップ203は、フィルタリング済音声信号を得るために入力音声信号をバンドパスフィルタリングするステップと、非線形処理済音声信号を得るためにフィルタリング済音声信号を非線形処理するステップと、出力音声信号を得るために非線形処理済音声信号を入力音声信号と結合させるステップとを含んでもよい。
【００８０】
方法200を装置100によって行うことができる。例えばコントローラ103によって制御ステップ201を行ってもよく、例えば振動子101によって励起ステップ203を行ってもよい。方法200のさらなる特徴は、装置100の機能に直接起因する。コンピュータプログラムによって方法200を行うことができる。
【００８１】
図3は、本発明の一実施形態による、空間音源301および聞き手303（図示されているのは聞き手の頭部である）を含む空間音声のシナリオ300の図を示している。この図は、空間音源301を、Y軸に沿った視線方向を含む聞き手303の頭部位置に対して特定の距離rおよび方位Θを有するX−Y平面内の点音源Sとして示している。
【００８２】
空間音源301の近接性の認識は、聞き手303が良好に音声に没頭することと関連し得る。音声のミキシング技術、具体的にはバイノーラル音声の合成技術は、聞き手303に改善された音声体験をもたらす現実的な音声レンダリングのために、音源距離情報を用いることができる。例えば映画および／またはゲームにおける移動音源を、音源の聞き手303に対する特定の距離rを用いてバイノーラル方式で混合することができる。
【００８３】
近接効果を、以下のように空間音源距離の関数として分類してもよい。1mまでの短い距離では、主な近接効果はバイノーラル近接場効果から生じる可能性がある。結果として、空間音源301が近づくほど、より低い周波数を強調またはブーストすることができる。1mから10mまでの中間距離では、主な近接効果は残響から生じる可能性がある。この距離間隔では、空間音源301が近づくと、より高い周波数を強調またはブーストすることができる。10mからの長い距離では、主な近接効果は吸収であり、高周波数の減衰をもたらす可能性がある。
【００８４】
空間音源301または点音源Sの音の感知された音色は、聞き手303に対する特定の距離rおよび角度Θとともに変化する可能性がある。Θおよびrは、例えば振動子101を用いた近接効果処理の前に行うことができるバイノーラルミキシングのために用いることができる。
【００８５】
装置100の実施形態を、振動子101を用いた仮想音源または空間音源301の近接性の認識を強化するかまたは強調するために用いることができる。
【００８６】
装置100は、より現実的な音声レンダリングのためにバイノーラル音声出力の近接効果を強調することができる。装置は、例えば、ミキシング機器、または空間音声のシナリオを生成するかまたは操作するために用いられる任意の他の前処理装置または処理装置に適用することができるが、ヘッドフォンの有無にかかわらず、他の機器、例えばスマートフォンまたはタブレットなどのモバイル機器にも適用することができる。
【００８７】
例えば映画用の入力音声信号を、バイノーラル合成によって移動音源と混合することができる。仮想音源または空間音源301を、可変距離情報を含む装置100によってバイノーラル方式で合成することができる。
【００８８】
装置100は、空間音源301の特定の距離rが変化する場合に、知覚輝度、例えば高周波数の密度がそれに応じて変化するように、振動子パラメータを適合させるように構成される。したがって、装置100の実施形態は、近接性の認識を強調するために、仮想音源または空間音源301の音の明るさを変更するように適合される。
【００８９】
本発明の実施形態では、仮想音源または空間音源301を、知覚近接効果を強調するために振動子101を用いてレンダリングすることができる。明るさを特定の距離の関数として増大させるために、振動子をコントローラ103によって制御して周波数部分を強調することができる。振動子効果がより強くなるように選択されると、空間音源301は、聞き手303に近づいていると認識される。振動子を、空間音源301の特定の距離の関数として聞き手303の位置に適合させてもよい。
【００９０】
図4は、本発明の一実施形態による、空間音声のシナリオ内で空間音源に関連する入力音声信号を操作する装置100のより詳細な図を示している。
【００９１】
装置100は、振動子101とコントローラ103とを含む。振動子101は、バンドパスフィルタ（BPフィルタ）401、非線形プロセッサ（NLP）403、加算器で構成される結合器405、および、ゲイン係数を有する任意の計数器407（ゲイン）を含む。入力音声信号は、INとして、それぞれをsとして表される。出力音声信号は、OUTとして、それぞれをyとして表される。コントローラ103は、特定の距離rまたは特定の距離に関する距離情報を受信するように構成され、振動子101のパラメータを特定の距離rに基づいて制御するようにさらに構成される。換言すれば、コントローラは、バンドパスフィルタ401、非線形プロセッサ403、および振動子101の計数器407のパラメータを特定の距離rに基づいて制御するように構成される。
【００９２】
この図は、所望の周波数部分において高調波を生成するためのバンドパスフィルタ401および非線形プロセッサ403を含む振動子101の実施を示している。振動子101は、入力音声信号を改善するために用いられる音声信号処理技術を実現することができる。振動子101は、高調波、すなわち所定の周波数または周波数範囲の倍数を入力音声信号に加えることができる。振動子101は、入力音声信号の輝度を増大させるために追加することができる高調波を入力音声信号から生成するために、非線形処理およびフィルタリングを用いることができる。
【００９３】
コントローラ103および振動子101を含む装置100の一実施形態を、以下に示す。入力音声信号sは、励起されるべき周波数を抽出するために、インパルス応答fBPを有するバンドパスフィルタ401を用いて最初にフィルタリングされる。
sBP［n］＝fBP*s
【００９４】
空間音源の明るさを特定の距離rに知覚的に一致させるために、コントローラは、バンドパスフィルタ401の高域遮断周波数fHおよび低域遮断周波数fLを空間音源の特定の距離の関数として調整または設定するように構成される。これら遮断周波数は、振動子101の効果が適用される周波数範囲を決定する。
【００９５】
空間音源が近づくと、バンドパスフィルタ401の遮断周波数fLおよびfHは、コントローラ103によってより高い周波数へ移行される。必要に応じて、バンドパスフィルタ401の遮断周波数fLおよびfHが特定の距離rの減少に伴って増加するだけでなく、帯域幅、すなわちバンドパスフィルタ401のfHとfLとの差もまた、コントローラ103によって増大する。遮断周波数の増加によって、高調波が非線形プロセッサ403によってより高い周波数部分に生成される。バンドパスフィルタ401の帯域幅の増大によって、非線形プロセッサ403によって生成された高調波の量が増加する。
【００９６】
その結果、出力音声信号は、より高い周波数部分においてより多くのエネルギーを有し、聞き手は、空間音源が近づいたときに増大した明るさを知覚する。例えば、fHおよびfLを、コントローラ103によって
fH＝（2−rnorm）・b1＿freq
fL＝（2−rnorm）・b2＿freq
に従って定義することができ、
式中、rnormを例えば0から1の間の正規化距離であってもよく、これは、
【数１１】
0006430626.tif 000012
として定義され、
式中、rmaxは、振動子101に適用される特定の距離rの最大可能値であってもよく、例えば、rmax＝10メートルである。b1＿freqおよびb2＿freqは、バンドパスフィルタ401用の基準遮断周波数であってもよく、最大距離rmaxに対するバンドパスフィルタ401の遮断周波数を形成することができる。コントローラ103を、基準遮断周波数を設定または用いるように構成することができ、例えばb1＿freq＝10kHzであり、b2＿freq＝1kHzである。
【００９７】
その後、非線形プロセッサ403は、これら周波数に対して高調波を生成するためにフィルタリング済音声信号sBPに適用される。一例は、限界閾値ltに関連するハードリミット方式を用いることであり、これは、
【数１２】
0006430626.tif 000013
として定義され、
式中、nはサンプル時間指数であり、限界閾値ltは、空間音源の特定の距離の関数rとして制御される。例えば、ltを、
lt＝LT・rnorm
として定義してもよく、
式中、LTは限界閾値定数であってもよい。例えば、LT＝10−30／20であり、すなわちリニアスケールで−30dBである。空間音源が近づくほど、より高い高調波を生成するためにコントローラによってより小さい限界閾値ltが選択される。より高い高調波を含む音声信号は、より高い周波数部分でより多くの電力またはエネルギーを含む。したがって、出力音声信号はより明るく聞こえる。
【００９８】
別の例は、適応ソフトクリッピングまたはリミット方式を用いることであり、これは、入力音声信号の大きさまたはレベルを追跡する利点を有することができ、かつ得られた信号s’BPの歪みを低減することができる。リミッタの閾値を、コントローラ103によって入力音声信号の二乗平均平方根（RMS）推定に基づいて、例えば、
【数１３】
0006430626.tif 000014
に従って動的に決定することができ、
式中、αttおよびαrelは、それぞれ、RMS推定について例えば0から1の間の値を有するアタックおよびリリースの平滑化定数である。例えば、αtt＝0．0023およびαrel＝0．0011を選択することができる。その後、srms［n］を用いて、
【数１４】
0006430626.tif 000015
に従ってリミッタの閾値を導出することができ、
式中、lt［n］は、リミッタの効果を特定の距離rに応じて調整するためのさらなる適応限界閾値であってもよい。例えば、lt［n］を、
lt［n］＝limithr＋（1−limithr）・rnorm［n］
として定義することができ、
式中、limthrは、0から1の間の値を有するさらなる限界閾値定数であり、例えばlimthr＝0．4である。さらに、急速に変化する値によるアーチファクトを回避するために、ゲイン信号μまたはμ’を経時的に平滑化することができる。例えば、
μ’［n］＝（1−αhold）・μ’［n−1］＋αhold・μ［n］
であり、
式中、αholdは、0から1の間の保持平滑化定数であり、例えばαhold＝0．2である。
非線形プロセッサ403の出力信号を、
s’BP［n］＝μ’［n］・sBP［n］
として計算することができる。
【００９９】
得られた非線形処理済音声信号は、その後、結合器405によって入力音声信号に追加される。振動子101の強度を制御して、
y［n］＝gexc［n］・s’BP［n］＋s［n］
に従って出力音声信号yを生成するためにゲイン係数を含む計数器407を用いることができる。
【０１００】
コントローラによって例えば0から1の間の値を含むゲイン係数gexcを制御することで、近接効果を空間音源の特定の距離の関数rとしてレンダリングすることができ、これは、バイノーラル音声信号を、再生のためにゲイン係数が空間音源の特定の距離の関数rとして適合される振動子101へ供給することができることを意味している。例えば、
gexc［n］＝1−rnorm［n］
である。
【０１０１】
装置100の実施形態は、距離rを、または、代替の実施の形態では正規化距離rnormを、特定の距離として得るかまたは用いるように構成されてもよい。
【０１０２】
図5は、本発明の一実施形態による聞き手周囲の空間音源の配置の図501、503および505を示している。
【０１０３】
図501は、経時的な聞き手の頭部周囲の空間音源の軌跡を示している。軌跡は、デカルト座標X−Y平面内を2回移動する。図501は、軌跡、聞き手（デカルト座標X−Y平面の中心の）聞き手の頭部、X−Y平面の正のX軸に沿った聞き手の視線方向、軌跡の開始位置、および軌跡の停止位置を示している。図503は、経時的な軌跡のX位置、Y位置およびZ位置（経時的な変化なし）を示している。図505は、経時的な空間音源と聞き手との間の特定の距離を示している。
【０１０４】
空間音源は、楕円形の軌跡上で聞き手の頭部の周囲を移動すると考えることができ、Z平面に変化はない。デカルトX−Y−Z座標内の移動経路の時間発展、および、空間音源の特定の距離の時間発展を考慮することができる。
【０１０５】
図6は、本発明の一実施形態による入力音声信号および出力音声信号のスペクトログラム601および603を示している。例示のために、バイノーラル出力信号の右チャンネル、すなわち空間音源が聞き手の頭部に近づく場所のスペクトログラム601および603を示す。
【０１０６】
スペクトログラム601および603は、経時的な周波数成分の大きさをグレースケールの態様で示している。スペクトログラム601は、追加の振動子が用いられない場合の入力音声信号に関連している。スペクトログラム603は、振動子が用いられる場合の出力音声信号に関連している。入力音声信号は、バイノーラル出力信号の例えば右チャンネルまたは左チャンネルとすることができる。
【０１０７】
比較すると、励起された出力音声信号は、振動子を用いることなく入力音声信号よりも高い輝度を示す。
【０１０８】
輝度の増大は、破線の円で示された励起された出力音声信号において高周波数の高密度として視覚化される。
【０１０９】
いくつかの利点を本発明によって達成することができる。例えば、空間音源が近いことを聞き手が知覚することができるように、最も近い空間音源の鮮明さを強調することができる。さらに、元の入力音声信号の高調波に対応する周波数を動的に増加させることができる。また、高周波数が過度に強調されたりブーストされたりすることはない。音質および音色を大きく変更することなく、自然な音の明るさを入力音声信号に加えることができる。
【０１１０】
さらに、元の入力音声信号に高周波数成分が不足している場合、振動子は、入力音声信号に輝度を加えるための効率的な解決策となり得る。さらに、聞き手付近の空間音源のレンダリング、移動空間音源のレンダリング、および／または、物体に基づく空間音源のレンダリングを改善することができる。
【０１１１】
以下では、本発明のさらなる実施形態をいくつかの例示的な応用シナリオに関連して説明する。
【０１１２】
単純な例では、空間音源は例えば話者であり、空間音源に関連する音声信号は、例えばマイクロフォンで記録することで得られたモノ音声チャンネル信号である。コントローラは特定の距離を得て、振動子の制御パラメータをそれに応じて制御するかまたは設定する。振動子は、モノ音声チャンネル信号を入力音声信号INとして受信し、かつ、音声モノチャンネル信号を制御パラメータに応じて操作して出力音声信号OUTを得るように構成され、モノ音声チャンネル信号は、聞き手に対する操作または適合された知覚距離を含む。
【０１１３】
一実施形態では、この出力音声信号は、空間音声のシナリオ、すなわちモノ音声チャンネル信号によって表される単一音源の空間音声のシナリオを形成する。
【０１１４】
別の実施形態では、この操作済のモノ音声チャンネル信号からバイノーラル左右チャンネル音声信号を含むバイノーラル音声信号を得るために、この出力音声チャンネル信号を、頭部伝達関数（HRTF）を適用することでさらに処理することができる。所望の方位角を空間音声のシナリオ内の空間音源の知覚された位置に追加するために、HRTFを用いてもよい。
【０１１５】
代替実施形態では、HRTFは最初にモノ音声チャンネル信号に適用され、その後、振動子を用いた距離操作が、同じ方法で、すなわち同一の振動子制御パラメータを用いて、左右のバイノーラル音声チャンネル信号の両方に適用される。
【０１１６】
さらなる実施形態では、空間音源に関連するモノ音声チャンネル信号を用いて、バイノーラル音声信号に代わる指向性空間キューを含む他の音声信号形式、例えばステレオ音声信号、または、2つ以上の音声チャンネル信号、またはそれらのダウンミックスされた音声チャンネル信号および対応する空間パラメータを含む一般的なマルチチャンネル信号を得ることができる。これらの実施形態のいずれかでは、バイノーラルの実施形態の場合と同様に、指向性操作の前または後に振動子によるモノ音声チャンネル信号の操作を行うことができ、指向性操作の後に行う場合、一般に同一の振動子パラメータは、マルチチャンネル音声信号の全ての音声チャンネル信号に個別に適用される。
【０１１７】
特定の実施形態では、例えば拡張現実アプリケーションまたは映画のサウンドトラックのミキシングについて、空間音源に関連する音声チャンネル信号のこれらモノ、バイノーラルまたはマルチチャンネルの表現を、既に1つ以上の空間音源を含む空間音声のシナリオの既存のモノ、バイノーラルまたはマルチチャンネルの表現と混合してもよい。
【０１１８】
その他の実施形態では、例えば仮想現実アプリケーションまたは映画のサウンドトラックのミキシングについて、2つ以上の空間音源を含む空間音声のシナリオを作るために、空間音源に関連する音声チャンネル信号のこれらモノ、バイノーラルまたはマルチチャンネルの表現を、他の空間音源のモノ、バイノーラルまたはマルチチャンネルの表現と混合してもよい。
【０１１９】
さらなる実施形態では、具体的には、2つ以上の空間音源を含むバイノーラルまたはマルチチャンネル音声信号によって表される空間音声のシナリオについて、一方の空間音源を他方の空間音源から分離するために、かつ、例えば本発明の実施形態100または200を用いて知覚距離の操作を行って、空間音声のシナリオ内に同様に含まれる他方の空間音源と比較した、この一方の空間音源ごとの空間音声信号の知覚距離を操作するために、音源の分離を行うことができる。その後、操作済かつ分離済の音声チャンネル信号は、バイノーラルまたはマルチチャンネル音声信号によって表される空間音声のシナリオに混合される。
【０１２０】
さらに他の実施形態では、空間音源ごとのこれら一部または全ての空間音声信号の知覚距離を操作するために、一部または全ての空間音声信号が分離される。その後、操作済かつ分離済の音声チャンネル信号は、バイノーラルまたはマルチチャンネル音声信号によって表される操作済の空間音声のシナリオを形成するために混合される。空間音声のシナリオに含まれる全ての空間音源の知覚距離が操作される場合、音源の分離を省略することもでき、本発明の実施形態100および200を用いた距離操作を、バイノーラルまたはマルチチャンネル信号の個別の音声チャンネル信号に同様に適用してもよい。
【０１２１】
空間音源は、人間、動物、楽器、または関連する空間音声信号を生成すると考えられる任意の他の音源であってもよく、またはこれらを表していてもよい。空間音源に関連する音声チャンネル信号は、自然な音声信号または記録された音声信号、または、人工的に生成された音声信号、または上述の音声信号の組み合わせであってもよい。
【０１２２】
本発明の実施形態は、入力音声信号を励起するための振動子を含み、かつ振動子のパラメータを対応する特定の距離の関数として調整するためのコントローラを含む聞き手のヘッドフォンを介して、空間音源をレンダリングするための装置および／または方法に関連していてもよい。
【０１２３】
振動子は、距離情報に基づいて入力音声信号にフィルタを与えることができる。振動子は、距離情報に基づいてフィルタリング済音声信号に非線形性を与えることができる。振動子は、距離情報に基づいて振動子の強度を制御するために、ゲイン係数によるスケーリングをさらに適用することができる。出力音声信号を提供するために、得られた音声信号を入力音声信号に追加することができる。
【符号の説明】
【０１２４】
100  装置
101  振動子
103  コントローラ
200  方法
300  空間音声のシナリオ
301  空間音源
303  聞き手
401  バンドパスフィルタ
403  非線形プロセッサ
405  結合器
407  計数器
【図１】
0006430626.tif 000021
【図２】
0006430626.tif 000022
【図３】
0006430626.tif 000023
【図４】
0006430626.tif 000024
【図５】
0006430626.tif 000025
【図６】
0006430626.tif 000026