(57)【要約】  周波数解析を含む情報処理系で、信号入力から出力までのレイテンシを低減する。情報処理装置は、入力信号に対して第１の幅を有する窓関数を用いて時間周波数変換を行う第１の時間周波数変換部と、前記入力信号に対して前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて時間周波数変換を行う第２の時間周波数変換部と、前記第１の時間周波数変換部の出力に基づく周波数解析結果を用いて、前記第２の時間周波数変換部の出力に変更を加える変更処理部と、を有する。
2019203127.tif 000002
【特許請求の範囲】
【請求項１】
入力信号に対して、第１の幅を有する窓関数を用いて時間周波数変換を行う第１の時間周波数変換部と、
前記入力信号に対して、前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて時間周波数変換を行う第２の時間周波数変換部と、
前記第１の時間周波数変換部の出力に基づく周波数解析結果を用いて、前記第２の時間周波数変換部の出力に変更を加える変更処理部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記第１の時間周波数変換部の周波数ビン数と、前記第２の時間周波数変換部の周波数ビン数は同じであることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２の時間周波数変換部の周波数ビン数は、前記第１の時間周波数変換部の周波数ビン数よりも少ないことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第２の窓関数は非対称の窓関数であることを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
ある時刻における前記周波数解析結果は、前記ある時刻よりも後の時刻に得られる前記第２の時間周波数変換部の前記出力を変更することを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
入力信号を時間周波数変換する時間周波数変換部と、
前記入力信号に変更を加えるデジタルフィルタと、
前記時間周波数変換部の出力に基づいて周波数解析を行う周波数解析部と、
前記周波数解析の結果を周波数時間変換して時間領域解析結果を出力する周波数時間変換部と、
前記時間領域解析結果を短縮化する短縮化部と、
を有し、
短縮化された前記時間領域解析結果を前記デジタルフィルタに適用して、前記入力信号を変更することを特徴とする情報処理装置。
【請求項７】
請求項１〜６のいずれか１項の情報処理装置を用いたミキシング装置。
【請求項８】
情報処理装置において、
入力信号に、第１の幅を有する第１の窓関数を用いて第１の時間周波数変換を実施し、
前記入力信号に対して、前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて第２の時間周波数変換を実施し、
前記第１の時間周波数変換に基づく周波数解析結果を用いて、前記第２の時間周波数変換を受けた変換後の入力信号を変更する、
ことを特徴とするレイテンシ減少方法。
【請求項９】
情報処理装置において、
時間領域の入力信号を時間周波数変換するとともに、前記入力信号をデジタルフィルタリングし、
前記時間周波数変換で得られた信号を周波数解析し、
前記周波数解析の結果を周波数時間変換して時間領域解析結果を取得し、
前記時間領域解析結果を短縮化し、
短縮化された前記時間領域解析結果を、前記デジタルフィルタリングされた前記入力信号に適用して、前記入力信号を変更する、
ことを特徴とするレイテンシ減少方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置とこれを用いたミキシング装置、及びレイテンシ減少方法に関し、特に、周波数解析におけるレイテンシの低減技術に関する。
【背景技術】
【０００２】
スマートミキサーは、入力信号を解析し、解析結果に基づいて入力信号に変更または調整を加えて、好ましいミキシング出力を得る。優先音と非優先音を時間周波数平面上で混合することにより、非優先音の音量感を保ったまま、優先音の明瞭度をあげることができる（たとえば特許文献１、及び特許文献２参照）。【０００３】
図１は、従来のスマートミキサーの概略図である。優先音の入力信号ｘ1[ｎ]と、非優先音の入力信号ｘ2[ｎ]に、それぞれに窓関数をかけて短時間のＦＦＴ（Fast Fourier Transform：高速フーリエ変換）を行うことで、時間周波数平面上の信号Ｘ1[ｉ，ｋ]と、Ｘ2[ｉ，ｋ]に展開する。時間周波数平面の各点（ｉ，ｋ）で、優先音と非優先音のそれぞれのパワーを算出して、時間方向に平滑化する。優先音及び非優先音の平滑化パワーＥ1[ｉ，ｋ]とＥ2[ｉ，ｋ]に基づいて、時間周波数平面上に展開された優先音のゲインα1[ｉ，ｋ]と、非優先音のゲインα2[ｉ，ｋ]を導出する。この一連の解析で得られたゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]を、時間周波数平面上の信号Ｘ1[ｉ，ｋ]とＸ2[ｉ，ｋ]にそれぞれ乗算し、乗算結果を加算して混合信号Ｙ[ｉ，ｋ]を得る。混合信号Ｙ[ｉ，ｋ]は、時間領域の信号に復元されて、出力される。【０００４】
ゲインの導出には、「対数強度の和の原理」と、「穴埋めの原理」という２つの基本原理が用いられている。「対数強度の和の原理」とは、出力信号の対数強度を入力信号の対数強度の和を超えない範囲に制限するものである。「対数強度の和の原理」によって、優先音が強調されすぎて混合音に違和感が生じることを抑制する。「穴埋めの原理」とは、非優先音のパワーの減少を、優先音のパワー増加分を超えない範囲に制限するものである。「穴埋めの原理」によって、混合音において非優先音が抑制されすぎて違和感が生じることを抑制する。これらの原理に基づいて合理的にゲインを決定することで、より自然な混合音が出力される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５０５７５３５号
【特許文献２】特開第２０１６−１３４７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
スマートミキサーで必要とされる解析を十分に行うと、ミキシング処理のレイテンシが２０ｍｓを超える場合がある。これに対し、ミキシングの現場で要求されるレイテンシは２０ｍｓ未満であり、５ｍｓ以下が望ましいと言われている。【０００７】
例えば、コンサート会場でミュージシャンがＰＡ（Public Address；音響拡声）装置のスピーカから音を聴き取ることを仮定する。このとき、電気音響系のシステムにおいてマイクからスピーカまでのレイテンシが大きいと、演奏に支障がでることが知られている。【０００８】
このレイテンシを具体的に何ミリ秒以下に抑える必要があるかに関しては、音の知覚に関する個人差が大きく、明確な客観的基準は確立されていない。一般的に、レイテンシが２０ｍｓを超えると多くの場合に違和感を感じること、１５ｍｓ以下であれば違和感を感じない場合もあることが、おおよその共通の認識である。一方で、演奏者が装着するイヤモニタについては、数ｍｓ以下が求められるという説もある。【０００９】
このような一般的な認識によると、スマートミキサーでの２０ｍｓを超えるレイテンシは、コンサート会場やレコーディングスタジオでのミキシング基準からすると、大き過ぎる。【００１０】
本発明は、周波数解析を含む情報処理系で、信号入力から出力までのレイテンシを低減することを目的とする。また、レイテンシ低減技術を適用したミキシング装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様では、情報処理装置は、
入力信号に対して、第１の幅を有する窓関数を用いて時間周波数変換を行う第１の時間周波数変換部と、
前記入力信号に対して、前記第１の幅よりも狭い第２の幅を有する第２の窓関数を用いて時間周波数変換を行う第２の時間周波数変換部と、
前記第１の時間周波数変換部の出力に基づく周波数解析結果を用いて、前記第２の時間周波数変換部の出力に変更を加える変更処理部と、
を有する。【００１２】
本発明の第２の態様では、情報処理装置は、
入力信号を時間周波数変換する時間周波数変換部と、
前記入力信号に変更を加えるデジタルフィルタと、
前記時間周波数変換部の出力に基づいて周波数解析を行う周波数解析部と、
前記周波数解析の結果を周波数時間変換して時間領域解析結果を出力する周波数時間変換部と、
前記時間領域解析結果を短縮化する短縮化部と、
を有し、
短縮化された前記時間領域解析結果を前記デジタルフィルタに適用して、前記入力信号を変更する。
【発明の効果】
【００１３】
上記の構成により、周波数解析を含む情報処理系で、レイテンシを低減することができる。レイテンシの低減により、情報解析またはミキシング処理をリアルタイムで行うことができる。
【図面の簡単な説明】
【００１４】
【図１】従来のスマートミキサーの概略図である。
【図２】第１実施形態のレイテンシ減少の手法と構成を示す図である。
【図３】解析用窓関数ｈ[ｎ]と、変更用窓関数ｇ[ｎ]と、入力波形の関係を示す。
【図４】変更用の窓関数として非対称な窓関数を用いる例を示す図である。
【図５】第２実施形態のレイテンシ減少の手法と構成を示す図である。
【図６】第３実施形態のレイテンシ減少の手法と構成を示す図である。
【図７】ＦＩＲフィルタ係数切り詰めによるレイテンシ減少の原理を説明する図である。
【図８Ａ】実施形態の情報処理装置の概略図である。
【図８Ｂ】実施形態の情報処理装置の概略図である。
【発明を実施するための形態】
【００１５】
発明者らは、信号処理の各ブロックでレイテンシが発生し、最終的なレイテンシは各ブロックのレイテンシの総和になること、及び、スマートミキサーの場合は特定のブロックでのレイテンシが支配的になることを見いだした。
【００１６】
スマートミキサーは、優先音の入力信号ｘ1[ｎ]と非優先音の入力信号ｘ2[ｎ]に、窓関数をかけた短時間のＦＦＴを行って、時間周波数平面上の信号Ｘj[ｉ，ｋ]（ｊ＝１，２）に展開して解析する。この時間周波数平面への展開は、式（１）で表現される。
【００１７】
【数１】
2019203127.tif 000003
時間周波数平面での解析結果に基づいて、Ｘj[ｉ，ｋ]（ｊ＝１，２）を変更または調整することで、優先音の明瞭度を上げたミキシングが行われる。
【００１８】
式（１）におけるｈ[ｍ]は窓関数である。ｈ[ｍ]は、|ｍ|≧Ｎhにおいてゼロ（０）をとる関数であり、以下ではＮhを窓関数の幅（より正確には半分の幅）と呼ぶ。なお、Ｎdはフレームのシフト数、ＮFはＦＦＴの点数である。また、同一の処理を複数のＮhで書きうる場合には、その最小値をもって窓関数の幅Ｎhとすることにする。
【００１９】
窓関数ｈ[ｍ]の乗算がＸj[ｉ，ｋ]に与える影響を最小限にするために、多くの場合は、ｈ[ｍ]は、第一にｈ[０]で最大値をとり、第二にｍ＝０を中心とした対称形（すなわちｈ[−ｍ]＝ｈ[ｍ]）の関数が選ばれる。
【００２０】
以下では、短時間ＦＦＴを１サンプルシフト、すなわちＮd＝１で行うものとする。この場合、ｉをｎで置き換えることができる。また、時間周波数平面の出力Ｙ[ｉ，ｋ]を時間領域の出力に戻す際に、逆ＦＦＴの代わりに、式（２）の簡単な計算で変換することができる。
【００２１】
【数２】
2019203127.tif 000004
スマートミキサーの処理のレイテンシについて検討する。図１のブロックのそれぞれがレイテンシを持つ。すわわち、スマートミキサーの処理では、
（ａ）窓関数をかけて短時間ＦＦＴを行うレイテンシ、
（ｂ）パワー算出のレイテンシ、
（ｃ）時間方向平滑化のレイテンシ、
（ｄ）ゲイン算出のレイテンシ、
（ｅ）ゲイン乗算のレイテンシ、
（ｆ）加算のレイテンシ、及び
（ｇ）時間領域信号に変換するときのレイテンシ、
の和が最終的なレイテンシとなる。
【００２２】
レイテンシの要素（ａ）は、式（１）の処理で生じるレイテンシである。式（１）は、ｘj[]の（Ｎh−１）サンプル未来の値を使っているため、実装上は、（Ｎh−１）/ＦS秒のレイテンシが発生する。ここで、ＦSはサンプリング周波数である。
【００２３】
レイテンシの大きさを具体的に計算してみる。音声の高調波成分を明確に分離するためには、ＦS＝４８ｋＨｚのとき、Ｎh（窓関数の幅）として１０２４程度が必要である。その結果、（Ｎh−１）/ＦS＝１０２３／４８＝２１．３ｍｓのレイテンシが発生する。
【００２４】
要素（ｂ）〜（ｆ）のレイテンシについては、スマートミキサーをＦＰＧＡ（Field Programmable Gate Array）などのロジックデバイスに実装した場合には、要素（ａ）のレイテンシに比べると、無視できるほどに小さい。また、要素（ｇ）のレイテンシは、式（２）のレイテンシであり、これも要素（ａ）のレイテンシに比べると無視できるほど小さい。
【００２５】
以上から、要素（ａ）の窓関数をかけた短時間ＦＦＴのレイテンシが全体のレイテンシを支配しており、十分な性能を持ったスマートミキサーでは、レイテンシの大きさは２１．３ｍｓ程度となる。
【００２６】
このように大きいレイテンシを持つスマートミキサーは、コンサートホールでのリアルタイムのミキシング処理には不向きである。そこで、レイテンシを小さくする技術が求められる。
【００２７】
上述のように、レイテンシは主として時間領域の信号を時間周波数領域の信号に変換する部分で生じており、レイテンシの大きさは窓関数の幅Ｎhが支配している。
【００２８】
レイテンシを下げるために窓関数の幅Ｎhを小さくすると、解析の周波数分解能が落ちてしまい、本来ならば周波数差があるために強調や抑制を行わなくてもよい時間周波数平面上の点（ｉ，ｋ）にも処理負荷がかかってしまう。
【００２９】
また、時間周波数平面での処理をより人間の聴覚に適合する処理とするために、線形周波数軸からBark軸に変換することが考えられるが、この場合にＮhを小さくすると、Bark軸に変換したときに低い周波数部分のスペクトルを上手く表現できなくなる。Barｋ軸は、人間の聴覚の２４の臨界帯域に対応する尺度を用いており、低い周波数帯で高い周波数分解能が求められるからである。
【００３０】
このような検討に基づくと、入力信号の周波数解析のためには、なるべく幅の広い（すなわちレイテンシが大きくなる）窓を使って、高い周波数分解能で解析を行うことが必要である。
【００３１】
一方で、時間周波数領域の入力データ（Ｘj[ｉ，ｋ]）は、一連の解析処理に用いられるだけでなく、導出されたゲインマスクを乗算して出力データを構築するための材料としても用いられる。すなわち、データの変更のためにも使用される。
【００３２】
変更・調整を受ける時間周波数領域のデータに何が求められるのかを考える。スマートミキサーの場合、出力に人工的なノイズが乗っているように知覚されることを防止するため、最終的なゲインマスクは、周波数軸方向にも時間軸方向にも滑らかなものが作成される。周波数方向へのゲインの変化が滑らかであることから、データまたは入力信号の変更には高い周波数分解能は特に必要ではない。また、ゲインの変化は時間軸方向にも滑らかであることから、ゲインマスクを時間軸方向に若干ずらしても、ゲインマスクの効果自体にはそれほど影響しない。
【００３３】
ただし、システム全体のレイテンシはもっぱら、データ変更に先立つ時間周波数領域への変換で決定されており、この部分でできるだけレイテンシを小さくすることが求められる。
【００３４】
このように、入力信号の解析のための時間周波数変換と、データに変更を加えるための時間周波数変換とでは、求められる仕様が異なる。
【００３５】
この知見に基づき、本発明では、信号解析と信号変更で異なる処理を適用する。以下で具体的な手法を説明する。
【００３６】
＜第１実施形態＞
図２は、第１実施形態のレイテンシ減少の手法と構成を示す図である。図２のレイテンシの低減を含む信号処理の技術は、たとえば、優先音と非優先音を混合するミキシング装置１Ａに適用することができる。
【００３７】
第１実施形態では、信号解析のための時間周波数変換部と、信号変更のための時間周波数変換部を別々に設け、それぞれに異なるレイテンシの窓関数を適用する。ある時刻に対応する信号解析の結果を、それより未来の信号変換に用いることで、高分解能の周波数解析と、低レイテンシの信号変換を両立させる。
【００３８】
図２において、優先音の入力信号ｘ1[ｎ]と非優先音の入力信号ｘ2[ｎ]のそれぞれに対して、解析用のウィンドウと変更用のウィンドウを別々に設け、異なるレイテンシを設定する。
【００３９】
優先音の入力信号ｘ1[ｉ，ｋ]を時間周波数領域の信号に変換するために、変更用のＦＦＴ１１ａと、解析用のＦＦＴ１２ａを設ける。入力信号ｘ1[ｎ]は、変更用のＦＦＴ１１ａによって時間周波数平面上の信号入力信号Ｚ1[ｉ，ｋ]に変換され、ゲイン乗算のために乗算器１６ａに入力される。入力信号ｘ1[ｎ]はまた、解析用のＦＦＴ１２ａによって時間周波数平面上の信号Ｘ1[ｉ，ｋ]に変換される。信号Ｘ1[ｉ，ｋ]は、パワー算出部１３ａ、時間方向平滑化部１４ａ、ゲイン導出部１９の各ブロックで解析処理を受ける。
【００４０】
非優先音の入力信号ｘ2[ｎ]についても、時間周波数領域の信号に変換するために、変更用のＦＦＴ１１ｂと、解析用のＦＦＴ１２ｂを設ける。入力信号ｘ2[ｎ]は、変更用のＦＦＴ１１ｂによって時間周波数平面上の信号入力信号Ｚ2[ｉ，ｋ]に変換されて、ゲイン乗算のために乗算器１６ｂに入力される。入力信号ｘ2[ｎ]はまた、解析用のＦＦＴ１２ｂによって時間周波数平面上の信号Ｘ2[ｉ，ｋ]に変換される。信号Ｘ2[ｉ，ｋ]は、パワー算出部１３ｂ、時間方向平滑化部１４ｂ、ゲイン導出部１９の各ブロックで処理を受ける。
【００４１】
ゲイン導出部１９は、優先音の時間方向の平滑化パワーＥ1[ｉ，ｋ]と、非優先音の時間方向の平滑化パワーＥ2[ｉ，ｋ]に基づいて、信号Ｘ1[ｉ，ｋ]に乗算されるゲインα1[ｉ，ｋ]と、信号Ｘ2[ｉ，ｋ]に乗算されるゲインα2[ｉ，ｋ]を算出する。
【００４２】
乗算器１６ａで、信号Ｘ1[ｉ，ｋ]にゲインα1[ｉ，ｋ]が乗算され、乗算器１６ｂで信号Ｘ2[ｉ，ｋ]にゲインα2[ｉ，ｋ]が乗算される。乗算結果は加算器１７で合算され、時間領域変換部１８で時間領域の信号に復元されて出力される。
【００４３】
優先音に対する処理と、非優先音に対する処理は同じであるため、以下の説明では、入力信号をｘjとして記載する。また、変更用のＦＦＴ１１ａとＦＦＴ１１ｂを適宜「ＦＦＴ１１」と総称し、解析用のＦＦＴ１２ａとＦＦＴ１２ｂを、適宜「ＦＦＴ１２」と総称する。
【００４４】
入力信号ｘjは、ＦＦＴ１２において、解析用の窓関数ｈ[]を使って、上記の式（１）でＸj[ｎ，ｋ]に変換される。式（１）をサンプルシフトＮd＝１として書き直すと、式（３）のようになる。
【００４５】
【数３】
2019203127.tif 000005
これと同時に、入力信号ｘjは、ＦＦＴ１１において、変更用の窓関数ｇ[]を使って、式（４）によりＺj[ｎ，ｋ]に変換される。
【００４６】
【数４】
2019203127.tif 000006
ここで、ｇ[ｍ]は、ｍ≦−ＮgL、及びｍ≧ＮgHにおいてゼロ（０）をとる窓関数である。
【００４７】
式（３）と式（４）は、同じ点数（ＮF）のＦＦＴで処理される。一方、式（３）と式（４）は、窓幅が異なるので、レイテンシに差異がある。具体的には、式（３）はＮh−１サンプル未来の信号を必要とするので、レイテンシは（Ｎh−１）/ＦSであり、式（４）は、ＮgH−１サンプル未来の信号を必要とするので、レイテンシは（ＮgH−１）/ＦSである。
【００４８】
ＦＦＴ１１から乗算器１６までのパスでは、レイテンシを短くして時間を短縮し、ＦＦＴ１２から乗算器１６までのパスでは、レイテンシを長くして周波数分解能を高く維持する。
【００４９】
図３は、解析用窓関数ｈ[ｍ]と、変更用窓関数ｇ[ｍ]と、入力波形の関係を示す。今、入力信号がＡ点まで観測されているとする。このとき、解析用の窓関数ｈ[ｍ]は、最新のデータを窓の右端（Ａ点）に置く位置に配置される。この窓関数を使ったＦＦＴは、中心、すなわち式（３）でｍ＝０が適用される位置を、Ｂ点におくことになる。すなわち、このＦＦＴによりＢ点での解析結果を生成したことになる。これにより、Ａ点とＢ点の時間間隔に相当するレイテンシが生じる。
【００５０】
一方、変更用の窓関数ｇ[]も、最新のデータを窓の右端に置く位置に配置されるので、この窓関数を使ったＦＦＴは、中心をＣ点に置くことになる。この場合、Ａ点とＣ点の時間間隔に相当するレイテンシが生じる。
【００５１】
図３の設定では、解析用の窓関数ｈ[]のレイテンシは１０２３であり、変更用の窓関数ｇ[]のレイテンシは２５５である。
【００５２】
この時点での解析結果は、Ｂ点のものまでが得られている。しかし、変更用の周波数領域のデータ自体は、Ｃ点のものまでが得られている。ある時刻で行う変更処理が同じ時刻の解析結果を用いなければならないのであれば、解析がＣ点に進むまで変更の処理操作を待てばよい。しかし、それではレイテンシが１０２３となってしまい、レイテンシの小さな変更用の窓関数ｇ[]を用いた意味がなくなる。
【００５３】
そこで、あえて、時間的にズレのあるデータを用いる。すなわち、Ｃ点での変更処理にＢ点での解析結果を流用する。逆に言うと、入力信号に変更を加える処理を行う際に、それよりも前に得られている周波数解析結果を用いる。周波数解析で用いられる主要データは、入力信号のサークルＩの部分であり、これを基にゲインマスクを生成し、そのゲインマスクを使って、サークルII付近のデータの変更を行うことになる。スマートミキサーの場合は、ゲインマスクは時間軸方向に緩やかに変化するので、時間的にズレたデータを流用しても出力に対する影響は軽微である。
【００５４】
図４は、変更用の窓関数として非対称な窓関数を用いる例を示す。変更用の窓関数として、非対称の窓関数を用いることができる。上段が解析用の窓関数ｈ[]、中段が非対称の変更用の窓関数ｇ[]、下段は、非対称の変更用の窓関数の別の例である。
【００５５】
非対称の変更用の窓関数ｇ[]で、Ｃ点の位置（式（２）で復元される位置）をどこにするかは、窓関数のｍ＝０の位置として決めることができる。これは、窓関数の値が０でない範囲であれば、窓関数内の任意の位置におくことができる。
【００５６】
変更用の窓関数ｇ[]に非対称な窓関数を使うことで、レイテンシを保ったまま（たとえば窓関数の幅ＮgH＝２５６）、窓関数の実効長を伸ばすことができるので、変更用の時間周波数変換の周波数分解能をある程度上げることができる。対称形の窓関数と比較して、過去のデータに重きをおいた周波数領域への変換になるが、レイテンシ自体は対称形の窓関数と同じである。
【００５７】
第１実施形態の手法と構成は、解析用と変更用で異なるレイテンシの窓関数を用いつつ同じ点数のＦＦＴで処理する。ゲインマスクの周波数ビン数と、変更用に時間周波数変換されたデータの周波数ビン数は同一であり、乗算器１６ａ、１６ｂは、従来通りの処理をそのまま行えばよい。
【００５８】
第１実施形態の手法を発明者らが実施したところ、レイテンシを約５ｍｓに抑えることができた。また、レイテンシ減少処理を行ったときの出力の音質は、レイテンシを減少させていないスマートミキサーと聴感的にほぼ同一に維持できることが確認された。
【００５９】
＜第２実施形態＞
図５は、第２実施形態のレイテンシ減少の手法と構成を示す図である。図５のレイテンシの低減を含む信号処理の技術は、たとえば、優先音と非優先音を混合するミキシング装置１Ｂに適用することができる。
【００６０】
第１実施形態では、変更用のＦＦＴ１１と解析用のＦＦＴ１２で、同じ点数の処理を行っていた。しかし、ＮgL＋ＮgH＜２Ｎhの場合は、変更用の時間周波数変換は、より少ない点数のＦＦＴで処理することができる。たとえば、図３の場合であれば、変更用のＦＦＴは５１２点のＦＦＴで十分である。
【００６１】
そこで、第２実施形態では、変更用のＦＦＴ１１と解析用のＦＦＴ１２で、異なるＦＦＴを用いる。この場合、ゲインマスクの乗算器１６で、ゲインマスクと、乗算されるデータＺの間に、ビン数の齟齬が起こるため、ゲインマスクのビン数を、データのビン数に揃える処理が必要になる。
【００６２】
具体的には、ゲイン導出部１９の後段に、周波数軸の変換部１５ａと１５ｂを挿入し、ゲインαj[ｉ，ｋ]の変数ｋ（周波数ビン番号）をｋからｋ'に変換したゲインγj[ｉ，ｋ']を生成し、ゲインγj[ｉ，ｋ']をデータＺj[ｉ，ｋ']に乗算する。
【００６３】
第２実施形態の構成では、レイテンシを低減し、かつ変更用のデータでＦＦＴの負荷を低減しつつ、ゲイン乗算による優先音の強調と非優先音の抑制を実現することができる。
【００６４】
＜第３実施形態＞
図６は、第３実施形態のレイテンシ減少の手法と構成を示す図である。図６のレイテンシの低減を含む信号処理の技術は、たとえば、優先音と非優先音を混合するミキシング装置１Ｃに適用することができる。ミキシング装置１Ｃにおいて、第１実施形態及び第２実施形態と同じ構成要素には同じ符号を付けて、重複する説明を省略する。
【００６５】
スマートミキシングの本質は、入力信号にゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]を乗算することにある。第１実施形態と第２実施形態では、ゲインの乗算処理を、時間周波数領域に変換した後にゲインマスクを乗算し、その後時間領域に復元していた。
【００６６】
第１実施形態及び第２実施形態と結果的に同等の処理を、別の方法で実現することができる。例えば、ゲインマスクの乗算と等価なＦＩＲ（Finite Impulse Response：有限インパルス応答）フィルタを構成し，このＦＩＲフィルタで信号の変更を行うことができる。
【００６７】
ミキシング装置１Ｃにおいて、優先音と非優先音の入力信号に対してＦＦＴ２１ａとＦＦＴ２１ｂで短時間ＦＦＴを実施してゲイン導出部１９でゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]を求めるまでの処理は同じである。
【００６８】
ゲインを乗算する乗算器に替えて、優先音の信号処理系に、逆ＦＦＴ２２ａ、窓関数乗算部２３ａ、時間シフト部２４ａ、及びＦＩＲフィルタ３１ａが設けられる。同様に、非優先音の信号処理系に、逆ＦＦＴ２２ｂ、窓関数乗算部２３ｂ、時間シフト部２４ｂ、及びＦＩＲフィルタ３１ｂが設けられる。
【００６９】
優先音の入力信号ｘ1[ｎ]は、ＦＦＴ２１ａに入力されるとともに、ＦＩＲフィルタ３１ａにも入力される。非優先音の入力信号ｘ2[ｎ]は、ＦＦＴ２１ｂに入力されるとともに、ＦＩＲフィルタ３１ｂにも入力される。ＦＩＲフィルタ３１ａと３１ｂは、ゲインマスクの乗算と等価の処理を行って、入力信号を変更する。この処理を、以下で説明する。
【００７０】
まず、Ｎd＝１を仮定しているので、ｉはサンプル番号と一致するため、以下ではゲインマスクをα1[ｎ，ｋ]、α2[ｎ，ｋ]と書く。
【００７１】
信号処理の理論によれば、伝達関数の逆フーリエ変換がインパルス応答である。これより、ゲインマスクαj[ｎ，ｋ]を逆変換したものが、時点ｎ、遅延差（すなわちタップ番号）ｍに対するインパルス応答（すなわちＦＩＲフィルタ係数）Ｗj[ｎ，ｍ]となる。インパルス応答Ｗj[ｎ，ｍ]は、式（５）で表される。
【００７２】
【数５】
2019203127.tif 000007
式（５）により、−ＮF/２≦ｍ＜ＮF/２の範囲でＷj[ｎ，ｍ]を算出する。このインパルス応答を係数としたＦＩＲフィルタを、入力信号ｘj[ｎ]に対して式（６）のように作用させることで、ゲインマスクを乗算したのと同じ効果を得ることができる。
【００７３】
【数６】
2019203127.tif 000008
式（６）では、出力される混合音ｙj[ｎ]を算出するのに、ＮF/２サンプル未来のｘj[ｎ]を使用している。したがって、式（６）を実行するＦＩＲフィルタ３１を実装した場合のレイテンシは、ＮF/２となる。ＮF＝１０２４で、サンプリング周波数ＦSが４８ｋＨｚのときは、ＮF/（２×ＦS）＝２１．３ｍｓとなり、このままではレイテンシの減少にはつながらない。
【００７４】
そこで、第１実施形態のように、入力データに対する変更処理系の周波数分解能を下げてレイテンシを減少させる。周波数分解能を下げるためには、たとえば、ゲインαj[ｎ，ｋ]を周波数方向に平滑化した後、周波数方向に間引いてビン数を下げればよい。しかし、この方法では平滑化の計算負荷が重くなる。
【００７５】
より良い手法は、図６に示すように、ゲインαj[ｉ，ｋ]を逆ＦＦＴでＦＩＲフィルタ係数Ｗj[ｎ，ｍ]にした後に、窓関数で切り詰める（乗算する）方法である。ＦＩＲフィルタ係数を窓関数で乗算することは、窓関数の逆フーリエ変換として得られる関数でゲインを平滑化することになるので、実質的に平滑化と同等の処理が実現できる。また、平滑化に比べて乗算のほうが計算負荷が軽いため、より優れた方法である。
【００７６】
図７は、ＦＩＲフィルタ係数の切り詰めによるレイテンシの減少をより詳しく説明する図である。時刻ｎ、周波数ビンｋに対するαj[ｉ，ｋ]を逆ＦＦＴして、このゲインに対応する時刻ｎ、タップ番号ｍのＦＩＲフィルタ係数Ｗj[ｎ，ｍ]を作成する。
【００７７】
ＦＩＲフィルタ係数Ｗj[ｎ，ｍ]を、式（７）のように窓関数ｖ[]で切り詰めて、Ｖj[ｎ，ｍ]を生成する。
【００７８】
【数７】
2019203127.tif 000009
窓関数ｖ[ｍ]として、ｍ≦−ＮvL、もしくはｍ≧ＮvHにおいて０をとる窓関数を選ぶ。さらに、図７の最下段に示すように、窓関数で切り取られたＦＩＲフィルタ係数Ｖj[ｎ，ｍ]において、値０が並ぶ部分を時間シフト部２４によりシフトさせて、詰めることができる。新しいＦＩＲフィルタ係数Ｕj[ｎ，ｍ]は、式（８）で表される。
【００７９】
【数８】
2019203127.tif 000010
出力は、式（６）の代わりに、式（９）を使って求めることができる。
【００８０】
【数９】
2019203127.tif 000011
式（９）からわかるように、Ｕj[ｎ，ｍ]は、０≦ｎ≦ＮvL＋ＮvLの範囲で有効な（つまり非０の）値を持つので、入力信号ｘj[ｎ]に関して未来のデータは必要ない。また、レイテンシは、式（８）で行った係数シフトに対応する時間となるので、ＮvL／ＦSである。このように、第３実施形態の手法と構成により、図７に示されるようにレイテンシを低減することができる。
【００８１】
図８Ａと図８Ｂは、実施形態のレイテンシ減少方法を適用した情報処理装置の概略図である。図８Ａの情報処理装置１００Ａは、第１実施形態と第２実施形態の手法に適している。情報処理装置１００Ａは、変更用のＦＦＴ１１と、解析用のＦＦＴ１２と、周波数解析処理部１０３と、変更処理部１０４と、逆フーリエ変換（ＩＦＦＴ）部１０５を有する。入力信号は、変更用のＦＦＴ１１と解析用のＦＦＴ１２に入力される。ＦＦＴ１１とＦＦＴ１２は、入力信号に対してそれぞれ異なる幅の窓関数を使用して短時間のＦＦＴを行い、時間周波数平面上の信号を取得する。ＦＦＴ１１とＦＦＴ１２のＦＦＴ点数は同じであっても、異なっていてもよい。ＦＦＴ１１の窓関数の幅は、ＦＦＴ１２の窓関数の幅よりも狭い。変更処理部１０４による変更処理は、ある時刻の周波数解析の結果を用いてそれよりも未来の信号に対して変更を加える。
【００８２】
周波数解析のブロックでは高分解能の解析を行う一方、信号変更のブロックは低いレイテンシに抑える。これにより、信号処理全体としてレイテンシを低減することができる。
【００８３】
図８Ｂの情報処理装置１００Ｂは、第３実施形態の手法に適している。情報処理装置は、解析用のＦＦＴ１０１と、ＦＩＲフィルタ１０２と、周波数解析処理部１０３と、ＩＦＦＴ１０６と、フィルタ係数切り詰め部１０７を有する。
【００８４】
入力信号は、ＦＦＴ１０１とＦＩＲフィルタ１０２に入力される。ＦＦＴ１０１により得られた時間周波数平面上の信号は、周波数解析処理部１０３で解析される。解析結果はＩＦＦＴ１０６により時間領域の信号に戻されたあと、フィルタ係数の切り詰め部１０７によるレイテンシ抑制処理を受ける。ＦＩＲフィルタ１０２に入力された信号は、短縮化されたフィルタ係数で変更処理を受けて、出力される。
【００８５】
この構成により、周波数解析を高分解能で行う一方、入力信号の変更処理は低いレイテンシで行うことができる。なお、時間領域での入力信号の変更は、ＲＩＲフィルタに限定されず、その他のデジタルフィルタを用いてもよい。
【００８６】
図８Ａの情報処理装置１００Ａ、及び図８Ｂの情報処理装置は、たとえばプロセッサとメモリで実現することができる。あるいは、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）などのロジックデバイスで実現されてもよい。
【００８７】
以上述べたように、本発明は、信号の周波数解析結果に基づいて信号を変更を行うリアルタイムの信号処理系で、レイテンシを低減することができる。本発明をスマートミキサーに適用する場合は、信号解析に高い周波数分解能が要求され、他方、信号の変更（優先音の強調と非優先音の抑制）は緩やかな変更、すなわち小さなレイテンシが望ましく、本発明のレイテンシ減少方法によく適合している。
【００８８】
本発明のレイテンシ減少方法は、スマートミキサー以外の情報処理装置、例えばパルス性の音源の音分離を必要としない場合の信号分離システムなどに適用可能である。
【００８９】
この出願は、２０１８年４月１９日に出願された日本国特許出願第２０１８−０８０６７０号に基づき、その優先権を主張するものであり、その全内容は本件出願中に含まれる。
【符号の説明】
【００９０】
１、１Ａ〜１Ｃ  ミキシング装置
１１、１１ａ、１１ｂ  変更用のＦＦＴ
１２、１２ａ、１２ｂ  解析用のＦＦＴ
１９  ゲイン導出部
３１、３１ａ、３１ｂ、１０６  ＦＩＲフィルタ（デジタルフィルタ）
１００  情報処理装置
１０３  周波数解析処理部
１０４  変更処理部
１０５、１０６  ＩＦＦＴ
１０７  フィルタ係数切り詰め部（短縮化部）
【図１】
2019203127.tif 000012
【図２】
2019203127.tif 000013
【図３】
2019203127.tif 000014
【図４】
2019203127.tif 000015
【図５】
2019203127.tif 000016
【図６】
2019203127.tif 000017
【図７】
2019203127.tif 000018
【図８Ａ】
2019203127.tif 000019
【図８Ｂ】
2019203127.tif 000020
【国際調査報告】
2019203127.tif 000021
2019203127.tif 000022
2019203127.tif 000023