(57)【要約】  スマートミキシングの手法をステレオ再生に拡張しても、再生音に不具合が生じることを抑制し、自然な音質で再生することのできるミキシング技術を提供する。ステレオ出力を有するミキシング装置は、第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成するゲイン導出部と、を有し、前記ゲイン導出部は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定する。
2019203126.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ出力を有するミキシング装置であって、
第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成するゲイン導出部と、
を有し、
前記ゲイン導出部は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定することを特徴とするミキシング装置。
【請求項２】
前記所定の条件は、前記第２信号のパワーの減少が前記第１信号のパワーの増加分を超えず、かつ前記第４信号のパワーの減少が前記第３信号のパワーの増加分を超えない条件であることを特徴とする請求項１に記載のミキシング装置。
【請求項３】
前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルで、前記所定の条件が同時に満たされることを特徴とする請求項１または２に記載のミキシング装置。
【請求項４】
前記第１の信号処理部は、時間周波数平面上の各点で、前記第１信号と前記第２信号の時間方向の平滑化パワーを含む第１パワー対を算出し、
前記第２の信号処理部は、前記時間周波数平面上の各点で、前記第３信号と前記第４信号の時間方向の平滑化パワーを含む第２パワー対を算出し、
前記第３のチャネルは、前記加重和に基づく時間方向の平滑化パワーを含む第３パワー対を算出し、
前記ゲイン導出部は、前記第１パワー対、前記第２パワー対、及び前記第３パワー対を用いて、前記第１のゲインと前記第２のゲインを決定することを特徴とする請求項１〜３のいずれか１項に記載のミキシング装置。
【請求項５】
ステレオ出力を有するミキシング装置であって、
第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
前記第１のチャネルで用いられる第１ゲインマスクを生成する第１のゲイン導出部と、
前記第２のチャネルで用いられる第２ゲインマスクを生成する第２のゲイン導出部と、
を有し、
前記第１のゲイン導出部は、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように、前記第１ゲインマスクを生成し、
前記第２のゲイン導出部は、前記第３のチャネルで前記所定の条件が満たされるように前記第２ゲインマスクを生成する、
ことを特徴とするミキシング装置。
【請求項６】
前記所定の条件は、前記第２信号と前記第４信号の加重和パワーの減少が、前記第１信号と前記第３信号の加重和パワーの増加分を超えない条件であることを特徴とする請求項５に記載のミキシング装置。
【請求項７】
前記第１の信号処理部は、時間周波数平面上の各点で、前記第１信号と前記第２信号の時間方向の平滑化パワーを含む第１パワー対を算出し、
前記第２の信号処理部は、前記時間周波数平面上の各点で、前記第３信号と前記第４信号の時間方向の平滑化パワーを含む第２パワー対を算出し、
前記第３のチャネルは、前記加重和に基づく時間方向の平滑化パワーを含む第３パワー対を算出し、
前記第１のゲイン導出部は、前記第１パワー対と前記第３パワー対を用いて、前記第１ゲインマスクを生成し、
前記第２のゲイン導出部は、前記第２パワー対と前記第３パワー対を用いて、前記第２ゲインマスクを生成する、
ことを特徴とする請求項５または６に記載のミキシング装置。
【請求項８】
ステレオ出力を行うミキシング方法であって、
第１のチャネルに第１信号と第２信号を入力し、
第２のチャネルで第３信号と第４信号を入力し、
第３のチャネルで、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理し、
前記第１のチャネルの出力と、前記第２のチャネルの出力と、前記第３のチャネルの出力に基づいて、第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成し、
前記ゲインマスクを前記第１のチャネルに適用して前記第１信号と前記第２信号を混合し、
前記ゲインマスクを前記第２のチャネルに適用して前記第３信号と前記第４信号を混合し、
前記ゲインマスクは、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように生成されることを特徴とするミキシング方法。
【請求項９】
ステレオ出力を行うミキシング方法であって、
第１のチャネルに第１信号と第２信号を入力し、
第２のチャネルで第３信号と第４信号を入力し、
第３のチャネルで、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理し、
前記第１のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第１のチャネルで用いられる第１ゲインマスクを生成し、
前記第２のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第２のチャネルで用いられる第２ゲインマスクを生成し、
前記第１ゲインマスクと前記第２ゲインマスクは、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように生成される、
ことを特徴とするミキシング方法。
【請求項１０】
プロセッサに以下の手順を実行させるミキシングプログラムであって、
第１のチャネルで第１信号と第２信号を取得する手順と、
第２のチャネルで第３信号と第４信号を取得する手順を、
第３のチャネルで前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する手順と、
前記第１のチャネルの出力と、前記第２のチャネルの出力と、前記第３のチャネルの出力に基づいて、第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成する手順と、
前記ゲインマスクを前記第１のチャネルに適用して前記第１信号と前記第２信号を混合する手順と、
前記ゲインマスクを前記第２のチャネルに適用して前記第３信号と前記第４信号を混合する手順と、
を前記プロセッサに実行させ、
前記ゲインマスクの生成手順は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように前記ゲインマスクを生成することを特徴とするミキシングプログラム。
【請求項１１】
プロセッサに以下の手順を実行させるミキシングプログラムであって、
第１のチャネルで第１信号と第２信号を取得する手順と、
第２のチャネルで第３信号と第４信号を取得する手順と、
第３のチャネルで、前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する手順と、
前記第１のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第１のチャネルで用いられる第１ゲインマスクを生成する手順と、
前記第２のチャネルの出力と前記第３のチャネルの出力に基づいて、前記第２のチャネルで用いられる第２ゲインマスクを生成する手順と、
を前記プロセッサに実行させ、
前記第１ゲインマスクと前記第２ゲインマスクは、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように生成される、
ことを特徴とするミキシングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力信号のミキシング技術に関し、特にステレオ（立体音響）でのミキシング技術に関する。
【背景技術】
【０００２】
スマートミキサーは、優先音と非優先音を時間周波数平面上で混合することにより、非優先音の音量感を保ったまま、優先音の明瞭度を上げる新しい音混合法である（たとえば特許文献１参照）。時間周波数平面上の各点で信号特性を判断し、その信号特性に応じて優先音の明瞭度を上げる処理が施される。しかし、スマートミキシングで優先音を明瞭に聞かせることに重点がおかれると、非優先音に若干の副作用（音の欠落感の知覚）が生じる。ここで、優先音とは音声、ボーカル、ソロパート等のように、優先的に聞かせたい音である。非優先音とはバックグラウンド音、伴奏音等、優先音以外の音である。【０００３】
非優先音に生じる欠落感を抑制するために、優先音と非優先音に適用されるゲインを適切な方法で決定して、より自然な混合音を出力する手法が提案されている（たとえば、特許文献２参照）。【０００４】
図１は、従来のモノラルのミキシング構成を示す図である。優先音を表わす優先信号と非優先音を表わす非優先信号それぞれに、窓関数を掛けて短時間のＦＦＴ（Fast Fourier Transform：高速フーリエ変換）を行って、時間周波数平面上に展開する。時間周波数平面で、優先音と非優先音のそれぞれのパワーを算出して、時間方向に平滑化する。優先音と非優先音の平滑化パワーに基づいて、優先音のためのゲインα１と、非優先音のためのゲインα２が導出される。優先音と非優先音にゲインα１とゲインα２をそれぞれ乗算して加算した後に、時間領域信号に戻して出力する。【０００５】
ゲインの導出には、「対数強度の和の原理」と、「穴埋めの原理」という２つの基本原理が用いられている。「対数強度の和の原理」とは、出力信号の対数強度を入力信号の対数強度の和を超えない範囲に制限するものである。「対数強度の和の原理」によって、優先音が強調されすぎて混合音に違和感が生じることを抑制する。「穴埋めの原理」とは、非優先音のパワーの減少を、優先音のパワー増加分を超えない範囲に制限するものである。「穴埋めの原理」によって、混合音において非優先音が抑制されすぎて違和感が生じることを抑制する。これらの原理に基づいて合理的にゲインを決定することで、より自然な混合音が出力される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５０５７５３５号
【特許文献２】特開第２０１６−１３４７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の方法は、モノラル出力を前提としている。モノラル出力とは、一般にスピーカまたは出力端子が一つの場合をいうが、複数の出力端子からまったく同じ音が出力される場合もモノラルに含められることがある。これに対し、複数の出力端子から異なる音が出力される場合をステレオ再生という。【０００８】
特許文献１のミキシングの手法をステレオに拡張することができれば、ヘッドフォンによる鑑賞から巨大ホールでのコンサート鑑賞まで、どのような形態で聴取されても不具合のないステレオ信号を生成することができる。また、ステレオ化することで、レコーディングスタジオでのミキシング技術にも適用することができる。【０００９】
しかし、特許文献１の手法をステレオ再生に適用する場合、上記の「対数強度の和の原理」と「穴埋めの原理」をどのように拡張するかは自明ではない。【００１０】
本発明は、スマートミキシングの手法をステレオ再生に拡張しても、再生音に不具合が生じることを抑制し、自然な音質で再生することのできるミキシング技術を提供することを課題とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様では、ステレオ出力を有するミキシング装置は、
第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
前記第１のチャネルと前記第２のチャネルで共通に用いられるゲインマスクを生成するゲイン導出部と、
を有し、
前記ゲイン導出部は、前記第１のチャネルと、前記第２のチャネルと、前記第３のチャネルのうち、少なくとも前記第１のチャネルと前記第２のチャネルで同時にゲイン生成のための所定の条件が満たされるように、前記第１信号と前記第３信号に共通に適用される第１のゲインと、前記第２信号と前記第４信号に共通に適用される第２のゲインを決定することを特徴とする。【００１２】
本発明の第２の態様では、ステレオ出力を有するミキシング装置は、
第１のチャネルで第１信号と第２信号を混合する第１の信号処理部と、
第２のチャネルで第３信号と第４信号を混合する第２の信号処理部と、
前記第１のチャネルの信号と前記第２のチャネルの信号の加重和を処理する第３のチャネルと、
前記第１のチャネルで用いられる第１ゲインマスクを生成する第１のゲイン導出部と、
前記第２のチャネルで用いられる第２ゲインマスクを生成する第２のゲイン導出部と、
を有し、
前記第１のゲイン導出部は、前記第３のチャネルでゲイン生成のための所定の条件が満たされるように、前記第１ゲインマスクを生成し、
前記第２のゲイン導出部は、前記第３のチャネルで前記所定の条件が満たされるように前記第２ゲインマスクを生成する、
ことを特徴とする。
【発明の効果】
【００１３】
上記の構成により、スマートミキシングの手法をステレオ再生に拡張しても、再生音に不具合が生じることを抑制し、自然な音質で再生することができる。
【図面の簡単な説明】
【００１４】
【図１】従来のモノラルのミキシング構成を示す図である。
【図２】本発明に至る過程で考えられる構成を示す図である。
【図３】第１実施形態のミキシング装置１Ａの概略構成図である。
【図４】第２実施形態のミキシング装置１Ｂの概略構成図である。
【図５Ａ】実施形態の穴埋めの原理に基づくゲイン更新のフローチャートである。
【図５Ｂ】実施形態の穴埋めの原理に基づくゲイン更新のフローチャートであり、図５ＡのＳ１８に引き続く工程を示す図である。
【発明を実施するための形態】
【００１５】
図１の従来構成をステレオに拡張する最も簡単な方法は、図１の処理系を２つ並列に並べて、一方を左側のチャネル（Ｌチャネル）専用、他方を右側のチャネル（Ｒチャネル）専用にする構成である。この場合、「対数強度の和の原理」と「穴埋めの原理」は、チャネルごとに適用されるので、片方のチャネルを単独で聴いたときには、それぞれのチャネルで満足のいく結果が得られる。
【００１６】
しかし、この簡易的な構成には、次の問題がある。たとえば、優先音が中央に定位している場合を考える。優先音の時間周波数平面上の点（ｉ，ｋ）におけるＬチャネルのゲインα1L[ｉ，ｋ]と、同じ点（ｉ，ｋ）のＲチャネルのゲインα1R[ｉ，ｋ]は、別々の処理系（ブロック）で独立して設定されるため、異なる値となり得る。このようなチャネル間の差異は、時間周波数平面上の点（ｉ，ｋ）ごとに生じ、かつ点（ｉ，ｋ）ごとに差異の大きさも変わり得る。この結果、中央の優先音の定位が偏移する。たとえば、優先音がボーカルであるとすると、ボーカルの定位が時々刻々と変化し、ステレオ再生した場合にボーカルの音が左右に揺れて聴こえる。
【００１７】
図２は、本発明に至る過程で考えられるステレオ化の構成例を示す。図２では、優先音と非優先音に対し、ＬチャネルとＲチャネルで共通化したゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]をそれぞれ適用してミキシングを行う。
【００１８】
優先音の定位に揺れを起こさせないためには、優先音の時間周波数平面上の点（ｉ，ｋ）におけるＬチャネルのゲインα1L[ｉ，ｋ]と、Ｒチャネルのゲインα1R[ｉ，ｋ]を、常に等しくすることが考えられる。この共通化したゲインをα1[ｉ，ｋ]とする。
【００１９】
非優先音についても、定位に揺れを生じさせないためには、非優先音のためのＬチャネルのゲインα2L[ｉ，ｋ]と、Ｒチャネルのゲインα2R[ｉ，ｋ]を、常に等しくする。この共通化したゲインをα2[ｉ，ｋ]とする。
【００２０】
優先音と非優先音のそれぞれについて、ＬチャネルとＲチャネルを平均化したモノラルチャネル（Ｍチャネル）を設定し、両チャネル間で共通に用いられるゲインα1[ｉ，ｋ]、α2[ｉ，ｋ]を生成する。ＬチャネルとＲチャネルの平均化は、必ずしもチャネル間の平均値をとる必要はなく、加算値を用いてもよい。
【００２１】
ゲインマスクは、Ｍチャネルの信号を用いて、モノラルのスマートミキシングの原理で生成される。すなわち、Ｌチャネルの時間周波数軸上の優先音の信号Ｘ1L[ｉ，ｋ]とＲチャネルの時間周波数軸上の優先音の信号Ｘ1R[ｉ，ｋ]の平均値または加算値からパワー（振幅の２乗）を求め、時間方向の平滑化パワーＥ1M[ｉ，ｋ]を得る。同様に、Ｌチャネルの時間周波数軸上の非優先音の信号Ｘ2L[ｉ，ｋ]とＲチャネルの時間周波数軸上の優先音の信号Ｘ2R[ｉ，ｋ]の平均値または加算値からパワーを求め、時間方向の平滑化パワーＥ2M[ｉ，ｋ]を得る。優先音と非優先音の平滑化パワーＥ1M[ｉ，ｋ]とＥ2M[ｉ，ｋ]から、共通のゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]を導出する。ゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]は、特許文献２に記載されるように、「対数強度の和の原理」と「穴埋めの原理」にしたがって算出される。
【００２２】
得られたゲインα1[ｉ，ｋ]を、Ｌチャネルの優先音の信号Ｘ1L[ｉ，ｋ]とＲチャネルの優先音の信号Ｘ1R[ｉ，ｋ]のそれぞれに乗算する。また、ゲインα2[ｉ，ｋ]を、Ｌチャネルの非優先音の信号Ｘ2L[ｉ，ｋ]とＲチャネルの非優先音の信号Ｘ2R[ｉ，ｋ]のそれぞれに乗算する。ＬチャネルとＲチャネルのそれぞれで、乗算結果を加算し、時間領域に戻して出力することで、出力される混合音に定位の揺れが生じることを防止できる。
【００２３】
しかし、「穴埋めの原理」をＭチャネルに対してのみ適用していることから、別の問題が生じる。たとえば、大きなホールやスタジアムで、一方のチャネル（たとえばＲチャネル）のスピーカの真ん前に立つ観客の立場を考える。この観客にとっては、Ｌチャネルの音はほとんど聴こえず、もっぱらＲチャネルのスピーカの音が聴こえる。
【００２４】
ここで、Ｌチャネルで楽器ＩＬが演奏され、Ｒチャネルで別の楽器ＩＲが演奏されているとする。ある瞬間にボーカル（優先音）がＬチャネルで発声すると、「穴埋めの原理」にしたがって、ＬチャネルとＲチャネルの両方で非優先音のゲイン抑制が行われる。その結果、Ｒチャネルにはボーカル音がほとんど存在しないにもかかわらず、楽器ＩＲは時間周波数平面上で部分的に減衰を受ける。Ｒチャネルのスピーカの前に立つ観客は、楽器ＩＲの音の劣化（欠落感）を知覚する。
【００２５】
このような不具合は、Ｒチャネルから出力される音に関して「穴埋めの原理」が正しく機能していないために生じる。したがって、図２の構成をさらに洗練させた新たな構成が望まれる。
【００２６】
＜第１実施形態＞
図３は、第１実施形態のミキシング装置１Ａの構成例である。上述した考察から、以下のことが導かれる。第１は、スマートミキシングをステレオ化に適用するためには、定位を保つことが重要である。第２は、定位を維持したうえで、片方のスピーカの音だけを聴く観客に対しても非優先音の劣化（欠落感）を感じさせないようにする。
【００２７】
定位を保つためには、共通のゲインマスクを使う必要があり、基本的にはゲイン生成のためのモノラル処理が求められる。一方、非優先音の劣化を防ぐためには、個別のチャネルごとに穴埋めの原理を適用する必要があり、基本的にはステレオ処理が求められる。
【００２８】
この２つの要請を満たすのが、第１実施形態のミキシング装置１Ａである。ミキシング装置１Ａでは、モノラル処理によりＬチャネルとＲチャネルで共通のゲインマスクを生成してこれを用いるが、「穴埋めの原理」を、Ｍチャネルだけではなく、ＬチャネルとＲチャネルにも反映させる。
【００２９】
ミキシング装置１Ａは、Ｌチャネル信号処理部１０Ｌと、Ｒチャネル信号処理部１０Ｒと、ゲインマスク生成部２０を有する。図３の例では、ゲインマスク生成部２０は、Ｍチャネルとして機能するが、ゲイン導出部１９は、必ずしもＭチャネルの処理系の中に配置される必要はなく、Ｍチャネルの処理系の外に配置されていてもよい。
【００３０】
Ｌチャネル信号処理部１０Ｌに、音声等の優先音の信号ｘ1L［ｎ］と、バックグラウンド音等の非優先音の信号ｘ2L［ｎ］が入力される。それぞれの入力信号に短時間ＦＦＴ等の周波数解析が適用され、時間周波数平面上の優先音の信号Ｘ1L[ｉ，ｋ]と非優先音の信号Ｘ2L[ｉ，ｋ]が生成される。ここで、時間軸上の信号を小文字のｘで表し、時間周波数平面上の信号を大文字のＸで表す。
【００３１】
優先音の信号Ｘ1L[ｉ，ｋ]と非優先音の信号Ｘ2L[ｉ，ｋ]は、それぞれゲインマスク生成部２０で実現されるＭチャネルに入力されるとともに、Ｌチャネル信号処理部１０Ｌの内部で、各信号のパワーの算出と、時間方向の平滑化処理を受ける。これにより、優先音と非優先音の時間方向の平滑化パワーＥ1L[ｉ，ｋ]とＥ2L[ｉ，ｋ]が得られる。
【００３２】
Ｒチャネル信号処理部１０Ｒには、音声等の優先音の信号ｘ1R［ｎ］と、バックグラウンド音等の非優先音の信号ｘ2R［ｎ］が入力される。それぞれの入力信号に短時間ＦＦＴ等の周波数解析が適用され、時間周波数平面上の優先音の信号Ｘ1R[ｉ，ｋ]と非優先音の信号Ｘ2R[ｉ，ｋ]が生成される。
【００３３】
優先音の信号Ｘ1R[ｉ，ｋ]と非優先音の信号Ｘ2R[ｉ，ｋ]は、それぞれゲインマスク生成部２０で実現されるＭチャネルに入力されるとともに、Ｒチャネル信号処理部１０Ｒの内部で、各信号のパワーの算出と、時間方向の平滑化処理を受ける。これにより、優先音と非優先音の時間方向の平滑化パワーＥ1R[ｉ，ｋ]とＥ2R[ｉ，ｋ]が得られる。
【００３４】
Ｍチャネルを形成するゲインマスク生成部２０では、ＬチャネルとＲチャネルの時間周波数平面上の優先音の信号Ｘ1L[ｉ，ｋ]とＸ1R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ1M[ｉ，ｋ]が生成される。同様に、ＬチャネルとＲチャネルの時間周波数平面上の非優先音の信号Ｘ2L[ｉ，ｋ]とＸ2R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ2M[ｉ，ｋ]が生成される。
【００３５】
すなわち、Ｍチャネル、Ｌチャネル、及びＲチャネルのそれぞれで、時間周波数平面の各点（ｉ，ｋ）における優先音と非優先音の時間方向の平滑化パワーＥ1[ｉ，ｋ]及びＥ2[ｉ，ｋ]が得られる（ここで、Ｅ1M、Ｅ1L、Ｅ1Rを総称してＥ1と書いた。Ｅ2も同じ）。
【００３６】
ゲイン導出部１９には、３組の平滑化パワーが入力される。すなわち、ゲインマスク生成部２０で得られた平滑化パワーＥ1M[ｉ，ｋ]とＥ2M[ｉ，ｋ]、Ｌチャネル信号処理部１０Ｌで得られた平滑化パワーＥ1L[ｉ，ｋ]とＥ2L[ｉ，ｋ]、及びＲチャネル信号処理部１０Ｒで得られた平滑化パワーＥ1R[ｉ，ｋ]とＥ2R[ｉ，ｋ]である。
【００３７】
ゲイン導出部１９は、入力された３組、６つのパラメータから、共通のゲインマスクであるα1[ｉ，ｋ]とα2[ｉ，ｋ]を生成する。ゲインα1[ｉ，ｋ]とα2[ｉ，ｋ]の組は、Ｌチャネル信号処理部１０Ｌと、Ｒチャネル信号処理部１０Ｒのそれぞれに供給されて、優先音信号Ｘ1[ｉ，ｋ]と非優先音信号Ｘ2[ｉ，ｋ]に対するゲインの乗算に用いられる（ここで、Ｘ1L、Ｘ1Rを総称してＸ1と書いた。Ｘ2も同じ）。ゲイン乗算後の優先音と非優先音が加算され、時間領域に復元されて、ＬチャネルとＲチャネルから出力される。
【００３８】
この構成では、共通のゲインマスクを前提としつつ、ゲイン導出部１９における穴埋めの原理はＬチャネルとＲチャネルのそれぞれにも適用されてゲインマスク（α1[ｉ，ｋ]，α2[ｉ，ｋ]）が生成される。これについて、以下でさらに詳細に説明する。なお、以下の説明で用いる変数を表１に示す。
【００３９】
【表１】
2019203126.tif 000003
まず、式（０）のように、最小可聴パワーＡ[ｋ]の逆数である聴感補正係数Ｂ[ｋ]を求める。
【００４０】
【数１】
2019203126.tif 000004
ここで、ＣLp[i]は、等ラウドネス曲線から選ぶ最小可聴曲線（Ｌｐ)の主要部分を抽出してサンプリングしたデータである。定数Ｓは、時間領域での入力信号ｘj[ｎ]（ｊ＝１，２）がフルスケールの信号であったときに、その等ラウドネス曲線の縦軸の音圧レベルの何ｄＢに相当させるかを設定するための定数である。
【００４１】
聴感補正係数Ｂ[ｋ]は、入力信号から得られた時間方向の平滑化パワーＥj[ｉ，ｋ]を、人間の聴覚に即して処理するための補正係数である。平滑化パワーＥj[ｉ，ｋ]を、最小可聴パワーＡ[ｋ]で除算した結果が１よりも大きければ可聴であり、その可聴レベルはＥj[ｉ，ｋ]／Ａ[ｋ]で表される。たとえば、Ｅj[ｉ，ｋ]／Ａ[ｋ]＝１００であれば、その音は最小可聴の音に比べて１００倍のパワーを持っている。ここでは、Ａ[ｋ]の除算を行うかわりに、Ａ[ｋ]の逆数である聴感補正係数Ｂ[ｋ]を用いている。
【００４２】
聴感補正係数Ｂ[ｋ]を用いて、ゲイン導出部１９に入力された６つの平滑化パワーＥj[ｉ，ｋ]から、式（１）〜式（６）により６つの聴感補正パワーＰj[ｉ，ｋ]を求める。
【００４３】
【数２】
2019203126.tif 000005
なお、ミキシングの各時間区間で優先音が有音であり、かつ低ＳＮＲのときにブースト判定が行われるが（特許文献２を参照）、ここでは、簡単化のためにブースト処理を省略する。換言すると、特許文献２のブースト判定式ｂ[ｉ]を常に「１」とする。
【００４４】
次に、入力された６つのパラメータのゲイン更新前の聴感補正パワーＬj[ｉ，ｋ]を、式（７）〜（１２）に基づいて求める。
【００４５】
【数３】
2019203126.tif 000006
ゲイン調整後の聴感補正パワーＬj[ｉ，ｋ]は、時間周波数平面の点（ｉ，ｋ）の聴感補正パワーＰj[ｉ，ｋ]に、点（ｉ−１，ｋ）で得られたゲインを適用することによって、得られる。
【００４６】
Ｍチャネル、Ｌチャネル、Ｒチャネルのそれぞれで、ミキシング出力の聴感補正パワーＬj[ｉ，ｋ]は、優先音と非優先音の寄与の和として、式（１３）〜（１５）で表される。
【００４７】
【数４】
2019203126.tif 000007
優先音のゲインをΔ1だけ増加させたときの聴感補正パワーをＬ1p[ｉ，ｋ]と定義すると、各チャネルでの優先音のゲイン増加後の聴感補正パワーは、式（１６）〜（１８）で表される。
【００４８】
【数５】
2019203126.tif 000008
ゲイン増加時のミキシング出力の聴感補正パワーをＬp[ｉ，ｋ]とすると、各チャネルでのゲイン増加後のミキシング出力の聴感補正パワーは、式（１９）〜（２１）のようになる。
【００４９】
【数６】
2019203126.tif 000009
一方、非優先音のゲインをΔ2だけ減少させたときの聴感補正パワーをＬ2m[ｉ，ｋ]と定義すると、各チャネルでの非優先音のゲイン減少後の聴感補正パワーは、式（２２）〜（２４）で表される。
【００５０】
【数７】
2019203126.tif 000010
調整後のゲインα1[ｉ，ｋ]を用いたときの優先音に対する聴覚補正パワーをＬ1α[ｉ，ｋ]と定義しておくと、各チャネルでの調整後ゲインα1[ｉ，ｋ]を用いた優先音に対する聴覚補正パワーは、式（２５）〜（２７）で表される。
【００５１】
【数８】
2019203126.tif 000011
次に、ゲインの更新条件について説明する。優先音のためのα1の増加、すなわちα1[ｉ，ｋ]＝(１＋Δ1)α1[ｉ−１，ｋ]の処理が行われるのは、式（２８）〜（３２）の条件がすべて満たされるときである。
【００５２】
【数９】
2019203126.tif 000012
式（２８）と式（２９）は、Ｍチャネルで（すなわちＬチャネルとＲチャネルの加重和で）、優先音と非優先音の双方が可聴であるときにだけα1を増加することを意味する。これにより、例えばボーカルが含まれていないときに、優先音の強調と非優先音の減衰が行われないようにする。式（３０）は、混合音の対数強度（パワー）が優先音と非優先音の対数強度の和を上回らないように働く（「対数強度の和の原理」）。
【００５３】
式（３１）のＴIHは優先音に対するゲインの上限、式（３２）のＴGは、混合パワーの増幅限界である。ＴIHにより、優先音に対するゲインを一定値以下に抑える。ＴGにより、単純加算の場合と異なり、時間周波数平面の局所であっても、パワーの上昇を一定の限界（振幅比でＴG倍）以下に抑える。
【００５４】
次に、α1の減少、すなわちα1[ｉ，ｋ]＝(１＋Δ1)-1α1[ｉ−１，ｋ]の処理が行われるのは、式（３３）〜（３７）のいずれかが成り立ち、かつ式（３８）が成り立つときである。
【００５５】
【数１０】
2019203126.tif 000013
式（３３）と式（３４）は、時間周波数平面上の点（ｉ，ｋ）において、優先音と非優先音の少なくとも一方が可聴レベルを満たさない場合は、優先音のゲインを戻す（減らす）ことを意味する。式（３５）は、混合音の対数強度が、優先音の対数強度と非優先音の対数強度の和を上回っている場合に、優先音のゲインを減らす方向に働く。式（３６）はゲインα１が上限Ｔ１Ｈを超えたときは、その超過を解消する。式（３７）は、単純加算による混合音に所定の倍率（比率）ＴＧを乗算したレベルを超える場合に優先音のゲインを戻す方向に働く。式（３８）は、優先音のゲイン値が１よりも大きいときにのみ減少させる。
【００５６】
次に、非優先音のためのα2の減少、すなわちα2[ｉ，ｋ]＝α2[ｉ−１，ｋ]−Δ2の処理が行われるのは、式（３９）〜（４２）の条件がすべて満たされるときである。
【００５７】
【数１１】
2019203126.tif 000014
ここで、Ｔ2Lは非優先音に対するゲインの下限である。
【００５８】
式（３９）はモノラル（Ｍチャネル）に対する穴埋めの条件、式（４０）はＬチャネルに対する穴埋めの条件、式（４１）はＲチャネルに対する穴埋めの条件をそれぞれ表している。α2を減少できるのは、これら３つの条件がすべて満たされるときに限られ、非優先音が安易に抑制されることが防止される。
【００５９】
最後に、α2の増加、すなわちα2[ｉ，ｋ]＝α2[ｉ−１，ｋ]＋Δ2の処理が行われるのは、式（４３）〜（４５）のいずれかが満たされ、かつ式（４６）が満たされるときである。
【００６０】
【数１２】
2019203126.tif 000015
式（４３）はモノラル（Ｍチャネル）に対する穴埋めの条件、式（４４）はＬチャネルに対する穴埋めの条件、式（４５）はＲチャネルに対する穴埋めの条件をそれぞれ表している。α2を増加できるのは、たとえば、ボーカルのような優先音がなくなったときである。式（４３）〜（４５）の３つの条件のうちのひとつでも崩れそうになると、α2の増加が阻止されて、穴埋め条件の崩壊が防止される。
【００６１】
上述した方法は、ＬチャネルとＲチャネルで共通のゲインマスクを用いることを前提として、Ｍチャネル、Ｌチャネル、及びＲチャネルの３つのチャネルについて穴埋めの原理の条件が満たされることを維持しながらゲインを調整するものである。Ｍチャネルの処理は、Ｌチャネルの出力とＲチャネルの出力の加重和（または線形和）についての、穴埋めの原理に基づくゲイン更新である。
【００６２】
一方で、ＬチャネルとＲチャネルの２つのチャネルについて穴埋めの原理を成立させれば、Ｍチャネルについてもほとんどの場合で穴埋めの原理は成立する場合がある。この場合は式（３９）と式（４３）のモノラルに対する穴埋めの条件を省略することができる。すなわち、Ｌチャネルの出力に関する穴埋めの原理と、Ｒチャネルの出力に関する穴埋めの原理の条件を同時に満たすように、ゲインは決定される。
【００６３】
すなわち、Ｍチャネル、Ｌチャネル、及びＲチャネルのうち、少なくともＬチャネルとＲチャネルで穴埋めの原理の条件が同時に満たされるように、ゲインが生成される構成を採用してもよい。
【００６４】
第１実施形態の構成により、優先音の定位を保ち、観客が一方のスピーカの前に立っている場合でも、非優先音の劣化（欠落感）を感じさせないステレオのスマートミキシングが実現される。
【００６５】
＜第２実施形態＞
図４は、第２実施形態のミキシング装置１Ｂの構成例である。第２実施形態では、ＬチャネルとＲチャネルで独立のゲインマスクを用いる。
【００６６】
第１実施形態では、ＬチャネルとＲチャネルで共通のゲインマスクを用いた。これは音の定位を保つためである。大きなホールでは、反響音や残響も大きいため、Ｌチャネルの音とＲチャネルの音が空間内で混ざり、定位感が薄れる。このため定位の揺れはそれほど問題にならない。
【００６７】
このような条件では、ＬチャネルとＲチャネルで独立のゲインマスクを用いても実用に資する場合がある。ただし、従来のモノラル用のスマートミキシングの処理系を単純に２つ並列に並べるだけでは、やはり不十分であり、改良が必要である。
【００６８】
図４では、ゲインマスクはＬチャネルとＲチャネルで独立に生成されるが、穴埋めの原理に基づく処理を、Ｍチャネルの信号を参照して実施する。第２実施形態の構成は、会場の設計や客席の設定等によって、極端に一方のスピーカに接近した位置で聴く観客を考慮する必要のない場合に有効である。
【００６９】
上述のように、ＬチャネルとＲチャネルの音が会場内で混ざり合って定位感が薄れるならば、穴埋めの原理の適用もモノラル（Ｍチャネル）のみで成立させればよい。穴埋めの原理をモノラルのみに適用することで、穴埋め処理で勘案するエネルギー（またはパワー）をＬチャネルとＲチャネルの間で融通または分配することができる。たとえば、Ｌチャネルにボーカルと楽器の音が入っており、Ｒチャネルは楽器のみの場合、Ｌチャネルの楽器の音（非優先音）を減衰させることはもちろん、Ｒチャネルの楽器音も減衰させることができる。これによって、ボーカルの明瞭度を上げることができる（図３の第一実施形態に対する優位性）。あわせて、ＬチャネルとＲチャネル（つまりセンター）にボーカルがあり、Ｌチャネルに大音量の楽器、Ｒチャネルに小音量の楽器がある場合、ＬチャネルのボーカルをＲチャネルのボーカルよりも強めることができる。このように、より精密なゲイン調整が可能となることから、ボーカルの明瞭度をさらに上げることができる（図２の方式に対する優位性）。
【００７０】
ミキシング装置１Ｂは、Ｌチャネル信号処理部３０Ｌと、Ｒチャネル信号処理部３０Ｒと、加重和平滑部４０を有する。Ｌチャネル信号処理部３０Ｌはゲイン導出部１９Ｌを有し、Ｒチャネル信号処理部３０Ｒはゲイン導出部１９Ｒを有する。
【００７１】
Ｌチャネル信号処理部３０Ｌは、入力された優先音の信号ｘ1L［ｎ］と非優先音の信号ｘ2L［ｎ］に短時間ＦＦＴ等の周波数解析を施して、時間周波数平面上の優先音の信号Ｘ1L[ｉ，ｋ]と非優先音の信号Ｘ2L[ｉ，ｋ]を生成する。優先音の信号Ｘ1L[ｉ，ｋ]と非優先音の信号Ｘ2L[ｉ，ｋ]はＬチャネル信号処理部３０Ｌで平滑化パワーＥ1L[ｉ，ｋ]とＥ2L[ｉ，ｋ]の算出に用いられるとともに、Ｍチャネルを形成する加重和平滑部４０にも入力される。Ｌチャネル信号処理部３０Ｌで算出された平滑化パワーＥ1L[ｉ，ｋ]とＥ2L[ｉ，ｋ]は、ゲイン導出部１９Ｌに入力される。
【００７２】
Ｒチャネル信号処理部３０Ｒは、入力された優先音の信号ｘ1R［ｎ］と非優先音の信号ｘ2R［ｎ］に短時間ＦＦＴ等の周波数解析を施して、時間周波数平面上の優先音の信号Ｘ1R[ｉ，ｋ]と非優先音の信号Ｘ2R[ｉ，ｋ]を生成する。優先音の信号Ｘ1R[ｉ，ｋ]と非優先音の信号Ｘ2R[ｉ，ｋ]はＲチャネル信号処理部３０Ｒで平滑化パワーＥ1R[ｉ，ｋ]とＥ2R[ｉ，ｋ]の算出に用いられるとともに、Ｍチャネルを形成する加重和平滑部４０にも入力される。Ｒチャネル信号処理部３０Ｒで算出された平滑化パワーＥ1R[ｉ，ｋ]とＥ2R[ｉ，ｋ]は、ゲイン導出部１９Ｒに入力される。
【００７３】
加重和平滑部４０は、ＬチャネルとＲチャネルの時間周波数平面上の優先音の信号Ｘ1L[ｉ，ｋ]とＸ1R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ1M[ｉ，ｋ]が生成される。同様に、ＬチャネルとＲチャネルの時間周波数平面上の非優先音の信号Ｘ2L[ｉ，ｋ]とＸ2R[ｉ，ｋ]の平均（または加算値）を用いて、時間方向の平滑化パワーＥ2M[ｉ，ｋ]が生成される。
【００７４】
Ｍチャネルの平滑化パワーＥ1M[ｉ，ｋ]とＥ2M[ｉ，ｋ]は、それぞれＬチャネル信号処理部３０Ｌのゲイン導出部１９Ｌと、Ｒチャネル信号処理部３０Ｒのゲイン導出部１９Ｒに供給される。
【００７５】
ゲイン導出部１９Ｌは、４つの平滑化パワーＥ1L[ｉ，ｋ]、Ｅ2L[ｉ，ｋ]、Ｅ1M[ｉ，ｋ]、及びＥ2M[ｉ，ｋ]を用いて、穴埋めの原理に基づいてゲインマスクα1L[ｉ，ｋ]とα2L[ｉ，ｋ]を生成する。時間周波数上の入力信号Ｘ1L[ｉ，ｋ]とＸ2L[ｉ，ｋ]に、ゲインα1L[ｉ，ｋ]とα2L[ｉ，ｋ]がそれぞれ乗算される。ゲイン適用された優先信号と非優先信号の加算信号（ＹL[ｉ，ｋ]）は、時間領域に復元されて出力される。
【００７６】
ゲイン導出部１９Ｒは、４つの平滑化パワーＥ1R[ｉ，ｋ]、Ｅ2R[ｉ，ｋ]、Ｅ1M[ｉ，ｋ]、及びＥ2M[ｉ，ｋ]を用いて、穴埋めの原理に基づいてゲインマスクα1R[ｉ，ｋ]とα2R[ｉ，ｋ]を生成する。時間周波数上の入力信号Ｘ1R[ｉ，ｋ]とＸ2R[ｉ，ｋ]に、ゲインα1R[ｉ，ｋ]とα2R[ｉ，ｋ]がそれぞれ乗算される。ゲイン適用された優先信号と非優先信号の加算信号（ＹR[ｉ，ｋ]）は、時間領域に復元されて出力される。
【００７７】
以下で、穴埋めの原理に基づくＬチャネルのゲインマスクα1L[ｉ，ｋ]とα2L[ｉ，ｋ]の更新について、より詳細に説明する。Ｒチャネルのゲインマスクα1R[ｉ，ｋ]とα2R[ｉ，ｋ]については、Ｌチャネルと同じ処理なので説明を省略する。
【００７８】
優先音のためのゲインα1Lの増加、すなわちα1L[ｉ，ｋ]＝(１＋Δ1)α1L[ｉ−１，ｋ]の演算を行うのは、式（４７）〜（５１）の条件がすべて満たされるときである。
【００７９】
【数１３】
2019203126.tif 000016
ここで、ＴIHは優先音に対するゲインの上限、ＴGは混合パワーの増幅限界である。
【００８０】
α1Lの減少、すなわちα1L[ｉ，ｋ]＝(１＋Δ1)-1α1L [ｉ−１，ｋ]の演算を行うのは、式（５２）〜（５６）のいずれかが成り立ち、かつ式（５７）が成り立つときである。  
【００８１】
【数１４】
2019203126.tif 000017
非優先音のためのα2Lの減少、すなわちα2L[ｉ，ｋ]＝α2L[ｉ−１，ｋ]−Δ2の処理を行うのは、式（５８）と式（５９）の双方の条件が満たされるときである。
【００８２】
【数１５】
2019203126.tif 000018
ここで、式（５８）はＬチャネルではなく、Ｍチャネル（モノラル）に対する穴埋め条件になっていることに留意されたい。これによって、穴埋めで移動するエネルギーが、ＬチャネルとＲチャネルの間でフレキシブルに分配される。
【００８３】
α2Lの増加、すなわちα2L[ｉ，ｋ]＝α2L[ｉ−１，ｋ]＋Δ2の演算を行うのは、式（６０）と式（６１）の双方の条件が満たされるときである。
【００８４】
【数１６】
2019203126.tif 000019
ここでも、式（６０）がＭチャネル（モノラル）に対する穴埋め条件になっている。穴埋めで移動するエネルギーをＬチャネルとＲチャネルの間で融通しても穴埋めの条件が崩れそうになったときに、α2Lの増加を停止して穴埋め条件の崩壊を防止する。
【００８５】
第２実施形態では、ＬチャネルとＲチャネルで独立したゲインマスクを用いることを前提として、穴埋めの原理についてはＭチャネルだけを参照することで、反射や残響の大きな大ホールでのミキシングに適用することができる。
【００８６】
図５Ａと図５Ｂは、第１実施形態と第２実施形態で行われる穴埋めの原理に基づくゲインの更新フローを示す。第１実施形態と第２実施形態では、ゲインマスクがＬチャネルとＲチャネルの間で共通に用いられるか、独立して生成されるかの違いはあるが、穴埋めの原理に基づくゲイン更新の基本的なフローは同じである。
【００８７】
まず、Ｌチャネル、Ｒチャネル、Ｍチャネルのそれぞれで、優先音と非優先音の時間方向の平滑化パワーＥj[ｉ，ｋ]（ｊ＝１，２）を求める（Ｓ１１）。ここではチャネルを識別する下付き文字を省略する。
【００８８】
Ｌチャネル、Ｒチャネル、Ｍチャネルのそれぞれで、優先音の聴感補正パワーＰ1、非優先音の聴感補正パワーＰ2、更新前のゲインα1を適用した聴感補正パワーＬ1、更新前のゲインα2を適用した聴感補正パワーＬ2、Ｌ1とＬ1を混合したミキシング出力の聴感補正パワーＬ、優先音のゲイン増加時のミキシング出力の聴感補正パワーＬp、及び非優先音のゲイン減少時のミキシング出力の聴感補正パワーＬmを求める（Ｓ１２）。
【００８９】
優先音のゲインα1の増加条件（式（２８）〜（３２）、または式（４７）〜（５１）が満たされているか否かが判断され（Ｓ１３）、満たされている場合は、α1を所定のステップサイズで増大して（Ｓ１４）、Ｓ１５へ進む。α1の増加条件が満たされていない場合は（Ｓ１３でＮＯ）、直接ステップＳ１５へ進む。
【００９０】
次に、α1の減少条件（式（３３）〜（３８）、または式（５２）〜（５７））が満たされているか否かが判断される（Ｓ１５）。α1の減少条件が満たされていない場合は、そのまま図５Ｂの非優先音のゲインα2の処理に移る。α1の減少条件が満たされている場合は（Ｓ１５でＹＥＳ）、α1を所定の割合で減少させ（Ｓ１６）、減少後のα1が１よりも小さくなったか否か（α1＜１）を判断する（Ｓ１７）。α1が１よりも小さい場合は（Ｓ１７でＹＥＳ）、α1＝１に設定して（Ｓ１８）、α2の処理に移る。これにより、α1の減少操作により１未満となったときにα1＝１に回復する。α1が１以上のときは（Ｓ１７でＮＯ）、直接α2の処理に移る。
【００９１】
図５Ｂを参照して、非優先音のゲインα2の減少条件（式（３９）〜（４２）、または式（５８）〜（５９）が満たされているか否かが判断され（Ｓ２１）、満たされている場合はα2を所定のステップサイズで減少して（Ｓ２２）、Ｓ２３へ進む。α2の減少条件が満たされていない場合は（Ｓ２１でＮＯ）、直接ステップＳ２３へ進む。
【００９２】
次に、α2の増加条件（式（４３）〜（４６）、または式（６０）〜（６１））が満たされているか否かが判断される（Ｓ２３）。α2の増加条件が満たされている場合は、α2を所定のステップサイズで増加させ（Ｓ２４）、増加後のα2が１よりも大きくなったか否か（α2＞１）を判断する（Ｓ２５）。α2が１を超える場合は（Ｓ２５でＹＥＳ）、α2＝１に設定し（Ｓ２６）、１を超えない場合は（Ｓ２５でＮＯ）、現在の値を維持する。
【００９３】
ステップＳ２３で、α2の増加条件が満たされていない場合は（Ｓ２３でＮＯ）、そのままステップＳ２５に飛んで、現在のα2が１よりも大きいか否か（α2＞１）を判断する（Ｓ２５）。α2が１を超える場合は（Ｓ２５でＹＥＳ）、α2＝１に設定し（Ｓ２６）、１を超えない場合は、現在の値を維持する。
【００９４】
以上の処理を、時間周波数平面上のすべての点について繰り返し行って（Ｓ２７）、処理を終了する。
【００９５】
本発明によれば、共通ゲインマスクを生成する際に、Ｌチャネル出力に関する穴埋めの原理と、Ｒチャネル出力に関する穴埋めの原理と、Ｌチャネル出力とＲチャネル出力の（加重和）に関する穴埋めの原理のうち、少なくともＬチャネル出力とＲチャネル出力に関する穴埋めの原理の条件を同時に満たすようにゲインが決定される（第１実施形態）。
【００９６】
これにより、定位を維持し、かつ、聴取者が片方のスピーカの前に位置する場合でも、非優先音の劣化（欠落感）を感じさせないステレオのスマートミキシングが実現できる。
【００９７】
ＬチャネルとＲチャネルに個別のゲインマスクを用いる場合は、Ｌチャネル出力とＲチャネル出力の加重和（すなわちＭチャネル）に関する穴埋めの原理が満たされるように、ゲインが決定される（第２実施形態）。
【００９８】
これにより、ＬチャネルとＲチャネルの音が強く混合されるホール等において、ＬチャネルとＲチャネルで独立したゲインマスクでより精密なゲイン調整をすることができる。さらに、穴埋めの原理をモノラルで適用することで、優先音をより明瞭に聴かせることのできるステレオのスマートミキシングが実現される。
【００９９】
実施形態のミキシング装置１Ａ及び１Ｂは、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）などのロジックデバイスで実現可能であるが、ミキシングプログラムをプロセッサに実行させることによっても実現可能である。
【０１００】
本発明の構成と手法は、コンサート会場やレコーディングスタジオにおける業務用ミキシング装置だけではなく、アマチュア用のミキサー、ＤＡＷ（Digital Audio Workstation）、スマートフォン用のアプリケーション等のステレオ再生にも応用可能である。
【０１０１】
この出願は、２０１８年４月１９日に出願された日本国特許出願第２０１８−０８０６７１号に基づき、その優先権を主張するものであり、その全内容は本件出願中に含まれる。
【符号の説明】
【０１０２】
１、１Ａ、１Ｂ  ミキシング装置
１０Ｌ、３０Ｌ  Ｌチャネル信号処理部
１０Ｒ、３０Ｒ  Ｒチャネル信号処理部
１９、１９Ｌ、１９Ｒ  ゲイン導出部
２０  ゲインマスク生成部
４０  加重和平滑部
【図１】
2019203126.tif 000020
【図２】
2019203126.tif 000021
【図３】
2019203126.tif 000022
【図４】
2019203126.tif 000023
【図５Ａ】
2019203126.tif 000024
【図５Ｂ】
2019203126.tif 000025
【国際調査報告】
2019203126.tif 000026
2019203126.tif 000027
2019203126.tif 000028
2019203126.tif 000029