(57)【要約】【課題】チャンネル数の変換後にも聴き取りやすい音声信号を出力するチャンネル数変換装置およびプログラムを提供する。【解決手段】フォーマット変換部が、変換前マルチチャンネルオーディオ信号のフォーマットを変換し、変換前マルチチャンネルオーディオ信号とは異なるフォーマットを有する変換後マルチチャンネルオーディオ信号を出力する。第１分析部および第２分析部は、それぞれ、変換前後のマルチチャンネルオーディオ信号に基づいて、信号に含まれるダイアログの聴き取りやすさの指標を求める。改善部は、第１分析部および第２分析部によって求められた指標に基づいて、変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比、またはチャンネル割当を変更する。【選択図】図１
2017212732.tif 000002
【特許請求の範囲】
【請求項１】
入力される変換前マルチチャンネルオーディオ信号のフォーマットを変換し、前記変換前マルチチャンネルオーディオ信号とは異なるフォーマットを有する変換後マルチチャンネルオーディオ信号を出力するフォーマット変換部と、
前記変換前マルチチャンネルオーディオ信号に基づいて、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第１分析部と、
前記変換後マルチチャンネルオーディオ信号に基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第２分析部と、
前記第１分析部によって求められた前記変換前マルチチャンネルオーディオ信号の聴き取りやすさの指標と、前記第２分析部によって求められた前記変換後マルチチャンネルオーディオ信号の聴き取りやすさの指標とに基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比を補正する改善部と、
を具備することを特徴とするチャンネル数変換装置。
【請求項２】
入力される変換前マルチチャンネルオーディオ信号のフォーマットを変換し、前記変換前マルチチャンネルオーディオ信号とは異なるフォーマットを有する変換後マルチチャンネルオーディオ信号を出力するフォーマット変換部と、
前記変換前マルチチャンネルオーディオ信号に基づいて、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第１分析部と、
前記変換後マルチチャンネルオーディオ信号に基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第２分析部と、
前記第１分析部によって求められた前記変換前マルチチャンネルオーディオ信号の聴き取りやすさの指標と、前記第２分析部によって求められた前記変換後マルチチャンネルオーディオ信号の聴き取りやすさの指標とに基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログおよび背景音のチャンネル割当を変更する改善部と、
を具備することを特徴とするチャンネル数変換装置。
【請求項３】
請求項２に記載のチャンネル数変換装置において、
前記改善部は、さらに、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比を補正する、
ことを特徴とするチャンネル数変換装置。
【請求項４】
請求項１から３までのいずれか一項に記載のチャンネル数変換装置において、
前記第１分析部は、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差とを求め、
前記第２分析部は、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差とを求める、
ことを特徴とするチャンネル数変換装置。
【請求項５】
請求項１から４までのいずれか一項に記載のチャンネル数変換装置において、
前記第１分析部は、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差との、それぞれに所定の重み付けをした線形和を求め、
前記第２分析部は、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差との、それぞれに所定の重み付けをした線形和を求める、
ことを特徴とするチャンネル数変換装置。
【請求項６】
請求項１から５までのいずれか一項に記載のチャンネル数変換装置において、
前記第１分析部は、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音のエネルギー重心の上下方向の空間的な重なり度合いを求め、
前記第２分析部は、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音のエネルギー重心の上下方向の空間的な重なり度合いを求める、
ことを特徴とするチャンネル数変換装置。
【請求項７】
請求項１から６までのいずれか一項に記載のチャンネル数変換装置において、
前記第１分析部は、周波数成分ごとに、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求め、
前記第２分析部は、周波数成分ごとに、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求め、
前記改善部は、当該周波数成分ごとに前記変換後マルチチャンネルオーディオ信号を改善する、
ことを特徴とするチャンネル数変換装置。
【請求項８】
コンピューターを、請求項１から７までのいずれか一項に記載のチャンネル数変換装置、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、チャンネル数変換装置およびプログラムに関する。
【背景技術】
【０００２】
近年、マルチチャンネルオーディオが隆興している。マルチチャンネルオーディオには、８Kスーパーハイビジョン２２．２マルチチャンネル音響をはじめとして、１３．１や１１．１など様々なフォーマットが存在している。マルチチャンネルオーディオのさらなる普及のためには、これらのフォーマット間での互換性の確保や、相互変換技術の確立が求められている。
【０００３】
これらのフォーマット間での相互変換は、一般にレンダリング技術に属し、これまで様々な方式が検討されてきた。
その代表例は、固定のダウンミックス係数によるもので、チャンネル間の信号が無相関であることを仮定し、各チャンネルの再生音圧が変換前後で変化しないようにする方式である。非特許文献１には、固定のダウンミックス係数を用いたフォーマット変換について記載されている。
また、信号の相互相関を分析しチャンネル数変換の際に相関に応じて振幅を調整したり、信号の位相関係を分析してチャンネル数変換の際に各チャンネルの位相関係をそろえてからミックスして振幅調整したりする方法も提案されている。非特許文献２には、そのようなダウンミックスの方法が記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「デジタル放送における映像符号化、音声符号化及び多重化方式  標準規格  ＡＲＩＢ  ＳＴＤ−Ｂ３２  ３．５版」，一般社団法人電波産業会，２０１５年（平成２７年）１２月３日
【非特許文献２】J. Vilkamo et al., "Reduction of Spectral Artifacts in Multichannel Downmixing with Adaptive Phase Alignment", Journal of the Audio Engineering Society, Vol. 62, No. 7/8, pp. 516-526 (2014).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１などに記載された、固定のダウンミックス係数を用いる方法は、シンプルでわかりやすい。しかしながら、マルチチャンネルオーディオでは、チャンネル間の信号に相関を持つ場合が少なくなく、この場合、変換で生じるチャンネル間信号の加算時に、相関を持つ成分のみ、信号のレベルが上昇して、音のバランスを崩すことが問題となり得る。
また、従来技術によるダウンミックス方法で、信号の相関を解析しない方法は、信号の種類により周波数特性やレベルの変化が顕著であることが問題となり得る。
また、従来技術によるダウンミックス方法で、非特許文献２などに記載された方法のように信号の相関を見る手法では、周波数特性やレベル変化の補償が可能である。しかしながら、マスキングなどの聴覚特性が反映されないことなどが問題となり得る。
特に、チャンネル数の変換の結果として、ダイアログが聴き取りにくくなることが問題視されている。
【０００６】
本発明は、上記の課題認識に基づいて行なわれたものであり、チャンネル数の変換後にも聴き取りやすい音声信号を出力するチャンネル数変換装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
［１］上記の課題を解決するため、本発明の一態様によるチャンネル数変換装置は、入力される変換前マルチチャンネルオーディオ信号のフォーマットを変換し、前記変換前マルチチャンネルオーディオ信号とは異なるフォーマットを有する変換後マルチチャンネルオーディオ信号を出力するフォーマット変換部と、前記変換前マルチチャンネルオーディオ信号に基づいて、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第１分析部と、前記変換後マルチチャンネルオーディオ信号に基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第２分析部と、前記第１分析部によって求められた前記変換前マルチチャンネルオーディオ信号の聴き取りやすさの指標と、前記第２分析部によって求められた前記変換後マルチチャンネルオーディオ信号の聴き取りやすさの指標とに基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比を補正する改善部と、を具備することを特徴とする。
【０００８】
［２］また、本発明の一態様によるチャンネル数変換装置は、入力される変換前マルチチャンネルオーディオ信号のフォーマットを変換し、前記変換前マルチチャンネルオーディオ信号とは異なるフォーマットを有する変換後マルチチャンネルオーディオ信号を出力するフォーマット変換部と、前記変換前マルチチャンネルオーディオ信号に基づいて、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第１分析部と、前記変換後マルチチャンネルオーディオ信号に基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求める第２分析部と、前記第１分析部によって求められた前記変換前マルチチャンネルオーディオ信号の聴き取りやすさの指標と、前記第２分析部によって求められた前記変換後マルチチャンネルオーディオ信号の聴き取りやすさの指標とに基づいて、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログおよび背景音のチャンネル割当を変更する改善部と、を具備することを特徴とする。
【０００９】
［３］また、本発明の一態様は、上記のチャンネル数変換装置において、前記改善部は、さらに、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比を補正する、ことを特徴とする。
【００１０】
［４］また、本発明の一態様は、上記のチャンネル数変換装置において、前記第１分析部は、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差とを求め、前記第２分析部は、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差とを求める、ことを特徴とする。
【００１１】
［５］また、本発明の一態様は、上記のチャンネル数変換装置において、前記第１分析部は、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差との、それぞれに所定の重み付けをした線形和を求め、前記第２分析部は、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音とのレベル比と、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音の両耳マスキングレベル差との、それぞれに所定の重み付けをした線形和を求める、ことを特徴とする。
【００１２】
［６］また、本発明の一態様は、上記のチャンネル数変換装置において、前記第１分析部は、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログと背景音のエネルギー重心の上下方向の空間的な重なり度合いを求め、前記第２分析部は、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標として、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログと背景音のエネルギー重心の上下方向の空間的な重なり度合いを求める、ことを特徴とする。
【００１３】
［７］また、本発明の一態様は、上記のチャンネル数変換装置において、前記第１分析部は、周波数成分ごとに、前記変換前マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求め、前記第２分析部は、周波数成分ごとに、前記変換後マルチチャンネルオーディオ信号に含まれるダイアログの聴き取りやすさの指標を求め、前記改善部は、当該周波数成分ごとに前記変換後マルチチャンネルオーディオ信号を改善する、ことを特徴とする。
【００１４】
［８］また、本発明の一態様は、コンピューターを、上記の［１］から［７］までのいずれかに記載のチャンネル数変換装置、として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、マルチチャンネルオーディオの異なるフォーマット間の変換を、ダイアログと背景音のレベルバランスや両耳のマスキング効果を考慮しながら、高品質に行うこと可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態によるチャンネル数変換装置の概略機能構成を示すブロック図である。
【図２】同実施形態においてオーディビリティを分析するための分析部の概略機能構成を示すブロック図である。
【図３】同実施形態において使用される両耳マスキングレベル差関数の例を示すグラフである。
【図４】同実施形態による分析部が算出する、ＳＮ比と両耳マスキングレベル差とオーディビリティ係数との関係を表したグラフである。
【図５】同実施形態による分析部によって、ＳＮ比および両耳マスキングレベル差の線形和として算出されるオーディビリティ係数のグラフである。
【図６】同実施形態によるチャンネル数変換処理の手順を示すフローチャートである。
【図７】同実施形態の変形例おける、オーディビリティを分析するための分析部の概略機能構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
次に、本発明の一実施形態について、図面を参照しながら説明する。
チャンネル数変換装置１は、マルチチャンネルオーディオ信号を入力する。マルチチャンネルオーディオ信号を、以下では、「ＭＣＡ信号」と略称する場合がある。なお、ＭＣＡ信号のフォーマットに特に限定はなく、任意である。
図１は、本実施形態によるチャンネル数変換装置の概略機能構成を示すブロック図である。図示するように、チャンネル数変換装置１は、変換前ＭＣＡ信号取得部１１と、信号分離部１２と、分析部１３（第１分析部）と、フォーマット変換部２０と、変換後ＭＣＡ信号取得部２１と、信号分離部２２と、分析部２３（第２分析部）と、改善部３１とを含んで構成される。
チャンネル数変換装置１は、変換前ＭＣＡ信号取得部１１が、入力されるＭＣＡ信号（フォーマット変換前）を取得し、フォーマット変換部２０が、変換前ＭＣＡ信号のフォーマットを変換し、変換前ＭＣＡ信号とは異なるフォーマットを有する変換後ＭＣＡ信号を出力する。第１分析部１３および第２分析部２３が、それぞれ、変換前後のＭＣＡ信号に基づいて、信号に含まれるダイアログの聴き取りやすさの指標を求め、第１分析部１３および第２分析部２３によって求められた指標に基づいて、改善部が、変換後ＭＣＡ信号に含まれるダイアログと背景音とのレベル比、またはチャンネル割当を変更（補正）する。
【００１８】
変換前ＭＣＡ信号取得部１１は、チャンネル数変換のために入力されるＭＣＡ信号（フォーマット変換前）を取得する。
信号分離部１２は、変換前ＭＣＡ信号取得部１１が取得した、フォーマット変換前のＭＣＡ信号をダイアログ信号と背景音信号とに分離する。信号分離部１２は、分離して得られるダイアログ信号と背景音信号とを出力し、分析部１３に出力する。ここで、ダイアログと背景音との分離に用いるアルゴリズムは、例えば、既存技術による任意の手法を用いて、ＭＣＡ信号から背景音信号のみ抽出することが可能である。なお、オブジェクト音響システムの場合や、もしくはチャンネルごとにダイアログと背景音がチャンネル別に録音されている場合などでは、信号分離部１２を通さずにダイアログと背景音とを分離してもよい。
【００１９】
分析部１３は、信号分離部１２から渡される、フォーマット変換前のダイアログ信号および背景音信号を分析し、そのオーディビリティの情報を出力する。言い換えれば、分析部１３は、変換前ＭＣＡ信号に基づいて、変換前ＭＣＡ信号に含まれるダイアログの聴き取りやすさの指標を求める。ここで、聴き取りやすさの指標とは、ダイアログを信号として背景音を雑音としたときのＳＮ比（両信号のレベル比）や、両耳マスキングレベル差（両耳マスキングレベル比）や、ダイアログ信号と背景音信号の各重心の上下方向の差（重なり具合）である。また、これらの指標に基づいて定義されるオーディビリティ係数を指標としてもよい。オーディビリティ係数の一例としては、上記のＳＮ比や、両耳マスキングレベル差や、ダイアログ信号と背景音信号の各重心の上下方向の差（重なり具合）に関して、所定の重み付けにより線形和を取ったものを用いることができる。
これらの指標の詳細については、後で説明する。
なお、上の説明において、両耳マスキングレベル比の対数を取ったものが、両耳マスキングレベル差である。
【００２０】
フォーマット変換部２０は、変換前ＭＣＡ信号取得部１１から渡されるＭＣＡ信号のフォーマットを変換し、変換後のＭＣＡ信号を変換後ＭＣＡ信号取得部２１に渡す。
すなわち、入力される変換前ＭＣＡ信号のフォーマットを変換し、変換前ＭＣＡ信号とは異なるフォーマットを有する変換後ＭＣＡ信号を出力する。ここで「フォーマット」とは、ＭＣＡ信号のチャンネル数や、各チャンネルの方向の配置等を意味する。各チャンネルの方向は、例えば、聴取位置を基準として、例えば、水平角および仰角・俯角の極座標で表される。なお、ここで、フォーマット変換の手法自体は、様々な既存技術の中から任意のものを適用可能である。
【００２１】
変換後ＭＣＡ信号取得部２１は、フォーマット変換部２０からＭＣＡ信号（フォーマット変換後）を取得する。
信号分離部２２は、変換後ＭＣＡ信号取得部２１が取得した、フォーマット変換後のＭＣＡ信号を再度ダイアログ信号と背景音信号とに分離する。信号分離部２２は、分離して得られるダイアログ信号と背景音信号とを出力し、分析部２３に供給する。ダイアログと背景音との分離に用いるアルゴリズムについては、信号分離部１２の説明において記載した通り既存技術による任意の手法を用いることができる。
分析部２３は、信号分離部２２から渡される、フォーマット変換後のダイアログ信号および背景音信号を分析し、そのオーディビリティの情報を出力する。言い換えれば、分析部２３は、変換後ＭＣＡ信号に基づいて、変換後ＭＣＡ信号に含まれるダイアログの聴き取りやすさの指標を求める。ここでの指標も、分析部１３において説明した指標と同様である。
【００２２】
改善部３１は、分析部１３および２３から、オーディビリティの情報を入力し、フォーマット変換部２０における変換パラメーターを変更するよう指示することにより、変換後ＭＣＡ信号のオーディビリティである聴き取りやすさを改善する。
つまり、改善部３１は、分析部１３および分析部２３によりそれぞれ求められた聴き取りやすさの指標に基づいて、変換後ＭＣＡ信号に含まれるダイアログと背景音とのレベル比を補正する。また、改善部３１が、上記レベル比を補正する代わりに、変換後ＭＣＡ信号に含まれるダイアログおよび背景音のチャンネル割当を変更（補正）するようにしてもよい。また、改善部３１が、上記のダイアログと背景音とのレベル比と、上記のダイアログおよび背景音のチャンネル割当との両方を補正するようにしてもよい。
なお、改善部３１による改善処理の詳細については、後述する。
【００２３】
次に、オーディビリティを分析する方法の詳細について説明する。分析部１３および分析部２３は、ダイアログ信号と背景音信号の２系統の信号を入力し、オーディビリティの情報を出力する。
図２は、オーディビリティを分析するための分析部１３の概略機能構成を示すブロック図である。なお、分析部１３と分析部２３との処理は、入力される信号がフォーマット変換前の信号であるか変換後信号であるかが異なる。なお図２では、分析部１３について説明するが、分析部２３も、チャンネル数は異なるものの分析部１３と同様の機能構成を有する。
【００２４】
図示するように、分析部１３は、ダイアログ信号取得部５１と、ＨＲＴＦ重畳部５２と、加算部５３Ｌおよび５３Ｒと、相互相関係数計算部５４と、上下方向重心解析部５５と、背景音信号取得部６１と、ＨＲＴＦ重畳部６２と、加算部６３Ｌおよび６３Ｒと、相互相関係数計算部６４と、上下方向重心解析部６５と、ダイアログ／背景音レベル差演算部７１と、両耳マスキングレベル差演算部７２と、重心差演算部７３と、オーディビリティ演算部７７とを含んで構成される。
【００２５】
ダイアログ信号取得部５１は、入力されるダイアログ信号を取得する。
背景音信号取得部６１は、入力される背景音信号を取得する。
これらの信号を基に、分析部１３は、ダイアログ／背景音のＳＮ比の分析と、ダイアログと背景音の両耳マスキング効果の分析と、エネルギー重心の上下方向差の分析とを行い、最終的にオーディビリティを演算する。
【００２６】
以下で、各分析について順に説明する。
（１）ダイアログ／背景音のＳＮ比の分析
ダイアログ／背景音レベル差演算部７１は、ダイアログ信号と背景音信号のレベル比であるＳＮ比（信号対雑音比，signal-to-noise ratio）を求める。なお、ダイアログ／背景音レベル差演算部７１は、ダイアログ信号を信号（Ｓ）とし、背景音信号を雑音（Ｎ）としたときのＳＮ比を求める。具体的には、図示する通り、ダイアログ／背景音レベル差演算部７１は、ダイアログ信号取得部５１から得られるダイアログ信号と、背景音信号取得部６１から得られる背景音信号とから、上記のＳＮ比を求める。なお、ダイアログ／背景音レベル差演算部７１による処理の変形例については、後述する。ダイアログ／背景音のＳＮ比は、ダイアログの聴き取りやすさを示す指標となる。ダイアログ／背景音のＳＮ比が大きいほど、よりダイアログが聴き取りやすく、つまりオーディビリティが高い。そして、ダイアログ／背景音のＳＮ比が小さいほど、よりダイアログが聴き取りにくく、つまりオーディビリティが低い。
【００２７】
（２）ダイアログと背景音の両耳マスキング効果の分析
ＨＲＴＦ重畳部５２は、ダイアログ成分の各チャンネルの信号に対し、各チャンネルの再生方向に対応した頭部伝達関数（Head-Related Transfer Function）の畳み込み（重畳）を行う。図中のＨＲＴＦ重畳部５２において、ＦＬ（フロントレフト）、ＦＲ（フロントライト）、ＦＣ（フロントセンター）、ＢｔＦＲ（ボトムフロントライト）等は、チャンネルの再生方向を表す略号である。例えば、２２．２チャンネルのフォーマットの場合、上層のチャンネルは、ＴｐＦＬ，ＴｐＦＲ，ＴｐＦＣ，ＴｐＣ，ＴｐＢＬ，ＴｐＢＲ，ＴｐＳｉＬ，ＴｐＳｉＲ，ＴｐＢＣの９チャンネルである。また、中層のチャンネルは、ＦＬ，ＦＲ，ＦＣ，ＢＬ，ＢＲ，ＦＬｃ，ＦＲｃ，ＢＣ，ＳｉＬ，ＳｉＲの１０チャンネルである。また、下層のチャンネルは、ＢｔＦＣ，ＢｔＦＬ，ＢｔＦＲの３チャンネルである。低域効果チャンネルは，ＬＦＥ１，ＬＦＥ２の２チャンネルである。
加算部５３Ｌおよび５３Ｒは、ＨＲＴＦ重畳部５２においてＨＲＴＦを重畳した信号の、それぞれ、左チャンネルおよび右チャンネルの和を取る。つまり、加算部５３Ｌおよび５３Ｒは、受聴位置におけるバイノーラル信号を生成し、出力する。
相互相関係数計算部５４は、加算部５３Ｌおよび５３Ｒから出力されるバイノーラル信号に基づき、左および右の両耳間の相互相関係数を計算する。
【００２８】
ＨＲＴＦ重畳部６２と、加算部６３Ｌおよび６３Ｒと、相互相関係数計算部６４は、それぞれ、上述したＨＲＴＦ重畳部５２と、加算部５３Ｌおよび５３Ｒと、相互相関係数計算部５４と同様の処理を、背景音信号を基に行う。
つまり、ＨＲＴＦ重畳部６２は、背景音成分の各チャンネルの信号に対し、各チャンネルの再生方向に対応した頭部伝達関数の畳み込みを行う。
また、加算部６３Ｌおよび６３Ｒは、ＨＲＴＦ重畳部６２においてＨＲＴＦを重畳した信号の、それぞれ、左チャンネルおよび右チャンネルの和を取る。つまり、加算部６３Ｌおよび６３Ｒは、背景音に関して、受聴位置におけるバイノーラル信号を生成する。
相互相関係数計算部６４は、加算部５３Ｌおよび５３Ｒから出力されるバイノーラル信号に基づき、背景音に関して、左および右の両耳間の相互相関係数を計算する。
【００２９】
相互相関係数計算部５４および６４がそれぞれ計算した相互相関係数は、両耳マスキングレベル差演算部７２に入力される。
両耳マスキングレベル差演算部７２は、相互相関係数計算部５４および６４から渡されるそれぞれの相互相関係数に基づいて、両耳マスキングレベル差を計算する。
【００３０】
両耳マスキングレベル差とは、マスクする音とマスクされる音の両耳における相関係数（以下、両耳相互相関係数もしくは両耳相関）がともに１、つまり同相である場合のマスキングレベルを基準として、マスクする音やされる音が両耳間で異なる場合にマスキングが起きにくくなる度合いをレベルで示したものである。なお、マスクする音とマスクされる音の両耳相関がともに１である状態を、Ｎ０Ｓ０という。
両耳マスキングレベル差に関しては、代表値が知られている。例えば、雑音である背景音が無相関になった場合（この状態をＮｕＳ０という）や、雑音である背景音が逆相になった場合（この状態をＮπＳ０という）など、両耳相関が０や−１などの典型的なケースについては代表値が知られている。しかしながら、両耳相関が連続的に変化する場合の具体的な値は知られていない。
【００３１】
ここでは、ダイアログ信号の両耳相関が１である場合を考える。
図３は、ダイアログ信号の両耳相関が１である場合の、両耳マスキングレベル差関数ｆ（ｒ）と、その一例である関数ｌ（ｒ）を示すグラフである。なお、ここで、ｒは、背景音信号の両耳相互相関係数である。同図において、横軸は両耳相互相関係数ｒであり、縦軸は両耳マスキングレベル差である。
同図では、ｆ（ｒ）を破線で示している。関数ｆ（ｒ）が満たすべき条件は、次の通りである。即ち、上記の背景音信号の相関係数が−１および０である場合の、両耳マスキングレベル差を、それぞれ、Ａ（ｄＢ，デシベル）およびＢ（ｄＢ）とするとき、下の式（１）で表される。
【００３２】
【数１】
2017212732.tif 000003
【００３３】
なお、ｒ＝−１でｆ（ｒ）＝Ａ（ｄＢ）のときは、状態ＮπＳ０に相当する。また、ｒ＝０でｆ（ｒ）＝Ｂ（ｄＢ）のときは、状態ＮｕＳ０に相当する。
式（１）を満たす関数ｆ（ｒ）として、様々な関数を考え得るが、例えば式（１）に現れる３点の間を線形近似した関数ｌ（ｒ）を用いることができる。関数ｌ（ｒ）は、次の式（２）で表される。
【００３４】
【数２】
2017212732.tif 000004
【００３５】
以上によりダイアログと背景音の両耳マスキングレベル差を求めることができる。
ここで、両耳マスキングレベル差は、ダイアログと背景音の空間的な広がりの違いが聴き取りやすさに及ぼす影響を示す指標となる。両耳マスキングレベル差が大きいほど、よりダイアログが聴き取りやすく、つまりオーディビリティが高い。また、両耳マスキングレベル差が小さいほど、ダイアログは聴き取りにくく、つまりオーディビリティが低い。なお、上記のＡおよびＢの値の具体例としては、例えば、Ａ＝１６（ｄＢ），Ｂ＝４（ｄＢ）などといった値を用いる。下記の参考文献に、この値の具体例が記載されている。
［参考文献：B. C. Moore, An introduction to the psychology of hearing, Forth edition, Academic press, pp. 235-239(1997).］
【００３６】
（３）エネルギー重心の上下方向差の分析
上下方向重心解析部５５は、ダイアログ信号取得部５１から取得したダイアログ信号に基づき、ダイアログ信号の上下方向の重心を求める。具体的には、上下方向重心解析部５５は、まず、ダイアログ信号の各チャンネルのエネルギーを計算する。そして、上下方向重心解析部５５は、それらの各チャンネルの方向の情報を予め記憶しておいた記憶部（不図示）から読み出し、その仰角または俯角を取得する。そして、上下方向重心解析部５５は、上で計算した各チャンネルのエネルギーで重み付けをして、仰角または俯角の和を取ることにより、ダイアログ信号の重心を求める。上下方向重心解析部５５が求めた重心は、仰角または俯角の数値で表される。
【００３７】
上下方向重心解析部６５は、背景音信号取得部６１から取得した背景音信号に基づき、上記の上下方向重心解析部５５と同様の処理手順により、背景音信号の上下方向の重心を求める。つまり、上下方向重心解析部６５は、まず、背景音信号の各チャンネルのエネルギーを計算する。そして、上下方向重心解析部６５は、それらの各チャンネルの方向の情報を記憶部（不図示）から読み出し、その仰角または俯角を取得する。そして、上下方向重心解析部６５は、上で計算した各チャンネルのエネルギーで重み付けをして、仰角または俯角の和を取ることにより、背景音信号の重心を求める。上下方向重心解析部６５が求めた重心は、仰角または俯角の数値で表される。
【００３８】
重心差演算部７３は、上下方向重心解析部５５および６５がそれぞれ求めたエネルギー重心に基づいて、これら二者の上下方向の重心差を求める。重心差は、ダイアログ信号の重心の方向（仰角または俯角）と背景音信号の重心の方向（仰角または俯角）との差の絶対値として算出される。この上下方向の重心差は、ダイアログと背景音との上下方向の空間的な重なり度合いを表すものである。
ダイアログ信号の重心と背景音信号の重心との差は、ダイアログ信号と背景音信号の上下方向への空間的な広がりを表すものであり、聴き取りやすさに影響する重心差が大きいほど、よりダイアログが聴き取りやすく、つまりオーディビリティが高い。また、重心差が小さいほど、ダイアログは聴き取りにくく、つまりオーディビリティが低い。
【００３９】
オーディビリティ演算部７７は、ダイアログ／背景音レベル差演算部７１が算出したＳＮ比を取得する。また、オーディビリティ演算部７７は、両耳マスキングレベル差演算部７２が算出した両耳マスキングレベル比を取得する。また、オーディビリティ演算部７７は、重心差演算部７３が算出した上下方向の重心差を取得する。そして、オーディビリティ演算部７７は、これらの、ＳＮ比と、両耳マスキングレベル比と、重心差とに基づいて、オーディビリティを算出する。なお、ＳＮ比が増加することによりオーディビリティが増加し、両耳マスキングレベル比が増加することによりオーティビリティが増加し、また、重心差が増加することによりオーディビリティが増加する。これにより、オーディビリティ係数を、ＳＮ比と、両耳マスキングレベル比と、重心差との、それぞれの増加関数として定義すればよい。あるいは、重心差を用いず、オーディビリティ係数を、ＳＮ比と、両耳マスキングレベル比との、それぞれの増加関数として定義すればよい。
【００４０】
図４は、重心差を一定としたときの、ＳＮ比と両耳マスキングレベル差とオーディビリティ係数との関係を表したグラフである。同図において、横軸が両耳マスキングレベル差であり、縦軸がＳＮ比である。そして、これら両軸が成す平面に描かれているのが、オーディビリティ係数の値が同一である点の軌跡（等高線）である。同図では、オーディビリティ係数が２ｄＢ、４ｄＢ、６ｄＢ、８ｄＢ、１０ｄＢの各線が描かれている。
なお、重心差を用いずにオーディビリティ係数を定義することも可能である。この場合にも、ＳＮ比と両耳マスキングレベル差とオーディビリティ係数との関係を表したグラフとして、図４と同様のグラフが得られる。
【００４１】
図４に示したグラフは、両耳マスキングレベル差とＳＮ比とに対して、オーディビリティ係数が非線形な要素を有していたが、ＳＮ比と、両耳マスキングレベル比と、重心差との線形比としてオーディビリティ係数を定義しても良い。例えば、オーディビリティ演算部７７が算出するオーディビリティ係数を、下の式（３）のように定義することができる。
【００４２】
【数３】
2017212732.tif 000005
【００４３】
式（３）において、ａはオーディビリティ係数である。また、ＳＮＲは、ＳＮ比である。また、ＭＬＲは、両耳マスキングレベル比である。また、ＶＤＤは、上下方向の重心差である。そして、α、β、γのそれぞれは、予め定められた正定数である。ただし、γを０としてもよい。なお、γを０とするとき、オーディビリティ係数ａはＶＤＤの値に依存せず、αとＳＮＲとβとＭＬＲの各値のみによって定まる。
【００４４】
図５は、重心差を一定としたときの、ＳＮ比および両耳マスキングレベル比と、オーディビリティ係数との関係を示すグラフである。同図において、横軸は両耳マスキングレベル差であり、縦軸はＳＮ比である。そして、図４と同様に、これら両軸が成す平面上に、オーディビリティ係数の値が同一である点の軌跡（等高線）が描かれている。なお、同図では、オーディビリティ係数は、重心差を一定としたときには、ＳＮ比と両耳マスキングレベル比との線形和として定義されている。なお、図５の中の点Ａ０，Ａ１，Ａ２，Ａ３，Ｂについては、後述する。
【００４５】
オーディビリティ演算部７７は、上に記したいずれかの方法でオーディビリティ係数を計算し、その結果を出力する。
つまり、分析部１３および２３内のオーディビリティ演算部７７が、それぞれ、変換前の信号のオーディビリティ係数および変換後の信号のオーディビリティ係数を、出力し、改善部３１に渡す。
【００４６】
ここで、改善部３１による処理について、さらに詳細に説明する。フォーマット変換（チャンネル数の変換）では、一般に、ダイアログ信号と背景音のバランスが崩れることが多い。改善部３１は、このバランスの崩れを補償し、聴き取りやすさを改善する。
【００４７】
図５における点Ｂは、一例として、変換前ＭＣＡ信号によるＳＮ比と両耳マスキングレベル差とによって定まる点である。そして、この点Ｂに関して算出されたオーディビリティ係数は８ｄＢである。また、点Ａ０は、変換後ＭＣＡ信号によるＳＮ比と両耳マスキングレベル差とによって定まる点である。そして、この点Ａ０に関して算出されたオーディビリティ係数は６ｄＢである。つまり、フォーマット変換部２０によるチャンネル数の変換によって、オーディビリティ係数が２ｄＢ低くなっている。つまり、チャンネル数の変換によって、音声が聴き取りにくくなっている。オーディビリティ係数を基準とすると、点Ａ０にある状態から、聴き取りやすさを変換前の状態に戻すためには、８ｄＢの線上（等高線上）のどこかの位置に、両耳マスキングレベル差とＳＮ比とを変えればよい。
【００４８】
図５において、点Ａ０の位置から、両耳マスキングレベル差とＳＮ比とを移動させることを考える。例えば、オーディビリティ係数が８ｄＢである線上の、点Ａ１，Ａ２，Ａ３等に移動させることを考える。例えば、ＳＮ比の変更のみによってオーディビリティ係数を８ｄＢにするためには、点Ａ０の位置から、真上の点Ａ１の位置に移動させる。ＳＮ比のみを向上させるためには、例えば、フォーマット変換部２０における変換で、ダイアログのエネルギーのみを上げればよい。両耳マスキングレベル差の変更のみによってオーディビリティ係数を８ｄＢにするためには、点Ａ０の位置から、右方の点Ａ３の位置に移動させる。両耳マスキングレベル差のみを向上させるためには、背景音のフォーマット変換後のチャンネル割り当てを変化させればよい。また、上記のように背景音のチャンネル割り当てを変化させることによってＳＮ比が同時に変化する場合もある。このような場合には、点Ａ０の位置から、斜め右上の点Ａ２の位置に移動するように調整すればよい。
【００４９】
なお、上では、上下方向の重心差を固定させた状態でオーディビリティ係数の改善を図った。図５に示した両耳マスキングレベル差とＳＮ比の２軸に加えて、上下方向の重心差を変更するような改善も行う様にしてもよい。具体的には、上下方向の重心差がより遠くなるようにダイアログ信号のチャンネル配置と背景音信号のチャンネル配置とを変えると、オーディビリティ係数が上がる。また、上下方向の重心差がより近くなるようにダイアログ信号のチャンネル配置と背景音信号のチャンネル配置とを変えると、オーディビリティ係数が下がる。この場合、両耳マスキングレベル差とＳＮ比と上下方向の重心差との３軸が成す３次元空間内で、点を動かすような操作を、改善部３１は行う。
【００５０】
改善部３１は、フォーマット変換部２０における変換のパラメーターをどのように変えれば、ＳＮ比、両耳マスキングレベル比、上下方向の重心差がどのように（どちらの方向に）変化するかを、知識情報として予め保持しておく。改善部３１は、必要に応じてその知識情報を利用して、変換後ＭＣＡ信号のオーディビリティを改善する。
なお、改善部３１は、改善の結果について再度オーディビリティ係数の情報を取得するようにしてもよい。これにより、繰り返し、改善を行うことができる。また、オーディビリティ係数を評価値として用いて、所望のオーディビリティ係数が得られるまで繰り返し改善を行う様にしてもよい。
【００５１】
次に、チャンネル数変換装置１の全体的な処理の手順について説明する。
図６は、チャンネル数変換装置１の全体的な処理手順を示すフローチャートである。以下、このフローチャートに沿って説明する。
【００５２】
まずステップＳ１において、分析部１３は、変換前ＭＣＡ信号の、所定の時間区間について分析を行う。分析の具体的な内容は、既に説明した通りである。このステップの処理の結果として、分析部１３は、変換前ＭＣＡ信号のオーディビリティ係数を出力し、改善部３１に渡す。
次にステップＳ２において、フォーマット変換部２０は、変換前ＭＣＡ信号のフォーマットを変換し、変換後ＭＣＡ信号を出力する。つまり、フォーマット変換部２０は、マルチチャンネル音声信号のチャンネル数を変換する。
次にステップＳ３において、分析部２３は、変換後ＭＣＡ信号の、所定の時間区間について分析を行う。ステップＳ１において分析対象とした時間区間と、本ステップにおいて分析対象とする時間区間とは、対応するものである。分析の具体的な内容は、既に説明した通りである。このステップの処理の結果として、分析部２３は、変換後ＭＣＡ信号のオーディビリティ係数を出力し、改善部３１に渡す。
【００５３】
次にステップＳ４において、改善部３１は、当該時間区間についての改善処理の終了条件が満たされているか否かを判定する。終了条件が満たされていれば（ステップＳ４：ＹＥＳ）、ステップＳ６に進む。終了条件が満たされていなければ（ステップＳ４：ＮＯ）、ステップＳ５に進む。
ここで、終了条件は、例えば、（条件１）変換後ＭＣＡ信号のオーディビリティ係数が目標値を上回っている、というものである。なお、目標値は、例えば、当該時間区間における変換前ＭＣＡ信号のオーディビリティ係数である。あるいは、変換前ＭＣＡ信号のオーディビリティ係数から所定の値を加減した数値を目標値としてもよい。
あるいは、条件１の代わりに、（条件２）変換後ＭＣＡ信号のオーディビリティ係数と目標値との差の絶対値が、所定の定数δ以下である（δ＞０）、という終了条件を用いてもよい。
あるいは、上記の（条件１）または（条件２）を用いながら、（条件３）当該時間区間に関して行った改善処理の回数がＮ回（Ｎは正整数）に到達したときに、強制的に終了条件を「真」としてもよい。この条件３は、当該時間区間に関して、ステップＳ２〜Ｓ３〜Ｓ４〜Ｓ５のループを繰り返す回数に上限を設ける作用を有する。
なお、ここで挙げた終了条件以外の終了条件を用いるようにしてもよい。
【００５４】
次にステップＳ５に進んだ場合には、同ステップにおいて、改善部３１は、改善処理を行う。具体的には、改善部３１は、変換前ＭＣＡ信号と変換後ＭＣＡ信号との間でＳＮ比や両耳マスキングレベル比を比較して、変換後ＭＣＡ信号のオーディビリティを改善する方向に、フォーマット変換部２０のパラメーター設定を変更するよう指示する。ここでの「パラメーター設定」とは、変換前ＭＣＡ信号を変換後ＭＣＡ信号に変換する際の、チャンネルごとの重み付け値の設定のことである。
本ステップの処理の終了後、ステップＳ２に戻り、改善処理後の設定で、当該時間区間の信号のフォーマット変換を行う。
【００５５】
ステップＳ４からステップＳ６に進んだ場合、ステップＳ６において、変換後ＭＣＡ信号取得部２１は、現在の時間区間の変換後ＭＣＡ信号を外部に出力する。ここで出力される変換後ＭＣＡ信号は、終了条件を満たすまで改善処理が行われた信号である。
【００５６】
次にステップＳ７において、入力されている変換前ＭＣＡ信号に、次の時間区間が存在するか否かを判定する。次の時間区間の信号が存在する場合（ステップＳ７：ＹＥＳ）、次の時間区間の処理をするためにステップＳ１に戻って、処理を継続する。次の時間区間の信号が存在しない場合（ステップＳ７：ＮＯ）、つまり、入力される変換前ＭＣＡ信号が終了した場合には、チャンネル数変換装置１は、本フローチャート全体の処理を終了する。
【００５７】
以上、本実施形態によれば、チャンネル数変換前と変換後におけるダイアログと背景音のレベル差を揃えるとともに、聴取位置での両耳相関係数を推定し、両耳マスキング効果の違いによるマスキング効果の差を補償する。これにより、チャンネル数変換後においても、聴きとりやすい音声を実現することが可能となる。
【００５８】
なお、上述した実施形態におけるチャンネル数変換装置の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００５９】
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。なお、両立する場合には、複数の変形例を組み合わせて実施してもよい。
【００６０】
［変形例１］
上記実施形態では、ダイアログと背景音との比を表すＳＮ比と、両耳マスキングレベル比と、ダイアログと背景音の間での上下方向の重心差とを用いて、オーディビリティ係数を算出した。変形例では、上下方向の重心差を用いない。この場合、図２に示した構成のうち、上下方向重心解析部５５および６５と、重心差演算部７３とは、不要である。なお、上下方向の重心差を用いずにオーディビリティ係数を計算した場合、実施形態内にも記載した、式（３）におけるγを０とする場合と同様の結果が得られる。
【００６１】
［変形例２］
本変形例では、分析部は、ダイアログと背景音との比を表すＳＮ比と、両耳マスキングレベル比と、ダイアログと背景音の間での上下方向の重心差との、いずれか１つまたは複数のみを求め、それらの複数の線形和の値であるオーディビリティ係数を求めない。そして、本変形例では、改善部は、オーディビリティ係数を用いない。改善部は、分析部によって求められた、ダイアログと背景音との比を表すＳＮ比と、両耳マスキングレベル比と、ダイアログと背景音の間での上下方向の重心差との、いずれか１つまたは複数のみにより改善処理を行う。この変形例は、分析部１３にも分析部２３にも適用可能である。
【００６２】
［変形例３］
本変形例では、分析部は、周波数成分ごとに、ダイアログと背景音との比を表すＳＮ比や、両耳マスキングレベル比や、ダイアログと背景音の間での上下方向の重心差を、求める。また、それらの線形和の値であるオーディビリティ係数を求める場合にも、周波数成分ごとにオーディビリティ係数を求める。そして、改善部は、分析部によって求められた周波数成分ごとの値に基づいて、当該周波数成分ごとの改善処理を行う。つまり、改善部は、周波数成分ごとに、ダイアログと背景音との比を表すＳＮ比や、両耳マスキングレベル比や、ダイアログと背景音の間での上下方向の重心差の、いずれか１つまたは複数による改善処理を行う。この変形例は、分析部１３にも分析部２３にも適用可能である。
【００６３】
［変形例４］
上記実施形態では、ダイアログの両耳相互相関係数（両耳相関）が１である場合について説明した。変形例として、ダイアログの両耳相互相関係数が１でない場合にも、ダイアログと背景音との両耳相互相関係数の両方を引数とするマスキングレベル差の関数を適宜定めることにより、上記実施形態と同様の処理が可能である。
【００６４】
［変形例５］
上記実施例では、図２にも示したように、ダイアログ／背景音レベル差演算部７１は、ダイアログ信号取得部５１から得られるダイアログ信号と、背景音信号取得部６１から得られる背景音信号とから、ＳＮ比を求めるようにした。代わりに、変形例５の構成としてもよい。
図７は、変形例５による分析部１３の概略機能構成を示すブロック図である。
この変形例５として、ダイアログ／背景音レベル差演算部７１は、ダイアログ信号のレベル値を得るために、ダイアログ信号取得部５１の出力を用いる代わりに、加算部５３Ｌおよび加算部５３Ｒの出力の和の値を用いるようにしてもよい。あるいは、ダイアログ／背景音レベル差演算部７１は、ダイアログ信号のレベル値を得るために、加算部５３Ｌおよび加算部５３Ｒの出力の平均値を用いるようにしてもよい。また、同時に、ダイアログ／背景音レベル差演算部７１は、背景音信号のレベル値を得るために、背景音信号取得部６１の出力を用いる代わりに、加算部６３Ｌおよび加算部６３Ｒの出力の和の値を用いるようにしてもよい。あるいは、ダイアログ／背景音レベル差演算部７１は、背景音信号のレベル値を得るために、加算部６３Ｌおよび加算部６３Ｒの出力の平均値を用いるようにしてもよい。つまり、本変形例の構成では、ダイアログ／背景音レベル差演算部７１は、ダイアログ信号として、ＨＲＴＦ重畳部５２の出力を用いることができる。また、ダイアログ／背景音レベル差演算部７１は、背景信号として、ＨＲＴＦ重畳部６２の出力を用いることができる。
以上の構成により、ダイアログ／背景音のレベル差算出において、マルチチャンネルオーディオの聴取時に生じうる、複数チャンネルの信号間の相関や位相差によるレベルの変化の影響を、より忠実に反映することが可能となる。
【００６５】
以上、この発明の実施形態および変形例について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６６】
本発明は、音声処理の分野で利用できる。特に、マルチチャンネルオーディオの再生技術に幅広く利用できる。とりわけ、放送やパッケージメディアなどとして供給されるマルチチャンネルオーディオを、任意のオーディオシステムやホームシアターシステムで再生する際に利用価値が高い。
【符号の説明】
【００６７】
１  チャンネル数変換装置
１１  変換前ＭＣＡ信号取得部
１２  信号分離部
１３  分析部（第１分析部）
２０  フォーマット変換部
２１  変換後ＭＣＡ信号取得部
２２  信号分離部
２３  分析部（第２分析部）
３１  改善部
５１  ダイアログ信号取得部
５２，６２  ＨＲＴＦ重畳部
５３Ｌ，５３Ｒ，６３Ｌ，６３Ｒ  加算部
５４，６４  相互相関係数計算部
５５，６５  上下方向重心解析部
６１  背景音信号取得部
７１  ダイアログ／背景音レベル差演算部
７２  両耳マスキングレベル差演算部
７３  重心差演算部
７７  オーディビリティ演算部
【図１】
2017212732.tif 000006
【図２】
2017212732.tif 000007
【図３】
2017212732.tif 000008
【図４】
2017212732.tif 000009
【図５】
2017212732.tif 000010
【図６】
2017212732.tif 000011
【図７】
2017212732.tif 000012