(57)【特許請求の範囲】
【請求項１】
番組の入力音声信号のチャンネル数を変換し、出力音声信号を生成する番組音声チャンネル数変換装置において、
前記入力音声信号における全チャンネルの音の大きさ、前記入力音声信号に含まれるダイアログの大きさ、及び前記入力音声信号に含まれる背景音の大きさをそれぞれ算出する変換前算出手段と、
前記入力音声信号のチャンネル数を変換し、チャンネル数変換後の音声信号を生成するチャンネル数変換手段と、
前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号における全チャンネルの音の大きさ、前記チャンネル数変換後の音声信号に含まれるダイアログの大きさ、及び前記チャンネル数変換後の音声信号に含まれる背景音の大きさをそれぞれ算出する変換後算出手段と、
全チャンネルの音の大きさが前記変換前算出手段により算出された全チャンネルの音の大きさに一致し、かつ、ダイアログの大きさが前記変換前算出手段により算出されたダイアログの大きさ以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する調整手段と、
を備えたことを特徴とする番組音声チャンネル数変換装置。
【請求項２】
請求項１に記載の番組音声チャンネル数変換装置において、
前記変換前算出手段の代わりに変換前ラウドネス値算出手段を、前記変換後算出手段の代わりに変換後ラウドネス値算出手段を、前記調整手段の代わりにラウドネス調整手段をそれぞれ備え、
前記変換前ラウドネス値算出手段は、
前記入力音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記入力音声信号に含まれるダイアログの平均ラウドネス値、及び前記入力音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、
前記変換後ラウドネス値算出手段は、
前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記チャンネル数変換後の音声信号に含まれるダイアログの平均ラウドネス値、及び前記チャンネル数変換後の音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、
前記ラウドネス調整手段は、
全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致し、かつ、ダイアログの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出されたダイアログの平均ラウドネス値以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする番組音声チャンネル数変換装置。
【請求項３】
請求項２に記載の番組音声チャンネル数変換装置において、
さらに、メタデータ抽出手段を備え、
前記メタデータ抽出手段は、
前記入力音声信号からメタデータを抽出し、前記メタデータから、前記平均ラウドネス値を算出する際に用いるデータであって、チャンネル数変換前後における各チャンネルの音声信号の再生位置に関するチャンネル配置情報、及び各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示すダイアログ判定値を抽出する、ことを特徴とする番組音声チャンネル数変換装置。
【請求項４】
請求項２または３に記載の番組音声チャンネル数変換装置において、
さらに、チャンネル分離手段を備え、
前記チャンネル分離手段は、
前記入力音声信号を構成する各チャンネルの音声信号のうち、ダイアログ成分及び背景音成分を含むチャンネルの音声信号から、前記ダイアログ成分の音声信号であるダイアログと前記背景音成分の音声信号である背景音とを分離する、ことを特徴とする番組音声チャンネル数変換装置。
【請求項５】
請求項２から４までのいずれか一項に記載の番組音声チャンネル数変換装置において、
前記入力音声信号の各チャンネルのうち、センターチャンネル、レフトチャンネル、ライトチャンネル、上層のセンターチャンネル及び下層のセンターチャンネルのうちの少なくとも１つをダイアログチャンネルとして扱うみなし処理を行い、前記ダイアログチャンネルの音声信号を、前記入力音声信号に含まれるダイアログとする、ことを特徴とする番組音声チャンネル数変換装置。
【請求項６】
請求項５に記載の番組音声チャンネル数変換装置において、
予め設定された指定に基づいて、前記みなし処理を行い、
前記指定がみなし処理を行わないことを示している場合、前記みなし処理を行うことなく、前記変換前ラウドネス値算出手段は、前記入力音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記変換後ラウドネス値算出手段は、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記ラウドネス調整手段は、全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする番組音声チャンネル数変換装置。
【請求項７】
コンピュータを、請求項１から６までのいずれか一項に記載の番組音声チャンネル数変換装置として機能させるための番組音声チャンネル数変換プログラム。
【請求項８】
放送番組の映像信号及び音声信号を受信し、前記映像信号及び前記音声信号を再生する放送番組受信装置において、
請求項１から６までのいずれか一項に記載の番組音声チャンネル数変換装置を備えたことを特徴とする放送番組受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組音声の送出時または受信時に、番組音声の制作時とは異なるチャンネル数の音響方式で再生するために、番組音声のチャンネル数を変換する番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラムに関する。
【背景技術】
【０００２】
従来、番組音声のチャンネル数を変換する際に、予め設定された変換係数（非特許文献１，２を参照）、または各チャンネルの音声信号の再生時に想定される位置（想定されるスピーカの位置）及び角度から算出された変換係数（非特許文献３を参照）が用いられる。具体的には、チャンネル数変換前の各チャンネルの音声信号に変換係数が乗算され、乗算結果が加算されることにより、チャンネル数変換後の音声信号が生成される。
【０００３】
例えば、２２．２ｃｈの音響方式から５．１ｃｈの音響方式へチャンネル数を変換する技術、及び５．１ｃｈの音響方式から２ｃｈの音響方式へチャンネル数を変換する技術は、前記非特許文献１の標準規格ＡＲＩＢ  ＳＴＤ−Ｂ３２、及び前記非特許文献２の勧告ＩＴＵ−Ｒ  ＢＳ．７７５−３等に記載されている。
【０００４】
このようなチャンネル数変換手法は、各チャンネルの音声信号の再生位置に基づいており、音声信号がダイアログであるか、楽器音または背景音であるかに関わることなく、一定の変換係数が用いられる。
【０００５】
しかしながら、例えば番組の視聴者が高齢者の場合には、背景音の影響でダイアログが聞き取り難いという傾向がある。この場合、ダイアログ及び背景音の音圧レベルは、高齢者に適するように調整されることが望ましい（非特許文献４を参照）。
【０００６】
一方で、番組音声の大きさを評価するラウドネス値の測定法が知られており、このラウドネス測定法にて測定される平均ラウドネス値により、番組音声レベルの管理が行われている（非特許文献５を参照）。このラウドネス測定法に従い、番組の全区間（番組の開始時点から終了時点までの間の全時間区間）の平均ラウドネス値が目標ラウドネス値（−２４ＬＫＦＳ）の許容範囲内（±１ｄＢ）に収まるように、番組制作の運用が定められている（非特許文献６を参照）。これにより、番組間及び放送局間の番組音声の音量感を統一することができる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ＡＲＩＢ標準規格、ＡＲＩＢ  ＳＴＤ−Ｂ３２  ３．０版、“デジタル放送における映像符号化、音声符号化及び多重化方式”
【非特許文献２】ＩＴＵ勧告、Recommendation ＩＴＵ−Ｒ  ＢＳ．７７５−３、“Multichannel stereophonic sound system with and without accompanying picture”
【非特許文献３】Ville Pulkki、“Localization of amplitude-panned virtual sources II：two- and three-dimensional panning”、J.AudioEng. Soc.、Vol.49、No.9、pp.753-767、2001
【非特許文献４】小森、都木、黒住、庄田、村川、“高齢者にも聞きやすい放送番組の音量バランス客観評価技術”、電子情報通信学会技術研究報告ＷＩＴ、vol.110、no.164、pp.35-40、2010
【非特許文献５】ＩＴＵ勧告、Recommendation ＩＴＵ−Ｒ  ＢＳ．１７７０−３、“Algorithms to measure audio programme loudness and true-peak audio level”
【非特許文献６】ＡＲＩＢ技術資料、ＡＲＩＢ  ＴＲ−Ｂ３２、“デジタルテレビ放送番組におけるラウドネス運用規定”
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のとおり、従来のチャンネル数変換手法では、チャンネル数を変換するための変換係数として、音声信号の種類に関わらず、各チャンネルの音声信号の再生位置に基づいた一定値を用いていた。このため、特に番組の視聴者が高齢者の場合には、番組によって、チャンネル数変換後の音声信号では、背景音の影響でダイアログが聞き難くなることがあった。
【０００９】
また、前記非特許文献５の勧告ＩＴＵ−Ｒ  ＢＳ．１７７０−３に規定されたラウドネス測定法では、各チャンネルの音声信号に対し、その再生位置に応じて異なる重み係数が乗算される。再生位置による重み係数とチャンネル数変換に用いられる係数が異なるため、チャンネル数が変換される前後で平均ラウドネス値が変わってしまい、番組の全区間の平均ラウドネス値が、目標ラウドネス値の許容範囲内に収まらないことがあった。
【００１０】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、チャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つことが可能な番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明による番組音声チャンネル数変換装置は、番組の入力音声信号のチャンネル数を変換し、出力音声信号を生成する番組音声チャンネル数変換装置において、前記入力音声信号における全チャンネルの音の大きさ、前記入力音声信号に含まれるダイアログの大きさ、及び前記入力音声信号に含まれる背景音の大きさをそれぞれ算出する変換前算出手段と、前記入力音声信号のチャンネル数を変換し、チャンネル数変換後の音声信号を生成するチャンネル数変換手段と、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号における全チャンネルの音の大きさ、前記チャンネル数変換後の音声信号に含まれるダイアログの大きさ、及び前記チャンネル数変換後の音声信号に含まれる背景音の大きさをそれぞれ算出する変換後算出手段と、全チャンネルの音の大きさが前記変換前算出手段により算出された全チャンネルの音の大きさに一致し、かつ、ダイアログの大きさが前記変換前算出手段により算出されたダイアログの大きさ以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する調整手段と、を備えたことを特徴とする。
【００１２】
また、本発明による番組音声チャンネル数変換装置は、前記変換前算出手段の代わりに変換前ラウドネス値算出手段を、前記変換後算出手段の代わりに変換後ラウドネス値算出手段を、前記調整手段の代わりにラウドネス調整手段をそれぞれ備え、前記変換前ラウドネス値算出手段が、前記入力音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記入力音声信号に含まれるダイアログの平均ラウドネス値、及び前記入力音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、前記変換後ラウドネス値算出手段が、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記チャンネル数変換後の音声信号に含まれるダイアログの平均ラウドネス値、及び前記チャンネル数変換後の音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、前記ラウドネス調整手段が、全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致し、かつ、ダイアログの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出されたダイアログの平均ラウドネス値以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする。
【００１３】
また、本発明による番組音声チャンネル数変換装置は、さらに、メタデータ抽出手段を備え、前記メタデータ抽出手段が、前記入力音声信号からメタデータを抽出し、前記メタデータから、前記平均ラウドネス値を算出する際に用いるデータであって、チャンネル数変換前後における各チャンネルの音声信号の再生位置に関するチャンネル配置情報、及び各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示すダイアログ判定値を抽出する、ことを特徴とする。
【００１４】
また、本発明による番組音声チャンネル数変換装置は、さらに、チャンネル分離手段を備え、前記チャンネル分離手段が、前記入力音声信号を構成する各チャンネルの音声信号のうち、ダイアログ成分及び背景音成分を含むチャンネルの音声信号から、前記ダイアログ成分の音声信号であるダイアログと前記背景音成分の音声信号である背景音とを分離する、ことを特徴とする。
【００１５】
また、本発明による番組音声チャンネル数変換装置は、前記入力音声信号の各チャンネルのうち、センターチャンネル、レフトチャンネル、ライトチャンネル、上層のセンターチャンネル及び下層のセンターチャンネルのうちの少なくとも１つをダイアログチャンネルとして扱うみなし処理を行い、前記ダイアログチャンネルの音声信号を、前記入力音声信号に含まれるダイアログとする、ことを特徴とする。
【００１６】
また、本発明による番組音声チャンネル数変換装置は、予め設定された指定に基づいて、前記みなし処理を行い、前記指定がみなし処理を行わないことを示している場合、前記みなし処理を行うことなく、前記変換前ラウドネス値算出手段が、前記入力音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記変換後ラウドネス値算出手段が、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記ラウドネス調整手段が、全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする。
【００１７】
さらに、本発明による番組音声チャンネル数変換プログラムは、コンピュータを、前記番組音声チャンネル数変換装置として機能させることを特徴とする。
【００１８】
また、本発明による放送番組受信装置は、放送番組の映像信号及び音声信号を受信し、前記映像信号及び前記音声信号を再生する放送番組受信装置において、前記番組音声チャンネル数変換装置を備えたことを特徴とする。
【発明の効果】
【００１９】
以上のように、本発明によれば、チャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図である。
【図２】番組音声チャンネル数変換装置の処理を示すフローチャートである。
【図３】変換前ラウドネス値算出手段の構成例を示すブロック図である。
【図４】ラウドネス調整手段により調整されるラウドネス値を説明する図である。
【図５】ラウドネス調整手段の構成例を示すブロック図である。
【図６】ラウドネス調整手段の処理を示すフローチャートである。
【図７】ラウドネス調整手段により調整されるラウドネス値及び出力音声信号を説明する図である
【図８】本発明の他の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、音声信号のチャンネル数を変換する際に、チャンネル数変換前後における全チャンネルの音の大きさが一致し、かつ、チャンネル数変換前後のダイアログの大きさが同じになり、またはチャンネル数変換後のダイアログの大きさがチャンネル数変換前よりも大きくなるように、チャンネル数変換後の音声信号のレベルを調整することを特徴とする。
【００２２】
〔番組音声チャンネル数変換装置〕
まず、本発明の実施形態による番組音声チャンネル数変換装置について説明する。図１は、本発明の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図であり、図２は、番組音声チャンネル数変換装置の処理を示すフローチャートである。この番組音声チャンネル数変換装置１は、変換前ラウドネス値算出手段（変換前算出手段）１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段（変換後算出手段）１３及びラウドネス調整手段（調整手段）１４を備えている。
【００２３】
番組音声チャンネル数変換装置１には、Ｎ個のチャンネルにて制作された番組音声である入力音声信号、チャンネル数変換前における各チャンネルの音声信号の再生位置及びチャンネル数変換後における各チャンネルの音声信号の再生位置に関するチャンネル配置情報、各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示すダイアログ判定値、並びに、番組の全区間における平均ラウドネス値の目標値である目標ラウドネス値がそれぞれ入力される。そして、番組音声チャンネル数変換装置１により、チャンネル数Ｎの音声信号がチャンネル数Ｍの音声信号に変換され、Ｍ個のチャンネルに変換された番組音声が出力音声信号として出力される。ここで、Ｍ，Ｎは、一般に異なる正の整数であるが、再生位置が異なる場合は、Ｍ，Ｎが同数であってもよい。
【００２４】
チャンネル配置情報は、予め設定された情報として番組音声チャンネル数変換装置１に入力され、ダイアログ判定値及び目標ラウドネス値は、予め設定された値として番組音声チャンネル数変換装置１に入力される。
【００２５】
（変換前ラウドネス値算出手段１１）
変換前ラウドネス値算出手段１１は、チャンネル数Ｎの入力音声信号、チャンネル配置情報及びダイアログ判定値を入力し、入力音声信号を構成する各チャンネルの音声信号について、ダイアログ判定値に基づいて、ダイアログチャンネルの音声信号（ダイアログ）と背景音チャンネルの音声信号（背景音）とに振り分けることで、各チャンネルの音声信号を分類する（ステップＳ２０１）。
【００２６】
変換前ラウドネス値算出手段１１は、全チャンネルの音声信号に対し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いて全チャンネルの平均ラウドネス値を算出する（ステップＳ２０２）と共に、ステップＳ２０１にて分類したダイアログチャンネルの音声信号に対し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いてダイアログの平均ラウドネス値を算出する（ステップＳ２０３）。また、変換前ラウドネス値算出手段１１は、ステップＳ２０１にて分類した背景音チャンネルの音声信号に対し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いて背景音の平均ラウドネス値を算出する（ステップＳ２０４）。
【００２７】
これにより、変換前ラウドネス値算出手段１１において、チャンネル数変換前の全チャンネルの平均ラウドネス値、チャンネル数変換前のダイアログの平均ラウドネス値、及び、チャンネル数変換前の背景音の平均ラウドネス値が算出され、変換前のラウドネス値としてラウドネス調整手段１４へ出力される。
【００２８】
図３は、変換前ラウドネス値算出手段１１の構成例を示すブロック図であり、入力音声信号のチャンネル数が５（Ｎ＝５）の場合を示している。この変換前ラウドネス値算出手段１１は、フィルタ処理段２１、二乗平均段２２、重み処理段２３、分類段２４、加算段２５、及び、絶対及び相対ゲーティング段２６を備えている。
【００２９】
フィルタ処理段２１は、各チャンネルの音声信号を入力し、チャンネル毎に、音声信号に対してＫ特性フィルタ処理を施す。二乗平均段２２は、チャンネル毎に、フィルタ処理段２１によりＫ特性フィルタ処理が施された音声信号の二乗平均値を算出する。
【００３０】
重み処理段２３は、チャンネル配置情報に含まれるチャンネル数変換前における各チャンネルの音声信号の再生位置に基づいて、各チャンネルの重み係数を決定し、チャンネル毎に、二乗平均段２２により算出された二乗平均値に、対応するチャンネルの重み係数を乗算する。ここで、重み処理段２３には、チャンネル毎の再生位置に対応する重み係数が予め保持されており、各チャンネルの音声信号の再生位置及び予め保持された重み係数に従って、各チャンネルの重み係数が決定される。これにより、チャンネル毎に、重み係数が乗算された二乗平均値が得られる。
【００３１】
分類段２４は、重み処理段２３からチャンネル毎の重み係数が乗算された二乗平均値をそれぞれ入力し、ダイアログ判定値に基づいて、各チャンネルの音声信号をダイアログまたは背景音に分類する。そして、分類段２４は、全チャンネルの二乗平均値、ダイアログの二乗平均値及び背景音の二乗平均値を加算段２５に出力する。
【００３２】
加算段２５は、分類段２４から全チャンネルの二乗平均値、ダイアログの二乗平均値及び背景音の二乗平均値を入力する。そして、加算段２５は、全チャンネルの二乗平均値を加算し、全チャンネルの二乗平均の瞬時値を求める。加算段２５は、同様に、ダイアログの二乗平均値を加算し、ダイアログのみの二乗平均の瞬時値を求めると共に、背景音の二乗平均値を加算し、背景音のみの二乗平均の瞬時値を求める。
【００３３】
絶対及び相対ゲーティング段２６は、加算段２５により求めた全チャンネルの二乗平均の瞬時値に対し、絶対ゲーティング処理及び相対ゲーティング処理を施し、番組の全区間について、全チャンネルの二乗平均値Ｚtを求める。また、絶対及び相対ゲーティング段２６は、以下の式により、全チャンネルの二乗平均値Ｚtを全チャンネルの平均ラウドネス値Ｌt（ＬＫＦＳ）に変換する。
［数１］
Ｌt＝−０．６９１＋１０ｌｏｇ10Ｚt    ・・・（１）
【００３４】
絶対及び相対ゲーティング段２６は、加算段２５により求めたダイアログの二乗平均の瞬時値に対し、絶対ゲーティング処理及び相対ゲーティング処理を施し、番組の全区間について、ダイアログの二乗平均値Ｚdを求める。また、絶対及び相対ゲーティング段２６は、以下の式により、ダイアログの二乗平均値Ｚdをダイアログの平均ラウドネス値Ｌdに変換する。
［数２］
Ｌd＝−０．６９１＋１０ｌｏｇ10Ｚd    ・・・（２）
【００３５】
絶対及び相対ゲーティング段２６は、ダイアログの二乗平均値Ｚd及びラウドネス値Ｌdを求める処理と同様に、番組の全区間について、背景音の二乗平均値Ｚbを求め、以下の式により、背景音の二乗平均値Ｚbを背景音の平均ラウドネス値Ｌbに変換する。
［数３］
Ｌb＝−０．６９１＋１０ｌｏｇ10Ｚb    ・・・（３）
【００３６】
図３の例は、チャンネル番号３の音声信号がダイアログであり、チャンネル番号１，２，４，５の音声信号が背景音である場合を示している。加算段２５により、チャンネル番号１〜５の二乗平均値が加算されて全チャンネルの二乗平均の瞬時値が求められ、チャンネル番号３の二乗平均値がダイアログのみの二乗平均の瞬時値として求められ、チャンネル番号１，２，４，５の二乗平均値が加算されて背景音のみの二乗平均の瞬時値が求められる。そして、絶対及び相対ゲーティング段２６により、チャンネル番号１〜５の音声信号について全チャンネルの二乗平均値Ｚt及び平均ラウドネス値Ｌtが求められ、チャンネル番号３の音声信号についてダイアログの二乗平均値Ｚd及び平均ラウドネス値Ｌdが求められ、チャンネル番号１，２，４，５の音声信号について背景音の二乗平均値Ｚb及び平均ラウドネス値Ｌbが求められる。
【００３７】
これにより、チャンネル数変換前のダイアログの音声信号と背景音の音声信号との間のミキシングバランスを知ることができる。変換前ラウドネス値算出手段１１により算出されたチャンネル数変換前の全チャンネルの平均ラウドネス値（二乗平均値Ｚt及び平均ラウドネス値Ｌt）、チャンネル数変換前のダイアログの平均ラウドネス値（二乗平均値Ｚd及び平均ラウドネス値Ｌd）、及び、チャンネル数変換前の背景音の平均ラウドネス値（二乗平均値Ｚb及び平均ラウドネス値Ｌb）は、変換前のラウドネス値としてラウドネス調整手段１４へ出力される。
【００３８】
尚、前記非特許文献５の勧告ＩＴＵ−Ｒ  ＢＳ．１７７０−３に規定されたラウドネス測定法によれば、平均ラウドネス値は、各チャンネルの音声信号にフィルタ処理を施し、二乗平均値を求め、重み係数を乗算し、全チャンネルを加算し、そして、絶対ゲーティング処理及び相対ゲーティング処理を行うことにより求められる。変換前ラウドネス値算出手段１１のフィルタ処理段２１、二乗平均段２２、重み処理段２３、加算段２５及び絶対及び相対ゲーティング段２６は、このラウドネス測定法に従った処理を行う。これらの処理の詳細については、前記非特許文献５の勧告ＩＴＵ−Ｒ  ＢＳ．１７７０−３及び前記非特許文献６の技術資料ＡＲＩＢ  ＴＲ−Ｂ３２を参照されたい。
【００３９】
（チャンネル数変換手段１２）
図１及び図２に戻って、チャンネル数変換手段１２は、チャンネル数Ｎの入力音声信号、チャンネル配置情報及びダイアログ判定値を入力し、チャンネル配置情報及びダイアログ判定値に基づいて、チャンネル数変換前のチャンネル配置（入力音声信号を構成する各チャンネルの音声信号の配置）及びチャンネル数変換後のチャンネル配置（チャンネル数変換後の音声信号を構成する各チャンネルの音声信号の配置）を特定する。そして、チャンネル数変換手段１２は、特定したチャンネル数変換前後のチャンネル配置に従い、予め設定された変換係数を用いて、入力音声信号のチャンネル数を変換し、チャンネル数変換後の音声信号を生成する。つまり、チャンネル数変換手段１２は、予め設定された変換係数を用いて、番組全体のチャンネル数を変換すると共に、ダイアログ判定値に従って、予め設定された変換係数を用いて、ダイアログチャンネルの音声信号のみについてチャンネル数を変換し、また、背景音チャンネルの音声信号のみについてチャンネル数を変換する。
【００４０】
具体的には、チャンネル数変換手段１２は、ステップＳ２０１の処理と同様に、入力した各チャンネルの音声信号について、ダイアログ判定値に基づいて、ダイアログチャンネルの音声信号と背景音チャンネルの音声信号とに振り分けることで、各チャンネルの音声信号を分類する。そして、チャンネル数変換手段１２は、各チャンネルにおける音声信号の分類及びチャンネル配置情報に基づいて、チャンネル数変換前後のダイアログチャンネルの音声信号についてのチャンネル配置、及びチャンネル数変換前後の背景音チャンネルの音声信号についてのチャンネル配置を特定する。
【００４１】
チャンネル数変換手段１２は、例えばチャンネル数５をチャンネル数２に変換する場合、特定したチャンネル数変換前後のチャンネル配置に従って、以下の式により、予め設定された変換係数ＧC，ＧL，ＧR，ＧLS，ＧRSを用いて、入力した全チャンネルの音声信号Ｃ5，Ｌ5，Ｒ5，Ｌs5，Ｒs5のチャンネル数５をチャンネル数２に変換し、チャンネル数変換後の全チャンネルの音声信号Ｌ2，Ｒ2を生成する（ステップＳ２０５）。
[数４]
Ｌ2＝ＧCＣ5＋ＧLＬ5＋ＧLSＬs5
Ｒ2＝ＧCＣ5＋ＧRＲ5＋ＧRSＲs5          ・・・（４）
ここで、音声信号Ｃ5は、ダイアログチャンネルの音声信号であり、音声信号Ｌ5，Ｒ5，Ｌs5，Ｒs5は、背景音チャンネルの音声信号である。この場合の変換係数は、ＧC，ＧLS，ＧRS＝０．７０７１、ＧL，ＧR＝１．０００が用いられる。
【００４２】
チャンネル数変換手段１２は、特定したチャンネル数変換前後のダイアログチャンネルの音声信号についてのチャンネル配置に従って、以下の式により、予め設定された変換係数ＧCを用いて、入力したダイアログチャンネルの音声信号Ｃ5のチャンネル数１をチャンネル数２に変換し、チャンネル数変換後のダイアログチャンネルの音声信号（ダイアログの音声信号）Ｌd2，Ｒd2を生成する（ステップＳ２０６）。
[数５]
Ｌd2＝ＧCＣ5
Ｒd2＝ＧCＣ5          ・・・（５）
【００４３】
ここで、番組全体のチャンネル数は５から２に変換されるが、チャンネル数変換後の番組全体のチャンネル数２の音声信号のそれぞれには、ダイアログが含まれる。このため、ダイアログのみに着目すると、チャンネル数変換前のダイアログチャンネルのチャンネル数は１であり、チャンネル数変換後のダイアログチャンネルのチャンネル数は２となる。
【００４４】
チャンネル数変換手段１２は、特定したチャンネル数変換前後の背景音チャンネルの音声信号についてのチャンネル配置に従って、以下の式により、予め設定された変換係数ＧLS，ＧRS，ＧL，ＧRを用いて、入力した背景音チャンネルの音声信号Ｌ5，Ｒ5，Ｌs5，Ｒs5のチャンネル数４をチャンネル数２に変換し、チャンネル数変換後の背景音チャンネルの音声信号（背景音の音声信号）Ｌb2，Ｒb2を生成する（ステップＳ２０７）。
[数６]
Ｌb2＝ＧLＬ5＋ＧLSＬs5
Ｒb2＝ＧRＲ5＋ＧRSＲs5          ・・・（６）
【００４５】
ここで、番組全体のチャンネル数は５から２に変換されるが、チャンネル数変換後の番組全体のチャンネル数２の音声信号のそれぞれには、背景音が含まれる。このため、背景音のみに着目すると、チャンネル数変換前の背景音チャンネルのチャンネル数は４であり、チャンネル数変換後の背景音チャンネルのチャンネル数は２となる。
【００４６】
これにより、チャンネル数変換手段１２において、チャンネル数変換後の全チャンネルの音声信号、チャンネル数変換後のダイアログチャンネルの音声信号、及びチャンネル数変換後の背景音チャンネルの音声信号が生成され、変換後の音声信号としてラウドネス調整手段１４へ出力される。
【００４７】
尚、本発明は、チャンネル数変換手段１２によるチャンネル数変換処理を前述の処理に限定するものではない。例えば、チャンネル数変換手段１２は、変換係数として、前記非特許文献２の勧告ＩＴＵ-Ｒ  ＢＳ．７７５−３または前記非特許文献１の標準規格ＡＲＩＢ  ＳＴＤ−Ｂ３２等に規定されたダウンミックス係数を用いるようにしてもよい。また、チャンネル数変換手段１２は、チャンネル位置に依存した角度に応じて変換係数を求め、この変換係数を用いてチャンネル数を変換するようにしてもよい。
【００４８】
（変換後ラウドネス値算出手段１３）
変換後ラウドネス値算出手段１３は、チャンネル配置情報を入力すると共に、チャンネル数変換手段１２から変換後の音声信号（チャンネル数変換後の全チャンネルの音声信号、チャンネル数変換後のダイアログチャンネルの音声信号、及びチャンネル数変換後の背景音チャンネルの音声信号）を入力する。
【００４９】
変換後ラウドネス値算出手段１３は、チャンネル配置情報に対応したチャンネル数変換後の全チャンネルの音声信号に対し、番組の全区間について、全チャンネルの平均ラウドネス値を算出すると共に（ステップＳ２０８）、チャンネル数変換後のダイアログチャンネルの音声信号に対し、番組の全区間について、ダイアログの平均ラウドネス値を算出する（ステップＳ２０９）。また、変換後ラウドネス値算出手段１３は、チャンネル数変換後の背景音チャンネルの音声信号に対し、番組の全区間について、背景音の平均ラウドネス値を算出する（ステップＳ２１０）。
【００５０】
これらのステップＳ２０８〜ステップＳ２１０の処理は、ステップＳ２０２〜ステップＳ２０４の処理及び図３に示した処理と同様であり、チャンネル数変換後における番組の全区間について、全チャンネルの二乗平均値Ｚt2及び平均ラウドネス値Ｌt2、ダイアログの二乗平均値Ｚd2及び平均ラウドネス値Ｌd2、並びに背景音の二乗平均値Ｚb2及び平均ラウドネス値Ｌb2が算出される。
【００５１】
これにより、変換後ラウドネス値算出手段１３において、チャンネル数変換後の全チャンネルの平均ラウドネス値（二乗平均値Ｚt2及び平均ラウドネス値Ｌt2）、チャンネル数変換後のダイアログの平均ラウドネス値（二乗平均値Ｚd2及び平均ラウドネス値Ｌd2）、及び、チャンネル数変換後の背景音の平均ラウドネス値（二乗平均値Ｚb2及び平均ラウドネス値Ｌb2）が算出され、変換後のラウドネス値としてラウドネス調整手段１４へ出力される。
【００５２】
（ラウドネス調整手段１４）
ラウドネス調整手段１４は、目標ラウドネス値を入力すると共に、チャンネル数変換手段１２から変換後の音声信号（チャンネル数変換後の全チャンネルの音声信号、チャンネル数変換後のダイアログチャンネルの音声信号、及び、チャンネル数変換後の背景音チャンネルの音声信号）を入力する。また、ラウドネス調整手段１４は、変換前ラウドネス値算出手段１１から変換前のラウドネス値（チャンネル数変換前の全チャンネルの平均ラウドネス値（二乗平均値Ｚt及び平均ラウドネス値Ｌt）、チャンネル数変換前のダイアログの平均ラウドネス値（二乗平均値Ｚd及び平均ラウドネス値Ｌd）、及び、チャンネル数変換前の背景音の平均ラウドネス値（二乗平均値Ｚb及び平均ラウドネス値Ｌb））を入力すると共に、変換後ラウドネス値算出手段１３から変換後のラウドネス値（チャンネル数変換後の全チャンネルの平均ラウドネス値（二乗平均値Ｚt2及び平均ラウドネス値Ｌt2）、チャンネル数変換後のダイアログの平均ラウドネス値（二乗平均値Ｚd2及び平均ラウドネス値Ｌd2）、及び、チャンネル数変換後の背景音の平均ラウドネス値（二乗平均値Ｚb2及び平均ラウドネス値Ｌb2））を入力する。
【００５３】
ここで、ラウドネス調整手段１４は、目標ラウドネス値及び変換後の音声信号を入力してラウドネス調整を行うにあたり、変換前ラウドネス値算出手段１１から、番組の全区間について事前に算出された変換前のラウドネス値を入力しておき、また、変換後ラウドネス値算出手段１３から、番組の全区間について事前に算出された変換後のラウドネス値を入力しておく。
【００５４】
ラウドネス調整手段１４は、変換前のラウドネス値及び変換後のラウドネス値に基づいて、ダイアログ及び背景音の目標ラウドネス値を算出し（ステップＳ２１１）、変換後の音声信号を調整し（ステップＳ２１２）、出力音声信号を生成する。具体的には、ラウドネス調整手段１４は、チャンネル数変換後の全チャンネルの音声信号について、平均ラウドネス値が目標ラウドネス値（チャンネル数変換前の全チャンネルの平均ラウドネス値）と一致し、かつ、チャンネル数変換後のダイアログチャンネルの音声信号について、平均ラウドネス値がチャンネル数変換前と一致するように、またはチャンネル数変換前よりも大きくなるように、チャンネル数変換後の音声信号のレベルを調整し、ラウドネス調整後のチャンネル数Ｍの音声信号を出力音声信号として生成する。
【００５５】
図４は、ラウドネス調整手段１４により調整されるラウドネス値を説明する図であり、チャンネル数を５から２に変換する場合の例を示している。以下、説明の便宜上、二乗平均値Ｚをラウドネス値として説明する。図４（１）は、チャンネル数変換前における全チャンネルの音声信号における加算値を表すラウドネス値Ｚt、ダイアログチャンネルの音声信号における加算値を表すダイアログＣのラウドネス値Ｚd、及び、背景音チャンネルの音声信号における加算値を表す背景音Ｌ，Ｒ，Ｌｓ，Ｒｓのラウドネス値Ｚbを示している。
【００５６】
図４（２）は、図４（１）に示したチャンネル数５の音声信号をチャンネル数２の音声信号に変換した後のラウドネス値を示しており、チャンネル数変換後の全チャンネルの音声信号における加算値を表すラウドネス値Ｚt2、ダイアログチャンネルの音声信号における加算値を表すダイアログＬd2，Ｒd2のラウドネス値Ｚd2、及び、背景音チャンネルの音声信号における加算値を表す背景音Ｌb2，Ｒb2のラウドネス値Ｚb2を示している。
【００５７】
図４（１）（２）に示すように、チャンネル数を変換することにより、ダイアログのラウドネス値Ｚd，Ｚd2が変化せず、背景音のラウドネス値Ｚb2が変換前のラウドネス値Ｚbよりも大きくなった場合を想定する。この場合、図４（３）に示すように、チャンネル数変換後の全チャンネルのラウドネス値Ｚt2とチャンネル数変換前の全チャンネルのラウドネス値Ｚtとが一致するように、チャンネル数変換後の音声信号を構成比率を保ったまま単純に調整すると、チャンネル数変換後のダイアログのラウドネス値Ｚd2は、チャンネル数変換前のダイアログのラウドネス値Ｚdよりも小さくなってしまう。
【００５８】
そこで、本発明の実施形態では、ラウドネス調整手段１４は、チャンネル数変換後の全チャンネルのラウドネス値Ｚt2とチャンネル数変換前の全チャンネルのラウドネス値Ｚtとが一致し、かつ、図４（４）に示すように、チャンネル数変換後のダイアログのラウドネス値Ｚd2とチャンネル数変換前のラウドネス値Ｚdとが一致するように、チャンネル数変換後の音声信号のレベルを調整する。これにより、ダイアログと背景音との間のミキシングバランスが崩れることなく、チャンネル数を変換することが可能となる。
【００５９】
図４（４）は、チャンネル数変換後の全チャンネルのラウドネス値Ｚt2とチャンネル数変換前の全チャンネルのラウドネス値Ｚtとが一致し、かつ、チャンネル数変換後のダイアログのラウドネス値Ｚd2とチャンネル数変換前のダイアログのラウドネス値Ｚdとが一致するように調整したチャンネル数変換後の全チャンネルの音声信号における加算値を表すラウドネス値Ｚt2、ダイアログチャンネルの音声信号における加算値を表すＺd2、及び、ダイアログチャンネルの音声信号における加算値を表すＺb2を示している。
【００６０】
また、本発明の実施形態では、ラウドネス調整手段１４は、チャンネル数変換後の全チャンネルのラウドネス値Ｚt2とチャンネル数変換前の全チャンネルのラウドネス値Ｚtとが一致し、かつ、図４（５）に示すように、チャンネル数変換後のダイアログのラウドネス値Ｚd2がチャンネル数変換前のラウドネス値Ｚｄよりも大きくなるように、チャンネル数変換後の音声信号のレベルを調整する。
【００６１】
図４（５）は、チャンネル数変換後の全チャンネルのラウドネス値Ｚt2とチャンネル数変換前の全チャンネルのラウドネス値Ｚtとが一致し、かつ、チャンネル数変換後のダイアログのラウドネス値Ｚd2がチャンネル数変換前のダイアログの平均ラウドネス値Ｚdよりも大きくなるように調整したチャンネル数変換後の全チャンネルの音声信号における加算値を表すラウドネス値Ｚt2、ダイアログチャンネルの音声信号における加算値を表すラウドネス値Ｚd2、及び、背景音チャンネルの音声信号における加算値表すラウドネス値Ｚb2を示している。
【００６２】
本例のように、チャンネル数が５から２に少なくなることにより、ダイアログと背景音とが同じチャンネルに変換され、同じスピーカから再生される。この場合、ダイアログと背景音との音源位置が空間的に重なり、空間マスキングが生じてしまうことから、ダイアログが聞き取り難くなることがあり得る。そこで、チャンネル数変換後のダイアログのラウドネス値Ｚd2を大きくし、チャンネル数変換後の背景音のラウドネス値Ｚb2を小さくすることにより、このような不具合を解消することができる。
【００６３】
図５は、ラウドネス調整手段１４の構成例を示すブロック図であり、図６は、ラウドネス調整手段１４の処理を示すフローチャートである。図６は、図４と同様に、チャンネル数を５から２に変換する場合の例を示している。
【００６４】
このラウドネス調整手段１４は、目標ラウドネス値算出段３１及びレベル調整段３２を備えている。ラウドネス調整手段１４は、チャンネル数変換手段１２から変換後の音声信号、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３から変換前後のラウドネス値、及び目標ラウドネス値を入力する（ステップＳ６０１）。
【００６５】
具体的には、目標ラウドネス値算出段３１は、変換前ラウドネス値算出手段１１から、チャンネル数変換前の全チャンネルのラウドネス値Ｚt、ダイアログのラウドネス値Ｚd及び背景音のラウドネス値Ｚbを入力すると共に、変換後ラウドネス値算出手段１３から、チャンネル数変換後の全チャンネルのラウドネス値Ｚt2、ダイアログのラウドネス値Ｚd2及び背景音のラウドネス値Ｚb2を入力し、目標ラウドネス値Ｚttを入力する。また、レベル調整段３２は、チャンネル数変換手段１２からチャンネル数変換後の音声信号Ｌ2，Ｒ2，Ｌd2，Ｒd2，Ｌb2，Ｒb2（Ｌ2＝Ｌd2＋Ｌb2，Ｒ2＝Ｒd2＋Ｒb2）を入力する。
【００６６】
ここで、チャンネル数変換前の全チャンネルのラウドネス値Ｚtは、目標ラウドネス値Ｚttと同じである。また、音声信号Ｌ2，Ｒ2は、前記式（４）のとおり、チャンネル数変換後の全チャンネルの音声信号であり、音声信号Ｌd2，Ｒd2は、前記式（５）のとおり、チャンネル数変換後のダイアログチャンネルの音声信号であり、音声信号Ｌb2，Ｒb2は、前記式（６）のとおり、チャンネル数変換後の背景音チャンネルの音声信号である。
【００６７】
目標ラウドネス値算出段３１は、ラウドネス調整後の全チャンネルの目標ラウドネス値Ｚt2Aとして目標ラウドネス値Ｚttを設定する（ステップＳ６０２：Ｚt2A＝Ｚtt（＝Ｚt））。そして、目標ラウドネス値算出段３１は、ラウドネス調整後のダイアログの目標ラウドネス値Ｚd2Aとして、チャンネル数変換前のダイアログの二乗平均値Ｚdと同じ値、または二乗平均値Ｚdよりも大きい所定値を設定する（ステップＳ６０３：Ｚd2A≧Ｚd）。この所定値は、チャンネル数変換前のダイアログの二乗平均値Ｚdよりも大きく、かつ、目標ラウドネス値Ｚtt（＝Ｚt）よりも小さい値である。
【００６８】
目標ラウドネス値算出段３１は、ステップＳ６０２にて設定した全チャンネルの目標ラウドネス値Ｚt2AからステップＳ６０３にて設定したダイアログの目標ラウドネス値Ｚd2Aを減算し、減算結果を、ラウドネス調整後の背景音の目標ラウドネス値Ｚb2Aに設定する（ステップＳ６０４：Ｚb2A＝Ｚt2A−Ｚd2A）。
【００６９】
目標ラウドネス値算出段３１は、ステップＳ６０２にて設定した全チャンネルの目標ラウドネス値Ｚt2A、ステップＳ６０３にて設定したダイアログの目標ラウドネス値Ｚd2A、及びステップＳ６０４にて設定した背景音の目標ラウドネス値Ｚb2Aをレベル調整段３２に出力する。
【００７０】
レベル調整段３２は、目標ラウドネス値算出段３１から全チャンネルの目標ラウドネス値Ｚt2A、ダイアログの目標ラウドネス値Ｚd2A及び背景音の目標ラウドネス値Ｚb2Aを入力する。そして、レベル調整段３２は、チャンネル数変換手段１２から入力した変換後の音声信号に対し、当該音声信号の全チャンネルのラウドネス値Ｚt2が全チャンネルの目標ラウドネス値Ｚt2Aと一致し、かつ、当該音声信号のダイアログのラウドネス値Ｚd2がダイアログの目標ラウドネス値Ｚd2Aに一致するように、当該音声信号のレベルを調整する（ステップＳ６０５）。
【００７１】
図７は、ラウドネス調整手段１４により調整されるラウドネス値及び出力音声信号を説明する図である。図７の左側に示すように、図６に示したステップＳ６０５の処理により、ラウドネス調整後のラウドネス値に対応する音声信号、すなわち、全チャンネルのラウドネス値Ｚt2A（図４（４）（５）ではＺt2）、ダイアログのラウドネス値Ｚd2A（図４（４）（５）ではＺd2）及び背景音のラウドネス値Ｚb2A（図４（４）（５）ではＺb2）の音声信号が得られる。この音声信号は、ダイアログのラウドネス値Ｚd2Aに対応するダイアログＬd2A，Ｒd2A、及び背景音のラウドネス値Ｚb2Aに対応する背景音Ｌb2A，Ｒb2Aにより構成される。
【００７２】
図６に戻って、レベル調整段３２は、図７の右側に示すように、ステップＳ６０５にて調整されたダイアログＬd2A及び背景音Ｌb2Aにより構成される音声信号Ｌ2Aを生成すると共に、ステップＳ６０５にて調整されたダイアログＲd2A及び背景音Ｒb2Aにより構成される音声信号Ｒ2Aを生成する。そして、レベル調整段３２は、チャンネル数２の音声信号Ｌ2A，Ｒ2Aをラウドネス調整後の音声信号である出力音声信号として出力する（ステップＳ６０６）。音声信号Ｌ2A，Ｒ2Aを生成するための加算処理は、前記式（４）に対応する。
【００７３】
このように、ラウドネス調整手段１４は、全チャンネルのラウドネス値が全チャンネルの目標ラウドネス値Ｚt2A（チャンネル数変換前の全チャンネルのラウドネス値Ｚt）と一致し、かつ、ダイアログのラウドネス値がダイアログの目標ラウドネス値Ｚd2A（チャンネル数変換前のダイアログのラウドネス値Ｚd以上の所定値）に一致するように、変換後の音声信号を構成するダイアログＬd2A，Ｒd2A及び背景音Ｌb2A，Ｒb2Aのレベルを調整し、チャンネル数２の音声信号Ｌ2A（＝Ｌd2A＋Ｌb2A），Ｒ2A（＝Ｒd2A＋Ｒb2A）をラウドネス調整後の音声信号である出力音声信号として出力する。
【００７４】
尚、ラウドネス調整手段１４のレベル調整段３２は、図６のステップＳ６０５において、変換後の音声信号に対し、当該音声信号の全チャンネルのラウドネス値Ｚt2が全チャンネルの目標ラウドネス値Ｚt2Aと一致し、かつ、当該音声信号のダイアログのラウドネス値Ｚd2がダイアログの目標ラウドネス値Ｚd2Aに一致するように、当該音声信号のレベルを調整するようにした。これに対し、レベル調整段３２は、変換後の音声信号に対し、当該音声信号のダイアログのラウドネス値Ｚd2がダイアログの目標ラウドネス値Ｚd2Aに一致し（図４の例では、チャンネル数変換後のダイアログのラウドネス値Ｚd2がチャンネル数変換前のダイアログのラウドネス値Ｚd、またはラウドネス値Ｚdよりも大きい値に一致し）、当該音声信号の背景音のラウドネス値Ｚb2が背景音の目標ラウドネス値Ｚb2Aに一致するように（図４の例では、チャンネル数変換後の背景音のラウドネス値Ｚb2がチャンネル数変換前の背景音のラウドネス値Ｚb、またはラウドネス値Ｚbよりも小さい値に一致するように）、当該音声信号のレベルを調整するようにしてもよい。
【００７５】
要するに、ラウドネス調整手段１４のレベル調整段３２は、全チャンネルのラウドネス値がチャンネル数変換前の全チャンネルのラウドネス値Ｚtと一致し、かつ、ダイアログのラウドネス値がチャンネル数変換前のダイアログのラウドネス値Ｚdよりも小さくならないように、変換後の音声信号のレベルを調整すればよい。
【００７６】
以上のように、本発明の実施形態の番組音声チャンネル数変換装置１によれば、変換前ラウドネス値算出手段１１は、チャンネル数Ｎの入力音声信号について、ダイアログ判定値に基づいて、ダイアログと背景音とに分類し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いて、全チャンネルの平均ラウドネス値、ダイアログの平均ラウドネス値及び背景音の平均ラウドネス値を算出するようにした。
【００７７】
チャンネル数変換手段１２は、チャンネル配置情報に基づいて、チャンネル数変換前のチャンネル配置及びチャンネル数変換後のチャンネル配置を特定し、特定したチャンネル数変換前後のチャンネル配置に従い、予め設定された変換係数を用いて、入力音声信号のチャンネル数Ｎを出力音声信号のチャンネル数Ｍに変換し、チャンネル数変換後の全チャンネルの音声信号、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号を生成するようにした。また、変換後ラウドネス値算出手段１３は、チャンネル数変換後の全チャンネルの音声信号、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号に対し、番組の全区間について、全チャンネルの平均ラウドネス値、ダイアログの平均ラウドネス値及び背景音の平均ラウドネス値を算出するようにした。
【００７８】
ラウドネス調整手段１４は、全チャンネルの平均ラウドネス値がチャンネル数変換前の全チャンネルの平均ラウドネス値と一致し、かつ、ダイアログの平均ラウドネス値がチャンネル数変換前のダイアログの平均ラウドネス値以上の所定値に一致するように、チャンネル数変換後の音声信号を構成するダイアログ及び背景音のレベルを調整し、チャンネル数Ｍの音声信号をラウドネス調整後の音声信号である出力音声信号として出力するようにした。
【００７９】
これにより、チャンネル数変換前後の音声信号の平均ラウドネス値を一定とすることができるから、チャンネル数変換前の音声信号について、番組の全区間の平均ラウドネス値が目標ラウドネス値の許容範囲内に収まっていれば、チャンネル数変換後の音声信号についても、番組の全区間の平均ラウドネス値を目標ラウドネス値の許容範囲内に収めることができる。また、ダイアログの平均ラウドネス値がチャンネル数変換前のダイアログの平均ラウドネス値よりも小さくなることがないから、チャンネル数変換前後の音声信号について、ダイアログの聞き易さを保つことが可能となる。
【００８０】
〔番組音声チャンネル数変換装置／他の実施形態〕
次に、本発明の他の実施形態による番組音声チャンネル数変換装置について説明する。図８は、本発明の他の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図である。この番組音声チャンネル数変換装置２は、変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４、メタデータ抽出手段１５及びチャンネル分離手段１６を備えている。番組音声チャンネル数変換装置２は、チャンネル数Ｎの入力音声信号のうちダイアログ成分及び背景音成分を含むチャンネルの音声信号から、ダイアログ及び背景音を分離し、入力音声信号に含まれるメタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出するものである。
【００８１】
図１に示した本発明の実施形態による番組音声チャンネル数変換装置１と図８に示す本発明の他の実施形態による番組音声チャンネル数変換装置２とを比較すると、番組音声チャンネル数変換装置１，２は、変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４を備えている点で同一であるが、番組音声チャンネル数変換装置２は、番組音声チャンネル数変換装置１の構成に加え、さらに、メタデータ抽出手段１５及びチャンネル分離手段１６を備えている点で相違する。また、図１に示した番組音声チャンネル数変換装置１におけるチャンネル数Ｎの入力音声信号は、ダイアログ専用チャンネルの音声信号及び背景音専用チャンネルの音声信号により構成されているが、図８に示す番組音声チャンネル数変換装置２におけるチャンネル数Ｎの入力音声信号には、ダイアログ成分と背景音成分とを含むチャンネルの音声信号が含まれる点で相違する。図８に示す番組音声チャンネル数変換装置２において、図１に示した番組音声チャンネル数変換装置１の構成と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。
【００８２】
メタデータ抽出手段１５は、チャンネル数Ｎの入力音声信号を入力し、入力音声信号からメタデータを抽出し、メタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出する。そして、メタデータ抽出手段１５は、抽出したチャンネル配置情報を変換前ラウドネス値算出手段１１、チャンネル数変換手段１２及び変換後ラウドネス値算出手段１３に出力し、抽出したダイアログ判定値を変換前ラウドネス値算出手段１１、チャンネル数変換手段１２及びチャンネル分離手段１６に出力し、抽出した目標ラウドネス値をラウドネス調整手段１４に出力する。チャンネル配置情報及びダイアログ判定値は、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３において平均ラウドネス値を算出する際に用いられる。また、ダイアログ判定値は、後述するチャンネル分離手段１６においてチャンネルを分離する際に用いられる。さらに、目標ラウドネス値は、ラウドネス調整手段１４においてラウドネス調整する際に用いられる。
【００８３】
ここで、ダイアログ判定値には、各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示す値に加え、ダイアログ成分及び背景音成分を含む音声信号であることを示す値が含まれるものとする。
【００８４】
チャンネル分離手段１６は、チャンネル数Ｎの入力音声信号を入力すると共に、メタデータ抽出手段１５からダイアログ判定値を入力し、ダイアログ判定値に基づいて、ダイアログ成分及び背景音成分を含むチャンネルの音声信号を特定する。そして、チャンネル分離手段１６は、当該音声信号から、ダイアログ成分の音声信号と背景音成分の音声信号とを分離し、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号として変換前ラウドネス値算出手段１１に出力する。この分離手法（ダイアログ成分と背景音成分とを含むチャンネルの音声信号から、ダイアログ成分の音声信号と背景音成分の音声信号とを分離する手法）は既知であり、様々な手法がある。チャンネル分離手段１６は、どのよな分離手法を用いてもよく、その手法は問わない。
【００８５】
また、チャンネル分離手段１６は、ダイアログ判定値に基づいて、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号を特定し、特定したチャンネルの音声信号をそのまま変換前ラウドネス値算出手段１１に出力する。
【００８６】
以上のように、本発明の他の実施形態の番組音声チャンネル数変換装置２によれば、番組音声チャンネル数変換装置１の構成に加え、メタデータ抽出手段１５は、入力音声信号に含まれるメタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出し、チャンネル分離手段１６は、ダイアログ成分と背景音成分とを含むチャンネルの音声信号からダイアログ及び背景音を分離するようにした。
【００８７】
これにより、入力音声信号に、ダイアログ成分と背景音成分とを含むチャンネルの音声信号が存在する場合であっても、また、チャンネル配置情報、ダイアログ判定値及び目標ラウドネス値が予め設定されない場合であっても、変換前ラウドネス値算出手段１１は、変換前のラウドネス値を算出することができ、チャンネル数変換手段１２は、入力音声信号のチャンネル数を変換することができ、変換後ラウドネス値算出手段１３は、変換後のラウドネス値を算出することができる。したがって、本発明の実施形態の番組音声チャンネル数変換装置１と同様に、チャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つことが可能となる。
【００８８】
尚、本発明の実施形態による番組音声チャンネル数変換装置１のハードウェア構成及び本発明の他の実施形態による番組音声チャンネル数変換装置２のハードウェア構成としては、通常のコンピュータを使用することができる。番組音声チャンネル数変換装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。番組音声チャンネル数変換装置１に備えた変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３及びラウドネス調整手段１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、番組音声チャンネル数変換装置２に備えた変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４、メタデータ抽出手段１５及びチャンネル分離手段１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【００８９】
以上、実施形態及び他の実施形態を挙げて本発明を説明したが、本発明は前記実施形態及び前記他の実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態及び前記他の実施形態では、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３は、前記非特許文献５の勧告ＩＴＵ−Ｒ  ＢＳ．１７７０−３に規定されたラウドネス測定法により平均ラウドネス値を算出するようにしたが、平均ラウドネス値の代わりに、平均音圧レベル、５％時間率平均音圧レベル等のような音の大きさを表す指標を算出するようにしてもよい。平均ラウドネス値は音の大きさの主観量に対応する数値であるのに対し、平均音圧レベルは音の大きさの客観量に対応する数値である。
【００９０】
この場合、変換前ラウドネス値算出手段１１は、入力音声信号における全チャンネルの音の大きさ、入力音声信号に含まれるダイアログの大きさ、及び入力音声信号に含まれる背景音の大きさをそれぞれ算出し、変換後ラウドネス値算出手段１３は、チャンネル数変換手段１２によりチャンネル数が変換された変換後の音声信号における全チャンネルの音の大きさ、変換後の音声信号に含まれるダイアログの大きさ、及び変換後の音声信号に含まれる背景音の大きさをそれぞれ算出する。そして、ラウドネス調整手段１４は、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３により算出されたチャンネル数変換前後の音の大きさに基づいて、チャンネル数変換後の音声信号のレベルを調整する。
【００９１】
また、前記実施形態及び前記他の実施形態では、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３は、番組の全区間についての平均ラウドネス値を算出するようにしたが、一定時間毎の短時間ラウドネス値を算出するようにしてもよい。ラウドネス調整手段１４は、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３により算出された一定時間毎の短時間ラウドネス値に基づいて、前記一定時間毎に、チャンネル数変換後の音声信号のレベルを調整する。これにより、生放送番組等に対応した逐次処理を行うことが可能となる。
【００９２】
また、前記他の実施形態では、番組音声チャンネル数変換装置２は、変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４、メタデータ抽出手段１５及びチャンネル分離手段１６を備えて構成するようにしたが、これらの構成部からメタデータ抽出手段１５を除いて構成するようにしてもよい。チャンネル配置情報、ダイアログ判定値及び目標ラウドネス値は、図１に示した番組音声チャンネル数変換装置１と同様に、予め設定される。これにより、番組音声チャンネル数変換装置２は、入力音声信号からメタデータを抽出する必要がなく、メタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出する必要がないから、処理負荷を低減することができる。
【００９３】
さらに、番組音声チャンネル数変換装置２は、図８に示した構成部からチャンネル分離手段１６を除いて構成するようにしてもよい。入力音声信号における各チャンネルの音声信号は、ダイアログ及び背景音のうちのいずれかである。
【００９４】
また、前記実施形態では、入力音声信号にダイアログのチャンネルが含まれる場合について説明し、前記他の実施形態では、入力音声信号を構成する少なくとも１つのチャンネルの音声信号にダイアログ成分及び背景音成分が含まれる場合について説明した。これらは、入力音声信号からダイアログを区別することができる場合を想定している。しかし、前記実施形態において、ユーザがチャンネル配置情報等を予め入手することができない場合、または、前記他の実施形態において、入力音声信号にメタデータが付与されていない場合があり得る。また、前記他の実施形態において、番組音声チャンネル数変換装置２のチャンネル分離手段１６による音源分離技術を用いたとしても、入力音声信号からダイアログを分離することができない場合もあり得る。この場合、入力音声信号からダイアログを区別することができない。
【００９５】
そこで、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及びチャンネル数変換手段１２は、入力音声信号のセンターチャンネル（Ｃ−ｃｈ：Ｃｅｎｔｒｅ  ｃｈａｎｎｅｌ）、センターチャンネル及び両サイドのチャンネル（Ｌ−ｃｈ（レフトチャンネル）：Ｌｅｆｔ  ｃｈａｎｎｅｌ，Ｒ−ｃｈ（ライトチャンネル）：Ｒｉｇｈｔ  ｃｈａｎｎｅｌ）、または、センターチャンネル及び上層・下層のセンターチャンネル（ＴｐＦＣ：Ｔｏｐ  ｆｒｏｎｔ  ｃｅｎｔｒｅ  ｃｈａｎｎｅｌ／Ｃｖ：ｃｅｎｔｒｅ  ｆｒｏｎｔ  ｖｅｒｔｉｃａｌ  ｈｅｉｇｈｔ，ＢｔＦＣ：Ｂｏｔｔｏｍ  ｆｒｏｎｔ  ｃｅｎｔｒｅ  ｃｈａｎｎｅｌ／Ｃｂ：ｃｅｎｔｒｅ  ｆｒｏｎｔ  ｖｅｒｔｉｃａｌ  ｂｏｔｔｏｍ）を、ダイアログチャンネルとして扱うみなし処理を行うようにしてもよい。また、変換前ラウドネス値算出手段１１及びチャンネル数変換手段１２は、センターチャンネル、レフトチャンネル、ライトチャンネル、上層のセンターチャンネル及び下層のセンターチャンネルのうちの少なくとも１つのチャンネルを、ダイアログチャンネルとして扱うみなし処理を行うようにしてもよい。一般に、これらのチャンネルの音声信号には、多くのダイアログ成分が含まれるからである。
【００９６】
この場合、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及びチャンネル数変換手段１２は、それぞれ切り替え段を備えるようにしてもよい。切り替え段は、入力音声信号を入力し、予め設定された切り替え指定がダイアログチャンネルを設定する指定である場合、前述のダイアログチャンネルのみなし処理を行う。一方、切り替え段は、予め設定された切り替え指定がダイアログチャンネルを設定しない指定である場合、前述のダイアログチャンネルのみなし処理を行わない。変換前ラウドネス値算出手段１１は、チャンネル数変換前の全チャンネルのラウドネス値のみを算出し、変換後ラウドネス値算出手段１３は、チャンネル数変換後の全チャンネルのラウドネス値のみを算出する。また、ラウドネス調整手段１４は、全チャンネルのラウドネス値がチャンネル数変換前の全チャンネルのラウドネス値と一致するように、チャンネル数変換後の音声信号のレベルを調整する。
【００９７】
また、入力音声信号における全チャンネルの音声信号がダイアログ成分を含まない場合も同様に、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１は、チャンネル数変換前の全チャンネルのラウドネス値のみを算出し、変換後ラウドネス値算出手段１３は、チャンネル数変換後の全チャンネルのラウドネス値のみを算出し、ラウドネス調整手段１４は、全チャンネルのラウドネス値がチャンネル数変換前の全チャンネルのラウドネス値と一致するように、チャンネル数変換後の音声信号のレベルを調整する。変換前ラウドネス値算出手段１１、変換後ラウドネス値算出手段１３及びラウドネス調整手段１４は、ダイアログ判定値に基づいて、入力音声信号における全チャンネルの音声信号がダイアログ成分を含まないことを判定する。
【００９８】
また、番組音声チャンネル数変換装置１，２は、放送番組の映像信号及び音声信号を受信してこれらを再生する放送番組受信装置に適用することができる。放送番組受信装置は、図１に示した番組音声チャンネル数変換装置１、または図８に示した番組音声チャンネル数変換装置２を備えて構成される。
【産業上の利用可能性】
【００９９】
本発明による番組音声チャンネル数変換装置は、番組制作時若しくは番組交換時における音声フォーマット変換、または放送番組受信装置での再生システムへの適応変換において有用である。
【符号の説明】
【０１００】
１，２  番組音声チャンネル数変換装置
１１  変換前ラウドネス値算出手段（変換前算出手段）
１２  チャンネル数変換手段
１３  変換後ラウドネス値算出手段（変換後算出手段）
１４  ラウドネス調整手段（調整手段）
１５  メタデータ抽出手段
１６  チャンネル分離手段
２１  フィルタ処理段
２２  二乗平均段
２３  重み処理段
２４  分類段
２５  加算段
２６  絶対及び相対ゲーティング段
３１  目標ラウドネス値算出段
３２  レベル調整段
【図１】
0006510870.tif 000002
【図２】
0006510870.tif 000003
【図３】
0006510870.tif 000004
【図４】
0006510870.tif 000005
【図５】
0006510870.tif 000006
【図６】
0006510870.tif 000007
【図７】
0006510870.tif 000008
【図８】
0006510870.tif 000009