(57)【要約】【課題】オーディオ信号大きさの制御方法が開示される。【解決手段】この制御方法は、入力されたオーディオ信号を用いて、前記入力されたオーディオ信号の大きさを目標値オーディオ信号の大きさに正規化させることによる正規化劣化を補償するための第１の帯域利得を算出するステップと、前記入力されたオーディオ信号に前記算出された第１の帯域利得を適用するステップと、前記算出された第１の帯域利得が適用されたオーディオ信号を正規化させるステップと、を含む。
2016520854.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号大きさの制御方法において、
入力されたオーディオ信号を用いて、前記入力されたオーディオ信号の大きさを目標値オーディオ信号の大きさに正規化させることによる正規化劣化を補償するための第１の帯域利得を算出するステップと、
前記入力されたオーディオ信号に前記算出された第１の帯域利得を適用するステップと、
前記算出された第１の帯域利得が適用されたオーディオ信号を正規化させるステップと、
を含む制御方法。
【請求項２】
放送番組に対する放送信号を受信するステップと、
前記受信された放送信号から番組ジャンル情報を検出するステップと、
前記検出された番組ジャンル情報に対応する第２の帯域利得を算出するステップと、をさらに含み、
前記適用するステップは、
前記入力されたオーディオ信号に前記算出された第１の帯域利得及び前記第２の帯域利得を適用することを特徴とする請求項１に記載の制御方法。
【請求項３】
前記正規化させるステップは、
前記第１及び第２の帯域利得が適用されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、
既に設定された初期ピーク重み付け値を用いて、前記前記第１及び第２の帯域利得が適用されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、
前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び前記目標値オーディオ信号の大きさを用いて、前記第１及び第２の帯域利得が適用されたオーディオ信号の大きさを制御するステップと、
を含む請求項２に記載の制御方法。
【請求項４】
オーディオ信号大きさの制御方法において、
放送信号を受信するステップと、
前記受信された放送信号から番組ジャンル情報を検出し、前記検出された番組ジャンル情報に対応する第３の帯域利得を算出するステップと、
前記受信された放送信号からオーディオ信号を検出し、前記検出されたオーディオ信号の大きさを目標値オーディオ信号の大きさに正規化させるための第４の利得を算出するステップと、
前記算出された第３の帯域利得及び第４の利得を前記検出されたオーディオ信号に適用するステップと、
を含む制御方法。
【請求項５】
前記適用するステップは、
前記算出された第３の帯域利得及び前記算出された第４の利得を乗算する乗算演算を行い、前記乗算演算された結果を前記オーディオ信号に適用するステップであることを特徴とする請求項４に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアにおいて再生されるオーディオ信号の大きさを制御する方法及びその装置に関する。
【背景技術】
【０００２】
人間は、日常生活を営みながら様々な環境におかれ、且つ、様々な音に露出される。人間が露出される音は、様々な原因により発生するが、図１に示すように、人間が聞いたときに不快感を発生する環境騒音、人間を楽しくするマルチメディア音及び音楽、並びに人間の間において対話及び情報をやり取りするときに発生する音などがある。
【０００３】
人間の周りの種々の音は、音の大きさ及び種類に応じて人間に苦痛を与えることもあれば、楽しさを与えることもあり、しかも、様々な情報を提供することもある。これは、人間の聴覚構造は、空気を介して伝達された音の音圧レベルを通して音を認知するため、音の大きさ及び強さは、音による聴覚的疲労度及び音の物理的特徴を定義する有用な数値となっているためである。
【０００４】
音を評価する方法のうち、音の大きさ（ラウドネス）は、ある音が人間の耳に伝達されたとき、人間の聴覚システムが認知する主観的な音の大きさであり、音の強さは、人間の聴覚システムに伝達された客観的な音の強さであり、音のパワーを意味し、一般に、周知のデシベル（ｄＢ）として測定される。一般に、人間の間の対話は６０〜７０ｄＢであり、交通量が多くて且つ騒音が激しい大通りは約８０ｄＢであり、一般に、約７０ｄＢの範囲で人間は楽さを感じる。
【０００５】
図１を参照すると、現代人がオーディオに接する方法及び機会は益々増えつつあり、携帯用マルチメディアオーディオ機器の発達に伴い、どこでも、且つ、どのような状況下でも自分が希望するマルチメディアコンテンツ及び音楽を楽しむことが可能になった。特に、オーディオ分野においては、１９９０年代の後半にＭＰ３（ＭＰＥＧ−１ Ｌａｙｅｒ III）の登場及びインターネットの大衆化が行われ、これに伴い、ＭＰ３に圧縮されたデジタル音源をインターネットを介して手軽にダウンロードし且つ聴き取ることが可能になった。
【０００６】
商業的なオーディオ音源市場は、マルチメディア機器の大衆化と相俟って急激に膨張された。また、オーディオ音源は、領域における競争が激しくなるにつれて、人間の関心を引くためにオーディオ音源の再生可能な最大の音響と最小の音響との間の差分比（ダイナミックレンジ）が急激に減少し、波形の最大値が増加してオーディオ音の大きさがかなり増加した。これは、「オーディオ音の大きさが大きいほど、人間が良い音楽として認識するであろう。」という考えから一層進んだ。
【０００７】
図２の（イ）は、１９７０年代の音楽（Ｐｏｐｓ）の波形を、（ロ）は、２０１１年の韓国歌謡（Ｋ−Ｐｏｐｓ）の波形を示す。図２を参照すると、昔に録音された音楽は、ダイナミックレンジが最近に発売された音源よりも広いことが分かり、最近、全世界的な大衆化を達成したＫ−ｐｏｐｓ音源の波形は最大値に達するか、あるいは、最大値を超えることを確認することができる。
【０００８】
これに伴い、マルチメディア機器においてオーディオ音の大きさを正確に測定し、且つ、音の大きさを調節する技術が必要であり、オーディオ音の大きさを制御するための技術が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、オーディオ信号の大きさの正規化による劣化を補償するオーディオ信号大きさの制御装置及び方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御方法は、入力されたオーディオ信号を用いて、前記入力されたオーディオ信号の大きさを目標値オーディオ信号の大きさに正規化させることによる正規化劣化を補償するための第１の帯域利得を算出するステップと、前記入力されたオーディオ信号に前記算出された第１の帯域利得を適用するステップと、前記算出された第１の帯域利得が適用されたオーディオ信号を正規化させるステップと、を含む。
【００１１】
また、本発明の一実施形態によるオーディオ信号大きさの制御方法は、放送番組に対する放送信号を受信するステップと、前記受信された放送信号から番組ジャンル情報を検出するステップと、前記検出された番組ジャンル情報に対応する第２の帯域利得を算出するステップと、をさらに含み、前記適用するステップは、前記入力されたオーディオ信号に前記算出された第１の帯域利得及び前記第２の帯域利得を適用してもよい。
【００１２】
さらに、正規化させるステップは、前記第１及び第２の帯域利得が適用されたオーディオ信号の大きさである第１のオーディオ信号の大きさを測定するステップと、既に設定された初期ピーク重み付け値を用いて、前記前記第１及び第２の帯域利得が適用されたオーディオ信号をスケーリングし、前記スケーリングされたオーディオ信号の大きさである第２のオーディオ信号の大きさを測定するステップと、前記第１のオーディオ信号の大きさと、前記第２のオーディオ信号の大きさ及び前記目標値オーディオ信号の大きさを用いて、前記第１及び第２の帯域利得が適用されたオーディオ信号の大きさを制御するステップと、を含んでいてもよい。
【００１３】
一方、上述した目的を達成するための本発明の一実施形態によるオーディオ信号大きさの制御方法は、放送信号を受信するステップと、前記受信された放送信号から番組ジャンル情報を検出し、前記検出された番組ジャンル情報に対応する第３の帯域利得を算出するステップと、前記受信された放送信号からオーディオ信号を検出し、前記検出されたオーディオ信号の大きさを目標値オーディオ信号の大きさに正規化させるための第４の利得を算出するステップと、前記算出された第３の帯域利得及び第４の利得を前記検出されたオーディオ信号に適用するステップと、を含む。
【００１４】
また、前記適用するステップは、前記算出された第３の帯域利得及び前記算出された第４の利得を乗算する乗算演算を行い、前記乗算演算された結果を前記オーディオ信号に適用するステップであってもよい。
【発明の効果】
【００１５】
上述した本発明の様々な実施形態によれば、人間の聴覚が低帯域に敏感であるのに対し、高帯域に鈍いという点と、正規化に伴いオーディオ信号の大きさのバラツキが低減されるという点を考慮した補完フィルターリングを行うことができる。これにより、正規化して出力されるオーディオ信号における、オーディオ信号の構成が平らになる問題、オーディオ編集者により編集／修正された音量のバラツキなどが消去または低減される問題などのオーディオ信号の大きさの正規化による逆効果を解消することができる。
【図面の簡単な説明】
【００１６】
【図１】日常生活を営みながら発生する様々な聴覚的疲労要因を説明するための図である。
【図２】オーディオ信号の波形に対する例を示す図である。
【図３】オーディオデータのクリッピングによる歪み現象を説明するための図である。
【図４】オーディオ及び騒音による聴覚損失を説明するための図である。
【図５】デジタル放送番組のオーディオ信号の大きさの正規化を説明するための図である。
【図６】オーディオ信号の大きさを測定する方法を示す図である。
【図７】プレフィルターの周波数応答特性に対する一例を示すグラフである。
【図８】ＲＬＢフィルターの周波数応答特性に対する一例を示すグラフである。
【図９】録画及び予め製作された放送番組に対する放送システムの構造に対する一例を説明するための図である。
【図１０】オーディオ信号の大きさを制御する方法に対する第１の実施形態を示す図である。
【図１１】オーディオ信号の大きさを制御する方法に対する第１の実施形態を具体的に説明するための図である。
【図１２】オーディオ信号の大きさを調節するためのピーク値に基づくラウドネス制御比の演算に対する基本構造を示す図である。
【図１３】リアルタイム放送システムの構造に対する一例を示す図である。
【図１４】オーディオ信号の大きさを制御する方法に対する第２の実施形態を示す図である。
【図１５】オーディオ信号の大きさを制御する方法に対する第２の実施形態を具体的に説明するための図である。
【図１６】第１の実施形態及び第２の実施形態の最終端にライブＬＤ制御ステップが追加された方法を説明するための図である。
【図１７】オーディオ信号の大きさの制御による音質の劣化を補償するための方法に対する第３の実施形態を示す図である。
【図１８】端末においてオーディオ信号の大きさを制御する方法に対する第４の実施形態を示す図である。
【図１９】本発明の第１の実施形態によるオーディオ信号大きさの制御装置のオーディオ信号大きさの制御方法を具体的に示すフローチャートである。
【図２０】ＩＴＵ−Ｒ  １７７０−２において言及されたオーディオゲーティング方式が追加されたオーディオ信号の大きさの測定方法を説明するための図である。
【図２１】本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明するためにゲートハンドオーバーを説明する図である。
【図２２】本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明する図である。
【図２３】本発明の第５の実施形態による補間の一例である線形補間を説明する図である。
【図２４】本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報の一例を示す図である。
【図２５】本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報のうち推奨制御要因を算出する方法を示す図である。
【図２６】本発明の第２の実施形態の自動ラウドネス制御モードにおけるオーディオ信号大きさの制御方法を示す図である。
【図２７】図２６によるマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）を算出するためのマッピング曲線を設計するための方法を示す図である
【図２８】本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの一つの方案を具体的に示す図である。
【図２９】本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの他の方案を具体的に示す図である。
【図３０】図２９をさらに具体的に示す図である。
【図３１】入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。
【図３２】入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。
【図３３】入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。
【発明を実施するための形態】
【００１７】
以下の内容は単に本発明の原理を例示する。そのため、当業者はたとえこの明細書に明確に説明または図示されていないが、本発明の原理を実現し、本発明の概念と範囲に含まれている様々な装置を発明することができる筈である。なお、この明細書に列挙されたあらゆる条件付き用語及び実施形態は、原則的に、本発明の概念を理解させるための目的にのみ明確に意図され、このように特別に列挙された実施形態及び状態に制限的ではないものと理解されるべきである。
【００１８】
また、本発明の原理、観点及び実施形態だけではなく、特定の実施形態を列挙するあらゆる詳細な説明は、このような事項の構造的及び機能的な均等物を含むように意図されるものと理解されるべきである。なお、このような均等物は現在公知の均等物だけではなく、将来に開発される均等物、すなわち、構造とは無関係に同じ機能を行うように発明されたあらゆる素子を備えるものと理解されるべきである。
【００１９】
よって、例えば、この明細書のブロック図は、本発明の原理を具体化させる例示的な回路の概念的な観点を示すものと理解されるべきである。これと同様に、全てのフローチャート、状態変換図、疑似コードなどはコンピューターにて読み取り可能な媒体に実質的に開示することができ、コンピューターまたはプロセッサーが明示されているか否かを問わず、コンピューターまたはプロセッサーにより行われる様々なプロセスを示すものと理解されるべきである。
【００２０】
プロセッサーまたはこれと同じ概念として表示された機能ブロックを備える図示の様々な素子の機能は、専用ハードウェアだけではなく、適切なソフトウェアと関連してソフトウェアを起動する能力を有するハードウェアの使用により提供可能である。プロセッサーにより提供されるとき、前記機能は単一専用プロセッサー、単一共有プロセッサーまたは複数の個別的プロセッサーにより提供可能であり、これらのうちの一部は共有可能である。
【００２１】
また、プロセッサー、制御またはこれと同じ概念として提示される用語の明確な使用は、ソフトウェアを起動する能力を有するハードウェアを排他的に引用して解釈されてはならず、制限なしにデジタル信号プロセッサー（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に備えるものと理解されるべきである。周知慣用の他のハードウェアも備えられる。
【００２２】
この明細書の請求範囲において、詳細な説明に記載の機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはフォームウェア／マイクロコードなどをはじめとするあらゆる形式のソフトウェアをはじめとする機能を行うあらゆる方法を含むものと意図され、前記機能を行うように前記ソフトウェアを起動するための適切な回路と結合される。このような請求範囲により定義される本発明は、種々に列挙された手段により提供される機能が結合され、請求項が求める方式と結合されるため、前記機能を提供し得るいかなる手段もこの明細書から把握されるものと均等ものであると理解されるべきである。
【００２３】
上述した目的、特徴及び長所は、添付図面に関する次の詳細な説明から一層明らかになり、これにより、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施することができる筈である。また、本発明を説明するに当たって、本発明に関する公知技術についての具体的な説明が本発明の要旨を曖昧にする虞があると認められる場合に、その詳細な説明を省略する。
【００２４】
以下、添付図面に基づき、本発明による好適な一実施形態について詳細に説明する。
【００２５】
図３は、オーディオデータクリッピングによる歪み現象を説明するための図である。
【００２６】
音源の波形がデジタルデータにおいて許容可能なデータ分解能の範囲を超える場合、音源の波形が削られ、このような現象がオーディオデータクリッピングである。
【００２７】
図３の（イ）は、クリッピングなし正弦波、（ロ）は、クリッピングなし波形周波数特性、（ハ）は、クリッピング付き正弦波、（ニ）は、クリッピング付き波形の周波数特性を示す。
【００２８】
図３を参照すると、オーディオデータクリッピング現象は、オーディオ信号を歪ませ、単なる正弦波形の周波数特性（図３の（ロ））とクリッピングされた正弦波形の周波数特性（図３の（ニ））を比較したとき、図３の（ニ）の点線で表示された領域のようにクリッピングなし正弦波形に存在しなかった信号歪み成分がオーディオデータクリッピングにより発生することを確認することができる。
【００２９】
一方、オーディオ音の大きさの増加による問題は、携帯用マルチメディア機器の大衆化により増幅されている。現在、マルチメディア機器によりオーディオ聴き取り時間がかなり増えた青少年がかなり高いオーディオ音の大きさを有する音源に持続的に長時間露出されている。
【００３０】
図４を参照すると、１９９０年代前半のＭＰ３に基づく携帯用マルチメディア機器の登場前と比較して、２０００年代の半ばの携帯用マルチメディア機器の方が大衆化したときに米国の青少年の聴覚損失がかなり増大されたことが分かる。
【００３１】
また、韓国でも、騒音性難聴患者が２０００年代の前半と後半を比較すれば、約５０％増加してマルチメディア機器、騒音環境などによる聴覚的疲労が臨界値を超えて聴覚機能の劣化に影響を及ぼしているということが分かる。
【００３２】
このため、人間が暮らしを営む間に安全にオーディオ及び音楽鑑賞を一生楽しむためにはオーディオによる聴覚的疲労を下げる作業が必要である。
【００３３】
このために、本発明の一実施形態は、マルチメディア機器においてオーディオ音の大きさを正確に測定し、音の大きさを調節する方法に関する。
【００３４】
図５は、デジタル放送番組のオーディオ信号の大きさの正規化を説明するための図である。
【００３５】
韓国では、放送法の改正を通して各放送局、コンテンツ間のオーディオ信号の大きさ（ラウドネス）の差分を低減するための努力が行われている。現在、放送から送出される番組は、放送社間、放送コンテンツ間にかなりの大きさ差を示す。
【００３６】
図５を参照すると、２種類の音楽コンテンツのオーディオ信号の大きさ（例えば、Ｃｈａｎｎｅｌ１  ：−２３．４ＬＫＦＳ，  Ｃｈａｎｎｅｌ２  ：  −８．５ＬＫＦＳ）がかなりの差分を示す。このような差分が放送の視聴者にかなりの不便さを引き起こしている。これを克服するために、ＴＴＡのＰＧ８０３ ＷＧ８０３４傘下で「デジタル放送番組音量レベル基準」という内容の標準化作業が行われている。
【００３７】
標準化の目標は、図５に示すように、かなりの大きさ差を有するチャンネル／放送番組を標準化した音量標準規格に基づいて調節して正規化したオーディオ信号の大きさ（例えば、Ｃｈａｎｎｅｌ１  ：  −２４ＬＫＦＳ，  Ｃｈａｎｎｅｌ２  ：  −２４ＬＫＦＳ）を有するように出力する基準を設けるところにある。
【００３８】
前記標準化は放送法と連携される筈であるため、標準の重要性及び使用可能性がかなり高ければ、標準では国際オーディオ信号大きさ測定標準であるＩＴＵ−１７７０−１／２に基づいて韓国の状況に合うオーディオ信号基準及び規格を提示する筈であり、これを守るように役立つ技術及び現在のデジタル放送信号の大きさに対する分析などを行う筈である。
【００３９】
図６は、オーディオ信号の大きさを測定する方法を示す図である。
【００４０】
オーディオ信号の大きさ測定方法に対する研究は、２０００年代半ばから始まってＩＴＵにおいてオーディオ信号の大きさ測定に対する標準であるＩＴＵ−Ｒ ＢＳ．１７７０−１を２００６年に発表し、ゲーティング方式が追加されたＩＴＵ−Ｒ ＢＳ．１７７０−２が２０１１年度に発表された。
【００４１】
発表された標準では、オーディオ信号の大きさ測定に対する方法とトゥルーピーク測定方法のみを提示しており、オーディオ信号の大きさ制御に対する部分は行われていない。これまでもオーディオ信号の大きさを制御する方法に対する部分は標準化が行われていない。
【００４２】
ＩＴＵ−Ｒにおいて標準化したオーディオ信号の大きさ測定方法は、図６に示すようなＬＫＦＳ（ｌｏｕｄｎｅｓｓ，  Ｋ  ｗｅｉｇｈｔｅｄ，  ｒｅｌａｔｉｖｅ  ｔｏ  ｎｏｍｉｎａｌ  ｆｕｌｌ  ｓｃａｌｅ）を用いて測定する。
【００４３】
アルゴリズムの最初のモジュール（Ｐｒｅ−ｆｉｌｔｅｒ）においては、人間の頭による音響的影響を考慮するために２次ＩＩＲフィルターとして構成される。
【００４４】
図７は、プレフィルター（ｐｒｅ−ｆｉｌｔｅｒ）の周波数応答特性に対する一例を示すグラフである。
【００４５】
フィルターの周波数特性は、図７に示すように、約１ｋＨｚを基準として１ｋＨｚ以下の領域を除去し、１ｋＨｚ以上の領域に対して通過させる。一般的に多用される４８ｋＨｚデータに対するフィルター係数は、球状の頭モデルに基づいてＩＴＵ−Ｒ  ＢＳ．１７７０−１において提供されている。
【００４６】
図８は、ＲＬＢフィルターの周波数応答特性に対する一例を示すグラフである。
【００４７】
第二のモジュール（ＲＬＢ ｆｉｌｔｅｒ）においては、人間の聴覚的な特性に基づく重み付け値フィルターを適用する。このフィルターは、図８の（イ）に示すように、人間の聴覚が入力された音に対する周波数領域において互いに異なる敏感度を有する特性に基づいている。
【００４８】
例えば、図８の（イ）において最小レベルを基準として２５０Ｈｚにおける約２０ｄＢと１ｋＨｚにおける約１ｄＢが同じオーディオ音の大きさとして人間に認知されるということを示している。このため、人間の聴覚を考慮するためのフィルター応答は、図８の（ロ）に示すように、ＩＳＯ２２６に定義された同じオーディオ音の大きさ輪郭線を逆に適用した場合と同じフィルター応答を有するように帯域別重み付け値フィルターが設計された。
【００４９】
設計された重み付け値フィルターについて説明すると、低周波領域の重み付け値は減少させたのに対し、１ｋＨｚ以上の領域は低周波領域に比べて相対的な重み付け値が高く設計された。また、重み付け値フィルターを単純化させるために約１ｋＨｚ以上の領域は平らに設計された。ＲＬＢ重み付け値フィルターは、２次ＩＩＲフィルター構造を有し、ＩＴＵ−Ｒ文書に４８ｋＨｚデータに対するフィルター係数を提供している。
【００５０】
重み付け値フィルターを通過した結果は、図６の平均自乗エネルギーモジュールにおいて下記の数式のように変換される。
【００５１】
【数１】
2016520854.tif 000003
重み付け値が適用されたエネルギーを下記の数式のように各チャンネルのエネルギーにチャンネル別の重み付け値を適用して合算した後にログ数式に適用してデシベルに変換する。下記の数式により得られた音の大きさに対する単位としては、ＬＫＦＳ（ｌｏｕｄｎｅｓｓ，  Ｋ  ｗｅｉｇｈｔｅｄ，  ｒｅｌａｔｉｖｅ  ｔｏ  ｎｏｍｉｎａｌ  ｆｕｌｌ  ｓｃａｌｅ）を用いる。
【００５２】
【数２】
2016520854.tif 000004
式中、Ｎはチャンネル数であり、Ｇは、チャンネルに対する重み付け値である。
【００５３】
このように設計されたＩＴＵに基づくオーディオ音の大きさの測定方法が正確に設計されたか否かを検証するためには、０ｄＢ、１ｋＨｚの正弦波形を入力した場合、音の大きさの測定値が−３．０１ ＬＫＦＳが出力されなければならない。
【００５４】
既存のオーディオ信号の大きさに対する研究は、大きく２種類に分けられる。第一は、ＩＴＵ−Ｒ１７７０−１のように人間が聴覚的に認知するオーディオ音量レベルに近い客観的なオーディオ信号の大きさ測定アルゴリズムの開発である。
【００５５】
第二に、既存にはオーディオ信号の大きさが非正規化して転送され、これにより、我々が聴き取るオーディオファイル及び音源の音量がそれぞれ別々であるため互いに異なるサイズを有するオーディオファイルが入力されたときに自動的にオーディオ信号の大きさを制御する研究が行われた。
【００５６】
各国においてオーディオ信号の大きさに対する問題を克服するためにＩＴＵ−１７７０−１／２に基づいてオーディオ信号の大きさを測定し、これを基準としてオーディオ信号の大きさの正規化基準値及び誤差範囲を提示している。現在、日本は積極的に行われているが、それ以外の国は未だ初期段階であるか、あるいは、商業広告などの一部分にのみ適用している。
【００５７】
すなわち、標準化及び規制法案に含まれている内容は、正規化基準と誤差範囲、適用範囲を定義しているが、このような規格を守るための方法を提示していない。すなわち、必ず達成しなければならない目標のみを提示し、方法については提示されていない。
【００５８】
一方、２０１１年３月に改正されたＩＴＵ−Ｒオーディオ信号の大きさ測定方法にはオーディオゲーティング方法が追加された。オーディオゲーティングとは、オーディオ音量が低い部分は除いてオーディオ音量を測定するための方法である。
【００５９】
オーディオ音量測定ゲーティングのためのブロックは１周期とし、隣り合うブロックとは７５％重なり合う。なお、ファイルの最後にブロック大きさを満たしていないサンプルに対しては測定しない。
【００６０】
まず、ブロック単位の平均自乗は、下記の数式のように演算される。
【００６１】
【数３】
2016520854.tif 000005
各ゲートブロックのオーディオ音量は、既存の数式に基づいて下記のように演算される。
【００６２】
【数４】
2016520854.tif 000006
各ブロックにゲーティングが適用される場合、ＩＴＵ−Ｒ１７７０−２においては−７０ＬＫＦＳ以上の信号に対してのみ考慮してゲーティングが適用された信号に対するＬＦＫＳを下記の数式のように測定する。
【００６３】
【数５】
2016520854.tif 000007
改正された方法においては、既存に用いられていたプレフィルター及びＲＬＢフィルターは同様に用いられれば、アルゴリズムの正確度の検証方法もまた同様である。
【００６４】
上述した内容を参照するとき、これまでの標準化及び規制法案に含まれている内容は、正規化基準、誤差範囲、適用範囲を定義しているが、このような規格を守るための方法について明確に開示していない。
【００６５】
これにより、後述する本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。
【００６６】
また、後述する本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。
【００６７】
さらに、後述する本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的オーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することができる。
【００６８】
さらにまた、後述する本発明の第４の実施形態によれば、オーディオ信号の大きさの正規化を考慮して、端末（ＴＶ、スマートフォン）における新たなオーディオ制御機能を提供することができる。
【００６９】
図９は、録画及び予め製作された放送番組に対する放送システムの構造に対する一例を説明するための図である。
【００７０】
図９を参照すると、現場で取得されたオーディオデータは、インジェストサーバーに格納され、格納されたファイルは編集システムに転送される。編集システムにおいては、周知の映像／音響効果、オーディオノイズ除去、映像／オーディオ同期化など各パート別に編集が行われる。
【００７１】
パート別の編集が行われたデータは、総合編集システムにおいて最終的に加工が行われ、主調整室において編集済みの放送番組を送出する。このような構造を見るとき、オーディオ信号の大きさ規制による録画及び予め製作された放送番組に対するオーディオ信号の大きさの正規化作業は、編集システム及び総合編集システムにおいて行われてもよい。好ましくは、ファイルとして製作されるステップにおいては、編集システムにおいてオーディオデータをそれぞれ別々に制御するため、編集システムの後処理作業により行われ得る。
【００７２】
図１０は、オーディオ信号の大きさを制御する方法に対する第１の実施形態を示す図である。
【００７３】
既存に録画された放送番組ファイルの場合には、格納されたファイルを分析してオーディオ信号の大きさの正規化が行われなければならない。これにより、図１０を参照すると、デマルチプレクサーは、既存に録画された放送番組ファイルを分離（ｄｅｍｕｘ）してオーディオデータを選択することができる（ステップＳ１０１）。
【００７４】
また、正規化判断部は、オーディオデータが予め正規化したか否かを判断することができる（ステップＳ１０２）。ここで、正規化とは、上述した図５に示すように、オーディオ信号の大きさを標準化したオーディオ信号の大きさ標準規格に基づいて調節して正規化させることを意味する。
【００７５】
もし、オーディオデータに予め正規化が行われたならば（ステップＳ１０２：Ｙ）、正規化が行われたオーディオデータを格納装置に格納することができる（ステップＳ１０３）。
【００７６】
もし、オーディオデータに予め正規化が行われなかったならば（ステップＳ１０２：Ｎ）、オーディオデコーダーは、オーディオデータを復号化させることができる（ステップＳ１０４）。また、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いてオーディオ信号の大きさの正規化を行うことができる（ステップＳ１０５）。なお、オーディオエンコーダーは、正規化が行われたオーディオデータを符号化させることができる（ステップＳ１０６）。
【００７７】
一方、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ１０７）。これにより、格納部は、オーディオ信号の大きさが正規化したオーディオデータを格納することができる（ステップＳ１０３）。
【００７８】
格納部に格納されたデータは送出室に提供することができる（ステップＳ１０８）。
【００７９】
ここで、オーディオ信号の大きさ制御器の具体的な動作については、図１１から図１２を参照して具体的に説明する。
【００８０】
一方、図示の点線ブロック、例えば、ステップＳ１０１、ステップＳ１０４、ステップＳ１０６、ステップＳ１０７は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、オーディオデータの圧縮有無に応じて、ステップＳ１０４、ステップＳ１０６は省略可能である。
【００８１】
このような本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ音量規格に合うように変換するためのオーディオ音量を制御可能にするために、まず、放送番組制作段階に対する分析を行い、これに基づいて、オーディオ音量規制により必須的なオーディオ音量測定及び制御を行うことができる。
【００８２】
図１１は、オーディオ信号の大きさを制御する方法に対する第１の実施形態を具体的に説明するための図である。図１２は、オーディオ信号の大きさを調節するためのピーク値に基づくラウドネス制御比演算に対する基本構造を示す図である。以下、図１１及び図１２を説明するに当たって、図１０において説明した部分についての具体的な説明を省略して説明する。
【００８３】
図１１を参照すると、制御情報が録画された放送番組を制御するために提供されてもよい。
【００８４】
まず、世界のいくつかの国が規定及び法案で定めた目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）値とオーディオ信号の大きさ誤差範囲が提供されてもよい。一般に、米国／日本は２４ＬＫＦＳ（目標値ＬＫＦＳ）＋／−２ｄＢ（誤差範囲）であり、ヨーロッパーは２３ＬＫＦＳ（目標値ＬＫＦＳ）＋／−１ｄＢ（誤差範囲）の範囲を有する。
【００８５】
オーディオゲーティングに関する部分は、ＩＴＵ−Ｒ１７７０−２において最初に言及された部分であり、重畳及び移動方式を適用してブロック別のＬＫＦＳを測定して低いブロックＬＫＦＳを有するものはサイレンスとして見なし、この分に対する平均値を使用しない方式である。
【００８６】
米国のＡＴＳＣの場合には、ＡＣ−３オーディオシステムを用いており、且つ、「ダイヤルノーム」パラメーターをメタデータパラメーターに格納するようになっている。ダイヤルノームにはアンカーエレメントに対する聴覚的オーディオ信号の大きさを入れるようになっており、すなわち、部分には基準点またはエレメントの聴覚的オーディオ信号の大きさを入れるようになっている。
【００８７】
アンカーエレメントは、現在放送番組の中心となるものに対する標準オーディオ信号の大きさを示すものであり、放送番組は、アンカーエレメントを基準として最終的な釣合せが行われる。なお、ダイヤルノームにはＬＫＦＳ値が格納されるが、変数空間が５ｂｉｔｓであり、−１〜−３１ＬＫＦＳ値が格納可能である。
【００８８】
一方、ＩＴＵ−Ｒに基づいてオーディオ信号の大きさを測定するためには、２種類のフィルターを適用しなければならない。このため、測定されたＬＫＦＳと目標値ＬＫＦＳとの間の差分値をＬＫＦＳ測定数式を用いて逆算してオーディオ信号の大きさ変換値を取り出しても二つのフィルターに対する影響があるため正確な値が得られない。
【００８９】
このような問題を克服するために、本発明の第１の実施形態によれば、ピーク値を用いた方式を設計して所望の目標値ＬＫＦＳに合うオーディオ信号の大きさ変換重み付け値要因を取得するアルゴリズムを提供することができる。
【００９０】
上述したように、入力されたオーディオのＬＫＦＳ（原値）及び目標値ＬＫＦＳだけで正確なラウドネス（ＬＤ）制御比を上述した理由により求めることができない。
【００９１】
このため、本発明の第１の実施形態によれば、二つのフィルターを考慮したＬＤ制御比を求めるためにピーキング方式を用いてピークに基づく制御比を演算することができる。ピーキング方式とは、ピークに基づく制御比を用いてオーディオ信号をラウドネス制御してピークされたＬＫＦＳを取得する方式を意味する。すなわち、オーディオ信号の大きさ制御器は、入力されたオーディオデータ（ステップＳ１０５−１）、ピーク重み付け値（例えば、０．９）（ステップＳ１０５−２）、目標値ＬＫＦＳ（ステップＳ１０５−３）及びＬＫＦＳ誤差範囲（１０５−４）を受信してオーディオ信号の大きさを制御するための制御比（ラウドネス制御比）を演算して（ステップＳ１０５−５）、ＬＤ制御比を算出（ステップＳ１０５−６）することができる。具体的に、入力されたオーディオデータに基づいて算出された入力されたオーディオデータのＬＫＦＳ、入力されたオーディオデータにピーク重み付け値を適用して算出されたピークＬＫＦＳ及び受信された目標値ＬＫＦＳを用いて、目標値ＬＫＦＳに近付けるための重み付け値要因（ＬＤ制御比）を演算することができる。
【００９２】
【数６】
2016520854.tif 000008
また、オーディオ信号の大きさ制御器は、算出された制御比（ＬＤ制御比）を用いて入力されたオーディオ信号の大きさを調節して正規化を行うことができる。
【００９３】
このような本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。
【００９４】
図１３は、リアルタイム放送システムの構造に対する一例を示す図である。
【００９５】
図１３を参照すると、ライブ放送システムは、録画放送システムとは多くの違いを示す。中継システムにはインジェストサーバーが組み込まれておらず、パート別の編集システムを別途に用いない。その代わりに、ライブ放送システムにおいては、中継システムがこのような機能をまとめて行う。
【００９６】
中継システムにおいては、映像／音響編集及び効果などの作業を行い、番組の全体の製作を司る副調整室（総合編集室）との相互指示を通じて生中継されるオーディオ音響に対する制御を行う。
【００９７】
このようにして調律された放送番組は、主調整室から送出される。また、衛星を介して受信される生中継データは、オーディオ音響に対する作業及び字幕埋め込みなどの追加作業を副調整室（総合編集室）において行って主調整室を介して送出される。このため、生中継放送のオーディオ音量を正確に制御するためにより多くの変数が存在する。
【００９８】
図１４は、オーディオ信号の大きさを制御する装置の方法に対する第２の実施形態を示す図である。
【００９９】
図１４を参照すると、ライブ環境においては、上述したように、マイクにより取得された信号と、衛星を介して受信された信号（以下、ライブ放送信号）を考慮することができる。デマルチプレクサーは、ライブ放送信号を分離してオーディオデータを選択することができる（ステップＳ２０１）。また、オーディオデコーダーは、選択されたオーディオデータを復号化させることができる（ステップＳ２０３）。
【０１００】
また、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いてオーディオ信号の大きさの正規化を行うことができる（ステップＳ２０６）。具体的に、オーディオ信号の大きさ制御器は、ライブオーディオデータのオーディオ信号の大きさを分析して、ライブオーディオ信号の大きさを制御して正規化を行うことができる。ここで、オーディオ信号の大きさ制御器は、ユーザーから手動で入力されたオーディオ信号の大きさ制御値を用いて正規化を行うことができる（ステップＳ２０５）。
【０１０１】
さらに、オーディオエンコーダーは、正規化が行われたオーディオデータを符号化させることができる（ステップＳ２０７）。そして、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ２０８）。
【０１０２】
一方、上述したデータ処理が行われると、データは送出室に提供される（ステップＳ２０９）。
【０１０３】
ここで、オーディオ信号の大きさ制御器の具体的な動作については、図１５を参照して具体的に説明する。
【０１０４】
一方、図示の点線ブロック、例えば、ステップＳ２０１、ステップＳ２０３、ステップＳ２０５、ステップＳ２０７、ステップＳ２０８は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、入力ファイルがオーディオ未加工データである場合には、オーディオ復号化が不要であり、出力としてオーディオ未加工ファイルを求める場合にオーディオ符号化モジュールが不要である。信号がストリーミングにより転送されるとき、オーディオ信号の大きさ制御システムはファイルを分離（デマックス）した後に、オーディオデータが圧縮ビットストリームである場合にオーディオ信号に復号化させ、未加工データである場合にはオーディオ復号化ブロックをバイパスする。オーディオ未加工信号は、ライブオーディオ信号を自動的にオーディオ信号の大きさ基準に従い調節し、調節された信号は、必要に応じて、オーディオ符号化及びファイルフォーマッティングが行われて送出装置を介して放送される。あるいは、出力における要求に応じて、オーディオ未加工ファイルが出力可能である。
【０１０５】
図１５は、オーディオ信号の大きさを制御する方法に対する第２の実施形態を具体的に説明するための図である。以下、図１５を説明するに当たって、図１４において説明した部分についての具体的な説明を省略して説明する。
【０１０６】
図１５を参照すると、既存のシステムとは異なり、提案されたシステムは、オーディオ信号の大きさの正規化に関し（ステップＳ２０６）、３種類のモードが採択可能な構造を有することが特徴である。第一は、手動ラウドネス制御モード、第二は、半自動ラウドネス制御モード、第三は、自動ラウドネス制御モードである。各モードはそれぞれ別々に動作可能であり、各モードにおいて動作していて途中に他のモードに切り換え可能であり、モードの切り換えによる両モード間の差分は、モード切り換え制御により補償可能である。
【０１０７】
手動ラウドネス制御モードは、人間（例えば、オーディオ信号編集者）が入力されたオーディオ信号の大きさの制御のための重み付け値を手動で選択（例えば、オーディオ信号処理装置に配設された様々なボタンを用いて）し、選択された重み付け値を用いて入力されたオーディオ信号をスケーリングしてオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。半自動ラウドネス制御モードは、制御のための重み付け値を人間が手動で選択するという点は、手動ラウドネス制御モードと同様であるが、半自動ラウドネス制御モードにおいては、オーディオ信号の大きさの制御に必要な情報（例えば、オーディオ信号の大きさをスケーリングするための重み付け値、入力されたオーディオ信号の大きさ）を人間が利用可能なように、上述した情報を提供するという点で異なる。自動ラウドネス制御モードは、人間の手動制御なしに自動的にオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。ここで、各モード間を切り換えは、オーディオ信号処理装置に配設された半自動ラウドネス制御モード選択ボタン、手動ラウドネス制御モード選択ボタン、自動ラウドネス制御モード選択ボタンにより行われる。あるいは、オーディオ信号処理装置は、ラウドネス制御モードの切り換えのための一つのモード切り換えボタンを備えていてもよく、このモード切り換えボタンが選択されれば、各モードの間に順次に切り換えられる。
【０１０８】
一方、モード切り換えによる両モード間の差分は、モード切り換え制御により補償可能である。例えば、半自動ラウドネス制御モードから自動ラウドネス制御モードに切り換えられる場合、ピーク重み付け値が変更可能であり、または、図２２及び図２３に説明された、ゲート重み付け値を補間する必要がある。この場合、モード切り換え制御は、このような変化を補償する動作を行うことができる。
【０１０９】
また、図１５において、リアルタイム入力オーディオ信号に対しては、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に合わせるために必要な重み付け値は、上述したピーキング方式により演算可能である。
【０１１０】
このような本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。
【０１１１】
図１６は、第１の実施形態及び第２の実施形態の最終端にライブＬＤ制御ステップが追加された方法を説明するための図である。図１６を参照すると、本発明の第１の実施形態及び第２の実施形態による方法の最終端にライブＬＤ制御ステップをさらに含んでいてもよい。
【０１１２】
すなわち、上述したところによれば、ファイル／ローカル放送番組は、ローカルＬＤ制御（ステップＳ１０５）により格納部に格納されていて（ステップＳ１０３）、送出するのに使用可能である。また、上述したところによれば、ライブ放送番組は、ライブＬＤ制御（ステップＳ２０６）を用いてリアルタイム処理して送出することができる。
【０１１３】
但し、放送局にとっては、規制に備えるために、最終端にライブＬＤ制御（ステップＳ２１０）をさらに行うことができる。すなわち、放送局にとっては、前端において誤って入力された放送番組が転送されるとしても、最終端において探し出すようにライブＬＤ制御（ステップＳ２１０）をさらに設けてもよい。この場合、ライブＬＤ制御（ステップＳ２１０）においては、手動ラウドネス制御モード、半自動ラウドネス制御モードまたは自動ラウドネス制御モードを利用することができる。但し、好ましくは、２４時間常に自動的に処理できるように自動ラウドネス制御モードが利用可能である。
【０１１４】
図１７は、オーディオ信号の大きさの制御による音質の劣化を補償するための方法に対する第３の実施形態を示す図である。
【０１１５】
オーディオ信号の大きさを制御する方法は、上述したように、入力されるデータの条件に応じて種々に行われる。但し、オーディオ信号の大きさを目標値ＬＫＦＳ及び誤差範囲に合わせると、オーディオ信号の構成が平らであるという感じが強くなることがある。
【０１１６】
これは、オーディオ信号の大きさの正規化による逆効果である。オーディオ信号の大きさの正規化の目的を達成しながら、正規化による逆効果を解決しなければ、オーディオ正規化の波及力及びユーザーの満足度が向上できない。
【０１１７】
これにより、本発明の第３の実施形態によれば、上述した逆効果を補償するための聴覚的劣化補償モジュールをさらに備えていてもよい。すなわち、図１７を参照すると、デマルチプレクサーは、既存に録画された放送番組データまたはライブ放送番組データを分離してオーディオデータを選択することができる（ステップＳ３０１）。
【０１１８】
また、正規化判断部は、オーディオデータが予め正規化したか否かを判断することができる（ステップＳ３０２）。
【０１１９】
もし、オーディオデータに予め正規化が行われたならば（ステップＳ３０２：Ｙ）、正規化が行われたオーディオデータに対する今後の手続きを行うことができる（ステップＳ３０３）。
【０１２０】
もし、オーディオデータに予め正規化が行われなかったならば（ステップＳ３０２：Ｎ）、オーディオデコーダーはオーディオデータを復号化させることができる（ステップＳ３０４）。そして、Ｌｉｖｅ Ａｕｄｉ Ｍｉｘｉｎｇ ＆ ＥＱなどの編集者制御を行うことができる（ステップＳ３０５）。なお、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いて、オーディオ信号の大きさの正規化を行うことができる（ステップＳ３０６）。
【０１２１】
さらに、聴覚的劣化補償モジュールは、オーディオ信号の大きさ制御器において行われた正規化による逆効果を補償することができる（ステップＳ３０７）。なお、オーディオエンコーダーは、聴覚的劣化補償が行われたオーディオデータを符号化させることができる（ステップＳ３０８）。
【０１２２】
そして、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ３０９）。
【０１２３】
一方、図示の点線ブロック、例えば、ステップＳ３０１、ステップＳ３０４、ステップＳ３０８、ステップＳ３０９は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、オーディオデータの圧縮有無に応じて、ステップＳ３０４及びステップＳ３０８は省略可能である。
【０１２４】
このような本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的オーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することができる。
【０１２５】
一方、上述した方法によるオーディオ信号の大きさの正規化は、デジタル放送消費者にかなりの聴き取り環境の変化を引き起こす。また、オーディオ信号の大きさが正規化することにより、デジタル放送端末に新たに求められるサービス／機能が生成可能である。すなわち、デジタル放送端末において放送オーディオ音量に関する機能を提供することができる。
【０１２６】
図１８は、端末においてオーディオ信号の大きさを制御する方法に対する第４の実施形態を示す図である。以下、図１８を説明するに当たって、図１７において説明した部分（正規化したオーディオ信号の転送に関する処理部分（ステップＳ３０１〜Ｓ３０１０）についての具体的な説明を省略して説明する。
【０１２７】
図１８を参照すると、端末は、正規化したオーディオ信号を受信し（ステップＳ４０１）、受信されたオーディオ信号を処理して（ステップＳ４０２）、出力することができる（ステップＳ４０３）。ここで、オーディオ信号処理（ステップＳ４０２）は、例えば、ユーザー注文型により制御可能である。すなわち、デジタル放送においては、放送に関する情報がユーザーに提供され、ユーザーが持続的に端末を用いる場合、ユーザーの使用情報も累積される。このような情報に基づいて、ユーザー情報の分析が行われてユーザーに注文型オーディオ音響サービスを提供することができる。また、ユーザー設定情報により放送情報に基づくユーザー音響サービスが直ちに適用可能である。
【０１２８】
図１９は、本発明の第１の実施形態によるオーディオ信号大きさの制御装置のオーディオ信号大きさの制御方法を具体的に示すフローチャートである。図１９を参照すると、まず、オーディオ信号が入力される（ステップＳ５０１）。ここで、入力されたオーディオ信号は、例えば、図１０から図１２に示す分離、復号化などの動作（省略可能な動作）によるオーディオ信号であってもよい。このようなオーディオ信号は、様々な波形を有していてもよく、例えば、図５の前端に示す（すなわち、正規化する前の）波形を有するオーディオ信号であってもよい。
【０１２９】
この場合、オーディオ信号大きさ測定部は、図６から図８において説明されたオーディオ信号の大きさ測定方法を用いて、入力オーディオ信号のＬＫＦＳ（原値ＬＫＦＳ）を測定することができる（ステップＳ５０３）。
【０１３０】
また、オーディオ信号大きさ測定部は、初期ピークＬＫＦＳを測定（ステップＳ５０２）することができる。ここで、初期ピークＬＫＦＳは、既に設定された初期ピーク重み付け値を用いて、入力されたオーディオ信号をスケーリングし、スケーリングされたオーディオ信号に基づいてＬＫＦＳを測定することにより測定可能である。
【０１３１】
ここで、既に設定された初期ピーク重み付け値と、オーディオ信号及び映像信号を含む放送信号に制御情報の形で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。
【０１３２】
一方、重み付け値算出部は、最初には（ステップＳ５０５：Ｙ）、目標値ＬＫＦＳ（ステップＳ５０４）と、測定された初期ピークＬＫＦＳ（初期ピーク重み付け値）（ステップＳ５０２）及び測定された入力オーディオ信号のＬＫＦＳ（原値ＬＫＦＳ）（ステップＳ５０３）を用いて、オーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる（ステップＳ５０６）。具体的に、重み付け値算出部は、下記の数式７を用いてオーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる。
【０１３３】
【数７】
2016520854.tif 000009
ここで、オーディオ信号の大きさ制御比（ラウドネス制御比）は、ｄｉｆｆ１／ｄｉｆｆ２であってもよい。
【０１３４】
また、重み付け値算出部は、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を下記の数式８に適用して新たなピーク重み付け値を算出することができる（ステップＳ５０７）。
【０１３５】
【数８】
2016520854.tif 000010
ここで、ｎｅｗ＿Ｐｅｅｋ＿ｗｅｉｇｈｔとは、新たなピーク重み付け値を意味し、ｐｒｅｖｉｏｕｓ＿Ｐｅｅｋ＿ｗｅｉｇｈｔとは、ｎｅｗ＿Ｐｅｅｋ＿ｗｅｉｇｈｔの算出前に用いたピーク重み付け値を意味し、ｎｅｗ＿ｗｅｉｇｈｔとは、数式８において算出された重み付け値を意味する。例えば、上述した数式７及び８によれば、最初には（ステップＳ５０５：Ｙ）、初期ピーク重み付け値に新たな重み付け値を乗算して、新たなピーク重み付け値を算出することができる。
【０１３６】
一方、数式８によれば、原値ＬＫＦＳとピークＬＫＦＳとの間の差分が原値ＬＫＦＳと目標値ＬＫＦＳとの間の差分よりも小さな場合には、以前のピーク重み付け値をデクリメントして新たなピーク重み付け値を算出し、原値ＬＫＦＳとピークＬＫＦＳとの間の差分が原値ＬＫＦＳと目標値ＬＫＦＳとの間の差分よりも大きな場合には、以前のピーク重み付け値をインクリメントして新たなピーク重み付け値を算出することができる。
【０１３７】
このような数式８においては、デクリメントのための重み付け値としては０．９、インクリメントのための重み付け値としては１．１を用いたが、このような重み付け値に限定されるものではなく、様々な重み付け値が使用可能である。例えば、より細かいオーディオ信号の大きさの調節のために、デクリメントのための重み付け値としては０．９９、インクリメントのための重み付け値としては１．０１が使用可能である。
【０１３８】
一方、ここで、目標値ＬＫＦＳは、世界のいくつかの国が規定及び法案で定めた目標値ＬＫＦＳに応じて異なる。例えば、図５の後端に示す（すなわち、正規化した後）ように、目標値ＬＫＦＳは？２４ＬＫＦＳであってもよい。このような目標値ＬＫＦＳは、オーディオ信号及び映像信号を含む放送信号に制御情報の形式で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。
【０１３９】
一方、オーディオ信号大きさ制御部は、上述した動作により算出された新たなピーク重み付け値を用いてオーディオ信号の大きさを制御することができる。具体的に、オーディオ信号大きさ制御部は、算出された新たなピーク重み付け値を用いて入力されたオーディオ信号（ステップＳ５０１）をスケーリングすることにより、オーディオ信号の大きさを制御することができる（ステップＳ５０８）。
【０１４０】
また、オーディオ信号大きさ測定部は、新たなピーク重み付け値に応じてオーディオ信号の大きさが制御されたオーディオ信号（ステップＳ５０８）のＬＫＦＳ（新たなピークＬＫＦＳ）を測定することができる（ステップＳ５０９）。
【０１４１】
一方、オーディオ信号大きさ制御部は、目標値ＬＫＦＳ（ステップＳ５０４）と測定された新たなピークＬＫＦＳ（ステップＳ５０９）を比較して、ＬＫＦＳ誤差を算出することができる（ステップＳ５１１）。
【０１４２】
そして、オーディオ信号大きさ制御部は、ＬＫＦＳ誤差（Ｄ）と既に設定された誤差範囲（Ｔ）を比較することができる（ステップＳ５１２）。例えば、目標値ＬＫＦＳとオーディオ信号の大きさの誤差範囲が２４ＬＫＦＳ（目標値ＬＫＦＳ）＋／−２ｄＢ（誤差範囲）である場合、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも大きいか否かを判断することができる。このような既に設定された誤差範囲（ＬＫＦＳ誤差範囲）（ステップＳ５１０）は、オーディオ信号及び映像信号を含む放送信号に制御情報の形式で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。
【０１４３】
もし、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも小さな場合（ステップＳ５１３：Ｙ）、オーディオ信号大きさ制御部は、新たなピーク重み付け値に応じて、オーディオ信号の大きさが制御されたオーディオ信号を出力することができる。
【０１４４】
もし、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも大きな場合（ステップＳ５１３：Ｎ）、オーディオ信号大きさ制御部は、上述した制御動作を繰り返し行うように制御することができる。ここで、上述した制御動作を繰り返し行う場合、重み付け値算出部は最初ではないため（ステップＳ５０５：Ｎ）、目標値ＬＫＦＳ（ステップＳ５０４）と、測定された新たなピークＬＫＦＳ（ステップＳ５０９）及び測定された原値ＬＫＦＳ（ステップＳ５０３）を用いて、新たなオーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる（ステップＳ５０６）。この場合、重み付け値算出部は、上述した数式７を用いてラウドネス制御比を算出することができる。また、重み付け値算出部は、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を上述した数式８に適用して新たなピーク重み付け値を算出することができる（ステップＳ５０７）。すなわち、オーディオ信号の大きさが目標値ＬＫＦＳ及び誤差範囲を満たすまで、上述した動作を繰り返し行うことができる。
【０１４５】
一方、本発明の第１の実施形態による入力オーディオ信号（ステップＳ５０１）は、予め製作された放送番組に対するオーディオ信号であるが、放送番組の開始から終了までに対するオーディオ信号であってもよい。これにより、本発明の第１の実施形態によれば、放送番組の開始から終了までに対するオーディオ信号のオーディオ信号の大きさ（原値ＬＫＦＳ）に基づいて、オーディオ信号の大きさを制御することができる。
【０１４６】
一方、出力されたオーディオ信号（ステップＳ５１３）には、図１０から図１２に示す符号化動作、多重化動作（省略可能）などが行われてもよい。
【０１４７】
このような本発明の第１の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第１の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。
【０１４８】
上述した本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように自動的に制御することができる。
【０１４９】
図２０は、ＩＴＵ−Ｒ１７７０−２において言及されたオーディオゲーティング方式が追加されたオーディオ信号の大きさ測定方法を説明するための図である。ここで、オーディオゲーティング方式は、図２０に示すように、ゲートブロック１に対するＬＫＦＳを測定し、重畳及び移動方式を適用して、ゲートブロック２に対するＬＫＦＳを測定し、重畳及び移動方式を繰り返し行ってゲートブロック別のＬＫＦＳを測定し、測定されたゲートブロックのＬＫＦＳが臨界ＬＫＦＳ（ＩＴＵ−Ｒ１７７０−２においては、−７０ＬＫＦＳ）以下であれば、一括処理して、ゲーティングが適用されたオーディオ信号に対するオーディオ信号の大きさの測定を行うことができる。
【０１５０】
ここで、上述したゲートブロックに対し、ＩＴＵ−Ｒ１７７０−２においては、ゲートブロックは０．４ｓのゲートサイズを有し、７５％重畳される構造を有している。
【０１５１】
一方、リアルタイム／ライブ環境においては、オーディオ信号がそれぞれのゲートブロック別に取得されるが、それぞれのゲートブロック別のＬＫＦＳが、上述した数式４及び５により測定され、それぞれのゲートブロック別にオーディオ信号の大きさを制御するための新たなピーク重み付け値が、上述した図１９の方法により算出される。但し、それぞれのゲートブロック別に算出された新たなピーク重み付け値を用いて、それぞれのゲートブロック別にオーディオ信号の大きさを制御すれば、隣り合うゲートブロック間の重み付け値の差分により、不連続的な音が発生する虞がある。
【０１５２】
このような問題を解消するために、本発明の第５の実施形態によるオーディオ信号大きさの制御方法は、下記の処理を行うことができる。
【０１５３】
図２１は、本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明するためにゲートハンドオーバーを説明する図である。図２１を参照すると、ゲートブロックの非重畳領域のゲートサイズは、例えば、４８００サンプルであってもよい。また、ＡＡＣ、ＡＣ−３などのコーデックを用いる場合、一回に受け取るデータサイズを決定する一枚のフレームのサイズは、１０２４サンプルであってもよい。この場合、一枚のフレームが二つのゲートブロックに跨るゲートハンドオーバーが発生する虞がある。
【０１５４】
図２２は、本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明する図である。図２２を参照すると、本発明の第５の実施形態によるオーディオ信号大きさの制御方法は、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間してオーディオ信号の大きさを制御することができる。ここで、ゲート重み付け値は、それぞれのゲートブロックに対して上述した図１９の方法を用いて算出した新たなピーク重み付け値であってもよい。
【０１５５】
このような本発明の第５の実施形態によれば、ゲート重み付け値の補間によるゲート遅延が発生しない。すなわち、ゲートハンドオーバーが発生するフレームにおいてデータが受信される時点では、ゲートハンドオーバーが発生するフレームが跨る二つのゲートブロックに対するゲート重み付け値を予め算出することができるため、予め算出された二つのゲートブロックに対するゲート重み付け値を用いて、ゲートハンドオーバーが発生するフレーム時点から遅延なしにゲート重み付け値を補間することができるためである。
【０１５６】
一方、本発明の第５の実施形態によれば、ゲート重み付け値を補間するために、様々な補間方法を用いることができる。例えば、この線形補間を用いることができる。これについては、図２３を参照して具体的に説明する。
【０１５７】
図２３は、本発明の第５の実施形態による補間の一例である線形補間を説明する図である。図２３を参照すると、下記の数式のような線形補間を用いることができる。
【０１５８】
【数９】
2016520854.tif 000011
数式９において、ＷＧ１は、ゲートブロック１のゲート重み付け値であり、ＷＧ２は、ゲートブロック２のゲート重み付け値であり、ｉは、補間するゲート重み付け値の数であり、ＩｎｔｅｒＦｒａｍｅは、補間開始フレームから種類フレームまでのフレーム枚数である。
【０１５９】
例えば、ＩｎｔｅｒＦｒａｍｅの数を３にして前記数式９に適用すれば、図２２に示すように、二枚のフレームに適用されるゲート重み付け値（赤色で示す重み付け値：Ｗ１、Ｗ２）が算出可能である。すなわち、ＩｎｔｅｒＦｒａｍｅの数の選択的に調節して、ゲート重み付け値が補間される数を可変的に制御することができる。
【０１６０】
一方、上述した本発明の第５の実施形態によるゲート重み付け値補間方法は、ゲート重み付け値を用いてオーディオ信号の大きさを制御する方法にいずれも適用可能である。例えば、既存に録画された放送番組に適用されてオーディオ信号の大きさを制御することができ、ライブ放送番組に適用されてオーディオ信号の大きさを制御することができる。
【０１６１】
また、本発明の第５の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第５の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。
【０１６２】
このような本発明の第５の実施形態によれば、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間して、ゲート重み付け値の補間によるゲート遅延が発生することを防ぐことができる。
【０１６３】
また、ゲート重み付け値が補間される数を可変的に制御することができる。
【０１６４】
図２４は、本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報の一例を示す図である。ここで、半自動ラウドネス制御モードは、制御のための重み付け値を人間が手動で選択するという点は、手動ラウドネス制御モードと同様であるが、半自動ラウドネス制御モードにおいてはオーディオ信号の大きさの制御に必要な情報を人間が利用できるように、上述した情報を提供するという点で相違点がある。
【０１６５】
このような半自動ラウドネス制御モードにおいて提供されるオーディオ信号の大きさの制御のための情報は、図２４に示すように、瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３、再生ＬＫＦＳ６０４、残留ＬＫＦＳ６０５、推奨制御要因６０６のうちの少なくとも一つを備えていてもよい。
【０１６６】
ここで、瞬間ＬＫＦＳ６０１は、ゲートブロックに入力されたオーディオ信号に対するＬＫＦＳ（例えば、図２０に示すように、０．４Ｓの間に入力されたオーディオ信号に対するＬＫＦＳ）、短期（３ｓ）ＬＫＦＳ６０２は、３Ｓの間に入力されたオーディオ信号に対するＬＫＦＳ、集積ＬＫＦＳ６０３は、これまで入力されたオーディオ信号に対するＬＫＦＳ、再生ＬＫＦＳ６０４は、これまで出力されたオーディオ信号に対するＬＫＦＳ、残留ＬＫＦＳ６０５は、目標値ＬＫＦＳに比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳ、推奨制御要因６０６は、残留ＬＫＦＳ６０５を用いて算出したオーディオ信号の大きさを制御するための重み付け値であってもよい。
【０１６７】
このような瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３は、上述した数式４及び５を用いて測定することができる。
【０１６８】
一方、再生ＬＫＦＳ６０４は、出力されたオーディオ信号（すなわち、上述した図２２から図２３の動作に応じて、オーディオ信号の大きさが制御されてオーディオ再生装置に出力可能である。）、すなわち、オーディオ信号の大きさが制御されたオーディオ信号であるという点で、オーディオ信号の大きさが制御されていない入力オーディオ信号に対するＬＫＦＳである集積ＬＫＦＳ６０３とは異なる。
【０１６９】
このような再生ＬＫＦＳ６０４は、下記の数式１０を用いて算出することができる。
【０１７０】
【数１０】
2016520854.tif 000012
ここで、ｘは、ＬＫＦＳ測定アルゴリズムに定義された二つのフィルターを通過した信号に対してこれまで出力されたオーディオ信号であり、Ｍは、ゲートブロックのサンプル数であり、Ｎは、これまでオーディオ信号が入力されたゲートブロックの数である。
【０１７１】
すなわち、図２０を参照すると、リアルタイム／ライブ環境においては、毎回ゲートブロックごとにオーディオ信号が入力されるため、数式１０に示すように、これまで出力されたオーディオ信号の平均（ｐｌａｙｅｄ＿ｍｅａｎ）を持続的に演算しなければならない。これにより、平均（ｐｌａｙｅｄ＿ｍｅａｎ）が得られると、ＩＴＵ−Ｒ１７７０−２に言及された数式に適用して再生ＬＫＦＳ６０４を測定することができる。
【０１７２】
一方、上述した数式１０のように計算する場合、オーディオ信号に対するデータが多くなると、Ｎ値がかなり大きくなるため、固定点プロセッサーの場合、ｐｒｅｖｉｏｕｓ＿ＭｅａｎとＮ−１との間の乗算の結果がプロセッサー範囲を超える場合がある。なお、浮動点プロセッサーにおいてもかなり大きな値になる。プロセッサーの処理及びメモリの格納容量に負担が生じる虞がある。
【０１７３】
このような問題を補うために、本発明の一実施形態によれば、下記の数式１１に示すように、Ｎを乗算する方式ではなく、Ｎを除算する方式を用いて、これまで出力されたオーディオ信号に対する平均（ｐｒｅｓｅｎｔ＿ｍｅａｎ）を算出することができる。この場合、算出されたｐｒｅｓｅｎｔ＿ｍｅａｎを上述した数式１０のｐｌａｙｅｄ＿ｍｅａｎに適用することにより、再生ＬＫＦＳ６０４を測定することができる。この場合、プロセッサーの処理及びメモリの格納容量への負担が軽減される。
【０１７４】
【数１１】
2016520854.tif 000013
図２５は、本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報のうちの推奨制御要因を算出する方法を示す図である。図２５を参照すると、下記の数式１２を用いて残留ＬＫＦＳ６０５を測定し、測定された残留ＬＫＦＳ６０５を用いて推奨制御要因６０６を算出することができる。
【０１７５】
【数１２】
2016520854.tif 000014
ここで、残留ＬＫＦＳ６０５は、再生ＬＫＦＳ６０４、目標値ＬＫＦＳ６０７、合計で出力されるオーディオ信号の時間（Ｔｏｔａｌ Ｐｌａｙ Ｔｉｍｅ（Ｔｓ））６０８、現在出力されたオーディオ信号の時間（Ｐｌａｙｅｄ  Ｔｉｍｅ（Ｐｓ））６０９を用いて算出することができる。このような数式１２を参照すると、残留ＬＫＦＳ６０５とは、目標値ＬＫＦＳに比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳを意味する。
【０１７６】
推奨制御要因６０６は、残留ＬＫＦＳ６０５を用いて算出したオーディオ信号の大きさを制御するための重み付け値であってもよい。すなわち、残留ＬＫＦＳ６０５とは、目標値ＬＫＦＳ６０７に比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳを意味するが、重み付け値算出部は、残留ＬＫＦＳ６０５を用いて、合計で出力されるオーディオ信号のオーディオ信号の大きさが目標値ＬＫＦＳ６０７になるための重み付け値を算出することができる。
【０１７７】
一方、上述した瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３、再生ＬＫＦＳ６０４、残留ＬＫＦＳ６０５、推奨制御要因６０６などの半自動ラウドネス制御モードにおいては、オーディオ信号の大きさ制御に必要な情報は、オーディオ信号大きさの制御装置に配設された表示画面を介して提供可能である。
【０１７８】
このような本発明の実施形態によれば、オーディオ信号の大きさの制御に必要な情報を提供することにより、リアルタイム／ライブ環境においてユーザーがより手軽にオーディオ信号の大きさを制御することができる。
【０１７９】
図２６は、本発明の第２の実施形態の自動ラウドネス制御モードにおけるオーディオ信号大きさの制御方法を示す図である。ここで、自動ラウドネス制御モードは、人間の手動制御なしに自動的にオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。このような自動ラウドネス制御モードにおいては、各ゲートブロック別に適用されるべきゲート重み付け値を自動的に算出しなければならない。
【０１８０】
このために、本発明の一実施形態による自動ラウドネス制御モードにおいては、重み付け値算出部は、それぞれのゲートブロック別にリアルタイム取得された入力オーディオ信号の大きさ（原値ＬＫＦＳ）、それぞれのゲートブロック別にリアルタイムにて取得された入力オーディオ信号にピーク重み付け値を用いてスケーリングしたオーディオ信号の大きさ（ピークＬＫＦＳ）、入力されたオーディオ信号の大きさ（原値ＬＫＦＳ）をマッピング曲線に適用して算出されたマッピングＬＫＦＳを用いて、ゲート別にオーディオ信号をスケーリングするためのゲート重み付け値を自動的に算出し、オーディオ信号大きさ制御部は、算出されたゲート重み付け値を用いてオーディオ信号の大きさを制御することができる。
【０１８１】
ここで、マッピング曲線は、オーディオ信号の開始から終了までに対して入力された全体のオーディオ信号のオーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）（例えば、−２４ＬＫＦＳ）にしながら、出力されるオーディオ信号の全体的なサイズバラツキは維持するようにした曲線であってもよい。すなわち、入力された全体のオーディオ信号のオーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）（例えば、−２４ＬＫＦＳ）にする正規化作業が行われると、それぞれのゲートブロック別にオーディオ信号の大きさが小さなブロックはサイズが大きくなり、サイズが大きなブロックはサイズが小さくなるが、人間の耳に伝達される音の大きさのバラツキが小さくなって問題になる虞がある。これにより、本発明の一実施形態によれば、出力されるオーディオ信号の全体的なサイズバラツキを維持するマッピング曲線を用いることにより、人間の耳に伝達される音の大きさのバラツキを維持することができる。
【０１８２】
一方、重み付け値算出部は、上述した数式７の目標値ＬＫＦＳにマッピングＬＫＦＳを適用してオーディオ信号の大きさ制御比（ラウドネス制御比）であるｄｉｆｆ１／ｄｉｆｆ２を算出し、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を数式８に適用してゲート重み付け値（新たなピーク重み付け値）を算出することができる。
【０１８３】
また、オーディオ信号大きさ制御部は、それぞれのゲートブロック別に算出されたオーディオ信号をスケーリングするためのゲート重み付け値を用いてオーディオ信号の大きさを制御することができる。このような動作に関する具体的な説明は、図１９において上述したため省略する。
【０１８４】
図２７は、図２６によるマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）を算出するためのマッピング曲線を設計するための方法を示す図である。ここで、マッピング曲線は、それぞれのゲートブロック別に入力されたオーディオ信号の大きさ（原値ＬＫＦＳ）とマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）との間の関係を示す曲線である。図２７（ａ）を参照すると、マッピング曲線を設計するために、主要ＬＫＦＳ領域と非主要ＬＫＦＳ領域（低いＬＫＦＳ領域）を分離してマッピング曲線を設計することができる。
【０１８５】
ここで、非主要ＬＫＦＳ領域（低いＬＫＦＳ領域）は、人間の耳に小さく伝達される入力オーディオ信号の大きさが既に設定された値よりも小さなＬＫＦＳ領域であってもよく、主要ＬＫＦＳ領域は、人間の耳に大きく伝達される入力オーディオ信号の大きさが既に設定された値よりも大きなＬＫＦＳ領域であってもよい。
【０１８６】
すなわち、図２７（ｂ）を参照すると、主要ＬＫＦＳ領域は、可変重み付け値に基づいてマッピング曲線を設計し、非主要ＬＫＦＳ領域は、線形状にマッピング曲線を設計することができる。
【０１８７】
ここで、主要ＬＫＦＳ領域に対するマッピング曲線は、下記の数式１３を用いて設計することができる。
【０１８８】
【数１３】
2016520854.tif 000015
ここで、ｉＬＫＦＳは、ゲート別に入力されるオーディオ信号の大きさ（原値ＬＫＦＳ）であり、ｏＬＫＦＳは、ゲート別にマッピングされたオーディオ信号の大きさ（マッピングＬＫＦＳ）であり、ｗは、重み付け値である。これにより、主要ＬＫＦＳ領域に対する可変マッピング曲線を生成することができる。このようなマッピング曲線は、マッピング曲線を制御して調節可能である。
【０１８９】
このような本発明の一実施形態によれば、入力されたオーディオ信号をマッピング曲線を用いて正規化させて出力することにより、正規化して出力されるオーディオ信号が入力されたオーディオ信号の大きさのバラツキを維持することができ、これにより、人間の耳に伝達される音の大きさのバラツキを維持することができる。
【０１９０】
一方、上述した動作により入力オーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）と誤差範囲に正規化させて出力すれば、出力されたオーディオ信号の構成が平らであるという感じが強くなる虞がある。このような部分は、オーディオ信号の大きさの正規化による逆効果である。このため、オーディオ信号の大きさの正規化という目的を達成しながら、オーディオ信号の大きさの正規化による逆効果を解消しなければ、オーディオ信号の大きさの正規化の波及力及びユーザーの満足度が向上できない。
【０１９１】
また、図１７のステップＳ３０５に示すオーディオミックス及びＥＱは、オーディオ編集者が制御する部分であり、オーディオ編集者は、自分の感じ及び芸術性に基づいて放送オーディオ信号を編集／修正することができる。さらに、このようにして編集／修正されたオーディオ信号が、直ちにオーディオ信号大きさ制御モジュールに転送されれば、オーディオ信号大きさ制御モジュールは、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）よりも高い部分は低めて低い部分を高めたり、全体的にオーディオ信号の大きさを調節したりして、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に正規化させることができる。なお、オーディオ信号大きさ制御モジュールは、オーディオ信号の大きさが制御されたオーディオ信号を出力する。但し、このような方式は、正規化を行うことにより、オーディオ編集者により編集／修正された音量のバラツキなどを消去または低減することができる。
【０１９２】
これにより、本発明の第３の実施形態によれば、このような問題を解消するために二種類の方案を提供する。
【０１９３】
図２８は、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの一つの方案を具体的に示す図である。図２８を参照すると、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの一つの方案は、オーディオ信号の大きさの正規化７０８を行う前に、オーディオ信号の大きさの正規化により発生する音質劣化を予め考慮して補償する方案であってもよい。
【０１９４】
具体的に、放送信号に対するデータ（オーディオデータ、映像データ及び放送データ（放送に関するメタデータであり、例えば、番組ジャンルデータなど）を含む）が入力されれば、デフォーマッター７０１は、入力された放送信号に対するデータから番組ジャンルデータ７０２及びオーディオデータを分離することができる。もし、入力されたデータが番組ジャンルデータを含んでいる場合、既に格納されたジャンル別の帯域利得テーブル７０３のうち分離された番組ジャンルデータに対応する帯域利得テーブルを検出することができる。また、検出された帯域利得テーブルに対応する帯域利得を多帯域制御利得生成モジュール７０６に転送することができる。但し、入力されたデータが番組ジャンルデータを含んでいない場合、番組ジャンルデータに対応する帯域利得テーブルを考慮しなくてもよい。
【０１９５】
一方、分離されたオーディオデータが圧縮されたデータである場合、オーディオ復号化器７０４により復号化可能である。また、正規化劣化補償帯域利得生成モジュール７０５は、復号化したオーディオデータを分析して、各帯域の補償利得を決定することができる。ここで、正規化劣化補償帯域利得生成モジュール７０５は、既に定義されたテーブルを用いて各帯域の補償利得を決定することができる。さらに、決定された補償利得を多帯域制御利得生成モジュール７０６に転送することができる。但し、分離されたオーディオデータが圧縮されたデータではない場合、オーディオ復号化ステップは省略可能である。
【０１９６】
一方、多帯域制御利得生成モジュール７０６は、正規化劣化補償帯域利得生成モジュール７０５において決定された補償利得とジャンル別帯域利得テーブル７０３において決定されたジャンルによる利得を融合して多帯域の利得を算出することができる。
【０１９７】
また、多帯域音量制御モジュール７０７は、復号化したオーディオデータを多帯域に変換することができる。さらに、多帯域音量制御モジュール７０７は、復号化したオーディオデータが変換された多帯域に、オーディオ多帯域制御利得生成モジュール７０６において算出された多帯域利得を適用することができる。なお、多帯域音量制御モジュール７０７は、適用された多帯域をオーディオデータに再び変換することができる。
【０１９８】
この場合、変換されたオーディオデータは、正規化による劣化が予め考慮されたオーディオデータであってもよい。
【０１９９】
一方、このような変換されたオーディオデータは、オーディオ音量正規化モジュール７０８により正規化する。ここで、オーディオ音量正規化モジュール７０８は、上述した本発明の第１及び第２の実施形態に記載の重み付け値を算出してオーディオ信号の正規化動作を行うモジュールであってもよい。
【０２００】
図２９は、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの他の方案を具体的に示す図である。図３０は、図２９をさらに具体的に示す図である。図２９及び図３０を参照すると、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの他の方案は、オーディオ信号の大きさの正規化を行った後に、オーディオ信号の大きさの正規化により発生した音質の劣化を補償する方案であってもよい。
【０２０１】
具体的に、放送信号に対するデータ（オーディオデータ、映像データ及び放送データ（放送に関するメタデータであり、例えば、番組ジャンルデータなど）を含む）が入力されれば、デフォーマッター８０１は、入力された放送信号に対するデータから番組ジャンルデータ８０２及びオーディオデータを分離することができる。もし、入力されたデータが番組ジャンルデータを含んでいる場合、既に格納されたジャンル別の帯域利得テーブル８０３のうち、分離された番組ジャンルデータに対応する帯域利得テーブルを検出することができる。さらに、検出された帯域利得テーブルに対応する帯域利得を多帯域制御利得生成モジュール８０６に転送することができる。ここで、ジャンル別の帯域利得テーブルは、入力される放送番組のジャンルに応じて、音声領域を強調したり、背景領域を強調したりするなどの利得値を有するテーブルであってもよい。但し、入力されたデータが番組ジャンルデータを含んでいない場合、番組ジャンルデータに対応する帯域利得テーブルを考慮しなっくてもよい。
【０２０２】
一方、分離されたオーディオデータが圧縮されたデータである場合、オーディオ復号化器８０４により復号化可能である。また、オーディオ音量正規化利得生成モジュール８０５は、復号化したオーディオデータを用いて正規化のための利得を算出することができる。さらに、算出された正規化のための利得を多帯域制御利得生成モジュール８０６に転送することができる。ここで、オーディオ音量正規化利得生成モジュール８０５は、上述した本発明の第１及び第２の実施形態に記載の重み付け値を算出してオーディオ信号の正規化動作を行うモジュールであってもよい。ここで、分離されたオーディオデータが圧縮されたデータではない場合、オーディオ復号化ステップは省略可能である。
【０２０３】
一方、多帯域制御利得生成モジュール８０６は、オーディオ音量正規化利得生成モジュール８０５において算出された正規化利得とジャンル別の帯域利得テーブル８０３において算出されたジャンルによる利得を融合して多帯域の利得を算出することができる。
【０２０４】
また、多帯域音量制御モジュール８０７は、復号化したオーディオデータを多帯域に変換することができる。さらに、多帯域音量制御モジュール８０７は、復号化したオーディオデータが変換された多帯域に、多帯域制御利得生成モジュール８０６において算出された多帯域利得を適用することができる。なお、多帯域音量制御モジュール８０７は、適用された多帯域をオーディオデータに再び変換することができる。
【０２０５】
以下、図３０を参照して、図２９の動作についてより詳細に説明する。但し、図３０を説明するに当たって、図２９において既に説明された動作についての具体的な説明は省略する。
【０２０６】
図３０を参照すると、オーディオ音量正規化利得生成モジュール９０５は、オーディオ正規化のための利得を演算するブロックであり、入力されたオーディオ信号の大きさを測定し、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に合わせるための利得値を演算することができる。この場合、利得を演算する方法としては、リアルタイム／ライブ環境においては、手動、半自動及び自動モードを用いた取得が挙げられる。
【０２０７】
一方、多帯域制御利得生成モジュール９０６は、オーディオ音量正規化利得生成モジュール９０５において算出された正規化利得とジャンル別の帯域利得テーブル９０３において算出されたジャンルによる利得を融合して多帯域の利得を算出することができる。
【０２０８】
例えば、多帯域制御利得生成モジュール９０６は、［ｎＧｉ＝ｇ＊Ｇｉ、ｉ＝１〜多帯域数］に適用して多帯域の利得を算出することができる。
【０２０９】
ここで、ｇは、オーディオ音量正規化利得生成モジュール９０５において算出された正規化利得であり、Ｇｉは、ジャンル別の帯域利得テーブル９０３において算出されたジャンルによる利得であり、ｎＧｉは、正規化及びジャンルが両方とも考慮された多帯域の利得であってもよい。
【０２１０】
一方、復号化したオーディオデータは、多帯域変換分析モジュール９０７において、ＱＭＦまたは多重フィルターリングなどの技法により多帯域信号に変換可能である。また、多帯域重み付けモジュール９０８は、変換された多帯域信号に、多帯域制御利得生成モジュール９０６において算出された多帯域の利得を適用することができる。さらに、利得が適用された多帯域信号は、多帯域変換合成モジュール９０９によりオーディオデータに変換可能である。
【０２１１】
このような本発明の第３の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第３の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。
【０２１２】
一方、本発明の正規化による聴覚的劣化補償方法によれば、人間の聴覚が低帯域に敏感であるのに対し、高帯域に鈍いという点と、正規化に伴いオーディオ信号の大きさのバラツキが低減されるという点を考慮した補完フィルターリングを行うことができる。これにより、正規化して出力されるオーディオ信号における、オーディオ信号の構成が平らになる問題、オーディオ編集者により編集／修正された音量のバラツキなどが消去または低減される問題などのオーディオ信号の大きさの正規化による逆効果を解消することができる。
【０２１３】
図３１から図３３は、入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。
【０２１４】
図３１（ａ）は、ｐｏｐの入力オーディオ信号の波形、図３１（ｂ）は、ｐｏｐの正規化したオーディオ信号の波形を示す図である。図３１を参照すると、入力オーディオ信号の大きさは−２２．２３ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２２．７２ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。
【０２１５】
図３２（ａ）は、Ｋｐｏｐの入力オーディオ信号の波形、図３２（ｂ）は、Ｋｐｏｐの正規化したオーディオ信号の波形を示す図である。図３２を参照すると、入力オーディオ信号の大きさは−８．９ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２３．２８ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。
【０２１６】
図３３（ａ）は、クラシックの入力オーディオ信号の波形、図３３（ｂ）は、クラシックの正規化したオーディオ信号の波形を示す図である。図３３を参照すると、入力オーディオ信号の大きさは−２６ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２５．３４ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。
【０２１７】
一方、上述した本発明の様々な実施形態による方法は、コンピューターにおいて実行されるためのプログラムとして製作されてコンピューターにて読み取り可能な記録媒体に格納可能であり、コンピューターにて読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などが挙げられ、なお、キャリアウェーブ（例えば、インターネットを介して転送）の形式で実現されるものも含む。
【０２１８】
コンピューターにて読み取り可能な記録媒体は、ネットワークを介して接続されたコンピューターシステムに分散されて、分散方式を用いてコンピューターにて読み取り可能なコードが格納されて実行可能である。なお、前記方法を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーにより容易に推論可能である。
【０２１９】
また、以上、本発明の好適な実施形態について図示及び説明したが、本発明は上述した特定の実施形態に何ら限定されるものではなく、請求範囲において請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が行えるということはいうまでもなく、このような変形実施は本発明の技術的思想や見込みから個別的に理解されてはならない。
【図３】
2016520854.tif 000016
【図６】
2016520854.tif 000017
【図７】
2016520854.tif 000018
【図８】
2016520854.tif 000019
【図９】
2016520854.tif 000020
【図１０】
2016520854.tif 000021
【図１１】
2016520854.tif 000022
【図１２】
2016520854.tif 000023
【図１３】
2016520854.tif 000024
【図１４】
2016520854.tif 000025
【図１５】
2016520854.tif 000026
【図１６】
2016520854.tif 000027
【図１７】
2016520854.tif 000028
【図１８】
2016520854.tif 000029
【図１９】
2016520854.tif 000030
【図２２】
2016520854.tif 000031
【図２３】
2016520854.tif 000032
【図２４】
2016520854.tif 000033
【図２５】
2016520854.tif 000034
【図２６】
2016520854.tif 000035
【図２７】
2016520854.tif 000036
【図２８】
2016520854.tif 000037
【図２９】
2016520854.tif 000038
【図３０】
2016520854.tif 000039
【図１】
2016520854.tif 000040
【図２】
2016520854.tif 000041
【図４】
2016520854.tif 000042
【図５】
2016520854.tif 000043
【図２０】
2016520854.tif 000044
【図２１】
2016520854.tif 000045
【図３１】
2016520854.tif 000046
【図３２】
2016520854.tif 000047
【図３３】
2016520854.tif 000048
【国際調査報告】
2016520854.tif 000049
2016520854.tif 000050
2016520854.tif 000051
2016520854.tif 000052
2016520854.tif 000053
2016520854.tif 000054