(57)【要約】  本文献は、マルチメディアデータの処理に関し、特に、オーディオファイルやビットストリームなどのマルチメディアデータの符号化と送信と復号とレンダリングとに関する。特に、本文献は、マルチメディアプレーヤにおけるラウドネス制御の実施に関する。ラウドネス関連データをメディアプレーヤに提供する方法を説明する。この方法は、オーディオ信号に関連する第１のラウドネス関連値であって第１の手順により決定されたものを提供するステップ、可逆的関係を用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換するステップと、前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納するステップと、前記メタデータを前記メディアプレーヤに提供するステップとを有する。
2013521539.tif 000002
【特許請求の範囲】
【請求項１】
ラウドネス関連データをメディアプレーヤに提供する方法であって、
オーディオ信号に関連する第１のラウドネス関連値であって第１の手順により決定されたものを提供するステップと、
可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換するステップと、
前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納するステップと、
前記メタデータを前記メディアプレーヤに提供するステップとを有する方法。
【請求項２】
前記第１の及び／又は第２の手順は、
前記オーディオ信号を人間のラウドネス知覚により処理するステップと、
前記処理されたオーディオ信号の部分のエネルギーを決定するステップと、
前記エネルギーをオフセットしてラウドネス関連値を決定するステップとを有する、請求項１に記載の方法。
【請求項３】
前記第１の手順はオーディオプログラムのラウドネスを測定するＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムであり、
前記第２の手順は再生ゲインラウドネス計算方式であり、前記再生ゲインラウドネス計算方式は前記ラウドネス関連値からゲイン値を計算するステップをさらに有し、前記ゲイン値が前記第２のラウドネス関連値である、請求項２に記載の方法。
【請求項４】
前記可逆的関係は一次または二次の多項式である、
請求項１乃至３いずれか一項に記載の方法。
【請求項５】
前記可逆的関係は、
Ｌ２=Ａ+ＢＬ１
により与えられ、Ｌ２はｄＢ単位で測定された前記第２のラウドネス関連値であり、Ｌ１はｄＢ単位で測定された前記第１のラウドネス関連値であり、ＡとＢは実数である、請求項４に記載の方法。
【請求項６】
−１７≦Ａ≦−１５であり、−０.７≦Ｂ≦−０.９である、
請求項５に記載の方法。
【請求項７】
−１６.１≦Ａ≦１５.９であり、−０.８０≦Ｂ≦−０.８２である、
請求項６に記載の方法。
【請求項８】
−１６.０１≦Ａ≦１５.９９であり、−０.８１１≦Ｂ≦−０.８１３である、
請求項７に記載の方法。
【請求項９】
Ａ=−１６.００であり、Ｂ=−０.８１２である、
請求項８に記載の方法。
【請求項１０】
Ｂ=−１．０である、
請求項５に記載の方法。
【請求項１１】
−１９≦Ａ≦−１８、または−１８.４≦Ａ≦−１８.３、または−１８.３１≦Ａ≦−１８.２９、またはＡ=−１８.３０、またはＡ=−１８.１０、またはＡ=−１８.００である、請求項１０に記載の方法。
【請求項１２】
前記可逆的関係は、
Ｌ２=Ａ+ＢＬ１+ＣＬ１２により与えられ、
ここでＬ２はｄＢ単位で測定された前記第２のラウドネス関連値であり、Ｌ１はｄＢ単位で測定された前記第１のラウドネス関連値であり、ＡとＢとＣは実数である、
請求項４に記載の方法。
【請求項１３】
前記第２のラウドネス関連値を含む前記メタデータは所定フォーマットを有し、
前記所定フォーマットは再生ゲインシンタックスを用いたものであり、及び／又は
前記所定フォーマットはいＴｕｎｅｓスタイルメタデータまたはＩＤ３ｖ２タグを含む、請求項１乃至１２いずれか一項に記載の方法。
【請求項１４】
前記可逆的関係は、複数のオーディオ信号の計算された複数の第１と第２のラウドネス関連値に基づき決められ、
前記可逆的関係は線形回帰を用いて決定され、
前記可逆的関係は区分線形回帰を用いて決定され、及び／又は
前記可逆的関係は誤差最小化方式を用いて決定される、
請求項１乃至１３いずれか一項に記載の方法。
【請求項１５】
対数空間で測定された前記第１のラウドネス関連値と前記第２のラウドネス関連値との間の前記可逆的関係は線形関係である、
請求項１４に記載の方法。
【請求項１６】
前記メタデータを前記メディアプレーヤに提供するステップは、前記オーディオ信号と前記メタデータとを前記メディアプレーヤに送信するステップを有する、
請求項１乃至１５いずれか一項に記載の方法。
【請求項１７】
前記メタデータから前記第２のラウドネス関連値を取り出すステップと、
前記第２のラウドネス関連値を用いて前記オーディオ信号をレンダリングするステップとをさらに有する、
請求項１乃至１６いずれか一項に記載の方法。
【請求項１８】
前記可逆的関係を用いて前記第２のラウドネス関連値を前記第１のラウドネス関連値に変換するステップと、
前記第１のラウドネス関連値を用いて前記オーディオファイルをレンダリングするステップとをさらに有する、
請求項１７に記載の方法。
【請求項１９】
前記レンダリングするステップは、
前記オーディオ信号のサンプルに、前記第１のまたは第２のラウドネス関連値から求めた値を適用するステップ、
前記ラウドネス処理されたオーディオ信号のダイナミックレンジを制御するステップ、及び／又は
クリッピングしないように前記ラウドネス処理されたオーディオ信号を制限するステップを有する、
請求項１７または１８に記載の方法。
【請求項２０】
前記オーディオ信号は、ｍｐ３，ＡＡＣ、ＨＥ−ＡＡＣ、ＯＧＧ、ＷＭＡ、ドルビーデジタル、ドルビーデジタルプラス、またはドルビーパルスのうちの一メディアフォーマットで表される、
請求項１乃至１９いずれか一項に記載の方法。
【請求項２１】
前記第１のラウドネス関連値を前記第２のラウドネス関連値に変換するステップは、前記オーディオ信号がモノラル信号であるとき、前記第１のラウドネス関連値を所定値だけオフセットするステップをさらに有する、
請求項１乃至２０いずれか一項に記載の方法。
【請求項２２】
ラウドネス関連データをメディアプレーヤに提供するシステムであって、
オーディオ信号に関連する第１のラウドネス関連値であって第１の手順により決定されたものを提供し、
可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換し、
前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納するラウドネスエンコーダと、
前記メタデータを前記メディアプレーヤに提供する伝送媒体と、
前記メタデータから前記第２のラウドネス関連値を取り出し、
前記第２のラウドネス関連値に基づき前記オーディオ信号をレンダリングする前記メディアプレーヤとを有する、
システム。
【請求項２３】
前記メディアプレーヤはさらに、
前記可逆的関係を用いて前記第２のラウドネス関連値を前記第１のラウドネス関連値に変換し、
前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングする、
請求項２２に記載のシステム。
【請求項２４】
オーディオ信号に関連する第１のラウドネス関連値であって第１の手順により決定されたものを提供し、
可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換し、
前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納する、ラウドネスエンコーダ。
【請求項２５】
オーディオ信号に関連するメタデータから第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものを取り出し、
可逆的関係を有するモデルを用いて、前記第２のラウドネス関連値を第１のラウドネス関連値であって第１の手順により決定されるものに変換し、
前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングする、メディアプレーヤ。
【請求項２６】
携帯電話、スマートフォン、ｍｐ３プレーヤ、ラップトップ、又はパーソナルメディアプレーヤのうちの一つである、
請求項２５に記載のメディアプレーヤ。
【請求項２７】
メディアプレーヤにおいて第１のラウドネス関連値を用いてオーディオ信号をレンダリングする方法であって、
前記メディアプレーヤにおいて前記オーディオ信号に関連するメタデータを受信するステップと、
前記オーディオ信号に関連する前記メタデータから第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものを取り出すステップと、
可逆的関係を有するモデルを用いて、前記第２のラウドネス関連値を第１のラウドネス関連値であって第１の手順により決定されるものに変換するステップと、
前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングするステップとを有する、方法。
【請求項２８】
第１のラウドネス関連値を第２のラウドネス関連値に変換する可逆的関係を決定する方法であって、
複数のオーディオ信号に関連する複数の第１のラウドネス関連値であって第１の手順により決定されるものを決定するステップと、
前記複数のオーディオ信号に関連する複数の第２のラウドネス関連値であって第２の手順により決定されるものを決定するステップと、
モデルパラメータを含む前記可逆的関係のモデルを提供するステップと、
誤差最小化方式を用いて、前記モデルを、前記複数の第１と第２のラウドネス関連値にフィッティングすることにより前記モデルを決定し、前記可逆的関係を生成するステップとを有する、方法。
【請求項２９】
プロセッサで実行するために構成され、計算デバイスで実行されると、請求項１ないし２１、２７、２８のいずれか一項の方法ステップを実行するソフトウェアプログラム。
【請求項３０】
プロセッサで実行するために構成され、計算デバイスで実行されると、請求項１ないし２１、２７、２８のいずれか一項の方法ステップを実行するソフトウェアプログラムを有する記憶媒体。
【請求項３１】
コンピュータで実行されると、請求項１ないし２１、２７、２８いずれか一項に記載の方法を実行する実行可能命令を有するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本文献は、マルチメディアデータの処理に関し、特に、オーディオファイルやビットストリームなどのマルチメディアデータの符号化と送信と復号とレンダリングとに関する。特に、本文献は、マルチメディアプレーヤにおけるラウドネス制御の実施に関する。
【背景技術】
【０００２】
オーディオコンテンツのミキシング・再生レベルが変わるという問題は、映画産業では、映画館やコンテンツが変わっても再生レベルが変わらないことを保証するＳＭＰＴＥ（Society  of  Motion  Picture  and  Television  Engineers）勧告を規定することにより解決されている。ＳＭＰＴＥ勧告により、オーディオコンテンツの再生が一定（consistent）レベルとなり、観客には喜ばれている。
【０００３】
放送では、状況はもっと困難である。ユーザそれぞれの再生システムは技術者により管理されておらず、配信チャンネルや放送ネットワークがもっと複雑だからである。デジタル放送の開始により、業界では、時間的可変メタデータ（time-varying-metadata）のコンセプトを確立した。これにより、受信側でゲイン値を制御でき、リスニング環境に応じてコンテンツを調節することができる。一例は、ドルビーデジタルに含まれるメタデータであり、これには、会話の一般ラウドネス規格化情報（「dialnorm」）や、番組のダイナミックレンジを小さくするゲインワード（「dynrng」や「compr」）も含まれる。留意点として、この明細書と特許請求の範囲において、ドルビーデジタルと言った場合、それはドルビーデジタル・コーディングシステムとドルビーデジタルプラス・コーディングシステムとを含むものとする。かかるシステムは、リスニング環境に係わる受信器の動作モードと、リスニングの嗜好性とが指定されている状況では特にパワフルである。例えば、ドルビーデジタル（Dolby  Digital）では、dialnorm標準により、いわゆる「line  mode」と「RF  mode」のspecificationができる。「ＲＦモード」は、復号された番組がテレビジョンのＲＦ入力を通して、例えばセットトップボックスのアンテナ出力を通して、入力されるピーク制限的状況のために設計されている。「ラインモード」は、「ＲＦモード」よりダイナミックレンジの圧縮が小さく、ユーザは、ホームデコーダにおいてローレベルブースト・パラメータとハイレベルカット・パラメータとの調整もできる。ブーストエリアとカットエリアの調節すなわち「スケーリング」により、ユーザは、自分のリスニング環境に合わせてオーディオ再生をカスタマイズできる。これらのテクノロジーは、ＤＶＤやBlu-rayなど今日のオーディオ／ビデオディスクの一部にもなっている。
【０００４】
重要なオーディオコンテンツの配信チャンネルは依然としてＣＤである。ＣＤには１６ビットＰＣＭデータが入っているが、メタデータは入っていない。ＣＤで一般的に使われるピーク規格化は、いわゆる「ラウドネス戦争」の主な原因であると言われている。「ラウドネス戦争」により、オーディオコンテンツのダイナミックレンジは小さくされ、平均オーディオレベルが高くなっている。しかし、符号化コンテンツ（ｍｐ．３などのデータ削減フォーマットのコンテンツなど）が一般的になり、コンテンツの配信と記憶における重要性が高まるにつれ、消費者行動は近年変化している。かかるフォーマットによりダイナミックレンジは事実上無制限となり、コンテンツオーナーとオーディオマニアはこれを利用できる。また、携帯電話、スマートフォン、その他の電子機器がパーソナルメディアプレーヤとして使われるようになり、いろいろなリスニング状態においても一定のオーディオレベルと最高の音質が欲しいという顧客の期待に応える高音質の再生装置を設計するという新しい問題が生じている。パーソナル音楽コレクションにおける（数千ファイルを越えることも多い）大量のコンテンツと、ｍｐ３、ＨＥ−ＡＡＣ、ＯＧＧ、ＷＭＡ、及びドルビーデジタルなどの幅広いオーディオフォーマットとにより、オーディオレベルを一定になる（with  consistent  audio  leveling）オーディオ再生装置を提供するという問題は、さらに難しくなっている。
【発明の概要】
【０００５】
本文献は、メディアプレーヤなどの電子デバイスにおいて、規格化されたラウドネス値を用いて、一貫したオーディオレベリングを提供するとの問題を解決する。特に強調するのはかかるデバイスの問題であり、すなわち、望ましい出力レベルに影響する可変的リスニング環境と、ダイナミックレンジの最大許容量と、オーディオコンテンツのソースやフォーマットが幅広いことである。これによりすべてのコンテンツを同じ望ましい出力レベルで再生することが困難となる。さらに、ポータブルメディアプレーヤにおける規格化されたラウドネス値の計算の複雑さやコーデックにとらわれない適用性などの側面を考慮できる。また、解決策はレンダリングされるコンテンツに関して非破壊的でなければならない。すなわち、実際のＰＣＭ信号や復号段階前のペイロードが変化してはならない。後者の問題を解決する可能性のあるアプローチは、マルチメディアファイル又はビットストリームとともに格納及び／または送信されるメタデータの使用である。
【０００６】
一態様によれば、ラウドネス関連データをメディアプレーヤに提供する方法が説明される。このメディアプレーヤは、例えば、携帯電話、スマートフォン、ｍｐ３プレーヤ、ラップトップ、又はパーソナルメディアプレーヤなどである。ラウドネス関連データは、オーディオ信号に関連するラウドネス値やラウドネス関連値である。オーディオ信号は、ｍｐ３ファイル、ＷＭＡファイル、ｉＴｕｎｅｓメディアファイルなどのメディアファイルにサンプルとして格納できる。代替的又は追加的に、オーディオ信号は、ＡＡＣ、ＨＥ−ＡＡＣ、ドルビーパルス、ドルビーデジタルビットストリームなどのビットストリームとして提供できる。該方法は、オーディオ信号に関連する第１のラウドネス関連値であって第１の手順またはアルゴリズムにより決定されたものを提供するステップを有する。ラウドネス関連値は、レベリング情報（leveling  information）とも呼ばれる。ラウドネス関連値を決定する手順またはアルゴリズムは、オーディオ信号の知覚的ラウドネス、すなわち知覚されるエネルギーを表すラウドネス関連値を決定するための、オーディオ信号の操作のセットである。かかる手順やアルゴリズムは、オーディオプログラムのラウドネスを測定するＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズム、及び／又は再生ゲインラウドネス計算方式である。一実施形態では、第１の手順はＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムであり、第１のラウドネス関連値はＢＳ．１７７０ラウドネス値である。留意点として、ＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムの変形例、例えばオーディオ信号の無音期間を考慮しない変形例も用いることができる。
【０００７】
該方法は、可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換するステップを有する。一実施形態では、第２の手順は再生ゲインラウドネス計算方式である。かかる場合、第２のラウドネス値は、再生ゲイン調整値、すなわちオーディオ信号を所定の出力レベルまで増幅または減衰するゲイン値である。一般的に、第１のラウドネス関連値からの変換により求めた場合の第２のラウドネス関連値は、第２の手順またはアルゴリズムによりオーディオ信号に対して決定されるラウドネス関連値の推定である。この理由は、可逆的関係を有するモデルは第１と第２の手順により決定されるラウドネス関連値間の実際の関係の近似であることによる。
【０００８】
可逆的関係は、例えばｄＢ単位で測定された、対数空間で測定された前記第１のラウドネス関連値と前記第２のラウドネス関連値との間の線形関係である。かかる可逆的関係は、複数のオーディオ信号に関連する複数の第１のラウドネス関連値であって第１の手順により決定されるものを決定するステップにより求められる。さらに、前記複数のオーディオ信号に関連する複数の第２のラウドネス関連値であって第２の手順により決定されるものを決定できる。モデルパラメータを有するモデルは、第１と第２のラウドネス関連値の複数のペアにフィットさせられる。誤差最小化方法を用いて、例えば最小平均二乗誤差基準、合計最小二乗誤差基準、または最小絶対偏差誤差基準などを用いて、モデルをフィットし、モデルパラメータを決定し、可逆的関係を生成できる。一実施形態では、メジアン誤差基準を使っても良い。例として、第２のラウドネス関連値の推定誤差のメジアンがゼロになるように、モデルパラメータ決定してもよい。可逆的関係は線形回帰を用いて決定してもよい。
【０００９】
該方法は、前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納するステップを有する。メタデータは所定のシンタックスまたはフォーマットを有する。一実施形態では、所定のフォーマットは再生ゲインシンタックスを用いる。代替的又は追加的に、所定フォーマットはｉＴｕｎｅｓスタイルメタデータまたはＩＤ３ｖ２タグに準じていてもよい。他の一実施形態では、第１のラウドネス関連値は、ドルビーパルスまたはＨＥ−ＡＡＣビットストリームにおいて、ＭＰＥＧ標準ＩＳＯ１４４９６−３によるフィルエレメント（Fill  Element）として、例えば「プログラム基準レベル」パラメータとして、送信される。
【００１０】
該方法は、メディアプレーヤにメタデータを提供するステップを有する。メタデータはオーディオ信号とともに提供してもよい。一実施形態では、オーディオ信号とメタデータは１つ以上のファイルに格納できる。ファイルは、ランダムアクセスメモリ（ＲＡＭ）またはコンパクトディスクなどの記憶媒体に格納できる。一実施形態では、オーディオ信号とメタデータは、例えば、ＨＥ−ＡＡＣなどのメディアビットストリームにおいて、メディアプレーヤに送信される。
【００１１】
上記の通り、ラウドネス関連値を決定する第１及び／又は第２の手順は、オーディオプログラムラウドネスを測定するＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズム、及び／又は再生ゲインラウドネス計算方法であり得る。一般的に、第１と第２の手順は異なる。第１及び／または第２の手順は、例えばＡ重み付け及び／又はＫ重み付けを用いて、人間のラウドネスに対する知覚によりオーディオ信号を処理するステップを有する。さらに、上記手順は、処理されたオーディオ信号の１つ以上の部分のエネルギーを決定するステップを有する。また、上記手順は、エネルギーをオフセットしてラウドネス関連値を決定するステップを有する。かかるオフセットを行い、ラウドネス関連値をフルスケール（ＦＳ）に規格化する。代替的に又は追加的に、目標エネルギーを用いてエネルギーをオフセットすることにより、ゲイン値を求める。換言すると、ゲイン値は、エネルギーと目標エネルギーとの間のオフセットとして決定できる。ゲイン値は、ラウドネス関連値とも呼ばれる。
【００１２】
一実施形態では、前記可逆的関係は一次または二次の多項式である。具体的に、可逆的関係はＬ２＝Ａ＋ＢＬ１により与えられる。ここで、Ｌ２は対数空間（例えば、ｄＢ）の第２のラウドネス関連値であり、Ｌ１は対数空間（例えば、ｄＢ）の第１のラウドネス関連値である。ＡとＢは実数であり、−１７≦Ａ≦−１５及び／又は−０．７≦Ｂ≦−０．９である。ＡとＢは上記の区間の実数であればどんな値を取ってもよい。特に、−１６．１≦Ａ≦１５．９、または−１６．０１≦Ａ≦１５．９９、またはＡ＝−１６．００である。特に、−０.８０≦Ｂ≦−０．８２、または−０.８１１≦Ｂ≦−０．８１３、またはＢ＝−０.８１２である。
【００１３】
あるいは、ＢはＢ＝−１．０に制限されてもよい。この場合、第１と第２のラウドネス関連値のパワー測定値間の関係は、一定ファクタによりモデル化される。さらに、Ａは、−１９≦Ａ≦−１８、または−１８.４≦Ａ≦−１８.３、または−１８.３１≦Ａ≦−１８.２９、またはＡ=−１８.３０、またはＡ=−１８.１０、またはＡ=−１８.００である。
【００１４】
可逆的関係はＬ２＝Ａ＋ＢＬ１＋ＣＬ１２により与えられてもよい。ここで、Ｌ２は対数空間（例えば、ｄＢ）の第２のラウドネス関連値であり、Ｌ１は対数空間（例えば、ｄＢ）の第１のラウドネス関連値であり、Ａ、Ｂ、及びＣは実数である。
【００１５】
代替的に又は追加的に、可逆的関係は、第１及び／又は第２のラウドネス関連値の区間にセグメント化されてもよく、べつの可逆的関係を複数の区間に対して決定してもよい。可逆的関係のパラメータはセグメント化線形回帰を用いて決定できる。例として、可逆的関係の全体を複数の区間［Ｌ１，ｔ−１，Ｌ１，ｔ）にセグメント化する（ｔ＝１，．．．，ＮＴ）。ここで、ＮＴは区間すなわちセグメントの総数である（ＮＴ＞０）。各区間［Ｌ１，ｔ−１）に対して、異なる可逆的関係、例えば一次式または二次式を決定してもよい。さらに、可逆的関係全体は複数の区間の境界で連続であるようにすると有利である。前記第１のラウドネス関連値を前記第２のラウドネス関連値に変換するステップは、前記オーディオ信号がモノラル信号であるとき、前記第１のラウドネス関連値を所定値だけオフセットするステップをさらに有してもよい。一実施形態では、可逆的関係はステレオオーディオ信号に関連する。かかる場合、モノラルオーディオ信号の対応する可逆的関係は、可逆的関係を適用する前に、第１のラウドネス関連値を所定値だけオフセットすることにより得られる。所定値は３ｄＢＦＳであってもよい。
【００１６】
メディアプレーヤにラウドネスデータを提供する方法は、さらに、メタデータから第２のラウドネス関連値を取り出すステップ、及び／又は第２のラウドネス関連値を用いてオーディオ信号をレンダリングするステップを有する。オーディオ信号は目標出力レベルでレンダリングされる。かかる場合、レンダリングするステップは、第２のラウドネス関連値によりオーディオ信号を増幅または減衰するステップを有する。言い換えると、第２のラウドネス関連値、または目標出力レベルと第２のラウドネス関連値から求めた値、例えば目標出力レベルと第２のラウドネス関連値との間の差に対応する値を、オーディオ信号のサンプルに適用してもよい。
【００１７】
該方法は、さらに、前記可逆的関係を用いて前記第２のラウドネス関連値を前記第１のラウドネス関連値に変換するステップを有する。特に、可逆的関係の逆を用いる。かかる場合、メディアプレーヤは、前記第１のラウドネス関連値を用いて前記オーディオファイルをレンダリングできる。上記の通り、レンダリングするステップは、オーディオ信号のサンプルに、第１のラウドネス関連値または第１のラウドネス関連値から求めた値を適用するステップを有する。また、レンダリングするステップは、ラウドネス処理したオーディオ信号のダイナミックレンジを制御するステップを有する。さらに、レンダリングするステップは、ラウドネス処理したオーディオ信号をクリッピングを回避するため制限するステップを有する。
【００１８】
別の一態様によると、ラウドネス関連データをメディアプレーヤに提供するシステムが説明される。このシステムは、オーディオ信号に関連する第１のラウドネス関連値であって第１の手順により決定されたものを提供するラウドネスエンコーダを有する。ラウドネスエンコーダは、さらに、可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換できる。また、ラウドネスエンコーダは、前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納できる。
【００１９】
該システムは、前記メタデータを前記メディアプレーヤに提供する伝送媒体を有しても良い。かかる伝送媒体は有線または無線の伝送媒体である。さらに、この伝送媒体はＲＡＭやコンパクトディスクなどの記憶媒体でもよい。
【００２０】
該システムは、メタデータから第２のラウドネス関連値を取り出し、第２のラウドネス関連値に基づきオーディオ信号をレンダリングするメディアプレーヤを有する。また、メディアプレーヤは、前記可逆的関係を用いて前記第２のラウドネス関連値を前記第１のラウドネス関連値に変換し、前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングできる。
【００２１】
他の一態様では、ラウドネスエンコーダが説明される。該ラウドネスエンコーダは、オーディオ信号に関連する第１のラウドネス関連値であって第１の手順により決定されたものを提供し、可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換し、及び／又は前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納する。
【００２２】
別の一態様によると、メディアプレーヤが説明される。該メディアプレーヤは、オーディオ信号に関連するメタデータから第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものを取り出す。さらに、該メディアプレーヤは、可逆的関係を有するモデルを用いて、前記第２のラウドネス関連値を第１のラウドネス関連値であって第１の手順により決定されるものに変換する。また、該メディアプレーヤは、前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングできる。
【００２３】
別の一態様によると、メディアプレーヤにおいて第１のラウドネス関連値を用いてオーディオ信号をレンダリングする方法が説明される。該方法は、前記メディアプレーヤにおいて前記オーディオ信号に関連するメタデータを受信するステップを有する。該方法は、前記オーディオ信号に関連する前記メタデータから第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものを取り出す。可逆的関係を有するモデルを用いて、前記第２のラウドネス関連値を第１のラウドネス関連値であって第１の手順により決定されるものに変換され得る。結局、該方法は、前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングするステップとを有する。一実施形態では、第２のラウドネス関連値は、対応するラウドネスエンコーダにおいて、可逆的関係を用いて、第１のラウドネス関連値からの変換により、求められる。特に、第２のラウドネス関連値は、可逆的関係を用いて、ＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネス関連値から決定できる。他の一実施形態において、第２のラウドネス関連値は、第２の手順を用いて直接決定したラウドネス関連値に対応する。特に、第２のラウドネス関連値は、レガシーデバイスにより計算される再生ゲイン調整値に対応してもよい。
【００２４】
他の一態様では、第１のラウドネス関連値を第２のラウドネス関連値に変換する可逆的関係を決定する方法が説明される。該方法は、複数のオーディオ信号に関連する複数の第１のラウドネス関連値であって第１の手順により決定されるものを決定するステップを有する。該方法は、さらに、前記複数のオーディオ信号に関連する複数の第２のラウドネス関連値であって第２の手順により決定されるものを決定するステップを有する。また、該方法は、モデルパラメータを有する可逆的関係のモデルを提供するステップを有する。また、該方法は、最小平均二乗誤差などの適当な誤差最小化基準を用いて、前記モデルを、前記複数の第１と第２のラウドネス関連値にフィッティングすることにより前記モデルを決定し、前記可逆的関係を生成するステップを有する。
【００２５】
別の一態様によると、プロセッサで実行するように構成されたソフトウェアプログラムが説明される。該ソフトウェアプログラムは、さらに、計算デバイスで実行されたとき、本文献で説明するいずれかの態様による方法を実行する。
【００２６】
他の一態様では、プロセッサで実行するように構成されたソフトウェアプログラムを有する記憶媒体が説明される。該ソフトウェアプログラムは、さらに、計算デバイスで実行されたとき、本文献で説明するいずれかの態様による方法を実行する。
【００２７】
別の一態様によると、コンピュータプログラム製品が説明される。該コンピュータプログラム製品は、計算デバイスで実行されたとき、本文献で説明するいずれかの態様による方法を実行するコンピュータ実行可能命令を有する。
【００２８】
留意点として、本特許出願で説明する好ましい実施形態を含む方法とシステムは、スタンドアロンで用いても、この文献に開示される他の方法及びシステムと組み合わせて用いてもよい。さらに、本特許出願で説明する方法とシステムのすべての態様は任意的に組み合わせられる。特に、請求項の発明特定事項は互いに任意に組み合わせることができる。
【図面の簡単な説明】
【００２９】
以下、添付した図面を参照して例示により本発明を説明する。
【図１ａ】ＢＳ．１７７０ラウドネスの測定セットアップ例を示す図である。
【図１ｂ】再生ゲインとＩＴＵ−Ｒ  ＢＳ．１７７０に適用される周波数重み付け曲線の例を示す図である。
【図２ａ】音楽ファイルのデータベース例のジャンル分布を示す図である。
【図２ｂ】図２ａのデータベース例のジャンル分布の平均ＢＳ．１７７０ラウドネスと標準偏差を示す図である。
【図２ｃ】図２ａのデータベース例の年度分布情報を示す図である。
【図２ｄ】図２ａのデータベース例の、平均ＢＳ．１７７０ラウドネスと標準偏差対年度情報を示す図である。
【図２ｅ】図２ａのデータベース例の、再生ゲイン調整値対ＢＳ．１７７０ラウドネス値を示す図である。
【図２ｆ】図２ａのデータベース例のＢＳ．１７７０ラウドネスと再生ゲインラウドネスとの間の符号変換エラーのヒストグラム例を示す図である。
【図２ｇ】図２ａのデータベース例の、修正再生ゲイン調整値対ＢＳ．１７７０ラウドネス値を示す図である。
【図３】メディアプレーヤの復号デバイスの一例を示すブロック図である。
【図４】オーディオ製作又は送信サイトの符号化デバイスの一例を示すブロック図である。
【図５】符号化・復号システムの一例を示すブロック図である。
【発明を実施するための形態】
【００３０】
一定の知覚レベルでオーディオ出力を提供するアプローチは、オーディオコンテンツをレンダリングする目標出力レベルを画定することである。かかる目標出力レベルは、例えば−１１ｄＢＦＳ（decibels  relative  to  Full  Scale）である。特に、目標出力レベルは、現在のリスニング環境に依存する。さらに、オーディオコンテンツの実際のラウドネスレベルが、基準レベルとも呼ばれるが、決定される。ラウドネスレベルは、好ましくは、メディアコンテンツとともに提供される。例えば、メディアコンテンツと共に提供されるメタデータとして提供される。オーディオコンテンツを目標出力レベルでレンダリングするため、再生の際、マッチングゲイン値を適用する。マッチングゲイン値は、目標出力レベルと実際のラウドネスレベルとの間の差異として決まる。
【００３１】
さらに、コンテンツをブーストして目標出力レベルとマッチさせる必要がある場合には、すなわち正のマッチングゲインを適用すべき場合には、潜在的なクリッピングを考慮しなければならない。さらに、メディアコンテンツに付随するメタデータで実際のラウドネスレベル又は基準レベルが提供される場合、レガシーメディアコンテンツの処理を、すなわち要求されるメタデータを含まないメディアコンテンツの処理を解決しなければならない。
【００３２】
上記の通り、ドルビーデジタルなどのストリーミング及びブロードキャストのシステムは、一般的には、現在の番組のラウドネスレベルを復号デバイスに示す「dialnorm」値を含むメタデータの送信に依存する。「dialnorm」値は、番組が違えば、異なってもよい。「dialnorm」値がエンコーダで決定されることを考慮すると、コンテンツオーナーは実際のデコーダまでの信号チェーンを完全に制御できる。さらに、復号デバイスにおける計算負荷（computational  complexity）が低減される。デコーダにおいて現在の番組のラウドネスレベルを決定する必要がないからである。それどころか、ラウドネス値は現在の番組に付随するメタデータで提供される。
【００３３】
ファイルベースシステムの場合、すなわちメディアビットストリームではなくメディアファイルに関連するシステムの場合、ラウドネス値や基準レベルは、一般的にはファイルによって変化しない。言い換えると、ラウドネス値はファイルごとに決定される。一実施形態では、目標出力レベルを満たすため、ラウドネスレベルはペイロードにエンコードされる、すなわち実際のメディアコンテンツが変更（modify）される。他方、ファイルごとに１つのラウドネス値に依存するメディアファイルシステムが設計されており、ラウドネス値はメディアコンテンツに付随するメタデータとして格納される。かかるメディアファイルシステムの例は、いわゆる「再生ゲイン」イニシアチブと、対応する「再生ゲイン」フォーマットとに基づく。このフォーマットはhttp://www.replaygain.orgに掲載されている。このインターネットサイトの開示は、本文献の優先日において公開されたバージョンを、参照援用する。再生ゲインフォーマットはいろいろなメディアプレーヤに実装され、それによりこれらのプレーヤは、再生ゲインフォーマットに対応するメタデータを含むメディアファイルへのラウドネス調整を実行できる。
【００３４】
再生ゲインフォーマットは、メディアファイルに関連する複数のパラメータを指定する所定の再生ゲインシンタックスを画定する。考えられるパラメータとしては、メディアトラックごとの再生ゲイン調整値やメディアトラックのアルバムごとの再生ゲイン調整値がある。最初のパラメータはメディアファイルのラウドネス値を指定し、２番目のパラメータは、アルバムの、すなわち一組のメディアトラックの共通のラウドネス値を指定する。別のパラメータとしては、トラックごとの再生ゲインピーク信号振幅やアルバムごとの再生ゲインピーク信号振幅がある。これらのパラメータはトラックの、又はアルバムの、振幅の絶対値の最大値を指定する。
【００３５】
再生ゲインイニチアチブは、トラックやアルバムの上記のパラメータを決定する手順も指定しており、すなわちこれらのパラメータのセマンティックス（semantics）を指定している。再生ゲイン調整値は、すなわちラウドネス関連値は、http://www.replaygain.orgに概要が記されている手順を用いて決定される。再生ゲイン調整値は、音楽のラウドネスを、ステレオスピーカで再生された、−２０ｄＢＦＳにおいけるピンクノイズのラウドネスに合わせて調節するものである。関連する音圧レベルは、すなわち所定の目標出力レベルは、８３ｄＢ  ＳＰＬである。再生ゲインピーク信号振幅は、メディアファイルの振幅の絶対値の最大値を決定することにより決められる。しかし、留意すべき点として、これらの手順の、特にラウドネス値の決定に関する手順とすることの知覚的意義（perceptual  motivation）には疑問があり、知覚的に意味があると一般に認められた手順を適用することが好ましい。
【００３６】
結果として、オーディオコンテンツに対して知覚的に関連する適当なパラメータを定義することが問題となる。特に、メディアファイルの、又は複数のユーザの知覚を等しく満たすメディアファイルのグループのラウドネスレベルを決定する問題を解決しなければならない。事実として、ラウドネスは非常に主観的な量であり、単一のラウドネスレベルで常にすべてのリスナーを（あるいは１人のリスナーでさえも）満足させることはできないことが多い。Dolby  Laboratoriesが行った研究によると、オーディオ番組があるグループの人たちにより「耳で」「規格化」されたとしても、その「規格化」された番組は他のグループの人たちを常に完全に満足さえるわけではないとの結果が得られた。それにも係わらず、オーディオ番組のラウドネスを、及びtrue-peakオーディオレベルを測定する方法は、ＩＴＵ−Ｒ  ＢＳ．１７７０勧告として規定されている。この勧告は参照援用する。規定されたオーディオラウドネスを測定する方法は広く受け入れられ、マルチメディアコンテンツの複数のソースとフォーマットに対する共通のラウドネス測定方法として用いることができる。このため、異なる符号化ツールでも一貫して動作することが保証できる。これによりコンシューマの満足度は上昇する。異なるソースからのコンテンツであっても同様に動作するからである。留意すべき点として、ＩＴＵ−Ｒ  ＢＳ．１７７０は所定の目標ラウドネスや目標出力レベルを規定するものではなく、ユーザはラウドネスの測定値に基づいて適当なゲインを求めることができる。ＢＳ．１７７０アルゴリズムは、異なるコンテンツ（スピーチ、音楽及び映画）に対して、及びモノラル、ステレオ及び５．０／５．１マルチチャンネルに対して、ラウドネスを正しく予測することが確認されている。また、フィルタバンク分析とモデルマスキングとを利用するもっと高度な音響心理モデル（例えば、Zwickerモデル）と比較して計算の複雑性が低い。
【００３７】
要約すると、いわゆる再生ゲインイニシアチブはラウドネスデータをメディアファイルと関連付ける再生ゲインフォーマットを指定する。このフォーマットは様々なメディアプレーヤにより広く受け入れられている。再生ゲインイニシアチブは、複数のトラック及び／又はアルバムにわたるラウドネスを規格化する再生ゲイン調整値を計算するアルゴリズムや手順も指定している。しかし、ＢＳ．１７７０勧告で考慮された音響心理学的、及び生理学的ノウハウを考慮すると、ＢＳ．１７７０勧告で指定されたラウドネス測定を用いる場合、より程度の高い知覚的満足を達成できると期待される。
【００３８】
上記を考慮して、ＩＴＵ−Ｒ勧告ＢＳ．１７７０で定義されたラウドネス測定に基づき、及び等価な、又は対応する再生ゲイン調節値などのラウドネス値を、メタデータとして、メディアファイルとともに伝送することにより、メディアプレーヤにラウドネス規格化を実装することを提案する。言い換えると、ＩＴＵ−Ｒ  ＢＳ．１７７０に基づきラウドネスを測定することを提案する。また、既存の再生ゲインメタデータをサポートし、両タイプのレベリング情報で一貫したレベリング（leveling）を維持するため、再生ゲインとＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネスとの間の変換を説明する。この目的を達成するため、両方のレベリングアプローチ、すなわち再生ゲインとＩＴＵ−Ｒ  ＢＳ．１７７０とを、統計的に関連性のある音楽データベースにより調査する。
【００３９】
以下、ＩＴＵ−Ｒ  ＢＳ．１７７０勧告によるラウドネス測定に関する説明をする。図１ａはラウドネス測定アルゴリズム１００の様々なコンポーネントを示すブロック図である。このブロック図には、５つの主要チャンネル（左、中央、右、左サラウンド、および右サラウンド）の入力が示されている；これにより１チャンネルから５チャンネルまでを含むメディアファイルをモニタできる。５チャンネル未満のメディアファイルの場合、使わない入力もあり得る。低周波数効果（LFE）チャンネルは一般的にはラウドネス測定には含めない。
【００４０】
アルゴリズムの第１段階では、ＩＴＵ−Ｒ  ＢＳ．１７７０−１の図２に示されたように、信号にプリフィルタリング１０１を適用する。このプリフィルタリングはリスナーの頭部の音響効果に相当するものであり、頭部は硬い球体としてモデル化される。プリフィルタ１０１は、ＩＴＵ−Ｒ  ＢＳ．１７７０−１の図３に示されたフィルタにより画定され、係数はＩＴＵ−Ｒ  ＢＳ．１７７０−１の表１に記載されている。アルゴリズムの第２段階１０２では、RLB重み付け曲線を適用する。これはＩＴＵ−Ｒ  ＢＳ．１７７０−１の図４に示されたハイパスフィルタよりなる。RLB重み付け曲線はＩＴＵ−Ｒ  ＢＳ．１７７０−１の図３に示された２次フィルタとして規定され、係数はＩＴＵ−Ｒ  ＢＳ．１７７０−１の表２に示されている。
【００４１】
その後、測定期間Ｔにおける各チャンネルの平均二乗エネルギーを、ユニット１０３において、ＩＴＵ−Ｒ  ＢＳ．１７７０−１の式（１）を用いて測定する。結局、エネルギー値を重み付けし（参照符号１０４）、異なるチャンネルの重み付けされたエネルギー値を足し合わせ（参照符号１０５）、各測定期間Ｔにおけるメディアファイルのラウドネス値を求める。重み付け１０４はＫ重み付け（K  weighting）と呼ばれる。さらに、ラウドネス決定は重み付けしたエネルギー値の合計のオフセットを含み得る。それゆえ、ＩＴＵ−Ｒ  ＢＳ．１７７０−１により決定されたラウドネス値は、通常のFull  Scaleに対するＫ重み付けされたラウドネス（ＬＫＦＳ）と呼ばれる。
【００４２】
要約すると、ＩＴＵ−Ｒ  ＢＳ．１７７０は、ＢＳ．１７７０ラウドネスを決定するのに次のステップを推奨している：（１）Revised  Low  Frequency  Ｂカーブ（ＲＬＢ）で、かつ球面状頭部近似フィルタと直列に、すべてのチャンネルをフィルタする（ユニット１０１と１０２）；（２）フルスケールに対するすべてのチャンネルの長期パワーを計算する（ユニット１０３）；（３）あれば、サラウンドチャンネルのパワーを１．４１倍（１．５ｄＢ）に増やす（ユニット１０４）；（４）すべてのチャンネルのパワーを加えて、ｄＢに変換し、較正レベルの０．６９１ｄＢを加える（ユニット１０５）。結果はＬＫＦＳ単位のラウドネスである。較正レベルにより、確実に、モノラルのフルスケール正弦波に−３．０１ＬＫＦＳのラウドネスが割り当てられる。
【００４３】
再生ゲインイニシアチブで使われるゲイン値の決定アルゴリズムは、ＩＴＵ−Ｒ  ＢＳ．１７７０−１によるラウドネス測定とは異なる。ゲイン値は平均イコールラウドネスフィルタ（より詳しくは、http://www.replaygain.org/に概略が記載されているように、逆平均ラウドネスカーブへのＩＩＲフィルタ（有限インパルス応答フィルタ））によりプリプロセッシングを用いて決定される。その後、各オーディオ信号の５０ｍｓ期間のＲＭＳ（二乗平均平方根）エネルギー値を計算する。ＲＭＳエネルギーを数値順にソートし、ＲＭＳエネルギーが大きい５％の５ｍｓ期間のみを考えて、オーディオ信号の知覚されるラウドネスの全体を推定する。結局、オーディオファイルの再生ゲイン調整値は、再生ゲイン調整値でレンダリングしたオーディオ信号が、２つのスピーカで再生された−２０ｄＢＦＳにおけるピンクノイズ基準信号により、８３ｄＢ  ＳＰＬ（sound  pressure  level）の平均再生レベルでレンダリングされるように、その再生ゲイン調整値を較正することにより決定できる。この較正は、ＳＭＰＴＥ勧告で規定された較正方法により行う。
【００４４】
要約すると、再生ゲイン調整値の決定のため、次のステップを提案する：（１）すべてのチャンネルを平均イコールラウドネスフィルタでフィルタする；（２）５０ｍｓ長の重なり合わないブロックについて、フルスケールに対するパワーを計算し、チャンネルにわたり平均する；（３）トラックごとにすべてのブロックの５％で勝るブロックパワーを計算し、ｄＢに変換してラウドネスを求める。結局、再生ゲイン調整値を目標ラウドネスと測定されたラウドネスとの間の差として計算する。ここで、目標ラウドネスはピンクノイズ基準信号（−２５．５ｄＢラウドネス）に基づく。こうして、ゲイン値を再生ゲイン調整値として求める。
【００４５】
両方のレベリングアプローチは、すなわちＩＴＵ−Ｒ  ＢＳ．１７７０と再生ゲインとは、周波数で重み付けしたパワーを測定する。両方のレベリングアプローチ間の主な違いは、フィルタ特性と、ラウドネスを求める統計的パワー分析とである。図１ｂに示したように、ＩＴＵ−Ｒ  ＢＳ．１７７０ではハイパスフィルタ特性を有する周波数重み付けカーブ１１０を適用するが、再生ゲイン周波数重み付けカーブ１２０はバンドパスフィルタ特性を有する。
【００４６】
ＩＴＵ−Ｒ  ＢＳ．１７７０では、一般的には主観的ラウドネスに貢献しない無音部分（silence）を潜在的に含む音楽トラック全体にわたりエネルギーを平均する。発明者等による調査では、無音期間は測定から排除するのが好ましい。このため、修正ＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムを用いてもよい。このため、ある基準を用いて無音期間を検出する。第１の基準では、オーディオ信号の（絶対値）ピークレベルは、オーディオ信号の無音期間中、（絶対値）ピーク閾値を越えない。一実施形態では、かかるピーク閾値は−６０ｄＢＦＳ又は−７０ｄＢＦＳである。別の基準では、オーディオ信号のエネルギーは、オーディオ信号の無音期間中、エネルギー閾値を越えない。一実施形態では、かかるエネルギー閾値は−７０ＬＫＦＳである。別の基準では、無音期間の最短及び／又は最長の長さである。このように、オーディオ信号の最短及び／又は最長の長さで第１の及び／又は第２の基準が満たされれば、無音期間が検出される。一般的な最短期間は２００ｍ秒または１秒であり、一般的な最長期間は４００ｍ秒または１０秒である。
【００４７】
このように、ラウドネス関連値を決定する第１の又は第２の手順は、修正ＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムであってもよい。このアルゴリズムは、ラウドネス関連値を決定においてオーディオ信号の無音期間を排除する。オーディオ信号の無音期間は上記の通り決定できる。無音期間の排除は無音ゲーティング（silence  gating）とも呼ばれ、無音期間の最短期間と最長期間により得られる期間は、無音ゲート（silence  gate）と呼ばれる。このため、修正ＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムは、無音ゲーティングを用いるＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムとも呼ばれる。大まかに言えば、ラウドネス関連値を決定する手順では無音ゲーティングを考えても考えなくてもよいと言える。
【００４８】
しかし、音楽データは無音期間は多くないので、無音期間による影響は限定的である。一方、再生ゲインは、すべてのフレームパワーの５％のみだけが越える、絶対値最大フレームパワーに近いフレームパワーを測定する。すなわち、再生ゲインは音楽ファイルの最大パワーに近いパワーを決定する。
【００４９】
再生ゲイン調整値とＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネス値とが異なる手順やアルゴリズムを用いて決定されることを考慮すると、あるメディアファイルに対する両方の値の間の関係は非常に複雑である。それにもかかわらず、本文献に記載した発明者による分析に基づき、両手順間の意味のある関係、及びそれにより得られるラウドネス関連値間の意味のある関係を決定できる。以下に説明するように、再生ゲインで適用される最大に近いパワーの測定と、ＩＴＵ−Ｒ  ＢＳ．１７７０で適用される長期的パワーとは、再生ゲイン調整値とＢＳ．１７７０ラウドネス値との間の関係に大きな影響を与える。さらに、異なるパワー測定方式の結果間の関係は、音楽ファイルのダイナミックレンジに依存することが分かる。
【００５０】
上記の通り、ＩＴＵ−Ｒ  ＢＳ．１７７０によるラウドネス値を、再生ゲイン調整値と等価なものとして、又はそれに対応するものとして伝送することが示唆される。この場合、再生ゲインセマンティックスを、線形方程式などの統計的に求めた関係に基づき、ＢＳ．１７７０ラウドネスの結果にマッチさせることが示唆される。これは、統計的に関連性のあるサウンドや（ｍｐ３やｍ４ａフォーマットなどの）オーディオファイルのＢＳ．１７７０ラウドネス値と再生ゲイン調整値を決定することにより行える。その後、ＢＳ．１７７０ラウドネス値と再生ゲイン調整値の間の決定論的かつ好ましくは可逆的な関係を決定できる。かかる関係は例えば多項式（１次式または２次式など）であり、適当な誤差最小化基準を用いて、ＢＳ．１７７０ラウドネス値と再生ゲイン調整値の複数のペアにマッチされる。一実施形態では、この関係は、最小二乗平均誤差基準その他の誤差基準（最小合計二乗誤差基準や最小絶対偏差誤差基準など）を用いて決定される対数空間における線形の式であってもよい。線形回帰法を使って関係式を決定してもよい。
【００５１】
一実施形態では、統計的に関連する音楽データベースには、異なるプライベート音楽コレクションから得られた２１２２０個のステレオファイルがある。圧縮フォーマットはｍｐ３とＡＡＣであり、ビットレートはいろいろあり、サンプルレートは３２ないし４８ｋＨｚである。再生ゲイン調整値はすべてのファイルに対して計算する。ＩＴＵ−Ｒ  ＢＳ．１７７０によるラウドネスは無音期間を考慮せずに計算する。この時、１秒より長い間、フルスケールに対する最大ピークレベルが−６０ｄＢＦＳ未満であれば、無音であるとする。平均的に、オーディオトラックの時間のうち０．６％のみが無音であるとされ、これは無音状態の効果が比較的小さいことを示している。ラウドネス値が低いファイルは、高いファイルよりも、無音期間の割合が高いようである（−５ＬＫＦＳにおける無音期間は０．３％であり、−３０ＬＫＦＳにおける無音期間は１．２％である）。図２ａは、ＩＤ３メタデータによるデータベース例における音楽ジャンルの分布を示している。
【００５２】
上記の音楽データベース例に基づき、一般的にジャンル間で５−１０ＬＫＦＳの範囲のほどほどのラウドネスバリエーションがあることが分かった。しかし、図２ｂで分かるように、クラシック音楽と言葉によるコンテンツ（spoken  content）のラウドネスは、他のジャンルと比較して特に低い。図２ｃから分かるように、ＩＤ３メタデータによると、すべての音楽ファイルの約半分は、２００１年以降のものである。上述の通り、１９９０年代初頭から今日まで、ラウドネスは大きくなる傾向がある。これは図２ｄから分かる。分析を２００９年のごく最近の音楽ファイルに絞れば、平均ラウドネスは−８．５ＬＫＦＳである。
【００５３】
図２ｅは、上記の音楽データベースについて、再生ゲイン調整値とＢＳ．１７７０ラウドネス値のペアを示したグラフである。ライン２１０は、複数のデータペアに最小二乗直線（一次式）をフィットさせて求めた。このラインの傾きは対数空間（ｄＢ）で−０．８１である。対数空間での傾きが−１．０でないということは、基礎となる両方のパワー測定値の間に非線形の関係があることを示している。破線２２０は、異なるパワー測定値間の関係を一定ファクタにより線形モデル化するように、対数空間で傾きが−１．０に制限された場合の最小二乗解を表す。
【００５４】
線形回帰を適用して、再生ゲイン調整値をＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネス値に変換するのに用いる、またはその逆に用いる関係を決定する。破線２２０は、傾きがｄＢ空間で−１．０に制限された直線フィットを表し、オフセットは−１８．３ｄＢ（参照数字２２１）である。この制限が無ければ、実線２１０で示したように、ｄＢ空間での最適な傾きは−０．８１であり、最適なオフセットは−１６．０ｄＢ（参照数字２１１）である。
【００５５】
言い換えると、次式
【数１】
2013521539.tif 000003
を用いて再生ゲイン調整値の推定値を決めることが示唆される。ここでReplay  Gain'はｄＢ単位で測定した再生ゲイン調整値の推定値であり、ＢＳ１７７０は、同じメディアファイルのｄＢ（またはＬＫＦＳ）単位で測定したＢＳ．１７７０ラウドネス値である。式（１）は、ＢＳ．１７７０ラウドネス値と再生ゲイン調整値の統計的に関連した複数のペアに、平均二乗誤差基準とｄＢ空間における線形関係とを適用して求めた。値の各ペアは同じメディアファイルから決定したものである。
【００５６】
あるいは、傾きをｄＢ空間で−１．０に制約してもよい。この場合、再生ゲイン調整値の推定値は次式
【数２】
2013521539.tif 000004
留意点として、別の一実施形態では、傾きをｄＢ空間で−１．０に制約し、再生ゲイン推定誤差のメジアンが基礎データの０．０ｄＢとなるように、傾きを−１．０とした一次式のオフセットをｄＢ空間でフィットさせてもよい。この誤差基準を用いることにより、正の推定誤差を有する測定データ点の数が負の推定誤差を有するデータ点の数と等しくなるように、可逆的な関係を決定できる。このメジアンに基づく誤差基準を用いることにより、調査したデータベースについて、−１８．１のオフセットがえられる、すなわち
【数３】
2013521539.tif 000005
留意点として、場合によっては、前述の式を修正して、オフセットを−１８．１ではなく−１８．０としても都合がよいことがある、すなわち
【数４】
2013521539.tif 000006
ＢＳ．１７７０ラウドネス値と再生ゲイン調整値との間の関係の推定誤差はError=Replay  Gain'−Replay  Gain(ｄＢ)と定義される。上記の測定に対するこの誤差の絶対値の統計的特性を表１に示す。
【００５７】
【表１】
2013521539.tif 000007
図２ｆは、再生ゲイン調整値の推定値と実際値との間の差に対応する誤差を示す対応誤差ヒストグラムである。ヒストグラム２３０は式（１）で求めた推定値に対応し、ヒストグラム２４０は式（２）で求めた推定値に対応する。
【００５８】
留意点として、上記の式（１）、（２）はステレオコンテンツに対して求めたものである。しかし、モノラルコンテンツの場合、ＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネスと再生ゲイン調整値とは異なる振る舞いをすることが観察されている。再生ゲイン調整値の決定では、モノラル信号とそれに対応するデュアルモノ信号とで結果は同じになるが、デュアルモノ信号のＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネスはそれに対応するモノラル信号のＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネスより３ｄＢ高い。
【００５９】
それゆえ、上記の変換規則は一般的なモノラルまたはステレオコンテンツに対して適用できる：
【数５】
2013521539.tif 000008
ここで、モノラルコンテンツの場合はｘ＝３ｄＢＦＳであり、その他の場合はｘ＝０ｄＢＦＳである。
【００６０】
最適な傾きが−１．０ではないと見える場合、実際のラウドネスレベルに対する再生ゲイン調整値とＢＳ．１７７０ラウドネス値との間の関係に依存性があることを示す。これは両方の手順で行われる異なる統計的パワー分析により説明できる。再生ゲインにより決まる最大値に近いフレームパワーは、ＩＴＵ−Ｒ  ＢＳ．１７７０により決められる長期的パワーと同じように変化しない。これは、特に、ダイナミックレンジが小さくされた場合の高ラウドネス値の場合に言える。それゆえ、二次式によるフィッティングで改善できる。２次式は、低ラウドネスでは傾きが−１．０であり、中および高ラウドネス値（例えば、＞−２５ＬＫＦＳ）では傾きが小さく（−１．０より大きく）なる。しかし、多くの音楽ファイルでは、傾きが−１．０でオフセットを最適レベル（−１８．３ｄＢ）とすれば十分である。
【００６１】
再生ゲイン手順を用いた時に得られるパワー測定値と、ＩＴＵ−Ｒ  ＢＳ．１７７０手順を用いた時に得られるパワー測定値との間の非線形の関係が、主に、両手順で用いられる統計的パワー分析方式の違いによるものであることが、図２ｇから分かる。この目的のため、再生ゲインにおける最大値に近いフレームパワー測定は、ＩＴＵ−Ｒ  ＢＳ．１７７０で用いられる長期的パワー測定により置き換えられる。修正された再生ゲイン調整値を、対応するＢＳ．１７７０ラウドネス値に対してプロットした。図２ｇから、傾きが−１．０のライン２５０が複数のデータ点すなわちペアとよくフィットすることが分かる。
【００６２】
上記の変換の式（１）または（２）を用いて、ＢＳ．１７７０によりラウドネス測定を行い、その後で、等価な再生ゲイン調整値に変換する。この再生ゲイン調整値は、再生ゲインフォーマットで格納及び／又は送信できる。電子デバイスのオーディオデコーダの機能に応じて、再生ゲイン仕様によりラウドネスを規格化してもよい。言い換えると、メディアプレーヤが再生ゲインコンパチブルである場合、メディアファイルを、再生ゲイン調整値を用いて、再生ゲインイニシアチブ目標出力レベルでレンダリングできる。
【００６３】
他方、オーディオデコーダがＢＳ．１７７０によるラウドネス規格化を行うように構成されている場合、式（１）または（２）を逆にして、再生ゲイン調整値から等価なＢＳ．１７７０ラウドネス値を再計算してもよい。言い換えると、メディアプレーヤは再生ゲイン調整値からＢＳ．１７７０ラウドネス値を決定し、ＢＳ．１７７０標準により適当なゲインを決定することにより、メディアファイルを目標出力レベルでレンダリングできる。ＢＳ．１７７０ラウドネス値がフルスケール（ＦＳ）に規格化されていることを考慮すると、ＦＳで測定された目標出力レベルを実現するために適用されるゲインは、目標出力レベルとＢＳ．１７７０ラウドネス値との間の差として決定できる。
【００６４】
留意点として、変換の式（１）または（２）の可逆性により、元のＢＳ．１７７０ラウドネス値は、それと等価な再生ゲイン調整値から、ラウドネス情報を失うことなく再計算できる。これは、再生ゲイン調整値が変換の式（１）または（２）により、ＩＴＵラウドネスから求められた場合である。
【００６５】
以下、再生ゲインシンタックスによる再生ゲインパラメータを格納する態様を考える。上記の通り、再生ゲインフォーマットは、一般的に、メディアコンテンツに関する２つのタイプのパラメータである「再生ゲインピーク信号振幅」と「再生ゲイン調整値」を含む。これらのパラメータはトラックごとに、またはアルバムごとに計算できる。トラックベースの値は、異なるアルバムからのトラックがミックスされたユースケース（use  cases）やプレイリストに対して、より好適である。アルバムベースの値は、１つのアルバムのすべてのトラックが連続して再生されるユースケース（use  cases）に対して、より好適である。「再生ゲインピーク信号振幅」は、オーディオ信号の最大絶対振幅を示し、メディアプレーヤにおけるクリッピングを防止するために使われ得る。一実施形態では、ＩＴＵ−Ｒ  ＢＳ．１７７０−１勧告により決まる「トゥルーピークオーディオレベル（true-peak  audio  level）」値は、「再生ゲインピーク信号振幅」パラメータとして伝送され得る。
【００６６】
また、上記のパラメータに対して、再生ゲインフォーマットにより再生ゲインパラメータのオリジネータ（originator）の特定ができる。再生ゲインパラメータのかかるオリジネータの取り得る値は、例えば、エンジニア、アーティスト、プロデューサ、またはユーザである。
【００６７】
上記の再生ゲインパラメータは、以下に説明するシンタックスを用いて格納され得る。一実施形態では、ＭＰＥＧ−４ファイル標準に準拠したファイルに格納されるメディアコンテンツは、ｉＴｕｎｅｓスタイルのメタデータを用いることが好ましい。他のフォーマットでは、ＩＤ３ｖ２仕様書で指定されたＩＤ３ｖ２タグに再生ゲインパラメータを格納できる。ＩＤ３ｖ２仕様書を参照援用する。両方の場合のシンタックスを以下に概説する。
【００６８】
１）ｉＴｕｎｅｓスタイルメタデータの再生ゲインパラメータ
再生ゲインパラメータは、標準のｉＴｕｎｅｓスタイルメタデータに即したタイプ「−−−−」のエクステンションボックスとして加えられる。「平均」ボックスが「−−−−」ボックス内にあり、http://www.replaygain.orgに指示されているように「org.hydrogenaudio.replaygain」との意味を有する。「名前」ボックスが「−−−−」ボックス内にあり、値replaygain_track_gain、replaygain_track_peak、replaygain_album_gain、及び／又はreplaygain_album_peakの名前を有する。
【００６９】
「データ」ボックスが「−−−−」ボックス内にあり、次のフォーマットの値を有する：
・ゲイン調節値は好ましくは、収数点以下２桁で−／＋がついたｄＢ浮動小数点値として記述される。（例えば、「−４．６５ｄＢ」）。
・ピーク信号振幅は好ましくは浮動小数点値（例えば、「０．８６０９３１３９６」）として記述されることが好ましい。ピーク信号振幅は１．０より大きくても良い。
【００７０】
メディアプレーヤは、「名前」ボックス中の値のみにマッチし、互換性のために「平均」ボックス中の値は無視することが好ましい。
【００７１】
再生ゲインオリジネータコードの追加的ｉＴｕｎｅｓスタイルメタデータを定義してもよい。再生ゲインは「オリジネータコード（originator  code）」情報を含む。この目的のため、「平均」ボックスが「−−−−」ボックス内にあり、http://www.replaygain.orgによる「org.hydrogenaudio.replaygain」との意味を有する。「名前」ボックスが「−−−−」ボックス内にあり、名前「replaygain_originator_code」を含む。次のオリジネータコードを使える：０００=再生ゲインの指定無し；００１=アーティスト／プロデューサ／マスタリングエンジニアにより設定された再生ゲイン；０１０=ユーザにより設定された再生ゲイン；及び／又は０１１=自動的に決定された再生ゲイン。
【００７２】
さらにまた、「データ」ボックスは、以下の順序で再生ゲイン値の３ビットオリジネータコードの連結を表すテキストストリングを含む：replaygain_track_gain；replaygain_track_peak；replaygain_album_gain；及び／又はreplaygain_album_peak例えば、「０１１０１１００００００」は、トラックゲインとピークの自動的に生成された値、及びアルバムゲインとピークの指定されていない値にマッピングする。
【００７３】
最低でも、再生ゲインメタデータを有するファイルは、トラックゲイン値又はアルバムゲイン値の一方を含むべきである。
【００７４】
２）ＩＤ３ｖ２タグの再生ゲイン
再生ゲイン値は、次のシンタックスに従う「ＴＸＸＸ」フィールドに格納され得る：
【表２】
2013521539.tif 000009
各再生ゲインパラメータは自分の「ＴＸＸＸ」要素に含まれても良い。パラメータを区別するため、「記述」ストリングはｉＴｕｎｅｓ「名前」ボックス（上記参照）に記載されたのと同じ値を取り得る。すなわち、replaygain_track_gain；replaygain_track_peak；replaygain_album_gain；replaygain_album_peak；及び／又はreplaygain_originator_code。これらのパラメータ記述に対応するパラメータ値は「値」フィールドに格納できる。これは、上記のｉＴｕｎｅｓセクションで説明したのと同じフォーマットを用いる。
【００７５】
式（１）を用いる好ましい一実施形態では、再生ゲイン調整は（０ないし−３１．２５ｄＢＦＳのラウドネス値範囲に対応する）−１６ｄＢと＋９ｄＢの間にある。この範囲外の値は−１６ｄＢと＋９ｄＢにクランプされる。式（２）を用いる他の一実施形態では、０ｄＢＦＳと−３１．２５ｄＢＦＳのＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネス値に対応する再生ゲイン調整値は、図２ｅのグラフ２２０から取れる。
【００７６】
以下、提案したラウドネス規格化方法をサポートする再生システム例の複数の側面に関して説明する。具体的に、これらの側面は、所望の目標出力レベル、ダイナミックレンジの制御、ラウドネスメタデータを有さないマルチメディアファイルの処理に関する。
【００７７】
携帯電話、専用パーソナル音楽プレーヤ、ラップトップなどのポータブルメディアプレーヤは、異なるリスニング環境をサポートする必要があることが多い。リスニング環境の例としては、内蔵スピーカを用いる環境、ヘッドホン出力を用いる環境、及び／又はマルチチャンネル出力をサポートできるアナログ又はデジタルのクレドルと組み合わせて用いるライン出力がある。
【００７８】
選択されたリスニング環境に応じて、適当な目標出力レベルを選択する必要がある。例として、デバイスをハイファイ機器に接続できるクレドルを用いる後者のユースケースの場合、ドルビーデジタルの「ラインモード」などで指定された−３１ｄＢＦＳの低い目標レベルが最も適当であり、フルダイナミックレンジ機能が可能になる。
【００７９】
さらに、ポータブルメディアプレーヤは、適用されたラウドネス規格化によりダイナミックレンジの制御をできる。最低サポートラウドネス値が−３１ｄＢＦＳであるとして、−３１ｄＢＦＳより高いすべての目標出力レベルはダイナミックレンジ制御によるクリッピング防止をサポートすべきである。すなわち、ラウドネス値又は基準レベルが−３１ｄＢＦＳのオーディオファイルを−３１ｄＢＦＳより大きい目標出力レベルでレンダリングする場合、増幅されたオーディオ信号をクリップさせる正のマッチングゲインを適用しなければならない。よって、可能性のあるかかるクリッピングを防止するため、ポータブルメディアプレーヤは少なくともリミッタを提供すべきである。ドルビーデジタルなどのダイナミックレンジ制御用のメタデータをサポートするフォーマットは、信号がリミッタに入力される前に、かかるメタデータを適用することもとできる。例えば、ＲＦモードで動作しているドルビーデジタルデコーダは、目標レベルが−２０ｄＢＦＳであり、リミッタの前に９ｄＢの追加的ブーストが必要であり、これによりクリッピングアーティファクト無しに−１１ｄＢＦＳの目標レベルを達成できる。例として、アタック・リリース時間が信号に依存するルックアヘッドリミッタを用いることができる。これは、耳に聞こえるアーティファクト無しに、クリティカルな（例えば動的な）コンテンツでもクリッピングを防止できる。
【００８０】
また、ポータブルメディアプレーヤは、ラウドネス関係のメタデータを含まないマルチメディアファイルを処理できなければならない。ファイルの再生の準備をする時、メディアプレーヤは再生ゲイン値が得られるか、まずチェックする。あるアルバムを完全に再生する場合、アルバムゲインはトラックゲインより優先（preferred）されてもよい。別の場合には、トラックゲインの使用をデフォルトとして設定してもよい。再生ゲイン調整値が得られない場合、システムは、ドルビーデジタルの「dialnorm」パラメータや、ＭＰＥＧ  ＡＡＣのプログラム基準レベルなどの、フォーマットに依存したラウドネス値があるかチェックする。かかる場合には、これらのフォーマットに依存したラウドネス値を用いる。再生ゲイン調整値とフォーマットに依存したラウドネス値のどちらも得られない場合、ポータブルメディアプレーヤはデフォルトラウドネス値を用いる。例として、ステレオ音楽コンテンツに対して−１１ｄＢＦＳの、及びオーディオ／ビデオ及びマルチチャンネルコンテンツに対して−２７ｄＢＦＳの、デフォルトラウドネス値、すなわちデフォルト再生ゲイン調整値を用いてもよい。これらのデフォルトラウドネス値は、統計的に関連する音楽ファイルの上記の統計的測定で決定される。
【００８１】
一実施形態では、−１１ｄＢＦＳ（任意的に−８または−１４ｄＢＦＳ）の目標出力レベルを設定し、この目標出力レベルを設定するためのゲインを、メディアファイルとともに提供されるラウドネス値又は基準レベルに基づき決める。増幅されたメディアファイルのダイナミックレンジは、片側アルゴリズム（single-sided  algorithms）で、または片側リミッタを他のメタデータから求められる場合があるダイナミックレンジ制御と組み合わせることにより、制御する。
【００８２】
本文献で説明した方法によるラウドネス値を適用するメディアプレーヤの実装をさらに説明するため、方法の擬似コード実装例を表３で提供する。
【００８３】
【表３】
2013521539.tif 000010
2013521539.tif 000011
メディアプレーヤの一例のレシーバ／復号デバイス１０を図３に示す。デバイス１０は、信号パス又は伝送媒体１１から符号化された入力信号を受信し、デフォーマッタ１２で適当な処理を適用し、入力信号から符号化されたオーディオ情報とそれに関連するメタデータを取り出し、符号化されたオーディオ情報をデコーダ１４に送り、メタデータを信号パス１３に送る。符号化されたオーディオ情報は、オーディオ信号のスペクトルコンテンツを表す符号化されたサブバンド信号を含み、メタデータは、ラウドネスゲイン値と、ダイナミックレンジ圧縮プロファイルによるダイナミックレンジ圧縮を指定するその他のパラメータとを指定する。「ダイナミックレンジ圧縮プロファイル」との用語は、（ラウドネス）ゲインファクタ、圧縮アタック時間、及びダイナミックレンジ圧縮器の動作的特性を画定する圧縮関係時間などの特徴を言う。デコーダ１４は、復号プロセスを符号化されたオーディオ情報に適用し、復号されたサブバンド信号を求める。この信号はダイナミックレンジ制御１６に入力される。復号プロセスの動作と機能は、信号パス１３から受け取った復号制御パラメータに応じて、適応される。復号プロセスの動作と機能を適応させるのに用いられる復号制御パラメータの例としては、符号化されたオーディオ情報により表されるオーディオチャンネルの数と構成を特定するパラメータがある。
【００８４】
ダイナミックレンジ制御１６は、任意的に、復号されたオーディオ情報のダイナミックレンジを調整する。この調整は、オン・オフでき、信号パス１３から及び／又はリスナーからの入力に応じて提供される制御信号から受け取ったメタデータに応じて適応できる。例えば、制御信号は、リスナーがスイッチを操作すること、またはデバイス１０の動作オプションを選択することに応じて提供される。ＡＴＳＣ標準、ＭＰＥＧ−２ＡＡＣ標準、またはＭＰＥＧ−４オーディオ標準などに準拠した実装では、符号化された入力信号は、セグメントやフレームのシーケンスに構成された符号かされたオーディオ情報を含む。各フレームは、フルダイナミックレンジのオーディオ信号のスペクトル成分を表す符号化されたサブバンド信号を含む。ダイナミックレンジ制御１６は動作せず、そのためオーディオ信号は最大ダイナミックレンジで再生される。または、ダイナミックレンジ制御１６は、復号されたサブバンド信号を修正して、可変量だけダイナミックレンジを圧縮する。合成フィルタバンク１８は、ダイナミックレンジ制御１６により調整された復号されたサブバンド信号に合成フィルタのバンクを適用し、時間ドメインのオーディオ信号を出力する。このオーディオ信号はデジタル信号またはアナログ信号である。
【００８５】
実施形態によっては、ゲインリミッタ２０を用いて、時間ドメインのオーディオ信号の振幅を調整する。ゲインリミッタ２０の出力はパス２１に出力され、音響トランスデューサに入力される。
【００８６】
図４は、オーディオコンテンツ制作又は送信サイトにおけるエンコーダ／送信器デバイス３０を示すブロック図である。このエンコーダ／送信器デバイス３０には、本文献で説明した様々な態様が組み込まれている。デバイス３０は信号パス３１からオーディオ入力信号を受信する。デバイス３０は、オーディオ信号に分析フィルタのバンクを適用して、入力オーディオ信号の周波数ドメイン表現として、または入力オーディオ信号を表す帯域幅制限信号のセットとして、サブバンド信号を求める。メタデータ計算器３４は、オーディオ入力信号及び／又はそれから求めた信号（オーディオ入力信号を修正したもの、または分析フィルタバンク３２からのサブバンド信号）を分析して、メタデータを計算する。このメタデータは、符号化制御パラメータ、復号制御パラメータ、及びダイナミックレンジ圧縮プロファイルによるダイナミックレンジ圧縮を指定するパラメータを含む様々なパラメータの値を指定するものである。メタデータ計算器３４は、時間ドメイン信号、周波数ドメイン信号、またはこれらの信号の組み合わせを分析する。メタデータ計算器３４により行われる計算は、パス３３から受け取ったメタデータパラメータに応じて適応される。エンコーダ３６は、分析フィルタバンク３２の出力に符号化処理をして、符号化されたサブバンド信号を含む符号化されたオーディオ情報を求める。このオーディオ情報はフォーマッタ３８に入力される。符号化プロセスは、パス３３から受け取った符号化制御パラメータに応じて適応される。符号化プロセスは、デバイス１０において実行されるプロセスにより使用するため、パス３３に、符号化されたオーディオ情報を復号するその他の復号制御パラメータを生成する。フォーマッタ３８は、符号化されたオーディオ情報と、復号制御パラメータ及びダイナミックレンジ圧縮（特に、ラウドネスゲイン値）を指定するパラメータとを含む少なくとも一部のメタデータとを分析し、送信や格納に適したフォーマットを有する符号化された出力信号にする。
【００８７】
ＡＴＳＣ標準、ＭＰＥＧ−２ＡＡＣ標準、またはＭＰＥＧ−４オーディオ標準などに準拠した実装では、符号化された出力信号は、セグメントやフレームのシーケンスに構成された符号かされたオーディオ情報を含む。各フレームは、フルダイナミックレンジのオーディオ信号のスペクトル成分を表し、基準再生レベルで再生する振幅を有する符号化されたサブバンド信号を含む。
【００８８】
図５は、全体システム５００の一例を示す。このシステムは、オーディオエンコーダ５１１、オーディオデコーダ５２１、及び任意的にＬｉｎｅ／ＲＦ又は音楽モードによるダイナミックレンジ制御及びラウドネス調整５２２を有する。オーディオエンコーダ５１１は、ドルビーデジタル、ドルビーデジタルプラス、ドルビーパルス、ＨＥ−ＡＡＣ、ｍｐ３、その他の任意のエンコーダであり得る。ラウドネス測定は、ユニット５１２により示したように、ＩＴＵ−Ｒ  ＢＳ．１７７０に基づき行う。測定された又は提供されたＢＳ．１７７０ラウドネスは、ドルビーデジタル／ドルビーデジタルプラスの「dialnorm」メタデータとして、又はドルビーパルス又はＭＰＥＧ  ＨＥ−ＡＡＣの「prog  ref  level」として、ビットストリームで直接送信される。これを点線矢印５１３で示した。代替的に又は追加的に、ラウドネスは、再生ゲインへの変換により、ＩＤ３ｖ２タグで、又はｉＴｕｎｅｓスタイルメタデータで搬送される。かかる変換はラウドネス変換ユニット５１４で行われる。ＩＤ３ｖ２タグ又はｉＴｕｎｅｓスタイルメタデータ５１５は、符号化側５１０から復号側５２０に提供される。留意点として、ドルビーパルスエンコーダは、ユニット５１０で示した処理ブロックを有し、ドルビーパルスデコーダは、ユニット５２０で示した処理ブロックを有する。復号側５２０では、逆変換ユニット５２３を用いて、再生ゲインメタデータがＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネスに変換される。変換ユニット５１４と逆変換ユニット５２３は、一般的に、本文献で説明した可逆的関係を適用する。一実施形態では、復号側５２０で受け取る再生ゲインメタデータは、上記のようにエンコーダ側５１０で計算された、又はデコーダ又はプレーヤ再度５２０で後処理された、元の再生ゲインメタデータ５３０である。逆変換ユニット５２３で決定されたラウドネス値は、一般的に、真のＩＴＵ−ＢＳ．１７７０ラウドネスの近似である。留意点として、ラウドネス情報は、ダイナミックレンジコントロール（ＤＲＣ）メタデータを計算するためにエンコーダ側５１０で用いられる。このＤＲＣメタデータは、デコーダ側５２０にリンク５１３を介して提供され、復号ユニット５２１で用いられる。
【００８９】
本文献では、ポータブルメディアプレーヤのラウドネス規格化する方法とシステムを説明した。この方法とシステムは、様々なポータブルメディアプレーヤで用いられる標準化されたＢＳ．１７７０ラウドネス測定と再生ゲインコンテナの組み合わせに依存する。式は統計的測定値から求めたものであり、符号化側及び復号側において、ＢＳ．１７７０ラウドネス値を再生ゲイン値に変換するのに、又はその逆に使える。このため、現在のdialnormベースのレベリングと完全に互換性のあるＢＳ．１７７０によるラウドネス規格化を実現できる。このシステムは、混合コンテンツ、例えば一部がＢＳ．１７７０で分析され、一部が再生ゲインアルゴリズムで分析されたコンテンツであっても、統計的に最適なラウドネス規格化ができる。本方法とシステムの実施は、計算が複雑でなく、特にポータブルメディアプレーヤで実施できる。
【００９０】
本発明の具体的な実施形態と、本発明のアプリケーションとをここに説明したが、当業者には言うまでもなく、ここに説明し請求する本発明の範囲から逸脱することなく、ここに説明した実施形態とアプリケーションの多くの変形例が可能である。言うまでもなく、本発明の一定の形態を図示して説明したが、本発明は、説明しかつ図示した実施形態や、説明した具体的な方法には限定されない。
【００９１】
本文献で説明した方法とシステムはソフトウェア、ファームウェア、及び／又はハードウェアとして実施できる。あるコンポーネントは、例えば、デジタル信号プロセッサやマイクロプロセッサ上で動作するソフトウェアとして実施できる。他のコンポーネントは、例えば、ハードウェアとして、及び／又は特定目的集積回路として実施できる。上記の方法とシステムに出てくる信号は、ランダムアクセスメモリや光記憶媒体などのメディアに格納できる。これらは、ラジオネットワーク、衛星ネットワーク、無線ネットワーク、又はインターネットなどの有線ネットワークなどのネットワークを介して伝送できる。本文献で説明した方法を用いる典型的なデバイスは、オーディオ信号を復号するメディアプレーヤである。復号側において、本システムと方法は放送局で、及びマルチメディア製作サイトで用いることができる。
【図１ａ】
2013521539.tif 000012
【図１ｂ】
2013521539.tif 000013
【図２ａ】
2013521539.tif 000014
【図２ｂ】
2013521539.tif 000015
【図２ｃ】
2013521539.tif 000016
【図２ｄ】
2013521539.tif 000017
【図２ｅ】
2013521539.tif 000018
【図２ｆ】
2013521539.tif 000019
【図２ｇ】
2013521539.tif 000020
【図３】
2013521539.tif 000021
【図４】
2013521539.tif 000022
【図５】
2013521539.tif 000023
【手続補正書】
【提出日】平成23年10月20日(2011.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ラウドネス規格化のために知覚的に関連するラウドネス関連データをメディアプレーヤに提供する方法であって、
オーディオ信号に関連する第１のラウドネス関連値であって人間のラウドネス知覚による前記オーディオ信号の処理を含む第１の手順により決定されたものを提供するステップと、
前記第１のラウドネス関連値と第２のラウドネス関連値の間の実際の関係の近似である可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を前記第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換するステップと、
前記オーディオ信号に関連するメタデータに前記第２のラウドネス関連値を格納するステップと、
前記メタデータを前記メディアプレーヤに提供して、前記第２のラウドネス関連値を用いて前記オーディオ信号をレンダリングするステップとを有する方法。
【請求項２】
前記第１の及び／又は第２の手順は、
前記処理されたオーディオ信号の期間のエネルギーを決定するステップと、
前記エネルギーをオフセットしてラウドネス関連値を較正するステップとを有する、請求項１に記載の方法。
【請求項３】
前記第１の手順はオーディオプログラムのラウドネスを測定するＩＴＵ−Ｒ  ＢＳ．１７７０アルゴリズムであり、
前記第２の手順は再生ゲインラウドネス計算方式であり、前記再生ゲインラウドネス計算方式は前記ラウドネス関連値からゲイン値を計算するステップをさらに有し、前記ゲイン値が前記第２のラウドネス関連値である、請求項２に記載の方法。
【請求項４】
前記可逆的関係は一次または二次の多項式である、
請求項１乃至３いずれか一項に記載の方法。
【請求項５】
前記可逆的関係は、
Ｌ２=Ａ+ＢＬ１
により与えられ、Ｌ２はｄＢ単位で測定された前記第２のラウドネス関連値であり、Ｌ１はｄＢ単位で測定された前記第１のラウドネス関連値であり、ＡとＢは実数である、請求項４に記載の方法。
【請求項６】
−１７≦Ａ≦−１５であり、−０.７≦Ｂ≦−０.９である、
請求項５に記載の方法。
【請求項７】
−１６.１≦Ａ≦１５.９であり、−０.８０≦Ｂ≦−０.８２である、
請求項６に記載の方法。
【請求項８】
−１６.０１≦Ａ≦１５.９９であり、−０.８１１≦Ｂ≦−０.８１３である、
請求項７に記載の方法。
【請求項９】
Ａ=−１６.００であり、Ｂ=−０.８１２である、
請求項８に記載の方法。
【請求項１０】
Ｂ=−１．０である、
請求項５に記載の方法。
【請求項１１】
−１９≦Ａ≦−１８、または−１８.４≦Ａ≦−１８.３、または−１８.３１≦Ａ≦−１８.２９、またはＡ=−１８.３０、またはＡ=−１８.１０、またはＡ=−１８.００である、請求項１０に記載の方法。
【請求項１２】
前記可逆的関係は、
Ｌ２=Ａ+ＢＬ１+ＣＬ１２
により与えられ、ここでＬ２はｄＢ単位で測定された前記第２のラウドネス関連値であり、Ｌ１はｄＢ単位で測定された前記第１のラウドネス関連値であり、ＡとＢとＣは実数である、
請求項４に記載の方法。
【請求項１３】
前記第２のラウドネス関連値を含む前記メタデータは所定フォーマットを有し、
前記所定フォーマットは再生ゲインシンタックスを用いたものであり、及び／又は
前記所定フォーマットはいＴｕｎｅｓスタイルメタデータまたはＩＤ３ｖ２タグを含む、請求項１乃至１２いずれか一項に記載の方法。
【請求項１４】
前記可逆的関係は、複数のオーディオ信号の計算された複数の第１と第２のラウドネス関連値に基づき決められ、
前記可逆的関係は線形回帰を用いて決定され、
前記可逆的関係は区分線形回帰を用いて決定され、及び／又は
前記可逆的関係は誤差最小化方式を用いて決定される、
請求項１乃至１３いずれか一項に記載の方法。
【請求項１５】
対数空間で測定された前記第１のラウドネス関連値と前記第２のラウドネス関連値との間の前記可逆的関係は線形関係である、
請求項１４に記載の方法。
【請求項１６】
前記メタデータを前記メディアプレーヤに提供するステップは、前記オーディオ信号と前記メタデータとを前記メディアプレーヤに送信するステップを有する、
請求項１乃至１５いずれか一項に記載の方法。
【請求項１７】
前記メタデータから前記第２のラウドネス関連値を取り出すステップと、
前記第２のラウドネス関連値を用いて前記オーディオ信号をレンダリングするステップとをさらに有する、
請求項１乃至１６いずれか一項に記載の方法。
【請求項１８】
前記可逆的関係を用いて前記第２のラウドネス関連値を前記第１のラウドネス関連値に変換するステップと、
前記第１のラウドネス関連値を用いて前記オーディオファイルをレンダリングするステップとをさらに有する、
請求項１７に記載の方法。
【請求項１９】
前記レンダリングするステップは、
前記オーディオ信号のサンプルに、前記第１のまたは第２のラウドネス関連値から求めた値を適用するステップ、
前記ラウドネス処理されたオーディオ信号のダイナミックレンジを制御するステップ、及び／又は
クリッピングしないように前記ラウドネス処理されたオーディオ信号を制限するステップを有する、
請求項１７または１８に記載の方法。
【請求項２０】
前記オーディオ信号は、ｍｐ３，ＡＡＣ、ＨＥ−ＡＡＣ、ＯＧＧ、ＷＭＡ、ドルビーデジタル、ドルビーデジタルプラス、またはドルビーパルスのうちの一メディアフォーマットで表される、
請求項１乃至１９いずれか一項に記載の方法。
【請求項２１】
前記第１のラウドネス関連値を前記第２のラウドネス関連値に変換するステップは、前記オーディオ信号がモノラル信号であるとき、前記第１のラウドネス関連値を所定値だけオフセットするステップをさらに有する、
請求項１乃至２０いずれか一項に記載の方法。
【請求項２２】
メディアプレーヤにおけるラウドネス規格化のために知覚的に関連するラウドネス関連値を決定するラウドネスエンコーダであって、
オーディオ信号に関連する第１のラウドネス関連値であって人間のラウドネス知覚による前記オーディオ信号の処理を含む第１の手順により決定されたものを提供し、
前記第１のラウドネス関連値と第２のラウドネス関連値の間の実際の関係の近似である可逆的関係を有するモデルを用いて、前記第１のラウドネス関連値を第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものに変換し、
前記オーディオ信号に関連するメタデータであってメディアプレーヤに前記第２のラウドネス関連値を用いて前記オーディオ信号をレンダリングさせるものに前記第２のラウドネス関連値を格納する、ラウドネスエンコーダ。
【請求項２３】
ラウドネス規格化をするための知覚的に関連するラウドネス関連データをメディアプレーヤに提供するシステムであって、
請求項２２に記載のラウドネスエンコーダと、
前記メタデータを前記メディアプレーヤに提供する伝送媒体と、
前記メタデータから前記第２のラウドネス関連値を取り出し、前記第２のラウドネス関連値に基づき前記オーディオ信号をレンダリングする前記メディアプレーヤとを有する、システム。
【請求項２４】
前記メディアプレーヤはさらに、
前記可逆的関係を用いて前記第２のラウドネス関連値を前記第１のラウドネス関連値に変換し、
前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングする、請求項２３に記載のシステム。
【請求項２５】
オーディオ信号に関連するメタデータから第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものを取り出し、
前記第１のラウドネス関連値と第２のラウドネス関連値の間の実際の関係の近似である可逆的関係を有するモデルを用いて、前記第２のラウドネス関連値を第１のラウドネス関連値であって人間のラウドネス知覚による前記オーディオ信号の処理を含む第１の手順により決定されるものに変換し、
前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングする、メディアプレーヤ。
【請求項２６】
携帯電話、スマートフォン、ｍｐ３プレーヤ、ラップトップ、又はパーソナルメディアプレーヤのうちの一つである、
請求項２５に記載のメディアプレーヤ。
【請求項２７】
メディアプレーヤにおいて第１のラウドネス関連値を用いてオーディオ信号をレンダリングする方法であって、
前記メディアプレーヤにおいて前記オーディオ信号に関連するメタデータを受信するステップと、
前記オーディオ信号に関連する前記メタデータから第２のラウドネス関連値であってラウドネス関連値を決定する第２の手順に関連するものを取り出すステップと、
前記第１のラウドネス関連値と第２のラウドネス関連値の間の実際の関係の近似である可逆的関係を有するモデルを用いて、前記第２のラウドネス関連値を第１のラウドネス関連値であって人間のラウドネス知覚による前記オーディオ信号の処理を含む第１の手順により決定されるものに変換するステップと、
前記第１のラウドネス関連値を用いて前記オーディオ信号をレンダリングするステップとを有する、方法。
【請求項２８】
第１のラウドネス関連値を第２のラウドネス関連値に変換する、第１のラウドネス関連値と第２のラウドネス関連値の間の実際の関係の近似である可逆的関係を決定する方法であって、
複数のオーディオ信号に関連する複数の第１のラウドネス関連値であって人間のラウドネス知覚による前記オーディオ信号の処理を含む第１の手順により決定されるものを決定するステップと、
前記複数のオーディオ信号に関連する複数の第２のラウドネス関連値であって、第２の手順により決定され、メディアプレーヤにおいて対応する複数のオーディオ信号のレンダリングに使われるものを決定するステップと、
モデルパラメータを含む前記可逆的関係のモデルを提供するステップと、
誤差最小化方式を用いて、前記モデルを、前記複数の第１と第２のラウドネス関連値にフィッティングすることにより前記モデルを決定し、前記可逆的関係を生成するステップとを有する、方法。
【請求項２９】
プロセッサで実行するために構成され、計算デバイスで実行されると、請求項１ないし２１、２７、２８のいずれか一項の方法ステップを実行するソフトウェアプログラム。
【請求項３０】
プロセッサで実行するために構成され、計算デバイスで実行されると、請求項１ないし２１、２７、２８のいずれか一項の方法ステップを実行するソフトウェアプログラムを有する記憶媒体。
【請求項３１】
コンピュータで実行されると、請求項１ないし２１、２７、２８いずれか一項に記載の方法を実行する実行可能命令を有するコンピュータプログラム製品。
【国際調査報告】
2013521539.tif 000024
2013521539.tif 000025