(57)【要約】  外部入力信号及び／または高密度記録媒体から提供される多様なオーディオストリームを動的にミックスし、コンテンツプロバイダによって提供されるコンテンツのバリエーションによって多様なサウンドを提供する記録媒体、オーディオデータミキシング装置及びオーディオデータミキシング方法を提供する。本発明のオーディオデータミキシング方法は、（ａ）それぞれ少なくとも一つ以上のチャネルを含む第１のオーディオストリーム及び第２のオーディオストリームをデコードするステップと、（ｂ）デコードされた第１の及び第２のオーディオストリームを一緒にミキシングするステップと、を含む。また、ステップ（ｂ）は、（ｂ１）第２のオーディオストリームの各チャネルによって定義されたコマンドセットを用いてデコードされた第２のオーディオストリームにレベル調整を適用するステップと、（ｂ２）レベル―調整された第２のオーディオストリームとデコードされた第１のオーディオストリームとを合わせるステップと、を含む。
2008547142.tif 000002
【特許請求の範囲】
【請求項１】
オーディオデータをミキシングする方法であって、
前記方法は、
（ａ）それぞれ少なくとも１つまたは複数のチャネルを含む第１のオーディオストリーム及び第２のオーディオストリームをデコードするステップと、
（ｂ）前記デコードされた第１の及び第２のオーディオストリームを一緒にミキシングするステップと
を含み、
前記ステップ（ｂ）は、
（ｂ１）前記第２のオーディオストリームの各チャネルによって定義されたコマンドセットを用いて前記デコードされた第２のオーディオストリームにレベル調整を適用するステップと、
（ｂ２）前記レベル調整された第２のオーディオストリームと前記デコードされた第１のオーディオストリームとを合わせるステップと
をさらに含むことを特徴とする方法。
【請求項２】
前記ステップ（ｂ１）は、コマンドセットを用いて前記デコードされた第２のオーディオストリームにパン調整を適用するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
（ｃ）前記ミックスされた第１の及び第２のオーディオストリームと少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオとをミキシングするステップをさらに含み、
前記ステップ（ｃ）は、
（ｃ１）前記インタラクティブオーディオの各チャネルによって定義されたコマンドセットを用いて前記インタラクティブオーディオにレベル調整を適用するステップと、
（ｃ２）前記レベル調整されたインタラクティブオーディオと前記ミックスされた第１の及び第２のオーディオストリームとを合わせるステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記ステップ（ｃ１）は、コマンドセットを用いて前記インタラクティブオーディオにパン調整を適用するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
（ｄ）少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオと前記ミックスされた第１の及び第２のオーディオストリームとをミキシングするステップをさらに含み、
前記ステップ（ｄ）は、
（ｄ１）前記インタラクティブオーディオの各チャネルによって定義されたミキシングメタデータを用いて前記インタラクティブオーディオにパン及び／またはレベル調整を適用するステップと、
（ｄ２）前記調整されたインタラクティブオーディオと前記ミックスされた第１の及び第２のオーディオストリームとを合わせるステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項６】
オーディオデータをミキシングする方法であって、
前記方法は、
（ａ）それぞれ少なくとも１つまたは複数のチャネルを含む第１の及び第２のオーディオストリームをデコードするステップと、
（ｂ）前記デコードされた第１の及び第２のオーディオストリームをミキシングするステップと
を含み、
前記ステップ（ｂ）は、
（ｂ１）前記第２のオーディオストリームの各チャネルによって定義されたミキシングメタデータを用いて前記デコードされた第２のオーディオストリームにパン及び／またはレベル調整を適用するステップと、
（ｂ２）前記調整された第２のオーディオストリームと前記デコードされた第１のオーディオストリームとを合わせるステップと
を含むことを特徴とする方法。
【請求項７】
前記ミキシングメタデータは、前記第２のオーディオストリームに含まれることを特徴とする請求項６に記載の方法。
【請求項８】
オーディオデータをミキシングする装置であって、
少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームをデコードする第１のオーディオデコーダと、
少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームをデコードする第２のオーディオデコーダと、
前記第２のオーディオストリームの各チャネルによって定義されたコマンドセットを用いて前記第２のオーディオストリームにレベル調整を適用し、前記レベル調整された第２のオーディオストリームと前記デコードされた第１のオーディオストリームとを合わせるやり方で、前記デコードされた第１のオーディオストリームと前記デコードされた第２のオーディオストリームとをミキシングする第１のオーディオミキサーと
を含むことを特徴とする装置。
【請求項９】
前記第１のオーディオミキサーは、コマンドセットを用いて第２のオーディオストリームにパン調整を適用することを特徴とする請求項８に記載の装置。
【請求項１０】
前記インタラクティブオーディオの各チャネルによって定義されたコマンドセットを用いて前記インタラクティブオーディオにレベル調整を適用し、前記調整されたインタラクティブオーディオと前記ミックスされた第１の及び第２のオーディオストリームとを合わせるやり方で、前記ミックスされた第１の及び第２のオーディオストリームと少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオとをミキシングする第２のオーディオミキサーをさらに含むことを特徴とする請求項８に記載の装置。
【請求項１１】
前記第２のオーディオミキサーは、コマンドセットを用いて前記インタラクティブオーディオにパン調整を適用することを特徴とする請求項１０に記載の装置。
【請求項１２】
前記インタラクティブオーディオの各チャネルによって定義されたミキシングメタデータを用いて前記インタラクティブオーディオにパン及び／またはレベル調整を適用し、前記調整されたインタラクティブオーディオと前記ミックスされた第１の及び第２のオーディオストリームとを合わせるやり方で、少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオと前記ミックスされた第１の及び第２のオーディオストリームとをミキシングする第２のオーディオミキサーをさらに含むことを特徴とする請求項８に記載の装置。
【請求項１３】
オーディオデータをミキシングする装置であって、
少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームをデコードする第１のオーディオデコーダと、
少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームをデコードする第２のオーディオデコーダと、
前記第２のオーディオストリームの各チャネルによって定義されたミキシングメタデータを用いてパン及び／またはレベル調整を前記第２のオーディオストリームに適用し、前記調整された第２のオーディオストリームと前記デコードされた第１のオーディオストリームとを合わせるやり方で、前記デコードされた第１のオーディオストリームと前記デコードされた第２のオーディオストリームとをミキシングする第１のオーディオミキサーと
を含むことを特徴とする装置。
【請求項１４】
前記ミキシングメタデータは、前記第２のオーディオストリームに含まれることを特徴とする請求項１３に記載の装置。
【請求項１５】
記録媒体であって、
少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームと、
少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームと、
前記第１のオーディオストリームとミックスされた前記第２のオーディオストリームのレベル調整のためのコマンドセットと
を含み、
前記コマンドセットは、前記第２のオーディオストリームの各チャネルによって定義されることを特徴とする記録媒体。
【請求項１６】
前記第１のオーディオストリームとミックスされた前記第２のオーディオストリームのパン調整のためのコマンドセットをさらに含み、
前記コマンドセットは、前記第２のオーディオストリームの各チャネルによって定義されることを特徴とする請求項１５に記載の記録媒体。
【請求項１７】
少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオと、
前記ミックスされた第１の及び第２のストリームとミックスされた前記インタラクティブオーディオのストリームのパン及び／またはレベル調整のためのミキシングメタデータと
をさらに含み、
前記ミキシングメタデータは、前記インタラクティブオーディオの各チャネルによって定義されることを特徴とする請求項１５に記載の記録媒体。
【請求項１８】
少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームと、
少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームと、
前記第１のオーディオストリームとミックスされた前記第２のオーディオストリームのパン及び／またはレベル調整のためのミキシングメタデータと
を含み、
前記ミキシングメタデータは、前記第２のオーディオストリームの各チャネルによって定義されることを特徴とする記録媒体。
【請求項１９】
前記ミキシングメタデータは、前記第２のオーディオストリームに含まれることを特徴とする請求項１８に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオデータミキシングに関する。より具体的には、記録媒体、オーディオデータをミキシングする装置及びミキシングする方法に関する。
【背景技術】
【０００２】
一般的に、記録媒体としては、大容量のデータを記録可能な光ディスクが広く使用されている。最近は、高画質のビデオデータ及び高音質のオーディオデータを長時間記録・保存するために、ブルーレイディスク（以下、ＢＤという）などの新しい高密度記録媒体が開発されつつある。
【０００３】
次世代の記録媒体技術である高密度記録媒体は、既存のＤＶＤを著しく凌駕するデータが備わる次世代の光記録ソリューションである。高密度記録媒体を他のデジタル機器と一緒に研究・開発するために多くの努力がなされている。
【０００４】
これと関連して、高密度記録媒体規格を応用した光記録再生装置の開発も開始されている。しかし、未だに高密度記録媒体の規格が完全ではないので、完成された光記録再生装置の開発には多くの困難さが伴う。
【０００５】
特に、外部入力信号または高密度記録媒体に含まれたオーディオデータを再生する際、オーディオデータをミキシングするための好適な方法が提案または開発されていないので、高密度記録媒体をベースとする光記録再生装置の本格的な開発には多くの制約がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明は、上記の関連技術の制約及び不都合な点による１つまたは複数の問題を実質的に解決するための記録媒体、オーディオデータミキシング装置及びミキシング方法を対象とする。
【０００７】
本発明の目的は、外部入力信号及び／または高密度記録媒体から提供される多様なオーディオストリームを動的にミキシングする方法において、コンテンツプロバイダによって提供される多様なコンテンツによって多様なサウンドを提供可能な記録媒体、オーディオデータミキシング装置及びオーディオデータミキシング方法を提供することにある。
【０００８】
本発明の他の目的は、前記オーディオデータが記録媒体に保存されたコマンドセットを用いてミックスされる記録媒体、オーディオデータミキシング装置及びオーディオデータミキシング方法を提供することにある。
【０００９】
本発明の更に他の目的は、記録媒体に保存されたメタデータを用いてインタラクティブオーディオをミックスする記録媒体、オーディオデータミキシング装置及びオーディオデータミキシング方法を提供することにある。
【００１０】
本発明の追加的な効果、目的及び特徴は、その一部が下記の詳細な説明に説明され、以下の検討において当業者に明確になり、本発明の実施から理解可能になるだろう。これらの目的及び他の効果は、添付された図面のみならず、発明の詳細な説明及び特許請求の範囲において指摘された構造によって実現または達成される。
【課題を解決するための手段】
【００１１】
本発明は、上記のような目的及び効果を達成するために、そして、その目的に従って、この明細書内に広く描写または具現される。
【００１２】
本発明に係るオーディオデータをミキシングする方法は、（ａ）それぞれ少なくとも１つまたは複数のチャネルを含む第１のオーディオストリーム及び第２のオーディオストリームをデコードするステップと、（ｂ）デコードされた第１の及び第２のオーディオストリームを一緒にミキシングするステップと、を含み、ステップ（ｂ）は、（ｂ１）第２のオーディオストリームの各チャネルによって定義されたコマンドセットを用いてデコードされた第２のオーディオストリームにレベル調整を適用するステップと、（ｂ２）レベル―調整された第２のオーディオストリームとデコードされた第１のオーディオストリームとを合わせるステップと、を含む。
【００１３】
ステップ（ｂ１）は、コマンドセットを用いてデコードされた第２のオーディオストリームにパン調整（pan control）を適用するステップをさらに含むことができる。
【００１４】
上記方法は、（ｃ）ミックスされた第１の及び第２のオーディオストリームと少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオをミキシングするステップをさらに含むことができる。
【００１５】
また、ステップ（ｃ）は、（ｃ１）インタラクティブオーディオの各チャネルによって定義されたコマンドセットを用いてインタラクティブオーディオにレベル調整を適用するステップと、（ｃ２）レベル調整されたインタラクティブオーディオとミックスされた第１の及び第２のオーディオストリームとを合わせるステップと、を含む。
【００１６】
ステップ（ｃ１）は、コマンドセットを用いてインタラクティブオーディオにパン調整を適用するステップをさらに含むことができる。
【００１７】
上記方法は、（ｄ）少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオとミックスされた第１の及び第２のオーディオストリームとをミキシングするステップをさらに含むことができる。
【００１８】
また、ステップ（ｄ）は、（ｄ１）インタラクティブオーディオの各チャネルによって定義されたミキシングメタデータを用いてインタラクティブオーディオにパン及び／またはレベル調整を適用するステップと、（ｄ２）調整されたインタラクティブオーディオとミックスされた第１の及び第２のオーディオストリームとを合わせるステップとを含む。
【００１９】
本発明の他の態様として、オーディオデータをミキシングする方法は、（ａ）それぞれが少なくとも１つまたは複数のチャネルを含む第１の及び第２のオーディオストリームをデコードするステップと、（ｂ）デコードされた第１の及び第２のオーディオストリームをミキシングするステップと、を含む。また、ステップ（ｂ）は、（ｂ１）第２のオーディオストリームの各チャネルによって定義されたミキシングメタデータを用いてデコードされた第２のオーディオストリームにパン及び／またはレベル調整を適用するステップと、（ｂ２）調整された第２のオーディオストリームとデコードされた第１のオーディオストリームとを合わせるステップと、を含む。ミキシングメタデータは、第２のオーディオストリームに含まれる。
【００２０】
本発明の更に他の態様として、オーディオデータをミキシングする装置は、少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームをデコードする第１のオーディオデコーダと、少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームをデコードする第２のオーディオデコーダと、第２のオーディオストリームの各チャネルによって定義されたコマンドセットを用いて第２のオーディオストリームにレベル調整を適用し、レベル調整された第２のオーディオストリームとデコードされた第１のオーディオストリームとを合わせるやり方で、デコードされた第１のオーディオストリームとデコードされた第２のオーディオストリームとをミキシングする第１のオーディオミキサーと、を含む。
【００２１】
第１のオーディオミキサーは、コマンドセットを用いて第２のオーディオストリームにパン調整を適用することができる。
【００２２】
この装置は、インタラクティブオーディオの各チャネルによって定義されたコマンドセットを用いてインタラクティブオーディオにレベル調整を適用し、調整されたインタラクティブオーディオとミックスされた第１の及び第２のオーディオストリームとを合わせるやり方で、ミックスされた第１の及び第２のオーディオストリームと少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオとをミキシングする第２のオーディオミキサーをさらに含むことができる。
【００２３】
この第２のオーディオミキサーは、コマンドセットを用いてパン調整をインタラクティブオーディオに適用することができる。
【００２４】
この装置は、インタラクティブオーディオの各チャネルによって定義されたミキシングメタデータを用いてインタラクティブオーディオにパン及び／またはレベル調整を適用し、調整されたインタラクティブオーディオとミックスされた第１の及び第２のオーディオストリームとを合わせるやり方で、少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオとミックスされた第１の及び第２のオーディオストリームとをミキシングする第２のオーディオミキサーをさらに含むことができる。
【００２５】
本発明の更に他の態様として、オーディオデータをミキシングする装置は、少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームをデコードする第１のオーディオデコーダと、少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームをデコードする第２のオーディオデコーダと、第２のオーディオストリームの各チャネルによって定義されたミキシングメタデータを用いてパン及び／またはレベル調整を第２のオーディオストリームに適用し、調整された第２のオーディオストリームとデコードされた第１のオーディオストリームとを合わせるやり方で、デコードされた第１のオーディオストリームとデコードされた第２のオーディオストリームとをミキシングする第１のオーディオミキサーと、を含む。このミキシングメタデータは、第２のオーディオストリームに含まれる。
【００２６】
本発明の更に他の態様として、記録媒体は、少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームと、少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームと、第１のオーディオストリームとミックスされた第２のオーディオストリームのレベル調整のためのコマンドセットと、を含み、このコマンドセットは、第２のオーディオストリームの各チャネルによって定義される。
【００２７】
この記録媒体は、第１のオーディオストリームとミックスされた第２のオーディオストリームのパン調整のためのコマンドセットをさらに含むことができる。また、このコマンドセットは、第２のオーディオストリームの各チャネルによって定義される。
【００２８】
この記録媒体は、少なくとも１つまたは複数のチャネルを含むインタラクティブオーディオと、ミックスされた第１の及び第２のオーディオストリームとミックスされた当該インタラクティブオーディオのストリームのパン及び／またはレベル調整のためのミキシングメタデータとをさらに含むことができる。また、このミキシングメタデータは、インタラクティブオーディオの各チャネルによって定義される。
【００２９】
本発明の更に他の態様として、記録媒体は、少なくとも１つまたは複数のチャネルを含む第１のオーディオストリームと、少なくとも１つまたは複数のチャネルを含む第２のオーディオストリームと、第１のオーディオストリームとミックスされた第２のオーディオストリームのパン及び／またはレベル調整のためのミキシングメタデータと、を含む。このミキシングメタデータは、第２のオーディオストリームの各チャネルによって定義される。ミキシングメタデータは、第２のオーディオストリームに含まれる。
【００３０】
本発明によると、オーディオデータは、コンテンツのバリエーションによって動的にミックスされうる。したがって、本発明はユーザに一層多様なサウンドを提供することができる。本発明に対する上記の一般的な説明及び以後の発明の詳細な説明は、例示的かつ説明的なもので、特許請求の範囲に記載されたような本発明に対する追加的な説明が提供されるように意図されている。
【発明を実施するための最良の形態】
【００３１】
参照は、本発明の好適な実施形態や添付図面に示されている実施形態において詳細になされている。可能な限り、同一の参照番号は、図面全体にわたり同一または同様の部分を言及するのに使用される。
【００３２】
まず、本発明では、説明の便宜上、記録媒体の例として、光ディスク、特に“ブルーレイディスク（ＢＤ）”を説明する。しかし、本発明の技術思想が他の記録媒体にも同様に適用されることは自明である。
【００３３】
本発明における“ストレージ（storage）”は、図１の光記録／再生装置内に備わった一種の保存手段であり、必要な情報及び利用すべきデータをユーザが任意に保存できる構成要素を意味する。特に、現在一般的に使用されるストレージとしては、“ハードディスク”、“システムメモリ”、“フラッシュメモリ”などが含まれるが、本発明が必ずしもこれらに限定されることはない。
【００３４】
特に、“ストレージ”は、記録媒体（例えば、ブルーレイディスク）と関連したデータを保存する手段として活用される。記録媒体と関連してストレージ内に保存されるデータは、一般的に外部からダウンロードされたデータを含む。
【００３５】
さらに、記録媒体から一部許容されたデータを直接読み出すか、記録媒体の記録再生と関連したシステムデータ（例えば、メタデータなど）を生成してストレージ内に保存することも可能である。
【００３６】
本発明では、説明の便宜上、記録媒体内に記録されたデータを“オリジナルデータ（original data）”と命名し、ストレージ内に保存されたデータのうち記録媒体と関連したデータを“付加データ（additional data）”と命名する。
【００３７】
本発明における“パニング（panning）”は、第１のオーディオのステレオまたはマルチチャネルサウンドフィールド内での第２のオーディオ信号またはインタラクティブオーディオのポジショニング（positioning）を意味する。第１のオーディオ、第２のオーディオ及びインタラクティブオーディオに関しては、図３を参照して後述する。
【００３８】
図１は、本発明の概念的理解を助けるための図であり、光記録／再生装置１０と周辺機器との間の統合的な使用の一例を示す図である。
【００３９】
図１に示すように、本発明に係る“光記録／再生装置”１０は、多様な規格の光ディスクを記録または再生することができる。また、光記録／再生装置１０は、特定の規格の光ディスク（例えば、ＢＤまたはＤＶＤ）を記録／再生するように設計することができる。
【００４０】
光記録／再生装置１０は、コンピュータ内でロード可能な“ドライブ”を含むことが自明である。
【００４１】
本発明の光記録／再生装置１０は、光ディスク３０を記録／再生する機能の他にも、外部入力信号を受信し、受信信号に対して信号処理を行った後、他の外部ディスプレイ２０を通してユーザに該当する画像を伝達する機能を備える。この場合、外部入力信号に対しては特別な制限がない。そして、ＤＭＢ（digital multimedia broadcast）信号及びインターネット信号などが代表的な外部入力信号になり得る。容易にアクセス可能な媒体としてのインターネットの場合、インターネット上の特定のデータが光記録／再生装置１０を介してダウンロードされて活用されることが可能である。
【００４２】
さらに、コンテンツを提供する者を、総称して“コンテンツプロバイダ（ＣＰ）”と命名する。
【００４３】
本発明において、タイトルを構成するコンテンツは、記録媒体の製作者（author）によって提供されるデータを意味する。
【００４４】
以下、オリジナルデータおよび付加データを具体的に説明する。例えば、特定のタイトルのための多重化されたＡＶストリームが、光ディスク内に記録されたオリジナルデータとして記録され、かつ、オリジナルデータのオーディオストリーム（例えば、韓国語）とは異なるオーディオストリーム（例えば、英語）がインターネット上の付加データとして提供される場合に、ユーザによっては、オリジナルデータのＡＶストリームと一緒に再生するためにインターネット上の付加データとしてのオーディオストリーム（例えば、英語）をダウンロードしようとする要求、または、付加データのみを再生するために付加データとしての上記インターネット上のオーディオストリーム（例えば、英語）をダウンロードしようとする要求が存在する。これらの要求を可能にするためには、オリジナルデータと付加データとの間の関連性を規定する必要があり、これらデータをユーザの要求によって管理／再生する体系化された方法が必要になる。
【００４５】
また、オリジナルデータのオーディオストリームと付加データのオーディオストリームを一緒に再生する場合、各ストリームをミキシングする方法及び装置が確立される必要がある。
【００４６】
説明の便宜上、ディスク内に記録された信号をオリジナルデータと命名し、ディスクの外部に存在する信号を付加データと命名したが、これは、各データを取得する方法によって区分されたものに過ぎなく、オリジナルデータと付加データが必ずしも特定のデータに限定されることはない。
【００４７】
図２は、本発明の一実施形態に係る光記録／再生装置１０のブロック図である。
【００４８】
図２に示すように、本発明の一実施形態に係る光記録／再生装置１０は、基本的に、光ディスクに記録されたオリジナルデータ及び再生管理ファイル情報を含む管理情報を再生するためのピックアップ１１と、ピックアップ１１の動作を制御するサーボ１４と、ピックアップ１１から受信される再生信号を特定の信号値に復元するか、記録される信号を光ディスクに記録可能な信号に変調して伝達する信号処理部１３と、全般的な動作を制御するマイクロプロセッサ１６とを含む。
【００４９】
ユーザ命令などによって、光ディスク以外の場所に存在する付加データが制御部１２にダウンロードされる。制御部１２は、ダウンロードされたデータをストレージ１５に保存するとともに、ストレージ１５内の付加データまたは光ディスク内のオリジナルデータをユーザの要求によって再生するようになる。
【００５０】
再生システムは、制御部１２の制御によって、データを最終的にデコードして、デコードしたデータをユーザに提供する。特に、再生システム１７は、ＡＶ信号をデコードするデコーダと、制御部１２を通して入力されるユーザ命令を解析して再生方向を決定するプレーヤーモデルとを含む。
【００５１】
また、ＡＶエンコーダ１８は、光ディスクに信号を記録する機能を行うために、制御部１２の制御によって、入力信号を特定のフォーマットの信号、例えば、ＭＰＥＧ２トランスポートストリームに変換して、変換した信号を信号処理部１３に提供する。
【００５２】
図３は、本発明に係るオーディオミキシングモデルの図である。
【００５３】
図３における‘オーディオミキシング'は、第１のオーディオストリームを第２のオーディオストリーム及び／またはインタラクティブオーディオとミキシングすることを意味する。
【００５４】
図３に示したオーディオミキシングモデルは、第１のオーディオストリーム、第２のオーディオストリーム及びインタラクティブオーディオストリームをミキシング係数によって結合する。
【００５５】
このモデルは、デコードとミキシングをそれぞれ行うために、一対のオーディオデコーダＤ１及びＤ２と、一対のオーディオミキサーＭ１及びＭ２とを含む。コンテンツプロバイダは、オーディオミキシング調整パラメータ（例えば、Ｐ１、Ｐ２及びＰ３）を用いてオーディオミキシングプロセスを調整する。
【００５６】
第１のオーディオは、メインオーディオプログラムのための高ビットレートのオーディオストリームで、第１のオーディオデコーダ（Ｄ１）に提供される。第１のオーディオは、一般的に記録媒体に含まれたムービーサウンドトラックを含む。しかし、第１のオーディオは、ネットワークからダウンロードされてストレージ１５に保存されることも可能である。必要な第１のオーディオトランスポートストリーム（ＴＳ）は、ＰＩＤフィルタ１内に、ＰＩＤ（packet identifier）にしたがってトランスポートストリームから出力され、第１のバッファ（Ｂ１）３１０ａを通して第１のオーディオデコーダ３２０ａに提供される。第２のオーディオは、第１のオーディオと同期化されてミックスされる付随的なオーディオを提供する低ビットレートのオーディオストリームである。第２のオーディオは、第１のオーディオとミックスされるように設計されたディレクターのコメンタリ（director's commentary）または付随的なオーディオストリームである場合があり、一般的に光記録／再生装置のストレージに存在する。必要な第２のオーディオトランスポートストリームは、ＰＩＤフィルタ２によって選択され、第２のバッファ（Ｂ２）３１０ｂを通して第２のオーディオデコーダ３２０ｂに提供される。
【００５７】
インタラクティブオーディオは、アプリケーションによってアクティベートされるＬＰＣＭオーディオである。インタラクティブオーディオは、第３のバッファ（Ｂ３）３１０ｃを通して第２のオーディオミキサー３３０ｂに提供され、第１のオーディオとミックスされる。第２のオーディオがオーディオ効果の一部分として提供された場合、第１のオーディオは、第２のオーディオとミックスされた後、インタラクティブオーディオとミックスされる。インタラクティブオーディオストリームは、ストレージまたは記録媒体上に存在し得る。インタラクティブオーディオストリームは、一般的にボタンサウンドなどのインタラクティブアプリケーションと関連した動的サウンドを提供するために使用される。
【００５８】
‘Ｄ１'は、第１のオーディオデコーダ３２０ａを指し示す。‘Ｄ１'は、第１のオーディオストリームをＬＰＣＭ（linear pulse code modulation）にデコードする。‘Ｄ１’（３２０ａ）は、第１のオーディオサウンドトラックに存在する全てのチャネルをデコードし、または第１のオーディオをより少ないチャネルにダウンミックスするように構成される。‘Ｄ２’は、第２のオーディオデコーダ３２０ｂを指し示す。‘Ｄ２’（３２０ｂ）は、第２のオーディオストリームをＬＰＣＭにデコードし、第２のオーディオストリームに含まれたミキシングメタデータを抽出し、抽出されたメタデータをミックスマトリックス形態に転換し、ミックスマトリックスを第１のオーディオミキサー３３０ａに伝達する。当該メタデータは、ミキシングプロセスを調整するために用いられる。第２のオーディオデコーダ３２０ｂは、第２のオーディオサウンドトラックに含まれた全てのチャネルをデコードし、または第２のオーディオビットストリーム内に含まれた第２のチャネルにダウンミックスするように構成される。第２のオーディオデコーダ３２０ｂからのデコードされた各チャネル出力は、第１のオーディオデコーダ３２０ａからの１つまたは複数のチャネル出力とミックスされうる。
【００５９】
ミックスマトリックスは、ミキシングパラメータに応答して作り出される。オーディオミキシングは、二つの利得―調整された（レベル―調整された）オーディオストリームを結合する能力である。オーディオミキシングは、ミックスマトリックスの使用を通してオーディオミキシングモデルの各オーディオミキサーにおいて調整される。ミックスマトリックスは、二つの種類の係数、すなわち、第１のストリーム（Ｍ１での‘第１のオーディオストリーム’と、Ｍ２での‘Ｍ１の出力ストリーム’）の各チャネルに適用される係数と、第２のストリーム（Ｍ１（３３０ａ）における‘第２のオーディオストリーム’と、Ｍ２（３３０ｂ）における‘インタラクティブオーディオ’）の各チャネルに適用される係数とを含む。
【００６０】
第２のオーディオストリームからのミキシングメタデータは、コンテンツプロバイダが利用可能なミキシングパラメータのソースになり得る。コマンドセットも、コンテンツプロバイダが利用可能なミキシングパラメータのソースになり得る。コマンドセットは、光記録／再生装置において実行可能なアプリケーションプログラムの機能を用いるための一種のプログラム集である。このコマンドセットによって、光記録／再生装置の機能とのインターフェースが設定され、また光記録／再生装置の多様な機能が利用可能になる。コマンドセットの代表的な例としては、ＡＰＩ（application programming interface）がある。今後、コマンドセットの一例としてＡＰＩを例に挙げて説明する。
【００６１】
コマンドセットは、記録媒体に保存されて光記録／再生装置に供給されるが、光記録／再生装置の製作時に光記録／再生装置内にロードすることもできる。
【００６２】
本発明に係るオーディオミキシングモデルは、コンテンツプロバイダにミキシング調整パラメータ（ミキシングパラメータ）を提供する。このミキシングパラメータは、第２のオーディオストリームのパニング調整に用いられるパラメータと、第１のオーディオストリームと第２のオーディオストリームのレベル調整に用いられるパラメータと、インタラクティブオーディオストリームのパニング／レベル調整に用いられるパラメータとを含む。
【００６３】
図３などの以下の詳細な説明では、‘Ｐ１’、‘Ｐ２’及び‘Ｐ３’がミキシングパラメータを指し示す。しかし、本発明は各パラメータの名称に制限されることはない。機能によって統合されまたは分離されることによって他のパラメータが存在しうることが自明である。
【００６４】
また、メタデータオン／オフＡＰＩは、第２のオーディオストリームからのオーディオミキシングメタデータの処理をオン／オフにすることができる。メタデータ調整がオン（ＯＮ）であるとき、Ｐ１ミキシングパラメータは、第１の及び第２のオーディオ両方の利得（レベル）調整と第２のオーディオストリームのパニング調整とをサポートする第２のオーディオストリームメタデータ調整を提供する。メタデータ調整がオフ（ＯＦＦ）であるとき、Ｐ１ミキシングパラメータは、第２のオーディオストリームのパニング調整を提供する。Ｐ１ミキシングパラメータは、ＡＰＩまたはＤ２（３２０ｂ）から提供される。メタデータ調整がオンであるとき、Ｐ１ミキシングパラメータはＤ２（３２０ｂ）から来る。メタデータ調整がオフであるとき、Ｐ１ミキシングパラメータはＡＰＩから来る。
【００６５】
Ｐ２ミキシングパラメータは、第１の及び第２のオーディオストリームの両方のレベル調整を提供する。メタデータ調整がオンであるとき、コマンドセット（例えば、ＡＰＩ）を用いたレベル調整はメタデータレベル調整と結合する。
【００６６】
さらに、Ｐ３ミキシングパラメータは、インタラクティブオーディオストリームのパニング及び／またはレベル調整を提供する。
【００６７】
本発明においては、コマンドセットを用いて第２のオーディオはパニングされ、第２のオーディオストリームのレベルは調整される。
【００６８】
図４は、本発明に係る第１のオーディオミキサーでのオーディオミキシングに関する図であり、第１のオーディオミキサー（Ｍ１）３３０ａは、第２のオーディオをパニングしてミキシングする。
【００６９】
図４に示すように、第１のオーディオミキサー（Ｍ１）３３０ａは、デコードされた第１のオーディオストリームと、デコードされた第２のオーディオストリームとをミックスマトリックス４０１によってミックスする。本発明に係るオーディオミキシングプロセスは、コマンドセットによって調整される。したがって、ミキシングパラメータＰ１、Ｐ２、Ｐ３のソースは、コマンドセットを有する。オーディオミキサー（Ｍ１）３３０ａは、ミキシングパラメータＰ１、Ｐ２によって調整される。
【００７０】
図３を参照すると、Ｐ１ミキシングパラメータは、メタデータオン／オフＡＰＩを用いて、第２のオーディオデコーダ３２０ｂからのメタデータとＡＰＩとの間で切り替えられる。すなわち、Ｐ１ミキシングパラメータは、ＡＰＩまたは第２のオーディオデコーダ３２０ｂから提供される。Ｐ２ミキシングパラメータは、コマンドセットから提供される。
【００７１】
Ｐ２ミキシングパラメータを通して提供されたレベル調整は、Ｐ１によって提供されたミックスマトリックス入力に適用される。したがって、メタデータ調整がオンになるとき、メタデータとコマンドセットが一緒にミキシングプロセスを調整する。
【００７２】
図４の実施形態において、第２のオーディオストリームはモノラル（mono）で、第１のオーディオミキサーＭ１は５．１チャネル出力を提供する。また、第２のオーディオメタデータはオフになっている。本発明に係る光記録／再生装置に存在するシステムソフトウェアは、パニング調整ＡＰＩとレベル調整ＡＰＩをミックスマトリックス４０１に転換し（translate）、第１のオーディオミキサー３３０ａにこのミックスマトリックス４０１を提供する。
【００７３】
第２のオーディオストリームをパニングするために、第１のオーディオとの統合（summation）に先立って、第２のオーディオストリームが５個のチャネルに転換され、それぞれの利得が各チャネルに適用される。
【００７４】
従って、ミックスマトリックス４０１によって、第２のオーディオは‘Ｇｓ１×Ｍ、Ｇｓ２×Ｍ、Ｇｓ３×Ｍ、Ｇｓ４×Ｍ、Ｇｓ５×５’（４０２）になり、第１のオーディオは‘Ｇｐ１×Ｌ、Ｇｐ２×Ｒ、Ｇｐ３×Ｃ、Ｇｐ４×ＬＦＥ、Ｇｐ５×Ｌｓ、Ｇｐ６×Ｒｓ'（４０３）になる。そして、第１のオーディオと第２のオーディオは合算される（４０４）。第１のオーディオミキサー（Ｍ１）３３０ａで合算された出力値４０４は、第２のオーディオミキサー（Ｍ２）３３０ｂに提供されてインタラクティブオーディオとミックスされる。
【００７５】
図４の実施形態において、‘Ｇｓ’は、第２のオーディオストリームの利得（gain）を意味し、‘Ｇｐ’は、第１のオーディオストリームの利得を意味する。‘Ｍ’はモノラル、‘Ｌ’は左側（left）、‘Ｒ’は右側（right）、‘Ｃ’は中央（center）、‘Ｓ’はサラウンド（surround）、‘Ｌｓ’は左側サラウンド、‘Ｒｓ’は右側サラウンド、‘ＬＦＥ’は低周波効果（low frequency effects）チャネルを意味する。
【００７６】
さらに、ミックスマトリックス４０１は、Ｐ１及びＰ２ミキシングパラメータによって調整される。Ｐ１とＰ２の両方は、第１のオーディオミキサー（Ｍ１）３３０ａを順に調整するミックスマトリックス４０１を同時に命令する（dictate）。
【００７７】
図５は、本発明の一実施形態係る第２のオーディオミキサーのオーディオミキシングに関する図である。第２のオーディオミキサー（Ｍ２）３３０ｂは、インタラクティブオーディオをパニングし、パニングされたインタラクティブオーディオと第１のオーディオミキサー（Ｍ１）３３０ａからの出力ストリームとを結合するミキシングプロセスを行う。
【００７８】
図５において、インタラクティブオーディオはモノラルである。第２のオーディオミキサー（Ｍ２）３３０ｂは、第１のオーディオミキサー（Ｍ１）３３０ａの出力ストリームとインタラクティブオーディオをミックスマトリックス５０１によってミックスする。
【００７９】
本発明において、インタラクティブオーディオのミキシングは、ミキシングメタデータを使用することによって行われる。ミキシングメタデータは、記録媒体に保存されてオーディオミキサーに提供されるか、または記録媒体の外部ソースからストレージ１５にインタラクティブオーディオデータと一緒にダウンロードされうる。ミックスマトリックス５０１は、光記録再生装置によってＡＰＩまたはミキシングメタデータから生成されうる。
【００８０】
ＡＰＩ及び／またはミキシングメタデータは、インタラクティブオーディオのパニング調整及び／またはレベル調整を行う。そして、パニング調整及び／またはレベル調整されたインタラクティブオーディオ５０２は、オーディオミキサー（Ｍ１）３３０ａの出力ストリーム４０４と合わされて出力される（５０３）。
【００８１】
図４及び図５に対する詳細な説明では、第２のオーディオとインタラクティブオーディオがモノラルである場合を例に挙げたが、第２のオーディオとインタラクティブオーディオがステレオまたはマルチチャネルストリームであることは自明である。
【００８２】
第２のオーディオとインタラクティブオーディオがステレオまたはマルチチャネルである場合、第２のオーディオとインタラクティブオーディオはパニングなしにレベル調整のみによって第１のオーディオとミックスされうる。ただし、一層豊富なサウンドのために、オーディオストリームに含まれた各チャネル別にパニングした後でレベル（利得）を調整することができる。
【００８３】
第２のオーディオとインタラクティブオーディオがマルチチャネルである場合、本発明に係るミキシングプロセスにおいて使用されるコマンドセットは、第２のオーディオとインタラクティブオーディオの各チャネルによって定義される。例えば、第２のオーディオが‘Ｌ’チャネルと‘Ｒ’チャネルを含んでいる場合、‘Ｌ’チャネルに対するパニング及び／またはレベル調整コマンドセットが定義され、‘Ｒ’チャネルに対するパニング及び／またはレベル調整コマンドセットが別個に定義される。
【００８４】
図６は、本発明の一実施形態に係るオーディオミキサーのブロック図である。
【００８５】
図６によると、本発明の一実施形態に係るオーディオミキサーは、２つのミキシングブロックを含む５．１チャネルミキサーである。
【００８６】
第１のミキシングブロック、すなわち、第１のオーディオミキサー（Ｍ１）３３０ａは、第２のオーディオストリームに含まれたミキシングメタデータ及び／またはコマンドセットにしたがって第１のオーディオストリームと第２のオーディオストリームとをミックスする。
【００８７】
そして、第２のミキシングブロック、すなわち、第２のオーディオミキサー（Ｍ２）３３０ｂは、第１のオーディオミキサー（Ｍ１）３３０ａの出力をインタラクティブオーディオとミックスする。第２のオーディオミキサー（Ｍ２）３３０ｂのミキシングプロセスは、ミキシングメタデータ及び／またはコマンドセットによって制御される。
【００８８】
第２のオーディオストリームに含まれた利得及びパンデータは、オーディオサンプリング速度（rate）より遥かに低い速度で周期的にミキサーに供給される。聞き取り可能な人工音（例えば、フェードまたはパニングの間のジッパーノイズ、または、隣接したオーディオサンプルの間での突然の利得変化によるクリックサウンドなど）を発生させないために、ミキシングメタデータを通して伝達される利得値は、コントロールスムーザー６１０ａ、６１０ｂ、６１０ｃを通してオーディオサンプリング速度まで滑らかにされる。
【００８９】
デコードされた第２のオーディオストリームは、ミキシングＡＰＩ及び／または‘Ｇａｉｎ／Ｐａｎ  ＬＵＴ（Look Up Table）’が転換されたミックスマトリックスによってパニングされる。パニングされた第２のオーディオストリームの出力レベルは、調整されて第１のオーディオストリームと合わせられる。この場合において、第１のオーディオストリームは、ミックスマトリックスによって出力レベルが調整された、デコードされたデータである。
【００９０】
第１のオーディオミキサー（Ｍ１）３３０ａの出力値は、第２のオーディオミキサー（Ｍ２）３３０ｂに提供されてインタラクティブオーディオと合わされる。インタラクティブオーディオは、第１のオーディオミキサー（Ｍ１）３３０ａの出力値と合わされる前に、ミキシングＡＰＩ及び／またはメタデータから生成されたミックスマトリックスによってパニングされた後、その出力レベルが調整される。第２のオーディオミキサー（Ｍ２）３３０ｂのミキシング結果は、そのまま又はダウンミックスされてユーザに提供される。
【００９１】
第１のオーディオストリームと第２のオーディオストリームとのミキシングは、予め定められた時間に起きて、ディスク製作過程の間に生成される予め定められたミキシングパラメータによって制御される。
【００９２】
このようなミキシングパラメータの正確な使用によって、第１のオーディオストリームと第２のオーディオストリームとのミキシングは、オーディオミキサーのオーバーロードを誘発させないようにすることができる。しかし、第２のオーディオミキサー（Ｍ２）３３０ｂでのインタラクティブオーディオの付加は、予め定められた時間に起こらない。したがって、第２のオーディオミキサー（Ｍ２）３３０ｂの出力がオーバーロードされる可能性がある。これを防止するために、ピーク制限／オーバーロード防止６２０がオーディオミキサーの出力値に適用される。
【００９３】
図７は、本発明の一実施形態に係るオーディオミキシング方法のフローチャートであり、図８は、本発明の他の実施形態に係るオーディオミキシング方法のフローチャートである。図７及び図８では、コマンドセットを用いてオーディオミキシングを調整する。図７の実施形態ではパニング調整と出力レベル調整を行う反面、図８の実施形態では出力レベルのみが調整される点に差がある。
【００９４】
図７を参照すると、記録媒体及び／またはストレージから提供されたトランスポートストリームのクリップのＡＶストリームがオーディオミキシングモデルに提供される。必要なトランスポートストリームは、ＰＩＤフィルタを経てＰＩＤによって選別されてオーディオデコーダに提供される。
【００９５】
第１のオーディオデコーダ３２０ａと第２のオーディオデコーダ３２０ｂで、第１のオーディオストリームと第２のオーディオストリームがそれぞれデコードされる（Ｓ７１０）。
【００９６】
第２のオーディオストリームは、第１のオーディオミキサー３３０ａでパニングされ、そのレベル（利得）が調整される（Ｓ７２０）。パニングとレベルの調整は、第２のオーディオストリームに含まれたチャネル別に定義されたコマンドセット、例えば、ＡＰＩ（application programming interface）を用いることによって行われる。第２のオーディオは、モノラルまたはマルチ―チャネルになり得る。
【００９７】
さらに、パニングとレベルの調整は、第２のオーディオストリーム内に含まれたチャネルによってそれぞれ定義されたミックスメタデータを用いることで行われる。
【００９８】
パニングされてレベルが調整された第２のオーディオストリームは、第１のオーディオミキサー３３０ａにおいて第１のオーディオストリームとミックスされる（Ｓ７３０）。図４を参照して説明したように、第２のオーディオストリームと合わされる前にミックスマトリックスによって第１のオーディオストリームの出力レベルが調整される。
【００９９】
第１のオーディオミキサー３３０ａでの出力値は、第２のオーディオミキサー３３０ｂに提供される。第２のオーディオミキサー３３０ｂでは、各チャネルによって定義されたコマンドセットを用いて、インタラクティブオーディオがパニングされてインタラクティブオーディオのレベル（利得）が調整される（Ｓ７４０）。パニングされてレベルが調整されたインタラクティブオーディオは、第１のオーディオミキサー３３０ａでの出力値とミックスされてユーザに提供される（Ｓ７５０）。インタラクティブオーディオは、モノラルまたはマルチ―チャネルになり得る。
【０１００】
第２のオーディオストリームが提供されない場合、第１のオーディオミキサー３３０ａでの出力値は、第１のオーディオストリームのレベルが調整された値になる。結局、第２のオーディオストリームが提供されない場合、インタラクティブオーディオは、レベルが調整された第１のオーディオストリームとミックスされる。これと同様に、第２のオーディオが提供され、インタラクティブオーディオが提供されない場合、第１のオーディオと第２のオーディオとのミキシング結果がユーザに提供される。
【０１０１】
図８は、本発明の他の実施形態に係るオーディオミキシング方法のフローチャートである。
【０１０２】
図８でも、図７と同様に、オーディオミキシングプロセスにおいて、第２のオーディオストリームに含まれた各チャネルによって定義されたコマンドセットが用いられる。ただし、図８の実施形態は、第２のオーディオ及び／またはインタラクティブオーディオがマルチチャネルである場合、パニングを行わずに利得調整のみを行う点で図７の実施形態と差がある。
【０１０３】
まず、図７の実施形態と同様に、第１のオーディオストリームと第２のオーディオストリームがデコードされてオーディオミキサーに提供される（Ｓ８１０）。
【０１０４】
ただし、第２のオーディオが複数のチャネルを含む場合、第１のオーディオミキサー３３０ａは、第２のオーディオの出力レベルを調整する（Ｓ８２０）。その後、第１のオーディオミキサー３３０ａは、第１のオーディオと第２のオーディオとをミックスする（Ｓ８３０）。すなわち、マルチ―チャネルの第２のオーディオは、ミキシングプロセスでパニングされない。第１のオーディオミキサー３３０ａの出力値は、第２のオーディオミキサー３３０ｂに提供されてインタラクティブオーディオとミキシングされる。
【０１０５】
インタラクティブオーディオがマルチチャネルである場合、インタラクティブオーディオに含まれた各チャネルによって定義されたコマンドセットを使用することで、インタラクティブオーディオのレベルが調整される（Ｓ８４０）。そして、調整されたインタラクティブオーディオは、ミックスされた第１のオーディオミキサー３３０ａの出力値と合わされる（Ｓ８５０）。すなわち、図８の実施形態において、マルチ―チャネルインタラクティブオーディオは、ミキシングプロセスでパニングされない。
【０１０６】
さらに、本発明は、インタラクティブオーディオのミキシングのためにメタデータが用いられるので、図７及び図８の実施形態において、パニングと出力レベル調整にメタデータが用いられることも可能である。特に、メタデータは、コマンドセットと一緒にまたはコマンドセットなしにミックスマトリックス５０１に転換され、インタラクティブオーディオの出力レベル（利得）及び／またはパニング調整に用いられる。
【０１０７】
したがって、本発明は、外部入力信号及び／または高密度の記録媒体から提供された多様なオーディオストリームが動的にミックスされることで、コンテンツプロバイダによって提供されるコンテンツのバリエーションによってユーザに一層多様なサウンドを提供する。
【０１０８】
本発明をその技術的思想及び範囲から逸脱しない範囲で多様に修正及び変形可能であることは、当業者にとって明白である。したがって、添付された特許請求の範囲及びこれと同等な範囲の修正及び変形であれば、本発明の範囲に属するものと見なされる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の概念的理解を助けるための図である。
【図２】本発明に係る光記録／再生装置のブロック図である。
【図３】本発明に係るオーディオミキシングモデルの図である。
【図４】本発明に係る第１のオーディオミキサーでのオーディオミキシングに関する図である。
【図５】本発明に係る第２のオーディオミキサーでのオーディオミキシングに関する図である。
【図６】本発明の一実施形態に係るミキサーのブロック図である。
【図７】本発明の一実施形態に係るオーディオミキシング方法のフローチャートである。
【図８】本発明の他の実施形態に係るオーディオミキシング方法のフローチャートである。
【図１】
2008547142.tif 000003
【図２】
2008547142.tif 000004
【図３】
2008547142.tif 000005
【図４】
2008547142.tif 000006
【図５】
2008547142.tif 000007
【図６】
2008547142.tif 000008
【図７】
2008547142.tif 000009
【図８】
2008547142.tif 000010
【国際調査報告】
2008547142.tif 000011
2008547142.tif 000012