(57)【要約】【課題】  音場制御ファクタの内蔵方法及びそれに適した音場処理方法を提供する。【解決手段】  音源の音響学的特性を表す音場ファクタ、音源が録音された環境を表す音場情報をコード化して二進データ状の音場制御ファクタを得る過程と、非圧縮音源に音場制御ファクタをウォータマーキングする過程とを含む。これにより、音源の特性を表す音場制御ファクタを、デジタルウォータマーキング技術を利用して音源自体に符号化させるので、ユーザが音場制御ファクタを一々指定する必要がなくなり、圧縮音源のフォーマット変換、伝送によるヘッダの損傷に関係なく、音場制御ファクタを信頼性あるように伝送できる。【選択図】      図３
2006085164.tif 000002
【特許請求の範囲】
【請求項１】
音源に音場制御ファクタを内蔵する方法において、
音源の音響学的特性を表す音場ファクタ、音源が録音された環境を表す音場情報をコード化して、音源のための二進データ状の音場制御ファクタを得る過程と、
前記音場制御ファクタを、前記音源を圧縮せずに前記音源にウォータマーキングする過程とを含む音場制御ファクタの内蔵方法。
【請求項２】
前記音場制御ファクタを前記音源にウォータマーキングする過程は、時間拡散エコー符号化を行うことを特徴とする請求項１に記載の音場制御ファクタの内蔵方法。
【請求項３】
前記音場制御ファクタは、少なくとも遅延時間あるいは仮想ノイズ系列を使用して符号化されることを特徴とする請求項２に記載の音場制御ファクタの内蔵方法。
【請求項４】
前記非圧縮音源を複数のフレーム単位に分割する過程をさらに備え、
前記音場制御ファクタを前記音源にウォータマーキングする過程は、フレーム単位で前記音場制御ファクタを符号化することを特徴とする請求項１に記載の音場制御ファクタの内蔵方法。
【請求項５】
前記非圧縮音源を複数のフレームに分割する過程は、音場制御ファクタに含まれる音場制御ファクタあるいは音場情報が顕著に変わる所を基準としてフレーム分割を開始する過程を含むことを特徴とする請求項４に記載の音場制御ファクタの内蔵方法。
【請求項６】
前記音源は、連続的であることを特徴とする請求項１に記載の音場制御ファクタの内蔵方法。
【請求項７】
非圧縮状態のウォータマークされた音源を音響プロセッサに伝送する過程をさらに備えることを特徴とする請求項１に記載の音場制御ファクタの内蔵方法。
【請求項８】
ウォータマークされた音場制御ファクタを有する音源を流入する過程と、
前記音源からウォータマークされた音場制御ファクタを復号化する過程と、
前記復号化された音場制御ファクタを参照して前記音源に対する音場処理を行う過程とを含む音場処理方法。
【請求項９】
前記音場制御ファクタそれぞれは、音源の音響学的特性を表す音場ファクタ、音源が録音された環境を表す音場情報を含み、
前記音場制御ファクタとそれに相応する音場ファクタ及び音場情報を有する音場制御ファクタデータベースを参照して、復号化された音場制御ファクタに相応する音場ファクタ及び音場情報を提供する過程と、
前記復号化された音場制御ファクタによって獲得された前記音源が録音された環境を再現する過程とをさらに含むことを特徴とする請求項８に記載の音場処理方法。
【請求項１０】
ユーザから音場ファクタ及び音場情報を入力する過程をさらに含むことを特徴とする請求項９に記載の音場処理方法。
【請求項１１】
サウンド信号を符号化し、非圧縮状態のサウンド信号の少なくとも一つのサウンド信号の音場に関する情報を内蔵する過程と、
前記サウンド信号及び前記サウンド信号の少なくとも一つの音場に関する内蔵されたサウンド情報を処理する過程とを含むサウンド処理方法。
【請求項１２】
少なくとも一つの音場に関する前記サウンド情報は、音場ファクタ、音場モード、プログラムジャンル、そしてプログラムシーンのうち一つあるいは多数を含むことを特徴とする請求項１１に記載のサウンド処理方法。
【請求項１３】
前記音場ファクタは、前記サウンド信号から直接的に抽出され、そして前記音場モード、前記プログラムジャンル、そして前記プログラムシーンは、前記サウンド信号が録音される時にユーザによって指定されることを特徴とする請求項１２に記載のサウンド処理方法。
【請求項１４】
前記音場ファクタは、残響時間、明瞭度、そして初期反射パターンのうち一つあるいは多数を含むことを特徴とする請求項１２に記載のサウンド処理方法。
【請求項１５】
前記音場モードは、前記サウンド信号が録音された位置の特性を表すことを特徴とする請求項１２に記載のサウンド処理方法。
【請求項１６】
前記サウンド信号の符号と前記サウンド信号のうち少なくとも一つの音場に関する前記サウンド情報を内蔵する過程は、前記サウンド信号を複数のフレームに分割する過程と、前記フレームそれぞれに相応するサウンド情報を内蔵する過程とを含むことを特徴とする請求項１１に記載のサウンド処理方法。
【請求項１７】
前記複数のフレームは、前記サウンド信号の少なくとも一つの音場に関するサウンド情報が変化する前記サウンド信号の位置によって分割されることを特徴とする請求項１６に記載のサウンド処理方法。
【請求項１８】
前記サウンド信号は、サウンド信号Ｓ（ｎ）と時間拡散エコー法のカーネル関数Ｋ（ｎ）との間の線形コンボリューションによって行われるウォータマーキング方法を利用して内蔵されることを特徴とする請求項１１に記載のサウンド処理方法。
【請求項１９】
前記カーネル関数Ｋ（ｎ）は、
【数１】
2006085164.tif 000008
と規定され、
ここで、δ（ｎ）は、ｄｉｒａｃ−ｄｅｌｔａ関数、ｐ（ｎ）は、ＰＮ（Ｐｓｅｕｄｏ−Ｎｏｉｓｅ）系列、αは、振幅、Δは、時間遅延であることを特徴とする請求項１８に記載のサウンド処理方法。
【請求項２０】
前記ｐ（ｎ）は、前記サウンド信号から前記サウンド信号の少なくとも一つの音場に関する内蔵されたサウンド情報を抽出するための公開キーあるいは秘密キーのうち一つであることを特徴とする請求項１９に記載のサウンド処理方法。
【請求項２１】
前記サウンド信号と前記サウンド信号のうち少なくとも一つの音場に関する前記内蔵されたサウンド情報を処理する過程は、
前記サウンド信号の少なくとも次の数式によって、一つの音場に関する前記内蔵されたサウンド情報を復号する過程を含み、
【数２】
2006085164.tif 000009
ここで、Ｆ［］とＦ−１［］とは、それぞれフーリエ変換と逆変換とを表し、ｌｏｇ［］は、対数関数、
（外１）
2006085164.tif 000010
は、相互相関関数、そしてＬｐｎは、仮想ノイズ系列であることを特徴とする請求項１１に記載のサウンド処理方法。
【請求項２２】
前記サウンド信号を符号化し、前記サウンド信号の少なくとも一つの音場に関する前記サウンド情報を内蔵する過程は、
少なくとも一つの音場に関するサウンド情報を、データベースに保存された一つあるいは複数の音場制御ファクタにマッピングする過程と、
前記サウンド信号と前記サウンド信号の少なくとも一つの音場に関する前記サウンド情報に相応する前記一つあるいは複数の音場制御ファクタを符号化する過程とを含むことを特徴とする請求項１１に記載のサウンド処理方法。
【請求項２３】
前記サウンド信号と前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報を処理する過程は、サウンド信号及び内蔵された相応するサウンド情報を含む前記サウンド信号の複数のフレームを独立的に復号することによって、前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報を復号する過程を含むことを特徴とする請求項１１に記載のサウンド処理方法。
【請求項２４】
前記サウンド信号及び前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報を処理する過程は、現在フレームの音場制御ファクタによる前記サウンド信号の現在フレームに相応するサウンド情報及び以前フレームの音場制御ファクタを処理する過程を含むことを特徴とする請求項２３に記載のサウンド処理方法。
【請求項２５】
前記サウンド信号と前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報を処理する過程は、前記内蔵された相応するサウンド情報によって前記複数のフレームのうち隣接したフレーム間の中間処理を行う過程を含むことを特徴とする請求項２３に記載のサウンド処理方法。
【請求項２６】
前記中間処理過程は、フェードイン処理及びフェードアウト処理のうち一つまたは多数を含むことを特徴とする請求項２５に記載のサウンド処理方法。
【請求項２７】
前記中間処理過程は、隣接するフレーム間の音場の変化に該当することを特徴とする請求項２４に記載のサウンド処理方法。
【請求項２８】
前記サウンド信号で前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報は、サウンド信号にデジタル的にウォータマーキングされたことを特徴とする請求項１１に記載のサウンド処理方法。
【請求項２９】
前記サウンド信号及び前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報は、前記サウンド信号がサウンドプロセッサによって受信される時にリアルタイムで発生することを特徴とする請求項１１に記載のサウンド処理方法。
【請求項３０】
音源が録音される時、前記音源のサウンド特性に関するデジタル情報を前記音源のサウンド内容の間に保存する過程と、
前記音源をサウンドプロセッサに伝送する過程とを含む音源のサウンド特性に関する情報を伝送するサウンド特性情報の伝送方法。
【請求項３１】
前記サウンド特性に関する前記デジタル情報は、前記音源の前記サウンド内容にウォータマーキングされ、前記サウンド内容は、非圧縮された形態で伝送されることを特徴とする請求項３０に記載のサウンド特性情報の伝送方法。
【請求項３２】
音源が録音される時、前記音源のサウンド特性に関するデジタル情報を前記音源のサウンド内容の間に保存する過程は、音場において、認識された変化によって前記サウンド内容を複数のサウンドフレームに分割する過程、そして前記それぞれのサウンドフレームに関する前記デジタル情報を前記複数のサウンドフレームの間に保存する過程を含むことを特徴とする請求項３１に記載のサウンド特性情報の伝送方法。
【請求項３３】
前記音源を伝送され、前記複数のサウンドフレームと前記それぞれのサウンドフレームとに関する前記保存されたデジタル情報をリアルタイムで処理する過程を含むことを特徴とする請求項３２に記載のサウンド特性情報の伝送方法。
【請求項３４】
音場制御情報を音源に内蔵させる装置において、
音源の音響学的特性を表す音場ファクタ、音源が録音された環境を表す音場情報を、前記音源のための前記音場制御ファクタと二進データ形態に相関付ける音場制御ファクタデータベースと、
前記音場制御ファクタを非圧縮状態の前記音源にウォータマーキングするウォータマーク符号化器とを備える音場制御情報内蔵装置。
【請求項３５】
前記ウォータマーク符号化器は、時間拡散エコー符号化を行うことを特徴とする請求項３４に記載の音場制御情報内蔵装置。
【請求項３６】
前記音場制御ファクタは、少なくとも遅延時間と仮想ノイズ系列のうち一つを使用して符号化されることを特徴とする請求項３５に記載の音場制御情報内蔵装置。
【請求項３７】
前記ウォータマーク符号化器は、前記非圧縮された音源を複数のフレームに分割し、前記音場制御ファクタをフレーム単位で符号化することによって、前記音場制御ファクタを前記音源にウォータマーキングすることを特徴とする請求項３５に記載の音場制御情報内蔵装置。
【請求項３８】
前記ウォータマークエンコーダは、音場情報あるいは前記音場制御ファクタに含まれた音場制御ファクタが重大に変化する位置を基準としてフレーム分割を初期化することによって、前記非圧縮された音源を複数のフレームに分割することを特徴とする請求項３７に記載の音場制御情報内蔵装置。
【請求項３９】
ウォータマークされた音場制御ファクタを有する音源を受信して前記音源から前記ウォータマークされた音場制御ファクタを復号するデコーダと、
前記復号された音場制御ファクタに基づいて前記音源の音場を処理するサウンドプロセッサとを備える音場処理装置。
【請求項４０】
前記音場制御ファクタそれぞれは、前記音源の音響学的特性を表す音場ファクタ及び前記音源が獲得された環境を表す音場情報で構成され、
前記サウンドプロセッサは、音場制御ファクタ及び相応する音場ファクタを有する音場制御ファクタデータベースに基づいて復号された音場制御ファクタ及び音場情報を提供し、前記復号された音場制御ファクタによって前記音源が獲得された環境を再現することを特徴とする請求項３９に記載の音場処理装置。
【請求項４１】
前記サウンドプロセッサは、ユーザから前記音場ファクタ及び前記音場情報を入力受けることを特徴とする請求項４０に記載の音場処理装置。
【請求項４２】
非圧縮状態のサウンド信号の少なくとも一つのサウンド信号の音場に関するサウンド情報を内蔵させる符号化器と、
前記サウンド信号及び前記サウンド信号の少なくとも一つの音場情報に関する前記内蔵されたサウンド情報を処理するサウンドプロセッサとを備えるサウンド処理装置。
【請求項４３】
前記少なくとも一つの音場に関連した前記サウンド情報は、音場ファクタ、音場モード、プログラムジャンル、そしてプログラムシーンのうち一つあるいは多数を含むことを特徴とする請求項４２に記載のサウンド処理装置。
【請求項４４】
前記音場ファクタは、前記サウンド信号から直接的に抽出され、前記音場モード、前記プログラムジャンル、そして前記プログラムシーンは、前記サウンド信号が録音される時にユーザによって指定されるものであることを特徴とする請求項４３に記載のサウンド処理装置。
【請求項４５】
前記音場制御ファクタは、残響時間、明瞭度、そして初期反射パターンのうち一つあるいは多数を含むことを特徴とする請求項４３に記載のサウンド処理装置。
【請求項４６】
前記音場モードは、前記サウンド信号が録音された位置の特性を表すことを特徴とする請求項４３に記載のサウンド処理装置。
【請求項４７】
前記符号化器は、前記サウンド信号を符号化し、
前記サウンド信号を複数のフレームに分割し、相応するサウンド情報を複数のフレームそれぞれに内蔵することによって、前記サウンド信号の少なくとも一つの音場に関する前記サウンド情報を内蔵させることを特徴とする請求項４２に記載のサウンド処理装置。
【請求項４８】
前記複数のフレームは、前記サウンド信号で前記サウンド信号の少なくとも一つの音場に関連したサウンド情報が変わる所によって区分されることを特徴とする請求項４７に記載のサウンド処理装置。
【請求項４９】
前記サウンド信号は、サウンド信号Ｓ（ｎ）と時間拡散エコー法のカーネル関数Ｋ（ｎ）との間の線形コンボリューションによるエンコーダによって行われるウォータマーク方法を使用して内蔵されることを特徴とする請求項４２に記載のサウンド処理装置。
【請求項５０】
【数３】
2006085164.tif 000011
と規定され、
ここで、δ（ｎ）は、ｄｉｒａｃ−ｄｅｌｔａ関数、ｐ（ｎ）は、仮想ノイズ系列、αは、振幅、Δは、時間遅延であることを特徴とする請求項４９に記載のサウンド処理装置。
【請求項５１】
前記ｐ（ｎ）は、前記サウンド信号から前記サウンド信号の少なくとも一つの音場に関する内蔵されたサウンド情報を抽出するための公開キーあるいは秘密キーのうち一つであることを特徴とする請求項５０に記載のサウンド処理装置。
【請求項５２】
前記サウンドプロセッサは、前記サウンド信号と前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報を次の数式によって復号し、
【数４】
2006085164.tif 000012
ここで、Ｆ［］とＦ−１［］とは、それぞれフーリエ変換と逆変換とを表し、ｌｏｇ［］は、対数関数、
（外２）
2006085164.tif 000013
は相互相関関数、そしてＬｐｎは、ＰＮ系列であることを特徴とする請求項４２に記載のサウンド処理装置。
【請求項５３】
前記符号化器は、サウンド信号を符号化し、少なくとも一つの音場に関するサウンド情報をデータベースに保存された一つあるいは複数の音場制御ファクタにマッピングする過程と、前記サウンド信号及び前記サウンド信号の少なくとも一つの音場に関する前記サウンド情報に相応する前記一つあるいは複数の音場制御ファクタと符号化する過程とによって、前記サウンド信号の少なくとも一つの音場に関する前記サウンド情報を内蔵することを特徴とする請求項４２に記載のサウンド処理装置。
【請求項５４】
前記サウンドプロセッサは、内蔵された相応するサウンド情報を含む前記サウンド信号の複数のフレームを独立的に復号することによって、前記サウンド信号及び前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報を復号することを特徴とする請求項４２に記載のサウンド処理装置。
【請求項５５】
前記サウンドプロセッサは、現在フレームの音場制御ファクタによる前記サウンド信号の現在フレームに相応するサウンド情報及び以前フレームの音場制御ファクタを処理することを特徴とする請求項５４に記載のサウンド処理装置。
【請求項５６】
前記サウンドプロセッサは、前記内蔵された相応するサウンド情報によって前記複数のフレームのうち隣接したフレーム間の中間処理を行うことを特徴とする請求項５４に記載のサウンド処理装置。
【請求項５７】
前記中間処理過程は、フェードイン処理及びフェードアウト処理のうち一つあるいは多数を含むことを特徴とする請求項５６に記載のサウンド処理装置。
【請求項５８】
前記中間処理過程は、隣接するフレーム間の音場の変化に該当することを特徴とする請求項５６に記載のサウンド処理装置。
【請求項５９】
前記サウンド信号で前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報は、サウンド信号にデジタル的にウォータマーキングされたことを特徴とする請求項５２に記載のサウンド処理装置。
【請求項６０】
前記サウンドプロセッサは、前記サウンド信号がサウンドプロセスによって受信される時、前記サウンド信号及び前記サウンド信号の少なくとも一つの音場に関する前記内蔵されたサウンド情報をリアルタイムで処理することを特徴とする請求項４２に記載のサウンド処理装置。
【請求項６１】
音源が録音される時、音源のサウンド特性に関するデジタル情報を前記音源のサウンド内容の間に保存し、前記音源をサウンドプロセッサに伝送する符号化器を備えるサウンド特性情報の伝送装置。
【請求項６２】
前記サウンド特徴に関する前記デジタル情報は、前記音源の前記サウンド内容にウォータマーキングされ、前記サウンド内容は、非圧縮された形態で伝送されることを特徴とする請求項６１に記載のサウンド特性情報の伝送装置。
【請求項６３】
前記符号化器は、音源が録音される時、音場において、認識された変化によって前記サウンド内容を複数のサウンドフレームに分割し、そして前記それぞれのサウンドフレームに関する前記デジタル情報を前記複数のサウンドフレームの間に保存することによって、前記音源のサウンド特性に関するデジタル情報を前記音源のサウンド内容の間に保存することを特徴とする請求項６２に記載のサウンド特性情報の伝送装置。
【請求項６４】
前記音源を伝送され、前記複数のサウンドフレームと前記それぞれのサウンドフレームとに関する前記保存されたデジタル情報をリアルタイムで処理するサウンドプロセッサをさらに備えることを特徴とする請求項６３に記載のサウンド特性情報の伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音場制御方法に係り、さらに詳細には、音源に音場ファクタ及び音場情報を内蔵する方法及びそれに適した音場ファクタ及び音場情報処理方法に関する。
【背景技術】
【０００２】
従来において、音場処理のための音場情報を伝達することは、ユーザが直接音場情報を指定することを要求する。しかも、音場情報は、圧縮音源を有するパケットのヘッダに含まれる。音場情報は、音源自体から抽出されることもある。
【０００３】
ユーザは、音場処理プロセッサを備えるオーディオ機器の入力装置を通じて音場情報を指定する。このような従来の方法は、音源の特性によって、ユーザが音場情報を指定せねばならないという短所がある。このような短所を改善するために、メディア及びそれに収録されたオーディオトラックに関する情報と既入力の音場情報とをマッチングさせる方法が開示されている。
【０００４】
図１は、従来の音場制御方法を示すフローチャートである。図１は、特許文献１に開示された。
【０００５】
従来の音場制御方法は、ＣＤ（コンパクトディスク）の固有番号またはトラックについての音場情報を設定及び保存する過程（Ｓ２１）、現在再生されるＣＤの固有番号及びトラック情報を入力する過程（Ｓ２３）、既保存の音場情報が保存されているか否かを判断する過程（Ｓ２４）、該ＣＤ及びトラックについての音場情報が既保存のものである場合には、それにより音場制御を行う過程（Ｓ２５）、該ＣＤ及びトラックについての音場情報が保存されていない場合には、ユーザによって選択された音場情報を保存する過程（Ｓ２６）、そして、ユーザによって選択された音場情報に基づいて音場制御を行う過程（Ｓ２７）を含む。
【０００６】
図１に示したような従来の音場制御方法によれば、ＣＤに適用されるものとして、音場は、ＣＤが最初に再生される時に保存された音場情報に基づいて制御される。他の一方、音場情報は、あらかじめ保存されうる。このような場合、音場は、ＣＤあるいはトラックが再生される時に保存された音場情報によって制御される。
【０００７】
しかし、図１に示したような音場制御方法は、少なくとも一回は、ユーザが音場情報を設定することを要求する。しかも、トラックの一部分においても、音場特性の変化がありうるにも拘わらず、音場情報は、トラック全体にわたる平均的な音場特性についてしか設定されない。したがって、このような方法は、曲、ムービータイトルのような区分的な音源を有するメディアには適用されるが、ドラマ、映画のような連続的な音源を有するメディアには適用されないという問題点がある。
【０００８】
さらに、ＭＰＥＧ圧縮方法によって圧縮された圧縮音源のように音場情報がオーディオパケットのヘッダに挿入される場合、音場情報は、フォーマット変換、伝送のような変形によって、ヘッダが損傷される場合、いつでも損傷される恐れがあるという問題がある。
【０００９】
また、音場情報が音源自体から能動的に抽出される場合、正確性が保証されず、リアルタイム処理がなされず、また、ほとんどのメディアにおいて、音場特性の変化が激しいという問題点がある。したがって、このような方法は具現し難い。
【特許文献１】韓国特許公開１９９８−０３１３３号明細書（１９９８.７.２５）
【特許文献２】日本特開２００１−４５４４８号公報
【特許文献３】日本特開平１１−３１３２９２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする目的は、非圧縮音源に該音源の音場特性を表す音場制御ファクタ及びプログラムのシーン、プログラムのジャンル、音場モードを表す音場情報を、圧縮されていない音源に内蔵する方法を提供することである。
【００１１】
本発明が解決しようとする他の目的は、前記音場制御ファクタの内蔵方法に適した音場処理方法を提供することである。
【００１２】
本発明が解決しようとするさらに他の目的は、部分的には次の説明を通じて開示され、部分的には説明から明らかになるか、あるいは発明の実施によって知られる。
【課題を解決するための手段】
【００１３】
本発明の目的を達成するための本発明による音場制御ファクタの内蔵方法は、音源の音響学的特性を表す音場ファクタ、音源が録音された環境を表す音場情報をコード化して、音源のための二進データ状の音場制御ファクタを得る過程と、前記音場制御ファクタを前記音源を圧縮せず、前記音源にウォータマーキングする過程とを含むことを特徴とする。
【００１４】
ここで、音場制御ファクタとは、音場ファクタ及び音場情報を称し、ウォータマークの内蔵方法によって非圧縮音源に内蔵される。また、非圧縮音源は、一定単位のフレームに分割され、音場制御ファクタは、各フレームごとに含まれる。また、フレームの分割は、音場特性の変化が重大な所を基準として行われる。
【００１５】
音源の特性を表す音場制御ファクタは、デジタルウォータマーキング技術を利用して音源自体に符号化される。したがって、ユーザが音場制御ファクタを一々指定する必要はない。また、音場制御ファクタは、圧縮音源のフォーマット変換、伝送によるヘッダの損傷に関係なく信頼性あるように伝送される。
【００１６】
前記他の目的を達成する本発明による音場処理方法は、ウォータマークされた音場制御ファクタを有する音源を流入する過程と、前記音源からウォータマークされた音場制御ファクタを復号化する過程と、前記復号化された音場制御ファクタを参照して前記音源に対する音場処理を行う過程と、を含むことを特徴とする。
【００１７】
現在フレームの音場制御ファクタと次のフレームの音場制御ファクタとを参照して、フェードイン、フェードアウトなどの中間処理が行われる。したがって、現場感のある音場処理が行われる。
【発明の効果】
【００１８】
本発明による音場制御ファクタの内蔵方法によれば、非圧縮音源自体に、音源の特性を表す音場制御ファクタをデジタルウォータマーキング技術を利用して、音質の劣化なしに付加し、音源再生時、この音場制御ファクタを抽出して使用させることによって、音源の特性を生かした音場処理がなされうる。
【発明を実施するための最良の形態】
【００１９】
本発明のこれら及び他の特徴、そして長所は、添付された図面を参照する次の実施形態の説明によって明白になり、さらに容易に理解されるであろう。
【００２０】
添付された図面に示した本発明の実施形態についての参照が詳細に行われ、ここで、同じ参照符号は、同じ部材を表す。
【００２１】
本発明は、非圧縮音源の音場特性を表す音場制御ファクタをウォータマーク符号化によって符号化させる。ウォータマーキングされた音源は、音場制御ファクタが内蔵されても原音の性質を維持する。また、音場制御ファクタは、内蔵方法に相当する復号化方法によって復号されて音場処理のために使われる。
【００２２】
図２は、本発明による音場制御ファクタを内蔵する装置の構成を示すブロック図である。図２に示した装置は、ウォータマーク符号化器２０２及び音場制御ファクタデータベース２０４を備える。ウォータマーク符号化器２０２は、原音Ｓ０に対して相応する音場制御ファクタをウォータマーキングする。音場制御ファクタは、音場ファクタ、音場情報がコード化されたデータである。音場ファクタ（ＳＦ）は、音源自体の音響学的特性を表すものであって、残響時間（ＲＴ）、明瞭度（Ｃ）、初期反射パターン（ＰＥＲ）を含む。一方、音場情報は、林、平原、洞窟のように、音源が録音された場所を表す音場モード、プログラムの場面（シーン）、プログラムのジャンルを含む。
【００２３】
音場ファクタ、音場モード、プログラムシーン、プログラムジャンルは、コード化されて音場制御ファクタデータベース２０４に保存される。音場ファクタは、音源信号Ｓ０から直接抽出され、音場モード、プログラムシーン、プログラムジャンルは、音源録音時にユーザによって指定される。
【００２４】
図３は、本発明による音場制御ファクタの内蔵方法を示す図である。音源Ｓｏは、複数のフレームに分割され、それぞれのフレームに対して音場制御ファクタが付加される。フレームは、音場特性が明確に区分される位置を基準として分割される。例えば、音場モード、プログラムシーン、プログラムジャンルが変わる所であるか、または音場ファクタが顕著に区分される所を基準としてフレームが分割される。
【００２５】
図３を参照するに、音源Ｓ０がｆｏ，ｆ１，ｆ２，．．．，ｆＮ−１を含むフレームに分割されることが示される。音源Ｓ０のそれぞれのフレームｆｏ，ｆ１，ｆ２，．．．，ｆＮ−１に対して音場制御ファクタＳＦＣＦ０，ＳＦＣＦ１，ＳＦＣＦ２，．．．，ＳＦＣＦＮ−１が付加される。
【００２６】
音場制御ファクタＳＦＣＦは、ＲＴ、Ｃ８０、ＰＥＲなどの音場ファクタと、その他の音場情報を有するコード化されたデジタル情報とで構成される。
【００２７】
ウォータマーク符号化器２０２を使用して、音源Ｓ０のＳＦＣファクタＳＦＣＦｓを符号化した結果としてｆ’ｏ，ｆ’１，ｆ’２，．．．，ｆ’Ｎ−１が得られる。
【００２８】
図４は、音源の音響学的特性を表す音場ファクタを図式的に示す図である。図４を参照するに、ＲＴは、残響時間であって、ある音が最初の強度の６０ｄＢ以下に低下するまでの時間を表し、Ｃは、ある音が発生した時点から８０ｍＳまでのエネルギーと、８０ｍＳから６０ｄＢ以下に低下するまでのエネルギーとの比率を表し、初期ＰＥＲは、ある音が発生した時点から初期に現れる反射パターンを表す。
【００２９】
図５は、図３に示したウォータマーク符号化器の符号化動作を図式的に示す図である。本発明においては、音場制御ファクタを時間拡散エコー法によって付加する。図５を参照するに、時間拡散エコー法のカーネルは、次の式のように与えられる。
【００３０】
【数５】
2006085164.tif 000003
ここで、δ（ｎ）は、ｄｉｒａｃ−ｄｅｌｔａ関数、ｐ（ｎ）は、ＰＮ系列、αは、振幅、Δは、時間遅延である。時間拡散エコー法では、相異なる時間遅延Δや相異なるＰＮ系列ｐ（ｎ）によって、相異なる情報（二進データ）を付加する。
【００３１】
また、ｐ（ｎ）は、付加され情報を抽出できる秘密キーあるいは公開キーの役割を行う。したがって、システムの仕様によって、秘密キーあるいは公開キー形式に設定できる。
【００３２】
図５を参照するに、ウォータマーキングされた音源Ｗ（ｎ）は、次のように表現される。
【００３３】
【数６】
2006085164.tif 000004
ここで、＊は、線形コンボリューションを表す。
【００３４】
図６は、図５の符号化器によって符号化された音源から音場制御ファクタを抽出する過程を図式的に示す図である。
【００３５】
現在フレームｆｐｒｅｓｅｎｔと次のフレームｆｎｅｘｔとは、独立的な復号化過程を通じて復号化される。したがって、現在フレームの音場制御ファクタＳＦＣＦ  ｐｒｅｓｅｎｔ、次のフレームの音場制御ファクタＳＦＣＦ  ｎｅｘｔが復号化される。復号化された音場制御ファクタは、音場処理プロセッサによって参照される。
【００３６】
音場処理において、次のフレームの処理のために現在フレームの音場制御ファクタが参照される。例えば、現在フレームのＳＦ  Ｍｏｄｅが洞窟モードであり、次のフレームのＳＦ  Ｍｏｄｅが平原モードである場合、洞窟で適用される残響音による影響が平原モードに適用されないようにフェードアウト処理が行われる。
【００３７】
図７は、図６の音場制御ファクタの抽出動作に適したウォータマーク復号化器を示す図である。
【００３８】
本発明では、図５に示したような時間拡散エコー法によって付加された音場制御ファクタを復号化する。図７を参照するに、ウォータマーキングされた音源Ｗ（ｎ）は、ケップストラム分析器７０２を通じて明瞭度を高める。図７の中間部分には、ウォータマーキングされた音源Ｓ’（ｎ）の時間−振幅特性が示されている。
【００３９】
図７に示した過程によって得られる復号化された音源Ｗ（ｎ）は、次のように表現される。
【００４０】
【数７】
2006085164.tif 000005
ここで、Ｆ［］とＦ−１［］とは、それぞれフーリエ変換と逆変換とを表し、ｌｏｇ［］は、対数関数、
（外３）
2006085164.tif 000006
は、相互相関関数、そしてＬｐｎは、ＰＮ系列である。
【００４１】
音場制御ファクタは、ｄ（ｎ）からΔあるいは
（外４）
2006085164.tif 000007
の明確なピック位置を調べることによって検出される。
【００４２】
図８は、本発明による音場制御ファクタの内蔵方法及び音場処理方法を示すフローチャートである。まず、Ｓ８０２では、音場制御ファクタをウォータマーキングして音源に内蔵させる。音場制御ファクタは、音場ファクタ及び音場情報がコード化されたデータであり、音場制御ファクタデータベース２０４を参照して設定される。音場制御ファクタのウォータマーキングについては、図４及び図５を参照して説明されている。
【００４３】
Ｓ８０４では、ウォータマーキングされた音源から音場制御ファクタを復号化する。ウォータマーキングされた音源から音場制御ファクタを復号化することについては、図６及び図７を参照して説明されている。
【００４４】
Ｓ８０６では、音場制御ファクタが抽出されたか否かを判断する。もし、音場制御ファクタが抽出されたとすれば、音場制御ファクタデータベース２０４を参照してコード化された音場制御ファクタに該当する音場ファクタ及び音場情報を得る（Ｓ８０８）。
【００４５】
Ｓ８１０では、Ｓ８０８を通じて得られた音場制御ファクタ及び音場情報を参照して音場処理を行う。Ｓ８１０で音場処理を行うにおいて、現在フレーム及び次のフレームの音場制御ファクタを参照して、次のフレームの音場処理を制御する。例えば、現在フレームの音場情報と次のフレームの音場情報とを参照して、フェードイン、フェードアウト、そして他の中間処理を行ってさらに現場感ある音場処理を可能にする。
【００４６】
一方、ユーザに便宜性を提供するために、Ｓ８０８でも復号によって得られた音場制御ファクタ及び音場情報以外にも、ユーザが入力した音場ファクタ及び音場情報を参照して、音場処理を可能にする。
【００４７】
Ｓ８０６で音場制御ファクタが抽出されていないと判断されれば、Ｓ８１２に分岐してユーザが入力した音場ファクタ及び音場情報を参照して音場処理を行う。
【００４８】
本発明による音場制御内蔵方法によれば、音源の特性を表す音場制御ファクタを、デジタルウォータマーキング技術を利用して音源自体に符号化させるので、ユーザが音場制御ファクタを一々指定する必要がなくなる。
【００４９】
また、本発明による音場制御内蔵方法によれば、圧縮音源を有するパケットのヘッダを通じて音場制御ファクタを伝達するものではなく、非圧縮音源自体に音場制御ファクタをデジタルウォータマーキング技術によって符号化して伝達する。したがって、圧縮音源のフォーマット変換、伝送によってヘッダが損失されても、それに関係なく、音場制御ファクタを信頼性あるように伝送できる。
【００５０】
また、本発明による音場制御内蔵方法によれば、非圧縮音源をフレーム単位に分割し、音源のフレームごとに音場制御ファクタを付加する。したがって、分割された音源の特性に適合な音場制御ファクタを付加し、リアルタイムで伝達できる。
【００５１】
言い換えれば、音源が非圧縮された形態で伝送されるため、音源とそれに内蔵された音場制御ファクタとは、音響プロセッサによって音源が受信される時にリアルタイムで処理されうる。
【００５２】
さらに、フレームの分割を、音源において、音場制御特性が明確に区分される位置で行わせることによってさらに効果的に音場制御ファクタを伝達できる。
【００５３】
また、本発明による音場処理方法によれば、現在フレームの音場制御ファクタと次のフレームの音場制御ファクタとを参照して、フェードイン、フェードアウトの処理を行えるので、さらに現場感ある音場処理を行える。
【００５４】
本発明において、図面を参照して幾つかの実施形態が図示され、かつ説明されたが、当業者は、本発明の原理及び精神、特許請求の範囲に規定された範囲、そして、それらの等価物を逸脱せずに多様な変形が可能であることが分かる。
【産業上の利用可能性】
【００５５】
本発明は、オーディオ信号の符号化に適用され、非圧縮音源自体に音源の特性を表す音場制御ファクタをデジタルウォータマーキング技術を利用して音質の劣化なしに付加し、音源再生時、この音場制御ファクタを抽出して使用することによって、音源の特性に充実な音場処理がなされうる。
【図面の簡単な説明】
【００５６】
【図１】従来の音場制御方法を示すフローチャートである。
【図２】本発明による音場制御ファクタを内蔵する装置の構成を示すブロック図である。
【図３】本発明による音場制御ファクタの内蔵方法を示す図である。
【図４】音源の音響学的特性を表す音場ファクタを図式的に示す図である。
【図５】図３の音場制御ファクタの内蔵方法に適したウォータマーク符号化器の動作を図式的に示す図である。
【図６】図５の符号化器によって符号化された音源から音場制御ファクタを抽出する過程を図式的に示す図である。
【図７】図６の音場制御ファクタの抽出動作に適したウォータマーク復号化器を示す図である。
【図８】本発明による音場制御ファクタの内蔵及び音場処理方法を示すフローチャートである。
【符号の説明】
【００５７】
Ｓ０  音源
ｆｏ，ｆ１，ｆ２，．．．，ｆＮ−１  フレーム
ＳＦＣＦ０，ＳＦＣＦ１，ＳＦＣＦ２，．．．，ＳＦＣＦＮ−１  音場制御ファクタ
【図１】
2006085164.tif 000014
【図２】
2006085164.tif 000015
【図３】
2006085164.tif 000016
【図４】
2006085164.tif 000017
【図５】
2006085164.tif 000018
【図６】
2006085164.tif 000019
【図７】
2006085164.tif 000020
【図８】
2006085164.tif 000021
【手続補正書】
【提出日】平成17年11月7日(2005.11.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３
【補正方法】変更
【補正の内容】
【請求項３】
前記音場制御ファクタは、少なくとも遅延時間及び仮想ノイズ系列を使用して符号化されることを特徴とする請求項２に記載の音場制御ファクタの内蔵方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１８
【補正方法】変更
【補正の内容】
【請求項１８】
前記サウンド情報は、サウンド信号Ｓ（ｎ）と時間拡散エコー法のカーネル関数Ｋ（ｎ）との間の線形コンボリューションによって行われるウォータマーキング方法を利用して内蔵されることを特徴とする請求項１１に記載のサウンド処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2006085164.tif 000022
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2006085164.tif 000023