(57)【特許請求の範囲】
【請求項１】
方法であって、
第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成することであって、前記第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、前記第２の音声データストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現することと、
前記第１の音声データストリームのより低質なモノラル表現である第１のサブストリームを生成することであって、ここにおいて、前記第１のサブストリームを生成することは、前記第１のサブストリームに対してデータ圧縮を行うためのボコーダを使用することを備えることと、
前記第２の音声データストリームのより低質なモノラル表現である第２のサブストリームを生成することであって、ここにおいて、前記第２のサブストリームを生成することは、前記第２のサブストリームに対してデータ圧縮を行うための前記ボコーダを使用することを備えることと、
少なくとも部分的に前記ミックスされた音声データストリーム内に前記第１のサブストリーム及び前記第２のサブストリームをステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成し、それによって、前記修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにすることと、
前記修正されたミックスされた音声データストリームを前記遠隔会議に参加している第３の端末デバイスに出力することと、を備え、
前記第３の端末デバイスがマルチチャネル再生用に構成されている場合には、前記第３の端末において逆ステガノグラフィプロセスを実行することにより前記第１のサブストリーム及び前記第２のサブストリームが前記ミックスされた音声データストリームから抽出され、前記第３の端末デバイスがマルチチャネル再生用に構成されていない場合には、前記第１のサブストリーム及び前記第２のサブストリームを抽出することなしに、前記ミックスされた音声データストリームに基づいて音声データが生成される、方法。
【請求項２】
前記修正されたミックスされた音声データストリームに関連する音声歪みの量と前記第１及び第２のサブストリームを埋め込む前の前記ミックスされた音声データストリームに関連する音声歪みの量との間の差分は、歪みスレショルドよりも小さく、
前記修正されたミックスされた音声データストリームのビットレートは、前記１及び第２のサブストリームを埋め込む前の前記ミックスされた音声データストリームのビットレートよりも大きくない請求項１に記載の方法。
【請求項３】
前記修正されたミックスされた音声データストリームを生成することは、
データ圧縮形態を前記ミックスされた音声データストリームに適用することと、
前記第１及び第２のサブストリームを前記ミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことと、を備える請求項１に記載の方法。
【請求項４】
前記第１のサブストリームは、前記第１の音声データストリームよりも低いビットレートを有し、前記第２のサブストリームは、前記第２の音声データストリームよりも低いビットレートを有する請求項１に記載の方法。
【請求項５】
前記修正されたミックスされた音声データストリームを生成することは、前記第１及び第２のサブストリームを示すために前記ミックスされた音声データストリームの音声サンプルの最下位ビットを修正することを備える請求項１に記載の方法。
【請求項６】
方法であって、
ミックスされた音声データストリームから第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することであって、ここにおいて、前記第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現する第１の音声データストリームのより低質なモノラル表現であり、ここにおいて、前記第１のサブストリームは、前記第１のサブストリームに対してデータ圧縮を行うためのボコーダを使用して生成されることと、
前記ミックスされた音声データストリームから第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することであって、ここにおいて、前記第２のサブストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現する第２の音声データストリームのより低質なモノラル表現であり、ここにおいて、前記第２のサブストリームは、前記第２のサブストリームに対してデータ圧縮を行うための前記ボコーダを使用して生成されることと、
前記ミックスされた音声データストリーム、前記第１のサブストリーム及び前記第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成することと、を備える、方法。
【請求項７】
前記ミックスされた音声データストリームは、前記第１の端末デバイスに関連する前記音及び前記第２の端末デバイスに関連する前記音のミックスのモノラル表現を含み、
前記マルチチャネル音声データストリームを生成することは、空間化されたステレオ音声データストリームを生成し、それによって、前記第１の端末デバイスに関連する前記音は、聴く人の左側の空間内のある地点から来ると知覚され、前記第２の端末デバイスに関連する音は、前記聴く人の右側の空間内のある地点から来ると知覚されることを備える請求項６に記載の方法。
【請求項８】
前記空間化されたステレオ音声データストリームを生成することは、
前記第１のサブストリームに少なくとも部分的に基づいて、前記第１の端末デバイスに関連する前記音を決定することと、
前記第２のサブストリームに少なくとも部分的に基づいて、前記第２の端末デバイスに関連する前記音を決定することと、
前記第１の端末デバイスに関連する前記音に少なくとも部分的に基づいて、前記ミックスされた音声データストリームの第１のコピーに頭部伝達関数（ＨＲＴＦ）を適用することであって、前記空間化されたステレオ音声データストリームの左チャネルは、前記ミックスされた音声データストリームの前記第１のコピーに少なくとも部分的に基づくことと、
前記第２の端末デバイスに関連する前記音に少なくとも部分的に基づいて、前記ミックスされた音声データストリームの第２のコピーに前記ＨＲＴＦを適用することであって、前記空間化されたステレオ音声データストリームの右チャネルは、前記ミックスされた音声データストリームの前記第２のコピーに少なくとも部分的に基づくことと、を備える請求項７に記載の方法。
【請求項９】
前記第１の端末デバイスに関連する前記音は、前記第２の端末デバイスに関連する話声と同時並行である話声を含む請求項７に記載の方法。
【請求項１０】
前記第１及び第２のサブストリームは、前記ミックスされた音声データストリームの音声サンプルの最下位ビットである請求項６に記載の方法。
【請求項１１】
前記第１及び第２のサブストリームのビットレートは、前記ミックスされた音声データストリームのビットレートよりも低い請求項６に記載の方法。
【請求項１２】
前記ミックスされた音声データストリームは、モノラル再生用に構成されてステレオ再生用に構成されていない端末デバイスと互換性がある請求項６に記載の方法。
【請求項１３】
デバイスであって、
第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成するための手段であって、前記第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、前記第２の音声データストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現する手段と、
前記第１の音声データストリームのより低質なモノラル表現である第１のサブストリームを生成するための手段であって、ここにおいて、前記第１のサブストリームを生成することは、前記第１のサブストリームに対してデータ圧縮を行うためのボコーダを使用することを備える手段と、
前記第２の音声データストリームのより低質なモノラル表現である第２のサブストリームを生成するための手段であって、ここにおいて、前記第２のサブストリームを生成することは、前記第２のサブストリームに対してデータ圧縮を行うための前記ボコーダを使用することを備える手段と、
少なくとも部分的に前記ミックスされた音声データストリーム内に前記第１のサブストリーム及び前記第２のサブストリームをステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成し、それによって、前記修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにするための手段と、
前記修正されたミックスされた音声データストリームを前記遠隔会議に参加している第３の端末デバイスに出力するための手段と、を備え、
前記第３の端末デバイスがマルチチャネル再生用に構成されている場合には、前記第３の端末において逆ステガノグラフィプロセス実行することにより前記第１のサブストリーム及び前記第２のサブストリームが前記ミックスされた音声データストリームから抽出され、前記第３の端末デバイスがマルチチャネル再生用に構成されていない場合には、前記第１のサブストリーム及び前記第２のサブストリームを抽出することなしに、前記ミックスされた音声データストリームに基づいて音声データが生成される、デバイス。
【請求項１４】
端末デバイスであって、
ミックスされた音声データストリームから第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行するための手段であって、ここにおいて、前記第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現する第１の音声データストリームのより低質なモノラル表現であり、ここにおいて、前記第１のサブストリームは、前記第１のサブストリームに対してデータ圧縮を行うためのボコーダを使用して生成される手段と、
前記ミックスされた音声データストリームから第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行するための手段であって、ここにおいて、前記第２のサブストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現する第２の音声データストリームのより低質なモノラル表現であり、ここにおいて、前記第２のサブストリームは、前記第２のサブストリームに対してデータ圧縮を行うための前記ボコーダを使用して生成される手段と、
前記ミックスされた音声データストリーム、前記第１のサブストリーム及び前記第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成するための手段と、を備える、端末デバイス。
【請求項１５】
コンピュータによって読み取り可能な記憶媒体であって、デバイスの１つ以上のプロセッサによって実行されたときに、請求項１乃至１２のうちのいずれか１項に記載の方法を実行することを前記デバイスに行わせる命令、を格納する、コンピュータによって読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［０００１］本開示は、音声データの処理に関するものであり、より具体的には、遠隔会議のための音声データの処理に関するものである。
【背景技術】
【０００２】
［０００２］遠隔会議は、概して、その遠隔会議の参加者によって使用される３つ以上の端末デバイスとの電気通信接続を確立することを含む。説明を簡単にすることを目的として、端末デバイスは、端末デバイスＡ、Ｂ及びＣとして表すことができる。概して、参加者のうち１人、例えば、端末デバイスＡのユーザが、その他の参加者、例えば、端末デバイスのユーザＢ及びＣ、と会議を開くことによって遠隔会議を開始する。会議管理デバイスが会議を管理する。会議管理デバイスは、マルチパーティ制御ユニット（ＭＣＵ）、又は代替として、ミキシングブリッジ、と呼ぶこともできる。ＭＣＵは、遠隔会議のホストとなるサービスプロバイダネットワーク内に配置することができる。
【０００３】
［０００３］ＭＣＵは、ＭＣＵにおいて端末デバイスから受信された音声データストリームを復号して３つの受信された音声データストリームのうちの２つによって表される音声波形を合計し、ミックスされたモノラル（すなわち、モノ）の音声波形を生成することができる。ＭＣＵは、ミックスされたモノラルの音声波形を符号化してミックスされたモノデータストリームを生成し、それらのミックスされたモノデータストリームを端末デバイスの各々に送信することができる。
【０００４】
［０００４］例えば、ＭＣＵは、端末デバイスＡ、Ｂ及びＣから音声データストリームを受信し及び復号することができる。ＭＣＵは、受信された音声データストリームに基づいてミックスされた音声データを生成する。第１のミックスされた音声データストリームは、端末デバイスＡ及びＢによって検出された音のモノラルミックス（すなわち、Ａ＋Ｂ）を表現する。第２のミックスされた音声データストリームは、端末デバイスＡ及びＣによって検出された音のモノラルミックス（すなわち、Ａ＋Ｃ）を表現する。第３のミックスされた音声データストリームは、端末デバイスＢ及びＣによって検出された音のモノラルミックス（すなわち、Ｂ＋Ｃ）を表現する。ＭＣＵは、第１のミックスされた音声データストリームを端末デバイスＣに送信し、第２のミックスされた音声データストリームを端末デバイスＢに送信し、及び、第３のミックスされた音声データストリームを端末デバイスＡに送信する。端末デバイスＡ、Ｂ、及びＣは、ミックスされた音声データストリームを復号し、ミックスされた音声データストリームに基づいて音を生成する（すなわち、再生する）。
【０００５】
［０００５］最近では、遠隔会議における三次元（３Ｄ）音声をサポートするＭＣＵ及び端末デバイスが開発されている。３Ｄ音声では、ＭＣＵは、ミックスされたステレオ音声データストリームを生成するために端末デバイスから受信された音声データストリームを処理する。ミックスされた音声ステレオデータストリームの各々は、２つ以上の（例えば、左右）チャネルを有する音を表現することができる。ＭＣＵは、これらのミックスされたステレオ音声データストリームを端末デバイスのうちの該当するそれに送信することができる。端末デバイスの各々は、２つ以上のスピーカーでミックスされたステレオ音声データストリームを再生することができる。ＭＣＵによってステレオ音声データストリームに適用される頭部伝達関数（ＨＲＴＦ）に起因して、端末デバイスのユーザは、その他の端末デバイスのユーザの話声が空間内の様々な地点から来るのがわかることができる。例えば、端末デバイスＡのユーザは、端末デバイスＢの話声が端末デバイスＡのユーザの左側の空間内のある地点から来るのがわかることができ及び端末デバイスＣのユーザの話声が端末デバイスＡのユーザの右側の空間内のある地点から来るのがわかることができる。このようにしてユーザの声を空間的に分離することは、ユーザが遠隔会議中に誰が話しているかを決定するのに役立つことができ、それによって３Ｄ音声遠隔会議の参加者間での通信を容易にすることができる。
【発明の概要】
【０００６】
［０００６］概して、本開示は、遠隔会議のために音声データを処理するための技法について説明する。マルチパーティ制御ユニット（ＭＣＵ）が、遠隔会議に参加している端末デバイスからやって来る音声データストリームを受信する。やって来る音声データの各々は、端末デバイスの各々によって検出された音のモノラル表現を備えることができる。端末デバイスの各々に関して、ＭＣＵは、端末デバイスのうちのその他のそれらによって検出された音のミックスのモノラル表現を備えるミックスされた音声データストリームを生成することができる。さらに、ＭＣＵは、端末デバイスによって検出された音の表現をミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことができる。説明を簡単にすることを目的として、端末デバイスによって検出された音の表現は、ここではサブストリームと呼ぶことができる。ＭＣＵは、ミックスされた音声データストリームを遠隔会議に参加している端末デバイスに出力する。
【０００７】
［０００７］端末デバイスがステレオ再生用に構成されている場合は、端末デバイスは、ミックスされた音声データストリームから、埋め込まれたサブストリームを抽出するための逆ステガノグラフィプロセスを実行する。端末デバイスは、抽出されたサブストリーム及びミックスされた音声データストリームに基づいてマルチチャネル音声データストリームを生成し及び出力する。端末デバイスは、マルチチャネル音声データストリームに基づいて音を出力することができる。端末デバイスがステレオ再生用に構成されていない場合は、端末デバイスは、埋め込まれているサブストリームを抽出せずにミックスされた音声データストリームに基づいて音を出力する。この意味で、サブストリームを埋め込むためにステガノグラフィを用いることによって、技法は、ミックスされた音声データストリームのマルチチャネル再生及びミックスされた音声データストリームのモノラル再生の両方を可能にすることができる。
【０００８】
［０００８］一例においては、本開示は、第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成することを備える方法であって、第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、第２の及びデータストリームは、遠隔会議に参加している第２の端末デバイスに関連する音を表現する方法、について説明する。その方法は、少なくとも部分的に第１のサブストリーム及び第２のサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データを生成して修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにすることも備え、第１のサブストリームは、第１の端末デバイスに関連する音の表現を含み、第２のサブストリームは、第２の端末デバイスに関連する音の表現を含む。さらに、その方法は、修正されたモノ音声データストリームを遠隔会議に参加している第３の端末デバイスに出力することを備える。
【０００９】
［０００９］他の例においては、本開示は、第１のサブストリームをミックスされた音声データストリームから抽出するための逆ステガノグラフィプロセスを実行することを備える方法について説明し、第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する。その方法は、第２のサブストリームをミックスされた音声データから抽出するための逆ステガノグラフィプロセスを実行することも備え、第２のサブストリームは、遠隔会議に参加している第２の端末デバイスに関連する。さらに、その方法は、ミックスされた音声データストリーム、第１のサブストリーム及び第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成することを備える。
【００１０】
［００１０］他の例においては、本開示は、第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成するように構成された１つ以上のプロセッサを備えるデバイスであって、第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、第２の音声データストリームは、遠隔会議に参加している第２の端末デバイスに関連する音を表現するデバイス、について説明する。１つ以上のプロセッサは、少なくとも部分的に第１のサブストリーム及び第２のサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データを生成して修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにも構成され、第１のサブストリームは、第１の端末デバイスに関連する音の表現を含み、第２のサブストリームは、第２の端末デバイスに関連する音の表現を含む。さらに、１つ以上のプロセッサは、修正されたモノ音声データを遠隔会議に参加している第３の端末デバイスに出力するように構成される。
【００１１】
［００１１］他の例においては、本開示は、第１のサブストリームをミックスされた音声データから抽出するための逆ステガノグラフィプロセスを実行するように構成された１つ以上のプロセッサを備える端末デバイスについて説明する。第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する。１つ以上のプロセッサは、第２のサブストリームをミックスされた音声データストリームから抽出するための逆ステガノグラフィプロセスを実行するようにも構成される。第２のサブストリームは、遠隔会議に参加している第２の端末デバイスに関連する。１つ以上のプロセッサは、ミックスされた音声データストリーム、第１のサブストリーム及び第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成するようにも構成される。
【００１２】
［００１２］他の例においては、本開示は、第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成するための手段であって、第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、第２の及びデータストリームは、遠隔会議に参加している第２の端末デバイスに関連する音を表現するデバイス、について説明する。そのデバイスは、少なくとも部分的に第１のサブストリーム及び第２のサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データを生成して修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにするための手段も備え、第１のサブストリームは、第１の端末デバイスに関連する音の表現を含み、第２のサブストリームは、第２の端末デバイスに関連する音の表現を含む。さらに、そのデバイスは、修正されたモノ音声データストリームを遠隔会議に参加している第３の端末デバイスに出力するための手段を備える。
【００１３】
［００１３］他の例においては、本開示は、第１のサブストリームをミックスされた音声データストリームから抽出するための逆ステガノグラフィプロセスを実行するための手段を備える端末デバイスについて説明する。第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する。その端末デバイスは、第２のサブストリームをミックスされた音声データから抽出するための逆ステガノグラフィプロセスを実行するための手段も備え、第２のサブストリームは、遠隔会議に参加している第２の端末デバイスに関連する。さらに、その端末デバイスは、ミックスされた音声データストリーム、第１のサブストリーム及び第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成するための手段を備える。
【００１４】
［００１４］他の例においては、本開示は、デバイスの１つ以上のプロセッサによって実行されたときに、第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成することをデバイスに行わせる命令を格納するコンピュータによって読み取り可能な記憶媒体であって、第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、第２の音声データストリームは、遠隔会議に参加している第２の端末デバイスに関連する音を表現するコンピュータによって読み取り可能な記憶媒体、について説明する。それらの命令は、少なくとも部分的に第１のサブストリーム及び第２のサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データを生成して修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにすることもデバイスに行わせ、第１のサブストリームは、第１の端末デバイスに関連する音の表現を含み、第２のサブストリームは、第２の端末デバイスに関連する音の表現を含む。さらに、それらの命令は、修正されたモノ音声データストリームを遠隔会議に参加している第３の端末デバイスに出力することをデバイスに行わせる。
【００１５】
［００１５］他の例においては、本開示は、デバイスの１つ以上のプロセッサによって実行されたときに、第１のサブストリームをミックスされた音声データから抽出するための逆ステガノグラフィプロセスを実行することをデバイスに行わせる命令を格納するコンピュータによって読み取り可能な記憶媒体について説明する。第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する。それらの命令は、第２のサブストリームをミックスされた音声データストリームから抽出するための逆ステガノグラフィプロセスを実行することもデバイスに行わせる。第２のサブストリームは、遠隔会議に参加している第２の端末デバイスに関連する。さらに、それらの命令は、ミックスされた音声データストリーム、第１のサブストリーム及び第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成することをデバイスに行わせる。
【００１６】
［００１６］本開示の１つ以上の例の詳細が、添付された図面及び以下の説明において示される。これらの説明、図面、及び請求項からその他の特徴、目的、及び利点が明確なるであろう。
【図面の簡単な説明】
【００１７】
【図１】［００１７］本開示において説明される技法を利用することができる遠隔会議システム例を示したブロック図である。
【図２】［００１８］本開示において説明される技法の様々な態様を実行することができるマルチパーティ制御ユニット（ＭＣＵ）例を示したブロック図である。
【図３】［００１９］本開示において説明される技法の様々な態様を実行する際の端末デバイス例を示したブロック図である。
【図４】［００２０］本開示において説明される技法の様々な態様を実行する際の音声復号器例を示したブロック図である。
【図５】［００２１］本開示において説明される技法の様々な態様を実行する際のＭＣＵの動作例を示したフローチャート図である。
【図６】［００２２］本開示において説明される技法の様々な態様を実行する際の音声復号器の動作例を示したフローチャートである。
【発明を実施するための形態】
【００１８】
［００２３］遠隔会議は、３人以上の当事者が音声データ（しばしば、話声音声データ）をキャプチャし及びその他の端末デバイスによってキャプチャされた音声データを再生するための端末デバイスを用いて互いに会話するのを可能にする。遠隔会議に参加するユーザは、典型的には、別々の端末デバイス、例えば、電話又は専用の遠隔会議装置、と関連付けられる。さらに、遠隔会議システムは、マルチパーティ制御ユニット（ＭＣＵ）を含むことができる。端末デバイスは、端末デバイスの１つ以上のマイクによって検出された音に基づいて音声データストリームを生成する。端末デバイスは、生成された音声データストリームをＭＣＵに送信する。ＭＣＵは、音声データストリームによって表現される音をミックスすること及びその結果得られた音を符号化して複数のミックスされた音声データストリームを生成することができる。ＭＣＵが三次元（３Ｄ）音声遠隔会議用に構成されているときには、ＭＣＵは、ステレオのミックスされた音声データストリームを生成することができ、それらの各々は、左音声チャネルと右音声チャネルとを含むことができる。
【００１９】
［００２４］遠隔会議における３Ｄ音声は、参加しているユーザのために主観的音質を向上させることができ及び潜在的に遠隔会議経験を向上させることができる一方で、３Ｄ音声遠隔会議は、マルチチャネル（例えば、左右のチャネル）音声データストリームを提供するためにより高いデータレートを要求することがある。従って、ＭＣＵは、従来の３Ｄでない音声が遠隔会議において使用されるときよりも、３Ｄ音声が遠隔会議において使用されるときのほうが、有意な量だけより多くのデータを端末デバイスに送信する必要がある。さらに、ミックスされたステレオ音声データストリームは、後方互換可能（ｂａｃｋｗａｒｄ  ｃｏｍｐａｔｉｂｌｅ）でないことがある。すなわち、レガシーのモノ専用の端末デバイスは、ミックスされたステレオ音声データストリームを再生することができない。その結果、３Ｄ音声遠隔会議に参加するときには３Ｄ音声専用に設計された端末デバイスのみを使用することができる。３Ｄ音声遠隔会議をサポートする端末デバイスの費用及び入手可能性が低いことを考慮した場合、遠隔会議経験の向上と比較して３Ｄ音声遠隔会議をサポートするために端末デバイス及びＭＣＵをアップグレードすることに関連するコストが高くなる可能性があるため、３Ｄ音声遠隔会議の採用は限定的になっている。
【００２０】
［００２５］本開示の技法は、レガシーのモノ専用端末デバイスのサポートを通じて後方互換性も維持しながら３Ｄ音声遠隔会議を可能にするサブストリームを埋め込むことによって、有意に増大するアップグレードコストなしで、３Ｄ音声遠隔会議の採用を容易にすることができる。本開示の技法により、ＭＣＵは、遠隔会議に参加している端末デバイスによって検出された（例えば、関連する）音のモノラル表現を含む音声データストリームを受信することができる。ＭＣＵは、端末デバイスの各々のために高質のミックスされた音声データストリームを生成することができる。特定の端末デバイスのための高質のミックスされた音声データストリームは、ミックスされた音声データストリームが送信されるべき相手である特定の端末デバイス以外の端末デバイスによって検出された音のミックスのモノラル表現を含むことができる。さらに、ＭＣＵは、それらのその他の端末デバイスによって検出された音の低質の表現を高質のミックスされた音声データストリーム内に埋め込むための１つの形態のステガノグラフィ（共通して“ウォーターマーキング”と呼ぶことができる）を実行することができる。説明を簡単にすることを目的として、端末デバイスによって検出された音の低質の表現は、ここではサブストリームと呼ぶことができる。幾つかの例においては、ＭＣＵは、高質のミックスされた音声データストリームのビットレートを増大させずに高質のミックスされた音声データストリーム内にサブストリームを埋め込むことができる。ステガノグラフィを実行することは、典型的には、人間の視覚系又は聴覚系の限界に起因して、オリジナルのデータのサイズが増大しないようにさらには見る人、この場合は聴く人、によって知覚されるオリジナルのデータに影響を与えないように追加のデータを継ぎ目なく“隠蔽する”ために所定の量のデータにおける冗長なデータとみなすことができるデータを修正することを含む。
【００２１】
［００２６］ＭＣＵは、高質のミックスされた音声データストリームを遠隔会議に参加している端末デバイスに出力する。遠隔会議に参加している端末デバイスがマルチチャネル３Ｄ音声再生（例えば、ステレオ音声再生）用に構成されているときには、端末デバイスは、ステガノグラフィ方式で埋め込まれたサブストリームを高質のミックスされた音声データストリームから抽出するための逆ステガノグラフィプロセスを実行することができる。端末デバイスは、抽出されたサブストリーム及び高質のミックスされた音声データストリームに基づいて空間化された（“三次元”又は“３Ｄ”と呼ぶことができる）マルチチャネル（例えば、ステレオ）を生成することができる。端末デバイスは、空間化されたマルチチャネルデータに基づいてマルチチャネル（例えば、ステレオ）音を生成することができる。
【００２２】
［００２７］遠隔会議に参加している端末デバイスがマルチチャネル再生用に構成されていないときには、端末デバイスは、ミックスされた音声データストリームからサブストリームを抽出せずにミックスされた音声データストリームに基づいてモノ音を生成することができる。サブストリームは、ステガノグラフィ方式でミックスされた音声データストリーム内に埋め込まれているため、マルチチャネル音声再生をサポートしていない端末デバイスのユーザは、サブストリームがミックスされた音声データストリーム内に埋め込まれているということを決定することができない。繰り返すと、サブストリームは、聴く人の観点からのミックスされた音声データストリームの完全性を損なわずにステガノグラフィを用いてマルチチャネル音声再生をサポートしない端末デバイスから“隠蔽”される。幾つかの例においては、３Ｄ音声は、タンデムフリーオペレーション（ＴＦＯ）／トランスコーダフリーオペレーション（ＴｒＦＯ）ネットワークを要求することがあり、さもないと、品質がレガシーのモノに低下するおそれがある。
【００２３】
［００２８］このように、ＭＣＵは、マルチチャネル音声再生が可能であり及びマルチチャネル音声再生をサポートしていない端末デバイスと後方互換性がある音声データストリームを生成することができる。換言すると、ミックスされた音声データストリームは、モノラル再生用に構成され及びマルチチャネル（例えば、ステレオ）再生用に構成されていない端末デバイスと互換性がある。さらに、本開示の技法は、ミックスされた音声データストリームが複数のソースからの音を同時並行して含むときでも音に関連するソース（例えば、端末デバイス）を端末デバイスが決定するのを可能にすることができる。例えば、第１の端末デバイスに関連する音は、第２の端末デバイスに関連する話声と同時並行する話声を含むことができる。
【００２４】
［００２９］添付される図面は、例を示す。添付される図面において参照数字によって示される要素は、以下の説明において同じ参照数字によって示される要素に対応する。本開示においては、序数語（例えば、“第１の”、“第２の”、“第３の”、等）で始まる名前を有する要素は、それらの要素が特定の順序を有することは必ずしも意味しない。むしろ、該序数語は、同じ又は同様のタイプの異なる要素を単に指し示すにすぎない。
【００２５】
［００３０］図１は、本開示において説明される技法を実行することができる遠隔会議システム例１０を示したブロック図である。図１において示されるように、遠隔会議システム１０は、マルチパーティ制御ユニット（ＭＣＵ）１２を含む。さらに、会議システム１０は、複数の端末デバイス１４Ａ乃至１４Ｃ（総称して“端末デバイス１４”と呼ばれる）を含む。図１の例は、例示するのを簡単にすることを目的として３つの端末デバイスを示しているにすぎない。しかしながら、その他の遠隔会議システム例は、４つ以上の端末デバイスを含むことができ、本開示の技法は、３つ以上の端末デバイスを含む遠隔会議システムによって実行することができる。
【００２６】
［００３１］ＭＣＵ１２は、様々なタイプのデバイスを備えることができる。例えば、ＭＣＵ１２は、専門化されたＭＣＵデバイス、サーバコンピュータ、パソコン、又は他のタイプのデバイスを備えることができる。同様に、端末デバイスは、様々なタイプのデバイスを備えることができる。例えば、１つ以上の端末デバイス１４は、携帯電話又はランドライン電話、デスクトップコンピュータ、モバイルコンピューティングデバイス、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、テレビセットトップボックス、ビデオゲームコンソール、車内搭載コンピュータ、専門化された音声及び／又は映像会議装置、又は遠隔会議用に構成されたその他のタイプのデバイスを備えることができる。幾つかの例においては、ＭＣＵ１２は、遠隔会議のホストであるサービスプロバイダのネットワーク内に物理的に配置される。端末デバイス１４は、様々な位置、例えば、ユーザの事務所、家庭、又は車両内、に存在することができる。
【００２７】
［００３２］ＭＣＵ１２は、端末デバイス１４の各々と通信することができる。様々な例において、ＭＣＵ１２は、様々な方法で端末デバイス１４とデータを通信する。例えば、ＭＣＵ１２は、通信ネットワーク、例えば、インターネット、ローカルエリアネットワーク（ＬＡＮ）、プレーンオールドテレフォンシステム（Ｐｌａｉｎ  Ｏｌｄ  Ｔｅｌｅｐｈｏｎｅ  Ｓｙｓｔｅｍ）（ＰＯＴＳ）ネットワーク、セルラー又はモバイルネットワーク、セルラーデータネットワーク、又はそれらの組み合わせ、を介して端末デバイス１４のうちの１つ以上とデータを通信することができる。幾つかの例においては、ＭＣＵ１２は、有線及び／又は無線通信媒体を介して端末デバイス１４と通信することができる。
【００２８】
［００３３］１人以上のユーザが、遠隔会議に参加するために端末デバイス１４の各々を使用することができる。遠隔会議中には、参加ユーザは、言葉で互いに会話することができる。例えば、３人のユーザＡ、Ｂ、及びＣは、端末デバイス１４Ａ、１４Ｂ、及び１４Ｃをそれぞれ用いて遠隔会議に参加することができる。この例では、端末デバイス１４Ａは、音声データの形態でユーザＡによって生成された音、例えば、話声、をキャプチャすることができ、及び、端末デバイス１４Ｂ及び１４Ｃによってキャプチャされた音、例えば、話声、を再生することができる。端末デバイス１４Ｂは、ユーザＢによって生成された音をキャプチャすることができ及び端末デバイス１４Ａ及び１４Ｃによってキャプチャされた音を再生することができる。端末デバイス１４Ｃは、ユーザＣによって生成された音をキャプチャすることができ及び端末デバイス１４Ａ及び１４Ｂによってキャプチャされた音を再生することができる。
【００２９】
［００３４］端末デバイス１４は、端末デバイス１４によってキャプチャされた音に基づいて音声データストリームを生成することができる。例えば、端末デバイス１４は、端末デバイス１４によって検出及びキャプチャされた音のモノラル表現を含む音声データストリームを生成することができる。端末デバイス１４は、音声データストリームをＭＣＵ１２に送信することができる。図１の例においては、矢印１６Ａ、１６Ｂ、及び１６Ｃは、端末デバイス１４Ａ、１４Ｂ、及び１４ＣからそれぞれＭＣＵ１２に送信された音声データストリームを示す。音声データストリームは、経時で提供される音声データの流れである。例えば、端末デバイス１４は、端末デバイス１４が同じく一般的には話声の形態である音を検出、キャプチャ及び符号化するのとほぼリアルタイムでＭＣＵ１２に音声データストリームを送信することができる。端末デバイス１４は、各々、話声を符号化しそれによって音声データストリームを生成するための声又は話声符号器（共通して“ボコーダ”と呼ばれる）を含むことができる。ボコーダは、話声を符号化するように特化された符号化プロセスを特徴とする符号器を代表することができる。
【００３０】
［００３５］ＭＣＵ１２は、端末デバイス１４によって送信された音声データストリームを受信する。ＭＣＵ１２が音声データストリームを受信するのに応じて、ＭＣＵ１２は、複数のミックスされた音声データストリームを生成することができる。ＭＣＵ１２は、異なるミックスされた音声データストリームを異なる端末デバイス１４に送信することができる。図１の例においては、ＭＣＵ１２は、第１のミックスされた音声データストリームを端末デバイス１４Ａに、第２のミックスされた音声データストリームを端末デバイス１４Ｂに、及び第３のミックスされた音声データストリームを端末デバイス１４Ｃに送信することができる。図１の例においては、矢印１８Ａ、１８Ｂ、及び１８Ｃは、端末デバイス１４Ａ、１４Ｂ、及び１４Ｃにそれぞれ送信されたミックスされた音声データストリームを示す。
【００３１】
［００３６］特定の端末デバイスのためのミックスされた音声データストリームは、遠隔会議に参加しているその他の端末デバイスによってキャプチャされた音のミックスを含むことができる。幾つかの例においては、ＭＣＵ１２は、その他の端末デバイスから受信された音声データストリーム内で示される対応する（例えば、同時並行する）音声サンプルを加えることによってその他の端末デバイスによってキャプチャされた音をミックスすることができる。例えば、ＭＣＵ１２は、第１の音声データストリームの音声サンプルを第２の音声データストリームの対応する音声サンプルに加えることによってその他の端末デバイスによって検出された音をミックスする。
【００３２】
［００３７］ミックスされた音声データストリームを生成することに加えて、ＭＣＵ１２は、本開示の技法により、複数のサブストリームを生成することができる。それらのサブストリームの各々は、端末デバイス１４のうちの異なる１つによってキャプチャされた音の表現を含むことができる。特定の端末デバイスによってキャプチャされた音の表現を含むサブストリームは、ここでは、その特定の端末デバイスに関連するサブストリームと呼ぶことができる。
【００３３】
［００３８］幾つかの例においては、サブストリームは、ＭＣＵ１２によって受信される対応する音声データストリームよりも低いビットレートを有する。例えば、端末デバイス１４Ａに関連するサブストリームは、端末デバイス１４ＡによってＭＣＵ１２に送信される音声データストリームよりも低いビットレートを有することができる。同様に、端末デバイス１４Ｂに関連するサブストリームは、端末デバイス１４ＢによってＭＣＵ１２に送信される音声データストリームよりも低いビットレートを有することができる。幾つかの例においては、サブストリームは、非常に低いビットレート、例えば、１−２ｋｂ／秒、を含むことができる。さらに、幾つかの例においては、サブストリームは、端末デバイス１４によって送信される音声データストリーム内の対応する音声サンプルのビット深度よりも浅いビット深度を有するコーディングされた音声サンプルを含むことができる。
【００３４】
［００３９］さらに、特定の端末デバイスへの送信のためにミックスされた音声データストリームを生成するために、ＭＣＵ１２は、本開示の技法により、その他の端末デバイスに関連するサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことによってミックスされた音声データストリームを修正することができる。ＭＣＵ１２は、その結果得られた修正されたミックスされた音声データストリームを端末デバイス１４のうちの特定の１つに送信することができる。幾つかの例においては、修正されたミックスされた音声データに関連する音声歪みの量と修正されないミックスされた音声データに関連する音声歪みの量との間の差分は、検出スレショルドよりも低い。検出スレショルドは、典型的な人間の聴覚系によって気付くことができる歪みの量であることができる。さらに、幾つかの例においては、修正されたミックスされた音声データのビットレートは、サブストリームを埋め込む前のミックスされた音声データのビットレートよりも大きくない。ＭＣＵ１２は、標準的なコーディングされた話声ストリーム内の有意な量のデータを隠すことができる。例えば、ＭＣＵ１２は、相対的にほとんど劣化することなしに最大で２ｋｂ／秒を１２．２ｋｂ／秒のエンハンストフルレート（ＥＦＲ）ビットストリーム内に埋め込むことができる。
【００３５】
［００４０］ＭＣＵ１２は、様々な方法でサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことができる。例えば、ミックスされた音声データストリームは、音を一連の符号化された音声サンプルとして表現することができる。それらの音声サンプルの各々は、固定数のビットから成ることができる。聴く人は、音声サンプルの最下位ビット（ＬＳＢ）の変化が原因で生じた音の変化に気付くことができない。従って、ＭＣＵ１２は、ミックスされた音声データストリーム内の音声サンプルのＬＳＢがサブストリームのデータを表現するようにそれらの音声サンプルのＬＳＢのうちの１つ以上を変化させることによってミックスされた音声データストリーム内にステガノグラフィ方式でサブストリームを埋め込むことができる。すなわち、ＭＣＵ１２は、第１及び第２のサブストリームを示すためにミックスされたモノ音声データの音声サンプルの最下位ビットを修正することができる。
【００３６】
［００４１］他の例においては、ミックスされた音声データストリームのサンプルレートが十分に高い場合は、聴く人は、ミックスされた音声データストリーム内の音声サンプルをサブストリームからのサンプルと定期的に置き換えることが原因で生じる音の変化に気が付くことができない。従って、この例においては、ＭＣＵ１２は、ミックスされた音声データストリーム内の音声サンプルをサブストリームの音声サンプル又はその他のデータと定期的に置き換えることによってミックスされた音声データストリーム内にサブストリームをステガノグラフィ方式で埋め込むことができる。
【００３７】
［００４２］他の例においては、ＭＣＵ１２は、ＦＣＢトラック当たりの固定された数のビットを隠すことによって代数符号励振線形予測（ＡＣＥＬＰ）コーダ（例えば、適応型マルチレート狭帯域（“ＡＭＲ−ＮＢ”）の固定されたコードブック（ＦＣＢ）上のビットを隠すことによってミックスされたサブストリーム内にサブストリームをステガノグラフィ方式で埋め込むことができる。ビットは、許容されるパルス組み合わせの数を制限することによって隠される。ＡＭＲ−ＮＢの場合は、トラック当たり２つのパルスが存在し、１つのアプローチ法は、所定のトラック上の２つのパルス位置の排他的ＯＲ（ＸＯＲ）が送信すべきウォーターマークと等しくなるようにパルス位置を制約することを含む。このようにしてトラック当たり１つ又は２つのビットを送信することができる。
【００３８】
［００４３］他の例においては、ウォーターマークは、適応型である。前例において説明されるようにパルストラック当たり固定された数のビット（例えば、１つ又は２つ）を埋め込む代わりに、ＭＣＵ１２は、どのドラックが知覚的に最も重要であるかを決定する。幾つかの例においては、ＭＣＵ１２は、符号器及び復号器の両方において既に存在する情報を用いてこれを達成することができ、従って、どのドラックが知覚的に最も重要であるかを示す情報を追加で又は別個に送信する必要がない。一構成においては、最も重要なトラックをウォーターマークから保護するために長期予測（ＬＴＰ）貢献（ｃｏｎｔｒｉｂｕｔｉｏｎ）を使用することができる。例えば、ＬＴＰ貢献は、通常は、主要なピッチパルスにおいてクリアなピークを呈し、符号器及び復号器の両方において既に利用可能である。この例では、ＡＭＲ−ＮＢを使用することができる。代替として、この例では、ｅＡＭＲを使用することができる。ｅＡＭＲは、狭帯域ビットストリーム内に隠されている広帯域情報の“薄”層をトランスポートする能力を有することができる。ここにおける引用によってその内容全体がここに組み入れられている米国特許出願１３／２７５，９９７では、ウォーターマーキングにおけるｅＡＭＲの使用を記述している。
【００３９】
［００４４］このようにして、ＭＣＵ１２は、第１の音声データストリームを受信することができる。第１の音声データストリームは、遠隔会議に参加している第１の端末デバイス（例えば、端末デバイス１４Ａ）によってキャプチャされた（すなわち、第１の端末デバイスに関連する）音を表現することができる。さらに、ＭＣＵ１２は、第２の音声データストリームを受信することができる。第２の音声データストリームは、遠隔会議に参加している第２の端末デバイス（例えば、端末デバイス１４Ｂ）によってキャプチャされた（すなわち、第２の端末デバイスに関連する）音を表現することができる。ＭＣＵ１２は、第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成することができる。さらに、ＭＣＵ１２は、少なくとも部分的に第１のサブストリーム及び第２のサブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成して修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにすることができる。第１のサブストリームは、第１の端末デバイスに関連する音の表現を含む。第２のサブストリームは、第２の端末デバイスに関連する音の表現を含む。ＭＣＵ１２は、修正されたミックスされた音声データストリームを遠隔会議に参加している第３の端末デバイス（例えば、端末デバイス１４Ｃ）に出力することができる。
【００４０】
［００４５］端末デバイス１４Ｃは、ミックスされた音声データストリームをＭＣＵ１２から受信することができる。端末デバイス１４Ｃがマルチストリーム音声再生用に構成されていない場合は、端末デバイス１４Ｃは、ミックスされた音声データストリームを復号し、モノラルチャネルを用いてミックスされた音声データストリームを再生することができる。
【００４１】
［００４６］しかしながら、端末デバイス１４Ｃがマルチチャネル音声再生用に構成されている場合は、端末デバイス１４Ｃは、ミックスされた音声データストリームからサブストリームを抽出するための逆ステガノグラフィプロセスを実行することができる。端末デバイス１４Ｃは、ミックスされた音声データストリーム及び抽出されたサブストリームを復号することができる。さらに、端末デバイス１４Ｃは、サブストリームに基づいて、端末デバイス１４Ｃ以外の端末デバイスに関連する（例えば、端末デバイス１４Ｃ以外の端末デバイスによって最初に検出された）ミックスされた音声データストリーム内の音を決定することができる。例えば、端末デバイス１４Ｃは、第１のサブストリームに基づいて、第１の端末デバイス（例えば、端末デバイス１４Ａ）に関連するミックスされた音声データストリームの部分を決定することができ、及び、第２のサブストリームに基づいて、第２の端末デバイス（例えば、端末デバイス１４Ｂ）に関連するミックスされた音声データストリームの部分を決定することができる。幾つかの例においては、第１の端末デバイス及び第２の端末デバイスに関連するミックスされた音声データストリームの部分は、例えば、端末デバイス１４Ａ及び１４Ｂを使用する参加者が同時に（又は互いに同時並行して）話したときに、重なり合う。
【００４２】
［００４７］端末デバイス１４Ｃは、その他の端末デバイスに関連する音に基づいて、頭部伝達関数（ＨＲＴＦ）をミックスされた音声データストリームのコピーに適用することができる。ＨＲＴＦは、耳が空間内のある地点からの音をどのように受け取るかの特徴を表す応答である。端末デバイス１４Ｃは、２つの耳が空間内の特定の地点から来るように思われるバイオーラル音を合成するために一対のＨＲＴＦを使用することができる。例えば、端末デバイス１４Ｃは、左の音声チャネルが端末デバイス１４Ｃのユーザの左側の空間内のある地点から来るように思われるバイオーラル音を合成するためにミックスされた音声データストリームのコピーにＨＲＴＦを適用することができる。同様に、端末デバイス１４Ｃは、右の音声チャネルが端末デバイス１４Ｃのユーザの右側の空間内のある地点から来るように思われるバイオーラル音を合成するためにミックスされた音声データストリームのコピーにＨＲＴＦを適用することができる。当業においては様々なＨＲＴＦが知られている。
【００４３】
［００４８］端末デバイス１４Ｃは、ＨＲＴＦを適用することによって生成されたミックスされた音声データストリームのコピーに基づいてマルチチャネル音声データストリームを生成することができる。例えば、端末デバイス１４Ｃは、空間化されたステレオ音声データストリームを生成することができ、従って、空間化されたステレオ音声データストリームの左チャネル及び右チャネルは、ＨＲＴＦを適用することによって生成されたミックスされた音声データストリームのコピーに基づくことができる。このようにして、端末デバイス１４Ｃは、空間化されたステレオ音声データストリームを生成することができ、従って、第１の端末デバイス（例えば、端末デバイス１４Ａ）に関連する音は、端末デバイス１４Ｃに関連する聴く人の左側の空間内のある地点から来ると知覚され、第２の端末デバイス（例えば、端末デバイス１４Ｂ）に関連する音は、端末デバイス１４Ｃに関連する聴く人の右側の空間内のある地点から来ると知覚される。端末デバイス１４Ｃ（又は他のデバイス）は、空間化されたミックスされたステレオ音声データストリームをアナログ信号に変換することができる。スピーカーは、アナログ信号を可聴音に変換することができる。
【００４４】
［００４９］このようにして、端末デバイス１４Ｃは、ミックスされた音声データストリームを受信することができる。端末デバイス１４Ｃは、ミックスされた音声データストリームから、第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することができる。第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する。さらに、端末デバイス１４Ｃは、ミックスされた音声データストリームから、第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することができる。第２のサブストリームは、遠隔会議に参加している第２の端末デバイスに関連することができる。さらに、端末デバイス１４Ｃは、ミックスされた音声データストリーム、第１のサブストリーム及び第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成することができる。端末デバイス１４Ｃに関する上の説明は、該当する変更を行うことによって、端末デバイス１４のうちのその他の１つに対して適用することができる。
【００４５】
［００５０］さらに、このようにして、ＭＣＵ１２は、マルチチャネル音声再生が可能であり及びマルチチャネル音声再生をサポートしていない端末デバイスと後方互換性がある音声データストリームを生成することができる。換言すると、ミックスされた音声データストリームは、モノラル再生用に構成され、マルチチャネル（例えば、ステレオ）再生用に構成されていない端末デバイスと互換可能である。さらに、本開示の技法は、ミックスされた音声データストリームが複数のソースからの音を同時並行して含むときでも音に関連するソース（例えば、端末デバイス）を端末デバイス１４が決定するのを可能にすることができる。例えば、第１の端末デバイスに関連する音は、第２の端末デバイスに関連する話声と同時並行する話声を含むことができる。従って、サブストリームを埋め込むためにステガノグラフィを使用することによって、それらの技法は、ミックスされた音声データストリームのマルチチャネル再生及びミックスされた音声データストリームのモノラル再生の両方を可能にすることができる。
【００４６】
［００５１］本開示においては音声のみの遠隔会議（映像又はその他の媒体が伴わない遠隔会議を意味することができる）について説明される一方で、それらの技法は、映像会議（映像を伴う遠隔会議を意味することができる）、オンライン共同会議（オンラインでのプレゼンテーション又は共同での文書の編集及び閲覧を伴う遠隔会議を意味することができる）又は３人以上の参加者からの音声データを含むその他のタイプの会議に関して実行することができる。従って、本開示において説明される技法は、本開示において示される例に限定されないようにすべきである。
【００４７】
［００５２］上述されるように、ＭＣＵ１２は、端末デバイス１４によって検出及びキャプチャされた音のモノラル表現を受信することができる。その他の例においては、ＭＣＵ１２は、端末デバイス１４によって検出及びキャプチャされた音のステレオ表現を受信することができる。該例においては、ＭＣＵ１２は、上述されるようにステレオ表現をモノラル表現に変換すること及びその結果得られたモノラル表現を処理することができる。
【００４８】
［００５３］図２は、本開示において説明される技法の様々な態様を実行するＭＣＵ例１２を示したブロック図である。図２の例においては、ＭＣＵ１２は、音声復号器５０Ａと、音声復号器５０Ｂと、加算器５２と、高質（ＨＱ）符号器５４と、低質（ＬＱ）符号器５６Ａと、ＬＱ符号器５６Ｂと、ウォーターマークユニット５８と、を備える。
【００４９】
［００５４］音声復号器５０Ａは、端末デバイスから音声データストリームを受信し及び復号する。例えば、音声復号器５０Ａは、図１において矢印１６Ａによって示されるように、端末デバイス１４Ａから音声データストリームを受信し及び復号することができる。音声復号器５０ＢＢは、異なる端末デバイスから音声データストリームを受信し及び復号する。例えば、音声復号器５０Ｂは、図１において矢印１６Ｂによって示されるように、端末デバイス１４Ｂから音声データストリームを受信し及び復号することができる。音声復号器５０Ａ及び５０Ｂは、音声データストリームを復号するために様々な音声及び／又は話声コーディングプロセスを使用することができる。例えば、音声復号器５０Ａ及び／又は５０Ｂは、符号励起線形予測（ＣＥＬＰ）コーディング、コーデック２コーディング、適応型マルチレートワイドバンド（ＡＭＲ−ＷＢ）コーディング、Ｓｐｅｅｘコーディング、又はその他の形態の声又は音声データの圧縮を用いて音声データストリームを復号することができる。
【００５０】
［００５５］加算器５２は、音声復号器５０Ａ及び５０Ｂから音声データストリームを受信することができる。加算器５２は、ミックスされた音声データストリーム６０を生成することができる。ミックスされた音声データストリーム６０は、音声データストリームによって表現される音のミックスのモノラル表現を含むことができる。幾つかの例においては、加算器５２は、音声データストリームの音声サンプルを加えることによってミックスされた音声データストリーム６０を生成することができる。
【００５１】
［００５６］ＨＱ符号器５４は、ミックスされた音声データストリーム６０を符号化することができる。ＨＱ符号器５４は、ミックスされた音声データストリーム６０を符号化することができ、従って、ミックスされた音声データストリームによって表現される音は、（比較的）高い忠実度（品質を意味することができる）を保持することができる。さらに、幾つかの例においては、ＨＱ符号器５４は、ミックスされた音声データストリーム６０にデータ圧縮を適用する。例えば、ＨＱ符号器５４は、ＣＥＬＰコーディング、コーデック２コーディング、適応型マルチレートワイドバンド（ＡＭＲ−ＷＢ）コーディング、Ｓｐｅｅｘコーディング、又はその他の形態の声又は音声データの圧縮を用いてミックスされた音声データストリーム６０を符号化することができる。
【００５２】
［００５７］ＬＱ符号器５６Ａは、音声復号器５０Ａから音声データストリームを受信することができる。ＬＱ符号器５６Ａは、サブストリームを生成するために音声データストリームを処理することができる。ＬＱ符号器５６Ａは、様々な方法でサブストリームを生成することができる。例えば、ＬＱ符号器５６Ａは、音声データストリームの（比較的）低質のバージョンであるサブストリームを生成することができる。例えば、この例においては、ＬＱ符号器５６Ａは、部分的に、音声サンプルのビット深度を浅くするために音声データストリーム内の音声サンプルの値を量子化することによってサブストリームを生成することができる。他の例においては、ＬＱ符号器５６Ａは、音声データストリームのサンプルレートを低下させることができる。幾つかの例においては、ＬＱ符号器５６Ａは、音声データストリームの音声サンプルをデシメートすることによってサンプルレートを低下させることができる。さらに、幾つかの例においては、ＬＱ符号器５６Ａは、音声データストリームにデータ圧縮、例えば、ＣＥＬＰコーディング、コーデック２コーディング、又はその他の形態の声又は音声データの圧縮、を適用することができる。他の例においては、サブストリームは、音声データストリームの利得のみを示すことができる。幾つかの例においては、ＬＱ符号器５６Ａは、ＨＱ符号器５４によって生成される高質のミックスのサブストリームと異なる形でサブストリームのパラメータをコーディングすることができる。ＬＱ符号器５６Ｂは、音声復号器５０Ｂから音声データストリームを受信することができ及びＬＱ符号器５６Ａと同様の方法で音声データストリームを処理することができる。
【００５３】
［００５８］図２の例においては、ウォーターマークユニット５８は、ＬＱ符号器５６Ａ及び５６Ｂからサブストリームを受信する。さらに、ウォーターマークユニット５８は、高質のミックスされた音声データストリームをＨＱ符号器５４から受信する。さらに、ウォーターマークユニット５８は、高質のミックスされた音声データストリームをＨＱ符号器５４から受信する。ウォーターマークユニット５８は、サブストリームをミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むためにミックスされた音声データストリームを修正することができる。ウォーターマークユニット５８は、サブストリームをミックスされた音声データストリーム内に埋め込むために上述されるステガノグラフィ技法のうちのいずれか、又はその他を使用することができる。ウォーターマークユニット５８は、修正されたミックスされた音声データストリームを出力することができる。ウォーターマーキングは、サブストリームの個々の記述を送信する１つの方法であるにすぎない。その他の例においては、サブストリームは、代替のメディアストリームで送信することができる。
【００５４】
［００５９］図２の例では示されていないが、ＭＣＵ１２は、１つ以上の追加の端末デバイスから音声データストリームを受信することができる。例えば、ＭＣＵ１２は、３つ以上の端末デバイスから音声データストリームを受信することができる。この例においては、ＭＣＵ１２は、追加の端末デバイスに関連するサブストリームを生成するために追加の端末デバイスからのモノ音声データストリームを符号化することができる。さらに、ＭＣＵ１２は、追加の端末デバイスからのモノ音声データストリームをミックスされた音声データストリーム内に加え、その結果得られたミックスされた音声データストリームを符号化することができる。ＭＣＵ１２は、追加の端末デバイスに関連するサブストリームを符号化されたミックスされた音声データ内に埋め込むためにステガノグラフィ技法を使用することができる。
【００５５】
［００６０］図２は、単なる例であり、ＭＣＵ１２は、図２において示される方法以外の方法で実装することができる。例えば、ＭＣＵ１２は、その他の例においては、より多くの、より少ない、又は異なるコンポーネントを含むことができる。図２の例においては、ＭＣＵ１２は、ＬＱ符号器５６Ａと、ＬＱ符号器５６Ｂと、を含む。その他の例においては、端末デバイス１４は、ＬＱ符号器５６Ａ及びＬＱ符号器５６Ｂの機能を提供することができる。換言すると、端末デバイス１４は、サブストリームを生成することができる。該例においては、端末デバイス１４は、通常の品質の音声データストリームをＭＣＵ１２に送信することに加えてサブストリームをＭＣＵ１２に送信することができる。幾つかの例においては、端末デバイス１４は、通常の品質の音声データストリーム内にステガノグラフィ方式でサブストリームを埋め込むことができる。
【００５６】
［００６１］図３は、本開示において説明される技法の様々な態様を実行する際の端末デバイス１４のうちの１つの例を示したブロック図である。端末デバイス１４は、図１の例において示される端末デバイス１４Ａ、１４Ｂ、又は１４Ｃのうちのいずれかを代表することができる。図３は単なる一例であり、端末デバイス１４は、図３以外の方法で実装することができる。例えば、端末デバイス１４は、その他の例においては、より多くの、より少ない、又は異なるコンポーネントを含むことができる。
【００５７】
［００６２］図３の例においては、端末デバイス１４は、マイク１００と、音声符号器１０２と、ネットワークインタフェース１０４と、音声復号器１０６と、を備える。端末デバイス１４は、一組のスピーカー１０８Ａ及び１０８Ｂ（総称して“スピーカー１０８”）も含む。マイク１００は、端末デバイス１４の近傍の音をキャプチャする。例えば、マイク１００は、ユーザの声又は話声の音を検出及びキャプチャすることができる。マイク１００は、検出された音に基づいて電気信号を生成する。音声符号器１０２は、マイク１００によって生成された電気信号を音声データストリーム１１０に変換する。音声データストリーム１１０は、図１において矢印１６によって示される音声データストリームのうちの１つであることができる。音声データストリーム１１０は、検出された音のモノラル表現を含むことができる。幾つかの例においては、音声符号器１０２は、音声データストリームのビットレートを低下させるために音声データストリーム１１０において様々なタイプのデータ圧縮を行うことができる。ネットワークインタフェース１０４は、音声データストリームをＭＣＵ、例えば、ＭＣＵ１２、に送信することができる（図１）。
【００５８】
［００６３］音声データストリーム１１０をＭＣＵ１２に送信することに加えて、ネットワークインタフェース１０４は、ミックスされた音声データストリーム１１２をＭＣＵ１２から受信することができる。ミックスされた音声データストリーム１１２は、図１において矢印１８によって示されるミックスされた音声データストリームのうちの１つであることができる。ネットワークインタフェース１０４は、ミックスされた音声データストリームを音声復号器１０６に提供することができる。音声復号器１０６は、音を再生するためにスピーカー１０８を駆動する信号を生成するために本開示において説明される技法によりミックスされた音声データストリームを処理することができる。
【００５９】
［００７６４］図４は、本開示において説明される技法の様々な態様を実行する際の音声復号器１０６の例を示すブロック図である。図４は、単なる例であり、音声復号器１０６は、図４において示される方法以外のそれで実装することができる。例えば、音声復号器１０６は、その他の例においては、より多い、より少ない、又は異なるコンポーネントを含むことができる。図４の例においては、音声復号器１０６は、ＨＱ復号器１５０と、ＬＱ復号器１５２Ａと、ＬＱ復号器１５２Ｂと、ソース分離ユニット１５４Ａと、ソース分離ユニット１５４Ｂと、ＨＲＴＦユニット１５６Ａと、ＨＲＴＦユニット１５６Ｂと、ステレオ出力ユニット１５８と、を含む。
【００６０】
［００６５］ＨＱ復号器１５０、ＬＱ復号器１５２Ａ、及びＬＱ復号器１５２Ｂは、ミックスされた音声データストリームを受信する。ＨＱ復号器１５０は、ミックスされた音声データストリームに適用されるデータ圧縮を逆にするためにミックスされた音声データを復号することができる。ミックスされた音声データストリームを復号することによって、ＨＱ復号器１５０は、一連の音声サンプルを備える復号されたミックスされた音声データストリームを生成することができる。
【００６１】
［００６６］ＬＱ復号器１５２Ａは、ミックスされた音声データストリームからサブストリームを抽出するための逆ステガノグラフィプロセスを実行することができる。例えば、より低い品質のサブストリームが音声サンプルの最下位ビットにおいてミックスされた音声データストリーム内にステガノグラフィ方式で埋め込まれる場合は、ＬＱ復号器１５２Ａは、ミックスされた音声データストリームを復号することができる。この例においては、ＬＱ復号器１５２Ａは、サブストリームを抽出するために音声サンプルの最下位ビットを分離することができる。幾つかの例においては、ＬＱ復号器１５２Ａによって抽出されたサブストリームは、遠隔会議に参加している端末デバイスのうちの１つにおいて検出された音のモノラル表現を含む。幾つかの例においては、ＬＱ復号器１５２Ａは、サブストリームに適用されたデータ圧縮を逆にするためにサブストリームを復号する。例えば、ＬＱ復号器１５２Ａは、サブストリームを一連の音声サンプルに変換することができる。ＬＱ復号器１５２Ｂは、第２のサブストリームを抽出するために同様の動作を行うことができる。幾つかの例においては、ＬＱ復号器１５２Ｂによって抽出されたサブストリームは、遠隔会議に参加している端末デバイスのうちの他の１つにおいて検出された音のモノラル表現を含む。
【００６２】
［００６７］ミックスされた音声データストリームは、少なくとも第１の端末デバイス及び第２の端末デバイスに関連する音のミックスのモノラル表現を含む。例えば、ミックスされた音声データストリームによって表現される波形は、少なくとも第１の端末デバイス及び第２の端末デバイスによって検出された音によって表現される波形の和であることができる。ソース分離ユニット１５４Ａは、復号されたミックスされた音声データストリームをＨＱ復号器１５０から、サブストリームをＬＱ復号器１５２Ａから、及びサブストリームをＬＱ復号器１５２Ｂから受信することができる。ソース分離ユニット１５４Ａは、ミックスされた音声データストリーム内において、第１の端末デバイスに関連する音を決定するために復号されたミックスされた音声データストリーム及びサブストリームを解析することができる。
【００６３】
［００６８］例えば、サブストリームは、第１の端末デバイスによって検出された音に関連する利得を示すことができる。この例においては、ソース分離ユニット１５４Ｂは、第１の端末デバイスによって検出された音に関連する利得に少なくとも部分的に基づいて、ミックスされた音声データストリームによって表現される音の幾つかの部分が第１の端末デバイスによって検出された音に起因すると決定することができる。他の例においては、サブストリームは、第１の端末デバイスによって検出された音の波形を示すことができる。この例においては、ソース分離ユニット１５４Ａは、ミックスされた音声データストリームによって示される波形に対して、サブストリームによって示される波形に基づいてバンドパスフィルタを適用することができる。バンドパスフィルタは、ミックスされた音声データストリームの波形内で第１の端末デバイスによって検出された音の波形の周波数に対応しない周波数を抑止することができる。他の例においては、ソース分離ユニット１５４Ａは、復号されたミックスされた音声データストリームをＨＱ復号器１５０から受信し、サブストリームをＬＱ復号器１５２から受信することに加えて、サブストリームをＨＱ復号器１５０から受信することができる。この例においては、ソース分離ユニット１５４Ａは、第１の端末デバイスに関連する音を決定するために３つの音声データストリームを使用することができる。
【００６４】
［００６９］他の例においては、ソース分離ユニット１５４Ａは、サブストリームに基づいて及びＨＱ復号器１５０からのミックスされた音声データストリームに基づかずに、第１の端末デバイスに関連する音を決定することができる。他の例においては、ソース分離ユニット１５４Ａは、フレームごとに及びＬＱ復号器１５６２ＡからのサブストリームとＬＱ復号器１５２Ｂからのサブストリームの正規化されたエネルギー比に少なくとも部分的に基づいて、第１の端末デバイスに関連する音を決定することができる。従って、この例においては、ソース分離ユニット１５４Ａは、現在のフレームに関する値αを以下のように計算することができる。
【００６５】
α＝ＮＲＧ_ＬＱＡ／（ＮＲＧ_ＬＱＡ＋ＮＲＧ_ＬＱＢ）
上記の方程式において、ＮＲＧ_ＬＱＡは、現在のフレームに関する、ＬＱ復号器１５２Ａからのサブストリームのエネルギーであり、ＮＲＧ_ＬＱＢは、現在のフレームに関する、ＬＱ復号器１５２Ｂからのサブストリームのエネルギーである。次に、ソース分離ユニット１５４Ａは、現在のフレーム内において、少なくとも部分的には、ミックスされた音声データストリームの現在のフレームの音声サンプルにαを乗じることによって第１の端末デバイスに関連する音を決定することができる。現在のフレーム内で第２の端末デバイスに関連する音は、ミックスされた音声データストリームの現在のフレームの音声サンプルに（１−α）を乗じることによって決定することができる。信号のうちの２つではなく３つのすべての信号を用いてソース分離アルゴリズムを実行することによってより良い性能を達成することができる。幾つかの例においては、サブストリームの低いビットレートに起因して、サブストリームは、サブストリームを個々に復号する上で十分なデータが入ることができないことがあり、ソース分離を補助する上で十分な補助情報のみを含むことができる。他の例においては、ソース分離ユニット１５４Ａは、この段落の２つの前例の組み合わせ、例えば、線形の組み合わせ、を使用することができる。他の例においては、ソース分離ユニット１５４Ａは、周波数帯域に基づいて（すなわち、周波数帯域当たり１つのα率を用いて）この段落の技法例を用いて第１の端末デバイスに関連する音を決定することができる。その他の例においては、ソース分離ユニット１５４Ａは、第１の端末デバイスに関連する音を決定するためにコームフィルタリング（ｃｏｍｂ  ｆｉｌｔｅｒｉｎｇ）を実行するためにピッチ情報を使用することができる。
【００６６】
［００７０］ソース分離ユニット１５４Ｂは、ＨＱ復号器１５０からの復号されたミックスされた音声データストリーム、ＬＱ復号器１５２Ａからのサブストリーム、及びＬＱ復号器１５２Ｂからのサブストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームによって表現される幾つかの音の部分が第２の端末デバイスに起因すると決定することができる。ソース分離ユニット１５４Ｂは、ソース分離ユニット１５４Ａと同様の方法で第２の端末デバイスに起因する音を決定することができる。
【００６７】
［００７１］ＨＲＴＦユニット１５６Ａは、第１の端末デバイスに関連する音に基づいて、ミックスされた音声データストリームの第１のコピーに１つ以上のＨＲＴＦを適用することができる。例えば、ＨＲＴＦユニット１５６Ａは、ミックスされた音声データストリームの第１のコピー内において、遠隔会議に参加しているその他の端末デバイスに関連する音に対して第１の端末デバイスに関連する音の量を増大することができる。さらに、ＨＲＴＦユニット１５６Ａは、ミックスされた音声データストリームの第１のコピー内において、遠隔会議に参加しているその他の端末デバイスに関連する音を時間的に遅延させることができる。該量の変更及び時間的遅延は、ユーザの左右の耳によって気付かれる音の量の違い及び受信時間を模倣することができる。幾つかの例においては、ＨＲＴＦユニット１５６Ａは、ソース分離ユニット１５４Ｂ（又は音声復号器１０６のその他のソース分離ユニット）から、第２の端末デバイス（又はその他の端末デバイス）に関連する音を示すデータを受信することができる。該例において、ＨＲＴＦユニット１５６Ａは、ミックスされた音声データストリームの第１のコピーにさらなるＨＲＴＦを適用するためにこのデータを使用することができる。ＨＲＴＦユニット１５６Ｂは、第２の端末デバイスに関連する音に基づいて、ミックスされた音声データストリームの第２のコピーに１つ以上のＨＲＴＦを適用することができる。ＨＲＴＦユニット１５６Ｂは、同様のＨＲＴＦを上述されるそれらに適用することができる。
【００６８】
［００７２］ステレオ出力ユニット１５８は、ミックスされた音声データストリームの第１のコピーをＨＲＴＦユニット１５６Ａから受信することができ及びミックスされた音声データストリームの第２のコピーをＨＲＴＦユニット１５６Ｂから受信することができる。ステレオ出力ユニット１５８は、マルチチャネル音声データストリームの左チャネルの一部としてミックスされた音声データストリームの第１のコピーを含むステレオ音声データストリームを生成することができ及びミックスされた音声データストリームの第２のコピーをマルチチャネル音声データストリームの右チャネルの一部として含むことができる。スピーカー１０８Ａ（図３）は、左チャネルのデータによって表現される音を出力することができる。スピーカー１０８Ｂ（図３）は、右チャネルのデータによって表現される音を出力することができる。
【００６９】
［００７３］図４の例では示されていないが、音声復号器１０６は、３つ以上のサブストリームを抽出して処理することができる。例えば、音声復号器１０６は、幾つかの例においては、遠隔会議に参加している第３の端末デバイスに関連する音の表現を含む第３のサブストリームを抽出する追加のＬＱ復号器を含むことができる。この例においては、追加のソース分離ユニットは、第３のサブストリームに基づいて、ミックスされた音声データストリーム内において第３の端末デバイスに起因する音を決定することができる。追加のＨＲＴＦユニットは、第３の端末デバイスに関連する音に基づいて、ミックスされた音声データストリームの第３のコピーに１つ以上のＨＲＴＦを適用することができる。この例においては、ステレオ出力ユニット１５８は、マルチチャネル音声データストリームの左（又は右）チャネルがミックスされた音声データストリームの第３のコピー及びミックスされた音声データストリームの第１の（又は第２の）コピーの和に基づくような形でマルチチャネル音声データストリームを生成することができる。
【００７０】
［００７４］図５は、本開示において説明される技法の様々な態様を実行する際のＭＣＵ１２の動作例２００を示したフローチャートである。図５の例においては、音声復号器５０Ａ及び５０Ｂは、第１及び第２の音声データストリームを受信及び復号する（２０２）。加算器５２は、第１及び第２の音声データストリームに基づいて、ミックスされた音声データストリームを生成することができる（２０４）。ＨＱ符号器５４は、ミックスされた音声データストリームを符号化することができる（２０６）。さらに、ＬＱ符号器５４Ａは、第１のサブストリームを生成する（２０８）。第１のサブストリームは、第１の音声データストリームにおいて表現される音のより低質なモノラル表現を含むことができる。幾つかの例においては、ＬＱ符号器５６Ｂは、第１のサブストリームに対してデータ圧縮を行うために声符号器（ボコーダ）を使用することができる。ＬＱ符号器５６Ｂは、第２のサブストリームを生成する（２１０）。第２のサブストリームは、第２の音声データストリームにおいて表現される音のより低質なモノラル表現を含むことができる。幾つかの例においては、ＬＱ符号器５６Ｂは、第２のサブストリームに対してデータ圧縮を行うためにボコーダを使用することができる。
【００７１】
［００７５］ウォーターマークユニット５８は、第１及び第２のサブストリームをミックスされた音声データストリーム内に埋め込むためにステガノグラフィを実行することができる（２１２）。例えば、ウォーターマークユニット５８は、第１及び第２の符号化されたサブストリームを符号化されたミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことができる。ＭＣＵ１２は、ミックスされた音声データストリームの結果的に得られたバージョンを出力することができる（２１４）。
【００７２】
［００７６］図６は、本開示において説明される技法の様々な態様を実行する際の音声復号器１０６の動作例２５０を示したフローチャートである。図５及び６のフローチャートは例である。その他の例においては、ＭＣＵ１２及び音声復号器１０６は、図５及び６の例において示される行動よりも多い、少ない、又は異なるそれらを含む動作を実行することができる。
【００７３】
［００７７］図６の例においては、音声復号器１０６は、ミックスされた音声データストリームを受信する（２５２）。さらに、音声復号器１０６は、ミックスされた音声データストリームから、第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することができる（２５４）。第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する。例えば、第１のサブストリームは、第１の端末デバイスによって検出された音のモノラル表現を含むことができる。音声復号器１０６は、ミックスされた音声データストリームから、第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することもできる（２５６）。第２のサブストリームは、遠隔会議に参加している第２の端末デバイスに関連する。例えば、第２のサブストリームは、第２の端末デバイスによって検出された音のモノラル表現を含むことができる。
【００７４】
［００７８］図６の例では、音声復号器１０６は、ミックスされた音声データストリーム、第１のサブストリーム及び第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成する（２５８）。音声復号器１０６は、２つ以上のスピーカーでの再生のためにマルチチャネル音声データストリームを出力することができる（２６０）。
【００７５】
［００７９］図６の例において、音声復号器１０６は、ミックスされた音声データストリームから２つのサブストリームを抽出する。その他の例においては、音声復号器１０６は、ミックスされた音声データストリームから３つ以上のサブストリームを抽出し、ミックスされた音声データストリーム及び抽出されたサブストリームの各々に基づいてマルチチャネル音声データストリームを生成することが評価されるべきである。
【００７６】
［００８０］１つ以上の例において、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせにおいて実装することができる。ソフトウェアにおいて実装される場合は、それらの機能は、コンピュータによって読み取り可能な媒体において１つ以上の命令又はコードとして格納又は送信すること及びハードウェアに基づく処理ユニットによって実行することができる。コンピュータによって読み取り可能な媒体は、コンピュータによって読み取り可能な記憶媒体を含むことができ、それは、有形な媒体、例えば、データ記憶媒体、又は、例えば、通信プロトコルにより、１つの場所から他へのコンピュータプログラムの転送を容易にするあらゆる媒体を含む通信媒体、に対応する。このように、コンピュータによって読み取り可能な媒体は、概して、（１）非一時的である有形なコンピュータによって読み取り可能な記憶媒体又は（２）通信媒体、例えば、信号又は搬送波、に対応することができる。データ記憶媒体は、本開示において説明される技法の実装のために命令、コード及び／又はデータ構造を取り出すために１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスすることができるあらゆる利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータによって読み取り可能な媒体を含むことができる。
【００７７】
［００８１］一例により、及び制限することなしに、該コンピュータによって読み取り可能な記憶媒体は、希望されるプログラムコードを命令又はデータ構造の形態で格納するために使用することができ及びコンピュータによってアクセス可能であるＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他の光学ディスク記憶装置、磁気ディスク記憶装置、又はその他の磁気記憶デバイス、フラッシュメモリ、又はその他のいずれかの媒体を備えることができる。さらに、どのような接続も、コンピュータによって読み取り可能な媒体であると適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。しかしながら、コンピュータによって読み取り可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、又はその他の遷移媒体は含まず、代わりに、非一時的な、有形の記憶媒体を対象とすることが理解されるべきである。ここにおいて用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザーディスク（登録商標）（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、Ｂｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）と、を含み、ここで、ｄｉｓｋは、通常は磁気的にデータを複製し、ｄｉｓｃは、レーザを用いて光学的にデータを複製する。上記の組み合わせも、コンピュータによって読み取り可能な媒体の適用範囲内に含められるべきである。
【００７８】
［００８２］命令は、１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又はその他の同等の集積又はディスクリート論理回路によって実行することができる。従って、ここにおいて用いられる場合の用語“プロセッサ”は、上記の構造又はここにおいて説明される技法の実装に適するあらゆるその他の構造のうちのいずれかを意味することができる。さらに、幾つかの態様では、ここにおいて説明される機能は、符号化および復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内において提供されること、又は組み合わされたコーデック内に組み入れることができる。さらに、技法は、１つ以上の回路又は論理素子内に完全に実装することが可能である。
【００７９】
［００８３］本開示の技法は、無線ハンドセット、集積回路（ＩＣ）又は一組のＩＣ（例えば、チップセット）を含む非常に様々なデバイス又は装置内に実装することができる。本開示では、開示される技法を実施するように構成されたデバイスの機能上の態様を強調するために様々なコンポーネント、モジュール、又はユニットが説明されるが、異なるハードウェアユニットによる実現は必ずしも要求しない。むしろ、上述されるように、様々なユニットは、適切なソフトウェア及び／又はファームウェアと関係させて、コーデックハードウェアユニット内において結合させること又は上述されるように１つ以上のプロセッサを含む相互運用的なハードウェアユニットの集合によって提供することができる。
【００８０】
［００８４］様々な例が説明されている。これらの及びその他の例は、以下の請求項の範囲内である。
以下に本願出願当初の特許請求の範囲を付記する。
[Ｃ１]  方法であって、
第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成することであって、前記第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、前記第２の音声データストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現することと、
少なくとも部分的に前記ミックスされた音声データストリーム内に第１のサブストリーム及び第２のサブストリームをステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成して前記修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにすることであって、前記第１のサブストリームは、前記第１の端末デバイスに関連する前記音の表現を含み、前記第２のサブストリームは、前記第２の端末デバイスに関連する前記音の表現を含むことと、
前記修正されたモノ音声データストリームを前記遠隔会議に参加している第３の端末デバイスに出力することと、を備える、方法。
[Ｃ２]  前記修正されたミックスされた音声データストリームに関連する音声歪みの量と前記第１及び第２のサブストリームを埋め込む前の前記ミックスされた音声データストリームに関連する音声歪みの量との間の差分は、歪みスレショルドよりも小さく、
前記修正されたミックスされた音声データストリームビットレートは、前記１及び第２のサブストリームを埋め込む前の前記ミックスされたモノ音声データのビットレートよりも大きくないＣ１に記載の方法。
[Ｃ３]  前記ミックスされた音声データストリームを生成することは、前記第１の音声データストリームの音声サンプルを前記第２の音声データストリームの対応する音声サンプルに加えることを備えるＣ１に記載の方法。
[Ｃ４]  前記修正されたミックスされた音声データストリームを生成することは、
少なくとも部分的に前記第１の音声データストリームに関するデータ圧縮形態を適用することによって前記第１のサブストリームを生成することと、
少なくとも部分的に前記第２の音声データストリームに関する前記データ圧縮形態を適用することによって前記第２のサブストリームを生成することと、
同じ又は異なるデータ圧縮形態を前記ミックスされた音声データストリームに適用することと、
前記第１及び第２のサブストリームを前記ミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むことと、を備えるＣ１に記載の方法。
[Ｃ５]  前記第１のサブストリームは、前記第１の端末デバイスに関連する前記音のモノラル表現を含み、前記第２のサブストリームは、前記第２の端末デバイスに関連する前記音のモノラル表現を含むＣ４に記載の方法。
[Ｃ６]  前記第１のサブストリームは、前記第１の音声データストリームよりも低いビットレートを有し、前記第２のサブストリームは、前記第２の音声データストリームよりも低いビットレートを有するＣ５に記載の方法。
[Ｃ７]  前記第１のサブストリームは、前記第１の音声データストリームの電力利得を示し、
前記第２のサブストリームは、前記第２の音声データストリームの電力利得を示すＣ１に記載の方法。
[Ｃ８]  前記修正されたミックスされた音声データストリームを生成することは、前記第１及び第２のサブストリームを示すために前記ミックスされたモノ音声データの最下位ビットを修正することを備えるＣ１に記載の方法。
[Ｃ９]  方法であって、
ミックスされた音声データストリームから第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することであって、前記第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連することと、
前記ミックスされた音声データストリームから第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することであって、前記第２のサブストリームは、前記遠隔会議に参加している第２の端末デバイスに関連することと、
前記ミックスされた音声データストリーム、前記第１のサブストリーム及び前記第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成することと、を備える、方法。
[Ｃ１０]  前記ミックスされた音声データストリームは、前記第１の端末デバイスに関連する音及び前記第２の端末デバイスに関連する音のミックスのモノラル表現を含み、
前記マルチチャネル音声データストリームを生成することは、空間化されたステレオ音声データストリームを生成し、従って、前記第１の端末デバイスに関連する前記音は、聴く人の左側の空間内のある地点から来ると知覚され、第２の端末デバイスに関連する音は、前記聴く人の右側の空間内のある地点から来ると知覚されることを備えるＣ９に記載の方法。
[Ｃ１１]  前記空間化されたステレオ音声データストリームを生成することは、
前記第１のサブストリームに少なくとも部分的に基づいて、前記第１の端末デバイスに関連する前記音を決定することと、
前記第２のサブストリームに少なくとも部分的に基づいて、前記第２の端末デバイスに関連する前記音を決定することと、
前記第１の端末デバイスに関連する前記音に少なくとも部分的に基づいて、前記ミックスされた音声データストリームの第１のコピーに頭部伝達関数（ＨＲＴＦ）を適用することであって、前記空間化されたステレオ音声データストリームの左チャネルは、前記ミックスされた音声データストリームの前記第１のコピーに少なくとも部分的に基づくことと、
前記第２の端末デバイスに関連する前記音に少なくとも部分的に基づいて、前記ミックスされた音声データストリームの第２のコピーに前記ＨＲＴＦを適用することであって、前記空間化されたステレオ音声データストリームの右チャネルは、前記ミックスされた音声データストリームの前記第２のコピーに少なくとも部分的に基づくことと、を備えるＣ１０に記載の方法。
[Ｃ１２]  前記第１の端末デバイスに関連する前記音は、前記第２の端末デバイスに関連する話声と同時並行である話声を含むＣ１０に記載の方法。
[Ｃ１３]  前記第１及び第２のサブストリームを示すための前記ミックスされたモノ音声データの前記音声サンプルの最下位ビットであるＣ９に記載の方法。
[Ｃ１４]  前記第１及び第２のサブストリームのビットレートは、前記ミックスされた音声データストリームのビットレートよりも低いＣ９に記載の方法。
[Ｃ１５]  前記ミックスされた音声データストリームは、モノラル再生用に構成されてステレオ再生用に構成されていない端末デバイスと互換性があるＣ９に記載の方法。
[Ｃ１６]  前記第１のサブストリームは、前記第１の音声データストリームの電力利得を示し、
前記第２のサブストリームは、前記第２の音声データストリームの電力利得を示すＣ９に記載の方法。
[Ｃ１７]  デバイスであって、
第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成するように構成され、前記第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、前記第２の音声データストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現し、
少なくとも部分的に前記ミックスされた音声データストリーム内に第１のサブストリーム及び第２のサブストリームをステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成して前記修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにするように構成され、前記第１のサブストリームは、前記第１の端末デバイスに関連する前記音の表現を含み、前記第２のサブストリームは、前記第２の端末デバイスに関連する前記音の表現を含み、及び、
前記修正されたモノ音声データストリームを前記遠隔会議に参加している第３の端末デバイスに出力するように構成される１つ以上のプロセッサ、を備える、デバイス。
[Ｃ１８]  前記修正されたミックスされた音声データストリームに関連する音声歪みの量と前記第１及び第２のサブストリームを埋め込む前の前記ミックスされた音声データストリームに関連する音声歪みの量との間の差分は、歪みスレショルドよりも小さく、
前記修正されたミックスされた音声データストリームのビットレートは、前記１及び第２のサブストリームを埋め込む前の前記ミックスされたモノ音声データのビットレートよりも大きくないＣ１７に記載のデバイス。
[Ｃ１９]  前記１つ以上のプロセッサは、少なくとも部分的に前記第１の音声データストリームの音声サンプルを前記第２の音声データストリームの対応する音声サンプルに加えることによって前記ミックスされた音声データストリームを生成するように構成されるＣ１７に記載のデバイス。
[Ｃ２０]  前記１つ以上の１つのプロセッサは、
少なくとも部分的に前記第１の音声データストリームに関するデータ圧縮形態を適用することによって前記第１のサブストリームを生成し、
少なくとも部分的に前記第２の音声データストリームに関するデータ圧縮形態を適用することによって前記第２のサブストリームを生成し、
同じ又は異なるデータ圧縮形態を前記ミックスされた音声データストリームに適用し、及び
前記第１及び第２のサブストリームを前記ミックスされた音声データストリーム内にステガノグラフィ方式で埋め込むように構成される、Ｃ１７に記載のデバイス。
[Ｃ２１]  前記第１のサブストリームは、前記第１の端末デバイスに関連する前記音のモノラル表現を含み、前記第２のサブストリームは、前記第２の端末デバイスに関連する前記音のモノラル表現を含むＣ２０に記載のデバイス。
[Ｃ２２]  前記第１のサブストリームは、前記第１の音声データストリームよりも低いビットレートを有し、前記第２のサブストリームは、前記第２の音声データストリームよりも低いビットレートを有するＣ２１に記載のデバイス。
[Ｃ２３]  前記第１のサブストリームは、前記第１の音声データストリームの電力利得を示し、
前記第２のサブストリームは、前記第２の音声データストリームの電力利得を示すＣ１７に記載のデバイス。
[Ｃ２４]  前記１つ以上のプロセッサは、第１及び第２のサブストリームを示すために少なくとも部分的に前記ミックスされたモノ音声データの音声サンプルの最下位ビットを修正することによって前記修正されたミックスされた音声データストリームを生成するように構成されるＣ１７に記載のデバイス。
[Ｃ２５]  前記デバイスは、マルチパーティ制御ユニット（ＭＣＵ）］であるＣ１７に記載のデバイス。
[Ｃ２６]  端末デバイスであって、
ミックスされた音声データストリームから第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行するように構成され、前記第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連し、
前記ミックスされた音声データストリームから第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行するように構成され、前記第２のサブストリームは、前記遠隔会議に参加している第２の端末デバイスに関連し、及び
前記ミックスされた音声データストリーム、前記第１のサブストリーム及び前記第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成するように構成される、端末デバイス。
[Ｃ２７]  前記ミックスされた音声データストリームは、前記第１の端末デバイスに関連する音及び前記第２の端末デバイスに関連する音のミックスのモノラル表現を含み、
前記１つ以上のプロセッサは、少なくとも部分的に空間化されたステレオ音声データストリームを生成することによって前記マルチチャネル音声データストリームを生成し、従って、第１の端末デバイスに関連する前記音は、聴く人の左側の空間内のある地点から来ると知覚されるように構成され、前記第２の端末デバイスに関連する音は、前記聴く人の右側の空間内のある地点から来ると知覚されるように構成されるＣ２６に記載の端末デバイス。
[Ｃ２８]  前記少なくとも１つのプロセッサは、
前記第１のサブストリームに少なくとも部分的に基づいて、前記第１の端末デバイスに関連する前記音を決定するように構成され、
前記第２のサブストリームに少なくとも部分的に基づいて、前記第２の端末デバイスに関連する前記音を決定するように構成され、
前記第１の端末デバイスに関連する前記音に少なくとも部分的に基づいて、前記ミックスされた音声データストリームの第１のコピーに頭部伝達関数（ＨＲＴＦ）を適用するように構成され、前記空間化されたステレオ音声データストリームの左チャネルは、前記ミックスされた音声データストリームの前記第１のコピーに少なくとも部分的に基づき、及び
前記第２の端末デバイスに関連する前記音に少なくとも部分的に基づいて、前記ミックスされた音声データストリームの第２のコピーに前記ＨＲＴＦを適用するように構成され、前記空間化されたステレオ音声データストリームの右チャネルは、前記ミックスされた音声データストリームの前記第２のコピーに少なくとも部分的に基づくＣ２７に記載の端末デバイス。
[Ｃ２９]  前記第１の端末デバイスに関連する前記音は、前記第２の端末デバイスに関連する話声と同時並行である話声を含むＣ２７に記載の端末デバイス。
[Ｃ３０]  前記第１及び第２のサブストリームを示すための前記ミックスされたモノ音声データの音声サンプルの最下位ビットであるＣ２６に記載の端末デバイス。
[Ｃ３１]  前記第１及び第２のサブストリームのビットレートは、前記ミックスされた音声データストリームのビットレートよりも低いＣ２６に記載の端末デバイス。
[Ｃ３２]  前記ミックスされた音声データストリームは、モノラル再生用に構成されてステレオ再生用に構成されていない端末デバイスと互換性があるＣ２６に記載の端末デバイス。
[Ｃ３３]  前記第１のサブストリームは、前記第１の音声データストリームの電力利得を示し、
前記第２のサブストリームは、前記第２の音声データストリームの電力利得を示すＣ２６に記載の端末デバイス。
[Ｃ３４]  デバイスであって、
第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成するための手段であって、前記第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、前記第２の音声データストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現する手段と、
少なくとも部分的に前記ミックスされた音声データストリーム内に第１のサブストリーム及び第２のサブストリームをステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成して前記修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにするための手段であって、前記第１のサブストリームは、前記第１の端末デバイスに関連する前記音の表現を含み、前記第２のサブストリームは、前記第２の端末デバイスに関連する前記音の表現を含む手段と、
前記修正されたモノ音声データストリームを前記遠隔会議に参加している第３の端末デバイスに出力するための手段と、を備える、デバイス。
[Ｃ３５]  端末デバイスであって、
ミックスされた音声データストリームから第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行するための手段であって、前記第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する手段と、
前記ミックスされた音声データストリームから第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行するための手段であって、前記第２のサブストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する手段と、
前記ミックスされた音声データストリーム、前記第１のサブストリーム及び前記第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成するための手段と、を備える、端末デバイス。
[Ｃ３６]  コンピュータによって読み取り可能な記憶媒体であって、デバイスの１つ以上のプロセッサによって実行されたときに、
第１の音声データストリーム及び第２の音声データストリームに少なくとも部分的に基づいて、ミックスされた音声データストリームを生成することを前記デバイスに行わせる命令であって、前記第１の音声データストリームは、遠隔会議に参加している第１の端末デバイスに関連する音を表現し、前記第２の音声データストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する音を表現する命令、
少なくとも部分的に前記ミックスされた音声データストリーム内に第１のサブストリーム及び第２のサブストリームをステガノグラフィ方式で埋め込むことによって修正されたミックスされた音声データストリームを生成して前記修正されたミックスされた音声データストリームがモノ音声再生及びステレオ音声再生の両方をサポートするようにすることを前記デバイスに行わせる命令であって、前記第１のサブストリームは、前記第１の端末デバイスに関連する前記音の表現を含み、前記第２のサブストリームは、前記第２の端末デバイスに関連する前記音の表現を含む命令、及び
前記修正されたモノ音声データストリームを前記遠隔会議に参加している第３の端末デバイスに出力することを前記デバイスに行わせるための命令、を格納する、コンピュータによって読み取り可能な記憶媒体。
[Ｃ３７]  コンピュータによって読み取り可能な記憶媒体であって、デバイスの１つ以上のプロセッサによって実行されたときに、
ミックスされた音声データストリームから第１のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することを前記デバイスに行わせる命令であって、前記第１のサブストリームは、遠隔会議に参加している第１の端末デバイスに関連する命令、
前記ミックスされた音声データストリームから第２のサブストリームを抽出するための逆ステガノグラフィプロセスを実行することを前記デバイスに行わせる命令であって、前記第２のサブストリームは、前記遠隔会議に参加している第２の端末デバイスに関連する命令、及び
前記ミックスされた音声データストリーム、前記第１のサブストリーム及び前記第２のサブストリームに少なくとも部分的に基づいて、マルチチャネル音声データストリームを生成することを前記デバイスに行わせる命令、を格納する、コンピュータによって読み取り可能な記憶媒体。
【図１】
0006342429.tif 000002
【図２】
0006342429.tif 000003
【図３】
0006342429.tif 000004
【図４】
0006342429.tif 000005
【図５】
0006342429.tif 000006
【図６】
0006342429.tif 000007