(57)【要約】  ビデオ通信用の方法およびシステムと、ビデオ通信装置が提供されている。得られたピクチャ内の、受信した各オーディオストリームに対応するサブピクチャをマークし、各オーディオストリームの担持情報が得られたピクチャのサブピクチャの位置にしたがって取得され、オーディオストリームおよび対応する担持情報を端末に送信し、端末は、オーディオストリームの受信した担持情報にしたがってオーディオ信号を処理することで、オーディオストリームに担持情報を持たせる。ビデオ通信中に、端末にオーディオストリームおよび担持情報を受信させ、担持情報にしたがってオーディオストリームに担持情報の処理を実行し、端末と担持情報処理装置間の頻繁な通信を削減し、システムの柔軟性を向上させる。
2010541343.tif 000002
【特許請求の範囲】
【請求項１】
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークし、
前記合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得し、
前記オーディオストリームおよび前記対応する位置情報を端末に送信し、前記端末によって、前記オーディオストリームの前記受信した位置情報にしたがってオーディオ信号を処理することで、前記オーディオストリームが前記位置情報を伝えること、
を含むビデオ通信方法。
【請求項２】
前記受信した各オーディオストリームに対応する前記合成ピクチャにおける前記サブピクチャをマークすることがさらに、
前記オーディオストリームのうちのいずれか１つが、前記合成ピクチャにおける対応するサブピクチャを有していない場合に、前記オーディオストリームをボイスオーバとしてマークすることを含む、請求項１に記載の方法。
【請求項３】
前記受信した各オーディオストリームに対応する前記合成ピクチャにおける前記サブピクチャをマークすることがさらに、
前記オーディオストリームのうちのいずれか１つが、前記合成ピクチャにおける対応するサブピクチャを有している場合、前記対応するサブピクチャに対応するように前記オーディオストリームをマークすることを含む、請求項１に記載の方法。
【請求項４】
受信した各オーディオストリームに対応する前記合成ピクチャにおける前記サブピクチャをマークする前記ステップがさらに、
前記オーディオストリームのうちのいずれか１つに対応する単一のピクチャが受信された場合に、前記単一のピクチャに対応するように前記オーディオストリームをマークし、他のオーディオストリームをボイスオーバとしてマークすることを含む、請求項１に記載の方法。
【請求項５】
前記オーディオストリームの前記位置情報がさらに、水平方向の角度および垂直方向の角度を含む、請求項１に記載の方法。
【請求項６】
前記オーディオストリームの前記位置情報がさらに、水平方向の相対的距離および垂直方向の相対的距離を含む、請求項１に記載の方法。
【請求項７】
前記オーディオ信号を処理することがさらに、左側サウンドチャネルおよび右側サウンドチャネルにおけるサウンド強度を調整する処理を実行することを含む、請求項１に記載の方法。
【請求項８】
前記オーディオ信号を処理することがさらに、頭部伝達関数（ＨＲＴＦ）によるフィルタリングを実行することを含む、請求項１に記載の方法。
【請求項９】
コンピュータプログラムコードを備えるコンピュータプログラム製品であって、前記コンピュータプログラムコードがコンピュータによって実行される場合に、前記コンピュータプログラムコードが、請求項１〜８のいずれか１つに記載の方法のステップを実行するように前記コンピュータに命令する、コンピュータプログラム製品。
【請求項１０】
コンピュータプログラムコードを記憶するために適用可能なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコードがコンピュータによって実行される場合に、前記コンピュータプログラムコードが、請求項１〜８のいずれか１つに記載の方法のステップを実行するように前記コンピュータに命令するコンピュータ読み取り可能な記憶媒体。
【請求項１１】
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されているマークユニットと、
前記合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得するように構成されている取得ユニットと、
前記オーディオストリームおよび前記対応する位置情報を送信するように構成されている送信ユニットと、
前記オーディオストリームが前記位置情報を伝えるように、前記受信済み位置情報にしたがってオーディオ信号を処理するように構成されている端末ユニットと、
を備えるビデオ通信システム。
【請求項１２】
前記位置情報を前記オーディオストリームに挿入し、前記オーディオストリームを前記送信ユニットに送信するように構成されているオーディオストリーム結合ユニットをさらに備える、請求項１１に記載のシステム。
【請求項１３】
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されているマークユニットと、
前記合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得するように構成されている取得ユニットと、
前記オーディオストリームおよび前記対応する位置情報を送信するように構成されている送信ユニットと、
を備えるビデオ通信装置。
【請求項１４】
前記位置情報を前記オーディオストリームに挿入し、前記オーディオストリームを前記送信ユニットに送信するように構成されているオーディオストリーム結合ユニットをさらに備える、請求項１３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信技術の分野、より具体的には、ビデオ通信方法、システムおよび装置に関する。
【背景技術】
【０００２】
テレビの普及に伴って、ユーザは、テレビスクリーンのサイズに関してさらに高い要求をしている。ビデオ通信システムによっては、プロジェクタや表示用テレビ壁を用いるものもある。この場合、１つのピクチャ（映像）が少なくとも２つのサブピクチャによって合成されると、異なるサブピクチャにおける話者（音源）の位置は、スクリーンサイズに関する要求が低ければ、かなり異なる。しかしながら、現在のマルチメディア通信システムにおいては、サウンドが出る位置は、話者の位置の変化によって変わることはない。このことは、サウンドとサブピクチャの位置情報の不一致をもたらし、ビデオ通信のリアリティ感に影響を与える。
【０００３】
従来技術において、ビデオ会議システムは、マルチポイント・コントロール・ユニット（ＭＣＵ）、シングルサウンドチャネル端末、少なくとも２つのサウンドチャネルを有するマルチチャネル端末などの装置を含む。端末およびＭＣＵが接続された後、端末は、音量の大きい音源（ラウドスピーカ）の位置および数を含む構成状況をＭＣＵに報告する。ＭＣＵは、端末のラウドスピーカの構成状況にしたがってサウンドチャネルの数を端末ごとに割り当てる。例えば、端末にラウドスピーカが１つだけ存在する場合、シングルチャネルが割り当てられる。端末にラウドスピーカが２つ存在する場合、２つのサウンドチャネルが割り当てられる。端末にラウドスピーカが４つ存在する場合、４つのサウンドチャネルが割り当てられる。会議中、ＭＣＵが各エンドポイントからビデオストリームおよびオーディオストリームを受信し、ビデオストリームを１つのマルチピクチャに結合し、マルチピクチャを端末に送信する。オーディオストリームは、各端末のサウンドチャネルの構成状況にしたがって生成される。例えば、端末１が４つのサウンドチャネルを有する場合、４つのオーディオストリームが端末１に生成され、各オーディオストリームは端末１のラウドスピーカ１つに対応する。オーディオストリームは普通、振幅および時間遅延を調整することによって生成される。このように処理された後、端末１においては、サウンドがピクチャ内の話者の位置から発生されるように感じられるため、サウンドの位置情報感覚が生成される。
【０００４】
従来技術の研究および実施において、本発明者は、従来技術には少なくとも以下の問題を有することを発見した。ＭＣＵは、ラウドスピーカの数にしたがって対応する数のオーディオストリームを生成する前に、ラウドスピーカの構成状況について知らなければならない。このように、ＭＣＵと端末の関係はかなり緊密になり、柔軟性が小さくなる状況をもたらした。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は、ビデオ通信方法、システムおよび装置に関しており、ＭＣＵと端末間の密接な関係を緩和し、柔軟性を向上させるために適用可能である。
【課題を解決するための手段】
【０００６】
技術的問題を解決するために、本発明の実施形態は、以下の技術的解決策によって実施される。
【０００７】
一実施形態において、本発明は、以下のステップを含むビデオ通信方法を提供する。即ち、
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャがマーク（標識付け）され、
各オーディオストリームの位置情報が、合成ピクチャにおける各サブピクチャの位置にしたがって取得され、
オーディオストリームおよび対応する位置情報は端末に送信され、次いで端末は、受信したオーディオストリームの位置情報にしたがってオーディオ信号を処理することで、オーディオストリームが位置情報を伝える（有する）ようにする。
【０００８】
別の実施形態では、本発明はコンピュータプログラム製品を提供する。コンピュータプログラム製品はコンピュータプログラムコードを含む。コンピュータプログラムコードがコンピュータによって実行されると、コンピュータプログラムコードは、ビデオ通信方法の全てのステップを実行するようにコンピュータに命令可能である。
【０００９】
別の実施形態では、本発明はコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体はコンピュータプログラムコードを記憶する。コンピュータプログラムコードがコンピュータによって実行されると、コンピュータプログラムコードは、ビデオ通信方法の全てのステップを実行するようにコンピュータに命令可能である。
【００１０】
さらに別の実施形態では、本発明はビデオ通信システムを提供し、これは、マークユニットと、取得ユニットと、送信ユニットと端末ユニットとを含んでいる。
マークユニットは、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されている。
取得ユニットは、合成ピクチャにおける各サブピクチャの位置にしたがって各オーディオストリームの位置情報を取得するように構成されている。
送信ユニットは、オーディオストリームおよび対応する位置情報を送信するように構成されている。
端末ユニットは、受信した位置情報にしたがってオーディオ信号を処理することで、オーディオストリームが位置情報を伝えるように構成されている。
【００１１】
別の実施形態では、本発明は、マークユニットと、取得ユニットと、送信ユニットとを含むビデオ通信装置を提供する。
マークユニットは、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されている。
取得ユニットは、合成ピクチャにおける各サブピクチャの位置にしたがって各オーディオストリームの位置情報を取得するように構成されている。
送信ユニットは、オーディオストリームおよび対応する位置情報を送信するように構成されている。
【００１２】
技術的解決策から分かるように、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャがマークされ、各オーディオストリームの位置情報が取得され、オーディオストリームおよび対応する位置情報が端末に送信される。したがって、端末におけるラウドスピーカの構成状況が既知である必要はない。端末は、受信したオーディオストリームの位置情報にしたがってオーディオ信号を処理することで、オーディオストリームが位置情報を伝えるようにする。このように、ＭＣＵと端末間の緊密な関係が緩和され、柔軟性が向上する。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態にしたがったビデオ会議システムの概略図である。
【図２】本発明の実施形態にしたがったビデオ処理の概念図である。
【図３】本発明の実施形態にしたがったオーディオ処理の概念図である。
【図４】本発明の実施形態にしたがった相対的位置の図である、
【図５】本発明の第１の実施形態にしたがった方法のフローチャートである。
【図６】本発明の第２の実施形態にしたがった方法のフローチャートである。
【図７】本発明の第３の実施形態にしたがった方法のフローチャートである。
【図８】本発明の実施形態にしたがったシステムの概略図である。
【図９】本発明の実施形態にしたがった装置の概略図である。
【発明を実施するための形態】
【００１４】
本発明の実施形態は、ビデオ通信中のシステムの柔軟性を増すための、ビデオ通信方法、システムおよび装置を提供する。本発明の目的、技術的解決策および利点をより理解しやすくするために、本発明はさらに、添付の図面および実施形態を参照して詳細に後述される。
【００１５】
図１は、本発明の実施形態にしたがったビデオ会議システムの概略図である。図１を参照すると、第１の端末１０１と、第２の端末１０２と、第３の端末１０３が、各々のビデオストリームおよびオーディオストリームをＭＣＵ１０４に別々に送信する。ＭＣＵは受信したビデオストリームおよびオーディオストリームを処理し、処理したオーディオストリームおよびビデオストリームを第１の端末１０１と、第２の端末１０２と、第３のストリーム１０３に送信する。
【００１６】
ＭＣＵが受信したビデオストリームおよびオーディオストリームを処理するプロセスについて後述する。
【００１７】
図２は、本発明の実施形態にしたがったビデオ処理の概念図である。図２を参照すると、例えば、第１の端末１０１は、第２の端末１０２および第３の端末１０３によって合成されたピクチャを見ることを要求し、第２の端末１０２は、第２の端末１０２および第３の端末１０３によって合成されたピクチャを見ることを要求し、第３の端末１０３は、第２の端末１０２のビデオを見ることを要求している。これらのリクエストに基づき、ＭＣＵ１０４は、第２の端末１０２のビデオストリームを第３の端末１０３に直接転送し、加えて第２の端末１０２および第３の端末１０３のビデオストリームを復号し、マルチピクチャを合成し、このマルチピクチャを符号化し、符号化されたマルチピクチャを第１の端末１０１および第２の端末１０２に送信する。マルチピクチャが合成されるとき、マルチピクチャにおける各端末ビデオ信号の解像度は、要件にしたがって調整される必要がある。例えば、第２の端末１０２を左側のサブピクチャとして、かつ第３の端末１０３を右側のサブピクチャとして合成されたマルチピクチャについて、水平方向における第２の端末１０２および第３の端末１０３の解像度は半減可能であるため、合成されたマルチピクチャの解像度は不変のままである。バーチャル会議システムや、より高い解像度要件の他の場合については、第２の端末１０２および第３の端末１０３の解像度は低減されないこともある。代わりに、２つのビデオ信号は水平方向に結合され、合成されたマルチピクチャ信号は、オリジナルの解像度の２倍の解像度を有する。
【００１８】
ＭＣＵ１０４は、各端末のオーディオストリームを復号し、オーディオミキシングを実行し、ミキシングされた音声を符号化し、符号化されたオーディオ信号を端末に送信する。オーディオミキシング中、一般的に、端末自体の音声はミキシングされない。例えば、ＭＣＵ１０４は、第２の端末１０２および第３の端末１０３のオーディオストリームにオーディオミキシングを実行し、ミキシングされたオーディオストリームを符号化し、符号化されたオーディオストリームを第１の端末１０１に送信する。ＭＣＵ１０４は、第１の端末１０１および第３の端末１０３のオーディオストリームにオーディオミキシングを実行し、ミキシングされたオーディオストリームを符号化し、符号化されたオーディオストリームを第２の端末１０２に送信する。ＭＣＵ１０４は、第１の端末１０１および第２の端末１０２のオーディオストリームにオーディオミキシングを実行し、ミキシングされたオーディオストリームを符号化し、符号化されたオーディオストリームを第３の端末１０３に送信する。
【００１９】
図３は、本発明の実施形態にしたがったオーディオ処理の概念図である。図３を参照すると、第１の端末１０１、第２の端末１０２および第３の端末１０３はオーディオストリームをＭＣＵ１０４に送信する。ＭＣＵ１０４は、これらの端末のオーディオストリームを受信し、オーディオストリームを復号し、復号化されたオーディオストリームにオーディオミキシングを実行し、ミキシングされたオーディオストリームを符号化し、符号化されたオーディオストリームを各端末に別個に送信する。例えば、第２の端末１０２および第３の端末１０３のオーディオミキシングされたストリームが第１の端末１０１に送信され、第１の端末１０１および第３の端末１０３のオーディオミキシングされたストリームが第２の端末１０２に送信され、第１の端末１０１および第２の端末１０２のオーディオミキシングされたストリームが第３の端末１０３に送信される。
【００２０】
本発明の方法が、これら概念図および概略図を参照して詳細に後述される。
【００２１】
図５は、本発明の第１の実施形態にしたがった方法のフローチャートである。
【００２２】
ステップ２０１において、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャがマーク（標識付け）される。受信したオーディオストリームおよび合成ピクチャは以下に示される。
【００２３】
第１の例において、ＭＣＵが第１の端末に送信するビデオストリームは第２の端末よび第３の端末の合成ピクチャであり、第２の端末のサブピクチャが左側にあり、第３の端末のサブピクチャは右側にある。ＭＣＵが第１の端末に送信するオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含んでおり、第２の端末をマークするオーディオストリームは左側サブピクチャに対応し、第３の端末のオーディオストリームは右側サブピクチャに対応する。第２の例において、ＭＣＵが第２の端末に送信するビデオストリームは第２の端末および第３の端末の合成ピクチャである。ＭＣＵが第２の端末に送信するオーディオストリームは第１の端末のオーディオストリームおよび第３の端末のオーディオストリームを含んでおり、この場合第３の端末をマークするオーディオストリームは右側サブピクチャに対応するが、第１の端末のオーディオストリームは対応するサブピクチャを有しておらず、第１の端末をマークするオーディオストリームはボイスオーバ（画面外音声）であるか、ボイスオーバ以外のマークとして作用する。
【００２４】
第３の例において、ＭＣＵが第３の端末に送信するビデオストリームは第２の端末のビデオストリームであり、ＭＣＵが第３の端末に送信するオーディオストリームは第１の端末のオーディオストリームおよび第２の端末のオーディオストリームを含む。したがって、第３の端末は第２の端末の単一のピクチャを見る。単一ピクチャは合成ピクチャの特殊ケースとみなされる。第２の端末をマークするオーディオストリームはシングルピクチャに対応し、第１の端末のオーディオストリームはボイスオーバとしてマークされる。
【００２５】
ステップ２０２において、各オーディオストリームの水平方向および垂直方向の角度を含む位置情報が、合成ピクチャにおける各サブピクチャの位置にしたがって取得される。
【００２６】
ステップ２０３において、オーディオストリームおよび対応する位置情報が端末に送信される。例えば、ＭＣＵが第１の端末に送信するオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含む。第２の端末のオーディオストリームは第１のサウンドチャネルに配置される。第３の端末のオーディオストリームは第２のサウンドチャネルに配置される。加えて、ＭＣＵが大量のオーディオストリームを特定の端末に送信する場合、コードレートを低下させるために、最大エネルギーを有するオーディオストリームが第１のサウンドチャネルに割り当てられ、２番目に高いエネルギーを有するオーディオストリームは第２のサウンドチャネルに割り当てられる。そして、他のオーディオストリームは復号化され、オーディオミキシングされ、そして第３のサウンドチャネルに割り当てられるように１つのオーディオストリームに符号化される。
【００２７】
位置情報は端末に直接送信されるか、オーディオストリーム結合ユニットに転送される。オーディオストリーム結合ユニットは位置情報をオーディオストリームに挿入し、位置情報をオーディオストリームと共に端末に送信する。
【００２８】
ステップ２０４において、端末が、受信したオーディオストリームの位置情報にしたがって、頭部伝達関数（ＨＲＴＦ）フィルタリングをオーディオ信号に実行することで、オーディオストリームは位置情報を伝える。
【００２９】
本実施形態において、位置情報は、水平方向および垂直方向の角度によって表されており、フィルタリングにはＨＲＴＦを用いる。
【００３０】
図６は、本発明の第２の実施形態にしたがった方法のフローチャートである。
【００３１】
ステップ３０１において、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャがマークされる。受信されたオーディオストリームおよび合成ピクチャは以下の例によって示される。
【００３２】
第１の例において、ＭＣＵが第１の端末の送信するビデオストリームは第２の端末および第３の端末の合成ピクチャであり、第２の端末のサブピクチャは左側にあり、第３の端末のサブピクチャは右側にある。ＭＣＵが第１の端末に送信するオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含んでおり、第２の端末をマークするオーディオストリームは左側サブピクチャに対応しており、第３の端末のオーディオストリームは右側サブピクチャに対応している。第２の例において、ＭＣＵが第２の端末に送信するビデオストリームは第２の端末および第３の端末の合成ピクチャである。ＭＣＵが第２の端末に送信するオーディオストリームは第１の端末のオーディオストリームおよび第３の端末のオーディオストリームを含んでおり、第３の端末をマークするオーディオストリームは右側サブピクチャに対応するが、第１の端末のオーディオストリームは対応するサブピクチャを有しておらず、第１の端末をマークするオーディオストリームはボイスオーバであるか、ボイスオーバ以外のマークとして作用する。例えば、オーディオストリームは、ピクチャが表示されない場合のオーディオストリームとしてマークされる。
【００３３】
第３の例において、ＭＣＵが第３の端末に送信するビデオストリームは第２の端末のビデオストリームである。ＭＣＵが第３の端末に送信するオーディオストリームは、第１の端末のオーディオストリームおよび第２の端末のオーディオストリームを含んでいる。したがって、第３の端末は第２の端末の単一のピクチャを見る。単一ピクチャは、合成ピクチャの特殊ケースとみなされる。第２の端末をマークするオーディオストリームは単一のピクチャに対応しており、第１の端末のオーディオストリームはボイスオーバとしてマークされる。
【００３４】
ステップ３０２において、各オーディオストリームの水平方向の相対的距離および垂直方向の相対的距離などの位置情報が、合成ピクチャにおける各サブピクチャの位置にしたがって取得される。相対的位置の表示は図４に示されるとおりである。オーディミキシングに使用されるオーディオストリームそれ自身は、位置情報は有しない。ポイントｏはビデオ画像の中心ポイントであり、ｗは画像の幅であり、ｈは画像の高さである。座標系は、ポイントｏを原点として確立されている。したがって、画像のポイントＭは座標（ｗ０、ｈ０）を有する。ｗ’およびｈ’は、水平方向および垂直方向それぞれのポイントＭの相対的距離を表しており、以下の式を使用して算出可能である：
【００３５】
ｗ’＝ｗ０／（ｗ／２）         （１）
ｈ’＝ｈ０／（ｈ／２）         （２）
【００３６】
端末１に送信されるオーディオストリームは端末２および端末３のミキシング済みオーディオであり、この場合、オーディオミキシングに関与した端末２のオーディオストリームは左側サブピクチャに対応し、オーディオミキシングに関与した端末３のオーディオストリームは右側サブピクチャに対応する。左側サブピクチャの中心ポイントはＣ１であり、右側サブピクチャの中心ポイントはＣ２である。したがって、端末２および端末３のオーディオストリームの位置情報は、水平方向および垂直方向それぞれのポイントＣ１およびＣ２の相対的距離によって表されてもよい。つまり、端末２のオーディオストリームの位置情報は（−０．５，０）であり、端末３のオーディオストリームの位置情報は（０．５，０）である。前のステップでは、ボイスオーバについて言及した。ボイスオーバとして作用するオーディオストリームについて、位置情報自体は（−１，０）または（１，０）と設定されてもよい。単一のピクチャに対応するオーディオストリームの場合、この位置情報は（０，０）である。オーディオミキシングに関与したオーディオストリームが位置情報を伝える場合、この位置情報は以下のように算出される。端末２および端末３のオーディオストリームがミキシングされて、それぞれ左側サブピクチャおよび右側サブピクチャに対応し、端末２および端末３自体のオーディオストリームの位置情報はそれぞれ（ｗ’２，ｈ’２）および（ｗ’３，ｈ’３）であるとする。これらの新たな位置情報は（−０．５＋（ｗ’２／２），ｈ’２）および（０．５＋（ｗ’３／２），ｈ’３）であるはずである。
【００３７】
ステップ３０３において、オーディオストリームおよび対応する位置情報が端末に送信される。例えばＭＣＵが第１の端末に送信するオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含む。第２の端末のオーディオストリームは第１のサウンドチャネルに割り当てられる。第３の端末のオーディオストリームは第２のサウンドチャネルに割り当てられる。加えて、ＭＣＵが大量のオーディオストリームを特定の端末に送信する場合、コードレートを低下させるために、最大エネルギーを有するオーディオストリームは第１のサウンドチャネルに割り当てられ、２番目に高いエネルギーを有するオーディオストリームは第２のサウンドチャネルに割り当てられ、他のオーディオストリームは復号され、オーディオミキシングされ、そして第３のサウンドチャネルに割り当てられるように１つのオーディオストリームに符号化される。
【００３８】
位置情報は端末に直接送信されてもよい。位置情報はまた、オーディオストリームに挿入されて、オーディオストリームと共に端末に送信されてもよい。
【００３９】
ステップ３０４において、端末は、受信したオーディオストリームの位置情報にしたがってＨＲＴＦフィルタリングをオーディオ信号に実行することで、オーディオストリームは位置情報を伝えるようになる。
【００４０】
本実施形態では、位置情報は、水平方向の相対的距離および垂直方向の相対的距離によって表され、フィルタリングはＨＲＴＦを用いる。
【００４１】
図７は、本発明の第３の実施形態にしたがった方法のフローチャートである。
【００４２】
ステップ４０１において、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャがマークされる。受信したオーディオストリームおよび合成ピクチャは以下の例によって示される。
【００４３】
第１の例において、ＭＣＵが第１の端末に送信するビデオストリームは、第２の端末および第３の端末の合成ピクチャであり、第２の端末のサブピクチャは左側にあり、第３の端末のサブピクチャは右側にある。ＭＣＵが第１の端末に送信するオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含んでおり、第２の端末をマークするオーディオストリームは左側サブピクチャに対応し、第３の端末のオーディオストリームは右側サブピクチャに対応する。第２の例において、ＭＣＵが第２の端末に送信するビデオストリームは第２の端末および第３の端末の合成ピクチャである。ＭＣＵが第２の端末に送信するオーディオストリームは、第１の端末のオーディオストリームおよび第３の端末のオーディオストリームを含み、第３の端末をマークするオーディオストリームは右側サブピクチャに対応するが、第１の端末のオーディオストリームは対応するサブピクチャを有しておらず、第１の端末をマークするオーディオストリームはビデオオーバであるか、ビデオオーバ以外のマークとして作用する。例えば、オーディオストリームは、ピクチャが表示されない場合のオーディオストリームとしてマークされる。
【００４４】
第３の例において、ＭＣＵが第３の端末に送信するビデオストリームは第２の端末のビデオストリームである。ＭＣＵが第３の端末に送信するオーディオストリームは第１の端末のオーディオストリームおよび第２の端末のオーディオストリームを含む。したがって、第３の端末は、第２の端末の単一のピクチャを見る。単一ピクチャは合成ピクチャの特殊ケースとみなされる。第２の端末をマークするオーディオストリームは単一のピクチャに対応しており、第１の端末のオーディオストリームはボイスオーバとしてマークされる。
【００４５】
ステップ４０２において、各オーディオストリームの水平方向の相対的距離および垂直方向の相対的距離などの位置情報が、合成ピクチャにおける各サブピクチャの位置にしたがって取得される。相対的距離の表示は図４に示されているとおりである。オーディオミキシングに関与するオーディオストリーム自身は位置情報を有していない。ポイントｏはビデオ画像の中心ポイントであり、ｗは画像の幅であり、ｈは画像の高さである。座標系は、ポイントｏを原点として確立される。したがって、画像のポイントＭは座標（ｗ０，ｈ０）を有する。ｗ’およびｈ’は、水平方向および垂直方向それぞれのポイントＭの相対的距離を表しており、以下の式が算出に用いられる。
【００４６】
ｗ’＝ｗ０／（ｗ／２）         （１）
ｈ’＝ｈ０／（ｈ／２）         （２）
【００４７】
端末１に送信されるオーディオストリームは端末２および端末３のミキシング済みオーディオであり、オーディオミキシングに関与した端末２のオーディオストリームは左側サブピクチャに対応し、オーディオミキシングに関与した端末３のオーディオストリームは右側サブピクチャに対応する。左側サブピクチャの中心ポイントはＣ１であり、右側サブピクチャの中心ポイントはＣ２である。したがって、端末２および端末３のオーディオストリームの位置情報は水平方向および垂直方向それぞれのポイントＣ１およびＣ２の相対的距離によって表されてもよい。つまり、端末２のオーディオストリームの位置情報は（−０．５，０）であり、端末３のオーディオストリームの位置情報は（０．５，０）である。前のステップでは、ボイスオーバについて言及した。ボイスオーバとして作用するオーディオストリームの場合、この位置情報は（−１，０）または（１，０）と設定されてもよい。単一ピクチャに対応するオーディオストリームの場合、この位置情報は（０，０）である。オーディオミキシングに関与したオーディオストリームが位置情報を伝える場合、位置情報は以下のように算出される。端末２および端末３のオーディオストリームがミキシングされ、それぞれ左側サブピクチャおよび右側サブピクチャに対応し、端末２および端末３のオーディオストリームの位置情報がそれぞれ（ｗ’２，ｈ’２）および（ｗ’３，ｈ’３）であるとする。これらの新たな位置情報は（−０．５＋（ｗ’２／２），ｈ’２）および（０．５＋（ｗ’３／２），ｈ’３）であるはずである。
【００４８】
ステップ４０３において、オーディオストリームおよび対応する位置情報は端末に送信される。例えば、第１の端末に送信されたオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含む。第２の端末のオーディオストリームは第１のサウンドチャネルに割り当てられる。第３の端末のオーディオストリームは第２のサウンドチャネルに割り当てられる。加えて、ＭＣＵが大量のオーディオストリームを特定の端末に送信する場合、コードレートを低下させるために、最大エネルギーを有するオーディオストリームは第１のサウンドチャネルに割り当てられ、２番目に高いエネルギーを有するオーディオストリームは第２のサウンドチャネルに割り当てられ、他のオーディオストリームは復号され、オーディオミキシングされ、そして第３のサウンドチャネルに割り当てられるように１つのオーディオストリームに符号化される。
【００４９】
位置情報は端末に直接送信されても、オーディオストリーム結合ユニットに転送されてもよい。オーディオストリーム結合ユニットが位置情報をオーディオストリームに挿入すると、位置情報はオーディオストリームと共に端末に送信される。
【００５０】
ステップ４０４において、端末が、オーディオストリームのした受信位置情報にしたがって左側サウンドチャネルおよび右側サウンドチャネルのサウンド振幅を調整することによって、オーディオ信号にフィルタリングを実行することで、オーディオストリームは位置情報を伝える。例えば、具体的な調整方法は以下の２つの式で記述される。
【００５１】
ｗ’＝（ｇ１−ｇ２）／（ｇ１＋ｇ２）         （１）
ｃ＝ｇ１＊ｇ１＋ｇ２＊ｇ２                   （２）
【００５２】
式（１）および（２）において、ｃは定数であり、ｇ１は左側サウンドチャネルのサウンド強度利得であり、ｇ２は右側サウンドチャネルのサウンド強度利得であり、ｗ’は、ステップ３０４で算出された水平方向の相対的距離である。
【００５３】
本実施形態では、位置情報は、水平方向の相対的距離および垂直方向の相対的距離によって表される。フィルタリングは、左側サウンドチャネルおよび右側サウンドチャネルの振幅を調整することによって実行される。
【００５４】
本発明の実施形態にしたがった方法のフローチャートを上述した。以下、本発明の実施形態にしたがったシステムの概略図を説明する。
【００５５】
図８は、本発明の実施形態にしたがったシステムの概略図である。システムは、マークユニット５０１と、取得ユニット５０２と、送信ユニット５０３と、端末ユニット５０４とを含む。
【００５６】
マークユニット５０１は、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されている。例えば、ＭＣＵ１０４のオーディオストリーム入力インタフェースは各端末からオーディオストリームを受信し、このオーディオストリームを、各受信端末に対応するマークユニット５０１に送信する。
【００５７】
取得ユニット５０２は、合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得するように構成されている。例えば、各オーディオストリームの水平方向の角度および垂直方向の角度が取得されるか、あるいは各オーディオストリームの水平方向の相対的距離および垂直方向の相対的距離が取得される。
【００５８】
送信ユニット５０３は、オーディオストリームおよび対応する位置情報を送信するように構成されている。例えば、第１の端末に送信されたオーディオストリームは、第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含む。第２の端末のオーディオストリームは第１のサウンドチャネルに割り当てられ、第３の端末のオーディオストリームは第２のサウンドチャネルに割り当てられる。加えて、大量のオーディオストリームが特定の端末に送信される必要がある場合、コードレートを低下させるために、最大エネルギーを有するオーディオストリームが第１のサウンドチャネルに割り当てられ、２番目に高いエネルギーを有するオーディオストリームは第２のサウンドチャネルに割り当てられ、他のオーディオストリームは復号され、オーディオミキシングされ、そして第３のサウンドチャネルに割り当てられるように１つのオーディオストリームに符号化される。
【００５９】
端末ユニット５０４は、オーディオストリームが位置情報を伝えるように、受信された位置情報にしたがってオーディオ信号を処理するように構成されている。例えば、フィルタリング動作は、左側サウンドチャネルおよび右側サウンドチャネルのサウンド強度を調整することによって、あるいはＨＲＴＦ技術によって実行される。
【００６０】
システムはさらにオーディオストリーム結合ユニット５０５を含む。
【００６１】
オーディオストリーム結合ユニット５０５は、位置情報をオーディオストリームに挿入し、オーディオストリームを送信ユニット５０３に送信するように構成されている。
【００６２】
図９は、本発明の実施形態にしたがった装置の概略図である。装置は、マークユニット５０１と、取得ユニット５０２と、送信ユニット５０３とを含む。
【００６３】
マークユニット５０１は、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されている。例えば、ＭＣＵ１０４のオーディオストリーム入力インタフェースは各端末からオーディオストリームを受信し、このオーディオストリームを、各受信端末に対応するマークユニット５０１に送信する。
【００６４】
取得ユニット５０２は、合成ピクチャにおける各サブピクチャの位置にしたがって各オーディオストリームの位置情報を取得するように構成されている。例えば、各オーディオストリームの水平方向の角度および垂直方向の角度が取得されるか、各オーディオストリームの水平方向の相対的距離および垂直方向の相対的距離が取得される。
【００６５】
送信ユニット５０３は、オーディオストリームおよび対応する位置情報を送信するように構成されている。例えば、第１の端末に送信されたオーディオストリームは第２の端末のオーディオストリームおよび第３の端末のオーディオストリームを含む。第２の端末のオーディオストリームは第１のサウンドチャネルに割り当てられ、第３の端末のオーディオストリームは第２のサウンドチャネルに割り当てられる。加えて、大量のオーディオストリームが特定の端末に送信される必要がある場合、コードレートを低下させるために、最大エネルギーを有するオーディオストリームは第１のサウンドチャネルに割り当てられ、２番目に高いエネルギーを有するオーディオストリームは第２のサウンドチャネルに割り当てられ、他のオーディオストリームは復号され、オーディオミキシングされ、そして第３のチャネルに割り当てられるように１つのオーディオストリームに符号化される。
【００６６】
装置はさらにオーディオストリーム結合ユニット５０５を含む。
【００６７】
オーディオストリーム結合ユニット５０５は、位置情報をオーディオストリームに挿入し、オーディオストリームを送信ユニット５０３に送信するように構成されている。
【００６８】
前述の実施形態から分かるように、受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャがマークされ、各オーディオストリームの位置情報が取得され、オーディオストリームおよび対応する位置情報が端末に送信される。したがって、端末におけるラウドスピーカの構成状況は既知である必要はない。端末が、受信したオーディオストリームの位置情報にしたがってオーディオ信号を処理すると、オーディオストリームは位置情報を伝える。したがって、ＭＣＵと端末間の緊密な関係は緩和され、柔軟性が向上する。
【００６９】
当業者は、本発明の実施形態にしたがった方法のステップの全部または一部がプログラム命令ハードウェアによって実施可能であることを理解するはずである。プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
【００７０】
記憶媒体は、リード・オンリー・メモリ（ＲＯＭ）、磁気ディスクまたは光ディスクであってもよい。
【００７１】
本発明のビデオ通信用の方法、システムおよび装置が詳細に説明された。当業者は、本発明の理念にしたがった具体的な実施および適用範囲で本発明の変更および修正をすることができる。したがって、本明細書は本実施例に制限されるものと解釈されるべきではない。
【図１】
2010541343.tif 000003
【図２】
2010541343.tif 000004
【図３】
2010541343.tif 000005
【図４】
2010541343.tif 000006
【図５】
2010541343.tif 000007
【図６】
2010541343.tif 000008
【図７】
2010541343.tif 000009
【図８】
2010541343.tif 000010
【図９】
2010541343.tif 000011
【手続補正書】
【提出日】平成22年5月14日(2010.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークし、
前記合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得し、
前記オーディオストリームおよび前記対応する位置情報を端末に送信し、前記端末によって、前記オーディオストリーム及び前記受信した位置情報にしたがってオーディオ信号を処理することで、前記オーディオストリームが前記位置情報を伝えること、
を含むビデオ通信方法。
【請求項２】
前記受信した各オーディオストリームに対応する前記合成ピクチャにおける前記サブピクチャをマークすることがさらに、
前記オーディオストリームのうちのいずれか１つが、前記合成ピクチャにおける対応するサブピクチャを有していない場合に、前記オーディオストリームをボイスオーバとしてマークすることを含む、請求項１に記載の方法。
【請求項３】
前記受信した各オーディオストリームに対応する前記合成ピクチャにおける前記サブピクチャをマークすることがさらに、
前記オーディオストリームのうちのいずれか１つが、前記合成ピクチャにおける対応するサブピクチャを有している場合、前記対応するサブピクチャに対応するように前記オーディオストリームをマークすることを含む、請求項１に記載の方法。
【請求項４】
受信した各オーディオストリームに対応する前記合成ピクチャにおける前記サブピクチャをマークする前記ステップがさらに、
前記オーディオストリームのうちのいずれか１つに対応する単一のピクチャが受信された場合に、前記単一のピクチャに対応するように前記オーディオストリームをマークし、他のオーディオストリームをボイスオーバとしてマークすることを含む、請求項１に記載の方法。
【請求項５】
前記オーディオストリームの前記位置情報がさらに、水平方向の角度および垂直方向の角度を含む、請求項１に記載の方法。
【請求項６】
前記オーディオストリームの前記位置情報がさらに、水平方向の相対的距離および垂直方向の相対的距離を含む、請求項１に記載の方法。
【請求項７】
前記オーディオ信号を処理することがさらに、左側サウンドチャネルおよび右側サウンドチャネルにおけるサウンド強度を調整する処理を含む、請求項１に記載の方法。
【請求項８】
前記オーディオ信号を処理することがさらに、頭部伝達関数（ＨＲＴＦ）によるフィルタリングを含む、請求項１に記載の方法。
【請求項９】
コンピュータプログラムコードを備えるコンピュータプログラム製品であって、前記コンピュータプログラムコードがコンピュータによって実行される場合に、前記コンピュータプログラムコードが、請求項１〜８のいずれか１つに記載の方法のステップを実行するように前記コンピュータに命令する、コンピュータプログラム製品。
【請求項１０】
コンピュータプログラムコードを記憶するために適用可能なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコードがコンピュータによって実行される場合に、前記コンピュータプログラムコードが、請求項１〜８のいずれか１つに記載の方法のステップを実行するように前記コンピュータに命令するコンピュータ読み取り可能な記憶媒体。
【請求項１１】
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されているマークユニットと、
前記合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得するように構成されている取得ユニットと、
前記オーディオストリームおよび前記対応する位置情報を送信するように構成されている送信ユニットと、
前記オーディオストリームが前記位置情報を伝えるように、前記受信済み位置情報にしたがってオーディオ信号を処理するように構成されている端末ユニットと、
を備えるビデオ通信システム。
【請求項１２】
前記位置情報を前記オーディオストリームに挿入し、前記オーディオストリームを前記送信ユニットに送信するように構成されているオーディオストリーム結合ユニットをさらに備える、請求項１１に記載のシステム。
【請求項１３】
受信した各オーディオストリームに対応する合成ピクチャにおけるサブピクチャをマークするように構成されているマークユニットと、
前記合成ピクチャにおける各サブピクチャの位置にしたがって、各オーディオストリームの位置情報を取得するように構成されている取得ユニットと、
前記オーディオストリームおよび前記対応する位置情報を送信するように構成されている送信ユニットと、
を備えるビデオ通信装置。
【請求項１４】
前記位置情報を前記オーディオストリームに挿入し、前記オーディオストリームを前記送信ユニットに送信するように構成されているオーディオストリーム結合ユニットをさらに備える、請求項１３に記載の装置。
【国際調査報告】
2010541343.tif 000012
2010541343.tif 000013
2010541343.tif 000014
2010541343.tif 000015
2010541343.tif 000016