(57)【要約】本発明は、少なくともビデオ・フレーム（VF）のシーケンスおよびそれに関連したオーディオ・フレーム（AF）のシーケンスを具えるマルチメディア信号を通信装置で受信する方法に関するものである。前記方法は、オーディオ・フレームのシーケンスおよびビデオ・フレームのシーケンスを処理し（21）表示する（25）ステップと、オーディオ・フレームを遅延させるために、該オーディオ・フレームをバッファリングするステップ（24）と、ビデオ・イベントが表示されるべきビデオ・フレームに含まれるか否か検出するステップ（22）と、オーディオ・フレームのシーケンスとビデオ・フレームのシーケンスが同期するように、オーディオ・フレームをバッファリング・ステップによって遅延させる第１の表示モード（m1）と、オーディオ・フレームを遅延させずに、オーディオ・フレームのシーケンスおよびビデオ・フレームのシーケンスが表示させる第２の表示モード（m2）と、を選択するステップ（23）と、を具え、ビデオ・イベントが検出されたとき第１の表示モードが選択され、その他のとき第２の表示モードが選択される。
2009508386.tif 000002
【特許請求の範囲】
【請求項１】
少なくともビデオ・フレームのシーケンスおよびそれに関連したオーディオ・フレームのシーケンスを具えるマルチメディア信号を通信装置で受信する方法であって、前記方法が、
前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスを処理し表示するステップと、
オーディオ・フレームを遅延させるために、該オーディオ・フレームをバッファリングするステップと、
ビデオ・イベントが表示されるべきビデオ・フレームに含まれるか否か検出するステップと、
前記オーディオ・フレームのシーケンスと前記ビデオ・フレームのシーケンスが同期するように、オーディオ・フレームを前記バッファリング・ステップによって遅延させる第１の表示モードと、前記オーディオ・フレームを遅延させずに、前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスが表示させる第２の表示モードと、を選択するステップと、
を具え、
ビデオ・イベントが検出されたとき、前記第１の表示モードが選択され、その他のとき前記第２の表示モードが選択される方法。
【請求項２】
前記検出ステップが、顔の認識および追跡のステップを含む請求項１に記載の方法。
【請求項３】
前記顔の認識および追跡のステップは、検出した顔が話しているか否かを見分けるリップモーション検出サブステップを具える請求項２に記載の方法。
【請求項４】
前記顔の認識および追跡のステップは、前記リップモーションに前記オーディオ・フレームを一致させるサブステップを更に具える請求項３に記載の方法。
【請求項５】
前記顔の認識および追跡のステップは、皮膚色分析に基づく請求項２に記載の方法。
【請求項６】
前記バッファリング・ステップは、前記第１の表示モードから前記第２の表示モードに変わる際、バッファされるオーディオ・データの量が減少するように、オーディオ・フレームの表示を加速するダイナミック・アダプティブ・オーディオ・バッファリング・サブステップを具える請求項１に記載の方法。
【請求項７】
少なくともビデオ・フレームのシーケンスおよびそれに関連したオーディオ・フレームのシーケンスを具えるマルチメディア信号を受信する通信装置であって、前記通信装置は、
前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスを処理し表示するためのデータプロセッサと、
オーディオ・フレームを遅延させるためのバッファと、
ビデオ・イベントが表示されるべきビデオ・フレームに含まれるか否か示すための信号伝達手段と、
を具え、
前記データプロセッサは、前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスが同期するように、オーディオ・フレームを前記バッファによって遅延させる第１の表示モードと、前記オーディオ・フレームを遅延させずに、前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスが表示させる第２の表示モードと、を選択するように構成され、
前記ビデオ・イベントが信号伝達されたとき前記第１の表示モードが選択され、その他のとき前記第２の表示モードが選択される通信装置。
【請求項８】
前記信号伝達手段は２台のカメラを具え、前記データプロセッサは、使用中の前記カメラに従って、前記表示モードを選択するように構成される請求項７に記載の通信装置。
【請求項９】
前記信号伝達手段は回転式のカメラを具え、前記データプロセッサは、前記回転式のカメラの位置に従って、前記表示モードを選択するように構成される請求項７に記載の通信装置。
【請求項１０】
前記信号伝達手段は、選択されるべき表示モードを、受信された前記マルチメディア信号から抽出するように構成される請求項７に記載の通信装置。
【請求項１１】
前記信号伝達手段は、顔の認識および追跡の手段を具える請求項７に記載の通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくともビデオ・フレームのシーケンスおよびそれに関連したオーディオ・フレームのシーケンスを具えるマルチメディア信号を通信装置で受信する方法に関するものである。
【０００２】
本発明は、このような方法を実現する通信装置にも関するものでもある。
【０００３】
本発明の代表的なアプリケーションは、例えば、ビデオテレフォニー（全二重）およびプッシュ・トゥ・ショー（Push-To-Show）（半二重）である。
【背景技術】
【０００４】
例えば、ＭＰＥＧ−４符号化標準規格によるエンコーディング技術のために、ビデオ・エンコーディング／デコーディングは、オーディオ・エンコーディング／デコーディングより処理に多くの時間がかかる。これは、ビデオ・エンコーディングで使用する時間予測（エンコーダもデコーダも１つ以上の画像を参照画像として使用する）およびフレームの周期性に起因する。典型的なオーディオ・コーデックは２０ｍｓごとに１フレームを生成するが、一方、ビデオは１秒につき１０フレームのレートで、すなわち１００ｍｓごとに１フレームを生成する。
【０００５】
その結果、厳密な同期、いわゆるリップシンクを保つためには、オーディオ・フレームとビデオ・フレームが最終的に同時に再生されるように、オーディオ／ビデオ受信装置において、オーディオ・フレームをビデオ・フレームの追加の処理時間に等しい時間の間バッファすることが必要である。リップシンクの実現方法は、例えば、リアルタイム・トランスポートプロトコルＲＴＰ（Request for Comments RFC 3550）に記載されている。
【０００６】
このオーディオ・バッファリングは、ひいては、通信の品質を悪化させる追加の遅延を引き起こす。なぜなら、よく知られているように、このような遅延（すなわち、受信側で信号を再生するのに必要な時間）はできるだけ小さくなければならないのである。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、オーディオ／ビデオ表示品質と通信品質との間のより良好な妥協点をもたらす、オーディオ・フレームおよびビデオ・フレームを具えるマルチメディア信号の受信方法を提案することにある。
【課題を解決するための手段】
【０００８】
そのために、本発明による方法は、
前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスを処理し表示するステップと、
オーディオ・フレームを遅延させるために、該オーディオ・フレームをバッファリングするステップと、
ビデオ・イベントが表示されるべきビデオ・フレームに含まれるか否か検出するステップと、
前記オーディオ・フレームのシーケンスと前記ビデオ・フレームのシーケンスが同期するように、オーディオ・フレームを前記バッファリング・ステップによって遅延させる第１の表示モードと、前記オーディオ・フレームを遅延させずに、前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスを表示させる第２の表示モードとを選択するステップとを具え、前記ビデオ・イベントが検出されたとき、前記第１の表示モードが選択され、その他のとき前記第２の表示モードが選択されることを特徴とする。
【０００９】
その結果として、本発明に従う方法は、同期リップシンク・モード（すなわち第１のモード）と、非同期モード（すなわち第２のモード）の２つの表示モードを提案する。同期モードは、関連したビデオ・イベント（例えば、話している人の顔）が検出されたとき、すなわち、厳密な同期が本当に必要なとき選択される。
【００１０】
本発明の一実施例では、検出ステップは、顔の認識および追跡のステップを含む。有益には、顔の認識および追跡のステップは、検出した顔が話しているか否かを区別するリップモーション検出サブステップを具える。さらに、顔の認識および追跡のステップは、唇の動きにオーディオ・フレームを一致させるサブステップを更に具える。顔の認識および追跡のステップは皮膚色分析に基づくこともできる。バッファリング・ステップは、第１の表示モードから第２の表示モードに変わる際、バッファされるオーディオ・データの量を減らすためにオーディオ・フレームの表示を加速するダイナミック・アダプティブ・オーディオ・バッファリング・サブステップを具えることができる。
【００１１】
本発明は、少なくともビデオ・フレームのシーケンスおよびそれに関連したオーディオ・フレームのシーケンスを具えるマルチメディア信号を受信する通信装置にも関するものであり、前記通信装置は、
前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスを処理し表示するためのデータプロセッサと、
オーディオ・フレームを遅延させるためのバッファと、
ビデオ・イベントが表示されるべきビデオ・フレームに含まれるか否か示すための信号伝達手段とを具え、
前記データプロセッサは、前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスが同期するように、オーディオ・フレームを前記バッファによって遅延させる第１の表示モードと、前記オーディオ・フレームを遅延させずに、前記オーディオ・フレームのシーケンスおよび前記ビデオ・フレームのシーケンスを表示させる第２の表示モードとを選択するように構成され、前記ビデオ・イベントが信号伝達されたとき前記第１の表示モードが選択され、その他のとき前記第２の表示モードが選択されることを特徴とする。
【００１２】
本発明の一実施例では、信号伝達手段は２台のカメラを具え、データプロセッサは使用中のカメラに従って、表示モードを選択するように構成される。
【００１３】
本発明の他の実施例では、信号伝達手段は回転式のカメラを具え、データプロセッサは、回転式のカメラの位置に従って、表示モードを選択するように構成される。
【００１４】
また、本発明の他の実施例では、信号伝達手段は、選択されるべき表示モードを、受信されたマルチメディア信号から抽出するように構成される。
【発明を実施するための最良の形態】
【００１５】
本発明のこれらおよびその他の態様は、以下に記載されている実施例を参照して説明され、明らかになる。
【００１６】
本発明は、添付図面を単に一例として参照しながら、更に詳細に説明される。
【００１７】
本発明は、マルチメディア・データコンテンツに対応するビットストリームを受信する方法および装置に関する。このマルチメディア・データコンテンツは少なくともビデオ・フレームのシーケンスおよびそれに関連するオーディオ・フレームのシーケンスを含む。ビデオ・フレームおよびオーディオ・フレームの前記シーケンスはパケット化され、データコンテンツ・サーバによって伝送される。次に、結果として生じたビットストリームは、受信装置で処理され（例えば、デコードされ）、表示される。
【００１８】
図１につき参照すると、本発明の例示的実施例に従う通信装置10が示される。この通信装置はコードレスホンか携帯電話である。しかし、通信装置が携帯情報端末（ＰＤＡ）やカメラ等の他の装置でもよいということは、当業者にとって明らかである。コードレスホンあるいは携帯電話は、ダイヤル入力およびその他の機能のための多数のボタンスイッチ12を具えるキー入力部11を含むハウジング16を具える。表示部13はキー入力部11の上に配置される。電話10の両端部にそれぞれ位置するマイクロホン14およびスピーカ15は、オーディオ信号を周囲から受信するため、および、電気通信網からのオーディオ信号を伝送するためにそれぞれ設けられる。
【００１９】
カメラ装置17（その外側のレンズが見えている）は、表示部13の上に、電話10に組み込まれる。このカメラ装置は、被発呼側に関する情報を示す画像（例えば人の顔）を取り込むことができる。このようなビデオ送信／受信を達成するために、電話10はオーディオ・コーデックおよびビデオ・コーデック、すなわちエンコーダおよびデコーダ（図示せず）を具える。一実施例として、ビデオ・コーデックは、ＭＰＥＧ４またはＨ．２６３ビデオ符号化／復号化標準規格に基づく。同様に、オーディオ・コーデックは、例えば、ＭＰＥＧ−ＡＡＣまたはＧ．７２９オーディオ符号化／復号化標準規格に基づく。カメラ装置17は、電話10のハウジング16に対して回転式に取り付けられている。代案として、電話はハウジングの両側に２台のカメラ装置を具えることもできる。
【００２０】
本発明による通信装置は、少なくとも２つの異なる表示モード、すなわち、
・オーディオ・フレームとビデオ・フレームとの間の完全な同期を生成するために音声経路に遅延を与える、以後「リップシンク・モード」と称する第１の表示モード、
・音声処理経路に追加の遅延を与えない、以後「高速モード」と称する第２の表示モード、
を実現するように構成される。この第２のモードは、遅延管理の観点からより良好な通信を生ずるが、特に話している人の顔がビデオ・フレーム内にあるとき、同期の欠如が問題になりうる。
【００２１】
本発明は、リップシンク・モードと高速モードとを自動的に切り替えるメカニズムを提案する。本発明は、ビデオ・フレームが対話中の人の顔を表示するとき、大抵、厳密な同期が要求されるという事実に基づく。そういうわけで、厳密な同期は、「リップシンク」と称される。人間の脳は、話者を理解するために音声および読唇術を使用するので、音と唇の動きとの間の音声−映像分裂に対して非常に敏感である。
【００２２】
図２につき参照すると、本発明に係る方法は、オーディオおよびビデオ信号を抽出し、それらをデコーディングするための処理ステップPROC（21）を具える。
【００２３】
本発明に係る方法は、表示されるべきビデオ・フレーム内に話している人の顔があるか否か調べるために、検出ステップDET（22）を具える。
【００２４】
選択ステップSEL（23）において、このような顔が検出されるとリップシンク・モードm1が選択され、検出されないと高速モードm2が選択される。
【００２５】
リップシンク・モードm1が選択される場合、オーディオ・フレームのシーケンスおよびビデオ・フレームのシーケンスが同期するように、オーディオ・フレームはバッファリング・ステップBUF（24）によって遅延される。
【００２６】
最後に、表示ステップDIS（25）において、オーディオ・フレームのシーケンスおよびビデオ・フレームのシーケンスが表示される。
【００２７】
検出ステップは、例えば、既存の顔認識および追跡技術に基づく。従来、これらの技術は、例えば、オートカメラフォーカシングおよび安定化／追跡に用いられ、本発明でも、これらの技術をビデオ・フレーム内に顔があるか否かを検出するために使用することを提案する。
【００２８】
一実施例によれば、顔検出／追跡ステップは、ビデオ・フレームの色度値を分析し、皮膚は特定の色度範囲にある色度値を有すると仮定する、皮膚色分析に基づく。より詳細には、第１フレーム内の顔を検出するために皮膚の色分類および形態的分類が用いられる。この検出された顔は、第１フレーム内の顔の位置をマーカーとして用いて局所領域の皮膚を検出することにより、後続のフレームについて追跡される。この方法の特別な利点は、皮膚色分析法が単純かつ強力であるということである。このような顔検出／追跡ステップは、例えば、「Human Face Detection and Tracking using Skin Color Modeling and Connected Component Operators」P. Kuchi, P. Gabbur, P.S. Bhat, S. David著、IETE Journal of Research, Vol. 38, No. 3&4, pp. 289-293, May-Aug 2002に記載されている。
【００２９】
他の実施例によれば、顔検出／追跡ステップは、ダイナミックプログラミングに基づく。この場合、顔検出ステップは、人間の顔の特定の部分（例えば、唇、目、鼻または耳）を検出するために、反復動的プログラミングを用いた高速テンプレート照合手順を具える。顔検出アルゴリズムは、正面の顔用に設計されているが、オンライン適合顔モデルを使って非正面の顔を追跡するために適用することができる。このような顔検出／追跡ステップは、例えば、「Face detection and tracking in video using dynamic programming」、Zhu Liu and Yao Wang著、ICIP00, Vol I: pp. 53-56, October 2000に記載されている。
【００３０】
本発明は上記の顔検出／追跡ステップに制限されず、他の方法、例えばニューラルネットワーク・ベースの方法に基づくものとすることもできることは、当業者に明らかである。
【００３１】
顔検出／追跡ステップは、検出された顔が話しているという可能性を与えることができることが有益である。そのために、前記顔検出／追跡ステップは、検出された顔が話しているか否かを見分けることができるリップモーション（唇の動き）検出サブステップを具える。さらに、そのリップモーションをオーディオ信号と一致させることができ、その場合には、ビデオの顔が話している人であるという明確な認識ができる。そのために、リップモーション検出サブステップは、部分的にまたは完全に、唇を読んで、リップモーションをオーディオ信号と一致させることにより、ビデオの人が話している人か否かを調べることが可能である。
【００３２】
このようなリップモーション検出サブステップは、例えば、ダイナミック輪郭追跡（dynamic contour tracking）に基づく。更に詳細には、リップトラッカは、唇の輪郭を追跡するために、カルマンフィルタベースのダイナミック輪郭追跡を使用する。一方は横顔像から、他方は正面像から唇を追跡する２つの代替リップトラッカを用いることもでき、これらのリップトラッカは、唇の輪郭からビジュアル・スピーチ認識特徴を抽出するように構成される。このようなリップモーション検出サブステップは、例えば、「Real-Time Lip Tracking for Audio-Visual Speech Recognition Applications」、Robert Kaucic, Barney Dalton, and Andrew Blake著、Proc. European Conf. Computer Vision, pp. 376-387, Cambridge, UK, 1996に記載されている。
【００３３】
選択されるべき表示モード（すなわち、リップシンク・モードまたは高速モード）の選択を、顔の検出および追跡に関して説明してきた。しかし、本発明はこの特定の実施例に制限されていないことは、当業者に明らかである。例えば、選択されるべき表示モードを検出する方法は、１台はユーザの方に向き、もう１台は他の方向を向く、２台のカメラを有する装置（例えば電話）に対しては、使用中のカメラの検出に基づくこともできる。代案として、選択されるべき表示モードを検出する方法は、回転可能な１台のみのカメラと回転するカメラの回転角を検出する手段とを含む装置に対しては、カメラの回転角に基づくこともできる。
【００３４】
本発明の他の実施例では、検出は送信機側で行うことができ、送信機側は、リップシンク・モードで再生されるべきビデオ・シーケンスを送信していることを信号伝達することができる。これは、顔検出を計算する負荷が送信機側のみにある１対多の通信において有利であり、これによって、多くの受信機のリソース（電池寿命など）を節約できる可能性がある。このために、送信されるべきマルチメディア・ビットストリームは、オーディオ・フレームおよびビデオ・フレームに加えて、受信機で、マルチメディア・コンテンツの表示にどのモードを用いるべきかを示すフラグを含む。送信機側で検出を行うことの他の利点は、検出を移動テレビ電話のような携帯デバイスに必須のカメラ安定化およびフォーカシングと組み合わせることができる点にある。
【００３５】
検出が受信機側で行われる場合、その検出は、マニュアル・オーバーライドおよびユーザ選択で利用可能な追加の機能となりうる点に留意されたい。
【００３６】
エンド・ツー・エンドの遅延をできる限り小さく保つために、本発明の一実施例に従う方法は、ダイナミック・アダプティブ・オーディオ・バッファリング・ステップを含む。オーディオ・バッファは、ネットワーク・ジッターがバッファをアンダーフローさせ、可聴のアーチファクトを生じ得るという制約に従って、できるだけ小さく保たれる。この方法は、リアルタイムより高速にあるいは低速に再生するために音声のピッチを変更する方法を有することを必要とするので、高速モードにおいてのみ可能である。本発明のこの特定の実施例の利点は、この動的バッファ管理を用いて、表示モード間の切り替えを管理することができるということである。具体的には、
・高速モードからリップシンク・モードになるとき、音声データがバッファに蓄積されるように音声の再生が減速され、
・リップシンク・モードから高速モードになるとき、バッファ内の音声データの量が減少するように音声の再生がリアルタイムより高速になる。
【００３７】
本発明は、２つの表示モードの選択について説明してきたが、追加のモードを設けることができることは当業者にとって明らかである。例えば、「低速モード」と称する第３のモードを用いることができる。前記低速モードは、いわゆる「自然な動き」に基づく追加の後処理に対応し、これによれば、時間ｔの現在のビデオ・フレームが、時間ｔ−１の過去のビデオ・フレームおよび時間ｔ＋１の次のビデオ・フレームから補間される。このような低速モードは、ビデオ品質を改善するが、オーディオとビデオとの間の遅延を増加する。それゆえ、この第３のモードは、話している人の顔が表示されるべきビデオ・フレーム内に存在しない場合に適している。
【００３８】
本発明は、話している人の顔の検出について説明してきたが、このようなビデオ・イベントの検出に応じて、ビデオ・フレームのシーケンスとオーディオ・フレームのシーケンスとの間の厳密な同期が必要とされるという条件で、本発明の原理は、他のビデオ・イベントの検出に一般化できることは当業者にとって明らかである。一実施例として、ビデオ・イベントは、コーラスで歌っている、ある音楽に合わせて踊っている、あるいは、拍手している数人の人に対応させることができる。検出のために、ビデオ・イベントは、周期的あるいは擬似周期的であることが必要である。このような周期的なビデオ・イベントの検出は、例えば、「Efficient Visual Event Detection using Volumetric Features」、Yan Ke, Rahul Sukthankar, Martial Hebert著、iccv2005の論文に記載されている。更に詳細には、本論文は、ビデオ・シーケンス中のイベント検出のための一般的なローカル・デスクリプタ方法の代用として、ボリュメトリック特徴の使用を研究している。このために、２Ｄボックス特徴の概念は、３Ｄ時空間的ボリュメトリック特徴に一般化される。従って、リアルタイムイベント検出器は、ビデオ・シーケンスを空間的に時間的に能率的に走査する一連のフィルタをボリュメトリック特徴に基づいて学習させることによって、関心のある各動きごとに構成される。イベント検出器は、人間の動きの分類の関連したタスクに適応し、拍手している手のような動きを検出するように構成される。
【００３９】
上述の実施例は例示であり、本発明を限定するものではなく、当業者は添付の特許請求の範囲で特定される発明の範囲を逸脱することなく多くの代替実施例を設計可能であるということに留意する必要がある。「具えている」および「具える」などの単語は、請求項あるいは本明細書に列記されていない要素またはステップの存在を除外するものではない。単数形で述べる要素は複数の要素を除外するものではないし、その逆も成り立つ。
【００４０】
本発明は、異なる要素を具えるハードウェアによって、および、最適にプログラムされたコンピュータによって実装することができる。いくつかの手段を列挙している装置請求項において、これらの手段のいくつかは、ハードウェアの同一の要素によって具現化できる。特定の手段が相互に異なる従属請求項に引用されているが、このことは、これらの手段の組合せが有利に使用できないことを示すものではない。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施例に従う通信装置である。
【図２】本発明に従う、オーディオ・フレームおよびビデオ・フレームを具えるマルチメディア信号の受信方法のブロック図である。
【図１】
2009508386.tif 000003
【図２】
2009508386.tif 000004
【国際調査報告】
2009508386.tif 000005
2009508386.tif 000006
2009508386.tif 000007