(57)【要約】【課題】タイムスタンプ等の付加情報を用いることなく、映像と音声のリップシンクを行うこと。【解決手段】本発明の映像音声処理装置は、映像を入力する映像処理部と、音声を入力する音声処理部と、前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する。【選択図】図２
2015012557.tif 000002
【特許請求の範囲】
【請求項１】
映像を入力する映像処理部と、
音声を入力する音声処理部と、
前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、
前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、
前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する映像音声処理装置。
【請求項２】
前記映像音声同期部は、
前記映像上会話開始タイミングと前記音声上会話開始タイミングとの差が、予め設定された許容時間の範囲内に収まる場合に、前記映像と前記音声の出力タイミングを調整する、請求項１に記載の映像音声処理装置。
【請求項３】
前記映像音声同期部は、
前記許容時間に相当するバッファ長に設定され、前記映像を一時的に蓄積する映像用バッファと、
前記許容時間に相当するバッファ長に設定され、前記音声を一時的に蓄積する音声用バッファと、を含み、
前記音声用バッファの先頭に前記音声上会話開始タイミングに対応する会話開始音声フレームの音声が蓄積され、前記映像用バッファの先頭以外に前記映像上会話開始タイミングに対応する会話開始映像フレームの映像が蓄積されている場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力する、請求項２に記載の映像音声処理装置。
【請求項４】
前記映像音声同期部は、
前記音声用バッファの先頭に前記会話開始音声フレームの音声が蓄積され、前記映像用バッファに前記会話開始映像フレームの映像が蓄積されていない場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭の映像フレームの映像を出力し、
前記会話開始音声フレームの音声を出力した後に、前記映像用バッファに前記会話開始映像フレームの映像が蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力し、
以降、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームが入力され、前記Ｘ個の映像フレームのうちの先頭の映像フレームの映像が前記映像用バッファの先頭に蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップ、削除、または早送りし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する、請求項３に記載の映像音声処理装置。
【請求項５】
映像を入力する映像処理部と、
音声を入力する音声処理部と、
前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、
前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、
前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する映像音声処理システム。
【請求項６】
前記映像音声同期部は、
前記映像上会話開始タイミングと前記音声上会話開始タイミングとの差が、予め設定された許容時間の範囲内に収まる場合に、前記映像と前記音声の出力タイミングを調整する、請求項５に記載の映像音声処理システム。
【請求項７】
前記映像音声同期部は、
前記許容時間に相当するバッファ長に設定され、前記映像を一時的に蓄積する映像用バッファと、
前記許容時間に相当するバッファ長に設定され、前記音声を一時的に蓄積する音声用バッファと、を含み、
前記音声用バッファの先頭に前記音声上会話開始タイミングに対応する会話開始音声フレームの音声が蓄積され、前記映像用バッファの先頭以外に前記映像上会話開始タイミングに対応する会話開始映像フレームの映像が蓄積されている場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力する、請求項６に記載の映像音声処理システム。
【請求項８】
前記映像音声同期部は、
前記音声用バッファの先頭に前記会話開始音声フレームの音声が蓄積され、前記映像用バッファに前記会話開始映像フレームの映像が蓄積されていない場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭の映像フレームの映像を出力し、
前記会話開始音声フレームの音声を出力した後に、前記映像用バッファに前記会話開始映像フレームの映像が蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力し、
以降、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームが入力され、前記Ｘ個の映像フレームのうちの先頭の映像フレームの映像が前記映像用バッファの先頭に蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップ、削除、または早送りし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する、請求項７に記載の映像音声処理システム。
【請求項９】
映像音声処理装置による映像音声同期方法であって、
映像を入力する映像処理ステップと、
音声を入力する音声処理ステップと、
前記映像処理ステップにて入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定ステップと、
前記音声処理ステップにて入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定ステップと、
前記映像会話判定ステップにて映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定ステップにて音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期ステップと、を有する映像音声処理方法。
【請求項１０】
コンピュータに、
映像を入力する映像処理手順と、
音声を入力する音声処理手順と、
前記映像処理手順にて入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定手順と、
前記音声処理手順にて入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定手順と、
前記映像会話判定手順にて映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定手順にて音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期手順と、とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像と音声を同期（リップシンク）させる技術に関する。
【背景技術】
【０００２】
近年、テレビ会議を利用する顧客からは、特定の議題について、災害対策のためにＢＣＰ（Business Continuity Plan）の一環として、衛星通信網（帯域幅：６４ｋｂｐｓ）を利用したいというニーズがあった。ただ、映像と音声のそれぞれについて顧客から要求された通信品質を満たすには、衛星通信網の帯域幅では明らかに帯域が不足していた。
【０００３】
ここで、上記問題は、映像と音声の送受信用のネットワークをそれぞれ別個に用意することで解決することができる。例えば、映像については、当初の予定通りに衛星通信網を利用し、音声については衛星電話網を利用することが考えられる。
【０００４】
しかし、映像と音声の送受信用のネットワークをそれぞれ別個に用意する場合、各ネットワーク上での通信遅延が異なることに起因して、受信側では、各ネットワークからの映像と音声の入力に時間差が生じる場合がある。
【０００５】
そのため、テレビ会議において、映像と音声の送受信用のネットワークをそれぞれ別個に用意する場合、受信側では、映像と音声を同期（リップシンク）させて、映像上の話者の口の動きと音声を合わせる必要がある。
【０００６】
映像と音声とを同期させる関連技術としては、特許文献１〜３に記載の技術がある。
【０００７】
特許文献１に記載の技術においては、映像と音声にそれぞれ付加されたタイムスタンプを比較し、映像と音声の再生タイミングを同期させる。このように同期のためにタイムスタンプ等の付加情報を用いる技術は、一般的な技術である。
【０００８】
また、特許文献２に記載の技術においては、テレビ会議の参加者の顔を撮影した画像中で、口の動きが検出されると、その参加者に対応するマイクからの信号に基づいて音声信号を生成すると共に、その参加者の画像を拡大表示する。
【０００９】
また、特許文献３に記載の技術においては、送信側は、音声データが有効で、かつ、唇映像データに所定の大きさの動きが検出され、かつ、発言者が発言権を保持している場合に、その音声データと発声情報を送信すると共に、映像データの符号化方法を変更する。受信側は、映像データを復号して表示すると共に、発声情報が指示する端末装置からの音声データのみを選択的に合成して音声出力する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−３２４１６３号公報
【特許文献２】特開２００４−１１８３１４号公報
【特許文献３】特開２００２−１５８９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献１に記載の技術は、映像と音声のタイムスタンプを比較する必要があるため、映像と音声を処理する処理装置を同一にするか、または、映像を処理する処理装置と音声を処理する処理装置とを別個に用意して、両処理装置間でタイムスタンプをリアルタイムにやり取りする必要がある。
【００１２】
また、特許文献１に記載の技術は、音声にタイムスタンプを付加することができない衛星電話網には適用することができない。
【００１３】
また、特許文献２に記載の技術は、参加者が話すタイミングとその参加者の画像を拡大表示するタイミングとを同期させるものであり、映像と音声のリップシンクを行うものではない。
【００１４】
また、特許文献２に記載の技術は、同期を取るタイミングが、映像と音声をネットワークに送信する前のタイミングであるため、ネットワーク上で発生した通信遅延を吸収することはできない。
【００１５】
また、特許文献３に記載の技術は、発言権を保持する発言者が話すタイミングと映像データの符号化方法を変更するタイミングとを同期させるものであり、映像と音声のリップシンクを行うものではない。
【００１６】
以上の通り、特許文献１に記載の技術は、タイムスタンプ等の付加情報を用いる必要があるという問題点があり、また、特許文献２，３に記載の技術は、映像と音声のリップシンクを行うことができないという問題点がある。
【００１７】
そこで、本発明の目的は、上述した課題を解決し、タイムスタンプ等の付加情報を用いることなく、映像と音声のリップシンクを行うことができる技術を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の映像音声処理装置は、
映像を入力する映像処理部と、
音声を入力する音声処理部と、
前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、
前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、
前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する。
【００１９】
本発明の映像音声処理システムは、
映像を入力する映像処理部と、
音声を入力する音声処理部と、
前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、
前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、
前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する。
【００２０】
本発明の映像音声同期方法は、
映像音声処理装置による映像音声同期方法であって、
映像を入力する映像処理ステップと、
音声を入力する音声処理ステップと、
前記映像処理ステップにて入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定ステップと、
前記音声処理ステップにて入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定ステップと、
前記映像会話判定ステップにて映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定ステップにて音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期ステップと、を有する。
【００２１】
本発明のプログラムは、
コンピュータに、
映像を入力する映像処理手順と、
音声を入力する音声処理手順と、
前記映像処理手順にて入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定手順と、
前記音声処理手順にて入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定手順と、
前記映像会話判定手順にて映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定手順にて音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期手順と、とを実行させるためのものである。
【発明の効果】
【００２２】
本発明によれば、タイムスタンプ等の付加情報を用いることなく、映像と音声のリップシンクを行うことができるという効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態の映像音声処理システムの構成を示す図である。
【図２】テレビ会議送受信機２００の構成を示すブロック図である。
【図３】テレビ会議送受信機２００の動作を示すシーケンス図である。
【図４】映像音声同期部２３３における、音声の入力と映像の入力が同時である場合の同期動作を示す図である。
【図５】映像音声同期部２３３における、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まる場合の同期動作を示す図である。
【図６】映像音声同期部２３３における、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まらない場合の同期動作を示す図である。
【図７】映像音声同期部２３３における、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まらない場合の同期動作を示す図である。
【図８】映像音声同期部２３３における、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まらない場合の同期動作を示す図である。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施するための形態について図面を参照して説明する。
（１）第１の実施形態
本実施形態は、本発明をテレビ会議に適用した例である。
（１−１）第１の実施形態の構成
まず、本実施形態の構成について説明する。
【００２５】
図１に、本実施形態の映像音声処理システムの全体の概要を示す。
【００２６】
本実施形態の映像音声処理システムは、映像音声処理装置として、テレビ会議送受信機１００，２００を有している。
【００２７】
テレビ会議送受信機１００，２００は、テレビ会議の映像と音声をリアルタイムに双方向に送受信するもので、映像の送受信には映像用ネットワーク１を用い、音声の送受信には音声用ネットワーク２を用いる。
【００２８】
例えば、テレビ会議送受信機１００からテレビ会議送受信機２００への映像と音声の送信においては、テレビ会議送受信機２００は、映像用ネットワーク１からの映像の入力と音声用ネットワーク２からの音声の入力に時間差が生じた可能性があることを検知して、映像と音声の出力タイミングを調整する。
【００２９】
本実施形態においては、音声用ネットワーク２には、通信遅延が比較的小さい固定電話網を利用し、映像用ネットワーク１には、帯域幅が広いが通信遅延が大きくなり得るＩＰ（internet protocol）ネットワークを利用するものとする。この条件下においては、音声よりも映像が遅れて入力される傾向が強いものと考えられる。
【００３０】
また、本実施形態においては、テレビ会議では音声の応答性が重要であると考え、音声の入力に対して映像の入力が大きく遅れる場合には、映像と音声の出力タイミングを調整することを避け、音声のみを先に出力するものとする。
【００３１】
図２に、テレビ会議送受信機２００の構成を示す。なお、図２は、テレビ会議送受信機２００の構成要素のうち、ネットワークから映像と音声を入力する処理とそれ以降の処理を行う構成要素のみを示し、その他の構成要素は省略している。また、テレビ会議送受信機１００の構成は、テレビ会議送受信機２００と同様の構成であるとする。
【００３２】
テレビ会議送受信機２００は、映像処理部２１０と、音声処理部２２０と、映像音声同期処理部２３０と、を有している。
【００３３】
映像処理部２１０は、映像用ネットワーク１を介したテレビ会議送受信機１００との通信を終端し、テレビ会議送受信機１００から送信されたテレビ会議の映像を映像用ネットワーク１から入力する役割を持つ。
【００３４】
音声処理部２２０は、音声用ネットワーク２を介したテレビ会議送受信機１００との通信を終端し、テレビ会議送受信機１００から送信されたテレビ会議の音声を音声用ネットワーク２から入力する役割を持つ。
【００３５】
映像音声同期処理部２３０は、会話判定部（映像）２３１と、会話判定部（音声）２３２と、映像音声同期部２３３と、の３つの構成要素を有している。
【００３６】
会話判定部（映像）２３１は、映像処理部２１０に入力された映像上で会話が開始されたことを検知する。
【００３７】
会話判定部（音声）２３２は、音声処理部２２０に入力された音声上で会話が開始されたことを検知する。
【００３８】
映像音声同期部２３３は、会話判定部（映像）２３１が映像上で会話が開始されたことを検知したタイミング（映像上会話開始タイミング）と会話判定部（音声）２３２が音声上で会話が開始されたことを検知したタイミング（音声上会話開始タイミング）との差を基に、これらの会話開始タイミングが合うように、映像と音声の出力タイミングを調整する。
【００３９】
ここで、映像音声同期部２３３は、出力タイミングの調整のために、映像と音声のそれぞれを一時的に蓄積するための映像用バッファと音声用バッファを持つ。
【００４０】
なお、映像音声同期部２３３は、モニター等である映像再生装置に映像を出力し、スピーカー等である音声再生装置に音声を出力する。
（１−２）第１の実施形態の動作
次に、本実施形態の動作について説明する。
（Ａ）テレビ会議送受信機２００の動作シーケンス
まず、テレビ会議送受信機２００の動作シーケンスについて説明する。
【００４１】
図３に、テレビ会議送受信機２００の動作シーケンスを示す。なお、図３は、音声に比べて映像が遅れて入力された場合の動作を示している。
＜ａ：映像＞
まず、映像を入力してから、その映像上で会話が開始されたことを検知するまでの動作について説明する。
【００４２】
ステップａ−１：
まず、映像処理部２１０は、テレビ会議送受信機１００から送信されたテレビ会議の映像を映像用ネットワーク１から入力する。
【００４３】
ステップａ−２：
次に、映像処理部２１０は、上記で入力した映像を会話判定部（映像）２３１に渡す。
【００４４】
ステップａ−３：
次に、会話判定部（映像）２３１は、映像処理部２１０から渡された映像の内容に対して会話判定を行い、映像上で会話が開始されたことを検知する。
【００４５】
会話判定は、映像から顔を検出し、検出した顔の唇領域の動静判定を行うことにより実現する。唇領域の静動判定で閾値を越えた動きがある状態を、話者が話している状態とみなし、閾値を越えたことをもって、会話が開始されたと検知する。
【００４６】
ステップａ−４：
会話判定部（映像）２３１は、映像上で会話が開始されたことを検知すると、その旨を映像音声同期部２３３に通知する。この通知は、会話判定部（映像）２３１から映像音声同期部２３３に映像を渡す際に呼び出す関数の１パラメータ（０／１のフラグ）で表現される。なお、この通知の有無に関係なく、会話判定部（映像）２３１は、映像音声同期部２３３に対して映像を随時出力する。
＜ｂ：音声＞
次に、音声を入力してから、その音声上で会話が開始されたことを検知するまでの動作について説明する。
【００４７】
ステップｂ−１：
まず、音声処理部２２０は、テレビ会議送受信機１００から送信されたテレビ会議の音声を音声用ネットワーク２から入力する。
【００４８】
ステップｂ−２：
次に、音声処理部２２０は、上記で入力した音声を会話判定部（音声）２３２に渡す。
【００４９】
ステップｂ−３：
次に、会話判定部（音声）２３２は、音声処理部２２０から渡された音声の内容に対して会話判定を行い、音声上で会話が開始されたことを検知する。
【００５０】
会話判定は、音声の音量判定を行い、音量が閾値を越えている状態を話者が話している状態とみなし、閾値を越えたことをもって、会話が開始されたと検知する。
【００５１】
また、周りの音やノイズを音声として誤検出しないために、人間の音声の周波数帯を利用して、人間の音声を抽出する処理を事前に行い、その後、抽出音声に対して上記の会話判定を行うものとする。
【００５２】
ステップｂ−４：
会話判定部（音声）２３２は、音声上で会話が開始されたことを検知すると、その旨を映像音声同期部２３３に通知する。この通知は、会話判定部（音声）２３２から映像音声同期部２３３に音声を渡す際に呼び出す関数の１パラメータ（０／１のフラグ）で表現される。なお、この通知の有無に関係なく、会話判定部（音声）２３２は、映像音声同期部２３３に対して音声を随時出力する。
＜ｃ：映像音声同期＞
次に、映像と音声を同期させる動作について説明する。
【００５３】
ステップｃ−１：
映像音声同期部２３３は、会話判定部（音声）２３２から、音声を随時入力し、入力した音声を音声用バッファに蓄積すると共に、会話判定部（映像）２３１から、映像を随時入力し、入力した映像を映像用バッファに蓄積する。
【００５４】
映像音声同期部２３３は、音声の入力に対する映像の入力遅れが、予め設定された許容時間（例えばＴ秒）の範囲内に収まる場合に、映像と音声の出力タイミングを調整する。
【００５５】
そこで、音声用バッファと映像用バッファのバッファ長は、上記の許容時間に相当する長さに設定する（例：６０ｆｐｓであれば６ｆｒａｍｅ分に設定する等）。
【００５６】
また、映像音声同期部２３３は、会話判定部（音声）２３２から、音声上で会話が開始されたことの通知を受けると共に、映像音声同期部２３３は、会話判定部（映像）２３１から、映像上で会話が開始されたことの通知を受ける。
【００５７】
ここで、映像音声同期部２３３は、音声の入力に対する映像の入力遅れ（すなわち、音声上会話開始タイミングに対する映像上会話開始タイミングの遅れ）がバッファ長の範囲内に収まる場合は、映像と音声の出力タイミングを調整し、映像上で会話が開始された時の映像フレーム（会話開始映像フレーム）の映像と音声上で会話が開始された時の音声フレーム（会話開始音声フレーム）の音声を同時に出力するようにする。
【００５８】
一方、映像音声同期部２３３は、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まらない場合は、出力タイミングの調整をせずに、会話開始音声フレームの音声を先に出力するようにする。
【００５９】
ステップｃ−２：
映像音声同期部２３３は、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まる場合、映像と音声の出力タイミングを調整し、会話開始音声フレームの音声と会話開始映像フレームの映像を同時に出力する。このとき、映像用バッファの先頭から会話開始映像フレームの直前までの映像フレームの映像についてはスキップする。
【００６０】
一方、映像音声同期部２３３は、音声の入力に対する映像の入力遅れがバッファ長の範囲内に収まらない場合は、出力タイミングを調整せずに、会話開始音声フレームの音声を先に出力する。
（Ｂ）映像と音声の同期動作の具体例
次に、映像音声同期部２３３における映像と音声の同期動作について、具体例を挙げて説明する。
【００６１】
図４〜図８に、映像用バッファと音声用バッファの内容と、その状態である場合の同期動作の内容を示す。
【００６２】
ここで、映像音声同期部２３３では、映像と音声の１秒あたりのフレーム数を同一として扱い（その際、必要であればフレーム数を同一とするためのフレーム変換も行い）、映像フレームと音声フレームは共に、１フレーム目から始まり、Ｎフレーム目で会話が開始されるものとする。
【００６３】
また、図４〜図８では、上が音声用バッファ、下が映像用バッファの内容を示し、各バッファは左からデータが入力（蓄積）され、右から出力されるＦＩＦＯ（First In First Out）バッファであるものとする。また、各バッファ中の四角は、フレームのデータを示す。また、各データに記載されている文字は、そのデータが何フレーム目であるかを意味し、例えばＮと記載のあるデータはＮフレーム目である。また、会話が開始されたＮフレーム目に網掛け表示をし、その時点で出力されるフレームの枠を太く表示している。
（Ｂ−１）音声の入力と映像の入力が同時である場合
図４に、音声の入力と映像の入力が同時である場合の同期動作を示す。
【００６４】
図４では、音声用バッファと映像用バッファ共に、その先頭に会話が開始された時のＮフレーム目のデータが蓄積されている。
【００６５】
そのため、映像音声同期部２３３は、映像の入力遅れがないことを検知する。
【００６６】
そこで、映像音声同期部２３３は、音声と映像共にバッファの先頭のＮフレーム目のデータを出力する。
【００６７】
この出力結果では、音声と映像が同期されている。
（Ｂ−２）音声の入力に対して映像の入力が遅れている場合
（Ｂ−２−１）映像の入力遅れがバッファ長の範囲内に収まる場合
音声の入力に対して映像の入力が遅れているが、映像の入力遅れがバッファ長の範囲内に収まる場合、音声と映像を同期させることができる。
【００６８】
図５に、この場合の同期動作を示す。
【００６９】
図５では、音声用バッファの先頭に会話が開始された時のＮフレーム目の音声データが蓄積されているが、映像用バッファでは、先頭以外にＮフレーム目の映像データが蓄積されている。
【００７０】
そのため、映像音声同期部２３３は、映像の入力遅れを検知する。
【００７１】
そこで、映像音声同期部２３３は、音声用バッファの先頭のＮフレーム目の音声データを出力し、また、映像用バッファの先頭のＮ−３フレーム目からＮ−１フレーム目までの映像データをスキップし、Ｎフレーム目の映像データを出力する。
【００７２】
この出力結果では、音声と映像が同期されている。
（Ｂ−２−２）映像の入力遅れがバッファ長の範囲内に収まらない場合
音声の入力に対して映像の入力が遅れており、映像の入力遅れがバッファ長の範囲内に収まらない場合、映像の入力遅れが許容時間を越え、音声と映像の同期ができない。
【００７３】
図６〜図８に、この場合の同期動作を示す。
【００７４】
図６は、音声上では会話が開始されたが、映像上ではまだ会話が開始されていない時の動作を示している。
【００７５】
映像音声同期部２３３は、音声用バッファの先頭に会話が開始された時のＮフレーム目の音声データが蓄積されているため、音声上では会話が開始されていることがわかるが、映像用バッファにはＮフレーム目の映像データが未だ蓄積されていない。
【００７６】
そのため、映像音声同期部２３３は、映像の入力遅れを検知しない。
【００７７】
そこで、映像音声同期部２３３は、音声用バッファの先頭のＮフレーム目の音声データを出力し、また、映像用バッファの先頭のＮ−８フレーム目の映像データを出力する。
【００７８】
ここで、映像音声同期部２３３が、映像の遅れを検知しない理由は、音声上での会話の開始を誤って検知した場合や、映像上での会話の開始を誤って検知できなかった場合に備えるためである。
【００７９】
この出力結果では、音声と映像が同期されず、映像が音声よりも８フレーム分遅れている。
【００８０】
図７は、図６の動作の後に、映像上でも会話が開始された時（映像上で会話が開始された時のＮフレーム目の映像データが映像音声同期部２３３に入力された時）の動作を示している。
【００８１】
映像音声同期部２３３は、会話判定部（映像）２３１からＮフレーム目の映像データが入力されたタイミングで映像の入力遅れを検知する。
【００８２】
そこで、映像音声同期部２３３は、音声用バッファの先頭のＮ＋３フレーム目の音声データを出力し、また、映像用バッファの先頭のＮ−５フレーム目からＮ−１フレーム目までの映像データをスキップし、Ｎフレーム目の映像データを出力する。
【００８３】
この出力結果では、音声と映像を同期しきれず、映像が音声よりも３フレーム分遅れている（ただし、図６よりも５フレーム分の遅れが改善されている）。
【００８４】
図８は、図７の動作の後に、複数の映像フレームがまとまって映像音声同期部２３３に入力され、それを用いて映像の遅れを改善する時の動作を示している。
【００８５】
映像音声同期部２３３は、映像の入力遅れを検知しているため、極力映像の入力遅れを改善しようとする。
【００８６】
そこで、映像音声同期部２３３は、音声用バッファの先頭のＮ＋１０フレーム目の音声データを出力し、また、映像用バッファの先頭のＮ＋７フレーム目からＮ＋８フレーム目までの映像データをスキップし、Ｎ＋９フレーム目の映像データを出力する。
【００８７】
この出力結果では、音声は映像が同期されておらず、映像が音声よりも１フレーム分遅れている（ただし、図７よりも２フレーム分の遅れが改善されている）。
【００８８】
なお、映像音声同期部２３３は、次回、複数の映像フレームがまとまって入力された場合、その複数の映像フレームのうちの先頭の映像フレームの映像データをスキップする。これにより、音声と映像が同期される。
【００８９】
このように、映像音声同期部２３３は、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームがまとまって入力され、そのＸ個の映像フレームのうちの先頭の映像フレームの映像が映像用バッファの先頭に蓄積された場合、映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する。
（１−３）第１の実施形態の効果
次に、本実施形態の効果について説明する。
（１−３−１）タイムスタンプ等の付加情報を用いる必要がない点
本実施形態においては、映像音声同期処理部２３０は、映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、映像上で会話が開始されたことを検知する会話判定部（映像）２３１と、音声の音量判定を行うことで、音声上で会話が開始されたことを検知する会話判定部（音声）２３２と、会話判定部（映像）２３１が映像上で会話が開始されたことを検知した映像上会話開始タイミングと会話判定部（音声）２３２が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差に基づいて、映像と音声の出力タイミングを調整する映像音声同期部２３３と、を有している。
【００９０】
このように、本実施形態においては、映像と音声そのものから、会話開始タイミングを検知するため、タイムスタンプ等の付加情報は不要である。
【００９１】
したがって、付加情報を用いることなく、映像と音声を同期（リップシンク）させて、映像上の話者の口の動きと音声を合わせることができる。
【００９２】
また、付加情報を用いないため、利用するネットワークや処理装置は種別を問わず適用可能である。
【００９３】
例えば、災害時などに、利用するネットワークや処理装置に障害が発生しても、処理装置を変更するだけで、リップシンクを実現可能である。
（１−３−２）既存の処理装置を無改造で流用可能である点
本実施形態においては、上述の通り、映像処理部２１０と音声処理部２２０以外の第３者である映像音声同期処理部２３０がリップシンクを実現している。
【００９４】
そのため、映像処理部２１０と音声処理部２２０を互いに物理的に分離可能であり、かつ、両者が互いを意識する必要がない。
【００９５】
これにより、既存の処理装置（固定電話・携帯電話など）を無改造で利用可能である。
【００９６】
また、既存の処理装置を利用することで、ネットワークの利用認可の取得等を新たに行う必要もない。
（１−３−３）ネットワークや処理装置の組み合わせが自在である点
本実施形態においては、上述の通り、既存の処理装置を流用可能であるため、特定のネットワークを利用可能な既存の処理装置を組み合わせて利用することにより、複数のネットワーク種別に対応可能である。
【００９７】
例えば、電話網、ＩＳＤＮ（Integrated Services Digital Network）、ＮＧＮ（Next Generation Network）、衛星電話網などでは、プロトコルや通信手順が制限されるが、これらのネットワークにも対応可能である。
【００９８】
また、ＩＰネットワークでは、プロトコル・フォーマットが一般化されているが、ＩＰネットワークにも対応可能である。
【００９９】
また、複数のネットワーク種別に対応可能であるため、システムの可用性も向上する。
（１−３−４）ネットワークのリアルタイムな遅延の変動に対して同期が可能な点
本実施形態においては、会話の開始を同期の契機とし、同期の契機が起こる度に、再度同期を取るため、ネットワーク上でのリアルタイムな遅延の変動にも対応可能である。
【０１００】
例えば、モバイル通信や海外との通信では、ネットワークの品質上、遅延量に変動がある場合があるが、このような遅延量の変動に対しても対応可能である。
（２）他の実施形態
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更をすることができる。
【０１０１】
例えば、上記実施形態においては、本発明をテレビ会議に適用する場合を例に挙げたが、これには限定されない。本発明が適用可能な例として以下が挙げられる。
【０１０２】
・ウェブ会議
・映像配信（ＶＯＤ（Video On Demand）など）
・マルチメディア処理装置での動画編集
マルチメディア処理装置（映像プレイヤ、ＰＣ（Personal Computer）等）においては、動画ファイルの編集（つなぎやテレビのＣＭ（Commercial Message）カット等）を行う際に、動画ファイルのタイムスタンプの一部もしくは全部が失われると、再生時に、タイムスタンプを利用して映像と音声の同期を取ることができなくなる。このような場合でも、本発明により映像と音声の同期を取ることが可能となる。
【０１０３】
このように、ネットワークを利用しない処理装置にも本発明は有用である。
【０１０４】
また、上記実施形態においては、音声用ネットワーク２には固定電話網を利用し、映像用ネットワーク１にはＩＰネットワークを利用する例を挙げたが、本発明はネットワーク種別を問わずに適用可能である。
【０１０５】
一例として、帯域保障型のネットワークや、オープンフロー（OpenFlow）などの経路制御機能を持つネットワークも利用可能である。これらの同一のネットワークで音声と映像を通信しても、優先度制御やルーティングの自律制御等により、より高いリアルタイム性が求められる音声は、映像よりも優先して扱われ、映像との間で時間差が生じる可能性がある。この場合も、本発明により映像と音声を同期させることが可能である。また、この場合の構成と動作は、上記実施形態と全く同様なので、ここでは詳細な説明を割愛する。
【０１０６】
また、上記実施形態においては、映像処理部２１０、音声処理部２２０、および映像音声同期処理部２３０を同一の処理装置内に配置したが、これらの処理部はそれぞれ別々の処理装置として設けても良い。
【０１０７】
例えば、音声処理部２２０には既存の固定電話や携帯電話等を利用することができ、これにより、既存の映像・音声関連の処理装置を有効活用することが可能となる。
【０１０８】
また、上記実施形態においては、会話の開始を契機に映像と音声の同期を行っていたが、これに加えて、会話の終了時や文、単語の切れ目などを解析し、これらも契機として映像と音声の同期を行っても良い。
【０１０９】
このように同期の契機を増加させることで、ネットワークのゆらぎ等により、一度取った同期が時間の経過と共にずれていくことを抑止することができる。
【０１１０】
また、上記実施形態においては、１対１の通信を例に挙げたが、本発明は１対多や多対多の通信にも適用可能である。
【０１１１】
また、上記実施形態においては、テレビ会議の映像と音声を終端する処理装置を例に挙げたが、テレビ会議のＭＣＵ（Multi point control Unit：多地点会議装置）のような、映像と音声を中継する処理装置にも、本発明は適用可能である。
【０１１２】
また、上記実施形態においては、映像と音声のそれぞれで利用するネットワークを分けた例を挙げたが、映像と音声で同一のネットワークを利用する場合にも、本発明は適用可能である。
【０１１３】
また、上記実施形態においては、図３のステップｃ−２において、映像フレームをスキップする例を挙げたが、その代わりに、映像フレームを破棄したり、映像フレームを一時的に早送りしたりしても良い。
【０１１４】
また、上記実施形態においては、図３のステップａ−４，ｂ−４において、呼び出し関数においてフラグを立てているが、その代わりに、映像や音声のデータ（Ｈ．２６４やＡＡＣ等）の一領域を利用して、特定の箇所のデータをフラグとして扱っても良い。
【０１１５】
また、上記実施形態においては、図４〜図８において、映像と音声の１秒あたりのフレーム数を同一とみなしているが、必ずしてもそうである必要はない。すなわち、フレームを基に出力タイミングを調整するのではなく、動画開始からの時間長を基に出力タイミングを調整することにより、より細かい単位での調整も可能となる。
【０１１６】
また、本発明の映像音声処理装置にて行われる方法は、コンピュータに実行させるためのプログラムに適用しても良い。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。
【０１１７】
なお、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
映像を入力する映像処理部と、
音声を入力する音声処理部と、
前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、
前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、
前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する映像音声処理装置。
（付記２）
前記映像音声同期部は、
前記映像上会話開始タイミングと前記音声上会話開始タイミングとの差が、予め設定された許容時間の範囲内に収まる場合に、前記映像と前記音声の出力タイミングを調整する、付記１に記載の映像音声処理装置。
（付記３）
前記映像音声同期部は、
前記許容時間に相当するバッファ長に設定され、前記映像を一時的に蓄積する映像用バッファと、
前記許容時間に相当するバッファ長に設定され、前記音声を一時的に蓄積する音声用バッファと、を含み、
前記音声用バッファの先頭に前記音声上会話開始タイミングに対応する会話開始音声フレームの音声が蓄積され、前記映像用バッファの先頭以外に前記映像上会話開始タイミングに対応する会話開始映像フレームの映像が蓄積されている場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力する、付記２に記載の映像音声処理装置。
（付記４）
前記映像音声同期部は、
前記音声用バッファの先頭に前記会話開始音声フレームの音声が蓄積され、前記映像用バッファに前記会話開始映像フレームの映像が蓄積されていない場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭の映像フレームの映像を出力し、
前記会話開始音声フレームの音声を出力した後に、前記映像用バッファに前記会話開始映像フレームの映像が蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力し、
以降、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームが入力され、前記Ｘ個の映像フレームのうちの先頭の映像フレームの映像が前記映像用バッファの先頭に蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップ、削除、または早送りし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する、付記３に記載の映像音声処理装置。
（付記５）
映像を入力する映像処理部と、
音声を入力する音声処理部と、
前記映像処理部に入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定部と、
前記音声処理部に入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定部と、
前記映像会話判定部が映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定部が音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期部と、を有する映像音声処理システム。
（付記６）
前記映像音声同期部は、
前記映像上会話開始タイミングと前記音声上会話開始タイミングとの差が、予め設定された許容時間の範囲内に収まる場合に、前記映像と前記音声の出力タイミングを調整する、付記５に記載の映像音声処理システム。
（付記７）
前記映像音声同期部は、
前記許容時間に相当するバッファ長に設定され、前記映像を一時的に蓄積する映像用バッファと、
前記許容時間に相当するバッファ長に設定され、前記音声を一時的に蓄積する音声用バッファと、を含み、
前記音声用バッファの先頭に前記音声上会話開始タイミングに対応する会話開始音声フレームの音声が蓄積され、前記映像用バッファの先頭以外に前記映像上会話開始タイミングに対応する会話開始映像フレームの映像が蓄積されている場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力する、付記６に記載の映像音声処理システム。
（付記８）
前記映像音声同期部は、
前記音声用バッファの先頭に前記会話開始音声フレームの音声が蓄積され、前記映像用バッファに前記会話開始映像フレームの映像が蓄積されていない場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭の映像フレームの映像を出力し、
前記会話開始音声フレームの音声を出力した後に、前記映像用バッファに前記会話開始映像フレームの映像が蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力し、
以降、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームが入力され、前記Ｘ個の映像フレームのうちの先頭の映像フレームの映像が前記映像用バッファの先頭に蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップ、削除、または早送りし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する、付記７に記載の映像音声処理システム。
（付記９）
映像音声処理装置による映像音声同期方法であって、
映像を入力する映像処理ステップと、
音声を入力する音声処理ステップと、
前記映像処理ステップにて入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定ステップと、
前記音声処理ステップにて入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定ステップと、
前記映像会話判定ステップにて映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定ステップにて音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期ステップと、を有する映像音声処理方法。
（付記１０）
前記映像音声同期ステップでは、
前記映像上会話開始タイミングと前記音声上会話開始タイミングとの差が、予め設定された許容時間の範囲内に収まる場合に、前記映像と前記音声の出力タイミングを調整する、付記９に記載の映像音声処理方法。
（付記１１）
前記映像音声処理装置は、
前記許容時間に相当するバッファ長に設定され、前記映像を一時的に蓄積する映像用バッファと、
前記許容時間に相当するバッファ長に設定され、前記音声を一時的に蓄積する音声用バッファと、を含むものであり、
前記映像音声同期ステップでは、
前記音声用バッファの先頭に前記音声上会話開始タイミングに対応する会話開始音声フレームの音声が蓄積され、前記映像用バッファの先頭以外に前記映像上会話開始タイミングに対応する会話開始映像フレームの映像が蓄積されている場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力する、付記１０に記載の映像音声処理方法。
（付記１２）
前記映像音声同期ステップでは、
前記音声用バッファの先頭に前記会話開始音声フレームの音声が蓄積され、前記映像用バッファに前記会話開始映像フレームの映像が蓄積されていない場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭の映像フレームの映像を出力し、
前記会話開始音声フレームの音声を出力した後に、前記映像用バッファに前記会話開始映像フレームの映像が蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力し、
以降、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームが入力され、前記Ｘ個の映像フレームのうちの先頭の映像フレームの映像が前記映像用バッファの先頭に蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップ、削除、または早送りし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する、付記１１に記載の映像音声処理方法。
（付記１３）
コンピュータに、
映像を入力する映像処理手順と、
音声を入力する音声処理手順と、
前記映像処理手順にて入力された映像から顔を検出し、検出した顔の唇領域の動静判定を行うことで、該映像上で会話が開始されたことを検知する映像会話判定手順と、
前記音声処理手順にて入力された音声の音量判定を行うことで、該音声上で会話が開始されたことを検知する音声会話判定手順と、
前記映像会話判定手順にて映像上で会話が開始されたことを検知した映像上会話開始タイミングと前記音声会話判定手順にて音声上で会話が開始されたことを検知した音声上会話開始タイミングとの差を基に、前記映像と前記音声の出力タイミングを調整する映像音声同期手順と、とを実行させるためのプログラム。
（付記１４）
前記映像音声同期手順では、
前記映像上会話開始タイミングと前記音声上会話開始タイミングとの差が、予め設定された許容時間の範囲内に収まる場合に、前記映像と前記音声の出力タイミングを調整する、付記１３に記載のプログラム。
（付記１５）
前記コンピュータは、
前記許容時間に相当するバッファ長に設定され、前記映像を一時的に蓄積する映像用バッファと、
前記許容時間に相当するバッファ長に設定され、前記音声を一時的に蓄積する音声用バッファと、を含むものであり、
前記映像音声同期手順では、
前記音声用バッファの先頭に前記音声上会話開始タイミングに対応する会話開始音声フレームの音声が蓄積され、前記映像用バッファの先頭以外に前記映像上会話開始タイミングに対応する会話開始映像フレームの映像が蓄積されている場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力する、付記１４に記載のプログラム。
（付記１６）
前記映像音声同期手順では、
前記音声用バッファの先頭に前記会話開始音声フレームの音声が蓄積され、前記映像用バッファに前記会話開始映像フレームの映像が蓄積されていない場合、前記会話開始音声フレームの音声を出力すると共に、前記映像用バッファの先頭の映像フレームの映像を出力し、
前記会話開始音声フレームの音声を出力した後に、前記映像用バッファに前記会話開始映像フレームの映像が蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭から前記会話開始映像フレームの直前までの映像フレームの映像をスキップ、削除、または早送りし、前記会話開始映像フレームの映像を出力し、
以降、映像と音声が同期するまでの間に、Ｘ（Ｘは、２以上の自然数）個の映像フレームが入力され、前記Ｘ個の映像フレームのうちの先頭の映像フレームの映像が前記映像用バッファの先頭に蓄積された場合、前記音声用バッファの先頭の音声フレームの音声を出力すると共に、前記映像用バッファの先頭からＹ（Ｙは、Ｘ−１以下の自然数）個分の映像フレームの映像をスキップ、削除、または早送りし、残りの映像フレームのうちの先頭の映像フレームの映像を出力する、付記１５に記載のプログラム。
【産業上の利用可能性】
【０１１８】
本発明は、映像と音声を利用するマルチメディア分野全般に利用可能である。
【０１１９】
また、本発明は、双方向通信の要否や、リアルタイム性の要否を問わずに利用可能である。
【符号の説明】
【０１２０】
１    映像用ネットワーク
２    音声用ネットワーク
１００，２００    テレビ会議送受信機
２１０    映像処理部
２２０    音声処理部
２３０    映像音声同期処理部
２３１    会話判定部（映像）
２３２    会話判定部（音声）
２３３    映像音声同期部
【図１】
2015012557.tif 000003
【図２】
2015012557.tif 000004
【図３】
2015012557.tif 000005
【図４】
2015012557.tif 000006
【図５】
2015012557.tif 000007
【図６】
2015012557.tif 000008
【図７】
2015012557.tif 000009
【図８】
2015012557.tif 000010