(57)【要約】  ネットワーク（５）においてビデオストリームを送信するための方法であって、ビデオ送信装置（３）により実施され、前記方法は：−  第１のビデオストリーム（ＶＩＮ）を送信元通信端末（２）から受信することと、−  前記第１のビデオストリーム（ＶＩＮ）の品質レベル（Ｑ）を決定することと、−  前記第１のビデオストリーム（ＶＩＮ）に基づく第２のビデオストリーム（ＶＯＵＴ）を送信先通信端末（４）に送信することとを備え、−  前記品質レベル（Ｑ）が所定の閾値より高い場合、第２のビデオストリーム（ＶＯＵＴ）のフレームが、前記第１のビデオストリーム（ＶＩＮ）のフレームを含み、−  前記品質レベル（Ｑ）が前記所定の閾値より低い場合、方法が、品質基準を満たす前記第１のビデオストリーム（ＶＩＮ）のフレームの一部分を決定することを備え、第２のビデオストリーム（ＶＯＵＴ）のフレームが、前記一部分と第３のビデオストリーム（ＶＳＵＢ）のフレームとを含む、方法。
2016504812.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク（５）においてビデオストリームを送信するための方法であって、ビデオ送信装置（３）により実施され、
第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）を送信元通信端末（２；２ａ、２ｂ、２ｃ、２ｄ）から受信すること（Ｓ１）と、
前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）の品質レベル（Ｑ）を決定すること（Ｓ２）と、
前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）に基づく第２のビデオストリーム（ＶＯＵＴ）を送信先通信端末（４；２ａ、２ｂ、２ｃ、２ｄ）に送信すること（Ｓ７）と
を備え、
前記品質レベル（Ｑ）が所定の閾値（Ｑ０）より高い場合、第２のビデオストリーム（ＶＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）を含み、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合、方法が、品質基準を満たす前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定すること（Ｓ５）を備え、第２のビデオストリーム（ＶＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記一部分（Ｐ）と第３のビデオストリーム（ＶＳＵＢ）のフレーム（Ｆ２、Ｆ５、Ｆ８）とを含む、方法。
【請求項２】
前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）が、フレームの全領域のデータを含む第１の画像データと、前フレームに対するフレームの領域の変化に関するデータを含む第２の画像データとを含み、第２の画像データが領域（Ｒ１、Ｒ２）に対して所定の期間の間受信された場合に、前記品質基準が前記領域（Ｒ１、Ｒ２）により満たされる、請求項１に記載の方法。
【請求項３】
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合、第２のビデオストリーム（ＶＯＵＴ）の前記フレーム（Ｆ３）が、第３のビデオストリーム（ＶＳＵＢ）のメタデータにより指定される位置に前記一部分（Ｐ）を含む、請求項１または２に記載の方法。
【請求項４】
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合、第２のビデオストリーム（ＶＯＵＴ）の前記フレーム（Ｆ３）が、第３のビデオストリーム（ＶＳＵＢ）の分析により決定される位置に前記一部分（Ｐ）を含む、請求項１または２に記載の方法。
【請求項５】
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合、第２のビデオストリーム（ＶＯＵＴ）の前記フレーム（Ｆ３、Ｆ６）が、所定の位置に前記一部分（Ｐ）を含む、請求項１または２に記載の方法。
【請求項６】
第３のビデオストリーム（ＶＳＵＢ）が、送信元通信端末（２；２ａ、２ｂ、２ｃ、２ｄ）または送信先通信端末（４；２ａ、２ｂ、２ｃ、２ｄ）の識別子に応じて決定される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
第３のビデオストリーム（ＶＳＵＢ）が、ソーシャルネットワークサービスから利用可能な前記識別子に関するデータに応じて決定される、請求項６に記載の方法。
【請求項８】
品質基準を満たす前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定すること（Ｓ５）が、前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）の連続するフレームに対して反復される、請求項１から７のいずれか一項に記載の方法。
【請求項９】
複数の第１のビデオストリーム（ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）をそれぞれの通信端末（２ａ、２ｂ、２ｃ、２ｄ）から受信することと、
前記第１のビデオストリーム（ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）の少なくとも１つに対して品質レベル（Ｑ）を決定することと、
前記第１のビデオストリーム（ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）に基づく第２のビデオストリーム（ＶＯＵＴ＿Ｍ）を前記通信端末（２ａ、２ｂ、２ｃ、２ｄ）に送信すること（Ｓ７）と
を備え、
前記品質レベル（Ｑ）が所定の閾値（Ｑ０）より高い場合、第２のビデオストリーム（ＶＯＵＴ＿Ｍ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）の前記少なくとも１つのフレーム（Ｆ１、Ｆ４、Ｆ７）を含み、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合、方法が、品質基準を満たす前記少なくとも１つの第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定することを備え、第２のビデオストリーム（ＶＯＵＴ＿Ｍ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記一部分（Ｐ）と第３のビデオストリーム（ＶＳＵＢ）のフレーム（Ｆ２、Ｆ５、Ｆ８）とを含む、
請求項１から８のいずれか一項に記載の方法。
【請求項１０】
第２のビデオストリーム（ＶＯＵＴ＿Ｍ）が前記第１のビデオストリーム（ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）に基づくモザイクである、請求項９に記載の方法。
【請求項１１】
コンピュータにより実行された場合に、請求項１から１０のいずれか一項に記載の方法を実行するための命令を含む、コンピュータプログラム。
【請求項１２】
第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）を送信元通信端末（２；２ａ、２ｂ、２ｃ、２ｄ）から受信するための手段と、
前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）の品質レベル（Ｑ）を決定するための手段と、
前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）に基づく第２のビデオストリーム（ＶＯＵＴ）を送信先通信端末（４；２ａ、２ｂ、２ｃ、２ｄ）に送信するための手段と、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合に起動される、品質基準を満たす前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）の一部分（Ｐ）を決定するための手段（Ｓ５）と
を備え、
前記品質レベル（Ｑ）が所定の閾値（Ｑ０）より高い場合、第２のビデオストリーム（ＶＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記第１のビデオストリーム（ＶＩＮ；ＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄ）のフレーム（Ｆ１、Ｆ４、Ｆ７）を含み、
前記品質レベル（Ｑ）が前記所定の閾値（Ｑ０）より低い場合、第２のビデオストリーム（ＶＯＵＴ）のフレーム（Ｆ３、Ｆ６、Ｆ９）が、前記一部分（Ｐ）と第３のビデオストリーム（ＶＳＵＢ）のフレーム（Ｆ２、Ｆ５、Ｆ８）とを含む、ビデオ送信装置（３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークにおけるビデオストリームの送信の分野に関する。
【背景技術】
【０００２】
ネットワークにおいてビデオストリームを送信する場合に、品質レベルを保証するための、または期待するレベルがもはや保証されないときに対応するための、いくつかの技術的解決方法が知られている。たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）またはＬＴＥネットワークにおいて、呼の設定中に、エンドユーザとネットワークの間で合意を得るためにコーデックが交渉される（ＳＤＰ交渉）。メディアサーバ（ＭＲＦネットワークエレメント、ＩＭＳのメディアリソース機能）内で、またはエンドユーザ端末自身において、所望の品質レベルを維持するために使用可能ないくつかの同期機構、予測または補正アルゴリズムが知られている。たとえば、リアルタイム制御プロトコル（ＲＴＣＰ）を用いたオーディオおよびビデオ同期、ならびにパケットロス隠蔽（ＰＬＣ：ｐａｃｋｅｔ  ｌｏｓｓ  ｃｏｎｃｅａｌｍｅｎｔ）がある。しかしながら、これらの様々な技術的解決方法は、ネットワークの物理的な容量により制限される。
【０００３】
ビデオストリームの品質が不十分の場合、有り得る対応は、ビデオストリームの送信をキャンセルすること、（およびオーディオのみを送信すること）、またはビデオストリームをアバターなど所定のビデオストリームに置き換えることである。しかしながらその場合、ユーザはビデオストリームについて何も情報がない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本発明の実施形態の目的は、ネットワークにおいてビデオストリームを送信するための、従来技術の方法の固有の欠点を示さない、改良された方法を提案することである。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、本目的は、ネットワークにおいてビデオストリームを送信するための方法であって、ビデオ送信装置により実施され、前記方法は：
−  第１のビデオストリームを送信元通信端末から受信することと、
−  前記第１のビデオストリームの品質レベルを決定することと、
−  前記第１のビデオストリームに基づく第２のビデオストリームを送信先通信端末に送信することと
を備え、
−  前記品質レベルが所定の閾値より高い場合、第２のビデオストリームのフレームが、前記第１のビデオストリームのフレームを含み、
−  前記品質レベルが前記所定の閾値より低い場合、方法が、品質基準を満たす前記第１のビデオストリームのフレームの一部分を決定することを備え、第２のビデオストリームのフレームが、前記一部分と第３のビデオストリームのフレームとを含む、
方法により実現される。
【０００６】
同様に、本発明の実施形態は、ビデオ送信装置であって：
−  第１のビデオストリームを送信元通信端末から受信するための手段と、
−  前記第１のビデオストリームの品質レベルを決定するための手段と、
−  前記第１のビデオストリームに基づく第２のビデオストリームを送信先通信端末に送信するための手段と、
−  前記品質レベルが前記所定の閾値より低い場合に起動される、品質基準を満たす前記第１のビデオストリームのフレームの一部分を決定するための手段と
を備え、
−  前記品質レベルが所定の閾値より高い場合、第２のビデオストリームのフレームが、前記第１のビデオストリームのフレームを含み、
−  前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームのフレームが、前記一部分と第３のビデオストリームのフレームとを含む、
ビデオ送信装置に関する。
【０００７】
このようにして、品質が良好である場合、第１のビデオストリームは、修正なしで送信先通信端末に送信され得る。一方、品質が良好でない場合、第１のビデオストリームの一部分のみが、代替ビデオストリームと組み合わされて、送信先通信端末へ送信される。選択された一部分が品質基準を満たすので、品質劣化は、送信先通信端末のユーザへ（少なくとも部分的に）隠蔽され得る。さらに、代替ビデオストリームがユーザに提供されるので、元のビデオに対して一部分Ｐのサイズが縮小されたことからユーザの注意を逸らすことができる。結果として、ユーザは、品質が劣化していても、滑らかで満足のいく視聴体験を楽しむことができる。
【０００８】
一実施形態では、第１のビデオストリームが、フレームの全領域のデータを含む第１の画像データと、前フレームに対するフレームの領域の変化に関するデータを含む第２の画像データとを含み、第２の画像データが領域に対して所定の期間受信された場合に、前記品質基準が前記領域により満たされる。
【０００９】
前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームの前記フレームが、第３のビデオストリームのメタデータにより指定される位置に前記一部分を含んでもよい。
【００１０】
前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームの前記フレームが、第３のビデオストリームの分析により決定される位置に前記一部分を含んでもよい。
【００１１】
前記品質レベルが前記所定の閾値より低い場合、第２のビデオストリームの前記フレームが、所定の位置に前記一部分を含む。
【００１２】
上述の３つの例では、一部分は、最も関心が少ない領域に配置されてもよい。
【００１３】
第３のビデオストリームは広告を含んでもよい。
【００１４】
一実施形態では、第３のビデオストリームが、送信元通信端末または送信先通信端末の識別子に応じて決定されてもよい。したがって、パーソナル化が提供される。
【００１５】
たとえば、第３のビデオストリームが、ソーシャルネットワークサービスから利用可能な前記識別子に関するデータに応じて決定されてもよい。
【００１６】
一実施形態では、品質基準を満たす前記第１のビデオストリームのフレームの一部分を決定することが、前記第１のビデオストリームの連続するフレームに対して反復される。したがって、決定される一部分は、時間を通して、連続するフレームに対して変化し得る。
【００１７】
実施形態は、ビデオ会議に関する。したがって、方法は：
−  複数の第１のビデオストリームをそれぞれの通信端末から受信することと、
−  前記第１のビデオストリームの少なくとも１つに対して品質レベルを決定することと、
−  前記第１のビデオストリームに基づく第２のビデオストリームを前記通信端末に送信することと
を備えてもよく、
−  前記品質レベルが所定の閾値より高い場合、第２のビデオストリームのフレームが、前記第１のビデオストリームの前記少なくとも１つのフレームを含み、
−  前記品質レベルが前記所定の閾値より低い場合、方法が、品質基準を満たす前記少なくとも１つの第１のビデオストリームのフレームの一部分を決定することを備え、第２のビデオストリームのフレームが、前記一部分と第３のビデオストリームのフレームとを含む。
【００１８】
たとえば、第２のビデオストリームが前記第１のビデオストリームのモザイクでもよい。他の実施形態では、第２のビデオストリームは、第１のビデオストリームの１つ、たとえば、参加者が最も大きい声で話すものを選択することにより決定されてもよい。
【００１９】
本発明の実施形態はまた、コンピュータにより実行された場合に、本発明の実施形態による方法を実行するための命令を含む、たとえばコンピュータ可読媒体上のコンピュータプログラムに関する。
【００２０】
添付の図面と併せて実施形態の以下の説明を参照することで、本発明の上記および他の目的ならびに特徴がより明らかになり、本発明自体が最も良く理解されよう。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態によるビデオストリームを送信するための方法が実施され得るシステムの概略図である。
【図２】本発明の一実施形態によるビデオストリームを送信するための方法のフローチャートの図である。
【図３】ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。
【図４】ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。
【図５】ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。
【図６】本発明の一実施形態によるビデオストリームを送信するための方法が実施され得るシステムの概略図である。
【図７】図６のシステムにおける、ビデオストリームの一部分と代替ビデオストリームとの組合せの例を示す図である。
【発明を実施するための形態】
【００２２】
図面に示された様々な要素の機能は、専用のハードウェア、ならびに、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアを用いて、提供され得ることに注意されたい。機能は、プロセッサにより提供されるとき、単一の専用プロセッサにより、単一の共有プロセッサにより、または一部が共有され得る複数の個別プロセッサにより、提供され得る。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に参照するよう解釈されるべきではく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを限定することなく暗黙に含み得る。従来のおよび／またはカスタムの、他のハードウェアもまた含まれ得る。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックとの相互作用を通して、または手動でも実行され得、特定の技術は文脈からより具体的に理解されるように、実装者により選択可能である。
【００２３】
本明細書の任意のブロック図が、本発明の原理を具現化する例示の回路の概念図を表すことを、当業者にさらに理解されたい。同様に、任意のフローチャート、フロー図、状態遷移図、疑似コードなどは、コンピュータ可読媒体内に実質的に表され、したがってそれらが、そのようなコンピュータまたはプロセッサが明示的に図示されるされないにかかわらず、コンピュータまたはプロセッサにより実行され得る様々な処理を表すことが理解されよう。
【００２４】
図１は、本発明の一実施形態によるビデオストリームを送信するための方法が実施され得るシステム１の概略図である。システム１はネットワーク５により接続された、通信端末２と、ビデオ送信装置３と、通信端末４とを備える。システム１は代替ビデオサーバ６と、ビデオ品質評価装置７とをさらに備えてもよい。
【００２５】
システム１は（送信元端末となる）通信端末２から（送信先端末となる）通信端末４へ、ネットワーク５を通して、ビデオ送信装置３を介して、ソースビデオストリームＶＳを送信させる。ビデオストリームＶＳの送信は、セッション開始プロトコル（ＳＩＰ：Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）を用いて、ＩＰマルチメディアサブシステムにおいて開始されてもよい。しかしながら、本発明の実施形態はこの例に限定されない。
【００２６】
通信端末２は、ユーザにより要求され得る複数のビデオストリームを格納するマルチメディアサーバでもよい。通信端末２はまた、ＰＣまたはスマートフォンのようにビデオを取得し、それをビデオ通信のためにネットワークを介して送ることが可能な端末などの、ユーザ端末でもよい。
【００２７】
通信端末４は、表示すべきビデオストリームを受信可能なユーザ端末、たとえば、ＰＣ、スマートフォン、セットトップボックスなどでもよい。
【００２８】
ビデオ送信装置３は、ネットワーク５内に、通信端末２と通信端末４との間に配置される。ビデオ送信装置３により受信されたビデオストリームＶＩＮは、ネットワーク５におけるパケットロスまたは遅延などが原因で、ソースビデオストリームＶＳと異なることがある。言い換えると、ネットワーク５において利用可能なビデオストリームＶＩＮは歪んでいることがあり、つまり品質が低下していることがある。
【００２９】
起こり得る品質劣化を考慮するために、ビデオ送信装置３は、ビデオストリームＶＩＮの品質レベルＱを決定する。一実施形態では、ビデオ送信装置３は、品質レベルＱ自体を評価する。他の実施形態では、図１に破線で示されるように、ビデオ送信装置３は、ビデオストリームＶＩＮの品質を評価し、品質レベルＱをビデオ送信装置３に提供するように構成されたビデオ品質評価装置７に問い合わせることで、品質レベルＱを決定する。
【００３０】
品質レベルＱは、任意の適切なビデオ品質評価方法により評価されてもよい。ソースビデオストリームＶＳが（フレームの全領域のデータを含む）Ｉスライスと（前フレームに対するフレームの領域の変化に関するデータを含む）Ｐスライスとに基づいて符号化される実施形態では、品質レベルＱは、Ｐスライスがフレームの各領域に対して所定の期間受信された場合に、品質が十分に良好であることを表してもよく、そうでない場合には品質が不十分であることを表してもよい。
【００３１】
ビデオ送信装置３から通信端末４へ送信されるビデオストリームＶＯＵＴは、決定された品質レベルＱに依存する：
−  品質レベルＱが所定の品質閾値Ｑ０より高い場合、ビデオストリームＶＯＵＴは、ビデオストリームＶＩＮの全体を含む（たとえば、ビデオストリームＶＯＵＴはビデオストリームＶＩＮに等しい）。
−  品質レベルＱが品質閾値Ｑ０より低い場合、ビデオ送信装置３は、品質基準を満たすビデオストリームＶＩＮの一部分と代替ビデオストリームＶＳＵＢとを組み合せることにより、ビデオストリームＶＯＵＴを構成する。この組合せのいくつかの可能性を、図３、４および５を参照して以下説明する。
【００３２】
代替ビデオストリームＶＳＵＢは、ビデオ送信装置３に格納されたビデオでもよい。他の実施形態では、図１に破線で示されるように、代替ビデオストリームＶＳＵＢは、代替ビデオサーバ６によりビデオ送信装置３へ提供される。
【００３３】
代替ビデオストリームＶＳＵＢは、広告を含んでもよい。それは通信端末２または通信端末４のユーザのＩＤに依存してもよい。たとえば、代替ビデオサーバ６はプロフィール情報に基づいて広告を選択し、これは選択された広告がユーザに適していることを示す。代替ビデオストリームＶＳＵＢはまた、個人用呼び出し音機能（Ｐｅｒｓｏｎａｌ  Ｒｉｎｇ  Ｂａｃｋ  Ｔｏｎｅｆｕｎｃｔｉｏｎ）のビデオへの応用と同様にして、通信端末２または通信端末４のユーザにより事前に選択されたビデオを含んでもよい。代替ビデオストリームＶＳＵＢはまた、ソーシャルネットワークサービスから利用可能な、通信端末２または４のユーザに関連するデータに基づいて決定されたビデオを含んでもよい。たとえば、通信端末２のユーザがソーシャルネットワークサービス上でビデオを共有した場合、このビデオは代替ビデオストリームＶＳＵＢに含まれてもよい。
【００３４】
図２は、ビデオ送信装置３により実施される、ビデオストリームを送信するための方法のフローチャートである。
【００３５】
ビデオ送信装置３は、通信端末２からビデオストリームＶＩＮを受信し（ステップＳ１）、ビデオストリームＶＩＮの品質レベルＱを決定する（ステップＳ２）。決定された品質レベルＱは、閾値Ｑ０と比較される（ステップＳ３）。
【００３６】
Ｑ＞Ｑ０（またはＱ≧Ｑ０）の場合、ビデオ送信装置３は、出力ビデオストリームＶＯＵＴとしてビデオストリームＶＩＮを用いる（ステップＳ４）。
【００３７】
一方、Ｑ＜Ｑ０（またはＱ≦Ｑ０）の場合、ビデオ送信装置３は、品質基準を満たすビデオストリームＶＩＮの少なくとも一部分Ｐを決定し（ステップＳ５）、一部分Ｐを代替ビデオストリームＶＳＵＢと組み合せてビデオストリームＶＯＵＴを構成する（ステップＳ６）。
【００３８】
両方の場合において、ビデオストリームＶＯＵＴは通信端末４へ送信される（ステップＳ７）。
【００３９】
図２においてステップＳ７からステップＳ１への矢印により示されるように、ステップＳ１からＳ７は、ビデオストリームを送信しながら連続的に実施される。結果として、ビデオストリーム全体の送信は、ＶＩＮの品質が良好であり（Ｑ≧Ｑ０）ＶＯＵＴがＶＩＮに等しい期間と、ＶＩＮの品質が良好でなく（Ｑ＜Ｑ０）ＶＯＵＴがＶＩＮの一部分と代替ビデオストリームＶＳＵＢとの組合せの結果である他の期間とから構成されてもよい。
【００４０】
ソースビデオストリームＶＳが（フレームの全領域のデータを含む）Ｉスライスと（前フレームに対するフレームの領域の変化に関するデータを含む）Ｐスライスとに基づいて符号化されるとき、ビデオストリームＶＩＮの一部分Ｐを決定するために用いられる品質基準は以下でもよい：
ある時刻Ｔにおいて、フレームの領域についてのＰスライスが、設定可能であって２つの完全な画像（Ｉスライス）間の時間間隔より短い、多くのミリ秒から定期的に受信された場合に、この領域が品質基準を満たす一部分Ｐとして選択される。Ｐスライスが数個の領域に対して受信された場合は、最大の領域が選択されてもよい。もちろん、他の品質基準が用いられてもよい。
【００４１】
図３に、ビデオストリームＶＩＮの一部分と代替ビデオストリームＶＳＵＢを組み合せることで、ビデオストリームＶＯＵＴを構成する第１の例を示す。図３は、２つの領域Ｒ１およびＲ２が品質基準を満たすビデオストリームＶＩＮのフレームＦ１を示す。最大のもの（この例ではＲ１）が、ビデオストリームＶＯＵＴに含まれるべき一部分Ｐとして選択される。図３は、最も関心が少ない領域Ａを含む代替ビデオストリームＶＳＵＢのフレームＦ２を示す。領域Ａは、たとえば、代替ビデオストリームＶＳＵＢに含まれるメタデータにより指定されてもよい。他の例では、領域Ａは、たとえばビデオストリームＶＩＮの動きベクトルに基づいて代替ビデオストリームＶＳＵＢを分析することで、ビデオ送信装置３により決定されてもよい。最後に、図３は、フレームＦ１の一部分ＰをフレームＦ２上に、領域Ａの位置に重畳することで構成されたビデオストリームＶＯＵＴのフレームＦ３を示す。領域Ａおよび一部分Ｐが同一サイズを有さない場合、一部分Ｐのサイズの増加または減少を含んでもよい。
【００４２】
この組合せは、連続するフレームに対して反復される。一部分Ｐは、各フレームに対して個別に決定されてもよい。したがって、ビデオストリームＶＯＵＴに含まれるビデオストリームＶＩＮの一部分Ｐは、時間を通して変化してもよい。たとえば、Ｐスライスが領域Ｒ２に対してではなく領域Ｒ１に対して受信されなくなった場合、領域Ｒ２が、領域Ｒ１の代わりに一部分Ｐとして選択され、ビデオストリームＶＯＵＴに含まれてもよい。
【００４３】
図４に、ビデオストリームＶＩＮの一部分を代替ビデオストリームＶＳＵＢと組み合せることでビデオストリームＶＯＵＴを構成する第２の例を示す。図４は、一部分ＰがビデオストリームＶＯＵＴに含まれるように選択されたビデオストリームＶＩＮのフレームＦ４を示す。図４は、代替ビデオストリームＶＳＵＢのフレームＦ５を示す。最後に、図４は、フレームＦ４の一部分ＰとフレームＦ５を、黒い背景などの背景上に追加することで構成されるビデオストリームＶＯＵＴのフレームＦ６を示す。この例では、一部分ＰおよびフレームＦ５はフレームＦ６内で部分的に重なるが、重ならずに隣接してもよい。フレームＦ５およびＦ６の相対的なサイズに応じて、フレームＦ５のサイズは、一部分Ｐのための十分なスペースを残した上でフレームＦ６に収まるように縮小されてもよい。
【００４４】
図５に、ビデオストリームＶＩＮの一部分を代替ビデオストリームＶＳＵＢと組み合せることでビデオストリームＶＯＵＴを構成する第３の例を示す。図５は、一部分ＰがビデオストリームＶＯＵＴに含まれるように選択されたビデオストリームＶＩＮのフレームＦ７を示す。この場合、一部分Ｐは、非選択部分Ｐ’を除いたフレームＦ７の大部分を覆う。図５は、代替ビデオストリームＶＳＵＢのフレームＦ８を示す。最後に、図５は、フレームＦ７の非選択部分Ｐ’をフレームＦ８に置換することで構成されるビデオストリームＶＯＵＴのフレームＦ９を示す。非選択部分Ｐ’およびフレームＦ８の相対的なサイズに応じて、フレームＦ８のサイズは、非選択部分Ｐ’上に適合するように増加または減少されてもよい。
【００４５】
図３から図５の例の各々が、個々のフレームを参照して説明された。ビデオストリームＶＯＵＴの連続するフレームが、ビデオストリームＶＩＮの品質が劣化する間に（Ｑ＜Ｑ０）、同様に構成されることを理解されたい。
【００４６】
システム１において、品質が良好である場合（Ｑ＞Ｑ０）、ビデオストリームＶＩＮは修正なしでユーザ端末４に送信される。一方、品質が良好でない場合（Ｑ＜Ｑ０）、ビデオストリームＶＩＮの一部分のみが、代替ビデオストリームＶＳＵＢと組み合されて、通信端末４へ送信される。選択された一部分が品質基準を満たすので、品質劣化は通信端末４のユーザへ（少なくとも部分的に）隠蔽され得る。さらに、代替ビデオストリームがユーザに提供されるので、元のビデオに対して一部分Ｐのサイズが縮小されたことからユーザの注意を逸らすことができる。結果として、通信端末４のユーザは、品質が劣化していても、滑らかで満足のいく視聴体験を楽しむことができる。
【００４７】
これまで、通信端末２から通信端末４へのビデオストリームの送信を説明した。通信端末２および通信端末４の両方が、たとえば双方向ビデオ会話用の、ビデオストリームを送信および受信可能なユーザ端末である場合、ビデオ送信装置３は、通信端末２へ送信されるべきビデオストリームを決定するために、上述と同一の方法を、通信端末４から受信されるビデオストリームに適用してもよい。
【００４８】
図１のシステム１を、２つの通信端末間の通信を参照して説明した。しかしながら、本発明の実施形態は、図６に示されたように、複数の（すなわち２より多い）通信端末間の通信にも適用される。図６では、図１と同じ参照符号は、同一または類似の構成要素を指定する。
【００４９】
図６のシステム１は、ネットワーク５を通してビデオ送信装置３を介して接続された複数の通信端末２ａ、２ｂ、２ｃ、２ｄを備える。
【００５０】
各通信端末２ａ、２ｂ、２ｃ、２ｄは、それぞれのソースビデオストリームＶＳａ、ＶＳｂ、ＶＳｃ、ＶＳｄをビデオ送信装置３に送信する。ネットワーク５におけるパケットロスおよび遅延などが原因で、ビデオ送信装置３により受信されたビデオストリームＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄはソースビデオストリームＶＳａ、ＶＳｂ、ＶＳｃ、ＶＳｄと異なることがあり、言い換えると、品質が劣化していることがある。
【００５１】
ビデオ送信装置３はビデオ会議サーバとして働き、ビデオストリームＶＯＵＴ＿Ｍを各通信端末２ａ、２ｂ、２ｃ、２ｄに送信する。
【００５２】
一実施形態では、たとえば、どの参加者が最も大きな声で話すかに基づいて、ビデオストリームＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄの１つを選択し、図２の方法を選択されたビデオストリームに適用することで、ビデオストリームＶＯＵＴ＿Ｍが決定される。
【００５３】
図６の実施形態では、ビデオ送信装置３は、同一のビデオストリームＶＯＵＴ＿Ｍを各通信端末２ａ、２ｂ、２ｃ、２ｄに送信する。しかしながら、他の実施形態では、異なるビデオストリームが各通信端末２ａ、２ｂ、２ｃ、２ｄに送信されてもよい。
【００５４】
図７に例示される他の実施形態では、図２の方法をビデオストリームＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄの少なくとも１つに適用し、その結果のビデオストリームのモザイクを構成することにより、ビデオストリームＶＯＵＴ＿Ｍが決定される。好ましくは、図２の方法は、ビデオストリームＶＩＮａ、ＶＩＮｂ、ＶＩＮｃ、ＶＩＮｄの各々に並行して適用される。したがって、図７の例では、ビデオストリームＶＩＮａ、ＶＩＮｃおよびＶＩＮｄの品質レベルは十分であると判断された一方で、ビデオストリームＶＩＮｂの品質レベルは不十分であると判断された。結果として、ビデオストリームＶＯＵＴ＿Ｍのモザイクは、ビデオストリームＶＩＮａ、ＶＩＮｃおよびＶＩＮｄの各々の全体のフレームと、代替ビデオストリームのフレームと組み合されたビデオストリームＶＩＮｂのフレームの一部分とを含む。この組合せは、たとえば図３から図５の１つを参照して上述されたように行われてもよい。
【００５５】
本方法の実施形態は、専用のハードウェアおよび／またはソフトウェアまたはそれらの任意の組合せにより実施され得る。
【００５６】
本発明の原理は特定の装置に関して上述されたが、この説明はあくまで一例に過ぎず、添付の特許請求の範囲に定義された本発明の範囲を制限するものではないことが、明らかに理解されよう。
【図１】
2016504812.tif 000003
【図２】
2016504812.tif 000004
【図３】
2016504812.tif 000005
【図４】
2016504812.tif 000006
【図５】
2016504812.tif 000007
【図６】
2016504812.tif 000008
【図７】
2016504812.tif 000009
【国際調査報告】
2016504812.tif 000010
2016504812.tif 000011
2016504812.tif 000012