(57)【要約】  本開示の態様は、符号化ビデオフレームの低減されたストリームを送信することに関する。符号化ビデオフレームの元のストリームが解析されて、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、複数のフレームが除去されて、低減されたストリームと複数の除去されたフレームを記述するメタデータとが送信される。本開示の態様は、符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成することに関する。符号化ビデオフレームの低減されたストリームが受信されて、低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームが識別されて、複数の置換フレームが生成されて、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームが追加される。
2016519466.tif 000002
【特許請求の範囲】
【請求項１】
符号化ビデオフレームの低減されたストリームを送信する方法であって、
符号化ビデオフレームの元のストリームを解析するステップと、
符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するステップと、
符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するステップと
を含む方法。
【請求項２】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するステップ
をさらに含む、請求項1に記載の方法。
【請求項３】
解析する前記ステップが、
符号化ビデオフレームの前記元のストリームのヘッダを解析して、ビデオフレームのタイプを識別するステップ
を含む、請求項1に記載の方法。
【請求項４】
前記ビデオフレームの前記タイプが、前記ビデオフレームのサイズまたは前記ビデオフレームのヘッダ内の識別子によって識別される、請求項3に記載の方法。
【請求項５】
前記ビデオフレームの前記タイプが、Iフレーム、Pフレーム、またはBフレームである、請求項3に記載の方法。
【請求項６】
符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するステップ
をさらに含む、請求項1に記載の方法。
【請求項７】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項1に記載の方法。
【請求項８】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項7に記載の方法。
【請求項９】
除去する前記ステップが、2個のキーフレーム間の前記複数の中間フレームを除去するステップを含む、請求項7に記載の方法。
【請求項１０】
受信側ユーザデバイスが、符号化ビデオフレームの前記低減されたストリームにフレームを追加することによって、符号化ビデオフレームの前記元のストリームを再作成する、請求項7に記載の方法。
【請求項１１】
前記追加されたフレームが前記複数の中間フレームである、請求項10に記載の方法。
【請求項１２】
前記追加されたフレームが、第1のキーフレームを第2のキーフレームにモーフィングすることによって生成される、請求項11に記載の方法。
【請求項１３】
前記追加されたフレームの数が、前記複数の除去されたフレームの数に一致する、請求項10に記載の方法。
【請求項１４】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記複数の除去されたフレームの数、および/または前記複数の除去されたフレームの識別子を含む、請求項1に記載の方法。
【請求項１５】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成する方法であって、
符号化ビデオフレームの前記低減されたストリームを受信するステップであって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するステップと、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するステップと、
前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するステップと、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するステップと
を含む方法。
【請求項１６】
符号化ビデオフレームの前記低減されたストリームに関する前記メタデータを処理するステップ
をさらに含む、請求項15に記載の方法。
【請求項１７】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項15に記載の方法。
【請求項１８】
識別する前記ステップが、
フレームがドロップされたフレームのシーケンスの始端であることを判断するステップと、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するステップと
を含む、請求項15に記載の方法。
【請求項１９】
識別する前記ステップが、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するステップと、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するステップと
をさらに含む、請求項18に記載の方法。
【請求項２０】
生成する前記ステップが、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するステップ
を含む、請求項19に記載の方法。
【請求項２１】
再作成する前記ステップが、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するステップを含む、請求項20に記載の方法。
【請求項２２】
再作成する前記ステップが、
動き追跡を使用して、前記第1のキーフレーム内および前記第2のキーフレーム内のオブジェクトを識別するステップと、
前記追跡されたオブジェクトを前記第1のキーフレーム内のその位置から前記第2のキーフレーム内のその位置に移動させることに基づいて、前記複数の置換フレームを生成するステップと
を含む、請求項20に記載の方法。
【請求項２３】
前記フレームがドロップされたフレームの前記シーケンスの後の前記第1のフレームであることを判断する前記ステップが、前記メタデータに基づく、請求項19に記載の方法。
【請求項２４】
前記フレームがドロップされたフレームの前記シーケンスの前記始端であることを判断する前記ステップが、前記メタデータに基づく、請求項18に記載の方法。
【請求項２５】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するステップ
をさらに含む、請求項15に記載の方法。
【請求項２６】
符号化ビデオフレームの低減されたストリームを送信するための装置であって、
符号化ビデオフレームの元のストリームを解析するように構成された論理手段と、
符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するように構成された論理手段と、
符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するように構成された論理手段と
を含む装置。
【請求項２７】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するように構成された論理手段
をさらに含む、請求項26に記載の装置。
【請求項２８】
符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するように構成された論理手段
をさらに含む、請求項26に記載の装置。
【請求項２９】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項26に記載の装置。
【請求項３０】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項29に記載の装置。
【請求項３１】
除去するように構成された前記論理手段が、2個のキーフレーム間の複数の中間フレームを除去するように構成された論理手段を含む、請求項29に記載の装置。
【請求項３２】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記除去されたフレームの数、および/または前記複数の除去されたフレームの識別子を含む、請求項26に記載の装置。
【請求項３３】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置であって、
符号化ビデオフレームの前記低減されたストリームを受信するように構成された論理手段であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するように構成された論理手段と、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するように構成された論理手段と、
前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するように構成された論理手段と、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するように構成された論理手段と
を含む装置。
【請求項３４】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項33に記載の装置。
【請求項３５】
識別するように構成された前記論理手段が、
フレームがドロップされたフレームのシーケンスの始端であることを判断するように構成された論理手段と、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するように構成された論理手段と
を含む、請求項33に記載の装置。
【請求項３６】
識別するように構成された前記論理手段が、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するように構成された論理手段と、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するように構成された論理手段と
をさらに含む、請求項35に記載の装置。
【請求項３７】
生成するように構成された前記論理手段が、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するように構成された論理手段
を含む、請求項36に記載の装置。
【請求項３８】
再作成するように構成された前記論理手段が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するように構成された論理手段を含む、請求項37に記載の装置。
【請求項３９】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するように構成された論理手段
をさらに含む、請求項33に記載の装置。
【請求項４０】
符号化ビデオフレームの低減されたストリームを送信するための装置であって、
符号化ビデオフレームの元のストリームを解析するための手段と、
符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するための手段と、
符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するための手段と
を含む装置。
【請求項４１】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するための手段
をさらに含む、請求項40に記載の装置。
【請求項４２】
符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するための手段
をさらに含む、請求項40に記載の装置。
【請求項４３】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項40に記載の装置。
【請求項４４】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項43に記載の装置。
【請求項４５】
除去するための前記手段が、2個のキーフレーム間の前記複数の中間フレームを除去するための手段を含む、請求項43に記載の装置。
【請求項４６】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記複数の除去されたフレームの数、および/または前記除去されたフレームの識別子を含む、請求項40に記載の装置。
【請求項４７】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置であって、
符号化ビデオフレームの前記低減されたストリームを受信するための手段であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するための手段と、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するための手段と、
前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための手段と、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するための手段と
を含む装置。
【請求項４８】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項47に記載の装置。
【請求項４９】
識別するための前記手段が、
フレームがドロップされたフレームのシーケンスの始端であることを判断するための手段と、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するための手段と
を含む、請求項47に記載の装置。
【請求項５０】
識別するための前記手段が、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するための手段と、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するための手段と
をさらに含む、請求項49に記載の装置。
【請求項５１】
生成するための前記手段が、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するための手段
を含む、請求項50に記載の装置。
【請求項５２】
再作成するための前記手段が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するための手段を含む、請求項51に記載の装置。
【請求項５３】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するための手段
をさらに含む、請求項47に記載の装置。
【請求項５４】
符号化ビデオフレームの低減されたストリームを送信するための非一時的コンピュータ可読記録媒体であって、
符号化ビデオフレームの元のストリームを解析するための少なくとも1つの命令と、
符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数のフレームを除去するための少なくとも1つの命令と、
符号化ビデオフレームの前記低減されたストリームと、前記複数の除去されたフレームを記述するメタデータとを送信するための少なくとも1つの命令と
を含む非一時的コンピュータ可読記録媒体。
【請求項５５】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するための少なくとも1つの命令
をさらに含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項５６】
符号化ビデオフレームの前記元のストリームから除去するフレームの数を判断するための少なくとも1つの命令
をさらに含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項５７】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項５８】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項57に記載の非一時的コンピュータ可読記録媒体。
【請求項５９】
除去するための前記少なくとも1つの命令が、2個のキーフレーム間の前記複数の中間フレームを除去するための少なくとも1つの命令を含む、請求項57に記載の非一時的コンピュータ可読記録媒体。
【請求項６０】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリームの識別子、前記除去されたフレームの数、および/または前記複数の除去されたフレームの識別子を含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項６１】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための非一時的コンピュータ可読記録媒体であって、
符号化ビデオフレームの前記低減されたストリームを受信するための少なくとも1つの命令であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記元のストリームから複数のフレームを除去することによって作成された、受信するための少なくとも1つの命令と、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記複数の除去されたフレームを識別するための少なくとも1つの命令と、
前記識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための少なくとも1つの命令と、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するための少なくとも1つの命令と
を含む非一時的コンピュータ可読記録媒体。
【請求項６２】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項61に記載の非一時的コンピュータ可読記録媒体。
【請求項６３】
識別するための前記少なくとも1つの命令が、
フレームがドロップされたフレームのシーケンスの始端であることを判断するための少なくとも1つの命令と、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するための少なくとも1つの命令と
を含む、請求項61に記載の非一時的コンピュータ可読記録媒体。
【請求項６４】
識別するための前記少なくとも1つの命令が、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するための少なくとも1つの命令と、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するための少なくとも1つの命令と
をさらに含む、請求項63に記載の非一時的コンピュータ可読記録媒体。
【請求項６５】
生成するための前記少なくとも1つの命令が、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するための少なくとも1つの命令
を含む、請求項64に記載の非一時的コンピュータ可読記録媒体。
【請求項６６】
再作成するための前記少なくとも1つの命令が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するための少なくとも1つの命令を含む、請求項65に記載の非一時的コンピュータ可読記録媒体。
【請求項６７】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するための少なくとも1つの命令
をさらに含む、請求項61に記載の非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオフレームをドロップすることによって、ネットワークを介してビデオを送信するために必要とされるビットレートを低減させることを対象とする。
【背景技術】
【０００２】
ワイヤレス通信システムは、第1世代(1G)アナログワイヤレス電話サービス、第2世代(2G)デジタルワイヤレス電話サービス(暫定の2.5Gネットワークおよび2.75Gネットワークを含む)、ならびに第3世代(3G)および第4世代(4G)の高速データ/インターネット対応ワイヤレスサービスを含む、様々な世代を通じて発展してきた。現在、セルラーシステムおよびパーソナル通信サービス(PCS)システムを含む、多くの様々なタイプのワイヤレス通信システムが使用されている。知られているセルラーシステムの例には、セルラーアナログ先進移動電話システム(AMPS:Analog Advanced Mobile Phone System)、ならびに、符号分割多元接続(CDMA)、周波数分割多元接続(FDMA)、時分割多元接続(TDMA)、TDMAのモバイル用グローバルシステム接続(GSM(登録商標))変形形態、およびTDMA技術とCDMA技術の両方を使用するより新しいハイブリッドデジタル通信システムに基づくデジタルセルラーシステムがある。
【０００３】
つい最近、モバイル電話および他のデータ端末の高速データのワイヤレス通信用のワイヤレス通信プロトコルとして、ロングタームエボリューション(LTE:Long Term Evolution)が開発されてきている。LTEは、GSMに基づいており、GSM進化型高速データレート(EDGE)などの様々なGSM関連のプロトコル、および高速パケットアクセス(HSPA)などのユニバーサルモバイル通信システム(UMTS:Universal Mobile Telecommunications System)プロトコルからの寄与を含む。
【０００４】
ますます増えるデータ量が、3Gネットワークおよび4Gネットワークなど、データネットワークを介して送信されるため、キャリアはユーザのデータニーズを満たすのに必死である。これは、ネットワークを介してモバイルデバイスに対して行われるビデオストリーミングの量によって悪化する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の様々な態様は、符号化ビデオフレームの低減されたストリームを送信することに関する。本開示の様々な他の態様は、符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成することに関する。
【課題を解決するための手段】
【０００６】
符号化ビデオフレームの低減されたストリームを送信する方法は、符号化ビデオフレームの元のストリームを解析するステップと、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの元のストリームから複数のフレームを除去するステップと、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するステップとを含む。
【０００７】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成する方法は、符号化ビデオフレームの低減されたストリームを受信するステップであって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するステップと、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するステップと、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するステップと、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するステップとを含む。
【０００８】
符号化ビデオフレームの低減されたストリームを送信するための装置は、符号化ビデオフレームの元のストリームを解析するように構成された論理手段と、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームのストリームから複数のフレームを除去するように構成された論理手段と、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するように構成された論理手段とを含む。
【０００９】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置は、符号化ビデオフレームの低減されたストリームを受信するように構成された論理手段であって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するように構成された論理手段と、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するように構成された論理手段と、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するように構成された論理手段と、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するように構成された論理手段とを含む。
【００１０】
符号化ビデオフレームの低減されたストリームを送信するための装置は、符号化ビデオフレームの元のストリームを解析するための手段と、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームのストリームから複数のフレームを除去するための手段と、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するための手段とを含む。
【００１１】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置は、符号化ビデオフレームの低減されたストリームを受信するための手段であって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するための手段と、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するための手段と、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための手段と、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するための手段とを含む。
【００１２】
符号化ビデオフレームの低減されたストリームを送信するための非一時的コンピュータ可読媒体は、符号化ビデオフレームの元のストリームを解析するための少なくとも1つの命令と、符号化ビデオフレームの低減されたストリームを生成するために、符号化ビデオフレームを再符号化せずに、符号化ビデオフレームのストリームから複数のフレームを除去するための少なくとも1つの命令と、符号化ビデオフレームの低減されたストリームと、複数の除去されたフレームを記述するメタデータとを送信するための少なくとも1つの命令とを含む。
【００１３】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための非一時的コンピュータ可読媒体は、符号化ビデオフレームの低減されたストリームを受信するための少なくとも1つの命令であって、符号化ビデオフレームの低減されたストリームが、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成された、受信するための少なくとも1つの命令と、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別するための少なくとも1つの命令と、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成するための少なくとも1つの命令と、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加するための少なくとも1つの命令とを含む。
【００１４】
本発明の態様およびその付随する利点の多くのより完全な理解は、本発明を限定するためではなく単に例示するために提示される添付の図面とともに考察するときに、以下の詳細な説明を参照することによって、理解が深まるのに応じて容易に得られるであろう。
【図面の簡単な説明】
【００１５】
【図１】本発明の一態様によるワイヤレス通信システムのハイレベルシステムアーキテクチャを示す図である。
【図２】本発明の態様によるユーザ機器(UE)の例を示す図である。
【図３】本発明の一実施形態による機能を実行するように構成された論理手段を含む通信デバイスを示す図である。
【図４】本開示の様々な態様による例示的なサーバを示す図である。
【図５】IフレームとPフレームとに解体された例示的なビデオファイルを示す図である。
【図６】本発明の一態様によるワイヤレス通信システムのハイレベルシステムアーキテクチャを示す図である。
【図７】図6に示すワイヤレス通信システム内でビデオファイルを処理するための例示的なシグナリング図である。
【図８】クライアントデバイスにおいて実行される特徴のより詳細なフローを示す図である。
【図９】フレームの一連のフルグループ(full groups)を示す図である。
【図１０】5個のPフレームを一度にスキップおよびモーフィング(morphing)する例を示す図である。
【図１１】11個のPフレームを一度にスキップおよびモーフィングする例を示す図である。
【図１２】例示的なMP4ファイル階層を示す図である。
【図１３】サーバにおいてビデオファイルを処理するための例示的なフローを示す図である。
【図１４】符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための例示的なフローを示す図である。
【発明を実施するための形態】
【００１６】
様々な態様は、以下の説明および関連する図面において開示される。本開示の範囲から逸脱することなく、代替の態様が考案され得る。さらに、本開示の関連する詳細を不明瞭にしないように、本開示のよく知られている要素は詳細に説明されないか、または省略される。
【００１７】
「例示的」および/または「例」という用語は、本明細書では「例、事例、または例示として機能すること」を意味するために使用される。本明細書で「例示的」および/または「例」として説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきではない。同様に、「本開示の態様」という用語は、本開示のすべての態様が、論じられた特徴、利点、または動作モードを含むことを必要としない。
【００１８】
さらに、多くの態様について、たとえばコンピューティングデバイスの要素によって実行されるべき、動作のシーケンスに関して説明する。本明細書で説明する様々な動作は、特定の回路(たとえば、特定用途向け集積回路(ASIC))によって、1つもしくは複数のプロセッサによって実行されるプログラム命令によって、または両方の組合せによって実施され得ることを認識されよう。加えて、本明細書で説明するこれらの動作のシーケンスは、実行時に、関連するプロセッサに本明細書で説明する機能を実施させるコンピュータ命令の対応するセットを記憶した、任意の形式のコンピュータ可読記憶媒体内で完全に具現化されるものと見なされ得る。したがって、本開示の様々な態様はいくつかの異なる形式で具現することができ、そのすべてが特許請求される主題の範囲内に入ると考えられる。さらに、本明細書で説明する態様ごとに、任意のそのような態様の対応する形式は、本明細書で、たとえば、説明する動作を実行する「ように構成された論理手段」として説明される場合がある。
【００１９】
本明細書ではユーザ機器(UE)と呼ばれるクライアントデバイスは、モバイルであってもまたは固定されていてもよく、かつ無線アクセスネットワーク(RAN)と通信してよい。本明細書で使用する「UE」という用語は、「アクセス端末」または「AT」、「ワイヤレスデバイス」、「加入者デバイス」、「加入者端末」、「加入者局」、「ユーザ端末」またはUT、「モバイル端末」、「移動局」、およびそれらの変化形と互換的に参照されてよい。一般に、UEは、RANを介してコアネットワークと通信してよく、コアネットワークを通じてインターネットなどの外部ネットワークに接続されてよい。もちろん、UEには、有線アクセスネットワーク、(たとえば、IEEE 802.11などに基づく)WiFiネットワークを介してなど、コアネットワークおよび/またはインターネットに接続する他の機構も考えられる。UEは、PCカード、コンパクトフラッシュ(登録商標)デバイス、外付けまたは内蔵のモデム、ワイヤレスまたは有線の電話などを含むが、これらに限定されない、いくつかのタイプのデバイスのうちの任意のものによって具体化されてよい。UEが信号をRANに送ることができる通信リンクは、アップリンクチャネル(たとえば、逆方向トラフィックチャネル、逆制御チャネル、アクセスチャネルなど)と呼ばれる。RANが信号をUEに送ることができる通信リンクは、ダウンリンクチャネルまたは順方向リンクチャネル(たとえば、ページングチャネル、制御チャネル、ブロードキャストチャネル、順方向トラフィックチャネルなど)と呼ばれる。本明細書で用いられるとき、トラフィックチャネル(TCH)という用語は、アップリンクトラフィックチャネル/逆方向トラフィックチャネル、またはダウンリンクトラフィックチャネル/順方向トラフィックチャネルのいずれかを指すことができる。
【００２０】
図1は、本開示の一態様によるワイヤレス通信システム100のハイレベルシステムアーキテクチャを示す。ワイヤレス通信システム100はUE1...Nを含む。UE1...Nは、携帯電話、携帯情報端末(PDA)、ページャ、ラップトップコンピュータ、デスクトップコンピュータなどを含み得る。たとえば、図1において、UE1...2は発呼側携帯電話として示され、UE3...5はタッチスクリーン携帯電話またはスマートフォンとして示され、UENはデスクトップコンピュータまたはPCとして示されている。
【００２１】
図1を参照すると、UE1...Nは、図1にエアインターフェース104、106、108および/または直接有線接続として示されている物理通信インターフェースまたは物理通信レイヤを介してアクセスネットワーク(たとえば、RAN120、アクセスポイント125など)と通信するように構成される。エアインターフェース104および106は、所与のセルラー通信プロトコル(たとえば、符号分割多元接続(CDMA)、エボリューションデータオプティマイズド(EV-DO:Evolution-Data Optimized)、発展型高速パケットデータ(eHRPD:Evolved High Rate Packet Data)、モバイル通信用グローバルシステム(GSM)、GSM進化型高速データレート(EDGE:Enhanced Data rates for GSM Evolution)、ワイドバンドCDMA(W-CDMA)、ロングタームエボリューション(LTE)など)に準拠し得るが、エアインターフェース108は、ワイヤレスIPプロトコル(たとえば、IEEE802.11)に準拠し得る。RAN120は、エアインターフェース104および106などのエアインターフェースを介してUEにサービスする複数のアクセスポイントを含む。RAN120内のアクセスポイントは、アクセスノードまたはAN、アクセスポイントまたはAP、基地局またはBS、ノードB、eノードBなどと呼ばれ得る。これらのアクセスポイントは、地上アクセスポイント(もしくは地上局)または衛星アクセスポイントであり得る。RAN120は、RAN120によってサービスされるUEとRAN120または異なるRANによってサービスされる他のUEとの間の回線交換(CS)呼を完全にブリッジングすることを含む様々な機能を実行することができ、かつインターネット175などの外部ネットワークとのパケット交換(PS)データの交換を仲介することもできるコアネットワーク140に接続するように構成される。インターネット175は、いくつかのルーティングエージェントおよび処理エージェント(便宜上図1には示されていない)を含む。図1において、UE Nはインターネット175に直接接続する(すなわち、WiFiまたは802.11ベースのネットワークのEthernet(登録商標)接続を介するなど、コアネ
ットワーク140から分離される)ように示されている。それによって、インターネット175は、コアネットワーク140を介してUE NとUE1...Nとの間のパケット交換データ通信をブリッジングするように機能し得る。図1には、RAN120から分離されたアクセスポイント125も示されている。アクセスポイント125は、コアネットワーク140とは無関係に(たとえば、FiOS、ケーブルモデムなどの光通信システムを介して)インターネット175に接続され得る。エアインターフェース108は、一例ではIEEE 802.11などのローカルワイヤレス接続を介してUE4またはUE5にサービスし得る。UE Nは、一例では(たとえば、有線接続性とワイヤレス接続性の両方を有するWiFiルータ用の)アクセスポイント125自体に対応し得るモデムまたはルータとの直接接続などのインターネット175との有線接続を含むデスクトップコンピュータとして示されている。
【００２２】
図1を参照すると、アプリケーションサーバ170は、インターネット175、コアネットワーク140、またはその両方に接続されるように示されている。アプリケーションサーバ170は、構造的に分離された複数のサーバとして実装されてよく、または代替として、単一のサーバに対応し得る。以下により詳しく説明するように、アプリケーションサーバ170は、コアネットワーク140および/またはインターネット175を介してアプリケーションサーバ170に接続することのできるUEについて1つまたは複数の通信サービス(たとえば、ボイスオーバーインターネットプロトコル(VoIP:Voice-over-Internet Protocol)セッション、プッシュツートーク(PTT:Push-to-Talk)セッション、グループ通信セッション、ソーシャルネットワーキングサービスなど)をサポートするように構成される。
【００２３】
図2は、本開示の態様によるUEの例を示す。図2を参照すると、UE200Aは発呼側電話として示され、UE200Bはタッチスクリーンデバイス(たとえば、スマートフォン、タブレットコンピュータなど)として示されている。図2に示すように、UE200Aの外部ケーシングは、当技術分野で知られているように、数ある構成要素のなかでも、アンテナ205A、ディスプレイ210A、少なくとも1つのボタン215A(たとえば、PTTボタン、電源ボタン、音量調節ボタンなど)、およびキーパッド220Aなどの構成要素を備えるように構成される。また、UE200Bの外部ケーシングは、当技術分野で知られているように、数ある構成要素のなかでも、タッチスクリーンディスプレイ205B、周辺ボタン210B、215B、220B、および225B(たとえば、電力調節ボタン、音量調整ボタンまたは振動調節ボタン、飛行機モードトグルボタンなど)、少なくとも1つのフロントパネルボタン230B(たとえば、Homeボタンなど)を備えるように構成される。UE200Bの一部として明示的に示されてはいないが、UE200Bは、WiFiアンテナ、セルラーアンテナ、衛星位置システム(SPS)アンテナ(たとえば全地球測位システム(GPS)アンテナ)などを含むが、これらに限定されない、1本もしくは複数の外部アンテナおよび/またはUE200Bの外部ケーシングに内蔵された1本もしくは複数の集積アンテナを含み得る。
【００２４】
UE200AおよびUE200BなどのUEの内部構成要素は異なるハードウェア構成によって具体化され得るが、内部ハードウェア構成要素のための基本的なハイレベルUE構成は図2にプラットフォーム202として示されている。プラットフォーム202は、最終的にコアネットワーク140、インターネット175、ならびに/または他のリモートサーバおよびネットワーク(たとえば、アプリケーションサーバ170、ウェブURLなど)から得ることのできる、RAN120から送信されたソフトウェアアプリケーション、データ、および/またはコマンドを受信し実行してよい。プラットフォーム202は、ローカルに記憶されたアプリケーションをRAN対話なしで独立して実行してもよい。プラットフォーム202は、特定用途向け集積回路(ASIC)208、もしくは他のプロセッサ、マイクロプロセッサ、論理回路、または他のデータ処理デバイスに動作可能に結合される送受信機206を含み得る。ASIC208または他のプロセッサは、ワイヤレスデバイスのメモリ212内の任意の常駐プログラムとのインターフェースを構成するアプリケーションプログラミングインターフェース(API)210レイヤを実行する。メモリ212は、読取り専用メモリ(ROM)もしくはランダムアクセスメモリ(RAM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュカード、またはコンピュータプラットフォームに共通する任意のメモリから構成されてよい。プラットフォーム202は、メモリ212内でアクティブに使用されないアプリケーションおよび他のデータを記憶することができるローカルデータベース214を含むことも可能である。ローカルデータベース214は、一般的にフラッシュメモリセルであるが、磁気媒体、EEPROM、光学媒体、テープ、ソフトディスクまたはハードディスクなど、当技術分野で知られている任意の二次記憶デバイスとすることができる。
【００２５】
したがって、本開示の一態様は、本明細書で説明する機能を実行する能力を含むUE(たとえば、UE200A、UE200Bなど)を含み得る。当業者が了解するように、様々な論理要素は、本明細書で開示する機能を達成するために、個別の要素、プロセッサ上で実行されるソフトウェアモジュール、またはソフトウェアとハードウェアとの任意の組合せにおいて具現され得る。たとえば、ASIC208、メモリ212、API210およびローカルデータベース214をすべて協調的に使用して、本明細書で開示する様々な機能をロード、記憶および実行することができ、したがって、これらの機能を実行するための論理手段は様々な要素に分散させることができる。代替的には、機能は1つの個別構成要素に組み込むことができる。したがって、図2のUE200Aおよび200Bの特徴は単に例示であると考えられるべきであり、本開示は図示される特徴または構成に限定されない。
【００２６】
UE200Aおよび/またはUE200BとRAN120との間のワイヤレス通信は、CDMA、W-CDMA、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交周波数分割多元(OFDM)、GSM、またはワイヤレス通信ネットワークもしくはデータ通信ネットワークで使用され得る他のプロトコルのような、様々な技術に基づくことができる。先に論じられ、当該技術分野において知られているように、音声送信および/またはデータは、様々なネットワークおよび構成を使用してRANからUEに送信することができる。したがって、本明細書で提供する例示は、本開示の態様を限定することを意図するものではなく、本開示の様々な態様の説明を助けるためのものにすぎない。
【００２７】
図3は、機能を実行するように構成された論理手段を含む通信デバイス300を示す。通信デバイス300は、UE200Aまたは200B、RAN120の任意の構成要素、コアネットワーク140の任意の構成要素、コアネットワーク140および/またはインターネット175に結合された任意の構成要素(たとえば、アプリケーションサーバ170)などを含むが、これらに限定されない、上記の通信デバイスのうちのいずれかに対応し得る。したがって、通信デバイス300は、図1のワイヤレス通信システム100を介して1つまたは複数の他のエンティティと通信する(または通信を容易にする)ように構成された任意の電子デバイスに対応し得る。
【００２８】
図3を参照すると、通信デバイス300は、情報を受信および/または送信するように構成された論理手段305を含む。一例では、通信デバイス300がワイヤレス通信デバイス(たとえば、UE200Aまたは200B)に対応する場合、情報を受信および/または送信するように構成された論理手段305は、(たとえば、RFアンテナ、MODEM、変調器および/または復調器など)ワイヤレス送受信機および関連ハードウェアなどのワイヤレス通信インターフェース(たとえば、Bluetooth(登録商標)、WiFi、2G、CDMA、W-CDMA、3G、4G、LTEなど)を含み得る。別の例では、情報を受信および/または送信するように構成された論理手段305は、有線通信インターフェース(たとえば、それを通してインターネット175にアクセスすることができるシリアル接続、USBまたはFirewire接続、Ethernet接続など)に対応し得る。したがって、通信デバイス300が、何らかのタイプのネットワークベースのサーバ(たとえば、アプリケーション170)に対応する場合、情報を受信および/または送信するように構成された論理手段305は、一例では、Ethernetプロトコルによってネットワークベースのサーバを他の通信エンティティに接続するEthernetカードに対応し得る。さらなる一例では、情報を受信および/または送信するように構成された論理手段305は、通信デバイス300が、それによってそのローカル環境を監視することができる感知ハードウェアまたは測定ハードウェア(たとえば、加速度計、温度センサ、光センサ、ローカルRF信号を監視するためのアンテナなど)を含み得る。情報を受信および/もしくは送信するように構成された論理手段305は、実行されるとき、情報を受信および/もしくは送信するように構成された論理手段305の関連ハードウェアがその受信ならびに/または送信機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を受信および/または送信するように構成された論理手段305は、ソフトウェアだけに対応するのではなく、情報を受信および/または送信するように構成された論理手段305は、その機能を達成するためのハードウェアに少なくとも部分的に依拠する。
【００２９】
図3を参照すると、通信デバイス300は、情報を処理するように構成された論理手段310をさらに含む。一例では、情報を処理するように構成された論理手段310は、少なくともプロセッサを含み得る。情報を処理するように構成された論理手段310によって実行され得るタイプの処理の例示的な実装態様は、判断を行うこと、接続を確立すること、異なる情報オプション間で選択を行うこと、データに関係する評価を実行すること、測定動作を実行するために通信デバイス300に結合されたセンサと対話すること、情報をあるフォーマットから別のフォーマットに(たとえば、wmvから.aviへなど、異なるプロトコル間で)変換することなどを含むが、これらに限定されない。たとえば、情報を処理するように構成された論理手段310に含まれるプロセッサは、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、ASIC、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せに対応し得る。汎用プロセッサはマイクロプロセッサとすることができるが、代替形態では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとすることもできる。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することもできる。情報を処理するように構成された論理手段310は、実行されるとき、情報を処理するように構成された論理手段310の関連ハードウェアがその処理機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を処理するように構成された論理手段310は、ソフトウェアだけに対応するのではなく、情報を処理するように構成された論理手段310は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
【００３０】
図3を参照すると、通信デバイス300は、情報を記憶するように構成された論理手段315をさらに含む。一例では、情報を記憶するように構成された論理手段315は、少なくとも非一時的メモリおよび関連ハードウェア(たとえば、メモリコントローラなど)を含み得る。たとえば、情報を記憶するように構成された論理手段315に含まれる非一時的メモリは、RAM、フラッシュメモリ、ROM、消去可能プログラマブルROM(EPROM)、EEPROM、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体に対応し得る。情報を記憶するように構成された論理手段315は、実行されるとき、情報を記憶するように構成された論理手段315の関連ハードウェアがその記憶機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を記憶するように構成された論理手段315は、ソフトウェアだけに対応するのではなく、情報を記憶するように構成された論理手段315は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
【００３１】
図3を参照すると、通信デバイス300は、情報を提示するように構成された論理手段320をさらにオプションで含む。一例では、情報を提示するように構成された論理手段320は、少なくとも出力デバイスおよび関連ハードウェアを含み得る。たとえば、出力デバイスは、ビデオ出力デバイス(たとえば、ディスプレイスクリーン、USB、HDMI(登録商標)のようなビデオ情報を搬送することができるポートなど)、オーディオ出力デバイス(たとえば、スピーカー、マイクロフォンジャック、USB、HDMIのようなオーディオ情報を搬送することができるポートなど)、振動デバイス、および/あるいは、情報が、それによって、出力のためにフォーマットされ得るか、または通信デバイス300のユーザもしくはオペレータによって実際に出力され得る任意の他のデバイスを含み得る。たとえば、通信デバイス300が図2に示すようなUE200AまたはUE200Bに対応する場合に、情報を提示するように構成された論理手段320は、UE200Aのディスプレイ210AまたはUE200Bのタッチスクリーンディスプレイ205Bを含み得る。さらなる例では、情報を提示するように構成された論理手段320は、(たとえば、ネットワークスイッチまたはルータ、リモートサーバなど)ローカルユーザを有さないネットワーク通信デバイスなどのいくつかの通信デバイスでは省略されることがある。また、情報を提示するように構成された論理手段320は、実行されるとき、情報を提示するように構成された論理手段320の関連ハードウェアがその提示機能を実行できるようにするソフトウェアを含むことも可能である。しかしながら、情報を提示するように構成された論理手段320は、ソフトウェアだけに対応するのではなく、情報を提示するように構成された論理手段320は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
【００３２】
図3を参照すると、通信デバイス300は、ローカルユーザ入力を受信するように構成された論理手段325をさらにオプションで含む。一例では、ローカルユーザ入力を受信するように構成された論理手段325は、少なくともユーザ入力デバイスおよび関連ハードウェアを含み得る。たとえば、ユーザ入力デバイスは、ボタン、タッチスクリーンディスプレイ、キーボード、カメラ、オーディオ入力デバイス(たとえば、マイクロフォン、もしくはマイクロフォンジャックなど、オーディオ情報を搬送することができるポートなど)、および/または情報がそれによって通信デバイス300のユーザもしくはオペレータから受信され得る任意の他のデバイスを含み得る。たとえば、通信デバイス300が図2に示すようなUE200AまたはUE200Bに対応する場合、ローカルユーザ入力を受信するように構成された論理手段325は、キーパッド220A、ボタン215Aまたは210B〜225Bのうちのいずれか、タッチスクリーンディスプレイ205Bなどを含み得る。さらなる例では、ローカルユーザ入力を受信するように構成された論理手段325は、(たとえば、ネットワークスイッチまたはルータ、リモートサーバなど)ローカルユーザを有さないネットワーク通信デバイスなどのいくつかの通信デバイスでは省略されることがある。また、ローカルユーザ入力を受信するように構成された論理手段325は、実行されるとき、ローカルユーザ入力を受信するように構成された論理手段325の関連ハードウェアがその入力受信機能を実行できるようにするソフトウェアも含み得る。しかしながら、ローカルユーザ入力を受信するように構成された論理手段325は、ソフトウェアだけに対応するのではなく、ローカルユーザ入力を受信するように構成された論理手段325は、その機能を達成するためにハードウェアに少なくとも部分的に依拠する。
【００３３】
図3を参照すると、305〜325の構成された論理手段は、図3では別個のまたは相異なるブロックとして示されているが、それぞれの構成された論理手段がその機能を実行するためのハードウェアおよび/またはソフトウェアは、部分的に重複できることは了解されよう。たとえば、305〜325の構成された論理手段の機能を容易にするために使用される任意のソフトウェアを、情報を記憶するように構成された論理手段315に関連する非一時的メモリに記憶することができ、それにより、305〜325の構成された論理手段は各々、その機能(すなわち、この場合、ソフトウェア実行)を、情報を記憶するように構成された論理手段315によって記憶されたソフトウェアの動作に部分的に基づいて実行する。同様に、構成された論理手段のうちの1つに直接関連付けられるハードウェアは、時々、他の構成された論理手段によって借用または使用され得る。たとえば、情報を処理するように構成された論理手段310のプロセッサは、データを、情報を受信および/または送信するように構成された論理手段305によって送信される前に、適切な形式にフォーマットすることができ、それにより、情報を受信および/または送信するように構成された論理手段305は、その機能(すなわち、この場合、データの送信)を、情報を処理するように構成された論理手段310に関連付けられたハードウェア(すなわち、プロセッサ)の動作に部分的に基づいて実行する。
【００３４】
概して、別段に明示的に記載されていない限り、本開示全体にわたって使用される「ように構成された論理手段」という句は、ハードウェアにより少なくとも部分的に実装される態様を呼び出すものとし、ハードウェアから独立したソフトウェアだけの実装形態に位置づけるものではない。また、様々なブロックにおける構成された論理手段または「ように構成された論理手段」は、特定の論理ゲートまたは論理要素に限定されるのではなく、概して、本明細書で説明する機能を、(ハードウェアまたはハードウェアとソフトウェアの組合せのいずれかを介して)実施するための能力を指すことを了解されよう。したがって、様々なブロックに示す構成された論理手段または「ように構成された論理手段」は、「論理手段」という用語を共有するにもかかわらず、必ずしも論理ゲートまたは論理要素として実装されるわけではない。様々なブロック内の論理手段間の他の対話または協働が、以下でより詳細に説明する態様の検討から、当業者には明らかになるであろう。
【００３５】
様々な実施形態は、図4に示すサーバ400などの、様々な市販のサーバデバイスのいずれにおいても実装され得る。一例では、サーバ400は、上記で説明したアプリケーションサーバ170の1つの例示的な構成に対応し得る。図4では、サーバ400は、揮発性メモリ402と、ディスクドライブ403などの大容量の不揮発性メモリとに結合されたプロセッサ401を含む。サーバ400は、プロセッサ401に結合された、フロッピー(登録商標)ディスクドライブ、コンパクトディスク(CD)ドライブまたはDVDディスクドライブ406を含むことも可能である。サーバ400は、他のブロードキャストシステムコンピュータおよびサーバに、またはインターネットに結合されたローカルエリアネットワークなどのネットワーク407とのデータ接続を確立するための、プロセッサ401に結合されたネットワークアクセスポート404を含むことも可能である。図3の文脈において、図4のサーバ400は、通信デバイス300の1つの例示的な実装形態を示すが、情報を送信および/または受信するように構成された論理手段305は、ネットワーク407と通信するためにサーバ400によって使用されるネットワークアクセスポイント404に対応し、情報を処理するように構成された論理手段310は、プロセッサ401に対応し、情報を記憶するように構成された論理手段315は、揮発性メモリ402、ディスク(disk)ドライブ403、および/またはディスク(disc)ドライブ406の任意の組合せに対応することを了解されよう。情報を提示するように構成されたオプションの論理手段320およびローカルユーザ入力を受信するように構成されたオプションの論理手段325は、図4には明示的に示さず、その中に含まれる場合もあれば、含まれない場合もある。したがって、図4は、通信デバイス300が、図2に示すような205Aまたは205BにおけるようなUEの実装形態に加えてサーバとして実装され得ることを説明するのを助ける。
【００３６】
ますます増えるデータ量が、3Gネットワークおよび4Gネットワークなど、データネットワークを介して送信されるため、キャリアはユーザのデータニーズを満たすのに必死である。これは、ネットワークを介してモバイルデバイスに対して行われるビデオストリーミングの量によって悪化する。
【００３７】
ビデオは多くのフレーム(静止画像)からなるため、ビデオファイルは大きくなりがちである。ビデオファイルのサイズを削減するために使用されるビデオ圧縮アルゴリズムは、一般に、フレームを、Iフレーム、Pフレーム、およびBフレームとして分類する。「I」フレーム(「イントラコード化ピクチャ」)は、復号を必要としない、完全に規定された画像である。「P」フレーム(「予測ピクチャ」)は、前のフレームからの画像内の変更だけを保持して、先行画像の文脈で復号を必要とする。Pフレームは、デルタフレームとも呼ばれる。「B」フレームは、データ基準に関して、前のフレームと順方向のフレームの両方を使用して、最高量のデータ圧縮を得ることができる。図5は、Iフレーム502とPフレーム504とに解体された例示的なビデオ500を示す。
【００３８】
ビデオファイルのサイズは、あるフレームをドロップする形式のビデオ劣化(video degradation)を実装することによって、サーバ上で縮小され得る。ドロップされたフレームは、「I」フレーム、「P」フレーム、または「B」フレームのいずれかであり得る。劣化されたビデオは実行された劣化を記述するメタデータとともにUEに送られる。元のビデオは、「モーフィング」を使用して、欠けているフレームを埋めることによって、UE上で再生される。モーフィングは、2つのより広く間隔が開けられたフレーム間の重要な差に基づいて複数のフレームを再生成することができる技法である。これは、ネットワークを介してより少ないデータが送られる、サーバ側の処理が非常に限定される、およびクライアント側のバッファリング時間がより短いなど、いくつかの利点を提供する。
【００３９】
あるいは、動き追跡のためのコンピュータビジョンを使用してフレームを置換することができる。その場合、フレーム内の項目を追跡して、それに応じて、フレーム内で移動させることが可能である。
【００４０】
図6は、本開示の一態様によるワイヤレス通信システムのハイレベルシステムアーキテクチャを示す。アプリケーションサーバ170などのサーバは、ビデオプロセッサ602と、データ解析器604と、フレームドロッパ(dropper)606とを含む。UE610は、ビデオプロセッサ612、フレームモーファ(morpher)614と、フレーム加算器616とを含む。UE610は、スマートフォンとして示されるが、UE610は、基本的なセルフォン、PDA、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない任意のユーザ機器であり得る。
【００４１】
UE610は、ビデオについての要求620をアプリケーションサーバ170に送る。ビデオがアプリケーションサーバ170上に記憶されない場合、アプリケーションサーバ170は、そのビデオについての要求630を、インターネット175、もしくは他の類似のネットワークを介して、ビデオを記憶する遠隔サーバに送る。遠隔サーバ(図示せず)は、そのビデオを含む応答632をアプリケーションサーバ170に送る。ビデオファイルは、遠隔サーバまたはアプリケーションサーバ170によってIフレームまたはPフレームに圧縮され得る。アプリケーションサーバ170は、下で説明するように、ビデオプロセッサ602と、データ解析器604と、フレームドロッパ606とを使用して、受信されたビデオを処理する。アプリケーションサーバ170は、処理されたビデオを含む応答622をUE610に送る。UE610は、下で説明するように、ビデオプロセッサ612と、フレームモーファ614と、フレーム加算器616とを使用して、受信されたビデオを処理する。
【００４２】
図7は、図6に示すワイヤレス通信システム600内でビデオファイルを処理するための例示的なシグナリング図を示す。図6に示す構成要素に加えて、アプリケーションサーバ170およびUE610は、各々、ネットワークコミュニケータ702および704をそれぞれ含む。ネットワークコミュニケータ702および704は、アプリケーションサーバ170およびUE610がネットワーク上で他のデバイスと通信することを許可する通信インターフェースを提供する。
【００４３】
710において、UE610は、ビデオを入手するための要求をアプリケーションサーバ170に送る。720において、アプリケーションサーバ170は、自らがフレームドロッピングをサポートするという通知をUE610に送る。730において、UE610は、自らがフレーム再作成をサポートするか否かを示す「yes」または「no」の応答を送る。740において、UE610がフレーム再作成をサポートしない場合、アプリケーションサーバ170は元のビデオファイルを送る。しかしながら、UE610がフレーム再作成をサポートする場合、750において、フレームドロッパ606は、UE610において再作成され得るフレームをドロップする。760において、アプリケーションサーバ170は、ビデオから、ドロップされたフレームを差し引いたものをUE610に送る。770において、UE610は、ビデオを受信して、それをビデオプロセッサ612に渡す。780において、フレーム加算器616は、ドロップされたフレームを検出して、ドロップされたフレームを再作成して、元のビデオファイルを再作成するために、再作成されたフレームを追加して受信されたビデオファイルに戻す。
【００４４】
図7のシグナリング図はアプリケーションサーバ170およびUE610によって実行されるとして示されるが、これは任意のサーバデバイスおよびクライアントデバイスによって実行され得る。したがって、サーバデバイスは、ビデオを別のデバイスに送信するUEを含むことが可能であり、クライアントデバイスは、処理されたビデオを別のデバイスから受信するサーバを含むことが可能である。
【００４５】
図8は、UE610など、クライアントデバイスにおいて実行される特徴のより詳細なフローを示す。805において、クライアントは、ネットワークコミュニケータ704などのネットワークコミュニケータ802を介して、アプリケーションサーバ170などのサーバからビデオを要求する。810において、クライアントは、サーバがフレームドロッピングをサポートするという通知をサーバから受信する。815において、クライアントは、自らがドロップされたフレームの再作成もサポートするか否かを判断する。サポートしない場合、820において、クライアントは「no」応答をサーバに送る。825において、クライアントは、元の、すなわち、処理されていないビデオを受信する。830において、クライアントはビデオを普通に処理および表示する。
【００４６】
しかしながら、815において、クライアントが、自らがドロップされたフレームの再作成をサポートすると判断した場合、835において、クライアントは「yes」応答をサーバに送る。840において、クライアントは、ドロップされたあるフレームを有するビデオをサーバから受信する。
【００４７】
845において、クライアントは、ビデオプロセッサ612などのビデオプロセッサ804を介して、ヘッダを処理して、どのフレームが追加してビデオファイルに戻される必要があるかについての情報を記憶する。850において、クライアントはビデオデータのパケットを受信して、フレームを構築する。855において、クライアントは、そのフレームがドロップされたフレームのシーケンスの始端であるか否かを判断する。これは、ドロップされたフレームを識別または記述するビデオファイルとともに受信されるメタデータ内で示され得る。フレームがシーケンスの始端である場合、860において、クライアントは、フレーム加算器616などのフレーム加算器806を介して、ドロップされたフレームシーケンスの始端としてそのフレームを記憶する。
【００４８】
しかしながら、クライアントがそのフレームがドロップされたフレームシーケンスの始端ではないと判断した場合、865において、クライアントは、そのフレームがドロップされたシーケンスの後の第1のフレームであるか否かを判断する。第1のフレームでない場合、フローは850に戻る。第1のフレームである場合、870において、クライアントは、フレーム加算器806を介して、ドロップされたフレームシーケンスの終端としてそのフレームを記憶する。875において、フレーム加算器806は、860において記憶された、ドロップされたフレームシーケンスの始端におけるフレームと、870において記憶された、ドロップされたフレームシーケンスの後の第1のフレームとを使用して、欠けているフレームを再作成する。フレーム加算器806は、ドロップされたフレームシーケンスの始端におけるフレームをそのドロップされたフレームシーケンスの後の第1のフレームにモーフィングすることによって、フレームを再作成する。880において、フレーム加算器806は、作成されたフレームをビデオプロセッサ804に戻す。
【００４９】
図9は、フレーム910〜950の一連のフルグループを示す。図9の例では、フレーム910〜950の各グループは、Iフレームと、その後に続く一連の11個のPフレームとを含む。フレーム910〜950の各グループの始端におけるIフレームをフレームの前のグループの最後のフレームとして扱うことができる。
【００５０】
図10は、5個のPフレームを一度にスキップおよびモーフィングする例を示す。Iフレーム1022と、その後に続く11個のPフレームおよび別のIフレーム1026とを含むフレームのシーケンス1010の場合、アプリケーションサーバ170などのサーバは、5個のPフレームをスキップして、第6番目のPフレーム1020をIフレーム1024に変換することができる。サーバは、次いで、Iフレーム1022、1024、および1026だけをネットワークを介して送信する。5個のドロップされたフレームの2つのグループは、このアルゴリズムのデータ節約を表す。すなわち、13個のフレームを送信する代わりに、サーバは3個のフレームだけを送信する。
【００５１】
クライアントは、Iフレーム1022、1024、および1026を受信して、それらを使用して、10個のドロップされたPフレームを再作成する。クライアントは、Iフレーム1022をIフレーム1024にモーフィングすることによって、5個のドロップされたPフレームの第1のグループを作成する。クライアントは、Iフレーム1024をIフレーム1026にモーフィングすることによって、5個のドロップされたPフレームの第2のグループを作成する。結果として生じるフレームのシーケンス1030は、このとき、フレームの元のシーケンス1010が13個のフレームシーケンスであったように、13個のフレームシーケンスである。
【００５２】
図11は、11個のPフレームを一度にスキップおよびモーフィングする例を示す。Iフレーム1122と、その後に続く11個のPフレームおよび別のIフレーム1124とを含むフレームのシーケンス1110の場合、アプリケーションサーバ170などのサーバは、11個のPフレームをスキップすることができる。サーバは、次いで、Iフレーム1122および1124だけをネットワークを介して送信する。11個のドロップされたフレームは、このアルゴリズムのデータ節約を表す。すなわち、13個のフレームを送信する代わりに、サーバは2個のフレームだけを送信する。
【００５３】
クライアントは、Iフレーム1122および1124を受信して、それらを使用して、11個のドロップされたPフレームを再作成する。クライアントは、Iフレーム1122をIフレーム1124にモーフィングすることによって、11個のドロップされたPフレームを作成する。結果として生じるフレームのシーケンス1130は、このとき、フレームの元のシーケンス1110と同じ13個のフレームシーケンスである。
【００５４】
Table 1(表1)は、サーバがドロップするフレームの数に基づいて、クライアントが追加し得るフレームの例を示す。
【００５５】
【表１】
2016519466.tif 000003
【００５６】
Table 2(表2)は、サーバがドロップするフレームの数に基づいて、クライアントが追加し得るフレームの例を示す。
【００５７】
【表２】
2016519466.tif 000004
【００５８】
以下は、MP4ビデオフォーマット用のフレームドロッピングアルゴリズムの特定の例である。図12は、例示的なMP4ファイル階層1200を示す。MP4ファイルはアトムからなる。各アトムは、ビデオを復号するために必要なデータを含む。「mdat」アトム1202は、実際のビデオデータ(フレーム)を含む。「stbl」アトム1208は、復号に必要な様々なヘッダを含む。「stts」ヘッダ1212はサンプルの数を含み、「stss」ヘッダ1214はシーケンス内のその数によって識別されたIフレームを含み、「stsc」ヘッダ1216は、各チャンク内のサンプルの数を含み、「stsz」ヘッダ1218は各フレームのサイズを含み、「stco」ヘッダ1220は、チャンクの数およびそのオフセットを含む。
【００５９】
サーバは、mdatアトム1202を検索して、それを通してフレームごとにルーピングし、Pフレームを削除し、sttsヘッダ、stssヘッダ、stscヘッダ、stszヘッダ、およびstcoヘッダ1212〜1220を更新することによって、MP4ビデオファイル内のフレームをドロップすることができる。サーバは、stssヘッダ1214からIフレームを識別することによって、Pフレームを識別することができる。すなわち、サーバは、stssヘッダ1214からどのフレームがIフレームであるかを知り、これは、stssヘッダ1214内に列挙されないどのフレームもPフレームではなく、または少なくともIフレームではないことを意味する。
【００６０】
クライアント側で、moovアトム1204の下で修正されたデータアトムは、そのビデオストリームが編集されているか否か、したがって、モーフィングされる必要があるか否かを示すフラグと、mdatアトム1202の新しいサイズを示す2次フィールドとを含む。各trak1206の場合、metaアトム1222は、そのフレーム番号によって識別された残りのフレームを示す。この情報を使用して、維持されたフレーム間のモーフィングされるべきフレームの数を判断することもできる。また、各trak1206の場合、新しいstcoヘッダ1220は、データがモーフィングされるために編集されている場合、そのデータに関するオフセットの表を含む。
【００６１】
あるいは、ヘッダは、ヘッダをドロップおよびモーフィングするオプション専用の特別フィールドを含み得る。この場合、個々のヘッダの各々は編集されなくてよいことになり、それらのフレームがドロップされているか否かを示すフラグだけが編集される必要があることになる。いかなるフレームがドロップされている場合も、フラグが設定されて、クライアントは、ビデオをどのように再度元に戻すかを知るために、専用ヘッダを参照することができる。
【００６２】
以下は、追加され得る専用ヘッダのリスト、すなわち、残るデータのサイズを有する専用mdatフィールド、ならびに、専用のsttsヘッダ、stssヘッダ、stscヘッダ、stszヘッダ、およびstcoヘッダである。別の追加ヘッダは、維持されたフレーム間でモーフィングするためのフレームの数であり得る。
【００６３】
ビデオを元に戻すために、クライアントはフラグが設定されているか否かを検査する。ビデオデータの場合、クライアントは、モーフィングされたstcoヘッダ1220または専用ヘッダを使用して、それらのフレームを順次読み取る。クライアントは、第1のフレームを発見して、アトムヘッダまたはサイズ表からのサイズを使用して、フレームサイズカウントバイトを読み取る。その後、クライアントは、次のフレームまで読み取る。クライアントは、前のフレーム同様に、アトムヘッダまたはサイズ表からのサイズを使用して、次のフレームのサイズカウントバイトを読み取る。クライアントは、次いで、metaアトム1222または、オフセット表を含む新しいstcoヘッダ1220に基づいて、自らが欠けているフレーム内でモーフィングする必要があるかどうかを判断する。クライアントが、自らが欠けているフレーム内でモーフィングする必要があると判断した場合、クライアントは、欠けているフレームの数内でモーフィングする。しかしながら、クライアントが、自らが欠けているフレーム内でモーフィングする必要がないと判断した場合、クライアントはフレームを普通に再生する。クライアントは、次いで、最後のフレームまでこのプロセスを繰り返す。
【００６４】
ビデオの音声に対処するために、フレームシーケンス910〜950など、フレームのシーケンスに関する音声を第1のフレームの一部と見なすことができる。音声は、次いで、フレームが再生されるよりも遅い速度で再生され得る。これは、第1のフレームに、すべてのドロップされたフレームの音声を加えた合計として、各フレームのサイズを示す新しい表を使用することになる。
【００６５】
図13は、図6に示すアプリケーションサーバ170などのサーバにおいてビデオファイルを処理するための例示的なフローを示す。1310において、サーバは、UE610などのクライアントからビデオについての要求を受信する。ビデオは、サーバまたは遠隔サーバにおいて記憶され得る。1320において、サーバは、ビデオを検索して、それを、図6に示すビデオプロセッサ602などのビデオプロセッサに送る。1330において、図6に示すデータ解析器604などのデータ解析器は、ビデオを解析して、どのフレームが、かつ/またはどれだけ多くのフレームがビデオから最適にドロップされ得るかを判断する。1340において、図6に示すフレームドロッパ606などのフレームドロッパは、データ解析器が必須でないと判断したフレームをドロップする。1350において、サーバは、ドロップされているフレームを記述するメタデータとともに、残りのフレームをクライアントに送信する。サーバは、ビデオファイルをクライアントにストリームすることができるか、またはそれを個別のダウンロードとして送ることができる。
【００６６】
図14は、符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための例示的なフローを示す。フローは、UE610などのクライアントにおいて実行され得る。1410において、クライアントは符号化ビデオフレームの低減されたストリームを受信する。符号化ビデオフレームの低減されたストリームは、アプリケーションサーバ170などのサーバにおいて、符号化ビデオフレームの元のストリームから複数のフレームを除去することによって作成されている可能性がある。1420において、クライアントは、符号化ビデオフレームの低減されたストリームに関するメタデータに基づいて、複数の除去されたフレームを識別する。1430において、クライアントは、識別された複数の除去されたフレームに基づいて、複数の置換フレームを生成する。1440において、クライアントは、符号化ビデオフレームの元のストリームの新しいバージョンを再作成するために、符号化ビデオフレームの低減されたストリームに複数の置換フレームを追加する。1450において、クライアントは元のビデオストリームの新しいバージョンを再生する。
【００６７】
以上の態様は、CDMA2000ネットワーク内の1xEV-DOアーキテクチャ、W-CDMAネットワークもしくはUMTSネットワーク内のGPRSアーキテクチャ、および/またはLTEベースのネットワーク内のEPSアーキテクチャを参照して主に説明されてきたが、他の態様は、他のタイプのネットワークアーキテクチャおよび/またはプロトコルを対象とし得ることを了解されよう。
【００６８】
情報および信号が多種多様な異なる技術および技法のいずれかを使用して表すことができることを当業者は了解されよう。たとえば、上記の説明全体を通して参照される場合があるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表すことができる。
【００６９】
さらに、本明細書で開示する態様に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者は了解されよう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップは、一般的にそれらの機能に関してこれまで説明されてきた。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、具体的な適用例およびシステム全体に課される設計制約によって決まる。当業者は、説明した機能を具体的な適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱をもたらすものと解釈されるべきではない。
【００７０】
本明細書で開示する態様に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブルデバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または、本明細書で説明した機能を実行するように設計されたそれらの任意の組合せで実装あるいは実行することができる。汎用プロセッサはマイクロプロセッサとすることができるが、代替形態では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとすることもできる。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することもできる。
【００７１】
本明細書で開示する態様に関連して説明した方法、シーケンス、および/またはアルゴリズムは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはその2つの組合せで直接具現され得る。ソフトウェアモジュールは、RAM、フラッシュメモリ、ROM、EPROM、EEPROM、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合する。代替形態において、記憶媒体はプロセッサと一体であり得る。プロセッサおよび記憶媒体はASIC内に存在することができる。ASICはユーザ端末(たとえば、UE)内に存在することができる。代替として、プロセッサおよび記憶媒体は、ユーザ端末内に個別の構成要素として存在し得る。
【００７２】
1つまたは複数の例示的な態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装される場合がある。ソフトウェアに実装される場合、機能は、1つもしくは複数の命令またはコードとして、コンピュータ可読媒体上に記憶することができるか、または、コンピュータ可読媒体を介して送信することができる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセス可能である任意の利用可能な媒体とすることができる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、あるいは、命令もしくはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用することができ、コンピュータによってアクセス可能である、任意の他の媒体を含み得る。また、任意の接続が適切にコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。前述の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００７３】
上記の開示は本開示の例示的な態様を示すが、添付の特許請求の範囲によって規定される本開示の範囲から逸脱することなく、本明細書で様々な変更および修正が行われ得ることに留意されたい。本明細書で説明した本開示の態様による方法クレームの機能、ステップおよび/または動作は、特定の順序で実行される必要はない。さらに、本開示の要素は単数形で記載または特許請求されている場合があるが、単数形に限定することが明示的に述べられていない限り、複数形が考えられる。
【符号の説明】
【００７４】
100  ワイヤレス通信システム
104  エアインターフェース
106  エアインターフェース
108  エアインターフェース
120  RAN
125  アクセスポイント
140  コアネットワーク
170  アプリケーションサーバ
175  インターネット
200A  UE
200B  UE
202  プラットフォーム
205A  アンテナ
205B  タッチスクリーンディスプレイ
206  送受信機
208  特定用途向け集積回路(ASIC)
210  アプリケーションプログラミングインターフェース(API)
210A  ディスプレイ
210B  周辺ボタン
212  メモリ
214  ローカルデータベース
215A  ボタン
215B  周辺ボタン
220A  キーパッド
220B  周辺ボタン
225B  周辺ボタン
230B  フロントパネルボタン
300  通信デバイス
310  情報を処理するように構成された論理手段
315  情報を記憶するように構成された論理手段
320  情報を提示するように構成された論理手段
325  ローカルユーザ入力を受信するように構成された論理手段
400  サーバ
401  プロセッサ
402  揮発性メモリ
403  ディスクドライブ
404  ネットワークアクセスポート
406  フロッピーディスクドライブ、コンパクトディスク(CD)ドライブまたはDVDディスクドライブ、ディスクドライブ
407  ネットワーク
500  ビデオ
502  Iフレーム
504  Pフレーム
602  ビデオプロセッサ
604  データ解析器
606  フレームドロッパ
610  UE
612  ビデオプロセッサ
614  フレームモーファ
616  フレーム加算器
620  要求
622  応答
630  要求
632  応答
702  ネットワークコミュニケータ
704  ネットワークコミュニケータ
【図１】
2016519466.tif 000005
【図２】
2016519466.tif 000006
【図３】
2016519466.tif 000007
【図４】
2016519466.tif 000008
【図５】
2016519466.tif 000009
【図６】
2016519466.tif 000010
【図７】
2016519466.tif 000011
【図８】
2016519466.tif 000012
【図９】
2016519466.tif 000013
【図１０】
2016519466.tif 000014
【図１１】
2016519466.tif 000015
【図１２】
2016519466.tif 000016
【図１３】
2016519466.tif 000017
【図１４】
2016519466.tif 000018
【手続補正書】
【提出日】平成27年3月24日(2015.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化ビデオフレームの低減されたストリームを送信する方法であって、
符号化ビデオフレームの元のストリームを解析するステップと、
符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去するステップであって、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、除去するステップと、
符号化ビデオフレームの前記低減されたストリームと、前記除去された複数の符号化ビデオフレームを記述するメタデータとを送信するステップと
を含む方法。
【請求項２】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するステップ
をさらに含む、請求項1に記載の方法。
【請求項３】
解析する前記ステップが、
符号化ビデオフレームの前記元のストリームのヘッダを解析して、ビデオフレームのタイプを識別するステップ
を含む、請求項1に記載の方法。
【請求項４】
前記ビデオフレームの前記タイプが、前記ビデオフレームのサイズまたは前記ビデオフレームのヘッダ内の識別子によって識別される、請求項3に記載の方法。
【請求項５】
前記ビデオフレームの前記タイプが、Iフレーム、Pフレーム、またはBフレームである、請求項3に記載の方法。
【請求項６】
符号化ビデオフレームの前記元のストリームから除去する前記符号化ビデオフレームの数を判断するステップ
をさらに含む、請求項1に記載の方法。
【請求項７】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項1に記載の方法。
【請求項８】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項7に記載の方法。
【請求項９】
除去する前記ステップが、2個のキーフレーム間の前記複数の中間フレームを除去するステップを含む、請求項7に記載の方法。
【請求項１０】
受信側ユーザデバイスが、符号化ビデオフレームの前記低減されたストリームにフレームを追加することによって、符号化ビデオフレームの前記元のストリームを再作成する、請求項7に記載の方法。
【請求項１１】
前記追加されたフレームが前記複数の中間フレームである、請求項10に記載の方法。
【請求項１２】
前記追加されたフレームが、第1のキーフレームを第2のキーフレームにモーフィングすることによって生成される、請求項11に記載の方法。
【請求項１３】
前記追加されたフレームの数が、符号化ビデオフレームの前記元のストリームから除去された前記複数の符号化ビデオフレームの数に一致する、請求項10に記載の方法。
【請求項１４】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームの識別子、前記除去された複数の符号化ビデオフレームの数、または前記除去された複数の符号化ビデオフレームの識別子のうちの1つもしくは複数を含む、請求項1に記載の方法。
【請求項１５】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成する方法であって、
符号化ビデオフレームの前記低減されたストリームを受信するステップであって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去することによって作成され、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、受信するステップと、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記除去された複数の符号化ビデオフレームを識別するステップと、
前記識別され除去された複数の符号化ビデオフレームに基づいて、複数の置換フレームを生成するステップと、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するステップと
を含む方法。
【請求項１６】
符号化ビデオフレームの前記低減されたストリームに関する前記メタデータを処理するステップ
をさらに含む、請求項15に記載の方法。
【請求項１７】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項15に記載の方法。
【請求項１８】
識別する前記ステップが、
フレームがドロップされたフレームのシーケンスの始端であることを判断するステップと、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するステップと
を含む、請求項15に記載の方法。
【請求項１９】
識別する前記ステップが、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するステップと、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するステップと
をさらに含む、請求項18に記載の方法。
【請求項２０】
生成する前記ステップが、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するステップ
を含む、請求項19に記載の方法。
【請求項２１】
再作成する前記ステップが、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するステップを含む、請求項20に記載の方法。
【請求項２２】
再作成する前記ステップが、
動き追跡を使用して、前記第1のキーフレーム内および前記第2のキーフレーム内のオブジェクトを識別するステップと、
前記追跡されたオブジェクトを前記第1のキーフレーム内のその位置から前記第2のキーフレーム内のその位置に移動させることに基づいて、前記複数の置換フレームを生成するステップと
を含む、請求項20に記載の方法。
【請求項２３】
前記フレームがドロップされたフレームの前記シーケンスの後の前記第1のフレームであることを判断する前記ステップが、前記メタデータに基づく、請求項19に記載の方法。
【請求項２４】
前記フレームがドロップされたフレームの前記シーケンスの前記始端であることを判断する前記ステップが、前記メタデータに基づく、請求項18に記載の方法。
【請求項２５】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するステップ
をさらに含む、請求項15に記載の方法。
【請求項２６】
符号化ビデオフレームの低減されたストリームを送信するための装置であって、
符号化ビデオフレームの元のストリームを解析するように構成された論理手段と、
符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去するように構成された論理手段であって、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、除去するように構成された論理手段と、
符号化ビデオフレームの前記低減されたストリームと、前記除去された複数の符号化ビデオフレームを記述するメタデータとを送信するように構成された論理手段と
を含む装置。
【請求項２７】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するように構成された論理手段
をさらに含む、請求項26に記載の装置。
【請求項２８】
符号化ビデオフレームの前記元のストリームから除去する前記符号化ビデオフレームの数を判断するように構成された論理手段
をさらに含む、請求項26に記載の装置。
【請求項２９】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項26に記載の装置。
【請求項３０】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項29に記載の装置。
【請求項３１】
除去するように構成された前記論理手段が、2個のキーフレーム間の複数の中間フレームを除去するように構成された論理手段を含む、請求項29に記載の装置。
【請求項３２】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームの識別子、前記除去された複数の符号化ビデオフレームの数、または前記除去された複数の符号化ビデオフレームの識別子のうちの1つもしくは複数を含む、請求項26に記載の装置。
【請求項３３】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置であって、
符号化ビデオフレームの前記低減されたストリームを受信するように構成された論理手段であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去することによって作成され、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、受信するように構成された論理手段と、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記除去された複数の符号化ビデオフレームを識別するように構成された論理手段と、
前記識別され除去された複数の符号化ビデオフレームに基づいて、複数の置換フレームを生成するように構成された論理手段と、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するように構成された論理手段と
を含む装置。
【請求項３４】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項33に記載の装置。
【請求項３５】
識別するように構成された前記論理手段が、
フレームがドロップされたフレームのシーケンスの始端であることを判断するように構成された論理手段と、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するように構成された論理手段と
を含む、請求項33に記載の装置。
【請求項３６】
識別するように構成された前記論理手段が、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するように構成された論理手段と、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するように構成された論理手段と
をさらに含む、請求項35に記載の装置。
【請求項３７】
生成するように構成された前記論理手段が、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するように構成された論理手段
を含む、請求項36に記載の装置。
【請求項３８】
再作成するように構成された前記論理手段が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するように構成された論理手段を含む、請求項37に記載の装置。
【請求項３９】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するように構成された論理手段
をさらに含む、請求項33に記載の装置。
【請求項４０】
符号化ビデオフレームの低減されたストリームを送信するための装置であって、
符号化ビデオフレームの元のストリームを解析するための手段と、
符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去するための手段であって、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、除去するための手段と、
符号化ビデオフレームの前記低減されたストリームと、前記除去された複数の符号化ビデオフレームを記述するメタデータとを送信するための手段と
を含む装置。
【請求項４１】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するための手段
をさらに含む、請求項40に記載の装置。
【請求項４２】
符号化ビデオフレームの前記元のストリームから除去する前記符号化ビデオフレームの数を判断するための手段
をさらに含む、請求項40に記載の装置。
【請求項４３】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項40に記載の装置。
【請求項４４】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項43に記載の装置。
【請求項４５】
除去するための前記手段が、2個のキーフレーム間の前記複数の中間フレームを除去するための手段を含む、請求項43に記載の装置。
【請求項４６】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームの識別子、前記除去された複数の符号化ビデオフレームの数、または前記除去された複数の符号化ビデオフレームの識別子のうちの1つもしくは複数を含む、請求項40に記載の装置。
【請求項４７】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための装置であって、
符号化ビデオフレームの前記低減されたストリームを受信するための手段であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去することによって作成され、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、受信するための手段と、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記除去された複数の符号化ビデオフレームを識別するための手段と、
前記識別され除去された複数の符号化ビデオフレームに基づいて、複数の置換フレームを生成するための手段と、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するための手段と
を含む装置。
【請求項４８】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項47に記載の装置。
【請求項４９】
識別するための前記手段が、
フレームがドロップされたフレームのシーケンスの始端であることを判断するための手段と、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するための手段と
を含む、請求項47に記載の装置。
【請求項５０】
識別するための前記手段が、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するための手段と、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するための手段と
をさらに含む、請求項49に記載の装置。
【請求項５１】
生成するための前記手段が、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するための手段
を含む、請求項50に記載の装置。
【請求項５２】
再作成するための前記手段が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するための手段を含む、請求項51に記載の装置。
【請求項５３】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するための手段
をさらに含む、請求項47に記載の装置。
【請求項５４】
符号化ビデオフレームの低減されたストリームを送信するための非一時的コンピュータ可読記録媒体であって、
符号化ビデオフレームの元のストリームを解析するための少なくとも1つの命令と、
符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記低減されたストリームを生成するために、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去するための少なくとも1つの命令であって、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、除去するための少なくとも1つの命令と、
符号化ビデオフレームの前記低減されたストリームと、前記除去された複数の符号化ビデオフレームを記述するメタデータとを送信するための少なくとも1つの命令と
を含む非一時的コンピュータ可読記録媒体。
【請求項５５】
符号化ビデオフレームの前記元のストリームについての要求をユーザデバイスから受信するための少なくとも1つの命令
をさらに含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項５６】
符号化ビデオフレームの前記元のストリームから除去する前記符号化ビデオフレームの数を判断するための少なくとも1つの命令
をさらに含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項５７】
符号化ビデオフレームの前記元のストリームが、キーフレームと複数の中間フレームとを含むフレームの少なくとも1つのシーケンスを含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項５８】
前記キーフレームが復号を必要とせず、前記複数の中間フレームが復号するために前記キーフレームを必要とする、請求項57に記載の非一時的コンピュータ可読記録媒体。
【請求項５９】
除去するための前記少なくとも1つの命令が、2個のキーフレーム間の前記複数の中間フレームを除去するための少なくとも1つの命令を含む、請求項57に記載の非一時的コンピュータ可読記録媒体。
【請求項６０】
前記メタデータが、符号化ビデオフレームの前記元のストリームが編集されていることを示すフラグ、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームの識別子、前記除去された複数の符号化ビデオフレームの数、または前記除去された複数の符号化ビデオフレームの識別子のうちの1つもしくは複数を含む、請求項54に記載の非一時的コンピュータ可読記録媒体。
【請求項６１】
符号化ビデオフレームの低減されたストリームから符号化ビデオフレームの元のストリームの新しいバージョンを作成するための非一時的コンピュータ可読記録媒体であって、
符号化ビデオフレームの前記低減されたストリームを受信するための少なくとも1つの命令であって、符号化ビデオフレームの前記低減されたストリームが、符号化ビデオフレームの前記低減されたストリーム内の前記符号化ビデオフレームを再符号化せずに、符号化ビデオフレームの前記元のストリームから複数の前記符号化ビデオフレームを除去することによって作成され、前記除去された複数の符号化ビデオフレームが複数のPフレームを含む、受信するための少なくとも1つの命令と、
符号化ビデオフレームの前記低減されたストリームに関するメタデータに基づいて、前記除去された複数の符号化ビデオフレームを識別するための少なくとも1つの命令と、
前記識別され除去された複数の符号化ビデオフレームに基づいて、複数の置換フレームを生成するための少なくとも1つの命令と、
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを作成するために、符号化ビデオフレームの前記低減されたストリームに前記複数の置換フレームを追加するための少なくとも1つの命令と
を含む非一時的コンピュータ可読記録媒体。
【請求項６２】
前記メタデータが、符号化ビデオフレームの前記低減されたストリームのヘッダ内に含まれる、請求項61に記載の非一時的コンピュータ可読記録媒体。
【請求項６３】
識別するための前記少なくとも1つの命令が、
フレームがドロップされたフレームのシーケンスの始端であることを判断するための少なくとも1つの命令と、
前記フレームをドロップされたフレームの前記シーケンスの前記始端として記憶するための少なくとも1つの命令と
を含む、請求項61に記載の非一時的コンピュータ可読記録媒体。
【請求項６４】
識別するための前記少なくとも1つの命令が、
前記フレームがドロップされたフレームの前記シーケンスの後の第1のフレームであることを判断するための少なくとも1つの命令と、
前記フレームをドロップされたフレームの前記シーケンスの終端として記憶するための少なくとも1つの命令と
をさらに含む、請求項63に記載の非一時的コンピュータ可読記録媒体。
【請求項６５】
生成するための前記少なくとも1つの命令が、
ドロップされたフレームの前記シーケンスの前記始端として記憶された前記フレームと、ドロップされたフレームの前記シーケンスの前記終端として記憶された前記フレームとに基づいて、ドロップされたフレームの前記シーケンスを再作成するための少なくとも1つの命令
を含む、請求項64に記載の非一時的コンピュータ可読記録媒体。
【請求項６６】
再作成するための前記少なくとも1つの命令が、第1のキーフレームを第2のキーフレームにモーフィングして、前記複数の置換フレームを生成するための少なくとも1つの命令を含む、請求項65に記載の非一時的コンピュータ可読記録媒体。
【請求項６７】
符号化ビデオフレームの前記元のストリームの前記新しいバージョンを再生するための少なくとも1つの命令
をさらに含む、請求項61に記載の非一時的コンピュータ可読記録媒体。
【国際調査報告】
2016519466.tif 000019
2016519466.tif 000020
2016519466.tif 000021
2016519466.tif 000022