(57)【要約】      （修正有）【課題】ビデオストリームの早送り再生モードにおける改善された再生のためのシステムを提供する。【解決手段】ビデオデータのストリームを表示するための方法であって、早送りモードが作動されたとき、早送り再生モードのレートで決定される一定の間隔を有する第１フレームと次のフレームの間にある通常再生モードの連続するフレームである第２の複数のフレームを決定し、第１のフレームと第２のフレームを通常再生モードで再生することによって、一度に１つの分離されたフレームを再生する代わりに、ある個数の連続したフレーム又は近接して離間されたフレームが再生される。【選択図】図８
2018078583.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータのストリームを表示するための方法であって、
早送り再生中に、前記ビデオデータのストリーム内の表示対象の第１の複数のフレームを特定するステップと、
前記第１の複数のうちの個々のフレームに対して、前記第１の複数のうちの前記個々のフレームと連続したフレームとの間の間隔内の第２の複数のフレームを特定するステップと、
ここで、前記第２の複数のフレームは前記間隔内のフレーム数を下回る数のフレームを含み、前記第２の複数のフレームは再生順において近接して離間される、
前記第１の複数のフレーム及び前記第２の複数のフレームを表示するステップと、
を含むことを特徴とする、ビデオデータのストリームを表示するための方法。
【請求項２】
前記第２の複数のうちの前記フレームは連続することを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項３】
前記第１の複数を特定するステップは、前記ビデオストリーム内で一定の距離だけ離間されたフレームを選択するステップを含むことを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項４】
前記第２の複数を特定するステップは、前記第１の複数のうちの各フレームの後の所定の数のフレームを選択するステップを含むことを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項５】
前記第１の複数のフレーム内の各フレームは、新しいシーンを開始することを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項６】
前記ビデオストリーム内の新しいシーンを検出するステップを更に含むことを特徴とする請求項５に記載のビデオデータのストリームを表示するための方法。
【請求項７】
前記第１の複数を特定するステップは、検出されたシーンをスキップするステップを含むことを特徴とする請求項６に記載のビデオデータのストリームを表示するための方法。
【請求項８】
検出されたシーンは、前記シーン内のフレーム数が所定の閾値を下回るときにスキップされることを特徴とする請求項７に記載のビデオデータのストリームを表示するための方法。
【請求項９】
前記第１の複数を特定するステップは、前記ビデオストリームに関連付けられたマニフェスト内で特定された各セグメント内の最初のフレームを選択するステップを含むことを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項１０】
第１のスニペットを形成するために選択された複数のフレームのうちのフレームを、第２のスニペットを形成するために選択された複数のフレームと混合するステップを更に含み、
ここで、各スニペットは、第１の複数のうちのフレーム、及び前記第１の複数のうちの前記フレームの後に続くように選択された前記第２の複数のうちの複数のフレームによって形成され、前記第１のスニペット及び前記第２のスニペットは再生順において連続することを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項１１】
前記第２の複数を特定するステップは、前記第２の複数に対する追加フレームを選択するステップと、フレームが小さい動きを有すると判定されたときに前記第２の複数から前記フレームを落とすステップとを含むことを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項１２】
前記第１の複数を特定するステップは、前記ビデオデータのストリームの符号化中に捕捉された再生情報に従って、各セグメント内の最初のフレームを選択するステップを含むことを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項１３】
前記第１の複数を特定するステップは、前記ビデオデータのストリームの復号中に捕捉された再生情報に従って、各セグメント内の最初のフレームを選択するステップを含むことを特徴とする請求項１に記載のビデオデータのストリームを表示するための方法。
【請求項１４】
ビデオ表示デバイスであって、
ビデオデータを記憶するためのメモリと、
前記ビデオデータを高速再生レートで表示するための要求を受信し、かつ前記ビデオデータのスニペットを、
前記ビデオデータ内の表示される第１の複数のフレームを特定し、
前記第１の複数のうちの個々のフレームに対して、前記第１の複数のうちの前記個々のフレームと連続したフレームとの間の間隔内の第２の複数のフレームを特定する、
ここで、前記第２の複数のフレームは、前記間隔内のフレーム数を下回る数のフレームを含み、前記第２の複数のフレームは再生順において連続する、
によって選択するように構成されたコントローラと、
前記ビデオデータの前記選択されたスニペットを表示するためのディスプレイと、
を含むことを特徴とするビデオ表示デバイス。
【請求項１５】
前記第２の複数のうちの前記フレームは連続することを特徴とする請求項１４に記載のビデオ表示デバイス。
【請求項１６】
前記第１の複数を特定することは、前記ビデオストリーム内で一定の距離だけ離間されたフレームを選択することを含むことを特徴とする、請求項１４に記載のビデオ表示デバイス。
【請求項１７】
前記第２の複数を特定することは、前記第１の複数のうちの各フレームの後の所定の数のフレームを選択することを含むことを特徴とする請求項１４に記載のビデオ表示デバイス。
【請求項１８】
前記第１の複数のフレーム内の各フレームは新しいシーンを開始することを特徴とする請求項１４に記載のビデオ表示デバイス。
【請求項１９】
前記第１の複数を特定することは、前記ビデオストリームに関連付けられたマニフェスト内で特定された各セグメント内の最初のフレームを選択することを含むことを特徴とする請求項１４に記載のビデオ表示デバイス。
【請求項２０】
プログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記プログラム命令が処理デバイスによって実行されると、前記デバイスに、
前記ビデオデータのストリーム内の早送り再生中に表示される第１の複数のフレームを特定させ、
前記第１の複数のうちの各個々のフレームに対して、前記第１の複数のうちの前記個々のフレームと連続したフレームとの間の間隔内の第２の複数のフレームを特定させ、
ここで、前記第２の複数のフレームは、前記間隔内のフレーム数を下回る数のフレームを含み、前記第２の複数のフレームは再生順において近接して離間され、
前記第１及び第２の複数のフレームを表示させる
ことを特徴とする非一時的なコンピュータ可読媒体。
【請求項２１】
前記第２の複数のうちの前記フレームが連続することを特徴とする請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項２２】
前記第１の複数を特定することは、前記ビデオストリーム内で一定の距離だけ離間されたフレームを選択することを含むことを特徴とする、請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項２３】
前記第２の複数を特定することは、前記第１の複数のうちの各フレームの後の所定の数のフレームを選択することを含むことを特徴とする、請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項２４】
前記第１の複数のフレーム内の各フレームは、新しいシーンを開始することを特徴とする請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項２５】
前記第１の複数を特定することは、前記ビデオストリームに関連付けられたマニフェスト内で特定された各セグメント内の最初のフレームを選択することを含むことを特徴とする請求項２０に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の態様は、概してビデオ表示の分野に関し、より具体的には、エンドユーザデバイス上に表示されるビデオコンテンツの再生を最適化することに関する。
【背景技術】
【０００２】
オーディオ及びビデオコンテンツを表示デバイス上でナビゲートするとき、特定の再生モードは、ユーザがビデオコンテンツを所定の速度で早送り又は巻き戻しすることを可能にする。ビデオコンテンツをナビゲートすることに関する問題の１つは、再生がビデオストリーム内の所望の位置において再開されるように、意図した瞬間に正確に再生を押下することが困難になり得ることである。更に、従来の再生モードは、フレームを通常の再生と同じフレームレートで表示することが多く、このフレームレートの間、早送り再生モードのビデオシーケンスではちらつきが発生し、視認又は理解が困難になり得る。代替として、従来の再生モードは、ちらつきを回避するために、より遅いフレームレートでより少ないフレームを表示することが多い。ただし、フレーム間の飛び越しがより大きくなることによって、所望の停止点を含むフレームが飛び越され得る。
【０００３】
したがって、当該技術分野では、早送り及び巻き戻し再生モード中に、ユーザにとってより便利な方法でビデオデータを表示するためのシステム及び方法が必要とされている。
【０００４】
本発明の様々な実施形態の上記及び他の態様は、以下のその詳細な説明を、機能的に類似した要素を示すために類似の参照番号が使用される添付の図面と併せて考察することによって、明らかとなるであろう。
【図面の簡単な説明】
【０００５】
【図１】本発明の一実施形態に係る例示的なビデオ表示デバイスの構成要素を示す簡単なブロック図である。
【図２】本発明の一実施形態に係る例示的なビデオ通信システムの構成要素を示す簡単なブロック図である。
【図３】本発明の一実施形態に係る例示的なエンコーダの構成要素を示す簡単なブロック図である。
【図４（Ａ）】ビデオデータのフレームのサブセットに対する従来の再生モードを示す図である。
【図４（Ｂ）】ビデオデータのフレームのサブセットに対する従来の再生モードを示す図である。
【図４（Ｃ）】ビデオデータのフレームのサブセットに対する従来の再生モードを示す図である。
【図５（Ａ）】本発明の一実施形態に係る、一定の再生間隔を有する例示的な再生モードを示す図である。
【図５（Ｂ）】本発明の一実施形態に係る、一定の再生間隔を有する例示的な再生モードを示す図である
【図５（Ｃ）】本発明の一実施形態に係る、一定の再生間隔を有する例示的な再生モードを示す図である
【図５（Ｄ）】本発明の一実施形態に係る、一定の再生間隔を有する例示的な再生モードを示す図である
【図６（Ａ）】本発明の一実施形態に係る例示的な再生モードを示す図である。
【図６（Ｂ）】本発明の一実施形態に係る例示的な再生モードを示す図である。
【図６（Ｃ）】本発明の一実施形態に係る例示的な再生モードを示す図である。
【図７（Ａ）】本発明の一実施形態に係る例示的な巻き戻し再生モードを示す図である。
【図７（Ｂ）】本発明の一実施形態に係る例示的な巻き戻し再生モードを示す図である。
【図８】本発明の一実施形態に係る、再生するフレームを選択するための例示的な方法を示す図である。
【発明を実施するための形態】
【０００６】
開示される実施形態では、ビデオフレームは改善された再生のためにサブサンプリングされる。一度に１つの分離されたフレームを再生する代わりに、ある個数の連続したフレーム又は近接して離間されたフレームが再生される。その結果、ちらつきを発生させることなく、より高いフレームレートで再生を実行することができる。この方法では、視聴者は連続的な動きを見ることができるため、体験は快適なものとなり、視聴者はコンテンツを認識しやすくなる。
【０００７】
ビデオシーケンスの再生は、表示するスニペット（ｓｎｉｐｐｅｔ：断片）を最初に特定することによって決定されてもよい。スニペットは表示用に選択された第１のフレームから始まり、その後にビデオストリームから選択された、いくつかのフレームが続き、それらは再生順において第１の選択されたフレームに続く。スニペットは、ビデオストリーム内で均等に離間されてもよい。
【０００８】
スニペットの選択は、コンテンツに適応してもよい。すなわち、スニペットの第１のフレームは、シーンの第１のフレームとして選択されてもよい。シーン検出、物体検出、及び／又は動き検出は、適切なスニペットの選択に役立ち得る。例えば、プログラム間の境界に関するメタデータが与えられ、それを、適切なスニペットを選択するためにそのメタデータにマップされ得る、デジタルメディア内のマーカーと組み合わせた場合、視聴者が適切な停止点を選択することを可能にする方法でビデオデータのコンテンツを表示するように、再生体験が最適化され得る。
【０００９】
シーン又はビデオシーケンスは、コンテンツの質が低い場合、シーン内のフレーム数が所定の閾値を下回る場合、シーケンス内で検出された動きが大きすぎて意味のあるスニペットを形成することができない場合などにおいては、再生中にスキップされてもよい。
【００１０】
一実施形態によれば、ビデオスニペットの第１のフレーム又はビデオスニペットの最後のフレームは、少し長い時間にわたって表示されてもよい。これにより、再生を押下し、意図した正確な位置に移動するための、より広範囲の時間がユーザに提供される。
【００１１】
図１は、本発明の実施形態に係る例示的なビデオ表示デバイス１００の構成要素を示す簡単なブロック図である。図１に示すように、表示デバイス１００は、ビデオデータを、チャネルから、カメラ１１５によってキャプチャされたソースビデオのようにローカルストレージ１１０から、又は別のビデオ通信方法から、例えば、衛星接続又はテレビケーブルプロバイダ（図示せず）を介して受信してもよい。符号化ビデオデータは、予測符号化技術又は他の知られている符号化方法に従って符号化されてもよい。チャネルから受信されたビデオデータの場合、表示デバイス１００は、チャネルデータを受信及び記憶するためのバッファ１０５を備える。
【００１２】
図１に示すように、ビデオデータを処理するために、表示デバイス１００は、符号化ビデオデータを受信し、ビデオデータの符号化中に実行された符号化プロセスを反転することによって符号化ビデオデータを復号するための復号エンジン１２５、符号化ビデオデータの特性を特定し、符号化ビデオデータに対する復号モードを選択し、ビデオの表示を管理するためのコントローラ１３０、及びビデオを表示用に準備するために更に処理するポストプロセッサ１３５を更に備える。後処理動作は、フィルタリング、インターレース解除、拡大縮小、又は表示されるビデオの質を改善し得る、ビデオデータに対する他の処理動作の実行を含んでもよい。その後ビデオデータは、スクリーン又は他のディスプレイ上に表示される。
【００１３】
更に、コントローラ１３０及び／又はポストプロセッサ１３５は、早送り、巻き戻し、又は他のトリック再生モード中のビデオデータの再生を準備及び管理してもよい。そのような準備は、代替再生モード中に表示される、選択又は変更されたフレームを有する代替ストリームの作成を含んでもよい。表示デバイス１００は、本明細書に記載されている再生モードに従ってビデオを表示するために、変更されたビデオデータのシーケンスを記憶するための、バッファ１４０を備えてもよい。更に、以前に作成された、本明細書に記載されているような代替 は、ビデオデータと共にローカルストレージ１１０内に記憶されるか、又はチャネル若しくは他の通信ストリームを介してビデオデータと共に受信されてもよい。
【００１４】
図２は、本発明の実施形態に係る例示的なビデオ通信システム２００の構成要素を示す簡単なブロック図である。図２に示すように、例示的なビデオ符号化システムは、チャネル２３０を介した通信において提供される、エンコーダシステム２１０及びデコーダシステム２２０を含んでもよい。エンコーダシステム２１０は、ソースビデオ２０１を受け付けてもよく、ソースビデオ２０１を符号化ビデオとして符号化してもよい。エンコーダシステム２１０は、符号化ビデオデータをチャネル２３０に出力してもよく、チャネル２３０は、光学、磁気若しくは電気ストレージデバイスなどのストレージデバイス、又はコンピュータネットワーク若しくは通信ネットワークによって形成された通信チャネルであってもよい。
【００１５】
デコーダシステム２２０は、符号化ビデオデータをチャネル２３０から取得し、エンコーダシステム２１０によって実行された符号化動作を反転し、復号ビデオデータを関連付けられた表示デバイスに出力してもよい。ビデオ表示デバイスは、テレビ、パーソナルコンピュータ（デスクトップ及びラップトップコンピュータの両方）、タブレットコンピュータ、ハンドヘルドコンピューティングデバイス、メディアプレイヤー、ビデオ会議専用装置などを含んでもよい。図示されるように、システム２００は、一方向のみのビデオ符号化及び復号をサポートする。ただし、一実施形態によれば、ビデオは各端末においてキャプチャされてもよく、各端末に実装されたエンコーダ及びデコーダを使用して双方向通信が実現されてもよい。
【００１６】
図３は、本発明の実施形態に係る例示的なエンコーダの構成要素を示す簡単なブロック図である。図３に示すように、エンコーダ３００は、プリプロセッサ３０５、符号化エンジン３１０、復号エンジン３１５、マルチプレクサ３２０、及びコントローラ３２５を含んでもよい。エンコーダ３００は、入力ソースビデオシーケンス３０１を、カメラ又はビデオストレージなどのビデオソースから受信してもよい。プリプロセッサ３０５は、入力ソースビデオシーケンス３０１を一連のフレームとして処理し、より効率的な圧縮のためにソースビデオを調整してもよい。例えば、入力ソースビデオシーケンスの画像コンテンツは、各フレームに対する適切な符号化モードを決定するために評価されてもよい。プリプロセッサ３０５は、ノイズ除去フィルタリング、バイラテラルフィルタリングなどのフィルタリング動作、又はエンコーダ３００によって実行される符号化動作の効率を改善する他の種類の処理動作を含むビデオ処理動作をフレームに対して更に実行してもよい。
【００１７】
従来のエンコーダは、ソースビデオシーケンス３０１を、ソースビデオよりも小さいビットレートを有する符号化表現へと符号化し、それによりデータ圧縮を実現してもよい。符号化エンジン３１０は、処理されたビデオデータをプリプロセッサ３０５から受信し、圧縮ビデオを生成してもよい。データ圧縮のための１つの一般的な技術は、予測符号化技術（例えば、時間／動きによる予測符号化）を使用する。例えば、ビデオストリーム内のいくつかのフレーム（Ｉフレーム）は、独立して符号化されてもよく、いくつかの他のフレーム（例えば、Ｐフレーム又はＢフレーム）は、他のフレームを基準フレームとして使用して符号化されてもよい。Ｐフレームは、単一の以前に符号化されたフレーム（Ｐフレーム）を参照して符号化されてもよく、Ｂフレームは、以前に符号化されたフレームのペア（典型的には表示順においてＢフレームよりも前に発生するフレーム、及び表示順においてＢフレームに続いて発生する別のフレーム）を参照して符号化されてもよい。
【００１８】
符号化エンジン３１０は、Ｈ．２６３、Ｈ．２６４、又はＭＰＥＧ−２などの所定の複数段階プロトコルに従って動作してもよい。したがって、符号化ビデオデータは、使用しているプロトコルによって指定された構文に適合してもよい。符号化エンジンは更に、ソースビデオのコンテンツによって、ビデオデータを符号化するための様々な符号化モードのうちの１つを選択するか、又は割り当てられてもよく、異なる各符号化モードは、異なるレベルの圧縮をもたらす。例えば、符号化エンジン３１０は、本明細書で「画素ブロック」と呼ばれる一定の画素データアレイ（例えば、８×８又は１６×１６ブロック）に従ってソースビデオのフレームを解析してもよく、ブロック予測及び予測残余の計算、量子化、並びにエントロピ符号化に従って画素ブロックを符号化してもよい。
【００１９】
エンコーダ３００は、符号化エンジン３１０から出力された符号化画素ブロックを、その内部で実行された符号化動作を反転することによって復号する、復号エンジン３１５を更に含んでもよい。復号エンジン３１５は、デコーダシステムが生成するものと同じ、ソースビデオデータの復号レプリカを生成してもよく、その復号レプリカは、符号化エンジン３１０によって実行される予測符号化技術のためのベースとして使用することができる。復号エンジン３１５は、復号用の基準データを取得するために、及び、ビデオ符号化システムに入力される、後で受信されるフレームに関する予測のソースを表し得る復号フレームデータを記憶するために、基準フレームキャッシュにアクセスしてもよい。
【００２０】
その後、符号化フレーム又は画素ブロックが符号化エンジン３１０から出力され、ＭＵＸ  ３２０によって記憶され、そこで共通ビットストリームへと結合され、伝送チャネルによってデコーダ、端末、又はデータストレージに配信されてもよい。ビデオデータを復元させるために、ビットストリームはデコーダにおいて、エンコーダによって実行された符号化プロセスを反転することによって展開され、受信された復号ビデオシーケンスを生成してもよい。
【００２１】
実施形態の一態様によれば、符号化プロセス中、エンコーダ３００は、シーン変更、又は本明細書に記載されているようなビデオデータの再生を調整することに関連する他の情報を特定してもよい。例えば、プリプロセッサ３０５又はコントローラ３２５は、上記の符号化プロセス中にこの情報を捕捉してもよい。エンコーダによって捕捉又は生成されたこのような情報は、その後符号化ビデオと共に記憶され、かつ／又は復号及び処理のためにデコーダに転送されてもよい。一実施形態では、エンコーダ３００は、ビデオデータのシーケンスに対する再生情報及び符号化フレームを、帯域外データ用の制御プロトコルによって確立された論理チャネルにおいて伝送してもよい。Ｈ．２６４プロトコルによって使用される一実施例として、エンコーダ３００は、Ｈ．２６４によって指定された補足エンハンスメント情報（ＳＥＩ）チャネル内で、再生情報を伝送してもよい。そのような実施形態では、ＭＵＸ  ３２０は、ＳＥＩチャネルに対応する論理チャネル内に再生情報を挿入するためのプロセスを表す。このような帯域外チャネルを指定しないプロトコルと共に本発明を使用する場合、ＭＵＸ  ３２０は、出力チャネル内で再生情報のために別の論理チャネルを確立してもよい。
【００２２】
実施形態の一態様によれば、エンコーダ３００は、様々な再生モード中に表示されるビデオデータのスニペットを含む、代替ストリームを更に生成してもよい。この代替ストリームは、個別に符号化され、ソースビデオデータの符号化ストリームと共に伝送されるか又は記憶され、トリック再生中にアクセスされてもよい。
【００２３】
図４（Ａ）〜図４（Ｃ）は、ビデオデータのフレームのサブセットに対する従来の再生モードを示す図である。図４（Ａ）では、フレーム１〜３０を含むフレームのシーケンス４００は、シーン、フレームのシーケンス、写真のグループ、又はビデオデータのストリームの他のサブセットを表してもよい。すなわち、図４（Ａ）に示すように、通常の再生中、フレーム１〜３０は、例えば、３０フレーム／秒（ｆｐｓ）の再生レートで順番に再生されてもよい。
【００２４】
従来、様々な早送り又は巻き戻し再生レートは、ビデオデータのフレームを同じ再生レート（図４（Ｂ））又は異なる再生レート、例えば、１０ｆｐｓ（図４（Ｃ））でサンプリングする。図４（Ｂ）に示すように、３０ｆｐｓの４ｘ早送り再生モードにおけるビデオシーケンス４１０では、ちらつきが発生し、視認又は理解が困難になり得る。図４（Ｃ）に示すように、従来の４ｘ早送り再生モードはフレームレートを１０ｆｐｓに低減してもよく、その結果、ビデオシーケンス４２０の表示されるフレームの視認性は改善されるが、表示されるフレームの数が減少し、それにより適切な停止点が飛び越される可能性がある。
【００２５】
一実施形態によれば、早送り再生モードは、先にある別のフレームへと飛び越す前に、複数の連続したフレームを表示する。図５（Ａ）〜図５（Ｂ）は、本発明の一実施形態に係る例示的な再生モードを示す図である。図５（Ａ）に示すように、４ｘ再生速度で表示されたビデオシーケンス５００は、各飛び越しにおいて、所定の数の連続したフレームを再生順に表示する。例えば、図５（Ａ）に示すように、フレーム０〜２を含むスニペットが最初に表示され、その後フレーム１２〜１４を含むスニペット、フレーム２４〜２６を含むスニペットという順序で表示される。この方法では、再生モードは３０ｆｐｓで表示される再生速度を維持する。連続した動きを各飛び越しにおいて表示することは、視聴者がコンテンツの理解を得ながら、従来のより高い再生レートでの再生において問題となるちらつきを回避することを可能にする。
【００２６】
実施形態の一態様によれば、スニペットの最初のフレームは、より長い時間期間にわたって表示されてもよく、それにより、視聴者は、新しいスニペットが表示されているのを見て、スニペットのコンテンツを識別するための時間を確実に持つことができる。
【００２７】
早送り再生を停止すべきであることを、ユーザが、例えば、リモート又は他の入力デバイスを使用して示したときに、表示デバイスは、示された停止点の前の所定の数のフレーム、すなわち示された停止点の前の所定の時間量のビデオシーケンスを表すフレームを、ユーザが停止したシーンの始めから、又はユーザが早送り再生を停止すべきであることを示した時点から、表示してもよい。
【００２８】
所定の数のフレームは、例えば各スニペットにおいて５個又は６個の連続したフレームを表示するように、変更されてもよく、又は各飛び越し間の一定の間隔が変更されてもよいことが理解されるであろう。すなわち、再生速度（例えば４ｘ）を維持するために、フレーム又はスニペット間の距離、又はスニペット内のフレーム数が必要に応じて変更されてもよい。
【００２９】
同様に、ビデオスニペットの再生フレームレートは変更されてもよく、例えば、再生フレームレートは、ビデオデータのコンテンツに基づき適応的に変更されてもよい。図５（Ｂ）に示すように、ビデオシーケンス５１０は、２０ＦＰＳレートの４ｘ再生速度で表示される。代替として、連続したフレームは、表示される次のフレームグループへの遷移時間をより長くして、標準的な再生レート（すなわち３０ｆｐｓ）で表示されてもよい。この代替再生モードは、図５（Ｃ）に示すようなビデオシーケンス５２０において図示される。
【００３０】
実施形態の一態様によれば、以前に特定されたフレームの時間間隔は、コンテンツに適応してもよい。図５（Ｄ）は、コンテンツに適応したフレームのタイミングで表示されるビデオシーケンス５３０を示す。図５（Ｄ）では、小さい動きを表すフレームのシーケンスに対して、サブサンプリングされたシーケンスは、近接して離間されているが連続していない、表示用のフレームを含む。例示的なシーケンスを図５（Ｄ）に示す。小さい動きのシーケンスは、任意の従来の動き分析方法によって、例えば、局所的及び／又は全体的な動きのキューを基準にして検出されてもよい。例えば、記憶された基準フレームに基づく最善の予測を有するフレームは、小さい動きを有してもよく、大きい動きのフレームは、記憶された基準フレームと少ない相関性を有してもよい。
【００３１】
実施形態の一態様によれば、再生中のスニペット間の飛び越しは、一定の間隔で発生しなくてもよい。例えば、再生中に表示されるフレームは、それらのコンテンツに基づき選択されてもよい。図６（Ａ）に示すように、ビデオシーケンス６００の再生中、各スニペットはシーンの先頭から始まる。シーケンス６００では、シーンは影付きフレーム（すなわちフレーム０及び８４）の各々から始まる。連続した動きは、次のシーンへの飛び越しの前に、各シーンの始めに表示されてもよい。
【００３２】
シーン変更は、任意の従来のシーン検出方法によって検出されてもよい。例えば、符号化中、エンコーダは検出されたシーンのフラグ又は他のインジケータを入力してもよい。代替として、シーン変更はデコーダにおいて、内部符号化（Ｉフレーム）が検出されたとき、又は別の知られている検出方法によって、検出されてもよい。
【００３３】
検出されたシーン及び他のスニペット開始フレームは、様々な速度の再生ストリームの作成を支援するために、特定され、階層へと編成されてもよい。例えば、大幅なシーン変更が特定されてもよい。大幅なシーン変更は、コマーシャル番組と番組本編との間の遷移、又はビデオコンテンツ内の他の特定可能な変更を含んでもよい。次いで、重要性が低い、又は軽微なシーン変更が特定されてもよい。例えば、ビデオコンテンツ内の話し手又は場所の変更がある。シーンの階層が特定されると、そのような階層はビデオデータと共に記憶され、表示デバイスがビデオコンテンツを代替再生モードで表示することが必要になったときにアクセスされる。このため、より低速な再生の場合、大幅なシーン変更及び軽微なシーン変更の両方が、スニペット開始点として特定されてもよい。ただし、高速再生においては、主要シーン に対応するスニペットのみが表示されてもよい。
【００３４】
ビデオのコンテンツの種類に基づき、他のスニペット選択方法が検討されてもよい。例えば、映画又はテレビ番組の場合、フレーム間隔の選択は、上記のような従来のシーン検出に基づいてもよい。ただし、スポーツ番組の場合、間隔は、ボールポゼッションの変更、スコアの変更、各プレイなどに基づき選択されてもよい。そのようなコンテンツは、ビデオ画像コンテンツの分析を使用して検出されてもよい。一実施例として、スコアの変更は、スコアボードを表すフレーム部分の変更を特定することによって、又はボールポゼッションの変更を表し得る、動きの方向の変更を検出することによって、検出されてもよい。同様に、ニュース番組の場合、スニペットは、各ニュースセグメント間の遷移から始まるように設定されてもよい。
【００３５】
オーディオの手掛かりが、スニペット開始点を特定することを更に支援してもよい。例えば、観衆の声援を表すサウンドの増大が、スコアの変更を示してもよい。
【００３６】
表示用に準備されたビデオデータと共に従来提供されるか、又は符号化若しくは復号中に作成される、他の情報が、スニペットの特定に使用されてもよい。例えば、字幕情報は、いつ会話が始まるか又は終わるか、いつ新しい登場人物が話しているかなどを示してもよい。更に、物体検出及び関連情報は、シーン内のコンテンツ及び／又は変更に関する手掛かりを提供してもよい。スニペットはまた、それらがビデオ又はオーディオコンテンツに対して完全である場合に優先され、それに応じて選択されてもよい。ビデオデータに関連付けられた他のメタデータは、スニペットを開始すべき位置を特定することに関連する情報も提供する。例えば、ビデオの作成時刻又は他のタイムスタンプ情報は、ビデオデータのシーケンスが、近接するシーケンスとは別個に作成されたことを示してもよい。そのような特徴は、特に映画又はテレビ番組のビデオストリーム内のコマーシャルを特定するのに役立ち得る。
【００３７】
実施形態の一態様によれば、表示デバイスにおいて受信されたビデオは、ビデオストリームに対するタイムラインを表すプレイリスト又はマニフェストを含んでもよい。例えば、マニフェストはビデオデータの完全なセグメントを特定してもよい。ビデオストリームのプロバイダは、セグメントを特定するようにマニフェストを作成していてもよい。そのようなマニフェストはケーブルテレビによく見られ、メインコンテンツの質を落とすことなく、ビデオストリームの効率的な変更を可能にし得る。例えば、マニフェストは、地方局が現地のコマーシャルをビデオストリーム内に挿入することを可能にする。スニペットはその後、マニフェスト内で特定されたセグメントと一致するように選択されてもよい。
【００３８】
スニペットは代替として、重要性が低いビデオのシーケンスをスキップするように設定されてもよい。例えば、撮影品質が低いか、低品質の照明を使用してキャプチャされたか、又は重要なコンテンツが少ないビデオのシーケンスは、早送り再生中に、そのシーケンスのどのフレームも表示することなくスキップされてもよい。そのような特徴は、特にユーザによって作成されたモバイルビデオ又はユーザによってキャプチャされた他の画像に役立ち得る。代替として、重要性が低いシーケンスは、シーケンスのサイズによって特定されてもよい。例えば、フレーム数が少ない、例えば、所定の閾値を下回るシーンが検出された場合、そのシーケンスは再生中にスキップされてもよい。
【００３９】
実施形態の一態様によれば、ユーザによってキャプチャされたビデオデータは、事前設定されたスニペットを含んでもよい。ビデオの作成又は編集中、ユーザはフレームをスニペット開始点としてマークしてもよい。その場合、早送り再生中に、スニペットはマークされた各フレームにおいて開始されてもよい。
【００４０】
実施形態の一態様によれば、スニペットの遷移におけるフレームが、フェード効果を生み出すために混合されてもよい。図６（Ｂ）に示すように、ビデオシーケンス６１０の再生中、スニペットの開始前及び開始後の複数のフレームが、フェード効果を生み出すために組み合わされてもよい。同様に、他の効果がスニペット間に実装されてもよい。例えば、画像処理を使用して、スニペット間又は検出されたシーン間の遷移が、その遷移がより明確になるようにスムージングされてもよい。更に、スニペット間の遷移に対して、視聴者がその遷移を認識しやすくなるように、ページめくり又は他の視覚効果が実装されてもよい。そのような効果により、早送りモードであることがユーザにとって明確になり、シーンの遷移が識別しやすくなる。
【００４１】
実施形態の一態様によれば、スニペットの遷移におけるフレームは、より長い時間期間にわたって表示されてもよい。図６（Ｃ）に示すように、ビデオシーケンス６２０の再生中、ディスプレイは、表示されたシーケンスの最後のフレームにおいて、所定の時間期間にわたって停止する。この効果を実現するために、図６（Ｃ）に示すように、間隔の最後のフレーム（すなわち、フレーム１０）は、より長い時間期間にわたって表示されてもよい。代替として、最後のフレームが、次のスニペットのシーンが表示されるまで、繰り返し表示されてもよい。
【００４２】
実施形態の一態様によれば、早送り再生のオプションは、ビデオストリーム内の最後のアイテム又は最後のスニペットまで直接飛び越すことを含んでもよい。最後のアイテムは、その最後のアイテムが、映画における最後のシーン変更、球技における最後のボールポゼッション、コメディ番組における最後のジョークなどになり得るように、コンテンツに適応してもよい。
【００４３】
実施形態の一態様によれば、本明細書に記載されているような早送り再生ストリームを表す変更されたフレームシーケンスを有するビデオデータストリームが、符号化中に作成され、伝送され、かつ／又はビデオデータと共にビデオ表示デバイスに記憶されてもよい。その場合、表示デバイスは、ビデオストリーム全体ではなく、選択された再生モードに対して、本明細書に記載されているような適切なスニペットを表示するために必要な再生ストリームにのみ、アクセスすることができる。代替として、変更されたシーケンスは、復号中、後処理中、又は再生中に、表示デバイスにおいて生成されてもよい。
【００４４】
主に早送り機能を参照して説明しているが、本明細書に記載されている再生モードは、巻き戻し中に適用されてもよい。巻き戻し中、再生中に表示されるスニペットのフレームは、図７（Ａ）のシーケンス７００に示されるように順方向の再生順で表示されてもよく、又は図７（Ｂ）のシーケンス７１０に示されるように逆方向の再生順で表示されてもよい。
【００４５】
図８は、本発明の一実施形態に係る、再生するフレームを選択するための例示的な方法８００を示す図である。図８に示すように、ビデオストリームを早送り又は巻き戻しモードで表示するために、コントローラは最初に、新しいスニペットを開始する１つ以上のフレームを選択してもよい（ブロック８１０）。フレームは、上記のようなスニペットを形成するために選択されてもよい。フレームを選択するための例示的なオプションを図８に示す。例えば、Ｎ個ごとにフレームが選択されてもよい（ブロック８１１）。又は、ビデオストリームに関連付けられたマニフェストが存在する場合（ブロック８１２）、マニフェスト内で特定された各セグメントの先頭におけるフレームが選択されてもよい（ブロック８１３）。又は、シーン検出のための方法が利用可能である場合（ブロック８１４）、検出された各シーンの先頭におけるフレームが選択されてもよい（ブロック８１５）。本明細書に記載されている実施形態と整合した、スニペットを開始するフレームを選択するための他のオプションが実装されてもよい。
【００４６】
その後、コントローラは、以前に選択された各開始フレームの後に表示するフレームを選択してもよい（ブロック８２０）。フレームは、上記のようなスニペットを形成するために選択されてもよい。スニペットを形成するフレームを選択するための例示的なオプションを図８に示す。例えば、各開始フレームの後のＭ個の連続したフレームが選択されてもよい（ブロック８２１）。早送り表示を実現するには、Ｎが２つの連続したスニペットの開始時におけるフレーム間の距離である場合に、Ｍ＜Ｎとなることが理解されるであろう。又は、ビデオシーケンス内のフレームに対する動き情報が存在する場合、小さい動きのフレームに対しては（ブロック８２２）、所定の数の連続しないフレーム、例えば、Ｘ個ごとの間隔でフレームが選択されてもよい（ブロック８２３）。間隔Ｘは、コンテンツ特性に基づき、例えば、小さい動きのシーンが検出されたときに、適応的に調整され得る。本明細書に記載されている実施形態と整合した、スニペットを形成するフレームを選択するための他のオプションが実装されてもよい。
【００４７】
一実施形態によれば、選択されたスニペットの末尾のフレーム及び次のスニペットの先頭のフレームは、上記のようなフェード効果を生み出すために混合されてもよい（ブロック８３０）。その後、スニペットのフレームが選択されたら、そのスニペットは表示されてもよい（ブロック８４０）。
【００４８】
上記のように、図１〜図３は、本発明の一実施形態に係る例示的なシステムの機能ブロック図である。実装では、システムはハードウェアとして具現化されてもよく、この場合、図示されたブロックはシステム内の回路サブシステムに対応してもよい。代替として、システムの構成要素はソフトウェアとして具現化されてもよく、この場合、図示されたブロックは、ソフトウェアプログラム内のプログラムモジュールに対応してもよい。更に別の実施形態では、システムは、ハードウェア回路システム及びソフトウェアプログラムの両方を含むハイブリッドシステムであってもよい。
【００４９】
更に、本明細書に記載されている全ての機能ブロックが別個のユニットとして提供される必要はない。例えば、図１は別個のユニットとしてのコントローラ、復号エンジン、及びポストプロセッサなどの、例示的なシステムの構成要素を示すが、１つ以上の実施形態では、それらの一部又は全てが統合されてもよい。そのような実装の詳細は、特に上で言及されていない限り、本発明の動作にとって重要でない。更に、図８は例示的な方法を示すが、動作の順序が変更されるか、又はいくつかの動作が完全に省略されてもよい。
【００５０】
いくつかの実施形態は、プロセッサによって実行されると、開示される実施形態に係る方法をプロセッサに実行させる、命令又は命令のセットを記憶し得る、非一時的コンピュータ可読記憶媒体又は製品を使用して実装されてもよい。例示的な方法及びコンピュータプログラム命令は、非一時的機械可読記憶媒体上で具現化されてもよい。更に、サーバ又はデータベースサーバは、機械実行可能プログラム命令を記憶するように構成された機械可読メディアを備えてもよい。本発明の実施形態の特徴は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせの内部に実装され、システム、サブシステム、構成要素又はその従属構成要素内で利用されてもよい。機械可読記憶メディアは、情報を記憶し得る任意の媒体を含んでもよい。機械可読記憶媒体の例としては、電子回路、半導体メモリデバイス、ＲＯＭ、フラッシュメモリ、消去可能なＲＯＭ（ＥＲＯＭ）、フロッピーディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、光ファイバメディア、又は任意の電磁的又は光学的ストレージデバイスが挙げられる。
【００５１】
本発明は、上でいくつかの実施形態を参照して詳細に説明されているが、当業者には、本発明の範囲及び趣旨内に入る変形形態が明らかとなるであろう。したがって、本発明は、添付の特許請求の範囲によってのみ制限されるものとして考察されるべきである。
【図１】
2018078583.tif 000003
【図２】
2018078583.tif 000004
【図３】
2018078583.tif 000005
【図４（Ａ）】
2018078583.tif 000006
【図４（Ｂ）】
2018078583.tif 000007
【図４（Ｃ）】
2018078583.tif 000008
【図５（Ａ）】
2018078583.tif 000009
【図５（Ｂ）】
2018078583.tif 000010
【図５（Ｃ）】
2018078583.tif 000011
【図５（Ｄ）】
2018078583.tif 000012
【図６（Ａ）】
2018078583.tif 000013
【図６（Ｂ）】
2018078583.tif 000014
【図６（Ｃ）】
2018078583.tif 000015
【図７（Ａ）】
2018078583.tif 000016
【図７（Ｂ）】
2018078583.tif 000017
【図８】
2018078583.tif 000018
【手続補正書】
【提出日】平成29年12月19日(2017.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータのストリームを表示するための方法であって、早送り再生モードが作動されたとき、
早送り再生中に前記ビデオデータのストリーム内の表示対象となる第１の複数のフレームを特定することと、
ここで、前記第１の複数のフレームにおけるフレームは、互いに、前記早送り再生モードのレートで決定される一定の時間間隔を有する、
前記第１の複数のフレームのうちの個々のフレームにおける１つのフレームについて、当該１つのフレームと前記第１の複数のフレームにおける次フレームとの間にある、前記ビデオデータのストリームの第２の複数のフレームを特定することと、
ここで、前記第２の複数のフレームは、通常再生モードでの、前記第１の複数のフレームにおける前記１つのフレームに連続するフレームである、
前記第１の複数のフレームのそれぞれのフレームと、それに関連する前記第２の複数のフレームとを通常再生レートで表示すること
を含むことを特徴とする、ビデオデータのストリームを表示するための方法。
【請求項２】
前記表示することは、
前記第２の複数のフレームの少なくとも１つのフレームを、より長い期間にわたるスニペットの遷移にて表示することを含み、
ここで、前記第２の複数のフレームにおける最後のフレームは、前記第１の複数のフレーム内におけるフレームと次フレームとの間隔にて前記より長い期間にわたって表示される
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記表示することは、
より長い期間にわたるスニペット遷移にてフレームを表示することを含み、
ここで、前記第２の複数のフレームにおける最後のフレームは、前記第１の複数のフレーム内におけるフレームと次フレームとの間隔にて、前記第１の複数のフレーム内の前記次フレームにて開始される後続するスニペットへの前記長い期間にわたって繰り返し表示される
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記ビデオデータのストリームの最後のスニペットを識別することと、
前記ビデオデータのストリームの前記最後のスニペットを表示すること
を更に有することを特徴とする請求項１に記載の方法。
【請求項５】
前記最後のスニペットは前記ビデオデータのストリームの最後のシーンチェンジに対応することを特徴とする請求項４に記載の方法。
【請求項６】
前記第１及び第２の複数のフレームは、前記ビデオデータのストリームを符号化中に作成されることを特徴とする請求項１に記載の方法。
【請求項７】
前記第１及び第２の複数のフレームは、前記ビデオデータのストリームを復号中に作成されることを特徴とする請求項１に記載の方法。
【請求項８】
ビデオ表示デバイスであって、
ビデオデータを記憶するためのメモリと、
前記ビデオデータを早送り再生モードで表示するための要求を受信し、かつ前記ビデオデータのスニペットを、
前記ビデオデータのストリーム内の表示対象となる第１の複数のフレームを特定し、
ここで、前記第１の複数のフレームにおけるフレームは、互いに、前記早送り再生モードのレートで決定される一定の時間間隔を有する、
前記第１の複数のフレームのうちの個々のフレームにおける１つのフレームについて、当該１つのフレームと前記第１の複数のフレームにおける次フレームとの間にある、前記ビデオデータのストリームの第２の複数のフレームを特定し、
ここで、前記第２の複数のフレームは、通常再生モードでの、前記第１の複数のフレームにおける前記１つのフレームに連続するフレームである、
によって、選択するように構成されたコントローラと、
前記ビデオデータの選択されたスニペットの、前記第１の複数のフレームのそれぞれのフレームと、それに関連する前記第２の複数のフレームとを通常再生レートで表示するためのディスプレイと
を含むことを特徴とするビデオ表示デバイス。
【請求項９】
前記ディスプレイは、
前記第２の複数のフレームの少なくとも１つのフレームを、より長い期間にわたるスニペットの遷移にて表示するように構成される、
ここで、前記第２の複数のフレームにおける最後のフレームは、前記第１の複数のフレーム内におけるフレームと次フレームとの間隔にて前記より長い期間にわたって表示される
ことを特徴とする請求項８に記載のビデオ表示デバイス。
【請求項１０】
前記ディスプレイは、
より長い期間にわたるスニペット遷移にて前記第２の複数のフレームの１つを表示するように構成され、
ここで、前記第２の複数のフレームにおける最後のフレームは、前記第１の複数のフレーム内におけるフレームと次フレームとの間隔にて、前記第１の複数のフレーム内の前記次フレームにて開始される後続するスニペットへの前記長い期間にわたって繰り返し表示される
ことを特徴とする請求項８に記載のビデオ表示デバイス。
【請求項１１】
前記コントローラは、更に、
前記ビデオデータのストリームの最後のスニペットを識別し、
前記ビデオデータのストリームの前記最後のスニペットを表示させる
ように構成されることを特徴とする請求項８に記載のビデオ表示デバイス。
【請求項１２】
前記最後のスニペットは前記ビデオデータのストリームの最後のシーンチェンジに対応することを特徴とする請求項１１に記載のビデオ表示デバイス。
【請求項１３】
前記第１及び第２の複数のフレームは、前記ビデオデータのストリームを符号化中に作成されることを特徴とする請求項８に記載のビデオ表示デバイス。
【請求項１４】
前記第１及び第２の複数のフレームは、前記ビデオデータのストリームを復号中に作成されることを特徴とする請求項８に記載のビデオ表示デバイス。
【請求項１５】
プログラム命令を記憶するコンピュータ可読記憶媒体であって、前記プログラム命令が処理デバイスによって実行され、早送り再生モードが作動されたとき、前記処理デバイスに、
早送り再生中にビデオストリーム内の表示対象となる第１の複数のフレームを特定させ、
ここで、前記第１の複数のフレームにおけるフレームは、互いに、前記早送り再生モードのレートで決定される一定の時間間隔を有する、
前記第１の複数のフレームのうちの個々のフレームにおける１つのフレームについて、当該１つのフレームと前記第１の複数のフレームにおける次フレームとの間にある、前記ビデオデータのストリームの第２の複数のフレームを特定させ、
ここで、前記第２の複数のフレームは、通常再生モードでの、前記第１の複数のフレームにおける前記１つのフレームに連続するフレームである、
前記第１の複数のフレームのそれぞれのフレームと、それに関連する前記第２の複数のフレームとを通常再生レートで表示させる
ことを特徴とするコンピュータ可読記憶媒体。
【請求項１６】
前記処理デバイスに、前記第２の複数のフレームの少なくとも１つのフレームを、より長い期間にわたるスニペットの遷移にて表示させる、
ここで、前記第２の複数のフレームにおける最後のフレームは、前記第１の複数のフレーム内におけるフレームと次フレームとの間隔にて前記より長い期間にわたって表示される
ことを特徴とする請求項１５に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記処理デバイスに、前記第２の複数のフレームの少なくとも１つのフレームを、より長い期間にわたるスニペットの遷移にて表示させる、
ここで、前記第２の複数のフレームにおける最後のフレームは、前記第１の複数のフレーム内におけるフレームと次フレームとの間隔にて、前記第１の複数のフレーム内の前記次フレームにて開始される後続するスニペットへの前記長い期間にわたって繰り返し表示される
ことを特徴とする請求項１５に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記処理デバイスに、
前記ビデオデータのストリームの最後のスニペットを識別させ、
前記ビデオデータのストリームの前記最後のスニペットを表示させる
ことを特徴とする請求項１５に記載のコンピュータ可読記憶媒体。
【請求項１９】
前記第１及び第２の複数のフレームは、前記ビデオデータのストリームを符号化中に作成されることを特徴とする請求項１５に記載のコンピュータ可読記憶媒体。
【請求項２０】
前記第１及び第２の複数のフレームは、前記ビデオデータのストリームを復号中に作成されることを特徴とする請求項１５に記載のコンピュータ可読記憶媒体。
【外国語明細書】
2018078583000001.pdf