(57)【要約】【課題】方法は、コンピュータシステムによって、映像アイテムを表すデータをバッファに受け入れることを有する。【解決手段】方法は、コンピュータシステムによって、映像アイテムをバッファから表示装置に出力することを更に有する。方法は、コンピュータシステムによって、バッファの利用が予め決定されたしきい値より下であると判断することを更に有する。方法は、バッファの利用が予め決定されたしきい値より下であるという判断に応答して、コンピュータシステムによって、予め決定されたタイムフレーム内に特定のリバッファリング時点が存在すると判断することを更に有する。方法は、予め決定されたタイムフレーム内に特定のリバッファリング時点が存在するという判断に応答して、コンピュータシステムによって、特定のリバッファリング時点の映像アイテムを休止することを更に有する。【選択図】図３Ｄ
2020522193.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムによって、映像アイテムを表すデータをバッファに受け入れることと、
前記コンピュータシステムによって、前記映像アイテムを前記バッファから表示装置に出力することと、
前記コンピュータシステムによって、前記バッファの利用が予め決定されたしきい値より下であると判断することと、
前記バッファの利用が前記予め決定されたしきい値より下であるという判断に応答して、前記コンピュータシステムによって、予め決定されたタイムフレーム内に特定のリバッファリング時点が存在すると判断することと、
前記予め決定されたタイムフレーム内に前記特定のリバッファリング時点が存在するという判断に応答して、前記コンピュータシステムによって、前記特定のリバッファリング時点の前記映像アイテムを休止することと、
を備える方法。
【請求項２】
前記映像アイテムが前記バッファによって受信される速度に基づく予め決定された時間の後に前記映像アイテムを再開することを更に備える請求項１に記載の方法。
【請求項３】
前記特定のリバッファリング時点は、ショット変化と場面変化のうちの一つに対応する請求項１に記載の方法。
【請求項４】
前記特定のリバッファリング時点は、フレームの動きの値が予め決定された動きの値のしきい値より下である時点に対応する請求項１に記載の方法。
【請求項５】
前記特定のリバッファリング時点は、視覚特性を表す値が予め規定された視覚特定のしきい値より下である時点に対応する請求項１に記載の方法。
【請求項６】
前記特定のリバッファリング時点は、前記映像アイテム内の聴覚マーカである請求項１に記載の方法。
【請求項７】
前記特定のリバッファリング時点は、前記映像アイテム内の複数のあり得るリバッファリング時点の中から選択され、前記複数のあり得るリバッファリング時点は、割り当てられる種々のランク値である種々のタイプを有する請求項１に記載の方法。
【請求項８】
前記映像アイテムの休止は、前記特定のリバッファリング時点が特定のランクより上である場合のみ生じる請求項７に記載の方法。
【請求項９】
前記特定のリバッファリング時点は、前記映像アイテムが前記コンピュータシステムにストリーミング配信される前に前記映像アイテム内で識別される請求項１に記載の方法。
【請求項１０】
前記特定のリバッファリング時点は、前記特定のリバッファリング時点が配置された前記映像アイテムの部分が前記バッファ内に配置されている間に前記コンピュータシステムによって識別される請求項１に記載の方法。
【請求項１１】
コンピュータシステムによって、映像アイテムを表す第１のデータ及び前記映像アイテムの特定のリバッファリング時点のセットを表す第２のデータをバッファに受け入れることと、
前記コンピュータシステムによって、前記映像アイテムを表す前記第１のデータを前記バッファから表示装置に出力することと、
前記第１のデータを受け入れる速度が前記第１のデータを前記バッファから前記表示装置に出力する速度よりしきい値の量だけ低いと判断することと、
前記第１のデータを受け入れる速度が前記第１のデータを前記バッファから前記表示装置に出力する速度よりしきい値の量だけ低いという判断に応答して、前記特定のリバッファリング時点のセットの一つでメディアストリームを休止することと、
を備える方法。
【請求項１２】
前記特定のリバッファリング時点のセットは、ショット変化、場面変化、予め規定された視覚特定を有する場面及びセリフの休止を有する請求項１１に記載の方法。
【請求項１３】
種々のタイプのリバッファリング時点に種々のランキングを割り当てる請求項１２に記載の方法。
【請求項１４】
前記特定のリバッファリング時点のセットの一つを、前記第１のデータを受け取る速度と前記第１のデータを前記バッファから前記表示装置に出力する速度との差に基づいて選択する請求項１３に記載の方法。
【請求項１５】
選択されるリバッファリング時点を選択した受け入れることができるリバッファリング時点のサブセットは、前記差が増大するときの追加のタイプのリバッファリング時点を有する請求項１４に記載の方法。
【請求項１６】
前記リバッファリング時点のセットの複数のリバッファリング時点で前記メディアストリームを休止することを更に備え、複数の選択したリバッファリング時点の各々の休止は、リバッファリング時点に割り当てられたランク値に基づく種々の期間に対する請求項１３に記載の方法。
【請求項１７】
前記映像アイテムを休止する期間は、前記バッファが予め決定されたしきい値より下であるときの予測に基づく請求項１１に記載の方法。
【請求項１８】
ストリーミング配信されるメディアの再生の際にリバッファリングイベントの配置を最適化する方法であって、
サーバコンピュータシステムによって、ストリーミング配信される映像アイテムを受信することと、
前記ストリーミング配信される映像アイテムの複数の特定のリバッファリング時点を識別するために画像処理を行うことと、
識別した前記複数の特定のリバッファリング時点を特徴付ける情報をメモリに格納することと、
識別した前記複数の特定のリバッファリング時点を特徴付ける情報を、ネットワークを介してクライアントコンピュータシステムに送信することと、
を備える方法。
【請求項１９】
識別した前記複数の特定のリバッファリング時点を特徴付ける情報は、タイムスタンプと、特定のリバッファリング時点に関連するフレーム番号と、特定のリバッファリング時点の各々に関連するリバッファリング時点タイプを表すタグとのうちの少なくとも一つを有する請求項１８に記載の方法。
【請求項２０】
前記ストリーミング配信される映像アイテムを前記クライアントコンピュータシステムに送信することを更に備え、前記ストリーミング配信される映像アイテムを送信することは、識別した前記複数の特定のリバッファリング時点を特徴付ける情報を送信することに関連して行われる請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１７年５月３１日に出願された米国特許出願第１５／６１００５３号明細書の優先権を主張し、その開示を全体的に開示する。
【０００２】
本開示は、ビデオストリーミングに関し、特に、ビデオストリーム内のリバッファリングイベントのタイミングに関する。
【０００３】
顧客が、無線信号を受信することによって又はケーブル若しくは衛星テレビプロバイダに加入することによって映画及びテレビ番組のようなメディアアイテムにアクセスしてもよい間、顧客は、インターネットベースのシステムのコンテンツにますますアクセスするようになる。一部のインターネットベースのシステムによって、ユーザは、インターネット上のコンテンツを様々なクライアント装置にダウンロード又はストリーミング配信することができる。例えば、インターネットベースのメディアシステムは、パーソナルコンピュータ、セットトップボックス又は個人のモバイル機器を介してコンテンツをユーザに提供することができる。特に、コンテンツの全体が所定のユーザのクライアント装置に配信される前にユーザが消費（例えば、視聴及び／又は聴取）を開始できるようにするために、ストリーミング配信メディアシステムは、ユーザがストリーミング配信ビデオフォーマットのメディアコンテンツにアクセスすることができるようにする。そのようなシステムによって、ユーザは、ユーザが選択したコンテンツの消費を開始する前のあり得る非常に長いダウンロードの進行を回避しながらコンテンツにアクセスすることができる。
【発明の概要】
【０００４】
メディアアイテムをストリーミング配信する間に、ユーザは、メディアアイテムを見ることができるようになる前にメディア全体をダウンロードする必要がない。代わり、ユーザは、メディアを表すデータがユーザの装置に配信されるとほとんど間髪を入れずにメディアアイテムの消費を開始することができる。メディアアイテムを表すデータがユーザの装置に配信されると、データが一時的にバッファに配置される。バッファによって円滑な視聴経験が可能になる。その理由は、ユーザの装置とデータをストリーミング配信するサーバとの間のネットワーク接続が一時的に中断又は速度を落とした場合にメディアアイテムの消費をバッファのデータを用いて継続できるからである。理想的には、データがバッファに配信される速度は、クライアント装置への表示のためにデータがバッファから読み出される速度より高い。しかしながら、場合によっては、データは、データがバッファに配信される場合よりも速く読み出される。バッファ利用（すなわち、バッファ内の現在のデータ量）がゼロになる場合には、メディアストリーミング配信は、典型的には、十分なデータをバッファに配信できるようになるまで中断する。これによって視聴者の経験の質が低下する。その理由は、このような再生の突然の停止が視聴者によってフリーズしたスクリーンと認識されるからであり、時々、砂時計又は糸車のアイコンが重ね合わされ、それは、音声のないことすなわち無音に対応する。ユーザは、一般的には、バッファのデータ量を意識せず、したがって、ユーザは、再生の停止を不定期なイベントと認識する。十分なデータがバッファに再び受け入れられるとき、メディアアイテムの再生が突然再開する。結果的に得られるメディアアイテムの不連続な再生は、ユーザにとって楽しいものでない。
【図面の簡単な説明】
【０００５】
【図１】本開示の一部の実施の形態によるリバッファリングイベントの最適配置を行うために用いることができる例示的なサーバコンピュータシステム及びクライアントコンピュータシステムを示す図である。
【図２】本開示の一部の実施の形態による映像アイテム内の特定のリバッファリング時点を示す図である。
【図３Ａ】本開示の一部の実施の形態による特定のリバッファリングイベントに対する特定のリバッファリング時点の使用を示す図である。
【図３Ｂ】本開示の一部の実施の形態による特定のリバッファリングイベントに対する特定のリバッファリング時点の使用を示す図である。
【図３Ｃ】本開示の一部の実施の形態による特定のリバッファリングイベントに対する特定のリバッファリング時点の使用を示す図である。
【図３Ｄ】本開示の一部の実施の形態による特定のリバッファリングイベントに対する特定のリバッファリング時点の使用を示す図である。
【図４Ａ】本開示の一部の実施の形態による特定のリバッファリング時点の識別を助けるために映像アイテムの一部に割り当てることができる種々のメタデータを示すテーブルである。
【図４Ｂ】本開示の一部の実施の形態による特定のリバッファリング時点の識別を助けるために映像アイテムの一部に割り当てることができる種々のメタデータを示すテーブルである。
【図５】本開示の一部の実施の形態による映像アイテムの一部のクローズアップショットを表す特徴の検出を示す図である。
【図６】本開示の一部の実施の形態による映像アイテムの一部のエスタブリッシングショットを表す特徴の検出を示す図である。
【図７】本開示の一部の実施の形態による映像アイテムの一部のズームアウトショットを表す特徴の検出を示す図である。
【図８】本開示の一部の実施の形態による特定のリバッファリング時点で映像アイテムを休止する例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【０００６】
これらの図面は、以下の詳細な説明を参照することにより当業者によって更によく理解されるであろう。
【０００７】
簡潔に上述した図面を参照しながら、本開示によるシステム及び方法の例示的な応用をこの節で説明する。これらの例を、背景を追加するとともに発明の理解を助けるために提供する。したがって、これらの特定の詳細の一部又は全てを有することなく本発明を実施できることが当業者には明らかとなるであろう。他の場合において、本開示を不必要に分かりにくくするのを回避するために周知の工程段階又は動作を詳しく説明しない。追加的には、ここで説明する概念及び原理の他の応用が可能である。ここで説明する原理及び概念を、ストリーミング配信されたメディアアイテムの視聴者に対するリバッファリングの否定的な面の少なくとも一部を少なくすることができるイベントのリバッファリングの最適時間を選択するために応用してもよい。
【０００８】
以下の詳細な説明において、説明の一部を形成するとともに本開示の特定の実施の形態を実例として示す添付図面を参照する。これらの実施の形態を、当業者が発明を実施することができるようにするために十分詳しく説明するとしても、これらの例は限定的なものではなく、他の実施の形態を用いてもよく、発明の精神及び範囲から逸脱することなく変更を行うことができる。
【０００９】
上述したように、従来のストリーミング配信の実現において、データが十分な速さでクライアント装置に配信されない場合、更に多くのデータが来るのを待つためにビデオを停止する必要がある。十分な量のデータを受信した後、ビデオを再開することができる。ネットワーク状態のような種々の要因は、データを十分な速さで受信するためのクライアント装置の能力に悪影響を及ぼす。ネットワーク状態の制御がほとんどないので、そのような停止は、ユーザに対して不定期に出現し、しばしば、重要なストーリーの要素を中断する。このような中断は、典型的には、音声のないフリーズしたスクリーンと認識される。ユーザは、「バッファリング」メッセージ、糸車アイコン又は砂時計アイコンのような遅延の表示が提供されることがある。バッファが追加のデータを補うことができるようにするこれらの休止を、リバッファリングイベントと称する。
【００１０】
リバッファリングイベントは、視聴者にとってフラストレーションを引き起こすものである。その理由は、リバッファリングイベントが視聴経験を中断するからである。リバッファリングは、重要な場面又は重要なセリフの最中にビデオが休止されたときに更に望ましくないものとなる。したがって、本開示は、不所望な時間でのビデオストリームの休止を回避するのに必要なリバッファリングイベントの休止の配置を最適にする方法及びシステムに関する。換言すれば、リバッファリングを生じさせる必要がある場合に、リバッファリング時点を、不定期ではなくユーザの不都合が少ないときに生じるように設定することができる。
【００１１】
一例において、リバッファリング時点の位置を、映像アイテムのようなコンテンツの特定の部分内で識別してもよい。これらの識別された位置を、特定のリバッファリング時点と称する。特定のリバッファリング時点は、リバッファリングの不都合が少ない映像アイテム内の瞬時又は時間に対応してもよい。例えば、特定のリバッファリング時点は、場面変化、ショット変化又はセリフの休止に対応してもよい。一例において、バッファ利用が非常に低い速度である場合、映像アイテムを、バッファ利用がリバッファリングイベントを引き起こす時点をまだ下回らない場合でも特定のリバッファリング時点の一つで休止してもよい。換言すれば、リバッファリングがバッファの枯渇時に生じるビデオストリーミング配信の従来の実現においてそのようなリバッファリングの休止が生じる前に、ビデオストリームをリバッファリングのために休止してもよい。追加的には、一部の例において、データがバッファに配信される速度がデータを消費する速度より低くなるようにストリーミング配信サーバからクライアントシステムへのネットワーク接続を行う場合、映像アイテムを、バッファ内のデータの枯渇が原因のビデオ内の一見不定期な時点ではなく特定のリバッファリング時点で短期間休止してもよい。
【００１２】
図１は、リバッファリングイベントの最適配置を行うために用いることができる例示的なサーバコンピュータシステム１０２及びクライアントコンピュータシステム１２０を示す図である。サーバコンピュータシステム１０２は、ストリーミング配信メディアサービスによって所有、操作又は管理される多数のサーバのうちの一つであってもよい。サーバコンピュータシステム１０２は、プロセッサ１０８と、リバッファリング時点識別モジュール１１０と、ネットワークインタフェース１１２と、を有する。サーバコンピュータシステム１０２は、例えば、サーバオペレーティングシステム（ＯＳ）、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）ＯＳ、Ｌｉｎｕｘ（登録商標）ＯＳ又は他の適切なサーバベースのオペレーティングシステム１０２を操作する独立型サーバ又は企業規模のサーバを更に有してもよい。サーバコンピュータシステム１０２は、コンテンツ分配ネットワークのサーバであってもよい。図１に示すサーバコンピュータシステム１０２を他の方法で配備してもよいことと、そのようなサーバによって実行される動作及び／又は提供されるサービスを所定の実現のために組み合わせる又は個別のものとするとともに更に多い個数又は更に少ない個数の個別のサーバ装置によって実現してもよいこととを理解すべきである。
【００１３】
プロセッサ１０８は、一つ以上の個別のプロセッサ又は処理コアを有してもよい。同様に、メモリ１０４は、種々のタイプの一つ以上の記憶装置を有してもよい。メモリ１０４は、プロセッサ１０８を実行するための機械可読命令を記憶してもよい。そのような命令を種々のアプリケーション及びオペレーティングシステムに関連付けてもよい。追加的には、メモリ１０４は、ストリーミング配信のための映像アイテム１０６を記憶してもよい。そのような映像アイテム１０６は、例えば、ノーカットの映画（ｆｕｌｌ−ｌｅｎｇｔｈ  ｍｏｖｉｅｓ）、連続番組の複数話、又は、映画若しくは話の一部を有してもよい。他のタイプの映像アイテムも考えられる。映像アイテム１０６を、記憶及び／又はストリーミング配信に適した機械可読フォーマットにコード化してもよい。更に具体的には、映像アイテム１０６は、一連のフレームを特定するデータのセットを有してもよく、各フレームは、画像又は画像を取得するために処理することができる情報を有する。フレームが順に表示されるとき、フレームは映像を生成する。映像アイテム１０６を、データを圧縮する種々の技術を用いてコード化してもよい。映像アイテム１０６を備えるデータは、映像データに対応する音声データも有してもよい。換言すれば、音声データは、映像データと時間的に一致する。
【００１４】
上述したように、メモリ１０４は、複数のメモリモジュールを有してもよい。メモリモジュールは、種々の（ｖａｒｙｉｎｇ）タイプのものであってもよい。メモリ１０４の一部は、ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリであってもよい。メモリ１０４の一部は、ハードディスクドライブ又はソリッドステートドライブ（ＳＤＤ）のような不揮発性メモリであってもよい。メモリ１０４は、アプリケーションを形成する機械可読命令を記憶するとともに分析及びストリーミング配信のための映像アイテム１０６を記憶してもよい。メモリ１０４は、特定のリバッファリング時点に対応する映像アイテム１０６内の位置又は時間のような分析の結果も記憶してもよい。
【００１５】
サーバコンピュータシステム１０２は、サーバコンピュータシステム１０２がインターネットのようなネットワーク１０４を介して他のコンピュータシステムと通信を行うことができるようにするネットワークインタフェース１１２を有する。ネットワークインタフェース１１２は、ネットワーク１１４を介した送信のためにデータをコード化するハードウェア、ソフトウェア又は両方の組合せを有する。ネットワークインタフェース１１２は、イーサネット（登録商標）、光ファイバ及び無線通信技術のような様々な通信技術を利用してもよい。
【００１６】
一部の例において、映像アイテム１０６を格納するサーバコンピュータシステム１０２は、リバッファリング時点を識別するために映像アイテム１０６の分析を行ってもよい。そのような例において、サーバコンピュータシステム１０２は、リバッファリング時点識別モジュール１１０を有する。リバッファリング時点識別モジュール１１０は、映像アイテム１０６を表すデータを分析するとともにリバッファリング時点の配置を識別するハードウェア、ソフトウェア又は両方の組合せを有する。識別されたリバッファリング時点を種々の方法で表してもよい。一例において、識別されたリバッファリング時点を、映像アイテム１０６内の時点（例えば、分、秒及び秒の端数を含むタイムスタンプ）として表してもよい。一部の例において、リバッファリング時点に対応するフレームに、そのようなフレームがリバッファリング時点に対応することを示すメタデータによってタグ付けしてもよい。識別されたリバッファリング時点の配置を、ストリーミング配信の最初に、例えば、マニフェストファイル（ｍａｎｉｆｅｓｔ  ｆｉｌｅ）において若しくはマニフェストファイルにおいて指定されるメタデータファイル（ｍｅｔａｄａｔａ  ｆｉｌｅ）において、又は、ストリーミング配信の進行中にクライアントコンピュータシステム１２０に送信してもよい。マニフェストファイルは、同一の視聴覚コンテンツに対してユーザが利用できる一つ以上のストリームの配置を指定してもよく、ストリームは、種々のビットレート及び／又は品質を有する。ネットワーク１１４を介したサーバコンピュータシステム１０２に対する高品質の接続を有するクライアントコンピュータシステム１２０は、マニフェストファイルで識別された複数のストリームの中から高品質のストリームを選択してもよい。低品質（例えば、低帯域幅）の接続を有するクライアントコンピュータシステム１２０は、低品質のストリームを選択してもよい。ネットワーク１１４を介した接続の品質が変化する場合、クライアントコンピュータシステム１２０は、ユーザに最適な経験を提供するために必要に応じて異なるストリームへのアクセスを開始してもよい。リバッファリング時点の配置を、ストリームに含まれるデータにおいて、例えば、個別のフレーム又は個別のファイルにおいて示してもよい。例えば、リバッファリング時点を、Ｈ．２６４コード又はデータストリームの見出し又は記述テキストのような補足情報を送信する他の同等な方法によって含まれるように補足エンハンスメント情報（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）メッセージに含ませてもよい。
【００１７】
一部の例において、リバッファリング時点識別モジュール１１０は、映像アイテム１０６がストリーミング配信される前に映像アイテム１０６内のリバッファリング時点を識別する。例えば、映像アイテム１０６が格納されているだけで現在ストリーミング配信されていない場合、リバッファリング時点識別モジュール１１０は、リバッファリング時点を判断するために映像アイテム１０６の分析を行う時間を用いてもよい。一部の実施の形態において、分析を、映像アイテム１０６が高い忠実度の記憶（ｈｉｇｈ−ｆｉｄｅｌｉｔｙ  ｓｔｏｒａｇｅ）に最適化されたフォーマットから映像のストリーミング配信に適した圧縮フォーマットに変換されるときに行ってもよい。一部の例において、リバッファリング時点を、映像アイテム１０６がサーバコンピュータシステム１０２にアップロードされる前に識別してもよい。一部の例において、リバッファリング時点を、映像アイテム１０６を格納するサーバコンピュータシステム１０２と映像アイテム１０６を消費するクライアントコンピュータシステム１２０の間のネットワーク１１４内に配置された個別のサーバ（図示せず）によって識別してもよい。
【００１８】
ストリーミング配信の進行は、映像アイテム１０６のうちの選択したものを表すデータをサーバコンピュータシステム１０２からインターネットのようなネットワーク１１４を介してクライアントコンピュータシステム１２０に転送することを伴う。本例において、クライアントコンピュータシステム１２０は、プロセッサ１２８と、メモリ１２２と、ネットワークインタフェース１２６と、リバッファリング時点識別モジュール１３０と、表示装置１３２と、を有する。一部の例において、クライアントコンピュータシステム１２０は、例えば、デスクトップ、ラップトップ、ビデオコンソール又はタブレットコンピュータ装置である。
【００１９】
サーバ１０２のメモリ１０４のように、クライアントコンピュータシステム１２０のメモリ１２２は、種々のタイプの一つ以上の記憶装置を有してもよい。メモリ１０４は、プロセッサ１２８を実行するための機械可読命令を格納してもよい。そのような命令を種々のアプリケーション及びオペレーティングシステムに関連付けてもよい。追加的には、メモリ１２２はバッファ１２４を有してもよい。バッファ１２４は、表示装置１３２を介してユーザ１１６に表示するためにデータが処理される前にネットワーク１１４を介して受信したデータを一時的に格納するのに用いられるメモリの一部である。データが消費される速度は、現在のストリームの解像度及び／又はビットレートに依存する。例えば、ストリームの解像度又はビットレートが比較的高い場合、更に多くのデータが映像を生成する。したがって、映像アイテムをユーザ１１６に提供するために更に多くのデータが特定の期間内に消費される。それに対し、ストリームの解像度又はビットレートが比較的低い場合、映像を生成するために更に少ないデータが用いられる。したがって、映像をユーザ１１６に提供するために更に少ないデータが特定の期間内に消費される。したがって、バッファ１２４のサイズを、選択した映像アイテムストリームのビットレートに基づいて設定してもよい又は適合させてもよい。
【００２０】
一部の例において、クライアントコンピュータシステム１２０は、映像アイテム１０６内のリバッファリング時点の識別に関与してもよい。そのような場合、クライアントコンピュータシステム１２０は、リバッファリング時点識別モジュール１３０を有する。一部の例において、リバッファリング時点識別モジュール１３０を、リバッファリング時点を識別するためにコンテンツ１０６を受信したときにコンテンツ１０６を分析するように構成してもよい。換言すれば、リバッファリング時点は、クライアントコンピュータシステム１２０で識別される。これは、サーバコンピュータシステム１０２によるリバッファリング時点識別に関連する分析及びメタデータ生成を除去することができる。
【００２１】
サーバシステム１０２のネットワークインタフェース１１２のように、クライアントコンピュータシステム１２０のネットワークインタフェース１２６は、ネットワーク１１４を介して通信を行うためのハードウェア、ソフトウェア又は両方の組合せを有する。このデータを、ネットワーク１１４を介したネットワークインタフェース１２６を通じてサーバシステム１０２から受信し、データは、バッファ１２４内に配置される。
【００２２】
表示装置１３２は、ユーザ１１６に映像アイテムを表示するために用いられるコンポーネントを有する。例えば、表示装置１３２は、映像及び音声処理ハードウェア及びソフトウェアを有してもよい。表示装置１３２は、モニタ又はスクリーンのような映像出力装置も有してもよい。表示装置１３２は、スピーカ若しくはヘッドホンのような音声出力装置又は音声出力装置と通信を行うように構成された接続部も有してもよい。
【００２３】
図２は、特定のリバッファリング時点２０２，２０４，２０６，２０８を示す図である。本例によれば、映像アイテム２００は、場面変化に対応するリバッファリング時点２０２と、ショット変化に対応するリバッファリング時点２０４と、セリフの休止に対応するリバッファリング時点２０６と、低輝度のような所定の視覚特性を有する画像に対応するリバッファリング時点２０８と、を有する。リバッファリングイベントの適切な位置を予め決定するために他の基準を用いてもよい。
【００２４】
一部の例において、リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００を表すデータを分析するとともに各場面変化を識別してもよい。場面は、一般的には、単一の位置での所定の動作を伴うとともに連続的な期間をカバーする映画の一部を意味する。リバッファリング時点識別モジュール１１０，１３０は、多様な手段を介して場面変化を検出してもよい。一例において、画像内の色を表すデータを、色の見え（ｃｏｌｏｒ  ａｐｐｅａｒａｎｃｅ）があるフレームから次のフレームまでに変化したことを判断するために分析してもよい。例えば、屋外の場面は、画像内に多様な色を有することがあり、同時に、屋内の場面への場面変化は、多様な色を有することがある。追加的には、音声部分を表すデータを、映像の音の雰囲気が変化したこと、したがって、場面変化を示唆することを判断するために分析してもよい。例えば、登場人物が車両を運転している場面は、車両の音及び交通の音を有することがある。その後、場面は、登場人物が会話する静かな部屋の場面に変化することがある。音の雰囲気の変化は、場面変化を識別するのを助けることがある。場面変化が、典型的には、ストーリーの自然な切替を表すので、場面変化は、リバッファリングイベントに対して不都合をなくすことができる。したがって、場面変化に対応するフレームをリバッファリング時点として識別してもよい。
【００２５】
一部の例において、リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００を表すデータを分析するとともにここで更に説明する各ショット変化を識別してもよい。ショットは、一般的には、一つの連続的なカメラロール（ｃａｍｅｒａ  ｒｏｌｌ）を有する映像の一部を表してもよい。ショットは、一般的には、二つの編集又はカットの間の連続的なフィルム映像も表してもよい。リバッファリング時点識別モジュール１１０，１３０は、種々の方法でショットを検出してもよい。一例において、各フレーム内の特徴を分析する。そのような特徴は、フレームの彩色又はフレームの輝度を有してもよい。追加的には、画像処理アルゴリズムは、複数のフレームの間の形状、エッジ及びコーナーのような特徴を追跡できるようにするためにこれらの特徴を識別してもよい。特定のフレームが前のフレームと十分に異なる場合、カットが生じたと判断される。換言すれば、前のショットが終了するとともに次のショットが開始される。時々、ショット変化がセリフの途中又は過ぎ去るジェット機のような他の継続的な音源の途中に生じる。一部の場合において、ショット変化は、会話の途中に生じない。したがって、セリフの途中又は継続的な音源の途中に生じるショット変化とセリフの間に又は継続的な音源なく生じるショット変化との間の区別を行ってもよい。セリフ又は継続的な音源の間に生じるショット変化におけるリバッファリングイベントは、ユーザ１１６に不都合がないものと考えられる。したがって、そのようなショット変化に対応するフレームを、リバッファリング時点として識別してもよい。
【００２６】
一部の例において、リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００内の音声データを表すデータを分析するとともにセリフの休止を識別してもよい。セリフを、適切な周波数範囲の音声遷移の検出によって又は音声活性検出器（ｖｏｉｃｅ  ａｃｔｉｖｉｔｙ  ｄｅｔｅｃｔｏｒ）を用いて検出してもよい。データを分析するとともに登場人物が話しているとき及び登場人物が話していないときを判断するために種々の機能及び音響特徴抽出を用いることができる。一部の例において、セリフの途中の休止の長さが所定のしきい値より上である場合、休止内のある時点をリバッファリング時点２０６と識別してもよい。
【００２７】
一部の例において、リバッファリング時点識別モジュール１１０，１３０は、視覚特性が低い輝度又は比較的低い輝度のような特定の特性を有する時点の映像アイテム２００を表すデータを分析してもよい。例えば、映像アイテムの視覚的に暗い部分を、画像の全体の輝度が絶対しきい値より下である映像アイテム２００内の時点又は画像の輝度が前の画像又はフレームに基づくしきい値より下である場合の映像アイテム２００内の時点と規定してもよい。そのような部分の間に、視聴者に特に関心がある映像内の顕著な特徴が少ないことがある。したがって、そのような視覚的に暗い部分は、リバッファリングイベントに不都合がないことがある。したがって、そのような部分をリバッファリング時点１０８として識別してもよい。
【００２８】
一部の例において、単一の時点、単一のタイムスタンプ又は単一のフレームの代わりに、リバッファリング時点が識別される映像アイテム２００内において、リバッファリング時間範囲２１０を識別してもよい。例えば、特定の時間範囲２１０が聴覚マーカ（ａｕｄｉｔｏｒｙ  ｍａｒｋｅｒ）に対応すると判断してもよく、聴覚マーカは、例えば、セリフの休止、雰囲気変化、沈黙、又は、同様な音のループ（ｌｏｏｐｉｎｇ）、時間の引き延ばし若しくは合成を促進する他の任意の音である。一部の例において、時間範囲２１０は、映像アイテム２００の視覚的に暗い部分のような視覚マーカ（ｖｉｓｕａｌ  ｍａｒｋｅｒ）に対応してもよい。そのような場合、時間範囲２１０内の任意の期間を、リバッファリングイベントに不都合がないものと考えてもよい。
【００２９】
一部の例において、所定のタイプのリバッファリング時点が他のものより好ましいことがある。例えば、可能である場合には、ショット変化の間ではなく場面変化の間にリバッファリングイベントのために休止するのが更に好ましい。同様に、セリフの休止の間はなく場面変化の間にリバッファリングイベントのために休止するのが更に好ましい。したがって、リバッファリング時点にランク値を割り当ててもよい。リバッファリング時点をリバッファリングイベントに対して用いるべきときを判断する論理は、緊急の（ｉｍｍｅｄｉａｔｅ）リバッファリング時点のランク値を考慮してもよい。例えば、リバッファリングイベントの必要が緊急である場合、視覚的に暗い部分又はセリフの休止に対応するリバッファリング時点のような低いランクのリバッファリング時点をリバッファリングイベントに対して用いてもよい。しかしながら、例えば、リバッファリングイベントの必要が緊急でない場合、場面変化のような高いランクのリバッファリング時点をリバッファリングイベントに対して用いてもよい。一部の実施の形態において、リバッファリングイベントは、暗い場面変化、すなわち、音声データの静寂を伴って場面が黒くなる又は黒へとフェードする場合のような所定のリバッファリング時点のデフォルトによって生じてもよい。バッファのデータ量が１０秒、３０秒又は１分のような所定のしきい値を超えない場合にリバッファリングを行ってもよい。そのような場合、リバッファリングを短時間で行ってもよい。例えば、リバッファリングを、１秒未満又は１／２秒未満で行ってもよい。ユーザ１１６が休止を認識しそうにないときにそのような休止を含めることによって、バッファを、基地局の間の切替時のようなネットワーク接続の低下（ｄｒｏｐ）の予測に拡張することができる。
【００３０】
リバッファリング時点の使用は、ビデオストリームを受信するクライアントコンピュータシステム１２０に関連する種々の状況に応じて変化してもよい。例えば、種々のネットワーク状態は、リバッファリング時点の使用に影響を及ぼすことがある。ストリーミング配信サーバプロバイダとクライアントコンピュータシステム１２０の間のネットワーク接続が特定の解像度のストリーミング配信の理想的な速度より遅い場合、クライアントコンピュータシステム１２０を、所望のしきい値より上でのバッファ利用を維持するために特定のリバッファリング時点で休止するように構成してもよい。例えば、クライアントコンピュータシステム１２０は、バッファ利用が所望のしきい値より下に低下しないことを保証するために各場面変化で数秒間又は１秒未満の間休止してもよい。一部の例において、ネットワークを介してクライアントコンピュータシステム１２０にコンテンツを配信することができる速度が低い場合、クライアントコンピュータシステムは、セリフの休止のような低いランクのリバッファリング時点においても休止してもよい。
【００３１】
一部の例において、各休止の長さは、映像アイテム２００のデータがクライアントコンピュータシステム１２０に配信される現在の速度に依存してもよい。一般的には、低い速度について、リバッファリング時点での長期間の休止を行うことによって対処してもよい。それに対し、高い速度について、リバッファリング時点での短期間の休止を行うことによって対処してもよい。そのような休止の長さを、ネットワーク接続がストリーミング配信の進行中に変化するときに動的に調整してもよい。例えば、ネットワーク状態が良くなる場合、そのような休止の長さを短縮してもよい。一部の例において、ネットワーク状態が十分に良くなる場合、所望のしきい値より上のバッファ利用を維持するために休止を必要としないと判断してもよい。それに対し、ネットワーク状態が悪くなる場合、更に長い休止をリバッファリング時点に適用してもよい。したがって、リバッファリングの現在の速度を、リバッファリングに用いられる時間の長さ及びリバッファリングが用いられるリバッファリング時点のタイプを決定する際に利用してもよい。
【００３２】
リバッファリングイベントに対する休止の長さは、特定のリバッファリング時点のランク又はタイプに応じて変化してもよい。例えば、場面変化に対応するリバッファリング時点のような高いランクのリバッファリング時点は、そのような時点が視聴経験に対して煩わしくならない（ｌｅｓｓ  ｉｎｔｒｕｓｉｖｅ）ように長い休止を有してもよい。それに対し、セリフの休止のような低いランクのリバッファリング時点は、そのような時点が視聴経験に対して若干煩わしくなってもよいように短い休止を有してもよい。例えば、特定の状態において、１秒の休止を場面変化の間に用いてもよく、それに対し、５００ミリ秒未満の休止をセリフの休止の間に用いてもよい。
【００３３】
図３Ａ〜３Ｄは、本開示の一部の実施の形態によるリバッファリングイベントに対する特定のリバッファリング時点３０６の使用を示す図である。一部の例において、バッファ利用３１０が所定のしきい値３０８より下に降下したときにリバッファリングイベントの休止を開始してもよい。バッファ利用３１０を、種々の方法で規定してもよい。一例において、バッファ利用３１０を、現在消費されていないバッファ内のデータの量によって規定してもよい。一部の例において、バッファ利用３１０を、バッファ内の映像アイテムの再生時間によって規定してもよい。例えば、バッファが１分間３２秒の再生時間に対して十分なデータを有する場合がある。
【００３４】
図３Ａ〜３Ｄは、映像アイテム２００の時系列を示す。ライン３０２は、視聴のために現在再生されている映像アイテム２００内の時点を表す。ライン３０４は、新たなデータを受信しないと仮定したときにバッファの消費される映像アイテム２００内の時点を表す。換言すれば、データがバッファに配信されない場合、映像アイテムは、ライン３０４で表される時点まで再生を継続する。したがって、ライン３０２とライン３０４の間の時間範囲は、バッファ利用３１０を表す。
【００３５】
図３Ａは、バッファ利用３１０が所定のしきい値より上であることを示す。したがって、映像アイテムの表示が通常通りに行われる。図３Ｂにおいて、映像アイテムが再生されると、バッファ利用３１０が所定のしきい値３０８を下回る。これは、バッファに配信されるデータの速度が表示装置１３２での表示のためにデータが処理される速度未満であるために生じる。したがって、バッファ利用３１０がリバッファリングイベントの必要がある時点まで低下すると推定されると判断してもよい。従来のストリーミング配信システムは、リバッファリングイベントが必要であると判断された時点又はバッファの全てのデータが処理された時点で休止することができる。しかしながら、ここで開示する原理によれば、予め決定された又は予め規定されたリバッファリング時点を、リバッファリングイベントが生じる時点として用いることができる。リバッファリングイベントが、煩わしくない映像アイテム２００の時点に対応するので、ユーザ１１６は、より良い経験を有することができる。
【００３６】
図３Ｃは、ライン３０２がリバッファリング時点３０６に到達したことを示す。このリバッファリング時点において、映像アイテム２００を、リバッファリングを許容するために休止してもよい。表示装置１３２における映像アイテム２００の表示を一時的に停止することができる。図３Ｄは、映像アイテム２００が休止された後及び映像アイテム２００を再開する前の時点を示す。図示したように、休止によって提供される追加の時間によって、更に多くのデータをバッファに追加することができ、したがって、バッファ利用３１０を、所定のしきい値３０８より十分上の時点に拡張する。一部の例において、リバッファリング時点３０６でのリバッファリングのための休止は、再開前にバッファ利用が予め決定されたサイズに到達することができるのに必要な期間としてもよい。一部の実施の形態において、リバッファリングの休止の継続時間を、次のリバッファリング時点によって決定してもよい。例えば、映像アイテム２００を、他のリバッファリング時点又は所定のタイプの他のリバッファリング時点がバッファリングされたデータに存在するようになるまでリバッファリングのために休止してもよい。また、所定の量の時間又はデータを、次のリバッファリングの後にリバッファリングパッド（ｒｅｂｕｆｆｅｒｉｎｇ  ｐａｄ）として追加してもよい。例えば、リバッファリングのための休止は、次に示すリバッファリング時点３０６に関連するデータがバッファに追加されるまで又は次に示すリバッファリング時点３０６に関連するデータが追加された後にしきい値の量の追加のデータが追加されるまで持続してもよい。
【００３７】
一部の例において、映像を表示するクライアントシステムは、特定のリバッファリング時点の各々でのバッファの現在の利用を見積もってもよい。特定のリバッファリング時点において、バッファ利用が特定のしきい値より下である場合、映像アイテムを、当該特定のリバッファリング時点で休止してもよい。追加的には、バッファの現在の利用は、特定のリバッファリング時点で映像アイテムが休止する期間を決定するのに役立つ。例えば、現在のバッファ利用がしきい値に近い場合、休止を比較的短くしてもよい。しかしながら、現在のしきい値利用がしきい値をはるかに下回る場合、休止を比較的長くしてもよい。バッファ利用がしきい値より上である場合、リバッファリング時点で映像アイテムを休止する必要がない。
【００３８】
図４Ａ及び図４Ｂは、特定のリバッファリング時点の識別を助けるために映像アイテムの一部の中のショット及びフレームに割り当てることができるメタデータを示すテーブルである。一部の例において、リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００のデータを分析するとともに映像アイテム２００の中の互いに異なるショット及びフレームを識別するためのハードウェア、ソフトウェア又は両方の組合せを有してもよい。例えば、リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００の中の互いに異なるショットの各々に対する又は映像アイテム２００の現在バッファリングされている部分の中の互いに異なるショットの各々に対する開始点及び停止点を、実現に応じて表してもよい。リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００内のフレームの選択も識別してもよい。リバッファリング時点識別モジュール１１０，１３０は、フレーム内の種々の特徴を検出するためにフレームの各々に関連する画像も分析してもよい。そのような特徴は、例えば、ショット又はフレームに出現する登場人物の顔である。そのような特徴に基づいて、リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００内で検出された様々なショット又は画像にメタデータを割り当ててもよい。そのようなメタデータを、映像アイテム２００内のリバッファリング時点及びこれらのリバッファリング時点に対するランク値を割り当てるのに用いてもよい。例えば、リバッファリングのための休止は、第１の役者が表示されている間が第２の役者が表示されている間より好ましい。
【００３９】
フレームは、連続する他のフレームと組み合わされることによって動画を生成するときの静止画に対応する。映像アイテム２００を形成するデータは、映像アイテム２００内の各フレームを描写してもよい。リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００内の複数のフレームを分析するとともにこれらのフレーム内で検出した特徴に基づいてこれらのフレームの各々にメタデータを割り当ててもよい。一連のフレームは、ショットを形成する。ショットは、一般的には、一つの連続的なカメラロールを有する映像の一部を表す。ショットは、一般的には、二つの編集又はカットの間の連続的なフィルム映像を表してもよい。リバッファリング時点識別モジュール１１０，１３０は、種々の方法でショットを検出してもよい。一例において、各フレーム内の特徴を、画像処理アルゴリズムを用いて分析する。そのような特徴は、フレームの彩色、フレームの輝度、又は、形状及びエッジのような機械が識別可能な特徴（ｍａｃｈｉｎｅ−ｉｄｅｎｔｉｆｉａｂｌｅ  ｆｅａｔｕｒｅｓ）を有してもよい。特定のフレームが前のフレームと十分に異なる場合、カットが生じたと判断してもよい。換言すれば、前のショットが終了するとともに新たなショットが開始される。リバッファリング時点識別モジュール１１０，１３０は、種々のショットを識別した後に、ショット内の互いに異なるフレームの特徴の間の相違を識別してもよい。これらの相違を、ショットを分類するとともに種々のメタデータをショットに割り当てるために用いてもよい。
【００４０】
リバッファリング時点識別モジュール１１０，１３０は、ショットカテゴリーを含むメタデータをショットに割り当てるために各ショットも分析する。これを、ショット内のフレームを表す機械可読データを分析することによって行ってもよい。一例において、リバッファリング時点識別モジュール１１０，１３０は、特定のショット内の少なくとも二つのフレームを選択する。リバッファリング時点識別モジュール１１０，１３０は、これらのフレーム内で見つけられた特徴を分析するとともにこれらの特徴の間の相違を識別する。例えば、あるフレームの種々の特徴の間の空間的な関係が他のフレームの種々の特徴の間の空間的な関係よりも大きい場合、ショットがズームアウトショットであると判断してもよい。例えば、あるフレームの特徴が登場人物の顔の特徴であると判断されるとともに他のフレームの特徴も登場人物の顔の特徴であると判断される場合、顔がフレームのしきい値の量より多くを占有するときにショットがクローズアップショットであると判断してもよい。例えば、あるフレームの特徴が特定の方法で他のフレームの特徴に対してシフトしたと判断される場合、ショットがエスタブリッシングショットであると判断してもよい。他のタイプのショットも考えられる。一部の例において、リバッファリング時点が存在するショットのタイプは、リバッファリング時点のランク値に影響を及ぼすことがある。例えば、エスタブリッシングショットの間の休止がクローズアップショットの間の休止より不都合がないことがある。
【００４１】
リバッファリング時点識別モジュール１１０，１３０は、映像アイテム２００内のフレームの選択数も分析してもよい。映像アイテム２００内のフレームを分析することは、映像アイテム２００を表す機械可読データを調べることを含んでもよい。一部の例において、映像アイテムの単一のフレームをそれぞれ分析してもよい。しかしながら、一部の例において、Ｘ個ごとのフレームを分析してもよい。一部の例において、Ｘは、約５〜６０の範囲内であってもよい。Ｘの他の値も考えられる。リバッファリング時点識別モジュール１１０，１３０は、分析したフレームのそれぞれにメタデータを割り当ててもよい。
【００４２】
図４Ａは、フレームメタデータとも称される特定のフレームのメタデータを有する例示的なテーブル４００を示す。メタデータは、フレームの視覚特性４０１、フレームの構造特性４０３及びフレームの時間特性４０５を有してもよい。視覚特性４０１は、輝度４０２、鮮鋭度（ｓｈａｒｐｎｅｓｓ）４０６及びコントラスト４０６を有する。他の視覚特性は、フレームの色組成（ｃｏｌｏｒ  ｃｏｍｐｏｓｉｔｉｏｎ）又は色温度を有してもよい。構造特性４０３は、フレームの顔（ｆｒａｍｅ  ｆａｃｅｓ）４０８及びフレームの突出（ｆｒａｍｅ  ｓａｌｉｅｎｃｙ）４１０を有する。時間特性４０５は、フレームの動き（ｆｒａｍｅ  ｍｏｔｉｏｎ）４１２及びフレームの向き（ｆｒａｍｅ  ｄｉｒｅｃｔｉｏｎ）４１４を有する。
【００４３】
リバッファリング時点識別モジュール１１０，１３０は、フレーム内の各画素に関連する平均輝度値に基づいて輝度値４０２をフレームに割り当ててもよい。具体的には、リバッファリング時点識別モジュール１１０，１３０は、フレームを表すデータを調べてもよい。そのデータは、フレーム内の各画素の明度（ｃｏｌｏｒ  ｖａｌｕｅ）を規定してもよい。例えば、画素のデータを、ＹＣｂＣｒとしても知られているＹＵＶ色空間で表す場合、Ｙ値は、画素輝度を表す。例えば、画素のデータをＲＧＢ色空間で表す場合、特定の画素の輝度を、画素の平均明度で規定してもよい（例えば、Ｂｒ＝（Ｒ＋Ｇ＋Ｂ）／３。この場合、Ｂｒは輝度であり、Ｒは赤色の明度であり、Ｇは緑色の明度であり、Ｂは青色の明度である。）。輝度値を決定する他の方法も考えられる。
【００４４】
リバッファリング時点識別モジュール１１０，１３０は、フレームを規定するデータの分析に基づいて鮮鋭度の値４０４及びコントラスト値４０６をフレームに割り当ててよい。例えば、リバッファリング時点識別モジュール１１０，１３０は、フレームの鮮鋭度の値及びコントラスト値を決定するために関数を適用してもよい。先鋭度とも称される鮮鋭度は、どれだけ強く画像のコントラストを感じられるかの尺度である。コントラストは、画像内の色差を意味する。フレームを表すデータに基づいて鮮鋭度の値及びコントラスト値を決定する種々の方法を用いてもよい。
【００４５】
リバッファリング時点識別モジュール１１０，１３０は、ショットに出現する顔４０８を識別してもよい。例えば、顔４０８を、一つ以上の顔を有するフレーム内の特徴の分析に基づいて決定してもよい。種々の顔認識機能を、顔の存在を識別した後にデータに表される実際の顔を識別するために適用してもよい。一例として、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズムは、顔を検出するための一つの好ましい選択である。フレーム内の種々の登場人物の顔にポピュラリティ値（ｐｏｐｕｌａｒｉｔｙ  ｖａｌｕｅ）を割り当ててもよい。このポピュラリティ値を種々の方法で取得してもよい。一例において、ポピュラリティ値は、登場人物が映像アイテム内に出現する時間の割合に基づく。一例において、登場人物のポピュラリティを決定するために外因（ｅｘｔｅｒｎａｌ  ｓｏｕｒｃｅ）を用いてもよい。例えば、ポピュラリティ値をヒューマンユーザ（ｈｕｍａｎ  ｕｓｅｒ）によって予め規定してもよい。一部の例において、ポピュラリティ値を特定の登場人物に割り当てるために、ウェブサイト及びソーシャルメディアのような公になっている情報の分析を適用してもよい。特定のショット内又は場面内の登場人物のポピュラリティは、ショット内又は場面内のリバッファリング時点のランク値に影響を及ぼすこともある。例えば、人気がある登場人物又は役者を示す間にリバッファリングのための休止を行うのが好ましいことがある。
【００４６】
リバッファリング時点識別モジュール１１０，１３０は、突出のデータをフレームに割り当ててもよい。突出は、例えば、突出マップを有してもよい。突出マップは画像の一部の特異性（ｕｎｉｑｕｅｎｅｓｓ）を識別する。例えば、画像の一部（例えば、画素又は互いに隣接する画素のセット）の色の特異性を、値を用いて識別してもよい。突出マップは、画像内の注目の人又は物に割り当てられた突出の値も有してもよい。例えば、突出の値は、物又は人が配置されている背景に対して人又は物がどの程度突出しているかを識別してもよい。
【００４７】
リバッファリング時点識別モジュール１１０，１３０は、フレームの時間特性も判断してもよい。例えば、フレーム及び隣接するフレームを表すデータを分析することによって、注目の特定の物又は人が特定の速度で画像の他の物又は背景に対する向きに動いていると判断することができる。この情報を、フレームの動きの値４１２及びフレームの向きの値４１４を割り当てるために判断することができる。
【００４８】
フレームの動きの値４１２及びフレームの向きの値４１４を、特定のリバッファリング時点を判断するのに用いてもよい。例えば、特定のフレームの映像アイテム内に多数の動きがある場合、これは、多くの動作が場面の間に生じていることを表してもよい。したがって、当該フレームでリバッファリングイベントが生じると不都合となることがある。しかしながら、動きが少ない場合、当該フレームを、リバッファリングイベントに不都合でないフレームとしてもよい。したがって、予め決定された動きの値のしきい値未満のフレームの動きの値４１２を有するフレームを、特定のリバッファリング時点と識別してもよい。一部の例において、小さい動きの値を有するフレームは、ショット変化又は場面変化に対応するフレームより小さいランク値を有してもよい。
【００４９】
リバッファリング時点識別モジュール１１０，１３０は、フレームに対するリバッファリング時点ランク値４１６も判断してもよい。リバッファリング時点のランク値は、ショット内又は場面内のフレーム又はフレームの位置に関連する種々の要因に基づいてもよい。例えば、ランク値は、０〜１００の範囲であってもよく、０は、リバッファリング時点の悪い選択であり、１００は、リバッファリング時点の理想的な選択である。したがって、セリフ内に配置されるとともに重要な登場人物の話を表現するフレームは、０のリバッファリング時点ランク値を有してもよく、場面の最後のフェードアウト又は場面の最初のフェードインに対応するフレームは、１００に近いリバッファリング時点ランク値を有してもよい。追加的には、ショットの最後又は最初に配置されるフレームは、例えば、７５に近いリバッファリング時点ランク値を有してもよい。リバッファリング時点ランク値４１６は、フレームの他の特性４０１，４０３，４０５及びここで説明する他の考察によって影響が及ぼされることがある。サーバコンピュータシステム１０２を実行するリバッファリング時点識別モジュール１１０が特性４０１，４０３及び４０５を判断する一部の実施の形態において、クライアントコンピュータシステム１２０は、このメタデータを利用し、リバッファリング時点ランク値４１６を含む追加のメタデータを生成してもよい。
【００５０】
図４Ｂは、ショットメタデータとも称される特定のショットのメタデータを有する例示的なテーブル４２０を示す。本例によれば、メタデータは、ショットカテゴリー４２２、視覚特性４２４、構造特性４２６及び時間特性４２８を有する。
【００５１】
ショットカテゴリー４２２は、ショットのタイプを識別する。例えば、ショットカテゴリーは、クローズアップショット、エスタブリッシングショット、ズームアウトショット又はテレビ産業及び映画産業で利用される他のカテゴリーのショットを有してもよいが、それに限定されない。他のタイプのショットカテゴリーも規定してもよい。上述したように、ショットカテゴリーを、ショット内の少なくとも二つの互いに異なるフレームの間の特徴の相違に基づいて規定してもよい。
【００５２】
視覚特性データ４２４は、輝度、鮮鋭度及びコントラストのような情報を有してもよい。これらをショットの平均値で表してもよい。例えば、種々の視覚特性の値を判断するために、ショットからのフレームのサンプルを分析するとともに平均化してもよい。構造特性データ４２６は、どの登場人物がショット内に出現するかのようなショットの構造的な特徴を有してもよい。時間特性データ４２８は、ショットが動く又はショットの識別された物が動く向きを有してもよい。時間特性データ４２８は、注目する物が背景に対して動く向きも表してもよい。リバッファリング時点を識別するのに役立つ情報の他の部分をショットメタデータに含めてもよい。
【００５３】
図５は、クローズアップショットを表す特徴の検出を示す図である。図５は、二つの互いに異なるフレームの画像を示す。本例において、第１のフレーム５０２は、ショット内の先のフレームに対応し、第２のフレーム５０４は、ショット内の後のフレームに対応する。各フレーム５０２，５０４内の所定の特徴を識別するためにフレーム５０２，５０４を分析する。一部の例において、特徴を主特徴（ｐｒｉｍａｒｙ  ｆｅａｔｕｒｅ）及び副特徴（ｓｅｃｏｎｄａｒｙ  ｆｅａｔｕｒｅ）と識別してもよい。本例において、フレーム５０２，５０４は、ショット内に出現する一人の登場人物の顔である主特徴５０６ａ，５０６ｂを有する。追加的には、フレーム５０２，５０４は、登場人物の服の一部（本例では、登場人物のネクタイ）のような副特徴５０８ａ，５０８ｂを有する。
【００５４】
一部の例において、主特徴及び副特徴を識別するために種々の機能を適用してもよい。一般的には、登場人物の顔は、主特徴と指定される。背景の残りに対して目に付く他の物が副特徴と指定される。ショット内に顔がない場合、主特徴を識別するために他のメカニズムを用いることができる。例えば、最も目に付く物を主特徴と指定してもよい。代替的には、主特徴が識別されずに副特徴のみが識別されることがある。一部の例において、主特徴と副特徴の間の区別がないことがある。
【００５５】
ショットカテゴリーを、二つのフレームの間の特徴を比較することによって割り当ててもよい。図５において、第１のフレーム５０２からの主特徴５０６ａと第２のフレーム５０４からの対応する主特徴５０６ｂの比較は、主特徴５０６のサイズ及び位置の相違がほとんどないことを示す。特徴の間のトレースラインは略平行及び略垂直である。これは、第１のフレーム５０２と第２のフレーム５０４の間の動きがほとんどないことを示す。代替的には、第１のフレーム５０２からの副特徴５０８ａと第２のフレーム５０４からの副特徴５０８ｂの間の比較は、副特徴５０８の位置の相違がほとんどないことを示す。追加的には、主特徴５０６は、フレーム内の所定の量の空間を占有する。例えば、主特徴５０６は、フレーム全体の対応する寸法の１／３より大きい少なくとも一つの寸法を有する全体の寸法を有してもよい。例えば、主特徴５０６ａ，５０６ｂと識別される顔は、フレームの全体の高さの１／３より大きい高さを有する。１／３のしきい値は例として設けられ、他の値又は割合を他の実施の形態で用いてもよい。この情報に基づいて、ショットがクローズアップショットであると判断してもよい。したがって、ショットを、それに応じてカテゴリー化してもよい。
【００５６】
図６は、エスタブリッシングショットを表す特徴の検出を示す図である。図６は、二つの互いに異なるフレーム６０２，６０４の画像を示す。フレーム内で検出される主特徴６０６ａ，６０６ｂは、人々であり、フレーム６０２，６０４内で検出される副特徴６０８ａ，６０８ｂは、景色を有する。ショットカテゴリーを、二つのフレーム６０２，６０４の間の特徴を比較することによって割り当ててもよい。第１のフレームの主特徴６０６ａと副特徴６０８ａの間の関係と、第２のフレーム６０４の主特徴６０６ｂと副特徴６０８ｂの間の関係との比較は、二つの変化の間の距離及び識別特徴の変化の相対寸法（例えば、高さ）を示すが、他の寸法（例えば、幅）は変化しない又はほとんど変化しない。これは、ショットが識別特徴に対するカメラの垂直の動きを有することを示すことがある。換言すれば、フレーム内の対応する点の間のトレースラインが完全に垂直ではなく僅かに傾いている。ラインの比較的緩やかな勾配は、二つのフレーム５０２，５０４の間の動きがある間に急激な又は迅速な動きがないことを表す。追加的には、主特徴６０６ａは、画像に対して比較的少ない量の空間を占有する。この情報に基づいて、ショットがエスタブリッシングショットであると判断してもよい。したがって、ショットを、それに応じてカテゴリー化してもよい。
【００５７】
図７は、ズームアウトショットを表す特徴の検出を示す図である。図７は、二つの互いに異なるフレーム７０２，７０４の画像を示す。フレーム内で検出される特徴７０６ａ，７０６ｂは、登場人物が見ている物を有する。ショットカテゴリーを、二つのフレーム７０２，７０４の間の特徴を比較することによって割り当ててもよい。第１のフレームの特徴７０６ａの相対寸法と第２のフレーム７０４の特徴７０６ｂの相対寸法との比較は、相対寸法の変化を示す。具体的には、第２のフレーム７０４内の特徴７０６ｂは、第１のフレーム７０２の対応する特徴７０６ａより小さい。対応する点の間のトレースラインの収束する性質は、第２のフレーム７０４の特徴が第１のフレーム７０２の対応する特徴より小さいことを示す。この情報に基づいて、ショットがズームアウトであると判断してもよい。したがって、ショットを、それに応じてカテゴリー化してもよい。第２のフレーム７０４内の特徴７０６ｂが第１のフレーム７０２の対応する特徴７０６ａより大きかった場合、ショットがズームインであると判断してもよい。
【００５８】
図５〜７は、ショットカテゴリーをそのようなショットに割り当てるためにショット内の特徴を検出する幾つかの例を示す。他のタイプのショットも検出してもよい。追加的には、種々のタイプのショットを識別する他のタイプの機能を、ここで説明するリバッファリング時点識別モジュールの一部の実施の形態で用いてもよい。
【００５９】
図８は、特定のリバッファリング時点の映像アイテムを休止する例示的な方法を示すフローチャートである。方法８００は、複数の列挙したステップ又は動作を有する。方法８００の実施の形態は、列挙したステップの前に追加のステップを有してもよい、列挙したステップの後に追加のステップを有してもよい、列挙したステップの間に追加のステップを有してもよい、又は、列挙したステップの一部として追加のステップを有してもよい。一部の実施の形態は、列挙した動作の一つ以上を省略してもよい。追加的には、方法８００の一部の実施の形態は、上述した動作の一部又は全てをプロセッサに実行させる命令を記憶した非一時的な機械可読媒体を有する。本例によれば、方法８００は、ストリーミング映像アイテムをバッファ内に受け入れる又はストリーミング映像アイテムを有するデータを読み出す動作８０２を有する。映像アイテムは、例えば、ノーカットの映画又は連続番組の１話であってもよい。映像アイテムの他の例も考えられる。映像アイテムをストリームとして配信してもよい。換言すれば、映像アイテムは、データがサーバ装置からクライアント装置に転送される間にクライアント装置によって表示される。したがって、映像アイテムは、映像アイテムがクライアント装置に完全にダウンロードされる前に表示を開始することができる。
【００６０】
方法８００は、映像アイテムをバッファから表示装置に出力する動作８０４を更に有する。表示装置は、例えば、スクリーンのような視覚に関する出力装置と、スピーカのセット又はその接続部のような音声出力装置とを有してもよい。バッファから表示装置に映像アイテムを出力することによって、バッファ内のデータを消費する。そのようにしてストリーミング配信する映像アイテムを見るとき、映像アイテムを表すデータは、リモートサーバからローカルバッファに受け入れられる。従来、バッファ内のそのようなデータが、追加のデータを配信できるようになる前に消費される場合、映像アイテムは、リバッファリングできるようにするために休止する必要がある。そのようなリバッファリングイベントは、描写されるコンテンツの態様を考慮せず、視聴者の経験の質を減少させることがある。
【００６１】
方法８００は、予め決定された期間内に特定のリバッファリング時点が存在すると判断する動作８０６を更に有する。特定のリバッファリング時点は、休止に不都合がない映像アイテム内の場面変化、ショット変化又は他の時点に対応する。リバッファリング時点を、映像アイテムがストリーミング配信される前に識別してもよい又はデータがバッファに入れられるときにクライアントコンピュータシステムによって識別してもよい。予め決定されたタイムフレームは、現在バッファ内にあるデータに対応してもよい。具体的には、予め決定されたタイムフレームは、映像が現在存在する時点とバッファが完全に消費される時点の間に延在してもよい。一部の例において、バッファ内の消費されていないデータに特定のリバッファリング時点が存在しないことがある。しかしながら、バッファが完全に消費される前に又はリバッファリングイベントが引き起こされる前にリバッファリング時点が出現する場合がある。方法８００の実施の形態は、バッファ利用が予め決定されたしきい値を下回るという判断に応答して複数のあり得るリバッファリング時点の中から特定のリバッファリング時点を選択する動作を有してもよい。バッファのデータ量が予め決定されたデータ値より下であるとき又は予め決定された時間内に予め決定されたしきい値より下になると予測される速度でバッファのデータ量が減少するとき、データ利用が予め決定されたしきい値を下回ると判断してもよい。したがって、判断を、実際の判断又は予測判断としてもよい。追加的には、方法８００の一部の実施の形態は、リバッファリングの休止が必要であるか否かを判断するためにバッファ充填のレバー（ｌｅｖｅｒ）又はバッファに割り当てられる記憶の割合を判断するためのバッファを見積もる動作を有してもよい。一部の実施の形態において、バッファの充填の見積もりを、リバッファリングを休止する期間又は休止を止めるべきときを判断するために用いてもよい。
【００６２】
方法８００は、予め決定されたタイムフレーム内に特定のリバッファリング時点が存在すること及びバッファが完全に空になるのを回避するためにリバッファリングを行うことの判断に応答して、特定のリバッファリング時点で映像アイテムを休止する動作８０８を更に有する。バッファのデータ量によってのみ判断される不規則な時点の代わりに特定のリバッファリング時点で映像アイテムを休止することによって、リバッファリングイベントの不都合を減らす。したがって、視聴者は、ストリーミング配信されるコンテンツを視聴する間に良い経験が提供される。場合によっては、リバッファリングを、視聴者がリバッファリングのための休止を認識することなく行うことができる。したがって、リバッファリングイベントの従来の実現が、一般的には、リバッファリングが行われていることを知らせる（例えば、糸車がフレームに出現する。）ためにユーザに示される場面の調整を有するのに対し、本開示の一部の実施の形態は、リバッファリングイベントが生じていることをユーザに示さなくてもよい。リバッファリングが、識別された適切なときに行われるので、リバッファリングがユーザに気付かれにくくなる。例えば、識別されたフェードアウトのときにブラックフレームを示す１秒を追加することは、リバッファリングではなく映像アイテムの長い遷移としてユーザに認識される。
【００６３】
追加的には、クライアントコンピュータシステム１２０の一部の実施の形態は、バッファに存在する映像及び／又は音声コンテンツを引き延ばすことによって映像アイテムの再生を「休止」してもよい。クライアントコンピュータシステム１２０は、時間を増やすために映像の所定の部分が引き延ばされるように映像及び音声情報を補間してもよい。例えば、バッファ１２４は、処理によって５秒の映像にすることができるデータを有してもよい。このデータの一部又は全てを、追加のフレームを追加することによって又は５秒ではなく６秒の間データを示すためにフレームを更に長い期間表示することによって「引き延ばす」ことができる。それに応じて、音声を、ピッチを変えない方法で引き延ばしてもよい。一部の実施の形態において、同様な音声コンテンツを合成するようにスペクトルプロファイルを生成するために、バッファ音声の関連の部分のフーリエスペクトルを用いてもよい。例えば、エスタブリッシングショットを示す間の２秒のリバッファリングを生じさせることができるようにするために、媒体アイテムで識別されるエスタブリッシングショットを１０秒から１２秒に引き延ばしてもよい。クライアントコンピュータシステム１２０は、ショットに関連するリバッファリング時点を示すタグを有するメタデータによってエスタブリッシングショットを識別してもよい。したがって、クライアントコンピュータシステム１２０は、リバッファリングのために用いられるリバッファリング時点のタイプに基づくリバッファリング応答を提供してもよい。
【００６４】
一部の実施の形態において、リバッファリング時点を選択した後、クライアントコンピュータシステム１２０は、表示装置１３２によってまだ表示されていないデータにフェードアウトを適用してもよい。フェードアウトを、バッファリングされたデータに含まれる映像及び／又は音声に設けてもよい。一部の実施の形態において、リバッファリングが著しい時間（例えば、３秒より長い時間、５秒より長い時間又は１０秒より長い時間）を要しないとき、予め決定された音声コンテンツを提供してもよい。同様に、映像アイテムのタイトルを示すフレーム又は映像アイテムのチャプター又は一区切りに関連するフレームのような予め決定された映像コンテンツを提供してもよい。予め決定された音声コンテンツを提供するとき、コンテンツを、ループ（ｌｏｏｐｉｎｇ）のために設計してもよい又は映像アイテムのサウンドトラックのように映像アイテムそれ自体から取得してもよい。そのような手法は、リバッファリング期間を延ばす間に良いユーザ経験を提供することができる、又は、そのような手法を、方法８００の実施の形態に含めることができる。
【００６５】
一部の例において、リバッファリングの休止が所定のしきい値を超える場合、コンテンツの元の部分の表示を行うように処理するのに十分なデータをバッファが受信するまで視聴者に暫定的な表示を提供してもよい。暫定的な表示を、例えば、休止を開始する前のコンテンツの少なくとも１０〜１５秒の部分としてもよい。一部の例において、暫定的なコンテンツを、映像の再生を開始する直前に視聴者が１０〜１５秒見るように処理するのに十分な量のデータを受信した後に再生してもよい。一部の例において、そのようなリキャップ（ｒｅｃａｐ）を示したことを視聴者に知らせてもよい。
【００６６】
一部の例において、種々の実験を用いて収集されたデータの分析を用いることによってランク値をある程度判断してもよい。例えば、シミュレートされた割り込まれた映像ストリームを被験者に示すとともに各々のよさ（ｇｏｏｄｎｅｓｓ）／質をランク付けするように被験者に依頼する自覚的な視覚に関する経験が行われてもよい。その後、被験者のスコアを、上述した原理と共に用いてもよい。一部の例において、サポートベクターマシン、ニューラルネットワーク等のような機械学習モデルを用いてもよい。そのようなモデルを、どのようにしてランク値を最善の方法で割り当てるかシステムをトレーニングするのに用いることができる。この場合、データの追加の収集を受信すると、リバッファリング時点及び関連のランク値を再計算することができる。
【００６７】
ここで説明する処理システムの一部の例は、一つ以上のプロセッサによって実行するときに上述したような方法８００の動作を一つ以上のプロセッサによって実行させることができる実行コードを有する非一時な有形の機械可読媒体を有してもよい。方法８００の動作を有する機械可読媒体の一部の一般的な形態は、例えば、フロッピーディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、穿孔カード、穿孔テープ、孔のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他の任意のメモリチップ若しくはメモリカートリッジ、及び／又は、プロセッサ若しくはコンピュータが読み出すのに適した他の任意の媒体である。
【００６８】
本開示の実施の形態は、リバッファリングイベントの配置を最適化することによってストリーミング配信メディア環境で利用されるサーバシステム及びクライアントシステムを改良することができる。最適化された配置を、ストリーミング配信されるデータ、ストリーミング配信されるデータのコンテンツ及びクライアント装置によって経験されるネットワーク状態に基づいて決定してもよい。最適化された配置によって、これらのコンピュータシステムを、更に良いユーザ経験を提供するように改善することができる。
【００６９】
例示的な実施の形態を示すとともに説明したが、広範囲の変更、変形及び置換が、上述した開示において考えられ、場合によっては、実施の形態の一部の特徴を、他の特徴の対応する使用を行うことなく用いることができる。当業者は、多数の変化、変更及び変形を認識するであろう。特許請求の範囲は、広く解釈するとともにここに開示した実施の形態の範囲に対応するように解釈すべきである。したがって、本開示の所定の対応を、以下の番号を付した節に示す。
【００７０】
１．コンピュータシステムによって、映像アイテムを表すデータをバッファに受け入れることと、コンピュータシステムによって、映像アイテムをバッファから表示装置に出力することと、コンピュータシステムによって、バッファの利用が予め決定されたしきい値より下であると判断することと、バッファの利用が予め決定されたしきい値より下であるという判断に応答して、コンピュータシステムによって、予め決定されたタイムフレーム内に特定のリバッファリング時点が存在すると判断することと、予め決定されたタイムフレーム内に特定のリバッファリング時点が存在するという判断に応答して、コンピュータシステムによって、特定のリバッファリング時点の映像アイテムを休止することと、を備える方法。
【００７１】
２．映像アイテムがバッファによって受信される速度に基づく予め決定された時間の後に映像アイテムを再開することを更に備える項１に記載の方法。
【００７２】
３．特定のリバッファリング時点は、ショット変化と場面変化のうちの一つに対応する項１〜２のいずれか一項に記載の方法。
【００７３】
４．特定のリバッファリング時点は、フレームの動きの値が予め決定された動きの値のしきい値より下である時点に対応する項１〜３のいずれか一項に記載の方法。
【００７４】
５．特定のリバッファリング時点は、視覚特性を表す値が予め規定された視覚特定のしきい値より下である時点に対応する項１〜４のいずれか一項に記載の方法。
【００７５】
６．特定のリバッファリング時点は、映像アイテム内のセリフの休止である項１〜５のいずれか一項に記載の方法。
【００７６】
７．特定のリバッファリング時点は、映像アイテム内の複数のあり得るリバッファリング時点の中から選択され、複数のあり得るリバッファリング時点は、割り当てられる種々のランク値である種々のタイプを有する項１〜６のいずれか一項に記載の方法。
【００７７】
８．映像アイテムの休止は、特定のリバッファリング時点が特定のランクより上である場合のみ生じる項７に記載の方法。
【００７８】
９．特定のリバッファリング時点は、映像アイテムがコンピュータシステムにストリーミング配信される前に映像アイテム内で識別される項１〜８のいずれか一項に記載の方法。
【００７９】
１０．特定のリバッファリング時点は、特定のリバッファリング時点が配置された映像アイテムの部分がバッファ内に配置されている間にコンピュータシステムによって識別される項１〜９のいずれか一項に記載の方法。
【００８０】
１１．コンピュータシステムによって、映像アイテムを表す第１のデータ及び映像アイテムの特定のリバッファリング時点のセットを表す第２のデータをバッファに受け入れることと、コンピュータシステムによって、映像アイテムを表す第１のデータをバッファから表示装置に出力することと、第１のデータを受け入れる速度が第１のデータをバッファから表示装置に出力する速度よりしきい値の量だけ低いと判断することと、第１のデータを受け入れる速度が第１のデータをバッファから表示装置に出力する速度よりしきい値の量だけ低いという判断に応答して、特定のリバッファリング時点のセットの一つでメディアストリームを休止することと、を備える方法。
【００８１】
１２．特定のリバッファリング時点のセットは、ショット変化、場面変化、予め規定された視覚特定を有する場面及びセリフの休止を有する項１１に記載の方法。
【００８２】
１３．種々のタイプのリバッファリング時点に種々のランキングを割り当てる項１２に記載の方法。
【００８３】
１４．特定のリバッファリング時点のセットの一つを、第１のデータを受け取る速度と第１のデータをバッファから表示装置に出力する速度との差に基づいて選択する項１３に記載の方法。
【００８４】
１５．選択されるリバッファリング時点を選択した受け入れることができるリバッファリング時点のサブセットは、差が増大するときの追加のタイプのリバッファリング時点を有する項１４に記載の方法。
【００８５】
１６．リバッファリング時点のセットの複数のリバッファリング時点でメディアストリームを休止することを更に備え、複数の選択したリバッファリング時点の各々の休止は、リバッファリング時点に割り当てられたランク値に基づく種々の期間に対する項１３〜１５のいずれか一項に記載の方法。
【００８６】
１７．映像アイテムを休止する期間は、バッファが予め決定されたしきい値より下であるときの予測に基づく請求項１１〜１６のいずれか一項に記載の方法。
【００８７】
１８．ストリーミング配信されるメディアの再生の際にリバッファリングイベントの配置を最適化する方法であって、サーバコンピュータシステムによって、ストリーミング配信される映像アイテムを受信することと、ストリーミング配信される映像アイテムの複数の特定のリバッファリング時点を識別するために画像処理を行うことと、識別した複数の特定のリバッファリング時点を特徴付ける情報をメモリに格納することと、識別した複数の特定のリバッファリング時点を特徴付ける情報を、ネットワークを介してクライアントコンピュータシステムに送信することと、を備える方法。
【００８８】
１９．識別した複数の特定のリバッファリング時点を特徴付ける情報は、タイムスタンプと、特定のリバッファリング時点に関連するフレーム番号と、特定のリバッファリング時点の各々に関連するリバッファリング時点タイプを表すタグとのうちの少なくとも一つを有する項１８に記載の方法。
【００８９】
２０．ストリーミング配信される映像アイテムをクライアントコンピュータシステムに送信することを更に備え、ストリーミング配信される映像アイテムを送信することは、識別した複数の特定のリバッファリング時点を特徴付ける情報を送信することに関連して行われる項１８に記載の方法。
【図１】
2020522193.tif 000003
【図２】
2020522193.tif 000004
【図３Ａ】
2020522193.tif 000005
【図３Ｂ】
2020522193.tif 000006
【図３Ｃ】
2020522193.tif 000007
【図３Ｄ】
2020522193.tif 000008
【図４Ａ】
2020522193.tif 000009
【図４Ｂ】
2020522193.tif 000010
【図５】
2020522193.tif 000011
【図６】
2020522193.tif 000012
【図７】
2020522193.tif 000013
【図８】
2020522193.tif 000014
【国際調査報告】
2020522193.tif 000015
2020522193.tif 000016