(57)【要約】  ビデオストリームまたは画像をエンコーディングするエンコーダが、ここに記載される。エンコーダは、入力ビデオストリームを受信し、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングし得るところのエンコーディングされたビデオストリームを出力する。エンコーダは、１組のパラメータを用いて最初にシーンの境界を認識し、シーンの境界間のフレームをエンコーディングする。少なくとも２つの異なるシーンシークエンスのために、異なる組のパラメータが使用され、適応性のある、シーンに基づくエンコーディングを提供する。【選択図】  図２
2014511138.tif 000002
【特許請求の範囲】
【請求項１】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用される予め規定された複数のエンコーダパラメータの１またはそれ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングする方法であって、
入力ビデオストリームを受信することと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割し、各シーンは、複数の一時的に隣接した画像フレームを備え、ここにおいて、前記入力ビデオストリームにおける一時的に隣接した２つの画像フレームの関連性に従って、与えられたシーン境界が決定されることと、
前記複数のシーンのそれぞれのためのシーンタイプを決定することと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングすることとを備えた、ビデオストリームをエンコーディングする方法。
【請求項２】
各シーンタイプは、１またはそれ以上の基準に基づいて決定され、
該１またはそれ以上の基準は、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置と、
前記与えられたシーンの長さと、
前記与えられたシーンの前のシーンからの効率的な差と
前記与えられたシーンのスペクトルデータサイズと、
前記与えられたシーンにおける光学特性認識と、
前記与えられたシーンのスクリーンプレイ構造情報とを含む、請求項１に記載のビデオストリームをエンコーディングする方法。
【請求項３】
前記シーンタイプの決定が、さらに、顔認識を利用することを備えた、請求項１に記載のビデオストリームをエンコーディングする方法。
【請求項４】
前記スクリーンプレイ構造情報が、相対的なアテンションパラメータを含み、
ここにおいて、前記相対的なアテンションパラメータは、与えられたシーンを備えた前記入力ビデオストリームのセグメントのために期待される視覚アテンションの相対的な量の所定の予測に近づける、請求項２に記載のビデオストリームをエンコーディングする方法。
【請求項５】
前記スクリーンプレイ構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１またはそれ以上を含む、請求項２に記載のビデオストリームをエンコーディングする方法。
【請求項６】
与えられたシーンタイプが、
高速動き、
静止、
トーキングヘッド、
文字、
ほとんど黒色の画像、
短いシーン、
スクロールクレジット、
タイトルシーン、
雑多、または、
デフォルト
の１またはそれ以上を含む、請求項２に記載のビデオストリームをエンコーディングする方法。
【請求項７】
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが一時的に前記第２の画像フレームに隣接すると決定することをさらに備えた、請求項１に記載のビデオストリームをエンコーディングする方法。
【請求項８】
前記入力ビデオストリームにおける一時的に隣接する２つの画像フレームの関連性を決定することが、
各画像フレームの１またはそれ以上の高周波数成分を測定すること、
各画像フレームの１またはそれ以上の高周波数成分を除去すること、
前記画像フレームを解析して、一時的に隣接する画像フレーム間の差を決定し、ここにおいて、前記差に基づいてスコアが計算されること、及び、
前記スコアが前もって設定された限界を超えるとき、前記画像フレーム間の非関連性の程度を識別し、ここにおいて、前記前もって設定された限界は、シーン変化が生じるところの閾値であること
を備えた、請求項１に記載のビデオストリームをエンコーディングする方法。
【請求項９】
前記差が、再帰フィルタまたは適応性のあるフィルタによって探知される、請求項８に記載のビデオストリームをエンコーディングする方法。
【請求項１０】
前記所定のエンコーダパラメータが、
動き予測範囲探索、
非ブロック化量因子、
量子化、または、
参照フレーム番号
のいずれか１つまたはそれ以上を含む、請求項１に記載のビデオストリームをエンコーディングする方法。
【請求項１１】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用される予め規定された複数のエンコーダパラメータの１またはそれ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングする方法であって、
入力ビデオストリームを受信することと、
シーン移行が生じる前記ビデオストリームにおける位置を示すシーン境界情報を受信し、ここにおいて、前記入力ビデオストリームにおける一時的に隣接した２つの画像フレームの関連性に従って、シーン移行が決定されることと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割し、各シーンは、複数の一時的に隣接した画像フレームを備ることと、
前記複数のシーンのそれぞれのためのシーンタイプを決定することと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングすることとを備えた、ビデオストリームをエンコーディングする方法。
【請求項１２】
各シーンタイプは、１またはそれ以上の基準に基づいて決定され、
該１またはそれ以上の基準は、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置と、
前記与えられたシーンの長さと、
前記与えられたシーンの前のシーンからの効率的な差と
前記与えられたシーンのスペクトルデータサイズと、
前記与えられたシーンにおける光学特性認識と、
前記与えられたシーンのスクリーンプレイ構造情報とを含む、請求項１１に記載のビデオストリームをエンコーディングする方法。
【請求項１３】
前記スクリーンプレイ構造情報が、相対的なアテンションパラメータを含み、
ここにおいて、前記相対的なアテンションパラメータは、前記与えられたシーンを備えた前記入力ビデオストリームのセグメントのために期待される視覚アテンションの相対的な量の所定の予測に近づける、請求項１２に記載のビデオストリームをエンコーディングする方法。
【請求項１４】
前記スクリーンプレイ構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１またはそれ以上を含む、請求項１２に記載のビデオストリームをエンコーディングする方法。
【請求項１５】
前記シーンタイプの決定が、さらに、顔認識を利用することを備えた、請求項１２に記載のビデオストリームをエンコーディングする方法。
【請求項１６】
与えられたシーンタイプが、
高速動き、
静止、
トーキングヘッド、
文字、
ほとんど黒色の画像、
短いシーン、
スクロールクレジット、
タイトルシーン、
雑多、または、
デフォルト
の１またはそれ以上を含む、請求項１１に記載のビデオストリームをエンコーディングする方法。
【請求項１７】
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが一時的に前記第２の画像フレームに隣接すると決定することをさらに備えた、請求項１１に記載のビデオストリームをエンコーディングする方法。
【請求項１８】
前記所定のエンコーダパラメータが、
動き予測範囲探索、
非ブロック化量因子、
量子化、または、
参照フレーム番号
のいずれか１つまたはそれ以上を含む、請求項１１に記載のビデオストリームをエンコーディングする方法。
【請求項１９】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用される予め規定された複数のエンコーダパラメータの１またはそれ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングするビデオエンコーディング装置であって、
入力ビデオストリームを受信する入力モジュールと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割するビデオ処理モジュールであって、各シーンは、複数の一時的に隣接した画像フレームを備え、ここにおいて、前記入力ビデオストリームにおける一時的に隣接した２つの画像フレームの関連性に従って、与えられたシーン境界が決定されるものと、
前記複数のシーンのそれぞれのためのシーンタイプを決定する前記ビデオ処理モジュールと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングするビデオエンコーディングモジュールとを備えた、ビデオエンコーディング装置。
【請求項２０】
前記ビデオ処理モジュールが、１またはそれ以上の基準に基づいて各シーンタイプを決定し、
該１またはそれ以上の基準は、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置と、
前記与えられたシーンの長さと、
前記与えられたシーンの前のシーンからの効率的な差と
前記与えられたシーンのスペクトルデータサイズと、
前記与えられたシーンにおける光学特性認識と、
前記与えられたシーンのスクリーンプレイ構造情報とを含む、請求項１９に記載のビデオストリームをエンコーディングする方法。
【請求項２１】
前記ビデオエンコーディング装置によって利用される前記スクリーンプレイ構造方法が、相対的なアテンションパラメータを含み、
ここにおいて、前記相対的なアテンションパラメータは、前記与えられたシーンを備えた前記入力ビデオストリームのセグメントのために期待される視覚アテンションの相対的な量の所定の予測に近づける、請求項２０に記載のビデオエンコーディング装置。
【請求項２２】
前記ビデオエンコーディング装置によって利用される前記スクリーンプレイ構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１またはそれ以上を含む、請求項２０に記載のビデオストリームをエンコーディングする方法。
【請求項２３】
前記ビデオ処理モジュールが、シーンタイプを決定するために顔認識を利用する、請求項２０に記載のビデオエンコーディング装置。
【請求項２４】
前記ビデオ処理モジュールによって割り当てられる与えられたシーンタイプが、
高速動き、
静止、
トーキングヘッド、
文字、
ほとんど黒色の画像、
短いシーン、
スクロールクレジット、
タイトルシーン、
雑多、または、
デフォルト
の１またはそれ以上を含む、請求項１９に記載のビデオエンコーディング装置。
【請求項２５】
前記ビデオ処理モジュールが、前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが一時的に前記第２の画像フレームに隣接すると決定することをさらに備えた、請求項１９に記載のビデオエンコーディング装置。
【請求項２６】
前記ビデオ処理モジュールの、前記入力ビデオストリームにおける一時的に隣接する２つの画像フレームの関連性の決定が、
各画像フレームの１またはそれ以上の高周波数成分を測定すること、
各画像フレームの１またはそれ以上の高周波数成分を除去すること、
前記画像フレームを解析して、一時的に隣接する画像フレーム間の差を決定し、ここにおいて、前記差に基づいてスコアが計算されること、及び、
前記スコアが前もって設定された限界を超えるとき、前記画像フレーム間の非関連性の程度を識別し、ここにおいて、前記前もって設定された限界は、シーン変化が生じるところの閾値であること
を備えた、請求項１９に記載のビデオエンコーディング装置。
【請求項２７】
前記ビデオ処理モジュールが、前記差を追跡するために、再帰フィルタまたは適応性のあるフィルターを利用する請求項２６に記載のビデオエンコーディング装置。
【請求項２８】
前記ビデオエンコーディングモジュールによって利用される前記所定のエンコーダパラメータが、
動き予測範囲探索、
非ブロック化量因子、
量子化器、または、
参照フレーム番号
のいずれか１つまたはそれ以上を含む、請求項１９に記載のビデオエンコーディング装置。
【請求項２９】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用される予め規定された複数のエンコーダパラメータの１またはそれ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングするビデオエンコーディング装置であって、
入力ビデオストリームを受信する受信手段と、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割する分割手段であって、各シーンは、複数の一時的に隣接した画像フレームを備え、ここにおいて、前記入力ビデオストリームにおける一時的に隣接した２つの画像フレームの関連性に従って、与えられたシーン境界が決定されるものと、
前記複数のシーンのそれぞれのためのシーンタイプを決定する決定手段であって、各シーンタイプは、前記与えられたシーンタイプをエンコーディングするためにビデオエンコーダによって使用される複数の所定のエンコーダパラメータの１またはそれ以上と関連しているものと、
前記複数のシーンのそれぞれと関連したシーンタイプに従って決定された、前記与えられたシーンの前に設定されたエンコーダパラメータに基づいて、複数のシーンのそれぞれをエンコーディングするためのエンコーディング手段とを備えた、ビデオエンコーディング装置。
【請求項３０】
与えられたいかなるシーンタイプもエンコーディングするビデオエンコーダによって使用される予め規定された複数のエンコーダパラメータの１またはそれ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングする方法であって、
入力ビデオストリームを受信することと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割し、各シーンは、複数の一時的に隣接した画像フレームを備え、ここにおいて、前記入力ビデオストリームのスクリーンプレイ構造情報に従って、与えられたシーン境界が決定されることと、
前記複数のシーンのそれぞれのためのシーンタイプを決定することと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングすることとを備えた、ビデオストリームをエンコーディングする方法。
【請求項３１】
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが一時的に前記第２の画像フレームに隣接すると決定することをさらに備えた、請求項３０に記載のビデオストリームをエンコーディングする方法。
【請求項３２】
前記スクリーンプレイ構造情報が、相対的なアテンションパラメータを含み、
ここにおいて、前記相対的なアテンションパラメータは、与えられたシーンを備えた前記入力ビデオストリームのセグメントのために期待される視覚アテンションの相対的な量の所定の推定に近づける、請求項３０に記載のビデオストリームをエンコーディングする方法。
【請求項３３】
前記スクリーンプレイ構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１またはそれ以上を含む、請求項３０に記載のビデオストリームをエンコーディングする方法。
【請求項３４】
与えられたシーンタイプが、
アクションシーン、
スロームービングシーン、
タイトルシーン、
クレジットシーン、
ヘッドショットシーン、
ダイアログシーン
の１またはそれ以上を含む、請求項３０に記載のビデオストリームをエンコーディングする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１１年１月２８日に出願された米国仮特許出願第６１／４３７，１９３、及び、２０１１年１月２８日に出願された米国仮特許出願第６１／４３７，２１１に対する優先権を主張し、その内容は、本明細書に明示的に取り込まれる。
【０００２】
技術分野
本発明は、ビデオエンコーディング技術に関し、特に、ビデオエンコーディングのためのビデオエンコーディングパラメータの自動的な選択に関する。
【背景技術】
【０００３】
ビデオストリーミングが、日常的な使用者の間で普及し使用され続けているが、克服されることが必要な固有の制限がある。例えば、ユーザは、そのようなビデオストリーミングを得るために限られたバンド幅（帯域幅）のみを有するインターネットを介してビデオを見たい場合が多い。例えば、ユーザは、携帯電話接続や家庭内無線接続を介してビデオストリームを得たい場合がある。いくつかの場面では、ユーザは、コンテンツのスプール（すなわち、最終視聴のためのローカルストレージへのダウンロードコンテンツ）によって、十分なバンド幅の不足を補っている。この方法は、種々欠点が多い。まず、ユーザは、実際の「ランタイム」を経験することが不可能である−すなわち、ユーザは、プログラム（番組）を見ようと決めたとき、それを視聴することが不可能である。代わりに、ユーザは、プログラムを視聴する前にコンテンツがスプールされるための著しい遅延を経験しなければならない。もう１つの欠点は、保管の可能性にある−プロバイダまたはユーザは、短期間の間に高価なストレージリソースの利用が不要になったとしても、スプールされたコンテンツが保管されることを保障するために、ストレージリソースに責任を持たなければならない。
【０００４】
ビデオストリーム（一般的に、画像部分と音声部分とを含んでいる）は、特に高解像度（例えば、ＨＤビデオ）において相当なバンド幅を要し得る。音声は、一般的に、かなり少ないバンド幅を要するが、依然として考慮が必要な場合がある。ビデオをストリーミングする１つの取り組みは、迅速なビデオ送達を可能としながらビデオストリームを大きく圧縮して、ランタイムで、または、実質的に即座に（すなわち、実質的なスプール遅延を経験することなく）ユーザがコンテンツを視聴することを許容することである。一般的に、損失のある圧縮（すなわち、完全に可逆的ではない圧縮）は、損失のない圧縮よりも、より多くの圧縮を与えるが、大きく損失のある圧縮は、望ましくないユーザ経験を与える。
【０００５】
デジタルビデオ信号を送信するために要求されるバンド幅を低減するために、（ビデオデータ圧縮の目的で）デジタルビデオ信号のデータ比率が実質的に低減され得るところの効率的なデジタルビデオエンコードを使用することが、よく知られている。相互運用性を保障するために、ビデオエンコーディング標準は、多くの専門家用及び消費者用のアプリケーションにおいてデジタルビデオの採用を促進することに重要な役割を努めてきた。最も有力な標準は、国際電気通信連合（ＩＴＵ−Ｔ）、または、ＩＳＯ／ＩＯＣ（国際標準化機構／国際電気標準会議）のＭＰＥＧ（動画専門家集団）１５委員会、のいずれかによって、伝統的に発展される。勧告として知られるＩＴＵ−Ｔ標準は、一般的に、リアルタイム通信（ビデオ会議）を目的とする一方、大抵のＭＰＥＧ標準は、ストレージ（例えば、デジタル多目的ディスク（ＤＶＤ））及び放送（例えば、デジタルビデオ放送（ＯＶＢ）標準）のために最適化される。
【０００６】
現在、標準化されたビデオエンコーデングアルゴリズムは、ハイブリッドビデオエンコーディングに基づく。ハイブリッドビデオエンコーディング方法は、一般的には、望ましい圧縮ゲインを達成するために、数種の異なる損失のない、及び、損失のある圧縮方式を組み合わせる。ハイブリッドビデオエンコーディングは、また、ＩＳＯ／ＩＥＣ標準（ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４といったＭＰＥＧ−ｘ）と同様に、ＩＴＶ−Ｔ標準（Ｈ．２６１，Ｈ．２６３といったＨ．２６ｘ標準）の基礎でもある。最も新しい進化したビデオエンコーディング標準は、今のところ、Ｈ．２６４／ＭＰＥＧ−４アドバンスドビデオコーディング（ＡＶＣ）として示される標準であり、これは、合同ビデオチーム（ＪＶＴ）、ＩＴＶ−ＴとＩＳＯ／ＩＥＣ  ＭＰＥＧ集団との合同チームによる標準化努力の結果である。
【０００７】
Ｈ．２６４標準は、ＭＰＥＧ−２といった確立された標準から知られているブロック別動き補償ハイブリッド変換コーディングと同じ原理を採用する。従って、Ｈ．２６４規則は、通常、画像−、セグメント−、及びマクロ−ブロックヘッダといったヘッダ、及び、動きベクトル、ブロック変換、係数、量子化スケール等といったデータの階層として組織される。しかし、Ｈ．２６４標準は、ビデオデータを表すビデオコーディングレイヤ（ＶＣＬ）と、データをフォーマットし、ヘッダ情報を提供するネットワークアダプテーションレイヤ（ＮＡＬ）とを分離している。
【０００８】
さらに、Ｈ．２６４は、エンコーディングパラメータの大量に増加された選択を可能とする。例えば、それは、１６×１６マクロブロックの精巧な仕切り及び巧妙な取り扱いを可能とし、それによって、例えば、動き補償処理が、４×４と同じくらい小さなサイズのマクロブロックの区分で実行され得る。また、サンプルブロックの動き補償予測のための選択処理は、隣接した画像のみの代わりに、保管された先にデコーディングされた多くの画像を含んでもよい。単一のフレーム内のイントラコーディングを伴った場合でさえ、同じフレームから、先にデコーディングされたサンプルを使用して、ブロックの予測を形成することが可能である。また、動き補償に続く結果として得られる予測エラーは、伝統的な８×８ブロックサイズの代わりに、４×４ブロックサイズに基づいて変換され、量子化され得る。加えて、ブロックアーティファクトを低減するループデブロッキングフィルタが、使用されてもよい。
【０００９】
Ｈ．２６４標準は、Ｈ．２６４／ＭＰＥＧ−２ビデオエンコーディング規則の上位集合とみなされてもよく、該規則は、可能なコーディングの決定及びパラメータの数量を拡張するものの、ビデオデータの同じグローバル構造を使用している。多様なコーディングの決定を有する結果、ビットレートと画像品質との間の良好なトレードオフが達成され得ることになる。しかし、Ｈ．２６４標準は、ブロック化コーディングの一般的なアーティファクトを顕著に低減する一方、他のアーティファクトを強めることが、一般に認識されている。Ｈ．２６４が、種々のコーディングパラメータのために可能な値の増加を可能にするという事実により、エンコーディング処理を改良する可能性を増加させる結果となるが、また、ビデオエンコーディングパラメータの選択に対する感受性を増加させることにもなる。
【００１０】
他の標準と同様、Ｈ．２６４は、ビデオエンコーディングパラメータの選択のための規範操作を特定しないが、リフェレンス実装を通して、多数の基準を記述しており、その基準は、コーディング効率とビデオ品質と実装の実用性との間の適切なトレードオフを達成することなどのために、ビデオエンコーディングパラメータを選択するために使用され得る。しかし、記述された基準は、コンテンツ及びアプリケーションの全種類に適切なコーディングパラメータを、いつも最適に、または適切に選択する結果になるとは限らない。例えば、その基準は、ビデオ信号の特性に最適な、または望ましいビデオエンコーディングパラメータを選択する結果とならなかったり、あるいは、その基準が、流通しているアプリケーションに適切ではないエンコーディングされた信号の特性を得ることに基づいていたりするおそれがある。
【００１１】
従って、ビデオエンコーディングのための改良されたシステムがあれば、それは有利である。
【００１２】
上述した関連技術及びそれに関連した限定の例は、例示であり、限定的ではないことが意図される。関連技術の他の限定は、明細書の閲覧及び図面の検討によって明らかになる。
【発明の概要】
【００１３】
本教示は、ビデオストリームをエンコーディングするための種々の方法、システム、及びエンコーダを企図する。ここに導入されるのは、ビデオストリームをエンコーディングするためのエンコーダである。そのエンコーダは、入力ビデオストリームを受信し、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングし得るところのエンコーディングされたビデオストリームを出力する。本発明の実施形態において、エンコーダは、ビデオストリームまたは保管されたシークエンスを、１組のパラメータを用いて最初にシーンの境界を認識し、シーンの境界（すなわち、１またはそれ以上の画像フレームを含む「シーンシークエンス」）間のフレームをエンコーディングすることによって、復元する。
【００１４】
本発明の一実施形態において、シーン変化は、ビデオストリームにおいて認識され、そこでは、シーン変化の各側での２つのフレーム間の相違が、同じ視野角からの他のフレームショットと同程度に圧縮できないように、カメラが、突然、一の視野角から他へと変化する。少なくとも２つの異なるシーンシークエンスのために、異なる組のパラメータが使用され、このことは、適応性のある、シーンに基づくエンコーディングを提供する。
【００１５】
この概要は、以下の詳細な説明においてさらに示されるところの単純化された形態における概念の選択を導入するために提供される。この概要は、クレームされた主題の重要な特徴または本質的な特徴を識別することを意図するものであり、クレームされた主題の範囲を限定するために用いられることを意図するものではない。
【図面の簡単な説明】
【００１６】
本発明の１またはそれ以上の実施形態が、実施例によって示されるが、添付の図面によって限定されるものではなく、同様に付された符号は、同じ要素を示す。
【図１】図１は、エンコーダの例を示す。
【図２】図２は、入力ビデオストリームをエンコーディングする方法の工程を示す。
【図３】図３は、複数のシーンシークエンスへと入力ビデオストリームを分割する方法の工程を示す。
【図４】図４は、シーンシークエンスのシーンタイプを決定する方法の工程を示す。
【図５．１】図５．１は、フレームにおける動き予測を説明するブロック図を示す。
【図５．２】図５．２は、フレームにおける動き予測を説明するブロック図を示す。
【図５．３】図５．３は、フレームにおける動き予測を説明するブロック図を示す。
【図５．４】図５．４は、フレームにおける動き予測を説明するブロック図を示す。
【図５．５】図５．５は、フレームにおける動き予測を説明するブロック図を示す。
【図５．６】図５．６は、フレームにおける動き予測を説明するブロック図を示す。
【図６】図６は、ここに記載される一定の技術を実装するエンコーダを実装するために使用される操作システムのブロック図を示す。
【発明を実施するための形態】
【００１７】
詳細な説明
本発明の種々の側面が、ここに説明される。以下の説明は、これらの例の理解及び説明を可能とすることを通して特定の詳細が提供される。しかし、当業者は、本発明がこれら多くの説明なしで実行され得ることを理解する。加えて、関連のある説明を不必要に不明瞭にすることを避けるために、いくつかのよく知られた構造または機能は、示されない、または、説明されない。図は、機能的に分離した構成要素として描かれるが、そのような描写は、単に説明の目的のために過ぎない。この図の構成成分に描かれた構成要素が任意に組み合わされ、または、分離した構成要素に分割され得る。
【００１８】
以下に示される説明に使用される用語は、本発明の特定の例の詳細な説明と結合して使用されているが、最も広く合理的な態様において解釈されることが意図される。特定の用語は、以下で強調されるかもしれないが、いかなる限定された態様において解釈されることが意図されたいかなる用語も、この詳細な説明欄において、明らかに及び特に、そのように定義されたものである。
【００１９】
本明細書において「実施形態」、「一実施形態」等への言及は、記載される特別な特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。この明細書中のそのような語句の出現は、必ずしも全て同じ実施形態について言及するものではない。
【００２０】
本発明の一実施形態において、エンコーダは、入力ビデオストリームを受信し、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングされ得るところのエンコーディングされたビデオストリームを出力する。エンコーダは、入力ビデオストリームを受信するための入力モジュールと、シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割するビデオ処理モジュールであって、前記入力ビデオストリームにおける一時的に隣接した２つの画像フレームの関連性に従って、与えられたシーン境界を決定するビデオ処理モジュールと、複数のシーンのそれぞれのためのシーンタイプを決定する前記ビデオ処理モジュールであって、各シーンタイプが、与えられたシーンタイプをエンコーディングするためのビデオエンコーダによって使用される複数の所定のエンコーダパラメータの１つまたはそれ以上と関連しているものと、複数のシーンのそれぞれと関連したシーンタイプに従って複数のシーンのそれぞれをエンコーディングするビデオエンコーディングモジュールとを備える。
【００２１】
この態様において、エンコーダは、エンコードされている入力ビデオストリームにおけるシーンのそれぞれを最も満足させる品質で、入力ビデオストリームをエンコーディングし得る。
【００２２】
図１は、本発明の一実施形態に係るエンコーダ１００の一例を示す。エンコーダ１００は、入力ビデオストリーム１１０を受信し、入力ビデオストリーム１１０の実体を少なくともほぼ復元するためのデコーダでデコーディングされ得るところのエンコーディングされたビデオストリーム１２０を出力する。エンコーダ１００は、入力モジュール１０２と、ビデオ処理モジュール１０４と、ビデオエンコーディングモジュール１０６とを備えている。エンコーダ１００は、ハードウェア、ソフトウェア、または、いかなる適切な組み合わせにおいて実装され得る。エンコーダ１００は、ここにおいて特に記載されない他のビデオ処理機能を行ってもよい。
【００２３】
入力モジュール１０２は、入力ビデオストリーム１１０を受信する。入力ビデオストリーム１１０は、いかなる適切な形態をとってもよく、メモリといった適切な源に由来としても、または、生放送に由来してもよい。
【００２４】
ビデオ処理モジュール１０４は、入力ビデオストリーム１１０を解析し、そのビデオストリーム１１０を、複数のシーンのそれぞれのための各ビデオエンコーディングパラメータと一緒に、複数のシーンに分ける。一実施形態において、ビデオ処理モジュール１０４は、シーン境界に基づいて、そのビデオストリームを複数のシーンに分割し、そのシーン境界は、入力ビデオストリームにおける一時的に隣接する２つの画像フレームの関連性に従って、決定される。ビデオ処理モジュール１０４は、さらに、複数のシーンのそれぞれのためにシーンタイプを決定する。最後に、ビデオ処理モジュール１０４は、ビデオエンコーダ１０６によって用いられるビデオエンコーディングパラメータを決定し、ここで、ビデオエンコーダ１０６は、各シーンタイプを、複数の所定のエンコーダパラメータの１またはそれ以上に関連付けることによって、各シーンをエンコーディングするためのものである。そのパラメータは、各シーンタイプのために予め規定されても、ビデオストリーミング処理の間に計算及び／または取り込まれてもよい。ビデオエンコーディングモジュール１０６は、複数のシーンと、ビデオ処理モジュール１０４からの各ビデオエンコーディングパラメータとを受信して、各エンコーディングパラメータに従って複数のシーンのそれぞれをエンコーディングし、エンコーディングされたビデオストリーム１２０を出力する。
【００２５】
図２は、入力ビデオストリームをエンコーディングする方法２００のステップを示す。方法２００は、入力ビデオストリームを、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングされ得るところのエンコーディングされたビデオビットストリームへとエンコーディングする。ステップ２１０では、その方法は、エンコーディングされる入力ビデオストリームを受信する。ステップ２２０では、そのビデオストリームは、シーン境界に基づいて、複数のシーンに分けられる。ここでは、図３を参照して以下でさらに詳細に議論されるように、その方法は、入力ビデオストリームにおける一時的に隣接する２つの画像フレームの関連性に従って、シーン境界を決定する。しかし、他の種々のいかなる適切なメカニズムも、シーンタイプ間での識別に利用され得る。それから、ステップ２３０では、その処理は、複数のシーンのそれぞれのために、シーンタイプを決定する。ステップ２４０では、その処理は、以下でもさらに詳細に議論されるように、適切な所定のエンコーディングパラメータで各シーンのタイプをマッピングすることによって各シーンをエンコーディングするために、ビデオエンコーディングパラメータを決定する。ステップ２５０では、その処理は、各シーンのそれぞれのビデオエンコーディングパラメータに従って、（例えば、ステップ２４０で決定されるように）シーンをエンコーディングする。ステップ２６０では、その処理は、エンコーディングされたビデオビットストリームを出力する。
【００２６】
上記の処理は、以下の段落で、より詳細に述べる。入力ビデオストリームは、一般的に、多様な画像フレームを含んでいる。各画像フレームは、一般的に、入力ビデオストリームにおける明確な「時間位置（タイムポジション）」に基づいて識別され得る。実施形態においては、入力ビデオストリームは、部分、または、別々のセグメントにおいてエンコーダに利用可能にされるところのストリームであり得る。そのような場合には、エンコーダは、エンコーディングされたビデオビットストリームを（例えば、ＨＤＴＶといった最終消費者の装置へと）、全入力ビデオストリームを受信する前に循環ベースでのストリームとして出力する。
【００２７】
実施形態において、入力ビデオストリーム、及び、エンコーディングされたビデオビットストリームは、ストリームのシークエンスとして保管される。ここでは、エンコーディングは、定刻前に実行され、それから、エンコーディングされたビデオストリームは、遅れた時間に、消費者の装置へとストリーミングされる。ここでは、エンコーディングは、消費者の装置へとストリームされている前に、全ビデオストリームにおいて完全に実行される。ビデオストリームの前、後、または、「インライン」エンコーディング、またはそれらの組み合わせの他の例が、当業者よって熟慮され得るように、ここに導入される技術との結合において熟慮され得ることが、理解される。
【００２８】
実施形態において、入力ビデオストリーミングにおけるシーン境界は、最初に、各画像フレームに存在する高周波数成分を測定し除去することによって、決定される。次に、入力ビデオストリームのタイムラインにおける互いに一時的に隣接する２つの画像フレーム間の差が、決定される。いくつかの場合には、例えば、２つの画像の差は、再帰フィルタまたは適応性のあるフィルタを使用して、識別され得る。計算された差が、シーン変化を示す閾値を超える場合、２つの画像フレームは、２つの異なるシーンシークエンスの部分として決定され、従って、シーン境界が、２つの画像フレームの間で確立される。一時的に隣接する画像イメージ間でシーン境界決定処理が繰り返されることによって、入力ビデオストリームが、例えば整列したシーンシークエンスのセットに分割され得る。
【００２９】
実施形態では、上記図２に参照において示すように、シーンタイプは、エンコーディング処理と併せて、複数のシーンシークエンスのそれぞれのために決定される。例えば、シーンタイプは、以下のシーンシークエンスパラメータの１またはそれ以上を利用することによって決定される：（ｉ）入力ストリームのタイムラインにおけるシーンシークエンスの位置；（ｉｉ）シーンシークエンスの長さ；（ｉｉｉ）それの動きベクトル予測；（ｉｖ）前のフレームとは異なるシーンシークエンスの効率；（ｖ）シーンシークエンスのスペクトルデータサイズ；（ｖｉ）光学特性認識を用いて決定されるシーンの文字の内容；（ｖｉｉ）スクリーンプレイ構造情報等に基づく、シーンのスクリーンプレイの特性；等。
【００３０】
与えられたシーンタイプは、例えば、「高速動き」、「静止」、「トーキングヘッド」、「文字」、「ほとんど黒色の画像」、「５つの画像フレーム以下の短いシーン」等を含む。例えば、シーンシークエンスは、特定のシーンタイプに割り当てられなくてもよい。他に例えば、割り当てられたシーンシークエンスは、「雑多」、「不明」、「デフォルト」等といったシーンタイプを含む。
【００３１】
実施形態において、一旦シーンタイプが割り当てられると、シーンシークエンスがエンコーディングされる。例えば、そのようなエンコーディングは、１組のソフトウェアまたはハードウェアに従ってパラメータ化されたエンコーディング処理を行うことによって、実行される。ここでは、例えば、１組の高度に最適化されたパラメータが、シーンタイプに従ったエンコーディングの詳細を制御するために利用され得る。複数のパラメータは、シーンタイプのデータベースや他のデータ構造、または、機械学習システムに保管され得る。説明する例では、メモリに保管され、エンコーダによってアクセス可能なデータベースは、表１に示される構造を有し得る。エンコーディングに使用されるが、シーンタイプのデータベースにおいて特に設定されないパラメータは、エンコーディング処理の開始時に決定されるデフォルトのパラメータ値を利用し得る。例えば、デフォルトのパラメータ値は、入力ビデオストリームをエンコーディングするために利用されるエンコーディング標準によって推奨される値に基づいて決定され得る。
【００３２】
【表１】
2014511138.tif 000003
【００３３】
図３は、入力ビデオストリームにおけるシーン境界を決定するための方法または処理３００のステップを示す。ステップ３１０では、その処理は、シーン境界が決定されることを必要とする現在のフレーム（ｉ）及び前のフレーム（ｉ−１）からの高周波数成分を測定する。少なくともいくつかの実施形態において、ステップ３２０では、その処理は、現在のフレーム（ｉ）及び前のフレーム（ｉ−１）からの高周波数成分を除去する。一実施形態において、変換コーダは、画像フレームにおけるピクセルデータを周波数係数に変換する。周波数領域において、低周波数データは、高周波数データよりも大きな、人間の知覚的重要度を有する。ステップ３１０及び３２０は、解析が、フレームにおける知覚的に重要な低周波数成分に基づくものであることを可能にする。
【００３４】
ステップ３３０では、現在のフレーム（ｉ）の輝度を計算する。輝度値は、発光としても知られているが、画像の明るさ（「モノクロ」または無色の部分）を表す。
【００３５】
ステップ３４０では、現在のフレーム（ｉ）及び前のフレーム（ｉ−１）に基づく投影の輝度値が、計算される。該投影は、前のフレーム（ｉ−１）に基づく部分空間への現在のフレーム（ｉ）の投影である。該部分空間は、前のフレーム（ｉ−１）の特異値分解によって得られる。
【００３６】
ステップ３５０では、ステップ３３０及び３４０にて得られた輝度値の差に基づく残差が、算出される。ステップ３６０では、その処理は、例えば、再帰フィルタまたは適応性のあるフィルタを用いて、いかなる残差もフィルタリングし、０〜１のスコア範囲での残差をマッピングする。適応性のあるフィルタは、残差におけるアーティファクトを、繰り返しフィルタリングすることを手伝う。ステップ３７０では、その処理は、標準化されたスコアが最初の閾値よりも大きいとき、シーン変化を示し、入力ビデオストリームにおけるシーン境界を示す。一実施形態において、そのような最初の閾値の例示的な値は、０．６５である。ステップ３８０では、例えば、入力ビデオストリームをシーンにおける整列したシークエンスに分割するために、ステップ３１０から３７０が、入力ビデオストリームにおける各フレームのために繰り返される。
【００３７】
図４は、与えられたシーンシークエンスのためのシーンタイプを決定するための処理４００を示す。ステップ４１０では、その処理は、入力ビデオストリームのタイムラインにおけるシーンの位置を決定する。該シーンの位置に基づいて、スコアが、例えば、１〜５のスケールに割り当てられる。説明の例では、スコアの１は、シーンが入力ビデオストリームの開始時であることを示し得、スコアの５は、入力ビデオストリームの終了時であることを示し得る。
【００３８】
ステップ４２０では、その処理は、シーンシークエンスのプレイタイムの長さを決定し、同一基準のスコアに割り付ける（例えば、スケールの１〜５）。説明の例では、スコアの１は、１０秒未満のシーン長さを意味し得、スコアの５は、５０秒を超える長さのシーンを意味し得る。
【００３９】
ステップ４３０では、その処理は、シーンシークエンスにおける動き予測を実行し、同一基準のスコアに割り付ける（例えば、スケールの１〜５）。例えば、スコアの１は、動きベクトルがほとんど無いか、または全く無いシーンを意味し得、スコアの５は、シーンを横切る大きな動きベクトルを有するシーンを意味し得る。動き予測（ＭＥ）は、一般に、圧縮の間に、ビデオシークエンスにおける一時的な冗長性を探索するために用いられる技術である。一時的な冗長性は、隣接するフレームがしばしば同様のピクセル領域を共有するという事実に起因する。従って、動き予測の目的は、隣接するフレームを横切るそのような同様な領域（マクロブロック）の変更を予測することであり、これにより、それらが示差的にエンコーディングされる。ブロックベースのＭＥにおいて、同様な領域の置き換えは、動きベクトルによって表され、それは、ブロックマッチングアルゴリズムによって計算される。
【００４０】
ステップ４４０では、その処理は、与えられたシーンシークエンスと前のシーンシークエンスとの間の効率の差を計算する。その効率の差に基づいて、その処理は、同じ基準のスコアを（例えば、スケールの１〜５に）割り当てる。説明の例では、スコアの１は、シーン間でほとんど差を示し得ず、スコアの５は、ｘｙｚ閾値よりも大きな差を示し得る。代表的な例では、効率の差は、ステップ３１０〜３７０を参照して上述と同じスコアの原理を用いて計算され得る。
【００４１】
ステップ４５０では、その処理は、シーンシークエンスのスペクトルデータサイズを決定する。そのスペクトルデータサイズに基づいて、スコアは、例えばスケールの１〜５に割り当てられる。説明の例では、スコアの１は、低スペクトルデータを有するシーンを示し、スコアの５は、高スペクトルデータを有するシーンを示し得る。一実施形態では、変換コーディング技術は、ビデオデータを周波数（またはスペクトル）領域に変換し、ここにおいて、画像フレームの周波数領域の範囲は、スペクトルデータサイズを示し得る。変換コーダは、画像フレームのピクセルデータを周波数係数に変換する。周波数領域では、低周波数データは、高周波数データよりも大きな、人間の知覚的重要度を有する。
【００４２】
ステップ４６０では、その処理は、例えば顔認識ソフトウェアを用いてシーンシークエンスにおける顔構造の探索を、任意に（または、いくつかの例では強制的に）実行する。探索結果に基づいて、例えば、スコアの１〜５にスコアが割り当てられる。ここでは、説明の例において、スコアの１は、認識された顔構造を示さず、スコアの５は、シーンが顔構造の高い数量を有することを示し得る。
【００４３】
ステップ４７０では、その処理は、シーンシークエンスにおけるいかなる文字情報も識別するために、シーンシークエンスにおける光学特性認識（ＯＣＲ）を実行する。ＯＣＲは、イメージファイルにおける絵及び文字内容間の識別を助ける。ＯＣＲは、識別を実行するために、パターン認識、人工知能及びコンピュータビジョンを利用する。ＯＣＲ解析に基づいて、その処理は、同じ基準のスコアを（例えば、スケールの１〜５に）割り当てる。説明の例では、スコアの１は、シーンシークエンスに文字情報が無いことを示し、スコアの５は、シーンシークエンスの内容、すなわち、フィルムのクレジットの少なくとも３０％を構成する文字情報を示し得る。
【００４４】
ステップ４８０では、その処理は、シーンと関連したスクリーンプレイ構造の情報を、決定する。少なくともいくつかの実施形態において、スクリーンプレイ構造の情報は、相対的なアテンションパラメータである。それぞれのアテンションパラメータは、与えられたシーンシークエンスのために期待されるべきであるところのビューアアテンションの相対的な量に近づく。いくつかの例では、相対的なアテンションパラメータは、与えられたシーンシークエンスがその部分になるべきであるところの与えられたビデオセグメントのために期待されるべきビューアアテンションの相対的な量に近づく。その解析に基づいて、その処理は、同じ基準のスコアを（例えば、スケールの１〜５に）割り当てる。説明の例では、スコアの１は、シーンシークエンスの内容に関係する低ビューア関心を示し、スコアの５は、シーンシークエンスの内容に関係する高ビューア関心を示し得る。
【００４５】
ステップ４９０では、その処理は、ステップ４１０〜４８０からのスコアに基づいて、シーンシークエンスのためのシーンタイプを決定する。一実施形態において、ステップ４１０〜４８０からのスコアを用いるシーンタイプの決定は、ウォーターフォール処理に基づき得る。ウォーターフォール処理は、線形の、最初から最後までの、連続的な決定作製処理であり、ここにおいて、その処理は、一般に、その経路に沿って最終決定まで到達するところのいかなる中間結論にも立ち戻らない。
【００４６】
説明の例では、映画の最後にクレジットを伴うシーンは、一般に、上側または下側の方向に移動する文字を有する。そのようなシーンシークエンスは、一般的に、文字の方向に依存して、スコアが２以下であり、上側または下側のいずれかを指す、小さいが一定の動きベクトルを有する。加えて、シーンシークエンスは、通常、シーンコンテンツの例えば３０％よりも多くを構成している、映画クレジットの形態での文字を含む。その光学特性認識処理は、一般に、シーンを４以上でスコアリングする。映画クレジットが、一般に、どの映画でもその一部であり、最後の映画のタイムラインの素材部分を構成するため、ウォーターフォール処理は、最初に、他のシーンタイプの確認を実行する前に、シーンが「スクロールクレジット」タイプであるか否かを確認する。その例では、２のスコアによって、関係したシーンタイプが「スクロールクレジット」タイプであることが、強力に示唆され、これにより、一旦シーンがそのようにタグ付けられると、そのシーンのためのシーンタイプの決定が、終了され得る。シーンタイプが「スクロールクレジット」タイプではないと決定されると、ウォーターフォール処理は、「スクロールクレジット」タイプの他のシーンタイプであるか確かめるために、シーンシークエンスを確認する。また、一旦ウォーターフォール処理が、与えられたシーンが特定のタイプではないと決定すると、その処理は、一般に、その特定のシーンタイプに対してそのシーンを再評価することはない。
【００４７】
他の説明の例では、セコイヤの木を捕えたシーンは、一般に、緑の葉とその周囲とを含んでいる。葉は、一般的に、シーンのコンテンツの主要な部分を構成する。木の枝及び葉は、最小限の動きを有する一方、木自身は、静止しているため、そのようなシーンは、ほとんど動きベクトルがないか、または、ランダムな動きベクトルを有し得る。動き予測スコアは、ゼロに近い。さらに、シーンにおけるいかなる文字情報も、一般に、そのシーンの短い記述であり得、その結果、低い文字コンテンツのスコアとなる。しかし、シーンの葉における緑は、スペクトルデータの高周波領域において捕えられるため、そのスペクトル解析は、高スコアとなる。前述したように、低周波数スペクトルデータは、高周波数データよりも大きな、人間の知覚的重要度を有し、より低品質で高スペクトルデータを有する画像をエンコーディングすることを可能とする。そのスコアに基づいて、ウォーターフォール処理は、シーンシークエンスが「静止シーン」であることを決定し、低品質の残余のエンコーディング、及び、低い非ブロック化フィルタリングに続く最初のフレームにおいて、高エンコーディング品質を要する。
【００４８】
上記記載は、シーン境界及びシーンタイプを決定するための処理を示した。シーンタイプの決定のために、少なくともいくつかの例では、シーンシークエンスにおいて動きベクトルによって表される動きの大きさを決定するために、シーンにおける動き予測を決定し、解析することが、有用である。ここで、図５は、ここでさらに詳細に説明されるように、シーンシークエンスにおける動き予測の代表的な処理を示す。動き予測（ＭＥ）は、一般に、圧縮の間に、ビデオシークエンスにおける一時的な冗長性を探索するために使用される技術である。一時的な冗長性は、隣接するフレームがしばしば同様のピクセル領域を共有するという事実に起因する。従って、動き予測の目的は、隣接するフレームを横切るそのような同様な領域（マクロブロック）の変更を予測することであり、これにより、それらが示差的にエンコーディングされる。ブロックベースのＭＥにおいて、同様な領域の置き換えは、動きベクトルによって表され、それは、ブロックマッチングアルゴリズムによって計算される。
【００４９】
一実施形態において、ブロックマッチングアルゴリズム（ＢＭＡ）は、画像フレームにおける同様のブロックを探索し、動きベクトルを引き起こす。ＢＭＡは、高速サーチアプローチを使用し、それは、同じブロックが探索されている間に、サーチウィンドウの特定のポイントのみを探索する。他のアプローチにおいて、マルチ解像度動き予測として知られているように、ＭＥは、階層的に実行され、特定のフレーム領域のための動きベクトルを計算し、各レベルにおいてそれらを精密化する。ＭＥは、１つのフレームの異なる解像度を扱い、連続的に、見出された動きベクトルを精密化する。他の方策は、ＭＥステージを同時に行うために、ＢＭＡにおける並列を見つけるように調べる。
【００５０】
図５は、動き予測のための代表的なアプローチを示す。ここでは、実施形態において、連続したフレーム（例えば、異なるポジションでのフレーム）において見出されるところの１つのフレームのマクロブロックの画像が、動きベクトルの使用によって伝達される。図５．１及び図５．２は、リファレンスフレーム、及び、望ましいフレームを、それぞれ表す。フレームは、マクロブロックに、例えば、４×４〜１６×１６の範囲にあるサイズに分割される。実施形態において、リファレンスフレームの各マクロブロックは、マクロブロック間での一致を検知するために、望ましいフレームにおけるマクロブロックと比較される。図５．３及び５．４は、それぞれのマクロブロックに解体されたリファレンスフレーム及び望ましいフレームを示し、それらは、お互いに対して比較される。図５．５は、望ましいフレームにおいてマクロブロックと一致するリファレンスフレームからのマクロブロックを表すが、そのマクロブロックは、それぞれのフレームにおける同じグリッドポジションには存在していない。図５．６は、リファレンスフレームにおけるマクロブロックのポジションに関して望ましいフレームにおけるマクロブロックのポジションを伝達するために、エンコーダによって引き起こされるところの動きベクトルを表す。こうして、動き予測は、シーンシークエンスにおける動きベクトルを決定し、シーンシークエンスにおける動きベクトルの大きさによって影響されるシーンタイプの決定を可能とする。
【００５１】
上記記載では、動き予測に基づいてシーンタイプを決定する処理を示した。シーンタイプを決定するためには、少なくともいくつかの例では、シーンに関連したスクリーンプレイの構造的な情報を決定し、解析することが有用である。スクリーンプレイの構造的な情報は、適切なシーンタイプを決定するために映画のストーリーラインの一般的な構成を利用し、与えられたシーンの適切なエンコーディングを可能にする。
【００５２】
映画は、一般に、スクリーンプレイに基づく。スクリーンプレイは、観客の注意をつかむように構成されている。映画のスクリーンプレイの最初の部分は、「バイト−スイッチ」セグメントと呼ばれ、一般に、ほとんどの人々が映画を全て見るか否かを決定するときである。従って、ここでは、観客の視聴経験を損なわないために、画像品質は、非常に高いことが期待される。映画のスクリーンプレイの次の部分は、「キャラクターディベロップメント」セグメントと呼ばれ、一般に、低い観客の注意を集め、従って、前のセグメントよりも低い画像品質であり得る。映画の続くセグメントは、一般に、映画のプロットを構成しており、ここにおいて、観客の注意は、前のセグメントと比較して、より高い。その画像品質は、前の品質よりも高くなければならない。映画の次のセグメントは、「クライマックス」であり、それは、映画の最も重要な部分であり、画像の品質は高い必要がある。最後のセグメントは、映画の「クレジット」であり、それは、低い観客の注意をつかむ。そのセグメントは、観客の視聴経験に影響を及ぼさない低品質の画像を利用し得る。
【００５３】
一実施形態において、シーンタイプを決定するために使用されるスクリーンプレイの構造的な情報は、映画のタイムラインに基づき得る。例えば、与えられたシーンが映画の開始の部分であるときには、そのシーンシークエンスは、高い観客の注意をつかむ「バイト−スイッチ」として分類される。そのシーンシークエンスは、スケールにおいて５とスコアリングされ、高い観客の関心を示し得る。さらなる例として、与えられたシーンが映画の中の３０分であるときには、その映画のセグメントはキャラクターディベロップメントを含むと想定され得る。キャラクターディベロップメントセグメントは、低い観客の注意を得る。従って、キャラクターディベロップメントの部分であるいかなるシーンシークエンスも、スケールにおける２としてスコアリングされ得る。このように、タイムライン情報は、シーンタイプを決定することを助ける。
【００５４】
一実施形態において、シーンタイプの決定に使用されるスクリーンプレイの構造的な情報は、相対的なアテンションパラメータであり得、ここにおいて、それぞれのアテンションパラメータは、入力ビデオパラメータの与えられたセグメントのために期待される、予測されたビューアの関心を概算する。相対的なアテンションパラメータは、ビューアによって予め決定され得るか、または、映画のディレクターからの入力に基づき得る。その情報は、入力ビデオストリームのメタデータの部分として入力ビデオストリームに含まれ得る。メタデータを分析することによって、相対的なアテンションパラメータは、入力ビデオストリームにおける与えられたセグメント、または、複数のシーンシークエンスを含む入力ビデオストリームの与えられたセグメントのために、定義される。相対的なアテンションパラメータが低い観客の注意を示すとき、スコアは、２以下であり得る。このように、相対的なアテンションパラメータは、シーンタイプを決定するために利用され得る。
【００５５】
一実施形態において、シーンタイプの決定に使用されるスクリーンの構造的な情報は、シーンシークエンスにおける文字情報に基づき得るか、または、シーンシークエンスと関連したクローズドキャプションに基づき得る。両方の場合において、文字情報は、映画のスクリーンプレイを決定するために使用される。それから、スクリーンプレイシークエンスは、低い関心のシーンのためにスコアの１、高い関心のシーンのためにスコアの５を伴って、与えられたシーンのために観客の注意を決定するために、利用され得る。こうして、文字のコンテンツ情報はシーンタイプを決定するために利用し得る。
【００５６】
他の実施形態において、シーンタイプの決定に使用されるスクリーンプレイの構造的な情報は、シーンシークエンスに関連した音声コンテンツに基づき得る。音声コンテンツは、例えば、音声コンテンツのラウドネス（振幅）、人間のスピーチ、静けさ、言語認識、言語識別、楽譜、音響効果、サラウンドサウンド等に基づき得る。説明の例では、音声コンテンツのラウドネスは、シーンシークエンスが部分であるところのスクリーンプレイセグメントを決定するために使用され得る。映画の中のアクションセグメントは、一般に、それに関連した音の大きな音声コンテンツを有する。音の大きな音声コンテンツは、観客に十分な注意を与えるために必要とされる。さらに、アクションシーンは、一般的には、爆発といった特別なエフェクトを含みそれは、音の大きな音声コンテンツを引き起こす。一方、キャラクターディベロップメントに関する映画のセグメントは、一般に、人間が聞き取れる振幅か、または、爆発といった特別なエフェクトがほとんどない通常の範囲でのダイアログを含む。観客の注意は、一般的に、映画のキャラクターディベロップメントフェーズでは低い。このように、音声コンテンツのラウドネスは、低い振幅のシーンのためにスコアの１、高い振幅のシーンのためにスコアの５を伴って、与えられたシーンのための観客の注意を決定するために利用され得る。
【００５７】
他の説明の例では、シーンシークエンスに関連した音響効果は、シーンシークエンスが部分であるところのスクリーンプレイセグメントを決定するために使用され得る。音声コンテンツにおいてテンポを増加させるといった特別な音響効果は、一般に、映画における面白い話、陽気にさせるアクション等の組み立てを示し、それらは、高い観客の注意をつかむ。一方、ほとんど音響効果がないことは、会話を含む映画のセグメントと関連する。会話は、通常、音響効果でさらに強調され得るドラマチックな感情変化に欠けるため、そのセグメントは、一般に、音響効果を欠いている。このように、音声コンテンツの特別なエフェクトは、低い音響効果のシーンのためにスコアの１、豊富な音響効果のシーンのためにスコアの５を伴って、与えられたシーンのための観客の注意を決定するために利用され得る。このように、音声コンテンツは、観客の注意に基づいてシーンタイプを決定するために、利用され得る。
【００５８】
図６は、エンコーダといった、上述のいかなる技術も実装されるために使用される処理システムのブロック図である。なお、特定の実施形態では、図６に示された構成要素の少なくともいくつかは、２以上の物理的な分離の間で分配されているが、コンピューティングプラットフォームまたはボックスに接続され得る。その処理は、従来のサーバクラスコンピュータ、ＰＣ、携帯通信装置（例えば、スマートフォン）、または、他に公知または従来の処理／通信装置を表す。
【００５９】
図６に示される処理システム６０１は、１またはそれ以上のプロセッサ６１０、すなわち、中央演算ユニット（ＣＰＵ）と、メモリ６２０と、イーサネットアダプタ及び／または無線通信サブシステム（例えば、セルラー、ＷｉＦｉ、ブルートゥース等）といった少なくとも１つの通信装置６４０と、１またはそれ以上のＩ／Ｏ装置６７０、６８０とを含み、全ては互いにインターコネクト６９０を介して接続されている。
【００６０】
プロセッサ６１０は、コンピュータシステム６０１の操作を制御し、１またはそれ以上の一般目的または特定目的のマイクロプロセッサ、マイクロコントローラ、特定目的集積回路（ＡＳＩＣ）、プラグラマブルロジックデバイス（ＰＬＤ）、または、そのような装置の組み合わせを含み得る。インターコネクト６９０は、１またはそれ以上のバス、ダイレクト接続、及び／または、他の形式の物理的な接続を含むことができ、従来技術において良く知られたような、種々のブリッジ、コントローラ、及び／または、アダプタを含んでもよい。インターコネクト６９０は、さらに、「システムバス」を含んでもよく、それは、１またはそれ以上のアダプタを介して１またはそれ以上の拡張バスに接続され得、そのようなものとして、ペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）バス、ハイパートランスポートまたはインダストリ・スタンダード・アーキテクチャ（ＩＳＡ）バス、スモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）バス、ユニバーサル・シリアル・バス（ＵＳＢ）、または、インスティテュート・オブ・エレクトリカル・アンド・エレクトロニック・エンジニアズ（ＩＥＥＥ）標準１３９４バス（ときには、「ファイアワイア」と言及される）が挙げられる。
【００６１】
メモリ６２０は、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、フラッシュメモリ、ディスクドライブ等といった１またはそれ以上のタイプの１またはそれ以上のメモリ装置であっても、それを有していてもよい。ネットワークアダプタ６４０は、処理システム６０１が通信接続を介した自動的な処理システムを伴ったデータを通信することを可能とするのに適した装置であり、例えば、従来の電話モデム、ワイヤレスモデム、デジタル加入者線（ＤＳＬ）モデム、ケーブルモデム、トランシーバ、衛星トランシーバまたはイーサネットアダプタ等であってもよい。Ｉ／Ｏ装置６７０、６８０は、例えば、マウス、トラックボール、ジョイスティックまたはタッチパッド等のポインティング装置；キーボード；会話認識インターフェースを有するマイクロフォン；音声スピーカ；またはディスプレイ装置；等といった１またはそれ以上の装置を含み得る。しかし、なお、そのようなＩ／Ｏ装置は、もっぱらサーバとして作動するシステムにおいては不要であってもよく、また、少なくともいくつかの実施形態ではサーバを伴う場合のように、ダイレクト・ユーザー・インターフェースを備えていなくてもよい。説明された組の構成要素における他の変形が、本発明と矛盾しない態様において実装され得る。
【００６２】
上述された動作を実行するためにプロセッサ６１０をプログラムするためのソフトウェア及び／またはファームウェア６３０は、メモリ６２０に保管されている。一定の実施形態において、そのようなソフトウェアやファームウェアは、初めに、コンピュータシステム６０１を介して（例えば、ネットワークアダプタ６４０によって）自動的なシステムからダウンロードすることによって、コンピュータシステム６０１に供給される。
【００６３】
上記で導入された技術は、例えば、ソフトウェア及び／またはファームウェアでプログラムされたプログラムで制御可能な回路（例えば、１またはそれ以上のマイクロプロセッサ）で、または、特定目的のハードワイヤード回路全体において、または、それらの形態の組み合わせで、実装され得る。特定目的のハードワイヤード回路は、例えば、１またはそれ以上の特定目的集積回路（ＡＳＩＣ）、プラグラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の形態であってもよい。
【００６４】
ここに導入される技術の実装における使用のためのソフトウェアまたはファームウェアは、機械読み取り可能なストレージ媒体に保管され、一般目的または特定目的のプログラムで制御可能なマイクロプロセッサの１またはそれ以上によって実行され得る。「機械読み取り可能なストレージ媒体」は、ここで使用される用語として、機械（機械は、例えば、コンピュータ、ネットワーク装置、セルラーフォン、パーソナル・デジタル・アシスタント（ＰＤＡ）、作製ツール、１またはそれ以上のプロセッサを有するいかなる装置等）によってアクセス可能な形態の情報を保管可能ないかなるメカニズムも含む。例えば、機械読み取り可能なストレージ媒体は、記録可能／記録不可能な媒体（例えば、リード・オンリー・メモリ（ＲＯＭ）；ランダム・アクセス・メモリ（ＲＡＭ）；磁気ディスクストレージ媒体；光学ストレージ媒体；フラッシュメモリ装置；等）等を含む。
【００６５】
用語「ロジック」は、ここで使用されるように、例えば、特定のソフトウェア及び／またはファームウェア、特定目的のハードワイヤード回路、または、それらの組み合わせでプログラムされたプログラムで制御可能な回路を含む。
【００６６】
要求された主題の種々の実施形態の前述の記載は、説明及び記載のために提供された。要求された主題を、開示された正確な形態に徹底的であるかまたは限定することを意図するものではない。多くの改変及び変形は、当該分野の専門家にとって明らかである。実施形態は、本発明の原理及びそれの実際的な応用を最も良く記載するために選択され、記載されたものであり、それにより、関連技術における熟練した他者が、要求された主題、種々の実施形態を、熟慮された特定の使用に適した種々の改変を理解することを可能とする。
【００６７】
ここに提供された本発明の技術は、上述のシステムを必要とせずに他のシステムに適用され得る。上述した種々の実施形態の構成要素及び作用は、さらなる実施形態と組み合わされ得る。
【００６８】
上記記載は、本発明の一定の実施形態を記載し、熟慮されたベストモードを記載するが、上記が明細書においてどのように詳細にされても、本発明は、多くの方法で実行され得る。そのシステムの詳細は、ここに開示された本発明によって依然として包含されつつ、それの実装の詳細において相当に変形し得る。上述したように、本発明の一定の特徴または局面の記載するときに使用される特定の用語は、該用語が関連した本発明のいかなる特性、特徴または局面に該用語が限定されるためにここに再定義されていることを含むものと解されるべきではない。一般に、以下の請求項で使用される用語は、上記詳細な説明欄がそのような用語を明白に定義しない限り、本発明を、明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。従って、本発明の実質的な範囲は、開示された実施形態を包含するだけではなく、請求項に基づいて実行または実装する全ての均等物を包含する。
【図１】
2014511138.tif 000004
【図２】
2014511138.tif 000005
【図３】
2014511138.tif 000006
【図４】
2014511138.tif 000007
【図５．１】
2014511138.tif 000008
【図５．２】
2014511138.tif 000009
【図５．３】
2014511138.tif 000010
【図５．４】
2014511138.tif 000011
【図５．５】
2014511138.tif 000012
【図５．６】
2014511138.tif 000013
【図６】
2014511138.tif 000014
【国際調査報告】
2014511138.tif 000015
2014511138.tif 000016