(57)【要約】      （修正有）【課題】シーンタイプに基づいてビデオストリームまたは画像をエンコーディングする。【解決手段】エンコーダは、入力ビデオストリームを受信し、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングし得るところのエンコーディングされたビデオストリームを出力する。エンコーダは、１組のパラメータを用いて最初にシーンの境界を認識し、シーンの境界間のフレームをエンコーディングする。少なくとも２つの異なるシーンシークエンスのために、異なる組のパラメータが使用され、適応性のある、シーンに基づくエンコーディングを提供する。【選択図】図２
2017123649.tif 000002
【特許請求の範囲】
【請求項１】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用され、予め規定された複数のエンコーダパラメータの１つ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングする方法であって、
入力ビデオストリームを受信することと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割することであって、各シーンは、複数の時間的に隣接した画像フレームを備え、前記分割することが、前記入力ビデオストリームにおける時間的に隣接した２つの画像フレームの関連性に従って、与えられたシーン境界を決定することを含んでおり、前記決定することが、
各画像フレームの１つ以上の高周波数成分を測定すること、
前記画像フレームにおけるピクセルデータを周波数係数に変換すること、
前記変換された周波数係数に基づいて、各画像フレームの１つ以上の高周波数成分を除去すること、
前記画像フレームを解析して、時間的に隣接する画像フレーム間の差分を決定し、前記差分に基づいてスコアが計算されること、及び、
前記スコアが前もって設定された限界を超えるとき、前記画像フレーム間の非関連性の程度を識別することであって、前記前もって設定された限界は、シーン変化が生じるところの閾値であること
を含む、ことと、
前記複数のシーンのそれぞれのためのシーンタイプを決定することと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングすることとを備えた、方法。
【請求項２】
前記シーンタイプを決定することが、さらに、シーンタイプを決定するために顔認識を利用することを備えた、請求項１に記載の方法。
【請求項３】
各シーンタイプは、さらに１つ以上の基準に基づいて決定され、
該１つ以上の基準は、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置、
前記与えられたシーンの長さ、
前記与えられたシーンの動き予測、
前記与えられたシーンの前のシーンからの有効差分、
前記与えられたシーンのスペクトルデータサイズ、
前記与えられたシーンおよび該シーン内のオブジェクト／セクションの有効光学解像度、
前記与えられたシーンにおける光学文字認識、または、
前記与えられたシーンの映画脚本構造情報を含む、請求項１に記載の方法。
【請求項４】
前記映画脚本構造情報が、相対的なアテンションパラメータを含み、
前記相対的なアテンションパラメータは、前記与えられたシーンを備えた前記入力ビデオストリームのセグメントに想定される、見る者の相対的な注意量についての所定の評価を概算したものである、請求項３に記載の方法。
【請求項５】
前記映画脚本構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１つ以上を含む、請求項４に記載の方法。
【請求項６】
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが前記第２の画像フレームに時間的に隣接すると決定することをさらに備えた、請求項１に記載の方法。
【請求項７】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用され、予め規定された複数のエンコーダパラメータの１つ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングする方法であって、
入力ビデオストリームを受信することと、
シーン移行が生じる前記ビデオストリームにおける位置を示すシーン境界情報を受信することであって、前記入力ビデオストリームにおける時間的に隣接した２つの画像フレームの関連性に従って、シーン移行が決定される、ことと、
前記シーン境界情報に基づいて前記入力ビデオストリームを複数のシーンに分割することであって、各シーンは、複数の時間的に隣接した画像フレームを備える、ことと、
連続的な判断ウォーターフォール処理により計算された所定のスケールにおける評価に基づいて、前記複数のシーンのそれぞれのためのシーンタイプを決定することと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングすることとを備えた、方法。
【請求項８】
前記連続的な判断ウォーターフォール処理が、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置を決定して、前記位置に従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンのプレイタイムの長さを決定して、前記プレイタイムの長さに従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンの動き予測を決定して、動きベクトルの大きさに従う所定のスケールに基づいてスコアを割り当てることであって、前記動き予測は、前記モーションベクトルの大きさの尺度である、ことと、
前記与えられたシーンの前のシーンからの有効差分を決定して、前記差分に従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンのスペクトルデータサイズを決定して、前記スペクトルデータサイズに従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンの光学解像度を決定して、前記画像フレーム並びに前記シーン及び前記画像フレーム内の主なセクション及びオブジェクトの有効光学解像度に従う光学サイズを割り当てることと、
顔認識を利用して顔構造を識別して、複数の前記顔構造に従う所定のスケールに基づいてスコアを割り当てる、ことと、
前記与えられたシーンにおける光学文字認識を用いて文字情報を識別して、前記文字情報の量に従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンの映画脚本構造情報から観客の関心レベルを決定して、前記観客の関心レベルに従う所定のスケールに基づいてスコアを割り当てることと
を備えた、請求項７に記載の方法。
【請求項９】
前記映画脚本構造情報が、相対的なアテンションパラメータを含み、
前記相対的なアテンションパラメータは、前記与えられたシーンを備えた前記入力ビデオストリームのセグメントに想定される、見る者の相対的な注意量についての所定の評価を概算したものである、請求項８に記載の方法。
【請求項１０】
前記映画脚本構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１つ以上を含む、請求項９に記載の方法。
【請求項１１】
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１の画像フレームが時間的に前記第２の画像フレームに隣接している、請求項８に記載のビデオストリームをエンコーディングする方法。
【請求項１２】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用され、予め規定された複数のエンコーダパラメータの１つ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングするビデオエンコーディング装置であって、
入力ビデオストリームを受信する入力モジュールと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割するように構成されるビデオ処理モジュールであって、各シーンは、複数の時間的に隣接した画像フレームを備え、前記ビデオ処理モジュールはまた、前記入力ビデオストリームにおける時間的に隣接した２つの画像フレームの関連性に従って、シーン境界を決定するように構成されており、前記ビデオ処理モジュールはさらに、前記複数のシーンのそれぞれのためのシーンタイプを決定するにあたり、前記シーン境界を決定する際に、前記ビデオ処理モジュールは、
各画像フレームの１つ以上の高周波数成分を測定することであって、このとき、変換コーダが前記画像フレームにおけるピクセルデータを周波数係数に変換すること、
前記変換された周波数係数に基づいて、各画像フレームの１つ以上の高周波数成分を除去すること、
前記画像フレームを解析して、時間的に隣接する画像フレーム間の差分を決定し、前記差分に基づいてスコアが計算されること、及び、
前記スコアが前もって設定された限界を超えるとき、前記画像フレーム間の非関連性の程度を識別することであって、前記前もって設定された限界は、シーン変化が生じるところの閾値であること
を含む操作を実行するように構成されている、ビデオ処理モジュールと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングするビデオエンコーディングモジュールとを備えた、装置。
【請求項１３】
前記ビデオ処理モジュールが、さらに１つ以上の基準に基づいて各シーンタイプを決定し、
該１つ以上の基準は、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置、
前記与えられたシーンの長さ、
前記与えられたシーンの動き予測、
前記与えられたシーンの前のシーンからの有効差分、
前記与えられたシーンのスペクトルデータサイズ、
前記与えられたシーンにおける光学文字認識、または、
前記与えられたシーンの映画脚本構造情報を含む、請求項１２に記載の装置。
【請求項１４】
前記ビデオエンコーディング装置によって利用される前記映画脚本構造情報が、相対的なアテンションパラメータを含み、
ここにおいて、前記相対的なアテンションパラメータは、前記与えられたシーンを備えた前記入力ビデオストリームのセグメントに想定される、見る者の相対的な注意量についての所定の評価を概算したものである、請求項１３に記載の装置。
【請求項１５】
前記映画脚本構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、
前記与えられたシーンと関連した字幕情報、または、
前記与えられたシーンと関連したメタデータ
の１つ以上を含む、請求項１４に記載の装置。
【請求項１６】
前記ビデオ処理モジュールが、さらに、シーンタイプを決定するために顔認識を利用するように構成された、請求項１２に記載の装置。
【請求項１７】
前記ビデオ処理モジュールが、さらに、
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが時間的に前記第２の画像フレームに隣接すると決定することを含む操作を行うように構成されている、請求項１２に記載の装置。
【請求項１８】
前記ビデオ処理モジュールが、さらに、前記差分を追跡するために再帰フィルタまたは適応フィルタを利用するように構成された、請求項１２に記載の装置。
【請求項１９】
前記ビデオエンコーディングモジュールによって利用される前記エンコーダパラメータが、
動き予測範囲探索、
２次元（２Ｄ）フレームサイズ、
量子化器、または、
参照フレーム数
の１つ以上を含む、請求項１７に記載の装置。
【請求項２０】
与えられたシーンタイプをエンコーディングするビデオエンコーダによって使用され、予め規定された複数のエンコーダパラメータの１つ以上の組をそれぞれ有するシーンタイプを用いてビデオストリームをエンコーディングする方法であって、
入力ビデオストリームを受信することと、
シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割することであって、各シーンは、複数の時間的に隣接した画像フレームを備えており、与えられたシーン境界は、前記入力ビデオストリームの映画脚本構造情報に従って決定され、前記映画脚本構造情報は、前記入力ビデオストリームのストーリーライン構成の情報を備えている、ことと、
連続的な判断ウォーターフォール処理により計算された所定のスケールにおける評価に基づいて、前記複数のシーンのそれぞれのためのシーンタイプを決定することと、
前記シーンタイプに従って前記複数のシーンのそれぞれをエンコーディングすることとを備えた、方法。
【請求項２１】
前記入力ビデオストリームのタイムラインにおいて第１の画像フレームが、第２の画像フレームに隣接する少なくとも１つの位置を有するとき、前記第１のフレームが前記第２の画像フレームに時間的に隣接すると決定することをさらに備えた、請求項２０に記載の方法。
【請求項２２】
前記映画脚本構造情報が、相対的なアテンションパラメータを含み、
前記相対的なアテンションパラメータは、前記入力ビデオストリームの複数のビデオセグメントのそれぞれに想定される、見る者の相対的な注意量についての所定の評価を概算したものであり、複数のビデオセグメントのそれぞれは、複数のシーンを備え得る、請求項２０に記載の方法。
【請求項２３】
前記映画脚本構造情報は、さらに、
時間範囲特定、
前記与えられたシーンからの動き予測ロード
前記与えられたシーンからの文字情報、
前記与えられたシーンと関連した音声コンテンツ、または、
前記与えられたシーンと関連した字幕情報、
の１つ以上を含む、請求項２２に記載の方法。
【請求項２４】
与えられたシーンタイプが、
アクションシーン、
オープニングシーン、
ヘッドショットシーン、
ダイアログシーン
クレジットシーン、
の１つ以上を含む、請求項２０に記載の方法。
【請求項２５】
前記連続的な判断ウォーターフォール処理が、
前記入力ビデオストリームのタイムラインにおける与えられたシーンの位置を決定して、前記位置に従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンのプレイタイムの長さを決定して、前記プレイタイムの長さに従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンの動き予測を決定して、動きベクトルの大きさに従う所定のスケールに基づいてスコアを割り当てることであって、前記動き予測は、前記モーションベクトルの大きさの尺度である、ことと、
前記与えられたシーンの前のシーンからの有効差分を決定して、前記差分に従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンのスペクトルデータサイズを決定して、前記スペクトルデータサイズに従う所定のスケールに基づいてスコアを割り当てることと、
顔認識を利用して顔構造を識別して、複数の前記顔構造に従う所定のスケールに基づいてスコアを割り当てる、ことと、
前記与えられたシーンにおける光学文字認識を用いて文字情報を識別して、前記文字情報の量に従う所定のスケールに基づいてスコアを割り当てることと、
前記与えられたシーンの映画脚本構造情報から観客の関心レベルを決定して、前記観客の関心レベルに従う所定のスケールに基づいてスコアを割り当てることと
を備えた、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１１年１月２８日に出願された米国仮特許出願第６１／４３７，１９３、及び、２０１１年１月２８日に出願された米国仮特許出願第６１／４３７，２１１に対する優先権を主張し、その内容は、本明細書に明示的に取り込まれる。
【０００２】
技術分野
本発明は、ビデオエンコーディング技術に関し、特に、ビデオエンコーディングのためのビデオエンコーディングパラメータの自動的な選択に関する。
【背景技術】
【０００３】
ビデオストリーミングが、日常的な使用者の間で普及し使用され続けているが、克服されることが必要である本質的制限がある。例えば、ユーザは、そのようなビデオストリーミングを得るために、限られた帯域幅のみを有するインターネットを介してビデオを見たい場合が多い。例えば、ユーザは、携帯電話接続や家庭内無線接続を介してビデオストリームを得たい場合がある。いくつかの場面では、ユーザは、コンテンツをスプールする（すなわち、後の視聴のためにコンテンツをローカルストレージにダウンロードする）ことによって、十分な帯域幅の不足を補っている。この方法には、多くの欠点がある。まず、ユーザは、「ランタイム」でのリアルタイム体験をすることができない−すなわち、ユーザは、プログラム（番組）を見ようと決めた時点で視聴することが不可能である。代わりに、ユーザは、プログラムを視聴する前に、コンテンツがスプールされる著しい遅延を体験しなければならない。もう１つの欠点は、ストレージの可用性にある−プロバイダまたはユーザは、たとえ短期間であってもスプールされたコンテンツの格納を確保するためのストレージリソースを担う必要があり、高価なストレージリソースを無駄に利用することになる。
【０００４】
ビデオストリーム（一般的に、画像部分と音声部分とを含んでいる）は、特に高解像度（例えば、ＨＤビデオ）において相当な帯域幅を要し得る。音声は、一般的に、要する帯域幅はかなり少ないが、依然として考慮が必要な場合がある。ビデオをストリーミングする１つの取り組みは、ビデオストリームを大きく圧縮して迅速なビデオ送達を可能とし、それによって、ユーザがコンテンツをランタイムで、または、実質的に即座に（すなわち、実質的なスプール遅延を体験することなく）視聴することを可能にすることである。一般的に、非可逆圧縮（すなわち、完全に可逆ではない圧縮）は、可逆圧縮に比べて大きく圧縮されるが、強い非可逆圧縮は、望ましくないユーザ体験を与える。
【０００５】
デジタルビデオ信号を送信するのに要求される帯域幅を低減するために、（ビデオデータ圧縮の目的で）デジタルビデオ信号のデータ比率が実質的に低減され得る効率的なデジタルビデオエンコーディングを使用することが、よく知られている。相互運用性を確保するために、ビデオエンコーディング標準は、多くの専門家用及び消費者用のアプリケーションにおいてデジタルビデオの採用を促進することに重要な役割を果たしてきた。最も有力な標準は、国際電気通信連合（ＩＴＵ−Ｔ）、または、ＩＳＯ／ＩＯＣ（国際標準化機構／国際電気標準会議）のＭＰＥＧ（動画専門家集団）１５委員会、のいずれかによって、従来より開発されている。勧告として知られるＩＴＵ−Ｔ標準は、一般的に、リアルタイム通信（ビデオ会議）を目的とする一方、ほとんどのＭＰＥＧ標準は、ストレージ（例えば、デジタル多目的ディスク（ＤＶＤ））及び放送（例えば、デジタルビデオ放送（ＯＶＢ）標準）のために最適化されている。
【０００６】
現在、標準化されたビデオエンコーデングアルゴリズムは、ハイブリッドビデオエンコーディングに基づく。ハイブリッドビデオエンコーディング方法は、一般的には、望ましい圧縮ゲインを達成するために、数種の異なる可逆圧縮方式及び非可逆圧縮方式を組み合わせる。ハイブリッドビデオエンコーディングは、また、ＩＳＯ／ＩＥＣ標準（ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４といったＭＰＥＧ−ｘ）と同様に、ＩＴＶ−Ｔ標準（Ｈ．２６１，Ｈ．２６３といったＨ．２６ｘ標準）の基礎でもある。最新かつ最先端のビデオエンコーディング標準は、今のところ、Ｈ．２６４／ＭＰＥＧ−４アドバンスドビデオコーディング（ＡＶＣ）として示される標準であり、これは、合同ビデオチーム（ＪＶＴ）、ＩＴＶ−ＴとＩＳＯ／ＩＥＣ  ＭＰＥＧ集団との合同チームによる標準化努力の結果である。
【０００７】
Ｈ．２６４標準は、ＭＰＥＧ−２のような確立された標準から知られているブロックベースの動き補償ハイブリッド変換コーディングと同じ原理を採用する。従って、Ｈ．２６４規則は、通常、ピクチャヘッダ、スライスヘッダ、及びマクロブロックヘッダといったヘッダ、及び、動きベクトル、ブロック変換、係数、量子化スケール等といったデータの階層として組織される。しかし、Ｈ．２６４標準は、ビデオデータを表すビデオコーディングレイヤ（ＶＣＬ）と、データをフォーマットし、ヘッダ情報を提供するネットワークアダプテーションレイヤ（ＮＡＬ）とを分離している。
【０００８】
さらに、Ｈ．２６４では、大きく増加したエンコーディングパラメータの選択が可能となる。例えば、それは、１６×１６マクロブロックの精巧な分割及び取り扱いを可能とし、それによって、例えば、動き補償処理が、４×４サイズにまで小さなマクロブロックのセグメントで実行され得る。また、サンプルブロックの動き補償予測のための選択処理は、隣接した画像だけでなく、先にデコーディングされ記憶された多くの画像に関与していてもよい。単一フレーム内のイントラコーディングを用いた場合であっても、同じフレームから先にデコーディングされたサンプルを使用して、ブロックの予測を形成することが可能である。また、動き補償に続き結果として生じる予測エラーは、従来の８×８ブロックサイズの代わりに、４×４ブロックサイズに基づいて変換され、量子化され得る。加えて、ブロックアーティファクトを低減するループデブロッキングフィルタが使用されてもよい。
【０００９】
Ｈ．２６４標準は、Ｈ．２６２／ＭＰＥＧ−２ビデオエンコーディング規則の上位セットとみなすことができ、ビデオデータについて同様の全体構造を使用すると同時に、可能なコーディング決定及びコーディングパラメータの数を拡張している。多様なコーディング決定を有する結果、ビットレートと画像品質との間の良好なトレードオフが達成され得る。しかし、Ｈ．２６４標準は、ブロックベースのコーディングにおける典型的なアーティファクトを顕著に低減する一方で、他のアーティファクトを強めることが一般に認識されている。Ｈ．２６４によって種々のコーディングパラメータのために可能な値が増加したことにより、エンコーディング処理を改良する可能性が増したが、ビデオエンコーディングパラメータの選択による影響の受けやすさも増すことにもなる。
【００１０】
他の標準と同様、Ｈ．２６４は、ビデオエンコーディングパラメータの選択のための規範プロシージャを特定しないが、リファレンス実装を通して、多数の基準を記述しており、その基準は、コーディング効率とビデオ品質と実装の実用性との間の適切なトレードオフを達成することなどのために、ビデオエンコーディングパラメータを選択するために使用され得る。しかし、記述された基準は、コンテンツ及びアプリケーションの全種類に適切なコーディングパラメータを、いつも最適に、または適切に選択する結果になるとは限らない。例えば、その基準は、ビデオ信号の特性に最適なまたは望ましいビデオエンコーディングパラメータを選択する結果とならなかったり、現行のアプリケーションに適切ではないエンコーディング信号の特性を得ることに基づいていたりすることがある。
【００１１】
従って、ビデオエンコーディングのための改良されたシステムがあれば、それは有利である。
【００１２】
上述した関連技術及びそれに関連した限定の例は、例示であり、限定的ではないことが意図される。関連技術の他の限定は、明細書の閲覧及び図面の検討によって明らかになる。
【発明の概要】
【００１３】
本教示は、ビデオストリームをエンコーディングするための種々の方法、システム、及びエンコーダを企図する。ここに提示されるのは、ビデオストリームをエンコーディングするためのエンコーダである。そのエンコーダは、入力ビデオストリームを受信し、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングし得るところのエンコーディングされたビデオストリームを出力する。本発明の実施形態において、エンコーダは、ビデオストリームまたは記憶されたシークエンスを、１組のパラメータを用いて最初にシーンの境界を認識し、シーンの境界（すなわち、１つ以上の画像フレームを含む「シーンシークエンス」）間のフレームをエンコーディングすることによって、復元する。
【００１４】
本発明の一実施形態において、シーン変化は、ビデオストリームにおいて識別される。シーン変化では、カメラが、突然、一の視野角から他へと変化するため、シーン変化の各側での２つのフレーム間の相違が、同じ視野角からの他のフレームショットと同程度には圧縮できないようになる。少なくとも２つの異なるシーンシークエンスのために、異なる組のパラメータが使用され、このことは、適応性のある、シーンに基づくエンコーディングを提供する。
【００１５】
この概要は、以下の詳細な説明においてさらに示されるところの単純化された形態における概念の選択を導入するために提供される。この概要は、クレームされた主題の重要な特徴または本質的な特徴を識別することを意図するものであり、クレームされた主題の範囲を限定するために用いられることを意図するものではない。
【図面の簡単な説明】
【００１６】
本発明の１つ以上の実施形態が、実施例によって示されるが、添付の図面によって限定されるものではなく、同様に付された符号は、同じ要素を示す。
【図１】図１は、エンコーダの例を示す。
【図２】図２は、入力ビデオストリームをエンコーディングする方法の工程を示す。
【図３】図３は、複数のシーンシークエンスへと入力ビデオストリームを分割する方法の工程を示す。
【図４】図４は、シーンシークエンスのシーンタイプを決定する方法の工程を示す。
【図５．１】図５．１は、フレームにおける動き予測を説明するブロック図を示す。
【図５．２】図５．２は、フレームにおける動き予測を説明するブロック図を示す。
【図５．３】図５．３は、フレームにおける動き予測を説明するブロック図を示す。
【図５．４】図５．４は、フレームにおける動き予測を説明するブロック図を示す。
【図５．５】図５．５は、フレームにおける動き予測を説明するブロック図を示す。
【図５．６】図５．６は、フレームにおける動き予測を説明するブロック図を示す。
【図６】図６は、ここに記載される一定の技術を実装するエンコーダを実装するために使用される操作システムのブロック図を示す。
【発明を実施するための形態】
【００１７】
詳細な説明
本発明の種々の側面が、ここに説明される。以下の説明は、これらの例の理解及び説明を可能とすることを通して特定の詳細が提供される。しかし、当業者は、これら多くの詳細なしで本発明が実行され得ることを理解する。加えて、関連のある説明を不必要に不明瞭にすることを避けるために、いくつかのよく知られた構造または機能は、示されない、または、説明されない。図は、機能的に分離した構成要素として描かれるが、そのような描写は、単に説明の目的のために過ぎない。この図の構成成分に描かれた構成要素が任意に組み合わされ、または、分離した構成要素に分割され得る。
【００１８】
以下に示される説明に使用される用語は、本発明の特定の例の詳細な説明と結合して使用されているが、最も広く合理的な態様において解釈されることが意図される。以下では、特定の用語が強調されることがあり得るが、いかなる限定された態様において解釈されることが意図されたいかなる用語も、この詳細な説明欄において、明らかに及び特に、そのように定義されたものである。
【００１９】
本明細書において「実施形態」、「一実施形態」等への言及は、記載される特別な特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。この明細書中のそのような語句の出現は、必ずしも全て同じ実施形態について言及するものではない。
【００２０】
本発明の一実施形態において、エンコーダは、入力ビデオストリームを受信し、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングされ得るところのエンコーディングされたビデオストリームを出力する。エンコーダは、入力ビデオストリームを受信するための入力モジュールと、シーン境界に基づいて前記入力ビデオストリームを複数のシーンに分割するビデオ処理モジュールであって、前記入力ビデオストリームにおける時間的に隣接した２つの画像フレームの関連性に従って、与えられたシーン境界を決定するビデオ処理モジュールと、複数のシーンのそれぞれのためのシーンタイプを決定する前記ビデオ処理モジュールであって、各シーンタイプが、与えられたシーンタイプをエンコーディングするためのビデオエンコーダによって使用される複数の所定のエンコーダパラメータの１つまたはそれ以上と関連している、前記ビデオ処理モジュールと、複数のシーンのそれぞれと関連したシーンタイプに従って複数のシーンのそれぞれをエンコーディングするビデオエンコーディングモジュールとを備える。
【００２１】
この態様において、エンコーダは、エンコードされている入力ビデオストリームにおけるシーンのそれぞれを最も満足させる品質で、入力ビデオストリームをエンコーディングし得る。
【００２２】
図１は、本発明の一実施形態に係るエンコーダ１００の一例を示す。エンコーダ１００は、入力ビデオストリーム１１０を受信し、入力ビデオストリーム１１０の実体を少なくともほぼ復元するためのデコーダでデコーディングされ得るところのエンコーディングされたビデオストリーム１２０を出力する。エンコーダ１００は、入力モジュール１０２と、ビデオ処理モジュール１０４と、ビデオエンコーディングモジュール１０６とを備えている。エンコーダ１００は、ハードウェア、ソフトウェア、または、いかなる適切な組み合わせにおいて実装され得る。エンコーダ１００は、パラメータ入力モジュール、パラメータを記憶するためのメモリ等のような他の構成要素を含んでいてもよい。エンコーダ１００は、ここにおいて特に記載されない他のビデオ処理機能を行ってもよい。
【００２３】
入力モジュール１０２は、入力ビデオストリーム１１０を受信する。入力ビデオストリーム１１０は、いかなる適切な形態をとってもよく、メモリといった適切な源に由来としても、または、生放送に由来してもよい。
【００２４】
ビデオ処理モジュール１０４は、入力ビデオストリーム１１０を解析し、そのビデオストリーム１１０を、複数のシーンのそれぞれのための各ビデオエンコーディングパラメータと一緒に、複数のシーンに分ける。一実施形態において、ビデオ処理モジュール１０４は、シーン境界に基づいて、そのビデオストリームを複数のシーンに分割し、そのシーン境界は、入力ビデオストリームにおける時間的に隣接する２つの画像フレームの関連性に従って、決定される。ビデオ処理モジュール１０４は、さらに、複数のシーンのそれぞれのためにシーンタイプを決定する。最後に、ビデオ処理モジュール１０４は、ビデオエンコーダ１０６によって用いられるビデオエンコーディングパラメータを決定し、ここで、ビデオエンコーダ１０６は、各シーンタイプを、複数の所定のエンコーダパラメータの１つ以上に関連付けることによって、各シーンをエンコーディングするためのものである。そのパラメータは、各シーンタイプのために予め規定されても、ビデオストリーミング処理の間に計算及び／または取り込まれてもよい。ビデオエンコーディングモジュール１０６は、複数のシーンと、ビデオ処理モジュール１０４からの各ビデオエンコーディングパラメータとを受信して、各エンコーディングパラメータに従って複数のシーンのそれぞれをエンコーディングし、エンコーディングされたビデオストリーム１２０を出力する。
【００２５】
図２は、入力ビデオストリームをエンコーディングする方法２００のステップを示す。方法２００は、入力ビデオストリームを、入力ビデオストリームの実体を少なくともほぼ復元するためのデコーダでデコーディングされ得るところのエンコーディングされたビデオビットストリームへとエンコーディングする。ステップ２１０では、その方法は、エンコーディングされる入力ビデオストリームを受信する。ステップ２２０では、そのビデオストリームは、シーン境界に基づいて、複数のシーンに分けられる。ここでは、図３を参照して以下でさらに詳細に議論されるように、その方法は、入力ビデオストリームにおける時間的に隣接する２つの画像フレームの関連性に従って、シーン境界を決定する。しかし、他の種々のいかなる適切なメカニズムも、シーンタイプ間での識別に利用され得る。それから、ステップ２３０では、その処理は、複数のシーンのそれぞれのために、シーンタイプを決定する。ステップ２４０では、その処理は、以下でもさらに詳細に議論されるように、適切な所定のエンコーディングパラメータで各シーンのタイプをマッピングすることによって各シーンをエンコーディングするために、ビデオエンコーディングパラメータを決定する。ステップ２５０では、その処理は、各シーンのそれぞれのビデオエンコーディングパラメータに従って、（例えば、ステップ２４０で決定されるように）シーンをエンコーディングする。ステップ２６０では、その処理は、エンコーディングされたビデオビットストリームを出力する。
【００２６】
上記の処理は、以下の段落で、より詳細に述べる。入力ビデオストリームは、一般的に、多様な画像フレームを含んでいる。各画像フレームは、一般的に、入力ビデオストリームにおける明確な「時間位置（タイムポジション）」に基づいて識別され得る。実施形態においては、入力ビデオストリームは、部分、または、別々のセグメントにおいてエンコーダに利用可能にされるところのストリームであり得る。そのような場合には、エンコーダは、エンコーディングされたビデオビットストリームを（例えば、ＨＤＴＶといった最終消費者の装置へと）、全入力ビデオストリームを受信する前に循環ベースでのストリームとして出力する。
【００２７】
実施形態において、入力ビデオストリーム、及び、エンコーディングされたビデオビットストリームは、ストリームのシークエンスとして記憶される。ここでは、エンコーディングは、定刻前に実行され、それから、エンコーディングされたビデオストリームは、遅れた時間に、消費者の装置へとストリーミングされる。ここでは、エンコーディングは、消費者の装置へとストリームされている前に、全ビデオストリームにおいて完全に実行される。ビデオストリームの前、後、または、「インライン」エンコーディング、またはそれらの組み合わせの他の例が、当業者よって熟慮され得るように、ここに導入される技術との結合において熟慮され得ることが、理解される。
【００２８】
実施形態において、入力ビデオストリーミングにおけるシーン境界は、最初に、各画像フレームに存在する高周波数成分を測定し除去することによって、決定される。次に、入力ビデオストリームのタイムラインにおける互いに時間的に隣接する２つの画像フレーム間の差分が、決定される。いくつかの場合には、例えば、２つの画像の差分は、再帰フィルタまたは適応フィルタを使用して、識別され得る。計算された差分が、シーン変化を示す閾値を超える場合、２つの画像フレームは、２つの異なるシーンシークエンスの部分として決定され、従って、シーン境界が、２つの画像フレームの間で確立される。時間的に隣接する画像イメージ間でシーン境界決定処理が繰り返されることによって、入力ビデオストリームが、例えば整列したシーンシークエンスのセットに分割され得る。
【００２９】
実施形態では、上記図２に参照において示すように、シーンタイプは、エンコーディング処理と併せて、複数のシーンシークエンスのそれぞれのために決定される。例えば、シーンタイプは、以下のシーンシークエンスパラメータの１つ以上を利用することによって決定される：（ｉ）入力ストリームのタイムラインにおけるシーンシークエンスの位置；（ｉｉ）シーンシークエンスの長さ；（ｉｉｉ）その動きベクトル予測；（ｉｖ）シーンシークエンスの前のフレームとの有効差分；（ｖ）シーンシークエンスのスペクトルデータサイズ；（ｖｉ）光学文字認識を用いて決定されるシーンの文字の内容；（ｖｉｉ）映画脚本構造情報等に基づくシーンの映画脚本の特性；等。加えて、例えば、シーンタイプの決定において、シーンシーケンスが各個人の顔を含んでいるかどうかを決定するために、顔認識が用いられてもよい。
【００３０】
与えられたシーンタイプは、例えば、「高速動き」、「静止」、「トーキングヘッド」、「文字」、「スクロールクレジット」、「ほとんど黒色の画像」、「５つ以下の画像フレームの短いシーン」等を含む。例えば、シーンシークエンスは、特定のシーンタイプに割り当てられなくてもよい。他に例えば、割り当てられたシーンシークエンスは、「雑多」、「不明」、「デフォルト」等といったシーンタイプを含む。
【００３１】
実施形態において、一旦シーンタイプが割り当てられると、シーンシークエンスがエンコーディングされる。例えば、そのようなエンコーディングは、１組のソフトウェアまたはハードウェアに従ってパラメータ化されたエンコーディング処理を行うことによって、実行される。ここでは、例えば、１組の高度に最適化されたパラメータが、シーンタイプに従ったエンコーディングの詳細を制御するために利用され得る。複数のパラメータは、シーンタイプのデータベースや他のデータ構造、または、機械学習システムに記憶され得る。説明する例では、メモリに記憶され、エンコーダによってアクセス可能なデータベースは、表１に示される構造を有し得る。エンコーディングに使用されるがシーンタイプのデータベースにおいて特に設定されないパラメータは、エンコーディング処理の開始時に決定されるデフォルトのパラメータ値を利用し得る。例えば、デフォルトのパラメータ値は、入力ビデオストリームをエンコーディングするために利用されるエンコーディング標準によって推奨される値に基づいて決定され得る。
【００３２】
【表１】
2017123649.tif 000003
【００３３】
図３は、入力ビデオストリームにおけるシーン境界を決定するための方法または処理３００のステップを示す。ステップ３１０では、その処理は、シーン境界が決定されることを必要とする現在のフレーム（ｉ）及び前のフレーム（ｉ−１）からの高周波数成分を測定する。少なくともいくつかの実施形態において、ステップ３２０では、その処理は、現在のフレーム（ｉ）及び前のフレーム（ｉ−１）からの高周波数成分を除去する。一実施形態において、変換コーダは、画像フレームにおけるピクセルデータを周波数係数に変換する。周波数領域において、低周波数データは、高周波数データよりも大きな、人間の知覚的重要度を有する。ステップ３１０及び３２０は、解析が、フレームにおける知覚的に重要な低周波数成分に基づくものであることを可能にする。
【００３４】
ステップ３３０では、現在のフレーム（ｉ）の輝度を計算する。輝度値は、発光（luminescence）としても知られており、画像の明るさ（「モノクロ」または無色の部分）を表す。
【００３５】
ステップ３４０では、現在のフレーム（ｉ）及び前のフレーム（ｉ−１）に基づく投影の輝度値が、計算される。該投影は、前のフレーム（ｉ−１）に基づく部分空間への現在のフレーム（ｉ）の投影である。該部分空間は、前のフレーム（ｉ−１）の特異値分解によって得られる。
【００３６】
ステップ３５０では、ステップ３３０及び３４０にて得られた輝度値の差分に基づく残差が、算出される。ステップ３６０では、その処理は、例えば、再帰フィルタまたは適応フィルタを用いて、いかなる残差もフィルタリングし、０〜１のスコア範囲での残差をマッピングする。適応フィルタは、残差におけるアーティファクトを、繰り返しフィルタリングすることを手伝う。ステップ３７０では、その処理は、標準化されたスコアが最初の閾値よりも大きいとき、シーン変化を示し、入力ビデオストリームにおけるシーン境界を示す。一実施形態において、そのような最初の閾値の例示的な値は、０．６５である。ステップ３８０では、例えば、入力ビデオストリームをシーンにおける整列したシークエンスに分割するために、ステップ３１０から３７０が、入力ビデオストリームにおける各フレームのために繰り返される。
【００３７】
図４は、与えられたシーンシークエンスのためのシーンタイプを決定するための処理４００を示す。ステップ４１０では、その処理は、入力ビデオストリームのタイムラインにおけるシーンの位置を決定する。該シーンの位置に基づいて、スコアが、例えば、１〜５のスケールに割り当てられる。説明の例では、スコアの１は、シーンが入力ビデオストリームの開始時であることを示し得、スコアの５は、入力ビデオストリームの終了時であることを示し得る。
【００３８】
ステップ４２０では、その処理は、シーンシークエンスのプレイタイムの長さを決定し、同一基準のスコアに割り付ける（例えば、スケールの１〜５）。説明の例では、スコアの１は、１０秒未満のシーン長さを意味し得、スコアの５は、５０秒を超える長さのシーンを意味し得る。
【００３９】
ステップ４３０では、その処理は、シーンシークエンスにおける動き予測を実行し、同一基準のスコアに割り付ける（例えば、スケールの１〜５）。例えば、スコアの１は、動きベクトルがほとんど無いか、または全く無いシーンを意味し得、スコアの５は、シーンを横切る大きな動きベクトルを有するシーンを意味し得る。動き予測（ＭＥ）は、一般に、圧縮の間に、ビデオシークエンスにおける時間的な冗長性を探索するために用いられる技術である。時間的な冗長性は、隣接するフレームがしばしば同様のピクセル領域を共有するという事実に起因する。従って、動き予測の目的は、隣接するフレームを横切るそのような同様な領域（マクロブロック）の変更を予測することであり、これにより、それらが示差的にエンコーディングされる。ブロックベースのＭＥにおいて、同様な領域の置き換えは、動きベクトルによって表され、それは、ブロックマッチングアルゴリズムによって計算される。
【００４０】
ステップ４４０では、その処理は、与えられたシーンシークエンスと前のシーンシークエンスとの間の有効差分を計算する。その有効差分に基づいて、その処理は、同じ基準のスコアを（例えば、スケールの１〜５に）割り当てる。説明の例では、スコアの１は、シーン間でほとんど差を示し得ず、スコアの５は、ｘｙｚ閾値よりも大きな差を示し得る。代表的な例では、有効差分は、ステップ３１０〜３７０を参照して上述と同じスコアの原理を用いて計算され得る。
【００４１】
ステップ４５０では、その処理は、シーンシークエンスのスペクトルデータサイズを決定する。そのスペクトルデータサイズに基づいて、スコアは、例えばスケールの１〜５に割り当てられる。説明の例では、スコアの１は、低スペクトルデータを有するシーンを示し、スコアの５は、高スペクトルデータを有するシーンを示し得る。一実施形態では、変換コーディング技術は、ビデオデータを周波数（またはスペクトル）領域に変換し、ここにおいて、画像フレームの周波数領域の範囲は、スペクトルデータサイズを示し得る。変換コーダは、画像フレームのピクセルデータを周波数係数に変換する。周波数領域では、低周波数データは、高周波数データよりも大きな、人間の知覚的重要度を有する。
【００４２】
ステップ４６０では、その処理は、例えば顔認識ソフトウェアを用いてシーンシークエンスにおける顔構造の探索を、任意に（または、いくつかの例では強制的に）実行する。探索結果に基づいて、例えば、スコアの１〜５にスコアが割り当てられる。ここでは、説明の例において、スコアの１は、認識される顔構造がないことを示し、スコアの５は、シーンが顔構造の高い数量を有することを示し得る。
【００４３】
ステップ４７０では、その処理は、シーンシークエンスにおける任意の文字情報を識別するために、シーンシークエンスにおける光学文字認識（ＯＣＲ）を実行する。ＯＣＲは、イメージファイルにおける絵と文字内容との区別を助ける。ＯＣＲは、そのような区別を実行するために、パターン認識、人工知能及びコンピュータビジョンを利用する。ＯＣＲ解析に基づいて、その処理は、同じ基準のスコアを（例えば、スケールの１〜５に）割り当てる。説明の例では、スコアの１は、シーンシークエンスに文字情報が無いことを示し、スコアの５は、文字情報がシーンシークエンスの内容の少なくとも３０％を構成すること、すなわち、映画のクレジットであることを示し得る。
【００４４】
ステップ４８０では、その処理は、シーンと関連した映画脚本構造の情報を決定する。少なくともいくつかの実施形態において、映画脚本構造の情報は、相対的なアテンションパラメータである。それぞれのアテンションパラメータは、与えられたシーンシークエンスに想定される、見る者の相対的な注意量についての所定の評価を概算したものである。いくつかの例では、相対的なアテンションパラメータは、与えられたシーンシークエンスがその一部となる与えられたビデオセグメントに想定される、見る者の相対的な注意量についての所定の評価を概算したものである。その解析に基づいて、その処理は、同じ基準のスコアを（例えば、スケールの１〜５に）割り当てる。説明の例では、スコアの１は、シーンシークエンスの内容について見る者の関心が低いことを示し、スコアの５は、シーンシークエンスの内容について見る者の関心が高いことを示し得る。
【００４５】
ステップ４９０では、その処理は、ステップ４１０〜４８０からのスコアに基づいて、シーンシークエンスのためのシーンタイプを決定する。一実施形態において、ステップ４１０〜４８０からのスコアを用いるシーンタイプの決定は、ウォーターフォール処理に基づき得る。ウォーターフォール処理は、線形の、最初から最後までの、連続的な判断処理であり、その処理は、一般に、その経路に沿って最終決定まで到達するところのいかなる中間決定にも立ち戻らない。
【００４６】
説明の例では、映画の最後にクレジットを伴うシーンは、一般に、上側または下側の方向に移動する文字を有する。そのようなシーンシークエンスは、一般的に、小さいが一定の動きベクトルを有しており、そのスコアは２以下であり、文字の方向に依存して、上側または下側のいずれかを指す。加えて、そのシーンシークエンスは、通常、シーンコンテンツの例えば３０％よりも多くを構成している、映画クレジットの形態での文字を含む。その光学文字認識処理は、一般に、シーンを４以上でスコアリングする。映画クレジットが、どの映画においても一般的なパートであって、映画のタイムラインの最後における必須パートを構成することを考慮して、ウォーターフォール処理は、最初に、他のシーンタイプの確認を実行する前に、シーンが「スクロールクレジット」タイプであるか否かを確認する。その例では、スコアが２であることによって、関係したシーンタイプが「スクロールクレジット」タイプであることが強力に示唆され、これにより、一旦シーンがそのようにタグ付けられると、そのシーンのためのシーンタイプの決定が、終了され得る。シーンタイプが「スクロールクレジット」タイプではないと決定されると、ウォーターフォール処理は、「スクロールクレジット」タイプとは別のシーンタイプのうちの１つであるか確かめるために、シーンシークエンスを確認する。また、一旦ウォーターフォール処理が、与えられたシーンが特定のタイプではないと決定すると、その処理は、一般に、その特定のシーンタイプに対してそのシーンを再評価することはない。
【００４７】
他の説明の例では、セコイヤの木を捕えたシーンは、一般に、緑の葉とその周囲とを含んでいる。葉は、一般的に、シーンのコンテンツの主要な部分を構成する。木の枝及び葉は、最小限の動きを有する一方、木自身は、静止しているため、そのようなシーンは、ほとんど動きベクトルがないか、または、ランダムな動きベクトルを有し得る。動き予測スコアは、ゼロに近い。さらに、シーンにおけるいかなる文字情報も、一般に、そのシーンの短い記述であり得、その結果、低い文字コンテンツのスコアとなる。しかし、シーンの葉における緑は、スペクトルデータの高周波領域において捕えられるため、そのスペクトル解析は、高スコアとなる。前述したように、低周波数スペクトルデータは、高周波数データよりも大きな人間の知覚的重要度を有し、高スペクトルデータを有する画像を比較的低品質でエンコーディングすることを可能とする。そのスコアに基づいて、ウォーターフォール処理は、シーンシークエンスが「静止シーン」タイプであって、最初のフレームでは高いエンコーディング品質を要し、その後は低品質の残余エンコーディング及び低いデブロックフィルタリングを要するタイプであることを決定する。
【００４８】
上記記載は、シーン境界及びシーンタイプを決定するための処理を示した。シーンタイプの決定のために、少なくともいくつかの例では、シーンシークエンスにおいて動きベクトルによって表される動きの大きさを決定するために、シーンにおける動き予測を決定し、解析することが、有用である。ここで、図５は、ここでさらに詳細に説明されるように、シーンシークエンスにおける動き予測の代表的な処理を示す。動き予測（ＭＥ）は、一般に、圧縮の間に、ビデオシークエンスにおける時間的な冗長性を探索するために使用される技術である。時間的な冗長性は、隣接するフレームがしばしば同様のピクセル領域を共有するという事実に起因する。従って、動き予測の目的は、隣接するフレームを横切るそのような同様な領域（マクロブロック）の変更を予測することであり、これにより、それらが示差的にエンコーディングされる。ブロックベースのＭＥにおいて、同様な領域の置き換えは、動きベクトルによって表され、それは、ブロックマッチングアルゴリズムによって計算される。
【００４９】
一実施形態において、ブロックマッチングアルゴリズム（ＢＭＡ）は、画像フレームにおける同様のブロックを探索し、動きベクトルを生成する。ＢＭＡは、高速サーチアプローチを使用し、それは、同じブロックが探索されている間に、サーチウィンドウの特定のポイントのみを探索する。他のアプローチにおいて、マルチ解像度動き予測として知られているように、ＭＥは、階層的に実行され、特定のフレーム領域のための動きベクトルを計算し、各レベルにおいてそれらを精密化する。ＭＥは、１つのフレームの異なる解像度を扱い、連続的に、見出された動きベクトルを精密化する。他の方策は、ＭＥステージを同時に行うために、ＢＭＡにおける並列を見つけるように調べる。
【００５０】
図５は、動き予測のための代表的なアプローチを示す。ここでは、実施形態において、連続したフレーム（例えば、異なるポジションでのフレーム）において見出されるところの１つのフレームのマクロブロックの画像が、動きベクトルの使用によって伝達される。図５．１及び図５．２は、参照フレーム、及び、所望のフレームを、それぞれ表す。フレームは、マクロブロックに分割され、例えば、４×４〜１６×１６の範囲にあるサイズに分割される。実施形態において、参照フレームの各マクロブロックが所望のフレームにおけるマクロブロックと比較されることにより、マクロブロック間での一致を検知する。図５．３及び５．４は、それぞれのマクロブロックに解体された参照フレーム及び所望のフレームを示し、それらは、お互いに対して比較される。図５．５は、所望のフレームにおいてマクロブロックと一致する参照フレームからのマクロブロックを表すが、それらのマクロブロックは、それぞれのフレームにおける同じグリッドポジションには存在していない。図５．６は、参照フレームにおけるマクロブロックのポジションに関して所望のフレームにおけるマクロブロックのポジションを伝達するために、エンコーダによって生成される動きベクトルを表す。こうして、動き予測は、シーンシークエンスにおける動きベクトルを決定し、シーンシークエンスにおける動きベクトルの大きさによって影響されるシーンタイプの決定を可能とする。
【００５１】
上記記載では、動き予測に基づいてシーンタイプを決定する処理を示した。シーンタイプを決定するためには、少なくともいくつかの例では、シーンに関連した映画脚本の構造的な情報を決定し、解析することが有用である。映画脚本の構造的な情報は、適切なシーンタイプを決定するために映画のストーリーラインの一般的な構成を利用し、与えられたシーンの適切なエンコーディングを可能にする。
【００５２】
映画は、一般に、映画脚本に基づく。映画脚本は、観客の注意をつかむように構成されている。映画の映画脚本の最初の部分は、「バイト−スイッチ」セグメントと呼ばれ、一般に、ほとんどの人々が映画を全て見るか否かを決定するときである。従って、ここでは、観客の視聴体験を損なわないために、画像品質は、非常に高いことが期待される。映画の映画脚本の次の部分は、「キャラクターディベロップメント」セグメントと呼ばれ、一般に、集められる観客の注意は低く、従って、前のセグメントよりも低い画像品質であり得る。映画の続くセグメントは、一般に、映画のプロットを構成しており、ここにおいて、観客の注意は、前のセグメントと比較して、より高い。その画像品質は、前の品質よりも高くなければならない。映画の次のセグメントは、「クライマックス」であり、それは、映画の最も重要な部分であり、画像の品質は高い必要がある。最後のセグメントは、映画の「クレジット」であり、それは、集められる観客の注意は非常に低い。そのセグメントは、観客の視聴体験に影響を及ぼすことなく、より低品質の画像を利用することができる。
【００５３】
一実施形態において、シーンタイプを決定するために使用される映画脚本の構造的な情報は、映画のタイムラインに基づき得る。例えば、与えられたシーンが映画の開始の部分であるときには、そのシーンシークエンスは、高い観客の注意をつかむ「バイト−スイッチ」シーンとして分類され得る。そのシーンシークエンスは、スケールにおいて５とスコアリングされ、観客の関心が高いことを示し得る。さらなる例として、与えられたシーンが映画の中の３０分であるときには、その映画のセグメントはキャラクターディベロップメントを含むと想定され得る。キャラクターディベロップメントセグメントでは、得られる観客の注意は低い。従って、キャラクターディベロップメントの部分であるいかなるシーンシークエンスも、スケールにおける２としてスコアリングされ得る。このように、タイムライン情報は、シーンタイプを決定することを助ける。
【００５４】
一実施形態において、シーンタイプの決定に使用される映画脚本の構造的な情報は、相対的なアテンションパラメータであり得、ここにおいて、それぞれのアテンションパラメータは、入力ビデオパラメータの与えられたセグメントに想定される、見る者の相対的な注意量についての所定の評価を概算したものである。相対的なアテンションパラメータは、見る者によって予め決定され得るか、または、映画のディレクターからの入力に基づき得る。その情報は、入力ビデオストリームのメタデータの部分として入力ビデオストリームに含まれ得る。メタデータを分析することによって、相対的なアテンションパラメータが決定され得る。予め決定される相対的なアテンションパラメータは、入力ビデオストリームにおける与えられたシーンシークエンスのそれぞれについて、または、複数のシーンシークエンスを含む入力ビデオストリームの与えられたセグメントについて、定義される。相対的なアテンションパラメータが高い観客の注意量を示す時、スコアは、４以上であり得る。相対的なアテンションパラメータが低い観客の注意量を示すとき、スコアは、２以下であり得る。このように、相対的なアテンションパラメータは、シーンタイプを決定するために利用され得る。
【００５５】
一実施形態において、シーンタイプの決定に使用される映画脚本構造情報は、シーンシークエンス中の文字情報に基づき得るか、または、シーンシークエンスと関連したクローズドキャプションに基づき得る。両方の場合において、文字情報は、映画の映画脚本を決定するために使用される。それから、映画脚本シークエンスは、与えられたシーンに対する観客の注意を決定するために利用され得、この観客の注意は、関心の低いシーンに対してはスコア１、関心の高いシーンに対してはスコア５となる。このように、文字のコンテンツ情報はシーンタイプを決定するために利用され得る。
【００５６】
他の実施形態において、シーンタイプの決定に使用される映画脚本構造情報は、シーンシークエンスに関連した音声コンテンツに基づき得る。音声コンテンツは、例えば、音声コンテンツのラウドネス（振幅）、人間の発話、静けさ、言語認識、言語識別、楽譜、音響効果、サラウンドサウンド等であり得る。説明の例では、音声コンテンツのラウドネスは、シーンシークエンスがその部分となる映画脚本セグメントを決定するために使用され得る。映画の中のアクションセグメントは、一般に、それらに関連した音の大きな音声コンテンツを有する。音の大きな音声コンテンツは、観客に十分な注意を与えるために必要とされる。さらに、アクションシーンは、一般的には、爆発のような特殊効果を含み、それは、音の大きな音声コンテンツを生成する。一方、キャラクターディベロップメントに関する映画のセグメントは、一般に、人間が聞き取れる振幅か、または、爆発といった特殊効果がほとんどない通常の範囲でのダイアログを含む。観客の注意は、一般的に、映画のキャラクターディベロップメントフェーズでは低い。このように、音声コンテンツのラウドネスは、与えられたシーンに対する観客の注意を決定するために利用され得、この観客の注意は、振幅の小さいシーンに対してはスコア１、振幅の大きいシーンに対してはスコア５となる。このように、音声コンテンツの振幅（ラウドネス）は、観客の注意に基づいてシーンタイプを決定するために利用され得る。
【００５７】
他の説明の例では、シーンシークエンスに関連した音響効果は、シーンシークエンスがその部分となる映画脚本セグメントを決定するために使用され得る。音声コンテンツにおいてテンポを増加させるといった特別な音響効果は、一般に、映画における興味を引く意外な展開、陽気なアクションシークエンス等の立ち上げを示し、それらは、高い観客の注意をつかむ。一方、ほとんど音響効果がないことは、会話を含む映画のセグメントと関連する。会話は、通常、音響効果でさらに強調され得るようなドラマチックな感情変化に欠けるため、そのセグメントは、一般に、音響効果を欠いている。このように、音声コンテンツの特別なエフェクトは、与えられたシーンに対する観客の注意を決定するために利用され得、この観客の注意は、音響効果の低いシーンに対してはスコア１、音響効果の豊富なシーンに対してはスコア５となる。このように、音声コンテンツは、観客の注意に基づいてシーンタイプを決定するために利用され得る。
【００５８】
図６は、上述の任意の技術を実装するために使用される処理システムのブロック図である。該処理システムは、例えば、エンコーダである。なお、特定の実施形態では、図６に示された構成要素の少なくともいくつかは、物理的に分離しているが接続されている２以上のコンピューティングプラットフォームまたはボックスの間に分散されていてもよい。その処理は、従来のサーバクラスコンピュータ、ＰＣ、携帯通信装置（例えば、スマートフォン）、または、他の公知または従来の処理／通信装置を表す。
【００５９】
図６に示される処理システム６０１は、１つ以上のプロセッサ６１０、すなわち、中央演算ユニット（ＣＰＵ）と、メモリ６２０と、イーサネット（登録商標）アダプタ及び／または無線通信サブシステム（例えば、セルラー、ＷｉＦｉ、ブルートゥース（登録商標）等）のような少なくとも１つの通信装置６４０と、１つ以上のＩ／Ｏ装置６７０、６８０とを含み、全ては互いにインターコネクト６９０を介して接続されている。
【００６０】
プロセッサ６１０は、コンピュータシステム６０１の操作を制御し、１つ以上の一般目的または特定目的のマイクロプロセッサ、マイクロコントローラ、特定目的集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、または、そのような装置の組み合わせを含み得る。インターコネクト６９０は、１つ以上のバス、ダイレクト接続、及び／または、他の形式の物理的な接続を含むことができ、従来技術において良く知られたような、種々のブリッジ、コントローラ、及び／または、アダプタを含んでもよい。インターコネクト６９０は、さらに、「システムバス」を含んでもよく、それは、１つ以上のアダプタを介して１つ以上の拡張バスに接続され得る。そのようなものとしては、ペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）バス、ハイパートランスポートまたはインダストリ・スタンダード・アーキテクチャ（ＩＳＡ）バス、スモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）バス、ユニバーサル・シリアル・バス（ＵＳＢ）、または、インスティテュート・オブ・エレクトリカル・アンド・エレクトロニック・エンジニアズ（ＩＥＥＥ）標準１３９４バス（ときには、「ファイアワイア」と称される）が挙げられる。
【００６１】
メモリ６２０は、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、フラッシュメモリ、ディスクドライブ等といった１つ以上のタイプの１つ以上のメモリ装置であってもよく、それを有していてもよい。ネットワークアダプタ６４０は、処理システム６０１が通信接続を介したリモート処理システムとのデータ通信を可能とするのに適した装置であり、例えば、従来の電話モデム、ワイヤレスモデム、デジタル加入者線（ＤＳＬ）モデム、ケーブルモデム、トランシーバ、衛星トランシーバまたはイーサネットアダプタ等であってもよい。Ｉ／Ｏ装置６７０、６８０は、例えば、マウス、トラックボール、ジョイスティックまたはタッチパッド等のポインティング装置；キーボード；会話認識インターフェースを有するマイクロフォン；音声スピーカ；またはディスプレイ装置；等といった１つ以上の装置を含み得る。しかし、なお、そのようなＩ／Ｏ装置は、もっぱらサーバとして作動するシステムにおいては不要であってもよく、また、少なくともいくつかの実施形態ではサーバを伴う場合のように、ダイレクト・ユーザー・インターフェースを備えていなくてもよい。説明された組の構成要素における他の変形が、本発明と矛盾しない態様において実装され得る。
【００６２】
上述された動作を実行するためにプロセッサ６１０をプログラムするためのソフトウェア及び／またはファームウェア６３０は、メモリ６２０に記憶されている。一定の実施形態において、そのようなソフトウェアやファームウェアは、初めに、コンピュータシステム６０１を介して（例えば、ネットワークアダプタ６４０によって）リモートシステムからダウンロードすることによって、コンピュータシステム６０１に供給される。
【００６３】
上記で導入された技術は、例えば、ソフトウェア及び／またはファームウェアでプログラムされたプログラムで制御可能な回路（例えば、１つ以上のマイクロプロセッサ）で、または、特定目的のハードワイヤード回路全体において、または、それらの形態の組み合わせで、実装され得る。特定目的のハードワイヤード回路は、例えば、１つ以上の特定目的集積回路（ＡＳＩＣ）、プラグラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の形態であってもよい。
【００６４】
ここに導入される技術の実装における使用のためのソフトウェアまたはファームウェアは、機械読み取り可能なストレージ媒体に記憶され、一般目的または特定目的のプログラムで制御可能なマイクロプロセッサの１つ以上によって実行され得る。「機械読み取り可能なストレージ媒体」は、ここで使用される用語として、機械（機械は、例えば、コンピュータ、ネットワーク装置、セルラーフォン、パーソナル・デジタル・アシスタント（ＰＤＡ）、作製ツール、１つ以上のプロセッサを有するいかなる装置等）によってアクセス可能な形態の情報を記憶可能ないかなるメカニズムも含む。例えば、機械読み取り可能なストレージ媒体は、記録可能／記録不可能な媒体（例えば、リード・オンリー・メモリ（ＲＯＭ）；ランダム・アクセス・メモリ（ＲＡＭ）；磁気ディスクストレージ媒体；光学ストレージ媒体；フラッシュメモリ装置；等）等を含む。
【００６５】
用語「ロジック」は、ここで使用されるように、例えば、特定のソフトウェア及び／またはファームウェア、特定目的のハードワイヤード回路、または、それらの組み合わせでプログラムされたプログラム可能な回路を含む。
【００６６】
要求された主題の種々の実施形態の前述の記載は、説明及び記載のために提供された。要求された主題を、開示された正確な形態に徹底的であるかまたは限定することを意図するものではない。多くの改変及び変形は、当該分野の専門家にとって明らかである。実施形態は、本発明の原理及びそれの実際的な応用を最も良く記載するために選択され、記載されたものであり、それにより、関連技術における熟練した他者が、要求された主題、種々の実施形態を、熟慮された特定の使用に適した種々の改変を理解することを可能とする。
【００６７】
ここに提供された本発明の技術は、上述のシステムを必要とせずに他のシステムに適用され得る。上述した種々の実施形態の構成要素及び作用は、さらなる実施形態と組み合わされ得る。
【００６８】
上記記載は、本発明の一定の実施形態を記載し、熟慮されたベストモードを記載するが、上記が明細書においてどのように詳細にされても、本発明は、多くの方法で実行され得る。そのシステムの詳細は、ここに開示された本発明によって依然として包含されつつ、それの実装の詳細において相当に変形し得る。上述したように、本発明の一定の特徴または局面の記載するときに使用される特定の用語は、該用語が関連した本発明のいかなる特性、特徴または局面に該用語が限定されるためにここに再定義されていることを含むものと解されるべきではない。一般に、以下の請求項で使用される用語は、上記詳細な説明欄がそのような用語を明白に定義しない限り、本発明を、明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。従って、本発明の実質的な範囲は、開示された実施形態を包含するだけではなく、請求項に基づいて実行または実装する全ての均等物を包含する。
【図１】
2017123649.tif 000004
【図２】
2017123649.tif 000005
【図３】
2017123649.tif 000006
【図４】
2017123649.tif 000007
【図５．１】
2017123649.tif 000008
【図５．２】
2017123649.tif 000009
【図５．３】
2017123649.tif 000010
【図５．４】
2017123649.tif 000011
【図５．５】
2017123649.tif 000012
【図５．６】
2017123649.tif 000013
【図６】
2017123649.tif 000014
【外国語明細書】
2017123649.tif 000015
2017123649.tif 000016
2017123649.tif 000017
2017123649.tif 000018
2017123649.tif 000019
2017123649.tif 000020
2017123649.tif 000021
2017123649.tif 000022
2017123649.tif 000023
2017123649.tif 000024
2017123649.tif 000025
2017123649.tif 000026
2017123649.tif 000027
2017123649.tif 000028
2017123649.tif 000029
2017123649.tif 000030
2017123649.tif 000031
2017123649.tif 000032
2017123649.tif 000033
2017123649.tif 000034
2017123649.tif 000035
2017123649.tif 000036
2017123649.tif 000037
2017123649.tif 000038
2017123649.tif 000039
2017123649.tif 000040
2017123649.tif 000041
2017123649.tif 000042
【Ｆｉｇ１】
2017123649.tif 000043
【Ｆｉｇ２】
2017123649.tif 000044
【Ｆｉｇ３】
2017123649.tif 000045
【Ｆｉｇ４】
2017123649.tif 000046
【Ｆｉｇ５．１】
2017123649.tif 000047
【Ｆｉｇ５．２】
2017123649.tif 000048
【Ｆｉｇ５．３】
2017123649.tif 000049
【Ｆｉｇ５．４】
2017123649.tif 000050
【Ｆｉｇ５．５】
2017123649.tif 000051
【Ｆｉｇ５．６】
2017123649.tif 000052
【Ｆｉｇ６】
2017123649.tif 000053