(57)【特許請求の範囲】
【請求項１】
コンピュータによって実施される、ビデオシーケンス内のシーンのネイティブ解像度を決定する方法において、
前記シーンと関連づけられた第１の対数振幅スペクトルに含まれる低周波数領域を決定する工程と、
前記低周波数領域に基づいてエネルギー密度比を計算する工程と、
前記エネルギー密度比が所定のエネルギー密度閾値を超える場合に、前記低周波数領域の寸法に基づいて前記シーンの前記ネイティブ解像度を計算する工程と、
前記エネルギー密度比が前記所定のエネルギー密度閾値を超えない場合に、前記シーンの前記ネイティブ解像度を前記シーンの表示解像度と等しくする工程と
を含むことを特徴とする方法。
【請求項２】
前記低周波数領域を決定する前記工程が、
前記第１の対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成する工程と、
前記第１の対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平分布関数および前記垂直分布関数に基づくものである矩形領域を選択する工程と
を含む、請求項１記載の方法。
【請求項３】
前記水平分布関数を生成する前記工程が、前記第１の対数振幅スペクトルを複数の横列に沿って投影して水平方向の一次元（１Ｄ）投影を生成し、該水平方向の１Ｄ投影を畳み込む工程を含む、請求項２記載の方法。
【請求項４】
前記低周波数領域を決定する前記工程が、
前記第１の対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成する工程と、
１以上の曲線近似処理を行って、前記水平分布関数を近似する第１の線を決定する工程であって、前記第１の線に含まれる第１の線分と第２の線分とが、水平方向のニーポイントにおいて交差する、工程と、
１以上の曲線近似処理を行って、前記垂直分布関数を近似する第２の線を決定する工程であって、前記第２の線に含まれる第１の線分と第２の線分とが、垂直方向のニーポイントにおいて交差する、工程と、
前記第１の対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平方向のニーポイントのスペクトル周波数および前記垂直方向のニーポイントのスペクトル周波数に基づくものである矩形領域を選択する工程と
を含む、請求項１記載の方法。
【請求項５】
前記１以上の曲線近似処理を行って前記第１の線を決定する前記工程が、
前記第１の線の終点を前記水平分布関数の終点と等しくなるよう設定する工程と、
前記水平方向のニーポイントの位置を、前記第１の線と前記水平分布関数との間の面積を最小化するよう調節する工程と
を含む、請求項４記載の方法。
【請求項６】
第２の対数振幅スペクトルに基づいて水平分布関数を生成する工程と、
前記水平分布関数と該水平分布関数を近似する１つの線分からなる線との間に存在する第１の面積を計算する工程と、
前記水平分布関数と該水平分布関数を近似する２つの線分からなる線との間に存在する第２の面積を計算する工程と、
前記第２の面積に対する前記第１の面積の比率が所定の近似係数より小さいことを決定する工程と、
前記シーンの前記表示解像度と等しい第２のネイティブ解像度を設定する工程と
を更に含む、請求項１記載の方法。
【請求項７】
前記エネルギー密度比を計算する前記工程が、
前記低周波数領域に基づいて低周波数密度を計算する工程と、
前記第１の対数振幅スペクトルと関連づけられた境界ボックスと前記低周波数領域との間に存在する高周波数領域に基づいて高周波数密度を計算する工程と、
前記高周波数密度に対する前記低周波数密度の比率を計算する工程と
を含む、請求項１記載のコンピュータによって実施される方法。
【請求項８】
前記低周波数密度が、前記低周波数領域内に存在する前記第１の対数振幅スペクトルに含まれる複数の係数であって、前記第１の対数振幅スペクトルの原点には存在しない複数の係数に基づくものである、請求項７記載の方法。
【請求項９】
指示を含むコンピュータ可読ストレージ媒体において、プロセッサによって実行された際に、該プロセッサに、
シーンと関連づけられた対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成する工程と、
前記水平分布関数および前記垂直分布関数に基づいて、前記対数振幅スペクトルに含まれる低周波数領域を決定する工程と、
前記低周波数領域に基づいてエネルギー密度比を計算する工程と、
前記エネルギー密度比が所定のエネルギー密度閾値を超える場合に、前記低周波数領域の寸法に基づいて前記シーンのネイティブ解像度を計算する工程と、
前記エネルギー密度比が前記所定のエネルギー密度閾値を超えない場合に、前記シーンの前記ネイティブ解像度を前記シーンの表示解像度と等しくする工程と
を行わせる指示を含むことを特徴とするコンピュータ可読ストレージ媒体。
【請求項１０】
前記低周波数領域を決定する前記工程が、
１以上の曲線近似処理を行って、前記水平分布関数を近似する第１の線を決定する工程であって、前記第１の線に含まれる第１の線分と第２の線分とが、水平方向のニーポイントにおいて交差する、工程と、
１以上の曲線近似処理を行って、前記垂直分布関数を近似する第２の線を決定する工程であって、前記第２の線に含まれる第１の線分と第２の線分とが、垂直方向のニーポイントにおいて交差する、工程と、
前記対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平方向のニーポイントのスペクトル周波数および前記垂直方向のニーポイントのスペクトル周波数に基づくものである矩形領域を選択する工程と
を含む、請求項９記載のコンピュータ可読ストレージ媒体。
【請求項１１】
前記１以上の曲線近似処理を行って前記第２の線を決定する前記工程が、
前記第２の線の終点を前記垂直分布関数の終点と等しくなるよう設定する工程と、
前記垂直方向のニーポイントの位置を、前記第２の線と前記垂直分布関数との間の面積を最小化するよう調節する工程と
を含む、請求項１０記載のコンピュータ可読ストレージ媒体。
【請求項１２】
前記エネルギー密度比を計算する前記工程が、
前記低周波数領域に基づいて低周波数密度を計算する工程と、
前記対数振幅スペクトルと関連づけられた境界ボックスと前記低周波数領域との間に存在する高周波数領域に基づいて高周波数密度を計算する工程と、
前記高周波数密度に対する前記低周波数密度の比率を計算する工程と
を含む、請求項９記載のコンピュータ可読ストレージ媒体。
【請求項１３】
前記低周波数密度が、前記低周波数領域内に存在する前記対数振幅スペクトルに含まれる複数の係数であって、前記対数振幅スペクトルの原点には存在しない複数の係数に基づくものである、請求項１２記載のコンピュータ可読ストレージ媒体。
【請求項１４】
前記境界ボックスの寸法が前記シーンの前記表示解像度と等しい、請求項１２記載のコンピュータ可読ストレージ媒体。
【請求項１５】
ビデオシーケンス内のシーンのネイティブ解像度を決定するよう構成されたシステムにおいて、
ネイティブ解像度解析器を格納するメモリと、
前記メモリに結合されたプロセッサと
を含み、
前記ネイティブ解像度解析器が、前記プロセッサによって実行された際に、該プロセッサを、
前記シーンと関連づけられた対数振幅スペクトルに含まれる低周波数領域を決定し、
前記対数振幅スペクトルと関連づけられた境界ボックスと前記低周波数領域との間に存在する高周波数領域を決定し、
前記低周波数領域および前記高周波数領域に基づいてエネルギー密度比を計算し、
前記エネルギー密度比が所定のエネルギー密度閾値を超える場合に、前記低周波数領域の寸法に基づいて前記シーンの前記ネイティブ解像度を計算し、
前記エネルギー密度比が前記所定のエネルギー密度閾値を超えない場合に、前記シーンの前記ネイティブ解像度を前記シーンの表示解像度と等しくする
よう構成することを特徴とするシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２０１５年１０月８日に出願された米国特許出願第１４／８７９，０５３号（弁理士整理番号ＮＥＴＦ／００９９ＵＳ２）、２０１５年１０月８日に出願された米国特許出願第１４／８７９，０４５号（弁理士整理番号ＮＥＴＦ／００９９ＵＳ１）、および２０１５年６月２４日に出願された米国仮特許出願第６２／１８４，１８３号（弁理士整理番号ＮＥＴＦ／００９９ＵＳＬ）による利益を主張するものであり、上記の関連出願の主題を参照して本明細書に組み込む。
【技術分野】
【０００２】
本発明の実施形態は、一般的に、コンピュータサイエンスに関し、より具体的には、ビデオシーケンスのネイティブ解像度を決定するための技術に関する。
【背景技術】
【０００３】
ビデオシーケンスは、任意の数の異なる解像度で提示され得る。典型的には、選択された解像度は、ビデオシーケンスを生成するためおよびビデオシーケンスに対する処理を行うために必要なリソース（例えば、カメラの解像度、処理時間、帯域幅、ストレージ等）と視覚的品質との間のトレードオフを表している。例えば、ビデオシーケンスの解像度が１０８０ｐである場合には、各フレームは、１０８０本の横列および１９２０本の縦列に配置された２，０７３，６００個の画素を含む。一方、ビデオシーケンスの解像度が２１６０ｐである場合には、各フレームは、２１６０本の横列および４０９６本の縦列に配置された８，２９４，４００個の画素を含む。２１６０ｐのビデオシーケンスは、１０８０ｐのビデオシーケンスよりも４倍多いデータを含むので、２１６０ｐの完全な解像度で表示された２１６０ｐのビデオシーケンスの視覚的品質は、典型的には、１０８０ｐのビデオシーケンスの視覚的品質より高い。しかし、ビデオシーケンスの解像度が高くなると、ビデオシーケンスの格納により多くのメモリが必要となり、ビデオシーケンスの転送により多くの帯域幅が必要となる。更に、特定の解像度でビデオシーケンスを生成および表示するには、その特定の解像度をサポートできる装置が必要である。
【０００４】
ビデオシーケンスに対して処理を行うのに必要なリソースを低減するため、および／または、設備もしくは処理の解像度の制限に従うために、ビデオシーケンスは、しばしば、シーケンス内のフレームに含まれるデータの量を減らす１以上のダウンサンプリング処理を受ける。次に、特に他のビデオシーケンスおよび／または再生装置と適合させるために、ビデオシーケンスにアップサンプリング処理が施され得る。例えば、ビデオシーケンスは、映画を生成するために、そのビデオシーケンスを、より高い解像度で格納された別のビデオシーケンスとつなぐ処理の一部としてアップサンプリングされ得る。民生用エンドポイント機器（例えば、ラップトップ等）による再生に際しては、映画は、最終的なより高い解像度で視聴され得る。しかし、一般的に、ダウンサンプリング処理は、選択された情報を消去するので、次のアップサンプリング処理で生成されるのは、原本のビデオシーケンスのおおよその再構築のみである。従って、ビデオシーケンスの任意の部分に対してダウンサンプリング処理および次のアップサンプリング処理が行われた場合、ビデオシーケンスの視覚的品質が損なわれ得る。
【０００５】
例えば、２１６０ｐのビデオシーケンス「Ａ」を格納するのに必要なメモリを減らすために、ビデオシーケンス「Ａ」はダウンサンプリングされた後、１０８０ｐの解像度で格納され得る。次に、ビデオシーケンス「Ａ」を２１６０ｐの映画に含めるために、ビデオシーケンス「Ａ」は２１６０ｐの解像度にアップサンプリングされる必要がある。しかし、ダウンサンプリング処理によってビデオシーケンス「Ａ」内の選択された情報が消去されているので、次のアップサンプリング処理で生成されるのは、原本のビデオシーケンス「Ａ」のおおよその再構築のみである。特に、２１６０ｐの映画に含まれるビデオシーケンス「Ａ」は、２１６０ｐの解像度を有するものとしてラベリングされ得るが、２１６０ｐの映画に含まれるビデオシーケンス「Ａ」の実際の視覚的品質は、１０８０ｐの「実効解像度」を有するのに等しい。その結果、その映画が２１６０ｐで表示された場合には、映画の全体的な視覚的品質は、真の２１６０ｐの視聴体験と比較して損なわれることになる。
【０００６】
上記の例で示される通り、一般的に、ビデオシーケンスが格納された最も低い解像度（本明細書においては「ネイティブ」解像度として参照される）は、そのビデオシーケンスがレンダリングされて表示され得る最も高い実効解像度を決定する。従って、この「ネイティブ」解像度は、ビデオシーケンスが配信される「表示」解像度よりも、ビデオシーケンスの視覚的品質をよく示すものである。
【０００７】
更に、ビデオシーケンスに対して行われる様々な処理は、ビデオシーケンスの解像度に基づいて最適化される。例えば、ソースデータを効率的且つ正確に符号化することは、ビデオシーケンスのリアルタイム配信のために不可欠である。動作において、エンコーダは、通常、符号化/複合化処理中に消費されるリソースと、ビデオシーケンスの解像度に基づく視覚的品質との間のトレードオフを行うよう構成される。エンコーダが、より高い解像度を有する映画に含まれるビデオシーケンスの「ネイティブ」解像度より高い解像度に合わせてトレードオフを最適化するよう設計されている場合には、エンコーダがより高い解像度に合わせて実装し得るトレードオフは、ビデオシーケンスの視覚的品質を顕著に高めることなく、ビデオシーケンスを符号化する際のリソースの負荷（例えば、ストレージおよび帯域幅利用率等）を劇的に増加させ得る。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しばしば、ビデオシーケンスのネイティブ解像度は未知であるか、または、決定するのが困難である。例えば、映画の配信者は、映画に含まれるビデオシーケンスのいずれかに対して行われたいかなるリサンプリング処理にも関与していない場合がある。リサンプリング処理と関連づけられた視覚的品質における何らかの劣化を解明する試みにおいて、再生中に映画をフレーム毎に観察することは、不可能なほど時間がかかる。しかし、ネイティブ解像度が解明されない限り、上述の問題は容易には対処できない。
【０００９】
上記で示した通り、当該技術分野において、ビデオシーケンスのネイティブ解像度を決定するためのより効果的な技術が必要である。
【課題を解決するための手段】
【００１０】
本発明の一実施形態は、コンピュータによって実施される、ビデオシーケンス内のシーンに対して行われたリサンプリング処理を特徴づけるスペクトルを生成する方法を述べる。この方法は、シーンに含まれる第１のフレームと関連づけられた色成分に対して変換処理を行って、第１のフレームスペクトルを生成する工程と、第１のフレームスペクトルと関連づけられた複数の振幅を正規化して、正規化された第１のフレームスペクトルを生成する工程と、正規化された第１のフレームスペクトルに対して少なくとも１つの処理を行って、第１の対数振幅フレームスペクトルを生成する工程とを含む。
【発明の効果】
【００１１】
本開示のスペクトルを生成するための技術の１つの長所は、ネイティブ解像度エンジンが、これらの技術を利用して、ビデオシーケンスが格納された最も低い解像度を決定し得ることである。この「ネイティブ」解像度は、ビデオシーケンスが配信される「表示」解像度よりも、ビデオシーケンスの視覚的品質に良好に相関するので、ネイティブ解像度を決定して通信することで、ビデオシーケンスの視覚的品質がユーザに正しく伝えられることが確実になる。更に、表示解像度の代わりにネイティブ解像度を用いて、解像度の影響を受けるアプリケーションを調整することにより、ビデオシーケンスの最終的な視覚的品質を劣化させることなく、そのようなアプリケーションによって消費されるリソースが低減され得る。
【図面の簡単な説明】
【００１２】
【図１】本発明の１以上の態様を実装するよう構成されたシステムの概念図
【図２】本発明の様々な実施形態による、ビデオシーケンスを処理するよう構成された図１のネイティブ解像度解析器のより詳細な図
【図３】本発明の様々な実施形態による、図２のネイティブ解像度解析器が、ビデオシーケンス内の所与のシーンに基づいて生成するよう構成されるグレースケールシーンスペクトルの例
【図４】本発明の様々な他の実施形態による、図２のネイティブ解像度解析器が、ビデオシーケンス内の複数のシーンに基づいて生成するよう構成されるグレースケールシーンスペクトルの例
【図５】本発明の様々な実施形態による、ビデオシーケンスからシーンスペクトルを得る方法のステップのフロー図
【図６】本発明の様々な実施形態による、図２の解像度計算エンジンによって計算され得るシーンスペクトルと関連づけられた水平方向のニーポイントおよび垂直方向のニーポイントの例
【図７】本発明の様々な実施形態による、図２の解像度計算エンジンによって計算され得るシーンスペクトルと関連づけられたネイティブ解像度の例
【図８】本発明の様々な実施形態による、ビデオシーケンス内のシーンのネイティブ解像度を計算する方法のステップのフロー図
【発明を実施するための形態】
【００１３】
本発明の上記の特徴を詳細に理解できるように、上記で簡潔に要約した本発明を、実施形態を参照してより具体的に説明する。実施形態の幾つかが、添付の図面に示されている。しかし、添付の図面は、本発明の典型的な実施形態のみを示すものであり、本発明の範囲を限定するものとは見なされず、本発明は、他の等しく効果的な実施形態を認め得ることを留意されたい。
【００１４】
以下の説明において、本発明のより完全な理解を提供するために、多くの具体的な詳細が述べられる。しかし、当業者には、これらの具体的な詳細の１以上を含まずとも本発明が実施され得ることが自明である。
【００１５】
システムの概観
図１は、本発明の１以上の態様を実装するよう構成されたシステム１００の概念図である。図示されるように、システム１００は、ビデオシーケンスを表示する機能がある様々な民生用機器に接続されたクラウド１３０（例えば、カプセル化された共有リソース、ソフトウェア、データ等）を含む。そのような民生用機器としては、デスクトップコンピュータ１０２、ラップトップ１１０、スマートフォン１２０、スマートテレビ１２２、ゲームコンソール１２４、タブレット１２８、テレビに接続された機器（図示せず）、携帯型機器（図示せず）、およびストリーミングエンターテインメント機器（図示せず）が挙げられるが、それらに限定されない。本明細書において用いられる「ビデオシーケンス」とは、ビデオコンテンツを含む任意のアイテムを指す。ビデオシーケンスは、当該技術分野において知られている任意の機構を用いて操作（例えば、格納、符号化、圧縮、送信等）され得る。例えば、１つのビデオシーケンスは、圧縮されたオーディオビデオファイルとして格納されている映画に含まれ得るものであり、インターネットを介して民生用機器に送信され、次に、表示の目的で伸長され得る。
【００１６】
クラウド１３０は、任意の数（０を含む）の中央処理装置（ＣＰＵ）１４２、グラフィック処理装置（ＧＰＵ）１４４、メモリ１４６で構成された任意の数のコンピュートインスタンス１４０を含み得る。動作において、ＣＰＵ１４２はコンピュートインスタンス１４０のマスタープロセッサであり、コンピュートインスタンス１４０に含まれる他の構成要素の動作を制御し調和させる。具体的には、ＣＰＵ１４２は、ＧＰＵ１４４の動作を制御するコマンドを発行する。ＧＰＵ１１４には、グラフィックおよびビデオ処理のために最適化された回路（例えば、ビデオ出力回路を含む）が組み込まれている。様々な実施形態において、ＧＰＵ１４４には、コンピュートインスタンス１４０の他の要素の１以上が統合され得る。メモリ１４６は、コンピュートインスタンス１４０のＣＰＵ１４２およびＧＰＵ１４４が用いるためのコンテンツ（例えばソフトウェアアプリケーションおよびビデオシーケンス等）を格納する。動作において、クラウド１３０は、入力装置（例えば、ラップトップ１１０）から入力されたユーザ情報を受信し、コンピュートインスタンス１４０のうちの１以上がユーザ情報に対する処理を行い、クラウド１３０は、処理された情報をユーザに送信する。
【００１７】
一部の実施形態では、クラウド１３０は、ビデオストリームを処理して、そのビデオストリームと関連づけられたビデオサービスを、ビデオ配信サブシステム１６０を介して、例えばインターネット等のネットワークを介して、民生用機器に届ける。ビデオ配信サブシステム１６０は、ビデオストリームに対する処理を行う任意の数のアプリケーションを含む。例えば、ビデオ配信サブシステム１６０は、ユーザが様々な基準に基づいてビデオシーケンスを選択するのを可能にするユーザインターフェースを実装し得る。より具体的には、ユーザインターフェースは、各ビデオシーケンスについて、例えば、ジャンル、俳優、タイトル、ビデオの長さ、および解像度等の情報を提供し得る。更に、ビデオ配信サブシステム１６０は、ビデオシーケンスの解像度を含む様々な基準に基づいて、ビデオストリームのリアルタイムの配信のために最適化されたアプリケーション（例えばエンコーダ等）を含み得る。
【００１８】
特に、特定のビデオシーケンスの解像度は、とりわけ、ビデオシーケンスの視覚的品質、およびアプリケーションがビデオシーケンスに対して処理を行う効率に劇的に影響し得る。しかし、本明細書においては「表示」解像度として参照されるビデオシーケンスの表向きの解像度は、ビデオシーケンスが処理および格納された最も低い解像度を反映していない場合がある。例えば、リソースの制約（例えばメモリの制限等）に従うために、アプリケーションは、ビデオシーケンスに含まれる選択された情報を消去するダウンサンプリング技術を実装し得る。次に、他のアプリケーションは、原本のソースデータを再構築することを試みるアップサンプリング技術を実装し得る。しかし、ダウンサンプリング処理が、選択された情報が消去したので、次のアップサンプリング処理で生成されるのは、原本のソースデータのおおよその再構築のみである。従って、再構築されたビデオシーケンスの視覚的品質は損なわれることになる。
【００１９】
一般的に、従来の表示解像度は、必ずしも、ビデオシーケンスを完全な解像度で視聴した際に知覚される視覚的品質の信頼できる指標ではない。一方、ビデオシーケンスが格納された最も低い解像度は、典型的には、ビデオシーケンスがレンダリングされて表示され得る最も高い実効解像度（従って、知覚される視覚的品質）を示す。更に、この「ネイティブ」解像度は、ビデオシーケンスに含まれる固有情報の量を反映するので、解像度の影響を受けるアプリケーションを、表示解像度の代わりにネイティブ解像度に基づいて微調整することで、そのようなアプリケーションの効率が改善され得る。
【００２０】
上記の理由から、システム１００は、ビデオシーケンスからビデオシーケンスの特性（ビデオシーケンスに対して何らかのサンプリング処理が行われた可能性があるか否かを含む）に関する情報を抽出するネイティブ解像度解析器１２５を含む。更に、一部の実施形態では、ネイティブ解像度解析器１２５は、ビデオシーケンスのネイティブ解像度を決定論的に計算する。とりわけ、ネイティブ解像度解析器１２５によって取得される情報は、視覚的品質の期待値を正しく設定して、解像度の影響を受けるアプリケーションを最適化するために用いられ得る。
【００２１】
別の実施形態では、クラウド１３０は、任意のタイプのクラウドコンピューティング環境と置き換えられ得る。他の実施形態では、システム１００は、クラウド１３０の代わりに、任意の分散型コンピュータシステムを含み得る。更に他の実施形態では、システム１００はクラウド１３０を含まず、その代わりに、システム１００は、任意の数の処理装置（例えば、任意の組合せの中央処理装置および／またはグラフィック処理装置）を実装する単一のコンピューティング装置を含む。
【００２２】
更に、一部の実施形態では、システム１００は、ビデオ配信サブシステム１６０を含まない。例えば、一部の実施形態では、システム１００は、メモリ装置内にネイティブ解像度解析器１２５を格納した単一のデスクトップコンピュータ１０２と、ネイティブ解像度解析器１２５を実行する処理装置とを含む。そのような実施形態では、デスクトップコンピュータ１０２は、例えばクラウド１３０等の外部システムに接続されてもまたはされなくてもよく、他の任意のビデオ処理アプリケーションを実装してもまたはしなくてもよい。そのようなシステムでは、ネイティブ解像度解析器１２５によって計算されるネイティブ解像度は、視覚的品質の期待値を正しく設定するため、および解像度の影響を受けるアプリケーションを最適化するために、ビデオストリームを「ラベリング」するために用いられ得る。
【００２３】
図２は、本発明の様々な実施形態による、ビデオシーケンス２０５を処理するよう構成された図１のネイティブ解像度解析器１２５のより詳細な図である。図示されるように、ネイティブ解像度解析器１２５は、ビデオプリプロセッサ２１０、フレームプロセッサ２４０、シーンスペクトル生成器２６０、プレゼンテーション部２７２、および解像度計算エンジン２８０（それらに限定されない）を含む。
【００２４】
動作において、ビデオプリプロセッサ２１０は、ビデオシーケンス２０５を受信し、ビデオシーケンス２０５から意味のある均質な領域を抽出するよう設計された１以上の処理を行う。図示されるように、ビデオプリプロセッサ２１０は、黒線検出器２１２およびシーン変化検出器２１４（それらに限定されない）を含む。黒線検出器２１２は、ビデオシーケンス２０５に含まれ得る水平方向の黒線および／または垂直方向の黒線を検出して、それらを除去する。そのような黒線は、特定のビデオアスペクト比を達成するためのビデオシーケンス２０５の修正の一部として生じ得る。当業者には認識されるように、黒線の存在は解像度解析を妨げ得る。黒線検出器２１２は、黒線（あれば）を検出して、検出された黒線を除去するための任意の技術的に可能なアルゴリズムを実装し得る。
【００２５】
シーン変化検出器２１４は、ビデオシーケンス２０５を１以上のシーン２２０に分割するよう構成される。各シーン２２０は、類似のテクスチャ、輝度、およびコントラスト特性を有する１以上の連続するフレーム２３０のシーケンスを含む。各シーン２２０はそれぞれ異なる方法で生成および／または修正され得るので、ネイティブ解像度解析器１２５は、各シーン２２０のネイティブ解像度を、他のシーン２２０から独立して決定する。例えば、ビデオシーケンス２０５が２１６０ｐの表示解像度を有し、２つのシーン２２０（１）および２２０（２）を含むとする。更に、シーン２２０（１）は１０８０ｐのカメラを用いて記録され、２１６０ｐにアップサンプリングされ、一方、シーン２２０（２）は２１６０ｐのカメラを用いて記録されたものとする。そのような状況では、シーン変化検出器２１４は、シーン２２０（１）および２２０（２）をそれぞれ独立して処理し、シーン２２０（１）については１０８０ｐのネイティブ解像度を計算し、シーン２２０（２）については２１６０ｐのネイティブ解像度を計算する。シーン変化検出器２１４は、ビデオシーケンス２０５からシーン２２０を検出して抽出するための任意の技術的に可能なアルゴリズムを実装し得る。
【００２６】
一般的に、ビデオプリプロセッサ２１０は、黒線検出器２１２およびシーン変化検出器２１４を任意の順序で実行し得る。更に、別の実施形態では、ビデオプリプロセッサ２１０は、ビデオシーケンス２０５から意味のある均質なフレームのシーケンスを抽出するよう設計された任意の数の更なるプリプロセッシング技術を実装し得る。
【００２７】
図示されるように、各フレーム２３０は、Ｙ成分２３２、Ｃｂ成分２３４、およびＣｒ成分２３６の３つの色成分を含む。各色成分は、本質的に異なる空間解像度を示すので、ネイティブ解像度解析器１２５は、Ｙ成分２３２、Ｃｂ成分２３４、およびＣｒ成分２３６の各々を独立して処理するよう構成される。より具体的には、ネイティブ解像度解析器１２５は、Ｃｂ成分２３４およびＣｒ成分２３６を捨て、Ｙ成分２３２に基づいてネイティブ解像度を決定するよう構成される。
【００２８】
別の実施形態では、ネイティブ解像度解析器１２５は、３つの色成分のうちの任意の数（０を含む）を捨て、残りの成分に基づいてネイティブ解像度を決定してもよい。更に、様々な実施形態において、本明細書に記載される技術は、全てのＹ／Ｃｂ／Ｃｒフォーマット（例えば、ＹＵＶ４２０、ＹＵＶ４２２、ＹＵＶ４４４）、および全てのＲＧＢフォーマット（例えば、ＲＧＢ２４）を含むがそれらに限定されない任意のカラーフォーマットに適用され得る。
【００２９】
フレームプロセッサ２４０は、各フレーム２３０に対する処理をそれぞれ別々に行うよう構成される。フレームプロセッサは、フレーム２３０と関連づけられたＹ成分２３２を受信したら、対数振幅フレームスペクトル２５０を生成する。対数振幅フレームスペクトル２５０は、Ｙ成分２３２から得られた二次元スペクトルであり、あらゆる周波数をデシベル（ｄＢ）で表している。なお、０である水平方向のデジタル周波数および０である垂直方向のデジタル周波数に対応する対数振幅フレームスペクトル２５０のスペクトル成分を、本明細書においては「ＤＣ成分」として参照し、残りのスペクトル成分を、本明細書においては集合的に「ＡＣ成分」として参照する。
【００３０】
対数振幅フレームスペクトル２５０を生成するために、フレームプロセッサ２４０は、まず、Ｙ成分２３２に対して離散フーリエ変換（ＤＦＴ）を行う。フレームプロセッサ２４０は、任意の技術的に可能な方法でＤＦＴを行い得る。例えば、フレームプロセッサ２４０は、高速フーリエ変換（ＦＦＴ）として知られているＤＦＴの高速バージョンを実装し得る。解像度解析はエネルギーに基づくものであり、従って位相情報は関係ないので、フレームプロセッサ２４０は、ＤＦＴ複素値スペクトルの振幅を保持し、位相を捨てる。例えば、一部の実施形態では、フレームプロセッサ２４０は、各周波数についての複素係数を算出するためにＤＦＴを行い得る。次に、フレームプロセッサ２４０は、各複素係数をデカルト座標（実数＋ｊ＊虚数）から極座標（｜振幅｜＊ｅｘｐ（ｊ＊位相））に変換し、振幅を保持して、位相を捨て得る。
【００３１】
次に、フレーム２３０が、全く異なる可能性があるコントラストに関係なく、シーン２２０の解析に同様に寄与することを確実にするために、フレームプロセッサ２４０は、ＤＦＴスペクトルの振幅を、合計ＡＣエネルギーが１になるように正規化する。より具体的には、フレームプロセッサ２４０は、ＡＣ成分の振幅を、その合計が１に等しくなるよう正規化する。
【００３２】
当業者には認識されるように、典型的にはフレーム２３０に含まれる画像の多くを占める周囲オブジェクト（例えば、木、壁、山等）の物理的なサイズは、比較的大きい。従って、フレーム２３０のスペクトルは、低周波数に向かう自然な優先傾向を示す。そのような優先傾向が、正規化されたフレームスペクトルにおいて反映される。より具体的には、正規化されたフレームスペクトルにおいて、低周波数成分のＤＦＴスペクトルの振幅は、しばしば、高周波数成分のＤＦＴスペクトルの振幅より著しく大きい。低周波数成分の振幅を減衰させ、高周波数成分のより高いダイナミックレンジを可能にするために、フレームプロセッサ２４０は、正規化された振幅スペクトルを対数スケーリングすることにより、対数振幅フレームスペクトル２５０を生成する。
【００３３】
各シーン２２０について、シーン２２０に含まれる全てのフレーム２３０について対数振幅フレームスペクトル２５０を生成した後、シーンスペクトル生成器２６０は、シーンスペクトル２７０を生成する平均化処理を行う。動作において、ビデオシーケンス２０５が「Ｎ」個のシーン２２０を含む場合には、シーンスペクトル生成器２６０は、Ｎ個のシーン２２０と関連づけられたＹ成分２３２に対応するＮ個のシーンスペクトル２７０（１）〜２７０（Ｎ）を生成する。同様に、ネイティブ解像度解析器１２５がＹ成分２３２、Ｃｂ成分２３４、およびＣｒ成分２３６を保持してそれらに対する処理を行う実施形態では、シーンスペクトル生成器２６０は、３×Ｎ個のシーンスペクトル２７０（１）〜２７０（３×Ｎ）を生成する。一般的に、各色成分と関連づけられた各シーンスペクトル２７０は、対応するシーン２２０の周波数成分を表す単一の実数値の二次元アレイを含む。
【００３４】
シーンスペクトルの視覚的解析を容易にするために、プレゼンテーション部２７２は、シーンスペクトル２７０を受信したら、シーンスペクトル２７０をグレーレベルシーンスペクトル２７５に変換する。動作において、各シーンスペクトル２７０について、シーンスペクトル生成器２６０は、シーンスペクトル２７０に含まれる値を、０〜２５５の範囲のグレースケール値の範囲（０が最も低いグレースケール値であり、２５５が最も高いグレースケール値である）にマッピングする。このようにして、グレーレベルシーンスペクトル２７５は、１０-８より小さい振幅を０として表し、１の振幅を２５５として表すようにして、振幅を表す。従って、グレーレベルシーンスペクトル２７５における白色の画素値は、高いスペクトル成分を示し、黒色の画素値は、低いまたは０のスペクトル成分を示す。
【００３５】
グレーレベルシーンスペクトル２７５は、対応するシーン２２０についての周波数「シグネチャー」として用いられ得る。特に、シーン２２０に含まれるフレーム２３０に対してリサンプリング処理が行われていない場合には、グレーレベルシーンスペクトル２７５は、突然の変化を含まない「健全な」自然に減衰するグレースケール勾配を示す。しかし、フレーム２３０に対してリサンプリング（例えば、アップサンプリングおよび／またはダウンサンプリング）処理が行われている場合には、グレーレベルシーンスペクトル２７５は、典型的には、行われたリサンプリング処理のタイプを示唆する特定のパターンを示す。従って、シーンスペクトルは、とりわけ、シーン２２０および／またはシーン２２０を含むビデオシーケンス１０５の品質および特性を解析するために用いられ得る。
【００３６】
限定するものではない例として、パターン認識処理は、撮影およびキャプチャされた自然なシーンの特性、自然なシーンを撮影およびキャプチャするために用いられたカメラ、並びに、自然なシーンのキャプチャと最終的なビデオシーケンス２０５のレンダリングとの間において実施されたダウンサンプリング処理（あれば）に関する価値のある情報を抽出するために用いられ得る。更に、パターン認識処理は、Ｂａｙｅｒパターンサンプリングに起因するカメラの固有の解像度の限界、低解像度でオーバーレイされた特殊効果、および、ＹＵＶ４２２フォーマットに適合させるために実施された色の補間を識別し得る。
【００３７】
また、シーンスペクトル２７０を分類するための１以上の技術が本明細書に記載されるが、シーンスペクトル２７０を分類するための任意の技術的に可能な手法または技術が実装されてよく、そのような全ての実装が本発明の範囲に含まれる。限定するものではない例として、任意の公知のアルゴリズムを用いたエッジ検出（または他の類似の手法）によって、「正方形の」オブジェクトを認識するためのコンピュータビジョンに基づく技術または他の類似の技術が実装され得る。一部の実施形態では、パターン認識処理は、任意の数のシーンスペクトル２７０を目視検査することによって手作業で行われ得る。
【００３８】
一部の実施形態では、ネイティブ解像度解析器１２５は、解像度計算エンジン２８０も含む。解像度計算エンジン２８０は、シーン２２０についてのシーンスペクトル２７０を受信し、シーン２２０のネイティブ解像度２９０を自動的に決定論的に計算する。特に、解像度計算エンジン２８０は、アップサンプリング処理の特徴である、シーンスペクトル２７０に含まれる値の急激な低下に依拠して、ネイティブ解像度２９０を決定する。
【００３９】
解像度計算エンジン２８０は、二次元（２Ｄ）シーンスペクトル２７０を受信したら、シーンスペクトル２７０を複数の横列に沿って投影し、得られた一次元（１Ｄ）スペクトルを畳み込んで、水平方向の１Ｄスペクトルを生成する。同様に、解像度計算エンジン２８０は、シーンスペクトルを複数の縦列に沿って投影し、得られた一次元（１Ｄ）スペクトルを畳み込んで、垂直方向の１Ｄスペクトルを生成する。当業者には認識されるように、水平方向の１Ｄスペクトルおよび垂直方向の１Ｄスペクトルは、空間周波数領域における（対数スケーリングされた）エネルギーの相対的な量を示す。
【００４０】
次に、解像度計算エンジン２８０は、水平方向の１Ｄスペクトルを積分して、本明細書においては水平分布関数および水平方向のＣＤＦとして参照される、エネルギーの累積分布関数（ＣＤＦ）を生成する。同様に、解像度計算エンジン２８０は、垂直方向の１Ｄスペクトルを積分して、本明細書においては垂直分布関数および垂直方向のＣＤＦとして参照される、エネルギーの累積分布関数（ＣＤＦ）を生成する。各ＣＤＦについて、解像度計算エンジン２８０は、２つの線分からなる最適線を生成するよう設計された様々な曲線近似処理を行う。
【００４１】
解像度計算エンジン２８０は、２つの線分からなる線を生成するための任意の技術的に可能な技術を実装し得る。例えば、一部の実施形態では、特定のＣＤＦについての２つの線分からなる最適線を生成するために、解像度計算エンジン２８０は、ＣＤＦの一方の終点からＣＤＦの他方の終点まで延びる１つの線分からなる線を選択する。次に、解像度計算エンジン２８０は、ＣＤＦと１つの線分からなる線との間の面積（本明細書においては「１つの線分の曲線下面積」として参照される）を計算する。次に、解像度計算エンジン２８０は、ＣＤＦの一方の終点からＣＤＦの他方の終点まで延びる２つの線分からなる線を生成し、この２つの線分は「ニーポイント」において交差する。解像度計算エンジン２８０は、ＣＤＦと２つの線分からなる線との間の面積（本明細書においては「２つの線分の曲線下面積」として参照される）を最小化するよう、ニーポイントの位置を最適化する。次に、解像度計算エンジン２８０は、１つの線分の曲線下面積を２つの線分の曲線下面積で除算することにより、２つの線分からなる線についての品質近似係数を計算する。
【００４２】
このようにして、水平方向のＣＤＦについての曲線近似処理を行うことの一部として、解像度計算エンジン２８０は、水平方向のニーポイントおよび水平方向の品質近似係数を計算する。垂直方向のＣＤＦについての曲線近似処理を行うことの一部として、解像度計算エンジン２８０は、垂直方向のニーポイントおよび垂直方向の品質近似係数を計算する。
【００４３】
品質近似係数が所定の品質閾値より低い場合には、解像度計算エンジン２８０は、シーンスペクトル２７０が自然に減衰するスペクトルを表しており、対応するシーン２２０はアップサンプリング処理を受けていないことを決定する。その結果、解像度計算エンジン２８０は、表示解像度と等しいネイティブ解像度を設定し、処理を止める。それとは対照的に、品質近似係数が品質閾値より低くない場合には、解像度計算エンジン２８０は、対応するシーン２２０が１以上のアップサンプリング処理を受けているかもしれないことを決定する。従って、解像度計算エンジン２８０は、ネイティブ解像度を決定するために、ＣＤＦに関するシーンスペクトル２７０の解析を続ける。品質閾値は、アップサンプリング処理の特徴に合う任意の技術的に可能な方法で設定され得る。
【００４４】
ニーポイントに基づいて、解像度計算エンジン２８０は「低周波数矩形」を生成する。より具体的には、解像度計算エンジン２８０は、シーンスペクトル２７０に含まれる、ＤＣ周波数上に中心を有する低周波数矩形領域を識別する。この低周波数矩形領域は、水平方向のニーポイントの空間周波数の２倍に等しい幅と、垂直方向のニーポイントの空間周波数の２倍に等しい高さとを有する。また、解像度計算エンジン２８０は、シーンスペクトル２７０に含まれる、より大きい矩形領域を表す境界ボックスも生成する。境界ボックスは、ＤＣ周波数上に中心を有し、最終的な水平方向の解像度に等しい幅と、最終的な垂直方向の解像度に等しい高さとを有する。なお、解像度計算エンジン２８０は、ビデオプリプロセッサ２３０による黒線（あれば）の除去を反映するよう、境界ボックスのサイズを調節する。
【００４５】
解像度計算エンジン２８０は、低周波数矩形と関連づけられたＡＣエネルギーを低周波数矩形の面積で除算することにより、低周波数エネルギー密度を計算する。なお、低周波数矩形と関連づけられたＡＣエネルギーは、シーンスペクトル１７０に含まれる、低周波数矩形内に存在するＡＣ成分の振幅の合計である。更に、解像度計算エンジン２８０は、低周波数矩形の外側において境界ボックス内に存在する領域として、高周波数領域を定める。解像度計算エンジン２８０は、高周波数領域と関連づけられたＡＣエネルギーを高周波数領域の面積で除算することにより、高周波数エネルギー密度を計算する。
【００４６】
最後に、解像度計算エンジン２８０は、高周波数エネルギー密度に対する低周波数エネルギー密度の比率を計算し、この周波数を用いて、シーンスペクトル２７０と関連づけられたネイティブ解像度を決定する。一般的に、低周波数エネルギー密度と高周波数エネルギー密度との間の「エネルギー密度比」が高いほど、シーン２２０に含まれるフレーム２３０が低周波数成分を含む傾向が強い。そのような低周波数成分はアップサンプリング処理を示唆するものであるので、解像度計算エンジン２８０は、エネルギー密度比を所定のエネルギー密度閾値と比較して、シーン２２０に対してアップサンプリング処理が行われたか否かを決定する。
【００４７】
エネルギー密度比がエネルギー密度閾値より低い場合には、解像度計算エンジン２８０は、シーンスペクトル２７０が自然に減衰するスペクトルを表しており、対応するシーン２２０に対してアップサンプリング処理が行われていないことを決定する。その結果、解像度計算エンジン２８０は、表示解像度と等しいネイティブ解像度を設定し、処理を止める。それとは対照的に、エネルギー密度比がエネルギー密度閾値より低くない場合には、解像度計算エンジン２８０は、対応するシーン２２０に対して１以上のアップサンプリング処理が行われていることを決定する。更に、解像度計算エンジン２８０は、シーン２２０のネイティブ解像度が低周波数矩形の寸法と等しいことを決定する。
【００４８】
説明の目的で様々な実施形態を説明したが、それらは網羅的であることを意図したものではなく、開示された実施形態に限定されることは意図しない。記載された実施形態の範囲および趣旨から逸脱することなく、多くの変形および変更が当業者に自明である。例えば、本明細書に記載される技術は、全てのＹ／Ｃｂ／Ｃｒフォーマット（例えば、ＹＵＶ４２０、ＹＵＶ４２２、ＹＵＶ４４４）、および全てのＲＧＢフォーマット（例えば、ＲＧＢ２４またはＧＢＲ８８８）を含むがそれらに限定されない任意のカラーフォーマットに適用され得る。また、正規化された対数スペクトルを分類するための１以上の技術が記載されるが、正規化された対数スペクトルを分類するための任意の技術的に可能な手法または技術が実装されてよく、そのような全ての実装は本発明の範囲である。更に、特定の実装例ではＹ成分のみを分離して用いているが、他の実装例では、Ｃｂ成分またはＣｒ成分を分離して用いてもよい。これはＲＧＢフォーマットを含む実装例についても同様である。
【００４９】
最後に、本明細書において述べた様々な異なる閾値は単に例示的なものであり、本発明の範囲を限定する意図はない。限定するものではない例として、黒線を検出するために用いられる閾値は、任意のタイプのテストまたは機械学習技術によって選択されてもよく、または、ユーザによってプログラム可能であってもよく、解析中のビデオ資源の特性に対する精通度を含むがそれに限定されない任意の数の要因に基づくものであってよい。同様に、所与のシーンを「アップサンプリングされている」またはされていないと分類するための品質閾値およびエネルギー密度閾値は、解析中のビデオシーケンスの統計的解析によって経時的に改良または決定され得る調節可能なパラメータである。
【００５０】
グレースケールシーンスペクトルの生成
図３は、本発明の様々な実施形態による、図２のネイティブ解像度解析器１２５がビデオシーケンス２０５内の所与のシーン２２０に基づいて生成するよう構成されたグレースケールシーンスペクトル２７５の例である。なお、このネイティブ解像度は、図３に示されているシーン２２０の表示解像度に一致する。
【００５１】
シーン２２０のフレーム２３０（１）について示されるように、シーン２２０は、周囲の背景画像と共に赤いオウム３３２および多色のオウム３３４の画像を含む。ネイティブ解像度解析器１２５は、シーン２２０について、３つの別々のグレースケールシーンスペクトル２７５、即ち、Ｙ成分２３２のグレースケールシーンスペクトル２７５、Ｃｂ成分２３４のグレースケールシーンスペクトル２７５、およびＣｒ成分２３６のグレースケールシーンスペクトル２７５を生成する。
【００５２】
当業者には認識されるように、ＤＦＴの周期性に起因して、グレースケールシーンスペクトル２７５は、本明細書においてはタイルとして参照される複数の同一の領域を含む。なお、図３に示されているグレースケールシーンスペクトル２７５は、各タイルの中心におけるＤＣスペクトル周波数から周波数が水平方向および垂直方向に増加するにつれ、各タイルにわたって徐々に減衰するグレースケール勾配を示している。そのような「健全な」分布は、シーン２２０に対してアップサンプリング処理が行われていないことを示す。なお、これらのグレースケールシーンスペクトル２７５には、アップサンプリング処理の特徴である高周波数の急激な抑制がない。
【００５３】
図４は、本発明の様々な他の実施形態による、図２のネイティブ解像度解析器１２５がビデオシーケンス２０５内の複数のシーン２２０に基づいて生成するよう構成されたグレースケールシーンスペクトル２７５の例である。なお、このネイティブ解像度は、図４に示されているシーン２２０の表示解像度と一致しない。
【００５４】
説明の目的で、再び図３を参照すると、赤いオウム３３２および多色のオウム３３２を含むシーン２２０は、１９２０×１０８０の表示解像度に等しいネイティブ解像度を有する。図４の文脈では、シーン２２０はシーン２２０（ａ）として参照される。シーン２２０（ａ）は、７つのシーン２２０（ｂ）〜２２０（ｈ）を生成するために、サンプリング技術の７通りの異なる組合せを用いて、９６０×５４０にダウンサンプリングされ、次に、１９２０×１０８０にアップサンプリングされる。
【００５５】
【表１】
0006542398.tif 000002
【００５６】
なお、シーン２２０（ｂ）〜２２０（ｈ）の各々は、９６０×５４０のネイティブ解像度を有するが、１９２０×１０８０の表示解像度を有する。
【００５７】
ネイティブ解像度解析器１２５は、シーン２２０（ａ）〜２２０（ｈ）と関連づけられたＹ成分２３２についてのグレースケールシーンスペクトル２７５を生成することにより、８つの異なるグレースケールシーンスペクトル２７５（ａ）〜２７５（ｈ）を生成する。グレースケールシーンスペクトル２７５（ａ）は原本のシーン２２０（ａ）に対応し、各タイルにわたるスペクトル成分の健全な分布を示している。なお、グレースケールシーンスペクトル２７５（ｂ）〜２７５（ｈ）の各々は、低周波数においては、グレースケールシーンスペクトル２７５と似ている。しかし、グレースケールシーンスペクトル２７５（ｂ）〜２７５（ｈ）の各々は、水平方向および／または垂直方向に減衰されたスペクトルの複製を有する高周波数の抑制を示している。図示されるように、高周波数抑制のパターンは、シーン２２０の処理されたバージョンに対して行われたアップサンプリング処理のタイプに相関する。更に、一般的に、生じた減衰を示さないＤＣ成分の周囲の健全な領域のサイズは、シーン２２０の処理されたバージョンのネイティブ解像度を示唆する。
【００５８】
図５は、本発明の様々な実施形態による、ビデオシーケンスからシーンスペクトルを得る方法のステップのフロー図である。この方法のステップは、図１〜図４のシステムを参照して説明されるが、この方法のステップを任意の順序で実装するよう構成されたシステムが本発明の範囲に含まれることが当業者には理解されよう。
【００５９】
図示されるように、方法５００はステップ５０２において開始し、そこで、ネイティブ解像度解析器１２５は、ビデオシーケンス２０５を受信する。ステップ５０４において、ビデオプリプロセッサ２１０は、ビデオシーケンス２０５に含まれる黒線（あれば）を識別して除去する。次に、ビデオプリプロセッサ２１０は、ビデオシーケンス２０５を複数のシーン２２０に分割する。ステップ５０６において、ネイティブ解像度解析器１２５は、第１のシーン２２０と、第１のシーン２２０に含まれる第１のフレーム２３０とを選択する。
【００６０】
ステップ５０８において、フレームプロセッサ２４０は、選択されたフレーム２２０に含まれる各色成分に対して離散フーリエ変換（ＤＦＴ）を行う。より具体的には、フレームプロセッサ２４０は、３つのＤＦＴ、即ち、Ｙ成分２３２に対するＤＦＴ、Ｃｂ成分２３４に対するＤＦＴ、およびＣｒ成分２３６に対するＤＦＴを行う。ステップ５０８の一部として、位相情報は解像度解析には関係しないので、フレームプロセッサ２４０は、ＤＦＴスペクトルの位相を捨て、振幅を保持する。
【００６１】
ステップ５１０において、フレームプロセッサ２４０は、（３つの色成分に対応する）３つのＤＦＴスペクトルの各々に対して正規化およびスケーリング処理を行う。より正確には、フレームプロセッサ２４０は、各ＤＦＴスペクトルの振幅を、合計ＡＣエネルギーが１になるように正規化する。次に、フレームプロセッサ２４０は、各正規化された振幅スペクトルを対数スケーリングすることにより、３つの対数振幅フレームスペクトル２５０を生成する。
【００６２】
ステップ５１２において、ネイティブ解像度解析器１２５は、選択されたフレーム２３０が、選択されたシーン２２０に含まれる最後のフレーム２３０であるか否かを決定する。ステップ５１２において、ネイティブ解像度解析器１２５が、選択されたフレーム２３０が、選択されたシーン２２０に含まれる最後のフレーム２３０ではないことを決定した場合には、ネイティブ解像度解析器１２５はステップ５１４に進む。ステップ５１４において、フレームプロセッサ２４０は、選択されたシーン２２０に含まれる次のフレーム２３０を選択する。次に、方法５００はステップ５０８に戻り、そこで、フレームプロセッサ２４０は、選択されたフレーム２３０についての３つの対数振幅スペクトル２５０を生成する。ネイティブ解像度解析器１２５は、ステップ５０８〜５１４のサイクルを続け、フレームプロセッサ２４０が、選択されたシーン２２０に含まれる最後のフレーム２３０についての対数振幅フレームスペクトル２５０を生成するまで、選択されたシーン２２０に含まれる各フレーム２３０について３つの対数振幅フレームスペクトル２５０を生成する。
【００６３】
しかし、ステップ５１２において、ネイティブ解像度解析器１２５が、選択されたフレーム２３０が、選択されたシーン２２０に含まれる最後のフレームであることを決定した場合には、方法５００は直接ステップ５１６に進む。ステップ５１６において、シーンスペクトル生成器２６０は、選択されたシーン２２０と関連づけられた３つのシーンスペクトル２７０を生成する平均化処理を行う。具体的には、シーンスペクトル生成器２６０は、選択されたシーン２２０に含まれる全てのフレーム２３０について、Ｙ成分２３２の対数振幅フレームスペクトル２５０を平均化して、選択されたシーン２３０と関連づけられたＹ成分２３２のシーンスペクトル２７０を生成する。同様に、シーンスペクトル生成器２６０は、選択されたシーン２３０に含まれる全てのフレーム２２０について、Ｃｂ成分２３４の対数振幅フレームスペクトル２５０を平均化して、選択されたシーン２３０と関連づけられたＣｂ成分２３４のシーンスペクトル２７０を生成する。最後に、シーンスペクトル生成器２６０は、選択されたシーン２３０に含まれる全てのフレーム２２０について、Ｃｒ成分２３６の対数振幅フレームスペクトル２５０を平均化して、選択されたシーン２３０と関連づけられたＣｂ成分２３６のシーンスペクトル２７０を生成する。
【００６４】
ステップ５１８において、ネイティブ解像度解析器１２５は、選択されたシーン２２０が、ビデオシーケンス２０５に含まれる最後のシーン２２０であるか否かを決定する。ステップ５１８において、ネイティブ解像度解析器１２５が、選択されたシーン２２０が、選択されたシーン２２０に含まれる最後のシーン２２０ではないことを決定した場合には、フレームプロセッサ２４０はステップ５２０に進む。ステップ５２０において、フレームプロセッサ２４０は、ビデオシーケンス２０５に含まれる次のシーン２２０と、次のシーン２２０に含まれる第１のフレーム２３０とを選択する。次に、方法５００はステップ５０８に戻り、そこで、フレームプロセッサ２４０は、選択されたフレーム２３０についての３つの対数振幅スペクトル２５０を生成する。ネイティブ解像度解析器１２５はステップ５０８〜５１８のサイクルを続け、フレームプロセッサ２４０が、ビデオシーケンス２０５に含まれる最後のシーン２２０についてのシーンスペクトル２７０を生成するまで、ビデオシーケンス２０５に含まれる各シーン２２０について３つのシーンスペクトル２７０を生成する。次に、方法５００は終了する。
【００６５】
ネイティブ解像度の計算
図６は、本発明の様々な実施形態による、図２の解像度計算エンジン２８０によって計算され得るシーンスペクトル２７０と関連づけられた、水平方向のニーポイント６２８および垂直方向のニーポイント６３８の例である。図２に関して説明したように、シーン２２０のネイティブ解像度を決定することの一部として、解像度計算エンジン２８０は、二次元（２Ｄ）シーンスペクトル２７０に基づいて、水平方向のニーポイント６２８および垂直方向のニーポイント６３８を決定する。
【００６６】
シーンスペクトル２７０は、シーン２２０に含まれるフレーム２３０のＹ成分２３２、Ｃｂ成分２３４、およびＣｒ成分２３６のいずれか１つから取得され得る。更に、解像度計算エンジン２８０は、Ｙ成分２３２、Ｃｂ成分２３４、およびＣｒ成分２３６のうちの任意の数の成分に基づいて、ネイティブ解像度２９０を独立して決定するよう構成され得る。
【００６７】
動作において、解像度計算エンジン２８０は、シーンスペクトル２７０を複数の横列に沿って投影して、空間周波数領域における（対数スケーリングされた）エネルギーの相対的な量を示す水平方向のスペクトル６１０を生成する。次に、解像度計算エンジン２８０は、水平方向のスペクトル６１０を積分して、水平方向の累積分布関数（ＣＤＦ）６２２を生成する。次に、解像度計算エンジン２８０は、水平方向のニーポイントのフィッティング６２０を行う。より具体的には、図示されるように、解像度計算エンジン２８０は、水平方向のＣＤＦ６２２を近似する１つの線分からなる線６２４と、水平方向のＣＤＦ６２２を近似する２つの線分からなる線６２６とを生成する。
【００６８】
水平方向のＣＤＦ６２２を近似する１つの線分からなる線６２４と２つの線分からなる線６２６とを決定した後、解像度計算エンジン２８０は、水平方向のニーポイント６２８を、２つの線分からなる線６２６に含まれる２つの線分が交わる点に設定する。なお、図示されるように、水平方向のニーポイント６２８のスペクトル周波数は６４０である。
【００６９】
同様にして、解像度計算エンジン２８０は、シーンスペクトル２７０を複数の縦列に沿って投影して、空間周波数領域における（対数スケーリングされた）エネルギーの相対的な量を示す垂直方向のスペクトル（図示せず）を生成する。次に、解像度計算エンジン２８０は、垂直方向のスペクトル６１０を積分して、垂直方向の累積分布関数（ＣＤＦ）６３２を生成する。次に、解像度計算エンジン２８０は、垂直方向のニーポイントのフィッティング６３０を行う。より具体的には、図示されるように、解像度計算エンジン２８０は、垂直方向のＣＤＦ６３２を近似する１つの線分からなる線６３４と、垂直方向のＣＤＦ６３２を近似する２つの線分からなる線６３６とを生成する。
【００７０】
垂直方向のＣＤＦ６３２を近似する１つの線分からなる線６３４と２つの線分からなる線６３６とを決定した後、解像度計算エンジン２８０は、垂直方向のニーポイント６３８を、２つの線分からなる線６３６に含まれる２つの線分が交わる点に設定する。なお、図示されるように、垂直方向のニーポイント６３８のスペクトル周波数は３７０である。
【００７１】
図７は、本発明の様々な実施形態による、図２の解像度計算エンジン２８０によって計算され得るシーンスペクトル２７０と関連づけられたネイティブ解像度２９０の例である。説明の目的で、図７の文脈では、解像度計算エンジン２８０は、図６に示されているような水平方向のニーポイント６２８および垂直方向のニーポイント６３８を計算したものとする。より具体的には、水平方向のニーポイント６２８のスペクトル周波数は６４０であり、垂直方向のニーポイント６３８のスペクトル周波数は３７０である。更に、シーンスペクトル２７０と関連づけられたシーン２２０の表示解像度は４０９６×２１６０である。
【００７２】
解像度計算エンジンは、水平方向のニーポイント６２８および垂直方向のニーポイント６３８に基づいて、解像度計算７３０を行う。まず、図２に関して説明したように、解像度計算エンジン２８０は、水平方向のニーポイント６２８および垂直方向のニーポイント６３８を用いて、低周波数矩形７２０を識別する。低周波数矩形７２０はＤＣ周波数上に中心を有し、水平方向のニーポイント６２８の空間周波数の２倍に等しい幅と、垂直方向のニーポイント６３８の空間周波数の２倍に等しい高さとを有する。従って、解像度計算エンジン２８０は、低周波数矩形７２０の寸法を１２８０×７２０に設定する。また、解像度計算エンジン２８０は、ＤＣ周波数上に中心を有し、最終的な水平方向の解像度（４０９６）に等しい幅と、最終的な垂直方向の解像度（２１６０）に等しい高さとを有する境界ボックス７１０を生成する。
【００７３】
次に、解像度計算エンジン２８０は、低周波数矩形７２０内に存在するシーンスペクトル１７０に含まれるＡＣ成分の振幅の合計を低周波数矩形７２０の面積で除算することにより、低周波数エネルギー密度（ＬＦＤ）を計算する。同様にして、解像度計算エンジン２８０は、低周波数矩形の外側において境界ボックス７１０内に存在するシーンスペクトル２７０のサブセットに基づいて、高周波数エネルギー密度（ＨＦＤ）を計算する。次に、解像度計算エンジン２８０は、ＬＦＤをＨＦＤで除算することにより、エネルギー密度比を生成する。図示されるように、解像度計算エンジン２８０は、シーンスペクトル２７０のエネルギー密度比が５．４であることを決定する。
【００７４】
一般的に、シーン２２０に含まれるフレーム１３０に対してアップサンプリング処理が行われていない可能性は、エネルギー密度比に相関する。従って、解像度計算エンジン２８０は、シーンスペクトル２７０に対してアップサンプリング処理が行われているか否かを決定するために、エネルギー閾値を実装する。なお、解像度計算エンジン２８０において実装されるエネルギー閾値の値は３である。この所定のエネルギー閾値の３という値は、低周波数より３桁を超えて小さい高周波数がアップサンプリングを示すことを示す実験結果を反映するものである。別の実施形態では、エネルギー閾値は、任意のタイプの情報に基づいて、任意の技術的な方法で決定されてよく、任意の値であってよい。例えば、一部の実施形態では、エネルギー閾値はユーザ入力に基づいて設定され得る。
【００７５】
シーンスペクトル２７０のエネルギー密度比（５．４）がこのエネルギー密度比（３）を超えるので、解像度計算エンジン２７０は、シーン２７０のネイティブ解像度１９０が低周波数矩形７２０の寸法と等しいことを決定する。その結果、解像度計算エンジン２７０は、シーンスペクトル２７０と関連づけられたネイティブ解像度１９０が１２８０×７２０であることを決定する。
【００７６】
図８は、本発明の様々な実施形態による、ビデオシーケンス内のシーンのネイティブ解像度を計算する方法のステップのフロー図である。この方法のステップは、図１〜図４、並びに図６〜図７のシステムを参照して説明されるが、この方法のステップを任意の順序で実装するよう構成された任意のシステムが本発明の範囲に含まれることが、当業者には理解されよう。
【００７７】
図示されるように、方法８００はステップ８０２において開始し、そこで、解像度計算エンジン２８０は、ビデオシーケンス２０５内のシーン２２０と関連づけられた二次元（２Ｄ）シーンスペクトル２７０を受信する。単に議論の目的で、図８の説明では、シーンスペクトル２７０は任意の技術的に可能な方法で生成されるものとする。例えば、ネイティブ解像度解析器は、シーンスペクトル２７０を生成するために、図５の方法のステップを実装し得る。
【００７８】
ステップ８０４において、解像度計算エンジン２８０は、シーンスペクトル２７０を複数の横列に沿って投影し、得られた一次元（１Ｄ）スペクトルを畳み込んで、水平方向の１Ｄスペクトル６１０を生成する。同様に、解像度計算エンジン２８０は、シーンスペクトルを複数の縦列に沿って投影し、得られた一次元（１Ｄ）スペクトルを畳み込んで、垂直方向の１Ｄスペクトルを生成する。当業者には認識されるように、水平方向のスペクトル６１０および垂直方向のスペクトルは、空間周波数領域における（対数スケーリングされた）エネルギーの相対的な量を示す。
【００７９】
ステップ８０６において、解像度計算エンジン２８０は、水平方向のスペクトル６１０および垂直方向のスペクトルを積分して、水平方向のＣＤＦ６２２および垂直方向のＣＤＦ６３２をそれぞれ生成する。ステップ８０８において、各ＣＤＦについて、解像度計算エンジン２８０は、１つの線分からなる最適線および２つの線分からなる最適線を生成する。解像度計算エンジン２８０は、任意の技術的に可能な方法で、曲線近似処理を行って、１つの線分からなる線および２つの線分からなる線を生成し得る。水平方向のＣＤＦ６２２を近似する２つの線分からなる線の２つの線分の交点は、水平方向のニーポイント６２８を定め、一方、垂直方向のＣＤＦ６３２を近似する２つの線分からなる線の２つの線分の交点は、垂直方向のニーポイント６３８を定める。
【００８０】
ステップ８１０において、２つの線分からなる線の各々について、解像度計算エンジン２８０は、品質近似係数を計算する。解像度計算エンジン２８０は、任意の技術的に可能な方法で品質近似係数を計算し得る。例えば、一部の実施形態では、特定の２つの線分からなる線についての品質近似係数を計算するために、解像度計算エンジン２８０は、ＣＤＦと１つの線分からなる最適線との間の面積（本明細書においては「１つの線分の曲線下面積」として参照される）を計算する。次に、解像度計算エンジン２８０は、ＣＤＦと２つの線分からなる線との間の面積（本明細書においては「２つの線分の曲線下面積」として参照される）を計算する。最後に、解像度計算エンジン２８０は、１つの線分の曲線下面積を２つの線分の曲線下面積で除算することにより、その２つの線分からなる線についての品質近似係数を計算する。
【００８１】
ステップ８１２において、解像度計算エンジン２８０は、水平方向のＣＤＦ６２２および垂直方向のＣＤＦ６２４を近似する２つの線分からなる線についての品質近似係数を、所定の品質閾値と比較する。所定の品質閾値は、任意の技術的に可能な方法で決定され得る。ステップ８１２において、解像度計算エンジン２８０が、両方の品質近似係数が品質閾値を超えることを決定した場合には、方法８００はステップ８１４に進む。ステップ８１４において、解像度計算エンジン２８０は、水平方向のニーポイント６２８および垂直方向のニーポイント６２８に基づいて低周波数矩形７２０を生成し、シーンスペクトル２７０と関連づけられたシーン２２０の表示解像度に基づいて境界ボックス７１０を生成する。解像度計算エンジン２８０は、低周波数矩形７２０および境界ボックス７１０の両方の中心を、シーンスペクトル２７０のＤＣ成分に合わせる。
【００８２】
ステップ８１６において、解像度計算エンジン２８０は、低周波数矩形７２０内の面積に基づいて、低周波数エネルギー密度（ＬＦＤ）を計算する。ステップ８１８において、解像度計算エンジン２８０は、低周波数矩形７２０の外側において境界ボックス７１０内に存在する面積に基づいて、高周波数エネルギー密度（ＨＦＤ）を計算する。ステップ８２０において、解像度計算エンジンは、ＬＦＤをＨＤＦで除算することよりエネルギー密度比を計算し、次に、このエネルギー密度比をエネルギー密度閾値と比較する。ステップ８２０において、エネルギー密度比がエネルギー密度閾値を超えた場合には、解像度計算エンジン２８０はステップ８２２に進む。ステップ８２２において、解像度計算エンジン２８０は、低周波数矩形７２０の寸法に一致するようネイティブ解像度１９０を設定し、方法８００は終了する。
【００８３】
しかし、ステップ８２０において、解像度計算エンジン２８０が、エネルギー密度比がエネルギー密度閾値を超えないことを決定した場合には、方法８００は直接ステップ８２４に進む。
【００８４】
しかし、ステップ８１２において、解像度計算エンジン２８０が、品質近似係数のうちの１以上が品質閾値を超えないことを決定した場合には、方法８００は直接ステップ８２４に進む。
【００８５】
ステップ８２４において、解像度計算エンジン２８０は、シーンスペクトル２７０が、自然に減衰するスペクトルを表しており、関連づけられたシーン２２０に対してアップサンプリング処理が行われていないことを決定する。その結果、解像度計算エンジン２８０は、シーン２２０の表示解像度と等しいネイティブ解像度を設定し、方法８００は終了する。
【００８６】
要約すると、本開示の技術は、ビデオシーケンス内のシーンが処理された最も低い解像度を決定するために用いられ得る。動作において、これらの「ネイティブ」解像度を決定するために、ビデオプリプロセッサは、ビデオシーケンスを、比較的均一なテクスチャ、輝度、およびコントラスト特性を示すフレームを各シーンが含む複数のシーンに分割する。各フレームについて、フレームプロセッサは、各色成分（Ｙ、Ｃｂ、およびＣｒ）に対する高速フーリエ変換を行い、得られたスペクトルの振幅を、合計ＡＣエネルギーが１に等しくなるように正規化する。次に、フレームプロセッサは、正規化されたフレームスペクトルを対数スケーリングして、各フレームのＹ成分、Ｃｂ成分、およびＣｒ成分についての対数振幅スペクトル２５０を生成する。
【００８７】
次に、シーンスペクトル生成器は、シーンに含まれるそのフレームについての対数振幅スペクトル２５０をシーンスペクトルにまとめる平均化処理を行う。より具体的には、各シーンについて、シーンスペクトル生成器は、Ｙ成分シーンスペクトル、Ｃｂ成分シーンスペクトル、およびＣｒ成分シーンスペクトルを生成する。なお、シーンスペクトルがリサンプリング処理を受けている場合には、そのシーンスペクトルは、区別できる特定の認識可能なパターンを示す。従って、当業者は、任意の技術的に可能なパターン認識技術（目視検査を含む）をシーンスペクトルに適用して、シーンのネイティブ解像度が表示解像度より低いか否かを検出し得る。
【００８８】
更に、一部の実施形態では、解像度計算エンジンは、シーンスペクトルに基づいて、シーンのネイティブ解像度を自動的に決定論的に計算する。動作において、解像度計算エンジンは、シーンスペクトルを複数の横列に沿って投影して、水平方向の一次元スペクトルを生成すると共に、シーンスペクトルを複数の縦列に沿って投影して、垂直方向の一次元スペクトルを生成する。次に、シーンスペクトル生成器は、水平方向のスペクトルおよび垂直方向のスペクトルを個々に積分して、エネルギーの累積分布関数（ＣＤＦ）を生成する。次に、シーンスペクトル生成器は、各累積分布関数を、２つの線分の交点における空間周波数が「ニーポイント」を定める２つの線分からなる線で近似する最適化処理を行う。
【００８９】
シーンスペクトル生成器は、水平方向のＣＤＦと関連づけられた水平方向のニーポイントおよび垂直方向のＣＤＦと関連づけられた垂直方向のニーポイントに基づいて、低周波数矩形を生成する。次に、シーンスペクトル生成器は、低周波数矩形内の合計ＡＣエネルギーと、低周波数矩形の外側において、表示解像度と関連づけられたサンプリング周波数によって定められる境界ボックス内に存在する高周波数領域とを決定する。高周波数ＡＣエネルギーに対する低周波数ＡＣエネルギーの比率が所定のエネルギー密度閾値を超える場合には、シーンスペクトル生成器は、ネイティブ解像度が表示解像度より低いことを決定する。より具体的には、シーンスペクトル生成器は、水平方向のネイティブ解像度が水平方向のニーポイントの値以下であり、垂直方向のネイティブ解像度が垂直方向のニーポイント以下であることを決定する。
【００９０】
ビデオシーケンスに含まれるシーンのネイティブ解像度を決定することにより、ネイティブ解像度と表示解像度との間の不一致に起因する視覚的品質の劣化（あれば）が検出され得るのが有利である。そのような不一致を検出すると、シーンの真の視覚的品質がユーザに正しく伝えられることを確実にするための任意の数の品質保証手順が実装され得る。例えば、プロバイダは、そのビデオシーケンスが、表示解像度より低いネイティブ解像度で処理されたシーンを含むことを明確に特定し得る。更に、ビデオシーケンスに対して行われる、解像度に基づいて最適化される処理（例えば、符号化等）が、表示解像度の代わりにネイティブ解像度に基づいて微調整され得る。そのような調節は、しばしば、視覚的品質を顕著に低下させることなく、リソースの負荷（例えば、ストレージおよび帯域幅利用率等）を劇的に低減し得る。
【００９１】
説明の目的で、様々な実施形態の説明を示したが、これらは網羅的であることを意図したものではなく、開示された実施形態に限定することは意図しない。当業者には、記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が自明である。
【００９２】
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。従って、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウエア、常駐ソフトウェア、マイクロコード等を含む）、または、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとり得るものであり、それらの全てを、本明細書においては一般的に「回路」、「モジュール」、または「システム」と称する。更に、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する１以上のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態をとり得る。
【００９３】
１以上のコンピュータ可読媒体の任意の組合せが用いられ得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、またはそれらの任意の適切な組合せであり得るが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）としては、１以上のワイヤを有する電気的接続、ポータブルコンピュータのディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光ストレージ装置、磁気ストレージ装置、またはそれらの任意の適切な組合せが挙げられる。本明細書の文脈において、コンピュータ可読記憶媒体は、指示を実行するシステム、装置、またはデバイスによって用いられる、またはそれらに関連して用いられるためのプログラムを収容または格納可能な、任意の有体の媒体であり得る。
【００９４】
上記において、本開示の態様を、本開示の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明した。フローチャートおよび／またはブロック図の各ブロック、並びに、フローチャートおよび／またはブロック図のブロックの組合せは、コンピュータプログラムの指示によって実装され得ることが理解されよう。これらのコンピュータプログラム指示は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに供給されてマシンを生成し得るものであり、そのコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される指示が、フローチャートおよび／またはブロック図の１または複数のブロックにおいて指定されている機能／動作の実装を可能にするようになっている。そのようなプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルプロッセサもしくはゲートアレイであり得るが、それらに限定されない。
【００９５】
図面中のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および処理を示すものである。この点に関して、フローチャートまたはブロック図の各ブロックは、指定されている論理的機能を実装するための１以上の実行可能な指示を含むモジュール、セグメント、またはコードの一部を表し得る。なお、幾つかの別の実装例においては、ブロック内に記されている機能が、図面に記されている順序から外れて生じ得る。例えば、続けて示されている２つのブロックが、含まれる機能に応じて、実際には略並列に実行される場合もあり、または、それらのブロックが逆の順序で実行される場合もある。また、ブロック図および／またはフローチャートの各ブロック、並びに、ブロック図および／またはフローチャートのブロックの組合せは、指定された機能もしくは動作を行う専用ハードウェアに基づくシステムによって、または、専用ハードウェアとコンピュータ指示との組合せによって実装され得る。
【００９６】
上記は本開示の実施形態に向けられているが、本開示の基本的な範囲から逸脱することなく、本開示の他のおよび更なる実施形態も考案され得るものであり、本開示の範囲は添付の特許請求によって決定される。
【００９７】
以下、本発明の好ましい実施形態を項分け記載する。
【００９８】
実施形態１
コンピュータによって実施される、ビデオシーケンス内のシーンのネイティブ解像度を決定する方法において、
前記シーンと関連づけられた第１の対数振幅スペクトルに含まれる低周波数領域を決定する工程と、
前記低周波数領域に基づいてエネルギー密度比を計算する工程と、
前記エネルギー密度比が所定のエネルギー密度閾値を超える場合に、前記低周波数領域の寸法に基づいて前記シーンの前記ネイティブ解像度を計算する工程と、
前記エネルギー密度比が前記所定のエネルギー密度閾値を超えない場合に、前記シーンの前記ネイティブ解像度を前記シーンの表示解像度と等しくする工程と
を含むことを特徴とする方法。
【００９９】
実施形態２
前記低周波数領域を決定する前記工程が、
前記第１の対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成する工程と、
前記第１の対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平分布関数および前記垂直分布関数に基づくものである矩形領域を選択する工程と
を含む、実施形態１記載の方法。
【０１００】
実施形態３
前記水平分布関数を生成する前記工程が、前記第１の対数振幅スペクトルを複数の横列に沿って投影して水平方向の一次元（１Ｄ）投影を生成し、該水平方向の１Ｄ投影を畳み込む工程を含む、実施形態２記載の方法。
【０１０１】
実施形態４
前記低周波数領域を決定する前記工程が、
前記第１の対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成する工程と、
１以上の曲線近似処理を行って、前記水平分布関数を近似する第１の線を決定する工程であって、前記第１の線に含まれる第１の線分と第２の線分とが、水平方向のニーポイントにおいて交差する、工程と、
１以上の曲線近似処理を行って、前記垂直分布関数を近似する第２の線を決定する工程であって、前記第２の線に含まれる第１の線分と第２の線分とが、垂直方向のニーポイントにおいて交差する、工程と、
前記第１の対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平方向のニーポイントのスペクトル周波数および前記垂直方向のニーポイントのスペクトル周波数に基づくものである矩形領域を選択する工程と
を含む、実施形態１記載の方法。
【０１０２】
実施形態５
前記１以上の曲線近似処理を行って前記第１の線を決定する前記工程が、
前記第１の線の終点を前記水平分布関数の終点と等しくなるよう設定する工程と、
前記水平方向のニーポイントの位置を、前記第１の線と前記水平分布関数との間の面積を最小化するよう調節する工程と
を含む、実施形態４記載の方法。
【０１０３】
実施形態６
第２の対数振幅スペクトルに基づいて水平分布関数を生成する工程と、
前記水平分布関数と該水平分布関数を近似する１つの線分からなる線との間に存在する第１の面積を計算する工程と、
前記水平分布関数と該水平分布関数を近似する２つの線分からなる線との間に存在する第２の面積を計算する工程と、
前記第２の面積に対する前記第１の面積の比率が所定の近似係数より小さいことを決定する工程と、
前記シーンの前記表示解像度と等しい第２のネイティブ解像度を設定する工程と
を更に含む、実施形態１記載の方法。
【０１０４】
実施形態７
前記エネルギー密度比を計算する前記工程が、
前記低周波数領域に基づいて低周波数密度を計算する工程と、
前記第１の対数振幅スペクトルと関連づけられた境界ボックスと前記低周波数領域との間に存在する高周波数領域に基づいて高周波数密度を計算する工程と、
前記高周波数密度に対する前記低周波数密度の比率を計算する工程と
を含む、実施形態１記載のコンピュータによって実施される方法。
【０１０５】
実施形態８
前記低周波数密度が、前記低周波数領域内に存在する前記第１の対数振幅スペクトルに含まれる複数の係数であって、前記第１の対数振幅スペクトルの原点には存在しない複数の係数に基づくものである、実施形態７記載の方法。
【０１０６】
実施形態９
指示を含むコンピュータ可読ストレージ媒体において、プロセッサによって実行された際に、該プロセッサに、
シーンと関連づけられた対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成する工程と、
前記水平分布関数および前記垂直分布関数に基づいて、前記対数振幅スペクトルに含まれる低周波数領域を決定する工程と、
前記低周波数領域に基づいてエネルギー密度比を計算する工程と、
前記エネルギー密度比が所定のエネルギー密度閾値を超える場合に、前記低周波数領域の寸法に基づいて前記シーンのネイティブ解像度を計算する工程と、
前記エネルギー密度比が前記所定のエネルギー密度閾値を超えない場合に、前記シーンの前記ネイティブ解像度を前記シーンの表示解像度と等しくする工程と
を行わせる指示を含むことを特徴とするコンピュータ可読ストレージ媒体。
【０１０７】
実施形態１０
前記低周波数領域を決定する前記工程が、前記対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平分布関数および前記垂直分布関数に基づくものである矩形領域を選択する工程を含む、実施形態９記載のコンピュータ可読ストレージ媒体。
【０１０８】
実施形態１１
前記垂直分布関数を生成する前記工程が、前記対数振幅スペクトルを複数の縦列に沿って投影して垂直方向の一次元（１Ｄ）投影を生成し、該垂直方向の１Ｄ投影を畳み込む工程を含む、実施形態１０記載のコンピュータ可読ストレージ媒体。
【０１０９】
実施形態１２
前記低周波数領域を決定する前記工程が、
１以上の曲線近似処理を行って、前記水平分布関数を近似する第１の線を決定する工程であって、前記第１の線に含まれる第１の線分と第２の線分とが、水平方向のニーポイントにおいて交差する、工程と、
１以上の曲線近似処理を行って、前記垂直分布関数を近似する第２の線を決定する工程であって、前記第２の線に含まれる第１の線分と第２の線分とが、垂直方向のニーポイントにおいて交差する、工程と、
前記第１の対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平方向のニーポイントのスペクトル周波数および前記垂直方向のニーポイントのスペクトル周波数に基づくものである矩形領域を選択する工程と
を含む、実施形態９記載のコンピュータ可読ストレージ媒体。
【０１１０】
実施形態１３
前記１以上の曲線近似処理を行って前記第２の線を決定する前記工程が、
前記第２の線の終点を前記垂直分布関数の終点と等しくなるよう設定する工程と、
前記垂直方向のニーポイントの位置を、前記第２の線と前記垂直分布関数との間の面積を最小化するよう調節する工程と
を含む、実施形態１２記載のコンピュータ可読ストレージ媒体。
【０１１１】
実施形態１４
前記エネルギー密度比を計算する前記工程が、
前記低周波数領域に基づいて低周波数密度を計算する工程と、
前記対数振幅スペクトルと関連づけられた境界ボックスと前記低周波数領域との間に存在する高周波数領域に基づいて高周波数密度を計算する工程と、
前記高周波数密度に対する前記低周波数密度の比率を計算する工程と
を含む、実施形態９記載のコンピュータ可読ストレージ媒体。
【０１１２】
実施形態１５
前記低周波数密度が、前記低周波数領域内に存在する前記対数振幅スペクトルに含まれる複数の係数であって、前記対数振幅スペクトルの原点には存在しない複数の係数に基づくものである、実施形態１４記載のコンピュータ可読ストレージ媒体。
【０１１３】
実施形態１６
前記境界ボックスの寸法が前記シーンの前記表示解像度と等しい、実施形態１４記載のコンピュータ可読ストレージ媒体。
【０１１４】
実施形態１７
ビデオシーケンス内のシーンのネイティブ解像度を決定するよう構成されたシステムにおいて、
ネイティブ解像度解析器を格納するメモリと、
前記メモリに結合されたプロセッサと
を含み、
前記ネイティブ解像度解析器が、前記プロセッサによって実行された際に、該プロセッサを、
前記シーンと関連づけられた対数振幅スペクトルに含まれる低周波数領域を決定し、
前記第１の対数振幅スペクトルと関連づけられた境界ボックスと前記低周波数領域との間に存在する高周波数領域を決定し、
前記低周波数領域および前記高周波数領域に基づいてエネルギー密度比を計算し、
前記エネルギー密度比が所定のエネルギー密度閾値を超える場合に、前記低周波数領域の寸法に基づいて前記シーンの前記ネイティブ解像度を計算し、
前記エネルギー密度比が前記所定のエネルギー密度閾値を超えない場合に、前記シーンの前記ネイティブ解像度を前記シーンの表示解像度と等しくする
よう構成することを特徴とするシステム。
【０１１５】
実施形態１８
前記ネイティブ解像度解析器が、前記プロセッサを、
前記対数振幅スペクトルに基づいて水平分布関数および垂直分布関数を生成し、
前記対数振幅スペクトルに含まれる矩形領域であって該矩形領域の寸法が前記水平分布関数および前記垂直分布関数に基づくものである矩形領域を選択する
ことによって前記低周波数領域を決定するよう構成する、実施形態１７記載のシステム。
【０１１６】
実施形態１９
前記ネイティブ解像度解析器が、前記プロセッサを、
前記対数振幅スペクトルを複数の横列に沿って投影して水平方向の一次元（１Ｄ）投影を生成し、該水平方向の１Ｄ投影を畳み込む
ことによって、前記水平分布関数を生成するよう構成する、実施形態１７記載のシステム。
【０１１７】
実施形態２０
前記ネイティブ解像度解析器が、前記プロセッサを、
前記低周波数領域に基づいて低周波数密度を計算し、
前記高周波数領域に基づいて高周波数密度を計算し、
前記高周波数密度に対する前記低周波数密度の比率を計算する
ことによって、前記エネルギー密度比を計算するよう構成する、実施形態１７記載のシステム。
【符号の説明】
【０１１８】
１００  システム
１２５  ネイティブ解像度解析器
１３０  クラウド
１４０  コンピュートインスタンス
１６０  ビデオ配信サブシステム
２０５  ビデオシーケンス
２１０  ビデオプリプロセッサ
２１２  黒線検出器
２１４  シーン変化検出器
２２０  シーン
２３０  フレーム
２４０  フレームプロセッサ
２５０  対数振幅フレームスペクトル
２６０  シーンスペクトル生成器
２７０  シーンスペクトル
２７５  グレーレベルシーンスペクトル
２７２  プレゼンテーション部
２８０  解像度計算エンジン
２９０  ネイティブ解像度
６２２  水平方向の累積分布関数（ＣＤＦ）
６２４、６３４  １つの線分からなる線
６２６、６３６  ２つの線分からなる線
６２８  水平方向のニーポイント
６３２  垂直方向の累積分布関数（ＣＤＦ）
６３８  垂直方向のニーポイント
７１０  境界ボックス
７２０  低周波数矩形
【図１】
0006542398.tif 000003
【図２】
0006542398.tif 000004
【図３】
0006542398.tif 000005
【図４】
0006542398.tif 000006
【図５】
0006542398.tif 000007
【図６】
0006542398.tif 000008
【図７】
0006542398.tif 000009
【図８】
0006542398.tif 000010