(57)【要約】【解決手段】ある実施の形態において、方法と装置は、オリジナル画像の情報を表すコンテンツを検出し（３００、６０５）、前記オリジナル画像の情報の一部に相当する、前記コンテンツの方向を検出し（３２０、６１５）、前記オリジナル画像の情報によって表現される隣接ピクセル間の変動を比較し（３７０、６２０）、前記コンテンツの方向と前記隣接ピクセル間の変動にもとづいて新しい画像の情報を生成する（６３５、６５０）。【選択図】図３
2010522485.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル画像の情報を表すコンテンツを検出するステップと、
前記オリジナル画像の情報の一部に相当する、前記コンテンツの方向を検出するステップと、
前記オリジナル画像の情報によって表現される隣接ピクセル間の変動を比較するステップと、
前記コンテンツの方向と前記隣接ピクセル間の変動にもとづいて新しい画像の情報を生成するステップとを含む方法。
【請求項２】
前記オリジナル画像の情報はインターレースされたフィールドに対応するものである請求項１に記載の方法。
【請求項３】
前記オリジナル画像の情報はデインターレースされたフレームに対応するものである請求項１に記載の方法。
【請求項４】
前記新しい画像の情報を前記オリジナル画像の情報と統合して一つのフレームにするステップをさらに含む請求項１に記載の方法。
【請求項５】
前記新しい画像の情報をストレージデバイスに格納するステップをさらに含む請求項１に記載の方法。
【請求項６】
前記新しい画像の情報は少なくとも一つのピクセルを代表するものである請求項１に記載の方法。
【請求項７】
前記オリジナル画像の情報は少なくとも一つのピクセルを代表するものである請求項１に記載の方法。
【請求項８】
前記新しい画像の情報を用いて前記コンテンツをアップスケールするステップをさらに含む請求項１に記載の方法。
【請求項９】
アップスケールするステップは、オリジナルフレームから新しいフレームに前記オリジナル画像の情報をコピーするステップをさらに含み、前記新しいフレームは前記オリジナルフレームよりも大きい請求項８に記載の方法。
【請求項１０】
アップスケールするステップは、前記新しい画像の情報を新しいフレームにコピーするステップをさらに含む請求項８に記載の方法。
【請求項１１】
前記新しい画像の情報を用いて前記コンテンツをデインタレースするステップをさらに含む請求項１に記載の方法。
【請求項１２】
デインタレースするステップは、オリジナルフィールドから新しいフレームに前記オリジナル画像の情報をコピーするステップをさらに含み、前記新しいフレームは前記オリジナルフィールドのほぼ２倍の列をもつ請求項１１に記載の方法。
【請求項１３】
デインタレースするステップは、新しい画像情報を新しいフレームにコピーするステップをさらに含む請求項１１に記載の方法。
【請求項１４】
前記方向を検出するステップは、前記オリジナル画像の情報から関連ピクセルを検出するステップをさらに含む請求項１に記載の方法。
【請求項１５】
前記関連ピクセルは、明度、カラー、テクスチャ、および状態の内、一つ以上を通して特定される請求項１４に記載の方法。
【請求項１６】
前記変動を比較するステップは、前記隣接ピクセルが、前記変動にもとづいて類似、非類似のいずれであるかを決定するステップをさらに含む請求項１に記載の方法。
【請求項１７】
前記コンテンツの方向に関する情報と前記新しい画像の情報をテンプレートに格納するステップをさらに含む請求項１に記載の方法。
【請求項１８】
次の画像の情報を、前記テンプレート内の前記オリジナル画像の情報の方向とマッチングさせるステップをさらに含む請求項１７に記載の方法。
【請求項１９】
前記次の画像の情報を前記テンプレートとマッチングさせた結果にもとづいて、前記テンプレート内の前記新しい画像の情報を特定するステップをさらに含む請求項１８に記載の方法。
【請求項２０】
オリジナル画像の一部を表すコンテンツを検出するように構成されたコンテンツ検出モジュールと、
前記コンテンツに含まれる関連ピクセルの方向を検出するように構成された方向検出モジュールと、
前記コンテンツに含まれる隣接ピクセル間の変動を検出するように構成された変動検出モジュールと、
前記方向と前記変動にもとづいてフレームの少なくとも一部に対して新しい画像の情報を生成するように構成されたインタフェースモジュールとを含むシステム。
【請求項２１】
前記オリジナル画像はフレームである請求項２０に記載のシステム。
【請求項２２】
前記オリジナル画像はフィールドである請求項２０に記載のシステム。
【請求項２３】
前記コンテンツと対応する方向と変動をまとめるように構成されたプロファイルモジュールをさらに含む請求項２０に記載のシステム。
【請求項２４】
前記コンテンツと対応する方向と変動を格納するように構成されたストレージモジュールをさらに含む請求項２０に記載のシステム。
【請求項２５】
前記方向と前記変動にもとづいて前記オリジナル画像をアップスケールすることを指示するように構成されたアップスケールモジュールをさらに含む請求項２０に記載のシステム。
【請求項２６】
前記方向と前記変動にもとづいて前記オリジナル画像をデインタレースすることを指示するように構成されたデインタレースモジュールをさらに含む請求項２０に記載のシステム。
【請求項２７】
オリジナル画像の情報を表すコンテンツを検出するステップと、
前記オリジナル画像の情報の一部に相当する、前記コンテンツの方向を検出するステップと、
前記オリジナル画像の情報によって表現される隣接ピクセル間の変動を比較するステップと、
前記コンテンツの方向と前記隣接ピクセル間の変動にもとづいて新しい画像の情報を生成するステップとを含む方法を実行するためのコンピュータで実行可能なインストラクションを格納したコンピュータ読み取り可能な媒体。
【請求項２８】
オリジナル画像の少なくとも一部を表すコンテンツを選択するステップと、
前記コンテンツ内の関連ピクセルにもとづいて前記コンテンツの方向を検出するステップと、
前記方向の軸に対する角度を検出するステップと、
前記角度を閾値と比較するステップと、
前記オリジナル画像の前記一部を前記コンテンツとして前記閾値にもとづいて調整するステップとを含む方法。
【請求項２９】
前記調整するステップは、前記角度が前記閾値よりも小さい場合、前記オリジナル画像の前記一部を増やすステップをさらに含む請求項２８に記載の方法。
【請求項３０】
前記調整するステップは、前記角度が前記閾値よりも大きい場合、前記オリジナル画像の前記一部を減らすステップをさらに含む請求項２８に記載の方法。
【請求項３１】
前記軸はｘ軸を表す請求項２８に記載の方法。
【請求項３２】
前記軸はｙ軸を表す請求項２８に記載の方法。
【請求項３３】
前記方向を検出するステップは、前記オリジナル画像から関連ピクセルを検出するステップをさらに含む請求項２８に記載の方法。
【請求項３４】
前記関連ピクセルは、明度、カラー、テクスチャ、および状態の一つを通して特定される請求項３３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願に対する相互参照］
本出願は、2007年3月19日に出願された「METHOD AND APPARATUS FOR UPSCALING VIDEO」と題する米国特許出願第11/725,901号の継続出願であり、開示内容全体を参照によりここに完全に組み入れる。
【０００２】
［本発明の分野］
本発明は、一般にビデオを修正することに関し、特にビデオをアップスケール（upscale）することに関する。
【背景技術】
【０００３】
高品質フォーマットの画像やビデオストリームを含むコンテンツを表示することに対する需要が増大してきている。しばしばビデオストリームは、削減された帯域幅とフリッカをもつ従来のＣＲＴテレビジョンでコンテンツを放送できるようにインターレース走査でフォーマットされている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、新しいデジタルディスプレイデバイス上でコンテンツを正しく見るためにはインターレースされたコンテンツを典型的にはデインタレース（de-interlace；インタレースの解除）する必要がある。残念ながら、デインタレースの処理はデインタレース後のコンテンツに誤差と不自然な結果（artifact）をもたらす。なぜなら、欠落しているデータを置き換えるために近似がなされるからである。
また、コンテンツの解像度を上げることは、改良された／アップスケールされたコンテンツを見るとき、改良されたディスプレイデバイスの性能を最大化する上で有益である。残念ながら、デインタレースされたコンテンツと同様、アップスケールされたコンテンツ内の欠落データを置き換えるのに使われる近似のゆえに、アップスケールされたコンテンツには誤差や不自然な結果が生じる。さらに、コンテンツをアップスケールするためには、しばしばコンテンツは既にデインタレースされていることが必要である。
【課題を解決するための手段】
【０００５】
ある実施の形態において、方法と装置は、オリジナル画像の情報を表すコンテンツを検出し、前記オリジナル画像の情報の一部に相当する、前記コンテンツの方向を検出し、前記オリジナル画像の情報によって表現される隣接ピクセル間の変動を比較し、前記コンテンツの方向と前記隣接ピクセル間の変動にもとづいて新しい画像の情報を生成する。
【図面の簡単な説明】
【０００６】
添付の図面は、本明細書の一部に組み入れられ、本明細書の一部を構成するものであり、ビデオをアップスケールするための方法と装置の一つの実施の形態を例示し、説明する。
【図１】ビデオをアップスケールする方法と装置が実装された環境を説明するダイアグラムである。
【図２】ビデオをアップスケールする方法と装置が実装される一つの実施の形態を説明する簡単化した構成図である。
【図３】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のあるシステムを説明する構成図である。
【図４Ａ】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のある例示的なフレームを表す。
【図４Ｂ】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のある例示的なフレームを表す。
【図４Ｃ】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のある例示的なフレームを表す。
【図５】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のある例示的なレコードを説明する。
【図６】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のあるフローダイアグラムである。
【図７】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のあるフローダイアグラムである。
【図８】ビデオをアップスケールする方法と装置の一つの実施の形態と一貫性のあるフローダイアグラムである。
【発明を実施するための形態】
【０００７】
ビデオをアップスケールする方法と装置についての以下の詳細な説明は添付の図面を参照する。詳細な説明はビデオをアップスケールする方法と装置を限定する意図ではない。ビデオをアップスケールする方法と装置の範囲は、添付の請求項と等価物によって定義される。多くの他の実装をすることも可能であり、ビデオをアップスケールする方法と装置と一貫性をもたさられることを当業者は理解するであろう。
【０００８】
タイトルは「ビデオをアップスケールする」という用語を含むが、本発明の派には、ビデオコンテンツのどの部分もアップスケールすることなく、ビデオコンテンツをデインタレースすることを含む。
【０００９】
「電子デバイス」というとき、これは、パーソナル・デジタル・ビデオ・レコーダ、デジタル・オーディオ・プレイヤ、ゲーム機、セットトップボックス、コンピュータ、携帯電話、携帯端末、自動車に対する電子的なインタフェースのような専用コンピュータなどのデバイスを含む。
【００１０】
「コンテンツ」というとき、イメージ、ビデオストリームなどを含む。
【００１１】
ある実施の形態において、ビデオをアップスケールするための方法と装置は、画像情報をアップスケールおよび／またはデインタレースするように構成される。ある実施の形態において、関連ピクセルが複数のピクセルから検出される。これらの関連ピクセルから方向が決定される。さらに、その複数のピクセルに対する隣接ピクセル間で局所変動が検出される。ある実施の形態において、画像情報をアップスケールおよび／またはデインタレースすることは、関連ピクセルの方向と複数のピクセル間の局所変動の両方にもとづいて実行される。それに加えて、画像情報の量は、ある実施の形態では関連ピクセルの方向にもとづいて動的に調整される。
【００１２】
ある実施の形態において、ビデオをアップスケールするための方法と装置は、画像情報を検出し、その画像情報を以前格納されたテンプレートとマッチングさせるように構成される。
【００１３】
図１は、ビデオをアップスケールする方法と装置が実装される環境を説明する構成図である。この環境は、電子デバイス１１０（これは、クライアントデバイスとして動作するよう構成されたコンピューティングプラットフォームであり、たとえば、パーソナル・デジタル・ビデオ・レコーダ、デジタル・オーディオ・プレイヤ、コンピュータ、携帯端末、携帯電話、カメラ、セットトップボックス、ゲーム機などである）、ユーザインタフェース１１５、ネットワーク１２０（たとえば、ローカルエリアネットワーク、ホームネットワーク、インターネット）、およびサーバ１３０（サーバとして動作するように構成されたコンピューティングプラットフォーム）を含む。ある実施の形態では、ネットワーク１２０は、無線または有線で実装される。
【００１４】
ある実施の形態では、ユーザインタフェース１１５の１以上の構成要素は、電子デバイス１１０と一体に構成される（たとえば、携帯端末電子機器（ソニー社で製造されるクリエ（商標または登録商標）など）と同じ筐体にあるキーパッドやビデオディスプレイ画面の入出力インタフェースがそうである）。他の実施の形態では、ユーザインタフェース１１５の１以上の構成要素は、電子デバイス１１０からは物理的に分離されていたり、従来通り、接続されている（たとえば、キーボード、マウスやトラックボールのようなポインティングデバイス、マイクロホン、スピーカ、ディスプレイ、カメラなどがそうである）。ユーザはインタフェース１１５を使って、電子デバイス１１０、サーバ１３０、またはネットワーク１２０を介して接続された（図示しない）リモートストレージデバイスに格納されたコンテンツやアプリケーションにアクセスし、制御する。
【００１５】
本発明によれば、以下に述べる画像情報を動的に検出し、生成するという実施の形態は、電子デバイス１１０またはサーバ１３０における電子プロセッサによって実行されるか、電子デバイス１１０およびサーバ１３０のプロセッサがともに動作することによって実行される。サーバ１３０は図１では単一のコンピューティングプラットフォームとして例示されているが、他の実施例では、サーバとして動作する二つ以上の相互接続されたコンピューティングプラットフォームである。
【００１６】
図２は、ビデオをアップスケールする方法と装置が実装される例示的なアーキテクチャを説明する簡単化した構成図である。この例示的なアーキテクチャは、複数の電子デバイス１１０、サーバデバイス１３０、およびネットワーク１２０を含み、ネットワーク１２０は、電子デバイス１１０をサーバ１３０に接続し、各電子デバイス１１０を互いに接続する。複数の電子デバイス１１０はそれぞれ、電子プロセッサ２０８に接続されたランダムアクセスメモリのようなコンピュータ読み取り可能な媒体２０９を含む。プロセッサ２０８は、コンピュータ読み取り可能な媒体２０９に格納されたインストラクションを実行する。図１を参照して説明したように、一人のユーザがインタフェース１１５を介して各電子デバイス１１０を操作する。
【００１７】
サーバデバイス１３０はコンピュータ読み取り可能な媒体２１２に接続されたプロセッサ２１１を含む。ある実施の形態では、サーバデバイス１３０は、１以上の付加的な外部または内部デバイス、たとえば、限定する趣旨ではないが、データベース２４０のような二次的なデータストレージエレメントと接続されている。
【００１８】
ある例では、プロセッサ２０８と２１１は、カリフォルニア州サンタクララのインテル社によって製造される。他の例では、他のマイクロプロセッサが利用される。
【００１９】
複数のクライアントデバイス１１０とサーバ１３０は、ビデオをアップスケールするためにカスタマイズされたアプリケーション用のインストラクションを含む。ある実施の形態では、複数のコンピュータ読み取り可能な媒体２０９と２１２は、一部には、このカスタマイズされたアプリケーションを含む。さらに、複数のクライアントデバイス１１０とサーバ１３０は、このカスタマイズされたアプリケーションで利用する電子的なメッセージを送受信するように構成される。同様に、ネットワーク１２０もこのカスタマイズされたアプリケーションで利用される電子的なメッセージを伝送するように構成される。
【００２０】
１以上のユーザアプリケーションが複数のメモリ２０９、メモリ２１１に格納される。あるいは、単一のユーザアプリケーションが一部は一つのメモリ２０９に、一部はメモリ２１１に格納される。ある例では、格納されたユーザアプリケーションは、ストレージの場所に関係なく、以下で説明する実施の形態を用いて決定されるように画像情報を動的に検出し、生成することにもとづいてカスタマイズ可能である。
【００２１】
図３は、ビデオをアップスケールするためのシステム３００のある実施の形態を説明する。システム３００は、フレーム／フィールド検出モジュール３１０、方向検出モジュール３２０、ストレージモジュール３３０、インタフェースモジュール３４０、コントロールモジュール３５０、プロファイルモジュール３６０、変動検出モジュール３７０、アップスケールモジュール３８０、およびデインタレースモジュール３９０を含む。ある実施の形態では、コントロールモジュール３５０は、フレーム／フィールド検出モジュール３１０、方向検出モジュール３２０、ストレージモジュール３３０、インタフェースモジュール３４０、プロファイルモジュール３６０、変動検出モジュール３７０、アップスケールモジュール３８０、およびデインタレースモジュール３９０と通信する。
【００２２】
ある実施の形態では、コントロールモジュール３５０は、フレーム／フィールド検出モジュール３１０、方向検出モジュール３２０、ストレージモジュール３３０、インタフェースモジュール３４０、プロファイルモジュール３６０、変動検出モジュール３７０、アップスケールモジュール３８０、およびデインタレースモジュール３９０間でタスク、リクエストおよびコミュニケーションを調整する。
【００２３】
ある実施の形態では、フレーム／フィールド検出モジュール３１０は、コンテンツを形成するフレームまたはフィールドのいずれかを検出する。ある実施の形態では、フレーム／フィールド検出モジュール３１０は、フレーム／フィールド全体の一部を特定する。たとえば、フレーム／フィールド検出モジュール３１０は、１フレーム／フィールド内のＮ×Ｎピクセル領域（Ｎは整数）を選択する。
【００２４】
ある実施の形態では、方向検出モジュール３２０は、ピクセルの動きとその動きの方向を検出する。
【００２５】
ある実施の形態では、ピクセルが検出される領域はフレーム／フィールド検出モジュール３１０によって特定される。たとえば、フレーム／フィールド検出モジュール３１０によって特定される領域は、ある実施の形態ではフレーム／フィールド全体であってもよい。別の実施の形態では、フレーム／フィールド検出モジュール３１０によって特定される領域は、フレーム／フィールド全体の一部であってもよい。
【００２６】
ある実施の形態では、方向検出モジュール３２０は傾向を特定し、必ずしも互いに隣接していない関連ピクセルを特定するために利用される。たとえば、方向検出モジュール３２０によって検出されるピクセルは、その関連ピクセルと関連づけられた共通ベクトルにもとづいて特定されてもよい。さらに、その共通ベクトルは、カラー、照度などのいろいろなパラメータを含んでもよい。
【００２７】
方向は、ソースデータの注目点における局所的な方向を計算することによって検出されてもよい。局所的な方向を計算する一つの方法は、近傍ピクセルにおける画像の属性の２次元共分散行列の総和を取ることによる。この属性にはピクセルカラー、照度などが含まれるがこれらには限定されない。
【００２８】
【数１】
2010522485.tif 000003
ここでＯ（Ｐ）は、ピクセルＰにおける局所方向であり、ＮはソースデータにおいてＰに対する近傍ピクセルとして考慮されたピクセルの数、Ｃ＊（ｉ）は近傍ピクセルｉに対応するｘおよびｙ軸に関するデータ属性の１階微分係数である。局所的な画像の方向は、行列Ｏ（Ｐ）の最小の固有値に対応する固有ベクトルについて解くことにより得られる。
【００２９】
方向検出モジュール３２０の利用例を図４Ａ、４Ｂ、および４Ｃに示す。
【００３０】
ある実施の形態では、ストレージモジュール３３０は複数のプロファイルを格納し、各プロファイルは、いろいろなコンテンツおよびそのコンテンツに関連する他のデータと関連づけられている。ある実施の形態では、プロファイルには、図６のプロファイルに示されるような例示的な情報が格納される。ある実施の形態では、ストレージモジュール３３０は、サーバデバイス１３０内に位置する。別の実施の形態では、ストレージモジュール３３０の一部は、電子デバイス１１０内に位置する。
【００３１】
ある実施の形態では、電子デバイス１１０はネットワーク１２０に接続されているため、インタフェースモジュール３４０が電子デバイス１１０を検出する。
【００３２】
別の実施の形態では、インタフェースモジュール３４０は、キーボード、マウス、マイクロホン、スチルカメラ、ビデオカメラなどのインタフェースデバイス１１５からの入力を検出する。
【００３３】
さらに別の実施の形態では、インタフェースモジュール３４０は、ディスプレイ、スピーカ、外部ストレージデバイス、外部ネットワークなどのインタフェースデバイス１１５に出力を提供する。
【００３４】
ある実施の形態では、プロファイルモジュール３６０は、特定のコンテンツに関するプロファイル情報を処理する。ある実施の形態では、例示的なプロファイル情報は、図６で説明されるレコード内に示される。
【００３５】
ある実施の形態では、変動検出モジュール３７０は、隣接ピクセル間の変動を検出する。ある実施の形態では、ピクセル間の変動には、カラー、照度などのいろいろなパラメータを含む。
【００３６】
ある実施の形態では、ピクセルが検出される領域はフレーム／フィールド検出モジュール３１０によって特定される。たとえば、フレーム／フィールド検出モジュール３１０によって特定される領域は、ある実施の形態ではフレーム／フィールド全体であってもよい。別の実施の形態では、フレーム／フィールド検出モジュール３１０によって特定される領域は、フレーム／フィールド全体の一部であってもよい。
【００３７】
ある実施の形態では、変動検出モジュール３７０は、互いに隣接するピクセル間の変動を特定するために用いられる。たとえば、変動検出モジュール３７０によって検出される隣接ピクセルは、パラメータにもとづいて類似／非類似のいずれであるかが特定される。さらに、ある実施の形態では、類似または非類似を決定するために閾値レベルを用いてもよい。
【００３８】
ある実施の形態では、考慮される近傍のスケールを変えることにより、近傍ピクセル間で複数のスケールで局所的な方向を計算し、その計算によって、局所的な変動を決定する。広い範囲の近傍ピクセルにもとづいて方向を計算すれば、低分散の参照方向が得られる。狭い範囲の近傍ピクセルにもとづいて方向を計算すれば、きめ細かい高分散の局所方向を得る。その後、局所分散は、閾値パラメータにもとづいて、広いスケールと狭いスケールの方向についての類似または非類似によって決定される。
【００３９】
ある実施の形態では、近傍の広いスケールと狭いスケールの方向は、隣接ピクセル間の分散の度合いを決定するために、ファジー論理を用いて結合される。
【００４０】
変動検出モジュール３７０の利用例を図４Ａ、４Ｂ、および４Ｃに示す。
【００４１】
ある実施の形態では、アップスケールモジュール３８０は、オリジナルフレームのオリジナル解像度を新しいフレームの新しい解像度に増やすことを指示する。ある実施の形態では、オリジナル解像度は４８０ｐであり、新しい解像度は１０８０ｐである。他の実施の形態では、オリジナル解像度と新しい解像度によって任意の数の解像度を表現してもよい。ある実施の形態では、アップスケールモジュール３８０は、オリジナルフレームのオリジナルピクセルを新しいフレームにマッピングする。オリジナルピクセルを新しいフレームにマッピングした後、新しいフレームには欠落しているピクセルデータがあるだろう。
【００４２】
ある実施の形態では、アップスケールモジュール３８０は、方向検出モジュール３２０と変動検出モジュール３７０の両方を用いて、新しいフレーム内の欠落ピクセルデータを決定する。ある実施の形態では、方向検出モジュール３２０は、広い領域にわたって関連ピクセルを検出し、オリジナルフレームから複数のピクセルにわたる傾向を検出する。さらに、変動検出モジュール３７０は、隣接ピクセルを互いに比較し、隣接ピクセルがオリジナルフレーム内で類似しているか、非類似であるかを決定する。方向検出モジュール３２０を通じたより広いコンテキストと変動検出モジュール３７０を通じたより狭い比較の両方にもとづいて、アップスケールモジュール３８０は、新しいフレーム内の欠落ピクセルデータを供給することができる。
【００４３】
ある実施の形態では、デインタレースモジュール３９０は、インタレースされたフィールドをフレームに変換することを指示する。ある実施の形態では、デインタレースモジュール３９０は、オリジナルフィールドのオリジナルピクセルを新しいフレームにマッピングする。オリジナルピクセルを新しいフレームにマッピングした後、新しいフレームには欠落しているピクセルデータの列があるだろう。
【００４４】
ある実施の形態では、デインタレースモジュール３９０は、方向検出モジュール３２０と変動検出モジュール３７０の両方を用いて、新しいフレーム内の欠落ピクセルデータを決定する。ある実施の形態では、方向検出モジュール３２０は、広い領域にわたって関連ピクセルを検出し、オリジナルフレーム内の複数のピクセルにわたる傾向を検出する。さらに、変動検出モジュール３７０は、隣接ピクセルを互いに比較し、隣接ピクセルがオリジナルフレーム内で類似しているか、非類似であるかを決定する。方向検出モジュール３２０を通じたより広いコンテキストと変動検出モジュール３７０を通じたより狭い比較の両方にもとづいて、デインタレースモジュール３９０は、新しいフレーム内の列に対して欠落ピクセルデータを供給することができる。
【００４５】
図３のシステム３００は例示の目的で示したものであり、ビデオをアップスケールするための方法と装置の一つの実施の形態に過ぎない。ビデオをアップスケールするための方法と装置の範囲から逸脱することなく、システム６００に付加的なモジュールを加えることもできる。同様に、ビデオをアップスケールするための方法と装置の範囲から逸脱することなく、モジュールを結合したり、削除することもできる。
【００４６】
図４Ａ、４Ｂ、および４Ｃは例示的なフレームを表す。簡単のため、これらのフレーム内に表されたピクセルはアクティブまたは非アクティブのいずれかの状態だけをもつものとする。さらに、例示するフレームはフレーム全体またはフレーム全体の一部を表す。
【００４７】
図４Ａにおいて、フレーム４００は５×５のフレームを表す。フレーム４００は、位置（２，３）、（３，３）、（４，２）、および（５、２）にそれぞれアクティブなピクセル４０１、４０２、４０３、および４０４を有する。フレーム４００内の残りの位置のピクセルは非アクティブである。ある実施の形態において、フレーム／フィールド検出モジュール３１０がフレーム４００を検出する。ある実施の形態において、フレーム／フィールド検出モジュール３１０は、フレーム４００のサイズを決定し、フレーム４００のサイズを増やすか、減らしてもよい。
【００４８】
ある実施の形態において、方向検出モジュール３２０は、フレーム４００内の関連ピクセル間の全体的な方向と動きを検出する。ある実施の形態において、方向検出モジュール３２０は、アクティブなピクセルを関連ピクセルとしてグループ化する。これらの関連ピクセルはフレーム４００内のどこに位置してもよい。
【００４９】
図４Ｂにおいて、フレーム４１０は５×５フレームを表す。フレーム４１０は、位置（２，３）、（３，３）、（４，２）、および（５、２）にそれぞれアクティブなピクセル４１１、４１２、４１３、および４１４を有する。アクティブなピクセル４１１、４１２、４１３、および４１４は、図４Ａに示したピクセル４０１、４０２、４０３、および４０４に対応する。ある実施の形態では、フレーム４１０はフレーム４００の一つの表現であり、アクティブなピクセル４１１、４１２、４１３、および４１４をベクトルとして図示する。
【００５０】
ある実施の形態では、変動検出モジュール３７０が、フレーム４１０内の隣接ピクセル間の変動を検出する。別の実施の形態では、変動検出モジュール３７０は、フレーム４００内の隣接ピクセル間の変動を検出する。この例では、ピクセルはアクティブまたは非アクティブである。
【００５１】
たとえば、ある例では、変動検出モジュール３７０は、ピクセル４１１と（１，３）に位置する隣接ピクセルとの間の差を検出する。ピクセル４１１はアクティブで、（１，３）に位置する隣接ピクセルは非アクティブであるから、変動検出モジュール３７０によって検出された差は閾値よりも上であり、これらの２つのピクセルは十分に区別できることを示す。
【００５２】
別の例では、変動検出モジュール３７０は、ピクセル４１１と隣接するピクセル４１２間の差を検出する。ピクセル４１１とピクセル４１２はアクティブであるから、変動検出モジュール３７０により検出される差は閾値よりも低く、これらの２つのピクセルはかなり十分に類似していることを示す。
【００５３】
図４Ｃにおいて、フレーム４２０は１０×１０のフレームを示す。フレーム４２０は、置（３，６）、（５，６）、（８，４）、および（１０、４）にそれぞれアクティブなピクセル４２１、４２２、４２３、および４２４を有する。アクティブなピクセル４２１、４２２、４２３、および４２４は、図４Ｂに示したピクセル４１１、４１２、４１３、および４１４に対応する。さらに、アクティブなピクセル４２１、４２２、４２３、および４２４はフレーム４２０内において、フレーム４１０のピクセル４１１、４１２、４１３、および４１４に関する近似位置に示されている。
【００５４】
ある実施の形態では、方向検出モジュール３２０は、関連ピクセル４０１、４０２、４０３、および４０４のグループ、またはピクセル４１１、４１２、４１３、および４１４のグループの方向を検出する。さらに、変動検出モジュール３７０は、フレーム４００またはフレーム４１０内の隣接ピクセル間の変動を検出する。
【００５５】
ある実施の形態では、方向検出モジュール３２０および変動検出モジュール３７０にもとづいて、位置（３〜１０，５）、（４，６）、および（９，４）の付加的なアクティブピクセル４２５がフレーム４２０に挿入される。この例では、位置（２，５）および（２，６）には付加的なアクティブピクセルは挿入されなかった。なぜなら、関連ピクセル４０１、４０２、４０３、および４０４、または、ピクセル４１１、４１２、４１３、および４１４の動きは（方向検出モジュール３２０によって検出されるように）おおよそｘ軸に沿っており、（変動検出モジュール３７０によって検出されるように）ピクセル４０１および４１１で終わっているからである。さらに、付加的なアクティブピクセルが（４，６）、（６〜７、５）、および（９，４）に挿入されたのは、関連ピクセル４０１、４０２、４０３、および４０４、または、ピクセル４１１、４１２、４１３、および４１４の間に出現するからである。この例では、（３〜５、５）および（８〜１０、５）にも付加的なアクティブピクセルが挿入されている。これは、関連ピクセル４０１、４０２、４０３、および４０４、または、ピクセル４１１、４１２、４１３、および４１４において検出された動きに対して直角をなすからである。
【００５６】
他の実施の形態では、本発明の思想から逸脱することなく、異なるピクセルがフレーム４２０内に挿入される。
【００５７】
図５は、コンテンツを記述するプロファイルに対応する簡略化したレコード５００を説明する図である。ある実施の形態では、レコード５００は、ストレージモジュール３３０に格納され、システム３００内で利用される。ある実施の形態では、レコード５００は、コンテンツＩＤフィールド５１０、コンテンツタイプフィールド５２０、フレーム／フィールドＩＤフィールド５３０、およびパラメータフィールド５４０を含む。
【００５８】
ある実施の形態では、コンテンツＩＤフィールド５１０は特定のコンテンツに対するカスタマイズ可能なラベルを提供する。たとえば、コンテンツＩＤフィールド５１０は、「ホームビデオ」、「エミリーの誕生日パーティ」などの任意の名前でラベル付けしてもよい。
【００５９】
ある実施の形態では、コンテンツタイプフィールド５２０は、コンテンツＩＤフィールド５１０に関連付けられたコンテンツのタイプを識別する。たとえば、コンテンツタイプには、４８０ｐ、１０８０ｉなどが含まれる。
【００６０】
ある実施の形態では、フレーム／フィールドＩＤフィールド５３０は、識別されたコンテンツの特定のフレーム／フィールドを識別する。別の実施の形態では、フレーム／フィールドＩＤフィールド５３０は、識別されたコンテンツ内のフレーム／フィールドの範囲を示す。
【００６１】
ある実施の形態では、パラメータフィールド５４０は、指定されたフレーム／フィールドを記述するパラメータを含む。ある実施の形態では、パラメータは、方向検出モジュール３２０、変動検出モジュール３７０、アップスケールモジュール３８０、および／またはデインタレースモジュール３９０によって生成された情報を含む。さらにパラメータは、方向検出モジュール３２０が関連ピクセルのグループを検出するフレーム／フィールド内の特定の位置を含んでもよい。
【００６２】
図６、図７、および図８に示すフローダイアグラムは、ビデオをアップスケールするための方法および装置の一つの実施の形態である。フローダイアグラムの各ブロックは、ビデオをアップスケールするための方法および装置の思想を逸脱することなく、異なるシーケンスで実行することもできる。さらに、ビデオをアップスケールするための方法および装置の思想を逸脱することなく、ブロックを削除、追加、結合することもできる。
【００６３】
図６のフローダイアグラムは、本発明のある実施の形態にしたがって選択的にコンテンツをデインタレースし、コンテンツをアップスケールする方法を説明する。
【００６４】
ブロック６０５において、コンテンツを検出する。ある実施の形態では、コンテンツはシステム３００によって検出される。
【００６５】
ブロック６１０において、フレーム／フィールドを検出する。ある実施の形態では、コンテンツがインタレースされたビデオを含む場合は、フィールドが検出される。コンテンツがデインタレースされたビデオを含む場合は、フレームが検出される。別の実施の形態では、フレーム／フィールドの一部が検出される。ある例では、フレーム／フィールド検出モジュール３１０がフレーム／フィールドを検出する。
【００６６】
ブロック６１５において、動きと方向を検出する。ある実施の形態では、ブロック６１０から得られたフレーム／フィールド内で方向検出モジュール３２０がピクセルの動きと方向を検出する。たとえば、類似するピクセルが特定され、この類似するピクセルのグループの動きと方向が特定される。ある実施の形態では、これらのピクセルは、テクスチャ、カラー、明度などの点で類似する。
【００６７】
ブロック６２０において、ブロック６１０から得られたフレーム／フィールド内のピクセル間で局所的な変動が検出される。ある実施の形態では、隣接ピクセル間で変動が検出される。また、変動検出モジュール３７０を通して変動が検出されてもよい。
【００６８】
ブロック６２５において、ブロック６０５で検出されたコンテンツがインタレースされたものであるか、デインタレースされたものであるかを決定する。もし検出されたコンテンツがインタレースされたものであるなら、ブロック６３０において、ピクセルはフィールドから新しいフレームにコピーされる。
【００６９】
ブロック６３５において、一つおきの列の欠落しているピクセルデータが新しいピクセルデータで置き換えられる。ある実施の形態では、新しいピクセルデータは、ブロック６１５で検出された動きと方向およびブロック６２０で検出された局所的な変動にもとづいて生成される。
【００７０】
ある実施の形態では、新しいピクセルデータ、検出された動きと方向、および検出された局所的な変動は、プロファイル内に格納される。
【００７１】
ある実施の形態では、ブロック６３０および６３５で記述された機能は、デインタレースモジュール３９０によって調整されてもよい。
【００７２】
ブロック６２５において、もしコンテンツが既にデインタレースされているならば、ブロック６４０に進む。同様に、ブロック６３５の後、ブロック６４０に進む。
【００７３】
ブロック６４０において、もしオリジナルのフレームをアップスケールすることが望ましいならば、ブロック６４５に進む。オリジナルのフレームをアップスケールすることが望ましくないならば、ブロック６０５のコンテンツ検出に戻る。
【００７４】
ブロック６４５において、オリジナルフレームから新しいフレームへオリジナルピクセルがコピーされる。ある実施の形態では、新しいフレームはオリジナルフレームよりも大きい。ある例では、オリジナルピクセルが新しいフレームにコピーされるとき、オリジナルフレーム内で見つけられたのと類似する比率で新しいフレームに配置される。たとえば、フレーム４００をオリジナルフレームとし、フレーム４２０を新しいフレームとする。さらに、この例において、フレーム４００（図４Ａ）内のアクティブピクセル４０１、４０２、４０３、および４０４は、フレーム４２０（図４Ｃ）内のアクティブピクセル４２１、４２２、４２３、および４２４の近似する位置に置かれる。明示していないが、ある実施の形態では、フレーム４００からの非アクティブなピクセルもまたフレーム４２０内にコピーし、挿入することができる。
【００７５】
ブロック６５０において、新しいフレーム内の欠落しているピクセルデータが新しいピクセルデータに置き換えられる。ある実施の形態では、新しいピクセルデータは、ブロック６１５で検出された動きと方向、およびブロック６２０で検出された局所的な変動にもとづいて生成される。
【００７６】
ある実施の形態では、新しいピクセルデータ、検出された動きと方向、および検出された局所的な変動は、プロファイル内に格納される。
【００７７】
ある実施の形態では、ブロック６４５および６５０で記述された機能は、アップスケールモジュール３８０によって調整されてもよい。
【００７８】
図７のフローダイアグラムは、本発明のある実施の形態に係るピクセルの動きの検出に関連する情報を格納する方法を説明する。
【００７９】
ブロック７１０において、フレーム／フィールドを検出する。ある実施の形態では、コンテンツがインターレースされたビデオを含むならば、フィールドが検出される。コンテンツがデインターレースされたビデオを含むならば、フレームが検出される。別の実施の形態では、フレーム／フィールドの一部が検出される。ある例では、フレーム／フィールド検出モジュール３１０がフレーム／フィールドを検出する。
【００８０】
ブロック７１５において、動きと方向を検出する。ある実施の形態では、ブロック７１０から得られたフレーム／フィールド内で方向検出モジュール３２０がピクセルの動きと方向を検出する。たとえば、類似するピクセルが特定され、この類似するピクセルのグループの動きと方向が特定される。ある実施の形態では、これらのピクセルは、テクスチャ、カラー、明度などの点で類似する。
【００８１】
ブロック７２０において、オリジナルのフレーム／フィールドから新しいフレームへオリジナルピクセルがコピーされる。ある実施の形態では、新しいフレームはオリジナルのフレーム／フィールドよりも大きい。ある例では、オリジナルピクセルが新しいフレームにコピーされるとき、オリジナルのフレーム／フィールド内で見つけられたのと類似する比率で新しいフレームに配置される。たとえば、フレーム４００をオリジナルフレームとし、フレーム４２０を新しいフレームとする。さらに、この例において、フレーム４００（図４Ａ）内のアクティブピクセル４０１、４０２、４０３、および４０４は、フレーム４２０（図４Ｃ）内のアクティブピクセル４２１、４２２、４２３、および４２４の近似する位置に置かれる。明示しないが、ある実施の形態では、フレーム４００からの非アクティブなピクセルもまたフレーム４２０内にコピーし、挿入することができる。
【００８２】
ブロック７２０において、新しいフレーム内の欠落しているピクセルデータが新しいピクセルデータに置き換えられる。ある実施の形態では、新しいピクセルデータは、ブロック７１５で検出された動きと方向にもとづいて生成される。別の実施の形態では、新しいピクセルデータは、ブロック６２０で検出された局所的な変動にもとづいて生成される。
【００８３】
ブロック７２５において、新しいピクセルデータ、検出された動きと方向、および検出された局所的な変動は、プロファイル内に格納される。ある実施の形態では、特定のフィールド／フレームを記述するこのプロファイル情報を格納するためにテンプレートが生成される。ある実施の形態では、このテンプレートはストレージモジュール３３０に格納される。
【００８４】
ブロック７３０において、次のフレーム／フィールドが検出される。
【００８５】
ブロック７３５において、ブロック７３０で検出されたフレーム／フィールドが、ブロック７２５において生成されたテンプレートによって記述された動きとマッチングするならば、ブロック７４０でテンプレートを特定する。ブロック７３０で検出されたフレーム／フィールドが、既存のテンプレートとマッチングする動きをもたないならば、欠落しているピクセルデータはブロック７２０で計算される。
【００８６】
ブロック７４５において、新しいフレーム内の欠落しているピクセルデータが新しいピクセルデータに置き換えられる。ある実施の形態では、新しいピクセルデータは、ブロック８３５で特定されるテンプレートにもとづいて提供される。
【００８７】
図８のフローダイアグラムは、本発明のある実施の形態にしたがって現在のフレーム／フィールドの領域を調整する方法を説明する。
【００８８】
ブロック８１０において、フレーム／フィールドを検出する。ある実施の形態では、コンテンツがインターレースされたビデオを含むならば、フィールドが検出される。コンテンツがデインターレースされたビデオを含むならば、フレームが検出される。別の実施の形態では、フレーム／フィールドの一部が検出される。ある例では、フレーム／フィールド検出モジュール３１０がフレーム／フィールドを検出する。
【００８９】
ブロック８２０において、フレーム／フィールドの一部が選択される。ある実施の形態では、フレーム／フィールドの大きな部分が選択される。別の実施の形態では、フレーム／フィールドの小さな部分が選択される。
【００９０】
ブロック８３０において、動きと方向を検出する。ある実施の形態では、ブロック８２０からのフレーム／フィールドの選択された部分内で方向検出モジュール３２０がピクセルの動きと方向を検出する。たとえば、類似するピクセルが特定され、この類似するピクセルのグループの動きと方向が特定される。ある実施の形態では、これらのピクセルは、テクスチャ、カラー、明度などの点で類似する。
【００９１】
ブロック８３０において、オリジナルのフレーム／フィールドから新しいフレームへオリジナルピクセルがコピーされる。ある実施の形態では、新しいフレームはオリジナルのフレーム／フィールドよりも大きい。ある例では、オリジナルピクセルが新しいフレームにコピーされるとき、オリジナルのフレーム／フィールド内で見つけられたのと類似する比率で新しいフレームに配置される。たとえば、フレーム４００をオリジナルフレームとし、フレーム４２０を新しいフレームとする。さらに、この例において、フレーム４００（図４Ａ）内のアクティブピクセル４０１、４０２、４０３、および４０４は、フレーム４２０（図４Ｃ）内のアクティブピクセル４２１、４２２、４２３、および４２４の近似する位置に置かれる。明示していないが、ある実施の形態では、フレーム４００からの非アクティブなピクセルもまたフレーム４２０内にコピーし、挿入することができる。
【００９２】
ブロック８４０において、ブロック８３０で検出された関連ピクセルの動きと方向の角度が解析される。ある実施の形態では、関連ピクセルの動きと方向はベースラインからの角度を形成する。ある例では、ベースラインはｘ軸と平行である。別の例では、ベースラインはｙ軸と平行である。
【００９３】
ある実施の形態では、関連ピクセルの動きおよび方向がベースラインに対して浅い角度をもつならば、典型的にはシステム３００は、フレーム／フィールドの選択された部分がより大きな領域を包含する場合に、欠落しているピクセルに対してより正確なデータを提供することができるようになる。
【００９４】
もし、関連ピクセルの動きおよび方向がベースラインに対してなす角度が閾値より小さいならば、ブロック８２０で最初に選択されたフレーム／フィールドの部分を増やして大きくする。ある実施の形態では、フレーム／フィールドの部分は特定の閾値にもとづく量だけ増加させる。たとえば、閾値が非常に小さい角度を表す場合は、フレーム／フィールドから選択された部分はかなり大きくする。
【００９５】
もし、関連ピクセルの動きおよび方向がベースラインに対してなす角度が閾値より小さいならば、ブロック９５０においてフレーム／フィールドの部分を増やして大きくする。
【００９６】
もし、関連ピクセルの動きおよび方向がベースラインに対してなす角度が閾値より小さくないならば、ブロック８６０において、新しいフレーム内の欠落しているピクセルデータを新しいピクセルデータに置き換える。ある実施の形態では、新しいピクセルデータは、ブロック８３０で検出された動きと方向にもとづいて生成される。
【００９７】
上記のように本発明の特定の実施の形態を説明したのは、例示と記載の目的のためである。たとえば、本発明は、本発明の単なる一実施の形態として、動的に画像情報を検出して生成するという文脈の中で記載されたが、本発明は他のアプリケーションにも適用することができる。
【００９８】
これらの実施の形態は、網羅的なものを意図したものではなく、本発明を開示された実施の形態そのものに限定する意図もなく、当然のことながら、上述の教示内容を考慮すれば、多くの変更やバリエーションがありうる。本発明の原理とその実用的な応用を説明し、それによって当業者が本発明、意図する特定の用途に適するようにいろいろな変更を加えたいろいろな実施の形態を最大限に利用することができるように、実施の形態を選択し、記述した。本発明の範囲は、ここに添付する請求項とその等価物によって定義されることを意図している。
【図１】
2010522485.tif 000004
【図２】
2010522485.tif 000005
【図３】
2010522485.tif 000006
【図４Ａ】
2010522485.tif 000007
【図４Ｂ】
2010522485.tif 000008
【図４Ｃ】
2010522485.tif 000009
【図５】
2010522485.tif 000010
【図６】
2010522485.tif 000011
【図７】
2010522485.tif 000012
【図８】
2010522485.tif 000013
【国際調査報告】
2010522485.tif 000014