(57)【要約】画像を処理する方法と、その方法を実装するプロセッサとが開示される。第１のアルゴリズムは、画像における関心領域を表す情報を処理するのに使用されるように選択される。第２のアルゴリズムは、画像のうち関心領域ではない領域を表す情報を処理するのに使用されるように選択される。第１及び第２のアルゴリズムは、画像を表す情報の各部に適用される。【選択図】図２
2014527324.tif 000002
【特許請求の範囲】
【請求項１】
画像を表す情報内の関心領域を表す情報の部分の特定に応じて、
前記関心領域を表す情報の部分を処理するのに用いられる第１のアルゴリズムを選択するステップと、
前記画像のうち前記関心領域ではない領域を表す画像を表す情報の部分を処理するのに用いられる第２のアルゴリズムを選択するステップと、
前記画像を表す情報の各部に前記第１及び第２のアルゴリズムを適用するステップと、
を含む、画像を処理する方法。
【請求項２】
前記情報の各部に前記第１及び第２のアルゴリズムを適用するステップに続いて、前記画像を表示するステップを含み、前記第１及び第２のアルゴリズムを適用するステップは、前記表示される画像のアスペクト比を維持する、請求項１記載の方法。
【請求項３】
前記関心領域を表す情報の処理された部分と、前記画像のうち前記関心領域ではない領域を表す情報の処理された部分とを、処理された画像に組み合わせるステップを含む、請求項１記載の方法。
【請求項４】
前記処理された画像に平滑化アルゴリズムを適用するステップを含む、請求項３記載の方法。
【請求項５】
前記関心領域は、前記画像の中央を囲む領域、前記画像内の移動オブジェクトを含むように判定された領域、観察者の目の観察方向に基づいて判定された前記画像の領域、又は前記画像内の関心のあるオブジェクトの領域のうち１つ以上を含む、請求項１記載の方法。
【請求項６】
観察者の目の観察方向を判定して追跡するステップを含み、前記関心領域は、前記観察方向から判定される、請求項１記載の方法。
【請求項７】
前記第１及び第２のアルゴリズムは、画像スケーリングアルゴリズムである、請求項１記載の方法。
【請求項８】
縦スケーリングパラメータ又は横スケーリングパラメータのうち少なくとも一方は、前記第１及び第２のアルゴリズムの双方において同一である、請求項５記載の方法。
【請求項９】
前記第１のアルゴリズムを選択するステップ及び前記第２のアルゴリズムを選択するステップの各々は、ビデオ処理アルゴリズムを選択するステップを含む、請求項１記載の方法。
【請求項１０】
前記第１及び第２のアルゴリズムのうち少なくとも一方は、画像復号アルゴリズム又は画像後処理アルゴリズムである、請求項１記載の方法。
【請求項１１】
前記ビデオ処理アルゴリズムは、色強調アルゴリズム、色補正アルゴリズム、鮮明度強調アルゴリズム、コントラスト強調アルゴリズム、輝度強調アルゴリズム、輪郭強調アルゴリズム、動き補償アルゴリズム、圧縮アルゴリズム、解凍アルゴリズム、ビデオインターレースアルゴリズム、ビデオインターレース解除アルゴリズム、又は走査速度変換アルゴリズムのうち少なくとも１つである、請求項９記載の方法。
【請求項１２】
前記第１及び第２のアルゴリズムの選択は、前記選択が行われるときに利用可能な計算リソースに依存する、請求項１記載の方法。
【請求項１３】
表示される画像の質を高めるためにプロセッサを操作するための命令を含むプログラムを記憶するコンピュータ可読記憶媒体であって、前記命令は、
前記画像を表す情報内の関心領域を表す情報の部分の特定に応じて、
前記関心領域を表す情報の部分を処理するのに用いられる第１のアルゴリズムを選択することと、
前記画像のうち前記関心領域ではない領域を表す画像を表す情報の部分を処理するのに用いられる第２のアルゴリズムを選択することと、
前記画像を表す情報の各部に前記第１及び第２のアルゴリズムを適用することと、
を備える、コンピュータ可読記憶媒体。
【請求項１４】
前記命令は、前記情報の各部に前記第１及び第２のアルゴリズムを適用することに続いて、前記画像を表示することを備え、前記第１及び第２のアルゴリズムを適用することは、前記表示される画像のアスペクト比を維持する、請求項１３記載のコンピュータ可読記憶媒体。
【請求項１５】
前記命令は、前記関心領域を表す情報の処理された部分と、前記画像のうち前記関心領域ではない領域を表す情報の処理された部分とを、処理された画像に組み合わせることを備える、請求項１３記載のコンピュータ可読記憶媒体。
【請求項１６】
前記命令は、前記処理された画像に平滑化アルゴリズムを適用することを備える、請求項１５記載のコンピュータ可読記憶媒体。
【請求項１７】
表示される画像の質を高める方法を行うように構成されたプロセッサであって、
前記方法は、
前記画像を表す情報内の関心領域を表す情報の部分の特定に応じて、
前記関心領域を表す情報の部分を処理するのに用いられる第１のアルゴリズムを選択することと、
前記画像のうち前記関心領域ではない領域を表す画像を表す情報の部分を処理するのに用いられる第２のアルゴリズムを選択することと、
前記画像を表す情報の各部に前記第１及び第２のアルゴリズムを適用することと、
を備える、プロセッサ。
【請求項１８】
前記第１及び第２のアルゴリズムを適用するとき、表示される画像のアスペクト比を維持するように構成されている、請求項１７記載のプロセッサ。
【請求項１９】
前記関心領域を表す情報の処理された部分と、前記画像のうち前記関心領域ではない領域を表す情報の処理された部分とを、処理された画像に組み合わせるように構成されている、請求項１７記載のプロセッサ。
【請求項２０】
前記処理された画像に平滑化アルゴリズムを適用するように構成されている、請求項１９記載のプロセッサ。
【請求項２１】
前記画像を表す情報の所定部分を選択することによって、関心領域を表す前記情報の部分を判定するように構成されており、前記所定部分は、前記画像の中央を囲む領域、前記画像内の移動オブジェクトを含むように判定された領域、観察者の目の観察方向に基づいて判定された前記画像の領域、又は前記画像内の関心のあるオブジェクトの領域のうち１つ以上を表す、請求項１７記載のプロセッサ。
【請求項２２】
前記第１及び第２のアルゴリズムは、画像スケーリングアルゴリズムである、請求項１７記載のプロセッサ。
【請求項２３】
縦スケーリングパラメータ又は横スケーリングパラメータのうち少なくとも一方は、前記第１及び第２のアルゴリズムの双方において同一である、請求項２２記載のプロセッサ。
【請求項２４】
前記プロセッサは、それぞれビデオ処理アルゴリズムである、前記第１のアルゴリズムと前記第２のアルゴリズムとを選択するように構成されている、請求項１７記載のプロセッサ。
【請求項２５】
前記第１及び第２のアルゴリズムのうち少なくとも一方は、画像復号アルゴリズム又は画像後処理アルゴリズムである、請求項１７記載のプロセッサ。
【請求項２６】
前記ビデオ処理アルゴリズムは、色強調アルゴリズム、色補正アルゴリズム、鮮明度強調アルゴリズム、コントラスト強調アルゴリズム、輝度強調アルゴリズム、輪郭強調アルゴリズム、動き補償アルゴリズム、圧縮アルゴリズム、解凍アルゴリズム、ビデオインターレースアルゴリズム、ビデオインターレース解除アルゴリズム、又は走査速度変換アルゴリズムのうち少なくとも１つである、請求項２４記載のプロセッサ。
【請求項２７】
前記プロセッサは、前記選択が行われるときに利用可能な計算リソースに依存して、前記第１及び第２のアルゴリズムを選択するように構成されている、請求項１７記載のプロセッサ。
【請求項２８】
少なくとも１つの第１のアルゴリズムと、少なくとも１つの第２のアルゴリズムとを記憶するように構成されたメモリを備える、請求項１７記載のプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本特許出願は、２０１１年７月７日に提出された米国特許出願第１３／１７８，１２７号の利益を主張しており、その内容は、本願明細書において参照することによって組み込まれる。
【０００２】
本開示は、電子的画像処理に関する。
【背景技術】
【０００３】
静止画と、ビデオなどの動画との両方の画像の電子的処理は、通常、比較的高い処理速度と、メモリなどの大量の他の処理リソースとを必要とする。一般に、要求される画質が高いほど、必要とされる速度が高くなり、必要とされるリソース量が大きくなる。ＨＤビデオなどの画像解像度の絶え間ない増加と、３次元ビデオなどのイノベーションとによって、より大きな要求が画像処理ハードウェア及びソフトウェアにかけられている。ハードウェア、ソフトウェア又はこれらの組み合わせは、画質の顕著な低減なしに、これらの要求を満たすことが求められている。
【発明の概要】
【課題を解決するための手段】
【０００４】
画像を処理する方法と、その方法を実装するプロセッサとが開示される。第１のアルゴリズムは、画像における関心領域を表す情報を処理するのに使用されるように選択される。第２のアルゴリズムは、関心領域ではない画像の領域を表す情報を処理するのに使用されるように選択される。第１及び第２のアルゴリズムは、画像を表す情報の各部に適用される。
【図面の簡単な説明】
【０００５】
【図１】画像処理方法を実装するプロセッサを含むシステムを示す図である。
【図２】画像処理方法を実装する他のシステムを示す図である。
【図３】画像処理方法のフロー図である。
【発明を実施するための形態】
【０００６】
画像処理における画質と、速度又は計算リソース要件とのトレードオフは、画像処理を最適化するのに使用されてもよい。画像の様々な領域は、異なるトレードオフを有する異なる画像処理アルゴリズムを使用して処理されてもよい。
【０００７】
一例として、静止画又は動画を観察する人は、画像の所定部分に比較的多くの注意を払い、他の部分にはあまり注意を払わない傾向があることが見出されている。画像のうち、観察者から比較的多くの注意を引き付ける部分は、「関心領域」と称されることがある。例えば、人々は、画像における静止オブジェクトよりも移動オブジェクトにより多く着目する傾向があることが見出されている。また、人々は、中央から離れた領域よりも、画像の中央により多く着目する傾向がある。
【０００８】
より高い画質を生み出す一方で比較的多くの処理リソースを必要とする画像処理は、関心領域にのみ適用されてもよい。関心領域以外の領域の画像領域は、より低い画質を生み出す一方でより少ないリソースしか必要としないアルゴリズムによって処理されてもよい。これは、位置依存画像処理（又は位置最適化画像処理）と称されることがある。その利点は、画像全体を処理するために単一のアルゴリズムを使用する場合と比較して、画質の顕著な（と認識される）損失なしで、より少ないリソースで画像全体をより高速に処理することができるという点にある。
【０００９】
図１は、限定解釈されるものではないが、位置依存画像処理を使用して画像を表示するシステム１００の１つの実施形態を示す図である。システム１００は、画像を表す情報（データ）を処理するように構成されたプロセッサ１２５を含む。表示装置１５０は、処理された情報をプロセッサから受信して、画像を表示するように構成されている。画像は、静止画であってもよいし、ビデオなどの動画のフレームであってもよい。また、システム１００は、画像を表す情報を受信して記憶する画像メモリ１２０と、複数の実行可能な画像処理アルゴリズムを記憶するアルゴリズムメモリ１３０とを含んでもよい。プロセッサ１２５は、記憶された画像処理アルゴリズムを、アルゴリズムメモリ１３０から読み出してもよい。プロセッサ１２５、画像メモリ１２０及びアルゴリズムメモリ１３０は、システムバス１１５を使用して相互接続されてもよい。バス１１５の具体的な実装は、本願明細書の中核をなすものではない。ケーブル１４５は、プロセッサ１２５を表示装置１５０に接続してもよく、表示装置１５０に画像として表示されることになる情報の経路としての機能を果たす。
【００１０】
システム１００は、媒体１１０に記憶された画像又は一連の画像を表す情報を受信し、処理するように構成されている。情報は、ディジタル情報であってもよい。情報は、単一の静止画を表してもよいし、動画のフレームを表してもよい。媒体１１０は、図１においてはディスクとして描写されているが、その形態に限定されるものではない。媒体１１０は、ＤＶＤ、ＣＤ、テープ又は半導体メモリなどの持続性記憶媒体であってもよい。又は、媒体１１０は、空気を介して又は同軸ケーブル若しくは光ファイバによって伝送される電磁搬送波などの一時的な媒体であってもよい。
【００１１】
画像を表す受信情報は、画像メモリ１２０に記憶されてもよい。画像メモリ１２０は、静止画全体、動画の１フレーム全体又は動画の２フレーム以上を記憶してもよい。そして、画像メモリ１２０は、プロセッサ１２５によって命令されたときに、処理のためにプロセッサ１２５に対して、記憶した画像、１フレーム又は複数フレームを出力してもよい。又は、画像の一部のみが任意の時点で画像メモリ１２０に記憶されてもよい。さらに、画像メモリ１２０を設けなくてもよく、情報は、記憶装置に記憶されることなく、プロセッサ１２５によって受信されてそのまま処理されてもよい。
【００１２】
プロセッサ１２５は、上述したように位置依存画像処理を使用して、以下においてより詳細に記載される方法に基づいて、画像を表す受信情報を処理するように構成されてもよい。プロセッサ１２５は、アルゴリズムにおける命令に基づいて、画像内の関心領域を判定してもよい。アルゴリズムは、不揮発性メモリ１３０などのメモリから読み出されてもよい。プロセッサ１２５は、関心領域を判定するために、画像情報に含まれる情報を使用するのに加えて、観察者の眼球運動などの他の情報を使用してもよい。
【００１３】
プロセッサ１２５は、関心領域を判定すると、画像処理アルゴリズムを選択してロードしてもよい。プロセッサ１３０は、関心領域を表す画像情報の部分を処理するのに用いられる第１のアルゴリズムと、画像のうち関心領域ではない領域を表す画像情報の部分を処理するのに用いられる第２のアルゴリズムとを選択してもよい。後者の領域は、これに限定されるものではないが、関心領域に含まれない画像領域全体であってもよい。関心領域に含まれない領域は、複数の領域に分割されてもよく、別個のアルゴリズムが分割された領域のそれぞれに適用されてもよい。又は、関心領域に含まれない画像領域全体には、第１のアルゴリズムとは異なる単一の第２のアルゴリズムが適用されてもよい。プロセッサ１２５は、画像を表す情報の各部に対して、第１及び第２のアルゴリズムを適用する。画像処理が完了すると、処理された情報は、ケーブル１４５を介して表示装置１５０に送られ、観察者に対する可視画像としてレンダリングされてもよい。又は、処理された情報は、ケーブル１４５がない場合には、無線で表示装置１５０に伝送されてもよい。１つの実施形態において、第１及び第２のアルゴリズムは、表示される画像のアスペクト比を維持する。アスペクト比は、２次元表示画像の縦寸法に対する横寸法の比率として定義されてもよい。アスペクト比の例として、標準高解像度テレビジョン（ＨＤＴＶ）画像における縦寸法に対する横寸法（横寸法：縦寸法）の比率は、従来向けでは１６：９である。アスペクト比の維持は、表示される画像が第１及び第２のアルゴリズムの適用によって歪められないことを意味する。
【００１４】
プロセッサ１２５は、例えば画像の中央を表す部分などの、画像を表す情報の所定部分を選択することによって、関心領域を判定するように構成されてもよい。又は、プロセッサ１２５は、動画の連続したいくつかのフレームを表す情報を比較して、移動オブジェクトを含む画像の部分を判定してもよい。判定された部分は、関心領域として選択される。
【００１５】
１つの実施形態において、関心領域は、観察者の実際の観察方向を判定して追跡することによって判定されてもよい。この実施形態では、関心領域は、任意の時点で観察者によって実際に見られている画像の領域である。この実施形態は、図２に示されている。図２は、図１と同様であり、対応する符号を有しているが、観察者３２０によって装着された１つの種類の視線追跡装置３１０と、観察者３２０の眼球位置に関する情報をプロセッサ１２５に伝達するケーブル３３０とが追加されている。眼球位置及び運動の追跡技術は、例えば、ｗｗｗ．ｄｉｋｕ．ｄｋ／〜ｐａｎｉｃ／ｅｙｅｇａｚｅにて参照可能な、Ｔｈｅｏ  Ｅｎｇｅｌｌ−Ｎｉｅｌｓｅｎ及びＡｒｎｅ  Ｊｏｈｎ  Ｇｌｅｎｓｔｒｕｐによる表題「Ｅｙｅ  Ｃｏｎｔｒｏｌｌｅｄ  Ｍｅｄｉａ：  Ｐｒｅｓｅｎｔ  ａｎｄ  Ｆｕｔｕｒｅ  Ｓｔａｔｅ」が付された文献（１９９５年、２００６年更新）に記載されている。眼球運動を検出して追跡する技術は、眼球の異なる部位から反射した光の検出と、眼球の移動に伴う隣接皮膚の電位差の測定と、特別に設計されたコンタクトレンズの利用とを含む。
【００１６】
プロセッサ１２５によって適用される第１及び第２の画像処理アルゴリズムは、表示装置１５０に適合するように画像のサイズを増減するためのスケーリングアルゴリズムであってもよい。各スケーリングアルゴリズムは、１つ以上のスケーリングパラメータによって特徴付けられてもよい。画像の横寸法と画像の縦寸法とに対して独立に異なるスケーリングパラメータが適用されてもよい。スケーリングパラメータは、横寸法を２／３だけ又は縦寸法を１／２だけ低減するなど、単純な倍率の機能を果たしてもよい。縦スケーリングパラメータは、第１及び第２のアルゴリズムの双方において同一であってもよい。横スケーリングパラメータは、第１及び第２のアルゴリズムの双方において同一であってもよい。全ての横倍率及び全ての縦倍率は、上述したようにアスペクト比が維持される場合には同じであってもよい。スケーリングアルゴリズムの例は、画素落とし及び複製（ｐｉｘｅｌ  ｄｒｏｐｐｉｎｇ  ａｎｄ  ｄｕｐｌｉｃａｔｉｏｎ）、線形補間、アンチエイリアス再サンプリング、内容適応スケーリング、又はスケーリングフィルタの適用であり、そのいくつかは、以下においてより詳細に説明される。第１及び第２のアルゴリズムは、例えばビデオ画像を処理するためのアルゴリズムなどのように、画像情報を処理する他の種類のアルゴリズムを含んでもよい。ビデオ処理アルゴリズムは、色強調、色補正、鮮明度強調、コントラスト強調、輝度強調、輪郭強調、動き補償、圧縮及び解凍、ビデオインターレース及びインターレース解除、並びに走査速度変換用のアルゴリズムを含んでもよい。これらの全ての種類のアルゴリズムは、画質と、速度又は必要とされるリソースとの間のトレードオフを活用する位置依存画像処理において使用されてもよい。これらのアルゴリズムのいくつかは、図３に示される方法の説明において、より詳細に説明される。
【００１７】
画像を処理するためにプロセッサ１２５によって選択される特定の第１及び第２のアルゴリズムは、これらの選択が行われる時点において、何の画像処理リソースが利用可能であるかに依存してもよい。これは、図３に示される方法の説明において、より詳細に説明される。
【００１８】
プロセッサ１２５は、例えば画像を処理するグラフィックプロセッシングユニット（ＧＰＵ）などの集積グラフィック処理回路を含んでもよい。又は、ＧＰＵなどの画像処理回路は、プロセッサ１２５の外部にあってもよい。画像メモリ１２０は、システム１００の動作中に画像データを記憶する従来のランダムアクセスメモリなどの揮発性メモリであってもよい。画像メモリ１２０は、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）の形態であってもよい。
【００１９】
アルゴリズムメモリ１３０は、実行可能なソフトウェアとして画像処理アルゴリズムを記憶し、システム１００が電源切断されたときにこのソフトウェアを保持することができる、例えばハードディスクドライブなどの従来の形態の不揮発性メモリであってもよい。また、アルゴリズムメモリ１３０は、例えばオペレーティングシステムソフトウェア及びアプリケーションソフトウェアなどの他の実行可能なソフトウェアを記憶してもよい。オペレーティングシステムソフトウェアは、例えば、Ｗｉｎｄｏｗｓ（登録商標）  ＸＰ、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）又はＭＡＣ（登録商標）  ＯＳなどの従来のオペレーティングシステムを表す実行可能なコードであってもよい。アプリケーションソフトウェアは、表示用に２次元又は３次元ビデオ画像を生成するメディアプレーヤ又はビデオゲームなどの従来のアプリケーションであってもよい。
【００２０】
図３は、限定解釈されるものではないが、位置依存画像処理によって画像を表示する方法２００の実施形態を示す図である。画像を表す情報が受信される（２１０）。情報は、ディジタル情報であってもよい。情報は、単一の静止画又は動画の１フレームの少なくとも一部を表してもよい。情報は、ＤＶＤ、ＣＤ、テープ又は半導体メモリなどの持続性記憶媒体から受信されてもよい。情報は、空気を介して又は同軸ケーブル若しくは光ファイバによって伝送される電磁搬送波などの一時的な媒体から受信されてもよい。
【００２１】
画像を表す受信情報は、揮発性メモリなどの媒体に記憶されてもよい。揮発性メモリは、画像又はフレーム全体を記憶した後、処理のために画像又はフレームを出力してもよい。又は、画像の一部のみが任意の時点で記憶されてもよい。さらに、メモリはなくてもよく、情報は、記憶装置なしで受信されてそのまま処理されてもよい。
【００２２】
画像内の関心領域を表す情報の部分が判定される（２１５）。関心領域は、例えば画像の中央を囲む領域など、固定された所定の領域であってもよい。関心領域は、移動オブジェクトを含むように判定された画像の領域であってもよい。関心領域は、観察者によって見られた画像の一部によって判定されてもよい。本例において、観察者の観察方向は、上述したように判定され追跡されてもよい。また、関心領域を特定する他の技術も可能である。これらの技術は、例えば、他のものと共に、画像における人の顔（顔は大抵の観察者にとって焦点となる代表的な領域である）などの関心のあるオブジェクト又は（例えば、動きベクトル情報を使用して）ビデオシーケンスの高速に移動する部分を特定する技術を含む。これらの技術のいくつかは、画像又はビデオストリームデータを超えて、ほぼ又は全く追加の情報を必要としないであろう。
【００２３】
図３に戻り、関心領域が判定されると、関心領域を表す情報を処理するために、複数のアルゴリズムから第１のアルゴリズムが選択される（２２０）。画像のうち関心領域ではない領域を表す情報を処理するために、複数のアルゴリズムから第２のアルゴリズムが選択される（２２５）。
【００２４】
情報の各部の処理に対して第１及び第２のアルゴリズムが適用される（２３０）。すなわち、関心領域を表す情報の部分は、第１のアルゴリズムを使用して処理され、画像のうち関心領域ではない領域を表す情報の部分は、第２のアルゴリズムを使用して処理される。後者の部分は、関心領域に含まれない画像領域全体を表してもよい。又は、関心領域に含まれない領域は、複数の領域に分割されてもよく、別個のアルゴリズムが分割された領域のそれぞれを表す情報の各部に適用されてもよい。そして、第１及び第２のアルゴリズムの出力は、その後に潜在的にさらに処理されるか又は最終的に表示目的で使用される単一画像に組み合わされてもよい。分かるように、処理された関心領域を、関心領域に含まれない処理された領域と組み合わせるのに様々な処理技術が使用可能である。例えば、観察者が最終画像の第１の領域（例えば、第１のアルゴリズムによって処理された関心領域）から最終画像の第２の領域（例えば、関心領域に含まれず且つ第２のアルゴリズムによって処理された領域）まで視野を遷移するのに伴って認識される任意の差異を低減するために、平滑化又は非ブロック化アルゴリズムが適用可能である。
【００２５】
そして、処理された情報は、表示装置を駆動して画像を表示するのに使用される（２３５）。情報は、画像装置に送られる前に、さらなる処理がなされてもよい。１つの実施形態において、第１及び第２のアルゴリズムは、表示される画像のアスペクト比を維持する。分かるように、いくつかの実施形態において、これらの技術は、（本発明の態様を具現化することによって認識される表示品位の損失を低減し、より低いコストでより低い能力の部品が使用可能であることから）本発明の態様を具現化する装置の販売者がそのような装置を低コストで提供するのを可能としてもよい。また、販売者は、（関心領域において向上した認識品質がもたらす）本発明の態様を具現化しない装置と比較して向上した認識品質を有するそのような装置を提供するのを可能としてもよい。さらに、販売者は、（高性能を必要とする単一アルゴリズムによって画像全体を処理することと比較して、関心領域に含まれない領域におけるより低い処理要求がもたらす）より長い電池寿命を有するそのような装置を提供するのを可能としてもよい。また、販売者は、他の利益を有するそのような装置を提供するのを可能としてもよい。
【００２６】
第１及び第２のアルゴリズムは、互いに異なっていてもよい。それらは、一方では画質と、他方では処理速度又は例えばメモリ若しくはプロセッサ時間などの処理リソース要件とのトレードオフに基づいて選択されてもよい。一例として、特定のディスプレイに適合するように表示される画像のサイズを増減するために画像全体をスケーリングするのが望まれてもよい。しかしながら、画像を表す情報の全てに対して単一のスケーリングアルゴリズムを適用することは、遅くなりすぎるか又は実現可能とするために多すぎる処理リソースを消費することがある。代わりに、比較的高い画質が望まれる場合には、比較的大量の計算又は比較的大量の計算リソースを使用するが比較的高い画質を生じさせるアルゴリズムが関心領域のみに適用されてもよい。比較的少ない計算を使用するが比較的低い画質を生じさせる比較的高速なアルゴリズムが関心領域以外の画像領域に適用されてもよい。そして、仕上がりは、利用可能なリソースによって実現される全般的に許容可能な画質を有する画像としてもよい。
【００２７】
スケーリングアルゴリズムについては、例えば、計算リソース又は速度と、画質とのトレードオフは、異なるコントラストの２つの領域間における輪郭の鮮明度でみることができる。画像のサイズを増加させるように設計された比較的単純なスケーリングアルゴリズムは、より高速で且つ比較的少ない計算しか必要とし得ないが、これと同時に階段のようなギザギザのある輪郭をもたらす。より多くの計算を使用するスケーリングアルゴリズムは、より遅く且つより多くのリソースを必要とし得るが、滑らかな輪郭をもたらす。
【００２８】
方法２００において使用され得る一対のスケーリングアルゴリズムの具体例は、関心領域に適用される線形補間（第１のアルゴリズム）と、他の領域に適用される画素落とし及び複製（第２のアルゴリズム）である。線形補間においては、出力サンプルは、画像を表す情報の出力サンプルが横又は縦において２つの入力サンプルの中間に位置する場合に、２つの入力サンプル間の線形補間によって計算される。最近傍サンプリングとも称され得る画素落とし及び複製においては、横及び縦においてあらゆるＹサンプルからの端数Ｘが切り捨てられ（画素落とし）、又は複製される（画素複製）。画素落とし及び複製は、線形補間よりも少ない計算しか必要としないが、より顕著にギザギザのある輪郭をもたらす（すなわち、画質を低減する）。
【００２９】
方法２００において使用する一対のスケーリングアルゴリズムの他の例は、関心領域についての８タップスケーリングフィルタ（第１のアルゴリズム）と、関心領域以外の領域についての２タップスケーリングフィルタ（第２のアルゴリズム）である。「タップ」は、計算において使用される隣接サンプルの数をいう。タップ数が増加するのに伴って、必要とされる計算（必要とされるリソース）の量が増加するが、結果として生じる画像領域の品質が向上する。
【００３０】
方法２００において使用可能な他の公知のスケーリングアルゴリズムは、それに限定されるものではないが、広く適用されるスケーリングアルゴリズムとは対照的に、スケーリングが、スケーリングされる特定の画像情報に一部基づくアンチエイリアス再サンプリング及び内容適応スケーリングを含む。
【００３１】
画像スケーリングアルゴリズムに加えて、第１及び第２のアルゴリズムは、例えばビデオ画像の処理用のアルゴリズムなど、画像情報を処理するための他の種類のアルゴリズムを含んでもよい。そのようなアルゴリズムは、色強調、色補正、鮮明度強調、コントラスト強調、輝度強調、輪郭強調、動き補償、圧縮及び解凍、ビデオインターレース及びインターレース解除、並びに走査速度変換用のアルゴリズムを含んでもよい。スケーリングアルゴリズムと同様に、これらの全ての種類のアルゴリズムは、画質と、速度又は必要とされるリソースとのトレードオフを活用する位置依存画像処理において使用されてもよい。第１及び第２のアルゴリズムは、（ｉ）画像復号アルゴリズムとして画像復号（解凍としても知られる）中に適用されてもよいし、（ｉｉ）画像後処理アルゴリズムとして後処理活動時に（すなわち、画像復号後に）適用されてもよいし、（ｉｉｉ）画像復号及び後処理活動の組み合わせとして適用されてもよい。
【００３２】
関心領域及び関心領域以外の領域を処理するためのアルゴリズムの選択は、選択が行われるときに利用可能な計算リソースに依存してもよい。１つの例において、画像を表す情報の処理は、汎用コンピュータ上で行われてもよい。コンピュータは、それ自体のリソースを必要とするワードプロセッシング又はインターネット閲覧などの他のタスクのために使用されることがある。画像処理が実行中であるのと同時にこれら他のタスクが実行中である場合、関心領域及び関心領域以外の領域を処理するために選択されるアルゴリズムは、比較的少ないリソースしか必要としないアルゴリズムとしてもよい。他のタスクが完了すると、その後、比較的多くのリソースを必要とし且つより高い画質を生じさせる画像処理アルゴリズムを使用してもよい。
【００３３】
静止画又は動画の単一フレームなどの単一画像の場合には、単一画像を表す情報がメモリに記憶されてもよい。動画のフレームの場合には、メモリは、フレームバッファと称され得る。単一画像情報が記憶されると、関心領域が判定され、第１及び第２のアルゴリズムが、記憶された情報に適用されてもよい。動画の場合には、１つのフレームは、先に受信され処理されたフレームが表示されているのと同時に処理がなされてもよい。
【００３４】
又は、関心領域が判定され、アルゴリズムが、画像全体を最初に記憶することなく、受信されてそのまま画像情報に適用されてもよい。これは、実時間処理と称され得る。動画においては、各フレームは、受信されてそのまま処理される。
【００３５】
本発明の実施形態は、コンピュータ可読記録媒体に記憶された命令又はデータとして表されてもよい。例えば、本発明の態様は、ハードウェア記述言語（ＨＤＬ）であるヴェリログ（Ｖｅｒｉｌｏｇ）を使用して実装されてもよい。処理時には、ヴェリログデータ命令は、半導体製造施設において実行される製造プロセスを行うのに使用されることができる他の中間データ（例えば、ネットリスト、ＧＤＳデータ又は同種のもの）を生成してもよい。製造プロセスは、本発明の様々な態様を具現化する半導体素子（例えば、プロセッサ）を製造するのに適応されてもよい。
【００３６】
適切なプロセッサは、例として、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、ディジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、ＤＳＰコア、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、任意の他の種類の集積回路（ＩＣ）及び／若しくはステートマシン、又はそれらの組み合わせを含む。
【００３７】
本開示の他の実施形態、用途及び利点は、明細書の検討及び本願明細書に開示された開示の実践から当業者にとって明らかとなろう。明細書及び図面は、例示としてのみ検討されなければならず、それに応じて、本開示の範囲は、以下の特許請求の範囲及びその均等物によってのみ限定されるように意図されている。
【図１】
2014527324.tif 000003
【図２】
2014527324.tif 000004
【図３】
2014527324.tif 000005
【手続補正書】
【提出日】平成26年3月14日(2014.3.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を表す情報内の関心領域を表す情報の部分の特定に応じて、
前記関心領域を表す情報の部分を処理するのに用いられる第１のアルゴリズムを選択するステップと、
前記画像のうち前記関心領域ではない領域を表す画像を表す情報の部分を処理するのに用いられる第２のアルゴリズムを選択するステップと、
前記画像を表す情報の各部に前記第１及び第２のアルゴリズムを適用するステップと、
を含む、画像を処理する方法。
【請求項２】
前記情報の各部に前記第１及び第２のアルゴリズムを適用するステップに続いて、前記画像を表示するステップを含み、前記第１及び第２のアルゴリズムを適用するステップは、前記表示される画像のアスペクト比を維持する、請求項１記載の方法。
【請求項３】
前記関心領域を表す情報の処理された部分と、前記画像のうち前記関心領域ではない領域を表す情報の処理された部分とを、処理された画像に組み合わせるステップを含む、請求項１記載の方法。
【請求項４】
前記関心領域は、前記画像の中央を囲む領域、前記画像内の移動オブジェクトを含むように判定された領域、観察者の目の観察方向に基づいて判定された前記画像の領域、又は前記画像内の関心のあるオブジェクトの領域のうち１つ以上を含む、請求項１記載の方法。
【請求項５】
観察者の目の観察方向を判定して追跡するステップを含み、前記関心領域は、前記観察方向から判定される、請求項１記載の方法。
【請求項６】
前記第１のアルゴリズムを選択するステップ及び前記第２のアルゴリズムを選択するステップの各々は、ビデオ処理アルゴリズムを選択するステップを含み、前記ビデオ処理アルゴリズムは、画像スケーリングアルゴリズム、色強調アルゴリズム、色補正アルゴリズム、鮮明度強調アルゴリズム、コントラスト強調アルゴリズム、輝度強調アルゴリズム、輪郭強調アルゴリズム、動き補償アルゴリズム、圧縮アルゴリズム、解凍アルゴリズム、ビデオインターレースアルゴリズム、ビデオインターレース解除アルゴリズム、画像復号アルゴリズム、画像後処理アルゴリズム又は走査速度変換アルゴリズムのうち少なくとも１つである、請求項１記載の方法。
【請求項７】
前記第１及び第２のアルゴリズムの選択は、前記選択が行われるときに利用可能な計算リソースに依存する、請求項１記載の方法。
【請求項８】
表示される画像の質を高めるためにプロセッサを操作するための命令を含むプログラムを記憶するコンピュータ可読記憶媒体であって、前記命令は、
前記画像を表す情報内の関心領域を表す情報の部分の特定に応じて、
前記関心領域を表す情報の部分を処理するのに用いられる第１のアルゴリズムを選択することと、
前記画像のうち前記関心領域ではない領域を表す画像を表す情報の部分を処理するのに用いられる第２のアルゴリズムを選択することと、
前記画像を表す情報の各部に前記第１及び第２のアルゴリズムを適用することと、
を備える、コンピュータ可読記憶媒体。
【請求項９】
前記命令は、前記情報の各部に前記第１及び第２のアルゴリズムを適用することに続いて、前記画像を表示することを備え、前記第１及び第２のアルゴリズムを適用することは、前記表示される画像のアスペクト比を維持する、請求項８記載のコンピュータ可読記憶媒体。
【請求項１０】
前記命令は、前記関心領域を表す情報の処理された部分と、前記画像のうち前記関心領域ではない領域を表す情報の処理された部分とを、処理された画像に組み合わせることを備える、請求項８記載のコンピュータ可読記憶媒体。
【請求項１１】
表示される画像の質を高める方法を行うように構成されたプロセッサであって、
前記方法は、
前記画像を表す情報内の関心領域を表す情報の部分の特定に応じて、
前記関心領域を表す情報の部分を処理するのに用いられる第１のアルゴリズムを選択することと、
前記画像のうち前記関心領域ではない領域を表す画像を表す情報の部分を処理するのに用いられる第２のアルゴリズムを選択することと、
前記画像を表す情報の各部に前記第１及び第２のアルゴリズムを適用することと、
を備える、プロセッサ。
【請求項１２】
前記関心領域を表す情報の処理された部分と、前記画像のうち前記関心領域ではない領域を表す情報の処理された部分とを、処理された画像に組み合わせるように構成されている、請求項１１記載のプロセッサ。
【請求項１３】
前記画像を表す情報の所定部分を選択することによって、関心領域を表す前記情報の部分を判定するように構成されており、前記所定部分は、前記画像の中央を囲む領域、前記画像内の移動オブジェクトを含むように判定された領域、観察者の目の観察方向に基づいて判定された前記画像の領域、又は前記画像内の関心のあるオブジェクトの領域のうち１つ以上を表す、請求項１１記載のプロセッサ。
【請求項１４】
前記プロセッサは、それぞれビデオ処理アルゴリズムである、前記第１のアルゴリズムと前記第２のアルゴリズムとを選択するように構成されており、前記ビデオ処理アルゴリズムは、画像スケーリングアルゴリズム、色強調アルゴリズム、色補正アルゴリズム、鮮明度強調アルゴリズム、コントラスト強調アルゴリズム、輝度強調アルゴリズム、輪郭強調アルゴリズム、動き補償アルゴリズム、圧縮アルゴリズム、解凍アルゴリズム、ビデオインターレースアルゴリズム、ビデオインターレース解除アルゴリズム、画像復号アルゴリズム、画像後処理アルゴリズム又は走査速度変換アルゴリズムのうち少なくとも１つである、請求項１１記載のプロセッサ。
【請求項１５】
前記プロセッサは、前記選択が行われるときに利用可能な計算リソースに依存して、前記第１及び第２のアルゴリズムを選択するように構成されている、請求項１１記載のプロセッサ。
【国際調査報告】
2014527324.tif 000006
2014527324.tif 000007