(57)【特許請求の範囲】
【請求項１】
画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部を備え、
入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、
前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力する画像信号処理回路であって、
前記画像処理の種類は、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、
前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、
前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、
前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、
前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成して出力し、
前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、
前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付ける
ことを特徴とする画像信号処理回路。
【請求項２】
画像の焦点ぼやけ量と前記被写体距離とを関連付けた奥行き情報を記憶部に記憶しておき、
前記入力画像中の被写体の被写体距離の算出において、焦点ぼやけ量分析を行って前記入力画像の被写体の焦点ぼやけ量を算出し、前記奥行き情報を参照して、前記算出した前記焦点ぼやけ量から前記被写体距離を算出すること、
を特徴とする請求項１に記載の画像信号処理回路。
【請求項３】
画像の空間周波数帯域幅と前記被写体距離とを関連付けた奥行き情報を記憶部に記憶しておき、
前記入力画像中の被写体の被写体距離の算出において、空間周波数分析を行って前記入力画像の被写体の空間周波数帯域幅を算出し、前記奥行き情報を参照して、前記算出した空間周波数帯域幅から前記被写体距離を算出すること、
を特徴とする請求項１に記載の画像信号処理回路。
【請求項４】
入力画像に対して演算処理を行って処理画像を表示する画像表示装置であって、
画像信号処理部と、前記処理画像を表示する表示部と、前記処理画像の画質を制御する画質設定情報を前記画質信号処理部に出力する制御部と、画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部と、を備え、
前記画像信号処理部は、
前記制御部から前記画質設定情報を受け付けて、前記区間の数および前記区間の幅のいずれか一つまたは双方を変更する設定を行い、
入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、
前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力し、
前記画像処理の種類は、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、
前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、
前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、
前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、
前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成し、前記構成された前記処理画像の画面を前記表示部に表示し、
前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、
前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付ける
ことを特徴とする画像表示装置。
【請求項５】
画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部を備え、
入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、
前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力する画像信号処理回路において用いられる画像信号処理方法であって、
前記画像処理の種類は、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、
前記画像信号処理回路は、
前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、
前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、
前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、
前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成して出力し、
前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、
前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付ける
ことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を高解像度化するとともに、立体感や遠近感を効果的に作用させる技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体等から入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。従来の高解像度化技術には、入力された複数の画像フレーム(以降、フレームと略記する)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術が開示されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
特許文献１および非特許文献１に記載されている高解像度化技術（従来方式）では、（１）位置推定、（２）広帯域補間、（３）加重和、の３つの処理により高解像度化を行う。ここで、（１）位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。（２）広帯域補間は、原信号に含まれる折返し成分である高周波成分を全て透過する帯域の広いローパスフィルタを用いて補間して、各画像データの画素数(サンプリング点)を増やし、画像データの画素数を高解像度化するものである。(3)加重和は、各高解像度化された画像データに対して、サンプリング位相に応じた重み係数を加味して加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、原信号の高周波成分を復元するものである。
前記した従来方式（以降、超解像処理という）によれば、表示画像の解像度を高くすることが可能である。
【０００４】
図１３は、超解像処理の手順を説明する図である。図１３（ａ）は処理対象となる元画像を示す図であり、（ｂ）は元画像の空間周波数スペクトルを示す図であり、（ｃ）は超解像処理をした後の処理後画像を示す図であり、（ｄ）は処理後画像の空間周波数スペクトルを示す図である。
図１３（ａ）に示す元画像１００１は、（横）Ｎｘ×（縦）Ｎｙの画素数によって構成されている。元画像１００１は、撮像系または表示系のサンプリング周波数の２分の１の周波数ｆの帯域幅を有した画像として表示できることになる。したがって、元画像１００１の空間周波数スペクトルは、図１３（ｂ）に示すように、周波数ｆよりも高い周波成分が、折り返し成分として混入したものとなる。
超解像処理は、単一または複数の画像を用いて折り返し成分（高周波成分）を復元することによって、表示される画像の周波数帯域幅を広める。その結果、図１３（ｃ）に示す様に、（横）２Ｎｘ×（縦）２Ｎｙの画素数の処理後画像１００２（高解像度化画像）が得られる。この処理後画像１００２の空間周波数スペクトルは、図１３（ｄ）に示すように、元画像１００１の２倍の帯域幅２ｆを有する。
したがって、超解像処理では、表示画像の解像度を高くすることが可能となる。
【特許文献１】特開平９−６９７５５号公報
【非特許文献１】青木伸，“複数のデジタル画像データによる超解像処理”, Ricoh     Technical Report，NOVEMBER, 1998，No.24，p.19-25
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記超解像処理により画像を高解像度化した場合、元画像に含まれていたぼやけが低減されてしまうため、高解像度化した画像では立体感や遠近感の低下をまねくという問題が発生する。
本発明は、以上のような問題に鑑みてなされたものであり、前記超解像処理による画像の高解像度化と、立体感や遠近感を効果的に作用させることとを両立する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するために、本発明は、画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部を備え、入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力する画像信号処理回路であって、前記画像処理の種類が、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成して出力し、前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付けることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像の高解像度化と、立体感や遠近感を効果的に作用させることとを両立することができる。
【発明を実施するための最良の形態】
【０００８】
《超解像処理における高解像度化とぼやけとの関係》
初めに、超解像処理によって画像を高解像度化した場合に、元の画像に含まれていたぼやけが低減してしまうことを、図１４を用いて説明する。図１４（ａ）は、元画像に含まれるぼやけを示す図であり、（ｂ）は高解像度化した処理後画像に含まれるぼやけを示す図であり、（ｃ）は元画像および従来方式画像において知覚される奥行きを示す図である。
【０００９】
図１４（ａ）に示した元画像１００１は、山の遠景を背景として人物が撮影された画像である。人物は、手前側に位置し、撮像系の被写界深度内にあって、焦点が合っているとみなせる状態となる。したがって、背景の微小領域１１０１のぼやけを表す量（ぼやけ量）１１０２の大きさは、人物の（人物を含む）微小領域１１０３のぼやけ量１１０４より大きくなる。ここで、ぼやけ量とは、被写体上の点が表示画像上でどの程度広がるか（点広がり）を示す量とする。
すなわち、人物の微小領域１１０３のぼやけ量１１０４は、小さな点広がりとなる。これに対して、背景となる山の遠景では、撮像系の被写界深度が有限であるため、焦点が大きくずれている。したがって、遠景の微小領域１１０１のぼやけ量１１０２は大きな点広がりとなる。
【００１０】
図１４（ｂ）は、超解像処理後の処理後画像のぼやけ量を示している。人物の微小領域１２０３のぼやけ量１２０４および背景の微小領域１２０１のぼやけ量１２０２は、超解像処理による高解像度化によって、元画像１００１の場合よりも低減する。したがって、それぞれのぼやけ量１２０４および１２０２は、元画像１００１の場合に比べて、点広がりが減少する。
【００１１】
図１４（ｃ）は、横軸に同じ絵柄を含む微小領域の並びを表し、縦軸（左側）にぼやけ量を表し、縦軸（右側）に知覚される奥行きを表している。すなわち、横軸は、元画像１００１の微小領域のぼやけ量１１０２と、処理後画像１００２の微小領域のぼやけ量１２０２とを比較するため、同じ絵柄に相当する微小領域を並べたものである。そして、縦軸は、ぼやけ量の大きさが被写体までの距離に依存するので、ぼやけ量と立体感や遠近感（知覚される奥行き）との両方で示している。
図１４（ｃ）に示す実線１３０１は元画像１００１の特性であり、破線１３０２は従来方式画像の特性（処理後画像１００２の特性）である。図１４（ｃ）に示すように、破線１３０２のぼやけ量は、実線１３０１のぼやけ量に比べて、超解像処理によって全域で小さくなる。そのため、元画像１００１と処理後画像１００２とにおいて同じ絵柄を含む微小領域についてぼやけ量を比較した場合、それぞれＧ点１３０３とＨ点１３０４となり、処理後画像１００２によって知覚される奥行きは、元画像１００１によって知覚される奥行きよりも狭くなる。
【００１２】
次に、本発明を実施するための最良の形態（以降、「実施形態」という）について、適宜図面を用いながら詳細に説明する。
【００１３】
《第１実施形態》
まず、知覚される奥行き（奥行き感）を制御する処理機能の概要について、図１を用いて説明する。図１（ａ）は、従来の処理機能の概要を示す図であり、（ｂ）は本発明の処理機能の概要を示す図である。
図１（ａ）に示すように、従来の処理では、画像入力１０１に対して画像処理１０２を行い、その結果を画像表示１０３を行う処理系において、超解像処理方式１０４（前記した超解像処理）が用いられていた。
【００１４】
次に、本発明の処理では、図１（ｂ）に示すように、画像処理１０２ａが、超解像処理方式１０４（解像度変換処理）を含む複数の方式（画素数拡大処理方式１２１（画素数変化処理）、エッジ強調処理方式１２２（空間周波数特性変化処理）、平滑化処理方式１２３（空間周波数特性変化処理）等）を備える。そして、画像入力１０１に対して、その画像の奥行き情報を解析する奥行き情報解析１２４が設けられる。奥行き情報解析１２４からの出力である「方法の指定」１２５が画像処理１０２ａに入力される。画像処理１０２ａは、方法の指定１２５にしたがって、画像処理１０２ａに設けられた方式を適宜選択・組み合わせて画像処理を行う。その画像処理の結果が、画像表示１０３によって表示される。
奥行き情報解析１２４における解析処理のパラメータ設定は、画質設定１２６や処理設定１２７によって変更可能である。
画質設定１２６は、奥行き感をどれだけ強調するかを設定する機能を有する。すなわち、画質設定１２６は、エッジ強調の度合いや平滑化の度合いを設定する機能を有する。
処理設定１２７は、方式の処理パラメータを設定する機能を有する。なお、処理設定１２７の詳細については、後記する。
【００１５】
ここで、画像処理１０２ａにおいて用いられる、画素数拡大処理方式１２１、エッジ強調処理方式１２２、および平滑化処理方式１２３について、以下に説明する。
画素数拡大処理方式１２１は、ほとんど解像度変化を伴わない方式であって、例えば、画素間の直線補間や非線形補間などの補間によって画素数の増加が行われる。したがって、画素数拡大処理方式１２１を用いた場合、処理後画像１００２（図１４（ｂ）参照）の空間周波数帯域幅は、元画像１００１の空間周波数帯域幅に対して、ほとんど変化しない。
エッジ強調処理方式１２２は、隣り合う画素間の画素値（例えば、（輝度、色差）あるいはＲＧＢ等）の差を強調する方式である。例えば、エッジ強調処理方式１２２は、輪郭を強調することが可能となる。
平滑化処理方式１２３は、隣り合う画素間の画素値の差を小さくする方式である。例えば、平滑化処理方式１２３は、輪郭をぼかすことが可能となる。すなわち、平滑化処理方式１２３は、処理後画像１００２の空間周波数帯域幅を、元画像１００１の空間周波数帯域幅より狭くすることが可能となる。
【００１６】
次に、奥行き情報解析１２４における、解像度（処理）と奥行き感すなわち奥行き距離（推定）との関係を、図２を用いて説明する。図２は、解像度（処理）と奥行き距離（推定）との関係の一例を示す図である。
人間の知覚特性によれば、解像度（処理）と奥行き距離（推定）との関係は、領域１４０に示したように、奥行き距離（推定）が大きくなるにしたがって、解像度（処理）が低くてもよいという傾向にある。この理由は、図１４（ｃ）に示したように、ぼやけ量が大きい場合には知覚される奥行きが遠く感じられるためである。そして、ぼやけ量がある程度大きな画像領域に対しては、超解像処理を行うのではなく、ぼやけ量が改善されないような方式（例えば、画素数拡大処理方式１２１や平滑化処理方式１２３）を用いた方が良いことになる。
【００１７】
次に、奥行き情報解析１２４の出力である方式の指定１２５について、図３，図４を用いて説明する。図３は、「奥行き距離小」の方式の指定の場合の方式選択の一例を示す図である。図４は、「奥行き距離大」の方式の指定の場合の方式選択の一例を示す図である。
図３では、奥行き情報解析１２４が、画像入力１０１の中の微小領域について、奥行き距離が小と判断した場合を示している。その奥行き情報解析１２４の結果から、方式の指定１２５ａは、超解像処理を選択する情報となる。これにより、画像入力１０１は超解像処理１０４によって高解像度化されて、その高解像度化された画像が画像表示１０３によって表示される。
【００１８】
図４では、奥行き情報解析１２４が、画像入力１０１の中の微小領域について、奥行き距離が大と判断された場合を示している。その奥行き情報解析１２４の結果から、方式の指定１２５ｂは、画素数拡大処理方式１２１によって処理した後に、平滑化処理方式１２３によって処理することを選択する情報となる。これにより、画像入力１０１は画素数拡大処理方式１２１によって画素数が増やされ、その後平滑化処理方式によって平滑化されて、その処理された画像が画像表示１０３によって表示される。
【００１９】
次に、奥行き情報解析１２４の詳細な処理機能について、図５を用いて説明する。図５（ａ）は、奥行き情報解析において、焦点ぼやけ量推定を用いた場合の処理機能の一例を示す図であり、（ｂ）は、奥行き情報解析において、空間周波数分析を用いた場合の処理機能の一例を示す図であり、（ｃ）は、奥行き情報解析において、奥行き距離推定を用いた場合の処理機能の一例を示す図である。
【００２０】
奥行き情報解析１２４ａは、図５（ａ）に示すように、画像の入力を受け付けて、領域分割１４１、焦点ぼやけ量推定１４２、奥行き量閾値処理１４３、処理割り当て１４４の順に処理を実行し、方式の指定情報を出力する。
領域分割１４１は、入力された画像情報を、画面上の微小領域に分割する機能を有する。微小領域とは、縦および横に隣り合う画素の並びの幅を有する領域のことであって、例えば、後記する図６（ａ）に示す（横）ｄｘ×（縦）ｄｙの矩形領域のことである。なお、この微小領域のサイズは、処理設定１２７によって設定される。
そして、微小領域ごとに、焦点ぼやけ量推定１４２、奥行き量閾値処理１４３、処理割り当て１４４の各処理が行われる。
【００２１】
焦点ぼやけ量推定１４２は、カメラレンズの焦点ぼやけ量を推定し、その推定結果から奥行き距離を推定する機能を有する。なお、焦点ぼやけ量の推定は、例えば、微小領域内の画素値または微小領域を含むその周辺の画素値も含めた相関の大きさに基づいて行われる。
奥行き量閾値処理１４３は、推定した奥行き距離の長さの閾値を設定する機能を有する。この閾値は、推定した奥行き距離の長さに応じて、処理に用いる方式を決定するときの比較基準として用いられる。なお、この閾値は、画質設定１２６によって、可変にされるものとする。
処理割り当て１４４は、推定された奥行き距離の長さと、奥行き量閾値処理１４３によって設定された閾値とを比較判定し、ある閾値間の範囲内であればどの方式を用いるかを決定する機能を有する。
【００２２】
なお、前記した焦点ぼやけ量推定１４２では、焦点ぼやけ量から奥行き距離を推定していたが、焦点ぼやけ量を推定する（焦点ぼやけ量分析）機能だけであっても良い。その場合、奥行き量閾値処理１４３は、推定した焦点ぼやけ量の大きさの閾値を設定する機能を有するものとする。
【００２３】
奥行き情報解析１２４ｂは、図５（ｂ）に示すように、画像の入力を受け付けて、領域分割１５１、空間周波数分析１５２、奥行き量閾値処理１５３、処理割り当て１５４の順に処理を実行し、方式の指定情報を出力する。
領域分割１５１は、前記した領域分割１４１と同様に、入力された画像情報を、画像上の微小領域に分割する機能を有する。ただし、領域分割１４１において用いた微小領域のサイズとは異なっても良い。なお、この微小領域のサイズは、処理設定１２７によって設定される。
そして、微小領域ごとに、空間周波数分析１５２、奥行き量閾値処理１５３、処理割り当て１５４の各処理が行われる。
【００２４】
空間周波数分析１５２は、空間周波数帯域幅を求めて、その結果から奥行き距離を推定する機能を有する。なお、空間周波数帯域幅から奥行き距離を推定可能な根拠は、カメラレンズの被写界深度が有限であるので、被写体画像の空間周波数帯域幅は被写体までの距離に依存することに基づく。つまり、遠くのものはぼやけて空間周波数帯域幅が狭く、近いものはぼやけが少なく空間周波数帯域幅が広くなる。この関係に基づいて、微小領域毎に奥行き距離を推定するものである。
奥行き量閾値処理１５３は、推定した奥行き距離の長さの閾値を設定する機能を有する。この閾値は、推定した奥行き距離の長さに応じて、処理に用いる方式を決定するときの比較基準として用いられる。なお、この閾値は、画質設定１２６によって、可変にされるものとする。また、この閾値は、前記した奥行き量閾値処理１４３による設定とは異なっていても良い。
処理割り当て１５４は、推定された奥行き距離の長さと、奥行き量閾値処理１５３によって設定された閾値とを比較判定し、ある閾値間の範囲内であればどの方式を用いるかを決定する機能を有する。
【００２５】
なお、前記した空間周波数分析１５２では、空間周波数帯域幅から奥行き距離を推定していたが、空間周波数帯域幅を算出する機能だけであっても良い。その場合、奥行き量閾値処理１５３は、算出した空間周波数帯域幅の大きさの閾値を設定する機能を有するものとする。
【００２６】
奥行き情報解析１２４ｃは、図５（ｃ）に示すように、画像の入力を受け付けて、領域分割１６１、奥行き距離推定１６２、奥行き量閾値処理１６３、処理割り当て１６４の順に処理を実行し、方式の指定情報を出力する。
領域分割１６１は、前記した領域分割１４１，１５１と同様に、入力された画像情報を、画像上の微小領域に分割する機能を有する。ただし、領域分割１４１，１５１において用いた微小領域のサイズとは異なっても良い。なお、この微小領域のサイズは、処理設定１２７によって設定される。
そして、微小領域ごとに、奥行き距離推定１６２、奥行き量閾値処理１６３、処理割り当て１６４の各処理が行われる。
【００２７】
奥行き距離推定１６２は、奥行き距離を推定する機能を有する。奥行き距離推定１６２は、焦点ぼやけ量推定１４２（図５（ａ）参照）によって推定される奥行き距離と、空間周波数分析１５２（図５（ｂ）参照）によって推定される奥行き距離とをそれぞれ算出し、双方に重みを加味して重み付き奥行き距離を算出する。
奥行き量閾値処理１６３は、重み付き奥行き距離の長さの閾値を設定する機能を有する。この閾値は、重み付き奥行き距離の長さに応じて、処理に用いる方式を決定するときの比較基準として用いられる。なお、この閾値は、画質設定１２６によって、可変にされるものとする。また、この閾値は、前記した奥行き量閾値処理１４３，１５３による設定とは異なっていても良い。
処理割り当て１６４は、重み付き奥行き距離の長さと、奥行き量閾値処理１６３によって設定された閾値とを比較判定し、ある閾値間の範囲内であればどの方式を用いるかを決定する機能を有する。
【００２８】
次に、第１実施形態における処理の流れについて、図６，図７を用いて説明する。図６（ａ）は、微小領域の一例を示す図であり、（ｂ）は、微小領域のぼやけ量の一例を示す図であり、（ｃ）は、ぼやけ量と奥行き距離推定値との関係の一例を示す図である。図７（ａ）は、奥行き距離推定値と奥行き量閾値との関係を表す一例を示す図であり、（ｂ）は、奥行き量閾値と処理方式とを関連付ける処理方式割当テーブルの一例を示す図である。
【００２９】
図６（ａ）には、処理対象となる元画像２０１が示されている。そして、元画像２０１の画面は、複数の微小領域２０２に分割される。この処理は、図５（ａ）に示した領域分割１４１によって行われる。
微小領域２０２のサイズは、（横）ｄｘ×（縦）ｄｙであり、前記した処理設定１２７（図５参照）によって決定される。また、微小領域２０２のサイズは、元画像２０１全体の縦横の画素数、元画像２０１の空間周波数帯域幅、画像処理後の画質および実装したときの演算処理速度等との兼ね合いで、決められる。
【００３０】
図６（ｂ）は、微小領域２０２ごとに、ぼやけ量（焦点ぼやけ量）Ｂｒｘｙを演算して推定することを示している。図６（ｃ）において、データの範囲２１１は、予め、ぼやけ量Ｂｒｘｙと既知の奥行き距離との関係を求めてプロットしたデータを示している。また、予測関数２１０は、データの範囲２１１のデータを用いて、回帰分析や最小二乗法等によって導出された傾向を示している。そして、ぼやけ量Ｂｒｘｙ（図６（ｂ）参照）が算出されると、予測関数２１０を用いて、奥行き距離推定値（ｄ）を算出（推定）することが可能となる。なお、予測関数２１０は、図６（ｃ）では、直線として表されているが、高次の曲線であっても良い。この予測関数２１０は、数式でも、テーブルであっても構わない。
なお、図６（ｂ）および（ｃ）に示した処理は、図５（ａ）に示した焦点ぼやけ量推定１４２によって行われる。
また、ぼやけ量Ｂｒｘｙを算出する代わりに、空間周波数帯域幅を算出する場合は、図５（ｂ）に示した空間周波数分析１５２によって行われる処理となる。さらに、ぼやけ量Ｂｒｘｙを算出する代わりに、重み付き奥行き距離推定値（ｄ）を算出する場合は、図５（ｃ）に示した奥行き距離推定１６２によって行われる処理となる。
【００３１】
次に、図７（ａ）では、奥行き距離推定値（ｄ）を複数の区間に分割する閾値を設定することが示されている。図７（ａ）は、閾値が６個（ｄ１〜ｄ６）設定された例を示されている。この閾値を設定する処理は、図５（ａ）に示した奥行き量閾値処理１４３によって行われる。そして、閾値は、画質設定１２６（図５参照）によって決定される。
【００３２】
図７（ｂ）では、閾値（ｄ１〜ｄ６）によって分割された区間にそれぞれ対応する処理方式を関連付けた、処理方式割当テーブル２２０（奥行き情報）が示されている。例えば、処理方式割当テーブル２２０では、奥行き距離推定値（ｄ）がｄ３からｄ４の区間内にあれば、処理方式４によって画像処理が実行されることになる。なお、処理方式割当テーブル２２０に示されている、閾値と処理方式との関連付けは、画質設定１２６（図５参照）によって決定される。
【００３３】
そして、処理の流れは、図７（ａ）中の矢印によって示されるように、ぼやけ量Ｂｒｘｙが与えられると、予測関数２１０を用いて、奥行き距離推定量（ｄ）が閾値ｄ３からｄ４の間にあると判定される。次に、処理方式割当テーブル２２０を参照して、処理方式４で処理を行うことが決定される。この処理は、図５（ａ）に示した処理割り当て１４４によって行われる。
【００３４】
以上、図６（ａ），（ｂ）および図７（ａ），（ｂ）に示した処理の流れは、奥行き情報解析１２４ａにおける処理の流れ、すなわち、焦点ぼやけ量（ぼやけ量Ｂｒｘｙ）を用いた場合について示した。なお、奥行き情報解析１２４ｂにおける処理の流れは、焦点ぼやけ量（ぼやけ量Ｂｒｘｙ）を空間周波数帯域幅に置き換えて、図６（ａ），（ｂ）および図７（ａ），（ｂ）に示した処理の流れと同様となる。また、奥行き情報解析１２４ｃ（図５（ｃ）参照）における処理の流れも、焦点ぼやけ量（ぼやけ量Ｂｒｘｙ）を重み付き奥行き距離に置き換えて、図６（ａ），（ｂ）および図７（ａ），（ｂ）に示した処理の流れと同様となる。
また、詳細な説明は省略するが、微小領域ごとに動きベクトルを検出し、その動きベクトルの大きさが、近くは大きく、遠くは小さいことを利用して、奥行き距離を推定しても良い。この場合には、焦点ぼやけ量を動きベクトルの大きさに置き換えて、図６（ａ），（ｂ）および図７（ａ），（ｂ）に示した処理の流れと同様となる。
【００３５】
《具体例１》
図７に示した処理の流れについて、図５に示す奥行き情報解析１２４ａを用いた具体的な例で示すとともに、処理後画像において知覚される奥行き感の改善効果の一具体例について、図８，図９を用いて説明する。図８（ａ）は、奥行き距離推定値の閾値の設定を表す一具体例を示す図であり、（ｂ）は、閾値によって区分された領域と微小領域との関係を表す一具体例を示す図であり、（ｃ）は、閾値によって区分された領域と処理方式とを関連付ける処理方式割当テーブルの一具体例を示す図である。図９（ａ）は、処理後画像のぼやけ量を表す一具体例を示す図であり、（ｂ）は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す一具体例を示す図である。
【００３６】
図８（ａ）に示すように、奥行き距離推定値（ｄ）は、閾値ｄＡ，ｄＢ，ｄＣ，ｄＤによって５つの領域（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に分割される。この閾値の設定は、画質設定１２６（図５（ａ）参照）によって行われる。
そして、それぞれの領域（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）では、図８（ｂ）に示すように、元画像２０１の人物は、奥行き距離推定値（ｄ）が最も短い領域Ｅに、また、背景は、奥行き距離推定値（ｄ）の違いにより、近い方から順に領域Ｄ、領域Ｃ、領域Ｂ、領域Ａに設定されることになる。
そして、図８（ｃ）に示すように、処理方式割当テーブル２３０が、画質設定１２６（図５（ａ）参照）によって設定される。すなわち、各領域（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対応する処理方式（５，４，３，２，１）が関係付けられる。処理方式割当テーブル２３０では、最も近い人物の領域Ｅの処理には、高解像度化方式（超解像処理方式）が割り当てられる。また、最も遠い背景の領域Ａの処理には、元画像２０１が有するぼやけ量を保存する様に解像度変化の無い単純画素数拡大方式が割り当てられる。そして、その中間領域となる領域Ｂ，Ｃ，Ｄの処理には、高解像度化（超解像処理）の後、異なる周波数帯域幅のフィルタ（強、中、弱）による平滑化処理（強、中、弱）を行う方式が割り当てられる。なお、平滑化処理（強）は、平滑化処理（中）に比較して、ぼやけ量をより大きくする機能を有する。また、平滑化処理（中）は、平滑化処理（弱）に比較して、ぼやけ量をより大きくする機能を有する。
【００３７】
図９（ａ）に示すように、図８に示した処理の後に得られる処理後画像２４０では、領域Ｅに属する微小領域２４３は超解像処理方式によって処理されている。したがって、その微小領域２４３のぼやけ量２４４は、元画像２０１（図８（ｂ）参照）のぼやけ量より小さくなっている。また、領域Ａに属する微小領域２４１は、単純画素数拡大方式によって処理されている。したがって、その微小領域２４１のぼやけ量２４２は、元画像２０１のぼやけ量と変わらない。
【００３８】
図９（ｂ）に示す実線２５０は元画像の特性であり、一点鎖線２５１は図８（ｃ）に示した処理方式を用いて処理した処理後画像の特性であり、破線２５２は従来方式画像の特性である。
図９（ｂ）より明らかなように、破線２５２のぼやけ量は、実線２５０のぼやけ量に対して、同じ絵柄を含む微小領域において小さくなる。それに対して、一点鎖線２５１のぼやけ量は、ぼやけ量が小さい範囲では破線２５２のぼやけ量に近いが、ぼやけ量が大きい範囲では実線２５０に近くなる。すなわち、同じ絵柄を含む微小領域において、一点鎖線２５１のＡ点２５３は、破線２５２のＢ点２５４よりも、知覚される奥行きが遠くなる。
そして、一点鎖線２５１の最大のぼやけ量は実線２５０にほぼ一致するため、処理後画像２４０に対して知覚される奥行きは、元画像の場合とほぼ同じになる。
【００３９】
《具体例２》
図７に示した処理の流れについて、図５に示す奥行き情報解析１２４ａを用いた他の具体的な例で示すとともに、処理後画像において知覚される奥行き感の改善効果の他の具体例について、図１０を用いて説明する。図１０（ａ）は、閾値によって区分された領域と微小領域との関係を表す他の具体例を示す図であり、（ｂ）は、閾値によって区分された微小領域と処理方式とを関連付ける処理方式割当テーブルの他の具体例を示す図であり、（ｃ）は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す他の具体例を示す図である。
【００４０】
図１０（ａ）に示すように、元画像２０１の人物は奥行き距離推定値（ｄ）が最も短い領域Ｅに、また、背景は奥行き距離推定値（ｄ）の違いにより、近い方から順に領域Ｄ、領域Ｃ、領域Ｂ、領域Ａに分割されたとする。
そして、図１０（ｂ）に示すように、処理方式割当テーブル２６０が、画質設定１２６（図５（ａ）参照）によって設定される。すなわち、各領域（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対応する処理方式（ａ，ｂ，ｃ，ｄ，ｅ）が関係付けられる。処理方式割当テーブル２６０では、最も近い人物の領域Ｅの処理には、知覚される奥行き距離がより近くなるように強調するエッジ処理を高解像度化（超解像処理）の後に行う方式が割り当てられる。これにより、領域Ｅでは、空間周波数の高域部分が強調されてぼやけ量が相対的に低減する。
また、最も遠い背景の領域Ａの処理には、単純画素数拡大を行った後に、フィルタリングによって平滑化して更にぼやけを強調する方式が割り当てられる。そして、その中間領域となる領域Ｂ，Ｃ，Ｄの処理には、それぞれ、処理方式割当テーブル２６０に示した処理方式が割り当てられる。
【００４１】
図１０（ｃ）に示す実線２７０は元画像の特性であり、一点鎖線２７１は図１０（ｂ）に示した処理方式を用いて処理した処理後画像の特性であり、破線２７２は従来方式画像の特性である。
図１０（ｃ）から明らかなように、破線２７２のぼやけ量は、実線２７０のぼやけ量に対して、同じ絵柄を含む微小領域において小さくなる。そして、ぼやけ量が小さい範囲（領域Ｅ）では、一点鎖線２７１の知覚される奥行き（ぼやけ量）は、エッジ処理によって、立体感を強調する効果を演出可能となり、破線２７２の知覚される奥行き（ぼやけ量）より小さくなる。
また、ぼやけ量が大きい範囲（領域Ａ）では、一点鎖線２７１の知覚される奥行き（ぼやけ量）は、平滑化処理の効果によって、実線２７０の知覚される奥行き（ぼやけ量）より大きくなる。すなわち、同じ絵柄を含む微小領域において、一点鎖線２７１のＣ点２７３は、実線２７０のＤ点２７４より、知覚される奥行きが遠くなる。これによって、一点鎖線２７１のぼやけ量の範囲が、実線２７０のぼやけ量の範囲より広くなるため、知覚される奥行きも広くなる。
このように、具体例２は、元画像よりも知覚される奥行きを遠くして、立体感や遠近感に作用させることが可能になる。
【００４２】
《第２実施形態》
次に、第１実施形態において前記した処理を適用した画像表示装置の構成例を、図１１を用いて説明する。図１１は、画像表示装置の構成例を示す図である。
図１１において、画像表示装置３００は、入力部３１１、録画再生部３１２、制御部３１３、ユーザインタフェース部３１４、コンテンツ蓄積部３１５、画像信号処理部３１６、音声出力部３１７、および表示部３１８によって構成される。
なお、図１１中の二重線は、画像や音声の信号の流れを示し、一重線は、制御信号の流れを示している。
【００４３】
入力部３１１は、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号、映像信号、および画像や音声を含む放送・映像コンテンツ３２０の入力を受け付ける。入力部３１１は、放送波を受信するチューナを備えたものでも、ネットワークと接続するＬＡＮ用コネクタを備えたものでも、ＵＳＢコネクタを備えたものでも良い。また、入力部３１１は、画像信号や音声信号をデジタル入力する端子を備えたものでも、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでも良い。あるいは、入力部３１１は、ワイヤレスにてデータを転送する受信部でも良い。
録画再生部３１２は、入力部３１１が受け付けたコンテンツを録画もしくは再生する。なお、入力部３１１から受け付けた信号をスルーする機能を備えていても良い。
【００４４】
制御部３１３は、画像表示装置３００の各部（３１１，３１２，３１４〜３１８）の制御を司る機能を有し、各部（３１１，３１２，３１４〜３１８）間の情報の伝達を司る。。制御部３１３は、例えば、演算処理を実行する図示しないＣＰＵ（Central Processing Unit ）と、このＣＰＵが演算処理に用いる主記憶装置である図示しないメモリとを備える。メモリは、ＲＡＭ（Random Access Memory）またはＲＯＭ（Read Only Memory）等により実現される。そして、メモリに格納されたアプリケーションプログラムがＲＡＭに展開され、ＣＰＵが、それを実行することにより種々の処理を具現化する。
ユーザインタフェース部３１４は、ユーザが画像表示装置３００の操作を行う機能を備える。
【００４５】
コンテンツ蓄積部３１５は、録画再生部３１２を経由して、コンテンツを格納する機能を有する。コンテンツ蓄積部３１５は、例えば、ハードディスクドライブでも、フラッシュメモリでも、リムーバブルメディアディスクドライブでも良い。
画像信号処理部３１６は、画像信号を、第１実施形態に記載した処理を行う機能を有する。なお、画像信号処理部３１６の詳細な構成については、後記する。
音声出力部３１７は、録画再生部３１２が再生した音声信号を出力する機能を有する。音声出力部３１７は、例えば、スピーカ等でもよい。
表示部３１８は、画像信号処理部３１６において処理された画像を表示する機能を有する。表示部３１８は、例えば、プラズマパネルモジュールでも、ＬＣＤ(Liquid Crystal Display)モジュールでも、プロジェクタ用デバイスでもよい。
【００４６】
画像表示装置３００は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でも良い。そして、画像表示装置３００が、第１実施形態に記載した処理を行う画像信号処理部３１６を備えることで、入力部３１１から受け付けた画像信号をより高解像度化、かつ遠近感や立体感を有する高画質な画像信号として表示部３１８に表示することができる。
なお、第１実施形態に記載した処理は、画像信号処理部３１６において行うと説明したが、制御部３１３においてソフトウェア（プログラム）によって実現されても良い。
【００４７】
次に、図１１に示した画像信号処理部３１６の構成例を、図１２を用いて説明する（適宜、図１，図５，図１１参照）。図１２は、画像信号処理部の構成例を示す図である。
画像信号処理部３１６への入力は、録画再生部３１２から出力される画像信号入力４０１、ユーザインタフェース部３１４によって受け付けられ、制御部３１３を介して出力される画質設定４１２、および生産者によって制御部３１３を介して設定される処理設定４１１である。また、画像信号処理部３１６の出力は、画像信号出力４０３であり、表示部３１８への入力になる。
画質設定４１２の機能は、図５（ａ）に示した画質設定１２６の機能と同じである。また、処理設定４１１の機能は、図５（ａ）に示した処理設定１２７の機能と同じである。
【００４８】
画像信号処理部３１６（画像信号処理回路）は、奥行き情報解析処理部４２１、閾値判定・処理部４２２、超解像処理部４２３、画素数拡大処理部４２４、フィルタ特性設定部４２５、フィルタ処理部４２６、および出力選択部４２７を備えている。
奥行き情報解析処理部４２１の機能は、図５（ａ）に示した領域分割１４１の機能と焦点ぼやけ量推定１４２の機能、図５（ｂ）に示した領域分割１５１の機能と空間周波数分析１５２の機能、および図５（ｃ）に示した領域分割１６１の機能と奥行き距離推定１６２の機能、のいずれか一つまたは組み合わせである。また、奥行き情報解析処理部４２１の機能は、処理設定４１１によって設定される。
閾値判定・処理部４２２の機能は、図５（ａ）に示した奥行き量閾値処理１４３の機能と処理割り当て１４４の機能、図５（ｂ）に示した奥行き量閾値処理１５３の機能と処理割り当て１５４の機能、および図５（ｃ）に示した奥行き量閾値処理１６３の機能と処理割り当て１６４の機能、のいずれか一つまたは組み合わせである。また、閾値判定・処理部４２２の機能は、画質設定４１２によって設定される。
なお、閾値判定・処理部４２２から出力選択部４２７へ引かれた線４３０は、図１（ｂ）に示す「方式の指定１２５」に相当する。
【００４９】
超解像処理部４２３は、前記した超解像処理方式（解像度変換処理）によって処理を行う機能を有する。
画素数拡大処理部４２４は、画素数拡大処理方式（画素数変化処理）によって処理を行う機能を有する。
フィルタ特性設定部４２５は、画質設定４１２の出力を受け付けて、平滑化処理におけるフィルタの強弱の程度やエッジ強調の強弱の程度を決定し、フィルタ処理部４２６におけるエッジ強調処理または平滑化処理におけるフィルタの強弱を制御する機能を有する。
フィルタ処理部４２６は、超解像処理部４２３の出力および画素数拡大処理部４２４の出力を受け付けて、エッジ強調処理（空間周波数特性変化処理）または平滑化処理（空間周波数特性変化処理）を行う機能を有する。ただし、フィルタ処理部４２６から出力選択部４２７へ出力する線は、図１２では一本しか記載されていないが、エッジ強調処理または平滑化処理において用いられたフィルタの数に相当する種類の画像信号が出力されていることを表している。
なお、超解像処理部４２３、画素数拡大処理部４２４、およびフィルタ処理部４２６は、奥行き情報解析処理部４２１において領域分割された微小領域と同じサイズの微小領域ごとに常時繰り返し処理を行っているものとする。
【００５０】
出力選択部４２７は、閾値判定・処理部４２２の出力を示す線４３０、すなわち「方式の指定１２５（図１参照）」を受け付けて、微小領域ごとに、指定の処理方式によって処理された画像を選択する機能を有する。
【００５１】
なお、処理設定４１１および画質設定４１２は、それぞれ、出荷時の設定情報を記憶する機能、またはユーザが設定した設定情報を記憶する機能等が備えられているものとする。
【００５２】
以上説明したように、本実施形態に係る画像表示装置３００（図１１参照）は、処理対象となる画像に対して奥行き情報解析１２４（図１（ｂ）参照）を行い、その奥行き情報の解析結果に基づいて画像の微小領域毎に画像処理方式（超解像処理方式１０４、画素数拡大処理方式１２１、エッジ強調処理方式１２２、平滑化処理方式１２３等（図１（ｂ）参照））を適宜選択して処理する機能を設けているため、画像を高解像度化しても、立体感や遠近感を損なうことがないようにすることが可能となる。
【図面の簡単な説明】
【００５３】
【図１】（ａ）は、従来の処理機能の概要を示す図であり、（ｂ）は本発明の処理機能の概要を示す図である。
【図２】解像度（処理）と奥行き距離（推定）との関係の一例を示す図である。
【図３】「奥行き距離小」の方式の指定の場合の方式選択の一例を示す図である。
【図４】「奥行き距離大」の方式の指定の場合の方式選択の一例を示す図である。
【図５】（ａ）は、奥行き情報解析において、焦点ぼやけ量推定を用いた場合の処理機能の一例を示す図であり、（ｂ）は、奥行き情報解析において、空間周波数分析を用いた場合の処理機能の一例を示す図であり、（ｃ）は、奥行き情報解析において、奥行き距離推定を用いた場合の処理機能の一例を示す図である。
【図６】（ａ）は、微小領域の一例を示す図であり、（ｂ）は、微小領域のぼやけ量の一例を示す図であり、（ｃ）は、ぼやけ量と奥行き距離推定値との関係の一例を示す図である。
【図７】（ａ）は、奥行き距離推定値と奥行き量閾値との関係を表す一例を示す図であり、（ｂ）は、奥行き量閾値と処理方式とを関連付ける処理方式割当テーブルの一例を示す図である。
【図８】（ａ）は、奥行き距離推定値の閾値の設定を表す一具体例を示す図であり、（ｂ）は、閾値によって区分された領域と微小領域との関係を表す一具体例を示す図であり、（ｃ）は、閾値によって区分された領域と処理方式とを関連付ける処理方式割当テーブルの一具体例を示す図である。
【図９】（ａ）は、処理後画像のぼやけ量を表す一具体例を示す図であり、（ｂ）は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す一具体例を示す図である。
【図１０】（ａ）は、閾値によって区分された領域と微小領域との関係を表す他の具体例を示す図であり、（ｂ）は、閾値によって区分された微小領域と処理方式とを関連付ける処理方式割当テーブルの他の具体例を示す図であり、（ｃ）は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す他の具体例を示す図である。
【図１１】画像表示装置の構成例を示す図である。
【図１２】画像信号処理部の構成例を示す図である。
【図１３】（ａ）は処理対象となる元画像を示す図であり、（ｂ）は元画像の空間周波数スペクトルを示す図であり、（ｃ）は超解像処理をした後の処理後画像を示す図であり、（ｄ）は処理後画像の空間周波数スペクトルを示す図である。
【図１４】（ａ）は、元画像に含まれるぼやけを示す図であり、（ｂ）は高解像度化した処理後画像に含まれるぼやけを示す図であり、（ｃ）は元画像および従来方式画像において知覚される奥行きを示す図である。
【符号の説明】
【００５４】
１２４    奥行き情報解析
１２５    方式の指定
１２６，４１２  画質設定
１２７，４１１  処理設定
１４１，１５１，１６１  領域分割
１４２    焦点ぼやけ量推定
１４３，１５３，１６３  奥行き量閾値処理
１４４，１５４，１６４  処理割り当て
２０１    元画像
２１０    予測関数
２２０，２３０，２６０  処理方式割当テーブル
２４０    処理後画像
２５０，２７０  元画像の特性
２５１，２７１  処理後画像の特性
２５２，２７２  従来方式画像の特性
３００    画像表示装置
３１３    制御部
３１４    ユーザインタフェース部
３１６    画像信号処理部
３１８    表示部
４２１    奥行き情報解析処理部
４２２    閾値判定・処理部
４２３    超解像処理部
４２４    画素数拡大処理部
４２５    フィルタ特性設定部
４２６    フィルタ処理部
４２７    出力選択部
【図１】
0005243833.tif 000002
【図２】
0005243833.tif 000003
【図３】
0005243833.tif 000004
【図４】
0005243833.tif 000005
【図５】
0005243833.tif 000006
【図６】
0005243833.tif 000007
【図７】
0005243833.tif 000008
【図８】
0005243833.tif 000009
【図９】
0005243833.tif 000010
【図１０】
0005243833.tif 000011
【図１１】
0005243833.tif 000012
【図１２】
0005243833.tif 000013
【図１３】
0005243833.tif 000014
【図１４】
0005243833.tif 000015