(57)【要約】【課題】画像に奥行き感を適切に付与できる画像処理装置、画像表示装置及び画像処理方法を提供すること。【解決手段】画像処理装置（制御部４）は、画像データに含まれるオブジェクトを特定するオブジェクト特定部４４と、オブジェクトの奥行き情報を取得する奥行き情報取得部４５と、奥行き情報取得部４５により取得された奥行き情報に応じた強度のシャープネス処理をオブジェクトに対して実行する画像処理部４６と、を有する。これにより、画像処理部４６は、オブジェクトの奥行き情報に応じた強度のシャープネス処理（超解像度処理）を実行する。【選択図】図１
2016177469.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれるオブジェクトを特定するオブジェクト特定部と、
前記オブジェクトの奥行き情報を取得する奥行き情報取得部と、
前記奥行き情報取得部により取得された前記奥行き情報に応じた強度のシャープネス処理を前記オブジェクトに対して実行する画像処理部と、を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記奥行き情報取得部は、前記オブジェクトのコントラスト比、明るさ、周波数、エッジ及び大きさの少なくともいずれかに基づいて前記奥行き情報を推定して取得することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記オブジェクトのコントラスト比、明るさ、周波数、エッジ及び大きさのうち少なくとも２つの項目から１つの項目を選択可能な項目選択画面を生成する項目選択画面生成部を有し、
前記奥行き情報取得部は、前記項目選択画面にて選択された前記１つの項目の重み付けを重くして、前記オブジェクトの奥行き情報を推定することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記画像データは、前記オブジェクト及び当該オブジェクトの前記奥行き情報を含む視差画像の画像データであり、
前記奥行き情報取得部は、前記画像データに含まれる前記奥行き情報を前記オブジェクト毎に取得することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記画像処理部により実行される前記シャープネス処理の強度を設定可能な強度設定画面を生成する強度設定画面生成部を有し、
前記画像処理部は、前記強度設定画面にて設定された強度にて前記シャープネス処理を実行することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記強度設定画面は、第１のオブジェクト、及び前記第１のオブジェクトとは奥行きが異なる第２のオブジェクトに対して、それぞれ前記シャープネス処理の強度を設定可能であることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記第１のオブジェクトに対して設定可能な前記シャープネス処理の強度の範囲と、前記第２のオブジェクトに対して設定可能な前記シャープネス処理の強度の範囲と、が異なることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の画像処理装置と、
前記画像処理装置により処理された画像を表示する表示部と、を備える画像表示装置。
【請求項９】
画像処理装置を用いて実行される画像処理方法であって、
画像データに含まれるオブジェクトを特定し、
前記オブジェクトの奥行き情報を取得し、
取得された前記奥行き情報に応じた強度のシャープネス処理を前記オブジェクトに対して実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、画像の遠近感や立体感を効果的に表現するシャープネス処理装置が提案されている（例えば、特許文献１）。
この特許文献１に記載のシャープネス処理装置は、コンピューターシステムにより構成され、原画像に対してシャープネス処理を実行するＣＰＵ（Central Processing Unit）と、内部メモリーと、を備え、これらがバスラインにより接続されている。この内部メモリーには、プログラムメモリー、設定値メモリー、原画像メモリー及び出力画像メモリーの複数の領域が設定されている。また、ＣＰＵは、外部記憶装置用ドライバー、表示器、キーボード、マウス及びイメージセッターに接続されている。更に、外部記憶装置用ドライバーには、原画像データ及びシャープネス処理を実行するプログラムを記憶した外部記憶装置が装着される。
【０００３】
このような上記シャープネス処理装置では、処理プログラム及び原画像データを上記外部記憶装置から取得し、原画像を表示器に表示する。この当該表示器にウインドウ表示された条件設定用画面から、「シャープネス強調処理」及び「ボカシ処理」のいずれかがオペレーターにより選択されると、上記シャープネス処理装置は、当該処理を実行する方向・範囲を示すベクトルを原画像上に表示する。そして、当該ベクトルの始点及び終点がオペレーターにより選択されると、上記シャープネス処理装置は、上記範囲内においてシャープネス処理の強度を上記ベクトルの方向に向けて次第に変化させるシャープネス処理を実行する。これにより、一定の方向に奥行きを感じられる原画像に対して、当該一定の方向（上記ベクトルの方向）に強度が減少又は増加するシャープネス強調処理又はボカシ処理が実行され、奥行感が強調される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１４５６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載のシャープネス処理装置では、例えば複数の葉が写された樹木の写真のように、原画像が、奥行き方向がランダムな画像や、奥行き方向を規定できない画像である場合、当該奥行き方向に応じた上記シャープネス強調処理又はボカシ処理を実行することが困難となる。すなわち、これら画像では、一方向に奥行き方向を規定できないため、上記シャープネス強調処理及びボカシ処理による奥行き感を付与することが難しいという問題がある。
【０００６】
本発明は、上記課題の少なくとも一部を解決することを目的としたものであり、画像に奥行き感を適切に付与できる画像処理装置、画像表示装置及び画像処理方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００７】
本発明の第１態様に係る画像処理装置は、画像データに含まれるオブジェクトを特定するオブジェクト特定部と、前記オブジェクトの奥行き情報を取得する奥行き情報取得部と、前記奥行き情報取得部により取得された前記奥行き情報に応じた強度のシャープネス処理を前記オブジェクトに対して実行する画像処理部と、を有することを特徴とする。
【０００８】
なお、画像データは、二次元画像データでも三次元画像データでもよく、静止画像データの他、動画像データを含む。また、上記奥行き情報としては、画像に含まれるオブジェクトの奥行き（深度）を示すデプス情報を例示できる。
また、上記第１態様には、オブジェクトの奥行き情報によっては、上記画像処理部によるシャープネス処理が当該オブジェクトに対して実行されない場合も含む。
上記第１態様によれば、画像処理部により、オブジェクトの奥行き情報に応じた強度のシャープネス処理（超解像度処理）が実行される。このことから、画像データに含まれるオブジェクトが複数ある場合に、当該画像データに応じた画像における奥側のオブジェクトより、手前側のオブジェクトに対してより強いシャープネス処理を実行できる。同様に、上記画像データに含まれるオブジェクトが奥側又は手前側に移動する場合に、当該オブジェクトの位置を示す奥行き情報に応じた強度のシャープネス処理を、当該オブジェクトに対して実行できる。これにより、上記シャープネス処理が実行された画像データに応じた画像を観察することで、手前側のオブジェクトを奥側のオブジェクトより明確に視認できる。従って、当該画像に奥行き感を適切に付与できる。
なお、上記オブジェクト特定部が画像データから上記オブジェクトを自動的に特定する場合には、当該奥行き感を容易かつ適切に付与できる。
【０００９】
上記第１態様では、前記奥行き情報取得部は、前記オブジェクトのコントラスト比、明るさ、周波数、エッジ及び大きさの少なくともいずれかに基づいて前記奥行き情報を推定して取得することが好ましい。
なお、上記周波数としては、空間周波数を例示できる。また、明るさには、階調や色の系統（寒色系又は暖色系）が含まれる。
ここで、コントラスト比が高いオブジェクトは、上記画像において手前側にあると推定でき、コントラスト比が低いオブジェクトは、奥側にあると推定できる。このように、オブジェクトのコントラスト比に基づいて、当該オブジェクトの奥行き情報を推定できる。
高い階調（明るい階調）のオブジェクトは、手前側にあると推定でき、低い階調（暗い階調）のオブジェクトは、奥側にあると推定できる。一方、暖色系のオブジェクトは、手前側にあると推定でき、寒色系のオブジェクトは、奥側にあると推定できる。このように、オブジェクトの上記明るさに基づいて、当該オブジェクトの奥行き情報を推定できる。
周波数が低いオブジェクトは、手前側にあると推定でき、周波数が高いオブジェクトは、奥側にあると推定できる。このように、オブジェクトの周波数（空間周波数）に基づいて、当該オブジェクトの奥行き情報を推定できる。
エッジが比較的明確であるオブジェクトは、手前側にあると推定でき、エッジが比較的明確でないオブジェクトは、奥側にあると推定できる。このように、オブジェクトのエッジの明確さに基づいて、当該オブジェクトの奥行き情報を推定できる。
サイズが大きいオブジェクトは、手前側にあると推定でき、小さいオブジェクトは、奥側にあると推定できる。このように、オブジェクトの大きさに基づいて、当該オブジェクトの奥行き情報を推定できる。
【００１０】
このため、上記第１態様によれば、奥行き情報取得部がオブジェクトのコントラスト比、明るさ、周波数、エッジ、及び大きさの少なくともいずれかの項目に基づいて奥行き情報を推定するので、画像データにオブジェクトの奥行き情報が含まれていない場合でも、当該オブジェクトの奥行き情報を推定及び取得できる。また、奥行き情報取得部が、複数の上記項目に基づいて奥行き情報を推定すれば、より正確にオブジェクトの奥行き情報を推定できる。従って、上記画像処理部によってシャープネス処理をより適切に実行できるので、より画像に奥行き感を付与できる。
【００１１】
上記第１態様では、前記オブジェクトのコントラスト比、明るさ、周波数、エッジ及び大きさのうち少なくとも２つの項目から１つの項目を選択可能な項目選択画面を生成する項目選択画面生成部を有し、前記奥行き情報取得部は、前記項目選択画面にて選択された前記１つの項目の重み付けを重くして、前記オブジェクトの奥行き情報を推定することが好ましい。
上記第１態様によれば、奥行き情報取得部は、選択された項目の重み付けを重くしてオブジェクトの奥行き情報を推定するので、上記画像の観察者にとって奥行感を得られる画像を確実に生成できる。また、重み付けを重くした項目の他、他の項目に基づいて奥行き情報が推定される場合には、更に正確にオブジェクトの奥行き情報を推定できる。
【００１２】
上記第１態様では、前記画像データは、前記オブジェクト及び当該オブジェクトの前記奥行き情報を含む視差画像の画像データであり、前記奥行き情報取得部は、前記画像データに含まれる前記奥行き情報を前記オブジェクト毎に取得することが好ましい。
上記第１態様では、画像データから、当該画像データに含まれるオブジェクトの奥行き情報を確実に取得できる。従って、画像処理部が、上記シャープネス処理を実行することにより、奥行き感のある画像の画像データを確実に生成できる。
【００１３】
上記第１態様では、前記画像処理部により実行される前記シャープネス処理の強度を設定可能な強度設定画面を生成する強度設定画面生成部を有し、前記画像処理部は、前記強度設定画面にて設定された強度にて前記シャープネス処理を実行することが好ましい。
上記第１態様によれば、画像処理部は、使用者の強度設定画面にて設定された強度のシャープネス処理を実行する。これによれば、画像処理部によって処理された画像データに応じた画像を観察した観察者にとってより奥行き感を得やすい画像の画像データを生成できる。
【００１４】
上記第１態様では、前記強度設定画面は、第１のオブジェクト、及び前記第１のオブジェクトとは奥行きが異なる第２のオブジェクトに対して、それぞれ前記シャープネス処理の強度を設定可能であることが好ましい。
上記第１態様によれば、例えば、第１のオブジェクトが第２のオブジェクトより手前側にある場合に、第２のオブジェクトより、第１のオブジェクトに対してより強いシャープネス処理を実行できる。これによれば、画像処理部によって処理された画像データに応じた画像を観察した観察者にとってより奥行き感を得やすい画像の画像データを容易に生成できる。
【００１５】
上記第１態様では、前記第１のオブジェクトに対して設定可能な前記シャープネス処理の強度の範囲と、前記第２のオブジェクトに対して設定可能な前記シャープネス処理の強度の範囲と、が異なることが好ましい。
上記第１態様によれば、第１のオブジェクトの強度の範囲と第２のオブジェクトの強度の範囲が異なるので、例えば、第１のオブジェクトの強度の下限より第２のオブジェクトの上限が小さい範囲に設定されていれば、第２のオブジェクトより第１のオブジェクトを確実に明確に表示できる。従って、当該画像に奥行き感を適切かつ確実に付与できる。
【００１６】
本発明の第２態様に係る画像表示装置は、上述した画像処理装置と、前記画像処理装置により処理された画像を表示する表示部と、を備えることを特徴とする。
上記第２態様によれば、上記第１態様に係る画像処理装置と同様の効果を奏することができる。また、シャープネス処理が実行された画像データに基づく画像は、手前側のオブジェクトがよりシャープに表示され、奥側のオブジェクトが当該手前側のオブジェクトよりぼやけて表示されるので、当該画像を観察した観察者に、より奥行き感を与えることができる。
【００１７】
本発明の第３態様に係る画像処理方法は、画像処理装置を用いて実行される画像処理方法であって、画像データに含まれるオブジェクトを特定し、前記オブジェクトの奥行き情報を取得し、取得された前記奥行き情報に応じた強度のシャープネス処理を前記オブジェクトに対して実行することを特徴とする。
上記第３態様によれば、当該画像処理方法を画像処理装置が実行することにより、上記第１態様に係る画像処理装置と同様の効果を奏することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係るプロジェクターの構成を示すブロック図。
【図２】上記第１実施形態に係るプロジェクターの画面生成部により生成される項目選択画面を示す図。
【図３】上記第１実施形態に係るプロジェクターの画面生成部により生成される強度設定画面を示す図。
【図４】上記第１実施形態に係るプロジェクターの情報取得部により取得された元画像データに基づく画像を示す図。
【図５】上記第１実施形態に係るプロジェクターの奥行き情報取得部により推定された奥行き情報に応じた強度のシャープネス処理を実行した画像データに基づく画像を示す図。
【図６】上記第１実施形態に係るプロジェクターの超解像度処理を示すフローチャート。
【図７】上記第１実施形態に係るプロジェクターの情報取得部により取得された元画像データの全領域に超解像度処理を実行した画像データに基づく画像を示す図。
【図８】本発明の第２実施形態に係るプロジェクターの構成を示すブロック図。
【発明を実施するための形態】
【００１９】
［第１実施形態］
以下、本発明の第１実施形態を図面に基づいて説明する。
［プロジェクターの構成］
図１は、本実施形態に係るプロジェクター１の構成を示すブロック図である。
本実施形態に係るプロジェクター１は、本発明の画像表示装置に相当し、画像情報に応じた画像をスクリーン等の被投射面（図示省略）に拡大投射して表示する機能を有する。このプロジェクター１は、詳しくは後述するが、取得した画像データに含まれるオブジェクトの奥行き情報を取得し、当該奥行き情報に基づいて、オブジェクトにシャープネス処理を実行した画像を生成する機能を有する。
このようなプロジェクター１は、図１に示すように、操作部２、画像表示部３及び制御部４を有する。
【００２０】
［操作部の構成］
操作部２は、外装筐体の天面等に設けられた操作パネルや、リモートコントローラー（図示省略）により構成されている。
図示を省略するが、操作パネルには、複数のキーが配設され、当該操作パネルは、入力されたキーに応じた操作信号を、制御部４に出力する。このようなキーとして、プロジェクター１の電源をＯＮ／ＯＦＦする電源キーの他、各種設定操作を行うための選択キー、決定キー及びキャンセルキー等が挙げられる。
また、リモートコントローラーには、操作パネルと同様のキーが配設され、当該キーの入力に応じた操作信号を、赤外線信号として、プロジェクター１に送信する。そして、プロジェクター１に配設されて操作部２を構成する受光部が、当該赤外線信号を受信して、対応する操作信号を制御部４に出力する。
【００２１】
［画像表示部の構成］
画像表示部３は、制御部４から入力される画像信号に応じた画像を上記被投射面上に拡大投射する。すなわち、画像表示部３は、本発明の表示部に相当する。この画像表示部３は、光源装置３１、光変調装置３２及び投射光学装置３３を備える。
光源装置３１は、光源ランプ及び当該光源ランプに取り付けられるリフレクターを備える。なお、光源装置３１は、光源ランプに代えてＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体光源を有する構成としてもよい。また、光源装置３１は２つ以上設けられてもよい。
光変調装置３２は、上記光源装置３１から出射された光束を変調して、上記画像信号に応じた画像を形成する。このような光変調装置３２として、透過型又は反射型の液晶パネルを採用できる他、マイクロミラーを用いたデバイス等を採用できる。
投射光学装置３３は、形成された画像を拡大投射するものであり、鏡筒と、当該鏡筒内に収納される複数のレンズとを備えた組レンズとして構成されている。なお、投射光学装置３３の構成はこれに限られず、少なくとも１枚の平面又は曲面のミラーを含んでいてもよい。
【００２２】
［制御部の構成］
制御部４は、ＣＰＵ（Central Processing Unit）等の処理回路が実装された回路基板により構成され、プロジェクター１の動作を自律的に、或いは、使用者の操作に応じて操作部２から入力される操作信号に基づいて制御する。この制御部４は、例えば、後述するシャープネス処理（超解像度処理）を実行する設定操作が行われると、取得された画像データに含まれるオブジェクトを特定し、特定された当該オブジェクトの奥行き情報を取得し、取得された当該奥行き情報に応じた強度のシャープネス処理を実行する。すなわち、制御部４は、本発明の画像処理装置を含むものである。
このような制御部４は、記憶部４１、情報取得部４２、画面生成部４３、オブジェクト特定部４４、奥行き情報取得部４５、画像処理部４６及び画像出力部４７を備える。
【００２３】
［記憶部の構成］
記憶部４１は、プロジェクター１の動作に必要な各種プログラム及びデータを記憶している。例えば、記憶部４１は、後述するシャープネス処理（超解像度処理）を実行する超解像度処理プログラムを記憶している。
また、記憶部４１は、後述する項目選択画面ＳＳ１（図２参照）にて使用者により選択された項目や、後述する強度設定画面ＳＳ２（図３参照）にて使用者により設定された、オブジェクトの奥行きに応じたシャープネス処理の強度を記憶する。
【００２４】
［情報取得部の構成］
情報取得部４２は、プロジェクター１に接続されるＰＣ（Personal Computer）等の画像供給装置から受信される画像データを取得し、記憶部４１に記憶する。なお、本実施形態では、画像データは、二次元画像データであり、視差画像を表示するための画像データ（三次元画像データ）は含まない。
【００２５】
［画面生成部の構成］
図２は、画面生成部４３により生成される項目選択画面ＳＳ１の一例を示す図である。
画面生成部４３は、情報取得部４２により取得された画像データに対してシャープネス処理を実行する場合に参照される設定項目を使用者に設定させる画面を生成する。これら画面は、ＯＳＤ（On Screen Display）にて表示される。
例えば、画面生成部４３は、図２に示す項目選択画面ＳＳ１を生成する。この項目選択画面ＳＳ１は、それぞれオブジェクトのコントラスト比、明るさ、周波数、エッジの明確さ、及び、大きさの５つの特徴項目から、情報取得部４２によって取得された画像データに含まれるオブジェクトの奥行き（深度）を示す奥行き情報を取得する際に重み付け項目として参照される項目を、使用者に選択させる画面である。すなわち、画面生成部４３は、本発明の項目選択画面生成部に相当する機能を有する。
詳述すると、項目選択画面ＳＳ１は、「コントラスト比」、「明るさ」、「周波数」、「エッジ」及び「大きさ」とそれぞれ表記されたボタンＢＴ１〜ＢＴ５が含まれている。そして、これらボタンＢＴ１〜ＢＴ５のうち、重み付けを重くする特徴項目に応じたボタンが操作部２に対する使用者の入力操作によって選択されると、選択された特徴項目が記憶部４１に記憶される。そして、詳しくは後述するが、奥行き情報取得部４５は、上記５つの特徴項目のうち、当該選択された特徴項目を重視して、特定されたオブジェクトの奥行き情報の取得を行う。
【００２６】
図３は、画面生成部４３により生成される強度設定画面ＳＳ２の一例を示す図である。
また、画面生成部４３は、図３に示す強度設定画面ＳＳ２を生成する。この強度設定画面ＳＳ２は、オブジェクトの奥行き情報に応じて実行されるシャープネス処理の強度を使用者に設定させる設定画面である。すなわち、画面生成部４３は、本発明の強度設定画面生成部に相当する機能を有する。
詳述すると、強度設定画面ＳＳ２には、上記取得された画像データにおける手前側、中間及び奥側に位置するオブジェクトに対して実行されるシャープネス処理の強度を設定可能な３つのバーＢＲ１〜ＢＲ３が含まれている。
【００２７】
ここで、本実施形態におけるシャープネス処理の強度について説明する。後述する画像処理部４６が実行するシャープネス処理の強度（以下、シャープネス強度という場合がある）は、「−５〜＋５」の１１段階に設定されている。この１１段階において「０〜＋５」の範囲では、設定された数値が大きいほどシャープネス強度が高く、オブジェクトの輪郭が強調される。一方、設定された数値が「０」の場合は、シャープネス処理は実行されず、「−１〜―５」の範囲では、設定された数値が小さいほど強いボカシ処理が実行され、オブジェクトの輪郭が不明確にされる（曖昧にされる）。
【００２８】
このようなシャープネス処理を実行するために、上記強度設定画面ＳＳ２では、最も手前側に位置するオブジェクトに対して実行されるシャープネス処理の強度を、バーＢＲ１のノブＢＲ１１を操作することによって「０〜＋５」の６段階の範囲にて設定可能である。また、最も手前側と最も奥側との中間に位置するオブジェクトに対して実行されるシャープネス処理の強度を、バーＢＲ２のノブＢＲ２１を操作することによって「−２〜＋３」の６段階の範囲にて設定可能である。更に、最も奥側に位置するオブジェクトに対して実行されるシャープネス処理の強度を、バーＢＲ３のノブＢＲ３１を操作することによって「−５〜０」の６段階の範囲にて設定可能である。
このようにして、各ノブＢＲ１１，ＢＲ２１，ＢＲ３１を上下移動させることにより設定されたシャープネス強度は、記憶部４１に記憶される。
なお、上記シャープネス強度の初期値は、バーＢＲ１〜ＢＲ３毎に設定されている。例えば、バーＢＲ１、バーＢＲ２、及びバーＢＲ３の初期値は、それぞれ「５」、「０」及び「−５」に設定されている。また、当該初期値は、記憶部４１に記憶されている。すなわち、使用者が各ノブＢＲ１１，ＢＲ２１，ＢＲ３１を上下移動しなくても、当該初期値に基づいてシャープネス処理が実行できるようになっている。
【００２９】
［オブジェクト特定部の構成］
図１に戻り、オブジェクト特定部４４は、上記画像データに含まれるオブジェクトを特定する機能を有する。このオブジェクト特定部４４は、上記画像のオブジェクトの輪郭やエッジを抽出することにより、当該画像データに含まれ、かつ、個別に分離及び抽出可能なオブジェクトを特定する。
【００３０】
図４は、情報取得部４２により取得された画像データに基づく画像ＰＤ１の一例を示す図である。
図４に示す画像ＰＤ１には、複数のオブジェクトが含まれるが、説明の都合上、４つのオブジェクトについて説明する。
この画像ＰＤ１の左側には、木のオブジェクトＢＪ１（第１のオブジェクトに相当）が配置され、右側には、木のオブジェクトＢＪ２が配置されている。また、画像ＰＤ１の略中央下側には、木のオブジェクトＢＪ３が配置され、略中央上側には、木のオブジェクトＢＪ４（第２のオブジェクトに相当）が配置されている。
このような画像ＰＤ１がシャープネス処理の処理対象である場合には、オブジェクト特定部４４は、画像ＰＤ１の画像データに含まれる輪郭やエッジを特定することにより、上記各オブジェクトＢＪ１〜ＢＪ４を特定する。
【００３１】
［奥行き情報取得部の構成］
図１に戻り、奥行き情報取得部４５は、上記オブジェクト特定部４４により特定されたオブジェクトの奥行き情報を推定及び取得する機能を有する。なお、奥行き情報とは、いわゆるデプス情報であり、上記のように、画像に含まれるオブジェクトの奥行き（深度）を示す情報である。
具体的に、奥行き情報取得部４５は、オブジェクトの上記５つの特徴項目であるコントラスト比、明るさ、周波数、エッジ及び大きさに基づいて、当該オブジェクトの上記奥行き情報を推定及び取得する。この際、奥行き情報取得部４５は、上記項目選択画面ＳＳ１にて選択された特徴項目（例えば、コントラスト比）の重み付けを重くして（当該特徴項目を重視して）、上記奥行き情報を推定する。
【００３２】
例えば、上記画像ＰＤ１がシャープネス処理の処理対象である場合、奥行き情報取得部４５は、オブジェクト特定部４４によって特定される各オブジェクトＢＪ１〜ＢＪ４のコントラスト比に基づいて、当該コントラスト比が高いオブジェクト（例えば、オブジェクトＢＪ１〜ＢＪ３）が手前側に位置すると推定するとともに、当該コントラスト比に応じたオブジェクトの奥行き情報を推定する。一方、奥行き情報取得部４５は、各オブジェクトＢＪ１〜ＢＪ４のコントラスト比に基づいて、当該コントラスト比が低いオブジェクト（例えば、オブジェクトＢＪ４）が奥側に位置すると推定するとともに、当該コントラスト比に応じたオブジェクトの奥行き情報を推定する。
【００３３】
また、奥行き情報取得部４５は、各オブジェクトＢＪ１〜ＢＪ４の明るさに基づいて、当該明るさが高いオブジェクト（例えば、オブジェクトＢＪ１〜ＢＪ３）が手前側に位置すると推定するとともに、明るさが低いオブジェクト（例えば、オブジェクトＢＪ４）が奥側にあると推定する。そして、奥行き情報取得部４５は、当該各オブジェクトＢＪ１〜ＢＪ４の明るさに応じた奥行き情報をそれぞれ推定する。
また、奥行き情報取得部４５は、各オブジェクトＢＪ１〜ＢＪ４の空間周波数（例えば単位長さ中に存在する明暗の縞模様で表される波の数）に基づいて、当該空間周波数が高い（上記波の数が多い）オブジェクト（例えば、オブジェクトＢＪ１〜ＢＪ３）が手前側に位置すると推定し、当該空間周波数が低いオブジェクト（例えば、オブジェクトＢＪ４）が奥側に位置すると推定する。そして、奥行き情報取得部４５は、当該各オブジェクトＢＪ１〜ＢＪ４の空間周波数に応じた奥行き情報をそれぞれ推定する。なお、空間周波数は、本発明の周波数に相当する。
【００３４】
また、奥行き情報取得部４５は、各オブジェクトＢＪ１〜ＢＪ４のエッジの明確さに基づいて、エッジが明確なオブジェクト（上記画像データの明るさが鋭敏に変化している箇所が多いオブジェクトであり、例えばオブジェクトＢＪ１〜ＢＪ３）が手前側に位置すると推定し、エッジが明確でないオブジェクト（例えば、オブジェクトＢＪ４）が奥側に位置すると推定する。そして、奥行き情報取得部４５は、当該各オブジェクトＢＪ１〜ＢＪ４のエッジの明確さに応じた奥行き情報をそれぞれ推定する。
また、加えて、奥行き情報取得部４５は、各オブジェクトＢＪ１〜ＢＪ４の大きさに基づいて、大きいオブジェクト（例えば、オブジェクトＢＪ１，ＢＪ２）が手前側にあると推定し、小さいオブジェクト（例えば、オブジェクトＢＪ３，ＢＪ４）が奥側にあると推定する。そして、奥行き情報取得部４５は、当該各オブジェクトＢＪ１〜ＢＪ４の大きさに応じた奥行き情報をそれぞれ推定する。
【００３５】
そして、奥行き情報取得部４５は、上記記憶部４１に記憶された重み付けを重くする項目（例えばコントラスト比）における奥行き情報の重み付けを重くして、当該奥行き情報とその他の項目における奥行き情報とに基づいて、各オブジェクトＢＪ１〜ＢＪ４の奥行き情報を決定する。なお、このような処理の結果に基づいて、奥行き情報取得部４５は、上記オブジェクトＢＪ１〜ＢＪ４のうち、オブジェクトＢＪ１，ＢＪ２が最も手前側に位置し、オブジェクトＢＪ４が最も奥側に位置し、オブジェクトＢＪ３が他のオブジェクトＢＪ１，ＢＪ２，ＢＪ４の中間に位置すると推定する。
【００３６】
［画像処理部の構成］
画像処理部４６は、上記オブジェクト特定部４４により特定されたオブジェクトに対して、奥行き情報取得部４５により取得された、対応する奥行き情報に応じた強度のシャープネス処理を実行する機能を有する。例えば、画像処理部４６は、当該シャープネス処理の処理対象が上記画像ＰＤ１である場合には、奥側のオブジェクトＢＪ３，ＢＪ４より、手前側のオブジェクトＢＪ１，ＢＪ２に対して、より強いシャープネス処理を実行する。
具体的に、画像処理部４６によるシャープネス処理は、奥行き情報に応じて、奥側に位置するオブジェクトＢＪ４に対するシャープネス強度よりも、手前側に位置するオブジェクトＢＪ１，ＢＪ２に対するシャープネス強度が強くなるように、予め設定されたシャープネス強度にてシャープネス処理が実行される。すなわち、画像処理部４６は、記憶部４１に記憶されたシャープネス強度の初期値に基づいてシャープネス処理を実行する。
【００３７】
なお、画像処理部４６によるシャープネス処理は、上記強度設定画面ＳＳ２にて設定されたシャープネス強度に基づいて実行されてもよい。例えば、画像処理部４６は、手前側に位置するオブジェクトＢＪ１，ＢＪ２に対しては、上記バーＢＲ１を用いて設定された強度のシャープネス処理を実行し、中間に位置するオブジェクトＢＪ３に対しては、上記バーＢＲ２を用いて設定された強度のシャープネス処理を実行し、奥側に位置するオブジェクトＢＪ４に対しては、上記バーＢＲ３を用いて設定された強度のシャープネス処理を実行する。このため、手前側に位置するオブジェクトＢＪ１，ＢＪ２に対しては、設定値に応じて比較的強いシャープネス処理が実行され、奥側に位置するオブジェクトＢＪ４に対しては、設定値に応じてマイナスのシャープネス処理（すなわちボカシ処理）が実行される。また、中間に位置するオブジェクトＢＪ３に対しては、設定値に応じて比較的弱いシャープネス処理又はボカシ処理が実行される。
【００３８】
また、強度設定画面ＳＳ２にて設定されたシャープネス強度に基づいてシャープネス処理が実行される場合、例えば、手前側のシャープネス強度が「０」に設定され、中間のシャープネス強度が「３」に設定される場合がある。すなわち、使用者の各種バーＢＲ１〜ＢＲ３の各ノブＢＲ１１，ＢＲ２１，ＢＲ３１の操作により、手前側のオブジェクトよりも中間のオブジェクトのシャープネス強度が高く設定される場合がある。しかしながら、このような場合であっても、使用者が当該設定に基づいてシャープネス処理が実行された画像が、当該使用者が奥行き感のある画像であると認識できれば、使用者が自由にシャープネス処理の強度を設定すればよい。
【００３９】
図５は、画像処理部４６によりシャープネス処理が実行された画像データに基づく画像ＰＤ２を示す図である。
このような画像処理部４６により、上記画像ＰＤ１に対するシャープネス処理が実行された画像ＰＤ２では、例えば図５に示すように、手前側のオブジェクトＢＪ１，ＢＪ２は、図４に示した画像ＰＤ１におけるオブジェクトＢＪ１，ＢＪ２に比べて明確になる。また、奥側のオブジェクトＢＪ４は、他のオブジェクトＢＪ１〜ＢＪ３に比べて輪郭が不明確（不鮮明）となり、上記画像ＰＤ１におけるオブジェクトＢＪ４と比べても輪郭が不明確となる。
【００４０】
［画像出力部の構成］
画像出力部４７は、画像処理部４６によりシャープネス処理が実行された画像データに応じた画像信号を上記画像表示部３に出力する。そして、上記画像表示部３は、当該画像信号に基づく画像を上記被投射面に投射し、当該画像を表示させる。これにより、例えば上記画像ＰＤ２が被投射面上に表示される。
【００４１】
［シャープネス処理（超解像度処理）］
図６は、シャープネス処理（超解像度処理）を示すフローチャートである。
まず、情報取得部４２は、上記画像供給装置から入力された画像データを取得する（ステップＳ１１）。
次に、オブジェクト特定部４４は、上記画像データにより表される画像に含まれるオブジェクトを特定する（ステップＳ１２）。
この後、奥行き情報取得部４５は、ステップＳ１２により特定された各オブジェクトの奥行き情報を推定及び取得する（ステップＳ１３）。
そして、画像処理部４６は、ステップＳ１３により取得された各オブジェクトの奥行き情報に応じた強度のシャープネス処理を、当該各オブジェクトに対して実行する（ステップＳ１４）。これにより、シャープネス処理（超解像度処理）が終了される。
このようなシャープネス処理が実行された画像に応じた画像信号は、上記のように、画像出力部４７により画像表示部３に出力され、当該画像が表示される。
【００４２】
［第１実施形態の効果］
本実施形態に係るプロジェクター１は、以下の効果を奏する。
画像処理部４６により、オブジェクトの奥行き情報に応じた強度のシャープネス処理（超解像度処理）が実行される。このことから、画像データに含まれるオブジェクトが複数ある場合に、当該画像データに応じた画像における奥側のオブジェクト（例えば、オブジェクトＢＪ３，ＢＪ４）より、手前側のオブジェクト（例えば、オブジェクトＢＪ１，ＢＪ２）に対してより強いシャープネス処理を実行できる。同様に、上記画像データに含まれるオブジェクトが奥側又は手前側に移動する場合に、当該オブジェクトの位置を示す奥行き情報に応じた強度のシャープネス処理を、当該オブジェクトに対して実行できる。これにより、上記シャープネス処理が実行された画像データに応じた画像ＰＤ２を観察することで、手前側のオブジェクトを奥側のオブジェクトより明確に視認できる。従って、当該画像に奥行き感を適切に付与できる。
なお、上記オブジェクト特定部４４は、画像データから上記オブジェクトを自動的に特定するので、当該奥行き感を容易かつ適切に付与できる。
【００４３】
奥行き情報取得部４５がオブジェクトのコントラスト比、明るさ、周波数、エッジ、及び大きさの少なくともいずれかの特定項目に基づいて奥行き情報を推定するので、画像データにオブジェクトの奥行き情報が含まれていない場合でも、当該オブジェクトの奥行き情報を推定及び取得できる。また、奥行き情報取得部４５が、複数の上記特定項目に基づいて奥行き情報を推定するので、より正確にオブジェクトの奥行き情報を推定できる。従って、上記画像処理部４６によってシャープネス処理をより適切に実行できるので、より画像に奥行き感を付与できる。
【００４４】
奥行き情報取得部４５は、項目選択画面ＳＳ１の操作により選択された項目（例えば、コントラスト比）の重み付けを重くしてオブジェクトの奥行き情報を推定するので、上記画像の観察者にとって奥行感を得られる画像を確実に生成できる。また、重み付けを重くした項目の他、他の項目に基づいて奥行き情報が推定される場合には、更に正確にオブジェクトの奥行き情報を推定できる。
【００４５】
画像処理部４６は、使用者の強度設定画面ＳＳ２にて設定された強度のシャープネス処理を実行する。これによれば、画像処理部４６によって処理された画像データに応じた画像を観察した観察者にとってより奥行き感を得やすい画像の画像データを生成できる。
【００４６】
画像処理部４６は、奥側に位置するオブジェクトより、手前側のオブジェクトに対してより強いシャープネス処理を実行できる。これによれば、画像処理部４６によって処理された画像データに応じた画像を観察した観察者にとって、より奥行き感を得やすい画像の画像データを容易に生成できる。
【００４７】
手前側のオブジェクトのシャープネス処理強度の範囲（ＢＲ１「５〜０」）と奥側のオブジェクトのシャープネス処理の強度の範囲（ＢＲ３「０〜―５」）が異なるので、奥側のオブジェクトより手前側のオブジェクトを確実に明確に表示できる。従って、当該画像に奥行き感を適切かつ確実に付与できる。
【００４８】
図７は、画像ＰＤ１に基づく画像データの全てのオブジェクトＢＪ１〜ＢＪ４（全領域）に同じシャープネス強度のシャープネス処理を実行した画像ＰＤ３である。
画像ＰＤ３は、全てのオブジェクトＢＪ１〜ＢＪ４に同じシャープネス強度のシャープネス処理が実行されているので、奥行き感を得づらい画像である。これに対し、本実施形態に係るシャープネス処理が実行された画像データに基づく画像ＰＤ２は、手前側のオブジェクトＢＪ１，ＢＪ２がよりシャープに表示され、奥側のオブジェクトＢＪ３，ＢＪ４が当該手前側のオブジェクトＢＪ１，ＢＪ２よりぼやけて表示されるので、当該画像ＰＤ２を観察した観察者に、より奥行き感を与えることができる。
【００４９】
［第２実施形態］
次に、本発明の第２実施形態について説明する。
本実施形態に係るプロジェクターは、上記プロジェクター１と同様の構成を備えるが、制御部の一部の構成がプロジェクター１と異なる。具体的に、本実施形態に係るプロジェクターでは、奥行き情報取得部が、オブジェクトの奥行き情報が含まれる視差画像の画像データ（三次元画像データ）から当該奥行き情報を取得する。この点で、本実施形態に係るプロジェクターとプロジェクター１とは異なる。なお、以下の説明では、既に説明した部分と同一又は略同一である部分については、同一の符号を付して説明を省略する。
【００５０】
図８は、本実施形態に係るプロジェクター１Ａの構成を示すブロック図である。
本実施形態に係るプロジェクター１Ａは、制御部４に代えて制御部４Ａを有する他は、上記プロジェクター１と同様の構成及び機能を有する。この制御部４Ａは、奥行き情報取得部４５に代えて奥行き情報取得部４５Ａを有する他は、上記制御部４と同様の構成及び機能を有する。
奥行き情報取得部４５Ａは、情報取得部４２により取得された三次元画像データの各オブジェクトの奥行き情報を取得する機能を有する。
ここで、三次元画像データには、当該三次元画像データに含まれるオブジェクトの奥行き情報であるデプス情報が含まれている。このため、当該奥行き情報取得部４５Ａは、各オブジェクトのデプス情報を当該各オブジェクトの奥行き情報として取得する。従って、本実施形態では、画面生成部４３は、項目選択画面ＳＳ１を生成しなくてもよい。
【００５１】
また、本実施形態のシャープネス処理（超解像度処理）では、図６に示したステップＳ１３において、上記奥行き情報取得部４５Ａが、上記三次元画像データから各オブジェクトの奥行き情報を取得する。
そして、上記ステップＳ１４では、画像処理部４６は、奥行き情報取得部４５Ａにより取得された奥行き情報に応じた強度のシャープネス処理を各オブジェクトに対して実行する（ステップＳ１４）。これにより、シャープネス処理（超解像度処理）が終了される。
この後、画像出力部４７が、シャープネス処理が実行された画像データに応じた画像信号を画像表示部３に出力し、当該画像信号に応じた画像を表示させる。
【００５２】
［第２実施形態の効果］
本実施形態のプロジェクター１Ａによれば、上記第１実施形態と同様の効果を奏する他、以下の効果を奏する。
本実施形態では、情報取得部４２により取得される画像データが三次元画像データであることから、奥行き情報であるデプス情報を備えているので、第１実施形態のように各オブジェクトの奥行き情報を推定する必要がない。これにより、画像データから、当該画像データに含まれるオブジェクトの奥行き情報を確実に取得できる。従って、画像処理部４６が、上記シャープネス処理を実行することにより、奥行き感のある画像の画像データを確実に生成できる。
【００５３】
［実施形態の変形］
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記第１実施形態では、画面生成部４３は、項目選択画面ＳＳ１を生成し、当該項目選択画面ＳＳ１が表示される構成とした。しかしながら、本発明は、これに限らない。例えば、画面生成部４３は、項目選択画面ＳＳ１を生成せず、当該項目選択画面ＳＳ１が表示されない構成としてもよい。この場合、重視される特徴項目（上記重み付けがなされる特徴項目）が予め少なくとも１つ設定され、奥行き情報取得部４５が、当該少なくとも１つの特徴項目に基づいて各オブジェクトＢＪ１〜ＢＪ４の奥行き情報を推定すればよい。
【００５４】
上記各実施形態では、項目選択画面ＳＳ１では、コントラスト比、明るさ、周波数、エッジ及び大きさを示すボタンＢＴ１〜ＢＴ５を表示することとした。しかしながら、本発明は、これに限らない。例えば、コントラスト比を示すボタンＢＴ１及び明るさを示すボタンＢＴ２のみが表示されていてもよい。すなわち、特徴項目として５つの項目を挙げたが、重み付けをする特徴項目として選択可能な項目は５つに限らず、これらボタンＢＴ１〜ＢＴ５のうち、少なくとも２つが表示され、上記奥行き情報取得部４５が、入力されたボタンに応じた特徴項目の重み付けをした上で、奥行き情報を推定及び取得すればよい。これによれば、使用者は、いずれの特定項目の重み付けを重くするのかを容易に判断できる。更に、項目選択画面ＳＳ１による操作がなくても予め設定された選択項目の重み付けを重くしておいてもよい。すなわち、制御部４，４Ａは、画面生成部４３を備えなくてもよい。
【００５５】
上記第１実施形態では、奥行き情報取得部４５は、各オブジェクトＢＪ１〜ＢＪ４のコントラスト比、明るさ、周波数、エッジ、及び大きさの全ての項目に基づいて奥行き情報を推定することとした。しかしながら、本発明は、これに限らない。例えば、奥行き情報取得部４５は、コントラスト比のみに基づいて、奥行き情報を推定することとしてもよい。すなわち、奥行き情報取得部４５は、上記各種項目のいずれかに基づいて奥行き情報を推定すればよい。また、奥行き情報取得部４５は、上記以外の他の特徴項目に基づいて、オブジェクトの奥行き情報を推定及び取得してもよい。
【００５６】
上記各実施形態では、シャープネス強度を「−５〜＋５」の１１段階に設定した。しかしながら、本発明は、これに限らない。例えば、「０〜２」の３段階であってもよいし、「−１０〜＋１０」の２１段階に設定してもよい。また、手前側、中間、奥側のそれぞれに位置するオブジェクトに対するシャープネス強度が予め設定され、記憶部４１に記憶されていてもよい。すなわち、画面生成部４３は、強度設定画面ＳＳ２を生成しなくてもよい。従って、制御部４，４Ａは、画面生成部４３を備えなくてもよい。
【００５７】
更に、上記各実施形態では、手前側、中間、奥側の３つの領域に対してシャープネス強度を設定することとした。しかしながら、本発明は、これに限らない。例えば、画像のオブジェクトの奥行き情報が１０段階ある画像の場合には、それぞれの段階ごとにシャープネス強度を設定できるようにしてもよい。加えて、手前側にのみシャープネス処理を実行することとしてもよい。すなわち、奥側に位置するオブジェクトより手前側に位置するオブジェクトに対して、より強いシャープネス処理が実行されればよい。
また、このような強度設定画面ＳＳ２は表示されなくてもよく、奥行き情報と、当該奥行き情報に応じたシャープネス処理の強度とが関連付けて設定された対応情報が記憶部４１に記憶され、画像処理部４６が当該対応情報に基づいて、特定されたオブジェクトに対して上記シャープネス処理を実行する構成としてもよい。
【００５８】
上記第１実施形態では、制御部４は、奥行き情報取得部４５を備え、上記第２実施形態では、制御部４Ａは、当該奥行き情報取得部４５Ａを備えることとした。しかしながら、本発明は、これに限らない。例えば、１つの制御部を構成する奥行き情報取得部が、上記奥行き情報取得部４５，４５Ａのそれぞれの機能を有していてもよい。これによれば、情報取得部４２により二次元画像データ及び三次元画像データのいずれの画像データを取得した場合であっても、画像に奥行き感を容易に付与することができる。
また、上記各実施形態では、二次元画像データ及び三次元画像データとして静止画像データを例示した。しかしながら、本発明は、これに限らない。例えば、二次元及び三次元の動画像データであってもよい。
【００５９】
上記各実施形態では、画像表示装置としてプロジェクター１，１Ａを例示した。しかしながら、本発明は、これに限らない。例えば、画像を表示する機能があれば、各種ディスプレイ（ヘッドマウントディスプレイを含む）であってもよい。
上記各実施形態では、操作部２として、操作パネルや、リモートコントローラーを例示した。しかしながら、本発明は、これに限らない。例えば、画像表示部３により表示された項目選択画面ＳＳ１及び強度設定画面ＳＳ２を直接操作するタッチパネルのような構成であってもよい。
【００６０】
上記各実施形態では、上記シャープネス処理（超解像度処理）を主に実行する画面生成部４３、オブジェクト特定部４４、奥行き情報取得部４５及び画像処理部４６は、ＣＰＵ等の処理回路が実装された回路基板である制御部４，４Ａを構成するとした。これら画面生成部４３、オブジェクト特定部４４、奥行き情報取得部４５，４５Ａ及び画像処理部４６のうち、少なくともオブジェクト特定部４４、奥行き情報取得部４５，４５Ａ及び画像処理部４６は、１つの処理回路（画像処理回路）として構成され、当該回路基板に実装される構成としてもよい。また、上記のように、シャープネス処理を実行するための超解像度処理プログラムは、記憶部４１に記憶されているとしたが、ネットワーク等から取得される構成としてもよく、記録媒体等に記録され、シャープネス処理の実行時に当該記録媒体から読み出される構成としてもよい。
【符号の説明】
【００６１】
１，１Ａ…プロジェクター（画像表示装置）、３…画像表示部（表示部）、４…制御部（画像処理装置）、４２…情報取得部、４３…画面生成部（項目選択画面生成部、強度設定画面生成部）、４４…オブジェクト特定部、４５，４５Ａ…奥行き情報取得部、４６…画像処理部、ＢＪ１，ＢＪ２，ＢＪ３，ＢＪ４…オブジェクト、ＰＤ１，ＰＤ２，ＰＤ３…画像、ＳＳ１…項目選択画面、ＳＳ２…強度設定画面。
【図１】
2016177469.tif 000003
【図２】
2016177469.tif 000004
【図３】
2016177469.tif 000005
【図６】
2016177469.tif 000006
【図８】
2016177469.tif 000007
【図４】
2016177469.tif 000008
【図５】
2016177469.tif 000009
【図７】
2016177469.tif 000010