(57)【要約】【課題】不自然なシャープネスを防止し得る画像処理装置及び画像処理方法を提供する。【解決手段】処理対象となる一の画像とフォーカス距離が異なる他の画像であって、一の画像の第１の部分に対応する部分のボケ量が一の画像の第１の部分のボケ量よりも少ない他の画像の第１の部分によって、一の画像の第１の部分をシャープネス設定値に応じて置き換える置き換え処理を行う置き換え処理手段と、置き換え処理が行われた一の画像の第１の部分に対し、シャープネス設定値に応じたシャープネス処理を行うシャープネス処理手段とを有している。【選択図】図３−１
2018110284.tif 000002
【特許請求の範囲】
【請求項１】
処理対象となる一の画像とフォーカス距離が異なる他の画像であって、前記一の画像の第１の部分に対応する部分のボケ量が前記一の画像の前記第１の部分のボケ量よりも少ない前記他の画像の第１の部分によって、前記一の画像の前記第１の部分をシャープネス設定値に応じて置き換える置き換え処理を行う置き換え処理手段と、
前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じたシャープネス処理を行うシャープネス処理手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記シャープネス処理手段は、前記一の画像の前記第１の部分に対応する部分のボケ量が前記一の画像の前記第１の部分のボケ量よりも少ない画像が、前記一の画像と前記他の画像とを含み前記フォーカス距離が異なる複数の画像のうちに存在しない場合に、前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じた前記シャープネス処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記一の画像及び前記他の画像はいずれも、任意のフォーカス距離で結像するように再構成することが可能な画像データに基づく画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記シャープネス処理手段は、前記一の画像の前記第１の部分が合焦状態である場合に、前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じた前記シャープネス処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記シャープネス設定値が第１の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分に対して前記他の画像の前記第１の部分による置き換えを行わず、
前記シャープネス設定値が前記第１の設定値より高い第２の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分を前記他の画像の前記第１の部分によって置き換え、
前記シャープネス設定値が前記第１の設定値より高く前記第２の設定値より低い第３の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分を前記他の画像によって置き換え、前記シャープネス処理手段は、前記一の画像の前記第１の部分に対してボケ処理を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記シャープネス設定値が第１の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分に対して前記他の画像の前記第１の部分による置き換えを行わず、
前記シャープネス設定値が前記第１の設定値より高い第２の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分を前記他の画像の前記第１の部分によって置き換え、
前記シャープネス設定値が前記第１の設定値より高く前記第２の設定値より低い第３の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分と前記他の画像の前記第１の部分との合成画像によって前記一の画像の前記第１の部分を置き換えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
前記シャープネス設定値が第１の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分に対して前記他の画像の前記第１の部分による置き換えを行わず、
前記シャープネス設定値が前記第１の設定値より高い第２の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分を前記他の画像の前記第１の部分によって置き換え、
前記シャープネス設定値が前記第１の設定値より高く前記第２の設定値より低い第３の設定値である場合に、前記置き換え処理手段は、前記一の画像の前記第１の部分に対して前記他の画像による置き換えを行わず、前記シャープネス処理手段は、前記一の画像の前記第１の部分に対して前記シャープネス処理を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記第３の設定値は、前記第１の設定値に対して１段階高く、
前記第２の設定値は、前記第３の設定値に対して１段階高く、
前記一の画像の前記第１の部分におけるボケ量と前記他の画像の前記第１の部分におけるボケ量との差が閾値以上であることを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記シャープネス設定値が所定値未満である場合には、前記置き換え処理手段は、前記置き換え処理を行わず、前記シャープネス処理は、前記置き換えが行われていない前記一の画像の全体に対し、前記シャープネス設定値に応じた前記シャープネス処理を行い、
前記シャープネス設定値が所定値以上である場合に、前記置き換え処理手段は前記置き換え処理を行い、前記シャープネス処理手段は、前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じた前記シャープネス処理を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
処理対象となる一の画像とフォーカス距離が異なる他の画像であって、前記一の画像の第１の部分に対応する部分のボケ量が前記一の画像の前記第１の部分のボケ量よりも少ない前記他の画像の第１の部分によって、前記一の画像の前記第１の部分をシャープネス設定値に応じて置き換える置き換え処理を行うステップと、
前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じたシャープネス処理を行うステップと
を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
処理対象となる一の画像とフォーカス距離が異なる他の画像であって、前記一の画像の第１の部分に対応する部分のボケ量が前記一の画像の前記第１の部分のボケ量よりも少ない前記他の画像の第１の部分によって、前記一の画像の前記第１の部分をシャープネス設定値に応じて置き換える置き換え処理を行うステップと、
前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じたシャープネス処理を行うステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像を表示する際に、当該画像の画質の調整がユーザによって行われる場合がある。かかる画質の調整としては、例えば、コントラストの調整、明るさの調整、シャープネスの調整等が挙げられる。かかる調整は、表示対象の画像自体がユーザの意図に合致していないために行われる場合が多い。例えば、ユーザが被写体の形状を認識したいにもかかわらず、被写体がボケ気味である場合には、例えばシャープネスの調整が行われる。シャープネスの調整によって、被写体の輪郭が強調され、ユーザは被写体の形状を認識することができる。
【０００３】
特許文献１には、ユーザがシャープネス補正をより強く行うよう設定の変更を指示すると、シャープネス補正部の設定を変更するとともに、ノイズリダクションをより強く行うようにノイズリダクション処理部の設定を変更する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３０３２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来においては、ボケている被写体の輪郭がシャープネス処理によって不自然に強調されてしまう場合があった。
【０００６】
本発明の目的は、不自然なシャープネスを防止し得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、処理対象となる一の画像とフォーカス距離が異なる他の画像であって、前記一の画像の第１の部分に対応する部分のボケ量が前記一の画像の前記第１の部分のボケ量よりも少ない前記他の画像の第１の部分によって、前記一の画像の前記第１の部分をシャープネス設定値に応じて置き換える置き換え処理を行う置き換え処理手段と、前記置き換え処理が行われた前記一の画像の前記第１の部分に対し、前記シャープネス設定値に応じたシャープネス処理を行うシャープネス処理手段とを有することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００８】
本発明によれば、不自然なシャープネスを防止し得る画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】システム構成の例を示す図である。
【図２】プロジェクタを示すブロック図である。
【図３−１】第１実施形態による画像処理装置の動作を示すフローチャートである。
【図３−２】第２実施形態による画像処理装置の動作を示すフローチャートである。
【図４】撮像時における被写体の位置関係の例を示す図である。
【図５】画像の例を示す図である。
【図６】画像の例を示す図である。
【図７】画像の例を示す図である。
【図８】画像ファイルの例を示す図である。
【図９】メニュー画像の例を示す図である。
【図１０】ボケ量の例を示す図である。
【図１１−１】テーブルの例を示す図である。
【図１１−２】テーブルの例を示す図である。
【図１２】パーソナルコンピュータを示すブロック図である。
【図１３（ａ）】第２実施形態による画像処理装置の動作を示すフローチャートである。
【図１３（ｂ）】第２実施形態による画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。
【００１１】
［第１実施形態］
第１実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図１（ａ）は、本実施形態によるシステム構成の例を示す図である。ここでは、本実施態による画像処理装置１０がプロジェクタ１００である場合を例に説明するが、これに限定されるものではない。
【００１２】
プロジェクタ１００は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）機器を接続することが可能なインターフェースであるＵＳＢポート（図示せず）を備えている。ＵＳＢポートに接続することが可能な外部メモリ（外部記憶媒体）１０２、即ち、ＵＳＢメモリが、ＵＳＢポートに接続される。外部メモリ１０２には、例えば複数の画像ファイルが格納される。プロジェクタ１００は、外部メモリ１０２から画像ファイルを読み出し、スクリーン１０１に画像を投影する。プロジェクタ１００は、ネットワークケーブル１０３等を介してローカルエリアネットワーク１０４等と接続可能である。
【００１３】
図２は、プロジェクタ１００を示すブロック図である。プロジェクタ１００は、制御部２００と、バス２０１と、画像入力部２０２と、画像処理部２０３と、画像重畳部２０４と、パネル駆動部２０５と、光学系２０６と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０９とを備えている。プロジェクタ１００は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１０と、操作部２１１と、通信部２１９とを更に備えている。
【００１４】
制御部２００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によって構成されており、プロジェクタ１００の全体の制御を司る。制御部２００は、バス２０１を介してプロジェクタ１００内の各部と通信可能である。制御部２００は、処理対象となる一の画像とフォーカス距離が異なる他の画像によってシャープネス設定値に応じた置き換え処理を行う置き換え処理手段として機能し得る。かかる置き換え処理手段は、一の画像の第１の部分に対応する部分のボケ量が一の画像の第１の部分のボケ量よりも少ない他の画像の第１の部分によって、一の画像の第１の部分をシャープネス設定値に応じて置き換える。なお、制御部２００の動作の詳細については、後述することとする。
【００１５】
画像入力部２０２は、外部メモリ１０２と接続可能である。画像入力部２０２は、制御部２００からの指示に従って、外部メモリ１０２に格納された画像ファイルを、バス２０１を介して制御部２００に提供する。
【００１６】
画像処理部２０３は、制御部２００から入力される画像データに対して、制御部２００からの指示に従って画像処理を行う。かかる画像処理としては、例えば、明るさ調整、コントラスト調整、シャープネス調整等が挙げられる。シャープネス調整の手法としては、例えば、元画像にラプラシアンフィルタを適用することによって検出した輪郭画像を当該元画像に加算する手法が挙げられる。また、シャープネス調整の手法として、ガウシアンフィルタ等のボケ処理を行うフィルタを元画像に適用することによって得られた画像と元画像との差分を元画像に加算する手法であるアンシャープマスクも挙げられる。画像処理部２０３は、制御部２００からの指示に従って、画像データの全体に対してシャープネス調整を行うこともできるし、画像データの一部に対して、例えば画素毎又は領域毎に、シャープネス調整を行うこともできる。また、画像処理部２０３は、制御部２００から供給される高域強調係数を用いて、シャープネス調整の度合いを設定することができる。例えば、画像処理部２０３は、高域強調係数に応じて、元画像に加算される輪郭画像にゲインをかけることが可能である。また、負の高域強調係数が制御部２００から供給された場合には、画像処理部２０３は、元画像に対してボケ処理を行うことが可能である。画像処理部２０３は、画像処理済みの画像データ（画像）を画像重畳部２０４に出力する。画像処理部２０３は、置き換え処理が行われた一の画像の第１の部分に対し、シャープネス設定値に応じたシャープネス処理を行うシャープネス処理手段として機能し得る。画像処理部２０３は、処理体対象となる一の画像の第１の部分に対応する部分のボケ量が一の画像の第１の部分のボケ量よりも少ない画像が、一の画像と他の画像とを含みフォーカス距離が異なる複数の画像のうちに存在しない場合に、以下のように動作する。即ち、かかる場合に、画像処理部２０３は、置き換え処理が行われた一の画像の第１の部分に対し、後述するシャープネスＢ設定値に応じたシャープネス処理を行う。
【００１７】
画像重畳部２０４は、制御部２００から指定された画像を、画像処理部２０３から入力された画像に重畳（オーバーレイ）させる。これにより、例えばメニュー画像をオーバーレイ表示させることができる。画像重畳部２０４は、画像処理済みの画像データを、パネル駆動部２０５に出力する。パネル駆動部２０５は、パネル駆動部２０５に入力される画像データに対して所定の変換処理を行うことによって、当該画像データに応じた像を液晶パネル２０７上に形成するための駆動信号を生成する。パネル駆動部２０５によって生成された駆動信号は、液晶パネル２０７に出力される。
【００１８】
光学系２０６は、光源２０８と、液晶パネル２０７と、照明光学系２２０と、投射光学系２２１とを備えている。光源２０８としては、例えば、高圧水銀ランプ、ハロゲンランプ、レーザ光源等を用いることができる。液晶パネル２０７としては、例えば、透過型の液晶パネル等を用いることができる。光源２０８から発せられる光が、照明光学系２２０を介して液晶パネル２０７に入射される。液晶パネル２０７には、パネル駆動部２０５によって生成された駆動信号によって像が形成される。液晶パネル２０７に入射される光が、液晶パネル２０７によって変調され、投射光学系２２１を介してプロジェクタ１００の外部に出射される。こうして、スクリーン１０１上に画像が表示される。
【００１９】
ＲＯＭ２０９は、不揮発性のメモリである。ＲＯＭ２０９には、制御部２００を動作させるためのプログラムコードやデータ等が格納されている。また、ＲＯＭ２０９には、プロジェクタ１００の各部を動作させるために必要なデータも格納されている。ＲＡＭ２１０は、揮発性のメモリである。ＲＡＭ２１０は、例えば、制御部２００が動作する際のワークメモリとして用いられる。操作部２１１は、ユーザからの要求を受け付けるための部材等によって構成される。操作部２１１には、例えば、電源ボタン２１２、メニューボタン２１３、上ボタン２１４、下ボタン２１５、左ボタン２１６、右ボタン２１７、決定ボタン２１８等が含まれている。通信部２１９は、例えばネットワークケーブル１０３を介して外部機器（図示せず）と通信可能である。なお、通信部２１９は、有線のみならず、無線で外部機器と通信可能であってもよい。プロジェクタ１００は、通信部２１９を介して外部機器からの画像データを受信することも可能である。
【００２０】
図３は、本実施形態による画像処理装置１０の動作を示すフローチャートである。不図示の電源ケーブルを介してプロジェクタ１００にＡＣ電源が供給されると、制御部２００、ＲＯＭ２０９、ＲＡＭ２１０、操作部２１１等に電源が供給され、制御部２００が起動し、プロジェクタ１００が待機状態となる。ここで、操作部２１１に含まれる電源ボタン２１２がユーザによって押下されたことを制御部２００が検知すると、図３に示すような動作が開始される。
【００２１】
まず、ステップＳ１００において、制御部２００は、プロジェクタ１００の各部の起動処理を行う。具体的には、制御部２００は、プロジェクタ１００の各部に電源が供給されるように制御を行い、画像入力部２０２、画像処理部２０３、画像重畳部２０４、パネル駆動部２０５、通信部２１９等が動作可能となるように設定を行う。また、制御部２００は、光源２０８を発光させ、不図示の冷却ファンを作動させる。これにより、プロジェクタ１００による投影が開始される。なお、制御部２００は、初期設定時には、画質調整値の初期値を画像処理部２０３に与える。
【００２２】
次に、ステップＳ１０１において、制御部２００は、プロジェクタ１００に接続されている外部メモリ１０２に格納されている複数の画像ファイル８００Ａ、８００Ｂのリストを、画像入力部２０２を介して取得する。図８は、画像ファイル８００Ａ、８００Ｂの例を示す図である。なお、個々の画像ファイルについて説明する際には、符号８００Ａ、８００Ｂを用い、画像ファイル一般について説明する際には、符号８００を用いることとする。図８（ａ）は、複数の画像データ８００Ａ１〜８００Ａｎが含まれている画像ファイル８００Ａの例を示している。画像ファイル８００Ａは、複数のフォーカス位置（合焦距離）でそれぞれ撮像することにより得られた複数の画像データ（画像）８０１を含む。なお、個々の画像データについて説明する際には、符号８００Ａ１〜８００Ａｎを用い、画像データ一般について説明する際には符号８０１を用いることとする。画像ファイル８００Ａのファイル名は、例えば「ＡＡＡ」とされ、識別可能となっている。画像ファイル８００Ａには、例えばｎ個の画像データ８０１Ａ１〜８０１Ａｎが含まれている。これらの画像データ８０１は、データ名、識別子、ハッシュ値といった識別情報によって識別可能である。画像データ８０１としては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）フォーマット等の圧縮データや、ビットマップデータ等の非圧縮データを用いることができる。また、画像データ８０１は、ＲＡＷデータであってもよい。ＲＡＷデータとは、デジタル一眼レフカメラ等の撮像装置等に搭載されたイメージセンサによって捉えられた光の情報がそのまま記録された画像データ、即ち、未現像の画像データである。画像データ８０１がＲＡＷデータである場合、プロジェクタ１００は、ディベイヤ処理（デモザイク処理）、色空間変換、ノイズ除去、歪補正といった画像処理をＲＡＷデータに対して行う。これにより、ＪＰＥＧ等の標準化された画像データと同様に、画像の表示を行うことができる。また、画像ファイル８００Ａは、画像データ８０１Ａ１〜画像データ８０１Ａｎに対応する合焦距離情報（フォーカス位置情報）８０２Ａ１〜８０２Ａｎを有していてもよい。なお、個々の合焦距離情報について説明する際には符号８０２Ａ１〜８０２Ａｎを用い、合焦距離情報一般について説明する際には符号８０２を用いることとする。合焦距離情報８０２としては、例えば、撮像時に合焦した被写体までの距離を示す情報や、撮像時におけるフォーカスレンズの位置情報等を用いることができる。図８（ｂ）は、画像データ８０１Ｂが１つのみ含まれている画像ファイル８００Ｂの例を示している。画像ファイル８００Ｂは、画像データ８０１Ｂを１つのみ含んでいる。画像ファイル８００Ｂのファイル名は、例えば「ＢＢＢ」とされ、識別可能となっている。外部メモリ１０２には、複数の画像データ８０１を含む画像ファイル８００Ａや、画像データ８０１を１つのみ含む画像ファイル８００Ｂを、混在して格納し得る。なお、ここでは、複数の画像データ８０１を画像ファイル８００Ａによってパッキングした場合を例に説明したが、これに限定されるものではない。例えば、ファイルシステムのディレクトリを用いて複数の画像データ８０１をパッキングしてもよい。この場合、ディレクトリ名によって識別を行うことが可能である。
【００２３】
画像ファイル８００のリストを取得した制御部２００は、当該リストに基づいて、最初に表示する画像ファイル８００を選択する。例えば、ファイル名、タイムスタンプ、画像の特性、メタデータ等を用いて当該リストに対してソートを行い、ソート後のリストにおいて先頭に位置している画像ファイル８００を選択する。この後、制御部２００は、選択した画像ファイル８００を外部メモリ１０２から読み出し、当該画像ファイル８００に含まれている画像データ８０１を画像処理部２０３に送信し、当該画像データ８０１が表示されるように画像処理部２０３等に対して指示を行う。例えば、複数の画像データ８０１を含む画像ファイル８００Ａが選択された場合には、制御部２００は、当該画像ファイル８００Ａに含まれる複数の画像データ８０１Ａ１〜８０１Ａｎのうちのいずれかを選択する。そして、制御部２００は、選択した画像データ８０１を画像処理部２０３に送信する。複数の画像データ８０１Ａ１〜８０１Ａｎのうちのいずれかを選択する手法としては、例えば、合焦距離情報８０２Ａ１〜８０２Ａｎの平均値や中央値に最も近い合焦距離情報８０２に対応する画像データ８０１を選択する手法が挙げられる。一方、画像データ８０１を１つのみ含む画像ファイル８００Ｂが選択された場合には、制御部２００は、当該画像ファイル８００Ｂに含まれる画像データ８０１Ｂを画像処理部２０３に送信する。
【００２４】
次に、ステップＳ１０２において、制御部２００は、ユーザによって行われる操作部２１１に対する操作内容を確認する。ユーザによって操作部２１１が操作されていない場合には、ステップＳ１０２が繰り返される。制御部２００は、以下のような場合には、メニュー操作指示がユーザによって為されたと判定する。例えば、画像重畳部２０４によってメニュー画像の重畳が行われている際に、上ボタン２１４、下ボタン２１５、左ボタン２１６、右ボタン２１７、又は、決定ボタン２１８等が押下された場合には、制御部２００は、以下のように判定する。即ち、かかる場合には、制御部２００は、メニュー操作指示がユーザによって行われたと判定する。また、画像重畳部２０４にメニュー画像の重畳が行われていない際に、メニューボタン２１３が押下された場合には、制御部２００は、メニュー操作指示がユーザによって為されたと判定する。そして、制御部２００は、メニュー操作指示がユーザによって為されたと判定した場合には、ステップＳ１０５に移行する。また、制御部２００は、操作部２１１に含まれている電源ボタン２１２が押下された場合には、電源オフの指示がユーザによって為されたと判定し、ステップＳ１０３に移行する。また、制御部２００は、画像重畳部２０４によってメニュー画像の重畳が行われていない際に、上ボタン２１４、又は、下ボタン２１５が押下された場合には、表示画像の変更指示がユーザによって為されたと判定し、ステップＳ１０４に移行する。
【００２５】
ステップＳ１０３において、制御部２００は、プロジェクタ１００の各部に対して終了処理を行い、プロジェクタ１００の各部への電源供給を停止するように制御を行う。この後、プロジェクタ１００の動作が終了する。
【００２６】
ステップＳ１０４において、制御部２００は、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００とは別の画像ファイル８００を、ステップＳ１０１においてソート済みのリストのうちから選択する。そして、制御部２００は、選択された画像ファイル８００を外部メモリ１０２から読み出し、読み出した当該画像ファイル８００に格納されている画像データ８０１を表示するように画像処理部２０３等を制御する。画像ファイル８００の選択手法としては、例えば以下のような手法が挙げられる。即ち、ステップＳ１０２において下ボタン２１５が押下された場合には、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００の次に位置する画像ファイル８００を、ステップＳ１０１においてソート済のリストのうちから選択する。一方、ステップＳ１０２において上ボタン２１４が押下された場合には、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００の前に位置する画像ファイル８００を、ステップＳ１０１においてソート済のリストのうちから選択する。この後、ステップＳ１０２に戻る。
【００２７】
ステップＳ１０５において、制御部２００は、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００の種別を判定する。現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００が、複数の画像データ８０１を含む画像ファイル８００Ａである場合には（ステップＳ１０５においてＹＥＳ）、ステップＳ１０６に移行する。一方、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００が、画像データ８０１を１つのみ含む画像ファイル８００Ｂである場合には（ステップＳ１０５においてＮＯ）、ステップＳ１０７に移行する。
【００２８】
ステップＳ１０６では、制御部２００は、表示画面に重畳中のメニュー画像の内容と、ステップＳ１０２において押下されたボタンの種類とに応じて、メニュー画像を生成し、メニュー画像の表示又は更新の指示を画像重畳部２０４に対して行う。また、ステップＳ１０６では、制御部２００は、表示画面に重畳中のメニュー画像の内容と、ステップＳ１０２において押下されたボタンの種類とに応じて、設定値の更新を行う。ここでは、ステップＳ１０６において生成されるメニュー画像を、第１のメニュー画像と称することとする。図９は、メニュー画像の例を示す図である。図９（ａ）は、第１のメニュー画像の例を示している。第１のメニュー画像９００は、プロジェクタ１００によって表示される画像、即ち、表示画像に重畳される。第１のメニュー画像９００は、表示画像の画質の設定をユーザが行う際に用いられるものであり、例えば、以下の４つの設定項目を含む。項目９０１は、表示画像の明るさを設定するためのものである。項目９０２は、表示画像のコントラストを設定するためのものである。項目９０３は、シャープネスＡの設定値、即ち、シャープネスＡ設定値を設定するためのものである。なお、シャープネスＡの詳細については、後述することとする。項目９０４は、シャープネスＢの設定値、即ち、シャープネスＢ設定値を設定するためのものである。なお、シャープネスＢの詳細については、後述することとする。カーソル９０５は、これらの項目９０１〜９０４のうちのいずれに対しての調整を行うかを選択するためのものである。表示画像に第１のメニュー画像９００が重畳されていない状態で、ステップＳ１０２においてメニューボタン２１３が押下された場合には、制御部２００は、ステップＳ１０６において、以下のような動作を行う。即ち、かかる場合には、制御部２００は、第１のメニュー画像９００を生成し、生成した第１のメニュー画像９００の表示画面への重畳を画像重畳部２０４に行わせる。表示画像に第１のメニュー画像９００が重畳されている状態で、ステップＳ１０２において上ボタン２１４又は下ボタン２１５が押下された場合には、制御部２００は、ステップＳ１０６において、以下のような動作を行う。即ち、かかる場合には、制御部２００は、カーソル９０５の位置が変更された第１のメニュー画像９００を生成し、第１のメニュー画像９００の更新を画像重畳部２０４に行わせる。表示画像に第１のメニュー画像９００が重畳されている状態で、ステップＳ１０２において左ボタン２１６又は右ボタン２１７が押下された場合には、制御部２００は、ステップＳ１０６において、以下のような動作を行う。即ち、かかる場合には、制御部２００は、カーソル９０５によって選択された項目の設定値が減少又は増加された第１のメニュー画像９００を生成し、第１のメニュー画像９００の更新を画像重畳部２０４に行わせる。表示画像に第１のメニュー画像９００が重畳されている状態で、ステップＳ１０２においてメニューボタン２１３が押下された場合には、制御部２００は、ステップＳ１０６において、第１のメニュー画像９００を消去するように画像重畳部２０４に指示する。この後、ステップＳ１０８に移行する。
【００２９】
ステップＳ１０７では、制御部２００は、表示画面に重畳中のメニュー画像の内容と、ステップＳ１０２において押下されたボタンの種類とに応じて、メニュー画像を生成し、メニュー画像の表示又は更新の指示を画像重畳部２０４に対して行う。また、ステップＳ１０７では、制御部２００は、表示画面に重畳中のメニュー画像の内容と、ステップＳ１０２において押下されたボタンの種類とに応じて、設定値の更新を行う。ここでは、ステップＳ１０７において生成されるメニュー画像を第２のメニュー画像と称することとする。図９（ｂ）は、第２のメニュー画像の例を示す図である。第２のメニュー画像９０６は、表示画像に重畳される。第２のメニュー画像９０６は、表示画像の画質の設定をユーザが行う際に用いられるものである。第２のメニュー画像９０６は、例えば、以下の３つの設定項目、即ち、明るさの設定を行うための項目９０１と、コントラストの設定を行うための項目９０２と、シャープネスＡの設定を行うための項目９０３とを含む。これらの項目９０１〜９０３は、上述した第１のメニュー画像９００にも含まれている。第２のメニュー画像９０６は、シャープネスＢの設定を行うための項目９０４が含まれていない点で、第１のメニュー画像９００と相違しており、項目９０４に対応する部分が空欄９０７となっている。カーソル９０８は、これらの設定項目９０１〜９０３のうちのいずれに対しての調整を行うかを選択するためのものである。表示画像に第２のメニュー画像９０６が重畳されていない状態で、ステップＳ１０２においてメニューボタン２１３が押下された場合には、制御部２００は、ステップＳ１０７において、以下のような動作を行う。即ち、かかる場合には、制御部２００は、第２のメニュー画像９０６を生成し、生成した第２のメニュー画像９０６の表示画面への重畳を画像重畳部２０４に行わせる。表示画像に第２のメニュー画像９０６が重畳されている状態で、ステップＳ１０２において上ボタン２１４又は下ボタン２１５が押下された場合には、制御部２００は、ステップＳ１０７において、以下のような動作を行う。即ち、かかる場合には、制御部２００は、カーソル９０８の位置が変更された第２のメニュー画像９０６を生成し、第２のメニュー画像９０６の更新を画像重畳部２０４に行わせる。表示画像に第２のメニュー画像９０６が重畳されている状態で、ステップＳ１０２において左ボタン２１６又は右ボタン２１７が押下された場合には、制御部２００は、ステップＳ１０７において、以下のような動作を行う。即ち、かかる場合には、制御部２００は、カーソル９０５によって選択された設定項目の設定値が減少又は増加された第２のメニュー画像９０６を生成し、第２のメニュー画像９０６の更新を画像重畳部２０４に行わせる。表示画像に第２のメニュー画像９０６が重畳されている状態で、ステップＳ１０２においてメニューボタン２１３が押下された場合には、制御部２００は、第２のメニュー画像９０６を消去するように画像重畳部２０４に指示する。この後、ステップＳ１０８に移行する。
【００３０】
ステップＳ１０８では、制御部２００は、ステップＳ１０６又はステップＳ１０７においてユーザによって指示された画質調整を表示画像に適用させるための処理を行う。ステップＳ１０８においては、図３（ｂ）に示すような処理が行われ、ステップＳ１０８における処理が完了すると、ステップＳ１０２に戻る。図３（ｂ）は、ステップＳ１０８において行われる処理を示すフローチャートである。
【００３１】
まず、ステップＳ２００では、制御部２００は、ステップＳ１０６又はステップＳ１０７においてユーザによって行われた画質調整の指示の内容を判定する。ステップＳ１０６又はステップＳ１０７においてユーザによって行われた画質調整の指示が、明るさの調整、又は、コントラストの調整であった場合には、ステップＳ２０１に移行する。ステップＳ１０６又はステップＳ１０７においてユーザによって行われた画質調整の指示が、シャープネスＡであった場合には、ステップＳ２０２に移行する。ステップＳ１０６又はステップＳ１０７においてユーザによって行われた画質調整の指示が、シャープネスＢであった場合には、ステップＳ２０３に移行する。ステップＳ１０６又はステップＳ１０７において画質調整の指示がユーザによって行われなかった場合には、図３（ｂ）に示す処理が終了し、ステップＳ１０２に戻る。
【００３２】
ステップＳ２０１においては、制御部２００は、ステップＳ１０６又はステップＳ１０７においてユーザによって指示された明るさの設定値、又は、コントラストの設定値を、画像処理部２０３に送信する。そして、制御部２００は、当該明るさの設定値又は当該コントラストの設定値に基づく明るさ又はコントラストの変更を画像処理部２０３に対して指示する。この後、図３（ｂ）に示す処理が終了し、ステップＳ１０２に戻る。
【００３３】
ステップＳ２０２においては、制御部２００は、ステップＳ１０６又はステップＳ１０７においてユーザによって指示されたシャープネスＡの設定値に基づいて高域強調係数を決定する。そして、制御部２００は、決定した高域強調係数を画像処理部２０３に送信するとともに、当該高域強調係数に基づくシャープネス処理の実行を画像処理部２０３に対して指示する。図１１は、テーブルの例を示す図である。高域強調係数の決定の際には、例えば、図１１（ａ）に示すようなテーブル値が用いられる。図１１（ａ）は、シャープネスＡの設定値と、高域強調係数との関係を示している。
【００３４】
ここで、シャープネスＡの調整の例について図５を用いて説明する。図５（ａ）は、表示中の画像の例を示す図である。スクリーン１０１に投影された画像５００ａには、３つの被写体、即ち、四角形の被写体５０１ａと、円形の被写体５０２ａと、三角形の被写体５０３ａとが含まれている。なお、個々の画像における個々の被写体を説明する際には、符号５０１ａ〜５０１ｆ、５０２ａ〜５０２ｆ、５０３ａ〜５０３ｆを用いて説明し、被写体一般について説明する際には、符号５０１，５０２，５０３を用いて説明することとする。なお、画像５００ａは、被写体が図４に示すような位置関係になっている際に取得された画像である。図４は、撮影時における被写体の位置関係の例を示す図である。図４に示すように、撮像装置４００、即ち、カメラのｚ方向、即ち、奥行き方向における位置はｚ０となっている。四角形の被写体４０１のｚ方向における位置は、ｚ１となっている。円形の被写体４０２のｚ方向における位置は、ｚ２となっている。三角形の被写体４０３のｚ方向における位置は、ｚ３となっている。図５（ａ）に示す被写体５０１ａ、５０２ａ、５０３ａは、図４に示す被写体４０１、４０２、４０３にそれぞれ対応している。画像５００ａにおいては、四角形の被写体５０１ａは合焦しており、円形の被写体５０２ａは合焦しておらず、ややボケており、三角形の被写体５０３ａは合焦しておらず、かなりボケている。なお、被写体５０２ａに付されたハッチングと、被写体５０３ａに付されたクロスハッチングとは、それぞれボケを示している。シャープネスＡは、設定値に応じた強度（度合い）のシャープネス処理を単に行うものである。図５（ａ）に示すような画像に対して、シャープネスＡの設定値を大きめに設定すると、強いシャープネス処理が行われ、図５（ｄ）に示すような画像５００ｄが得られる。図５（ｄ）に示す被写体５０１ｄ、５０２ｄ、５０３ｄは、図５（ａ）に示す被写体５０１ａ、５０２ａ、５０３ａにそれぞれ対応するものであり、シャープネス処理によって輪郭が強調されている。四角形の被写体５０１ｄは合焦しているため、図４において被写体４０１を−ｚ方向から見た際の形状が図５（ｄ）においても保たれており、且つ、当該形状の輪郭が強調されている。なお、図５（ｄ）においては、輪郭が強調されている様子が太線を用いて示されている。円形の被写体５０２ｄと、三角形の被写体５０３ｄとは、合焦していない。このため、図４において被写体４０２、４０３を−ｚ方向から見た際の形状が図５（ｄ）においては保たれておらず、図５（ｄ）に示す被写体５０２ｄ、５０３ｄにはボケ形状が生じており、且つ、当該ボケ形状の輪郭が不自然に強調されている。
【００３５】
ここで、シャープネスＡの調整の他の例について図６を用いて説明する。図６（ａ）は、表示中の画像の例を示す図である。スクリーン１０１に投影された画像６００ａには、３つの被写体、即ち、四角形の被写体６０１ａと、円形の被写体６０２ａと、三角形の被写体６０３ａとが含まれている。なお、画像６００ａは、図５（ａ）を用いて上述した画像５００ａと同様に、被写体が図４に示すような位置関係になっている際に取得された画像である。個々の画像における個々の被写体を説明する際には、符号６０１ａ〜６０１ｆ、６０２ａ〜６０２ｆ、６０３ａ〜６０３ｆを用いて説明し、被写体一般について説明する際には、符号６０１，６０２，６０３を用いて説明することとする。図６（ａ）に示す被写体６０１ａ、６０２ａ、６０３ａは、図４に示す被写体４０１、４０２、４０３にそれぞれ対応している。画像６００ａにおいては、四角形の被写体６０１ａは合焦しておらず、ややボケており、円形の被写体６０２ａ、三角形の被写体６０３は、合焦しておらず、かなりボケている。なお、被写体６０１ａに付されたハッチング、被写体６０２ａに付されたクロスハッチング、及び、被写体６０３ａに付されたハッチングは、それぞれボケを示している。図６（ａ）に示すような画像に対して、シャープネスＡによってシャープネスを強くかけると、図６（ｄ）に示すような画像６００ｄが得られる。図６（ｄ）に示す被写体６０１ｄ、６０２ｄ、６０３ｄは、図６（ａ）に示す被写体６０１ａ、６０２ａ、６０３ａにそれぞれ対応するものであり、シャープネスによって輪郭が強調されている。四角形の被写体６０１ｄ、円形の被写体５０２ｄ、及び、三角形の被写体５０３ｄは、いずれも合焦していない。このため、図４において被写体４０１、４０２、４０３を−ｚ方向から見た際の形状が図６（ｄ）においては保たれておらず、図６（ｄ）に示す被写体６０１ｄ、６０２ｄ、６０３ｄにはボケ形状が生じており、且つ、当該ボケ形状の輪郭が強調されている。なお、図６（ｄ）においては、輪郭が強調されている様子が太線を用いて示されている。ステップＳ２０２が完了した際には、図３（ｂ）に示す処理が終了し、ステップＳ１０２に戻る。
【００３６】
ステップＳ２０３においては、制御部２００は、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００の種別を判定する。現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００が、複数の画像データ８０１を含む画像ファイル８００Ａである場合（ステップＳ２０３においてＹＥＳ）、ステップＳ２０４とステップＳ２０５とを含むループ処理に移行する。一方、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００が、１つの画像データ８０１のみを含む画像ファイル８００Ｂである場合（ステップＳ２０３においてＮＯ）、図３（ｂ）に示す処理が終了する。そして、図３（ａ）に示すステップＳ１０２に戻る。
【００３７】
ステップＳ２０４とステップＳ２０５を含むループ処理は、画像を構成する全ての画素（ピクセル）に対して当該処理が完了するまで、制御部２００による制御によって行われる。ステップＳ２０４においては、制御部２００は、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００に含まれている複数の画像データ８０１の各々に対してボケ量の測定を行う。ボケ量の測定方法の第１の例としては、測定対象の画像データにラプラシアンフィルタを適用することにより得られる出力画像、即ち、輪郭画像を用いることが挙げられる。この場合、出力画像の画素値の絶対値が小さいほどボケが大きい。ボケ量の測定方法の第２の例としては、測定対象の画像データにガウシアンフィルタ等のフィルタを適用することにより得られる出力画像、即ち、ボケ画像を用いることが挙げられる。この場合、出力画像と元画像との差の絶対値が小さいほどボケが大きい。また、ボケ量の測定方法の第３の例としては、測定対象の画像データに対応するデプスマップが画像ファイル中に格納されており、各々の画素におけるデプスと、測定対象の画像データに対応する合焦距離情報８０２とを用いるものである。この場合、当該画素におけるデプスと合焦距離との差の絶対値が大きいほどボケが大きい。このように、ボケ量の測定方法は、特に限定されるものではなく、着目する箇所毎にボケ量を測定できればよい。
【００３８】
ボケ量の測定の例について図５と図１０とを用いて説明する。ここでは、図５（ａ）に示す画像５００ａと、図５（ｂ）に示す画像５００ｂと、図５（ｃ）に示す画像５００ｃとが画像ファイルに格納されている場合を例に説明する。全ての画素についての説明は困難であるため、ここでは３つの領域、即ち、領域５０４，５０５，５０６を例として説明する。領域５０４は、四角形の被写体５０１ａ〜５０１ｃの左上部に位置する。領域５０５は、円形の被写体５０２ａ〜５０２ｃの左上部に位置する。領域５０６は、三角形の被写体５０３ａ〜５０３ｃの上部に位置する。画像５００ａ、画像５００ｂ、及び、画像５００ｃは、互いに異なる合焦距離で撮像された画像データである。このため、画像５００ａ〜５００ｃに含まれる各々の被写体５０１ａ〜５０１ｃ、５０２ａ〜５０２ｃ、５０３ａ〜５０３ｃには、互いに異なるボケが生じている。図１０は、ボケ量の例を示す図である。図１０（ａ）は、画像５００ａ、５００ｂ、５００ｃの各々の領域５０４、５０５、５０６に生じたボケ量を示している。図１０（ａ）に示すボケ量の数値が小さいほどボケ量が少ない。
【００３９】
ステップＳ２０５においては、制御部２００は、ステップＳ２０４において測定されたボケ量に基づき、後述するようなアルゴリズムに基づいてテーブルを作成する。即ち、制御部２００は、まず、表示中の画像、即ち、処理対象の画像におけるボケ量と、他の画像におけるボケ量とを、対応する画素毎に比較する。図１０（ａ）から分かるように、領域５０４においては、画像５００ｂの方が画像５００ｃよりもボケが少なく、画像５００ａの方が画像５００ｂよりもボケ量が少ない。また、図１０（ａ）から分かるように、領域５０５においては、画像５００ｂの方が画像５００ａや画像５００ｃよりもボケ量が少ない。また、図１０（ａ）から分かるように、領域５０６においては、画像５００ｂの方が画像５００ａよりもボケが少なく、画像５００ｃの方が画像５００ｂよりもボケ量が少ない。制御部２００は、シャープネスＢ設定値と、画像データ識別情報と、高域強調係数との関係を示すテーブルを、例えば、以下のようなアルゴリズム（１−１）〜（１−３）に基づいて作成する。
【００４０】
（１−１）シャープネスＢ設定値が初期値、即ち、０である場合には、表示中の画像、即ち、処理対象の画像を示すように画像データ識別情報を設定し、且つ、高域強調係数を基準値、即ち、０とする。
【００４１】
（１−２）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものでない場合には、以下のようにテーブル値を設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像の次にボケ量の多い画像を示すように、当該シャープネスＢ設定値に対応する画像データ識別情報を設定する。当該シャープネスＢ設定値に対応する高域強調係数は、基準値、即ち、０とする。
【００４２】
（１−３）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものである場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。
【００４３】
図１１（ｂ）は、上記のようなアルゴリズム（１−１）〜（１−３）に基づいて生成されるテーブルの例を示す図である。図１１（ｂ）に示すように、シャープネスＢ設定値が初期値、即ち、０の際には、アルゴリズム（１−１）に基づいてテーブル値が設定される。従って、領域５０４，５０５，５０６のいずれについても、シャープネスＢ設定値が０の際には、画像データ識別情報は表示中の画像５００ａ、即ち、処理対象の画像とされ、高域強調係数は０とされる。
【００４４】
領域５０４においては、図１０（ａ）から分かるように、表示中の画像５００ａが、最もボケ量の少ない画像である。即ち、領域５０４については、シャープネスＢ設定値が０の段階で、最もボケ量の少ない画像に達している。このため、領域５０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、アルゴリズム（１−３）に基づいてテーブル値が設定される。従って、領域５０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４のいずれの場合においても、画像データ識別情報は画像５００ａを示すものとされる。また、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、高域強調係数はそれぞれ１，２，３，４とされる。
【００４５】
領域５０５においては、図１０（ａ）から分かるように、表示中の画像５００ａは、最もボケ量の少ない画像ではない。このため、領域５０５については、シャープネスＢ設定値が＋１の際には、アルゴリズム（１−２）に基づいてテーブル値が設定される。領域５０５において、画像５００ａの次にボケ量が多いのは、画像５００ｂである。このため、シャープネスＢ設定値が＋１の際、画像データ識別情報は画像５００ｂとされ、高域強調係数は０とされる。図１０（ａ）から分かるように、領域５０５については、画像５００ｂが、最もボケ量の少ない画像である。即ち、領域５０５については、シャープネスＢ設定値が＋１の際、最もボケ量の少ない画像に達する。このため、領域５０５については、シャープネスＢ設定値が＋２，＋３，＋４の際には、アルゴリズム（１−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋２，＋３，＋４のいずれの場合においても、画像データ識別情報は画像５００ｂを示すものとされる。また、シャープネスＢ設定値が＋２，＋３，＋４の際、高域強調係数はそれぞれ１，２，３とされる。
【００４６】
領域５０６においては、図１０（ａ）から分かるように、表示中の画像５００ａは、最もボケ量の少ない画像ではない。このため、領域５０６については、シャープネスＢ設定値が＋１の際には、アルゴリズム（１−２）に基づいてテーブル値が設定される。領域５０６において、画像５００ａの次にボケ量が多いのは、画像５００ｂである。このため、シャープネスＢ設定値が＋１の際には、画像データ識別情報は画像５００ｂとされ、高域強調係数は０とされる。領域５０６においては、図１０（ａ）から分かるように、画像５００ｂは、最もボケ量の少ない画像ではない。このため、シャープネスＢ設定値が＋２の際にも、アルゴリズム（１−２）に基づいてテーブル値が設定される。領域５０６において、画像５００ｂの次にボケ量が多いのは、画像５００ｃである。このため、シャープネスＢ設定値が＋２の際には、画像データ識別情報は画像５００ｃとされ、高域強調係数は０とされる。領域５０６については、シャープネスＢ設定値が＋２の際、最もボケ量の少ない画像に達する。このため、領域５０６については、シャープネスＢ設定値が＋３，＋４の際には、アルゴリズム（１−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋３，＋４のいずれの場合においても、画像データ識別情報は画像５００ｃを示すものとされる。また、シャープネスＢ設定値が＋３，＋４の際、高域強調係数はそれぞれ１，２とされる。
【００４７】
ステップＳ２０５において、制御部２００は、ステップＳ１０６において設定されたシャープネスＢ設定値に対応する画像データ識別情報と高域強調係数とを、図１１（ｂ）に示すようなテーブルから取得する。制御部２００は、処理対象となる画像の一部のデータを、テーブルから取得した画像データ識別情報によって識別される画像の対応部分のデータによって適宜置き換え、置き換え処理が行われた画像（画像データ）を画像処理部２０３に送信する。なお、置き換え処理を要しない場合には、制御部２００は、置き換え処理が行われていない画像を画像処理部２０３に送信する。また、制御部２００は、テーブルから取得した高域強調係数を画像処理部２０３に送信する。そして、制御部２００は、当該高域強調係数に応じたシャープネス処理を当該画像に対して行うように、画像処理部２０３に対して指示を行う。
【００４８】
例えば、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図５（ａ）は、シャープネスＢ設定値が０の際の画像５００ａを示しており、図５（ｅ）は、シャープネスＢ設定値が＋１の際の画像５００ｅを示している。なお、シャープネスＢ設定値が０の際には画像５００ａが表示され、シャープネスＢ設定値を変更すると、画像５００ａと同じ画像データに対して画像処理が行われ、画像処理済みの画像データが新たに表示に用いられる。
【００４９】
領域５０４については、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｂ）から分かるように、シャープネスＢ設定値が＋１の際の画像データ識別情報は画像５００ａであり、シャープネスＢ設定値が０の際の画像データ識別情報と同じである。このため、領域５０４については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えは行われない。高域強調係数は１であるため、高域強調係数１に対応するシャープネス処理が領域５０４に対して行われる。図５（ａ）と図５（ｅ）とを比較して分かるように、領域５０４においては、画像の置き換えは行われておらず、被写体５０１ｅの高域成分が強調されている。
【００５０】
領域５０５においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｂ）から分かるように、シャープネスＢ設定値が＋１の際の画像データ識別情報は画像５００ｂであり、シャープネスＢ設定値が０の際の画像データ識別情報と異なる。このため、領域５０５については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域５０５内の各画素の画素値が、画像５００ｂのうちの領域５０５内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、領域５０５に対してのシャープネス処理は行われない。図５（ａ）と図５（ｅ）とを比較して分かるように、領域５０５においては、図５（ｅ）に示す被写体５０２ｅのボケが、図５（ａ）に示す被写体５０２ａのボケに対して十分に小さくなっている。
【００５１】
領域５０６においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｂ）から分かるように、シャープネスＢ設定値が＋１の際の画像データ識別情報は画像５００ｂであり、シャープネスＢ設定値が０の際の画像データ識別情報と異なる。このため、領域５０６については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域５０６内の各画素の画素値が、画像５００ｂのうちの領域５０６内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、領域５０６に対してのシャープネス処理は行われない。図５（ａ）と図５（ｅ）とを比較して分かるように、領域５０６においては、図５（ｅ）に示す被写体５０３ｅのボケが、図５（ａ）に示す被写体５０３ａのボケに対して小さくなっている。
【００５２】
シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図５（ｆ）は、シャープネスＢ設定値が＋２の際の画像５００ｆを示している。
【００５３】
領域５０４においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｂ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は画像５００ａであり、シャープネスＢ設定値が＋１の際の画像データ識別情報と同じである。このため、領域５０４においては、シャープネスＢ設定値が＋１から＋２に変更された際に、画像の置き換えは行われない。高域強調係数は２であるため、高域強調係数２に対応するシャープネス処理が領域５０４に対して行われる。図５（ｅ）と図５（ｆ）とを比較して分かるように、領域５０４においては、画像の置き換えは行われていない。また、図５（ｅ）と図５（ｆ）とを比較して分かるように、領域５０４においては、図５（ｆ）に示す被写体５０１ｆの輪郭が、図５（ｅ）に示す被写体５０１ｅの輪郭よりも強調されている。
【００５４】
領域５０５においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｂ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は画像５００ｂであり、シャープネスＢ設定値が＋１の際の画像データ識別情報と同じである。このため、領域５０５については、画像の更なる置き換えは行われない。高域強調係数は１であるため、高域強調係数１に対応するシャープネス処理が領域５０５に対して行われる。図５（ｅ）と図５（ｆ）とを比較して分かるように、領域５０５においては、図５（ｆ）に示す被写体５０２ｆの輪郭が、図５（ｅ）に示す被写体５０２ｅの輪郭よりも強調されている。
【００５５】
領域５０６においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｂ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は画像５００ｃであり、シャープネスＢ設定値が＋１の際の画像データ識別情報と異なる。このため、領域５０６については、シャープネスＢ設定値が＋１から＋２に変更された際に、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域５０６内の各画素の画素値が、画像５００ｃのうちの領域５０６内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、領域５０６に対してのシャープネス処理は行われない。図５（ｅ）と図５（ｆ）とを比較して分かるように、領域５０６においては、図５（ｆ）に示す被写体５０３ｆのボケが、図５（ｅ）に示す被写体５０３ｅのボケに対して小さくなっている。
【００５６】
ステップＳ２０４とステップＳ２０５とを含むループ処理が、処理対象となる画像に含まれる全ての画素に対して実行された後には、図３（ｂ）に示す処理が終了し、図３（ａ）に示すステップＳ１０２に戻る。
【００５７】
このように、シャープネスＢによって画質の調整を行った場合には、図５（ａ）に示すような画像５００ａが、シャープネスＢ設定値に応じて、図５（ｅ）に示すような画像５００ｅや、図５（ｆ）に示すような画像５００ｆに変化する。一方、シャープネスＡによって画質の調整を行った場合には、図５（ａ）に示すような画像が、図５（ｄ）に示すような画像５００ｄに変化する。図５（ｄ）の領域５０５と図５（ｅ）の領域５０５とを比較して分かるように、図５（ｄ）においては、被写体５０２ｄのボケ形状の輪郭が強調されてしまっているが、図５（ｅ）においては、被写体５０２ｅが精細になっている。また、図５（ｄ）の領域５０５と図５（ｆ）の領域５０５とを比較して分かるように、図５（ｆ）においては、ボケ形状の輪郭の不自然な強調を招くことなく、被写体５０２ｆが良好にシャープネス調整されている。
【００５８】
なお、上記では、被写体５０１ａ、５０２ｂ、５０３ｃにそれぞれ合焦した画像５００ａ、５００ｂ、５００ｃが画像ファイルに含まれている場合を例に説明したが、これに限定されるものではない。例えば、以下に示すように、被写体に十分に合焦していない画像を用いてもよい。
【００５９】
図６（ａ）〜図６（ｃ）は、画像ファイルに格納されている画像６００ａ、６００ｂ、６００ｃを示す図である。画像を構成する全ての画素についての説明は困難であるため、ここでは３つの領域、即ち、領域６０４，６０５，６０６を例として説明する。領域６０４は、四角形の被写体６０１ａ〜６０１ｃの左上部に位置する。領域６０５は、円形の被写体６０２ａ〜６０２ｃの左上部に位置する。領域６０６は、三角形の被写体６０３ａ〜６０３ｃの上部に位置する。画像６００ａ、画像６００ｂ、及び、画像６００ｃは、互いに異なる合焦距離で撮像された画像データである。このため、画像６００ａ〜６００ｃに含まれる各々の被写体６０１ａ〜６０１ｃ、６０２ａ〜６０２ｃ、６０３ａ〜６０３ｃには、互いに異なるボケが生じている。図１０（ｂ）は、画像６００ａ、６００ｂ、６００ｃの各々の領域６０４、６０５、６０６に生じたボケを示す図である。図１０（ｂ）に示す数値が小さければ小さいほどボケ量が少ない。合焦している場合の数値は０であるが、図１０（ｂ）から分かるように、領域６０４，６０５，６０６のいずれも数値が０になっていない。即ち、領域６０４，６０５，６０６のいずれにおいても、被写体６０１、６０２、６０３は合焦していない。
【００６０】
図１１（ｃ）は、これらの画像データと上記のようなアルゴリズム（１−１）〜（１−３）とに基づいて生成されるテーブルの例を示す図である。図１１（ｃ）に示すように、シャープネスＢ設定値が初期値、即ち、０の際には、アルゴリズム（１−１）に基づいてテーブル値が設定される。従って、領域６０４，６０５，６０６のいずれについても、シャープネスＢ設定値が０の際には、画像データ識別情報は表示中の画像６００ａとされ、高域強調係数は０とされる。
【００６１】
領域６０４においては、図１０（ｂ）から分かるように、表示中の画像６００ａが、最もボケ量の少ない画像である。即ち、領域６０４については、シャープネスＢ設定値が０の段階で、最もボケ量の少ない画像に達している。このため、領域６０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、アルゴリズム（１−３）に基づいてテーブル値が設定される。従って、領域６０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４のいずれの場合においても、画像データ識別情報は画像６００ａを示すものとされる。また、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、高域強調係数はそれぞれ１，２，３，４とされる。
【００６２】
領域６０５においては、図１０（ｂ）から分かるように、表示中の画像６００ａは、最もボケ量の少ない画像ではない。このため、領域６０５については、シャープネスＢ設定値が＋１の際には、アルゴリズム（１−２）に基づいてテーブル値が設定される。領域６０５において、画像６００ａのボケ量と画像６００ｃのボケ量とは同等であるため、画像６００ａの次にボケ量が多いのは、画像６００ｂである。このため、シャープネスＢ設定値が＋１の際、画像データ識別情報は画像６００ｂとされ、高域強調係数は０とされる。図１０（ｂ）から分かるように、領域６０５については、画像６００ｂが、最もボケ量の少ない画像である。即ち、領域６０５については、シャープネスＢ設定値が＋１の際、最もボケ量の少ない画像に達する。このため、領域６０５については、シャープネスＢ設定値が＋２，＋３，＋４の際には、アルゴリズム（１−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋２，＋３，＋４のいずれの場合においても、画像データ識別情報は画像６００ｂを示すものとされる。また、シャープネスＢ設定値が＋２，＋３，＋４の際、高域強調係数はそれぞれ１，２，３とされる。
【００６３】
領域６０６においては、図１０（ｂ）から分かるように、表示中の画像６００ａは、最もボケ量の少ない画像ではない。このため、領域６０６については、シャープネスＢ設定値が＋１の際には、アルゴリズム（１−２）に基づいてテーブル値が設定される。領域６０６において、画像６００ａの次にボケ量が多いのは、画像６００ｂである。このため、シャープネスＢ設定値が＋１の際には、画像データ識別情報は画像６００ｂとされ、高域強調係数は０とされる。領域６０６においては、図１０（ｂ）から分かるように、画像６００ｂは、最もボケ量の少ない画像ではない。このため、シャープネスＢ設定値が＋２の際にも、アルゴリズム（１−２）に基づいてテーブル値が設定される。領域６０６において、画像６００ｂの次にボケ量が多いのは、画像６００ｃである。このため、シャープネスＢ設定値が＋２の際には、画像データ識別情報は画像６００ｃとされ、高域強調係数は０とされる。領域６０６については、シャープネスＢ設定値が＋２の際、最もボケ量の少ない画像に達する。このため、領域６０６については、シャープネスＢ設定値が＋３，＋４の際には、アルゴリズム（１−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋３，＋４のいずれの場合においても、画像データ識別情報は画像６００ｃを示すものとされる。また、シャープネスＢ設定値が＋３，＋４の際、高域強調係数はそれぞれ１，２とされる。
【００６４】
図１１（ｃ）に示すようなテーブルに基づいて、シャープネスＢによって画質の調整が行われた場合には、以下のようになる。即ち、図６（ａ）に示すような画像６００ａが、シャープネスＢの度合いに応じて、図６（ｅ）に示すような画像６００ｅや、図６（ｆ）に示すような画像６００ｆに変化する。図６（ａ）は、シャープネスＢ設定値が０の際の画像６００ａを示しており、図６（ｅ）は、シャープネスＢ設定値が＋１の際の画像６００ｅを示しており、図６（ｆ）は、シャープネスＢ設定値が＋２の際の画像６００ｆを示している。シャープネスＡによって画質の調整を行った場合には、図６（ａ）に示すような画像が、図６（ｄ）に示すような画像６００ｄに変化する。図６（ｄ）の領域６０５と図６（ｅ）の領域６０５とを比較して分かるように、図６（ｄ）においては、被写体６０２ｄのボケ形状の輪郭が不自然に強調されてしまっているが、図６（ｅ）においては、ボケ量の少ない被写体６０２ｅの像が得られている。また、図６（ｄ）の領域６０５と図６（ｆ）の領域６０５とを比較して分かるように、図６（ｆ）においては、ボケ量の少ない被写体６０２ｆの像に対してシャープネス調整が為されている。
【００６５】
このように、本実施形態によれば、処理対象となる一の画像の各箇所が、当該一の画像よりもボケ量の小さい他の画像によって適宜置き換えられる。そして、ボケ量が複数の画像のうちで最小となった箇所に対し、シャープネス設定値に応じたシャープネス処理が行われる。このため、本実施形態によれば、ボケ形状の輪郭が強調されてしまうのを防止することができる。即ち、本実施形態によれば、不自然なシャープネスを防止し得る画像処理装置及び画像処理方法を提供することができる。
【００６６】
［第２実施形態］
第２実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。図１（ｂ）は、本実施形態によるシステム構成の例を示す概略図である。ここでは、本実施形態による画像処理装置１０ａがパーソナルコンピュータ１０５である場合を例に説明するが、これに限定されるものではない。
【００６７】
本実施形態では、画像処理装置１０ａであるパーソナルコンピュータ１０５からローカルエリアネットワーク１０４等を介してプロジェクタ１００に供給される画像が、プロジェクタ１００によってスクリーン１０１に投影されるようになっている。パーソナルコンピュータ１０５には、例えば複数の画像ファイル８００（図８参照）が格納されている。パーソナルコンピュータ１０５は、ネットワークケーブル１０６を介してローカルエリアネットワーク１０４に接続されている。パーソナルコンピュータ１０５とプロジェクタ１００とは、ローカルエリアネットワーク１０４を介して相互に通信が可能である。パーソナルコンピュータ１０５は、プロジェクタ１００からの画像ファイルの取得要求に基づいて、画像処理装置１０に格納されている画像ファイル８００をプロジェクタ１００に送信する。また、パーソナルコンピュータ１０５は、プロジェクタ１００からの画像処理の実施要求に基づいて、画像ファイル８００に対して画像処理を行い、画像処理後の画像ファイル８００をプロジェクタ１００に送信する。プロジェクタ１００は、パーソナルコンピュータ１０５から供給される画像をスクリーン１０１に投影する。
【００６８】
図１２は、パーソナルコンピュータ１０５を示すブロック図である。パーソナルコンピュータ１０５は、ビデオコントローラ１２００と、ネットワークコントローラ１２０１と、制御部１２０２と、ＲＡＭ１２０３と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１２０４とを備えている。また、パーソナルコンピュータ１０５は、ＵＳＢコントローラ１２０５と、画像処理部１２０６と、バス１２０７とを備えている。
【００６９】
制御部１２０２は、例えばＣＰＵによって構成されており、パーソナルコンピュータ１０５の全体の制御を司る。制御部１２０２は、バス１２０７を介してパーソナルコンピュータ１０５内の各部と通信可能である。なお、制御部１２０２の動作については、後述することとする。
【００７０】
ＲＡＭ１２０３は、揮発性のメモリであり、制御部１２０２が動作する際のワークメモリとして用いられる。ＨＤＤ（記憶部）１２０４には、例えば、制御部１２０２を動作させるためのＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、アプリケーションプログラム等のプログラムコード、これらを実行する際に用いられるデータ、マルチメディアコンテンツ等が格納される。また、ＨＤＤ１２０４には、複数の画像ファイルが格納される。
【００７１】
ＵＳＢコントローラ１２０５は、様々な周辺機器をパーソナルコンピュータ１０５に接続するために用いられる。かかる周辺機器としては、例えば、不図示のマウスや不図示のキーボード等が挙げられる。かかる周辺機器は、不図示のＵＳＢポートを介してＵＳＢコントローラ１２０５に接続される。かかる周辺機器は、例えば、ユーザがパーソナルコンピュータ１０５を操作する際に用いられる。ビデオコントローラ（表示制御部）１２００は、不図示の表示装置（モニタ）に映像信号を出力する。ユーザは、表示装置の画面を確認しながら、パーソナルコンピュータ１０５を操作することができる。制御部１２０２は、ネットワークコントローラ１２０１、ネットワークケーブル１０６等を介して、プロジェクタ１００と相互に通信することができる。
【００７２】
画像処理部１２０６は、制御部１２０２から入力される画像データに対して、制御部１２０２からの指示に従って画像処理を行う。かかる画像処理としては、具体的には、明るさ調整、コントラスト調整、シャープネス調整等が挙げられる。シャープネス調整の手法としては、例えば、元画像にラプラシアンフィルタを適用することによって検出した輪郭画像を元画像に加算する方法が挙げられる。また、シャープネス調整の手法として、ガウシアンフィルタ等のボケ処理を行うフィルタを元画像に適用することによって得られた画像と元画像との差分を元画像に加算する方法であるアンシャープマスクも挙げられる。画像処理部１２０６は、制御部１２０２からの指示に従って、画像データの全体に対してシャープネス調整を行うこともできるし、画像データの一部に対して、例えば画素毎に、シャープネス調整を行うこともできる。また、画像処理部１２０６は、制御部１２０２から供給される高域強調係数を用いて、シャープネス強調の度合いを変更することができる。例えば、画像処理部２０３は、高域強調係数に応じて、元画像に加算される輪郭画像にゲインをかけることが可能である。画像処理部１２０６は、処理後の画像データを、制御部１２０２に送信する。
【００７３】
図３（ｃ）は、本実施形態におけるプロジェクタ１００の動作を示すフローチャートである。まず、ステップＳ３００では、図３（ａ）を用いて上述したステップＳ１００と同様に、制御部２００が、プロジェクタ１００の各部の起動処理を行う。
【００７４】
ステップＳ３０１では、制御部２００は、パーソナルコンピュータ１０５に格納されている複数の画像ファイル８００のリストを、通信部２１９を介して取得する。パーソナルコンピュータ１０５に格納される画像ファイル８００の構成は、例えば、外部メモリ１０２に格納される画像ファイル８００の構成と同様である。従って、ここでは、外部メモリ１０２に格納される画像ファイルを説明する際に用いられた符号と同じ符号である８００を、パーソナルコンピュータ１０５に格納される画像ファイルを説明する際にも用いることとする。画像ファイル８００のリストをパーソナルコンピュータ１０５から受信した制御部２００は、当該リストに基づいて、最初に表示する画像ファイル８００を選択する。例えば、ファイル名、タイムスタンプ、画像の特性、メタデータ等を用いて当該リストに対してソートを行い、ソート後のリストにおいて先頭に位置している画像ファイル８００を選択する。この後、制御部２００は、選択した画像ファイル８００の送信をパーソナルコンピュータ１０５に対して要求し、パーソナルコンピュータ１０５から送信される当該画像ファイル８００を受信する。この後、制御部２００は、当該画像ファイル８００に含まれる画像データ８０１を画像処理部２０３に送信し、当該画像データ８０１が表示されるように画像処理部２０３等に対して指示を行う。例えば、複数の画像データ８０１を含む画像ファイル８００Ａが選択された場合には、制御部２００は、当該画像ファイル８００Ａに含まれる複数の画像データ８０１Ａ１〜８０１Ａｎのうちのいずれかを選択する。そして、制御部２００は、選択した画像データ８０１を画像処理部２０３に送信する。複数の画像データ８０１Ａ１〜８０１Ａｎのうちのいずれかを選択する方法としては、例えば、合焦距離情報８０２Ａ１〜８０２Ａｎの平均値や中央値に最も近い合焦距離情報８０２に対応する画像データ８０１を選択する手法が挙げられる。一方、１つの画像データ８０１を含む画像ファイル８００Ｂが選択された場合には、制御部２００は、当該画像ファイル８００Ｂに含まれる１つの画像データ８０１Ｂを画像処理部２０３に送信する。
【００７５】
ステップＳ３０２，Ｓ３０３は、図３（ａ）を用いて第１実施形態において上述したステップＳ１０２，Ｓ１０３と同様であるため、説明を省略する。
【００７６】
ステップＳ３０４において、制御部２００は、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００とは別の他の画像ファイル８００を、ステップＳ３０１においてソート済みのリストのうちから選択する。そして、制御部２００は、選択した当該他の画像ファイル８００の送信をパーソナルコンピュータ１０５に対して要求し、当該他の画像ファイル８００をパーソナルコンピュータ１０５から受信する。そして、当該他の画像ファイル８００に格納されている画像データ８０１を表示するように画像処理部２０３等を制御する。画像ファイル８００の選択方法としては、例えば以下のような方法が挙げられる。即ち、ステップＳ３０２において下ボタン２１５が押下された場合には、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００の次に位置する画像ファイル８００を、ステップＳ３０１においてソート済のリストのうちから選択する。一方、ステップＳ３０２において上ボタン２１４が押下された場合には、現在表示中の画像に対応する画像データ８０１が格納されている画像ファイル８００の前に位置する画像ファイル８００を、ステップＳ６０１においてソート済のリストのうちから選択する。この後、ステップＳ３０２に戻る。
ステップＳ３０５〜Ｓ３０７は、図３（ａ）を用いて第１実施形態において上述したステップＳ１０５〜Ｓ１０７と同様であるため、説明を省略する。
ステップＳ３０８では、図３（ｄ）に示すような処理が行われ、ステップＳ３０８が完了すると、ステップＳ３０２に戻る。
【００７７】
ステップＳ４００では、制御部２００は、以下のような情報をパーソナルコンピュータ１０５に送信する。即ち、制御部２００は、現在表示中の画像に対応する画像データ８０１を特定するための情報、及び、当該画像データが格納されている画像ファイルを特定するための情報を、パーソナルコンピュータ１０５に送信する。また、制御部２００は、ステップＳ３０６又はステップＳ３０７においてユーザによって指示された画質調整の指示の内容を示す情報をパーソナルコンピュータ１０５に送信する。このような情報を受け取ったパーソナルコンピュータ１０５は、後述するような画像処理を行うが、ここでは説明を省略することとする。
【００７８】
ステップＳ４０１では、制御部２００は、画質調整後の画像、即ち、画像データをパーソナルコンピュータ１０５から受信し、受信した当該画像の表示を画像処理部２０３に対して指示する。
【００７９】
図１３は、本実施形態による画像処理装置１０ａの動作を示すフローチャートである。不図示の電源ケーブルを介してパーソナルコンピュータ１０５にＡＣ電源が供給され、不図示の電源スイッチがオンにされると、パーソナルコンピュータ１０５の各部に電源が供給され、制御部１２０２が起動し、図１３に示すような動作が開始される。
【００８０】
ステップＳ５００では、制御部１２０２は、ＨＤＤ１２０４に格納されているプログラムコードに従って、ＯＳの起動、アプリケーションプログラムの起動等を行う。制御部１２０２は、プロジェクタ１００から要求に応じて画像ファイルを送信するプログラムを起動する。当該プログラムは、ステップＳ５０１〜Ｓ５０６のような動作を実行する。一方、パーソナルコンピュータ１０５の動作を終了させるためのプログラムを適宜起動する。当該プログラムはステップＳ５０７〜Ｓ５０８のような動作を実行する。
【００８１】
ステップＳ５０１では、制御部１２０２は、プロジェクタ１００からの指示を受信しているか否かをネットワークコントローラ１２０１に対して問い合わせる。制御部１２０２は、ネットワークコントローラ１２０１を介してプロジェクタ１００から画像処理の指示を受信した場合、ステップＳ５０２に移行する。制御部１２０２は、ネットワークコントローラ１２０１を介してプロジェクタ１００から画像ファイルの送信の指示を受信した場合、ステップＳ５０５に移行する。制御部１２０２は、ネットワークコントローラ１２０１を介してプロジェクタ１００から画像ファイルのリストの送信指示を受信した場合、ステップＳ５０６に移行する。
【００８２】
ステップＳ５０２では、制御部１２０２は、プロジェクタ１００から受信した情報に基づいて、ＨＤＤ１２０４から画像ファイル８００を読み出す。即ち、プロジェクタ１００において表示中の画像に対応する画像データを特定する情報、当該画像データが格納されている画像ファイルを特定する情報に基づいて、制御部１２０２は、ＨＤＤ１２０４から当該画像ファイルを読み出す。なお、画像ファイルを特定する情報は、特に限定されるものではなく、例えば、画像ファイル名、ハッシュ値、ＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）等が挙げられる。
【００８３】
ステップＳ５０３では、制御部１２０２は、プロジェクタ１００から要求された画像処理の実行を画像処理部１２０６に対して指示する。ステップＳ５０３においては、図１３（ｂ）に示すような処理が行われ、ステップＳ５０３において処理が完了すると、ステップＳ５０４に移行する。図１３（ｂ）は、ステップＳ５０３において行われる処理を示すフローチャートである。
【００８４】
ステップＳ６００では、制御部１２０２は、ステップＳ５０１においてプロジェクタ１００から指示された画質調整の内容を判定する。ステップＳ５０１においてプロジェクタ１００から指示された画像処理の指示が、明るさの調整、又は、コントラストの調整であった場合には、ステップＳ６０１に移行する。ステップＳ５０１においてプロジェクタ１００から指示された画像処理の指示が、シャープネスＡであった場合には、ステップＳ６０２に移行する。ステップＳ５０１においてプロジェクタ１００から指示された画像処理の指示が、シャープネスＢであった場合には、ステップＳ６０３に移行する。ステップＳ５０１において、画像処理の指示がユーザによって行われなかった場合には、図１３（ｂ）に示す処理が終了し、図１３（ａ）に示すステップＳ５０４に移行する。
【００８５】
ステップＳ６０１において、制御部１２０２は、ステップＳ５０１においてプロジェクタ１００から指示された明るさ調整値、又は、コントラスト調整値を、画像処理部１２０６に送信する。また、制御部１２０２は、プロジェクタ１００において表示中の画像に対応する画像データ８０１、即ち、画像処理の対象となる画像データを画像処理部１２０６に送信する。そして、制御部１２０２は、当該明るさ調整値又は当該コントラスト調整値に基づく明るさ又はコントラストの変更を画像データに対して行うように、画像処理部１２０６に対して指示する。この後、制御部１２０２は、画像処理済みの画像データを画像処理部１２０６から受信する。この後、図１３（ｂ）に示す処理が終了し、図１３（ａ）に示すステップＳ５０４に移行する。
【００８６】
ステップＳ６０２において、制御部１２０２は、ステップＳ５０１においてプロジェクタ１００から指示されたシャープネスＡの調整値に基づいて、高域強調係数を算出する。そして、制御部１２０２は、算出した高域強調係数を画像処理部１２０６に送信するとともに、画像処理の対象となる画像データ８０１を画像処理部１２０６に送信する。なお、かかる画像データ８０１は、ステップＳ５０１においてＨＤＤ１２０４から読み出された画像データである。そして、制御部１２０２は、当該高域強調係数に基づくシャープネス調整の調整を画像データに対して行うように、画像処理部１２０６に対して指示する。なお、第１実施形態において上述したように、高域強調係数の算出の際には、例えば、図１１（ａ）に示すようなテーブル値が用いられる。なお、ステップＳ６０２において行われるシャープネス処理は、図３（ｂ）を用いて第１実施形態において上述したステップＳ２０２におけるシャープネス処理と同様であるため、詳細な説明を省略する。制御部１２０２は、画像処理済みの画像データを画像処理部１２０６から受信する。この後、図１３（ｂ）に示す処理が終了し、図１３（ａ）に示すステップＳ５０４に移行する。
【００８７】
ステップＳ６０３において、制御部１２０２は、処理対象となる画像データ８０１が格納されている画像ファイル８００の種別を判定する。処理対象となる画像データ８０１が格納されている画像ファイル８００が、複数の画像データ８０１を含む画像ファイル８００Ａである場合には（ステップＳ６０３においてＹＥＳ）、ステップＳ６０４とステップＳ６０５とを含むループ処理に移行する。一方、処理対象となる画像データ８０１が格納されている画像ファイル８００が、１つの画像データ８０１のみを含む画像ファイル８００Ｂである場合には（ステップＳ６０３においてＮＯ）、図１３（ｂ）に示す処理が終了する。そして、図１３（ａ）に示すステップＳ５０４に移行する。
【００８８】
ステップＳ６０４とステップＳ６０５とを含むループ処理が、画像処理の対象となる画像データ８０１に対して行われる。かかるループ処理は、画像を構成する全ての画素に対して当該処理が完了するまで制御部１２０２によって行われる。
ステップＳ６０４において、制御部１２０２は、該当画素の位置において、画像処理の対象となる画像データ８０１Ａが格納されている画像ファイル８００Ａに含まれている複数の画像データ８０１Ａに対してボケ量の測定を行う。
ステップＳ６０５において、制御部１２０２は、画像処理の対象となる画像データ８０１Ａを画像処理部１２０６に送信する。そして、ステップＳ６０４において測定されたボケ量に基づいて、図３（ｂ）を用いて第１実施形態において上述したステップＳ２０５における処理と同様の処理が画像処理部１２０６によって行われる。制御部１２０２は、処理済みの画像データ８０１を画像処理部１２０６から受信する。
【００８９】
ステップＳ６０４とステップＳ６０５とを含むループ処理が、画像処理の対象となる画像に含まれている全ての画素に対して実行された後には、図１３（ｂ）に示す処理が終了し、ステップＳ５０４に移行する。
ステップＳ５０４において、制御部１２０２は、ステップＳ５０３の処理が完了した画像データをプロジェクタ１００に送信する。この後、ステップＳ５０１に移行する。
【００９０】
ステップＳ５０５において、制御部１２０２は、プロジェクタ１００から指示された画像ファイル８００をＨＤＤ１２０４から読み出す。そして、制御部１２０２は、当該画像ファイル８００を、ネットワークコントローラ１２０１を介してプロジェクタ１００に送信する。この際、画像ファイル８００に含まれる画像データ８０１を識別するための情報を、画像ファイル８００とともにプロジェクタ１００に送信するようにしてもよい。この後、ステップＳ５０１に移行する。
【００９１】
ステップＳ５０６において、制御部１２０２は、ＨＤＤ１２０４に格納されている画像ファイル８００のリストを作成する。そして、制御部１２０２は、作成した当該リストを、ネットワークコントローラ１２０１を介してプロジェクタ１００に送信する。この後、ステップＳ５０１に移行する。
【００９２】
ステップＳ５０７において、制御部１２０２は、パーソナルコンピュータ１０５の終了指示がユーザによって為されたか否かを判定する。かかる終了指示は、例えば、パーソナルコンピュータ１０５に接続された不図示のキーボードやマウス等を用いて行われる。パーソナルコンピュータ１０５の終了の指示がユーザによって為されていない場合には（ステップＳ５０７においてＮＯ）、ステップＳ５０７が繰り返される。パーソナルコンピュータ１０５の終了の指示がユーザによって為された場合には（ステップＳ５０７においてＹＥＳ）、ステップＳ５０８に移行する。
【００９３】
ステップＳ５０８において、制御部１２０２は、パーソナルコンピュータ１０５の各部の終了処理を行い、オペレーティングシステムを終了させる。こうして、本実施形態による画像処理が実行される。
【００９４】
このように、パーソナルコンピュータ１０５側において処理対象の画像データに対して画像処理を行い、当該画像処理が行われた画像データをプロジェクタ１００に提供するようにしてもよい。
【００９５】
［第３実施形態］
第３実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。第１又は第２実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置及び画像処理方法は、ボケ量のより少ない画像に置き換えた際に生ずるボケ量の変化が閾値以上である場合に、当該箇所にボケ処理を施すものである。
【００９６】
図３（ｂ）に示すステップＳ２０５において、制御部２００は、ステップＳ２０４において測定されたボケ量に基づき、後述するようなアルゴリズムに従ってテーブルを作成する。即ち、制御部２００は、まず、表示中の画像におけるボケ量と、他の画像におけるボケ量とを、対応する画素毎に比較する。図７（ａ）は、表示中の画像の例を示す図である。スクリーン１０１に投影された画像７００ａには、３つの被写体、即ち、四角形の被写体７０１ａと、円形の被写体７０２ａと、三角形の被写体７０３ａとが含まれている。なお、画像７００ａは、図５（ａ）を用いて上述した画像５００ａと同様に、図４に示すような撮像環境で取得された画像である。個々の画像における個々の被写体を説明する際には、符号７０１ａ〜７０１ｈ、７０２ａ〜７０２ｈ、７０３ａ〜７０３ｈを用いて説明し、被写体一般について説明する際には、符号７０１，７０２，７０３を用いて説明することとする。図７（ａ）に示す被写体７０１ａ、７０２ａ、７０３ａは、図４に示す被写体４０１、４０２、４０３にそれぞれ対応している。画像７００ａにおいては、四角形の被写体７０１ａは合焦しており、円形の被写体７０２ａは合焦しておらず、かなりボケており、三角形の被写体７０３ａは、合焦しておらず、大きくボケている。なお、被写体７０２ａに付されたクロスハッチング、及び、被写体７０３ａに付されたハッチングは、それぞれボケを示している。
【００９７】
図７（ａ）〜図７（ｃ）は、画像ファイルに格納されている画像データに対応する画像７００ａ、７００ｂ、７００ｃを示す図である。全ての画素についての説明は困難であるため、ここでは３つの領域、即ち、領域７０４，７０５，７０６を例として説明する。領域７０４は、四角形の被写体７０１ａ〜７０１ｃの左上部に位置する。領域７０５は、円形の被写体７０２ａ〜７０２ｃの左上部に位置する。領域７０６は、三角形の被写体７０３ａ〜７０３ｃの上部に位置する。画像７００ａ、画像７００ｂ、及び、画像７００ｃは、互いに異なる合焦距離で撮像された画像データである。このため、画像７００ａ〜７００ｃに含まれる各々の被写体７０１ａ〜７０１ｃ、７０２ａ〜７０２ｃ、７０３ａ〜７０３ｃには、互いに異なるボケが生じている。図１０（ｃ）は、画像７００ａ、７００ｂ、７００ｃの各々の領域７０４、７０５、７０６に生じたボケを示す図である。図１０（ｃ）に示す数値が小さければ小さいほどボケ量が少ない。
【００９８】
図１０（ｃ）から分かるように、領域７０４においては、ボケが最も少ないのは表示中の画像７００ａ、即ち、処理対象の画像である。また、図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃの方が画像７００ａよりもボケ量が少なく、画像７００ｂの方が画像７００ｃよりもボケ量が少ない。また、図１０（ｃ）から分かるように、領域７０６においては、画像７００ｂの方が画像７００ａよりもボケ量が少なく、画像７００ｃの方が画像７００ｂよりもボケ量が少ない。
【００９９】
制御部２００は、シャープネスＢ設定値と、画像データ識別情報と、高域強調係数との関係を示すテーブルを、例えば、以下のようなアルゴリズム（２−１）〜（２−４）に基づいて作成する。
【０１００】
（２−１）シャープネスＢ設定値が初期値、即ち、０である場合には、表示中の画像、即ち、処理対象の画像を示すように画像データ識別情報を設定し、且つ、高域強調係数を基準値、即ち、０とする。
【０１０１】
（２−２）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数が負の値でなく、更に、以下のような条件を満たす場合には、以下のようにテーブル値を設定する。即ち、更に、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものでない場合には、以下のようにテーブル値を設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像の次にボケ量の多い画像を示すように、当該シャープネスＢ設定値に対応する画像データ識別情報を設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像におけるボケ量を第１のボケ量とする。また、当該シャープネスＢ設定値に対応する画像におけるボケ量を第２のボケ量とする。そして、第１のボケ量と第２のボケ量との差の絶対値が、閾値（所定値）以上である場合には、当該シャープネスＢ設定値に対応する高域強調係数を負の値、例えば、−１とする。一方、第１のボケ量と第２のボケ量との差の絶対値が、閾値未満である場合には、当該シャープネスＢ設定値に対応する高域強調係数を基準値、即ち、０とする。
【０１０２】
（２−３）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数が負の値でなく、更に、以下のような条件を満たす場合には、以下のようにテーブル値を設定する。即ち、更に、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものである場合には、以下のようにテーブル値を設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。
【０１０３】
（２−４）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数が負の値である場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。また、また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。
【０１０４】
図１１（ｄ）は、上記のようなアルゴリズム（２−１）〜（２−４）に基づいて生成されるテーブルの例を示す図である。図１１（ｄ）に示すように、シャープネスＢ設定値が初期値、即ち、０である場合には、アルゴリズム（２−１）に基づいてテーブル値が設定される。従って、領域７０４，７０５，７０６のいずれについても、シャープネスＢ設定値が０である場合には、画像データ識別情報は表示中の画像７００ａとされ、高域強調係数は０とされる。
【０１０５】
領域７０４においては、図１０（ｃ）から分かるように、表示中の画像７００ａが、最もボケ量の少ない画像である。即ち、領域７０４については、シャープネスＢ設定値が０の段階で、最もボケ量の少ない画像に達している。このため、領域７０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、アルゴリズム（２−３）に基づいてテーブル値が設定される。従って、領域７０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４のいずれの場合においても、画像データ識別情報は画像７００ａを示すものとされる。また、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、高域強調係数はそれぞれ１，２，３，４とされる。
【０１０６】
領域７０５においては、図１０（ｃ）から分かるように、表示中の画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０５については、シャープネスＢ設定値が＋１の際には、アルゴリズム（２−２）に基づいてテーブル値が設定される。領域７０５において、画像７００ａの次にボケ量が多いのは、画像７００ｃである。このため、シャープネスＢ設定値が＋１の際、画像データ識別情報は画像７００ｃとされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ａにおけるボケ量は１０であり、画像７００ｃにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満であるため、高域強調係数は０とされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃは、最もボケ量の少ない画像ではない。このため、領域７０５については、シャープネスＢ設定値が＋２の際には、アルゴリズム（２−２）に基づいてテーブル値が設定される。領域７０５において、画像７００ｃの次にボケ量が多いのは、画像７００ｂである。このため、シャープネスＢ設定値が＋２の際、画像データ識別情報は画像７００ｂとされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃにおけるボケ量は５であり、画像７００ｂにおけるボケ量は０である。閾値が例えば８である場合、画像７００ｂにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満であるため、高域強調係数は０とされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｂが、最もボケ量の少ない画像である。即ち、領域７０５については、シャープネスＢ設定値が＋２に達した際に、最もボケ量の少ない画像に達する。このため、領域７０５については、シャープネスＢ設定値が＋３，＋４の際には、アルゴリズム（２−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋３，＋４のいずれの際においても、画像データ識別情報は画像７００ｂを示すものとされる。また、シャープネスＢ設定値が＋３，＋４の際、高域強調係数はそれぞれ１，２とされる。
【０１０７】
領域７０６においては、図１０（ｃ）から分かるように、表示中の画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋１の際には、アルゴリズム（２−２）に基づいてテーブル値が設定される。領域７０６において、画像７００ａの次にボケ量が多いのは、画像７００ｂである。このため、シャープネスＢ設定値が＋１の際、画像データ識別情報は画像７００ｂとされる。図１０（ｃ）から分かるように、領域７０６においては、画像７００ａにおけるボケ量は１５であり、画像７００ｂにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｂにおけるボケ量との差の絶対値は閾値以上であるため、高域強調係数は負の値、例えば−１とされる。シャープネスＢ設定値が＋１の際に、高域強調係数が負の値とされるため、シャープネスＢ設定値が＋２の際には、アルゴリズム（２−４）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋２の際には、画像データ識別情報は画像７００ｂとされ、高域強調係数は０とされる。領域７０６においては、図１０（ｃ）から分かるように、画像７００ｂは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋３の際には、アルゴリズム（２−２）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋３の際には、画像データ識別情報は画像７００ｃとされる。図１０（ｃ）から分かるように、領域７０６においては、画像７００ｂにおけるボケ量は５であり、画像７００ｃにおけるボケ量は０である。閾値が例えば８である場合、画像７００ｂにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満であるため、高域強調係数は０とされる。図１０（ｃ）から分かるように、領域７０６においては、画像７００ｃが、最もボケ量の少ない画像である。即ち、領域７０６については、シャープネスＢ設定値が＋３に達した際に、最もボケ量の少ない画像に達する。このため、領域７０６については、シャープネスＢ設定値が＋４の際、アルゴリズム（２−３）に基づいてテーブル値が設定される。即ち、シャープネスＢ設定値が＋４の際には、画像データ識別情報は画像７００ｃとされ、高域強調係数は１とされる。
【０１０８】
ステップＳ２０５において、制御部２００は、ステップＳ１０６において設定されたシャープネスＢ設定値に対応する画像データ識別情報と高域強調係数とを、図１１（ｄ）に示すようなテーブルから取得する。制御部２００は、処理対象となる画像の一部のデータを、テーブルから取得した画像データ識別情報によって識別される画像の対応部分のデータによって適宜置き換え、置き換え処理が行われた画像（画像データ）を画像処理部２０３に送信する。なお、置き換え処理を要しない場合には、制御部２００は、置き換え処理が行われていない画像を画像処理部２０３に送信する。また、制御部２００は、テーブルから取得した高域強調係数を画像処理部２０３に送信する。そして、制御部２００は、当該高域強調係数に応じたシャープネス処理を当該画像に対して行うように、画像処理部２０３に対して指示を行う。
【０１０９】
例えば、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図７（ａ）は、シャープネスＢ設定値が０の際の画像７００ａを示しており、図７（ｄ）は、シャープネスＢ設定値が＋１の際の画像７００ｄを示している。なお、シャープネスＢ設定値が０の際には画像７００ａが表示され、シャープネスＢ設定値を変更すると、画像７００ａと同じ画像データに対して画像処理が行われ、画像処理済みの画像データが新たに表示に用いられる。
【０１１０】
領域７０４においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋１の場合における画像データ識別情報は、画像７００ａであり、シャープネスＢ設定値が０の場合と同じである。このため、領域７０４については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えは行われない。高域強調係数は１であり、高域強調係数１に対応するシャープネス処理が領域７０４に対して行われる。図７（ｄ）から分かるように、領域７０４においては、画像の置き換えは行われておらず、被写体７０１ｄの高域成分が強調されている。
【０１１１】
領域７０５においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋１の場合における画像データ識別情報は、画像７００ｃであり、シャープネスＢ設定値が０の場合と異なる。このため、領域７０５については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域７０５内の各画素の画素値が、画像７００ｃのうちの領域７０５内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、領域７０５に対してのシャープネス処理は行われない。図７（ａ）と図７（ｄ）とを比較して分かるように、領域７０５においては、図７（ｄ）に示す被写体７０２ｄのボケが、図７（ａ）に示す被写体７０２ａのボケに対して小さくなっている。
【０１１２】
領域７０６においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋１の場合における画像データ識別情報は、画像７００ｂであり、シャープネスＢ設定値が０の場合と異なる。このため、領域７０６については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域７０６内の各画素の画素値が、画像７００ｂのうちの領域７０６内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は−１であるため、高域強調係数−１に対応するボケ処理が領域７０６に対して行われる。図７（ａ）と図７（ｂ）と図７（ｄ）とを比較して分かるように、領域７０６においては、図７（ｄ）に示す被写体７０３ｄのボケは、図７（ａ）に示す被写体７０３ａのボケよりは小さく、図７（ｂ）に示す被写体７０３ｂのボケよりは大きくなっている。
【０１１３】
シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図７（ｇ）は、シャープネスＢ設定値が＋２の際の画像７００ｇを示している。
【０１１４】
領域７０４においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は、画像７００ａであり、シャープネスＢ設定値が＋１の場合と同じである。このため、領域７０４については、シャープネスＢ設定値が＋１から＋２に変更された際に、画像の置き換えは行われない。高域強調係数は２であるため、高域強調係数２に対応するシャープネス処理が領域７０４に対して行われる。図７（ｇ）から分かるように、領域７０４においては、画像の置き換えは行われておらず、被写体７０１ｇの高域成分が強調されている。図７（ｄ）と図７（ｇ）とを比較して分かるように、領域７０４においては、図７（ｇ）に示す被写体７０１ｇの輪郭が、図７（ｄ）に示す被写体７０１ｄの輪郭よりも強調されている。
【０１１５】
領域７０５においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は、画像７００ｂであり、シャープネスＢ設定値が＋１の場合と異なる。このため、領域７０５については、シャープネスＢ設定値が＋１から＋２に変更された際に画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域７０５内の各画素の画素値が、画像７００ｂのうちの領域７０５内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、シャープネス処理は領域７０５に対して行われない。領域７０５においては、図７（ｄ）と図７（ｇ）とを比較して分かるように、図７（ｇ）に示す被写体７０２ｇのボケが、図７（ｄ）に示す被写体７０２ｄのボケに対して小さくなっている。
【０１１６】
領域７０６においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は、画像７００ｂであり、シャープネスＢ設定値が＋１の場合と同じである。このため、領域７０６については、シャープネスＢ設定値が＋１から＋２に変更された際に、画像の置き換えは行われない。高域強調係数０であるため、領域７０６に対してのシャープネス処理は行われない。即ち、シャープネスＢ設定値が＋１から＋２に変更された際に、領域７０６に対してのボケ処理が中止される。図７（ｄ）と図７（ｇ）とを比較して分かるように、領域７０６においては、図７（ｇ）に示す被写体７０３ｇのボケが、図７（ｄ）に示す被写体７０３ｄのボケに対して小さくなっている。
【０１１７】
シャープネスＢ設定値が＋２から＋３に変更された場合には、以下のようになる。図７（ｈ）は、シャープネスＢ設定値が＋３の際の画像７００ｈを示している。
【０１１８】
領域７０４においては、シャープネスＢ設定値が＋２から＋３に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋３の際における画像データ識別情報は、画像７００ａであり、シャープネスＢ設定値が＋２の場合と同じである。このため、領域７０４については、画像の置き換えは行われない。高域強調係数は３であるため、高域強調係数３に対応するシャープネス処理が領域７０４に対して行われる。図７（ｇ）と図７（ｈ）とを比較して分かるように、領域７０４においては、画像の置き換えは行われておらず、被写体７０１ｈの高域成分が強調されている。図７（ｇ）と図７（ｈ）とを比較して分かるように、領域７０４においては、図７（ｈ）に示す被写体７０１ｈの輪郭が、図７（ｇ）に示す被写体７０１ｇの輪郭よりも強調されている。
【０１１９】
領域７０５においては、シャープネスＢ設定値が＋２から＋３に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋３の際における画像データ識別情報は、画像７００ｂであり、シャープネスＢ設定値が＋２の場合と同じである。このため、領域７０５については、シャープネスＢ設定値が＋２から＋３に変更された際に、画像の置き換えが行われない。高域強調係数は１であるため、高域強調係数１に対応するシャープネス処理が領域７０５に対して行われる。領域７０５においては、図７（ｇ）と図７（ｈ）とを比較して分かるように、図７（ｈ）に示す被写体７０２ｈの輪郭が、図７（ｇ）に示す被写体７０２ｇの輪郭よりも強調されている。
【０１２０】
領域７０６においては、シャープネスＢ設定値が＋２から＋３に変更された場合には、以下のようになる。図１１（ｄ）から分かるように、シャープネスＢ設定値が＋３の際における画像データ識別情報は、画像７００ｃであり、シャープネスＢ設定値が＋２の場合と異なる。このため、領域７０６については、シャープネスＢ設定値が＋２から＋３に変更された際に、画像の置き換えが行われる。高域強調係数０であるため、領域７０６に対してのシャープネス処理は行われない。図７（ｇ）と図７（ｈ）とを比較して分かるように、領域７０６においては、図７（ｈ）に示す被写体７０３ｈのボケが、図７（ｇ）に示す被写体７０３ｇのボケに対して小さくなっている。
【０１２１】
ステップＳ２０４とステップＳ２０５とを含むループ処理が、処理対象となる画像データに含まれる全ての画素に対して実行された後には、図３（ｂ）に示す処理が終了し、ステップＳ１０２に戻る。
【０１２２】
このように、本実施形態によれば、ボケ量のより少ない画像に置き換えた際に生ずるボケ量の変化が閾値以上である場合には、当該箇所にボケ処理を施すようにする。このため、本実施形態によれば、シャープネス設定値を変化させた際に著しく画質が変化するのを防止することができる。
【０１２３】
［第４実施形態］
第４実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。第１乃至第３実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置及び画像処理方法は、ボケ量のより少ない画像に置き換えた際に生ずるボケ量の変化が閾値以上である場合に、当該箇所を合成画像によって置き換えるものである。
【０１２４】
本実施形態では、制御部２００は、ステップＳ２０５において、シャープネスＢ設定値と、画像データ識別情報と、高域強調係数との関係を示すテーブルを、例えば、以下のようなアルゴリズム（３−１）〜（３−４）に基づいて作成する。
【０１２５】
（３−１）シャープネスＢ設定値が初期値、即ち、０である場合には、表示中の画像、即ち、処理対象の画像を示すように画像データ識別情報を設定し、且つ、高域強調係数を基準値、即ち、０とする。
【０１２６】
（３−２）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものでない場合には、以下のようにテーブル値を設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像を第１の画像とし、当該第１の画像におけるボケ量を、第１のボケ量とする。また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像の次にボケ量の多い画像を第２の画像とし、当該第２の画像におけるボケ量を第２のボケ量とする。そして、第１のボケ量と第２のボケ量との差の絶対値が、閾値（所定値）以上である場合には、当該シャープネスＢ設定値に対応する画像データ識別情報を、第１の画像と第２の画像の両方を示すものとする。第１のボケ量と第２のボケ量との差の絶対値が、閾値未満である場合には、当該シャープネスＢ設定値に対応する画像データ識別情報を、第２の画像を示すものとする。当該シャープネスＢ設定値に対応する高域強調係数は、基準値、即ち、０とする。
【０１２７】
（３−３）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものである場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。
【０１２８】
（３−４）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数が、第１の画像と、当該第１の画像の次にボケ量の多い画像である第２の画像の両方を示すものである場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値に対応する画像データ識別情報を、第２の画像を示すものとする。また、当該シャープネスＢ設定値に対応する高域強調係数は、基準値、即ち、０とする。
【０１２９】
図１１（ｅ）は、上記のようなアルゴリズム（３−１）〜（３−４）に基づいて生成されたテーブルの例を示す図である。図１１（ｅ）に示すように、シャープネスＢ設定値が初期値、即ち、０である場合には、アルゴリズム（３−１）に基づいてテーブル値が設定される。従って、領域７０４，７０５，７０６のいずれについても、シャープネスＢ設定値が０である場合には、画像データ識別情報は表示中の画像７００ａとされ、高域強調係数は０とされる。
【０１３０】
領域７０４においては、図１０（ｃ）から分かるように、表示中の画像７００ａが、最もボケ量の少ない画像である。即ち、領域７０４については、シャープネスＢ設定値が０の段階で、最もボケ量の少ない画像に達している。このため、領域７０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、アルゴリズム（３−３）に基づいてテーブル値が設定される。従って、領域７０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際に、テーブル値が以下のように設定される。即ち、画像データ識別情報を画像７００ａのまま変化させることなく、シャープネスＢ設定値の増加に伴って高域強調係数が増加するように、テーブル値が設定される。
【０１３１】
領域７０５においては、図１０（ｃ）から分かるように、表示中の画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０５については、シャープネスＢ設定値が＋１の際には、アルゴリズム（３−２）に基づいてテーブル値が設定される。領域７０５において、画像７００ａの次にボケ量が多いのは、画像７００ｃである。図１０（ｃ）から分かるように、領域７０５においては、画像７００ａにおけるボケ量は１０であり、画像７００ｃにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満である。このため、画像データ識別情報は、画像７００ｃを示すものとされる。高域強調係数は、０とされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃは、最もボケ量が少ない画像ではない。このため、領域７０５については、シャープネスＢ設定値が＋１から＋２に増加する際にも、アルゴリズム（３−２）に基づいてテーブル値が設定される。領域７０５において、画像７００ｃの次にボケ量が多いのは、画像７００ｂである。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃにおけるボケ量は５であり、画像７００ｂにおけるボケ量は０である。閾値が例えば８である場合、画像７００ｃにおけるボケ量と画像７００ｂにおけるボケ量との差の絶対値は閾値未満である。このため、画像データ識別情報は、画像７００ｂを示すものとされる。高域強調係数は、０とされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｂが、最もボケ量の少ない画像である。即ち、領域７０５については、シャープネスＢ設定値が＋２に達した際に、最もボケ量の少ない画像に達する。このため、領域７０５については、シャープネスＢ設定値が＋３，＋４の際、アルゴリズム（３−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋３，＋４のいずれの際においても、画像データ識別情報は画像７００ｂを示すものとされる。また、シャープネスＢ設定値が＋３，＋４の際、高域強調係数はそれぞれ１，２とされる。
【０１３２】
領域７０６においては、図１０（ｃ）から分かるように、表示中の画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋１の際には、アルゴリズム（３−２）に基づいてテーブル値が設定される。領域７０６において、画像７００ａの次にボケ量が多いのは、画像７００ｂである。図１０（ｃ）から分かるように、画像７００ａにおけるボケ量は１５であり、画像７００ｂにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｂにおけるボケ量との差の絶対値は閾値以上である。このため、画像データ識別情報は、画像７００ａと画像７００ｂの両方を示すものとされる。高域強調係数は、０とされる。シャープネスＢ設定値が＋１の際に、画像データ識別情報が、画像７００ａと画像７００ｂの両方を示すものとされるため、シャープネスＢ設定値が＋２の際には、アルゴリズム（３−４）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋２の際には、画像データ識別情報は画像７００ｂとされ、高域強調係数は０とされる。図１０（ｃ）から分かるように、領域７０６においては、画像７００ｂは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋３の際には、アルゴリズム（３−２）に基づいてテーブル値が設定される。領域７０６において、画像７００ｂの次にボケ量が多いのは、画像７００ｃである。図１０（ｃ）から分かるように、領域７０６においては、画像７００ｂにおけるボケ量は５であり、画像７００ｃにおけるボケ量は０である。閾値が例えば８である場合、画像７００ｂにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満である。このため、画像データ識別情報は、画像７００ｃを示すものとされる。高域強調係数は、０とされる。図１０（ｃ）から分かるように、領域７０６においては、画像７００ｃが、最もボケ量の少ない画像である。即ち、領域７０６については、シャープネスＢ設定値が＋３に達した際に、最もボケ量の少ない画像に達する。このため、領域７０６については、シャープネスＢ設定値が＋４の際、アルゴリズム（３−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋４の際には、画像データ識別情報は画像７００ｃを示すものとされ、高域強調係数は１とされる。
【０１３３】
ステップＳ２０５において、制御部２００は、ステップＳ１０６において設定されたシャープネスＢ設定値に対応する画像データ識別情報と高域強調係数とを、図１１（ｅ）に示すようなテーブルから取得する。制御部２００は、取得した画像データ識別情報が１つである場合には、処理対象となる画像の一部のデータを、テーブルから取得した画像データ識別情報によって識別される画像の対応部分のデータによって適宜置き換える。そして、制御部２００は、置き換え処理が行われた画像（画像データ）を画像処理部２０３に送信する。また、制御部２００は、取得した画像データ識別情報が複数である場合には、処理対象となる画像の一部のデータを、テーブルから取得した画像データ識別情報によって識別される複数の画像の合成画像の対応部分のデータによって適宜置き換える。そして、制御部２００は、置き換え処理が行われた画像（画像データ）を画像処理部２０３に送信する。また、制御部２００は、テーブルから取得した高域強調係数を、画像処理部２０３に送信する。そして、制御部２００は、当該高域強調係数に応じたシャープネス処理を画像データに対して行うように、画像処理部２０３に対して指示を行う。
【０１３４】
例えば、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図７（ａ）は、シャープネスＢ設定値が０の際の画像７００ａを示しており、図７（ｅ）は、シャープネスＢ設定値が＋１の際の画像７００ｅを示している。
【０１３５】
領域７０４においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｅ）から分かるように、シャープネスＢ設定値が＋１の場合のおける画像データ識別情報は、画像７００ａであり、シャープネスＢ設定値が０の場合と同じである。このため、領域７０４については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えは行われない。高域強調係数は１であり、高域強調係数１に対応するシャープネス処理が領域７０４に対して行われる。図７（ｅ）から分かるように、領域７０４においては、画像の置き換えは行われておらず、被写体７０１ｅの高域成分が強調されている。
【０１３６】
領域７０５においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｅ）から分かるように、シャープネスＢ設定値が＋１の場合のおける画像データ識別情報は、画像７００ｃであり、シャープネスＢ設定値が０の場合と異なる。このため、領域７０５については、シャープネスＢ設定値が０から＋１に変更された際に、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域７０５内の各画素の画素値が、画像７００ｃのうちの領域７０５内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、領域７０５に対してのシャープネス処理は行われない。図７（ａ）と図７（ｅ）とを比較して分かるように、領域７０５においては、図７（ｅ）に示す被写体７０２ｅのボケが、図７（ａ）に示す被写体７０２ａのボケに対して小さくなっている。
【０１３７】
領域７０６においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｅ）から分かるように、シャープネスＢ設定値が＋１の場合のおける画像データ識別情報は、画像７００ａ及び画像７００ｂであり、シャープネスＢ設定値が０の場合と異なる。このため、領域７０６については、シャープネスＢ設定値が０から＋１に変更された際に、以下のようにして画像の置き換えが行われる。例えば、画像７００ａのうちの領域７０６内の各画素の画素値と、画像７００ｂのうちの領域７０６内の各画素の画素値とのそれぞれの平均値によって、処理対象の画像のうちの領域７０６内の各画素の画素値が置き換えられる。高域強調係数は０であるため、領域７０６に対してのシャープネス処理は行われない。図７（ａ）と図７（ｂ）と図７（ｅ）とを比較して分かるように、領域７０６においては、図７（ｅ）に示す被写体７０３ｅのボケは、図７（ａ）に示す被写体７０３ａのボケよりは小さく、図７（ｂ）に示す被写体７０３ｂのボケよりは大きくなっている。
【０１３８】
シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図７（ｇ）は、シャープネスＢ設定値が＋２の際の画像７００ｇを示している。
【０１３９】
領域７０４においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｅ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は、画像７００ａであり、シャープネスＢ設定値が＋１の場合と同じである。このため、領域７０４については、シャープネスＢ設定値が＋１から＋２に変更された際に、画像の置き換えは行われない。高域強調係数は２であるため、高域強調係数２に対応するシャープネス処理が領域７０４に対して行われる。
【０１４０】
領域７０５においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｅ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は、画像７００ｂであり、シャープネスＢ設定値が＋１の場合と異なる。このため、領域７０５については、シャープネスＢ設定値が＋１から＋２に変更された際に画像の置き換えが行われる。高域強調係数は０であるため、シャープネス処理は領域７０５に対して行われない。
【０１４１】
領域７０６においては、シャープネスＢ設定値が＋１から＋２に変更された場合には、以下のようになる。図１１（ｅ）から分かるように、シャープネスＢ設定値が＋２の際の画像データ識別情報は、画像７００ｂであり、シャープネスＢ設定値が＋１の場合と異なる。このため、領域７０６については、シャープネスＢ設定値が＋１から＋２に変更された際に、画像の置き換えが行われる。高域強調係数０であるため、領域７０６に対してのシャープネス処理は行われない。
【０１４２】
シャープネスＢ設定値が＋２から＋３に変更された場合には、第３実施形態の場合と同様に、図７（ｈ）のようになる。
【０１４３】
ステップＳ２０４とステップＳ２０５とを含むループ処理が、処理対象となる画像データに含まれる全ての画素に対して実行された後には、図３（ｂ）に示す処理が終了し、ステップＳ１０２に戻る。
【０１４４】
このように、本実施形態によれば、ボケ量のより少ない画像に置き換えた際に生ずるボケ量の変化が閾値以上である場合に、当該箇所を合成画像によって置き換えるようにする。このため、本実施形態によれば、シャープネス設定値を変化させた際に著しく画質が変化するのを防止することができる。
【０１４５】
［第５実施形態］
第５実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。第１乃至第４実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による画像処理装置及び画像処理方法は、ボケ量のより少ない画像に置き換えた際に生ずるボケ量の変化が閾値以上である場合に、シャープネス処理を適宜行うものである。
【０１４６】
本実施形態では、制御部２００は、ステップＳ２０５において、シャープネスＢ設定値と、画像データ識別情報と、高域強調係数との関係を示すテーブルを、例えば、以下のようなアルゴリズム（４−１）〜（４−３）に基づいて作成する。
【０１４７】
（４−１）シャープネスＢ設定値が初期値、即ち、０である場合には、表示中の画像、即ち、処理対象の画像を示すように画像データ識別情報を設定し、且つ、高域強調係数を基準値、即ち、０とする。
【０１４８】
（４−２）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものでない場合には、以下のようにテーブル値を設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像におけるボケ量を第１のボケ量とする。また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像の次にボケ量の多い画像におけるボケ量を、第２のボケ量とする。第１のボケ量と第２のボケ量との差の絶対値が、閾値未満である場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像の次にボケ量の多い画像を示すように、当該シャープネスＢ設定値に対応する画像データ識別情報を設定する。この場合、当該シャープネスＢ設定値に対応する高域強調係数を基準値、即ち、０とする。第１のボケ量と第２のボケ量との差の絶対値が、閾値以上であり、且つ、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数が基準値、即ち、０である場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。そして、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。第１のボケ量と第２のボケ量との差の絶対値が、閾値以上であり、且つ、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数が基準値よりも大きい、即ち０よりも大きい場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像の次にボケ量の多い画像を示す画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。この場合、高域強調係数を基準値、即ち、０とする。
【０１４９】
（４−３）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものである場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。また、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。
【０１５０】
図１１（ｆ）は、上記のようなアルゴリズム（４−１）〜（４−３）に基づいて生成されたテーブルの例を示す図である。図１１（ｆ）に示すように、シャープネスＢ設定値が初期値、即ち、０である場合には、アルゴリズム（４−１）に基づいてテーブル値が設定される。従って、領域７０４，７０５，７０６のいずれについても、シャープネスＢ設定値が０である場合には、画像データ識別情報は表示中の画像７００ａとされ、高域強調係数は０とされる。
【０１５１】
領域７０４においては、図１０（ｃ）から分かるように、表示中の画像７００ａが、最もボケ量の少ない画像である。即ち、領域７０４については、シャープネスＢ設定値が０の段階で、最もボケ量の少ない画像に達している。このため、領域７０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際、アルゴリズム（４−３）に基づいてテーブル値が設定される。従って、領域７０４については、シャープネスＢ設定値が＋１，＋２，＋３，＋４の際に、テーブル値が以下のように設定される。即ち、画像データ識別情報を画像７００ａのまま変化させることなく、シャープネスＢ設定値の増加に伴って高域強調係数が増加するように、テーブル値が設定される。
【０１５２】
領域７０５においては、図１０（ｃ）から分かるように、表示中の画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０５については、シャープネスＢ設定値が＋１の際には、アルゴリズム（４−２）に基づいてテーブル値が設定される。領域７０５において、画像７００ａの次にボケ量が多いのは、画像７００ｃである。図１０（ｃ）から分かるように、領域７０５においては、画像７００ａにおけるボケ量は１０であり、画像７００ｃにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満である。このため、画像データ識別情報は、画像７００ｃを示すものとされる。高域強調係数は、０とされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃは、最もボケ量が少ない画像ではない。このため、領域７０５については、シャープネスＢ設定値が＋１から＋２に増加する際にも、アルゴリズム（４−２）に基づいてテーブル値が設定される。領域７０５において、画像７００ｃの次にボケ量が多いのは、画像７００ｂである。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｃにおけるボケ量は５であり、画像７００ｂにおけるボケ量は０である。閾値が例えば８である場合、画像７００ｃにおけるボケ量と画像７００ｂにおけるボケ量との差の絶対値は閾値未満である。このため、画像データ識別情報は、画像７００ｂを示すものとされる。高域強調係数は、０とされる。図１０（ｃ）から分かるように、領域７０５においては、画像７００ｂが、最もボケ量の少ない画像である。即ち、領域７０５については、シャープネスＢ設定値が＋２に達した際に、最もボケ量の少ない画像に達する。このため、領域７０５については、シャープネスＢ設定値が＋３，＋４の際、アルゴリズム（４−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が＋３，＋４のいずれの際においても、画像データ識別情報は画像７００ｂを示すものとされる。また、シャープネスＢ設定値が＋３，＋４の際、高域強調係数はそれぞれ１，２とされる。
【０１５３】
領域７０６においては、図１０（ｃ）から分かるように、表示中の画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋１の際には、アルゴリズム（４−２）に基づいてテーブル値が設定される。領域７０６において、画像７００ａの次にボケ量が多いのは、画像７００ｂである。図１０（ｃ）から分かるように、画像７００ａにおけるボケ量は１５であり、画像７００ｂにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｂにおけるボケ量との差の絶対値は閾値以上である。また、シャープネスＢ設定値が０の際の高域強調係数は０である。従って、シャープネスＢ設定値が＋１の際には、画像データ識別情報は画像７００ａを示すものとされ、高域強調係数は１とされる。上述したように、領域７０６においては、画像７００ａは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋２の際にも、アルゴリズム（４−２）に基づいてテーブル値が設定される。領域７０６において、画像７００ａの次にボケ量が多いのは、画像７００ｂである。上述したように、画像７００ａにおけるボケ量は１５であり、画像７００ｂにおけるボケ量は５である。閾値が例えば８である場合、画像７００ａにおけるボケ量と画像７００ｂにおけるボケ量との差の絶対値は閾値以上である。また、シャープネスＢ設定値が＋１の際の高域強調係数は１である。従って、シャープネスＢ設定値が＋２の際には、画像データ識別情報は画像７００ｂを示すものとされ、高域強調係数は０とされる。領域７０６においては、図１０（ｃ）から分かるように、画像７００ｂは、最もボケ量の少ない画像ではない。このため、領域７０６については、シャープネスＢ設定値が＋３の際には、アルゴリズム（４−２）に基づいてテーブル値が設定される。領域７０６において、画像７００ｂの次にボケ量が多いのは、画像７００ｃである。図１０（ｃ）から分かるように、画像７００ｂにおけるボケ量は５であり、画像７００ｃにおけるボケ量は０である。閾値が例えば８である場合、画像７００ｂにおけるボケ量と画像７００ｃにおけるボケ量との差の絶対値は閾値未満である。従って、シャープネスＢ設定値が＋３の際には、画像データ識別情報は画像７００ｃを示すものとされ、高域強調係数は０とされる。図１０（ｃ）から分かるように、領域７０６においては、画像７００ｃは、最もボケ量の少ない画像である。このため、領域７０６については、シャープネスＢ設定値が＋４の際には、アルゴリズム（４−３）に基づいてテーブル値が設定される。このため、シャープネスＢ設定値が４の際には、画像データ識別情報は画像７００ｃを示すものとされ、高域強調係数はそれぞれ１とされる。
【０１５４】
ステップＳ２０５において、制御部２００は、ステップＳ１０６において設定されたシャープネスＢ設定値に対応する画像データ識別情報と高域強調係数とを、図１１（ｆ）に示すようなテーブルから取得する。制御部２００は、処理対象となる画像の一部のデータを、テーブルから取得した画像データ識別情報によって識別される画像の対応部分のデータによって適宜置き換え、置き換え処理が行われた画像（画像データ）を画像処理部２０３に送信する。なお、置き換え処理を要しない場合には、制御部２００は、置き換え処理が行われていない画像を画像処理部２０３に送信する。また、制御部２００は、テーブルから取得した高域強調係数を画像処理部２０３に送信する。そして、制御部２００は、当該高域強調係数に応じたシャープネス処理を当該画像に対して行うように、画像処理部２０３に対して指示を行う。
【０１５５】
例えば、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図７（ａ）は、シャープネスＢ設定値が０の際の画像７００ａを示しており、図７（ｆ）は、シャープネスＢ設定値が＋１の際の画像７００ｄを示している。
【０１５６】
領域７０４においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｆ）から分かるように、シャープネスＢ設定値が＋１の際における画像データ識別情報は、画像７００ａであり、シャープネスＢ設定値が０の場合と同じである。このため、領域７０４については、画像の置き換えは行われない。高域強調係数は１であり、高域強調係数１に対応するシャープネス処理が領域７０４に対して行われる。図７（ａ）と図７（ｆ）とを比較して分かるように、領域７０４においては、画像の置き換えは行われておらず、被写体７０１ｆの高域成分が強調されている。
【０１５７】
領域７０５においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｆ）から分かるように、シャープネスＢ設定値が＋１の際における画像データ識別情報は画像７００ｃであり、シャープネスＢ設定値が０の場合の画像データ識別情報と異なる。このため、領域７０５については、画像の置き換えが行われる。具体的には、処理対象の画像のうちの領域７０５内の各画素の画素値が、画像７００ｃのうちの領域７０５内の各画素の画素値によってそれぞれ置き換えられる。高域強調係数は０であるため、領域７０５に対してのシャープネス処理は行われない。図７（ａ）と図７（ｆ）とを比較して分かるように、領域７０５においては、図７（ｆ）に示す被写体７０２ｆのボケが、図７（ａ）に示す被写体７０２ａのボケに対して小さくなっている。
【０１５８】
領域７０６においては、シャープネスＢ設定値が０から＋１に変更された場合には、以下のようになる。図１１（ｆ）から分かるように、シャープネスＢ設定値が＋１の際における画像データ識別情報は画像７００ａであり、シャープネスＢ設定値が０の際における画像データ識別情報と同じである。このため、領域７０６については、画像の置き換えは行われない。高域強調係数は１であるため、高域強調係数１に対応するシャープネス処理が領域７０６に対して行われる。図７（ａ）と図７（ｆ）とを比較して分かるように、領域７０６においては、ボケ形状の輪郭が若干強調されている。
【０１５９】
例えば、シャープネスＢ設定値が＋１から＋２に変更された場合には、第４実施形態の場合と同様に、図７（ｇ）のようになる。また、シャープネスＢ設定値が＋２から＋３に変更された場合には、第４実施形態の場合と同様に、図７（ｈ）のようになる。
【０１６０】
ステップＳ２０４とステップＳ２０５とを含むループ処理が、処理対象となる画像データに含まれる全ての画素に対して実行された後には、図３（ｂ）に示す処理が終了し、ステップＳ１０２に戻る。
【０１６１】
このように、本実施形態では、ボケ量のより少ない画像に置き換えた際に生ずるボケ量の変化が閾値以上である場合に、シャープネス処理を適宜行う。例えば、シャープネス設定値を１段階上昇させた際に、画像の置き換えを行うことなくシャープネス処理を行い、シャープネスＢ設定値を更に１段階上昇させた際に、画像の置き換えを行い、シャープネス処理を行わないようにする。このため、本実施形態によれば、シャープネス設定値を変化させた際に著しく画質が変化するのを防止することができる。
【０１６２】
［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、第３〜第５実施形態では、プロジェクタ１００において処理対象の画像に対して画像処理を行う場合を例に説明したが、これに限定されるものではない。第３〜第５実施形態において上述した画像処理を例えばパーソナルコンピュータ１０５側において行い、当該画像処理が行われた画像データをプロジェクタ１００に提供するようにしてもよい。
【０１６３】
また、上記実施形態において、以下のような条件で画像の置き換えを行うようにしてもよい。即ち、置き換え前の画像データを第１の画像とし、置き換え後の画像データを第２の画像とし、第１の画像におけるボケ量と第２の画像におけるボケ量との差が所定の閾値未満である場合に、以下のような条件で画像の置き換えを行うようにてもよい。画像の置き換えを行うか否かの判定の対象となる画素の周辺領域において、第１の画像データと第２の画像データとのうちのいずれが多く採用されているかを判定する。当該画素の周辺領域において、第１の画像データが第２の画像データよりも多く採用されている場合には、当該画素に対して画像の置き換えを行わない。一方、当該画素の周辺領域において第２の画像データが第１の画像データより多く採用されている場合には、当該画素に対して第２の画像データへの置き換えを行う。このような条件で画像の置き換えを行うようにすれば、滑らかさが損なわれるのを防止することができ、高品位な画像を得ることができる。
【０１６４】
また、第１実施形態では、アルゴリズム（１−１）〜（１−３）に基づいてテーブル値を設定したが、これに限定されるものではない。例えば、アルゴリズム（１−３）の代わりに、以下のようなアルゴリズム（１−３′）を用いるようにしてもよい。
【０１６５】
（１−３′）当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報が、最もボケ量の少ない画像を示すものである場合には、以下のようにテーブル値を設定する。即ち、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像データ識別情報と同じ画像データ識別情報を、当該シャープネスＢ設定値に対応する画像データ識別情報として設定する。当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像のボケ量が閾値（所定値）以上である場合には、当該シャープネスＢ設定値に対応する高域強調係数を、基準値、即ち、０とする。一方、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する画像のボケ量が閾値未満である場合には、以下のようにする。即ち、この場合には、当該シャープネスＢ設定値よりも１段階低いシャープネスＢ設定値に対応する高域強調係数よりも１段階高い高域強調係数を、当該シャープネスＢ設定値に対応する高域強調係数として設定する。
このようなアルゴリズム（１−３′）に基づいてテーブル値を設定すれば、ボケ形状の輪郭が不自然に強調されるのを防止することができる。
【０１６６】
また、上記実施形態では、ステップＳ１０６，Ｓ３０６において、図９（ｂ）に示すような第２のメニュー画像９０６を表示する場合を例に説明したが、これに限定されるものではない。例えば、図９（ｃ）に示すような第２のメニュー画像９０９を用いるようにしてもよい。即ち、項目９１０をグレーアウト表示するようにしてもよい。この場合、制御部２００は、グレイアウト表示された項目９１０がユーザによって選択されないように制御する。
【０１６７】
また、上記実施形態では、ステップＳ１０６，Ｓ３０６において、図９（ｂ）に示すような第２のメニュー画像９０６を表示する場合を例に説明したが、これに限定されるものではない。例えば、図９（ａ）に示すような第１のメニュー画像９００を第２のメニュー画像９０６の代わりに用いてもよい。この場合、制御部２００は、シャープネスＢを設定するための項目９０４がユーザによって選択されないように制御し、例えば、図９（ｄ）に示すような警告９１１を適宜表示するようにしてもよい。
【０１６８】
また、上記実施形態では、ステップＳ１０６，Ｓ３０６において、図９（ａ）に示すような第１のメニュー画像９００を表示する場合を例に説明したが、これに限定されるものではない。例えば、図９（ｂ）に示すような第２のメニュー画像９０６を、ステップＳ１０６，Ｓ３０６において表示するようにしてもよい。この場合、シャープネス調整値が所定値未満の場合にはシャープネスＡを適用し、シャープネス調整値が所定値以上の場合にはシャープネスＢを適用するようにしてもよい。かかる所定値は、特に限定されるものではないが、例えば＋５程度とするようにしてもよい。例えば、シャープネスＡ設定値が例えば＋３の場合には、所定値未満であるため、例えば＋３のシャープネスＡが適用される。一方、シャープネスＡ設定値が例えば＋５の場合には、所定値以上であるため、シャープネスＢが適用され、シャープネスＢ設定値は例えば＋１とされる。また、シャープネスＡ設定値が例えば＋６の場合には、所定値以上であるため、シャープネスＢが適用され、シャープネスＢ設定値は例えば＋２とされる。
【０１６９】
また、上記実施形態では、フォーカス位置が互いに異なる複数の画像データ８０１を含む画像ファイル８００を用いる場合を例に説明したが、これに限定されるものではない。例えば、任意のフォーカス距離で結像するように再構成することが可能な画像データ、即ち、リフォーカスが可能な画像データを用いるようにしてもよい。かかる画像データとしては、例えばライトフィールドデータ等が挙げられる。かかる画像データには、光の強度を示す情報のみならず、光の方向を示す情報も含まれている。このため、被写体までの距離を事後的に求めることが可能であり、また、フォーカス位置が任意の位置に再設定された画像、即ち、リフォーカス（再構成画像）を事後的に得ることが可能である。この場合には、ステップＳ２０５において、画像データ識別情報をテーブルに設定する代わりに、例えばフォーカス距離等を示す情報をテーブルに設定する。そして、例えばフォーカス距離を示す情報に基づいて、制御部２００，１２０２等によってリフォーカス画像の生成が行われる。そして、かかるリフォーカス画像を用いて、画像の置き換えが、制御部２００，１２０２等によって適宜行われる。この場合、画像処理部２０３は、処理対象となる一の画像の第１の部分が合焦状態である場合に、当該一の画像の第１の部分に対し、シャープネスＢ設定値に応じたシャープネス処理を行う。
【０１７０】
また、第４実施形態では、２つの画像の画素毎の平均値によって合成画像を生成する場合を例に説明したが、これに限定されるものではない。２つの画像のうちのボケ量の多い方の画像を第１の画像とし、２つの画像のうちのボケ量の少ない方の画像を第２の画像とした場合、第１の画像のボケ量よりもボケ量が少なく、第２の画像のボケ量よりもボケ量の多い画像によって置き換え処理が行えればよい。例えば、第１の画像のボケ量と第２の画像のボケ量との差の程度に応じて、ボケ量が互いに異なる複数の合成画像を生成するようにしてもよい。例えば、第１の画像の画素値をｂ、第２の画像の画素値をａとし、第３の画像の画素値を（１／３）ａ＋（２／３）ｂによって算出し、第４の画像の画素値を（２／３）ａ＋（１／３）ｂによって算出してもよい。そして、例えば、第１の画像の次にボケ量の多い画像として第３の画像を用い、第３の画像の次にボケ量の多い画像として第４の画像を用い、第４の画像の次にボケ量の多い画像として第２の画像を用いるようにしてもよい。
【０１７１】
また、上記実施形態では、画像処理装置１０，１０ａがプロジェクタ１００やパーソナルコンピュータ１０５である場合を例に説明したが、これに限定されるものではない。例えば、フラットパネルディスプレイ、スマートフォン、デジタルカメラ等、画像処理を行い得る様々な電子機器に本発明を広く適用し得る。
【０１７２】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１７３】
１００…プロジェクタ
１０５…パーソナルコンピュータ
２００…制御部
２０３…画像処理部
１２０２…制御部
１２０６…画像処理部
【図１】
2018110284.tif 000003
【図２】
2018110284.tif 000004
【図３−１】
2018110284.tif 000005
【図３−２】
2018110284.tif 000006
【図４】
2018110284.tif 000007
【図５】
2018110284.tif 000008
【図６】
2018110284.tif 000009
【図７】
2018110284.tif 000010
【図８】
2018110284.tif 000011
【図９】
2018110284.tif 000012
【図１０】
2018110284.tif 000013
【図１１−１】
2018110284.tif 000014
【図１１−２】
2018110284.tif 000015
【図１２】
2018110284.tif 000016
【図１３（ａ）】
2018110284.tif 000017
【図１３（ｂ）】
2018110284.tif 000018