(57)【要約】【課題】撮影に失敗した画像を適切に加工することができる画像処理装置、及び、画像加工プログラムを提供することを目的とする。【解決手段】画像処理装置１は、画像データ４１を記憶する画像データ記憶部１００と、画像データが表す画像における画像劣化（例えば、手振れやピンぼけ）の有無を判定する画質判定部３００と、画質劣化があると判定された場合に、加工内容を決定する加工内容決定部４００と、決定された加工内容に従って、画像データが表す画像を絵画調の画像に変化する画像変換部５００と、画像データ４１が表す画像若しくは、画像変換部５００が絵画調に変換した画像を出力する画像出力部６００と、を備える。【選択図】図２
2011138272.tif 000002
【特許請求の範囲】
【請求項１】
画像データが表す画像における画質劣化の有無を判定する画質判定手段と、
前記画質判定手段により画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画質判定手段は、手振れ、ピンぼけ、及び、露出不足のうち少なくとも何れか１つを起因とする画質劣化の有無を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像データが表す画像における画質劣化の度合いを判定する画質判定手段と、
前記画質判定手段が判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定手段と、
前記決定手段が画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正手段と、
前記決定手段が画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
前記画質判定手段は、手振れ、ピンぼけ、及び、露出不足のうち少なくとも何れか１つを起因とする画質劣化の度合いを判定し、
前記決定手段は、前記画質判定手段が判定した画質劣化の度合いを予め定められた閾値と比較して、画質劣化の度合いが閾値よりも小さい場合に画像補正を決定し、画質劣化の度合いが閾値よりも大きい場合に画像変換を決定する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
コンピュータに、
画像データが表す画像における画質劣化の有無を判定する画質判定ステップと、
前記画質判定ステップにより画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換ステップと、
を行わせることを特徴とする画像加工プログラム。
【請求項６】
コンピュータに、
画像データが表す画像における画質劣化の度合いを判定する画質判定ステップと、
前記画質判定ステップが判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定ステップと、
前記決定ステップが画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正ステップと、
前記決定ステップが画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換ステップと、
を行わせることを特徴とする画像加工プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び、画像加工プログラムに関する。
【背景技術】
【０００２】
近年、デジタルフォトフレーム（Digital Photo Frame）と呼ばれる電子機器（画像処理装置）が広く普及している。このデジタルフォトフレームは、例えば、装着されたメモリカード等から画像データを読み出して、あたかも通常の写真立てように、画像（画像データが表す画像）を表示できるようになっている。
ユーザは、パーソナルコンピュータ等を用いることなく、このようなデジタルフォトフレームだけで、手軽に画像を鑑賞することができる。
【０００３】
ところで、デジタルフォトフレームにて表示される画像は、通常、ユーザがデジタルカメラ等にて撮影されたものが使用される。そのため、そのような画像の中には、撮影に失敗した画像も含まれ得る。つまり、手振れ（シャッタを押す時にカメラが動いてしまうこと等により生じる画像のぶれ）や、ピンぼけ（被写体に対してピントが合っていない状態で撮影された画像のぼけ）等のような、撮影に失敗した画像（以下、失敗画像と呼ぶ）が含まれる場合も多い。
このような失敗画像がデジタルフォトフレームにて表示された際には、見栄えがあまり良くないため、ユーザによっては、そのような失敗画像をスキップ対象（表示をスキップさせる対象）に設定し、以降の表示が行われないようにすることもある。
【０００４】
また、このような失敗画像に関する技術として、例えば、特許文献１には、ピンぼけ等の生じている画像を高速に検出できる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２８３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、そもそも失敗画像の中には、被写体の構図や雰囲気が気に入っている画像や、記念に残るような重要な画像といった、ユーザにとって思い入れの強い画像が含まれる場合も多い。そのため、そのような失敗画像を表示対象から除外することなく、見栄え等を良くして活用することが求められていた。
【０００７】
上記点に鑑み、本発明は、撮影に失敗した画像を適切に加工することのできる画像処理装置、及び、画像加工プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第一の観点に係る画像処理装置は、
画像データが表す画像における画質劣化の有無を判定する画質判定手段と、
前記画質判定手段により画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換手段と、
を備えることを特徴とする。
【０００９】
本発明の第二の観点に係る画像処理装置は、
画像データが表す画像における画質劣化の度合いを判定する画質判定手段と、
前記画質判定手段が判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定手段と、
前記決定手段が画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正手段と、
前記決定手段が画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換手段と、
を備えることを特徴とする。
【００１０】
本発明の第三の観点に係る画像加工プログラムは、
コンピュータに、
画像データが表す画像における画質劣化の有無を判定する画質判定ステップと、
前記画質判定ステップにより画質劣化があると判定された場合に、前記画像を絵画調の画像に変換する画像変換ステップと、
を行わせることを特徴とする。
【００１１】
本発明の第四の観点に係る画像加工プログラムは、
コンピュータに、
画像データが表す画像における画質劣化の度合いを判定する画質判定ステップと、
前記画質判定ステップが判定した画質劣化の度合いに基づいて、画像補正又は画像変換を決定する決定ステップと、
前記決定ステップが画像補正を決定した場合に、前記画像データが表す画像に対して画質を向上させる画像補正を行う画像補正ステップと、
前記決定ステップが画像変換を決定した場合に、前記画像データが表す画像を絵画調の画像に変換する画像変換ステップと、
を行わせることを特徴とする。
【発明の効果】
【００１２】
本発明に係る画像処理装置、及び、画像加工プログラムによれば、撮影に失敗した画像を適切に加工することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理装置のハードウェア構成を示す模式図である。
【図２】本発明の第１実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図３】（ａ）がピンぼけ画像の一例を示す図であり、（ｂ）が絵画調（油絵風）に変換した画像の一例を示す図である。
【図４】本発明の第１実施形態に係る画像変換処理の流れを示すフローチャートである。
【図５】第１実施形態の変形例に係る画像処理装置の機能構成を示すブロック図である。
【図６】第１実施形態の変形例に係る画像変換処理の流れを示すフローチャートである。
【図７】本発明の第２実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図８】（ａ）がピンぼけの度合いが小さい画像の一例を示す図であり、（ｂ）が画像補正した画像の一例を示す図であり、（ｃ）がピンぼけの度合いが大きい画像の一例を示す図であり、（ｄ）が絵画調（色鉛筆風）に変換した画像の一例を示す図である。
【図９】本発明の第２実施形態に係る補正・変換処理の流れを示すフローチャートである。
【図１０】第２実施形態の変形例に係る画像処理装置の機能構成を示すブロック図である。
【図１１】第２実施形態の変形例に係る補正・変換処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の画像処理装置について説明する。なお、発明の理解を容易にするため、以下では、デジタルフォトフレームに本発明が適用される実施形態を説明するが、本発明の画像処理装置は、デジタルフォトフレームに限られず適用可能である。例えば、各種のコンピュータ、ＰＤＡ、携帯電話、デジタルカメラ、プリンタなどの電子機器においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００１５】
（共通のハードウェア構成）
図１は、本発明の実施形態に係る画像処理装置１のハードウェア構成の一例を示す模式図である。なお、後述する第１実施形態及び、第２実施形態における画像処理装置１は、以下のハードウェア構成によって実現される。
図示するように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１０と、ＲＯＭ（Read Only Memory）２０と、ＲＡＭ（Random Access Memory）３０と、外部記憶装置４０と、入力装置５０と、表示装置６０と、印刷装置７０と、通信Ｉ／Ｆ８０と、を備えている。
【００１６】
ＣＰＵ１０は、ＲＯＭ２０内に記憶されているプログラム２１をロードし、ＲＡＭ３０を作業用メモリとしつつ、各種の演算処理や制御処理を実行する。
【００１７】
ＲＯＭ２０には、各処理（後述する画像変換処理等）の内容を規定するプログラム２１が予め書き込まれている。
このようなプログラム２１は、ＲＯＭ２０以外に記録されていてもよい。例えば、持ち運び可能な記憶媒体等に記録されていてもよい。
この記憶媒体は、一例として、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ハードディスクドライブ、又は、フラッシュメモリ等からなる。
また、プログラム２１は、持ち運び可能な記憶媒体から各種の読取装置を介して画像処理装置１にインストールされてもよい。また、プログラム２１は、インターネット等のネットワークから通信Ｉ／Ｆ８０を介して画像処理装置１にダウンロード及びインストールされてもよい。更に、プログラム２１は、画像処理装置１と通信可能なサーバ等の記憶装置に格納されて、ＣＰＵ１０への指示を行ってもよい。
このようなプログラム２１を記憶した読み取り可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品となる。
【００１８】
ＲＡＭ３０には、ＣＰＵ１０により各処理が実行される際に、ＲＯＭ２０や外部記憶装置４０から読み出された各種データが格納される。
【００１９】
外部記憶装置４０は、例えば、所定規格のメモリカードやＨＤＤ（Hard Disk Drive）等の記憶媒体であり、画像データ４１が保存されている。
【００２０】
画像データ４１は、例えば、デジタルカメラ等で撮影された人物や風景等が写った画像のデータであり、ＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式にて保存されている。
【００２１】
入力装置５０は、例えば、スイッチやタッチパネル等であり、ユーザの操作入力を受け取る。
【００２２】
表示装置６０は、例えば、液晶表示ユニット等であり、外部記憶装置４０から画像データ４１が読み出され、必要に応じて絵画調に変換された画像等を表示する。
【００２３】
印刷装置７０は、例えば、昇華型印刷ユニット等であり、外部記憶装置４０から画像データ４１が読み出され、必要に応じて絵画調に変換された画像等を印刷する。
【００２４】
通信Ｉ／Ｆ（インタフェース：interface）８０は、例えば、無線通信ユニット等であり、必要に応じて所定のネットワークに接続し、外部のサーバ等との通信を行う。
【００２５】
このようなハードウェア構成の画像処理装置１は、表示や印刷対象の画像（画像データ４１が表す画像）について、手振れやピンぼけ等を起因とする画質劣化の有無を判定し、画質劣化があると判定されると、その画像を絵画調の画像に変換する機能を有している。つまり、画像処理装置１は、画質が劣化している画像を、絵画調の画像に変換して出力（表示や印刷）する。
【００２６】
（第１実施形態）
以下、このような画質が劣化している画像を絵画調の画像に変換して出力等することを特徴とする画像処理装置１について、図面を参照して説明する。図２は、本発明の第１実施形態に係る画像処理装置１の機能構成を示すブロック図である。
【００２７】
図２に示すように、画像処理装置１は、画像データ記憶部１００、画像データ読み出し部２００と、画質判定部３００と、加工内容決定部４００と、画像変換部５００と、画像出力部６００と、を備えている。
【００２８】
画像データ記憶部１００は、上述した外部記憶装置４０からなり、画像データ４１を記憶している。つまり、画像データ記憶部１００は、画像データ４１が表す画像に人物や風景等が写っている、上述した画像データ４１を複数記憶している。これらの画像データ４１の中には、撮影に失敗し、画像データ４１が表す画像に手振れやピンぼけ等が生じているものも含まれているものとする。
【００２９】
画像データ読み出し部２００は、上述したＣＰＵ１０（より詳細には、外部記憶装置４０を制御するドライバプログラム）等からなり、画像データ記憶部１００に記憶された画像データ４１を適宜読み出す。例えば、画像データ読み出し部２００は、画像データ記憶部１００に記憶された画像データ４１を所定の順番、又は、ランダムに読み出す。また、ユーザにより選択された画像データ４１を画像データ記憶部１００から読み出してもよい。
【００３０】
画質判定部３００は、上述したＣＰＵ１０（より詳細には、後述する画質判定処理を実行するＣＰＵ１０）等からなり、画像データ読み出し部２００が読み出した画像データ４１が表す画像について、画質劣化の有無を判定する。例えば、画質判定部３００は、画像データ４１が表す画像を画像解析し、手振れ、ピンぼけ、及び、露出不足の何れかが発生している場合に、画像データ４１が表す画像に画質劣化があると判定する。一例として、画質判定部３００は、特開２００７−２９５１８１号公報に記載された手法を用いて、手振れ、ピンぼけ、及び、露出不足が発生しているかどうかを判定する。
まず、手振れについて、画質判定部３００は、画像データ４１が表す画像から高周波成分を抽出し、抽出した高周波成分を所定の閾値で二値化処理することによりエッジ画素を検出する。そして、検出したエッジ画素数をエッジ量として導出する。画質判定部３００は、導出したエッジ量に基づいて、手振れの発生を判定する。
また、ピンぼけについて、画質判定部３００は、例えば、画像データ４１が表す画像から中心付近の画像を抽出し、抽出した画像のエッジ量を同様に導出する。画質判定部３００は、導出したエッジ量に基づいて、ピンぼけの発生を判定する。
また、露出不足について、画質判定部３００は、画像データ４１が表す画像から、濃度のダイナミックレンジ及び最小濃度点を導出する。なお、ダイナミックレンジは、濃度の最大濃度点と最小濃度点との差異を示している。画質判定部３００は、導出したダイナミックレンジが所定の閾値未満の場合で、かつ、導出した最小濃度点が所定の閾値未満である場合に、露出不足が発生していると判定する。
【００３１】
更に、画質判定部３００は、撮影時に画像データ４１へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の発生を判定してもよい。例えば、デジタルカメラによっては、手振れ等を検出するためのジャイロセンサが内蔵されている機種もある。その種のデジタルカメラでは、ジャイロセンサによって、撮影時（露光中）に本体がどの方向にどの程度動いたか(ぶれたか)を検出すると、撮影した画像データ４１へ手振れに関する情報を付加する。
具体的には、画像データ４１に付加されるExif（Exchangeable Image File Format）データ内に、手振れに関する情報を含めて格納する。また、Exifデータには、シッャター速度、焦点距離、合焦距離、露出モード、及び、露出補正値等の情報も格納可能である。そのため、画質判定部３００は、画像データ４１に付加されるExifデータを読み出して、手振れに関する情報や、シッャター速度、焦点距離、合焦距離等の情報から、手振れ、ピンぼけ、及び、露出不足の発生を判定してもよい。
【００３２】
加工内容決定部４００は、画質判定部３００によって画像データ４１が表す画像に画質劣化がある（つまり、手振れ、ピンぼけ、露出不足の何れかが発生している）と判定されると、アート加工の加工内容を決定する。例えば、加工内容決定部４００は、油絵風、水彩画風、色鉛筆画風等といった絵画調の画像へ変換するための加工内容を決定する。なお、加工内容は、これれらに限られず、鉛筆スケッチ画風、似顔絵風、コミック風など種々の絵画調の画像へ変換が行えるようにしてもよい。また、同じ種類の絵画調の画像への変換でも、その絵画調におけるタッチ（筆触）の粗さ等も適宜決定できる。例えば、鉛筆スケッチ画風に変換する際に、粗く書くか、又は、細かく書くか等を変更することでも、変換後の画像の雰囲気を変えることができる。
加工内容決定部４００は、このような加工内容について、予めユーザから指定されたものを決定してもよく、また、固定で定められていてもよく、また、ランダムに決定してもよい。更に、発生している手振れ、ピンぼけ、及び、露出不足に応じて、対応する加工内容をそれぞれ異なるように決定してもよい。
【００３３】
画像変換部５００は、上述したＣＰＵ１０（より詳細には、後述する絵画調変換処理を実行するＣＰＵ１０）等からなり、画質判定部３００によって画像データ４１が表す画像に画質劣化があると判定された場合に、加工内容決定部４００が決定した加工内容に従って、その画像データ４１が表す画像を絵画調の画像に変換する。つまり、画像変換部５００は、画像データ４１が表す画像に、手振れ、ピンぼけ、又は、露出不足が生じている場合に、その画像を、油絵風や水彩画風等の絵画調の画像に変換する。
具体的に画像変換部５００は、画像の輪郭成分の画素値を平均化して、滑らかな模様を有する画像にするための平均化処理、陰影を強調するための暗度強調処理、及び、輝度の階調の中間調を少なくし、画像の濃淡の差を強調する輝度補正処理等を行い、画像データ４１が表す画像を絵画調の画像に変換する。なお、これらの処理は、画像処理におけるフィルタ演算（フィルタを用いた演算）により行われる。そして、フィルタのパラメータは、変換する絵画調の種類に応じて適宜設定されている。
このようなフィルタによる画像変換は、一例として、アドビ・システムズ社のＰＨＯＴＯＳＨＯＰ（登録商標）における各種フィルタ（色鉛筆、水彩画、・・・）と同様の処理を行っている。そのため、加工内容が油絵風と決定されている場合に、画像変換部５００は、画像データ４１が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部５００は、画像データ４１が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
【００３４】
画像出力部６００は、上述した表示装置６０又は印刷装置７０からなり、画像データ４１が表す画像、又は、画像変換部５００が絵画調に変換した画像を出力する。つまり、絵画調に変換等された画像を表示し、又は、印刷する。例えば、図３（ａ）に示すようなピンぼけが生じている画像であれば、画像変換部５００により絵画調の画像に変換されるため、画像出力部６００は、図３（ｂ）に示すような絵画調（一例として、油絵風）に変換された画像を出力する。
このように、画像データ４１が表す画像に手振れ、ピンぼけ、又は、露出不足が生じている場合には、絵画調の画像に変換されて出力される。なお、一般的に、絵画は写真に比べて、にじみや混じり等があるのが前提であるため、このような絵画調の画像に変換することで、手振れやピンぼけを意識させずに、より見栄えのよい画像として出力可能となる。
【００３５】
以下、このような構成の第１実施形態に係る画像処理装置１の動作について、図面を参照して説明する。図４は、本発明の第１実施形態に係る画像処理装置１の画像変換処理の流れを示すフローチャートである。
なお、この画像変換処理は、上述したＲＯＭ２０内のプログラム２１として予め記憶されており、ＣＰＵ１０がプログラム２１を読み出して実行することで、実際の処理が行われるものとする。
【００３６】
（画像変換処理）
図４の画像変換処理は、第１実施形態に係る画像処理装置１が実行する処理であり、例えば、ユーザによる入力装置５０への操作を契機として開始される。
まず、画像処理装置１は、ユーザの操作に応じて出力する画像を選択する（ステップＳ１１）。例えば、各画像データ４１が表す画像についてのサムネイル画像（視認性を高めるために縮小させた画像）を表示装置６０に表示した状態で、入力装置５０を介したユーザの操作に基づいて、出力する画像を選択する。何れかの画像がユーザにより選択されると、画像データ読み出し部２００は、画像データ記憶部１００から選択された画像データ４１を読み出す。
【００３７】
続いて、画質判定部３００は、選択された画像について、画質判定処理を行う（ステップＳ１２）。つまり、画質判定部３００は、画像データ４１が表す画像を画像解析し、上述したように、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定する。また、上述したように、画質判定部３００は、撮影時に画像データ４１へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定してもよい。
【００３８】
続いて、画像処理装置１は、画質判定処理の判定結果に応じて、画質劣化の有無を判別する（ステップＳ１３）。つまり、画像データ４１が表す画像に手振れ、ピンぼけ、又は、露出不足が生じていたかどうかを判別する。ここで、画質劣化がないと判別すると（ステップＳ１３；Ｎｏ）、画像処理装置１は、後述するステップＳ１５に処理を進める。
【００３９】
一方、画質劣化があると判別した場合（ステップＳ１３；Ｙｅｓ）に、画像変換部５００は、絵画調変換処理を行う（ステップＳ１４）。つまり、加工内容決定部４００が加工内容を決定し、画像変換部５００は、その加工内容に従って、画像データ４１が表す画像を絵画調の画像に変換する。すなわち、手振れやピンぼけ等が生じている画像を、油絵風や水彩画風等の絵画調の画像に変換する。
具体的に画像変換部５００は、上述したように、フィルタ演算によって画像データ４１が表す画像を絵画調の画像に変換する。例えば、加工内容が油絵風と決定されている場合に、画像変換部５００は、画像データ４１が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部５００は、画像データ４１が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
【００４０】
そして、画像出力部６００は、画像データ４１が表す画像、又は、画像変換部５００が絵画調に変換した画像を出力する（ステップＳ１５）。すなわち、上述したステップＳ１３にて画質劣化がないと判別された場合には、画像出力部６００は、画像データ４１が表す画像をそのまま出力する。また、上述したステップＳ１４にて絵画調変換処理がなされている場合に、画像出力部６００は、絵画調に変換された画像を出力する。
例えば、上述した図３（ａ）のようなピンぼけが生じている画像は、画像変換部５００により絵画調の画像に変換されるため、画像出力部６００は、上述した図３（ｂ）のような絵画調（一例として、油絵風）の画像を出力する。
【００４１】
このように、撮影に失敗した画像（画像データ４１が表す画像に手振れ、ピンぼけ、又は、露出不足が生じている場合）は、画像変換処理等によって、絵画調の画像に変換されて出力される。なお、一般的に、絵画は写真に比べて、にじみや混じり等があるのが前提であるため、このような絵画調の画像に変換することで、手振れやピンぼけを意識させず
この結果、撮影に失敗した画像を適切に加工することができる。
【００４２】
（第１実施形態の変形例）
上記の第１実施形態では、デジタルフォトフレームに本願発明が適用された場合について説明したが、他の電子機器にも適宜適用可能である。例えば、デジタルカメラに本発明を適用してもよい。以下、第１実施形態の変形例として、デジタルカメラに本発明を適用した場合について説明する。図５は、本発明の第１実施形態の変形例に係る画像処理装置１の機能構成を示すブロック図である。
【００４３】
図５に示すように、画像処理装置１は、撮像部７００と、画像データ記憶部１００、画像データ読み出し部２００と、画質判定部３００と、加工内容決定部４００と、画像変換部５００と、画像出力部６００と、を備えている。つまり、上述した図２に示す画像処理装置１に撮像部７００を加えた構成となっている。
撮像部７００は、レンズ及びＣＣＤ（Charge Coupled Device）等のイメージセンサを備え、被写体となる人物等を含んだ画像を撮影する。なお、撮影した画像は、画像データ４１として、画像データ記憶部１００に格納される。
【００４４】
このような図５に示す構成の画像処理装置１は、撮影した画像について、画像変換処理を行う。具体的には、図６に示す画像変換処理を行う。この画像変換処理において、上述した図４の画像変換処理と同じ処理内容には、同じ参照符号を付している。つまり、図６に示す画像変換処理では、ステップＳ２１及び、ステップＳ２５を、図４の画像変換処理から変更している。
【００４５】
ステップＳ２１では、撮像部７００が、撮影を行い画像データ４１を生成して画像データ記憶部１００に格納する。その後のステップＳ１２からステップ１４までの処理は、図４の画像変換処理と同様である。つまり、画質劣化があると判定した場合に、画像変換部５００が絵画調変換処理を行う。
そして、ステップＳ２５では、画像データ４１が表す画像、又は、画像変換部５００が絵画調に変換した画像を格納する。なお、絵画調に変換する場合に、変換前の画像データも併せて格納するようにしてもよい。この場合、両方の画像を見比べることができ、また、ピンぼけ等により撮影に失敗した画像についても後で使用できる。
【００４６】
このように、デジタルカメラに本発明を適用した場合には、撮影した画像に画質劣化（手振れやピンぼけ等）がある場合に、絵画調に変換した画像を格納することができる。このため、撮影に失敗した画像であっても、適宜加工された画像が記録される。
【００４７】
（第２実施形態）
上記の第１実施形態では、画像データ４１が表す画像に画質劣化があれば、その画質劣化の度合いに拘わらず、その画像を全て絵画調の画像に変換する場合について説明した。しかしながら、画質劣化の度合いが小さい場合には、画質を向上させる画像補正を行うことも可能となる。
以下、画像データ４１が表す画像における画質劣化の度合いに基づいて、画像補正と、画像変換とを切り替えることを特徴とする画像処理装置１について、図面を参照して説明する。図７は、本発明の第２実施形態に係る画像処理装置１の機能構成を示すブロック図である。
【００４８】
図７に示すように、画像処理装置１は、画像データ記憶部１１０、画像データ読み出し部２１０と、画質判定部３１０と、補正・変換決定部４１０と、画像補正部５１０と、画像変換部５２０と、画像出力部６１０と、を備えている。
【００４９】
画像データ記憶部１１０は、上述した外部記憶装置４０からなり、画像データ４１を記憶している。つまり、画像データ記憶部１１０は、画像データ４１が表す画像に人物や風景等が写っている、上述した画像データ４１を複数記憶している。これらの画像データ４１の中には、撮影に失敗し、画像データ４１が表す画像にピンぼけや露出不足等が生じているものも含まれているものとする。
【００５０】
画像データ読み出し部２１０は、上述したＣＰＵ１０（より詳細には、外部記憶装置４０を制御するドライバプログラム）等からなり、画像データ記憶部１１０に記憶された画像データ４１を適宜読み出す。例えば、画像データ読み出し部２１０は、画像データ記憶部１１０に記憶された画像データ４１を所定の順番、又は、ランダムに読み出す。また、ユーザにより選択された画像データ４１を画像データ記憶部１１０から読み出してもよい。
【００５１】
画質判定部３１０は、上述したＣＰＵ１０（より詳細には、後述する画質判定処理を実行するＣＰＵ１０）等からなり、画像データ読み出し部２１０が読み出した画像データ４１が表す画像について、画質劣化の有無及び、画質劣化の度合いを判定する。例えば、画質判定部３１０は、画像データ４１が表す画像を画像解析し、手振れ、ピンぼけ、及び、露出不足の何れかが発生している場合に、画像データ４１が表す画像に画質劣化があると判定し、また、その画質劣化の度合いも判定する。一例として、画質判定部３１０は、上述した第１実施形態と同様に、特開２００７−２９５１８１号公報に記載された手法を用いて、手振れ、ピンぼけ、及び、露出不足が発生しているかどうか、及び、それぞれの度合いを判定する。
更に、画質判定部３１０は、上述した第１実施形態と同様に、撮影時に画像データ４１へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の発生及び、その度合いを判定してもよい。
【００５２】
補正・変換決定部４１０は、画質判定部３１０によって画質劣化があると判定されると、その画質劣化の度合いに基づいて、画質補正又は、画像変換を決定する。例えば、補正・変換決定部４１０は、算定された画質劣化の度合いと予め定められた閾値とを比較し、画質劣化の度合いが閾値よりも小さい場合に、画質補正を決定し、逆に、画質劣化の度合いが閾値以上であれば、画像変換を決定する。なお、画像変換を決定する際には、上述したような油絵風、水彩画風、色鉛筆画風等といった加工内容も決定する。
【００５３】
画像補正部５１０は、上述したＣＰＵ１０（より詳細には、後述する画像補正処理を実行するＣＰＵ１０）等からなり、補正・変換決定部４１０によって画像補正が決定された場合に、その画像データ４１が表す画像に対して、画像補正を行う。つまり、画像データ４１が表す画像についての画質劣化の度合いが比較的小さい場合に、画像補正部５１０は、その画像について画質を向上させるための画像補正を行う。一例として、画像補正部５１０は、特開２００７−１２９４９１号公報に記載された手法を用いて、手振れを補正し、また、特開２００６−２７９３５９号公報に記載された手法を用いて、露出不足を補正する。
まず、手振れの場合に、画像補正部５１０は、画像データ４１が表す画像に対してフーリエ変換や逆フーリエ変換を行って劣化成分を推定し、その劣化成分を基にデコンボリューション演算（逆畳み込み積分）を行うことによって、手振れを補正する。
また、露出不足の場合に、画像補正部５１０は、輝度分布の変換処理により露出不足を補正する。つまり、画像補正部５１０は、画像データ４１が表す画像の輝度分布ヒストグラム（輝度分布図）を、線形若しくは非線形の変換式によって、出力輝度分布ヒストグラムに変換して、露出不足を補正する。
また、ピンぼけの場合に、画像補正部５１０は、例えば、フィルタ演算によってピンぼけを補正する。つまり、アンシャープ用のパラメータが設定されたフィルタ演算を行い、画像データ４１が表す画像を補正する。
【００５４】
画像変換部５２０は、上述したＣＰＵ１０（より詳細には、後述する画像変換処理を実行するＣＰＵ１０）等からなり、補正・変換決定部４１０によって画像変換が決定された場合に、その画像データ４１が表す画像を絵画調の画像に変換する。つまり、画像変換部５２０は、画像データ４１が表す画像についての画質劣化の度合いが比較的大きい場合に、上述した第１実施形態と同様に、その画像データ４１が表す画像を、油絵風や水彩画風等の絵画調の画像に変換する。
例えば、加工内容が油絵風と決定されている場合に、画像変換部５２０は、画像データ４１が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部５２０は、画像データ４１が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
【００５５】
画像出力部６１０は、上述した表示装置６０又は印刷装置７０からなり、画像補正部５１０が画像補正した画像や、画像変換部５２０が画像変換した画像を出力する。つまり、絵画調に変換等された画像を表示し、又は、印刷する。例えば、図８（ａ）に示すような比較的程度が小さいピンぼけが生じている画像であれば、画像補正部５１０により画像補正がされるため、画像出力部６１０は、図８（ｂ）に示すような補正後の画像を出力する。また、図８（ｃ）に示すような比較的程度が大きいピンぼけが生じている画像であれば、画像変換部５２０により画像変換されるため、画像出力部６１０は、図８（ｄ）に示すような変換後（一例として、色鉛筆風の絵画調に変換された後）の画像を出力する。
このように、画像データ４１が表す画像における画質劣化の度合いに基づいて、画像補正と、画像変換とが切り替えられるため、より適切な加工がなされた画像が出力される。
【００５６】
以下、このような構成の第２実施形態に係る画像処理装置１の動作について、図面を参照して説明する。図９は、本発明の第２実施形態に係る画像処理装置１の補正・変換処理の流れを示すフローチャートである。
なお、この補正・変換処理は、上述したＲＯＭ２０内のプログラム２１として予め記憶されており、ＣＰＵ１０がプログラム２１を読み出して実行することで、実際の処理が行われるものとする。
【００５７】
（画像変換処理）
図９の画像変換処理は、第２実施形態に係る画像処理装置１が実行する処理であり、例えば、ユーザによる入力装置５０への操作を契機として開始される。
まず、画像処理装置１は、画像処理の対象となる新たな画像を選択する（ステップＳ３１）。例えば、各画像データ４１が表す画像についてのサムネイル画像（視認性を高めるために縮小させた画像）を表示装置６０に表示した状態で、入力装置５０を介したユーザの操作に基づいて、画像処理する画像を選択する。何れかの画像がユーザにより選択されると、画像データ読み出し部２１０は、画像データ記憶部１１０から選択された画像データ４１を読み出す。
【００５８】
続いて、画質判定部３１０は、選択された画像において画質劣化があるか否かを判別する（ステップＳ３２）。つまり、画質判定部３１０は、画像データ４１が表す画像を画像解析し、上述したように、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定する。また、上述したように、画質判定部３１０は、撮影時に画像データ４１へ付加された情報に基づいて、手振れ、ピンぼけ、及び、露出不足の何れかが発生しているかどうかを判定してもよい。
ここで、画像処理装置１は、選択された画像に画質劣化がないと判別すると（ステップＳ３２；Ｎｏ）、後述するステップＳ３９に処理を進める。
【００５９】
一方、選択された画像に画質劣化があると判別した場合（ステップＳ３２；Ｙｅｓ）に、画質判定部３１０は、画質劣化の度合いを算出する（ステップＳ３３）。つまり、発生している手振れ、ピンぼけ、及び、露出不足の何れかの度合いを算出する。
【００６０】
続いて、画像処理装置１は、算出された画質劣化の度合いが予め定められた閾値以上であるか否かを判別する（ステップＳ３４）。ここで、画質劣化の度合いが閾値未満であると判別すると（ステップＳ３４；Ｎｏ）、画像補正部５１０は、画像補正処理を行う（ステップＳ３５）。つまり、画像補正部５１０は、閾値未満である手振れ、露出不足、及び、ピンぼけの何れかに応じて、画像データ４１が表す画像の画質を向上させる画像補正を行う。例えば、手振れの場合に、画像補正部５１０は、画像データ４１が表す画像に対してフーリエ変換や逆フーリエ変換を行って劣化成分を推定し、その劣化成分を基にデコンボリューション演算（逆畳み込み積分）を行うことによって、手振れを補正する。
【００６１】
一方、算出された画質劣化の度合いが閾値以上であると判別した場合（ステップＳ３４；Ｙｅｓ）に、画像変換部５２０は、画像変換処理を行う（ステップＳ３６）。つまり、画像変換部５２０は、補正・変換決定部４１０が決定した加工内容に従って、画像データ４１が表す画像を絵画調の画像に変換する。すなわち、手振れやピンぼけ等が生じている画像を、油絵風や水彩画風等の絵画調の画像に変換する。
具体的に画像変換部５２０は、上述したように、フィルタ演算によって画像データ４１が表す画像を絵画調の画像に変換する。例えば、加工内容が油絵風と決定されている場合に、画像変換部５２０は、画像データ４１が表す画像に対して、油絵風のパラメータが設定されたフィルタ演算を行い、その画像を油絵風の画像に変換する。この他にも、例えば、加工内容が水彩画風と決定されている場合に、画像変換部５２０は、画像データ４１が表す画像に対して、水彩画風のパラメータが設定されたフィルタ演算を行い、その画像を水彩画風の画像に変換する。
【００６２】
画像出力部６１０は、画像補正部５１０により画像補正された画像、又は、画像変換部５２０により画像変換された画像を出力する（ステップＳ３７）。例えば、図８（ａ）に示すような比較的程度が小さいピンぼけが生じている画像であれば、画像補正部５１０により画像補正がされるため、画像出力部６１０は、図８（ｂ）に示すような補正後の画像を出力する。また、図８（ｃ）に示すような比較的程度が大きいピンぼけが生じている画像であれば、画像変換部５２０により画像変換されるため、画像出力部６１０は、図８（ｄ）に示すような変換後（一例として、色鉛筆風の絵画調に変換された後）の画像を出力する。
【００６３】
画像処理装置１は、ユーザの操作に応じて、画像補正後又は、画像変換後の画像を保存する（ステップＳ３８）。つまり、ユーザが図８（ｂ）に示すような画像補正後の画像図８（ｄ）に示すような画像変換後の画像を保存したい場合に、その保存を指示する操作に応じて、画像処理装置１は、画像補正後又は、画像変換後の画像についての画像データを、画像データ記憶部１１０に保存する。その際、元の画像データ４１に上書きしてもよく、また、上書きせずに別名で保存してもよい。
【００６４】
画像処理装置１は、終了指示を検出したか否かを判別する（ステップＳ３９）。つまり、上述した入力装置５０を介して、補正・変換処理の終了が指示されたかどうかを判別する。ここで、終了指示が検出されなかったと判別すると（ステップＳ３９；Ｎｏ）、画像処理装置１は、ステップＳ３１に処理を戻し、上述したステップＳ３１〜Ｓ３９の処理を再度実行する。
一方、終了指示が検出された判別した場合（ステップＳ３９；Ｙｅｓ）に、画像処理装置１は、補正・変換処理を終える。
【００６５】
このように、画像変換処理等によって、画像データ４１が表す画像に、比較的度合いの小さな手振れやピンぼけ等が生じている場合には、画質を向上させるための画像補正がなされる。一方、画像データ４１が表す画像に、比較的度合いの大きな手振れやピンぼけ等が生じている場合には、絵画調の画像に変換する画像変換がなされる。
このため、画像データ４１が表す画像における画質劣化の度合いに基づいて、画像補正と、画像変換とを切り替えることができ、より適切に画像を加工することができる。
【００６６】
（第２実施形態の変形例）
上記の第２実施形態では、デジタルフォトフレームに本願発明が適用された場合について説明したが、他の電子機器にも適宜適用可能である。例えば、デジタルカメラに本発明を適用してもよい。以下、第２実施形態の変形例として、デジタルカメラに本発明を適用した場合について説明する。図１０は、本発明の第２実施形態の変形例に係る画像処理装置１の機能構成を示すブロック図である。
【００６７】
図１０に示すように、画像処理装置１は、撮像部７１０と、画像データ記憶部１１０、画像データ読み出し部２１０と、画質判定部３１０と、補正・変換決定部４１０と、画像補正部５１０と、画像変換部５２０と、画像出力部６１０と、を備えている。つまり、上述した図７に示す画像処理装置１に撮像部７１０を加えた構成となっている。
撮像部７１０は、レンズ及びＣＣＤ（Charge Coupled Device）等のイメージセンサを備え、被写体となる人物等を含んだ画像を撮影する。なお、撮影した画像は、画像データ４１として、画像データ記憶部１１０に格納される。
【００６８】
このような図１０に示す構成の画像処理装置１は、撮影した画像について、補正・変換処理を行う。具体的には、図１１に示す補正・変換処理を行う。この補正・変換処理において、上述した図９の補正・変換処理と同じ処理内容には、同じ参照符号を付している。つまり、図１１に示す画像変換処理では、ステップＳ４１を、図９の補正・変換処理から変更している。なお、撮影毎に補正・変換を行うため、ステップＳ３９は、省いている。
【００６９】
ステップＳ４１では、撮像部７１０が、撮影を行い画像データ４１を生成して画像データ記憶部１１０に格納する。その後のステップＳ３２からステップ３８までの処理は、図９の補正・変換処理と同様である。つまり、画質劣化の度合いに応じて、画像補正処理又は、画像変換処理が行われる。
【００７０】
このように、デジタルカメラに本発明を適用した場合には、撮影した画像に画質劣化（手振れやピンぼけ等）がある場合に、その画質劣化の度合いに応じて、画像補正後又は、画像変換後の画像を格納することができる。このため、撮影に失敗した画像であっても、適宜加工された画像が記録される。
【００７１】
（他の変形例）
上述した実施形態では、画像データ４１が表す画像について、画質劣化（手振れやピンぼけ等）の有無を判定して、絵画調変換等する場合について説明したが、他の条件に基づいて、絵画調変換等してもよい。例えば、連写機能を有するデジタルカメラにて撮影された一連の画像データ４１がある場合に、それらの画像データ４１が表す連写画像群の中から少なくとも１つの画像を選択し、その画像について、絵画調変換してもよい。
例えば、このような連写機能が用いられる際には、ある程度余裕を持って撮影を開始する（早めに撮影を開始する）場合が多い。そのため、一番最初に撮影された画像等は、ユーザにとったあまり重要でないものとなる可能性が高い。そこで、連写画像群の最初の画像について、絵画調変換を行ってもよい。
【産業上の利用可能性】
【００７２】
以上説明したように、本発明によれば、撮影に失敗した画像を適切に加工することができる画像処理装置、及び、画像加工プログラムを提供することができる。
【符号の説明】
【００７３】
１・・・画像処理装置、１０・・・ＣＰＵ、２０・・・ＲＯＭ、２１・・・プログラム、３０・・・ＲＡＭ、４０・・・外部記憶装置、４１・・・画像データ、５０・・・入力装置、６０・・・表示装置、７０・・・印刷装置、８０・・・通信Ｉ／Ｆ、１００，１１０・・・画像データ記憶部、２００，２１０・・・画像データ読み出し部、３００，３１０・・・画質判定部、４００・・・加工内容決定部、４１０・・・補正・変換決定部、５００，５２０・・・画像変換部，５１０・・・画像補正部、６００，６１０・・・画像出力部、７００，７１０・・・撮像部
【図１】
2011138272.tif 000003
【図２】
2011138272.tif 000004
【図４】
2011138272.tif 000005
【図５】
2011138272.tif 000006
【図６】
2011138272.tif 000007
【図７】
2011138272.tif 000008
【図９】
2011138272.tif 000009
【図１０】
2011138272.tif 000010
【図１１】
2011138272.tif 000011
【図３】
2011138272.tif 000012
【図８】
2011138272.tif 000013