(57)【要約】【課題】撮影シーンを簡易な方法で推定することができるシーン推定装置および画像処理装置を提供する。【解決手段】プリンタ装置１は、画像データに基づいて画像のシャープネス強度値を算出し、算出されたシャープネス強度値に基づいて、撮影シーンを推定する。プリンタ装置１は、推定された撮影シーンに応じたシャープネス変更処理を行うことにより、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。【選択図】          図２
2004215005.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、
ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段と、
前記ディジタル画像のシャープネス強度を変更する変更手段と、
前記シャープネス強度値および前記撮影シーン情報に基づいて、前記変更手段による変更処理を制御する制御手段とを有する画像処理装置。
【請求項２】
シャープネス強度値と、ディジタル画像が撮影されたシーンの分類とを対応付けるシーン分類手段をさらに有し、
前記制御手段は、算出されたシャープネス強度値に対応するシーン分類と、撮影シーン情報とに基づいて、前記変更手段による変更処理を制御する
請求項１に記載の画像処理装置。
【請求項３】
前記シーン分類手段は、ディジタル画像の画素数に応じて、シーン分類に対応するシャープネス強度値を補正する
請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記シャープネス強度値および前記撮影シーン情報が風景シーンに対応する場合に、前記ディジタル画像のシャープネスをより強調するように前記変更手段を制御する
請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記制御手段は、前記シャープネス強度値および前記撮影シーン情報が人物シーンに対応する場合に、前記ディジタル画像のシャープネスをより弱くするように前記変更手段を制御する
請求項１〜３のいずれかに記載の画像処理装置。
【請求項６】
前記制御手段は、前記シャープネス強度値が既定値よりも低い場合に、前記変更手段による変更処理を禁止する
請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、
算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定する推定手段とを有するシーン判定装置。
【請求項８】
ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段をさらに有し、
前記推定手段は、算出されたシャープネス強度値と、抽出された撮影シーン情報とに基づいて、撮影シーンを推定する
請求項７に記載のシーン判定装置。
【請求項９】
前記推定手段は、算出されたシャープネス強度値、および、抽出された撮影シーン情報の少なくとも一方が人物シーンに対応する場合に、撮影シーンを人物シーンであると推定する
請求項８に記載のシーン判定装置。
【請求項１０】
ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、
ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出し、
算出されたシャープネス強度値、および、抽出された撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更する
画像処理方法。
【請求項１１】
ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、
算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定する
シーン判定方法。
【請求項１２】
コンピュータを含む画像処理装置において、
ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、
ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するステップと、
前記ディジタル画像のシャープネス強度を変更する変更手段と、
前記シャープネス強度値および前記撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更するステップとを前記画像処理装置のコンピュータに実行させるプログラム。
【請求項１３】
コンピュータを含むシーン推定装置において、
ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、
算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定するステップとを前記シーン推定装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタルスチルカメラ等で撮影されたディジタル画像に対して、撮影条件に応じた画像処理を可能にする画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラムに関する。
【０００２】
【従来の技術】
画像データに撮影時の情報を付加し、付加された撮影時の情報に応じて画像処理を行う形態が提案されている。例えば、フィルムに磁気的もしくは光学的に記録されたシーン情報に応じて、画像処理条件を設定する画像処理方法（例えば、特許文献１）や、撮影日時等の付加的な情報を画像データと共に取得し、これらの付加的な情報に基づいて撮影シーンを推定し画像処理を行う画像処理方法（例えば、特許文献２）が開示されている。
【０００３】
【特許文献１】
特開平１１−２３９２６９号公報
【特許文献２】
特開２００１−２３８１７７号公報
【０００４】
【発明が解決しようとする課題】
本発明は、上述した背景からなされたものであり、画像のシャープネス度合いに基づいて、画像の撮影シーンを推定するシーン判定装置を提供することを目的とする。また、シャープネス度合いに基づいて推定された撮影シーンに応じて、画像調整処理を施すことができる画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる画像処理装置は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段と、前記ディジタル画像のシャープネス強度を変更する変更手段と、前記シャープネス強度値および前記撮影シーン情報に基づいて、前記変更手段による変更処理を制御する制御手段とを有し、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【０００６】
また、本発明の画像処理装置は、シャープネス強度値と、ディジタル画像が撮影されたシーンの分類とを対応付けるシーン分類手段をさらに有し、前記制御手段は、算出されたシャープネス強度値に対応するシーン分類と、撮影シーン情報とに基づいて、前記変更手段による変更処理を制御する。これにより、入力画像に対して撮影シーン情報を付加することができる。
【０００７】
また、前記シーン分類手段は、ディジタル画像の画素数に応じて、各シーン分類に対応する。したがって、種々の画像サイズに寄与したシャープネス度合いの判定のばらつきを抑えることができる。
【０００８】
また、前記制御手段は、前記シャープネス強度値および前記撮影シーン情報が風景シーンに対応する場合に、前記ディジタル画像のシャープネスをより強調するように前記変更手段を制御し、前記シャープネス強度値および前記撮影シーン情報が人物シーンに対応する場合に、前記ディジタル画像のシャープネスをより弱くするように前記変更手段を制御してもよい。すなわち、本発明の画像処理装置は、画像解析から撮影シーンを推定し、シャープネス度合いを修正する場合に、添付された画像情報などから風景シーンとわかった場合に、自動的にシャープネスをより強調した補正をし、人物シーンとわかった場合に、自動的にシャープネス強調をより弱くすることを特徴とする。
また、前記制御手段は、前記シャープネス強度値が既定値よりも低い場合に、前記変更手段による変更処理を禁止してもよい。すなわち、本発明の画像処理装置は、シャープネス度合いを含む画像の特徴量を算出し、その度合いに応じたシャープネス補正を実施する場合、シャープネス度合いが所定値以下の場合、シャープネス補正を行わないことを特徴とする。
【０００９】
［シーン判定装置］
また、本発明のシーン判定装置は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定する推定手段とを有する。すなわち、本発明のシーン判定装置は、ディジタル画像から原画の持つシャープネス度合いを算出する手段を有し、該シャープネス度合いに応じて原画の撮影シーンを推定することを特徴とする。
また、シーン判定装置は、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段をさらに有し、前記推定手段は、算出されたシャープネス強度値と、抽出された撮影シーン情報とに基づいて、撮影シーンを推定してもよい。すなわち、本発明のシーン判定装置は、推定された撮影シーンを、ディジタル画像にタグとして添付された撮影シーンに応じて推定シーン分類を修正することを特徴とする。
さらに、前記推定手段は、算出されたシャープネス強度値、および、抽出された撮影シーン情報の少なくとも一方が人物シーンに対応する場合に、撮影シーンを人物シーンであると推定してもよい。すなわち、本発明のシーン判定装置は、推定された撮影シーンと添付された撮影シーンとが異なる場合、人物優先と判定することを特徴とする。
【００１０】
ディジタルスチルカメラ撮影の画像信号などには、撮影状況を記録したチャンク情報やタグ情報（付属情報）を画像形式（例えば、ＥＸＩＦ２．２）に保持している。
そのため、画像画素数、解像度、シーン分類などシャープネスに関わる付属情報も利用しても良い。もちろん、ＥＸＩＦの画像形式の付属情報はディジタルスチルカメラ画像形式に限らない。さらに、可逆圧縮にて高精度の撮影情報を保持できる画像形式ＴＩＦＦ等においても、同様にチャンク情報やタグ情報（付属情報）を利用してもよい。
【００１１】
［画像処理方法］
また、本発明の画像処理方法は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出し、算出されたシャープネス強度値、および、抽出された撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更する。
【００１２】
［シーン判定方法］
また、本発明のシーン判定方法は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定する。
【００１３】
［プログラム］
また、本発明のプログラムは、コンピュータを含む画像処理装置において、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するステップと、前記ディジタル画像のシャープネス強度を変更する変更手段と、前記シャープネス強度値および前記撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更するステップとを前記画像処理装置のコンピュータに実行させる。
また、本発明のプログラムは、コンピュータを含むシーン推定装置において、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定するステップとを前記シーン推定装置のコンピュータに実行させる。
【００１４】
【発明の実施の形態】
［背景］
まず、本発明の理解を助けるために、その背景を説明する。
ディジタル画像の画品質（色・階調再現やシャープネスなど）は、ディジタル画像信号の特性、画像が出力されるカラー画像記録装置および画像記録材料の画品質に関する特性、又は、画像表示装置の画品質に関する特性で決定される。
反射原稿を読み込むカラースキャナ装置から入力されるディジタル画像信号は、反射原稿の画品質を維持することを目的にすれば、カラースキャナ装置の画品質に関する特性を補正するようなカラー画像処理、または、出力装置の特性を補正するようなカラー画像処理を利用することで、ある程度原稿に近い画品質を得ることができる。
例えば、カラー複写機などに用いられる画像処理がある。これらは入力されたディジタル画像信号（入力画像信号）に対して、入力装置、カラー画像記録装置、表示装置、又は画像記録材料の特性に合わせた補正（最適化）を目的とする処理方法として分類される。一方、ディジタルスチルカメラなどで、一般のシーンを撮影してディジタル化された画像の場合、入力装置であるカメラ機器の特性のみでなく、被写体の状態や、撮影条件が画品質の観点から様々な状況が想定されるため、入力のディジタル画像の画品質が特定できなかったり、不明な場合が多い。そのような入力画像信号の場合、画像の解析を行い、撮影シーンや撮影状況を推定しながら、好ましいと思われる画品質の調整を行なう必要があった。
後者の場合、主観的に好ましく画像を再現することを目的とする処理方法として分類される。
【００１５】
入力画像信号を調整するための画像処理装置での色補正処理は、コントラスト調整や色味のバランス調整、ホワイトバランス調整、かぶり補正等の技術で構成される他、空間処理的な補正としては、エッジ強調を含むシャープネス強調、解像度変換、ノイズ除去等の技術で構成されている。
【００１６】
画品質の中でも、階調や色品質に比べて、シャープネス品質に関しては、補正方法や補正パラメータの設定が難しい。
なぜならば、デジタルカメラでの撮影の場合、被写体の状況が様々であることや、撮影時の状態（ピントや手ぶれなど）、記録時の圧縮状態等、種々の要因に特性が左右されているためである。
そのため、前記した撮影状態などの情報からは、一概に好ましい処理パラメータが得られない。
【００１７】
空間補正処理は、機器の特性を前もって入手可能な限られた情報で記述したシャープネス補正フィルタを利用して、画像処理を施す仕組みになっていることが一般的である。
しかし、機器補正の情報は、ディジタル画像その物の情報とは独立した情報であるため、前述した撮影条件などにより、ディジタル画像にとって最適な出力条件を考慮しておらず、バランスが崩れたディジタル画像を出力されることもある。
【００１８】
ディジタル画像信号の調整を行う最善の施策は、利用者が利用している表示・出力装置で、表示・出力画像の程度を確認しつつ好みにあった処理を施す方法である。しかし、この方法では、利用者に画像処理の経験及び作業時間を要求するといった問題が生じる。そのため、画像処理装置は、最小の手間、もしくは自動で画像そのものから情報を獲得する画像計測及び画質調整を施す方法（自動画質調整技術）を備えることも提案されている。
【００１９】
前述の自動画質調整技術でのシャープネス処理は、ディジタル画像からシャープネス度合い（エッジ度合いや画像ノイズ等が複合した程度を表す）を測り、計測結果に応じてシャープネス処理を施す機能が想定される。
【００２０】
また、シャープネス処理の問題は、単純に、暈し処理を施すと高精細な再現（キメ）がなくなり、シャープネス度合いが下がり、シャープネス強調処理でシャープネスが強すぎると、肌の荒れ（肌荒れ）、無彩色部でのノイズやエッジ部の境界の破綻（リンギング）が目立つことで不快と感じることである。この問題は、通常のシャープネス処理技術が、鮮鋭度（シャープネス度合い）と共にシャープネス阻害が変化し、それぞれを独立に制御できないことに起因している。このため、ディジタル画像信号の情報だけでは上記問題を根本的に解決することが困難であった。
【００２１】
この問題に対応するには、測定量として、シャープネス度合いと共に、シャープネスの良好さを阻害する又は劣化した量（シャープネス阻害量）を反映させたシャープネスの好ましさの度合い（シャープネス嗜好度）が必要である。この問題解決するために、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする発明が本発明者らによりなされている。
【００２２】
同様に、画像信号そのものから画像の特性を測る技術、特に、シャープネス計測の技術は、幾つかの方法が提案されている。例えば、鮮鋭度評価方法は微分画像（ベクトル画像、またはエッジ画像）の信号強度の総和を鮮鋭度の評価値とする鮮鋭度評価手法（三宅洋一：テレビジョン学会誌，４３，１１（１９８９））が提案されている。三宅は微分画像を経て、画素のエッジ強度値の総和を利用することを提案している。一方、ガウス性雑音、インパルス性雑音が混在する混合雑音で劣化した画像信号に対しては、計測・判定手段を利用した方法（Ｙ．Ｈ．Ｌｅｅ，Ｓ．Ａ．Ｋａｓｓａｍ，  Ｇｅｎｅｒａｌｉｚｅｄ  ｍｅｄｉａｎ  ａｌｔｅｒｉｎｇ  ａｎｄ  ｒｅｌａｔｅｄ  ｎｏｎ−ｌｉｎｅａｒ  ａｌｔｅｒｉｎｇｔｅｃｈｎｉｑｕｅｓ”，  ＩＥＥＥ  Ｔｒａｎｓ．Ａｃｏｕｓｔ．，  Ｓｐｅｅｃｈ  ＆  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．ＡＳＳＰ−３３，  ｎｏ．３，  ｐｐ．６７２−６８３，  Ｊｕｎｅ  １９８７．）が知られている。但し、このような例は、画像のシャープネス度合いを計測することが目的であり、それらを用いて、入力画像の撮影シーンの推定に適用するものはなかった。
【００２３】
また、最近のディジタルスチルカメラ撮影の画像信号などの画像形式では、利用者が指定した撮影シーンを保持できる仕組みがある。例えば、ディジタルスチルカメラの標準フォーマットであるＥＸＩＦ規格では、標準の他に、人物・風景・夜景等を指定できる。このように、撮影時にある程度撮影シーンを特定できる情報をタグとして付加しておくことで、後処理において前記した画品質の調整等に利用できるようになってきている。
しかしながら、このようなタグのみではシャープネス調整に適した分類であるとは限らず、解析した推定シーンとあわせて処理方法やパラメータを考慮する必要があった。
さらに撮影者が、撮影時に適切なシーン選択をするとは限らず、標準で利用することや前回設定のままで撮影を行うことで被写体と異なる撮影シーン情報を間違って記録する場合もあるものと考えられる。
そのため、画像処理や画像検索等のために、適切な撮影シーンを得る施策として、例えば、画像形式だけで判断するのではなく、何らかの情報を利用してシーンの誤判定を検出する汎用的な仕組みも必要となる。
【００２４】
そこで、本発明にかかるシーン判定装置は、画像データのシャープネス強度に基づいてシーンを判定する。また、本発明にかかる画像処理装置は、画像データのシャープネス強度に基づいてシーンを判定し、判定されたシーンに応じて画像のシャープネスを変更する。
【００２５】
［第１の実施形態］
次に、本発明の第１の実施形態について図面を用いて説明する。
図１は、本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
図１に示すように、プリンタ装置１は、制御装置２およびコピー装置本体１０から構成される。
制御装置２は、ＣＰＵ２０２およびメモリ２０４などを含む制御装置本体２０と、通信装置２２と、ＨＤＤ・ＣＤ装置などの記録装置２４と、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６とから構成される。
プリンタ装置１は、ディジタルスチルカメラ等で撮影された画像データを、通信装置２２または記録装置２４を介して取得し、画像データに基づいて撮影シーンを判定する。そして、プリンタ装置１は、撮影シーンの判定結果に応じてシャープネス調整処理などの画像処理を行い、画像処理された画像データをシート上に印刷する。
ここで、プリンタ装置１が判定する撮影シーンとは、シャープネス度合いと撮影シーンとを複合した分類であり、対応テーブルとしてだけでなく、特徴量として求めても良い。本実施形態では、「ピンボケ」、「人物」、「物」、「風景」、「複雑なシーン」を撮影シーンの具体例として以下説明する。
なお、プリンタ装置１が行う画像処理は、空間補正を行うシャープネス調整処理などであり、システム系の線形性を仮定したシステム伝達関数（ＭＴＦ）などで記述する処理手法に限定されないものである。
【００２６】
図２は、制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
図２に示すように、画像処理プログラム５は、シーン判定部５００（シーン判定装置）、シャープネス処理部５４０、制御部５５０および画像出力部５６０から構成される。
また、シーン判定部５００は、画像データ取得部５１０、強度値算出部５２０および撮影シーン推定部５３０を含み、強度値算出部５２０は、明度・輝度信号変換部５２２、帯域処理部５２４およびシャープネス計測部５２６を含む。
画像処理プログラム５は、例えば記録媒体２４０（図１）を介して制御装置２に供給され、メモリ２０４にロードされて実行される。
【００２７】
画像処理プログラム５において、シーン判定部５００およびシャープネス処理部５４０には、自然画を含んだディジタル画像がＲＧＢ色空間の画像信号として入力される。なお、本実施形態において入力される画像信号は、もとの状態の画像信号だけでなく、最適な出力条件を求める場合に得られた途中経過のディジタル画像としてもよい。更に、この他にも、少なくとも入力画像信号の計測結果と同程度以上の良好なディジタル画像であれば如何なるものも適用することが可能である。
【００２８】
シーン判定部５００において、画像データ取得部５１０は、通信装置２２または記録装置２４を介して、ディジタルの画像データを取得すると、強度値算出部５２０およびシャープネス処理部５４０に対して出力する。
強度値算出部５２０において、明度・輝度信号変換手段５２２は、画像データ取得部５１０から入力された画像データについて、ＲＧＢ色空間からＹＣｒＣｂ色空間の輝度信号（＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）に変換し、帯域処理部５２４に対して出力する。ここで輝度信号は、ｓＹＣＣ色空間に準拠した輝度信号や三刺激値ＣＩＥ  ＸＹＺやＧ信号だけでも良い。但し、高精度の処理を行うためには、画像データの輝度信号は、ＣＩＥＬＡＢ信号のＬ＊、あるいは、主成分分析またはＫ−Ｌ変換した信号であってもよい。なお、上記に限定されず、本実施形態において明度・輝度信号変換手段５２２が変換する輝度・明度情報は、明るさを表す信号であれば、知覚量の均等性と処理速度に応じて適宜変更可能である。ここで、シャープネス処理は、便宜上、知覚的に等歩的な明度または輝度の画像信号を対象に説明を行うが、本実施形態において、上記画像信号を含む処理であるなら特に限定しない。
【００２９】
帯域処理部５２４は、明度・輝度信号変換部５２２から入力された画像データの輝度信号に対して、所定の帯域処理を行い、中高周波数帯域だけの信号（以下、これを微分画像信号という）を生成し、シャープネス計測部５２６に対して出力する。
この帯域処理において、処理速度を考慮する場合、１次微分を適用するとよいが、像が暈ける現象の基本要因の１つである拡散仮定と視覚特性とが２次微分画像と深く関わるため、本実施形態では２次微分画像を生成する場合を適用する。
例えば、帯域処理部５２４は、微分画像として、２次微分画像を生成する。
２次微分画像は、下記（式１）に基づいて算出される。例えば、２次微分画像（Ｆｘ）は、元の画像信号に対して図３に例示するアンシャープマスク（ＵＳＭ）フィルタ６００を作用させて暈した輝度画像信号Ｆｂを求め、輝度画像信号Ｆからこの輝度画像信号Ｆｂを除いた輝度画像信号の絶対値として算出される。
Ｆｘ＝｜Ｆ−Ｆｂ｜・・・（式１）
【００３０】
シャープネス計測部５２６は、帯域処理部５２４から入力された微分画像信号に基づいて、シャープネス強度値を算出し、撮影シーン推定部５３０に対して出力する。シャープネス計測部５２６は、例えば、以下の（式２）のようにシャープネス強度値を算出する。すなわち、シャープネス計測部５２６は、微分画像信号における評価対象領域の強度値の総和ΣＦｘを評価対象領域の画素数Ｐで正規化し、正規化した強度値の総和に任意の係数Ｋを乗算してシャープネス強度値Ｓｄを求める。
Ｓｄ＝Ｋ×ΣＦｘ／Ｐ・・・（式２）
【００３１】
撮影シーン推定部５３０は、シャープネス計測部５２６から入力されたシャープネス強度値に基づいて、撮影シーンを推定し、撮影シーンを識別する情報を制御部５５０に対して出力する。撮影シーン推定部５３０は、例えば、「ピンボケ」、「人物」、「物」、「風景」および「複雑なシーン」の順にシャープネス強度値が大きくなるように、シャープネス強度値の範囲を各撮影シーンに割り当てた判定テーブルを保持し、判定テーブルに基づいて撮影シーンを推定する。
【００３２】
制御部５５０は、撮影シーン推定部５３０が推定した撮影シーンに応じて、シャープネスの変更量を決定し、変更量に応じた制御信号をシャープネス処理部５４０に対して出力する。すなわち、制御部５５０は、シャープネス強度値に応じて、シャープネスの変更量を設定し、シャープネス処理部５４０に画像のシャープネス強度を変更させる。
例えば、制御部５５０は、図４に例示する補正テーブルに基づいて、撮影シーン（シャープネス強度値）に応じたシャープネス変更量を決定する。すなわち、制御部５５０は、ピンボケ画像に対してはシャープネス変更処理を禁止し、人物画像に対してはシャープネス強度を小さくするよう制御する。また、制御部５５０は、風景画像に対してはシャープネス強度を上げて、微小部分を鮮鋭な画像に変換させる。
【００３３】
シャープネス処理部５４０は、制御部５５０からの制御信号に応じて、画像データのシャープネス強度を変更して、画像出力部５６０に対して出力する。
画像出力部５６０は、プリンタ装置本体１０のプリントエンジン（不図示）を制御して、シャープネス処理部５４０から入力された画像データをシート上に印刷させる。また、画像出力部５６０は、ＵＩ装置２６を制御して、シャープネス処理部５４０から入力された画像データをＬＣＤ表示装置等に表示させてもよい。
【００３４】
なお、制御部５５０は、シャープネス強度値と、シャープネスの変更量とを対応付ける補正テーブルを有してもよく、この場合、撮影シーン推定部５３０による撮影シーンの判定処理は必須ではない。
また、撮影シーン推定部５３０は、シャープネス強度値に応じて撮影シーンを推定し、画像データに対して撮影シーン情報を付加することができる。
また、入力される画像データの画素数、および、出力される画像の大きさによって、人間が感じるシャープネス度合いが異なる。そこで、撮影シーン推定部５３０は、画像データの画素数（画像サイズ）に応じて、各撮影シーンに対応するシャープネス強度値の範囲を変化させてもよい。
【００３５】
［動作］
以下、プリンタ装置１の動作を説明する。
図５は、プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
ステップ１００（Ｓ１００）において、プリンタ装置１は、通信装置２２または記録装置２４を介して、画像データを取得し、ノイズ除去、ホワイトバランス補正、露出補正等の補正処理を行る。
画像データ取得部５１０は、これらの補正処理がなされた画像データを取得し、明度・輝度信号変換部５２２およびシャープネス処理部５４０に対して出力する。
【００３６】
ステップ１０２（Ｓ１０２）において、明度・輝度信号変換部５２２は、画像データのＲＧＢ信号を輝度信号に変換し、帯域処理部５２４に対して出力する。
帯域処理部５２４は、輝度信号に基づいて、微分画像を生成し、シャープネス計測部５２６に対して出力する。シャープネス計測部５２６は、微分画像に基づいて、シャープネス強度値を算出し、撮影シーン推定部５３０に対して出力する。
【００３７】
ステップ１０４（Ｓ１０４）において、撮影シーン推定部５３０は、「ピンボケ」、「人物」、「物」、「風景」および「複雑なシーン」等の画像グループと、シャープネス強度値の範囲とを互いに対応付ける判定テーブルを参照して、シャープネス強度値に応じた撮影シーンのグループを特定し、制御部５５０に対して出力する。
なお、本例の撮影シーン推定部５３０は、画像データ取得部５１０が取得した画像データの画素数と、画像出力部５６０が出力させる画像の大きさとに対応する判定テーブルを複数有しており、入力された画像データの画素数と、出力される画像の大きさとに応じた判定テーブルを用いて、撮影シーンを特定する。
【００３８】
ステップ１０６（Ｓ１０６）において、制御部５５０は、撮影シーン推定部５３０により特定された撮影シーンに基づいて、シャープネスの変更処理を行うか否かを判断する。画像処理プログラム５は、特定された撮影シーンが「ピンボケ」であると判断された場合、すなわち、シャープネス強度値が既定値より小さい場合に、Ｓ１１２の処理に移行し、これ以外の場合に、Ｓ１０８の処理に移行する。
ピンボケ画像の場合には、シャープネス補正を行っても無駄になる場合が多く、ピンボケ画像と判断された場合に、プリンタ装置１がシャープネス処理を禁止することにより、不必要なシャープネス処理を防止でき、同時に処理コストを少なくできる。
【００３９】
ステップ１０８（Ｓ１０８）において、制御部５５０は、撮影シーンとシャープネス変更量とを対応付ける補正テーブルを参照して、撮影シーンに応じたシャープネス変更量を決定し、シャープネス変更量に応じたシャープネス処理係数をシャープネス処理部５４０に対して出力する。
【００４０】
ステップ１１０（Ｓ１１０）において、シャープネス処理部５４０は、シャープネス処理係数に応じたシャープネス補正処理を画像データに対して行い、画像出力部５６０に対して出力する。
ステップ１１２（Ｓ１１２）において、画像出力部５６０は、利用者からの指示に応じて、プリントエンジンまたはＵＩ装置２６を制御して、画像データに基づく画像形成を行う。
【００４１】
以上のよう、本実施形態のプリンタ装置１は、入力されたディジタル画像信号に対して推定した撮影シーンに応じてシャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を自動的に生成することができる。
【００４２】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態のプリンタ装置１は、画像データのシャープネス強度値と、画像データに付加された付加情報とに基づいて、撮影シーンを判定する。例えば、プリンタ装置１は、図６に例示するようなタグデータ（付加情報）と画像データとを取得し、タグデータに含まれる撮影シーン情報と、画像データに基づいて算出されるシャープネス強度値とに応じて、シャープネス強度を変更する。
【００４３】
図７は、第２の画像処理プログラム５２の構成を説明する図である。
図７に示すように、画像処理プログラム５２は、図２に示した画像処理プログラム５に、タグデータ取得部５７０を追加した構成をとる。
タグデータ取得部５７０は、画像データに付加されたタグデータを取得し、撮影条件を特定する撮影シーン情報を抽出し、撮影シーン推定部５３０に対して出力する。撮影シーン情報には、撮影モード（標準撮影モード、人物撮影モード、風景撮影モードなど）、焦点距離、露出条件およびディジタルズーム倍率などを特定する情報が含まれる。
【００４４】
本実施形態の撮影シーン推定部５３０は、シャープネス強度値と、撮影シーン情報とに基づいて、撮影シーンを推定する。
また、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが異なり、いずれか一方が人物シーンに対応する場合に、人物シーンを優先適用する。
【００４５】
図８は、第２の画像処理プログラム５２の動作（Ｓ１２）を説明するフローチャートである。なお、図８に示した第２の動作における各処理の内、図５に示した第１の動作における各処理と実質的に同一なものには、同一の符号が付してある。
ステップ１１２（Ｓ１１２）において、画像データ取得部５１０は、画像データを取得して、強度値算出部５２０およびシャープネス処理部５４０に対して出力し、タグデータ取得部５７０は、画像データに添付されたタグデータを取得して、タグデータに含まれる撮影シーン情報を抽出し、撮影シーン推定部５３０に対して出力する。
【００４６】
ステップ１１４（Ｓ１１４）において、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとを比較する。画像処理プログラム５２は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが一致する場合に、Ｓ１０６の処理に移行し、不一致の場合に、Ｓ１１６の処理に移行する。
ステップ１１６（Ｓ１１６）において、画像処理プログラムは、さらに、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとのいずれかが、人物シーンに対応する場合に、Ｓ１１８の処理に移行し、これ以外の場合に、Ｓ１２０の処理に移行する。
ステップ１１８（Ｓ１１８）において、撮影シーン推定部５３０は、人物シーンであると判断して、人物シーンに対応する情報を制御部５５０に対して出力する。
ステップ１２０（Ｓ１２０）において、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンを採用し、採用された撮影シーンに対応する情報を制御部５５０に対して出力する。
すなわち、第２の画像処理プログラム５２は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが不一致の場合であって、いずれか一方が人物シーンに対応する場合に人物シーンを優先して、シャープネス変更量を決定し、いずれも人物シーンに対応しない場合に、シャープネス強度値に基づいて推定された撮影シーンを優先して、シャープネス変更量を決定する。
【００４７】
以上のように、本実施形態のプリンタ装置１は、複数の情報に基づいて撮影シーンを推定するので、撮影シーンの誤判定により的外れな画像調整を行うことを防止できる。また、プリンタ装置１は、撮影者が撮影シーンに不適合な撮影モードで撮影した場合にも、実際の画像データに基づく撮影シーン判定も加味するので、撮影者の設定ミスをフォローすることができる。
【００４８】
なお、本例では、撮影シーン推定部５３０がシャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに基づいて撮影シーンを推定しているが、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとの両方を制御部５５０に対して出力し、制御部５５０が、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに応じたシャープネス補正量を修正しても同じ効果を得ることができる。
【００４９】
また、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに応じて、シャープネス変更量を決定する方法は、種々考えられる。
図９は、撮影シーン推定部５３０がシャープネス強度値およびタグデータを撮影シーンに対応付ける他の方法を説明する図である。
本例では、撮影シーン推定部５３０は、撮影モードに基づいて、図９に例示する撮影シーンの大分類（「人物撮影モード」、「標準撮影モード」、「風景撮影モード」）を決定し、決定された大分類内の小分類（Ｐ１，Ｐ２，Ｐ３など）をシャープネス強度値に基づいて決定する。
まず、撮影シーン推定部５３０は、図４を用いて説明したようにシャープネス強度値に基づいて撮影シーンを推定し、大分類と推定結果が対応する場合（なお「物」は「標準」に対応する）に、対応する大分類の中位分類（Ｐ２，Ｓ２またはＬ２）に決定する。また、撮影シーン推定部５３０は、大分類が「風景撮影モード」の場合において、シャープネス強度値が図４の「ピンボケ」または「物」に対応するときはＬ１に決定し、「複雑なシーン」に対応するときはＬ３に決定する。同様に、撮影シーン推定部５３０は、大分類が「標準」の場合において、シャープネス強度値が図４の「ピンボケ」に対応するときはＳ１に決定し、「風景」または「複雑なシーン」に対応するときはＳ３に決定する。
制御部５５０は、図９に例示する小分類（Ｐ１〜Ｐ３、Ｓ１〜Ｓ３、Ｌ１〜Ｌ３）に対応するシャープネス変更量を特定し、シャープネス処理部５４０によるシャープネス変更処理を制御する。
【００５０】
［第３の実施形態］
次に、本発明の第３の実施形態を説明する。本実施形態では、画像のシーンを判定して、判定結果を画像データに付加する付加情報生成装置について説明する。付加情報生成装置は、例えば、画像を撮影するディジタルスチルカメラ、または、画像のレタッチなどを行う画像処理装置などである。なお、付加情報生成装置のハードウェア構成は、通常のディジタルスチルカメラまたはコンピュータ端末と同様である。
また、付加情報生成装置にインストールされている付加情報生成プログラムは、図７を用いて説明したシーン判定部５００と実質的に同一である。すなわち、付加情報生成プログラムは、画像データ取得部５１０、強度値算出部５２０、撮影シーン推定部５３０およびタグデータ取得部５７０を有する。また、強度値算出部５２０は、明度・輝度信号変換部５２２、帯域処理部５２４およびシャープネス計測部５２６を含む。
画像データ取得部５１０は、固体撮像素子、リムーバブルメディア、ＵＳＢ等のケーブル、または、ＬＡＮ等の通信網を介して、画像データを取得し、強度値算出部５２０に対して出力する。
強度値算出部５２０は、図２を用いて説明したものと実質的に同一な機能を有する。
タグデータ取得部５７０は、ディジタルスチルカメラに設定された撮影条件、焦点距離および絞り値などの撮影パラメータ、または、画像データに付加されていたタグデータを取得し、撮影シーン情報として撮影シーン推定部５３０に対して出力する。
撮影シーン推定部５３０は、強度値算出部５２０により算出されたシャープネス強度値およびタグデータ取得部５７０により取得された撮影シーン情報またはこれらのいずれかに基づいて、この画像データの撮影シーンを推定し、推定された撮影シーンを識別するシーン識別情報を画像データに付加して、不揮発性記録装置、リムーバブルメディアまたは外部端末に出力する。
【００５１】
以上説明したように、第３の実施形態の付加情報生成装置によれば、画像のシャープネス強度値を解析し、解析結果とその他の情報とに基づいて撮影シーンを推定し、画像データに付加することができる。これは、撮影シーンに応じた画像データの仕分けや、撮影シーンに応じた画像処理などを可能にする。
【００５２】
［変形例］
上記実施形態では、強度値算出部５２０は、画像全体の輝度・明度情報に基づいてシャープネス強度値を算出していたが、図１０に示すように、画像の一部領域（評価対象領域）についてシャープネス強度値を算出してもよい。例えば、図１０（Ａ）に示すように、強度値算出部５２０は、画像の中心部の矩形領域（シャープネス強度値算出エリアＡ）のみについてシャープネス強度値を算出し、撮影シーン推定部５３０に出力してもよい。画像の中心領域に主題となる像が存在する場合が多く、プリンタ装置１は、この部分についてシャープネス強度を評価してシャープネス変更量を決定することにより、より主題の内容に応じたシャープネス補正を行うことができる。
また、強度値算出部５２０は、図１０（Ｂ）に示すように、画像の全体的な特徴を扱うために図に示す矩形領域の集合（シャープネス強度値算出エリアＢ）について、シャープネス強度値を算出してもよい。この場合、プリンタ装置１は、それぞれの矩形領域に所定の重み付けを行うことにより、シャープネス評価の柔軟に行うことができ、また、全体についてシャープネス強度値を算出する場合よりも処理負荷を小さくすることができる。
上記いずれの場合も、分母を一定にすることで、正規処理を省いた相対強度とすることができる。この他にも、例えば、画素を間引いた領域または注目している領域等についてシャープネス強度値を算出することができる。
【００５３】
以上、説明した実施形態は本発明の好適な一実施形態にすぎず、本発明はその趣旨を逸脱しない限り種々変形して実施可能である。
例えば、上記した構成は、ソフトウェアで実現される形態を具体例として説明したが、ハードウェアで実現してもよい。
【００５４】
以上説明したように、上記実施形態によれば、入力された画像データに基づいて算出されたシャープネス強度値に応じて、適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５５】
また、上記実施形態によれば、入力された画像データに基づいて推定された撮影シーンに応じて、処理に則した撮影シーン情報を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５６】
また、上記実施形態によれば、入力された画像データに基づいて推定されたシャープネス強度値に応じて、適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５７】
また、上記実施形態によれば、処理に要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００５８】
また、上記実施形態によれば、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００５９】
なお、上記第１および第２の実施形態は、プリンタ装置１を具体例として説明したが、これに限定されるものではなく、ディジタルスチルカメラ内で上記処理を行い、ディジタルスチルカメラに設けられた液晶モニタ上に表示させてもよい。また、スキャナで画像データを取り込み、上記処理を行った後で、コンピュータに接続されたモニタ上で表示させてもよい。このように、本発明にかかる画像処理方法は、プリンタ装置、コンピュータ端末、ディジタルスチルカメラ、スキャナ、携帯電話、または、これらの組合せにより行われてもよい。
【００６０】
【発明の効果】
以上説明したように、本発明にかかる画像処理装置またはシーン推定装置によれば、撮影シーンを簡易な方法で推定することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
【図２】制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
【図３】帯域処理部５２４が微分画像を生成するときに用いるアンシャープマスクフィルタ６００を例示する図である。
【図４】シャープネス強度値と撮影シーンとの対応関係、および、撮影シーンとシャープネス変更量との対応関係を例示する図である。
【図５】プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
【図６】タグデータを含む画像データのデータフォーマットを例示する図である。
【図７】第２の画像処理プログラム５２の構成を説明する図である。
【図８】第２の画像処理プログラム５２の動作（Ｓ１２）を説明するフローチャートである。
【図９】撮影シーン推定部５３０がシャープネス強度値およびタグデータを撮影シーンに対応付ける他の方法を説明する図である。
【図１０】（Ａ）は、強度値算出部５２０がシャープネス強度値を算出する中心部の矩形領域を例示し、（Ｂ）は、強度値算出部５２０がシャープネス強度値を算出する矩形領域の集合を例示する図である。
【符号の説明】
１・・・プリンタ装置
１０・・・プリンタ装置本体
２・・・制御装置
２０・・・制御装置本体
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記録装置
２４０・・・記録媒体
２６・・・ＵＩ装置
５，５２・・・画像処理プログラム
５００・・・シーン判定部
５１０・・・画像データ取得部
５２０・・・強度値算出部
５２２・・・明度・輝度信号変換部
５２４・・・帯域処理部
５２６・・・シャープネス計測部
５３０・・・撮影シーン推定部
５７０・・・タグデータ取得部
５４０・・・シャープネス処理部
５５０・・・制御部
５６０・・・画像出力部
【図１】
2004215005.tif 000003
【図２】
2004215005.tif 000004
【図３】
2004215005.tif 000005
【図４】
2004215005.tif 000006
【図５】
2004215005.tif 000007
【図６】
2004215005.tif 000008
【図７】
2004215005.tif 000009
【図８】
2004215005.tif 000010
【図９】
2004215005.tif 000011
【図１０】
2004215005.tif 000012