(57)【特許請求の範囲】
【請求項１】
デジタルカメラにより取得された画像データに対して画像処理を施して処理済み画像データを得る画像処理方法において、
前記画像データに付与された被写体距離、撮影倍率、被写体輝度およびフラッシュ情報を撮影情報として取得し、
前記画像データにより表される画像に含まれる主要部の有無を表す主要部情報を画像情報として取得し、
前記被写体距離が無限遠であり、かつ前記被写体輝度が所定の輝度未満であり、さらに前記主要部情報が前記主要部がない旨を表す情報である場合、前記画像データの撮影シーンを花火に関するシーンであると推定し、
前記花火に関するシーンに応じた画像処理条件を設定し、
該設定された画像処理条件にしたがって前記画像データに対して画像処理を施して前記処理済み画像データを得ることを特徴とする画像処理方法。
【請求項２】
デジタルカメラにより取得された画像データに対して画像処理を施して処理済み画像データを得る画像処理装置において、
前記画像データに付与された被写体距離、撮影倍率、被写体輝度およびフラッシュ情報を撮影情報として取得する撮影情報取得手段と、
前記画像データにより表される画像に含まれる主要部の有無を表す主要部情報を画像情報として取得する画像情報取得手段と、
前記被写体距離が無限遠であり、かつ前記被写体輝度が所定の輝度未満であり、さらに前記主要部情報が前記主要部がない旨を表す情報である場合、前記画像データの撮影シーンを花火に関するシーンであると推定するシーン推定手段と、
前記花火に関するシーンに応じた画像処理条件を設定し、該設定された画像処理条件にしたがって前記画像データに対して画像処理を施して前記処理済み画像データを得る画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項３】
デジタルカメラにより取得された画像データに対して画像処理を施して処理済み画像データを得る画像処理方法をコンピュータに実行させるためのプログラムにおいて、
前記画像データに付与された被写体距離、撮影倍率、被写体輝度およびフラッシュ情報を撮影情報として取得する手順と、
前記画像データにより表される画像に含まれる主要部の有無を表す主要部情報を画像情報として取得する手順と、
前記被写体距離が無限遠であり、かつ前記被写体輝度が所定の輝度未満であり、さらに前記主要部情報が前記主要部がない旨を表す情報である場合、前記画像データの撮影シーンを花火に関するシーンであると推定する手順と、
前記花火に関するシーンに応じた画像処理条件を設定する手順と、
該設定された画像処理条件にしたがって前記画像データに対して画像処理を施して前記処理済み画像データを得る手順とを有するプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデジタルカメラにより取得された画像データに対して画像処理を施す画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
デジタル電子スチルカメラ（以下デジタルカメラとする）において、撮像により取得した画像を、デジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカード等の記録媒体に記録し、記録されたデジタル画像データに基づいて、プリンタやモニタに撮像により取得した画像を表示することができる。このように、デジタルカメラにより取得した画像をプリントする場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有することが期待されている。
【０００３】
ここで、上記プリントを得る際には、画像データに対して濃度変換処理、ホワイトバランス調整処理、階調変換処理、彩度強調処理、シャープネス処理等の種々の画像処理を施すことにより、プリントの画質を向上させることができる。この際、より高画質のプリントを得るために、デジタルカメラにおいて得られた画像データに、撮影時のフラッシュのＯｎ／Ｏｆｆ、照明の種類等の撮像情報をタグ情報として付与して出力し、画像処理を行う際には画像データに付与されている撮影情報を参照して、画像データに対してより適切な画像処理を施すようにした方法が提案されている（特開平１０−１９１２４６号公報）。
【０００４】
また、タグ情報の中には、撮影時のフラッシュのＯｎ／Ｏｆｆ、照明の種類以外にも、撮影距離、被写体輝度、露出値、撮影時の測光値、逆光であるか否かを表す情報等、画像処理に役立つ情報が含まれている。このため、撮影情報を用いて画像データに対して画像処理を施す種々の方法が提案されている（特開平７−１９９３７８号、同７−１５９９０４号、同１−２８０７３１号、同５−３４０８０４号、同８−３０７７６７号、および同１１−８８５７６号等）。
【０００５】
【発明が解決しようとする課題】
ところで、上述した種々の画像処理方法においては、撮影情報を用いて画像データに適切な画像処理を施すようにしているが、人物や風景等、画像データにより表される画像に含まれる被写体が異なると、撮影条件のみを用いたのでは、適切な画像処理条件を精度よく求めることができない。
【０００６】
一方、撮影時に、撮影モード（ポートレートモード、風景／遠景モード、マクロ／クローズアップモード、夜景／花火モード、海中写真モード、ユーザ露光補正モード等を撮影情報として取得し、この撮影モードに基づいて画像処理条件を求めることも考えられる。しかしながら、例えば風景を誤ってポートレートモードで撮影してしまう等、デジタルカメラにおいて撮影モードを誤って設定してしまう場合があり、このような場合には適切な画像処理条件を求めることができない。
【０００７】
本発明は、上記事情を鑑みなされたものであり、デジタルカメラにより取得された画像データに対して精度よく画像処理を行い、高品質の再生画像を得ることを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による画像処理方法は、デジタルカメラにより取得された画像データに対して画像処理を施して処理済み画像データを得る画像処理方法において、
前記画像データに付与された撮影情報を取得し、
前記画像データにより表される画像に関する画像情報を取得し、
前記撮影情報および前記画像情報に基づいて前記画像データの撮影シーンを推定し、
前記撮影シーンに応じた画像処理条件を設定し、
該設定された画像処理条件にしたがって前記画像データに対して画像処理を施して前記処理済み画像データを得ることを特徴とするものである。
【０００９】
なお、本発明による画像処理方法においては、予め定められた複数の画像処理条件から前記撮影シーンに応じた画像処理条件を選択することにより、該撮影シーンに応じた画像処理条件を設定するようにしてもよい。
【００１０】
また、前記撮影情報のうち、被写体距離、撮影倍率、被写体輝度およびフラッシュ情報のうちのいずれか２以上の情報に基づいて、前記撮影シーンを推定するようにしてもよい。
【００１１】
「撮影情報」としては、具体的には撮影時のフラッシュのＯｎ／Ｏｆｆ、照明の種類以外にも、撮影距離、被写体輝度、露出値、撮影時の測光値、カメラのレンズ情報、撮影倍率等が挙げられるが、撮影モード（ポートレートモード、風景／遠景モード、マクロ／クローズアップモード、夜景／花火モード、海中写真モード、ユーザ露光補正モード等）は、本発明においては撮影情報には含まないものである。なお、撮影情報は、画像データのタグ情報に記述される。
【００１２】
ここで、「タグ情報」とは、デジタルカメラにより取得された画像データに付与されている情報を意味し、その規格としては例えばExifファイルの非圧縮ファイルとして採用されている「Baseline  TIFF  Rev.6.0.ORGB  Full  Color  Image」等が挙げられる。
【００１３】
「画像情報」とは、画像データにより表される画像に含まれている顔等の主要部についての情報、背景の大きさを表す情報、高周波成分の程度を表す周波数情報、フォーカス点の輝度の情報、ヒストグラムの分布を表すヒストグラム情報、画像の色温度を表す情報、色の分布を表す情報等、画像に関する種々の情報が挙げられる。
【００１４】
なお、主要部についての情報としては、具体的には、画像データにより表される画像に顔が含まれているか否かを表す情報、顔が含まれている場合の顔の大小を表す情報等を用いることができる。なお、画像データに対して肌色抽出処理等を施し、抽出された肌色の面積が所定値以上となるか否かを判断することにより、画像に顔が含まれているか否かを判断できる。
【００１５】
「画像処理条件」としては、前記画像データの階調、濃度、色等を修正するためのパラメータが挙げられるがこれらに限定されるものではない。
【００１６】
また、「撮影シーン」とは、撮影対象または撮影対象と光源条件等の撮影条件との組み合わせ等を意味し、例としてポートレート、風景、近接ストロボ撮影等が挙げられるがこれらに限定されるものではない。
【００１７】
本発明による画像処理装置は、デジタルカメラにより取得された画像データに対して画像処理を施して処理済み画像データを得る画像処理装置において、
前記画像データに付与された撮影情報を取得する撮影情報取得手段と、
前記画像データにより表される画像に関する画像情報を取得する画像情報取得手段と、
前記撮影情報および前記画像情報に基づいて前記画像データの撮影シーンを推定するシーン推定手段と、
前記撮影シーンに応じた画像処理条件を設定し、該設定された画像処理条件にしたがって前記画像データに対して画像処理を施して前記処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１８】
なお、本発明による画像処理装置においては、前記画像処理手段を、予め定められた複数の画像処理条件から前記撮影シーンに応じた画像処理条件を選択することにより、該撮影シーンに応じた画像処理条件を設定する手段としてもよい。
【００１９】
また、本発明による画像処理装置においては、前記シーン推定手段を、前記撮影情報のうち、被写体距離、撮影倍率、被写体輝度およびフラッシュ情報のうちのいずれか２以上の情報に基づいて、前記撮影シーンを推定する手段としてもよい。
【００２０】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２１】
【発明の効果】
本発明によれば、画像データに付与された撮影情報および画像データにより表される画像に関する画像情報に基づいて画像データの撮影シーンを推定し、推定された撮影シーンに応じた画像処理条件を設定して画像処理を行っているため、撮影情報のみを用いて画像処理条件を設定する場合よりも精度よく画像処理条件を設定することができ、その結果、高画質の画像を再生可能な処理済み画像データを得ることができる。
【００２２】
また、予め定められた複数の画像処理条件から撮影シーンに応じた画像処理条件を選択するようにすれば、画像処理条件の設定を短時間で行うことができるため、画像処理を効率よく実行することができる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像処理装置２０は、デジタルカメラ１０により被写体を撮影することにより取得された画像データＳ０を読み取り、画像データＳ０に対して種々の画像処理を施してプリンタ３０に出力してプリントＰを得るためのものである。
【００２４】
図１に示すように、本実施形態における画像処理装置２０は、デジタルカメラ１０により取得された画像データＳ０を、これが記録されたメモリカード等の記録媒体から読み取る読取手段２１と、画像データＳ０に基づいて画像データＳ０により表される画像に関する画像情報Ｍを取得する画像情報取得手段２２と、画像データＳ０に付与されたタグ情報に含まれる撮影情報Ｔおよび画像情報Ｍに基づいて撮影シーンを推定してシーン情報Ｈを得るシーン推定手段２３と、シーン情報Ｈに対応した種々の画像処理条件を記憶したメモリ２４と、シーン情報Ｈに基づいて、メモリ２４からシーン情報Ｈに対応する画像処理条件Ｇを読み出し、読み出された画像処理条件Ｇに基づいて画像データＳ０に対して画像処理を施して処理済み画像データＳ１を得る画像処理手段２５とを備える。なお、読取手段２１が撮影情報取得手段に対応する。
【００２５】
ここで、本実施形態においては、撮影情報Ｔとして、被写体距離、撮影倍率、被写体輝度、フラッシュのＯｎ／Ｏｆｆを表すフラッシュ情報、シャッター速度を用いる。
【００２６】
なお、撮影倍率は、焦点距離／被写体距離により求められる。また、被写体輝度は、（絞り値＋シャッター速度）−撮影感度でありＡＰＥＸ単位で求められる。なお、焦点距離、絞り値および撮影感度は撮影情報Ｔに含まれる。
【００２７】
画像情報取得手段２２は、画像データＳ０により表される画像における人物の顔の有無を判定し、判定結果を画像情報Ｍに含める。具体的には、画像データＳ０から肌色の領域を抽出し、この肌色の領域の面積が予め定められた所定のしきい値以上となる場合に、画像に顔が含まれると判定する。
【００２８】
また、画像から顔の領域を除去した背景の領域が所定のしきい値以下の場合に、その旨を表す背景情報が画像情報Ｍに含まれる。
【００２９】
また、画像データＳ０に対して周波数解析を施し、高周波成分が比較的多い場合には、その旨を表す高周波情報が画像情報Ｍに含まれる。
【００３０】
また、フォーカス点の輝度を表す輝度情報も画像情報Ｍに含まれる。
【００３１】
さらに、画像データＳ０のヒストグラムの分布（例えば最大値、最小値等）を表すヒストグラム情報、色温度を表す色温度情報、画像データＳ０により表される画像に多く含まれる色を表す色分布情報も画像情報Ｍに含まれる。
【００３２】
シーン推定手段２３は、画像情報Ｍおよび撮影情報Ｔに基づいて、撮影シーンを推定する。画像情報Ｍおよび撮影情報Ｔに応じた撮影シーンを示すテーブルを図２に示す。図２に示すテーブルＴはシーン推定手段２３に記憶されており、シーン推定手段２３はこのテーブルＴを参照してシーンを推定する。具体的には、画像情報Ｍに含まれる主要部の有無を表す主要部情報、撮影情報Ｔに含まれる被写体距離、撮影倍率、被写体輝度およびフラッシュ情報並びにその他の情報に基づいて、シーンを推定する。なお、その他の情報としては、画像情報Ｍに含まれる背景情報、周波数情報、ヒストグラム情報、フォーカス点の輝度、色温度、色分布情報、撮影情報に含まれるシャッター速度が用いられる。また、図２に示すテーブルＴにおいて、Ｋｉ，βｉ，Ｂｉは撮影シーンを推定するために、存在確率から統計的に定めた値である。
【００３３】
シーン推定手段２３は、テーブルＴを参照し、例えば、主要部情報が「有」であり、撮影倍率がβ１より大きく、被写体輝度がＢ１より大きく、フラッシュ情報が「Ｏｆｆ」であり、さらにその他の情報として背景情報が含まれている場合には、撮影シーンは順光のポートレートのシーンであると推定する。この場合、撮影倍率から単一人物のアップのポートレートか複数人物の集合ポートレートかを判別できる。
【００３４】
また、主要部情報が「有」であり、被写体距離がＫ１より小さく、撮影倍率がβ１１より大きく、被写体輝度がＢ１１より大きくかつＢ１１２より小さく、フラッシュ情報が「Ｏｎ」である場合には、撮影シーンは屋内のポートレートのシーンであると推定する。この場合も、撮影倍率から単一人物のポートレートか複数人物のポートレートかを判別できる。そして、推定されたシーンを表すシーン情報Ｈを画像処理手段２５へ出力する。
【００３５】
メモリ２４には、シーン情報Ｈに対応した画像処理条件が記憶されている。例えば、シーン情報Ｈが順光のポートレートシーンを表すものである場合には、画像処理条件１が選択される。この画像処理条件１は、例えばハイライトの滑らかな肌の調子を再現するために、ハイライトが軟調で髪の黒色を引き締めるトーンとし、コントラストを全体にやや軟調とし、彩度をやや下げ、肌色のみを好ましい色相に移動し、ハイエスト部のとびを抑えるためにやや濃度を上げ、肌の質感を重視させるためにシャープネスをやや下げるような画像処理を行う条件である。
【００３６】
また、シーン情報Ｈが屋内のポートレートシーンを表すものである場合には、画像処理条件１１が選択される。この画像処理条件１１は、露出アンダーであることが多いため濃度を下げ、ハイライト側にある顔を再現するためにハイライト側をやや硬調とし、暗部を再現するためにシャドー側をやや軟調とし、彩度をやや上げ、全体のコントラストを硬めにするために標準的なシャープネス処理を施し、周囲の人工光の影響を弱めるため画像全体の色をよりグレー方向に近づけるように色バランスを補正するような画像処理を行う条件である。
【００３７】
なお、撮影倍率から撮影倍率から単一人物のポートレートか複数人物のポートレートかが判別されている場合には、それに応じた画像処理条件を選択すればよい。
【００３８】
次いで、本実施形態の動作について説明する。図３は本実施形態の動作を示すフローチャートである。まず、読取手段２１において画像データＳ０が読み取られる（ステップＳ１）。画像データＳ０は画像情報取得手段２２に入力され、ここで画像情報Ｍが取得される（ステップＳ２）。画像情報Ｍは撮影情報Ｔとともにシーン推定手段２３に入力され、ここで撮影シーンが推定され、シーン情報Ｈが取得される（ステップＳ３）。シーン情報Ｈは画像処理手段２５に入力され、ここでシーン情報Ｈに応じた画像処理条件Ｇがメモリ２４から読み出され（ステップＳ４）、読み出された画像処理条件Ｇにより画像データＳ０に画像処理が施されて処理済み画像データＳ１が得られる（ステップＳ５）。処理済み画像データＳ１はプリンタ３０においてプリント出力され（ステップＳ６）、処理を終了する。
【００３９】
このように、本実施形態によれば、画像データＳ０に付与された撮影情報Ｔおよび画像データにより表される画像に関する画像情報Ｍに基づいて画像データＳ０の撮影シーンを推定し、推定された撮影シーンに応じた画像処理条件Ｇを設定して画像処理を行っているため、撮影情報Ｔのみを用いて画像処理条件Ｇを設定する場合よりも精度よく画像処理条件Ｇを設定することができ、その結果、高画質の画像を再生可能な処理済み画像データＳ１を得ることができる。
【００４０】
また、予め定められた複数の画像処理条件から、推定された撮影シーンに応じた画像処理条件Ｇを選択するようにすれば、画像処理条件の設定を短時間で行うことができるため、画像処理を効率よく実行することができる。
【００４１】
なお、デジタルカメラ１０においては、ＡＥ処理やＡＷＢ処理により、得られる画像の濃度や色を適切なものとなるようにしているが、ＡＥ処理やＡＷＢ処理に不具合を起こした場合、画像データＳ０により表される画像において所望とする濃度や色が得られない場合がある。
【００４２】
このため、図４に示すように、画像情報Ｍに基づいて、画像データＳ０のＡＥ処理および／またはＡＷＢ処理のパラメータを設定するＡＥ／ＡＷＢ処理パラメータ設定手段２７を設け、画像情報Ｍに含まれるヒストグラム情報、色温度情報、色分布情報等に基づいて、ＡＥ処理および／またはＡＷＢ処理のパラメータを設定し、設定されたパラメータＱに基づいて、画像処理手段２５において画像データＳ０に対してＡＥ処理および／またはＡＷＢ処理を施すようにしてもよい。
【００４３】
また、上記実施形態においては、シーン情報Ｈに基づいて、メモリ２４に記憶された画像処理条件Ｇを選択しているが、シーン情報Ｈに基づいて、撮影シーンに応じた画像処理条件を算出してもよい。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】画像情報および撮影情報に応じた撮影シーンを示すテーブル
【図３】本実施形態の動作を示すフローチャート
【図４】本発明の他の実施形態による画像処理装置の構成を示す概略ブロック図
【符号の説明】
１０    デジタルカメラ
２０    画像処理装置
２１    読取手段
２２    画像情報取得手段
２３    シーン推定手段
２４    メモリ
２５    画像処理手段
２７    ＡＥ／ＡＷＢ処理パラメータ設定手段
３０    プリンタ
【図１】
0004104904.tif 000002
【図２】
0004104904.tif 000003
【図３】
0004104904.tif 000004
【図４】
0004104904.tif 000005