(57)【要約】【課題】  ディジタル画像データの不良領域を検出し補正する画像処理装置において、補正箇所に関するリストを作成することで、補正処理の確認作業の向上を目的とする。【解決手段】  自動もしくは手動により設定された不良領域から補正箇所に関するリストを作成し、リストを用いて補正処理の確認作業を行う。【選択図】  図１
2009044405.tif 000002
【特許請求の範囲】
【請求項１】
画像データから補正が必要な不良箇所を自動で検出する手段と、
画像データからユーザにより補正箇所を追加する手段と、
検出した不正領域に対して前記不良箇所を補正する手段を決定する手段と、
画像データから自動もしくはユーザにより手動で追加された補正箇所からリストを作成する手段と、
前記補正箇所リストに表示される補正箇所の順序を様々な順序で並び替える手段と、
前記補正箇所リストを用いて指定した補正箇所の補正処理前後の画像データが拡大比較することが可能な手段と、
前記補正箇所リストにより選択された補正箇所の補正処理前後の画像データを拡大比較した後に補正処理実行を決定する手段と、
前記補正箇所リストにより選択された補正箇所の補正処理前後の画像データを拡大比較した後に補正処理を変更する手段と、
決定された補正を施す手段を持つことを特徴とする画像処理装置。
【請求項２】
前記不良箇所自動検出手段は画像データの特徴量から不良領域を検出する不良領域検出手段であることを特徴とする請求項1に記載の画像処理装置。
【請求項３】
ユーザによる前記補正箇所追加手段は表示中の画像データに対してポインティングディバイスの入力装置を用いて補正箇所を追加する手段であることを特徴とする請求項1に記載の画像処理装置。
【請求項４】
前記補正処理決定手段は不良領域と判断された補正箇所の画像データから特徴量により補正を決定する手段であることを特徴とする請求項1に記載の画像処理装置。
【請求項５】
前記補正箇所リスト作成手段は自動で検出された補正箇所もしくはユーザが指定した補正箇所をまとめて管理するリストを作成する手段であることを特徴とする請求項1に記載の画像処理装置。
【請求項６】
リスト並び替え手段は補正個所の補正領域が大きいもしくは補正領域が小さい、補正方法別、顔検出の結果から補正した部位別項目によりリストアップされた補正箇所の表示順を変更できることを特徴とする請求項1に記載の画像処理装置。
【請求項７】
補正箇所リストは全補正箇所もしくはユーザにより指定された補正箇所の拡大表示を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項８】
前記補正箇所リストで管理された補正箇所の拡大比較手段は補正結果の画像データと補正前の画像データを中心に拡大することで、ユーザに比較しやすいように表示することを特徴とする請求項1に記載の画像処理装置。
【請求項９】
前記補正処理決定手段は拡大比較表示された補正箇所をユーザが確認し適切な補正が行われたと判断した際に補正処理を実行することを特徴とする請求項1に記載の画像処理装置。
【請求項１０】
前記補正処理変更手段は拡大比較表示された補正箇所をユーザが確認した際に適切な補正処理でないと判断した場合に他の補正方法により表示中の補正箇所を処理しなおすことが可能であることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正処理を行い、補正結果及びもと画像を拡大表示し補正結果を確認する際に、補正箇所に関するリストを作成し、そのリストを用いることにより補正結果の確認を効率よく行う画像処理装置に関するものである。
【背景技術】
【０００２】
今日、ディジタルカメラで撮影したディジタル画像データやスキャナなどにより撮影した銀塩カメラのフィルムを取り込んだディジタル画像データなど様々なディジタル画像データが普及している。
【０００３】
ディジタル画像の利点として画像データに不良領域がある際にはその領域に対して処理を加え、不良領域を目立たなくする補正処理を行えるということが考えられる。補正処理は幅広い分野で行われている。
【０００４】
補正処理は各不良領域に対して、ユーザが補正領域を発見し手動で補正処理を行った場合、非常に手間がかかる。そこで不良領域を自動で検出し、検出された領域に対して簡単に自動で補正処理を行うことができるアプリケーションソフトが開発されている。
【０００５】
アプリケーションソフトなどにより自動で実行された補正処理に関しては補正が正しく行われたかどうかを確認する必要がある。
【０００６】
赤目補正などの処理を行った補正箇所に関して補正結果を拡大し確認する際に、補正領域を拡大してスクロールしながら補正箇所を探し、色修正などを確認作業を行うと時間がかかってしまう。そこで特開2003-209683号公報では、検出された補正箇所を中心にして拡大することにより作業効率を向上させる方法が考案されている。それに加え、複数の補正箇所がある場合には各補正箇所を中心として拡大表示し、その表示順としては補正箇所の位置、大きさ、向き、画像特徴量などの少なくともどれか1つの要素によって順に表示することを特徴とした方法である。
【０００７】
また、特開2003-179750号公報では自動で検出した不良領域を補正した後、不良領域を補正する前の画像と不良領域を補正した後の画像を対比させて表示することを特徴とした方法を考案している。
【０００８】
しかし、集合写真のように被写体がおおく含まれる場合、検出される不良領域の数は多くなり、単にそれぞれの補正箇所を拡大比較などにより確認すると効率よく作業が行えないと考えられる。また様々な補正処理方法を実行するため処理別などに特化した補正結果を検証することが困難な場合が多いと考えられる。
【特許文献１】特開2003-209683号公報
【特許文献２】特開2003-179750号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明では検出された補正箇所に関するリストを作成し、各補正箇所の補正結果を効率よく確認する方法について考案する。
【課題を解決するための手段】
【００１０】
本発明は以下の手段を備える。
【００１１】
画像データから補正が必要な不良箇所を自動で検出する手段と、
画像データからユーザにより補正箇所を追加する手段と、
検出した不正領域に対して前記不良箇所を補正する手段を決定する手段と、
画像データから自動もしくはユーザにより手動で追加された補正箇所からリストを作成する手段と、
前記補正箇所リストに表示される補正箇所の順序を様々な順序で並び替える手段と、
前記補正箇所リストを用いて指定した補正箇所の補正処理前後の画像データが拡大比較することが可能な手段と、
前記補正箇所リストにより選択された補正箇所の補正処理前後の画像データを拡大比較した後に補正処理実行を決定する手段と、
前記補正箇所リストにより選択された補正箇所の補正処理前後の画像データを拡大比較した後に補正処理を変更する手段と、
決定された補正を施す手段を持つことを特徴とする画像処理装置。
【００１２】
前記補正箇所リストは1枚の画像の補正個所のみを列挙するだけでなく、複数枚の画像に含まれる複数箇所の補正個所についてもまとめて列挙することができる。
【００１３】
前記補正箇所リストは様々な項目ごとに補正個所を並び替えることができ、操作性を向上させることにより作業効率の向上を図ることができる。
【００１４】
前記補正箇所リストの並べ方としては座標位置が中心に近いもしくは中心から遠い、焦点が最も合っているもしくは最も合っていない、補正個所の補正領域が大きいもしくは補正領域が小さい、補正による修正量が多いもしくは少ない、補正方法別にリストを並べたり、顔検出の結果などから補正した部位別にリストを並べたりなどの様々な順序が考えられる。
【発明の効果】
【００１５】
本発明により検出された不良箇所及びユーザにより指定された箇所に対して補正を行った場合、補正箇所に関するリストを作成することで、補正結果を確認する作業を行う際に効率よく作業を行うことが可能となる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の詳細を実施例の記述に従って説明する。
【００１７】
以下、図表を参照しながら本発明に関する実施形態を詳細に説明する。
【００１８】
（第1の実施形態）
本発明の実施例として図1のような画像処理装置を用いて説明する。図1は本発明を実現するための画像処理装置の一例であり、パーソナルコンピュータのブロック図である。
【００１９】
図中100は処理演算を行うCPU、101は処理プログラムを格納するROM、102は処理結果を一時的に格納するためのRAM、103は画像データや補正のためのプログラムが格納されているハードディスク、104は使用者が指示を入力するためのキーボード、105は入力補助手段でマウスなどのようなポインティングディバイス、106は処理画像を表示するためのディスプレイ、107はI/Oインターフェイスである。
【００２０】
I/Oインターフェイスの入力インターフェイスとしてはディジタルカメラにより撮影した画像データを読み込む場合や、銀塩カメラにより撮影されたフィルムからスキャンし画像データとして読み込む場合や、Webサイト上にある写真画像などの画像データを通信回線から得る場合など様々な入力方法がある。
【００２１】
I/Oインターフェイスの出力インターフェイスとしては補正結果をプリンターによりプリントアウトする場合や、補正結果を外部メモリにコピーする場合など様々な出力方法がある。
【００２２】
図２は補正箇所に関する補正箇所リストを作成し、それをもとに効率よく補正を行うための実施形態の手順を示すブロック図である。まず、同図に沿ってその動作概要を説明し、次にその詳細について述べる。画像処理はROMに記憶されたプログラムに従ってCPUにより処理を行うことによって実現する。
【００２３】
図２において、S101は画像データの読み込み部分であり、RGBで表現される画像データを入力する。入力されたRGBの画像データは通常では256階調であるので、ここではR、G、Bそれぞれを0から1の値に正規化する。
【００２４】
次にS102は正規化されたRGB画像データから色相(Hue)、彩度(Saturation)、明度(Intensity)を表示するHIS画像データへ変換する。RGBで画像データを取り扱うよりもHSIに画像データを変換して取り扱ったほうが特徴量の検出基準を設定する際に、設定が容易なためである。RGB画像データからHIS画像データへの変換は以下のような関係式を用いて行う。
【００２５】
Ｈ＝ tan-1 ｛Ｇ−Ｂ｝／（２Ｒ−Ｇ−Ｂ）｝            （１）
Ｓ＝｛（Ｂ−Ｒ）2＋（Ｒ−Ｇ）2＋（Ｇ−Ｂ）2｝／３    （２）
Ｉ＝（Ｒ＋Ｇ＋Ｂ）                                  （３）
ただし、0<=H<=360°、0<=S<=(2/3)、0<=I<=3に規格化する。
【００２６】
次にS103にあるように、変換されたHIS画像データから以下のような検出基準を定め、顔領域を特定する。以下の検出基準及び一般的な顔領域の大きさなどの先見情報を用いることにより顔領域を特定する。
【００２７】
10°< H < 30°      (4)
0.2 < S < 0.35      (5)
1.8 < I             (6)
もちろん顔領域の検出方法としてはどのような検出方法を用いても良いということは明らかであり、顔領域の補正処理にも応用することが可能である。
【００２８】
ここで図3のような設定画面により補正箇所を設定し、補正箇所リストを作成する。補正箇所リスト作成の手順としてはまずは変換された顔領域内の画像データから様々な補正対象となる不良領域を特徴量から自動で検出し、補正箇所リストに順次加えていく。次にユーザが任意で補正を実行したい補正箇所に関しては、ユーザが指定し補正箇所リストに追加することが可能である。
【００２９】
図３について簡単に説明すると301は自動検出ボタンであり、これを押すことにより自動で補正箇所を検出し、補正箇所リストに追加するまでの動作が行われる。302は拡大ボタンであり、ユーザが補正領域を追加する際に作業しやすいように拡大することができ、ボタンを押した分だけ拡大表示される。303は縮小ボタンであり、ユーザが補正領域を追加する際に利用するボタンであり、ボタンを押した分だけ縮小表示される。304は補正領域追加ボタンであり、ユーザによって追加したい補正領域を選択しボタンを押すことにより補正箇所リストに指定した領域が追加される。305は補正領域削除ボタンであり、自動検出により追加された補正箇所もしくはユーザによって追加された補正箇所を補正箇所リスト内から選択し、このボタンを押すことにより補正箇所リストから削除することができる。306はリスト決定ボタンであり、自動検出及び手動選択により作成された補正箇所リストを決定する際に用いるボタンであり、補正箇所リストの完成を意味する。このボタンを押すと次の処理に移る。307は選択設定ポイントであり、ユーザが補正項目を追加したい場合にマウスなどのポインティングディバイスを利用してユーザが補正領域を選択することが可能となる。308は選択領域であり、307のポイントを用いて選択された補正領域である。309は表示画面であり、リストに追加された補正領域に関しては赤丸などでユーザに補正箇所を示したいりする場合に利用する。310は補正箇所リストであり、自動検出もしくはユーザによる手動検出により設定された補正箇所をリストとして表示したものである。311は各補正箇所を示している。
【００３０】
次にS104は補正対象箇所の自動検出を行う。検出された顔領域内の不良領域に対してどの補正を行うかの補正方法を自動で決定する。補正項目としては赤目領域の補正、美肌加工、ぼやけ補正、キャッチライト処理などに関するものである。赤目領域の補正とは、暗い場所でフラッシュを用いた撮影をすることにより目が赤く光る現象を自然な色に補正することである。美肌加工とは顔領域が暗い場合に顔領域を明るく補正し、それと同時に顔部分の肌を滑らかにさせ、より自然な画像に変換することができる処理である。またぼやけ補正とは顔の輪郭部分などがぼやけてしまっている場合にエッジを強調することにより、より顔領域を際立たせる処理を行うことである。最後にキャッチライト処理とは人物を含む画像では瞳孔領域内のハイライトが重要となることから、瞳孔領域内にハイライト部分を加える処理を行うことである。
【００３１】
補正方法としてこれ以外の補正方法を用いても良いことは明らかである。
【００３２】
不良領域の特徴量から自動的に補正方法を決定する。例えば不良領域として赤目領域を検出する際、以下のような赤目検出基準を設定し、検出された顔領域に対して赤目領域の検出を行う。
【００３３】
0 < H < 30°      (7)
S > 0.6           (8)
0.9 < I < 1.2     (9)
赤目領域の検出方法として上記以外の基準または上記以外の方法により赤目領域を検出しても良いことは明らかである。
【００３４】
これと同様にして美肌加工対象箇所、ぼやけ補正対象箇所、キャッチライト処理対象箇所をそれぞれ適切な検出基準を定め、対象箇所を検出していく。これら補正処理対象箇所は検出される都度、図3中の補正箇所リストに追加される。全ての補正方法及び顔領域に対して検出を行い終わったら自動検出処理は終了である。
【００３５】
また、リストに追加された補正箇所は図3中の309表示画面にユーザに分かりやすく赤丸などの強調表示がされる。
【００３６】
次にS105では手動により補正箇所追加を行う。ユーザが任意で補正を実行したい箇所に関しては、ユーザが指定し補正箇所リストに追加する。追加方法としては図3中の307のポイントをポインティングディバイスで移動させ、補正箇所として追加した領域をドラッグし、308のように範囲設定を行う。範囲を設定したところで304の補正領域追加ボタンを押す。そうすると補正箇所リストに選択した補正箇所を追加することが可能となる。
【００３７】
次にS106ではリストに追加された領域の自動で不良領域と検出された補正箇所について補正を行う。補正を行うことによって、元画像データに補正データを上書きするのではない。元画像のデータに関しても保存しておき、後で補正しない場合には補正処理部分の画像データをもとに戻すことが可能な状態にしておく。まだこの段階では補正箇所の補正結果は表示しない。補正を行うことによりリストの並べ方として補正方法別に順次並べることも可能となり、より一層の作業効率性の向上を図ることができる。
【００３８】
補正処理は一箇所につき複数の補正処理を行ってもかまわない。例えば赤目補正とハイライト処理。ここでは説明の簡単化のために補正処理は一箇所につき一補正として説明する。
【００３９】
次にS107では補正箇所リストを作成し、それを利用した図4のようなインターフェイスにより補正箇所の拡大表示及び補正処理の決定を行う。図4に関しての簡単な説明をしておくと401は補正前の画像データの拡大図であり、402は補正後の拡大図である。402の補正後の拡大データは自動検出され補正が行われたデータがある分に関しては表示することが可能であるが、ユーザにより指定された補正箇所に関しては現段階では補正が行われていなため、表示されない。403はS107で作成された補正箇所リストである。404の「表示順」とある部分でリストの表示順を設定すると様々な順序でリストを並び替えることが可能である。例えば、補正量が多いものや補正方法によって並び替えるなどが考えられる。405は画像データの全体を表示する画面で現在どの部分を補正中かということが把握できる。406は現在の補正箇所でユーザに分かりやすいように印がつけられる。この印は補正箇所リストを選択した際につけられる。407は拡大縮小ボタンで、表示中の補正前の画面と補正後の画面を拡大縮小した分だけ変更され、常に同じ倍率で表示されるようになっている。408はステップボタンであり、補正箇所が何箇所もある場合、次の補正箇所に進むまたは戻る場合にはこのボタンを押すと補正箇所を移動することができる。409は補正後のデータを確認した結果補正を実行するとユーザが決定した場合に「補正決定」ボタンを押し、補正処理を行わない場合はキャンセルボタンを押す。410は補正方法を設定するものであり、補正処理を変更する場合またはユーザが追加した補正箇所に対して行う補正処理を設定する場合に用いる。
【００４０】
S108では図4の補正箇所リストから拡大比較表示させる補正箇所の表示順や拡大表示させる補正箇所の選択を行う。リスト選択の際、補正箇所全てを選択し補正結果を全てチェックすることも可能であり、リストから選択した箇所のみを拡大比較表示させることが可能である。または補正方法ごとに拡大比較処理を行うことも可能であり、リストを使うことにより作業効率が向上する。
【００４１】
S109ではリストにより選択された箇所を順に拡大比較表示する。
【００４２】
S110では拡大比較表示された補正結果からユーザが補正を実行するかどうかを判断し、実行する場合は補正実行ボタンを押し、補正を行わない場合はキャンセルを押す。また補正方法を変更する場合もしくはユーザにより設定された補正箇所については補正方法を選択する。
【００４３】
補正方法を変更する場合はS111に進み、図4内の410で補正方法を決定する。各補正方法ボタンを押すとS109に戻り、設定しなおされた補正方法が実行され、その結果が拡大比較表示される。以降、同様の手順を踏む。
【００４４】
補正実行を決定した場合はS112に進み、リストで選択された補正箇所全ての補正が終了した場合は処理を終了する。またリストで選択された補正箇所全ての補正が終了していない場合はS113に進み、リストから次の補正箇所に対して拡大比較を行い、以降同様の手順をリストで選択された補正箇所全てに対して実行されるまで繰り返す。
【００４５】
作成したリストで指定された補正箇所のみ補正実行を行った際に、指定されない補正箇所に関しては補正を実行するかどうかを決定していない。S114に到達した時点でユーザが指定しなかった補正箇所の補正を実行するかどうかを設定するようにするなど様々な対応が可能なようにしておく。
【図面の簡単な説明】
【００４６】
【図１】画像処理装置ハードウェア構成
【図２】画像処理のフローチャート
【図３】補正箇所リスト作成例
【図４】リストを用いた拡大比較例
【図１】
2009044405.tif 000003
【図２】
2009044405.tif 000004
【図３】
2009044405.tif 000005
【図４】
2009044405.tif 000006