(57)【要約】【課題】複数のゴミキズ領域等に対する除去処理の成功又は失敗結果及びその箇所を画面上に一覧表示することができる画像処理方法及び画像処理装置を提供する。【解決手段】画像中のゴミキズ等の微小対象物の位置情報を取得する。次いで、微小対象物を画像中から除去し、微小対象物の除去結果を判定する。そして、除去された微小対象物の位置情報と判定された除去結果とに基づいて、微小対象物の除去が成功した場合は、当該微小対象物除去後の画像上に例えば、円等の第１の描画パターンを描画し、微小対象物の除去が失敗した場合は、当該微小対象物を含んだ画像上に例えば、矩形等の第２の描画パターンを描画する。【選択図】  図１
2004326265.tif 000002
【特許請求の範囲】
【請求項１】
画像中の所定の微小対象物の位置情報を取得する取得工程と、
前記微小対象物を前記画像中から除去する除去工程と、
前記除去工程による前記微小対象物の除去結果を判定する判定工程と、
前記除去工程により除去された前記微小対象物の位置情報と前記判定工程により判定された前記除去結果とに基づいて、前記微小対象物の除去が成功した場合は、該微小対象物除去後の前記画像上に第１の描画パターンを描画し、前記微小対象物の除去が失敗した場合は、該微小対象物を含んだ前記画像上に第２の描画パターンを描画する描画工程と
を有することを特徴とする画像処理方法。
【請求項２】
前記取得工程は、前記画像中の前記微小対象物上又は該微小対象物近傍の一部分が指定された場合、指定された前記一部分の近傍に位置する微小対象物の位置情報を取得し、
前記描画工程は、前記微小対象物の除去が成功した場合は、前記除去工程により除去された前記微小対象物の位置を基準にして前記画像上に第１の描画パターンを描画し、前記微小対象物の除去が失敗した場合は、前記指定工程により指定された前記一部分を基準にして前記画像上に第２の描画パターンを描画する
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記取得工程が、前記画像中に存在する複数の微小対象物の位置情報を取得し、
前記除去工程が、前記画像中から前記複数の微小対象物のそれぞれを除去し、
前記描画工程が、前記複数の微小対象物のそれぞれの位置情報を基準として前記第１又は第２の描画パターンを描画する
ことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記除去工程によって前記複数の微小対象物の除去に成功した場合、前記描画工程は、該複数の微小対象物を含む所定領域を前記第１の描画パターン又は前記第２の描画パターンで描画することを特徴とする請求項３記載の画像処理方法。
【請求項５】
前記除去工程によって前記微小対象物の除去に失敗した場合にのみ、前記描画工程は、該微小対象物を基準として前記画像上に前記第１の描画パターン又は前記第２の描画パターンを描画することを特徴とする請求項１から４までのいずれか１項に記載の画像処理方法。
【請求項６】
前記第１及び第２の描画パターンが、前記微小対象物を含む所定領域の描画色、外枠の線種又は形状を含む図形の差異により区別可能な描画パターンであることを特徴とする請求項１から５までのいずれか１項に記載の画像処理方法。
【請求項７】
前記除去工程によって前記微小対象物の除去に失敗した場合、該微小対象物及び近傍領域を画面上に拡大又は縮小表示する表示工程と、
前記画面上に拡大又は縮小表示された前記微小対象物を再除去する再除去工程と
をさらに有することを特徴とする請求項１から６までのいずれか１項に記載の画像処理方法。
【請求項８】
前記除去工程によって複数の微小対象物の除去に失敗した場合、失敗した前記複数の微小対象物を同時に表示する表示工程と、
前記複数の微小対象物を再除去する再除去工程と
をさらに有することを特徴とする請求項３又は４に記載の画像処理方法。
【請求項９】
前記除去工程によって複数の微小対象物の除去に失敗した場合、失敗した前記複数の微小対象物を１つずつ拡大表示する表示工程と、
除去処理に失敗した前記微小対象物の表示を他の微小対象物に切り替える更新工程と
をさらに有することを特徴とする請求項３又は４に記載の画像処理方法。
【請求項１０】
前記除去工程によって除去処理された前記複数の微小対象物の除去結果を１つずつ表示する表示工程と、
前記複数の微小対象物の表示を１つずつに切り替える更新工程と
をさらに有することを特徴とする請求項３又は４に記載の画像処理方法。
【請求項１１】
前記除去工程によって除去された後の前記微小対象物の位置情報を取得する第２の取得工程と、
前記第２の指定工程により指定された前記微小対象物の除去結果の判定を強制的に変更する判定変更工程と
をさらに有することを特徴とする請求項１から１０までのいずれか１項に記載の画像処理方法。
【請求項１２】
前記除去工程が、前記微小対象物を構成する画素の画素値と該微小対象物近傍画素の画素値とを置換することを特徴とする請求項１から１１までのいずれか１項に記載の画像処理方法。
【請求項１３】
前記微小対象物が、前記画像のゴミ又はキズであることを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
前記除去工程が、前記微小対象物を構成する画素を色変換若しくは塗りつぶすことを特徴とする請求項１から１１までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記微小対象物が、人物を撮影した画像における赤目であることを特徴とする請求項１４記載の画像処理方法。
【請求項１６】
画像中の所定の微小対象物を指定する指定手段と、
前記指定手段により指定された前記微小対象物を前記画像中から除去する除去手段と、
前記除去手段による前記微小対象物の除去結果を判定する判定手段と、
前記除去手段により除去された前記微小対象物の位置と前記判定手段により判定された前記除去結果とに基づいて、前記微小対象物の除去が成功した場合は、該微小対象物除去後の前記画像上に第１の描画パターンを描画し、前記微小対象物の除去が失敗した場合は、該微小対象物を含んだ前記画像上に第２の描画パターンを描画する描画手段と
を備えることを特徴とする画像処理装置。
【請求項１７】
コンピュータに、
画像中の所定の微小対象物の位置情報を取得する取得手順と、
前記微小対象物を前記画像中から除去する除去手順と、
前記除去手順による前記微小対象物の除去結果を判定する判定手順と、
前記除去手順により除去された前記微小対象物の位置情報と前記判定手順により判定された前記除去結果とに基づいて、前記微小対象物の除去が成功した場合は、該微小対象物除去後の前記画像上に第１の描画パターンを描画し、前記微小対象物の除去が失敗した場合は、該微小対象物を含んだ前記画像上に第２の描画パターンを描画する描画手順と
を実行させるためのプログラム。
【請求項１８】
請求項１７記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、レタッチソフトのような画像中の指定された領域を除去する画像処理技術に関する。
【０００２】
【従来の技術】
現在、画像処理の一機能として、画像中のゴミキズ除去処理においてゴミキズ領域付近のある部分を指定して、その近傍のゴミキズ領域を自動検知して除去を行う自動除去を行うものがある（例えば、特許文献１参照）。
【０００３】
このようなゴミキズ領域除去の処理手順は、まず除去対象点を選択し、選択終了後に自動的に除去が行われる。ここで、ゴミキズ領域の除去が失敗した場合は、例えば除去が失敗した旨のメッセージダイアログ等を表示する。そして、このメッセージダイアログを終了後、再び、除去対象点を選択して、除去を繰り返したり、あるいは、マニュアルによる除去でゴミキズ領域の除去が行われている。
【０００４】
【特許文献１】
特開２００１−２８７１３号公報
【０００５】
【発明が解決しようとしている課題】
しかしながら、上述したような従来のゴミキズ除去処理では、画像中にゴミキズが多く含まれている場合に何度も除去処理が失敗すると、その都度表示される除去失敗のメッセージダイアログ等に対する対応を何度も実行しなければならず、操作が煩雑になって手間がかかるという問題があった。そこで、除去処理が失敗した場合であってもメッセージダイアログ等を表示しないで終了するようにすることが考えられるが、例えば対象となるゴミキズ領域が小さく、ゴミキズ領域除去処理によって更新される画像領域が微小な場合、除去処理が成功したか失敗したかを確認することが難しくなってしまう。
【０００６】
また、従来のゴミキズ領域除去処理では、通常、▲１▼ゴミキズ領域の選択、▲２▼ゴミキズ領域の除去（更新）、▲３▼確認という処理の繰り返しを行っている。しかし、ゴミキズ除去の必要がある部分が多数存在して除去（更新）処理に時間を要するような場合、オペレータは１つ１つ除去される処理の時間中待機させられることを強いられ、作業時間の有効活用ができなかった。この結果、ゴミキズ領域除去は、オペレータにとって時間と忍耐力を要するものとなっていた。
【０００７】
この点を改善するために、複数の除去対象点を一度に指定し、複数の除去対象部分について一括で除去処理を行うことができれば、除去処理に必要な時間を集中させることができる。そして、オペレータは全体として操作時間が短くなることにより、余った時間を他の作業等に当てることができ、作業時間の有効利用を図ることができると考えられる。
【０００８】
しかしながら、従来のように除去の結果をメッセージダイアログ等を用いて１つずつ表示することは、一括指定及び一括除去の処理による処理効率を悪化させる原因になると考えられる。また、複数の除去対象点のどの部分の除去が失敗したのかということを、複数の指定箇所について同時にオペレータに対して伝達することは困難であるという問題がある。
【０００９】
一方、除去処理の結果についての表示を省略してしまうと、前述したように除去処理が成功したか失敗したかを確認することが難しくなってしまう。例えば、このような場合、オペレータは選択した除去領域を覚えておき、除去処理が正しく終わったのかどうかを一つずつ画像を拡大して確認しなければならず、非常に手間がかかるという問題もある。従って、複数箇所に対するゴミキズ領域除去を行うとともに、その結果（すなわち、成功又は失敗）を一度にオペレータに対して伝達する手段が必要となる。
【００１０】
この際、除去される領域は基本的には微小領域が多く、除去が成功した場合であっても、どの部分が除去され修整されたのかを確認するためには時間を要することがある。例えば、除去処理によって一見してゴミキズが画像中から消えたと確認することができる場合であっても、オペレータとしては、どの部分が修整されたのかをその細部位置を正確に把握したい場合もある。従って、除去されたゴミキズ領域が画像中のどこであったのかをすぐに把握することができる手段が必要となる。
【００１１】
また、複数箇所のゴミキズ領域の一括除去を行った結果、複数箇所で除去処理が失敗した場合、それらの部分についてはそれぞれの領域を拡大又は縮小しながら１つずつ除去処理をする必要がある。このことは除去処理に要する全作業時間が長くなり、作業効率を悪化させる原因になる場合がある。従って、除去処理の失敗時に、スムーズに複数のゴミキズ領域をマニュアル除去することができるような手段が必要となる。
【００１２】
本発明は、このような事情を考慮してなされたものであり、複数のゴミキズ領域等に対する除去処理の成功又は失敗結果及びその箇所を画面上に一覧表示することができる画像処理方法及び画像処理装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像処理方法は、画像中の所定の微小対象物の位置情報を取得する取得工程と、
前記微小対象物を前記画像中から除去する除去工程と、
前記除去工程による前記微小対象物の除去結果を判定する判定工程と、
前記除去工程により除去された前記微小対象物の位置情報と前記判定工程により判定された前記除去結果とに基づいて、前記微小対象物の除去が成功した場合は、該微小対象物除去後の前記画像上に第１の描画パターンを描画し、前記微小対象物の除去が失敗した場合は、該微小対象物を含んだ前記画像上に第２の描画パターンを描画する描画工程と
を有することを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、画像中の所定の微小対象物を指定する指定手段と、
前記指定手段により指定された前記微小対象物を前記画像中から除去する除去手段と、
前記除去手段による前記微小対象物の除去結果を判定する判定手段と、
前記除去手段により除去された前記微小対象物の位置と前記判定手段により判定された前記除去結果とに基づいて、前記微小対象物の除去が成功した場合は、該微小対象物除去後の前記画像上に第１の描画パターンを描画し、前記微小対象物の除去が失敗した場合は、該微小対象物を含んだ前記画像上に第２の描画パターンを描画する描画手段と
を備えることを特徴とする。
【００１５】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について詳細に説明する。
【００１６】
図１は、本発明の第１の実施形態に係るゴミ処理除去処理を行うための画像処理システムの全体構成を示すブロック図である。図１に示すように、本画像処理システムは、画像入力装置１０１、処理装置１０２、入力装置１０３及び表示装置１０４とを構成要素としている。図１において、画像入力装置１０１は、ゴミ除去処理の対象となる画像をデジタルデータとして読み込む装置であり、例えば、スキャナ、ＰＣカード、フレキシブルディスク、ＭＯ、ＺＩＰドライブ等で実現される。
【００１７】
また、処理装置１０２は、画像入力装置１０１で入力されたデジタルデータの画像に対して、以下で詳述するゴミ除去処理等の画像処理をするためのプログラムが記憶されており、当該プログラムに基づいてゴミ除去処理等を行う。尚、処理装置１０２には、画像データ、画像情報及びその他の動作時の計算結果等を一時的に保管するＲＡＭや、ハードディスクのような外部記憶装置を含んでいるものとする。或いは、それらの外部記憶装置等は処理装置１０２に接続するような構成であってもよい。さらに、入力装置１０３は、画像データに対する画像処理等のコマンドを入力する部分であり、この入力形態には、キーボード、マウス等を用いることによって実現される。さらにまた、表示装置１０４は、画像処理結果を表示するための装置であり、ディスプレイ等が含まれる。
【００１８】
図２は、第１の実施形態における除去処理アプリケーションを実行するための表示装置１０４上に表示される表示画面例を示す図である。図２において、除去画面２０１上には、ゴミキズ領域の除去・修整等の補正の対象となる画像入力装置１０１で入力された画像が表示される。例えば、オペレータは、カーソル２０２を除去画面２０１内に移動し、除去の対象となるゴミキズの部分（或いはその近傍部分）をクリックする等により、除去対象点の選択を行う。尚、一度除去対象点を選択した後に、除去画面２０１内の他の部分で再び除去対象点の選択を行うと、新たな除去対象点が追加することができるようにしてもよい。
【００１９】
一方、「適用」ボタン２０３は、選択された除去対象点に対して除去処理を開始させるためのボタンである。また、「失敗修整」ボタン２０４は、除去処理が失敗した場合に選択することによって、図３に示すようなマニュアル除去ダイアログを起動するためのボタンである。さらに、「終了」ボタン２０５は、本アプリケーションを終了するためのボタンである。
【００２０】
図３は、第１の実施形態に係る除去処理アプリケーションにおけるマニュアル除去ダイアログの一例を示す図である。図３において、除去画面３０１は、アプリケーションの実行によってゴミキズの除去処理が失敗した除去対象点を中心に、その周辺領域を拡大した部分が表示される。
【００２１】
また、ブラシボタン３０２は、各種太さ（例えば、本実施形態ではｓｍａｌｌ（細）、ｍｉｄｄｌｅ（中）、ｌａｒｇｅ（太）の３種類）のブラシを選択するためのボタンである。すなわち、選択されたブラシの太さで、除去画面３０１においてドラッグされた領域に対して、ドラッグ終了直後に自動的にゴミキズの除去処理が開始される。本実施形態では、ブラシのドラッグによって選択された除去対象領域付近のピクセル値を用いて、当該除去対象領域をペイントすることによってゴミキズの除去を行う。
【００２２】
さらに、次画像ボタン（ｐｒｅｖ（前）、ｎｅｘｔ（後））３０４は、除去処理が失敗した除去対象点が複数個存在する場合に、前或いは後の除去失敗領域を表示するためのボタンである。また、終了ボタン（ＥＮＤ）３０５は、本マニュアル除去ダイアログを終了して、図２に示すアプリケーションに戻るためのボタンである。さらに、拡大縮小ボタン３０６、例えば、拡大の場合は「＋」、縮小の場合は「−」を選択することにより、除去画面３０１に表示される除去領域を拡大したり縮小したりして、作業を効率良く行うことができる。
【００２３】
次に、本実施形態に係る除去処理アプリケーション及びマニュアル除去ダイアログを用いたゴミキズ領域除去処理について、さらに詳細に説明する。ここで、図４は、第１の実施形態に係るゴミキズ除去についての処理手順を説明するためのフローチャートである。
【００２４】
まず、除去対象画像を選択して本除去処理アプリケーションを起動することによって（ステップＳ１０１）、図２に示すような除去処理アプリケーションを実行するための初期画面が表示される（ステップＳ１０２）。ここで、図５は、アプリケーション起動時の除去画面２０１に表示される画像例を説明するための図である。図５に示すように、起動時に表示される画面は、除去対象画像４０１が除去画面２０１に表示された状態である。そして、オペレータは、マウス等の入力装置１０３を用いて各種操作を行う。
【００２５】
すなわち、オペレータの操作によって、カーソル２０２を除去画面２０１内に移動して、ゴミキズ領域と思われる領域の部分でクリック等を行うことによって除去対象点４０１が指定される（ステップＳ１０３）。そして、最初の除去対象点を指定した後に、新たにカーソル２０２を移動して、他の部分において同様にクリック等を行うことによって、新たな除去対象点を指定することもできる（ステップＳ１０４）。このようにして、オペレータは１点だけでなく、複数の除去対象点を当該除去画面２０１上において設定することができる。本実施形態においては、除去対象点は、図５の符号４０１で示すように、除去画面２０１上において「＋」の図形で表示される。尚、この図形「＋」については、一例であって他のマーク等を用いてもよい。
【００２６】
次に、図６Ａは、第１の実施形態における除去処理の対象となるゴミキズ部分の一例を示す図である。図６Ａにおいて、領域５０１内の３つの黒い矩形は、本画像内のゴミ又はキズ領域を示しているものとする。また、図６Ｂは、図６Ａに示す除去処理の対象画像に対して複数の除去対象点の指定を行った場合の結果を示す図である。図６Ｂには、図５の領域５０１内の３つの黒い矩形が除去対象点として指定され、それぞれの矩形近傍に除去対象点を意味する「＋」の図形が表示されている。
【００２７】
このような状態で、図２に示す適用ボタン２０３を選択して、除去処理を開始する（ステップＳ１０５）。そして、除去処理が終了すると除去画面２０１上には除去処理後の画面が表示される（ステップＳ１０６）。図７は、第１の実施形態に係るゴミキズ除去処理の終了時の除去画面２０１の様子を示す図である。図７では、除去処理が失敗した除去対象点を四角形７０４、７０５で示し、除去処理が成功した除去対象点を円形７０１、７０２、７０３で囲んで表示している。尚、このとき実際の画像では、ゴミキズ領域は除去されているので図７に示される黒い矩形は見えず、当該部分には円のみが表示されている。
【００２８】
本実施形態では、微小対象物が、画像のゴミ又はキズであることを特徴とする。そして、除去処理の一例として、当該微小対象物を構成する画素の画素値と微小対象物近傍画素の画素値とを置換することによって除去処理を行うことが可能である。
【００２９】
このような図形で除去対象領域を示すことによって、オペレータは、複数の除去対象点が画像中に存在する場合であっても、従来のようにゴミキズ等の除去結果を１つずつメッセージダイアログ等に応答することなく一度に視覚的に確認することができる。また、除去領域を含む近傍領域をパターンで囲むことにより、例え微小に修整された領域であっても、除去された領域が容易に確認、把握することができる。さらに、失敗等した領域を一覧表示することにより、再度除去処理を行う際にスムーズに除去作業をすることができる。
【００３０】
すなわち、本実施形態に係る画像処理システムは、画像入力装置１０１により入力された画像中の微小なゴミキズ領域（微小対象物）を指定する入力装置１０３と、入力装置１０３により指定された微小対象物を画像中から除去し、除去された微小対象物の除去結果を判定し、除去された微小対象物の位置と判定された除去結果とに基づいて、微小対象物の除去が成功した場合は、当該微小対象物除去後の画像上に第１の描画パターン（例えば、円）を描画し、微小対象物の除去が失敗した場合は、当該微小対象物を含んだ画像上に第２の描画パターン（例えば、矩形）を描画する処理装置１０２と、それらの描画パターンが表示された除去後の画像を表示する表示装置１０４とを備えることを特徴とする。
【００３１】
すなわち、処理装置１０２は、画像中のゴミキズ等の微小対象物の位置情報を取得し、微小対象物を画像中から除去し、微小対象物の除去結果を判定し、除去された微小対象物の位置情報と判定された除去結果とに基づいて、微小対象物の除去が成功した場合は、当該微小対象物除去後の画像上に第１の描画パターン（例えば、円）を描画し、微小対象物の除去が失敗した場合は、当該微小対象物を含んだ画像上に第２の描画パターン（例えば、矩形）を描画することを特徴とする。
【００３２】
これにより、従来のように、除去処理の結果をメッセージダイアログで表示することなく、除去対象物の位置に図形等で除去処理の成功又は失敗といった判定結果を表示するので、オペレータが視覚的に容易に除去結果及び除去領域を確認することができる。
【００３３】
また、上記処理装置１０２は、画像中の微小対象物上又は当該微小対象物近傍の一部分が指定された場合、指定された一部分の近傍に位置する微小対象物の位置情報を取得し、微小対象物の除去が成功した場合は、除去された微小対象物の位置を基準にして画像上に第１の描画パターン（例えば、円）を描画し、微小対象物の除去が失敗した場合は、指定された一部分を基準にして画像上に第２の描画パターン（例えば、矩形）を描画することを特徴とする。
【００３４】
さらに、上記処理装置１０２では、画像中に複数の微小対象物が存在する場合は、それぞれの微小対象物の位置情報を取得し、当該画像中から複数の微小対象物のそれぞれを除去し、複数の微小対象物のそれぞれの位置情報を基準として上記第１又は第２の描画パターンを画像上に描画することを特徴とする。
【００３５】
さらにまた、上記処理装置１０２は、画像中に複数の微小対象物が存在しており、複数の微小対象物の除去に成功した場合、当該複数の微小対象物を含む所定領域（すなわち、当該複数の微小対象物を全て包含する領域）を上記第１の描画パターン又は第２の描画パターンで描画するようにしてもよい。
【００３６】
これにより、一度の除去処理で処理された複数の微小対象物のそれぞれを描画パターンで囲んだり、当該複数の微小対象物を全て包含する領域を描画パターンで囲むことによって除去された処理領域について複数の画像処理の結果をメッセージダイアログを出すことなく視覚的に明確にし、オペレータが除去処理の成功又は失敗を直感的に確認することが可能となる。
【００３７】
さらにまた、上記処理装置１０２では、ゴミキズ領域等の微小対象物の除去に失敗した場合にのみ、当該微小対象物を基準として画像上に第１の描画パターン又は第２の描画パターンを描画するようにしてもよい。これにより、除去結果の成功又は失敗を両方共描画する方法では画面が煩雑になってオペレータが結果を確認し難い場合も考えられるが、除去結果が失敗した場合のみ矩形等の描画を行うことによって、複数の失敗除去が存在しても画面が煩雑になることを避けることができ、オペレータに対して除去処理の失敗を直感的に伝達することができる。また、成功した場合のみ表示するようにする場合も同様にしてすることができる。
【００３８】
次に、この状態でオペレータが失敗修整ボタン２０４をカーソル２０２等で選択すると、図３に示すようなマニュアル除去ダイアログが起動し（ステップＳ１０７）、以下の処理をマニュアル操作で行う。尚、マニュアル除去ダイアログの起動時の画面は、除去処理が失敗した領域（例えば、四角形７０４）が、拡大された状態で表示されている。
【００３９】
次いで、オペレータは、ブラシ３０２から除去処理に用いるものを一つ選択して（例えば、ｍｉｄｄｌｅ）、除去画面３０１内のゴミキズ領域と思われる部分の上をドラッグ操作し、ドラッグ動作を終了することによって除去対象領域を指定する（ステップＳ１０８）。そして、当該指定された除去対象領域における除去処理を行う（ステップＳ１０９）。尚、本除去処理としては、上述したように除去対象領域の周りの画素値を用いて除去対象領域内を埋めるような処理が挙げられるが、この詳細については本発明の趣旨ではないので説明を省略する。この除去処理が終了すると、除去画面３０１が更新される（ステップＳ１１０）。
【００４０】
また、他に除去処理が失敗した除去対象点が存在する場合は、次画像ボタン３０４を選択し、次の失敗領域（例えば、四角形７０５）を除去画面３０１上に表示して、同様に操作を行う。また、マニュアル除去処理を終了する場合は、終了ボタン３０５を選択して、マニュアル除去を終了した後、図２に示すような除去処理アプリケーションを実行するための画面に戻る（ステップＳ１１１）。但し、この状態で、マニュアル除去の結果は、除去画面２０１上に反映されている。さらに、本除去処理アプリケーションを終了する場合は、終了ボタン２０５を選択して終了する（ステップＳ１１２）。
【００４１】
ここで、ステップＳ１０５で除去処理を実行し、ステップＳ１０６で除去処理終了後の除去画面２０１上の除去対象領域の表示方法について詳細に説明する。図８は、ステップＳ１０６における除去処理終了後の除去画面２０１上に表示される除去対象領域の表示方法を説明するためのフローチャートである。また、図９Ａは、ゴミキズ除去処理が成功した場合の除去対象領域の拡大表示例を示す図である。さらに、図９Ｂは、ゴミキズ除去処理が失敗した場合の除去対象領域の拡大表示例を示す図である。
【００４２】
まず、ステップＳ１０３で示すようにユーザは除去画面２０１上の除去対象部分を点で選択する。これにより、図９Ａに示すように、「＋」の図形８０１が除去画面２０１上に表示される（ステップＳ２０１）。そして、当該除去対象点についてゴミキズ除去が行われ、ゴミキズ除去処理が成功した場合、除去された領域の位置８０２と除去領域の幅と高さ８０３等の除去領域情報が出力される（ステップＳ２０２）。そして、この除去領域情報に基づいて、マージンを含む領域を拡大して、除去成功を示す図形（本実施形態では円形）８０４が除去画面２０１上に表示される（ステップＳ２０３）。一方、除去失敗の場合は、図９Ｂに示すように、除去対象領域を「＋」の図形９００を中心にした図形（本実施形態では正方形）９０１が描画される。
【００４３】
例えば、ゴミ（キズ）のサイズを３×５（ｐｉｘｅｌ）、マージンを５（ｐｉｘｅｌ）、除去成功の場合は円形表示、除去失敗の場合は矩形（例えば、正方形）表示、除去失敗の場合の矩形のサイズを２０×２０（ｐｉｘｅｌ）とし、ゴミキズ除去が成功した場合は、当該除去領域を含み、マージンを追加したサイズの矩形に対する外接円が描画されるとする。
【００４４】
このような場合、図９Ａに示すように除去成功の場合は、ｘ方向（ｗｉｄｔｈ）に３＋５＋５＝１３（ｐｉｘｅｌ）、ｙ方向（ｈｅｉｇｈｔ）に５＋５＋５＝１５（ｐｉｘｅｌ）の大きさの矩形に外接する円８０４がゴミキズ領域の中心を中心として、除去領域として描画される。また、除去が失敗した場合は、除去対象領域が「＋」の図形９００を中心にして、２０×２０（ｐｉｘｅｌ）の正方形９０１が描画される。尚、本実施形態では、除去成功の場合の外接円の中心をゴミキズの中心としたが、「＋」の部分やその他の部分を中心にしてもよい。同様にして、除去失敗の場合の矩形の中心も「＋」以外の部分としてもよい。
【００４５】
また、本実施形態において、図７に示す円形７０１、四角形７０４等の成功又は失敗の際に表示される図形の形状を同一（例えば、すべて円形、すべて矩形等）にして、成功の場合には黄色、失敗の場合には赤等の描画色で色区分して表示することも可能である。或いは、描画する線種を区別し、例えば、成功した場合は実線、失敗した場合は点線等で表示するようにしてもよい。さらに、除去結果を上述した通り同じようにして、例えば、マウスカーソルを当該矩形等の位置に移動すると、成功又は失敗をツールチップのように表示するようにするものであってもよい。
【００４６】
すなわち、本実施形態では、上述した第１及び第２の描画パターンを、微小対象物を含む所定領域の描画色（例えば、当該領域を一定のカラー表示する）、外枠の線種（例えば、当該領域の輪郭を実線や破線で囲む）又は形状（当該領域を矩形、円形等にする）を含む図形の差異により区別可能な描画パターンとして表示することが可能である。
【００４７】
また、画像中に除去箇所が多数存在する場合や画像中の模様等によって、上述したような図形等の表示を行うことによって除去結果が見づらくなるような場合は、この表示結果をスイッチ等により表示／非表示にするようにしてもよい。さらに、除去が成功した場合は修整結果を信頼して再編集を行わないようにする場合は、失敗の場合のみを表示するようにして、失敗した部分だけに対して再除去を行わせるようにしてもよい。
【００４８】
また、本実施形態では、除去候補領域を点で指定することによって示したが、これ以外に矩形で指定したり、ペイント（色）等で指定したりすることも可能である。
【００４９】
上述したように、本実施形態に係る画像処理システムでは、微小対象物の除去に失敗した場合、当該微小対象物及びその近傍領域を画面上に拡大又は縮小表示し、画面上に拡大又は縮小表示された微小対象物を再除去するようにしている。これにより、微小対象物の除去処理が失敗して再度の除去が必要な場合に、除去対象物近傍の領域の表示を拡大縮小して、再除去をスムーズに行うことができる。
【００５０】
また、本実施形態に係る画像処理システムでは、複数の微小対象物の除去に失敗した場合、失敗した複数の微小対象物を同時に表示し、当該複数の微小対象物を再除去するようにしている。これにより、複数の微小対象物の除去処理に失敗して再度の修整を行う場合に、除去処理に失敗した複数の微小対象物を同時に表示して、再度除去を行うことによってスムーズが除去作業を行うことができる。
【００５１】
さらに、本実施形態に係る画像処理システムでは、複数の微小対象物の除去に失敗した場合、失敗した前記複数の微小対象物を１つずつ拡大表示し、除去処理に失敗した微小対象物の表示を他の微小対象物に切り替えるようにしてもよい。これにより、微小対象物の除去処理が失敗して再度の修整を行う場合、除去失敗領域を１つずつ拡大表示するとともに、その表示を順又は任意に切り替えて、１つずつ除去作業をスムーズに行うことができる。
【００５２】
さらにまた、本実施形態に係る画像処理システムでは、除去処理された複数の微小対象物の除去結果を１つずつ表示し、複数の微小対象物の表示を１つずつに切り替えるようにしてもよい。これにより、除去処理の成功又は失敗に限らず、１つずつ微小対象物近傍領域をその除去結果が成功又は失敗かを併せて表示し、除去処理された細部の確認作業をスムーズに行うことができる。
【００５３】
さらにまた、本実施形態に係る画像処理システムでは、除去された後の前記微小対象物の位置情報を取得し、当該微小対象物の除去結果の判定を強制的に変更するようにして、変更した微小対象物に対する除去処理を再実行或いはマニュアルによって実行するようにしてもよい。これにより、例えば、除去処理が成功した場合であっても、除去結果の判定を変更して除去を取り消し、除去前の状態に戻すことにより、再度の除去を行うことができるので、より柔軟な編集が可能となる
＜第２の実施形態＞
本発明の第２の実施形態では、上述したゴミキズ除去処理を実行可能な画像処理システムをさらに赤目除去処理に対して適用した場合について説明する。すなわち、第２の実施形態に係る画像処理システムの構成も図１に示す第１の実施形態で使用したものと同様である。また、赤目除去処理アプリケーションの画面についても、図２や図３に示すものと同様とする。
【００５４】
図１０は、本発明の第２の実施形態に係る赤目除去についての処理手順を説明するためのフローチャートである。尚、赤目除去処理アプリケーションを起動した直後の画面は第１の実施形態と同様に図２に示す画面である。そして、本実施形態では、この画面で図１１に示す画像が入力された場合を例にとって説明する。
【００５５】
図１１は、第２の実施形態における赤目の人物を含む赤目除去処理対象画像を表示した除去画面２０１を示す図である。また、図１２は、図１１に示した赤目除去処理対象画像を説明するための図である。図１２に示すように、本実施形態では、画像中の３人の人物のうち両端の人物が赤目になっており、中央の人物は赤目にはなっていないものとする。また、図１３は、第２の実施形態における赤目除去対象領域を設定した直後の除去画面２０１の様子を示す図である。
【００５６】
すなわち、ユーザは、図１３に示すように、赤目除去処理アプリケーション画面上で、それぞれの赤目の人物の目の部分の領域を選択する（ステップＳ１００１、Ｓ１００２）。ここで、本実施形態では、失敗例も説明する都合上、図１３に示すように明らかに黒目と分かる中央の人物を含めて全ての人物の眼の付近を選択しているが、本来は、赤目の人物のみでかまわない。この選択操作は、図１１の初期画面において、カーソル２０２等を用いて所定の大きさの矩形領域を表示させ、カーソル２０２を除去画面２０１内でドラッグすることにより矩形領域１１０１を移動する。これによって、図１３に示すように、矩形領域１３０１で赤目部分の領域の選択が可能となる。また、新たに、領域を追加するためには、新たな場所で、同様の操作を繰り返すことにより、選択領域を追加することができる。
【００５７】
そして、全ての赤目の人物の選択が終わった場合（ステップＳ１００１でＮｏの場合）、適用ボタン２０３を選択することによって赤目除去処理が行われる（ステップＳ１００３）。尚、除去処理については、選択した複数の除去候補領域１３０１の中から、除去対象の赤目パターンを発見して、このパターンの色を通常の眼の色に修整することにより行われる。例えば、この修整処理としては、例えば赤色成分を検出して黒色成分に変換したり、彩度や色相成分を用いるような方法があるが、このような色変換方法は既知であるのでここでの説明は省略する。
【００５８】
図１４は、赤目除去処理後の除去画面２０１の様子を示す図である。本実施形態では、例えば赤目除去処理が成功したか否かは当該領域で色変換等による赤目除去処理が行われたか否か等で判定する。そして、赤目除去処理が成功したと判定された場合は除去された領域を取得し、この領域を含む近傍領域を矩形で囲むことにより、除去の操作が成功したことをオペレータに伝達するようにする（ステップＳ１００４）。
【００５９】
本実施形態では、除去が成功した場合は、一例として、図１４に示すように、除去した領域を含むある一定のマージンを追加した領域を点線の矩形（例えば、矩形１４０１、１４０３）で囲んで表示するようにしている。尚、矩形１４０１の領域の赤目除去については一部赤目除去が行われて成功と判定されているが、実際には不完全な処理であって完全には赤目除去がされていないものとする。また、赤目除去処理が失敗した場合（例えば、当初から黒目であるために赤目部分が検出されずに除去処理が行われなかった場合等）は、除去候補領域を実線の矩形（例えば、矩形１４０２）で囲んで表示する。
【００６０】
また、赤目除去処理においては、撮影時の光の加減やシャッタースピード等により、赤目が金目や緑眼になったりしており、必ずしも赤い目であるとは限らない。このような場合に赤目除去処理を行うことによって部分的には赤目除去が成功していても、ユーザが全体を観察した結果、不自然な目になっている場合があり、成功であると判定された場合であっても再度除去をやり直したり、マニュアル除去で丁寧に修整を加えたいような場合がある。
【００６１】
そこで、本実施形態では、除去が成功したと判定された矩形（例えば、図１４の矩形１４０１）の内部等をカーソル２０２等で選択することによって除去の判定を強制的に失敗させ、マニュアルによる修整作業を行うようにすることができる（ステップＳ１００５でＹｅｓの場合）。
【００６２】
図１５は、第２の実施形態において左端の人物の除去結果を強制的に失敗に変更した場合の除去画面２０１の様子を示す図である。この場合、強制的に失敗させた矩形１５０１は除去処理前の赤目の状態になっている。この状態で、オペレータは失敗修整ボタン２０４を選択して、図３に示すマニュアル除去ダイアログを起動する。ここで、このダイアログ起動直後は、第１の実施形態と同様に、選択した１つの失敗領域（例えば、矩形１５０１の部分）が拡大されて表示される。
【００６３】
その後、本実施形態では、図３に示すダイアログにおいて、拡大された画像を除去のためのツール（例えば、ブラシボタン３０２等）を選択して（ステップＳ１００６）、除去画面２０１上でドラッグをすることによって、ドラッグした部分の赤みが軽減されるようにする（ステップＳ１００７）。このようにして、赤目をマニュアル操作で除去することができる。尚、ブラシ等を用いた赤目除去処理自体に関するアルゴリズムの詳細については本発明の趣旨ではないため省略する。
【００６４】
ここで、除去の領域が狭すぎる場合は、拡大縮小ボタン３０６（例えば、拡大の場合は「＋」、縮小の場合は「−」を選択）することにより、除去領域を拡大したり縮小したりして、作業を効率良く行うことができる。また、次の画像を表示して、除去作業を行いたい場合は、次画像ボタン３０４を選択して除去対象の画像を新たに選択して、除去を行うことができる（ステップＳ１００８）。そして、失敗除去の画像がない場合はＥＮＤボタン３０５を選択して本ダイアログを終了し、図２に示すアプリケーションの画面に戻る。
【００６５】
すなわち、本実施形態では、処理対象となる微小対象物が、人物を撮影した画像における赤目であり、画像中の赤目（微小対象物）を構成する画素を色変換（例えば、黒色。その他の色であっても良い。）若しくは塗りつぶすことを特徴とする。
【００６６】
次に、第２の実施形態における除去結果の表示の一例を説明する。図１６は、第２の実施形態における赤目除去処理が成功した場合の赤目部分の表示例を示す図である。赤目除去が成功した場合は、除去した領域を取得することができる。そこで、本実施形態では、当初設定された赤目除去のために選択された領域１６０１ではなく、修整された２つの目の領域と、所定のマージンを含む領域を修整成功を表示するための描画領域として、点線１６０２で囲んで表示するようにしている。
【００６７】
また、赤目除去処理が失敗した場合の表示について、図１７を用いて説明する。図１７は、第２の実施形態における赤目除去処理が失敗した場合の赤目部分の表示例を示す図である。赤目除去が失敗した際は、除去領域を取得することが不可能であるため、当初指定した除去選択領域を除去失敗のための領域１７０１として実線で描画する。
【００６８】
そして、赤目の修整が終了した後、オペレータは終了ボタン３０５を選択してマニュアル除去ダイアログを終了する。これによって、上記処理で行われた赤目が除去された結果の画像が除去画面３０１に表示される。
【００６９】
以上説明したように、第２の実施形態に係る赤目除去処理により、画像中に複数の赤目除去対象領域が存在する場合であっても、赤目除去結果を一括して表示することができる。また、赤目除去結果の判定を除去領域で表示し、さらにその領域を選択することにより再度修整することができるようにしたことにより、画像処理が成功した場合であっても再度マニュアルによる除去を行うことができ、より柔軟性のある画像処理を行うことができる。
【００７０】
＜その他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００７１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、複数のゴミキズ領域等に対する除去処理の成功又は失敗結果及びその箇所を画面上に一覧表示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るゴミ処理除去処理を行うための画像処理システムの全体構成を示すブロック図である。
【図２】第１の実施形態における除去処理アプリケーションを実行するための表示装置１０４上に表示される表示画面例を示す図である。
【図３】第１の実施形態に係る除去処理アプリケーションにおけるマニュアル除去ダイアログの一例を示す図である。
【図４】第１の実施形態に係るゴミキズ除去についての処理手順を説明するためのフローチャートである。
【図５】アプリケーション起動時の除去画面２０１に表示される画像例を説明するための図である。
【図６Ａ】第１の実施形態における除去処理の対象となるゴミキズ部分の一例を示す図である。
【図６Ｂ】図６Ａに示す除去処理の対象画像に対して複数の除去対象点の指定を行った場合の結果を示す図である。
【図７】第１の実施形態に係るゴミキズ除去処理の終了時の除去画面２０１の様子を示す図である。
【図８】ステップＳ１０６における除去処理終了後の除去画面２０１上に表示される除去対象領域の表示方法を説明するためのフローチャートである。
【図９Ａ】ゴミキズ除去処理が成功した場合の除去対象領域の拡大表示例を示す図である。
【図９Ｂ】ゴミキズ除去処理が失敗した場合の除去対象領域の拡大表示例を示す図である。
【図１０】本発明の第２の実施形態に係る赤目除去についての処理手順を説明するためのフローチャートである。
【図１１】第２の実施形態における赤目の人物を含む赤目除去処理対象画像を表示した除去画面２０１を示す図である。
【図１２】図１１に示した赤目除去処理対象画像を説明するための図である。
【図１３】第２の実施形態における赤目除去対象領域を設定した直後の除去画面２０１の様子を示す図である。
【図１４】赤目除去処理後の除去画面２０１の様子を示す図である。
【図１５】第２の実施形態において左端の人物の除去結果を強制的に失敗に変更した場合の除去画面２０１の様子を示す図である。
【図１６】第２の実施形態における赤目除去処理が成功した場合の赤目部分の表示例を示す図である。
【図１７】第２の実施形態における赤目除去処理が失敗した場合の赤目部分の表示例を示す図である。
【図１】
2004326265.tif 000003
【図２】
2004326265.tif 000004
【図３】
2004326265.tif 000005
【図４】
2004326265.tif 000006
【図５】
2004326265.tif 000007
【図６Ａ】
2004326265.tif 000008
【図６Ｂ】
2004326265.tif 000009
【図７】
2004326265.tif 000010
【図８】
2004326265.tif 000011
【図９Ａ】
2004326265.tif 000012
【図９Ｂ】
2004326265.tif 000013
【図１０】
2004326265.tif 000014
【図１１】
2004326265.tif 000015
【図１２】
2004326265.tif 000016
【図１３】
2004326265.tif 000017
【図１４】
2004326265.tif 000018
【図１５】
2004326265.tif 000019
【図１６】
2004326265.tif 000020
【図１７】
2004326265.tif 000021