(57)【特許請求の範囲】
【請求項１】
コンピュータに、
複数の編集対象領域として、対象画像内に設定領域を設定し、前記設定領域と一部が重なり、前記設定領域とは異なる大きさの領域を前記設定領域が設定された時に設定する領域設定手順と、
前記複数の編集対象領域のそれぞれに対して、前記編集対象領域に含まれる画像を編集する画像処理を実行する画像処理手順と、
前記複数の編集対象領域に対してそれぞれ画像処理が施された画像を、複数の候補画像として一覧表示する表示手順とを実行させるための画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記画像処理手順は、前記表示手順が一覧表示した複数の候補画像のいずれかが選択された場合には、選択された候補画像を生成するために設定した大きさの前記編集対象領域を前記対象画像に設定し、前記対象画像に設定した前記編集対象領域に対して前記画像処理を実行することを特徴とする画像処理プログラム。
【請求項３】
請求項１または２に記載の画像処理プログラムにおいて、
前記表示手順は、前記候補画像を前記対象画像とは異なるウィンドウに一覧表示することを特徴とする画像処理プログラム。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理プログラムにおいて、
前記表示手順は、前記候補画像の表示倍率を、前記対象画像と同一、または縮小して表示することを特徴とする画像処理プログラム。
【請求項５】
請求項２に記載の画像処理プログラムにおいて、
前記領域設定手順は、あらかじめ設定されている数の前記編集対象領域を設定し、前記表示手順が一覧表示した複数の候補画像のいずれも選択されない場合には、前記編集対象領域の数を増加させることを特徴とする画像処理プログラム。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理プログラムにおいて、
前記領域設定手順は、設定された前記設定領域の大きさを所定画素数だけ拡大したり縮小したりすることによって、前記複数の編集対象領域を設定することを特徴とする画像処理プログラム。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理プログラムにおいて、
前記画像処理手順は、前記編集対象領域に含まれる不要な被写体を消去するための画像処理を実行することを特徴とする画像処理プログラム。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理プログラムを実行する実行手段を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、および画像処理装置に関する。
【背景技術】
【０００２】
次のようなデジタル画像内の不所望なオブジェクト等の除去方法が知られている。この方法では、ユーザが指定した不所望なオブジェクト等を含む領域内の画素を、生成したテクスチャにより置き換えることで、デジタル画像内から不所望なオブジェクト等を除去することによって画像を修正する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６３４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、使用者が指定した修正対象の領域が適切であったかは、処理結果が画像に反映された後でないと判断ができなかった。このため、使用者は、修正された画像を確認した結果、領域指定が適切でなかったと判断した場合には、再度領域の位置や大きさを変えて指定し直す必要があり、操作が煩雑であった。
【課題を解決するための手段】
【０００５】
請求項１の発明による画像処理プログラムは、コンピュータに、複数の編集対象領域として、対象画像内に設定領域を設定し、前記設定領域と一部が重なり、前記設定領域とは異なる大きさの領域を前記設定領域が設定された時に設定する領域設定手順と、前記複数の編集対象領域のそれぞれに対して、前記編集対象領域に含まれる画像を編集する画像処理を実行する画像処理手順と、前記複数の編集対象領域に対してそれぞれ画像処理が施された画像を、複数の候補画像として一覧表示する表示手順とを実行させることを特徴とする。
請求項８の発明による画像処理装置は、請求項１〜７のいずれか一項に記載の画像処理プログラムを実行する実行手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、簡易な操作で修正対象の領域を適切に設定することができる。
【図面の簡単な説明】
【０００７】
【図１】パソコンの一実施の形態の構成を示すブロック図である。
【図２】画像内に写り込んでいる電線Ａを消去する場合の具体例を示す図である。
【図３】画面上でのウィンドウ表示例を示す図である。
【図４】パソコン１００における処理を示すフローチャート図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００９】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、パソコン１００と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン１００は、この接続ＩＦ１０２を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続ＩＦ１０２としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。
【００１０】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。
【００１１】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルのデータや、制御装置１０３で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。
【００１２】
モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。
【００１３】
本実施の形態におけるパソコン１００では、使用者は、画像処理アプリケーションを実行してＨＤＤ１０４に記録されている画像ファイルの画像を表示し、表示中の画像を編集することができる。例えば、図２（ａ）に示すように、画像内に電線Ａが写り込んでいる場合に、使用者は、画像内から電線Ａを消去して画像を修復することができる。具体的には、使用者は、図２（ｂ）に示すように、画像処理アプリケーションが備える編集ツールの１つである矩形ツールを用いて電線Ａを含む領域２ａを指定したり、図２（ｃ）に示すように、画像処理アプリケーションが備える編集ツールの１つである修復ブラシツールを用いて電線Ａを含む領域２ｂを指定したりする。
【００１４】
制御装置１０３は、使用者が指定した領域（２ａまたは２ｂ）を編集対象領域として特定し、当該編集対象領域内に含まれる不要な被写体（この場合は電線Ａ）を消去するための画像処理（以下、「画像修正処理」と呼ぶ）を実行する。具体的な画像修正処理の方法は、例えば特開２００５−５０９９８５号公報に開示されているような公知の方法を用いれば良いため、詳細な説明は省略するが、制御装置１０３は、編集対象領域外の画素で編集対象領域内の不要な被写体が写り込んでいる画素を置き換えることによって、編集対象領域内に含まれる不要な被写体を消去する。
【００１５】
編集対象領域の指定方法として修復ブラシツールを用いる場合には、使用者は、使用するブラシの大きさを選択してから、その大きさのブラシを画像上の消去したい被写体、すなわち上述した電線Ａ等の不要な被写体上で移動させることにより、ブラシが移動した範囲内の領域を編集対象領域として指定することができる。なお、ブラシの大きさは、段階的に大きくなるように複数の大きさが用意されており、使用者は、その中から任意のブラシの大きさを選択する。
【００１６】
このとき、使用者は、消去したい被写体の大きさに応じて最適と考えるブラシの大きさを選択して編集対象領域を指定することになるが、選択したブラシの大きさが最適であるかは画像修正処理の結果を見てみないと分からない。すなわち、使用者が最適と考えて選択したブラシの大きさが実際には最適ではなかった場合には、編集対象領域に対して画像修正処理を行っても不要な被写体が正しく消去されない可能性がある。この場合、制御装置１０３によって編集対象領域に対する画像修正処理が行われ、その結果がモニタ１０５上に表示された後でないと使用者が画像修正処理の結果を確認できないとすると、使用者は画像修正処理の結果をモニタ１０５上で確認したときに初めて選択したブラシの大きさが最適ではなかったことを知ることになる。
【００１７】
例えば、使用者は、図２（ｄ）に示すように、図２（ａ）に示した画像内の被写体のうち、電線Ａ以外の被写体はそのまま残し、電線Ａのみが消去された画像を得たいと考えて編集対象領域を指定したとする。しかしながら、使用者が最適と考えて選択したブラシの大きさが実際には最適でなかった結果、図２（ｅ）に示すように、本来消去したかった電線Ａは残ったまま、領域２ｃ内にあった花が消去されてしまう可能性がある。あるいは、図２（ｆ）に示すように、電線Ａと花の両方が消去されてしまう可能性もある。
【００１８】
このような場合には、使用者は、その後、改めてブラシの大きさを選択し直して画像修正処理を実行する必要がある。さらに、そのときの画像修正処理の結果がモニタ１０５に表示されたときに、再度、新たに選択し直したブラシの大きさも最適ではなかったことを知った場合には、使用者は、再びブラシの大きさを選択し直す必要があり、所望の結果が得られるまでこれを繰り返さなければならない。本実施の形態では、使用者がこのような煩雑な操作を行わなくても最適なブラシの大きさを選択できるように、制御装置１０３は、以下に示す処理を行う。
【００１９】
具体的には、制御装置１０３は、使用者によってブラシの大きさが選択され、そのブラシを用いて編集対象領域が指定されたタイミングで、使用者によって選択されたブラシの大きさ（複数段階あるブラシの大きさのうち、何段階目の大きさが選択されたか）、および画像内における編集対象領域の指定位置を特定する。そして、制御装置１０３は、使用者によって選択されたブラシの大きさを含む複数段階のブラシの大きさを自動選択する。例えば、制御装置１０３は、使用者によって選択されたブラシの大きさと、使用者によって選択されたブラシの大きさよりも１段階上の大きさと、使用者によって選択されたブラシの大きさよりも１段階下の大きさとの３段階の大きさを自動選択する。
【００２０】
そして、制御装置１０３は、使用者によって指定された編集対象領域を含んだ画像内の一部領域を抽出し、抽出した一部領域内に上記３段階の大きさのブラシを用いた編集対象領域を設定して画像修正処理を施す。これによって、使用者によって選択された大きさのブラシで指定された編集対象領域に対して画像修正処理を施した一部領域内の画像と、使用者によって選択された大きさよりも１段階大きなブラシで指定された編集対象領域に対して画像修正処理を施した一部領域内の画像と、使用者によって選択された大きさよりも１段階小さなブラシで指定された編集対象領域に対して画像修正処理を施した一部領域内の画像とを得ることができる。
【００２１】
制御装置１０３は、このように生成したそれぞれの一部領域内の画像を候補画像としてモニタ１０５上に表示する。例えば、制御装置１０３は、図３に示すように、モニタ１０５上に、編集対象の画像を表示するためのウィンドウ３ａとは別の候補画像表示ウィンドウ３ｂを表示し、当該候補画像表示ウィンドウ３ｂ内に候補画像３ｃから３ｅを一覧表示する。例えば、図３においては、候補画像３ｃは、１段階小さなブラシで編集対象領域を指定した場合の候補画像であり、候補画像３ｄは、使用者によって選択された大きさのブラシで編集対象領域を指定した場合の候補画像であり、候補画像３ｅは、１段階大きなブラシで編集対象領域を指定した場合の候補画像である。
【００２２】
なお、候補画像表示ウィンドウ３ｂ内に表示する各候補画像は、ウィンドウ３ａ内に表示された編集対象の画像と同じ表示倍率で表示してもよいし、表示倍率を拡大または縮小したものであってもよい。また、各候補画像の表示倍率は、使用者が任意に変更できるようにしてもよい。
【００２３】
使用者は、候補画像表示ウィンドウ３ｂ内から、所望の画像、すなわち使用者が画像内から消去したいと考えている被写体のみが消去されている候補画像を１つ選択することができる。制御装置１０３は、使用者によっていずれかの候補画像が選択された場合には、ウィンドウ３ａ内に表示されている編集対象の画像に対して、選択された候補画像を生成するときに用いた大きさのブラシを用いて編集対象領域を指定して、画像修正処理を実行する。
【００２４】
これによって、使用者は、最適と考えるブラシの大きさを選択して編集対象領域を指定すれば、他の大きさのブラシで編集対象領域を指定した場合の候補画像も確認することができる。そして、使用者は、表示された候補画像の中から消去したい被写体が確実に消去されている画像を選択するだけで、最適なブラシの大きさを自動選択して、不要な被写体を消去した修正後画像を得ることができる。
【００２５】
図４は、本実施の形態におけるパソコン１００における処理を示すフローチャートである。この図４に示す処理は、使用者によって画像処理アプリケーションの実行が指示されると起動するプログラムとして、制御装置１０３によって実行される。
【００２６】
ステップＳ１０において、制御装置１０３は、使用者が画像の編集ツールとして修復ブラシツールを選択したか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、制御装置１０３は、使用者が上述した編集対象領域を指定するために使用するブラシの大きさを選択したか否かを判断する。ステップＳ２０で肯定判断した場合には、ステップＳ３０へ進む。
【００２７】
ステップＳ３０では、制御装置１０３は、使用者がブラシを用いて消去したい被写体を含んだ編集対象領域を指定したか否かを判断する。ステップＳ３０で肯定判断した場合には、ステップＳ４０へ進む。ステップＳ４０では、制御装置１０３は、図３に示した候補画像表示ウィンドウ３ｂ内に表示済みの候補画像の数（以下「表示数」と呼ぶ）を０にセットしてステップＳ５０へ進む。ステップＳ５０では、制御装置１０３は、候補画像表示ウィンドウ３ｂ内に表示する候補画像の数（候補数）が表示数より多いか否かを判断する。なお、候補数はあらかじめ設定されているものとし、例えば、図３に示した例では、候補数は３である。
【００２８】
ステップＳ５０で否定判断した場合には、後述するステップＳ１００へ進む。これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０３は、上述したように、使用者によって選択されたブラシの大きさを含む複数段階のブラシの大きさを自動選択するために、ブラシの大きさ調整値ｘを決定する。なお、調整値ｘは、使用者によって選択されたブラシの大きさを基準とした、ブラシの大きさの変化量（単位：ピクセル）を示す。
【００２９】
例えば、上述したように、使用者によって選択されたブラシの大きさと、使用者によって選択されたブラシの大きさよりも１段階上の大きさと、使用者によって選択されたブラシの大きさよりも１段階下の大きさとの３段階の大きさを自動選択する場合について説明する。この場合、使用者によって選択されたブラシの大きさを設定するための調整値ｘは０となる。また、ブラシの大きさを１段階変化させるごとにブラシの大きさが１ピクセルずつ大きくなる場合には、使用者によって選択されたブラシの大きさよりも１段階上の大きさを設定するための調整値ｘは＋１となり、用者によって選択されたブラシの大きさよりも１段階下の大きさを設定するための調整値ｘは−１となる。
【００３０】
ステップＳ６０では、制御装置１０３は、調整値ｘとして上記のいずれか１つを決定する。例えば、一番小さい値である−１に決定する。その後、ステップＳ７０へ進み、制御装置１０３は、上述したように、使用者によって指定された編集対象領域を含んだ画像内の一部領域を抽出し、抽出した一部領域内に、ステップＳ６０で決定した調整値ｘに基づく大きさのブラシを用いた編集対象領域を設定して画像修正処理を施すことにより、候補画像を生成する。
【００３１】
その後、ステップＳ８０へ進み、制御装置１０３は、ステップＳ７０で生成した候補画像を、図３に示した候補画像表示ウィンドウ３ｂ内に表示して、ステップＳ９０へ進む。ステップＳ９０では、制御装置１０３は、ステップＳ４０で設定した表示数に１を加算して、ステップＳ５０へ戻る。これによって、ステップＳ５０で否定判断されるまで（表示数が候補数に到達するまで）は、ステップＳ６０〜ステップＳ８０の処理が繰り返されて、候補数として設定されている数だけ、候補画像表示ウィンドウ３ｂ内に候補画像が表示されることになる。
【００３２】
次に、ステップＳ５０で否定判断した場合の処理について説明する。この場合には、ステップＳ１００へ進み、制御装置１０３は、使用者が候補画像表示ウィンドウ３ｂ内に表示された候補画像を確認した結果、候補画像の中に所望の画像があったか否かを判断する。例えば、図３に示す画面上に「キャンセル」ボタンを配置しておき、使用者が「キャンセル」ボタンを押下した場合には、候補画像の中に所望の画像がなかったと判断、すなわち否定判断する。これに対して、使用者が「キャンセル」ボタンを押下しない場合には、候補画像の中に所望の画像があったものと判断、すなわち肯定判断する。
【００３３】
ステップＳ１００で否定判断した場合には、ステップＳ４０へ戻る。このとき、制御装置１０３は、現在設定されている候補数に基づいて候補画像を表示しても、使用者が望む候補画像を生成できなかったことを加味して、ステップＳ１３０において候補数を前回の処理時よりも増加させる。これによって、前回の処理で使用者が望む候補画像を生成できなかった場合でも、次回の処理ではさらに多くの候補画像を表示するので、使用者が望む候補画像を生成できる可能性が高くなる。
【００３４】
一方、ステップＳ１００で肯定判断した場合には、ステップＳ１１０へ進む。ステップＳ１１０では、制御装置１０３は、使用者によって候補画像表示ウィンドウ３ｂ内に表示されている候補画像中からいずれか１つが選択されたか否かを判断する。ステップＳ１１０で肯定判断した場合には、ステップＳ１２０へ進む。
【００３５】
ステップＳ１２０では、制御装置１０３は、ウィンドウ３ａ内に表示されている編集対象の画像に対して、使用者によって選択された候補画像を生成するときに用いた大きさのブラシを用いて編集対象領域を指定して、画像修正処理を実行する。その後、処理を終了する。
【００３６】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、使用者によって選択されたブラシの大きさを含む複数段階のブラシの大きさを自動選択して編集対象領域を設定するようにした。そして、使用者によって指定された編集対象領域を含んだ画像内の一部領域を抽出し、抽出した一部領域内に各編集対象領域を設定して画像修正処理を施し、処理結果として得られる複数の候補画像をモニタ１０５上に表示するようにした。これによって、使用者は、最適と考えるブラシの大きさを選択して消去したい被写体を含む領域を設定するだけで、複数の候補画像を確認することができるため、ブラシの大きさを何度も選択し直さなくても最適なブラシの大きさを選択することができる。
【００３７】
（２）制御装置１０３は、使用者によっていずれかの候補画像が選択された場合には、ウィンドウ３ａ内に表示されている編集対象の画像に対して、選択された候補画像を生成するときに用いた大きさのブラシを用いて編集対象領域を指定して、画像修正処理を実行するようにした。これによって、使用者は、簡易な操作で不要な被写体を消去した画像を得ることができる。
【００３８】
（３）制御装置１０３は、編集対象の画像を表示するためのウィンドウ３ａとは別の候補画像表示ウィンドウ３ｂを表示し、当該候補画像表示ウィンドウ３ｂ内に候補画像３ｃから３ｅを一覧表示するようにした。これによって、使用者は、候補画像を確認して、所望の候補画像を選択することができる。
【００３９】
（４）制御装置１０３は、候補画像表示ウィンドウ３ｂ内に表示する各候補画像は、ウィンドウ３ａ内に表示された編集対象の画像と同じ表示倍率で表示したり、表示倍率を拡大または縮小したりして表示するようにした。これによって、最適な表示倍率で候補画像を表示することができる。
【００４０】
（５）制御装置１０３は、使用者の所望の候補画像がない場合には、候補数を増加させて処理を繰り返すようにした。これによって、現在の候補数で表示した候補画像の中に使用者の所望の候補画像がない場合であっても、さらに表示する候補画像数を増やすことにより、表示される候補画像の中に使用者の所望の画像が含まれる可能性を上げることができる。
【００４１】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、使用者は、画像処理アプリケーションが備える編集ツールの１つである矩形ツールや修復ブラシツールを用いて編集対象領域を指定する例について説明した。しかしながら、使用者は、その他の方法によって編集対象領域を指定してもよい。例えば、描画ツールを用いてフリーハンドで画像上に編集対象領域を描画することによって指定してもよい。あるいは、使用者がマウスを使用して画像内で消去したい被写体上の１点をクリックしたときに、制御装置１０３は、クリックされた位置の画素と連続し、かつ色が類似している画素が存在する領域を自動的に認識し、認識した領域、または認識した領域とその周辺画素とを含んだ領域を編集対象領域としてもよい。
【００４２】
（２）上述した実施の形態では、制御装置１０３は、使用者によって選択されたブラシの大きさを含む複数段階のブラシの大きさを自動選択して、複数の異なる大きさの編集対象領域を設定し、それぞれの編集対象領域について候補画像を生成する例について説明した。しかしながら、制御装置１０３は、使用者によって編集対象領域が指定された場合には、編集対象領域の大きさは変化させずに、画像内における編集対象領域の位置を少しずつずらして複数箇所に設定し、それぞれの編集対象領域について候補画像を生成するようにしてもよい。例えば、制御装置１０３は、使用者によって設定された編集対象領域の位置を基準位置とし、基準位置から１ピクセル上に移動させた編集対象領域、１ピクセル下に移動させた編集対象領域を設定して、各編集対象領域ごとに候補画像を生成するようにしてもよい。
【００４３】
（３）制御装置１０３は、図４のステップＳ３０で使用者によって編集対象領域が指定された場合には、一定時間、例えば２秒程度の待ち時間が経過してからステップＳ４０へ進むようにしてもよい。これによって、その待ち時間の間に使用者はブラシの大きさを変更したりすることができる。
【００４４】
（４）上述した実施の形態では、制御装置１０３は、使用者によって選択されたブラシの大きさと、使用者によって選択されたブラシの大きさよりも１段階上の大きさと、使用者によって選択されたブラシの大きさよりも１段階下の大きさとの３段階の大きさを自動選択する場合について説明した。しかしながら、ブラシの大きさの変化量を１段階ではなく２段階以上としてもよい。また、自動選択するブラシの大きさは３つに限定されず、４つ以上としてもよい。
【００４５】
（５）上述した実施の形態では、画像処理装置としては、パソコン１００を使用する例について説明したが、これに限定されず、カメラ等の他の機器にも本発明は適用可能である。
【００４６】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００４７】
１００  パソコン、１０１  操作部材、１０２  接続ＩＦ、１０３  制御装置、１０４  ＨＤＤ、１０５  モニタ
【図１】
0005531636.tif 000002
【図２】
0005531636.tif 000003
【図３】
0005531636.tif 000004
【図４】
0005531636.tif 000005