(57)【特許請求の範囲】
【請求項１】
元画像を取得する取得手段と、
前記取得手段により取得された前記元画像内で修正すべき画像が含まれる不要領域を指定する指定手段と、
前記元画像における複数の画像境界のうちの、前記指定手段により指定された前記不要領域と重なる画像境界の外側に、前記画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する第１生成手段と、
前記第１生成手段により生成された前記第１修正画像における前記不要領域を修正して第２修正画像を生成する第２生成手段と、
前記第２生成手段により生成された前記第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する第３生成手段と、
前記第３生成手段により生成された前記第３修正画像における前記第１生成手段により複製が付加された画素に対応する対応画素を削除して処理済画像を生成する第４生成手段と、
を備えた、
ことを特徴とする画像処理装置。
【請求項２】
前記元画像における前記複数の画像境界のうちの、少なくとも何れか一の画像境界に、前記指定手段により指定された前記不要領域が重なっているか否かを判定する判定手段を更に備え、
前記第１生成手段は、
前記判定手段により前記何れか一の画像境界に前記不要領域が重なっていると判定された場合に、前記元画像における前記不要領域と重なる画像境界の外側に前記所定数の画素の複製を付加して前記第１修正画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１生成手段は、更に、前記元画像における全ての画像境界の各々の外側に前記所定数の画素の複製を付加して前記第１修正画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２生成手段は、更に、前記元画像における前記不要領域以外の領域内で、当該不要領域の輪郭部分に跨るように設定された特定領域と置き換えられる置換領域を探索し、探索された前記置換領域で前記特定領域を置き換えて前記第２修正画像を生成することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記第２生成手段は、更に、前記特定領域と類似する前記置換領域を各画素の色情報及び画素値の変化の度合いを基準として探索することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
不要領域が修正された元画像を取得する取得手段と、
前記取得手段により取得された前記元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する第１生成手段と、
前記第１生成手段により生成された前記第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する第２生成手段と、
前記第２生成手段により生成された前記第２修正画像における前記修正済領域を含む所定領域について、前記第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件として前記ポアソン方程式を解いて処理済画像を生成する第３生成手段と、
を備えた、
ことを特徴とする画像処理装置。
【請求項７】
画像処理装置を用いた画像処理方法であって、
元画像を取得する処理と、
取得された前記元画像内で修正すべき画像が含まれる不要領域を指定する処理と、
前記元画像における複数の画像境界のうちの、指定された前記不要領域と重なる画像境界の外側に、前記画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する処理と、
生成された前記第１修正画像における前記不要領域を修正して第２修正画像を生成する処理と、
生成された前記第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する処理と、
生成された前記第３修正画像における複製が付加された画素に対応する対応画素を削除して処理済画像を生成する処理と、
を含む、
ことを特徴とする画像処理方法。
【請求項８】
画像処理装置を用いた画像処理方法であって、
不要領域が修正された元画像を取得する処理と、
取得された前記元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する処理と、
生成された前記第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する処理と、
生成された前記第２修正画像における前記修正済領域を含む所定領域について、前記第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件として前記ポアソン方程式を解いて処理済画像を生成する処理と、
を含む、
ことを特徴とする画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
元画像を取得する取得手段、
前記取得手段により取得された前記元画像内で修正すべき画像が含まれる不要領域を指定する指定手段、
前記元画像における複数の画像境界のうちの、前記指定手段により指定された前記不要領域と重なる画像境界の外側に、前記画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する第１生成手段、
前記第１生成手段により生成された前記第１修正画像における前記不要領域を修正して第２修正画像を生成する第２生成手段、
前記第２生成手段により生成された前記第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する第３生成手段、
前記第３生成手段により生成された前記第３修正画像における前記第１生成手段により複製が付加された画素に対応する対応画素を削除して処理済画像を生成する第４生成手段、
として機能させる、
ことを特徴とするプログラム。
【請求項１０】
画像処理装置のコンピュータを、
不要領域が修正された元画像を取得する取得手段、
前記取得手段により取得された前記元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する第１生成手段、
前記第１生成手段により生成された前記第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する第２生成手段、
前記第２生成手段により生成された前記第２修正画像における前記修正済領域を含む所定領域について、前記第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件として前記ポアソン方程式を解いて処理済画像を生成する第３生成手段、
として機能させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を修正する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、補間対称領域に補間する置換画像を一の画像内から検索し、検索された画像を所定の境界条件下でポアソン方程式を解くことで、補間対象領域とそれ以外の領域との境界部分や複数の置換画像どうしの境界部分の色や勾配をより自然に変化させた画像を生成するポアソン画像合成（Poisson Image Editing）技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６３６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ポアソン方程式を解く場合には、処理対象領域の境界条件を指定する必要があるが、処理対象領域が画像境界にかかっているとディリクレ条件を境界条件としてポアソン方程式を解くことができない。
一方、ノイマン条件を境界条件としてポアソン方程式を解いた場合には、ＤＣ成分の微調整が必要となり、処理能力のあまり高くない演算装置を搭載した画像処理装置では処理の高速化を図ることが困難となる。なお、画像の所定領域内の各色の平均値を用いてＤＣ成分を指定することが考えられるが、画像全体に対する所定領域の相対的な大きさによっては画像の色調が変わってしまうといった問題もある。
【０００５】
そこで、本発明の課題は、処理対象領域が画像境界にかかっている場合であっても、処理対象領域内の色や勾配をより自然に変化させた画像の生成を簡便に、且つ、高速に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明の画像処理装置の一様態は、
元画像を取得する取得手段と、前記取得手段により取得された前記元画像内で修正すべき画像が含まれる不要領域を指定する指定手段と、前記元画像における複数の画像境界のうちの、前記指定手段により指定された前記不要領域と重なる画像境界の外側に、前記画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する第１生成手段と、前記第１生成手段により生成された前記第１修正画像における前記不要領域を修正して第２修正画像を生成する第２生成手段と、前記第２生成手段により生成された前記第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する第３生成手段と、前記第３生成手段により生成された前記第３修正画像における前記第１生成手段により複製が付加された画素に対応する対応画素を削除して処理済画像を生成する第４生成手段と、を備えた、ことを特徴とする。
【０００７】
また、前記課題を解決するため、本発明の画像処理装置の一様態は、
不要領域が修正された元画像を取得する取得手段と、前記取得手段により取得された前記元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する第１生成手段と、前記第１生成手段により生成された前記第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する第２生成手段と、前記第２生成手段により生成された前記第２修正画像における前記修正済領域を含む所定領域について、前記第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件として前記ポアソン方程式を解いて処理済画像を生成する第３生成手段と、を備えた、ことを特徴とする。
【０００８】
また、前記課題を解決するため、本発明の画像処理方法の一様態は、
画像処理装置を用いた画像処理方法であって、元画像を取得する処理と、取得された前記元画像内で修正すべき画像が含まれる不要領域を指定する処理と、前記元画像における複数の画像境界のうちの、指定された前記不要領域と重なる画像境界の外側に、前記画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する処理と、生成された前記第１修正画像における前記不要領域を修正して第２修正画像を生成する処理と、生成された前記第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する処理と、生成された前記第３修正画像における複製が付加された画素に対応する対応画素を削除して処理済画像を生成する処理と、を含む、ことを特徴とする。
【０００９】
また、前記課題を解決するため、本発明の画像処理方法の一様態は、
画像処理装置を用いた画像処理方法であって、不要領域が修正された元画像を取得する処理と、取得された前記元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する処理と、生成された前記第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する処理と、生成された前記第２修正画像における前記修正済領域を含む所定領域について、前記第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件として前記ポアソン方程式を解いて処理済画像を生成する処理と、を含む、ことを特徴とする。
【００１０】
また、前記課題を解決するため、本発明のプログラムの一様態は、
画像処理装置のコンピュータを、元画像を取得する取得手段、前記取得手段により取得された前記元画像内で修正すべき画像が含まれる不要領域を指定する指定手段、前記元画像における複数の画像境界のうちの、前記指定手段により指定された前記不要領域と重なる画像境界の外側に、前記画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する第１生成手段、前記第１生成手段により生成された前記第１修正画像における前記不要領域を修正して第２修正画像を生成する第２生成手段、前記第２生成手段により生成された前記第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する第３生成手段、前記第３生成手段により生成された前記第３修正画像における前記第１生成手段により複製が付加された画素に対応する対応画素を削除して処理済画像を生成する第４生成手段、として機能させる、ことを特徴とする。
【００１１】
また、前記課題を解決するため、本発明のプログラムの一様態は、
画像処理装置のコンピュータを、不要領域が修正された元画像を取得する取得手段、前記取得手段により取得された前記元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する第１生成手段、前記第１生成手段により生成された前記第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する第２生成手段、前記第２生成手段により生成された前記第２修正画像における前記修正済領域を含む所定領域について、前記第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件として前記ポアソン方程式を解いて処理済画像を生成する第３生成手段、として機能させる、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、処理対象領域が画像境界にかかっている場合であっても、ディリクレ条件を境界条件としてポアソン方程式を解いて、処理対象領域内の色や勾配をより自然に変化させた画像の生成を簡便に、且つ、高速に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明を適用した一実施形態の画像処理装置の概略構成を示すブロック図である。
【図２】図１の画像処理装置による画像修正処理に係る画像の一例を模式的に示す図である。
【図３】図２の画像修正処理に係る動作の一例を示すフローチャートである。
【図４】図３の画像修正処理における第２修正画像生成処理に係る動作の一例を示すフローチャートである。
【図５】図３の画像修正処理に係る画像の一例を模式的に示す図である。
【図６】図３の画像修正処理に係る画像の一例を模式的に示す図である。
【図７】変形例１の画像処理装置の概略構成を示すブロック図である。
【図８】図７の画像処理装置による画像修正処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１５】
図１は、本発明を適用した一実施形態の画像処理装置１００の概略構成を示すブロック図である。
本実施形態の画像処理装置１００は、例えば、ワークステーションなどのコンピュータにより構成され、図１に示すように、中央制御部１と、操作入力部２と、表示部３と、記憶部４と、通信制御部５と、画像処理部６とを備え、通信制御部５が所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。
【００１６】
中央制御部１は、画像処理装置１００の各部を制御するものである。具体的には、中央制御部１は、例えば、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、ＲＯＭに記憶された画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３に表示させる。
ＲＡＭは、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、画像処理装置１００で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００１７】
操作入力部２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部１のＣＰＵに出力する。
なお、操作入力部２としてタッチパネル（図示略）を表示部３の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
【００１８】
表示部３は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部１のＣＰＵの制御下にて各種情報を表示画面に表示する。
【００１９】
記憶部４は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、所定の画像形式（例えば、ＪＰＥＧ形式等）の画像に係る各種の画像データを記憶する。
具体的には、記憶部４は、画像修正処理（後述）の処理対象となる元画像Ｐ１（図５（ａ）参照）の画像データを所定数記憶する。元画像Ｐ１の画像データは、例えば、図示しない撮像装置により撮像された所定の画像サイズ（例えば、１千万画素程度）の画像データである。なお、元画像Ｐ１の画像データは、図示しない記録媒体を介して記憶部４により取得された画像データであっても良い。
また、記憶部４は、画像修正処理の実行によって元画像Ｐ１から不要領域Ａ１が削除された修正済画像Ｐ５（図６（ｃ）参照）の画像データを記憶する。
なお、記憶部４は、元画像Ｐ１の修正途中の画像（例えば、第１修正画像Ｐ２等）を一時的に保存しても良い。
【００２０】
通信制御部５は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ等の外部機器との間で情報（例えば、素材画像Ｔの画像データ等）の通信制御を行うためのものである。
【００２１】
なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
【００２２】
画像処理部６は、画像取得部６ａ、不要領域指定部６ｂ、判定部６ｃ、第１画像生成部６ｄ、第２画像生成部６ｅ、第３画像生成部６ｆ及び第４画像生成部６ｇを具備している。
【００２３】
画像取得部６ａは、元画像Ｐ１の画像データを取得する。
即ち、画像取得部（取得手段）６ａは、画像修正処理の処理対象となる元画像Ｐ１（図５（ａ）参照）の画像データを記憶部４から取得する。具体的には、画像取得部６ａは、例えば、記憶部４に記憶されている所定数の画像データの中で、ユーザによる操作入力部２の所定操作に基づいて指定されたユーザ所望の画像データを元画像Ｐ１の画像データとして取得する。
なお、画像取得部６ａは、記憶部４に記憶されている所定数の画像データの中で、例えば、デフォルトとして予め定められている一の画像の画像データを、画像修正処理の処理対象の画像データとして自動的に取得する構成としても良い。
【００２４】
不要領域指定部６ｂは、元画像Ｐ１内で不要領域Ａ１を指定する。
即ち、不要領域指定部（指定手段）６ｂは、画像取得部６ａにより取得された元画像Ｐ１内で修正すべき画像が含まれる不要領域Ａ１を指定する（図５（ｂ）参照）。具体的には、不要領域指定部６ｂは、ユーザによる操作入力部２の所定操作に基づいて、元画像Ｐ１内で不要領域Ａ１を指定する。例えば、表示部３の表示画面に元画像Ｐ１が表示された状態で、ユーザによる操作入力部２の所定操作に従って不要領域Ａ１が選択指示されると、中央制御部１のＣＰＵは、当該不要領域Ａ１の選択指示信号を画像処理部６の不要領域指定部６ｂに出力する。不要領域指定部６ｂは、不要領域Ａ１の選択指示信号が入力されると、当該選択指示信号に基づいて元画像Ｐ１内で不要領域Ａ１を指定する。
なお、図５（ｂ）にあっては、不要領域Ａ１を模式的に破線で表している。
【００２５】
また、不要領域指定部６ｂは、元画像Ｐ１内の不要領域Ａ１の位置を示す元マスク画像の画像データを生成する。
即ち、不要領域指定部６ｂは、元画像Ｐ１内で不要領域Ａ１に対応する各画素を第１の画素値（例えば、「１」等）とし、元画像Ｐ１における不要領域Ａ１以外の領域の各画素を第１の画素値と異なる第２の画素値（例えば、「０」等）とする二値画像である元マスク画像（図示略）を生成する。
【００２６】
判定部６ｃは、元画像Ｐ１の画像境界Ｂに不要領域Ａ１が重なっているか否かを判定する。
即ち、判定部（判定手段）６ｃは、元画像Ｐ１における複数の画像境界Ｂ、…のうち、少なくとも何れか一の画像境界Ｂに、不要領域指定部６ｂにより指定された不要領域Ａ１が重なっているか否かを判定する。具体的には、判定部６ｃは、元画像Ｐ１の画像データを取得して、当該元画像Ｐ１を構成する上下左右の４つの画像境界Ｂ１〜Ｂ４を特定する。そして、判定部６ｃは、元画像Ｐ１の上下左右の４つの画像境界Ｂ１〜Ｂ４の各々に、不要領域Ａ１が重なっているか否かを判定する。
例えば、図５（ｂ）に示すように、不要領域指定部６ｂにより元画像Ｐ１の左上隅部に不要領域Ａ１が指定されると（図５（ｂ）参照）、判定部６ｃは、元画像Ｐ１の上側画像境界Ｂ１及び左側画像境界Ｂ２に不要領域Ａ１が重なっていると判定する。
【００２７】
第１画像生成部６ｄは、元画像Ｐ１から第１修正画像Ｐ２を生成する。
即ち、第１画像生成部（第１生成手段）６ｄは、元画像Ｐ１における複数の画像境界Ｂ、…のうち、不要領域Ａ１と重なる画像境界Ｂ（例えば、上側画像境界Ｂ１及び左側画像境界Ｂ２等）の外側に、当該画像境界Ｂを基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像Ｐ２（図５（ｂ）参照）を生成する。また、第１画像生成部６ｄは、判定部６ｃにより何れか一の画像境界Ｂに不要領域Ａ１が重なっていると判定された場合に、元画像Ｐ１における不要領域Ａ１と重なる画像境界Ｂの外側に所定数の画素（例えば、１画素）の複製をそれぞれ付加して第１修正画像Ｐ２を生成する。
具体的には、判定部６ｃにより元画像Ｐ１の上側画像境界Ｂ１及び左側画像境界Ｂ２に不要領域Ａ１が重なっていると判定されると、第１画像生成部６ｄは、元画像Ｐ１における上下左右の全ての画像境界Ｂ１〜Ｂ４の各々を構成する各画素の複製を生成して、当該複製を各画像境界Ｂの外側に付加して第１修正画像Ｐ２の画像データを生成する（図２（ａ）参照）。ここで、第１修正画像Ｐ２の左上、左下、右上、右下の各隅部を構成する画素については、隣合う画素の複製を用いても良い。例えば、第１修正画像Ｐ２の左上隅部の場合、元画像Ｐ１における左上隅部を構成する１画素の複製を生成して、当該複製を第１修正画像Ｐ２の左上隅部の画素として付加する（図２（ａ）参照）。
このようにして生成された第１修正画像Ｐ２を構成する各画素のうち、元画像Ｐ１における不要領域Ａ１を構成する画素の複製に対応する部分は、当該第１修正画像Ｐ２における不要領域Ａ１をなし、一方、元画像Ｐ１における不要領域Ａ１以外を構成する画素の複製に対応する部分は、当該第１修正画像Ｐ２における不要領域Ａ１以外の領域をなす。
【００２８】
なお、図２（ａ）にあっては、元画像Ｐ１の画像境界Ｂを破線で示し、第１修正画像Ｐ２の画像境界を太い実線で示している。また、各画像の画像境界を構成する各画素の画素値は、模式的に斜線の数や種類によって区別して表している。
また、図５（ｂ）に示す第１修正画像Ｐ２は、付加された画素に対応する領域Ｃ１に斜線を付して模式的に表している。
【００２９】
また、第１画像生成部６ｄは、第１修正画像Ｐ２内の不要領域Ａ１の位置を示すマスク画像Ｍの画像データを生成する。
即ち、第１画像生成部６ｄは、不要領域指定部６ｂにより生成された元マスク画像の画像データを取得して、元マスク画像における第１修正画像Ｐ２の画素の複製が付加された位置に対応する位置に、上記第１修正画像Ｐ２と略同様に画像境界を基準として所定範囲内に存する所定数の画素の複製を付加してマスク画像Ｍを生成する。具体的には、第１画像生成部６ｄは、上記した第１修正画像Ｐ２の生成と略同様の手法で、元マスク画像における上下左右の全ての画像境界の各々を構成する各画素の複製を生成して、当該複製を各画像境界の外側に付加してマスク画像Ｍ（図５（ｃ）参照）の画像データを生成する。
このようにして生成されたマスク画像Ｍの画像境界を構成する各画素のうち、元マスク画像における第１の画素値で表された不要領域Ａ１に対応する画素の複製に対応する部分は、当該マスク画像Ｍにて第１の画素値を有する不要領域Ａ１（図５（ｃ）中、白で表す領域）をなし、一方、元マスク画像における第２の画素値で表された不要領域Ａ１以外を構成する画素の複製に対応する部分は、当該マスク画像Ｍにて第２の画素値を有する不要領域Ａ１以外の領域（図５（ｃ）中、黒で表す領域）をなす。
【００３０】
第２画像生成部６ｅは、第１修正画像Ｐ２から第２修正画像Ｐ３を生成する。
即ち、第２画像生成部（第２生成手段）６ｅは、第１画像生成部６ｄにより生成された第１修正画像Ｐ２における不要領域Ａ１を修正して第２修正画像Ｐ３（図６（ａ）参照）を生成する。具体的には、第２画像生成部６ｅは、元画像Ｐ１における不要領域Ａ１以外の領域内で、当該不要領域Ａ１を構成する特定領域と置き換えられる置換領域を探索し、探索された置換領域で特定領域を置き換えて第２修正画像Ｐ３の画像データを生成する。
【００３１】
以下に、第２画像生成部６ｅによる置換領域の探索の具体的な手法について説明する。
即ち、第２画像生成部６ｅは、第１画像生成部６ｄにより生成された第１修正画像Ｐ２の画像データを取得して、当該第１修正画像Ｐ２における不要領域Ａ１の輪郭部分を特定した後、当該輪郭部分に跨がるように処理対象となる特定領域（図示略）を設定する。例えば、第２画像生成部６ｅは、不要領域Ａ１の輪郭部分を構成する各画素を中心として略矩形状の特定領域をそれぞれ設定した後、各特定領域を構成する各画素における所定方向（例えば、ｘ軸方向やｙ軸方向等）の輝度値の勾配が最も大きい特定領域を処理対象として設定する。
そして、第２画像生成部６ｅは、元画像Ｐ１における不要領域Ａ１以外の領域内、即ち、元画像Ｐ１における元マスク画像により規定される不要領域Ａ１が削除された画像内で、処理対象の特定領域と類似する置換領域を各画素の色情報及び画素値の変化の度合い（例えば、輝度値の勾配）を基準として探索する。具体的には、第２画像生成部６ｅは、下記式（１）に基づいて、処理対象の特定領域及び何れか一の置換候補領域の全ての画素について、対応する画素どうしのＲＧＢ色空間の各成分の距離と、当該画素どうしの輝度値のｘ軸方向（水平方向）及びｙ軸方向（垂直方向）の勾配（変化の度合い）とを加算した値の総和が最小となる類似度判定値を算出し、当該類似度判定値を所定の演算式に従って換算して類似度を算出する。
そして、第２画像生成部６ｅは、一の特定領域について算出された複数の置換候補領域の各々との類似度どうしを比較して、類似度が最も高い置換候補領域を当該特定領域と置き換えられる置換領域として特定する。
【数１】
0005935421.tif 000002
ここで、上記式（１）において、「Ｒ」、「Ｇ」、「Ｂ」は、それぞれＲＧＢ色空間におけるＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各成分の色情報（画素値）、「Ｇｘ」、「Ｇｙ」は、それぞれ各画素におけるｘ軸方向の輝度値の勾配（変化の度合い）、ｙ軸方向の輝度値の勾配（変化の度合い）を表している。また、上記式（１）において、「ｐ」、「ｑ」は、それぞれ特定領域及び置換候補領域の画像データを表し、「ｉ」、「ｊ」は、特定領域及び置換候補領域の各画素のｘ軸方向及びｙ軸方向の座標を表している。また、「ａｒｇｍｉｎ」は、関数値を最小にする数値を導出する記号を表している。
なお、上記式（１）において、各画素の色情報として、ＲＧＢ色空間で規定される画素値を用いたが、一例であってこれに限られるものではなく、例えば、ＨＳＶ色空間、Ｌ＊ａ＊ｂ＊色空間等の他の色空間、即ち、類似度を算出可能な如何なる色空間で規定される画素値を適用しても良い。
【００３２】
そして、第２画像生成部６ｅは、第１修正画像Ｐ２の画像データを取得した後、探索された置換領域の複製画像を生成し、当該複製画像の所定位置（例えば、中心や四隅等）を対応する第１修正画像Ｐ２における特定領域の各位置の座標（例えば、中心座標や四隅の座標等）に一致させるように貼り付けることで、第１修正画像Ｐ２の不要領域Ａ１が修正された画像データを生成する。
【００３３】
また、第２画像生成部６ｅは、特定領域の置換（修正）が行われると、特定領域の置換後の第１修正画像Ｐ２の画像データを取得して、当該第１修正画像Ｐ２における不要領域Ａ１の輪郭部分を再度特定した後、上記と同様に、不要領域Ａ１の輪郭部分を構成する各画素を中心として略矩形状の特定領域をそれぞれ設定し、各特定領域を構成する各画素における所定方向（例えば、ｘ軸方向やｙ軸方向等）の輝度値の勾配が最も大きい特定領域を新たな処理対象として設定する。
その後、第２画像生成部６ｅは、当該新たな処理対象の特定領域と置き換えられる置換領域の探索を、元画像Ｐ１における不要領域Ａ１以外の領域内で、上記した手法と略同様の手法で行った後、探索された置換領域の複製画像を用いて第１修正画像Ｐ２の特定領域を置換する。
第２画像生成部６ｅは、上記の処理を第１修正画像Ｐ２における不要領域Ａ１の全ての領域が修正されるまで繰り返し実行して、当該不要領域Ａ１の全ての領域が修正された第２修正画像Ｐ３（図６（ａ）参照）の画像データを生成する。
【００３４】
第３画像生成部６ｆは、第２修正画像Ｐ３から第３修正画像Ｐ４を生成する。
即ち、第３画像生成部（第３生成手段）６ｆは、第２画像生成部６ｅにより生成された第２修正画像Ｐ３における不要領域Ａ１に対応する対応領域Ａ２を含む所定領域Ａ３（図２（ｂ）参照）について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像Ｐ４（図６（ｂ）参照）を生成する。具体的には、第３画像生成部６ｆは、例えば、第２画像生成部６ｅにより生成された第２修正画像Ｐ３の画像データ（ＲＧＢデータ）を取得して、対応領域Ａ２の周囲に存する所定数の画素を含む所定領域Ａ３を処理対象領域とし、ディリクレ条件を境界条件としてポアソン方程式を解く。
ここで、ポアソン方程式の境界条件をディリクレ条件とする場合、処理対象となる所定領域Ａ３の外側の画素の画素値が明らかである必要があるが、所定領域Ａ３が第２修正画像Ｐ３の画像境界と重なっていると、ディリクレ条件を境界条件としてポアソン方程式を解くことができない。そこで、処理対象領域内に存する各画素のうち、第２修正画像Ｐ３の画像境界と重なる画素については、当該画素自身の画素値を境界条件として用いるものとする。
なお、図２（ｂ）にあっては、元画像Ｐ１の画像境界Ｂを破線で示し、第２修正画像Ｐ３の画像境界を太い実線で示している。また、第２修正画像Ｐ３における対応領域Ａ２を二点鎖線で囲んで示し、当該対応領域Ａ２を含む所定領域Ａ３を一点鎖線で囲んで示している。また、図６（ｂ）に示す第３修正画像Ｐ４は、付加された画素に対応する領域Ｃ２に斜線を付して模式的に表している。
【００３５】
具体的には、第３画像生成部６ｆは、下記式（２）、（３）に基づいて、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像Ｐ４を生成する。
【数２】
0005935421.tif 000003
【数３】
0005935421.tif 000004
ここで、上記式（２）は、ポアソン方程式を表し、既知の画像「Ｉ」としての第２修正画像Ｐ３の処理対象領域（所定領域Ａ３）の各画素におけるｘ軸方向の画素値の勾配「Ｇｘ」、ｙ軸方向の画素値の勾配「Ｇｙ」を偏微分することで、未知の画像「ｕ（ｘ，ｙ）」としての第３修正画像Ｐ４を生成する。
また、上記式（３）は、境界条件をディリクレ条件とする場合における、既知の画像「Ｉ（ｘ，ｙ）」と固有値「λ（ｘ，ｙ）」を表している。また、「ｉｄｓｔ」は逆離散サイン変換（Inverse Discrete Sine Transform）を、「ｄｓｔ」は離散サイン変換（Discrete Sine Transform）を、「Ｗ」、「Ｈ」はそれぞれ処理対象領域のｘ軸方向の画素数（幅）、ｙ軸方向の画素数（高さ）を表している。
【００３６】
第４画像生成部６ｇは、第３修正画像Ｐ４から修正済画像Ｐ５を生成する。
即ち、第４画像生成部（第４生成手段）６ｇは、第３画像生成部６ｆにより生成された第３修正画像Ｐ４における第１画像生成部６ｄにより複製が付加された画素に対応する対応画素を削除して修正済画像Ｐ５（図６（ｃ）参照）を生成する。具体的には、第４画像生成部６ｇは、第３修正画像Ｐ４における上下左右の全ての画像境界の各々を構成する各画素（図６（ｂ）中、第３修正画像Ｐ４における領域Ｃ２を構成する各画素）を対応画素として削除することで、元画像Ｐ１の外形と略等しい外形を有する修正済画像Ｐ５の画像データを生成する。
なお、第１画像生成部６ｄによって、元画像Ｐ１における複数の画像境界Ｂ、…のうち、不要領域Ａ１と重なる画像境界Ｂの外側にのみ画素の複製が付加された場合には、第４画像生成部６ｇは、第３修正画像Ｐ４における当該画素の複製に対応する対応画素のみを削除する。
【００３７】
次に、画像処理装置１００における画像修正処理について、図３〜図６を参照して説明する。
図３は、画像修正処理に係る動作の一例を示すフローチャートである。また、図４は、画像修正処理における第２修正画像生成処理に係る動作の一例を示すフローチャートである。また、図５（ａ）は、元画像Ｐ１を模式的に示す図であり、図５（ｂ）は、第１修正画像Ｐ２を模式的に示す図であり、図５（ｃ）は、マスク画像Ｍを模式的に示す図である。また、図６（ａ）は、第２修正画像Ｐ３を模式的に示す図であり、図６（ｂ）は、第３修正画像Ｐ４を模式的に示す図であり、図６（ｃ）は、修正済画像Ｐ５を模式的に示す図である。
【００３８】
また、以下に説明する画像修正処理は、ユーザによる操作入力部２の所定操作に基づいて、画像修正処理が指示された場合に実行される。
【００３９】
図３に示すように、先ず、画像処理部６の画像取得部６ａは、処理対象の元画像Ｐ１（図５（ａ）参照）の画像データを取得する（ステップＳ１）。
具体的には、画像取得部６ａは、記憶部４に記憶されている所定数の画像の中から、ユーザによる操作入力部２の所定操作に基づいて選択された一の画像を元画像Ｐ１として読み出して取得する。
【００４０】
次に、不要領域指定部６ｂは、ユーザによる操作入力部２の所定操作に基づいて元画像Ｐ１内で不要領域Ａ１（図５（ｂ）参照）を指定する（ステップＳ２）。
続けて、不要領域指定部６ｂは、元マスク画像の画像データを生成する（ステップＳ３）。具体的には、不要領域指定部６ｂは、指定された不要領域Ａ１に対応する各画素を第１の画素値とし、元画像Ｐ１における不要領域Ａ１以外の領域の各画素を第２の画素値とする二値画像である元マスク画像を生成する。
【００４１】
次に、判定部６ｃは、元画像Ｐ１を構成する上下左右の４つの画像境界Ｂ１〜Ｂ４の各々について、不要領域Ａ１が重なっているか否かを判定する（ステップＳ４）。
ここで、不要領域Ａ１が画像境界Ｂ（例えば、上側画像境界Ｂ１及び左側画像境界Ｂ２等）に重なっていると判定されると（ステップＳ４；ＹＥＳ）、第１画像生成部６ｄは、元画像Ｐ１における上下左右の全ての画像境界Ｂ１〜Ｂ４の各々を構成する各画素の複製を生成して、当該複製を各画像境界Ｂの外側に付加して第１修正画像Ｐ２の画像データを生成する（ステップＳ５；図５（ｂ）参照）。続けて、第１画像生成部６ｄは、元マスク画像の画像データを取得して、当該元マスク画像における上下左右の全ての画像境界の各々を構成する各画素の複製を生成し、当該複製を各画像境界の外側に付加してマスク画像Ｍの画像データを生成する（ステップＳ６；図５（ｃ）参照）。
そして、第２画像生成部６ｅは、生成された第１修正画像Ｐ２を第２修正画像生成処理（図４参照）の処理対象画像に指定する（ステップＳ７）。
【００４２】
一方、ステップＳ４にて、不要領域Ａ１が画像境界Ｂに重なっていないと判定されると（ステップＳ４；ＮＯ）、第２画像生成部６ｅは、元画像Ｐ１を第２修正画像生成処理（図４参照）の処理対象画像に指定する（ステップＳ８）。
【００４３】
次に、第２画像生成部６ｅは、処理対象画像から第２修正画像Ｐ３を生成する第２修正画像生成処理（図４参照）を行う（ステップＳ９）。
即ち、第２画像生成部６ｅは、処理対象画像として第１修正画像Ｐ２が指定されている場合には（ステップＳ７）、当該第１修正画像Ｐ２から第２修正画像Ｐ３を生成し、一方、処理対象画像として元画像Ｐ１が指定されている場合には（ステップＳ８）、当該元画像Ｐ１から第２修正画像Ｐ３を生成する。
【００４４】
以下に、第２修正画像生成処理について図４を参照して詳細に説明する。
図４に示すように、第２画像生成部６ｅは、処理対象画像（例えば、第１修正画像Ｐ２等）における不要領域Ａ１の輪郭部分を特定した後（ステップＳ２１）、不要領域Ａ１の輪郭部分を構成する各画素を中心として略矩形状の特定領域をそれぞれ設定し、各特定領域を構成する各画素における所定方向の輝度値の勾配が最も大きい特定領域を処理対象として設定する（ステップＳ２２）。
【００４５】
続けて、第２画像生成部６ｅは、処理対象の特定領域をテンプレートとして、元画像Ｐ１における不要領域Ａ１以外の領域内で、特定領域と置き換えられる置換領域を探索する（ステップＳ２３）。
なお、上記ステップＳ２３においては、各画素の色情報及び画素値の変化の度合い（例えば、輝度値の勾配）を基準として置換領域の探索が行われるが、その詳細な説明は省略する。
【００４６】
その後、第２画像生成部６ｅは、探索された置換領域で処理対象画像の特定領域を修正する（ステップＳ２４）。具体的には、第２画像生成部６ｅは、置換領域の複製画像を生成した後、当該複製画像を対応する処理対象画像における特定領域に一致させるように貼り付けることで、処理対象画像の不要領域Ａ１が修正された画像データを生成する。
続けて、第２画像生成部６ｅは、修正された処理対象画像の不要領域Ａ１の形状に合わせてマスク画像Ｍ若しくは元マスク画像の不要領域Ａ１を更新する（ステップＳ２５）。次に、第２画像生成部６ｅは、更新されたマスク画像Ｍ及び元マスク画像のうち何れか一方の画像データに基づいて、不要領域Ａ１が残っているか否かを判定する（ステップＳ２６）。即ち、第２画像生成部６ｅは、処理対象画像として第１修正画像Ｐ２が指定されている場合には（ステップＳ７）、マスク画像Ｍの不要領域Ａ１を更新して当該マスク画像Ｍに不要領域Ａ１が残っているか否かを判定し、一方、処理対象画像として元画像Ｐ１が指定されている場合には（ステップＳ８）、当該元マスク画像の不要領域を更新して当該元マスク画像に不要領域が残っているか否かを判定する。
【００４７】
ステップＳ２６にて、不要領域Ａ１が残っていると判定されると（ステップＳ２６；ＹＥＳ）、画像処理部６は、処理をステップＳ２１に戻し、第２画像生成部６ｅは、処理対象画像における修正された不要領域Ａ１の輪郭部分を特定した後（ステップＳ２１）、それ以降の各処理（ステップＳ２２〜Ｓ２６）を実行する。
【００４８】
上記の各処理が、ステップＳ２６にて不要領域Ａ１が残っていないと判定（ステップＳ２６；ＮＯ）されるまで繰り返し実行されることで、処理対象画像における不要領域Ａ１が全て修正された状態となる。
ステップＳ２６にて、不要領域Ａ１が残っていないと判定されると（ステップＳ２６；ＮＯ）、第２画像生成部６ｅは、処理対象画像の画像データを取得して、不要領域Ａ１が全て修正された第２修正画像Ｐ３（図６（ａ）参照）の画像データを生成する（ステップＳ２７）。
これにより、第２修正画像生成処理を終了する。
【００４９】
図３に戻り、第３画像生成部６ｆは、第２修正画像Ｐ３における不要領域Ａ１に対応する対応領域Ａ２の周囲に存する所定数の画素を含む所定領域Ａ３（図２（ｂ）参照）を処理対象領域とし、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像Ｐ４（図６（ｂ）参照）を生成する（ステップＳ１０）。
なお、上記ステップＳ２３において、処理対象領域が第２修正画像Ｐ３の画像境界と重なっている場合には、当該処理対象領域内に存する各画素のうち、画像境界と重なる画素については、当該画素自身の画素値を境界条件として用いるものとする。
また、第３画像生成部６ｆは、第２修正画像Ｐ３における不要領域Ａ１に対応する対応領域Ａ２のみを処理対象領域として、ポアソン方程式を解いて第３修正画像Ｐ４を生成しても良い。
【００５０】
次に、判定部６ｃは、元画像Ｐ１を構成する上下左右の４つの画像境界Ｂ１〜Ｂ４の各々について、不要領域Ａ１が重なっているか否かを判定する（ステップＳ１１）。
ここで、不要領域Ａ１が画像境界Ｂ（例えば、上側画像境界Ｂ１及び左側画像境界Ｂ２等）に重なっていると判定されると（ステップＳ１１；ＹＥＳ）、第４画像生成部６ｇは、第３修正画像Ｐ４における上下左右の全ての画像境界の各々を構成する各画素を削除して修正済画像Ｐ５（図６（ｃ）参照）の画像データを生成する（ステップＳ１２）。画像処理部６は、生成された修正済画像Ｐ５の画像データを記憶部４に転送し、記憶部４は、当該画像データを記憶する。
【００５１】
一方、ステップＳ１１にて、不要領域Ａ１が画像境界Ｂに重なっていないと判定されると（ステップＳ１１；ＮＯ）、画像処理部６は、第３修正画像を修正済画像として、当該修正済画像の画像データを記憶部４に転送し、記憶部４は、当該画像データを記憶する（ステップＳ１３）。
これにより、画像修正処理を終了する。
【００５２】
以上のように、本実施形態の画像処理装置１００によれば、元画像Ｐ１における複数の画像境界Ｂ、…のうち、不要領域Ａ１と重なる画像境界Ｂの外側に、当該画像境界Ｂを基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像Ｐ２を生成し、第１修正画像Ｐ２における不要領域Ａ１が修正された第２修正画像Ｐ３における不要領域Ａ１に対応する対応領域Ａ２を含む所定領域Ａ３について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像Ｐ４を生成した後、第３修正画像Ｐ４における複製が付加された画素に対応する対応画素を削除して修正済画像Ｐ５を生成するので、予め不要領域Ａ１と重なる画像境界Ｂの外側に所定数の画素の複製を付加することで、不要領域Ａ１について境界条件をディリクレ条件としてポアソン方程式を解くことができる。そして、ポアソン方程式を解くことで生成された第３修正画像Ｐ４における複製が付加された画素に対応する対応画素を削除することで、元画像Ｐ１の外形と略等しい外形を有する修正済画像Ｐ５を生成することができる。
従って、不要領域Ａ１が画像境界Ｂにかかっている場合であっても、ディリクレ条件を境界条件としてポアソン方程式を解いて、処理対象領域内の色や勾配をより自然に変化させた修正済画像Ｐ５の生成を簡便に、且つ、高速に行うことができる。
【００５３】
また、元画像Ｐ１における複数の画像境界Ｂ、…のうち、少なくとも何れか一の画像境界Ｂに不要領域Ａ１が重なっていると判定された場合に、元画像Ｐ１における不要領域Ａ１と重なる画像境界Ｂの外側に所定数の画素の複製を付加して第１修正画像Ｐ２を生成するので、第１修正画像Ｐ２を生成するか否かの判定を適正に行うことができ、第１修正画像Ｐ２を生成する必要がない場合には、元画像Ｐ１を処理対象画像とすることで画像修正処理にかかる時間を短縮することができる。
さらに、元画像Ｐ１における全ての画像境界Ｂ、…の各々の外側に所定数の画素の複製を付加して第１修正画像Ｐ２を生成するので、第１修正画像Ｐ２の生成を簡便に行うことができるだけでなく、元画像Ｐ１における不要領域Ａ１と重なる画像境界Ｂの外側にのみ画素の複製を付加する場合に比べて処理内容を単純化することができ、処理の高速化を図ることができる。
【００５４】
また、元画像Ｐ１における不要領域Ａ１以外の領域内で、当該不要領域Ａ１を構成する特定領域と置き換えられる置換領域を探索し、探索された置換領域で特定領域を置き換えて第２修正画像Ｐ３を生成するので、第１修正画像Ｐ２における不要領域Ａ１の修正を適正に行うことができる。具体的には、特定領域と類似する置換領域を各画素の色情報及び画素値の変化の度合いを基準として探索するので、特定領域と色や画素値の変化の度合いが類似する置換領域を用いて不要領域Ａ１を修正して、色及び画素値の変化の度合いが自然な第２修正画像Ｐ３を生成することができる。
【００５５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、画像処理装置２００の変形例について図７及び図８を参照して説明する。
【００５６】
＜変形例１＞
図７は、変形例１の画像処理装置２００の概略構成を示すブロック図である。
図７に示すように、変形例１の画像処理装置２００は、第１画像取得部２０６ａ、不要領域指定部２０６ｂ、画像修正部２０６ｃ、第２画像取得部２０６ｄ、第１画像生成部２０６ｅ、第２画像生成部２０６ｆ及び第３画像生成部２０６ｇを具備する画像処理部２０６を備えている。
なお、変形例１の画像処理装置２００の構成及び当該画像処理装置２００による画像修正処理は、以下に詳細に説明する以外の点で上記実施形態の画像処理装置１００及び画像修正処理と略同様であり、詳細な説明は省略する。
【００５７】
第１画像取得部２０６ａ及び不要領域指定部２０６ｂは、上記実施形態の画像処理装置１００に備わる画像取得部６ａ及び不要領域指定部６ｂと略同様の構成をなし、略同様の機能を具備する。
即ち、第１画像取得部２０６ａは、画像処理装置１００の画像取得部６ａと同様に、元画像Ｐ１の画像データを取得する。
不要領域指定部２０６ｂは、画像処理装置１００の不要領域指定部６ｂと同様に、元画像Ｐ１内で不要領域Ａ１を指定する。また、不要領域指定部２０６ｂは、元画像Ｐ１内の不要領域Ａ１の位置を示すマスク画像（図示略）の画像データを生成する。
【００５８】
画像修正部２０６ｃは、元画像Ｐ１における不要領域Ａ１を修正する。具体的には、画像修正部２０６ｃは、元画像Ｐ１における不要領域Ａ１以外の領域内で、当該不要領域Ａ１を構成する特定領域と置き換えられる置換領域を探索し、探索された置換領域で特定領域を置き換えて修正後の元画像Ｐ１の画像データを生成する。
なお、画像修正部２０６ｃによる置換領域の探索の具体的な手法は、上記実施形態の画像処理装置１００に備わる第２画像生成部２０６ｅと略同様であり、その詳細な説明は省略する。
【００５９】
第２画像取得部２０６ｄは、修正後の元画像Ｐ１の画像データを取得する。
即ち、第２画像取得部（取得手段）２０６ｄは、画像修正部２０６ｃにより不要領域Ａ１が修正された修正後の元画像Ｐ１の画像データを処理対象として取得する。
なお、記憶部４に、予め不要領域Ａ１が修正された修正後の元画像Ｐ１の画像データが記憶されており、第２画像取得部２０６ｄは、記憶部４から修正後の元画像Ｐ１の画像データを取得する構成としても良い。
【００６０】
第１画像生成部２０６ｅは、修正後の元画像Ｐ１から第１修正画像を生成する。
即ち、第１画像生成部（第１生成手段）２０６ｅは、第２画像取得部２０６ｄにより取得された修正後の元画像Ｐ１における不要領域Ａ１に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する。具体的には、第１画像生成部２０６ｅは、例えば、修正後の元画像Ｐ１の画像データ（ＲＧＢデータ）を取得して、修正済領域の周囲に存する所定数の画素を含む所定領域を処理対象領域とし、ノイマン条件を境界条件としてポアソン方程式を解く。
【００６１】
具体的には、第１画像生成部２０６ｅは、下記式（２）、（４）に基づいて、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する。
【数４】
0005935421.tif 000005
【数５】
0005935421.tif 000006
ここで、上記式（４）は、境界条件をノイマン条件とする場合における、既知の画像「Ｉ（ｘ，ｙ）」と固有値「λ（ｘ，ｙ）」を表している。また、「ｉｄｃｔ」は逆離散コサイン変換（Inverse Discrete Cosine Transform）を、「ｄｃｔ」は離散コサイン変換（Discrete Cosine Transform）を、「Ｗ」、「Ｈ」はそれぞれ処理対象領域のｘ軸方向の画素数（幅）、ｙ軸方向の画素数（高さ）を表している。
【００６２】
第２画像生成部２０６ｆは、第１修正画像から第２修正画像を生成する。
即ち、第２画像生成部（第２生成手段）２０６ｆは、第１画像生成部２０６ｅにより生成された第１修正画像の所定領域を含む特定領域の各画素の代表値を元画像Ｐ１の特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する。具体的には、第２画像生成部２０６ｆは、例えば、第１修正画像内で第１画像生成部２０６ｅによる処理対象領域（所定領域）の周囲に存する所定数の画素を含む特定領域を特定し、当該特定領域の各画素に係るポアソン方程式の解のＤＣ成分（例えば、輝度値）を代表値として取得する。また、第２画像生成部２０６ｆは、不要領域Ａ１が修正後の元画像Ｐ１における特定領域に対応する対応領域を特定して、当該対応領域の各画素の輝度値の平均値を代表値として取得する。そして、第２画像生成部２０６ｆは、第１修正画像における特定領域の各画素の代表値であるＤＣ成分（例えば、輝度値）を、修正後の元画像Ｐ１における対応領域の各画素の代表値である輝度値の平均値と一致させるように、第１修正画像における特定領域の各画素の画素値を変更して第２修正画像を生成する。
なお、第２画像生成部２０６ｆは、第１修正画像における第１画像生成部２０６ｅによる処理対象領域（所定領域）を特定領域として、画素値を変更して第２修正画像を生成しても良い。
【００６３】
第３画像生成部２０６ｇは、第２修正画像から修正済画像Ｐ５を生成する。
即ち、第３画像生成部（第３生成手段）２０６ｇは、第２画像生成部２０６ｆにより生成された第２修正画像における修正済領域を含む所定領域について、当該第２修正画像における複数の画像境界のうちの修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件としてポアソン方程式を解いて修正済画像Ｐ５を生成する。具体的には、第３画像生成部２０６ｇは、第２画像生成部２０６ｆにより生成された第２修正画像の画像データを取得して、当該第２修正画像を構成する上下左右の４つの画像境界を特定する。そして、第３画像生成部２０６ｇは、第２修正画像の上下左右の４つの画像境界のうち、修正済領域が重なっている画像境界を特定する。そして、第３画像生成部２０６ｇは、第２修正画像における修正済領域の周囲に存する所定数の画素を含む所定領域を処理対象領域とし、当該処理対象領域内に存する各画素のうちの画像境界と重なる画素については、当該画素自身の画素値を境界条件として用いて、当該第２修正画像の所定領域についてディリクレ条件を境界条件としてポアソン方程式を解いて修正済画像Ｐ５を生成する。
具体的には、第３画像生成部２０６ｇは、下記式（２）、（３）に基づいて、ディリクレ条件を境界条件としてポアソン方程式を解いて修正済画像Ｐ５を生成する。
【数６】
0005935421.tif 000007
【数７】
0005935421.tif 000008
【００６４】
次に、変形例１の画像処理装置２００における画像修正処理について、図８を参照して説明する。
図８は、画像修正処理に係る動作の一例を示すフローチャートである。
【００６５】
図８に示すように、先ず、画像処理部２０６の画像取得部２０６ａは、上記実施形態の画像処理装置１００における画像修正処理と同様に、処理対象の元画像Ｐ１（図５（ａ）参照）の画像データを取得し（ステップＳ１）、不要領域指定部２０６ｂは、ユーザによる操作入力部２の所定操作に基づいて元画像Ｐ１内で不要領域Ａ１を指定する（ステップＳ２）。続けて、不要領域指定部２０６ｂは、元マスク画像の画像データを生成する（ステップＳ３）。
【００６６】
次に、画像修正部２０６ｃは、元画像Ｐ１における不要領域Ａ１を修正して修正後の元画像Ｐ１を生成する修正画像生成処理を行う（ステップＳ４１）。画像修正部２０６ｃによる修正画像生成処理は、上記実施形態の第２画像生成部２０６ｅによる第２修正画像生成処理（図４参照）と略同様であり、その詳細な説明は省略する。
これにより、不要領域Ａ１が全て修正された元画像Ｐ１の画像データが生成され、第２画像取得部２０６ｄは、修正後の元画像Ｐ１の画像データを処理対象として取得する（ステップＳ４２）。
【００６７】
次に、第１画像生成部２０６ｅは、修正後の元画像Ｐ１における修正済領域の周囲に存する所定数の画素を含む所定領域を処理対象領域とし、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する（ステップＳ４３）。
なお、第１画像生成部２０６ｅは、修正後の元画像Ｐ１における修正済領域のみを処理対象領域として、ポアソン方程式を解いて第１修正画像を生成しても良い。
【００６８】
続けて、第２画像生成部２０６ｆは、第１修正画像における処理対象領域（所定領域）の周囲に存する所定数の画素を含む特定領域のＤＣ成分を修正して、第２修正画像を生成する（ステップＳ４４）。具体的には、第２画像生成部２０６ｆは、第１修正画像における特定領域の各画素の代表値であるＤＣ成分（例えば、輝度値）を、修正後の元画像Ｐ１における対応領域の各画素の代表値である輝度値の平均値と一致させるように、第１修正画像における特定領域の各画素の画素値を変更（修正）して第２修正画像を生成する。
なお、第２画像生成部２０６ｆは、第１修正画像における修正済領域のみを処理対象領域として、ＤＣ成分を変更して第２修正画像を生成しても良い。
【００６９】
次に、第３画像生成部２０６ｇは、第２修正画像における修正済領域を含む所定領域を処理対象領域とし、ディリクレ条件を境界条件としてポアソン方程式を解いて修正済画像Ｐ５を生成する（ステップＳ４５）。具体的には、第３画像生成部２０６ｇは、第２修正画像における修正済領域の周囲に存する所定数の画素を含む所定領域を処理対象領域とし、当該処理対象領域内に存する各画素のうちの画像境界と重なる画素については、当該画素自身の画素値を境界条件として用いる。
その後、画像処理部２０６は、修正済画像Ｐ５の画像データを記憶部４に転送し、記憶部４は、当該画像データを記憶する（ステップＳ４６）。
これにより、画像修正処理を終了する。
【００７０】
従って、変形例１の画像処理装置２００によれば、ディリクレ条件を境界条件としてポアソン方程式を解く前に、元画像Ｐ１における修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解くことにより、画像修正処理にかかる演算量が約２倍になるものの、第１修正画像の所定領域を含む特定領域の各画素の代表値を元画像Ｐ１の特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成することで、修正済領域内の色を元画像Ｐ１における対応する領域の色に類似させることができ、当該第２修正画像をディリクレ条件を境界条件とするポアソン方程式の処理対象画像として用いることができる。
このように、不要領域Ａ１が画像境界Ｂにかかっている場合であっても、ディリクレ条件を境界条件としてポアソン方程式を解いて、処理対象領域内の色や勾配をより自然に変化させた修正済画像Ｐ５の生成を簡便に、且つ、高速に行うことができる。
【００７１】
なお、上記実施形態にあっては、元画像Ｐ１における複数の画像境界Ｂ、…のうち、少なくとも何れか一の画像境界Ｂに不要領域Ａ１が重なっていると判定された場合に、第１修正画像Ｐ２を生成するようにしたが、判定部６ｃを備えるか否かは適宜任意に変更可能である。
【００７２】
さらに、上記実施形態における第２修正画像生成処理及び変形例１における修正画像生成処理にあっては、元画像Ｐ１における不要領域Ａ１を構成する特定領域と置き換えられる置換領域を、各画素の色情報及び画素値の変化の度合いを基準として探索するようにしたが、一例であってこれに限られるものではなく、置換領域の探索の手法は適宜任意に変更可能である。
【００７３】
また、画像処理装置１００、２００の構成は、上記実施形態及び変形例１に例示したものは一例であり、これらに限られるものではない。
【００７４】
加えて、上記実施形態にあっては、取得手段、指定手段、第１生成手段、第２生成手段、第３生成手段及び第４生成手段としての機能を、中央制御部１の制御下にて、画像処理部６の画像取得部６ａ、不要領域指定部６ｂ、第１画像生成部６ｄ、第２画像生成部６ｅ、第３画像生成部６ｆ及び第４画像生成部６ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、指定処理ルーチン、第１生成処理ルーチン、第２生成処理ルーチン、第３生成処理ルーチン、第４生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、元画像Ｐ１を取得する手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部１のＣＰＵを、取得された元画像Ｐ１内で修正すべき画像が含まれる不要領域Ａ１を指定する手段として機能させるようにしても良い。また、第１生成処理ルーチンにより中央制御部１のＣＰＵを、元画像Ｐ１における複数の画像境界Ｂ、…のうち、指定された不要領域Ａ１と重なる画像境界Ｂの外側に、当該画像境界Ｂを基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像Ｐ２を生成する手段として機能させるようにしても良い。また、第２生成処理ルーチンにより中央制御部１のＣＰＵを、生成された第１修正画像Ｐ２における不要領域Ａ１を修正して第２修正画像Ｐ３を生成する手段として機能させるようにしても良い。また、第３生成処理ルーチンにより中央制御部１のＣＰＵを、第２修正画像Ｐ３における不要領域Ａ１に対応する対応領域Ａ２を含む所定領域Ａ３について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像Ｐ４を生成する手段として機能させるようにしても良い。また、第４生成処理ルーチンにより中央制御部１のＣＰＵを、第３修正画像Ｐ４における複製が付加された画素に対応する対応画素を削除して修正済画像Ｐ５を生成する手段として機能させるようにしても良い。
【００７５】
同様に、判定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００７６】
また、上記変形例１にあっては、取得手段、第１生成手段、第２生成手段及び第３生成手段としての機能を、中央制御部１の制御下にて、画像処理部２０６の第２画像取得部２０６ｄ、第１画像生成部２０６ｅ、第２画像生成部２０６ｆ及び第３画像生成部２０６ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１生成処理ルーチン、第２生成処理ルーチン、第３生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、不要領域Ａ１が修正された元画像Ｐ１を取得する手段として機能させるようにしても良い。また、第１生成処理ルーチンにより中央制御部１のＣＰＵを、元画像Ｐ１における不要領域Ａ１に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する手段として機能させるようにしても良い。また、第２生成処理ルーチンにより中央制御部１のＣＰＵを、第１修正画像の所定領域を含む特定領域の各画素の代表値を元画像Ｐ１の特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する手段として機能させるようにしても良い。また、第３生成処理ルーチンにより中央制御部１のＣＰＵを、第２修正画像における修正済領域を含む所定領域について、当該第２修正画像における複数の画像境界のうちの修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件としてポアソン方程式を解いて修正済画像Ｐ５を生成する手段として機能させるようにしても良い。
【００７７】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００７８】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する取得手段と、
この取得手段により取得された元画像内で修正すべき画像が含まれる不要領域を指定する指定手段と、
前記元画像における複数の画像境界のうち、前記指定手段により指定された前記不要領域と重なる画像境界の外側に、当該画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する第１生成手段と、
この第１生成手段により生成された第１修正画像における前記不要領域を修正して第２修正画像を生成する第２生成手段と、
この第２生成手段により生成された第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する第３生成手段と、
この第３生成手段により生成された第３修正画像における前記第１生成手段により複製が付加された画素に対応する対応画素を削除して処理済画像を生成する第４生成手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記元画像における複数の画像境界のうち、少なくとも何れか一の画像境界に、前記指定手段により指定された前記不要領域が重なっているか否かを判定する判定手段を更に備え、
前記第１生成手段は、
前記判定手段により前記何れか一の画像境界に前記不要領域が重なっていると判定された場合に、前記元画像における前記不要領域と重なる画像境界の外側に前記所定数の画素の複製を付加して前記第１修正画像を生成することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記第１生成手段は、更に、前記元画像における全ての画像境界の各々の外側に前記所定数の画素の複製を付加して前記第１修正画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記第２生成手段は、更に、前記元画像における前記不要領域以外の領域内で、当該不要領域を構成する特定領域と置き換えられる置換領域を探索し、探索された置換領域で前記特定領域を置き換えて第２修正画像を生成することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記第２生成手段は、更に、前記特定領域と類似する前記置換領域を各画素の色情報及び画素値の変化の度合いを基準として探索することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
不要領域が修正された元画像を取得する取得手段と、
この取得手段により取得された元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する第１生成手段と、
この第１生成手段により生成された第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する第２生成手段と、
この第２生成手段により生成された第２修正画像における前記修正済領域を含む所定領域について、当該第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件としてポアソン方程式を解いて処理済画像を生成する第３生成手段と、
を備えたことを特徴とする画像処理装置。
＜請求項７＞
画像処理装置を用いた画像処理方法であって、
元画像を取得する処理と、
取得された元画像内で修正すべき画像が含まれる不要領域を指定する処理と、
前記元画像における複数の画像境界のうち、指定された前記不要領域と重なる画像境界の外側に、当該画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する処理と、
生成された第１修正画像における前記不要領域を修正して第２修正画像を生成する処理と、
生成された第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する処理と、
生成された第３修正画像における複製が付加された画素に対応する対応画素を削除して処理済画像を生成する処理と、
を含むことを特徴とする画像処理方法。
＜請求項８＞
画像処理装置を用いた画像処理方法であって、
不要領域が修正された元画像を取得する処理と、
取得された元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する処理と、
生成された第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する処理と、
生成された第２修正画像における前記修正済領域を含む所定領域について、当該第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件としてポアソン方程式を解いて処理済画像を生成する処理と、
を含むことを特徴とする画像処理方法。
＜請求項９＞
画像処理装置のコンピュータを、
元画像を取得する取得手段、
この取得手段により取得された元画像内で修正すべき画像が含まれる不要領域を指定する指定手段、
前記元画像における複数の画像境界のうち、前記指定手段により指定された前記不要領域と重なる画像境界の外側に、当該画像境界を基準として所定範囲内に存する所定数の画素の複製を付加して第１修正画像を生成する第１生成手段、
この第１生成手段により生成された第１修正画像における前記不要領域を修正して第２修正画像を生成する第２生成手段、
この第２生成手段により生成された第２修正画像における前記不要領域に対応する対応領域を含む所定領域について、ディリクレ条件を境界条件としてポアソン方程式を解いて第３修正画像を生成する第３生成手段、
この第３生成手段により生成された第３修正画像における前記第１生成手段により複製が付加された画素に対応する対応画素を削除して処理済画像を生成する第４生成手段、
として機能させることを特徴とするプログラム。
＜請求項１０＞
画像処理装置のコンピュータを、
不要領域が修正された元画像を取得する取得手段、
この取得手段により取得された元画像における前記不要領域に対応する修正済領域を含む所定領域について、ノイマン条件を境界条件としてポアソン方程式を解いて第１修正画像を生成する第１生成手段、
この第１生成手段により生成された第１修正画像の前記所定領域を含む特定領域の各画素の代表値を前記元画像の前記特定領域に対応する対応領域の各画素の代表値と一致させた第２修正画像を生成する第２生成手段、
この第２生成手段により生成された第２修正画像における前記修正済領域を含む所定領域について、当該第２修正画像における複数の画像境界のうちの前記修正済領域と重なる画像境界を構成する各画素の画素値を用いてディリクレ条件を境界条件としてポアソン方程式を解いて処理済画像を生成する第３生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００７９】
１００、２００  画像処理装置
１      中央制御部
６、２０６  画像処理部
６ａ    画像取得部
６ｂ    不要領域指定部
６ｃ    判定部
６ｄ、２０６ｅ  第１画像生成部
６ｅ、２０６ｆ  第２画像生成部
６ｆ、２０６ｆ  第３画像生成部
６ｇ    第４画像生成部
２０６ｄ  第２画像取得部
【図１】
0005935421.tif 000009
【図２】
0005935421.tif 000010
【図３】
0005935421.tif 000011
【図４】
0005935421.tif 000012
【図７】
0005935421.tif 000013
【図８】
0005935421.tif 000014
【図５】
0005935421.tif 000015
【図６】
0005935421.tif 000016