(57)【要約】【課題】  画像の特徴を保持しつつ補間処理を効率的に実行することを目的とする。【解決手段】  画素補間装置１００は、記憶部１３およびこれを制御する処理部１４を有している。そして、処理部１４は、画像データに含まれる各補間対象画素を含む補間領域を生成し、補間領域ごとに、すべての補間対象画素の補間処理が終了するまで、第１外接領域および第２外接領域内の各画素間の相関をもとに、補間領域のうち、内接領域の補間を繰り返し、繰り返し補間することによりすべての補間対象画素の補間処理が終了した画像データを表示部１２に出力する。【選択図】      図３
2005309785.tif 000002
【特許請求の範囲】
【請求項１】
記憶部およびこれを制御する処理部を備え、前記記憶部が、複数の補間対象画素を含む画像データを格納する画素補間装置であって、
前記処理部は、
前記画像データに含まれる各補間対象画素を含む補間領域を生成する処理と、
前記補間領域ごとに、すべての補間対象画素の補間処理が終了するまで、前記補間領域以外の非補間領域内の各画素間の相関をもとに、前記補間領域のうち、非補間領域に接する境界点の集合からなる内接領域の補間を繰り返す処理と、
繰り返し補間することによりすべての補間対象画素の補間処理が終了した前記画像データを外部に出力する処理と
を実行することを特徴とする画素補間装置。
【請求項２】
前記処理部は、
前記内接領域の補間を繰り返す処理を実行するに際し、
前記非補間領域について、前記内接領域に接する第１外接領域およびこの第１外接領域に接しかつ前記内接領域に非接触の第２外接領域を生成し、
第２外接領域と第１外接領域との各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項１に記載の画素補間装置。
【請求項３】
前記処理部は、
前記内接領域の補間を繰り返す処理を実行するに際し、
前記非補間領域について、前記内接領域に接する第１外接領域、この第１外接領域に接しかつ前記内接領域に非接触の第２外接領域およびこの第２外接領域に接しかつ前記内接領域と第１外接領域の両領域に非接触の第３外接領域を生成し、
第３外接領域と第２外接領域との各画素間および第２外接領域と第１外接領域との各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項１に記載の画素補間装置。
【請求項４】
前記処理部は、
前記各画素の微分値によって関連があると判断した前記各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項２または請求項３に記載の画素補間装置。
【請求項５】
前記処理部は、
前記各画素のエッジによって関連があると判断した前記各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項３に記載の画素補間装置。
【請求項６】
前記処理部は、
前記相関によって関連づけた画素間の距離に応じて各画素の画素値を評価する重み付け平均操作を用いて、前記内接領域の補間を繰り返す
ことを特徴とする請求項１ないし請求項５いずれか１項に記載の画素補間装置。
【請求項７】
前記処理部は、
第２外接領域と第１外接領域との各画素間の相関をもとに、前記内接領域の補間を繰り返す処理を実行するに際し、
前記相関によって関連づけた第２外接領域から第１外接領域への方向における第２外接領域内の画素の微分値と、前記相関によって関連づけた第１外接領域（Ｓ１）から内接領域への方向における第１外接領域内の画素の微分値とが同値となるように、前記内接領域の補間を繰り返す
ことを特徴とする請求項２に記載の画素補間装置。
【請求項８】
前記処理部は、
前記生成した補間領域の隣接関係が定義できない場合、前記補間領域の膨張および収縮の処理を行うことによって前記補間領域の隣接関係が定義できるようにする
ことを特徴とする請求項１に記載の画素補間装置。
【請求項９】
前記処理部は、
前記生成した互いに異なる複数の補間領域の間で各非補間領域が共有する場合、それらの補間領域を同一の補間領域として再生成して、再生成した補間領域の内接領域の補間を繰り返す
ことを特徴とする請求項１に記載の画素補間装置。
【請求項１０】
記憶部およびこれを制御する処理部を備え、前記記憶部が、複数の補間対象画素を含む画像データを格納する画素補間装置の画素補間方法であって、
前記処理部は、
前記画像データに含まれる各補間対象画素を含む補間領域を生成するステップと、
前記補間領域ごとに、すべての補間対象画素の補間処理が終了するまで、前記補間領域以外の非補間領域内の各画素間の相関をもとに、前記補間領域のうち、非補間領域に接する境界点の集合からなる内接領域の補間を繰り返すステップと、
繰り返し補間することによりすべての補間対象画素の補間処理が終了した前記画像データを外部に出力するステップと
を実行することを特徴とする画素補間方法。
【請求項１１】
前記処理部は、
前記内接領域の補間を繰り返すステップを実行するに際し、
前記非補間領域について、前記内接領域に接する第１外接領域およびこの第１外接領域に接しかつ前記内接領域に非接触の第２外接領域を生成し、
第２外接領域と第１外接領域との各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項１０に記載の画素補間方法。
【請求項１２】
前記処理部は、
前記内接領域の補間を繰り返すステップを実行するに際し、
前記非補間領域について、前記内接領域に接する第１外接領域、この第１外接領域に接しかつ前記内接領域に非接触の第２外接領域およびこの第２外接領域に接しかつ前記内接領域と第１外接領域の両領域に非接触の第３外接領域を生成し、
第３外接領域と第２外接領域との各画素間および第２外接領域と第１外接領域との各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項１０に記載の画素補間方法。
【請求項１３】
前記処理部は、
前記各画素の微分値によって関連があると判断した前記各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項１１または請求項１２に記載の画素補間方法。
【請求項１４】
前記処理部は、
前記各画素のエッジによって関連があると判断した前記各画素間の相関をもとに、前記内接領域の補間を繰り返す
ことを特徴とする請求項１２に記載の画素補間方法。
【請求項１５】
前記処理部は、
前記相関によって関連づけた画素間の距離に応じて各画素の画素値を評価する重み付け平均操作を用いて、前記内接領域の補間を繰り返す
ことを特徴とする請求項１０ないし請求項１４いずれか１項に記載の画素補間方法。
【請求項１６】
前記処理部は、
第２外接領域と第１外接領域との各画素間の相関をもとに、前記内接領域の補間を繰り返すステップを実行するに際し、
前記相関によって関連づけた第２外接領域から第１外接領域への方向における第２外接領域内の画素の微分値と、前記相関によって関連づけた第１外接領域から内接領域への方向における第１外接領域内の画素の微分値とが同値となるように、前記内接領域の補間を繰り返す
ことを特徴とする請求項１１に記載の画素補間方法。
【請求項１７】
前記処理部は、
前記生成した補間領域の隣接関係が定義できない場合、前記補間領域の膨張および収縮の処理を行うことによって前記補間領域の隣接関係が定義できるようにする
ことを特徴とする請求項１０に記載の画素補間方法。
【請求項１８】
前記処理部は、
前記生成した互いに異なる複数の補間領域の間で各非補間領域が共有する場合、それらの補間領域を同一の補間領域として再生成して、再生成した補間領域の内接領域の補間を繰り返す
ことを特徴とする請求項１０に記載の画素補間方法。
【請求項１９】
請求項１０ないし請求項１８いずれか１項に記載の画素補間方法をコンピュータに実行させるための画素補間プログラム。
【請求項２０】
請求項１０ないし請求項１８いずれか１項に記載の画素補間方法をコンピュータに実行させるための画素補間プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素の補間処理を行う画素補間装置および画素補間方法に関するものである。
【背景技術】
【０００２】
近年、補間処理技術が画像処理技術の一つとして用いられている。補間処理技術は、画像のノイズを除去したりあるいは画像内のある像を消去するための技術であり、この補間処理技術の手法としては、次のような手法が知られている。
第１に、「画像内の補間対象画素にその４近傍あるいは８近傍の画素値の平均値を設定する。また、ガウシアンフィルタを用いて平滑化処理を行う（例えば、非特許文献１参照）」という手法である。
第２に、「ラプラシアン（２次微分フィルタ）演算を画像に適用して補間対象領域とその周辺領域とが連続的に変化するように補間対象領域内の画素値を繰り返し修正する（例えば、非特許文献２）」という手法である。
【非特許文献１】田村秀行著，「コンピュータ画像処理」，オーム社，２００２年１２月，ｐ．１０１−１２３，１８１−１９９
【非特許文献２】Marcelo Bertalmio著，外３名,「Image Inpainting」，（米国），Proceedings of SIGGRAPH 2000，２０００年，ｐ．４１７−４２４
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１によると、補間処理によってエッジなどの特徴が損なわれる場合があった。
また、非特許文献２によると、補間処理に時間を要し補間処理が非効率的であるという問題があった。
【０００４】
そこで、本発明は、前記した課題を解決するためになされたものであり、その目的は、
画像のエッジなどの特徴を保持しつつ補間処理を効率的に実行することができる画素補間装置、画素補間方法および画素補間プログラム並びに画素補間プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために本発明は、記憶部およびこれを制御する処理部を備え、記憶部が、複数の補間対象画素を含む画像データを格納する画素補間装置であって、処理部は、画像データに含まれる各補間対象画素を含む補間領域を生成する処理と、すべての補間対象画素の補間処理が終了するまで、補間領域以外の非補間領域内の各画素間の相関をもとに、前記補間領域のうち、非補間領域に接する境界点の集合からなる内接領域の補間を繰り返す処理と、繰り返し補間することによりすべての補間対象画素の補間処理が終了した画像データを外部に出力する処理とを実行する。
【発明の効果】
【０００６】
本発明によると、補間領域以外の非補間領域内の各画素間の相関をもとに内接領域の補間が繰り返し実行されるので、画像のエッジなどの特徴を保持しつつ補間処理を効率的に実行することができる。
【発明を実施するための最良の形態】
【０００７】
まず、本発明に係る基礎技術を解説する。
［補間処理技術］
補間処理技術は、画像内の画素の色情報を適切な色情報に設定するための技術である。色情報とは、各画素がもつ色の明るさ、すなわち輝度値を意味する。例えば、２値画像の場合は各画素の輝度値が色情報となり、色彩画像の場合は分解されたＲ（Red），Ｇ（Green），Ｂ（Blue）の３原色それぞれの輝度値が色情報となる。
【０００８】
[４連結と８連結]
次に、４連結と８連結について図１（ａ）（ｂ）に基づいて説明する。
図１（ａ）に示す画素（ｉ，ｊ）には、上下左右方向に４つの隣接画素（ｉ，ｊ−１）,（ｉ，ｊ＋１）,（ｉ−１，ｊ）,（ｉ＋１，ｊ）が存在する。これら４つの画素（ｉ，ｊ−１）,（ｉ，ｊ＋１）,（ｉ−１，ｊ）,（ｉ＋１，ｊ）を画素（ｉ，ｊ）の４近傍という。
他方、図１（ｂ）に示す画素（ｉ，ｊ）には、図１（ａ）に示した４つの隣接画素（ｉ，ｊ−１）,（ｉ，ｊ＋１）,（ｉ−１，ｊ）,（ｉ＋１，ｊ）のほかにも、さらに斜めの４つの隣接画素（ｉ−１，ｊ−１）,（ｉ＋１，ｊ＋１）,（ｉ−１，ｊ＋１）,（ｉ＋１，ｊ−１）も存在する。これら８つの画素（ｉ，ｊ−１）,（ｉ，ｊ＋１）,（ｉ−１，ｊ）,（ｉ＋１，ｊ），（ｉ−１，ｊ−１）,（ｉ＋１，ｊ＋１）,（ｉ−１，ｊ＋１）,（ｉ＋１，ｊ−１）を画素（ｉ，ｊ）の８近傍という。
【０００９】
ここで、連結とは、画素がつながっていることをいう。例えば、隣接画素が前記した４近傍で定義されている場合、同じ値の２点間に経路が存在すれば４連結しているといい、他方、隣接画素が前記した８近傍で定義されている場合には８連結しているという。以降、隣接画素を８近傍で定義した場合を例にして説明するが、４近傍で定義してもよい。
なお、同じ値を持つ画素の連結したひとまとまりの領域を連結成分という。
【００１０】
［補間処理における周辺画素から補間対象画素の補間手法]
次に、補間処理における周辺画素から補間対象画素の補間手法を図２（ａ）（ｂ）に基づいて説明する。
図２（ａ）では、６×６の補間対象画素（境界点Ａ１を含む）Ａを含む補間領域Ｒを中心として、その中心から外側方向に、第１外接領域Ｓ１および第２外接領域Ｓ２が生成されている。
第１外接領域Ｓ１および第２外接領域Ｓ２は、補間領域Ｒ以外の非補間領域である。具体的には、第１外接領域Ｓ１は、補間領域Ｒに接する領域であり、第２外接領域Ｓ２は、第１外接領域Ｓ１に接しかつ補間領域Ｒに非接触の領域である。
【００１１】
そして、これら第２外接領域Ｓ２および第１外接領域Ｓ１内の各画素Ｂ２，Ｂ１間の相関をもとに、補間領域Ｒ内の境界点Ａ１の集合からなる内接領域Ｒの補間処理が行われるようになっている。ここでいう相関とは、画素の微分値、エッジなどの特徴に基づく関連づけを意味し、図２（ａ）では、例えば、微分値によって関連づけられた２つの画素Ｂ１，Ｂ２が示されている。
【００１２】
なお、図２（ａ）において、符号ｄ１２の矢印は、互いに関連づけられた画素Ｂ２，Ｂ１から境界点Ａ１への関連方向を表している。
【００１３】
図２（ａ）では、補間対象画素Ａ、境界点Ａ１、各画素Ｂ１，Ｂ２は、それぞれ1マス（ここでは１画素）ずつ記載されているが、同じパターンで表わされたマスはすべて同じ領域の画素を表している（以下各図において同じ。）。符号Ｒ１は、境界点Ａ１の集合からなる補間領域Ｒ内の内接領域Ｒ１を表している。
【００１４】
他方、図２（ｂ）では、前記した図２（ａ）に示した第１外接領域Ｒ１および第２外接領域Ｒ２のほか、第２外接領域Ｒ２の外側に第３外接領域Ｒ３も生成されている。
第３外接領域Ｒ３も補間領域Ｒ以外の非補間領域であり、この第３外接領域Ｒ３は、第２外接領域Ｓ２に接しかつ補間領域Ｒと第１外接領域Ｓ１の両領域に非接触の領域である。
【００１５】
そして、これら第３外接領域Ｓ３および第２外接領域Ｓ２の各画素Ｂ３，Ｂ２間の相関と第２外接領域Ｓ２および第１外接領域Ｓ１の各画素Ｂ２，Ｂ１間の相関とをもとに、補間領域Ｒ内の境界点Ａ１の集合からなる内接領域Ｒの補間処理が行われるようになっている。図２（ｂ）では、エッジによって関連づけられた３つの画素Ｂ３，Ｂ２，Ｂ１が示されている。
【００１６】
なお、図２（ｂ）において、符号ｄ１２３の矢印は、互いに関連づけられた画素Ｂ３，Ｂ２，Ｂ１から境界点Ａ１への関連方向を表している。
【００１７】
[各領域の定義]
ここで、前記した図２（ａ）（ｂ）に示した内接領域Ｒ１、第１外接領域Ｓ１、第２外接領域Ｓ２および第３外接領域Ｓ３をそれぞれ次の式（１）〜式（４）で定義する。なお、式（１）〜式（４）中、Ｐは画素、Ｐ’は補間対象画素Ａ、∪（Ｐ）はＰの近傍を表す。
【００１８】
【数１】
2005309785.tif 000003
【００１９】
[相関関係にある画素の微分値の定義]
次に、前記した図２（ａ）で関連づけられた画素Ｂ１，Ｂ２について、関連方向ｄ１２における当該各画素の微分値をそれぞれ次の式（５）〜式（７）で表す。なお、式（５）〜式（７）中、Ｐiは連結処理によって順序づけられた画素の画素値（図８参照）、［Ｂ１]はＢ１に属すこと、[Ｂ２]はＢ２に属すことを表す。
【００２０】
【数２】
2005309785.tif 000004
【００２１】
前記した内容を踏まえ、以下、本発明を実施するための最良の形態である「画素補間装置」、「画素補間方法」、「画素補間プログラム」および「画素補間プログラムを記録したコンピュータ読み取り可能な記録媒体」について説明する。
【００２２】
図３は、本発明の実施の形態に係る画素補間装置を示すブロック図である。
図３において、画素補間装置１００は、入力部１１、表示部１２、記憶部１３およびこれらを制御する処理部１４を有している。例えば、パーソナルコンピュータなどのコンピュータが画素補間装置１００に用いられる。
入力部１１は、マウス、キーボードなどの入力装置である。表示部１２は、液晶ディスプレイなどの表示装置である。
【００２３】
記憶部１３は、メモリ、ハードディスクなどの記憶装置であり、この記憶部１３には、複数の補間対象画素Ａを含む画像データが格納されている。
処理部１４は、例えばＣＰＵであり、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録された画素補間プログラムに従って動作するようになっている。
【００２４】
[図２（ａ）の補間手法を用いた補間処理]
次に、図２（ａ）に示した補間手法、すなわち第１外接領域Ｒ１および第２外接領域Ｒ２を用いた補間処理について説明する。
図４および図５は、画素補間装置１００における補間処理の手順であって、第１外接領域Ｒ１および第２外接領域Ｒ２を用いた補間処理の手順を示す図である。ここでは、図３に示した画素補間装置１００の処理部１４が、記憶部１３に格納された画像データの画像（ここでは古写真の寺院など）のうち、ユーザに指定された画素を補間し、その画像を再現する場合を例にして説明する。
【００２５】
まず、ユーザは、画素補間装置１００の入力部１１を操作（ここではクリック操作）して、表示部１２に表示された画像のうち、複数の画素を補間対象画素Ａとして指定する。
すると、処理部１４は、入力部１１によって指定された各補間対象画素Ａを記憶部１３に設定する（図４のＳ１０１）。
【００２６】
次に、処理部１４は、表示部１２に表示した画像の色分解処理を実行する（Ｓ１０２）。ここでは、古写真の画像を２値画像の場合で説明するので、処理部１４は、予め設定されている閾値に基づいて、その画像を黒または白に分解するが、色彩画像の場合はＲ，Ｇ，Ｂの３原色に分解する。これにより、補間処理としての前処理が完了し、次のＳ２０１に進むこととなる。なお、前記したＳ１０１からＳ１０２までの処理を前処理手順Ｓ１００と呼ぶ。
【００２７】
次に、処理部１４は、後記する図５のＳ６０３における更新処理を実行するたびにＳ１０１で設定した補間対象画素Ａを補間対象から除外するため、Ｓ１０１で設定した補間対象画素Ａが記憶部１３に残存しているかどうかを判断し（Ｓ２０１）、補間対象画素Ａが残っていない場合（Ｓ２０１の「Ｎｏ」の場合）、処理を終了し、残存している場合（Ｓ２０１の「Ｙｅｓ」の場合）、次のＳ３０１に進む。なお、Ｓ２０１の処理を画素計数手順Ｓ２００と呼ぶ。
【００２８】
Ｓ３０１では、処理部１４は、Ｓ１０１で設定した補間対象画素Ａの連結処理を実行するとともに、連結処理して生成された補間対象画素Ａの連結成分にグループ属性を付与するラベリング処理を実行する。これにより、ラベリング処理によって同じ番号（識別子）が付与された補間対象画素Ａが同じ処理領域として認識されることとなる。
【００２９】
次に、処理部１４は、Ｓ３０１でラベリング処理した各補間対象画素Ａの補間領域Ｒの独立性のチェック処理を実行する（Ｓ３０２）。これを詳述すると、処理部１４は、このチェック処理を実行するに際し、各補間領域Ｒの連結成分ごとに、幅１画素の膨張を行い、互いに異なる複数の補間領域Ｒの間で、後記のＳ４０４およびＳ４０６で生成する非補間領域Ｒ１，Ｒ２が共有するかどうかを判断する。
つまり、ここでいう補間領域Ｒの独立性というのは、第１外接領域Ｒ１および第２外接領域Ｒ２が互いに共有部分を有しない（共有しない）ことを意味する。
【００３０】
なお、Ｓ３０２では、膨張は、幅１画素の場合で説明したが、これ以外の画素幅としてもよい。
【００３１】
例えば、図６に示す互いに異なる補間領域Ｒは、第１外接領域Ｒ１および第２外接領域Ｒ２を共有している（隣接関係にある）ので、処理部１４によって非独立と判断される。
【００３２】
次に、図４のＳ３０３において、処理部１４は、Ｓ３０２におけるチェック処理により、非独立と判断した互いに異なる補間領域Ｒを再ラベリング（ここでは図６に示した２つの補間領域Ｒに同じ番号を付与）する。これにより、非独立と判断された補間領域Ｒが同一の補間領域Ｒとして再生成され、再生成後の補間領域Ｒが同じ処理領域として処理部１４に認識されることとなる。
【００３３】
次に、処理部１４は、Ｓ３０３で再ラベリングした補間領域Ｒを含むすべての補間領域Ｒごとに、例えば、幅１画素の膨張および収縮処理を実行する（Ｓ３０４）。ここでは、膨張および収縮処理としてモルフォロジー（Morphology）変換を用い、処理部１４は、モルフォロジー変換を行った補間領域Ｒをスムージング処理する。
【００３４】
スムージング処理を行うのは、内接領域Ｒ１の画素がすべて第１外接領域Ｓ１に接しかつこの第１外接領域Ｓ１の外側の画素がすべて第２外接領域Ｓ２に接する（ここでは、これを「隣接関係が定義できる」という。）ようにするためである。
なお、前記した図２（ｂ）の第３外接領域Ｓ３が生成されている場合、「隣接関係が定義できる」といえるには、さらに、第２外接領域Ｓ２の外側の画素がすべて第３外接領域Ｓ３に接するようになっていることが条件になる。
【００３５】
Ｓ３０４では、膨張および収縮処理は、幅１画素の場合で説明したが、これ以外の画素幅としてもよい。
【００３６】
例えば、図７（ａ）に示す多角形状（凹凸）の補間領域（隣接関係が定義できない補間領域）Ｒは、まず、図４のＳ３０４における膨張処理によって、図７（ｂ）に示す四角形状の補間領域（隣接関係が定義できる補間領域）Ｒに変化する。次に、図７（ｂ）に示した補間領域Ｒは、図４のＳ３０４における収縮処理によって、図７（ｃ）に示す第１外接領域Ｓ１に接するように形成されることになる。これにより、多角形状の補間領域Ｒが、Ｓ３０４における膨張および収縮処理によって、最終的には、補間処理し易い形状（四角形状など）に変形することになる。
【００３７】
以上から、隣接関係が定義できない多角形状を含むあらゆる形状の補間領域Ｒも、隣接関係が定義できるように膨張および収縮処理が行われ、補間処理を適用することが可能となる。
【００３８】
次に、図４のＳ３０５において、処理部１４は、Ｓ３０４で膨張および収縮処理した補間領域Ｒを補間処理の１単位として生成（認識するという意味）する（Ｓ３０５）。
【００３９】
このように、前記したＳ３０１からＳ３０５までの処理が実行されることによって、古写真を表す画像の画像データに含まれる補間対象画素Ａを含む補間領域Ｒが生成されることとなる。なお、前記したＳ３０１からＳ３０５までの処理を補間領域生成手順Ｓ３００と呼ぶ。
【００４０】
次に、Ｓ４０１において、処理部１４は、後記する図５のＳ６０３における更新処理によって補間領域Ｒが変形するため、図４のＳ３０５で生成した補間領域Ｒの再生成が必要かどうかを判断し、必要と判断した場合（Ｓ４０１の「Ｙｅｓ」の場合）、前記したＳ２０１に戻り、不要と判断した場合（Ｓ４０１の「Ｎｏ」の場合）、次のＳ４０２に進む。
【００４１】
Ｓ４０２では、処理部１４は、補間領域Ｒ（図７（ｃ）参照）内の境界点Ａ１を生成し、次のＳ４０３で、境界点Ａ１の連結処理を実行する。連結処理では、一定方向（ここでは反時計方向）に境界点Ａ１を連結する。これにより、境界点Ａ１の集合からなる内接領域Ｒ１（図８の「内接領域Ｒ１」参照）が生成されることとなる。
【００４２】
次に、処理部１４は、記憶部１３上のフラグ（ここでは図４のＳ３０５で生成した補間領域Ｒ内の補間対象画素Ａが最後のものかどうかを示すフラグを指す。以下同じ。）を偽（補間対象画素Ａが最終のものでないことを示す）にセット（last#flag（Ａ１i）=FALSE）し（Ｓ７０１）、次のＳ７０２で、Ｓ３０５で生成した補間領域Ｒ内のすべての補間対象画素Ａの補間処理が終了していないと判断し（Ｓ７０２の「Ｎｏ」の場合）、Ｓ４０４に進む。
【００４３】
なお、Ｓ７０２においてすべての補間対象画素Ａの補間処理が終了すると判断された場合（Ｓ７０２の「Ｙｅｓ」の場合）、処理部１４は、記憶部１４上のフラグを真（補間対象画素Ａが最後のものであることを示す）にセット（last#flag（Ａ１i）=TRUE）し、Ｓ４０４に進む。
【００４４】
Ｓ４０４では、処理部１４は、Ｓ３０５で生成した補間領域Ｒの外側の境界点、すなわち第１外接領域Ｓ１（図７（ｃ）参照）内の境界点である画素Ｂ１を生成し、次のＳ４０５で、画素Ｂ１の連結処理（ここでも反時計方向の連結処理）を実行する。これにより、画素Ｂ１の集合からなる第１外接領域Ｓ１が生成される（図８の「第１外接領域Ｓ１」参照）。
【００４５】
次に、処理部１４は、第１外接領域Ｓ１の外側の境界点、すなわち第２外接領域Ｓ２（図７（ｃ）参照）内の境界点である画素Ｂ２を生成し（Ｓ４０６）、画素Ｂ２の連結処理（ここでも反時計方向の連結処理）を実行する（Ｓ４０７）。これにより、画素Ｂ２の集合からなる第２外接領域Ｓ２が生成される（図８の「第２外接領域Ｓ２」参照）。
なお、図８において、符号Ｃ２は第１外接領域Ｓ１における連結方向を、符号Ｃ３は第２外接領域Ｓ２における連結方向をそれぞれ表している。
【００４６】
このように、前記したＳ４０１からＳ４０７までの処理が実行されることによって、補間領域Ｒの外側に、第１外接領域Ｒ１および第２外接領域Ｓ２がそれぞれ生成されることとなる。なお、前記したＳ４０１からＳ４０７までの処理を境界点生成手順Ｓ４００と呼ぶ。
【００４７】
次に、図５のＳ５０１において、処理部１４は、図４のＳ４０５で連結処理した第１外接領域Ｓ１の境界点である画素Ｂ１（図８参照）の線微分計算を実行する。なお、線微分の方向は、図８に示した連結方向Ｃ２である。
【００４８】
次に、処理部１４は、図４のＳ４０７で連結処理した第２外接領域Ｓ２の境界点である画素Ｂ２（図８参照）の線微分計算を実行する（Ｓ５０２）。なお、線微分の方向は、図８に示した連結方向Ｃ３である。
【００４９】
次に、処理部１４は、第２外接領域Ｓ２と第１外接領域Ｓ１との間（図８参照）の相関を解析する（Ｓ５０３）。これを詳述すると、処理部１４は、この解析を実行するに際し、例えば、画素間の類似性を評価するためのＤＰマッチング処理（動的マッチング処理）を用い、例えば図９（ａ）に示すように、関連方向ｄ１に示された各領域Ｓ２，Ｓ１内の各画素Ｂ２，Ｂ１間の関連づけを行う。
なお、ＤＰマッチング処理の初期の位置は、例えば、第２外接領域Ｓ２における連結方向Ｃ３の垂直方向に存在する第１外接領域Ｓ１の画素Ｂ１とする（図８参照）。
Ｓ５０３における解析の結果、図９（ｂ）に示すように、各領域Ｓ２，Ｓ１間が関連づけられることとなる。
【００５０】
次に、図５のＳ５０４において、処理部１４は、Ｓ５０３で第２外接領域Ｓ２との間の相関を解析した第１外接領域Ｓ１と、図４のＳ４０３で連結処理した境界点Ａ１の集合からなる内接領域Ｒ１との間（図８参照）の相関を解析する。これを詳述すると、処理部１４は、図４のＳ４０３で連結処理した内接領域Ｒ１内の境界点Ａ１の連結方向Ｃ1（図８参照）における線微分を計算し、この境界点Ａ１の微分値と図５のＳ５０１で計算した第１外接領域Ｒ１の画素の微分値とをもとに、例えば、ＤＰマッチング処理を用いて相関を解析する。
【００５１】
そして、Ｓ５０４における解析において、例えば図１０に示すように、内接領域Ｒ１の境界点Ａ１（ｉ，ｊ）が複数の画素Ｂ１（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）と関連づけられる場合、すなわち１対多の関連づけが行われる場合、重み付け平均操作を用いるが、両者の画素Ｂ１（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）の画素値の平均値を用いてもよい。重み付け平均操作は、画素間の距離に応じて各画素の画素値を評価するための操作である。
【００５２】
例えば、図１０において、境界点Ａ１（ｉ，ｊ）と画素Ｂ１（ｉ，ｊ＋１）との間の距離をａ、境界点Ａ１（ｉ，ｊ）とＢ１（ｉ＋１，ｊ＋１）との間の距離をｂとした場合、重み付け平均操作により、境界点Ａ１（ｉ，ｊ）の画素値Ｉ（ｉ，ｊ）は、画素Ｂ１（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）の画素値Ｉ（ｉ，ｊ＋１），Ｉ（ｉ＋１，ｊ＋１）が次のように評価された値となる。
Ｉ（ｉ，ｊ）＝αＩ（ｉ，ｊ＋１）＋βＩ（ｉ＋１，ｊ＋１）
ただし、α＝[ｂ／（ａ＋ｂ）｝，β＝[ａ／（ａ＋ｂ）｝
【００５３】
このように、前記した図５のＳ５０１からＳ５０４までの処理が実行されることによって、第２外接領域Ｓ２と第１外接領域Ｓ1との間の相関、第１外接領域Ｓ１と内接領域Ｒ１との間の相関が段階的に解析されることとなる。つまり、第２外接領域Ｓ２と第１外接領域Ｓ１との間の相関が内接領域Ｒに承継されることとなる。なお、前記したＳ５０１からＳ５０４までの処理を相関解析手順Ｓ５００と呼ぶ。
【００５４】
次に、Ｓ６０１において、処理部１４は、Ｓ５０４で第１外接領域Ｓ１との相関を解析した補間領域Ｒの修正処理を実行する。修正処理は、例えば、図４のＳ３０４における膨張・収縮処理によって、本来、補間対象画素Ａでないにもかかわらず、補間対象画素Ａとされた画素を除外する処理である。なお、Ｓ６０１における修正処理は、必要なければ実行しなくてよい。
【００５５】
次に、処理部１４は、Ｓ６０１で補正処理した補間領域Ｒ（または、Ｓ５０４で第１外接領域Ｓ１との相関を解析した補間領域Ｒ）の内部にある内接領域Ｒ１内の境界点Ａ１の補間処理を実行する（Ｓ６０２）。これにより、境界点Ａ１には、第２外接領域Ｓ２と関連づけられた第１外接領域Ｓ１の画素Ｂ１の画素値が設定されることとなる。したがって、境界点Ａ１のみ局所的に明るくなったり暗くなったりすることがなく、エッジなどの特徴が損なわれないという効果を得ることとなる。
【００５６】
次に、Ｓ７０４において、処理部１４は、Ｓ６０２で補間処理を実行した境界点Ａ１の平滑化処理を実行し、次のＳ７０５で、記憶部１３上にセットされたフラグ（図４のＳ７０１またはＳ７０３でセットしたフラグ）が真を示しているかどうかを判断する。
【００５７】
そして、Ｓ７０３における判断においてフラグが偽を示している場合（Ｓ７０５の「Ｎｏ」の場合）、処理部１４は、Ｓ６０２で補間処理した境界点Ａ１を含む補間領域Ｒの更新処理を実行する（Ｓ６０３）。更新処理は、Ｓ６０２で補間処理した境界点Ａを補間領域Ｒから除外する処理である。例えば、図９（ｂ）に示した内接領域Ｒ１内のすべての境界点Ａ１がＳ６０２で補間処理されると、更新処理によって、図９（ｂ）に示した幅１画素分の内接領域Ｒ１内のすべての境界点Ａ１が図９（ｂ）に示した補間領域Ｒから除外されることとなる。
【００５８】
このように、前記したＳ６０１からＳ６０３までの処理が実行されることによって、補間領域Ｒ内の境界点Ａ１の集合からなる内接領域Ｒの補間処理が順次（ここでは幅１画素分ずつ）実行されることとなる。なお、Ｓ６０１からＳ６０３までの処理を補間手順Ｓ６００と呼ぶ。
【００５９】
そして、Ｓ６０３の処理後、処理部１４は、図４のＳ２０１に戻り、Ｓ２０１における判断において補間対象画素Ａがなくなったと判断されるまで、前記した図４および図５における処理を繰り返すこととなる。すなわち、処理部１４は、図４のＳ３０１からＳ３０５まで、図４のＳ４０１からＳ４０７まで、図５のＳ５０１からＳ５０４まで、図５の６０１からＳ６０３および図５のＳ７０１からＳ７０５までの処理を繰り返す。これにより、すべての補間対象画素Ａについて、第２外接領域Ｓ２および第１外接領域Ｓ１との間の相関をもとに関連づけられた第１外接領域Ｓ１の画素Ｂ１の画素値が段階的に設定されることとなる。したがって、すべての補間対象画素Ａについての補間処理が終了した画像データが表示部（外部）１２に表示されることとなる。
【００６０】
以上から、すべての境界点Ａ１が画像全体の中で局所的に明るくなったり暗くなったりすることなく、画像のエッジなどの特徴を保持してその画像を再現することができる。例えば、デジタル画像内のノイズや傷を修復してそのデジタル画像を再現することができる。
【００６１】
なお、図５のＳ７０５における判断においてフラグが真を示している場合（Ｓ７０５の「Ｙｅｓ」の場合）、処理部１４は、Ｓ６０２で補間処理した境界点Ａ１の補正処理が必要かどうかを判断し（Ｓ７０６）、補正処理が必要な場合（Ｓ７０６の「Ｙｅｓ」の場合）、次のＳ７０７に進む。
ここで、補正処理が必要な場合というのは、例えば図１１に示すように、異なる関連方向ｄ１２からの画素Ｂ１の画素値をある境界点Ａ１に設定する場合をいう。
【００６２】
そして、Ｓ７０７では、処理部１４は、補正条件受付として、ユーザによる入力部１１からの指示に応じて、例えば、前記した図１０で説明した重み付け平均操作を用いて補正処理する旨の情報（補正範囲を含む）を受信する。
【００６３】
次に、処理部１４は、Ｓ７０７で受信した情報に従って、Ｓ６０２で補間処理した境界点Ａ１の補正処理（ここでは重み付け平均操作）を実行する（Ｓ７０８）。ここで、補正処理は、重み付け平均操作を用いた場合で説明したが、例えば、図１１に示した関連方向ｄ１上の両者の画素Ｂ１の画素値の平均値を図１１の境界点Ａ１に設定してもよい。
【００６４】
このように、図４および図５では、処理部１４は、画像データに含まれる各補間対象画素Ａを含む補間領域Ｒを生成し、すべての補間対象画素Ａの補間処理が終了するまで、非補間領域である第２外接領域Ｓ２および第１外接領域Ｓ１内の各画素Ｂ２，Ｂ１間の相関をもとに、補間領域Ｒのうち、第１外接領域Ｓ１に接する境界点Ａ１の集合からなる内接領域Ｒ１の補間を繰り返す。そして、処理部１４は、繰り返し補間することによりすべての補間対象画素Ａの補間処理が終了した画像データを外部の表示部１１２に出力する。
このため、画像のエッジなどの特徴を保持しつつ補間処理を効率的に実行することができる。
【００６５】
［内接領域内の境界点の相関]
なお、前記した図５のＳ６０２における補間処理では、関連づけられた第１外接領域Ｓ１の画素Ｂ１の画素値を内接領域Ｒ１内の境界点Ａ１に設定する場合について説明したが、次のようにしてもよい。
すなわち、処理部１４は、図５のＳ５０３の解析によって関連づけた第２外接領域Ｓ２から第１外接領域Ｓ１への相関方向ｄ１における第２外接領域Ｓ２内の画素Ｂ２の微分値と、図５のＳ５０４の解析によって関連づけた第１外接領域Ｓ１から内接領域Ｒ１への相関方向ｄ２における第１外接領域Ｓ１内の画素Ｂ１の微分値とが同値となるように、境界点Ａ１の補間を繰り返すようにしてもよい。このようにしても、境界点Ａ１が第２外接領域Ｓ２および第１外接領域Ｓ１の関連づけをもとに補間されるので、画像のエッジなどの特徴を保持しつつ補間処理を効率的に実行することができる。
【００６６】
[図２（ｂ）の補間手法を用いた補間処理]
次に、図２（ｂ）に示した補間手法を用いた補間処理、すなわち第１外接領域Ｒ１、第２外接領域Ｒ２および第３外接領域Ｒ３を用いた補間処理について図１２および図１３に基づいて説明する。ここでも、図３に示した画素補間装置１００の処理部１４が、記憶部１３に格納された画像データの画像（古写真の寺院など）のうち、ユーザに指定された画素を補間し、その画像を再現する場合を想定して説明する。
なお、図４および図５とほぼ同一の処理については、同一符号を付して重複説明を省略する。
【００６７】
図１２および図１３は、画素補間装置１００における補間処理の手順であって、第１外接領域Ｒ１、第２外接領域Ｒ２および第３外接領域Ｒ３を用いた補間処理の手順を示す図である。
図１２および図１３では、前記した図２（ａ）の補間手法を用いた補間処理の場合と異なり、第１外接領域Ｓ１および第２外接領域Ｓ２のほか、第３外接領域Ｒ３も用いて補間処理が実行されるので、次の点が図４および図５の場合と異なる。以下、図４および図５との相違点を中心に説明する。
【００６８】
図１２では、境界点生成手順Ｓ４００に、Ｓ４０８およびＳ４０９が追加されている（図４の境界点生成手順Ｓ４００参照）。
Ｓ４０８では、処理部１４は、Ｓ４０７で連結処理した第２外接領域Ｓ２（図８参照）の外側の境界点、すなわち第３外接領域Ｓ２内の境界点である画素Ｂ３を生成する。
次のＳ４０９では、処理部１４は、Ｓ４０８で生成した画素Ｂ３の連結処理（ここでも図８の連結方向Ｃ１〜Ｃ３と同じ方向に連結処理）を実行する。これにより、画素Ｂ３の集合からなる第３外接領域Ｓ３が生成される（図２（ｂ）の「第３外接領域Ｓ３」参照）。
【００６９】
なお、図１２のＳ３０２における独立性チェック処理において、処理部１４は、前記したＳ４０８で第３外接領域Ｒ３を生成するため、幅１画素の膨張処理を２回行って独立性の判断を行うが、幅２画素の膨張処理を行って独立性の判断を行ってもよい。
また、図１２のＳ３０４における膨張・収縮処理において、処理部１４は、幅２画素の膨張および収縮処理を行う。これにより、Ｓ４０８で第３外接領域Ｒ３が円滑に生成されることとなる。
【００７０】
図１３では、相関解析手順Ｓ５００に、前記した図５のＳ５０１からＳ５０４までの処理（図５の相関解析手順Ｓ５００参照）に代えて、Ｓ５０１ＡからＳ５０４Ａまでの処理が含まれる。
Ｓ５０１Ａでは、処理部１４は、画像のエッジ抽出処理を実行する。これにより、画像中の各領域Ｒ１，Ｓ１〜Ｓ３の各画素Ａ１，Ｂ１〜Ｂ３のエッジが抽出されることとなる。
【００７１】
なお、エッジ抽出処理では、注目画素の８近傍の各微分値が必要となるため、第３外接領域Ｓ３を含む画素の微分値を求める必要があるが、内接領域Ｒの境界点Ａ１が第１外接領域Ｓ１の画素Ｂ１と連続しているときは第３外接領域Ｓ３の画素Ｂ３の微分値を求めなくてもよい。
【００７２】
Ｓ５０２Ａでは、処理部１４は、図１２のＳ４０９で連結処理した画素Ｂ３の集合からなる第３外接領域Ｓ３と、図１２のＳ４０７で連結処理した画素Ｂ２の集合からなる第２外接領域Ｓ２との間の相関を解析する。この解析では、エッジが抽出された画素同士が８近傍になる場合これらの画素が関連づけられ、関連づけられた画素の方向ベクトルが計算される（図１３のＳ５０４Ａも同じ。）。
【００７３】
このようにして、処理部１４は、例えば１４（ａ）に示すように、関連方向ｄ２に示された各領域Ｓ３，Ｓ２内の各画素Ｂ３，Ｂ２間の関連づけを行う。したがって、各画素Ｂ３，Ｂ２間がエッジによって関連があると判断されることとなる。
【００７４】
なお、図１４（ａ）に示したように、ある画素Ｂ３が複数の画素Ｂ２と関連づけられた場合（図１４（ａ）中２つの関連方向ｄ２の始点となっている画素Ｂ３が存在する場合）、他の関連方向（ここではベクトル）ｄ２をもとに、ある画素Ｂ３を１つの画素Ｂ２と関連づける。例えば、図１４（ａ）では、他の関連方向ｄ２が真下方向を向いているので、ある画素Ｂ３の真下方向にある画素Ｂ２がその画素Ｂ３と関連づけられる。この場合において、図１４（ａ）に示した「エッジがない画素（ここでは図１４（ａ）中、符号Ｂ３，Ｂ２の記入のないマスを指す。）」についも、例えば、複数の関連方向ｄ２が示す上下方向に従い、各画素Ｂ３，Ｂ２間を関連づけてもよい（ここでは上下方向の画素が関連づけられる）。
【００７５】
図１３のＳ５０３Ａでは、処理部１４は、Ｓ５０２Ａで第３外接領域Ｓ３との相関が解析された第２外接領域Ｓ２と、図１２のＳ４０５で連結処理した画素Ｂ１の集合からなる第１外接領域Ｓ１との間の相関を解析する。これにより、各画素Ｂ２，Ｂ１間がエッジによって関連があると判断されることとなる。
【００７６】
Ｓ５０４Ａでは、処理部１４は、Ｓ５０３Ａで第２外接領域Ｓ２との相関が解析された第１外接領域Ｓ１と、図１２のＳ４０３で連結処理した境界点Ａ１の集合からなる内接領域Ｒ１との間の相関を解析する。この解析の結果を図１４（ｂ）に示す。
【００７７】
図１４（ｂ）によると、エッジによって関連づけられた複数の画素Ｂ３〜Ｂ１および境界点Ａ１が示されている。これにより、境界点Ａ１には、第３外接領域Ｓ３から第１外接領域Ｓ１までの段階的な相関をもとに関連づけられた第１外接領域Ｓ１の画素Ｂ１の画素値が設定されることとなる。
【００７８】
このようにして、図１２および図１３では、処理部１４は、第１外接領域Ｓ１、第２外接領域Ｓ２および第３外接領域Ｓ３を生成し、第３外接領域Ｓ３と第２外接領域Ｓ２との各画素Ｂ３，Ｂ２間および第２外接領域Ｓ２と第１外接領域Ｓ１との各画素Ｂ２，Ｂ１間の相関をもとに、内接領域Ｒ１の境界点Ａ１の補間を繰り返すこととなる。したがって、画像のエッジなどの特徴をより保持することができる。
【００７９】
[補間領域などの領域の形状例]
ここで、前記した補間領域Ｒ、第１外接領域Ｓ１、第２外接領域Ｓ２および第３外接領域Ｓ３は、すべて閉曲線として説明したが（図２（ａ）（ｂ）参照）、例えば図１５に示すように、それぞれ閉曲線とは異なる曲線であってもよい。
【００８０】
なお、前記した図３に示した処理部１４および記憶部１３を単一のマイコンに搭載するようにしてもよい。
【図面の簡単な説明】
【００８１】
【図１】４近傍および８近傍を示す説明図である。
【図２】補間処理の手法を示す説明図である。
【図３】本発明の実施の形態における画素補間装置の構成を示すブロック図である。
【図４】図３の画素補間装置における補間処理の手順であって、第１外接領域および第２外接領域を用いた補間処理の手順を示す図である。
【図５】図４に示した残りの補間処理の手順を示す図である。
【図６】図３の処理部によって判断された非独立の補間領域を示す説明図である。
【図７】図３の処理部によって膨張・収縮処理された補間領域を示す説明図である。
【図８】図３の処理部によって連結処理された各領域を示す説明図である。
【図９】図３の処理部によって線微分計算された画素を示す説明図である。
【図１０】図９の画素の線微分値によって関連づけられた画素を示す説明図である。
【図１１】図３の処理部によって補正処理が必要とされた境界点を示す説明図である。
【図１２】図３の画素補間装置における補間処理の手順であって、第１外接領域、第２外接領域および第３外接領域を用いた補間処理の手順を示す図である。
【図１３】図１２に示した残りの補間処理の手順を示す図である。
【図１４】エッジによって関連づけられた画素を示す説明図である。
【図１５】図２に示した閉曲線とは異なる補間領域、第１外接領域、第２外接領域および第３外接領域を示す説明図である。
【符号の説明】
【００８２】
Ａ      補間対象画素
Ｂ      画素
Ｒ      補間領域
Ａ１    境界点
Ｒ１    内接領域
Ｓ１    第１外接領域（非補間領域）
Ｓ２    第２外接領域（非補間領域）
Ｓ３    第３外接領域（非補間領域）
１３      記憶部
１４      処理部
１００    画素補間装置
【図１】
2005309785.tif 000005
【図２】
2005309785.tif 000006
【図３】
2005309785.tif 000007
【図４】
2005309785.tif 000008
【図５】
2005309785.tif 000009
【図６】
2005309785.tif 000010
【図７】
2005309785.tif 000011
【図８】
2005309785.tif 000012
【図９】
2005309785.tif 000013
【図１０】
2005309785.tif 000014
【図１１】
2005309785.tif 000015
【図１２】
2005309785.tif 000016
【図１３】
2005309785.tif 000017
【図１４】
2005309785.tif 000018
【図１５】
2005309785.tif 000019