(57)【要約】【課題】画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供すること。【解決手段】画像処理装置を次のように構成する。画像データを構成する画素の画素値を推定する推定手段を複数種有し、複数種の推定手段を選択的に用いて画素値を推定し、且つ、各々の画素の推定精度情報を作成する画素値推定部110と、推定精度情報を各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部120と、推定精度分布情報に対して所定のフィルタリング処理を施し、画素値の置換対象画素を決定する置換画素決定部130と、置換対象画素の画素値を、再推定処理或いは補間処理により算出し、置換対象画素の画素値を置換する画素値置換部140と、を具備させる。【選択図】図１
2011175380.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する為の画像データ入力部と、
前記画像データ入力部により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定部と、
前記画素値推定部により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部と、
前記画素値推定精度記録部により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定部と、
前記置換画素決定部により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理／補間処理部と、
前記置換対象画素の画素値を、前記再推定処理／補間処理部により算出された画素値に置換する画素値置換部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記置換画素決定部は、
互いに隣接し且つ同じ推定精度の画素について同じラベルを付してグループを生成するラベリング処理を行うラベリング処理部と、
前記ラベリング処理部により生成されたグループについて、フィルタリング処理を行うフィルタリング処理部と、
前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させるか否かを判定する統合判定部と、
前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させると前記統合判定部により判定された場合、前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させる処理を行い、該処理によりラベルを付し直された画素を前記置換対象画素として決定する統合処理部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタリング処理部は、クロージング処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ（基準グループ）から順に、当該グループの近傍画素（被統合候補画素）を、当該グループに統合する為のフィルタリング処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ（基準グループ）から順に、当該グループの近傍画素に付されたラベルを、当該グループを構成する画素に付されたラベルに付し直す為のフィルタリング処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記フィルタリング処理部は、前記フィルタリング処理対象のグループの構成画素数が所定の閾値以下になった場合に、当該フィルタリング処理を終了することを特徴とする請求項４又は請求項５に記載の画像処理装置。
【請求項７】
前記統合判定部は、前記被統合画素の推定精度が、前記基準グループを構成する画素の推定精度よりも高い場合に、前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記再推定処理／補間処理部は、
前記置換画素決定部により置換対象画素として決定された画素の推定精度が、同じラベルを付された画素の推定精度と同じ推定精度となるように、前記置換対象画素の画素値を再推定処理或いは補間処理により算出することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
画像処理装置としてコンピュータを機能させるプログラムであって、
画像データを入力する為の画像データ入力機能と、
前記画像データ入力機能により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定機能と、
前記画素値推定機能により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録機能と、
前記画素値推定精度記録機能により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定機能と、
前記置換画素決定機能により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理／補間処理機能と、
前記置換対象画素の画素値を、前記再推定処理／補間処理機能により算出された画素値に置換する画素値置換機能と、
をコンピュータに実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素値を推定する処理を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、例えば電子スチルカメラ、ビデオカメラ、及び現像アプリケーション等により取得した画像データ、ノイズを含む画像データ、欠損画素を含む画像データ、カラーフィルタアレイによる撮像で取得したＲＡＷ画像データ、及びランダムサンプリング／アップサンプリングして取得した画像データ等を入力画像データとして、この入力画像データの各々の画素に対して画素値の推定処理を実行し、推定した画素値に基づいてノイズ低減処理や補間処理やデモザイキング処理等を行う画像処理装置及びプログラムが知られている。
【０００３】
具体的には、例えば欠損画素を含む画像データについて補間処理を行う場合、補間処理対象の画素の画素値を推定する為に、補間対象画素の近傍の小領域（以降、参照領域と称する）内の画素の画素値を利用する。この際、参照領域内に欠損画素が存在することで当該推定処理に必要な画素値の情報を得ることができない場合がある。このような場合、参照領域の範囲を拡大し、推定に用いる為の画素値の情報を多く取得する。そして、この参照領域の範囲の拡大に伴って、推定処理に使用する推定アルゴリズムやパラメータ等を、適宜、変更／調整して画素値を推定する。つまり、参照領域の大きさ（得られる情報量）に応じて、推定処理に使用する推定手段を適宜変更／調整する。これにより、より高精度な補間処理を実現する。
【０００４】
このような技術に関連する技術として、例えば特許文献１には次のような技術が開示されている。
【０００５】
すなわち、特許文献１には、補間対象画素の周辺にある複数の周辺画素の各々について、当該周辺画素と他の複数の周辺画素との相関演算値を演算する相関演算部と、前記複数の周辺画素の各々について演算された複数の相関演算値に基づいて、前記周辺画素の各々と輝度値が等しいサブピクセルの位置を推定するサブピクセル推定部と、前記補間対象画素の画素値として、前記各サブピクセルから前記補間対象画素までの距離に応じた画素値の加重平均を演算する加重平均演算部と、を備える映像信号補間装置が開示されている。
【０００６】
この特許文献１に開示されている映像信号補間装置によれば、画像データを構成する各々の画素における画素値の推定処理において、適宜複数の推定手段を選択的に使用して画素値を推定することで、各画素の画素値を高精度に推定処理することを可能にしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２５２４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１に開示されている技術によれば、画像データを構成する個々の画素の画素値については、それぞれの画素についての推定処理に最も適した推定手段（例えば参照領域の大きさ（得られる情報量）に応じた手段）を用いて、最も高い精度で推定処理される。
【０００９】
しかしながら、このような推定処理結果を反映させて作成した画像データは、当該画像データ全体を観た場合に、観察者に対して不自然な印象を与えることがある。これは、当該画像データを構成する各々の画素についてはそれぞれ最高の精度で画素値の推定処理をしているものの、当該画像データ全体としては不均一な精度で推定処理が為されているからである。
【００１０】
より詳細には、参照領域から得られる情報量に応じて、個々の画素における画素値の推定処理に用いる手段（アルゴリズムやパラメータや参照領域の大きさ等）を変更する為、当該推定処理結果に基づいて作成される画像データにおいては、画素毎に推定精度が異なる。結果として、ぼけている画素と鮮鋭な画素とが混在してしまい、アーティファクトが目立つ不適切な画像データとなる場合がある。
【００１１】
また、例えば補間処理の対象の画素との相関を調べる周辺画素として、選択する画素の位置、選択する画素の数、相関の大きさ等の様々な要因によって、補間処理の対象の画素における画素値の推定精度は異なってしまう。
【００１２】
このように、各画素が最も高い精度の推定処理結果を得られるように画素毎に選択的に異なる画素値推定手段を用いると、生成される画像データは見た目に不自然な（滑らかでない）ものになってしまう。従って、１つの画像データを構成する各々の画素の画素値を推定処理する際に、複数の推定手段を利用することに起因して生じる上述の問題を解決する技術が望まれている。
【００１３】
本発明は、前記の事情に鑑みて為されたものであり、画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記の目的を達成するために、本発明の第１の態様による画像処理装置は、
画像データを入力する為の画像データ入力部と、
前記画像データ入力部により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定部と、
前記画素値推定部により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部と、
前記画素値推定精度記録部により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定部と、
前記置換画素決定部により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理／補間処理部と、
前記置換対象画素の画素値を、前記再推定処理／補間処理部により算出された画素値に置換する画素値置換部と、
を具備することを特徴とする。
【００１５】
前記の目的を達成するために、本発明の第２の態様によるプログラムは、
画像処理装置としてコンピュータを機能させるプログラムであって、
画像データを入力する為の画像データ入力機能と、
前記画像データ入力機能により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定機能と、
前記画素値推定機能により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録機能と、
前記画素値推定精度記録機能により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定機能と、
前記置換画素決定機能により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理／補間処理機能と、
前記置換対象画素の画素値を、前記再推定処理／補間処理機能により算出された画素値に置換する画素値置換機能と、
をコンピュータに実現させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る画像処理装置の一構成例を示す図。
【図２】置換画素決定部の一構成例を示す図。
【図３】本発明の第１実施形態に係る画像処理装置のメインコントローラの制御による画像処理のフローチャートを示す図。
【図４】ラベリング処理された画像データの一例を示す図。
【図５】膨張処理された画像データの一例を示す図。
【図６】画像データにおいて被統合グループを構成する画素を特定した一例を示す図。
【図７】再ラベリング処理された画像データの一例を示す図。
【図８】本発明の第２実施形態に係る画像処理装置のメインコントローラの制御による画像処理のフローチャートを示す図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施形態を説明する。
【００１９】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の一構成例を示す図である。
【００２０】
図１に示すように画像処理装置１は、メインコントローラ１０と、画像データ入力部１００と、画素値推定部１１０と、画素値推定精度記録部１２０と、置換画素決定部１３０と、画素値置換部１４０と、を具備する。
【００２１】
前記メインコントローラ１０は、当該画像処理装置１全体を統括的に制御する部材である。
【００２２】
前記画像データ入力部１００は、当該画像処理装置１による画像処理に係る画像データを入力する為の部材であり、当該画像処理装置１を構成する各部からの画像データの参照要求を許可する。
【００２３】
前記画素値推定部１１０は、画像データ入力部１００に入力された画像データについて、当該画像データを構成する各々の画素の画素値を推定して算出し、該推定における推定精度（詳細は後述するが、例えば参照領域の大きさ）を示す推定精度情報を作成する。
【００２４】
前記画素値推定精度記録部１２０は、当該画素値推定精度記録部１２０が備えるメモリ領域に、前記推定精度情報を、当該画像データを構成する各々の画素毎に記録し、推定精度分布情報を作成する。
【００２５】
前記置換画素決定部１３０は、図２に示すようにフィルタリング処理（例えばクロージング処理；図２においては“クロージング処理”と記載）を行うフィルタリング部１３０ａを備えており、画素値推定精度記録部１２０により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換する画素（以降、置換対象画素と称する）を決定する。
【００２６】
詳細には、前記置換画素決定部１３０は、画像データを構成する各々の画素における画素値の推定精度に基づいて画素をラベリング処理し（例えば、同じ推定精度の画素には同じラベルを付し）、同じ推定精度の画素から成るグループを作成する。そして、前記置換画素決定部１３０は、各々の処理時点において構成画素数が最も多いグループ（以降、基準グループと称する）から順に、当該グループの近傍画素（以降、被統合候補画素と称する）に付されたラベルを、当該グループを構成する画素に付されたラベルに付し直す為のフィルタリング処理を行う。換言すれば、前記置換画素決定部１３０は、基準グループに被統合候補画素を統合する為のフィルタリング処理を行う。
【００２７】
詳細は後述するが、前記置換画素決定部１３０は、フィルタリング処理対象のグループの構成画素数が所定の閾値以下になった場合に、当該フィルタリング処理を終了する。
【００２８】
そして、前記置換画素決定部１３０は、ラベリング処理結果に、フィルタリング処理結果を反映させる（統合処理を行う）か否かを、所定の基準に基づいて決定する処理を行う。
【００２９】
ここで、前記所定の基準とは、“被統合候補画素の推定精度が、基準グループを構成する画素の推定精度よりも低い場合には、統合処理を行わない”という基準である。
【００３０】
さらに、前記置換画素決定部１３０は、ラベリング処理結果にフィルタリング処理結果を反映させると判定した場合、ラベリング処理結果にフィルタリング処理結果を反映させる統合処理を行い、この統合処理によりラベルを付し直された画素を置換対象画素と決定する。
【００３１】
前記画素値置換部１４０は、前記置換対象画素の画素値を、前記画素値推定部１１０に再推定させ、或いは、近傍画素の画素値を用いて補間処理させ、この再推定／補間処理により算出された画素値に置換する。
【００３２】
なお、前記画素値置換部１４０に、この再推定／補間処理を行う為の画素値算出部を設けても勿論よい。
【００３３】
以下、本第１実施形態に係る画像処理装置１による画像処理について、図３に示すフローチャートを参照して説明する。図３は、本第１実施形態に係る画像処理装置１のメインコントローラ１０の制御による画像処理のフローチャートを示す図である。
【００３４】
まず、画像データ入力部１００は、画像処理対象の画像データを、当該画像処理装置１に入力する（ステップＳ１）。続いて、画素値推定部１１０は、前記ステップＳ１において入力された画像データを構成する各画素の画素値を推定し（推定精度を算出し）、且つ、その推定についての推定精度情報を作成する（ステップＳ２）。
【００３５】
次に、画素値推定精度記録部１２０は、画像データを構成する各々の画素について推定精度情報をメモリ領域に記録して推定精度分布情報を作成する（ステップＳ３）。この推定精度分布情報は、画像データを構成する個々の画素の推定精度を示す情報であり、画像データにおける推定精度の分布を示す情報である。
【００３６】
前記ステップＳ３における処理の後、置換画素決定部１３０による統合処理に係るステップ（ステップＳ４乃至ステップＳ１１）に移行する。
【００３７】
まず、置換画素決定部１３０は、互いに隣接し且つ“同じ推定精度”の画素に同じラベルを付し、図４に示すような推定精度分布を作成する（ステップＳ４）。図中の数値は推定精度を示す値である。
【００３８】
ここでいう同じ推定精度の画素とは、所定の精度で量子化することにより得られた推定精度が等しい画素のことを指す。
【００３９】
図４に示す例では、ラベルとして“０”〜“５”を各画素に付すラベリング処理を行っている。
【００４０】
なお、前記量子化により得られた推定精度をラベリング処理におけるラベルとして使用しても良いし、使用しなくともよい（図４に示す例では使用していない）。
【００４１】
ここで、同じラベルのついた隣接する画素同士の塊をグループと呼ぶことにする。図４では同じ推定精度の画素同士に対してラベリングをすることによりグループを作成し終えた段階の推定精度分布を示す。
【００４２】
続いて、置換画素決定部１３０は、前記ステップＳ４におけるラベリング処理で生成されたｎ個のグループを、その構成画素数が多い順に整列させ、且つ、最も構成画素数が多いグループをｉ＝０番目のグループと設定する（ステップＳ５）。ここで、iとは整列後のグループに付するＩＤである。
【００４３】
そして、置換画素決定部１３０は、その時点において処理対象となっているグループのＩＤであるｉと、ｎ（作成されたグループ数）とを比較する（ステップＳ６）。つまり、このステップＳ６は、作成された全てのグループについて、ステップＳ７乃至ステップＳ１１の処理を終えたか否かを判定するステップである。このステップＳ６においてｉ＝ｎであると判定した場合、当該画像処理を終了する。
【００４４】
つまり、このステップＳ６は、ループ処理を実現する為の分岐処理ステップであり、グループの数を上限にして、その時点における最も構成画素数が多いグループ（その時点における基準グループ）から順に処理していく制御を実現するステップである。
【００４５】
前記ステップＳ６においてｉ＜ｎであると判定した場合、その時点における基準グループの構成画素数が、所定の閾値より多いか否かを判定する（ステップＳ７）。このステップＳ７をＮＯに分岐する場合、すなわち、その時点における基準グループの構成画素数が所定の閾値以下の場合は、当該画像処理を終了する。
【００４６】
前記ステップＳ７をＹＥＳに分岐する場合、基準グループに対して、当該基準グループ近傍の画素（上述した被統合候補画素）を統合処理する為のフィルタリング処理を行い（ステップＳ８）、該フィルタリング処理結果を反映させた統合処理を行うか否かを判定する（ステップＳ９）。ここで、統合処理とは、被統合候補画素に、基準グループを構成する画素に付されたラベルと同様のラベルを付す処理である。換言すれば、被統合候補画素を再ラベリングして、基準グループを構成する画素に付された画素と同様の画素を付する処理である。
【００４７】
具体的には、ステップＳ８においては、図５に示すように基準グループ（ラベル“１”が付されているグループ）について膨張処理を１回施し、基準グループを膨張させる。ここで、図５においてラベル“Ｘ”が付されている画素は、膨張処理に係る画素である。
【００４８】
さらに収縮処理を施すことで、最終的に被統合候補画素を特定する。図６に示す例では、ラベル“Ａ”を付された画素及びラベル“Ｂ”を付された画素が、被統合グループを構成する画素として特定された画素である。
【００４９】
そして、ステップＳ９において、置換画素決定部１３０は、被統合候補画素の推定精度と、基準グループを構成する画素の推定精度と、を比較する。詳細には、置換画素決定部１３０は、被統合候補画素の推定精度が基準グループを構成する画素の推定精度よりも高いか否かを判定し、被統合候補画素の推定精度が基準グループを構成する画素の推定精度よりも高い場合には、フィルタリング処理結果をラベリング処理結果に反映させる処理を行うことを決定する（ステップＳ９）。
【００５０】
なお、ここでいう推定精度とは、例えば鮮鋭度、偽色の強さ、サンプリングによって失われた情報の再現性等、画質に関わる尺度のことを示す。
【００５１】
ここで図６に示す例では、ラベル“Ａ”を付された被統合候補画素の推定精度は、ラベル“１”を付された画素（基準グループを構成する画素）の推定精度よりも高いとする。他方、ラベル“Ｂ”を付された被統合候補画素の推定精度は、ラベル“１”を付された画素（基準グループを構成する画素）の推定精度よりも低いとする。
【００５２】
従ってこの例では、置換画素決定部１３０は、ラベル“Ａ”を付された被統合候補画素のラベルを、ラベル“１”を付された基準グループを構成する画素のラベルに付け替えることを決定する。
【００５３】
前記ステップＳ９における処理を終えると、置換画素決定部１３０は、ラベルを付け替えることを決定した被統合候補画素のラベルを、基準グループを構成する画素のラベルに付け替え、グループを再構成する（ステップＳ１０）。
【００５４】
図７に示す例では、ラベル“Ａ”を付された画素に、基準グループと同様のラベル“１”を付す。他方、ラベル“Ｂ”を付された画素については、ラベルを元のラベルである“４”に戻す。
【００５５】
続いて、ｉの値をｉ＋１に上書き更新する（ステップＳ１１）。そして、前記ステップＳ１０において統合処理された被統合候補画素の画素値を、前記画素値推定部１１０に再推定させ、或いは、近傍画素の画素値を用いて補間処理することにより算出させ、画素値置換部１４０が、被統合候補画素の画素値を、前記再推定／補間処理により算出された画素値に置換する（ステップＳ１２）。そして、前記ステップＳ７へ移行する。
【００５６】
このステップＳ１２における再推定／補間処理では、被統合候補画素の推定精度を、基準グループを構成する画素の推定精度と同じ推定精度にするように、推定手段を切り替えて再推定／補間処理を行う。
【００５７】
なお、前記再推定／補間処理については、画素値推定部１１０に処理させるのではなく、画素値置換部１４０に再推定／補間処理を行う為の処理部を設けてこれに処理させてもよい。
【００５８】
ステップＳ４におけるラベリング処理により生成したラベルの数（グループの数）ｎだけ、ステップＳ７乃至ステップＳ１２をループ処理する。このループ処理は、上述した通り、当該時点においてグループを構成する画素数が最も多いグループ（基準グループ）から順に実施していく。
【００５９】
以上、本第１実施形態に係る画像処理装置１のメインコントローラ１０の制御による画像処理の一連の流れについて説明した。
【００６０】
以下、上述したステップＳ１乃至ステップＳ１２における一連のクロージング処理について、より詳細に具体例を挙げて説明する。
【００６１】
欠損画素を含む画像データの画素について推定処理・補間処理する方法として、入力された画像データについて推定対象画素を中心とした所定の大きさを持つ参照領域を設定し、該参照領域を構成する画素の画素値の畳み込み演算をすることで、対象画素の画素値を推定する方法を挙げることができる。
【００６２】
例えば、この方法を採る場合であって、参照領域内に欠損画素を多く含んでいる為に推定に用いる画素値についての情報を十分に参照できない場合には、参照領域を拡大して設定し直すことにより、推定に用いる画素値についての情報を十分に参照できるようになる。
【００６３】
各々の画素について適切な大きさの参照領域を設定して画素値を推定し、該推定により取得した各画素の推定精度（例えば本例においては小領域の大きさ）を、各々の画素の位置に対応した２次元配列メモリに記録して、推定精度分布情報を作成する。
【００６４】
続いて、推定精度分布情報を参照して、同じ推定精度で且つ隣接する画素同士をラベリング処理することでグループを作成する。ここで用いるラベリング処理は当業者には周知の技術であるが、例えば特開平４−１５７６７号公報や特開平８−２２５４１号公報にも開示されている。
【００６５】
ここで、“隣接する画素”の定義としては、例えば“４近傍の画素”や“８近傍の画素”等を挙げることができる。本例では“４近傍の画素”による処理を採用する。
【００６６】
また、ラベリング処理においては、例えば図４に示すように各々の画素にラベルが付与される。付与されたラベルは推定精度分布情報に追記される。ここで、同じラベルが付与された隣接する画素同士は、グループを構成する。そして、以降の処理の為に、グループの大きさ（構成画素数の多さ）を調べてソートし、グループの大きさとラベルの順番と対応させてＬＵＴに記録する。
【００６７】
ところで、画像データは、互いに異なる推定精度の画素から成る複数のグループで構成されており、また大小様々なグループが入り組んで構成されている。この為、推定処理・補間処理された画像データは、通常、全体として不均一な精度で推定処理・補間処理された画素で構成されている。従って、グループの形状としては凹凸による入り組みを小さくするように、グループ同士を統合し（グループを構成する画素の推定精度を統一し）、またグループの数を初期のグループ数以下に減らすことで、推定精度の不均一さを低減することができる。さらに、大きなグループを多く残すように処理することで、自然な見た目（滑らかな画像）を作成することができる。この一連のグループ再構成処理により、画素値を再推定して置換する対象の画素を決定する。
【００６８】
ここではグループ再構成処理の一例として、モフォロジーの考えに基づきクロージング処理する場合を例にして説明する。例えば、クロージング処理は当業者には公知の技術であるが、例えば特開２００６−１４８７４３号公報にも開示されている。
【００６９】
本例においては、クロージング処理を、上述のラベリング結果を記録したＬＵＴを参照して、最も大きなグループから順々に実行する。最も大きなグループに対するクロージング処理の完了後、次に大きなグループに対してクロージング処理をする。このようにクロージング処理を遂行していき、クロージング処理対象のグループの大きさが閾値以下の大きさに到達した場合、当該クロージング処理を終了する。
【００７０】
以下、クロージング処理の一例を詳細に説明する。
【００７１】
まず、最も大きなグループである基準グループ（図４に示す例ではラベル“１”が付された画素で構成されるグループＧ１）に着目する。この基準グループは、より小さなグループ（グループＧ２,グループＧ３, …,グループＧＮ等の複数のグループ）を取り囲むような形状（図４に示す例ではグループＧ１中に複数の穴部を有するドーナツ形状）を呈している場合が考えられる。また、基準グループは、凹凸を呈する形状である場合が考えられる。
【００７２】
図４に示す例では、グループＧ１の形状は、ラベル“３”を付された画素及びラベル“４”を付された画素が穴部を形成する形状を呈している。さらに、ラベル“２”を付された画素で構成されるグループの一部が、グループＧ１における窪み部を形成している。
【００７３】
クロージング処理を実行することにより、基準グループが取り囲む小さなグループを縮小／消滅させ、且つ、基準グループの形状における凹凸度を減少させる。ここで凹凸度とは値が小さいほどグループの凹凸による入り組みが小さいことを表す指標である。このとき、基準グループに取り囲まれている小さなグループや、基準グループにおいて凹凸形状を形成している小さなグループの推定精度が、基準グループの推定精度以下の推定精度である場合、その小さなグループについては基準グループに統合処理しない。これは、統合処理する場合には、被統合グループを構成する画素について、基準グループを構成する画素の推定精度情報に合わせた推定精度、すなわち、より高い推定精度で再推定しなければならなくなってしまうからである。つまり、大きな領域を設定して推定した画素について、より小さな領域に設定し直して再推定することはできないので、このような場合には統合処理しない。
【００７４】
一方、基準グループに取り囲まれる小さなグループや基準グループの凹凸を形成する小さなグループの推定精度が、基準グループの推定精度よりも高い場合には、小さなグループを基準グループに統合処理する。すなわち、小さなグループを構成する画素のラベルを、基準グループを構成する画素のラベルと同様のラベルに付し直す。ここでラベルが付し直された画素を、画素値を再推定する対象の画素として決定する。
【００７５】
以上説明したクロージング処理を、グループＧ１について完了した後、グループＧ２以降のグループを順次基準グループとして扱い、同様のクロージング処理を行う。なお、このクロージング処理は、基準グループの大きさが所定の閾値の大きさ（基準グループを構成する画素の数が所定数）に達するまで続ける。つまり、基準グループが或る程度の小ささになるまで（構成画素数が或る程度少なくなるまで）、クロージング処理を実行し続ける。
【００７６】
以上、クロージング処理を用いたグループ再構成処理の一例を説明したが、他の方法によりグループ再構成処理を行っても構わない。
【００７７】
例えば、凸包処理を用いてグループ再構成処理を行っても勿論よい。凸包は当業者には周知の技術であるが、例えば特開２００５−３５４２２９号公報にも開示されている。
【００７８】
また、次のようなグループ再構成処理を挙げることもできる。すなわち、小さなグループに注目し、該小さなグループに隣接するグループの内、当該小さなブロックの推定精度未満の推定精度の画素で構成されるグループの中で最大のグループの推定精度に合わせて、前記小さなグループを構成する画素の画素値を置換する。この為に、前記小さなグループを構成する画素のラベルを付し直す。
【００７９】
以上説明したグループ再構成処理のうち複数種類の処理方法を画素毎に選択的に使用してグループ再構成処理を行っても構わない。また、１種類のグループ再構成処理方法を複数回繰り返してグループ再構成処理を行っても構わない。さらには、クロージング処理を行った後に凸包処理をする等、複数種類の処理方法を複数回繰り返してグループ再構成処理を行っても構わない。
【００８０】
グループ再構成処理方法の別の方法として、例えばグループ同士の境界の凹凸度合いを調べることにより、グループの形状特徴を考慮して、画素値を置換すべき画素を特定する方法が存在する。以下、詳細に説明する。
【００８１】
まず、グループの凹凸度を調べる方法としては、例えばグループの周囲長、包絡周囲長、グループの面積（グループを構成する画素の数）、及び屈曲点の数等を用いた算出方法を挙げることができる。
【００８２】
例えば、周囲長と包絡周囲長とを用いた凹凸度の算出方法としては、周囲長と包絡周囲長との比（包絡周囲長／周囲長）を算出し、該算出した値が１．０に近い値であるほど、グループの凹凸の度合いが小さいことを示している。
【００８３】
また、周囲長とグループの面積とを用いた凹凸度の算出方法としては、例えば特開平５−３２２５３８号公報に開示されている。さらに、グループの境界の屈曲点の数と周囲長とを用いた凹凸度の算出方法としては、例えば特開２００５−１２７７９１号公報に開示されている。
【００８４】
詳細には、周囲長はグループの境界の基準点を適当に設定し、基準点から境界を走査し、走査が再び基準点に到達するまでの画素数を求めることにより求められる。包絡周囲長はグループを凸包処理した後、凸包処理された領域に関して前記同様に基準点を適当に設定し、基準点から境界を走査し、走査が再び基準点に到達するまでの画素数を求めることにより求められる。グループの面積はグループを構成する画素の数をカウントすることにより求められる。屈曲点の数の算出方法は、例えば特開２００５−１２７７９１号公報に開示されている。また、グループに内接する矩形領域やグループに外接する矩形領域を求めることにより、周囲長、包絡周囲長、及びグループの面積の近似値を求めることもできる。
【００８５】
なお、上述した方法は全て一例であって、上述した方法以外によって、グループの周囲長、包絡周囲長、グループの面積、及び屈曲点の数等を求めても勿論よい。
【００８６】
画像の所定の領域における推定精度分布情報を参照して、上述した算出方法により各々のグループの凹凸度を求めた後、凹凸度の大きなグループに対して凹凸度が小さくなるように処理し“処理対象に該当するグループ”を決定する。そして、この“処理対象に該当するグループ”と他のグループとの境界近傍における他のグループの画素の画素値を置換する。
【００８７】
ここで、前記“処理対象に該当するグループ”の決定方法としては、凹凸度の大きさが所定の閾値以上であるか否かを判断し、所定の閾値以上の凹凸度を持つグループを、前記“処理対象に該当するグループ”であると決定する方法を挙げることができる。
【００８８】
前記“処理対象に該当するグループ”として決定したグループに対して統合する画素（画素値を置換する画素）を決定する為には、例えば上述したクロージング処理を用いて統合する画素のラベルを付し直す方法を挙げることができる。また、例えば上述した凸包処理を用いて統合する画素のラベルを付し直す方法を挙げることができる。また、例えば上述した小さなグループに着目して小さなグループに隣接するグループの中で小さなグループの構成画素における推定精度未満の画素で構成される最大のグループの推定精度に合わせて前記小さなグループの構成画素の画素値を置換するためにラベルを付し直すという方法を挙げることもできる。さらには、これら処理方法のうち複数の処理方法を画素毎に選択的に利用して処理しても構わない。また、それぞれのグループ再構成処理を複数回繰り返して行うことで処理しても構わない。さらには、クロージング処理を行った後に、凸包処理を行う等、複数の処理を複数回繰り返し行って処理しても構わない。
【００８９】
なお、置換する画素を決定する方法としては、クロージング処理を利用した孤立点の検出による方法を挙げることもできる。
【００９０】
すなわち、画像データのうち所定の領域に対応した推定精度分布情報を参照して、グループに対して所定の回数の膨張処理と、該膨張処理の回数と同回数の収縮処理と、を順に実行し、膨張処理・収縮処理を実行する前のグループと、実行した後のグループと、の差分を取る。この処理により、大きなグループに連結せずに孤立している小さなグループを検出することができる。そして、この検出したグループを構成する画素を、画素値を置換する画素であると決定する。なお、膨張処理及び収縮処理の実行回数が多いほど、検出することのできる孤立したグループの大きさが大きくなる。従って、膨張処理及び収縮処理の実行回数は、ノイズレベルやグループの大きさに応じて適応的に設定することが好ましい。
【００９１】
以上説明したラベリング処理やグループ再構成処理を含む一連の空間フィルタリングにより、ラベルを付し直した画素について、基準グループと同じ推定精度となるように画素値を再推定する。或いは、ラベルを付し直した画素について、基準グループと同じ推定精度となるように当該画素の近傍の画素における推定された画素値を用いて補間処理し、これにより求められた画素値に置換する。或いは、ラベルを付し直した画素について、基準グループの推定精度と協調した画素値となるように当該画素の近傍の画素における推定された画素値を用いて補間処理し、これにより求められた画素値に置換する。
【００９２】
さらに、この再推定処理及び補間処理の双方を、処理対象の各々の画素毎に選択的に切り替えて処理しても勿論よい。
【００９３】
なお、基本的に推定処理によって画素値の求めることを試みるが、推定処理には、元々低い推定精度の画素値が求められていた画素を高い推定精度の画素に合わせて推定し直すことができない特徴がある。そのため高い推定精度を低い推定精度に合わせるときにだけ推定処理を用いることができるという制限ある。一方、補間処理により画素値を求める場合は、推定精度の高低における制限はない。よって、補間処理を用いると低い推定精度による画素を周囲の高い推定精度による画素に協調して置換することも可能となり、より滑らかな画像を形成する効果を生むことが期待できる。以上より、高い推定精度による画素を低い推定精度による画素に協調させる場合には推定処理を、低い推定精度による画素を高い推定精度による画素に協調させる場合には補間処理を用いる。このように推定処理と補間処理を切り替えて用いることで、推定精度の滑らかな画像を形成することができる。なお、補間処理では周辺の画素の置換前と置換後のどちらの画素値を用いても構わない。
【００９４】
ところで、本第１実施形態に係る画像処理装置による上述した一連の画像処理は、プログラム化することで、或いはプログラム化した後当該プログラムを記憶媒体に読み込むことによって、当該画像処理装置とは独立したソフトウェア製品単体としての販売、配布も容易になり、また本第１実施形態に係る技術を他のハードウェア上で利用することも可能となる。
【００９５】
以上説明したように、本第１実施形態によれば、画像データ全体における見た目の不自然さを生じさせずに、画像データを構成する個々の画素の画素値をそれぞれ適切な推定手段により高精度に推定処理する画像処理装置及びプログラムを提供することができる。
【００９６】
具体的には、本第１実施形態に係る画像処理装置及びプログラムによれば、例えば電子スチルカメラ、ビデオカメラ、及び現像アプリケーション等の画像処理装置において、ノイズを含む画像データ、欠損画素を含む画像データ、カラーフィルタアレイで撮像したＲＡＷ画像データ、及びランダムサンプリング或いはアップサンプリングして取得した画像データ等、を入力画像データとし、該入力画像データに対して画素毎に異なる画素値の推定処理を利用して再構成した画像データを作成する際に、置換対象画素における推定精度に係る情報と、置換対象画素の周辺画素に対する推定精度に係る情報と、置換対象画素と周辺画素との関係に係る情報と、に基づいた処理を行うことで、自然な見た目の画像データを作成することができる。
【００９７】
つまり、本第１実施形態に係る画像処理装置及びプログラムによれば、画像データにおいて画素値の推定精度が不均一な領域を決定し、この領域に含まれる画素の画素値について、上述したように画素値の再推定／補間処理を行うことで、より見た目が自然な画像データを作成することができる。
【００９８】
より具体的には、例えば次のような作用効果を得ることができる。
【００９９】
・隣接した同じ推定精度の画素同士をラベリングして画素のグループを作成する。グループの領域の境界の凹凸度を任意の方法で算出して、所定の領域内のグループ凹凸度合いが小さくなるように、グループ境界近傍の画素を置換することを決定する。凹凸度が小さくなるように画素を置換することによって、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。
【０１００】
・グループの周囲長と包絡周囲長を算出して、周囲長と包絡周囲長の比からグループ境界の凹凸度を算出する。グループを凸包することによる統合される画素の割合を適切に知ることのできる効果がある。
【０１０１】
・グループを構成する画素の数と周囲長を算出して、グループを構成する画素の数と周囲長の比からグループ境界の凹凸度を算出する。グループが画像内でどれだけの領域に渡って分布しているのかを考慮した凹凸度合いを評価する。画素値置換手段はその評価値に基づいて境界領域の構造の改善を行う。
【０１０２】
・グループ境界の屈曲点の数と周囲長を算出して、グループ境界の屈曲点の数と周囲長の比からグループ境界の凹凸度を算出する。グループの頂点数を考慮した凹凸度合いを評価し、画素値置換手段はその評価値に基づいて境界領域の構造の改善を行う。
【０１０３】
・隣接した同じ推定手段を用いた画素同士をラベリングして画素のグループを作成する。グループに対して所定の回数の膨張処理と同回数の収縮処理を順に実行し、膨張収縮処理をする前のグループとの差分を取ることにより、大きなグループに連結せずに孤立している小さなグループを検出し、検出された小さなグループの少なくとも一部の画素を大きなグループに統合し孤立する小さなグループ群に属する画素数を減らすように置換する画素を決定することができる。孤立する画素の割合を減らすことは、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。
【０１０４】
・隣接した同じ推定手段を用いた画素同士をラベリングして画素のグループを作成する。グループを構成する画素の数を参照して、多くの画素で構成されるグループを囲む周辺のグループの少なくとも一部の画素を、多くの画素で構成されるグループに統合されるようにグループを再構成することで、画素を置換した後に滑らかな画像となるように、画素値を置換すべき画素を決定することができる。多くの画素で構成されるグループに少ない画素で構成されるグループを結合させることは、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。
【０１０５】
・隣接した同じ推定手段を用いた画素同士をラベリングして画素のグループを作成する。グループを構成する画素の数を参照して、多くの画素で構成されるグループによって囲まれている少ない画素で構成されるグループの少なくとも一部の画素を、多くの画素で構成されるグループに統合されるようにグループを再構成することにより、グループ領域の境界における凹凸度合いが小さくなるように、画素値を置換すべき画素を決定することができる。多くの画素で構成されるグループに少ない画素で構成されるグループを結合させることは、画像内のグループを減らす効果、或いは画像内のグループの境界を減らす効果、或いは画像内のグループの境界の凹凸度合いを小さくする効果があり、これらの効果は高い推定精度の画素領域と低い推定精度の画素領域が入り組んでいない自然な見た目の滑らかな画像を作る効果を高めることに役立つ。
【０１０６】
・周辺の画素の画素値推定手段に合わせて画素値を再推定することに求め置換することにより、滑らかな画像を構成する効果がある。
【０１０７】
・周辺の画素値に合わせて画素値を補間処理により求め置換することにより、滑らかな画像を構成する効果がある。
【０１０８】
[第２実施形態]
以下、本発明の第２実施形態に係る画像処理装置及びプログラムについて説明する。なお、説明の重複を避ける為、第１実施形態に係る画像処理装置及びプログラムとの相違点のみを説明する。
【０１０９】
図８は、本発明の第２実施形態に係る画像処理装置のメインコントローラ１０の制御による画像処理のフローチャートを示す図である。ここで、図８に示すステップＳ１乃至ステップＳ１１における処理は、図３に示す同ステップ番号のステップにおける処理と同様の処理である。従って、これらのステップにおける処理の説明は省略する。
【０１１０】
第１実施形態との主な相違点は次の通りである。
【０１１１】
（相違点１）ステップＳ１１における処理を終えた後の処理
（相違点２）ステップＳ６においてｉ＝ｎであると判定した後の処理
（相違点３）ステップＳ７をＮＯに分岐した後の処理
以下、詳細に説明する。
【０１１２】
（相違点１）
本第２実施形態に係る画像処理装置においては、前記ステップＳ１１における処理を終えた後は前記ステップＳ６へ戻る。
【０１１３】
（相違点２）
前記ステップＳ６は、上述したようにループ処理を実現する為の分岐処理ステップであり、グループの数を上限にして、それぞれの処理時点において最も大きなグループすなわち基準グループから順に処理していく制御を実現するステップである。このステップＳ６においてＩ＝ｎであると判定した場合、ステップＳ６乃至ステップＳ１１から成るループ処理により更新されたラベルと、ステップＳ４において付されたラベルと、を比較してその差分を検出する（ステップＳ２１）。
【０１１４】
そして、前記ステップＳ１０において統合処理された被統合候補画素の画素値を、前記画素値推定部１１０に再推定させ、或いは、近傍画素の画素値を用いて補間処理させることにより算出し、画素値置換部１４０が、被統合グループを構成する画素の画素値を、前記再推定／補間処理により算出された画素値に置換する（ステップＳ２２）。そして、当該画像処理を終了する。
【０１１５】
（相違点３）
前記ステップＳ７をＮＯに分岐する場合、上述したステップＳ２１へ移行する。
【０１１６】
以上説明したように、本第２実施形態によれば、第１実施形態に係る画像処理装置及びプログラムと同様の効果を奏する画像処理装置及びプログラムを提供することができる。
【０１１７】
以上、第１実施形態乃至第２実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。
【０１１８】
さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【０１１９】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１２０】
（１）
画像データを入力する為の画像データ入力部と、
前記画像データ入力部により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定部と、
前記画素値推定部により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録部と、
前記画素値推定精度記録部により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定部と、
前記置換画素決定部により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理／補間処理部と、
前記置換対象画素の画素値を、前記再推定処理／補間処理部により算出された画素値に置換する画素値置換部と、
を具備することを特徴とする画像処理装置。
【０１２１】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。この実施形態において、画像データ入力部は例えば画像データ入力部１００が対応し、画素値推定部は例えば画素値推定部１１０が対応し、画素値推定精度記録部は例えば画素値推定精度記録部１２０が対応し、置換画素決定部は例えば置換画素決定部１３０が対応し、再推定処理／補間処理部は例えば画素値推定部１１０又は画素値地幹部１４０が対応し、画素値置換部は画素値置換部１４０が対応する。
【０１２２】
（２）  前記置換画素決定部は、
互いに隣接し且つ同じ推定精度の画素について同じラベルを付してグループを生成するラベリング処理を行うラベリング処理部と、
前記ラベリング処理部により生成されたグループについて、フィルタリング処理を行うフィルタリング処理部と、
前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させるか否かを判定する統合判定部と、
前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させると前記統合判定部により判定された場合、前記ラベリング処理部によるラベリング処理結果に、前記フィルタリング処理部によるフィルタリング処理結果を反映させる処理を行い、該処理によりラベルを付し直された画素を前記置換対象画素として決定する統合処理部と、
を有することを特徴とする（１）に記載の画像処理装置。
【０１２３】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。この実施形態において、置換画素決定部は例えば置換画素決定部１３０が対応する。
【０１２４】
（３）  前記フィルタリング処理部は、クロージング処理を行うことを特徴とする（２）に記載の画像処理装置。
【０１２５】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１２６】
（４）  前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ（基準グループ）から順に、当該グループの近傍画素（被統合候補画素）を、当該グループに統合する為のフィルタリング処理を行うことを特徴とする（２）に記載の画像処理装置。
【０１２７】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１２８】
（５）  前記フィルタリング処理部は、各々の処理時点において構成画素数が最も多いグループ（基準グループ）から順に、当該グループの近傍画素に付されたラベルを、当該グループを構成する画素に付されたラベルに付し直す為のフィルタリング処理を行うことを特徴とする（２）に記載の画像処理装置。
【０１２９】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１３０】
（６）  前記フィルタリング処理部は、前記フィルタリング処理対象のグループの構成画素数が所定の閾値以下になった場合に、当該フィルタリング処理を終了することを特徴とする（４）又は（５）に記載の画像処理装置。
【０１３１】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１３２】
（７）  前記統合判定部は、前記被統合画素の推定精度が、前記基準グループを構成する画素の推定精度よりも高い場合に、前記フィルタリング処理部によるフィルタリング処理結果を、前記ラベリング処理部によるラベリング処理結果に反映させると判定することを特徴とする（６）に記載の画像処理装置。
【０１３３】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１３４】
（８）  前記再推定処理／補間処理部は、
前記置換画素決定部により置換対象画素として決定された画素の推定精度が、同じラベルを付された画素の推定精度と同じ推定精度となるように、前記置換対象画素の画素値を再推定処理或いは補間処理により算出することを特徴とする（２）に記載の画像処理装置。
【０１３５】
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１３６】
（９）  画像処理装置としてコンピュータを機能させるプログラムであって、
画像データを入力する為の画像データ入力機能と、
前記画像データ入力機能により入力された画像データを構成する画素の画素値を推定する推定手段を複数種有し、各々の画素について前記複数種の推定手段をそれぞれ選択的に用いて画素値を推定し、且つ、各々の画素についてその推定精度を示す推定精度情報を作成する画素値推定機能と、
前記画素値推定機能により作成された推定精度情報を、前記画像データを構成する各画素毎に記録して推定精度分布情報を作成する画素値推定精度記録機能と、
前記画素値推定精度記録機能により作成された推定精度分布情報に対して所定のフィルタリング処理を施し、画素値を置換処理する置換対象画素を決定する置換画素決定機能と、
前記置換画素決定機能により置換対象画素として決定された画素の画素値を、再推定処理或いは補間処理により算出する再推定処理／補間処理機能と、
前記置換対象画素の画素値を、前記再推定処理／補間処理機能により算出された画素値に置換する画素値置換機能と、
をコンピュータに実現させることを特徴とするプログラム。
【０１３７】
（対応する実施形態）
この（９）に記載のプログラムに関する実施形態は、第１実施形態及び第２実施形態が対応する。この実施形態において、画像データ入力機能は例えば画像データ入力部１００が対応し、画素値推定機能は例えば画素値推定部１１０が対応し、画素値推定精度記録機能は例えば画素値推定精度記録部１２０が対応し、置換画素決定機能は例えば置換画素決定部１３０が対応し、再推定処理／補間処理機能は例えば画素値推定部１１０又は画素値地幹部１４０が対応し、画素値置換機能は画素値置換部１４０が対応する。
【０１３８】
（作用効果）
以上の（１）乃至（８）に記載の画像処理装置及び（９）に記載のプログラムによれば、次のような作用効果を得ることができる。
【０１３９】
・電子スチルカメラ、ビデオカメラ、現像アプリケーション等の画像処理装置において、ノイズを含む画像、欠損画素を含む画像、カラーフィルタアレイで撮像したＲＡＷデータ画像、ランダムサンプリングまたはアップサンプリングして取得した画像データを入力画像データとし、入力データに対して各画素が最も高い精度の推定処理結果を得られるように画素毎に選択的に異なる画素値推定手段を適用して、画素毎に画素値を推定した画像を入力として受け付け、推定した画素の前記画素値推定精度に関する情報を記録し、前記画素値推定精度に対し空間方向に所定のフィルタリングをして、画素値を置換する画素を決定し、前記決定した画素の画素値を求め置換する。
【０１４０】
・複数の異なる推定手段により推定された画素が混在する画像に対し、各画素を推定精度に関する情報を参照し置換する画素を適切に決定し、決定された画素の画素値を置換することで滑らかな画像を得ることができる。
【図１】
2011175380.tif 000003
【図２】
2011175380.tif 000004
【図３】
2011175380.tif 000005
【図４】
2011175380.tif 000006
【図５】
2011175380.tif 000007
【図６】
2011175380.tif 000008
【図７】
2011175380.tif 000009
【図８】
2011175380.tif 000010