(57)【要約】【課題】対象画素の画素値推定に用いることのできる有効画素の個数が少ない場合であっても、入力画像における対象画素の画素値を効果的且つ効率的に推定できる画像処理装置を提供する。【解決手段】基底関数の線型結合で構成される回帰関数により、対象画素の画素値を推定する画像処理装置であって、基底関数の係数を算出するための空間重み関数に基づく行列方程式を作成する行列方程式作成部と、作成された行列方程式の係数行列の安定性を判定する係数行列安定性判定部と、判定結果に応じて、行列方程式作成手段を切替制御する行列方程式作成手段切替制御部と、基底関数の係数を算出し、算出した基底関数の係数と回帰関数のモデル式に基づき、回帰関数を作成する前記係数算出部と係数算出部で作成された回帰関数を基に、対象画素の画素値を推定する画素値推定部とを備える。【選択図】図１
2010128863.tif 000002
【特許請求の範囲】
【請求項１】
基底関数の線型結合で構成される回帰関数により、対象画素の画素値を推定する画像処理装置であって、
行列方程式作成部と、係数行列安定性判定部と、行列方程式作成手段切替制御部と、係数算出部と、画素値推定部とを備え、
前記行列方程式作成部は、前記基底関数の係数を算出するための空間重み関数に基づく行列方程式を作成する処理を行い、
前記係数行列安定性判定部は、作成された行列方程式の係数行列の安定性を判定する処理を行い、
前記行列方程式作成手段切替制御部は、前記係数行列安定性判定部での判定結果に応じて、行列方程式作成手段を切替制御する処理を行い、
前記係数算出部は、前記基底関数の係数を算出し、算出した基底関数の係数と前記回帰関数のモデル式に基づき、回帰関数を作成する処理を行い、
前記画素値推定部は、前記係数算出部で作成された回帰関数を基に、前記対象画素の画素値を推定する処理を行うことを特徴とする画像処理装置。
【請求項２】
前記行列方程式作成部は、前記対象画素を含む周辺領域中の画素の観測された画素値と、前記回帰関数を基に推定された画素値の誤差を最小にする、最適な基底関数の係数を導出するための行列方程式を、局所最小二乗法に基づき作成する請求項１に記載の画像処理装置。
【請求項３】
前記係数行列安定性判定部は、前記行列方程式作成部で作成された行列方程式の係数行列の安定性を、係数行列の要素に注目して演算した結果に関する所定の閾値で判定する請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記係数行列安定性判定部は、前記行列方程式作成部で作成された行列方程式の係数行列の安定性を、前記対象画素を含む周辺領域に存在する、画素値推定に用いることのできる有効画素の個数に関する所定の閾値で判定する請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記行列方程式作成手段切替制御部は、基底関数の切替制御を行う基底関数切替制御部で構成される請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記行列方程式作成手段切替制御部は、空間重み関数の切替制御を行う空間重み関数切替制御部で構成される請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記行列方程式作成手段切替制御部は、基底関数の切替制御を行う基底関数切替制御部と、空間重み関数の切替制御を行う空間重み関数切替制御部で構成される請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項８】
前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を減少させるように、基底関数の切替制御を行う請求項５に記載の画像処理装置。
【請求項９】
前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、作成しようとする回帰関数を構成する基底関数の種類を変更させるように、基底関数の切替制御を行う請求項５に記載の画像処理装置。
【請求項１０】
前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を減少させるとともに、当該基底関数の種類を変更させるように、基底関数の切替制御を行う請求項５に記載の画像処理装置。
【請求項１１】
前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を増加させるように、基底関数の切替制御を行う請求項５に記載の画像処理装置。
【請求項１２】
前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、作成しようとする回帰関数を構成する基底関数の種類を変更させるように、基底関数の切替制御を行う請求項５に記載の画像処理装置。
【請求項１３】
前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を増加させるとともに、当該基底関数の種類を変更させるように、基底関数の切替制御を行う請求項５に記載の画像処理装置。
【請求項１４】
前記空間重み関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、空間重み関数のバンド幅を大きくするように、空間重み関数の切替制御を行う請求項６に記載の画像処理装置。
【請求項１５】
前記空間重み関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、空間重み関数のバンド幅を小さくするように、空間重み関数の切替制御を行う請求項６に記載の画像処理装置。
【請求項１６】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、まず、前記空間重み関数切替制御部は、係数行列の安定性が所定の閾値以上になるまで、空間重み関数のバンド幅を大きくするように、空間重み関数の切替制御を行い、
そして、バンド幅の最大閾値までバンド幅を大きくしても、係数行列の安定性が所定の閾値以上にならない場合、前記基底関数切替制御部は、基底関数の個数を減少させるように、基底関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項１７】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、まず、前記基底関数切替制御部は、係数行列の安定性が所定の閾値以上になるまで、基底関数の個数を減少させるように、基底関数の切替制御を行い、
そして、基底関数の個数の最小閾値まで基底関数の個数を減らしても、係数行列の安定性が所定の閾値以上にならない場合、前記空間重み関数切替制御部は、空間重み関数のバンド幅を大きくするように、空間重み関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項１８】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、まず、前記空間重み関数切替制御部は、係数行列の安定性が所定の閾値になるまで、空間重み関数のバンド幅を小さくするように、空間重み関数の切替制御を行い、
そして、バンド幅の最小閾値までバンド幅を小さくしても、係数行列の安定性が所定の閾値にならない場合、前記基底関数切替制御部は、基底関数の個数を増加させるように、基底関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項１９】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、まず、前記基底関数切替制御部は、係数行列の安定性が所定の閾値になるまで、基底関数の個数を増加させるように、基底関数の切替制御を行い、
そして、基底関数の個数の最大閾値まで基底関数の個数を増やしても、係数行列の安定性が所定の閾値にならない場合、前記空間重み関数切替制御部は、空間重み関数のバンド幅を小さくするように、空間重み関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２０】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、前記基底関数切替制御部は基底関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２１】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、前記空間重み関数切替制御部は空間重み関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２２】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、前記基底関数切替制御部は基底関数の切替制御を行うとともに、前記空間重み関数切替制御部は空間重み関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２３】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、前記基底関数切替制御部は基底関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２４】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、前記空間重み関数切替制御部は空間重み関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２５】
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、前記基底関数切替制御部は基底関数の切替制御を行うとともに、前記空間重み関数切替制御部は空間重み関数の切替制御を行う請求項７に記載の画像処理装置。
【請求項２６】
前記基底関数切替制御部は、
基底関数の個数の最小閾値まで基底関数の個数を減らしても、
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、回帰関数による画素値推定方法以外の画素値推定方法への切り替える信号を装置全体制御部に出力する請求項８に記載の画像処理装置。
【請求項２７】
前記基底関数切替制御部は、
基底関数の種類を変更しても、
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、回帰関数による画素値推定方法以外の画素値推定方法への切り替える信号を装置全体制御部に出力する請求項９に記載の画像処理装置。
【請求項２８】
前記基底関数切替制御部は、
基底関数の個数の最小閾値まで基底関数の個数を減らしても、且つ、基底関数の種類を変更しても、
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、回帰関数による画素値推定方法以外の画素値推定方法への切り替える信号を装置全体制御部に出力する請求項１０に記載の画像処理装置。
【請求項２９】
前記空間重み関数切替制御部は、
空間重み関数のバンド幅の最大閾値までバンド幅を大きくしても、
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、回帰関数による画素値推定方法以外の画素値推定方法への切り替える信号を装置全体制御部に出力する請求項１４に記載の画像処理装置。
【請求項３０】
前記基底関数切替制御部は、
基底関数の個数の最小閾値まで基底関数の個数を減らしても、
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、回帰関数による画素値推定方法以外の画素値推定方法への切り替える信号を装置全体制御部に出力する請求項１６に記載の画像処理装置。
【請求項３１】
前記空間重み関数切替制御部は、
空間重み関数のバンド幅の最大閾値までバンド幅を大きくしても、
前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、回帰関数による画素値推定方法以外の画素値推定方法への切り替える信号を装置全体制御部に出力する請求項１７に記載の画像処理装置。
【請求項３２】
基底関数の線型結合で構成される回帰関数により、対象画素の画素値を推定する画像処理方法であって、
行列方程式作成ステップと、係数行列安定性判定ステップと、行列方程式作成手段切替制御ステップと、係数算出ステップと、画素値推定ステップとを有し、
前記行列方程式作成ステップは、前記基底関数の係数を算出するための空間重み関数に基づく行列方程式を作成する処理を行い、
前記係数行列安定性判定ステップは、作成された行列方程式の係数行列の安定性を判定する処理を行い、
前記行列方程式作成手段切替制御ステップは、前記係数行列安定性判定ステップでの判定結果に応じて、行列方程式作成手段を切替制御する処理を行い、
前記係数算出ステップは、前記基底関数の係数を算出し、算出した基底関数の係数と前記回帰関数のモデル式に基づき、回帰関数を作成する処理を行い、
前記画素値推定ステップは、前記係数算出ステップで作成された回帰関数を基に、前記対象画素の画素値を推定する処理を行うことを特徴とする画像処理方法。
【請求項３３】
前記行列方程式作成ステップは、前記対象画素を含む周辺領域中の画素の観測された画素値と、前記回帰関数を基に推定された画素値の誤差を最小にする、最適な基底関数の係数を導出するための行列方程式を、局所最小二乗法に基づき作成する請求項３２に記載の画像処理方法。
【請求項３４】
前記係数行列安定性判定ステップは、前記行列方程式作成ステップで作成された行列方程式の係数行列の安定性を、係数行列の要素に注目して演算した結果に関する所定の閾値で判定する請求項３２又は請求項３３に記載の画像処理方法。
【請求項３５】
前記係数行列安定性判定ステップは、前記行列方程式作成ステップで作成された行列方程式の係数行列の安定性を、前記対象画素を含む周辺領域に存在する、画素値推定に用いることのできる有効画素の個数に関する所定の閾値で判定する請求項３２又は請求項３３に記載の画像処理方法。
【請求項３６】
前記行列方程式作成手段切替制御ステップは、基底関数の切替制御を行う基底関数切替制御ステップで構成される請求項３２乃至請求項３５のいずれかに記載の画像処理方法。
【請求項３７】
前記行列方程式作成手段切替制御ステップは、空間重み関数の切替制御を行う空間重み関数切替制御ステップで構成される請求項３２乃至請求項３５のいずれかに記載の画像処理方法。
【請求項３８】
前記行列方程式作成手段切替制御ステップは、基底関数の切替制御を行う基底関数切替制御ステップと、空間重み関数の切替制御を行う空間重み関数切替制御ステップで構成される請求項３２乃至請求項３５のいずれかに記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理技術に関し、特に、デジタル画像（例えば、ノイズを含む画像、カラーフィルタアレイで撮像したＲＡＷ画像、ランダムサンプリングして取得した画像、又は、アップサンプリングして取得した画像）における、無効画素や欠損画素の画素値を推定し、推定された画素値を用いてデジタル画像を再構成する、画像処理技術に関する。
【背景技術】
【０００２】
近年、デジタル画像処理分野では、例えば、デジタルスチルカメラ、デジタルビデオカメラ、ＲＡＷ画像用の現像アプリケーション等の画像処理装置において、入力された画像データ（例えば、ランダムサンプリングして取得した画像データ、アップサンプリングして取得した画像データ、又はＲＡＷ画像データ）における無効画素、ノイズが含まれた画素や欠損画素（以下、これらの画素をまとめて単に「無効画素」と言う。）に対して、無効画素の画素値を推定する推定処理（以下、この推定処理を単に「無効画素値推定処理」と言う。）を行い、無効画素値推定処理により得られた画素値を用いて、入力画像（入力された画像データ）を再構成する機能が搭載されている。
【０００３】
その無効画素値推定処理を行う方法として、例えば、回帰関数を用いる手法が挙げられる。該手法とは、画素値を推定したい無効画素（以下、対象画素とも言う。）とその周辺画素の画素情報（画素位置と画素値からなる画素データ）を用いて回帰関数を作成することにより、画素データの相関性を考慮した画素値の推定を行うという方法である。
【０００４】
ここで言う回帰関数とは、推定したい対象画素の画素データと、その周辺画素の画素データとの間に相関があるとき、画素データ間の相関を示す近似関数である。この回帰関数を基底関数の線型結合で構成する場合において、回帰関数を構成する基底関数の係数を求めるために、基底関数の係数を未知数とした行列方程式を作成する処理過程がある。
【０００５】
従来、回帰関数を用いて対象画素の画素値を推定する画素値推定方法において、例えば、非特許文献１に開示されたような、カーネル回帰を利用する画素値推定方法がある。非特許文献１の方法では、グレースケール画像に対し、基底関数の線型和で構成される回帰関数のモデル式を設定することにより、そのグレースケール画像における無効画素の画素値の推定を行う。
【０００６】
非特許文献１の方法では、色相関に関しては考慮されていないため、カラー画像における無効画素の画素値を推定するために、Ｒ,Ｇ,Ｂ空間それぞれに対し、回帰関数を求める方法が考えられる。
【０００７】
ここで、非特許文献１の方法について簡単に説明する。
【０００８】
非特許文献１の方法では、入力画像として、ランダムサンプリングされたグレースケール画像データを用い、そして、画素値を推定する対象画素に関して、カーネルの重みを考慮した回帰関数を作成して、作成された回帰関数を用いて対象画素の画素値を推定する。
【０００９】
入力画像上の画素は、下記数１を用いて記述することができる。
【００１０】
【数１】
2010128863.tif 000003
ここで、ｙｉは入力画像の画素値を表す。
2010128863.tif 000004
は画像の座標を表す。ｚ()は回帰関数を表す。εｉは画像にのったノイズを表す。また、ｉ＝１,…,Ｐが成立する。ｉはｉ番目の注目領域中の画素であることを示す。ここで、注目領域とは、対象画素自身を含む周辺領域（つまり、カーネル領域）のことを意味する。
【００１１】
ｘｉの近傍ｘにおいて、テイラー近似を行うと、下記数２のように近似できる。
【００１２】
【数２】
2010128863.tif 000005
ここで、下記数３、数４及び数５が成立する。
【００１３】
【数３】
2010128863.tif 000006
【００１４】
【数４】
2010128863.tif 000007
【００１５】
【数５】
2010128863.tif 000008
β0は下記数６の局所最小二乗法により推定できる。
【００１６】
【数６】
2010128863.tif 000009
ここで、
2010128863.tif 000010
はカーネル関数を表す。カーネル関数は、下記数７を満たす関数で、中心が一番大きな重みを持ち、左右対称に中心から離れるほど重みが小さくなる関数である。
【００１７】
【数７】
2010128863.tif 000011
β0は下記数８より求まる。
【００１８】
【数８】
2010128863.tif 000012
ここで、下記数９、数１０、数１１及び数１２が成立する。
【００１９】
【数９】
2010128863.tif 000013
【００２０】
【数１０】
2010128863.tif 000014
【００２１】
【数１１】
2010128863.tif 000015
【００２２】
【数１２】
2010128863.tif 000016
ちなみに、非特許文献１の方法では、カーネルの形や大きさは一次微分よりエッジを考慮して求めている。
【００２３】
また、従来、回帰関数を用いて対象画素の画素値を推定する画素値推定方法において、例えば、特許文献１に開示された画像補正方法がある。特許文献１に開示された画像補正方法では、検査基準パターン画像を入力データとし、被検査パターン画像を出力データとしたとき、２次元線型予測モデルを同定し、アライメントと画像補正を統合化するようにしている。具体的に、画像データから関係式（行列方程式）を作成し、作成された行列方程式を解くことで、モデルパラメータを推定する。
【特許文献１】特開２００６−２６８３９６号公報
【非特許文献１】シナ  ファスイ（Sina  Farsiu）、ヒロユキ  タケダ（Hiroyuki  Takeda）、ペイマン  ミランファー（Peyman  Milanfar）共著,「カーネル  リグレッション  フォー  イメージ  プロセシング  アンド  リコンストラクション（Kernel  Regression  for  Image  Processing  and  Reconstruction）」,ＩＥＥＥ  トランス  オン  イメージ  プロセシング（IEEE  Trans  on  Image  Processing）,第16巻,第2号,p.349-365,2007年
【非特許文献２】エス.  ベイカ（S.  Baker）、アイ.  マシューズ（I.  Matthews）共著,「ルーカス−カナデ  ２０  イヤーズ  オン：  ア  ユニファイング  フレームワーク（Lucas-Kanade  20  years  on:  A  unifying  framework）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,第56巻,第3号,p.221-255,2004年)
【非特許文献３】戸田真人・塚田正人・井上晃共著,「レジストレーション誤差を考慮した超解像処理」,ＦＩＴ２００６,p.63-64
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかし、非特許文献１の方法を用いて画素値推定処理を行うに際し、対象画素自身を含む周辺領域に、対象画素の画素値を推定するのに利用できる、有効な画素数が少ない場合に、基底関数の係数を未知数とした行列方程式の係数行列（以下、単に「係数行列」と呼ぶ。）の安定性が問題となり、回帰関数が一意に求まらない問題は生じる。
【００２５】
非特許文献１の方法では、初期設定として、カーネルの大きさは、画像全体に渡ってはグローバルパラメータであるバンド幅で制御し、ローカル領域においてはカーネル関数を円形のガウシアンにとって補間した画像の勾配を用いて制御している。
【００２６】
しかし、上記のようにカーネル関数を制御しても、対象画素の画素値が求まらない問題や、バンド幅を大きく取ることで推定された画素値で再構成された画像がぼやけてしまう問題が発生する。
【００２７】
そして、特許文献１に開示された画像補正方法では、検査基準パターン画像データ（入力画像データ）に同じ階調値が連続する場合において、係数行列の安定性が低く、モデルパラメータの同定が不可能になる問題点がある。
【００２８】
その問題点を解決するために、特許文献１に開示された画像補正方法では、入出力画像データの該同じ階調値の領域に、該階調値と比べて微少なランダムノイズを重畳させ、フルランクの係数行列を生成するようにしている。
【００２９】
換言すれば、特許文献１に開示された画像補正方法によれば、画像データに同じ階調値が連続する場合に生じる係数行列の安定性の問題を解決することができる。つまり、特許文献１に開示された画像補正方法を用いても、画素値推定に利用できる有効な画素数が少ない場合に生じる係数行列の安定性の問題を解決することができない。
【００３０】
本発明は、上述のような事情から成されたものであり、つまり、本発明は、基底関数の線型結合で構成される回帰関数を用いて対象画素の画素値を推定するに際し、対象画素自身を含む周辺領域に、画素値推定に用いることのできる有効画素の個数が少ない場合に生じる係数行列の安定性の問題を解決するために成されたものであり、本発明の目的は、対象画素の画素値推定に用いることのできる有効画素の個数が少ない場合であっても、入力画像における対象画素の画素値を効果的且つ効率的に推定できる、画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００３１】
本発明は、基底関数の線型結合で構成される回帰関数により、対象画素の画素値を推定する画像処理装置に関し、本発明の上記目的は、行列方程式作成部と、係数行列安定性判定部と、行列方程式作成手段切替制御部と、係数算出部と、画素値推定部とを備え、前記行列方程式作成部は、前記基底関数の係数を算出するための空間重み関数に基づく行列方程式を作成する処理を行い、前記係数行列安定性判定部は、作成された行列方程式の係数行列の安定性を判定する処理を行い、前記行列方程式作成手段切替制御部は、前記係数行列安定性判定部での判定結果に応じて、行列方程式作成手段を切替制御する処理を行い、前記係数算出部は、前記基底関数の係数を算出し、算出した基底関数の係数と前記回帰関数のモデル式に基づき、回帰関数を作成する処理を行い、前記画素値推定部は、前記係数算出部で作成された回帰関数を基に、前記対象画素の画素値を推定する処理を行うことによって効果的に達成される。
【００３２】
また、本発明の上記目的は、前記行列方程式作成部は、前記対象画素を含む周辺領域中の画素の観測された画素値と、前記回帰関数を基に推定された画素値の誤差を最小にする、最適な基底関数の係数を導出するための行列方程式を、局所最小二乗法に基づき作成することにより、或いは、前記係数行列安定性判定部は、前記行列方程式作成部で作成された行列方程式の係数行列の安定性を、係数行列の要素に注目して演算した結果に関する所定の閾値で判定することにより、或いは、前記係数行列安定性判定部は、前記行列方程式作成部で作成された行列方程式の係数行列の安定性を、前記対象画素を含む周辺領域に存在する、画素値推定に用いることのできる有効画素の個数に関する所定の閾値で判定することにより、或いは、前記行列方程式作成手段切替制御部は、基底関数の切替制御を行う基底関数切替制御部で構成されることにより、或いは、前記行列方程式作成手段切替制御部は、空間重み関数の切替制御を行う空間重み関数切替制御部で構成されることにより、或いは、前記行列方程式作成手段切替制御部は、基底関数の切替制御を行う基底関数切替制御部と、空間重み関数の切替制御を行う空間重み関数切替制御部で構成されることによってより効果的に達成される。
【００３３】
また、本発明の上記目的は、前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を減少させるように、基底関数の切替制御を行うことにより、或いは、前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、作成しようとする回帰関数を構成する基底関数の種類を変更させるように、基底関数の切替制御を行うことにより、或いは、前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を減少させるとともに、当該基底関数の種類を変更させるように、基底関数の切替制御を行うことにより、或いは、前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を増加させるように、基底関数の切替制御を行うことにより、或いは、前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、作成しようとする回帰関数を構成する基底関数の種類を変更させるように、基底関数の切替制御を行うことにより、或いは、前記基底関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、作成しようとする回帰関数を構成する基底関数の個数を増加させるとともに、当該基底関数の種類を変更させるように、基底関数の切替制御を行うことによってより効果的に達成される。
【００３４】
また、本発明の上記目的は、前記空間重み関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、空間重み関数のバンド幅を大きくするように、空間重み関数の切替制御を行うことにより、或いは、前記空間重み関数切替制御部は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、空間重み関数のバンド幅を小さくするように、空間重み関数の切替制御を行うことによってより効果的に達成される。
【００３５】
また、本発明の上記目的は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、まず、前記空間重み関数切替制御部は、係数行列の安定性が所定の閾値以上になるまで、空間重み関数のバンド幅を大きくするように、空間重み関数の切替制御を行い、そして、バンド幅の最大閾値までバンド幅を大きくしても、係数行列の安定性が所定の閾値以上にならない場合、前記基底関数切替制御部は、基底関数の個数を減少させるように、基底関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、まず、前記基底関数切替制御部は、係数行列の安定性が所定の閾値以上になるまで、基底関数の個数を減少させるように、基底関数の切替制御を行い、そして、基底関数の個数の最小閾値まで基底関数の個数を減らしても、係数行列の安定性が所定の閾値以上にならない場合、前記空間重み関数切替制御部は、空間重み関数のバンド幅を大きくするように、空間重み関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、まず、前記空間重み関数切替制御部は、係数行列の安定性が所定の閾値になるまで、空間重み関数のバンド幅を小さくするように、空間重み関数の切替制御を行い、そして、バンド幅の最小閾値までバンド幅を小さくしても、係数行列の安定性が所定の閾値にならない場合、前記基底関数切替制御部は、基底関数の個数を増加させるように、基底関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、まず、前記基底関数切替制御部は、係数行列の安定性が所定の閾値になるまで、基底関数の個数を増加させるように、基底関数の切替制御を行い、そして、基底関数の個数の最大閾値まで基底関数の個数を増やしても、係数行列の安定性が所定の閾値にならない場合、前記空間重み関数切替制御部は、空間重み関数のバンド幅を小さくするように、空間重み関数の切替制御を行うことによってより効果的に達成される。
【００３６】
また、本発明の上記目的は、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、前記基底関数切替制御部は基底関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、前記空間重み関数切替制御部は空間重み関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、前記基底関数切替制御部は基底関数の切替制御を行うとともに、前記空間重み関数切替制御部は空間重み関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、前記基底関数切替制御部は基底関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、前記空間重み関数切替制御部は空間重み関数の切替制御を行うことにより、或いは、前記係数行列安定性判定部によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、前記基底関数切替制御部は基底関数の切替制御を行うとともに、前記空間重み関数切替制御部は空間重み関数の切替制御を行うことによってより効果的に達成される。
【００３７】
更に、本発明は、基底関数の線型結合で構成される回帰関数により、対象画素の画素値を推定する画像処理方法に関し、本発明の上記目的は、行列方程式作成ステップと、係数行列安定性判定ステップと、行列方程式作成手段切替制御ステップと、係数算出ステップと、画素値推定ステップとを有し、前記行列方程式作成ステップは、前記基底関数の係数を算出するための空間重み関数に基づく行列方程式を作成する処理を行い、前記係数行列安定性判定ステップは、作成された行列方程式の係数行列の安定性を判定する処理を行い、前記行列方程式作成手段切替制御ステップは、前記係数行列安定性判定ステップでの判定結果に応じて、行列方程式作成手段を切替制御する処理を行い、前記係数算出ステップは、前記基底関数の係数を算出し、算出した基底関数の係数と前記回帰関数のモデル式に基づき、回帰関数を作成する処理を行い、前記画素値推定ステップは、前記係数算出ステップで作成された回帰関数を基に、前記対象画素の画素値を推定する処理を行うことによって効果的に達成させる。
【発明の効果】
【００３８】
本発明によれば、基底関数の線型結合で構成される回帰関数を用いて対象画素の画素値を推定するに際し、対象画素自身を含む周辺領域に、画素値推定に用いることのできる有効画素の個数が少ない場合であっても、基底関数の係数を未知数とした行列方程式の係数行列の安定性と画素値推定に用いることのできる有効画素の個数に適応的に対応して、入力画像における対象画素の画素値を効果的且つ効率的に推定できるという顕著な効果を奏する。
【発明を実施するための最良の形態】
【００３９】
本発明は、デジタル画像における対象画素の画素値を推定し、推定された画素値を用いてデジタル画像を再構成する、画像処理技術に関する。
【００４０】
具体的に、本発明は、基底関数の線型結合で構成される回帰関数を用いて対象画素の画素値を推定するに際し、対象画素自身を含む周辺領域に、推定に用いることのできる有効な画素数が少ない場合であっても、デジタル画像（画像データ）における対象画素の画素値を効果的且つ効率的に推定できるようにした、画像処理装置及び画像処理方法に関する。
【００４１】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に述べる実施形態によって限定されるものではない。
【００４２】
図１は本発明の第１実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置１」、又は「画像処理装置１」とも言う。）を示すブロック構成図である。また、図２は本発明に係る画像処理装置１（画像処理装置１）の処理流れを示すフロー図である。以下、図１及び図２を用いて、画像処理装置１を詳細に説明する。
【００４３】
図１に示すように、画像処理装置１は、画像データ入力部１００と、回帰関数作成部２００と、画素値推定部３００と、推定画像生成部５００と、画像処理装置全体の制御を行う装置全体制御部１０とから構成され、入力された画像データ（以下、単に「入力画像」とも言う。）における対象画素の画素値を推定し、推定された画素値を用いて入力画像を再構成することにより、推定画像を生成するものである。
【００４４】
また、図１に示すように、画像処理装置１の回帰関数作成部２００は、行列方程式作成部２１０と、係数行列安定性判定部２２０と、係数算出部２３０と、行列方程式作成手段切替制御部２４０とから構成される。
【００４５】
本発明では、行列方程式の安定性を、行列方程式の係数行列に基づき判定し、係数行列の安定性の判定結果に基づき、行列方程式作成手段切替制御部２４０にて、行列方程式作成手段を切替制御するようにしている。
【００４６】
画像処理装置１では、行列方程式作成手段切替制御部２４０において、基底関数切替制御部２４１で基底関数の切替制御を行うことにより、行列方程式作成手段を切替制御するようにしている。
【００４７】
また、図示されていないが、画像処理装置１は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記録媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置１の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置１の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
【００４８】
図１に示すように、画像処理装置１では、まず、入力画像としての画像データを画像データ入力部１００に入力する（図２のステップＳ１０を参照）。画像データ入力部１００に入力された画像データは、記憶部に格納される。
【００４９】
次に、回帰関数作成部２００に対し、画像データ入力部１００から、入力画像における対象画素の画素値推定に用いる所定領域の画素データ（対象画素自身を含む所定の周辺領域中の画素データ、即ち、周辺領域の画素データ）が入力される（図２のステップＳ２０を参照）。
【００５０】
そして、回帰関数作成部２００では、対象画素に対して、画像データ入力部１００から入力された、対象画素自身を含む周辺領域の画素データを用いて、基底関数の線型結合から構成される回帰関数を作成し、作成した回帰関数を画素値推定部３００に出力する。
【００５１】
次に、画素値推定部３００では、回帰関数作成部２００で作成された回帰関数に基づいて、対象画素の画素値を推定し（図２のステップＳ１１０を参照）、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【００５２】
画像処理装置１では、入力画像における全ての対象画素に対し、回帰関数作成部２００にて行われる処理と、画素値推定部３００にて行われる処理を行うことにより、全ての対象画素の画素値を推定するようにしている。
【００５３】
なお、画素値推定部３００では、推定した対象画素の画素値及び当該対象画素の位置の推定画像生成部５００への出力の代わりに、推定した対象画素の画素値及び当該対象画素の位置を記憶部に格納するようにしても良い。この場合に、全ての対象画素の画素値が推定された後に、推定画像生成部５００では、記憶部から、全ての対象画素の推定画素値及びそれらの画素位置を取得する必要がある。
【００５４】
そして、推定画像生成部５００では、取得した全ての対象画素の推定画素値及びそれらの画素位置を用いて、入力画像を再構成することにより、推定画像を生成する。なお、推定画像生成部５００で生成された推定画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。
【００５５】
ここで、回帰関数作成部２００にて行われる処理について説明する。
【００５６】
前述したように、画像処理装置１の回帰関数作成部２００は、行列方程式作成部２１０と、係数行列安定性判定部２２０と、係数算出部２３０と、基底関数切替制御部２４１とから構成される。
【００５７】
回帰関数作成部２００では、まず、行列方程式作成部２１０が、基底関数の線型結合で構成される回帰関数のモデル式を設定し（図２のステップＳ３０を参照）、そして、設定した回帰関数のモデル式と、画像データ入力部１００から入力された周辺領域の画素データを用いて、基底関数の係数を算出するための基底関数の係数を未知数とした行列方程式を作成し（図２のステップＳ５０を参照）、作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【００５８】
また、画像処理装置１では、回帰関数を構成する際に必要となる基底関数を、記憶部に予め格納するようにしている。よって、記憶部に格納されている基底関数は、必要に応じて画像処理装置１の各構成ブロックに利用されることができる。その一例として、例えば、係数算出部２３０において、行列方程式を解き、回帰関数を作成する際に、基底関数を利用することができる。
【００５９】
次に、係数行列安定性判定部２２０では、行列方程式作成部２１０から出力された係数行列と、画像データ入力部１００からの周辺領域の画素データとに基づいて、当該係数行列の安定性を所定の判定方法で判定し（図２のステップＳ６０を参照）、所定の判定方法により得られた安定性の判定結果に応じて、基底関数切替制御部２４１での処理に移行するか、又は、係数算出部２３０での処理に移行するかを決定する。
【００６０】
基底関数切替制御部２４１での処理に移行すると決定された場合に、換言すれば、作成しようとする回帰関数が最も自由度の高い画素値推定が可能となるように基底関数の線型結合により構成されていないとき、基底関数切替制御部２４１では、安定性の判定結果に応じて、回帰関数に用いる基底関数の切替制御を行い（図２のステップＳ７０を参照）、当該切替制御に関するデータ（基底関数の切替制御データ）を行列方程式作成部２１０へ出力する。
【００６１】
そして、行列方程式作成部２１０は、基底関数切替制御部２４１から受け取った基底関数の切替制御データに基づいて、行列方程式を新たに作成し、新たに作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【００６２】
このように、回帰関数作成部２００では、係数算出部２３０での処理に移行されるまでに、行列方程式作成部２１０での処理、係数行列安定性判定部２２０での処理、基底関数切替制御部２４１での処理を繰り返している。
【００６３】
なお、基底関数切替制御部２４１で、基底関数の切替制御を行うことができない場合に、基底関数切替制御部２４１は、装置全体制御部１０へ処理終了信号を発信する。
【００６４】
以下では、基底関数の切替制御方法の具体例について説明する。
基底関数の切替制御方法その１：
回帰関数に用いる基底関数の個数を増加させるように、基底関数の切替制御を行う。
基底関数の切替制御方法その２：
回帰関数に用いる基底関数の個数を減少させるように、基底関数の切替制御を行う。
また、基底関数がｎ次多項式で構成された場合において、
基底関数の切替制御方法その３：
回帰関数に用いる基底関数の種類を変更させるように、基底関数の切替制御を行う。
【００６５】
基底関数の種類を変更する方法は二通りの方法がある。１つの方法（基底関数の切替制御方法その３Ａ）は、基底関数の次数を上げる方法で、もう１つの方法（基底関数の切替制御方法その３Ｂ）は、基底関数の次数を下げる方法である。
基底関数の切替制御方法その４：
回帰関数に用いる基底関数の個数を増加させるとともに、当該基底関数の次数を上げるように、基底関数の切替制御を行う。
基底関数の切替制御方法その５：
回帰関数に用いる基底関数の個数を減少させるとともに、当該基底関数の次数を下げるように、基底関数の切替制御を行う。
なお、本発明における基底関数の切替制御方法について、上記具体例を挙げて説明したが、本発明の基底関数の切替制御方法はそれらに限定されるものではない。
ここで、係数行列の安定性を判定する所定の判定方法の具体例としては、次の手法がある。
判定方法その１：
係数行列に関する行列式を、所定の閾値で判定する手法。
判定方法その２：
係数行列に関する最小固有値を、所定の閾値で判定する手法。
判定方法その３：
係数行列に関して最大固有値と最小固有値の比によって求められる条件数を、所定の閾値で判定する手法。
判定方法その４：
対象画素自身を含む周辺領域に存在する、画素値推定に用いることのできる有効画素の個数を、所定の閾値で判定する手法。
判定方法その１、判定方法その２、又は判定方法その３を用いて、係数行列の安定性を判定することは、行列方程式の係数行列内の要素に注目した演算を行うことを意味し、よって、これらの判定方法を用いれば、係数行列の安定性を数学的に判定することができる。
【００６６】
また、判定方法その４では、対象画素自身を含む周辺領域に存在する、画素値推定に用いることのできる有効画素の個数を基に、係数行列の安定性を判定しているので、判定方法その４を用いれば、周辺領域に存在する無効画素（欠損画素）の個数を考慮した安定性の判定を行うことができる。
【００６７】
なお、本発明における係数行列の安定性を判定するための判定方法について、上記具体例を挙げて説明したが、本発明はそれらの具体例に限定されるものではない。
ここで、基底関数切替制御部２４１における、安定性の判定結果と基底関数の切替制御方法の関係について説明する。
【００６８】
基底関数切替制御部２４１では、安定性の判定結果は係数行列の安定性が所定の閾値以上である場合に、基底関数の切替制御方法その１、基底関数の切替制御方法その３Ａ、又は、基底関数の切替制御方法その４の何れかを用いて、基底関数の切替制御を行う。このような基底関数の切替制御を行うことによって、対象画素の画素値の推定精度を高めることができる。
【００６９】
一方、安定性の判定結果は係数行列の安定性が所定の閾値未満である場合に、基底関数切替制御部２４１では、基底関数の切替制御方法その２、基底関数の切替制御方法その３Ｂ、又は、基底関数の切替制御方法その５の何れかを用いて、基底関数の切替制御を行う。このような基底関数の切替制御を行うことによって、係数行列の安定性を向上させることができる。
また、係数算出部２３０での処理に移行すると決定された場合に、換言すれば、作成しようとする回帰関数が最も自由度の高い画素値推定が可能となるように基底関数の線型結合により構成されたとき、係数算出部２３０では、行列方程式作成部２１０で作成された行列方程式を解くことにより、基底関数の係数を算出し（図２のステップＳ９０を参照）、算出した基底関数の係数と回帰関数のモデル式に基づき、回帰関数を作成し（図２のステップＳ１００を参照）、作成した回帰関数を画素値推定部３００に出力する。
【００７０】
画像処理装置１によれば、対象画素自身を含む周辺領域の画素数を考慮し、回帰関数を構成する基底関数の個数と種類が最適となるように、基底関数の切替制御を行うことにより、推定できない対象画素の出現を無くし、また各対象画素において最適な推定結果（画素推定値）を得ることができる。
ここで、本発明の画像処理装置に使用される入力画像について説明する。本発明で使用される入力画像は、無効画素や欠損画素を含む１枚の静止画像を用いることができ、その具体例として、例えば、ノイズを含む画像、カラーフィルタアレイで撮像したＲＡＷ画像、ランダムサンプリングして取得した画像、又は、アップサンプリングして取得した画像である。
【００７１】
また、時系列に撮影した複数枚の画像、例えば、複数枚の動画像フレームをアップサンプリングし、基準フレームを中心にローカルモーションの位置合わせと、画素選択を行い、更に、各画素に関してどれだけのフレームの画素値を加算したかの割合を示す重みやノイズを考慮した重みデータを考慮することにより、得られたレジストレーション画像を、本発明で使用される入力画像として用いることができる。
【００７２】
このようなレジストレーション画像を入力画像とし、本発明を適用すれば、より自然で鮮鋭感がある高画質な画像（推定画像）を生成することができる。
【００７３】
なお、このようなレジストレーション画像を生成する際に、位置合わせとは、基準フレームに対して参照フレームの変位を計算し、求まった変位分だけ参照フレームの画素を基準画像に対してワープすることを意味する。位置合わせに関しては、例えば、非特許文献２に開示されたインバース・コンポジションナル・イメージ・アラインメント（Inverse  Compositional  Image  Alignment）という方法を用いることができる。
【００７４】
参照フレームを基準フレームと比較し、参照フレームにはないオクルージョンや明度変化等が基準フレームに含まれている場合に、位置合わせの結果基準画像の画素に相当する参照フレームの画素との対応関係が取れなくなることがある。その場合に、このようなレジストレーション画像を生成する際に、画素選択において、対応関係の取れない画素に関しては、レジストレーション画像に加算しないようにする。なお、画素選択に関しては、例えば、非特許文献３に開示された「レジストレーション誤差を考慮した超解像処理」”という手法を用いることができる。
【００７５】
このように、基準フレームの全画像フレームに関して位置合わせと画素選択を適用した結果、即ち、このようなレジストレーション画像（アップサンプリングした画像）に、画素が埋まらず欠損画素となっている場所が出てくる。
【００７６】
以上のレジストレーション画像の作成ステップと欠損画素に関する事項は、当然、複数枚の動画像フレームに限った内容ではなく、時系列に撮影した複数枚の画像においても同様に考えることができる。
【００７７】
このようなレジストレーション画像に対し、本発明を適用することにより、レジストレーション画像における欠損画素の画素値を推定することができ、推定した画素値でそのレジストレーション画像を再構成することにより、高解像画像を作成することができる。
【００７８】
なお、本発明は、欠損画素だけではなく、ノイズが含まれた画素に対しても適用できるので、換言すれば、欠損画素もノイズが含まれた画素も、区別することなく、全部対象画素として、本発明を適用することは、言うまでも無い。
以下、本発明の第１実施形態に係る画像処理装置（画像処理装置１）の一実施例（実施例１）について説明する。
【００７９】
実施例１では、上述したレジストレーション画像を入力画像とし、また、当該レジストレーション画像はグレースケール画像である。また、実施例１では、カーネルの重みを考慮した回帰関数を作成することにより、対象画素の画素値を推定するアルゴリズム（以下、単に「カーネル回帰アルゴリズム」とも言う。）を用いる。
【００８０】
最初に、下記数１３のように、回帰関数のモデル式を設定する。つまり、画素値ｆ(ｕ,ｖ)は、重み係数（即ち、基底関数の係数）
2010128863.tif 000017
を考慮した、基底関数ｈ(ｕ,ｖ)の線型結合によって、
2010128863.tif 000018
と表される。
【００８１】
【数１３】
2010128863.tif 000019
ただし、ｕは対象画素を中心とした周辺画素に関するＲＯＷ方向の軸であり、ｖは対象画素を中心とした周辺画素に関するＣＯＬＵＭＮ方向の軸である。
【００８２】
以下、説明を簡単にするために、３つの基底関数ｈ１(ｕ,ｖ),ｈ２(ｕ,ｖ),ｈ３(ｕ,ｖ)を用いて、回帰関数のモデル式を設定する場合について説明する。
【００８３】
まず、下記数１４のように、回帰関数のモデル式を設定する。
【００８４】
【数１４】
2010128863.tif 000020
次に、対象画素自身を含む周辺領域中の画素の観測された画素値（入力画像上の観測画素値）と、基底関数の線型結合から構成される回帰関数を基に推定された画素値（回帰関数による推定画素値）の誤差を最小にする、最適な基底関数の係数を導出するための行列方程式を、局所最小二乗法に基づき作成する。
【００８５】
空間的に重みを付けられた誤差は、下記数１５によって表される。
【００８６】
【数１５】
2010128863.tif 000021
ここで、ｍ(ｘ＋ｕ,ｙ＋ｖ)は、周辺領域中の各画素に関してどれだけのフレームの画素値を加算したかの割合を示す重みやノイズを考慮した重みデータを表す。
【００８７】
そして、ｗＬ(ｕ,ｖ)は局所最小二乗法の空間重み関数を表す。また、ｗＬ(ｕ,ｖ)＝ｗ(ｕ／Ｌ,ｖ／Ｌ)であり、Ｌを空間重み関数のバンド幅またはバンド幅と呼ぶ。バンド幅は空間的な広がりを意味する。空間重み関数ｗＬ(ｕ,ｖ)は、原点から離れるほど値が小さくなる関数である。また、バンド幅Ｌを大きくすると、行列方程式の作成に利用される画素数が多くなり、結果として、行列方程式の係数行列の安定性が増加する。逆に、バンド幅Ｌを小さくすると、行列方程式の作成に利用される画素数が少なくなり、結果として、行列方程式の係数行列の安定性が減少する。
【００８８】
また、ｆ(ｘ＋ｕ,ｙ＋ｖ)は、周辺領域上の観測画素値を表し、または異なるフレームの観測画素値が加算されている場合はその平均値を表す。
【００８９】
上記数１５で表される誤差の式を、下記数１６のように、重み係数（基底関数の係数）に関して偏微分し、それをゼロとおくことにより、行列方程式が生成される。
【００９０】
【数１６】
2010128863.tif 000022
上記数１６の式を整理すると、下記数１７の式になる。
【００９１】
【数１７】
2010128863.tif 000023
上記数１７で表すこの式が、基底関数の係数を求めるための行列方程式である。
【００９２】
ここで、下記数１８及び数１９が成立する。
【００９３】
【数１８】
2010128863.tif 000024
【００９４】
【数１９】
2010128863.tif 000025
ここで、基底関数の係数に関して、上記数１７で表す行列方程式を解くために、下記数２０のように、上記数１９で表す
2010128863.tif 000026
の逆行列
2010128863.tif 000027
を求める必要がある。
【００９５】
【数２０】
2010128863.tif 000028
そのために、
2010128863.tif 000029
の安定性を制御する。本発明では、上記数１９で表す
2010128863.tif 000030
を係数行列と呼ぶ。
【００９６】
係数行列の安定性を所定の判定方法で判定し、安定性の判定結果によって、基底関数切替制御を行うと決定された場合に、安定性の判定結果に応じて、回帰関数に用いる基底関数の個数を制御するようにしても良く、また、適切な種類の基底関数を用いることのできるよう制御するようにしても良く、更に、回帰関数に用いる基底関数の個数を制御すると共に、適切な種類の基底関数を用いることのできるよう制御するようにしても良い。
【００９７】
例えば、係数行列の安定性が所定の閾値未満であると判定された場合には、上記数１４を用いて作成した回帰関数のモデル式にある基底関数の個数を減少させるように、基底関数の切替制御を行う。
【００９８】
下記数２１は、基底関数の個数を１つ減らしたときの回帰関数のモデル式の一例である。
【００９９】
【数２１】
2010128863.tif 000031
上記数２１を用いて回帰関数のモデル式を設定し、設定した回帰関数のモデル式を基に、新たに作成した行列方程式の係数行列に関しても、その安定性が所定の閾値未満であることが判定された場合は、回帰関数に用いる基底関数の個数をもう１つ減らすように、基底関数の切替制御を行う。
【０１００】
下記数２２は、基底関数の個数をもう１つ減らしたときの回帰関数のモデル式の一例である。
【０１０１】
【数２２】
2010128863.tif 000032
上記数２２で表す回帰関数のモデル式は、画素値推定に用いることのできる有効画素の重み付き平均画素値が、推定結果（推定画素値）となることを示す。そのため、カーネル領域（対象画素自身を含む周辺領域）に、画素値推定に用いることのできる有効画素が最低１つあれば、推定結果（推定画素値）は求まる。
【０１０２】
上記の例では、数１４、数２１、数２２の順に、回帰関数のモデル式を設定し、対象画素の画素値を推定するようにしている。つまり、係数行列の安定性が所定の閾値以上であり、最も多くの基底関数を用いた回帰関数を求め、求めたその回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
【０１０３】
また、例えば、係数行列の安定性が所定の閾値以上であると判定された場合には、回帰関数に用いる基底関数の個数を増加させるように、基底関数の切替制御を行う。つまり、数２２、数２１、数１４の順に、回帰関数のモデル式を設定する。
【０１０４】
この場合も、係数行列の安定性が所定の閾値以上であり、最も多くの基底関数を用いた回帰関数を求め、求めたその回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
【０１０５】
更に、例えば、係数行列の安定性が所定の閾値未満であると判定された場合には、回帰関数のモデル式にある基底関数を、適切な種類の基底関数に切り替えるように、基底関数の切替制御を行う。
【０１０６】
この際、例えば、回帰関数が２次多項式で構成された場合、回帰関数の次数を１つ下げるように、基底関数の切替制御を行う。即ち、１次多項式を用いて回帰関数を構成する。
【０１０７】
１次多項式で構成された回帰関数（１次回帰関数）を設定し、設定した回帰関数のモデル式を基に、新たに作成した行列方程式の係数行列に関しても、その安定性が所定の閾値未満であることが判定された場合は、回帰関数に用いる多項式の次数をもう１つ下げるように、基底関数の切替制御を行う。即ち、０次多項式用いて回帰関数を構成する。
【０１０８】
０次多項式で構成された回帰関数（０次回帰関数）を設定し、設定した回帰関数のモデル式を基に、新たに作成した行列方程式の係数行列について、その安定性を判定する。
【０１０９】
このように、２次回帰関数、１次回帰関数、０次回帰関数の順に、回帰関数のモデル式を設定し、対象画素の画素値を推定するようにしている。つまり、係数行列の安定性が所定の閾値以上である、最も高い次数を有する多項式により構成された回帰関数を求め、求めたその回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
【０１１０】
また、例えば、係数行列の安定性が所定の閾値以上であると判定された場合には、回帰関数に用いる多項式の次数を上げるように、基底関数の切替制御を行う。つまり、０次回帰関数、１次回帰関数、２次回帰関数の順に、回帰関数のモデル式を設定する。
【０１１１】
この場合も、係数行列の安定性が所定の閾値以上である、最も高い次数を有する多項式を用いた回帰関数を求め、求めたその回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
【０１１２】
また、例えば、係数行列の安定性が所定の閾値未満であると判定された場合には、回帰関数に用いる基底関数の個数を減少させるとともに、多項式の次数を下げるように、基底関数の切替制御を行う。その一例として、例えば、数１４（２次回帰関数）、数２１（１次回帰関数）、数２２（０次回帰関数）の順に、回帰関数のモデル式を設定する。また、数１４（２次回帰関数）、数２１（２次回帰関数）、数２２（１次回帰関数）の順に、回帰関数のモデル式を設定するようにしても良い。なお、基底関数の個数及び多項式の次数を減少させる際に、基底関数の個数及び多項式の次数の組み合わせが上記２つの例に限定されないことは、言うまでも無い。
【０１１３】
このように、基底関数の個数及び多項式の次数を減少させる順に、回帰関数のモデル式を設定し、対象画素の画素値を推定するようにしている。つまり、係数行列の安定性が所定の閾値以上である、個数が最も多く、且つ次数が最も高い多項式を用いた回帰関数を求め、求めたその回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
【０１１４】
また更に、例えば、係数行列の安定性が所定の閾値以上であると判定された場合には、回帰関数に用いる基底関数の個数を増加させるとともに、多項式の次数を上げるように、基底関数の切替制御を行う。その一例として、例えば、数２２（０次回帰関数）、数２１（１次回帰関数）、数１４（２次回帰関数）の順に、回帰関数のモデル式を設定する。また、数２２（０次回帰関数）、数２１（１次回帰関数）、数１４（１次回帰関数）の順に、回帰関数のモデル式を設定するようにしても良い。なお、基底関数の個数及び多項式の次数を増加させる際に、基底関数の個数及び多項式の次数の組み合わせが上記２つの例に限定されないことは、言うまでも無い。
【０１１５】
このように、基底関数の個数及び多項式の次数を増加させる順に、回帰関数のモデル式を設定し、対象画素の画素値を推定するようにしている。つまり、係数行列の安定性が所定の閾値以上である、個数が最も多く、且つ次数が最も高い多項式を用いた回帰関数を求め、求めたその回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
図３は本発明の第２実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置２」、又は「画像処理装置２」とも言う。）を示すブロック構成図である。また、図４は本発明の第２実施形態に係る画像処理装置（画像処理装置２）の処理流れを示すフロー図である。
【０１１６】
図１及び図３から分かるように、画像処理装置２は、画像処理装置１と同じ構成ブロックを有しており、但し、画像処理装置２の行列方程式作成手段切替制御部２４０の構成は、画像処理装置１の行列方程式作成手段切替制御部２４０の構成と相違する。
【０１１７】
画像処理装置１では、行列方程式作成手段切替制御部２４０として、基底関数を切り替えるように制御する基底関数切替制御部２４１を用いる。
【０１１８】
一方、画像処理装置２では、行列方程式作成手段切替制御部２４０として、空間重み関数を切り替えるように制御する空間重み関数切替制御部２４２を用いる。つまり、画像処理装置２では、行列方程式作成手段切替制御部２４０において、空間重み関数切替制御部２４２で空間重み関数の切替制御を行うことにより、行列方程式作成手段を切替制御するようにしている。
【０１１９】
なお、画像処理装置２における画像データ入力部１００、行列方程式作成部２１０、係数行列安定性判定部２２０、係数算出部２３０、画素値推定部３００、推定画像生成部５００、装置全体制御部１０についての説明は、画像処理装置１のそれらの説明と同じなので、省略する。また、図示されていないが、画像処理装置２は、データを記憶する記憶部をも備えており、記憶部についての説明は図１のそれと同様である。
【０１２０】
以下、図３及び図４を用いて、空間重み関数切替制御部２４２に関する説明を中心として、画像処理装置２について説明する。
【０１２１】
図３に示すように、画像処理装置２では、まず、入力画像としての画像データを画像データ入力部１００に入力する（図４のステップＳ１０を参照）。画像データ入力部１００に入力された画像データは、記憶部に格納される。
【０１２２】
次に、回帰関数作成部２００に対し、画像データ入力部１００から、入力画像における対象画素の画素値推定に用いる所定領域の画素データ（周辺領域の画素データ）が入力される（図４のステップＳ２０を参照）。
【０１２３】
そして、回帰関数作成部２００では、対象画素に対して、画像データ入力部１００から入力された、対象画素自身を含む周辺領域の画素データを用いて、基底関数の線型結合から構成される回帰関数を作成し、作成した回帰関数を画素値推定部３００に出力する。
【０１２４】
次に、画素値推定部３００では、回帰関数作成部２００で作成された回帰関数に基づいて、対象画素の画素値を推定し（図４のステップＳ１１０を参照）、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【０１２５】
画像処理装置２では、入力画像における全ての対象画素に対し、回帰関数作成部２００にて行われる処理と、画素値推定部３００にて行われる処理を行うことにより、全ての対象画素の画素値を推定するようにしている。
【０１２６】
画像処理装置２の回帰関数作成部２００は、行列方程式作成部２１０と、係数行列安定性判定部２２０と、係数算出部２３０と、空間重み関数切替制御部２４２とから構成される。
【０１２７】
回帰関数作成部２００では、まず、行列方程式作成部２１０が、回帰関数のモデル式を設定し（図４のステップＳ３０を参照）、局所最小二乗法の空間重み関数のバンド幅を設定し（図４のステップＳ４０を参照）、そして、設定した回帰関数のモデル式と、設定した空間重み関数のバンド幅と、画像データ入力部１００から入力された周辺領域の画素データを用いて、基底関数の係数を算出するための基底関数の係数を未知数とした行列方程式を作成し（図４のステップＳ５０を参照）、作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。また、画像処理装置２では、回帰関数を構成する基底関数を記憶部に予め格納するようにしている。
【０１２８】
次に、係数行列安定性判定部２２０では、行列方程式作成部２１０から出力された係数行列と、画像データ入力部１００からの周辺領域の画素データとに基づいて、当該係数行列の安定性を所定の判定方法で判定し（図４のステップＳ６０を参照）、所定の判定方法により得られた安定性の判定結果に応じて、空間重み関数切替制御部２４２での処理に移行するか、又は、係数算出部２３０での処理に移行するかを決定する。
【０１２９】
空間重み関数切替制御部２４２での処理に移行すると決定された場合に、空間重み関数切替制御部２４２では、安定性の判定結果に応じて、空間重み関数のバンド幅切替制御を行い（図４のステップＳ８０を参照）、当該切替制御に関するデータ（バンド幅の切替制御データ）を行列方程式作成部２１０へ出力する。
【０１３０】
そして、行列方程式作成部２１０は、空間重み関数切替制御部２４２から受け取ったバンド幅の切替制御データに基づいて、行列方程式を新たに作成し、新たに作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【０１３１】
このように、回帰関数作成部２００では、係数算出部２３０での処理に移行されるまでに、行列方程式作成部２１０での処理、係数行列安定性判定部２２０での処理、空間重み関数切替制御部２４２での処理を繰り返している。
【０１３２】
なお、空間重み関数切替制御部２４２で、バンド幅の切替制御を行うことができない場合に、空間重み関数切替制御部２４２は、装置全体制御部１０へ処理終了信号を発信する。
【０１３３】
以下では、空間重み関数のバンド幅の切替制御方法の具体例について説明する。
バンド幅の切替制御方法その１：
最初に、最小の値を有する所定のバンド幅を設定する。
【０１３４】
係数行列の安定性が所定の閾値以上になるまで、バンド幅を大きくするように、バンド幅の切替制御を行う。
バンド幅の切替制御方法その２：
最初に、最大の値を有する所定のバンド幅を設定する。
【０１３５】
係数行列の安定性が所定の閾値未満になるまで、バンド幅を小さくするように、バンド幅の切替制御を行う。
なお、上記のように、空間重み関数切替制御部２４２では、空間重み関数切替制御として、空間重み関数のバンド幅を切替制御しているが、本発明では、それに限定されることはない。例えば、空間重み関数切替制御部２４２では、安定性の判定結果に応じて、空間重み関数切替制御として、空間重み関数自身を切り替えるようにしても良い。また、係数行列の安定性を判定する所定の判定方法は、前述した「判定方法その１」〜「判定方法その４」の何れかを用いることができる。
【０１３６】
また、係数算出部２３０での処理に移行すると決定された場合に、係数算出部２３０では、行列方程式作成部２１０で作成された行列方程式を解くことにより、基底関数の係数を算出し（図４のステップＳ９０を参照）、算出した基底関数の係数と基底関数に基づき、回帰関数を作成し（図４のステップＳ１００を参照）、作成した回帰関数を画素値推定部３００に出力する。
以下、本発明の第２実施形態に係る画像処理装置（画像処理装置２）の一実施例（実施例２）について説明する。
【０１３７】
実施例２は、基底関数の切替制御部分を除いて、基本的に、実施例１と同様である。
【０１３８】
つまり、実施例２では、係数行列の安定性を所定の判定方法で判定し、安定性の判定結果に基づき、空間重み関数ｗＬ(ｕ,ｖ)のバンド幅Ｌを変更するように、バンド幅の切替制御を行う。
【０１３９】
具体的に、例えば、図４のステップＳ３０で回帰関数のモデル式を設定した直後、最小の値を有する所定のバンド幅を設定した場合に、係数行列安定性判定部２２０で判定された係数行列の安定性が所定の閾値以上になるまで、バンド幅を大きくするように、バンド幅の切替制御を行い、大きくしたバンド幅に基づき、行列方程式を新たに作成し、新たに作成した行列方程式について、係数行列安定性判定部２２０は、その係数行列の安定性を所定の判定方法で判定し、係数行列の安定性が所定の閾値以上になった時点で、係数算出部２３０での処理に移行すると決定する。
【０１４０】
このように、空間重み関数のバンド幅を大きくし、大きくしたバンド幅に基づき、新たに行列方程式を作成し、新たに作成した行列方程式の係数行列の安定性が所定の閾値以上である回帰関数に基づき、対象画素の画素値を推定する。つまり、係数行列の安定性が所定の閾値以上である場合の、最も多い画素数を利用して行列方程式を作成することができ、作成した行列方程式に基づいて求めた回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
【０１４１】
また、図４のステップＳ３０で回帰関数のモデル式を設定した直後、最大の値を有する所定のバンド幅を設定した場合に、係数行列安定性判定部２２０で判定された係数行列の安定性が所定の閾値未満になるまでに、バンド幅を小さくするように、バンド幅の切替制御を行い、小さくしたバンド幅に基づき、行列方程式を新たに作成し、新たに作成した行列方程式について、係数行列安定性判定部２２０は、その係数行列の安定性を所定の判定方法で判定し、係数行列の安定性が所定の閾値以上の値になった時点で、係数算出部２３０での処理に移行すると決定する。
【０１４２】
このように、空間重み関数のバンド幅を小さくし、小さくしたバンド幅に基づき、新たに行列方程式を作成し、新たに作成した行列方程式の係数行列の安定性が所定の閾値以上である回帰関数に基づき、対象画素の画素値を推定する。つまり、係数行列の安定性が所定の閾値以上である、最も多い画素数を利用して行列方程式を作成することができ、作成した行列方程式に基づいて求めた回帰関数による推定結果（推定画素値）を対象画素の画素値とする。
図５は本発明の第３実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置３」、又は「画像処理装置３」とも言う。）を示すブロック構成図である。
【０１４３】
図１及び図５から分かるように、画像処理装置３は、画像処理装置１と同じ構成ブロックを有しており、但し、画像処理装置３の行列方程式作成手段切替制御部２４０の構成は、画像処理装置１の行列方程式作成手段切替制御部２４０の構成と相違する。
【０１４４】
画像処理装置１では、行列方程式作成手段切替制御部２４０として、基底関数を切り替えるように制御する基底関数切替制御部２４１を用いる。
【０１４５】
一方、画像処理装置３では、行列方程式作成手段切替制御部２４０として、基底関数を切り替えるように制御する基底関数切替制御部２４１と、空間重み関数を切り替えるように制御する空間重み関数切替制御部２４２を用いる。
【０１４６】
なお、画像処理装置３における画像データ入力部１００、行列方程式作成部２１０、係数行列安定性判定部２２０、係数算出部２３０、画素値推定部３００、推定画像生成部５００、装置全体制御部１０についての説明は、画像処理装置１のそれらの説明と同じなので、省略する。また、図示されていないが、画像処理装置３は、データを記憶する記憶部をも備えており、記憶部についての説明は図１のそれと同様である。
【０１４７】
画像処理装置１では、行列方程式作成手段切替制御部２４０において、基底関数切替制御部２４１で基底関数の切替制御を行うことにより、行列方程式作成手段を切替制御するようにしている。
【０１４８】
また、画像処理装置２では、行列方程式作成手段切替制御部２４０において、空間重み関数切替制御部２４２で空間重み関数の切替制御を行うことにより、行列方程式作成手段を切替制御するようにしている。
【０１４９】
図５から分かるように、画像処理装置３では、行列方程式作成手段切替制御部２４０において、基底関数切替制御部２４１で行う基底関数の切替制御処理と、空間重み関数切替制御部２４２で行う空間重み関数の切替制御処理を組み合わせることにより、行列方程式作成手段を切替制御するようにしている。
【０１５０】
以下、画像処理装置３の幾つかの実施例（実施例３〜実施例６）について説明する。
【０１５１】
図６は画像処理装置３の一実施例（実施例３）の処理流れを示すフロー図である。実施例３では、行列方程式作成手段切替制御部２４０における基底関数切替制御部２４１において、回帰関数に用いる基底関数の個数を減少させるように、基底関数の切替制御を行う。また、行列方程式作成手段切替制御部２４０における空間重み関数切替制御部２４２において、空間重み関数のバンド幅を大きくするように、バンド幅の切替制御を行う。
【０１５２】
つまり、実施例３では、行列方程式作成手段切替制御部２４０において、基底関数の切替制御方法その２と、バンド幅の切替制御方法その１を組み合わせることにより、行列方程式作成手段を切替制御するようにしている。
【０１５３】
図６に示すように、実施例３では、まず、入力画像としての画像データを画像データ入力部１００に入力する（ステップＡ１０を参照）。画像データ入力部１００に入力された画像データは、記憶部に格納される。
【０１５４】
次に、回帰関数作成部２００に対し、画像データ入力部１００から、入力画像における対象画素の画素値推定に用いる所定領域の画素データ（周辺領域の画素データ）が入力される（ステップＡ２０を参照）。
【０１５５】
回帰関数作成部２００では、まず、行列方程式作成部２１０が、最大個数の基底関数を用いる回帰関数のモデル式を設定し（ステップＡ３０を参照）、局所最小二乗法の空間重み関数の最小値のバンド幅を設定し（ステップＡ４０を参照）、そして、設定した回帰関数のモデル式と、設定した空間重み関数のバンド幅と、画像データ入力部１００から入力された周辺領域の画素データを用いて、基底関数の係数を算出するための基底関数の係数を未知数とした行列方程式を作成し（ステップＡ５０を参照）、作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【０１５６】
次に、係数行列安定性判定部２２０では、行列方程式作成部２１０から出力された係数行列と、画像データ入力部１００からの周辺領域の画素データとに基づいて、当該係数行列の安定性を判定し（ステップＡ６０を参照）、係数行列の安定性が所定の閾値以上であると判定された場合、係数算出部２３０での処理へ移行する。
【０１５７】
係数算出部２３０では、行列方程式作成部２１０で作成された行列方程式を解くことにより、基底関数の係数を算出し（ステップＡ１４０を参照）、算出した基底関数の係数と基底関数に基づき、回帰関数を作成し（ステップＡ１５０を参照）、作成した回帰関数を画素値推定部３００に出力する。
【０１５８】
画素値推定部３００では、回帰関数作成部２００で作成された回帰関数に基づいて、対象画素の画素値を推定し（ステップＡ１６０を参照）、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【０１５９】
一方、ステップＡ６０で係数行列の安定性が所定の閾値未満であると判定された場合、空間重み関数切替制御部２４２での処理へ移行する。このとき、空間重み関数切替制御部２４２では、空間重み関数のバンド幅を大きくし（ステップＡ７０を参照）、大きくしたバンド幅が最大値を超えたかどうかの閾値判定を行う（ステップＡ８０を参照）。
【０１６０】
大きくしたバンド幅が最大値以下の場合に、大きくしたバンド幅に基づき、新たに行列方程式を作成し、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＡ６０を参照）。
【０１６１】
一方、ステップＡ８０で大きくしたバンド幅が最大値を超えたと判定された場合に、基底関数切替制御部２４１での処理へ移行するために、ステップＡ９０へ進む。基底関数の個数を１つ減らした上で（ステップＡ９０を参照）、回帰関数のモデル式を設定し（ステップＡ１００を参照）、設定した回帰関数のモデル式に基づき、行列方程式を作成する（ステップＡ１１０を参照）。
【０１６２】
次に、ステップＡ１１０で作成した行列方程式の係数行列の安定性を判定し（ステップＡ１２０を参照）、係数行列の安定性が所定の閾値以上の場合、係数算出部２３０での処理へ移行する。
【０１６３】
一方、ステップＡ１２０で係数行列の安定性が所定の閾値未満と判定された場合、基底関数切替制御部２４１では、基底関数の個数を１つ減らし（ステップＡ１３０を参照）、そのときの基底関数の個数が最小値以上であるかどうかの基底関数の個数の閾値判定を行う（ステップＡ１３１を参照）。そのときの基底関数の個数が最小値以上の場合に、その個数の基底関数を用いて、回帰関数のモデル式を設定し（ステップＡ１００を参照）、設定した回帰関数のモデル式に基づき、新たに行列方程式を作成し（ステップＡ１１０を参照）、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＡ１２０を参照）。
【０１６４】
一方、ステップＡ１３１でそのときの基底関数の個数が最小値未満であると判定された場合に、つまり、基底関数の切替制御を行うことができないと判定された場合に、基底関数切替制御部２４１は、装置全体制御部１０へ処理終了信号を発信する。
【０１６５】
実施例３では、以上説明したように、対象画素の画素値を推定する。
図７は画像処理装置３の一実施例（実施例４）の処理流れを示すフロー図である。実施例４では、行列方程式作成手段切替制御部２４０における基底関数切替制御部２４１において、回帰関数に用いる基底関数の個数を減少させるように、基底関数の切替制御を行う。また、行列方程式作成手段切替制御部２４０における空間重み関数切替制御部２４２において、空間重み関数のバンド幅を大きくするように、バンド幅の切替制御を行う。
【０１６６】
つまり、実施例４では、行列方程式作成手段切替制御部２４０において、基底関数の切替制御方法その２と、バンド幅の切替制御方法その１を組み合わせることにより、行列方程式作成手段を切替制御するようにしている。
【０１６７】
図７に示すように、実施例４では、まず、入力画像としての画像データを画像データ入力部１００に入力する（ステップＢ１０を参照）。画像データ入力部１００に入力された画像データは、記憶部に格納される。
【０１６８】
次に、回帰関数作成部２００に対し、画像データ入力部１００から、入力画像における対象画素の画素値推定に用いる所定領域の画素データ（周辺領域の画素データ）が入力される（ステップＢ２０を参照）。
【０１６９】
回帰関数作成部２００では、まず、行列方程式作成部２１０が、最大個数の基底関数を用いる回帰関数のモデル式を設定し（ステップＢ３０を参照）、局所最小二乗法の空間重み関数の最小値のバンド幅を設定し（ステップＢ４０を参照）、そして、設定した回帰関数のモデル式と、設定した空間重み関数のバンド幅と、画像データ入力部１００から入力された周辺領域の画素データを用いて、基底関数の係数を算出するための基底関数の係数を未知数とした行列方程式を作成し（ステップＢ５０を参照）、作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【０１７０】
次に、係数行列安定性判定部２２０では、行列方程式作成部２１０から出力された係数行列と、画像データ入力部１００からの周辺領域の画素データとに基づいて、当該係数行列の安定性を判定し（ステップＢ６０を参照）、係数行列の安定性が所定の閾値以上の場合、係数算出部２３０での処理へ移行する。
【０１７１】
係数算出部２３０では、行列方程式作成部２１０で作成された行列方程式を解くことにより、基底関数の係数を算出し（ステップＢ１４０を参照）、算出した基底関数の係数と基底関数に基づき、回帰関数を作成し（ステップＢ１５０を参照）、作成した回帰関数を画素値推定部３００に出力する。
【０１７２】
画素値推定部３００では、回帰関数作成部２００で作成された回帰関数に基づいて、対象画素の画素値を推定し（ステップＢ１６０を参照）、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【０１７３】
一方、ステップＢ６０で係数行列の安定性が所定の閾値未満と判定された場合、基底関数切替制御部２４１での処理へ移行する。このとき、基底関数切替制御部２４１では、基底関数の個数を１つ減らし（ステップＢ７０を参照）、そのときの基底関数の個数が最小値を超えたかどうかの基底関数の個数の閾値判定を行う（ステップＢ８０を参照）。
【０１７４】
そのときの基底関数の個数が最小値以上の場合に、その個数の基底関数を用いて、回帰関数のモデル式を設定し（ステップＢ９０を参照）、設定した回帰関数のモデル式に基づき、新たに行列方程式を作成し、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＢ６０を参照）。
【０１７５】
一方、ステップＢ８０でそのときの基底関数の個数が最小値未満であると判定された場合に、空間重み関数切替制御部２４２での処理へ移行するために、ステップＢ１００へ進む。空間重み関数のバンド幅を大きくした上で（ステップＢ１００を参照）、行列方程式を作成する（ステップＢ１１０を参照）。
【０１７６】
次に、ステップＢ１１０で作成した行列方程式の係数行列の安定性を判定し（ステップＢ１２０を参照）、係数行列の安定性が所定の閾値以上の場合、係数算出部２３０での処理へ移行する。
【０１７７】
一方、ステップＢ１２０で係数行列の安定性が所定の閾値未満と判定された場合、空間重み関数切替制御部２４２では、空間重み関数のバンド幅を大きくし（ステップＢ１３０を参照）、大きくしたバンド幅が最大値を超えたかどうかの閾値判定を行う（ステップＢ１３１を参照）。大きくしたバンド幅が最大値以下の場合に、大きくしたバンド幅に基づき、新たに行列方程式を作成し（ステップＢ１１０を参照）、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＢ１２０を参照）。
【０１７８】
一方、ステップＢ１３１で大きくしたバンド幅が最大値を超えたと判定された場合に、つまり、バンド幅の切替制御を行うことができないと判定された場合に、空間重み関数切替制御部２４２は、装置全体制御部１０へ処理終了信号を発信する。
【０１７９】
実施例４では、以上説明したように、対象画素の画素値を推定する。
図８は画像処理装置３の一実施例（実施例５）の処理流れを示すフロー図である。実施例５では、行列方程式作成手段切替制御部２４０における基底関数切替制御部２４１において、回帰関数に用いる基底関数の個数を増加させるように、基底関数の切替制御を行う。また、行列方程式作成手段切替制御部２４０における空間重み関数切替制御部２４２において、空間重み関数のバンド幅を小さくするように、バンド幅の切替制御を行う。
【０１８０】
つまり、実施例５では、行列方程式作成手段切替制御部２４０において、基底関数の切替制御方法その１と、バンド幅の切替制御方法その２を組み合わせることにより、行列方程式作成手段を切替制御するようにしている。
【０１８１】
図８に示すように、実施例５では、まず、入力画像としての画像データを画像データ入力部１００に入力する（ステップＣ１０を参照）。画像データ入力部１００に入力された画像データは、記憶部に格納される。
【０１８２】
次に、回帰関数作成部２００に対し、画像データ入力部１００から、入力画像における対象画素の画素値推定に用いる所定領域の画素データ（周辺領域の画素データ）が入力される（ステップＣ２０を参照）。
【０１８３】
回帰関数作成部２００では、まず、行列方程式作成部２１０が、最小個数の基底関数を用いる回帰関数のモデル式を設定し（ステップＣ３０を参照）、局所最小二乗法の空間重み関数の最大値のバンド幅を設定し（ステップＣ４０を参照）、そして、設定した回帰関数のモデル式と、設定した空間重み関数のバンド幅と、画像データ入力部１００から入力された周辺領域の画素データを用いて、基底関数の係数を算出するための基底関数の係数を未知数とした行列方程式を作成し（ステップＣ５０を参照）、作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【０１８４】
次に、係数行列安定性判定部２２０では、行列方程式作成部２１０から出力された係数行列と、画像データ入力部１００からの周辺領域の画素データとに基づいて、当該係数行列の安定性を判定し（ステップＣ６０を参照）、係数行列の安定性が所定の閾値未満の場合、係数算出部２３０での処理へ移行する。
【０１８５】
係数算出部２３０では、行列方程式作成部２１０で作成された行列方程式を解くことにより、基底関数の係数を算出し（ステップＣ１４０を参照）、算出した基底関数の係数と基底関数に基づき、回帰関数を作成し（ステップＣ１５０を参照）、作成した回帰関数を画素値推定部３００に出力する。
【０１８６】
画素値推定部３００では、回帰関数作成部２００で作成された回帰関数に基づいて、対象画素の画素値を推定し（ステップＣ１６０を参照）、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【０１８７】
一方、ステップＣ６０で係数行列の安定性が所定の閾値以上であると判定された場合、空間重み関数切替制御部２４２での処理へ移行する。このとき、空間重み関数切替制御部２４２では、空間重み関数のバンド幅を小さくし（ステップＣ７０を参照）、小さくしたバンド幅が最小値未満であるかどうかの閾値判定を行う（ステップＣ８０を参照）。
【０１８８】
小さくしたバンド幅が最小値以上である場合に、小さくしたバンド幅に基づき、新たに行列方程式を作成し、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＣ６０を参照）。
【０１８９】
一方、ステップＣ８０で小さくしたバンド幅が最小値未満であると判定された場合に、基底関数切替制御部２４１での処理へ移行するために、ステップＣ９０へ進む。基底関数の個数を１つ増やした上で（ステップＣ９０を参照）、回帰関数のモデル式を設定し（ステップＣ１００を参照）、設定した回帰関数のモデル式に基づき、行列方程式を作成する（ステップＣ１１０を参照）。
【０１９０】
次に、ステップＣ１１０で作成した行列方程式の係数行列の安定性を判定し（ステップＣ１２０を参照）、係数行列の安定性が所定の閾値未満の場合、係数算出部２３０での処理へ移行する。
【０１９１】
一方、ステップＣ１２０で係数行列の安定性が所定の閾値以上であると判定された場合、基底関数切替制御部２４１では、基底関数の個数を１つ増やし（ステップＣ１３０を参照）、そのときの基底関数の個数が最大値を超えたかどうかの基底関数の個数の閾値判定を行う（ステップＣ１３１を参照）。そのときの基底関数の個数が最大値以下の場合に、その個数の基底関数を用いて、回帰関数のモデル式を設定し（ステップＣ１００を参照）、設定した回帰関数のモデル式に基づき、新たに行列方程式を作成し（ステップＣ１１０を参照）、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＣ１２０を参照）。
【０１９２】
一方、ステップＣ１３１でそのときの基底関数の個数が最大値を超えたと判定された場合に、つまり、基底関数の切替制御を行うことができないと判定された場合に、基底関数切替制御部２４１は、装置全体制御部１０へ処理終了信号を発信する。
【０１９３】
実施例５では、以上説明したように、対象画素の画素値を推定する。
図９は画像処理装置３の一実施例（実施例６）の処理流れを示すフロー図である。実施例６では、行列方程式作成手段切替制御部２４０における基底関数切替制御部２４１において、回帰関数に用いる基底関数の個数を増加させるように、基底関数の切替制御を行う。また、行列方程式作成手段切替制御部２４０における空間重み関数切替制御部２４２において、空間重み関数のバンド幅を小さくするように、バンド幅の切替制御を行う。
【０１９４】
つまり、実施例６では、行列方程式作成手段切替制御部２４０において、基底関数の切替制御方法その１と、バンド幅の切替制御方法その２を組み合わせることにより、行列方程式作成手段を切替制御するようにしている。
【０１９５】
図９に示すように、実施例６では、まず、入力画像としての画像データを画像データ入力部１００に入力する（ステップＤ１０を参照）。画像データ入力部１００に入力された画像データは、記憶部に格納される。
【０１９６】
次に、回帰関数作成部２００に対し、画像データ入力部１００から、入力画像における対象画素の画素値推定に用いる所定領域の画素データ（周辺領域の画素データ）が入力される（ステップＤ２０を参照）。
【０１９７】
回帰関数作成部２００では、まず、行列方程式作成部２１０が、最小個数の基底関数を用いる回帰関数のモデル式を設定し（ステップＤ３０を参照）、局所最小二乗法の空間重み関数の最大値のバンド幅を設定し（ステップＤ４０を参照）、そして、設定した回帰関数のモデル式と、設定した空間重み関数のバンド幅と、画像データ入力部１００から入力された周辺領域の画素データを用いて、基底関数の係数を算出するための基底関数の係数を未知数とした行列方程式を作成し（ステップＤ５０を参照）、作成した行列方程式の係数行列を係数行列安定性判定部２２０へ出力する。
【０１９８】
次に、係数行列安定性判定部２２０では、行列方程式作成部２１０から出力された係数行列と、画像データ入力部１００からの周辺領域の画素データとに基づいて、当該係数行列の安定性を判定し（ステップＤ６０を参照）、係数行列の安定性が所定の閾値未満の場合、係数算出部２３０での処理へ移行する。
【０１９９】
係数算出部２３０では、行列方程式作成部２１０で作成された行列方程式を解くことにより、基底関数の係数を算出し（ステップＤ１４０を参照）、算出した基底関数の係数と基底関数に基づき、回帰関数を作成し（ステップＤ１５０を参照）、作成した回帰関数を画素値推定部３００に出力する。
【０２００】
画素値推定部３００では、回帰関数作成部２００で作成された回帰関数に基づいて、対象画素の画素値を推定し（ステップＤ１６０を参照）、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【０２０１】
一方、ステップＤ６０で係数行列の安定性が所定の閾値以上であると判定された場合、基底関数切替制御部２４１での処理へ移行する。このとき、基底関数切替制御部２４１では、基底関数の個数を１つ増やし（ステップＤ７０を参照）、そのときの基底関数の個数が最大値を超えたかどうかの基底関数の個数の閾値判定を行う（ステップＤ８０を参照）。
【０２０２】
そのときの基底関数の個数が最大値以下の場合に、その個数の基底関数を用いて、回帰関数のモデル式を設定し（ステップＤ９０を参照）、設定した回帰関数のモデル式に基づき、新たに行列方程式を作成し、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＤ６０を参照）。
【０２０３】
一方、ステップＤ８０でそのときの基底関数の個数が最大値を超えたと判定された場合に、空間重み関数切替制御部２４２での処理へ移行するために、ステップＤ１００へ進む。空間重み関数のバンド幅を小さくした上で（ステップＤ１００を参照）、行列方程式を作成する（ステップＤ１１０を参照）。
【０２０４】
次に、ステップＤ１１０で作成した行列方程式の係数行列の安定性を判定し（ステップＤ１２０を参照）、係数行列の安定性が所定の閾値未満の場合、係数算出部２３０での処理へ移行する。
【０２０５】
一方、ステップＤ１２０で係数行列の安定性が所定の閾値以上であると判定された場合、空間重み関数切替制御部２４２では、空間重み関数のバンド幅を小さくし（ステップＤ１３０を参照）、小さくしたバンド幅が最小値未満であるかどうかの閾値判定を行う（ステップＤ１３１を参照）。小さくしたバンド幅が最小値以上の場合に、小さくしたバンド幅に基づき、新たに行列方程式を作成し（ステップＤ１１０を参照）、新たに作成した行列方程式の係数行列の安定性を判定する（ステップＤ１２０を参照）。
【０２０６】
一方、ステップＤ１３１で小さくしたバンド幅が最小値未満であると判定された場合に、つまり、バンド幅の切替制御を行うことができないと判定された場合に、空間重み関数切替制御部２４２は、装置全体制御部１０へ処理終了信号を発信する。
【０２０７】
実施例６では、以上説明したように、対象画素の画素値を推定する。
以上では、画像処理装置３に係る実施例３〜実施例６について説明したが、画像処理装置３はそれらの実施例に限定されることはなく、例えば、画像処理装置３において、係数行列安定性判定部２２０によって係数行列の安定性が所定の閾値未満であると判定された場合に、係数行列の安定性が所定の閾値以上になるまで、基底関数切替制御部２４１は基底関数の切替制御を行うようにしても良く、または、空間重み関数切替制御部２４２は空間重み関数の切替制御を行うにしても良く、または、基底関数切替制御部２４１は基底関数の切替制御を行うとともに、空間重み関数切替制御部２４２は空間重み関数の切替制御を行うようにしても良い。
【０２０８】
また、画像処理装置３において、係数行列安定性判定部２２０によって係数行列の安定性が所定の閾値以上であると判定された場合に、係数行列の安定性が所定の閾値になるまで、基底関数切替制御部２４１は基底関数の切替制御を行うようにしても良く、または、空間重み関数切替制御部２４２は空間重み関数の切替制御を行うようにしても良く、または、基底関数切替制御部２４１は基底関数の切替制御を行うとともに、空間重み関数切替制御部２４２は空間重み関数の切替制御を行うようにしても良い。
図１０は本発明の第４実施形態に係る画像処理装置（以下、「画像処理装置４」とも言う。）を示すブロック構成図である。
【０２０９】
図１０に示すように、画像処理装置４は、画像データ入力部１００と、回帰関数作成部２００と、画素値推定部３００と、補間処理部４００と、推定画像生成部５００と、画像処理装置全体の制御を行う装置全体制御部１０とから構成され、入力画像における対象画素の画素値を推定し、推定された画素値を用いて入力画像を再構成することにより、推定画像を生成するものである。
【０２１０】
また、図１０に示すように、画像処理装置４の回帰関数作成部２００は、行列方程式作成部２１０と、係数行列安定性判定部２２０と、係数算出部２３０と、行列方程式作成手段切替制御部２４０とから構成される。係数行列安定性判定部２２０で行われる係数行列の安定性の判定結果に基づき、行列方程式作成手段切替制御部２４０では、行列方程式作成手段を切替制御するようにしている。
【０２１１】
なお、画像処理装置４の行列方程式作成手段切替制御部２４０は、画像処理装置１のように基底関数切替制御部２４１で構成するようにして良く、また、画像処理装置２のように空間重み関数切替制御部２４２で構成するようにして良く、更に、画像処理装置３のように基底関数切替制御部２４１と空間重み関数切替制御部２４２で構成するようにして良い。
【０２１２】
補間処理部４００を除いて、画像処理装置４の他の構成ブロックは、画像処理装置１〜画像処理装置３のそれらと同様であるため、その説明は省略する。
【０２１３】
画像処理装置４では、行列方程式作成手段切替制御部２４０において、行列方程式作成手段の切替制御を行うことができない場合に、即ち、回帰関数による対象画素の画素値を推定できない場合に、行列方程式作成手段切替制御部２４０は、回帰関数による画素値推定方法以外の画素値推定方法への切替信号を装置全体制御部１０へ発信する。
【０２１４】
装置全体制御部１０はその切替信号を受信した後に、回帰関数による画素値推定方法以外の画素値推定方法への移行を指示する信号を補間処理部４００へ発信する。
【０２１５】
装置全体制御部１０からの指示信号を受信した補間処理部４００は、対象画素に対し補間処理を行うことにより、換言すれば、回帰関数による画素値推定方法以外の画素値推定方法を用いることにより、対象画素の画素値を推定し、推定した対象画素の画素値（対象画素の推定画素値）及び当該対象画素の位置を推定画像生成部５００に出力する。
【０２１６】
回帰関数による画素値推定方法以外の画素値推定方法の一例としては、既に推定された周辺画素の画素値と対象画素との相関性を考え、周辺画素の推定画素値を用いたバイキュービック補間により得られた画素値を、対象画素の推定画素値とする方法がある。
【０２１７】
なお、行列方程式作成手段切替制御部２４０において、行列方程式作成手段の切替制御を行うことができない場合とは、その一例として例えば、バンド幅が最大であり、回帰関数を構成する基底関数の個数が所定の最小個数以下の場合であって、基底関数の種類（次数）を調節しても係数行列の安定性が所定の閾値未満であると判別した場合である。
【０２１８】
より分かり易く言うと、対象画素の画素値推定に必要となる、対象画素自身を含む周辺領域中の画素が全て欠損しているため、画素値推定に用いることのできる有効画素の個数が一つもない場合には、回帰関数による対象画素の推定ができない。その場合には、回帰関数による画素値推定方法以外の画素値推定方法による対象画素の画素値を推定する必要がある。
なお、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実装されることも勿論できる。
【図面の簡単な説明】
【０２１９】
【図１】本発明の第１実施形態に係る画像処理装置を示すブロック構成図である。
【図２】本発明の第１実施形態に係る画像処理装置の処理流れを示すフロー図である。
【図３】本発明の第２実施形態に係る画像処理装置を示すブロック構成図である。
【図４】本発明の第２実施形態に係る画像処理装置の処理流れを示すフロー図である。
【図５】本発明の第３実施形態に係る画像処理装置を示すブロック構成図である。
【図６】本発明の第３実施形態に係る画像処理装置の一実施例（実施例３）の処理流れを示すフロー図である。
【図７】本発明の第３実施形態に係る画像処理装置の一実施例（実施例４）の処理流れを示すフロー図である。
【図８】本発明の第３実施形態に係る画像処理装置の一実施例（実施例５）の処理流れを示すフロー図である。
【図９】本発明の第３実施形態に係る画像処理装置の一実施例（実施例６）の処理流れを示すフロー図である。
【図１０】本発明の第４実施形態に係る画像処理装置を示すブロック構成図である。
【符号の説明】
【０２２０】
１０    装置全体制御部
１００    画像データ入力部
２００    回帰関数作成部
２１０    行列方程式作成部
２２０    係数行列安定性判定部
２３０    係数算出部
２４０    行列方程式作成手段切替制御部
２４１    基底関数切替制御部
２４２    空間重み関数切替制御部
３００    画素値推定部
４００    補間処理部
５００    推定画像生成部
【図１】
2010128863.tif 000033
【図２】
2010128863.tif 000034
【図３】
2010128863.tif 000035
【図４】
2010128863.tif 000036
【図５】
2010128863.tif 000037
【図６】
2010128863.tif 000038
【図７】
2010128863.tif 000039
【図８】
2010128863.tif 000040
【図９】
2010128863.tif 000041
【図１０】
2010128863.tif 000042