(57)【要約】【課題】  エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行う【解決手段】  画像処理装置が、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段と、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段と、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段とを備える。【選択図】  図３
2015118611.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段と、
前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段と、
前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理は、前記注目画素の画素値を、前記注目画素を含む複数の画素の画素値の加重平均により置き換える処理であり、
前記決定手段は、前記加重平均における重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ処理は、前記注目画素を含む複数の画素それぞれに決定された重みに基づいて、前記注目画素を含む複数の画素の画素値のうちの一つを選択し、前記注目画素の画素値を前記選択された画素値で置き換える処理であり、
前記決定手段は、前記画素値の選択に用いる重みを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第一の画像は、モノクロ画像であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第一の画像は、各画素位置に対応する被写体距離を示す距離マップであることを特徴とする請求項１又４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第二の画像は、カラー画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数のパラメータは、前記第二の画像の画素の明るさを示す値に基づくパラメータと、前記第二の画像の画素の色彩を示す値に基づくパラメータとを含み、
前記決定手段は、前記明るさを示す値に基づくパラメータおよび前記色彩を示す値に基づくパラメータを用いて前記重みを決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記明るさを示す値は輝度値であり、前記色彩を示す情報は色差であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記決定手段は、前記第二の画像の画素の明るさを示す値に基づいて、画素の重みを決定する第一の重み関数を決定し、前記第二の画像の画素の色彩を示す値に基づいて、前記注目画素の前記色彩を示す値を中心とした分散が、前記第一の重み関数の、前記注目画素の前記明るさを示す値を中心とした分散よりも小さい、第二の重み関数を決定し、
前記複数の画素の重みは、前記第一の重み関数と前記第二の重み関数の両方に基づいて決定されることを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記複数のパラメータは、前記第二の画像の画素値の微分値に基づくパラメータを含み、
前記決定手段は、前記微分値に基づくパラメータを用いて前記重みを決定することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記注目画素における前記微分値が大きいほど、前記複数の画素の重みを決定する重み関数の前記注目画素を中心とした分散を小さくすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記フィルタ処理は平滑化フィルタを前記第一の画像に施す処理であることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記第二の画像の各画素は、前記第一の画像において前記各画素と同じ画素位置に存在する画素と、同じ被写体に対応することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得するステップと、
前記第二の画像の画素値に基づいて取得された複数のパラメータに基づいて、前記第一の画像の各画素の重みを決定するステップと、
前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定するステップにおいてに決定された重みとに基づいて置き換えるフィルタ処理を施すステップとを含むことを特徴とする画像処理方法。
【請求項１５】
コンピュータを請求項１乃至１３のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のフィルタ処理を行う技術に関する。
【背景技術】
【０００２】
データの欠損や非一様な誤差、信頼性の低い画素値などを含む画像を補正する方法として、補正対象の画像に平滑化フィルタをかける処理がある。しかし、平滑化フィルタは、注目画素とその周囲の画素との画素値の差を小さくするフィルタであるため、平滑化フィルタをかけることにより、被写体の境界であるエッジがぼけてしまうという問題がある。そこで、エッジの情報を失わずに画像を平滑化する方法として、エッジ保存型の平滑化フィルタが提案されている。特許文献１では、エッジ保存型の平滑化フィルタの一例として、クロス（またはジョイント）バイラテラルフィルタが開示されている。クロスバイラテラルフィルタは、補正対象の画像（入力画像）と同一のシーンに対応する、より高画質な画像（参照画像）を用意し、参照画像の各画素の輝度値の類似度などの一つのパラメータに基づいてフィルタ処理に用いる重み値を画素ごとに決定するフィルタである。クロスバイラテラルフィルタでは、入力画像よりもエッジがはっきりしている参照画像に基づいてフィルタ処理に用いる重み値が決定されるため、入力画像のみを用いて重みを決定した場合よりも、エッジが鮮明な画像を得ることができる。そして、参照画像の各画素の輝度値の類似度に基づいてフィルタ処理に用いる重み値を画素ごとに決定することで、異なる被写体に対応する画素の寄与を小さくすることができ、エッジがより鮮明な画像を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８２５３７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術のように一つのパラメータだけを用いたフィルタ処理を行う場合では、輝度値が近い被写体同士の境界など、フィルタ処理によりエッジがぼけてしまう領域が発生することがあった。そこで、本発明は、エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行うことを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段と、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段と、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段とを備える。
【発明の効果】
【０００６】
エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置の構成を示すブロック図。
【図２】実施例１の画像処理装置の構成を示すブロック図。
【図３】実施例１の画像処理装置の処理の流れを示すフローチャート。
【図４】実施例２の画像処理装置の構成を示すブロック図。
【図５】実施例２の画像処理装置の処理の流れを示すフローチャート。
【発明を実施するための形態】
【０００８】
＜実施例１＞
本実施例では、各画素位置に対応する被写体までの距離を画素値で表現した距離マップ（モノクロ画像）に平滑化フィルタをかける場合について述べる。距離マップにかける平滑化フィルタのカーネルは、距離マップと同じシーンに対応するカラー画像の輝度と色差に基づいて決定される。なお、ここで同じシーンに対応するカラー画像とは、各画素が距離マップにおいて同じ画素位置に存在する画素と同じ被写体に対応するカラー画像のことを意味する。以下、本実施例の構成を述べる。図１は、本実施例の画像処理装置１００の構成を示す図である。
【０００９】
画像処理装置１００は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、記憶部１０４と、入力インターフェース１０５と、出力インターフェース１０６と、システムバス１０７とから構成される。外部メモリ１０８は入力インターフェース１０５と出力インターフェース１０６に接続されており、表示装置１０９は出力インターフェース１０６に接続されている。
【００１０】
ＣＰＵ１０１は、画像処理装置１００の各構成を統括的に制御するプロセッサであり、ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリアとして機能するメモリである。そして、ＲＯＭ１０３は画像処理装置１００内の処理に用いられるプログラム等を格納するメモリである。ＣＰＵ１０１は、ＲＡＭ１０２をワークエリアとしてＲＯＭ１０３に格納されたプログラムを実行することで、後述する様々な処理を実行する。記憶部１０４は、画像処理装置１００での処理に用いる画像データや、処理のためのパラメータなどを記憶する記憶デバイスである。記憶部１０４としてはＨＤＤや光ディスクドライブ、フラッシュメモリなどを用いることができる。
【００１１】
入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインターフェースである。画像処理装置１００は、この入力インターフェース１０５を介して、外部メモリ１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）から処理対象の画像データ等を取得することができる。出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力端子である。画像処理装置１００は、この出力インターフェース１０６を介して、表示装置１０９（液晶ディスプレイなどの画像表示デバイス）に、画像処理装置１００で処理した画像データを出力することができる。なお、画像処理装置１００の構成要素は上記のもの以外にも存在するが、本発明の主眼ではないため、説明を省略する。
【００１２】
以下、本実施例の画像処理装置１００における処理を、図２に示すブロック図と、図３に示すフローチャートを用いて説明する。図２は、画像処理装置１００の処理ブロック図である。本実施例では、ＣＰＵ１０１がＲＯＭ１０３に格納された図３のフローチャートに示すプログラムを実行することにより、図２に記載の各ブロックとして機能する。もちろん、全ての処理ブロックの機能をＣＰＵ１０１が有していなくてもよく、各処理ブロックに対応する処理回路を画像処理装置１００内に新たに設けるようにしてもよい。
【００１３】
ステップＳ３０１では、取得部２０１が、入力インターフェース１０５を介して外部メモリ１０８からフィルタ処理に用いる画像データを取得し、注目画素選択部２０２に出力する。ここで取得する画像データは、フィルタ処理の対象である入力画像データと、フィルタの重み値の決定に用いる参照画像データである。本実施例において、参照画像データはカメラによる撮像により得られたカラー画像データであり、入力画像データは、参照画像データの各画素に対応する被写体までの距離を画素値で表現したマップである。距離マップはモノクロの画像データであり、各被写体に対応する距離が０〜２５５の画素値により表現されている。
【００１４】
ステップＳ３０２では、注目画素選択部２０２が、ＲＡＭ１０２に格納された注目画素の座標を示す情報に基づいて、フィルタ処理を行う対象である注目画素ｐを選択し、注目画素ｐの画素値をＲＡＭ１０２に格納する。なお、初期状態では、ＲＡＭ１０２には画像の最も左上の画素である画素（０，０）を示す情報が格納されている。
【００１５】
ステップＳ３０３では、周辺画素選択部２０３が、ＲＡＭ１０２に格納された画素ｐの座標を示す情報と、ＲＡＭ１０２に格納された、画素ｐからの相対的な座標を示す情報に基づいて、フィルタ処理における重みを決定する画素ｒを選択する。そして、周辺画素選択部２０３は、画素ｒの座標および画素値を示す情報をＲＡＭ１０２に格納する。本実施例では、注目画素を中心とした１１×１１画素がフィルタ処理に用いられるため、画素ｒは、注目画素を中心とした１１×１１画素の所定の範囲から選択される（以下、この範囲内の画素を周辺画素と呼ぶ）。なお、初期状態では、画素ｐからの相対的な座標を示す情報として、画素ｐの座標を（０，０）とした、（−５，−５）がＲＡＭ１０２に格納されている。
【００１６】
ステップＳ３０４では、距離重み算出部２０４が、ＲＡＭ１０２に格納された、画素ｒの座標を示す情報を用いて、画素ｐからの距離に基づく重み係数ｓを算出し、フィルタ演算部２０７に出力する。ｓは以下の式で表わされる。
【００１７】
【数１】
2015118611.tif 000003
【００１８】
【数２】
2015118611.tif 000004
【００１９】
式（１）において、ｐとｒはそれぞれ画素ｐと画素ｒの座標に対応する２次元のベクトルであり、ｓの値はｐとｒの間のユークリッド距離に依存している。式（２）は式（１）におけるノルムの定義を示す式であり、式（１）ではｍ＝２を式（２）に代入した項が含まれている。また、σｓは任意に設定できる実定数で、注目画素からどれだけ離れた周辺画素まで考慮するかを示す定数である。σｓは言い換えると係数分布の空間的な分散を表すパラメータであり、一般にσｓを大きくすれば補正後の画像はぼける傾向にある。本実施例においてはσｓ＝５を設定しているが、この値は自由に設定可能である。なお、本実施例において参照画像のビット深度は８ビットとし、最大階調は２５５としている。また、重み係数ｓは必ずしも式１にもとづいて算出される必要はなく、複数のｐおよびｒに対応する重み係数ｓを予めテーブルとして格納しておき、ｐおよびｒの入力に応じてｓを読み出すようにしてもよい。このステップでは、距離重み算出部２０４が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの座標を式（１）に代入することによって距離重みｓを算出する。
【００２０】
ステップＳ３０５では、輝度重み算出部２０５が、ＲＡＭ１０２に格納された画素ｐと画素ｒの画素値を用いて、画素ｐとの輝度の違いに基づく重み係数ｗｙを算出し、フィルタ演算部２０７に出力する。ｗｙは以下の式で表わされる。
【００２１】
【数３】
2015118611.tif 000005
【００２２】
ここで、Ｒｙ（ｐ）およびＲｙ（ｒ）はそれぞれ画素ｐおよび画素ｒの輝度値である。σｙ係数分布のＹチャネルの強度方向への分散を表わすパラメータである。本実施例においては、σｙ＝２５を設定しているが、この値はσｓと同様に自由に設定可能である。このステップでは、輝度重み算出部２０５が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの輝度値を式（３）に代入することによって輝度重みｗｙを算出する。
【００２３】
ステップＳ３０６では、色差重み算出部２０６が、ＲＡＭ１０２に格納された画素ｐと画素ｒの画素値を用いて、画素ｐとの色差の違いに基づく重み係数ｗＣｂおよびｗＣｒを算出し、フィルタ演算部２０７に出力する。ｗＣｂおよびｗＣｒは以下の式で表わされる。
【００２４】
【数４】
2015118611.tif 000006
【００２５】
【数５】
2015118611.tif 000007
【００２６】
ここで、ＲＣｂ（ｐ）およびＲＣｂ（ｒ）はそれぞれ画素ｐおよび画素ｒの、ＹＣｂＣｒ色空間におけるＣｂの値を示している。また、ＲＣｒ（ｐ）およびＲＣｒ（ｒ）はそれぞれ画素ｐおよび画素ｒの、ＹＣｂＣｒ色空間におけるＣｒの値を示している。σＣｂおよびσＣｒはそれぞれ係数分布のＣｂチャネルとＣｒチャネルの強度方向への分散を表わすパラメータである。本実施例では、σＣｂ＝σＣｒ＝１５を設定している。これはσｙよりも小さい値であるが、このように色差に基づく重み係数の広がりを輝度に基づく重み係数の広がりよりも小さくすると、より真値に近い補正結果を得ることができる。これは、輝度と色差は同一画像内における画素間の相関が異なる統計に従っており、一般に色差チャネルの方が輝度チャネルよりも近傍画素間での画素値の分散が大きいことに由来する。このステップでは、色差重み算出部２０６が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの色差値を式（４）および式（５）に代入することによって色差重みｗＣｂおよびｗＣｒを算出する。
【００２７】
ステップＳ３０７では、フィルタ演算部２０７が、全ての周辺画素について重みが決定されたかどうかを判定する。全ての周辺画素について重みが決定されたと判定された場合、ステップＳ３０９に進む。全ての周辺画素について重みが決定されていないと判定された場合、ステップＳ３０８に進む。
【００２８】
ステップＳ３０８では、フィルタ演算部２０７が、ＲＡＭ１０２に格納された画素ｒを示す情報を更新し、ステップＳ３０３に戻る。ここで、画素ｒを示す情報は、周辺画素の間で変更されるものとする。
【００２９】
ステップＳ３０９では、フィルタ演算部２０７が、ＲＡＭ１０２に格納された画素ｐの画素値と、各周辺画素の重み関数および画素値に基づいて、画素ｐの補正後の画素値を算出し、画素値統合部２０８に出力する。画素ｐの補正後の画素値Ｊ（ｐ）は、以下の式で表わされる。
【００３０】
【数６】
2015118611.tif 000008
【００３１】
ここで、Ｉ（ｒ）は画素ｒの画素値である。このように、本実施例で行われるフィルタ処理で用いられる重みは、ステップＳ３０４〜Ｓ３０６で算出された複数の重み関数の積により決定される。つまり、注目画素からの距離に基づいて決定された重み関数である距離重みｓと、注目画素との輝度および色差の違いに基づいて決定された重み関数である輝度重みｗｙと色差重みｗＣｂおよびｗＣｒの積により決定される。このステップでは、フィルタ演算部２０７が、距離重み算出部２０４と、輝度重み算出部２０５と、色差重み算出部２０６とから出力された重み値と、ＲＡＭ１０２に格納された画素ｒの画素値を式６に代入することで、Ｊ（ｐ）を算出する。
【００３２】
ステップＳ３１０では、画素値統合部２０８が、全ての画素について補正後の画素値の算出が行われたかどうかを判定する。全ての画素について補正後の画素値の算出が行われたと判定された場合はステップＳ３１３に進む。全ての画素について補正後の画素値の算出が行われていないと判定された場合は、ステップＳ３１１に進む。
【００３３】
ステップＳ３１１では、画素値統合部２０８が、ＲＡＭ１０２に格納された注目画素を示す情報を更新する。そして、ステップＳ３１２では、画素値統合部２０８が、ＲＡＭ１０２に格納された、注目画素からの相対的な座標を示す情報を、（−５，−５）に戻してステップＳ３０２に戻る。
【００３４】
ステップＳ３１３では、画素値統合部２０８が、フィルタ演算部２０７で算出された補正後の画素値を並べた、補正後の画像データを生成および出力して処理を終了する。
【００３５】
以上の処理によると、参照画像の輝度および色差に基づいて平滑化フィルタにおける重み値を決定するので、エッジの鮮明さを残しつつ、高い精度で画像の平滑化処理を行うことができる。なお、本実施例において、注目画素を中心に１１×１１画素の範囲をフィルタ処理に用いる周辺画素としたが、フィルタ処理に用いる画素数はこの数に限られない。例えば参照画像内の全ての画素をフィルタ処理に用いるようにしてもよいし、各重み係数の分散に応じて変更してもよい。
【００３６】
なお、本実施例において、取得部２０１は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段として機能した。また、輝度重み算出部２０５および色差重み算出部２０６は、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段として機能した。また、フィルタ演算部２０７は、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段として機能した。
【００３７】
＜実施例２＞
本実施例では、平滑化フィルタにおける距離重みを、参照画像データの画素値を微分した微分画像に基づいて決定する場合について述べる。以下、本実施例の画像処理装置１００における処理を、図４に示すブロック図と、図５に示すフローチャートを用いて説明する。図４は、本実施例における画像処理装置１００の処理ブロック図である。本実施例では、ＣＰＵ１０１がＲＯＭ１０３に格納された図５のフローチャートに示すプログラムを実行することにより、図４に記載の各ブロックとして機能する。もちろん、全ての処理ブロックの機能をＣＰＵ１０１が有していなくてもよく、各処理ブロックに対応する処理回路を画像処理装置１００内に新たに設けるようにしてもよい。なお、実施例１と同じ処理については、同様の符号を付して説明を省略する。
【００３８】
ステップＳ５０１では、微分画像生成部４０１が、取得部２０１から取得した参照画像データの画素値を微分した、微分画像データを生成し、距離重み算出部２０４に出力する。本実施例においては、参照画像データが有するＹチャネル、Ｃｂチャネル、Ｃｒチャネルのそれぞれについて微分画像データを生成する。画像の微分演算としては、隣接画素間の単純差分、Ｓｏｂｅｌフィルタ、ラプラシアンフィルタなどの公知の技術を用いることができる。
【００３９】
ステップＳ５０２では、距離重み算出部２０４が、ステップＳ５０１で生成された微分画像データに基づいて、チャネルごとの距離重みｓｊを決定し、フィルタ演算部２０７に出力する。ｓｊは以下の式で表わされる。
【００４０】
【数７】
2015118611.tif 000009
【００４１】
【数８】
2015118611.tif 000010
【００４２】
ここで、αｊおよびβｊは任意の実定数であり、αｊは距離重みｓｊの注目画素からの広がりを規定する定数、βｊは距離重みｓｊの最小値を規定する定数である。本実施例において、αｊは一律で２５に設定されているが、他の値を用いるようにしてもよい。例えば、実施例１のように、ＣｂチャネルおよびＣｒチャネルのαの値をＹチャネルのαの値よりも小さくしてもよい。また、βｊは、本実施例では一律で１に設定されているが、例えば微分値が最大の画素にも重みを持たせたい場合などは、１よりも大きな数を用いることができる。Ｇｊ（ｐ）は、チャネルｊの画素値について微分した微分画像の画素ｐにおける画素値であり、本実施例ではＧｊ（ｐ）は最大値が１になるように規格化されている。式（８）に示すように、Ｇｊ（ｐ）が大きくなるほどσｓｊは小さくなる。すなわち、注目画素ｐが、Ｇｊ（ｐ）が大きくなるエッジ上に存在する場合、距離重みｓｊが示す重み関数は注目画素を中心により急峻になるため、注目画素から離れた画素の影響を受けにくくなり、エッジの鮮明さが保たれるようになる。このステップでは、距離重み算出部２０４が、ＲＡＭ１０２に格納された画素ｐおよび画素ｒの座標と、微分画像生成部４０１から出力された微分画像の画素値を式（８）に代入し、それによって得られたσｓｊを式（７）に代入することによって距離重みｓｊを算出する。
【００４３】
ステップＳ５０３では、フィルタ演算部２０７が、ステップＳ３０９と同様に、ＲＡＭ１０２に格納された注目画素の画素値と、各周辺画素の重み関数および画素値に基づいて、注目画素の補正後の画素値を算出し、画素値統合部２０８に出力する。このステップで計算される注目画素の補正後の画素値Ｊ（ｐ）は、実施例１とは異なり、以下の式で表わされる。
【００４４】
【数９】
2015118611.tif 000011
【００４５】
ｓｙ（ｐ，ｒ）ｓＣｂ（ｐ，ｒ）ｓＣｒ（ｐ，ｒ）は、それぞれ参照画像データのＹチャネルＣｂチャネル、Ｃｒチャネルの微分画像から求められた距離重みである。このステップでは、フィルタ演算部２０７が、距離重み算出部２０４と、輝度重み算出部２０５と、色差重み算出部２０６とから出力された重み値と、ＲＡＭ１０２に格納された画素ｒの画素値を式（９）に代入することで、Ｊ（ｐ）を算出する。
【００４６】
以上が本実施例における処理である。以上の処理によれば、参照画像の画素値の微分値に基づいて入力画像に平滑化フィルタをかけるので、よりエッジが鮮明な補正画像を得ることができる。
【００４７】
なお、本実施例において、取得部２０１は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段として機能した。また、距離重み算出部２０４と、輝度重み算出部２０５および色差重み算出部２０６は、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段として機能した。また、フィルタ演算部２０７は、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段として機能した。
【００４８】
＜実施例３＞
上記の実施例では、複数の画素の画素値の加重平均により、注目画素の画素値を置き換えるフィルタ処理について述べたが、本実施例では、各画素について求められた重み値を用いて、加重平均以外の方法で補正後の画素値を求める方法について述べる。
【００４９】
本実施例の画像処理装置１００の構成および処理は、基本的には実施例１の画像処理装置１００の構成および処理と同じであるが、ステップＳ３０９で行われる計算だけが異なる。そこで、ここではステップＳ３０９で行われる処理の違いについて述べる。本実施例では、ステップＳ３０９において、複数の画素の画素値の加重平均を行うのではなく、加重メディアンフィルタによる処理を行う。本実施例で計算される注目画素の補正後の画素値Ｊ（ｐ）は以下の式で表わされる。
【００５０】
【数１０】
2015118611.tif 000012
【００５１】
ここで、ｍｅｄｉａｎは引数の配列の中央値を返すメディアンフィルタ、◇は左側の数値を右側の数だけ多重化する（繰り返す）演算子、ＩＮＴは引数を正の整数に丸める演算子である。また、ｗ（ｐ，ｒ）はｗｙ（ｐ，ｒ）とｗＣｂ（ｐ，ｒ）とｗＣｒ（ｐ，ｒ）の積であり、ｒ１，ｒ２，．．．は周辺画素それぞれの座標を表す。本実施例では、フィルタ演算部２０７が、距離重み算出部２０４と、輝度重み算出部２０５と、色差重み算出部２０６とから出力された重み値と、ＲＡＭ１０２に格納された画素ｒの画素値を式１０に代入することで、Ｊ（ｐ）を算出する。このように、複数の画素値の線型変換以外の処理についても、本発明は適用可能である。
【００５２】
なお、本実施例において、取得部２０１は、第一の画像と、前記第一の画像と同一のシーンに対応する第二の画像とを取得する取得手段として機能した。また、距離重み算出部２０４と、輝度重み算出部２０５および色差重み算出部２０６は、前記第二の画像の画素値に基づく複数のパラメータを用いて、前記第一の画像の各画素の重みを決定する決定手段として機能した。また、フィルタ演算部２０７は、前記第一の画像において、注目画素の画素値を、前記注目画素を含む複数の画素の画素値と、前記決定手段によって決定された重みとに基づいて置き換えるフィルタ処理を施す処理手段として機能した。
【００５３】
＜その他の実施例＞
なお、本発明の実施形態は上記の実施例に限られず、様々な形態をとることが可能である。例えば、上記の実施例では、参照画像のＹＣｂＣｒ空間における輝度値Ｙと色差ＣｂおよびＣｒに基づいて決定した重み値を用いて平滑化フィルタをかけるたが、参照画像から得られた他のパラメータに基づいて決定された重み値を用いてもよい。例えば、ＲＧＢ空間のＲ、ＧおよびＢの画素値を用いてもよいし、Ｌａｂ空間のＬ、ａ、ｂの画素値を用いてもよい。また、各色空間の３つの画素値のうち２つだけを選択して用いてもよいし、例えば輝度値Ｙと輝度値の微分値Ｙ’など、同じチャネルの画素値から取得された異なるパラメータを併用するようにしてもよい。つまり、参照画像の画素値から求められた一つのパラメータだけで重みを決定するのではなく、参照画像の画素値から求められた複数のパラメータに基づいて重みを決定するのであればよい。また、本明細書における輝度は各画素の明るさを示す他の値に置き換えることができ、ＹＣｂＣｒ空間のＹだけではなくＬａｂ空間のＬの値やＨＳＶ色空間のＶの値などを用いることができる。また、本明細書における色差は、各画素の色彩を示す他の値に置き換えることができ、ＹＣｂＣｒ空間のＣｂおよびＣｒだけではなく、Ｌａｂ空間のａおよびｂや、ＨＳＶ空間のＨおよびＳなど様々なものを用いることができる。
【００５４】
また、本発明を適用する入力画像と参照画像は、距離マップおよびその距離マップと同じシーンに対応するカラー画像のみに限られず、様々な画像について適用可能である。例えば、入力画像を複数の異なる視点から撮像された画像にステレオ法を適用することで取得された距離マップとして、参照画像をＴｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ法を用いて取得された距離マップとしてもよい。また、参照画像を、距離マップに付随して得られる信頼度画像としてもよい。信頼度画像とは、各画素における被写体距離の確からしさの指標である信頼度を並べた画像である。また、入力画像と参照画像の両方をカラー画像としてもよい。また、同じシーンに対応する画像は、上記実施例のように、各画素がもう一方の画像において同じ画素位置に存在する画素と同じ被写体に対応する画像ではなくてもよい。例えば、各画像の間の各画素の対応関係が分かっており、同じ被写体を含む画像の組であればよい。
【００５５】
また、実施例２において、各チャネルについて距離重みｓｊを決定したが、各チャネルの微分画像全てを考慮した１つの距離重みｓｊを決定してもよい。その場合、σｓは以下の式で表わされる。
【００５６】
【数１１】
2015118611.tif 000013
【００５７】
なお、本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。
【符号の説明】
【００５８】
１００  画像処理装置
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  ＲＯＭ
２０１  取得部
２０４  距離重み算出部
２０５  輝度重み算出部
２０６  色差重み算出部
２０７  フィルタ演算部
【図１】
2015118611.tif 000014
【図２】
2015118611.tif 000015
【図３】
2015118611.tif 000016
【図４】
2015118611.tif 000017
【図５】
2015118611.tif 000018