(57)【要約】【課題】  キズ画素や特定用途向け画素等を考慮して画像データにおける領域間の類似度を算出することにより、高精度に領域間の類似度を出力する。【解決手段】  撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、前記撮像素子における特定位置に対応する前記画像データにおける位置の画素を特定画素として取得する取得手段と、前記取得手段により取得された特定画素に基づいて、着目画素と参照画素との類似度を決定するために用いる前記着目画素を含む着目領域および前記参照画素を含む参照領域とを決定する決定手段と、前記決定手段により決定された前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出する算出手段と、備えることを特徴とする画像処理装置。【選択図】  図２
2015106290.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、
前記撮像素子における特定位置に対応する前記画像データにおける画素を特定画素として取得する取得手段と、
前記取得手段により取得された特定画素に基づいて、着目画素と参照画素との類似度を決定するために用いる前記着目画素を含む着目領域および前記参照画素を含む参照領域とを決定する決定手段と、
前記決定手段により決定された前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出する算出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記画像データにおける特定画素を除く画素により前記類似度が算出されるように、前記着目領域および前記参照領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、予め設定された領域を保持し、前記領域を前記着目画素および前記参照画素に適用した場合に特定画素がある画素位置を含まないように、前記着目領域および前記参照領域を決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、
前記撮像素子における特定位置に対応する画像データにおける画素を特定画素として取得する取得手段と、
前記画像データにおける着目画素と参照画素との類似度を、前記着目画素を含む着目領域および前記参照画素を含む参照領域とにおいて、画素位置が対応する画素の差分を算出することにより決定する決定手段とを有し、
前記決定手段は、前記画像データにおける特定画素の画素値を含む差分を除いて、前記類似度を決定することを特徴とする画像処理装置。
【請求項５】
前記着目画素を含む第一の画像データと前記参照画素を含む第二の画像データは、異なる視点において撮像された画像データであって、
さらに、前記類似度に基づいて、前記第二の画像データにおける前記着目画素の対応点を探索する探索手段を有する請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記着目画素および前記参照画素は、同一の画像データにある画素であり、
さらに、前記類似度に応じた重みを用いて、前記参照画素による重み付き平均を算出することにより、前記着目画素の画素値を決定するノイズ低減処理手段を有する請求項１乃至５の何れか一項に記載の画像処理装置。
【請求項７】
さらに、前記類似度の算出に用いられた画素の数に応じて、前記類似度を補正する補正手段を有することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
【請求項８】
撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、
前記撮像素子における特定位置に対応する画像データにおける画素を特定画素として取得する取得手段と、
前記画像データにおける着目画素と参照画素との類似度を、前記着目画素を含む着目領域および前記参照画素を含む参照領域とにおいて、画素位置が対応する画素の差分を算出することにより決定する決定手段と、
前記類似度に応じた重みと前記参照画素の画素値とを重みつき平均することにより、前記着目画素の画素値を算出する算出手段とを有し、
前記算出手段は、前記着目領域または前記参照領域の少なくともいずれかに前記特定画素の画素値を含む場合、前記類似度または前記重みの信頼度を低くすることを特徴とする画像処理装置。
【請求項９】
前記撮像素子における特定位置は、撮像対象を結像することにより得られた画素値ではない可能性が高い位置であることを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
【請求項１０】
前記画像データにおける特定画素は、白飛び画素または黒潰れ画素であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像データにおける特定画素は、キズ画素であることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1乃至１１の何れか一項に記載された画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項１３】
撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理方法であって、
前記撮像素子における特定位置に対応する前記画像データにおける画素を特定画素として取得し、
前記特定画素に基づいて、着目画素と参照画素との類似度を決定するために用いる前記着目画素を含む着目領域および前記参照画素を含む参照領域とを決定し、
前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出することを特徴とする画像処理方法。
【請求項１４】
撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理方法であって、
前記撮像素子における特定位置に対応する画像データにおける画素を特定画素として取得し、前記画像データにおける着目画素と参照画素との類似度を、前記着目画素を含む着目領域および前記参照画素を含む参照領域とにおいて、前記画像データにおける特定画素の画素値を含む差分を除いて、画素位置が対応する画素の差分を算出することにより決定する画像処理方法。
【請求項１５】
撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理方法であって、
前記撮像素子における特定位置に対応する画像データにおける画素を特定画素として取得し、
前記画像データにおける着目画素と参照画素との類似度を、前記着目画素を含む着目領域および前記参照画素を含む参照領域とにおいて、画素位置が対応する画素の差分を算出することにより決定し、
前記類似度に応じた重みと前記参照画素の画素値とを重みつき平均することにより、前記着目画素の画素値を算出し、
前記着目領域または前記参照領域の少なくともいずれかに前記特定画素の画素値を含む場合、前記類似度または前記重みの信頼度を低くすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データにおける着目画素と参照画素との類似度を決定する方法に関するものである。
【背景技術】
【０００２】
画像処理技術において、テンプレートマッチングやブロックマッチングなど、２つの領域に含まれる画素のパターンが互いに類似しているかどうかを判定するマッチング方法がある。これらの領域間におけるマッチング方法は、動き補償、位置合わせ、オプティカルフロー推定のためだけではなく、例えばノイズ低減処理にも使用されている。特許文献１や特許文献２には、着目画素と参照画素との類似度に基づいて、ノイズ低減処理を行う方法について開示されている。具体的には、着目画素を含む領域と参照画素を含む領域とのマッチングにより、着目画素に対する参照画素の類似度を算出し、類似度に応じた重み付き平均により、着目画素の画素値をノイズ低減処理する。
【０００３】
領域間の類似度は、対応する画素間の画素値を用いて算出される差分二乗和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）や差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）がよく用いられる。つまり、各領域において対応する位置の画素同士について、画素値の差分を計算することによって、領域における類似度を算出するというものである。この領域間の類似度を高精度に算出することは、各画像処理の目的の効果を向上させる上で重要である。なお、ＳＳＤを用いた類似度算出方法に関しては、特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００７−５３６６６２号公報
【特許文献２】特開２０１１−３９６７５号公報
【特許文献３】特開平１０−２８９３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ＣＣＤセンサ、ＣＭＯＳセンサなどの撮像素子には、製造過程等に一部の画素にキズ（欠陥）が生じることがある。その結果、撮像して得られた画像データにおいて異常なレベルの画素値を出力する画素（以降、キズ画素とする）として現れる。さらに近年では、撮像素子の撮像領域内に撮像目的以外の特定用途向け画素（像面位相差画素や測距用画素等）を備えたものがある。従って撮像素子内には、周囲と同じ条件による画素値を取得できない画素も存在する。通常、このように異常値として認識された画素値をもつ画素の多くは、撮像装置内における画像処理によって補正されている。しかしながら、補正後の画素値は、撮像対象を撮像した結果得られた画素値を表しているわけではない。したがって、画像データにおける領域間の類似度を算出する際に、キズ画素や特定用途向け画素等に対応する画素が存在すると、正しい類似度を算出することができなかった。なお、ダイナミックレンジの限界を超えた白飛び画素、黒潰れ画素についても、正確な画素値が分からないという点で同様の課題があった。
【０００６】
そこで本発明の目的は、キズ画素や特定用途向け画素等の存在を考慮して領域間の類似度を算出することにより、高精度に領域間の類似度を出力することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明は、撮像素子に結像して得られる画像データに対して画像処理を実行する画像処理装置であって、前記撮像素子における特定位置に対応する前記画像データにおける位置の画素を特定画素として取得する取得手段と、前記取得手段により取得された特定画素に基づいて、着目画素と参照画素との類似度を決定するために用いる前記着目画素を含む着目領域および前記参照画素を含む参照領域とを決定する決定手段と、前記決定手段により決定された前記着目領域と前記参照領域とを比較することにより、前記着目画素と前記参照画素との類似度を算出する算出手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明により、画像データにおいて、領域内にキズ画素、特定用途向け画素、あるいは白飛び画素、黒潰れ画素等に対応する画素が含まれている場合でも、高精度に領域間の類似度を算出することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のハードウェア構成の一例を示すブロック図
【図２】画像処理装置の論理構成の一例を示すブロック図
【図３】対応点探索処理部の構成の一例を示すブロック図
【図４】画像処理の動作の一例を示すフローチャート図
【図５】対応点探索処理部の動作の一例を示すフローチャート図
【図６】事前に保持しているキズ情報の一例を示す模式図
【図７】使用画素の決定の仕方の一例を示す模式図
【図８】対応点探索処理部の構成の一例を示すブロック図
【図９】対応点探索処理部の動作の一例を示すフローチャート図
【図１０】信頼度合いの決定の仕方の一例を示す模式図
【図１１】対応点探索処理部の構成の一例を示すブロック図
【図１２】使用画素決定部の構成の一例を示すブロック図
【図１３】対応点探索処理部の動作の一例を示すフローチャート図
【図１４】画像処理装置の論理構成の一例を示すブロック図
【図１５】ノイズ低減処理部の論理構成の一例を示すブロック図
【図１６】画像処理の動作の一例を示すフローチャート図
【図１７】ノイズ低減処理の動作の一例を示すフローチャート図
【図１８】領域パラメータの例を説明する模式図
【図１９】類似度の算出例を説明する模式図
【図２０】ノイズ低減方法を説明する模式図
【図２１】参照画素の重みを算出する関数を説明する模式図
【図２２】ノイズ低減処理部の論理構成の一例を示すブロック図
【図２３】ノイズ低減処理の動作の一例を示すフローチャート図
【図２４】類似度信頼度の算出方法の一例を説明する模式図
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
＜第１実施形態＞
図１は、本実施形態に適用可能な画像処理装置のハードウェア構成を示す図である。本実施形態では、画像データに対して各種画像処理を行うパーソナルコンピュータ（ＰＣ）を一例として説明する。なおここでは、画像処理装置としてＰＣを例に説明するが、これに限らない。タブレットデバイスやスマートホン等の携帯型情報処理装置であってもよいし、デジタルカメラやカメラ付き携帯電話のように撮像装置が本実施形態の画像処理を実行可能なハードウェアを内蔵する構成でもよい。
【００１２】
本実施形態における画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を有する。
【００１３】
汎用Ｉ／Ｆ１０４は、画像処理装置と外部装置とを接続するためのインターフェースである。撮像装置１０５は、内蔵するレンズにより撮像対象を撮像素子上に結像し、結像された光を電気信号に変換してデジタル画像データを生成する。ただし、撮像領域内の撮像素子上のごく一部には、撮像対象が光に結合された結果に基づいて得られた画素値ではない位置を含む場合がある。例えば、製造過程において生じてしまった欠陥画素や、像面位相差画素や測距用画素等のように意図的に撮像目的以外の用途のために設けられた画素がある。撮像装置１０５は、前述のような理由により撮像対象を撮像素子上に結像した光に基づいて得られたと期待される画素値をもたない特定位置を示す情報を保持している。撮像装置１０５は、撮像した結果得られるデジタル画像データを出力する。
【００１４】
入力装置１０６は、マウス、キーボードなどユーザによる画像処理装置に対する指示を受け付けるための外部装置である。また、外部メモリ１０７は、メモリーカードなどの外部メモリ１０７である。汎用Ｉ／Ｆ１０４は、撮像装置１０５、入力装置１０６、外部メモリ１０７をメインバス１０９に接続する。さらに汎用Ｉ／Ｆ１０４は、赤外線通信や無線ＬＡＮ等を用いて通信装置とデータのやりとりを行う構成としてもよい。
【００１５】
ＣＰＵ１０１は、入力された信号や後述のプログラムに従って画像処理装置の各部を制御する。ＨＤＤ１０３には、ＣＰＵ１０１が各種ソフトウェアを実行するためのコンピュータプログラムが格納されている。ＣＰＵ１０１は、ＨＤＤ１０３に格納されているソフトウェア（画像処理アプリケーション）を起動させることで、画像処理装置における各種画像処理を実現する。なお、ここではＣＰＵ１０１が装置全体を制御する場合を例に説明するが、複数のハードウェアが各種画像処理を分担することにより、装置全体を制御するようにしてもよい。
【００１６】
ＲＡＭ１０２は、処理対象の画像データを一時的に保持したり、ＣＰＵ１０１が作業をしたりする領域等として使用される。モニタ１０８は、処理対象の画像データや、画像処理を実行するためのユーザインターフェース（ＵＩ）を表示する。
【００１７】
以上のように、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。
【００１８】
以下では、ＣＰＵ１０１が実行する各種画像処理について説明する。本実施形態では、上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、視点の異なる複数の画像データを入力し、撮像対象の３次元の位置を算出する処理の詳細について説明する。
【００１９】
（ステレオビジョン法）
まず、ステレオビジョン法について説明する。この手法は、複数の異なる視点から撮像された画像を用いて３次元情報を復元する技術である。このステレオビジョン法では、少なくとも２つの画像において、撮像対象におけるある空間点が、それぞれの画像上に投影された点の位置を特定する必要がある。具体的には、一方の画像を着目画像、もう一方の画像を参照画像とし、着目画像中の特定の位置の画素に対して、参照画像中から同じ点を探索する。この着目画像の特定の位置の画素に対応する参照画像中の対応点を探索するためには、着目画素と参照画素との類似度を算出する。類似度の算出には例えば、以下の数式（１）、（２）が用いられる。式（１）は差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、式（２）は差分二乗和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を示している。
【数１】
2015106290.tif 000003
【数２】
2015106290.tif 000004
【００２０】
なお、式（１）、式（２）では、ブロックサイズをM×N、一方のブロック内の画素の位置（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）、もう一方のブロック内の画素の位置（ｉ，ｊ）における画素値をＴ（ｉ，ｊ）とする。式（１）および式（２）によれば、着目画素と参照画素との類似度は、それぞれの画素を含む領域が類似しているかどうかにより決定される。着目画素を含む着目領域と参照画素を含む参照領域とにおいて、対応する画素間の画素値の差分和が小さいとき、着目領域と参照領域は類似しているということになる。そこで、類似度を示すＲＳＡＤやＲＳＳＤの値が最も小さくなる画素を、着目画素（ｉ，ｊ）に対する参照画像の対応点とする。なお、撮像対象の３次元の位置を表す３次元情報を高精度に算出するためには、対応点をサブピクセル精度で求める必要があるが、本実施例では最も単純な手法を示す。
【００２１】
（画像処理装置の論理構成）
図２は本実施形態に適用可能な画像処理装置の論理構成を示すブロック図である。各処理部は、ＣＰＵ１０１によって各処理が実行される。画像処理装置は、画像データ入力部２０１、対応点探索処理部２０２、距離画像生成部２０３、画像データ出力部２０４を有する。
【００２２】
画像データ入力部２０１は、処理対象とする異なる視点から撮像された２枚の画像データを画像処理装置に入力する。画像データは、ＣＰＵ１０１からの指示に基づき、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。なお、以下では２枚の画像データの内、基準とする画像データを着目画像、もう一方の画像データを参照画像と呼ぶ。
【００２３】
対応点探索処理部２０２は、画像データ入力部２０１により入力された２枚の画像データのうち、画素ごとに着目画像に対する参照画像の対応点を探索する。探索した対応点のデータはＲＡＭ１０２に記憶される。対応点探索処理部２０２について図３を参照して詳細に説明する。ブロックサイズ設定部３０１は、着目画素と参照画素との類似度を算出するための領域の大きさを設定する。設定したブロックサイズはＲＡＭ１０２に記憶される。なお、ブロックサイズは、対象物の大きさや濃度変化および画像密度により決定される。
【００２４】
以降の処理は、着目画像における画素ごとに実行される。処理対象となる着目画像中の注目画素は、ラスタ順に決定されていく。また、着目画素ごとに参照画素中の全ての画素を参照画素として設定し、それぞれの類似度を算出する。処理領域取得部３０２は、ＲＡＭ１０２から取得したブロックサイズに応じて、画像データ入力部２０１で入力された画像データ中の着目画像の着目領域と参照画像の参照領域を取得する。ここで着目領域とは、着目画素と着目画素の周辺画素からなる。また、参照画素は、類似度を参照する対象となる参照画素と参照画素の周辺画素とからなる。処理領域取得部３０２が取得した着目領域と参照領域は、ＲＡＭ１０２に記憶される。
【００２５】
位置取得部３０３は、ＲＡＭ１０２から取得した着目領域と参照領域とにおける特定画素の位置を取得する。取得した特定画素の位置はＲＡＭ１０２に記憶される。特定画素と特定画素の位置の取得についての詳細は後述する。
【００２６】
使用画素決定部３０４は、着目領域と参照領域とにおいて、類似度の算出に使用する画素を決定する。使用画素決定部３０４は、予め保持しているデータから特定画素の位置を取得する。特定画素に基づいて、着目領域と参照領域の類似度を算出するために用いる使用画素を決定する。使用画素決定部３０４は、決定した使用画素をＲＡＭ１０２に記憶させる。使用画素決定部３０４についての詳細は後述する。
【００２７】
類似度決定部３０５は、使用画素決定部３０４により決定された使用画素に基づいて、着目領域と参照領域それぞれにおける使用画素とを取得する。そして取得した使用画素を用いて、着目領域と参照領域との類似度を算出する。本実施形態では、式（２）が示すように、対応する画素間の画素値の差分に基づいて類似度を算出する。
【００２８】
対応点決定部３０６は、類似度決定部３０５が算出した類似度に基づいて、着目画像における対応点を参照画像中の画素から決定する。類似度を算出した全ての参照画素のうち、もっとも類似度の値が小さい画素を、着目画素の対応点とする。距離画像生成部２０３は、対応点決定部３０６が出力した対応点のデータを取得し、三角測量の原理によって距離画像を生成する。生成した距離画像データはＲＡＭ１０２に記憶される。
【００２９】
画像データ出力部２０４は、距離画像生成部２０３で生成した距離画像データをモニタ１０８やＨＤＤ１０３などに出力する。なお、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよいし、プリンタなどを接続して出力しても構わない。
【００３０】
（使用画素決定部３０４の詳細な説明）
前述の通り使用画素決定部３０４は、特定画素に基づいて、着目領域と参照領域との類似度を算出するための使用画素を決定する。特定画素とは、撮像装置１０５において内蔵のレンズにより撮像対象が撮像素子上に結像された光を電気信号に変換して得た画素値とは逸脱した値をもつ可能性が高い特定位置に対応する画素を意味する。具体的には、キズ画素、ダイナミックレンジの限界を超えた白飛び画素、黒潰れ画素、像面位相差画素、温度センサ画素、測距用センサ画素のように特定の目的のために設置された画素、ゴミや埃のついた画素等が考えられる。この中で、例えばキズ画素は通常、キズ補正処理により、周囲の画素の画素値により補間された画素値に置き換えられている。つまり本来の、撮像装置１０５において撮像対象がレンズにより結像された光を電気信号に変換して得られた画素値ではない。特に、製品出荷後に宇宙線等の影響によって発生したキズ画素や自身の周囲に連続してキズ画素が存在しているキズ画素は、周囲の画素に補間された値が本来の画素値と大きく異なってしまう可能性が高い。
【００３１】
そこで、撮像素子上のこのような特定位置に対応する画像データにおける画素を特定画素と定義する。なお、特定画素は上述した例に限定するものでなく、正確な画素値が記録されていない可能性のある画素であればどのように規定してもよい。また、当然のことながら、例えばキズ画素のみを特定画素の対象としてもよい。以降、本実施形態では、キズ画素を特定画素として適用する場合を例に説明する。
【００３２】
通常、キズ画素や特定の目的のために設置された画素については、それらの画素が撮像素子上のどの位置に存在するかというデータを撮像装置１０５が事前に保持している。図６は、各画素がキズ画素であるか否かを示したデータの一例を示す。図６（ａ）が示す画像データに対して、図６（ｂ）は、キズ画素の位置を示すキズ情報を表す。図６（ａ）が示す画像データのうち２つの画素がキズ画素として認識されている。したがって、キズ画素を特定画素の対象とする場合、このキズ情報を利用することによって、画像中における特定画素の位置を取得することが可能である。
【００３３】
また特定画素の位置は、キズ情報を用いる以外にも、リアルタイムに推定することによっても取得できる。例えばキズ画素であれば、隣接する画素値との比較によって検出する。具体的には、注目画素の画素値が隣接する画素群の画素値と比較し、いずれの画素とも極端に画素値が異なっているとき、その画素をキズ画素として認定する。また、黒潰れ画素、白飛び画素を特定画素として検出する場合、画素値が黒潰れ値又は白飛び値であるか判定することによって検出すればよい。以上のように、事前に保持している情報を用いるか、何らかの検出手段を実行することによって、着目領域と参照領域とに含まれる特定画素の位置を取得する。
【００３４】
本実施形態では、特定画素は、撮像対象が結像して得られた画素値ではないため、着目領域と参照領域との類似度の算出には使用しない。なぜなら、ブロックマッチングを行う際、式（１）や式（２）が示すような演算に特定画素を用いると、着目領域と参照領域は、本来は類似している領域間であっても特定画素の影響により類似度の値が大きくなってしまう。その結果、本来類似している領域間がマッチングしているとみなされなくなってしまうことがある。そこで、着目領域、参照領域中に特定画素が存在するとき、特定画素以外の画素を使用画素として決定する。図７は、使用画素の決定を説明するための図である。図７（ａ）、着目画像における着目領域と参照画像における参照領域の一例を示す。ここで、数値が書かれていない画素が特定画素である。本実施形態では、着目領域と参照領域において少なくともいずれかが特定画素である位置の画素は、使用画素から除外し、類似度の算出に用いない。図７（ｂ）は、使用画素を表している。斜線で示した画素が使用画素である。これにより、本来着目領域と参照領域との類似度が小さい場合に、特定画素の影響で大きい類似度が算出されることを防ぐことができる。
【００３５】
（類似度決定部３０５の詳細な説明）
類似度決定部３０５は、使用画素決定部３０４によって決定された使用画素を用いて、着目領域と参照領域との類似度を算出する。前述の通り類似度決定部３０５は、式（１）が示す差分絶対値和や式（２）が示す差分二乗和を用いて類似度を算出する。本実施形態では領域中の決定した使用画素のみを用いて類似度を算出するため、類似度を算出する式はそれぞれ式（３）、式（４）のようになる。
【数３】
2015106290.tif 000005
【数４】
2015106290.tif 000006
式（３）、式（４）では、着目領域、参照領域に特定画素が含まれるとき、特定画素が存在する位置の結果は類似度に加算されないことになる。
【００３６】
ところで、差分絶対値和、差分二乗和はこの類似度の値が小さいほど類似していることを表している。一方着目領域、参照領域内に特定画素が存在する際には、類似度の加算される差分が減る分、平均的に通常の類似度よりも小さくなる。類似度Ｒの平均的な大きさは、使用画素の数に比例する。そこで、着目領域や参照領域として設定されるブロックサイズに含まれる画素数と使用画素の数とに応じて、類似度を補正する。例えば、算出した類似度をＲとしたとき、補正後の類似度Ｒ’は、ブロックサイズをＭ×Ｎ（着目領域に含まれる画素数に相当）、使用画素数をＸとしたとき式（５）により得られる。
【数５】
2015106290.tif 000007
式（５）により、着目領域、参照領域に特定画素が存在した場合にも、全画素で算出したと仮定したときの類似度を得ることができる。
【００３７】
ただし、式（５）の右辺の分母である使用画素の数が０となるような場合、つまり領域中の全ての位置に着目領域または参照領域の少なくともいずれかに特定画素が存在する場合には、例外的な処理を行う。具体的には、使用画素の数が０の場合は、式（１）又は式（２）を用いて算出した結果を類似度Ｒ’として扱う。これにより、正確な画素値が記録されていない特定画素は、類似度の算出に使用しないようにした上で、全画素を使用した類似度を算出する。しかしながら特定画素が多い場合、類似度の値はとても大きくなる。従って実質的に、使用画素が０だった場合、着目領域と参照領域はマッチングしていると判定されにくい類似度が算出されることになる。
【００３８】
（処理フロー）
以下では、本実施形態における画像処理装置が実行する処理の流れを説明する。図４は本実施形態における画像処理装置のフローチャートである。ＣＰＵ１０１は、以下に説明するフローチャートがプログラムされたアプリケーションを実行することにより、各処理を実現する。
【００３９】
ステップＳ４０１において、画像データ入力部２０１は異なる視点から撮像された２枚の画像データを入力する。前述の通り、２つの画像データのうち１つを基準なる着目画像とし、他方を参照画像として入力する。ステップＳ４０２において、対応点探索処理部２０２はステップＳ４０１において着目画像に対する参照画像の対応点を探索する。対応点探索処理については後述する。
【００４０】
ステップＳ４０３において、距離画像生成部２０３はステップＳ４０２で得られた対応点の情報を用いて距離画像データを生成する。ステップＳ４０４において、画像データ出力部２０４は、ステップＳ４０３で生成された距離画像データを出力する。
【００４１】
以下では、図３で説明したステップＳ４０２における対応点探索処理の詳細について、図５のフローチャートを参照して説明する。ステップＳ５０１において、対応点探索処理部２０２は、ステップＳ４０１で入力された着目画像と参照画像を取得する。ステップＳ５０２において、ブロックサイズ設定部３０１は、着目画素と参照画素との類似度を算出するためのブロックマッチングに用いるブロックサイズを設定する。本実施形態では、５×５画素からなる矩形のブロックサイズを用いることとする。ステップＳ５０３において処理領域取得部３０２は、対応点を探索したい着目画像の着目画素を設定し、ステップＳ５０２で設定したブロックサイズに基づいて着目領域を決定する。本実施形態では、着目領域として着目画素を中心とする５×５画素の画素群が設定される。なお、着目画素はラスタ走査により、着目画像上の全画素、もしくは一定の間隔をあけて複数の画素を順次設定していく。
【００４２】
ステップＳ５０４において、処理領域取得部３０２は、参照画像中における画素を参照画素として設定し、ステップＳ５０２で設定したブロックサイズに基づいて参照領域を決定する。参照画素はラスタ走査により、参照画像上の全画素を順次設定していけばよい。従って、１つの着目画素に対して、参照画像中の全ての画素が順に参照画素として設定されることになる。また、参照領域を参照画像上の対応するエピポーラ線上に設定してもよい。これにより、マッチングの際の誤りや計算量を軽減することができる。
【００４３】
ステップＳ５０５において、使用画素決定部３０４は、ステップＳ５０３で決定した着目領域とステップＳ５０４で決定した参照領域とに含まれる画素のうち、特定画素である画素の位置を取得する。そして、着目領域、参照領域は共に特定画素ではない位置の画素を使用画素として決定する。前述の通り使用画素決定部３０４は、図７（ａ）が示す着目領域と参照領域の特定画素の位置に基づいて、図７（ｂ）が示す斜線で示された画素を使用画素として決定する。
【００４４】
ステップＳ５０６において類似度決定部３０５は、ステップＳ５０５において決定された使用画素のみを用いて、着目画素と参照画素との類似度を算出する。本実施例では、式（３）の通りに、差分二乗和により類似度を算出する。
【００４５】
ステップＳ５０７において、類似度決定部３０５はさらに、ステップＳ５０６で算出した差分二乗和に基づく類似度を式（５）により補正する。ステップＳ５０８において対応点決定部３０６は、設定された着目画素に対して、参照画像中全ての画素を参照画素として類似度を算出したか否かを判定する。終了していればステップＳ５０９に移行し、終了していなければステップＳ５０４に移行して、未処理の画素を参照画素として設定し、処理を継続する。
【００４６】
ステップＳ５０９において、対応点決定部３０６は、着目画素に対する対応点を決定する。対応点決定部３０６は、類似度決定部３０５から参照画像中の全ての画素について、着目画素との類似度を取得する。対応点決定部３０６は、全参照領域の中で最も類似度が小さい画素の位置とする。つまり、最も着目領域とマッチングしている参照領域に対応する参照画素が、対応点となる。
【００４７】
ステップＳ５１０において対応点決定部３０６は、ステップＳ５０１で入力された着目画像について、全ての画素に対して対応点探索処理が終了したかどうか判定する。終了していればステップＳ５１１に移行し、終了していなければステップＳ５０３に移行して未処理の画素を着目画素として設定し、処理を継続する。ステップＳ５１１において、対応点探索処理部２０２は、ステップＳ５０９で決定した各画素の対応点のデータを出力する。以上で、対応点探索処理が完了する。
【００４８】
以上、本実施形態によれば、着目画素に対する参照画素の類似度をブロックマッチングにより算出する際に、特定画素を除く画素を用いて類似度を算出する。特定画素とは、キズ画素のように、撮像対象を結像して得られる値とは異なる画素値をもつ画素である。これにより、より高精度に着目画素と類似した対応点を検出することができる。
【００４９】
なお、本実施形態では、２枚の画像により距離画像を生成しているが、視点の異なる３枚以上の画像から距離画像を生成することもできる。この場合は、画像データ入力部で入力する画像を、着目画像を一枚、参照画像を複数枚とし、着目画像の着目画素に対応する対応点を各参照画像から探索する。
【００５０】
＜第２実施形態＞
前述の実施形態では、類似度を決定する際に、まず、着目画素に対する参照画素の類似度を、特定画素以外の画素を用いて算出した。本実施形態では、特定画素をどれくらい信頼するかという意味で重み付けを行う方法を説明する。つまり本実施例では、領域における各画素位置の信頼性に基づいて類似度を決定する。なお、前述の実施形態と同様の構成については、説明を省略する。
【００５１】
図８は、第２実施形態に適用可能な対応点探索処理部２０２の詳細な構成を示すブロック図である。本実施形態における対応点探索処理部２０２は、ブロックサイズ設定部８０１、処理領域取得部８０２、情報取得部８０３、信頼度合い決定部８０４、類似度決定部８０５、対応点決定部８０６を有する。この中で、ブロックサイズ設定部８０１、処理領域取得部８０２、対応点決定部８０６は、それぞれ、ブロックサイズ設定部３０１、処理領域取得部３０２、対応点決定部３０６と同じである。
【００５２】
情報取得部８０３は、着目領域と参照領域とにおける特定画素の位置とその種類を表す情報を取得する。取得した特定画素の情報はＲＡＭ１０２に記憶される。特定画素の種類とは、その特定画素がキズ画素なのか、白飛び画素、黒潰れ画素なのか、特定の目的のために設置された画素なのか、ゴミや埃のついた画素なのかということを意味する。信頼度合い決定部８０４は、着目領域と参照領域とにおいて、各画素位置の信頼度合いを決定する。信頼度合いの決定についての詳細は後述する。
【００５３】
類似度決定部８０５は、着目領域と参照領域と信頼度合いとを取得し、信頼度合いに応じて着目領域と参照領域との類似度を算出して決定する。類似度の決定についての詳細は後述する。
【００５４】
（信頼度合い決定部８０４）
信頼度合いとは、着目領域と参照領域の各画素位置に対して定義されるパラメータである。信頼度合いは、類似度を算出する際に、その位置に対応する画素間の差分をどれだけ信頼して類似度に反映するかを意味する。図１０に信頼度合いの決定の仕方の具体例を示した。図１０（ａ）は、本実施形態において情報取得部８０３が取得する情報の一例である。ここで、数値が書かれていない画素が特定画素である。キズ、飽和というのは特定画素の種類であり、それぞれキズ画素、白飛び画素を表している。そして、図１０（ｂ）が、特定画素の種類に応じて設定される各画素位置の信頼度合いを示したものである。着目領域、参照領域共に正常な画素となっている画素位置の信頼度合いは１となっている。また、着目領域、参照領域のどちらか一方以上の画素が飽和画素であり、対応するもう一方の位置がキズ画素でないとき、その画素位置の信頼度合いを０.５としている。さらに、着目領域、参照領域のどちらか一方以上の画素がキズ画素であるとき、その画素位置の信頼度合いは0とする。
【００５５】
なお、信頼度合いは必ずしも０〜１の範囲にする必要はない。また、信頼度合いは、その画素が撮像対象を結像した結果得られる値ではない場合に、相対的に小さくするように決定されればどのように規定してもよい。あるいは、着目領域と参照領域において、ある画素位置がその両方の領域で特定画素だった場合に、信頼度合いをより小さくするといった方法も考えられる。例えば、着目領域のある画素と、対応する画素位置の参照領域における画素の何れも白飛び画素だった場合は、信頼度を０．３にするというように設定してもよい。
【００５６】
なお、ある領域における各画素位置の信頼度合いＥｉｊは、式（４）により表すことができる。ここで、ブロックサイズをＭ×Ｎ、着目領域の画素をＩ、参照領域の画素をＴとし、各画素位置をｉ（ｉ＝０〜Ｍ−１）、ｊ（ｊ＝０〜Ｎ−１）とする。
【００５７】
【数６】
2015106290.tif 000008
式（６）は、着目領域、参照領域における同一位置の画素が共に特定画素でなかったとき１とし、特定の条件を満たす時に０．５とし、それ以外のときに０とすることを表している。
【００５８】
（類似度決定部８０５） 
類似度の算出には式（１）で示した差分絶対値和や式（２）で示した差分二乗和を用いる。その際、本実施形態では信頼度合いＥｉｊを考慮してそれぞれ式（７）、式（８）のように算出する。
【００５９】
【数７】
2015106290.tif 000009
【数８】
2015106290.tif 000010
式（７）、式（８）はそれぞれ差分絶対値和と差分二乗和に対して、信頼度合いＥｉｊにより重みをつけることを意味している。例えば、式（６）で示した信頼度合いＥｉｊを用いた場合には、着目領域、参照領域のある位置の画素が共に特定画素でない場合は、差分絶対和または差分二乗和をそのまま加算する。また、所定の条件を満たすとき０．５倍した結果を加算し、それ以外の場合にはその位置の結果を加算しない。前述の通り、類似度が小さいほど着目領域と参照領域は類似していることを表している。したがって、信頼度合いＥｉｊが１とならない画素位置が存在する場合には、算出結果が通常の値よりも小さくなり、類似度が高いとみなされることになる。そこで、信頼度合いＥｉｊに応じて、適切に類似度を補正する必要がある。算出した類似度をＲとすると、補正後の類似度Ｒ’は、ブロックサイズをＭ×Ｎとしたとき次式で得られる。
【００６０】
【数９】
2015106290.tif 000011
式（９）により、信頼度合いＥｉｊを用いて特定画素が存在した個所の重みを小さくした場合にも、全画素を使用したと仮定したときの類似度の値を得ることができる。ただし、式（９）の右辺の分母である重みの総和が０となるような場合は、例外的な処理を行う。具体的には、例えば式（１）又は式（２）を用いて算出した結果を類似度Ｒ’とする。これにより、正確な画素値が記録されていない特定画素は、類似度の算出に使用しないようにした上で、全画素を使用した類似度を算出する。しかしながら特定画素が多い場合、類似度はとても大きい値となる。これは実質的に、使用画素が０だった場合には着目領域と参照領域は類似していると判定されにくい類似度が算出されることになる。
【００６１】
以下では、本実施形態における対応点探索処理の詳細を説明する。図９は第２実施形態に適用可能なフローチャートを示す。前述の実施形態と同様、ＣＰＵ１０１は、以下に示すフローチャートがプログラムされたアプリケーションを実行することにより、各処理を実行する。なおステップＳ９０１〜Ｓ９０４は、ステップＳ５０１〜Ｓ５０４に等しい。
【００６２】
ステップＳ９０５において信頼度決定部８０４は、ステップＳ９０３で決定した着目領域とステップＳ９０４で決定した参照領域とに含まれる各画素における特定画素の位置とその種類を表す情報を取得する。そして、各画素位置の信頼度合いを決定する。本実施形態では、キズ画素、白飛び画素、黒潰れ画素を特定画素として検出する。また図１０（ｂ）が示す通り、着目領域または参照領域の何れかにおいて白飛び画素および黒潰れ画素である場合は、信頼度合いを０．５とし、着目領域または参照領域の何れかにおいてキズ画素がある場合は、信頼度合いを０とする。
【００６３】
ステップＳ９０６において類似度決定部８０５は、ステップＳ９０５で決定した信頼度合いに応じてステップＳ９０３で決定した着目領域とステップＳ９０４で決定した参照領域との類似度を算出する。本実施形態では式（８）が示すように、信頼度合いに応じた重みを差分二乗和に積算し、類似度を算出する。
【００６４】
ステップＳ９０７において類似度決定部８０５はさらに、ステップＳ９０６で算出した差分二乗和に基づく類似度を、式（９）の通りに補正する。
【００６５】
以降ステップＳ９０８〜Ｓ９１１は、ステップＳ５０８〜Ｓ５１１に等しい。
【００６６】
以上のように、特定画素のうちその種類に応じた信頼度合いを用いて、より高精度に類似度を算出する方法について説明した。これによれば、画像データにおいて撮像対象が結像された結果得られる画素値ではない特定画素を、特定画素の種類に応じて類似度の算出に反映させることができる。
【００６７】
＜第３実施形態＞
前述の実施形態では、対応点探索処理部２０２において、予め決められたブロックサイズにおける画素について、類似度の算出に使用するか否を決定する方法について説明した。このとき、着目領域と参照領域とにおいて特定画素が多数存在し、使用画素の数が少ない、あるいは信頼度合いが低い画素が多くなってしまう場合がある。本来は差分が小さい（つまり類似している）場合に類似度が小さくなるのに対し、使用画素の数が極端に少ないと、合計する差分の数が少ないために類似度が小さくなってしまう。そこで第３実施形態では、領域内に特定画素が多数存在する場合には、ブロックサイズを設定し着目領域と参照領域を再度取得し直す。これにより、十分な数の使用画素（あるいは信頼度合いが高い画素）を用いて類似度の算出を行う方法について説明する。
【００６８】
図１１は本実施形態に適用可能な対応点探索処理部２０２の詳細を示すブロック図である。ブロックサイズ設定部１１０１、処理領域取得部１１０２、位置取得部１１０３、類似度決定部１１０５、対応点決定部１１０６は、ブロックサイズ設定部３０１、処理領域取得部３０２、位置取得部３０３、類似度決定部３０５、対応点決定部３０６に相当する。図１２は、第３実施形態における使用画素決定部１１０４の詳細を示すブロック図である。本実施形態における使用画素決定部１１０４は、判定部１２０１、ブロックサイズ変更部１２０２、処理領域取得部１２０３、位置取得部１２０４、決定部１２０５を有する。
【００６９】
判定部１２０１は、着目領域と参照領域とに含まれる特定画素の位置を取得する。そして、各領域に含まれる画素に対して特定画素の占める割合が閾値以上であるか判定する。なお、閾値はどのように規定してもよい。判定部１２０１は、閾値以下だった場合、探偵したブロックサイズをブロックサイズ変更部１２０２に出力する。
【００７０】
ブロックサイズ変更部１２０２は、判定部１２０１により、領域に含まれる画素に対して特定画素の占める割合が閾値以下として判定された場合、判定部１２０１が判定したブロックサイズを一回り大きいサイズに変更する。変更したブロックサイズはＲＡＭ１０２に記憶される。
【００７１】
処理領域取得部１２０３は、ブロックサイズ変更部１２０２により変更された後のブロックサイズに応じて、画像データ入力部２０１で着目画像の着目領域と参照画像の参照領域を取得する。処理領域取得部１２０３は、取得した着目領域と参照領域を位置取得部１２０４に出力する。  位置取得部１２０４は、処理領域取得部１２０３から取得した着目領域と参照領域とにおける特定画素の位置を取得する。取得した特定画素の位置は決定部１２０５に出力する。特定画素と特定画素の位置の取得については第１実施形態同様、本実施形態ではキズ情報を用いる。
【００７２】
決定部１２０５は、処理領域取得部１２０３が取得した着目領域と参照領域とにおいて、位置取得部１２０４が取得した特定画素に基づいて類似度の算出に使用する使用画素を決定する。決定した使用画素はＲＡＭ１０２に記憶される。使用画素の決定については第１実施形態に示した通りである。
【００７３】
以下では、本実施形態における対応点探索処理の流れを説明する。図１３は、第３実施形態に適用可能な対応点探索処理のフローチャートである。ステップＳ１３０１〜Ｓ１３０４は、ステップＳ５０１〜Ｓ５０４と同様である。
【００７４】
ステップＳ１３０５において判定部１２０１は、着目領域と参照領域とに含まれる画素のうち、特定画素の位置を取得する。そして、着目領域、参照領域共に特定画素ではない画素（使用画素候補）が領域に含まれる画素数（ブロックサイズ）に対して閾値以上あるか判定する。閾値以上あれば使用画素候補を使用画素として決定し、ステップＳ１３０９に移行する。閾値未満であればステップＳ１３０６に移行する。
【００７５】
ステップＳ１３０６においてブロックサイズ変更部１２０２は、ステップＳ１３０２で設定したブロックサイズを一回り大きいサイズに拡大する。着目画素、参照画素を中心とする領域を決定するためには、ブロックサイズは奇数×奇数とする必要がある。したがって、ステップＳ１３０２で設定したブロックサイズが奇数×奇数だったとき、拡大するブロックサイズは一つ大きい奇数×一つ大きい奇数になる。例えば、3×3なら5×5のように変更する。
【００７６】
ステップＳ１３０７において処理領域取得部１２０３は、ステップＳ１３０３において決定された着目画素に対して、拡大後のブロックサイズに基づいて着目領域を取得する。ステップＳ１３０８において処理領域取得部１２０３は、ステップＳ１３０４において決定された参照画素に対して、拡大後のブロックサイズに基づいて参照領域を取得する。ステップＳ１３０９〜Ｓ１３１５は、ステップＳ５０５〜Ｓ５１１と同様の処理を行う。
【００７７】
以上の処理により、着目領域と参照領域において、予め設定されたブロックサイズに使用画素候補が少ない場合にも、十分な数の使用画素を用いて類似度を算出することが可能となる。その結果、良好なノイズ低減効果を得ることができる。なお、本実施形態では、特定画素の位置を取得して、使用画素を決定する方法について説明したが、第２実施形態と同様に領域における各画素位置の信頼度合いに基づいて類似度を算出する方法で実施してもよい。
【００７８】
なお、本実施形態では、使用画素の数をブロックの拡大によって制御したが、これに限らない。予め、類似度の算出に用いる使用画素の数と、着目画素の近傍画素において判定純を決めておく。注目画素または参照画素について決められた画素順に、特定画素であるかどうかを判定し、いずれの画素においても特定画素でない場合、それぞれの使用画素を決定するような方法でもよい。
【００７９】
＜第４実施形態＞
前述の実施形態では、ブロックマッチングにより異なる視点から撮像された画像間の対応点を探索するステレオビジョン法を実行する画像処理について説明した。本実施形態では、ブロックマッチングによりノイズ低減処理を行う実施形態を例に説明する。基本的な画像処理装置のハードウェア構成は、前述の実施形態と同様である。
本実施形態では、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。
【００８０】
（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、ＮｏｎＬｏｃａｌＭｅａｎｓと呼ばれるノイズ低減処理について説明しておく。この手法は、ノイズ低減対象となる画像データの着目画素について、複数の参照画素ごとにブロックマッチングにより類似度を算出する。各参照画素の画素値と類似度に応じた重みとを用いて重み付き平均した結果を、着目画素の画素値に置き換えることにより着目画素のノイズを低減する。参照画素の画素数をＮＳ、参照画素の画素値をＩｊ（ｊ＝１〜ＮＳ）、参照画素の重みをｗｊ（ｊ＝１〜ＮＳ）とすると、加重平均したノイズ低減処理後の着目画素の画素値Ｉnewは次式になる。
【数１０】
2015106290.tif 000012
【００８１】
次に、参照画素の重みの決定方法について、図１４及び図１５を参照して説明する。図１４（ａ）において、画像データ１４０１が処理対象画像を示す。画像データ１４０１において、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、画素１４０２を着目画素とすると、着目画素の画素値はＩ（４、４）により表される。領域１４０３は着目領域であり、着目画素１４０２を中心とした３×３画素の矩形領域である。参照画素群１４０４は着目画素のノイズ低減に用いられる参照画素を示し、着目画素１４０２を含む５×５画素（ＮＳ＝２５）の矩形領域内からなる。領域１４０５は、参照画素Ｉ（２，２）の参照領域であり、参照画素Ｉ（２，２）を中心とし、着目領域と同サイズの３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域１４０３と当該参照画素Ｉ（２、２）の参照領域１４０５とを比較して類似度を決定する。本実施形態では、図１４（ｂ）のように、着目領域１４０３の画素をｂｓ（ｐ，ｑ）、参照領域１４０５の画素をｂｊ（ｐ，ｑ）（ｊ＝１〜ＮＳ）とする。着目領域１４０３における各画素と参照領域１４０５における各画素は、画素位置が対応している。そして、着目領域１４０３と参照領域１４０５との空間的に対応する画素の差を類似度とすると、類似度Ｃｊは式（１１）になる。
【数１１】
2015106290.tif 000013
【００８２】
類似度Ｃｊは値が小さいほど着目領域と参照領域は類似していることを意味する。そこで、類似度Ｃｊに応じて、参照画素の重みを決定する。重みは、図１５に示す関数によって決められる。類似度Ｃｊが小さいほど重みが大きく、類似度Ｃｊが大きいほど重みが小さくなるように決定すればよく、式（１２）によって表される。
【数１２】
2015106290.tif 000014
【００８３】
ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくすると重みｗｊは大きくなる。したがって、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。
【００８４】
以下同様に、着目領域１４０３と各参照画素の参照領域とを順次比較していくことで、参照画素毎の重みが得られる。
【００８５】
尚、本実施形態におけるノイズ低減処理は、参照画素の重みが着目領域と参照領域との類似度とに基づいて決まる処理であればよく、類似度や重みの決定方法などはここで説明した方法に限られるものではない。例えば、類似度は式（１３）のように差分絶対値和で算出することも考えられる。
【数１３】
2015106290.tif 000015
【００８６】
（画像処理装置の論理構成）
以下では、図１６は、本実施形態に適用可能な画像処理装置の論理構成を示す。図１６において画像処理装置は、画像データ入力部１６０１と、領域設定部１６０２と、ノイズ低減処理部１６０３と、画像データ出力部１６０４とを有する。前述の実施形態同様、各処理部は、ＣPU１０１の指示により制御され、各処理が実行される。画像データ入力部１６０１は画像データを画像処理装置に入力する。画像データは、撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。
【００８７】
領域設定部１６０２は、ノイズ低減処理に用いる領域パラメータをノイズ低減処理部１６０３に入力する。領域パラメータは、ＨＤＤ１０３や外部メモリ１０７から入力される。また、ユーザインターフェイス（ＵＩ）を介し、キーボードやマウスなどの入力装置１０６から直接指定して入力してもかまわない。なお、領域パラメータの詳細については後述する。
【００８８】
ノイズ低減処理部１６０３は、画像データ入力部１６０１で入力された画像データを取得する。そして、画像データに対して画素毎にノイズ低減処理を行い、ノイズが低減された補正画像データを生成する。生成した補正画像データはＲＡＭ１０２に記憶される。
【００８９】
図１７は、ノイズ低減処理部１６０３の詳細な構成を示すブロック図である。ノイズ低減処理部１６０３は、信頼度合い算出部１７０１、類似度算出部１７０２、類似度補正部１７０３、重み算出部１７０４、重み付き平均算出部１７０５を有する。信頼度合い算出部１７０１は入力された画像データを取得し、処理対象とする着目領域と参照領域とに含まれる各画素における特定画素の位置とその種類を表す情報を取得する。そして、各画素位置の信頼度合いを決定する。本実施形態では、キズ画素を特定画素として取得する。また、着目領域と参照領域とにおいて、対応する画素のいずれも特定画素でない場合は信頼度合いを１とし、少なくとも一方の画素が特定画素である場合は信頼度合いを０とする。
【００９０】
類似度算出部１７０２は、入力された画像データと領域パラメータと信頼度合いとを取得し、着目領域と参照領域との類似度を算出する。類似度補正部１７０３は、類似度算出部１７０２が算出した類似度を、信頼度合いに応じて補正する。類似度算出部１７０２および類似度補正部１７０３については、詳細を後述する。
【００９１】
重み算出部１７０４は、画像データと領域パラメータと補正された類似度とを取得し、類似度に応じた重みを算出する。重みつき平均算出部１７０５は、画像データと領域パラメータと各参照画素の重みとを取得し、補正画像データを生成する。画像データ出力部１６０４は、ノイズ低減処理部１６０３が生成した補正画像データをモニタ１０８やＨＤＤ１０３などに出力する。なお、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７や、不図示の外部サーバなどに出力してもよいし、プリンタなどを接続して出力しても構わない。
【００９２】
（類似度算出部１７０２および類似度補正部１７０３）
類似度算出部１７０２は、信頼度合い算出部１７０１から得られる信頼度合いに基づいて類似度Ｃｊを算出する。まず本実施形態における信頼度合いは、式（１４）により表すことができる。なお、信頼度合いをＥpqとする。
【数１４】
2015106290.tif 000016
【００９３】
類似度算出部１７０２は、信頼度合いＥpqに応じて、式（１５）のように対応する画素間の差分二乗和により類似度Ｃｊ算出する。
【数１５】
2015106290.tif 000017
【００９４】
さらに類似度補正部１７０３は、信頼度合いＥpqに応じて類似度Ｃｊを補正する。着目領域および参照領域のブロックサイズをM×Nとしたとき、補正した類似度Ｃｊ’は次式で得られる。
【数１６】
2015106290.tif 000018
【００９５】
補正された類似度Ｃｊ’が、重み算出部１７０４に出力される。
【００９６】
（メイン処理フロー）
以下では、本実施形態における画像処理装置が実行する処理の流れを説明する。図１８は、本実施形態における画像処理のフローチャートを示す。前述の実施形態と同様、ＣＰＵ１０１は、以下に示すフローチャートがプログラムされたアプリケーションを実行することにより、各処理を実行する。
【００９７】
ステップＳ１８０１において、画像データ入力部１６０１は画像データを入力する。ステップＳ１８０２において、パラメータ入力部１６０２は画像処理パラメータを入力する。入力するパラメータは領域パラメータある。領域パラメータについて説明する。式（１０）から式（１２）で説明したように、ノイズ低減後の画素値を求めるためには、着目画素と参照画素との類似度を決定するための着目領域が必要である。なお着目領域が決まれば、参照画素に対応する参照領域も決まることになる。そこで本実施形態において領域パラメータは、参照画素と着目領域の画素配置を示すパラメータである。なお参照画素は着目画素近傍の画素としてもよいし、画像全体の画素としても構わない。以下では、参照画素は着目画素を中心とする５×５画素として説明する。尚、一般に参照画素を増やすとノイズ低減効果が向上するが、処理時間も増加するため、所望の実施形態に応じて参照画素を領域パラメータとして入力すればよい。
【００９８】
着目領域は、一般に着目領域を大きくすると、ベタ部のノイズ低減効果が大きく、反対に着目領域を小さくすると、エッジ部のノイズ低減効果が大きくなるため、所望の実施形態に応じて、適当な着目領域を領域パラメータとして入力すればよい。ここで、図１９を参照して、着目領域の例を説明する。図１９は、領域パラメータとして指定される着目領域と複数の参照画素とのセットが複数ある例を模式的に示している。図１９において、黒画素が着目画素を示している。図１９の各着目領域の項において、黒画素及び斜線で示す画素が着目領域を示しており、各参照画素の項において黒画素及び斜線で示す画素が参照画素を示している。このように、図１９（ａ）から図１９（ｆ）に示すセットが領域パラメータの例である。図１９（ａ）は３×３画素の着目領域ａ１、図１９（ｂ）は５×５画素の着目領域ｂ１を示しており、図１９（ａ）の着目領域ａ１と図１９（ｂ）の着目領域ｂ１とでは画素数が異なる。また、図１９（ｃ）は着目画素から１画素間隔の３×３画素の着目領域ｃ１を示している。図１９（ｄ）は着目画素から縦横に５画素ずつの着目領域ｄ１を示している。図１９（ａ）の着目領域ａ１と、図１９（ｃ）の着目領域ｃ１と、図１９（ｄ）の着目領域ｄ１とでは、画素数は同じであるが、着目領域の画素配置が異なる。なお、着目領域の画素配置はこれに限られるものではなく所望の配置を取って構わない。例えば、図１９（ｅ）は着目画素からのマンハッタン距離が２以下の着目領域ｅ１を示している。図１９（ｆ）は着目画素からのユークリッド距離が√５以下の着目領域ｆ１を示している。このように着目画素からの距離が異なる複数の着目領域を複数の領域パラメータとして入力しても構わない。尚、図１９では着目領域及び参照画素の範囲を便宜的に正方形で示しているが、これに限られるものではなく長方形やその他の形状であっても構わない。このように、着目領域は領域内の画素数または画素配置によって、様々なバリエーションが考えられる。
【００９９】
ステップＳ１８０３において、ノイズ低減処理部１６０３はノイズ低減処理を行い、補正画像データを生成する。ノイズ低減処理における詳細なフローについては後述する。ステップＳ１８０４において、画像データ出力部１６０４は、ステップＳ１８０３で生成された補正画像データを出力する。
【０１００】
（ノイズ低減処理フロー）
以下では、ステップＳ１８０３のノイズ低減処理のフローについて、図２０が示すフローチャートを参照して説明する。
【０１０１】
ステップＳ２００１においてノイズ低減処理部１６０３は、ステップＳ１８０１において画像データ入力部１６０１により入力された画像データを取得する。
ステップＳ２００２においてノイズ低減処理部１６０３は、ステップＳ１８０２において領域設定部１６０２により入力された領域パラメータを取得する。ここでは、図１０（ａ）が示す３×３の画素からなる矩形領域を着目領域として設定するパラメータが入力されるとする。また、重み付き平均に用いられる参照画素群を示すパラメータも入力される。
【０１０２】
ステップＳ２００３においてノイズ低減処理部１６０３は、ステップＳ２００２において取得した領域パラメータに基づいて、画像データにおける着目画素と着目領域を決定する。ステップＳ２００４においてノイズ低減処理部１６０３は、ステップＳ２００２で取得した領域パラメータに基づいて、画像データにおける参照画素と参照領域を決定する。
【０１０３】
ステップＳ２００５において信頼度合い算出部１７０１は、着目領域と参照領域とに含まれる各画素の信頼度合いを、画素位置毎に決定する。本実施形態では、前述の実施形態と同様に式（１４）を用いて信頼度合いが決まるとする。つまり、着目領域または参照領域において少なくともいずれかにおいて特定画素である画素位置については、信用度合いは０となる。また、着目領域および参照領域においていずれも特定画素ではない画素位置における信頼度合いを１とする。
【０１０４】
ステップＳ２００６において、ノイズ低減処理部１６０３は、ステップＳ２００５で決定した信頼度合いに基づいて、着目領域と参照領域とから着目画素に対する参照画素の類似度を算出する。前述の通り、類似度の算出は式（１５）を用いる。ステップＳ２００７において類似度補正部１７０３は、信頼度合い算出部１７０１から信頼度合いを取得し、信頼度合いに応じて類似度算出部７１７０２が算出した類似度を、式（１６）のように補正する。ステップＳ２００８において重み算出部１７０４は、ステップＳ２００７において類似度補正部１７０３により出力された類似度に応じて、参照画素の重みを算出する。重みの算出には式（９）を適用する。
【０１０５】
ステップＳ２００９においてノイズ低減処理部１６０３は、ステップＳ２００２で入力された領域パラメータの参照画素の全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２０１０に移行し、終了していなければステップＳ２００４に移行して処理を継続する。ステップＳ２０１０において、重みつき平均算出部１７０５は、ステップＳ２００８において算出した着目画素に対する各参照画素の重みに基づいて式（１０）を適用し、ノイズ低減処理後の補正画素値を算出する。
【０１０６】
ステップＳ２０１１において、ノイズ低減処理部１６０３は、ステップＳ２００１で入力された画像データの全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２０１２に移行し、終了していなければステップＳ２００３に移行して処理を継続する。ステップＳ２０１２において、ノイズ低減処理部１６０３は、ステップＳ２０１０で生成した補正画素値から補正画像データを生成する。
【０１０７】
以上の処理で、本実施形態における画像データのノイズ低減処理が完了する。本実施形態によれば、着目画素に対する類似度を算出するために設定された着目領域および参照領域において、特定画素の種類に応じた信用度合いに基づいて類似度が決められる。これは、特定画素のような本来撮像対象が結像された結果得られる画素値じゃない画素を、類似度の算出に用いないことを目的とする。図２１（ａ）は、本実施形態における類似度算出の例を示す。着目領域と参照領域は、互いに対応する画素配置をもつ。少なくともいずれかの領域において特定画素であると判定された画素位置については、差分を算出しない。これにより、着目画素近傍の画素値が表すパターンと参照画素近傍の画素値が表すパターンとについて、より高精度に類似度を算出できる。その結果、画像データに対するノイズ低減処理の効果を高める。
【０１０８】
なお、本実施形態では、着目領域を設定するための領域パラメータは変更せず、特定画素を差分二乗和に含まれないように算出した。これは、領域パラメータが示す着目領域を、参照画素ごとに変更して類似度を算出していると考えることもできる。着目領域の変更方法について、図２１を参照して説明する。図２１（ａ）は着目領域が３×３画素のときの着目領域と参照領域の一例である。ここで、丸で囲まれている画素は特定画素である。図２１（ｂ）は、このときに類似度を算出する際に使用する使用画素を示しており、使用画素は斜線で表されている。取得した領域パラメータを特定画素の位置によって、使用位置のみを含む着目領域になるように変更する。このように、類似度の算出には、着目領域、参照領域共に正常な画素を用いる。式（１５）で示した類似度Ｃ’ｊは、Ｅｐｑを式（１４）のように定義したとき、次式のように表すこともできる。
【数１７】
2015106290.tif 000019
【数１８】
2015106290.tif 000020
【０１０９】
ここで補正係数αは、着目領域の全画素数／（着目領域の全画素数−特定画素数）で定義される。類似度を算出する際に特定画素の個所を使用しないと、差分二乗和（または差分絶対和）に加算される値が減る分、類似度Ｃｊは小さくなってしまう。具体的には、着目領域に含まれる９画素および参照領域に含まれる９画素に特定画素がない場合、着目領域と参照領域において対応する画素間の差分二乗が９画素分総合された値が類似度Ｃｊとなる。一方、着目領域および参照画素の何れかに特定画素がある場合、特定画素がある画素位置の分だけ、合算される差分二乗が少なくなる。つまり類似度Ｃｊの平均的な大きさは使用した画素数に比例する。そこで、これを補うように補正係数αを乗算することにより、特定画素を除いた正常な画素の類似度から全画素を使用したと仮定したときの類似度の値を決定する。
【０１１０】
なお、着目領域の全画素が特定画素だった場合にはαの分母が０になってしまうため、例外的な処理を行う。具体的には、例えば式（８）を用いて類似度Ｃｊを算出する。この場合、特定画素を類似度の算出に用いることになる。しかしながら、特定画素は撮像対象が結像されることによって得られた値ではないため、特定画素位置における差分は大きくなる。従って、類似度が大きくなり、着目画素に対して参照画素は類似していないと判定される可能性が高くなる。あるいは、特定画素である着目画素の値をそのまま補正後の画素値として出力してもよい。また、類似度を算出する方法は差分二乗和だけでなく、例えば式（１３）に示した差分絶対値和でもよい。その場合は式（１８）により類似度を補正する。
【数１８】
2015106290.tif 000021
【０１１１】
式（１８）においても、式（１７）の補正係数を使うことができる。その他の補正方法として、特定画素が白飛び画素又は黒潰れ画素であり、さらにノイズの分散が予め解っている場合には、式（１１）に対して、式（１９）に示した例外的な画素数に分散の2倍をかけた値を加算してもよい。なお、そのとき類似度を差分絶対値和で算出した場合は、式（１３）に対して式（２０）を加算することになる。
【数１９】
2015106290.tif 000022
【数２０】
2015106290.tif 000023
【０１１２】
これにより、類似度Ｃｊの平均的な減少量を補うことができる。なお、決定方法はこれに限らず、差分を算出する画素数が減ることにより類似度Ｃｊが減少するのを補えるものであればよい。
【０１１３】
＜第５実施形態＞
第４実施形態では、ノイズ低減処理部１６０３において、信頼度合いに基づいた類似度を算出し、その類似度を適切に補正した類似度に応じて重みを算出する手法について説明した。本実施形態では、式（１１）により算出される類似度と信頼度合いに基づいて重みを決定する方法を例に説明する。つまり本実施形態では、類似度を算出する差分二乗和に使用される画素は一定であり、信頼度合いに応じて参照画素ごとに重みの算出方法が異なる。第５実施形態において、第４実施形態と同様の構成については、説明を省略する。第５実施形態は、ノイズ低減処理部１６０３において第４実施形態とは異なる。
【０１１４】
図２２は、第５実施形態に適用可能なノイズ低減処理１６０３の詳細な論理構成の一例を示すブロック図である。第５実施形態におけるノイズ低減処理部１６０３は、類似度算出部２２０１と、類似度信頼度算出部２２０２と、重み算出部２２０３と、重み補正部２２０４と、重みつき平均算出部２２０５とを有する。
【０１１５】
類似度算出部２２０１は、式（１１）を用いて着目画素に対する参照画素の類似度を算出する。第４実施形態と同様、本実施形態では、着目画素を含む着目領域と参照画素を含む参照領域とを比較することにより、着目画素に対する参照画素の類似度を算出する。式（８）の通り、着目領域と参照領域とにおいて、対応する画素間の差分により類似度が決定される。
【０１１６】
類似度信頼度算出部２２０２は、類似度算出部２２０１が算出した類似度の信頼性を表すパラメータを、類似度信頼度βとして算出する。着目領域と参照領域とに特定画素が含まれない場合、類似度の信頼度βは最大の値となり、特定画素数が多くなるに従って低下していく。類似度の信頼度βは例えば式（２１）により算出される。
【数２１】
2015106290.tif 000024
【０１１７】
図２３は、５×５画素のある着目領域と参照領域について、類似度の信頼度βを算出した例を示す。なお、類似度信頼度βの決め方はこれに限定されるものではなく、特定画素数や特定画素の種類に基づいて、画素値の信頼度合いの低い画素が存在するときほどより小さくなるような決定方法なら何でもよい。
【０１１８】
重み補正部２２０４は、式（１２）で算出される重みｗｊを式（２２）により補正し、重みｗｊ’を算出する。
【数２２】
2015106290.tif 000025
【０１１９】
類似度信頼度βが最大の場合（図２３の例ではβ＝１）、すなわち特定画素が存在しない場合、式（１２）により算出された重みは補正されない。また、類似度信頼度βが小さい場合、すなわち特定画素が存在する場合には、重みが小さくなるように補正される。重みの算出式は式（２２）に限らず、類似度信頼度βに応じて重みを補正する方法であればよい。例えば、次式のようにβを加算してもよい。
【数２３】
2015106290.tif 000026
【０１２０】
このように、信頼性が低い特定画素を含んで算出された重みを補正により小さくすることで、特定画素が重みに及ぼし得る影響を減らすことができ、良好なノイズ低減効果を得ることができる。
【０１２１】
（ノイズ低減処理のフロー）
本実施形態におけるノイズ低減処理部１６０３が行うノイズ低減処理の流れを説明する。図２４は、ノイズ低減処理のフローチャートを示す。ステップＳ２４０１において、ノイズ低減処理部１６０３は、ステップＳ１６０１において入力された画像データを取得する。ステップＳ２４０２において、ノイズ低減処理部１６０３は、ステップＳ１６０２において入力された領域パラメータを取得する。ステップＳ２４０３において、ノイズ低減処理部１６０３は、ステップＳ２４０２において取得した領域パラメータに基づいて、着目画素と着目領域を決定する。ステップＳ２４０４において、ノイズ低減処理部１６０３は、ステップＳ２４０２で取得した領域パラメータに基づいて、参照画素と参照領域を決定する。ステップＳ２４０５において類似度算出部２２０１は、式（１１）の通りに着目領域と参照領域との類似度を算出する。ステップＳ２４０６においてノイズ低減処理部１６０３は、着目領域と参照領域における特定画素の位置とその種類を表す情報を取得する。そして、類似度信頼度算出部２２０２は、類似度の信頼度を決定する。
【０１２２】
ステップＳ２４０７において重み算出部２２０３は、類似度算出部２２０１が算出した類似度に応じた重みを導出する。重みは式（１２）により算出される。ステップＳ２４０８において重み補正部２２０４は、類似度信頼度算出部２２０２が算出した類似度信頼度に基づいて、重み算出部２２０３が算出した重みを補正する。ステップＳ２４０９においてノイズ低減処理部１６０３は、ステップＳ２４０２で入力されたパラメータの参照画素の全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２４１０に移行し、終了していなければステップＳ２４０４に移行して処理を継続する。
【０１２３】
ステップＳ２４１０において重みつき平均算出部２２０５は、着目画素について、各参照画素の画素値と各重みとに基づいて式（１０）を適用して、ノイズ低減処理後の補正画素値を算出する。 ステップＳ２４１１において、ノイズ低減処理部１６０３は、ステップＳ２４０１において入力された画像データの全ての画素に対する処理が終了したかどうか判定する。終了していればステップＳ２４１２に移行し、終了していなければステップＳ２４０３に移行して処理を継続する。ステップＳ２４１２において、ノイズ低減処理部１６０３は、各画素をステップＳ２４１０で生成した補正画素値が構成する補正画像データを生成する。
【０１２４】
第４実施形態および第５実施形態では、特定画素に応じて算出した類似度Ｃｊや重みｗｊの大きさを決定した。信頼度合いまたは類似度信頼度は、０から１の間の値を設定することにより、類似度や重みを特定画素の種類に応じて調整可能な構成となっている。しかしながら、第１実施形態と同様、特定画素を使用するかしないかを決定するような構成であってもよい。
【０１２５】
＜その他の実施例＞
なお前述の実施形態では、画像処理アプリケーションで処理を行う例を説明した。しかしながら、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する形態であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
【０１２６】
また、前述の実施形態では本発明の適用例として３次元位置推定処理とノイズ低減処理について示した。しかしながら、本発明は領域間における類似度算出方法を利用する画像処理であれば、上述した実施形態に何ら限定されるものではない。
【０１２７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015106290.tif 000027
【図２】
2015106290.tif 000028
【図３】
2015106290.tif 000029
【図４】
2015106290.tif 000030
【図５】
2015106290.tif 000031
【図６】
2015106290.tif 000032
【図７】
2015106290.tif 000033
【図８】
2015106290.tif 000034
【図９】
2015106290.tif 000035
【図１０】
2015106290.tif 000036
【図１１】
2015106290.tif 000037
【図１２】
2015106290.tif 000038
【図１３】
2015106290.tif 000039
【図１４】
2015106290.tif 000040
【図１５】
2015106290.tif 000041
【図１６】
2015106290.tif 000042
【図１７】
2015106290.tif 000043
【図１８】
2015106290.tif 000044
【図１９】
2015106290.tif 000045
【図２０】
2015106290.tif 000046
【図２１】
2015106290.tif 000047
【図２２】
2015106290.tif 000048
【図２３】
2015106290.tif 000049
【図２４】
2015106290.tif 000050