(57)【要約】【課題】ノイズを除去する画像処理を行った画像の画質を向上させる。【解決手段】画像処理装置は、差分取得部および平滑化処理部を具備する。差分取得部は、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として、その注目画素から一定距離の所定範囲内において注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める。また、平滑化処理部は、差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う。【選択図】図３
2016071808.tif 000002
【特許請求の範囲】
【請求項１】
二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する画像処理装置。
【請求項２】
前記差分取得部は、
前記差分を求めて当該差分が大きいほど小さい係数を周辺画素重み係数として前記差分から生成する周辺画素重み係数生成部と、
前記注目画素に対する係数を注目画素重み係数として前記周辺画素重み係数から生成する注目画素重み係数生成部と
を備え、
前記平滑化処理部は、前記周辺画素重み係数および前記注目画素重み係数による前記一対の入力画素と前記注目画素とに対する重み付け加算を前記平滑化処理として行う
請求項１記載の画像処理装置。
【請求項３】
前記周辺画素重み係数生成部は、前記差分が大きいほど小さく、前記注目画素と前記一対の入力画素のいずれかとの間の距離が短いほど大きい係数を前記周辺画素重み係数として生成する
請求項２記載の画像処理装置。
【請求項４】
前記複数の入力画素のそれぞれについて順に着目画素として当該着目画素から前記一定距離より長い距離の範囲内において平滑化処理を広範囲平滑化処理として行う広範囲平滑化処理部をさらに具備し、
前記差分取得部は、前記広範囲平滑化処理の後の前記一対の入力画素のそれぞれの画素値の差分を求め、
前記平滑化処理部は、前記広範囲平滑化処理の後の前記所定範囲内において前記平滑化処理を行う
請求項１記載の画像処理装置。
【請求項５】
前記画素値は、輝度信号および色差信号を含む
請求項１記載の画像処理装置。
【請求項６】
前記画素値は、複数の色情報を含む
請求項１記載の画像処理装置。
【請求項７】
複数の色情報のうちの１つを前記画素値とする前記複数の入力画素のそれぞれにおいて前記複数の色情報のうち足りない色情報を補間する色情報補間部をさらに具備し、
前記重み係数生成部は、前記色情報が補間された前記複数の入力画素のそれぞれについて順に注目画素とする
請求項１記載の画像処理装置。
【請求項８】
二次元格子状に配列された複数の入力画素を含む画像を撮像する撮像部と、
前記複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する撮像装置。
【請求項９】
差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する画像処理方法。
【請求項１０】
差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、ノイズを除去する画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、撮像装置などの画像処理装置においては、画像の画質を向上させるために、各種のノイズ除去フィルタが用いられている。例えば、ノイズ除去フィルタとしてバイラテラルフィルタを用いる撮像装置が提案されている（例えば、特許文献１参照。）。このバイラテラルフィルタでは、注目した注目画素と、その注目画素の周辺の周辺画素とのそれぞれの画素値の差分が大きいほど小さい重み係数が算出され、その重み係数により画素値が重み付け加算される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８０２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来技術では、エッジに滲みやボケが生じるおそれがある。例えば、注目画素を通過するエッジの濃度勾配が小さいと、周辺画素と注目画素との間の画素値の差分が、あまり大きくならず、その結果、周辺画素に対する重み係数が比較的高くなり、エッジに滲みやボケが生じてしまう。この滲みやボケの発生を抑制するには、周辺画素に対する重み係数が小さくなるようにフィルタの設定を変更すればよいが、そのような設定では、ノイズの除去率が低下するおそれがある。したがって、上述の従来技術では、ノイズの除去とボケの発生の抑制とを両立して、画質を向上させることが困難である。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、ノイズを除去する画像処理を行った画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部とを具備する画像処理装置、および、その画像処理方法、ならびに、当該方法をコンピュータに実行させるためのプログラムである。これにより、注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
【０００７】
また、この第１の側面において、前記差分取得部は、前記差分を求めて当該差分が大きいほど小さい係数を周辺画素重み係数として前記差分から生成する周辺画素重み係数生成部と、前記注目画素に対する係数を注目画素重み係数として前記周辺画素重み係数から生成する注目画素重み係数生成部とを備え、前記平滑化処理部は、前記周辺画素重み係数および前記注目画素重み係数による前記一対の入力画素と前記注目画素とに対する重み付け加算を前記平滑化処理として行ってもよい。これにより、周辺画素重み係数および注目画素重み係数による一対の入力画素と注目画素とに対する重み付け加算が平滑化処理として行われるという作用をもたらす。
【０００８】
また、この第１の側面において、前記周辺画素重み係数生成部は、前記差分が大きいほど小さく、前記注目画素と前記一対の入力画素のいずれかとの間の距離が短いほど大きい係数を前記周辺画素重み係数として生成してもよい。これにより、前記差分が大きいほど小さく、注目画素と一対の入力画素のいずれかとの間の距離が短いほど大きい係数が周辺画素重み係数として生成されるという作用をもたらす。
【０００９】
また、この第１の側面において、前記複数の入力画素のそれぞれについて順に着目画素として当該着目画素から前記一定距離より長い距離の範囲内において平滑化処理を広範囲平滑化処理として行う広範囲平滑化処理部をさらに具備し、前記差分取得部は、前記広範囲平滑化処理の後の前記一対の入力画素のそれぞれの画素値の差分を求め、前記平滑化処理部は、前記広範囲平滑化処理の後の前記所定範囲内において前記平滑化処理を行ってもよい。これにより、広範囲平滑化処理の後の所定範囲内において平滑化処理が行われるという作用をもたらす。
【００１０】
また、この第１の側面において、前記画素値は、輝度信号および色差信号を含んでもよい。これにより、輝度信号および色差信号を含む画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
【００１１】
また、この第１の側面において、前記画素値は、複数の色情報を含んでもよい。これにより、複数の色情報を含む画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
【００１２】
また、この第１の側面において、複数の色情報のうちの１つを前記画素値とする前記複数の入力画素のそれぞれにおいて前記複数の色情報のうち足りない色情報を補間する色情報補間部をさらに具備し、前記重み係数生成部は、前記色情報が補間された前記複数の入力画素のそれぞれについて順に注目画素としてもよい。これにより、複数の入力画素のそれぞれにおいて複数の色情報のうち足りない色情報が補間されるという作用をもたらす。
【００１３】
また、本技術の第２の側面は、二次元格子状に配列された複数の入力画素を含む画像を撮像する撮像部と、前記複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部とを具備する撮像装置である。これにより、注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分が小さいほど平滑化の度合いの高い平滑化処理が行われるという作用をもたらす。
【発明の効果】
【００１４】
本技術によれば、ノイズを除去する画像処理を行った画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における撮像素子の一構成例を示すブロック図である。
【図３】第１の実施の形態における画像処理部の一構成例を示すブロック図である。
【図４】第１の実施の形態における入力画像データの一例を示す図である。
【図５】第１の実施の形態における重み係数算出部の一構成例を示すブロック図である。
【図６】第１の実施の形態における周辺画素重み係数算出部の一構成例を示すブロック図である。
【図７】第１の実施の形態における注目画素重み係数算出部の一構成例を示すブロック図である。
【図８】第１の実施の形態における重み付け加算部の一構成例を示すブロック図である。
【図９】第１の実施の形態における平滑化前後のエッジの一例を示すグラフである。
【図１０】第１の実施の形態における平滑化前後のノイズの一例を示すグラフである。
【図１１】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１２】第２の実施の形態における画像処理部の一構成例を示すブロック図である。
【図１３】第２の実施の形態におけるローパスフィルタに設定される重み係数の一例を示す図である。
【図１４】第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１５】第３の実施の形態における撮像素子の一構成例を示すブロック図である。
【図１６】第３の実施の形態における画像処理部の一構成例を示すブロック図である。
【図１７】第３の実施の形態におけるデモザイク処理部の一構成例を示すブロック図である。
【図１８】第３の実施の形態における入力画像データの一例を示す図である。
【図１９】第３の実施の形態におけるＲローパスフィルタ、ＧローパスフィルタおよびＢローパスフィルタに設定される重み係数の一例を示す図である。
【図２０】第３の実施の形態におけるＲ周辺Ｗローパスフィルタ、Ｇ周辺ＷローパスフィルタおよびＢ周辺Ｗローパスフィルタに設定される重み係数の一例を示す図である。
【図２１】第３の実施の形態におけるデモザイク処理後の画像データの一例を示す図である。
【図２２】第３の実施の形態における重み付け加算部の一構成例を示すブロック図である。
【図２３】第３の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図２４】第３の実施の形態の変形例における画像処理部の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（一対の画素対の差分に応じた度合いで平滑化する例）
２．第２の実施の形態（ローパスフィルタ通過後に一対の画素対の差分に応じた度合いで平滑化する例）
３．第３の実施の形態（デモザイク処理後に一対の画素対の差分に応じた度合いで平滑化する）
４．変形例
【００１７】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置は、画像を撮像する装置であり、撮像レンズ１１０、撮像素子１２０、制御部１３０、記録部１４０および画像処理部２００を備える。
【００１８】
撮像レンズ１１０は、被写体からの光を集光して撮像素子１２０に導くレンズである。
【００１９】
撮像素子１２０は、制御信号に従って撮像レンズ１１０からの光を電気信号に変換して、画像データを生成するものである。この撮像素子１２０には、例えば、Ｒ（Red）画素、Ｇ(Green)画素、Ｂ(Blue)画素およびＷ（White）画素のそれぞれが二次元格子状に設けられる。撮像素子１２０は、これらの画素のそれぞれで光電変換したアナログの電気信号をＡＤ（Analog to Digital）変換して、画像データを生成する。撮像素子１２０としては、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。撮像素子１２０は、生成した画像データを入力画像データとして、信号線１２９を介して画像処理部２００に供給する。なお、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。また、撮像素子１２０に、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素を配列しているが、Ｗ画素を設けず、Ｒ画素、Ｇ画素およびＢ画素のみを配列してもよい。また、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。
【００２０】
画像処理部２００は、入力画像データに対して、平滑化処理を含む所定の画像処理を行うものである。この平滑化処理において、画像処理部２００は、タイミング信号に従って、画素に順に注目して、注目した画素から一定距離の範囲（以下、「フィルタ範囲」と称する。）内において重み付け加算を行う。画像処理部２００は、画像処理後の画像データを出力画像データとして記録部１４０に信号線２０９を介して供給する。
【００２１】
制御部１３０は、撮像装置１００全体を制御するものである。この制御部１３０は、ユーザの操作などに従って制御信号を生成し、撮像素子１２０に信号線１３９を介して供給する。この制御信号は、例えば、垂直同期信号を含む。また、制御部１３０は、画素のそれぞれに注目するタイミングを示すタイミング信号を生成し、信号線１３８を介して画像処理部２００に供給する。記録部１４０は、出力画像データを記録するものである。
【００２２】
なお、撮像装置１００は、表示部をさらに備え、その表示部に出力画像データを表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、出力画像データを外部の装置に出力してもよい。
【００２３】
また、撮像レンズ１１０、撮像素子１２０、制御部１３０、画像処理部２００、記録部１４０を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子１２０などを撮像装置１００に設け、画像処理部２００を情報処理装置等に設ける構成としてもよい。
【００２４】
［撮像素子の構成例］
図２は、第１の実施の形態における撮像素子１２０の一構成例を示すブロック図である。この撮像素子１２０は、行走査回路１２１、画素アレイ部１２２、タイミング制御回路１２４、ＡＤ変換部１２５、列走査回路１２６、デモザイク処理部１２７およびＹＵＶ変換部１２８を備える。画素アレイ部１２２には、２次元格子状に複数の画素１２３が設けられる。
【００２５】
タイミング制御回路１２４は、行および列の走査のタイミングを制御するものである。ここで、行は画素アレイ部１２２において、ある一方向に複数の画素１２３が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部１２２において行と直交する方向に複数の画素１２３が配列されたものである。
【００２６】
タイミング制御回路１２４は、制御部１３０からの垂直同期信号ＶＳＹＮＣに同期して、水平同期信号ＨＳＹＮＣを生成し、行走査回路１２１に供給する。また、タイミング制御回路１２４は、列を走査するタイミングを指示する列走査信号を水平同期信号ＨＳＹＮＣに同期して生成し、列走査回路１２６に供給する。
【００２７】
行走査回路１２１は、水平同期信号ＨＳＹＮＣに同期して行（ライン）の各々を順に選択するものである。この行走査回路１２１は、設定された露光期間に亘って、選択した行を露光させる。
【００２８】
画素１２３は、光を電気信号に変換して画素信号として出力するものである。画素１２３は、生成した画素信号をＡＤ変換部１２５に供給する。それぞれの画素信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＷ信号のいずれかの色情報を含む。
【００２９】
ＡＤ変換部１２５は、画素信号をＡＤ変換して画素データを生成するものである。ＡＤ変換部１２５は、列ごとに設けられる。列走査回路１２６により選択された列のＡＤ変換部１２５は、生成した画素データをデモザイク処理部１２７へ供給する。列走査回路１２６は、タイミング制御回路１２４の制御に従って、列の各々を選択するものである。
【００３０】
デモザイク処理部１２７は、画素ごとに、Ｒ信号、Ｇ信号およびＢ信号のうち足りない信号を周囲の画素から補間するデモザイク処理を行うものである。デモザイク処理部１２７は、補間後の画素データのそれぞれをＹＵＶ変換部１２８に供給する。
【００３１】
ＹＵＶ変換部１２８は、Ｒ信号、Ｇ信号およびＢ信号を、輝度信号Ｙと色差信号ＵおよびＶとに変換するＹＵＶ変換処理を画素毎に行うものである。ＹＵＶ変換処理は、例えば、次の式により行われる。ＹＵＶ変換部１２８は、ＹＵＶ変換後の画素データからなる画像データを入力画像データとして画像処理部２００へ供給する。
【数１】
2016071808.tif 000003
【００３２】
なお、ＡＤ変換部１２５、デモザイク処理部１２７およびＹＵＶ変換部１２８を全て撮像素子１２０に設ける構成としているが、これらの少なくとも一部を撮像素子１２０の外部に設けてもよい。
【００３３】
また、撮像素子１２０は、ＹＵＶ変換を行う構成としているが、ＹＵＶ変換を行わずに、デモザイク処理後の画像データをそのまま画像処理部２００に供給する構成としてもよい。
【００３４】
図３は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、データバッファ２１０、注目画素選択部２２０、重み係数算出部２３０および重み付け加算部２６０を備える。
【００３５】
データバッファ２１０は、複数の画素データを保持するものである。例えば、重み付け加算部２６０が注目画素を中心として３×３のフィルタ範囲内で重み付け加算を行う際には、少なくとも３ライン分の画素データが保持される。なお、フィルタ範囲は、注目画素から一定距離の範囲であれば、３×３の範囲に限定されず、例えば、５×５の範囲であってもよい。
【００３６】
注目画素選択部２２０は、タイミング信号に従って、入力画像データ内の画素のそれぞれを順に選択するものである。選択された画素を以下、「注目画素」と称する。注目画素選択部２２０は、選択した注目画素の座標を注目座標（ｘ、ｙ）として重み係数算出部２３０および重み付け加算部２６０に信号線２２９を介して供給する。
【００３７】
重み係数算出部２３０は、注目画素から一定距離のフィルタ範囲内の画素のそれぞれに対する重み係数を算出するものである。そのフィルタ範囲内において、注目画素以外の画素を以下、「周辺画素」と称する。重み係数算出部２３０は、フィルタ範囲内において、注目画素に対して点対称の位置にある一対の周辺画素のそれぞれの画素値をデータバッファ２１０から読み出して、それらの差分を求める。そして、重み係数算出部２３０は、その差分が小さいほど大きな重み係数を周辺画素重み係数として算出する。また、重み係数算出部２３０は、周辺画素重み係数の合計値と「１」との差分を注目画素重み係数として算出する。重み係数算出部２３０は、周辺画素重み係数および注目画素重み係数のそれぞれを重み付け加算部２６０に信号線２３９を介して供給する。なお、重み係数算出部２３０は、特許請求の範囲に記載の差分取得部の一例である。
【００３８】
重み付け加算部２６０は、平滑化処理として重み付け加算を行うものである。この重み付け加算部２６０は、周辺画素重み係数および注目画素重み係数により、周辺画素および注目画素のそれぞれの画素値に対して重み付け加算を行う。フィルタ範囲内の画素数の合計は、フィルタサイズやタップ数と呼ばれる。周辺画素重み係数には、前述したように、一対の周辺画素の画素値の差分が小さいほど、大きな係数が設定される。このため、差分が小さいほど平滑化の度合いの高い平滑化処理が行われる。重み付け加算部２６０は、重み付け加算の加算結果を、出力画像データにおける注目座標（ｘ、ｙ）の画素値として記録部１４０に出力する。なお、重み付け加算部２６０は、特許請求の範囲に記載の平滑化処理部の一例である。
【００３９】
なお、画像処理部２００は、平滑化処理（重み付け加算）の他、ホワイトバランス処理やガンマ補正処理などの各種の画像処理をさらに行ってもよい。
【００４０】
図４は、第１の実施の形態における入力画像データの一例を示す図である。この入力画像データには、輝度信号Ｙと色差信号ＵおよびＶとをそれぞれが含む複数の画素データが配列される。同図において、太い実線で囲まれた画素は、注目画素の一例であり、一点鎖線で囲まれた範囲は、重み付け加算の行われるフィルタ範囲の一例である。同図に例示するように、画像処理部２００は、注目画素を中心として３×３のフィルタ範囲内において重み付け加算を行う。
【００４１】
［重み係数算出部の構成例］
図５は、第１の実施の形態における重み係数算出部２３０の一構成例を示すブロック図である。この重み係数算出部２３０は、周辺画素重み係数算出部２４０および注目画素重み係数算出部２５０を備える。
【００４２】
周辺画素重み係数算出部２４０は、周辺画素重み係数を算出するものである。この周辺画素重み係数算出部２４０は、周辺画素のそれぞれの画素データをデータバッファ２１０から読み出す。これらの画素データは、それぞれ、色差信号ＵおよびＶを含む。そして、周辺画素重み係数算出部２４０は、注目画素に対して点対称の位置にある一対の周辺画素のそれぞれの色差信号から、次の式を使用して係数ｗｇｈｔを算出する。
【数２】
2016071808.tif 000004
【００４３】
上式において、ｕは、一対の周辺画素のうち一方の色差信号Ｕであり、ｕ’は、一対の周辺画素のうち他方の色差信号Ｕである。ｖは、一対の周辺画素のうち一方の色差信号Ｖであり、ｖ’は、一対の周辺画素のうち他方の色差信号Ｖである。例えば、一対の周辺画素の各色差信号がＵ（ｘ−１，ｙ）およびＵ（ｘ＋１，ｙ）である場合、ｕにＵ（ｘ−１，ｙ）が設定され、ｕ’にＵ（ｘ＋１，ｙ）が設定される。また、ｋは、係数ｗｇｈｔを算出する際に、画素値の類似度をどの程度厳しく判定するかを示す固定のパラメータである。ｋを大きくするほど係数が大きくなり、平滑化の度合いが高くなる。一方、ｋを小さくするほど係数が小さくなり、平滑化の度合いが低くなる。なお、固定値をｋに設定しているが、周辺画素のそれぞれの画素値の分散をｋに設定してもよい。
【００４４】
そして、周辺画素重み係数算出部２４０は、式１により求めた係数ｗｇｈｔに対して、注目画素および周辺画素の距離が長いほど小さな所定の係数を乗算して、周辺画素重み係数を算出する。例えば、注目画素と、一対の周辺画素のいずれかとのユークリッド距離が「１」である場合には、「１／８（＝０．１２５）」の係数がｗｇｈｔに乗算される。また、ユークリッド距離が「２1/2」である場合には「１／１６（＝０．０６２５）」の係数がｗｇｈｔに乗算される。
【００４５】
ここで、３×３のフィルタ範囲内において重み付け加算を行う際は、注目画素の上下、左右、斜めに位置する画素対のそれぞれについて周辺画素重み係数が算出される。注目画素の上下の画素対の周辺画素重み係数を以下、「Ｗ１」と称し、左右の画素対の周辺画素重み係数を以下、「Ｗ２」と称する。また、斜め方向にある画素対は２組あるが、その一方の周辺画素重み係数の一方を以下、「Ｗ３」、他方を「Ｗ４」と称する。周辺画素重み係数算出部２４０は、これらの周辺画素重み係数のそれぞれを注目画素重み係数算出部２５０および重み付け加算部２６０へ供給する。
【００４６】
注目画素重み係数算出部２５０は、周辺画素重み係数から注目画素重み係数Ｗ０を算出するものである。この注目画素重み係数算出部２５０は、周辺画素重み係数の合計値と「１」との差分を注目画素重み係数Ｗ０として算出する。注目画素に対して点対称の位置にある一対の周辺画素には、いずれも同じ周辺画素重み係数が適用される。このため、Ｗ１、Ｗ２、Ｗ３およびＷ４の周辺画素重み係数が求められた場合、注目画素重み係数算出部２５０は、それぞれを２倍して加算し、その加算値と「１」との差分を求めればよい。注目画素重み係数算出部２５０は、求めた注目画素重み係数Ｗ０を重み付け加算部２６０へ供給する。
【００４７】
なお、重み係数算出部２３０は、演算により重み係数を算出しているが、重み係数を生成することができるのであれば、この構成に限定されない。例えば、差分がとりうる値ごとに、式１などにより周辺画素重み係数および注目画素重み係数を予め算出してテーブルに保持しておき、重み係数算出部２３０が、そのテーブルから、差分に対応する重み係数を読み出す構成としてもよい。
【００４８】
［周辺画素重み係数算出部の構成例］
図６は、第１の実施の形態における周辺画素重み係数算出部２４０の一構成例を示すブロック図である。この周辺画素重み係数算出部２４０は、左右対重み係数算出部２４１と、上下対重み係数算出部２４２と、斜め対重み係数算出部２４３および２４４と、乗算器２４５、２４６、２４７および２４８とを備える。
【００４９】
左右対重み係数算出部２４１は、注目画素の左右の周辺画素対に対する係数ｗｇｈｔを算出するものである。この左右対重み係数算出部２４１は、注目画素（ｘ、ｙ）の左の画素値Ｐ（ｘ−１、ｙ）と、右の画素値Ｐ（ｘ＋１、ｙ）とをデータバッファ２１０から読み出す。これらの画素値は、それぞれ、色差信号ＵおよびＶを含む。つまり、Ｕ（ｘ−１、ｙ）、Ｕ（ｘ＋１、ｙ）、Ｖ（ｘ−１、ｙ）およびＶ（ｘ＋１、ｙ）の画素値が読み出される。左右対重み係数算出部２４１は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４５へ供給する。
【００５０】
上下対重み係数算出部２４２は、注目画素の上下の周辺画素対に対する係数ｗｇｈｔを算出するものである。この上下対重み係数算出部２４２は、注目画素（ｘ、ｙ）の上の画素値Ｐ（ｘ、ｙ−１）と、下の画素値Ｐ（ｘ、ｙ＋１）とをデータバッファ２１０から読み出す。上下対重み係数算出部２４２は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４６へ供給する。
【００５１】
斜め対重み係数算出部２４３は、注目画素の右上および左下にある周辺画素対に対する係数ｗｇｈｔを算出するものである。この斜め対重み係数算出部２４３は、注目画素（ｘ、ｙ）の右上の画素値Ｐ（ｘ＋１、ｙ−１）と、左下の画素値Ｐ（ｘ−１、ｙ＋１）とをデータバッファ２１０から読み出す。斜め対重み係数算出部２４３は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４７へ供給する。
【００５２】
斜め対重み係数算出部２４４は、注目画素の左上および右下にある周辺画素対に対する係数ｗｇｈｔを算出するものである。この斜め対重み係数算出部２４４は、注目画素（ｘ、ｙ）の左上の画素値Ｐ（ｘ−１、ｙ−１）と、右下の画素値Ｐ（ｘ＋１、ｙ＋１）とをデータバッファ２１０から読み出す。斜め対重み係数算出部２４４は、式１を使用して、これらの画素値から係数ｗｇｈｔを算出し、乗算器２４８へ供給する。
【００５３】
乗算器２４５は、係数ｗｇｈｔに対して、距離に応じた係数「０．１２５」を乗算するものである。この乗算器２４５は、左右対重み係数算出部２４１からのｗｇｈｔに対して「０．１２５」を乗算し、周辺画素重み係数Ｗ１として出力する。
【００５４】
乗算器２４６は、係数ｗｇｈｔに対して、距離に応じた係数「０．１２５」を乗算するものである。この乗算器２４６は、上下対重み係数算出部２４２からのｗｇｈｔに対して「０．１２５」を乗算し、周辺画素重み係数Ｗ２として出力する。
【００５５】
乗算器２４７は、係数ｗｇｈｔに対して、距離に応じた係数「０．０６２５」を乗算するものである。この乗算器２４７は、斜め対重み係数算出部２４３からのｗｇｈｔに対して「０．０６２５」を乗算し、周辺画素重み係数Ｗ３として出力する。
【００５６】
乗算器２４８は、係数ｗｇｈｔに対して、距離に応じた係数「０．０６２５」を乗算するものである。この乗算器２４８は、斜め対重み係数算出部２４４からのｗｇｈｔに対して「０．０６２５」を乗算し、周辺画素重み係数Ｗ４として出力する。
【００５７】
このように、周辺画素重み係数算出部２４０は、周辺画素対ごとに重み係数を算出するため、周辺画素ごとに重み係数を算出するバイラテラルフィルタなどと比較して、計算量や回路規模を削減することができる。例えば、バイラテラルフィルタでは、周辺画素が８個の場合、８つの重み係数を算出しなければならないのに対し、周辺画素重み係数算出部２４０では、Ｗ１乃至Ｗ４の４つしか算出する必要がない。
【００５８】
［注目画素重み係数算出部の構成例］
図７は、第１の実施の形態における注目画素重み係数算出部２５０の一構成例を示すブロック図である。この注目画素重み係数算出部２５０は、乗算器２５１、２５２、２５３および２５４と、加算器２５５と、減算器２５６とを備える。
【００５９】
乗算器２５１は、周辺画素重み係数Ｗ１に「２」を乗算するものである。この乗算器２５１は、乗算結果を加算器２５５に供給する。乗算器２５２は、周辺画素重み係数Ｗ２に「２」を乗算するものである。この乗算器２５２は、乗算結果を加算器２５５に供給する。乗算器２５３は、周辺画素重み係数Ｗ３に「２」を乗算するものである。この乗算器２５３は、乗算結果を加算器２５５に供給する。乗算器２５４は、周辺画素重み係数Ｗ４に「２」を乗算するものである。この乗算器２５４は、乗算結果を加算器２５５に供給する。
【００６０】
加算器２５５は、乗算器２５１乃至２５４の乗算結果の全てを加算するものである。この加算器２５５は、加算結果を減算器２５６へ供給する。
【００６１】
減算器２５６は、「１」から、加算器２５５の加算結果を減算するものである。この減算器２５６は、減算結果を注目画素重み係数Ｗ０として出力する。
【００６２】
このように、周辺画素重み係数の合計と「１」との差分を求めることにより、全ての重み係数の和が「１」となり、また、重み係数の和が「１」となるように除算を行う必要がなくなる。これにより、重み係数の和が「１」となるように除算を行うローパスフィルタなどと比較して、計算量や回路規模を削減することができる。
【００６３】
［重み付け加算部の構成例］
図８は、第１の実施の形態における重み付け加算部２６０の一構成例を示すブロック図である。この重み付け加算部２６０は、読出し部２６１と、加算器２６２、２６３、２６４、２６５および２６６と、乗算器２６７、２６８、２６９および２７０と、加算部２７１とを備える。
【００６４】
読出し部２６１は、注目画素および周辺画素のそれぞれの色差信号を読み出すものである。この読出し部２６１は、注目画素の左右の周辺画素対のそれぞれの色差信号Ｕ（ｘ−１、ｙ）および色差信号Ｕ（ｘ−１、ｙ）を加算器２６２に供給し、次に、それらの色差信号Ｖ（ｘ−１、ｙ）および色差信号Ｖ（ｘ−１、ｙ）を加算器２６２に供給する。
【００６５】
また、読出し部２６１は、注目画素の上下の周辺画素対のそれぞれの色差信号Ｕ（ｘ、ｙ−１）および色差信号Ｕ（ｘ、ｙ＋１）を加算器２６３に供給し、次に、それらの色差信号Ｖ（ｘ、ｙ−１）および色差信号Ｖ（ｘ、ｙ＋１）を加算器２６３に供給する。
【００６６】
また、読出し部２６１は、注目画素の右上および左下の周辺画素対のそれぞれの色差信号Ｕ（ｘ＋１、ｙ−１）および色差信号Ｕ（ｘ−１、ｙ＋１）を加算器２６４に供給する。次いで読出し部２６１は、それらの色差信号Ｖ（ｘ＋１、ｙ−１）および色差信号Ｖ（ｘ−１、ｙ＋１）を加算器２６４に供給する。
【００６７】
また、読出し部２６１は、注目画素の左上および右下の周辺画素対のそれぞれの色差信号Ｕ（ｘ−１、ｙ−１）および色差信号Ｕ（ｘ＋１、ｙ＋１）を加算器２６５に供給する。次いで読出し部２６１は、それらの色差信号Ｖ（ｘ−１、ｙ−１）および色差信号Ｖ（ｘ＋１、ｙ＋１）を加算器２６５に供給する。
【００６８】
さらに読出し部２６１は、注目画素の色差信号Ｕ（ｘ、ｙ）およびＶ（ｘ、ｙ）を順に乗算器２６６に供給する。
【００６９】
加算器２６２は、左右の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６２は、加算結果を乗算器２６７に供給する。加算器２６３は、上下の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６３は、加算結果を乗算器２６８に供給する。加算器２６４は、右上および左下の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６４は、加算結果を乗算器２６９に供給する。加算器２６５は、左上および右下の周辺画素対のそれぞれの色差信号を加算するものである。この加算器２６５は、加算結果を乗算器２７０に供給する。
【００７０】
乗算器２６７は、加算器２６２の加算結果に周辺画素重み係数Ｗ１を乗算するものである。この乗算器２６７は、乗算結果を加算部２７１に供給する。乗算器２６８は、加算器２６３の加算結果に周辺画素重み係数Ｗ２を乗算するものである。この乗算器２６８は、乗算結果を加算部２７１に供給する。乗算器２６９は、加算器２６４の加算結果に周辺画素重み係数Ｗ３を乗算するものである。この乗算器２６９は、乗算結果を加算部２７１に供給する。乗算器２７０は、加算器２６５の加算結果に周辺画素重み係数Ｗ４を乗算するものである。この乗算器２７０は、乗算結果を加算部２７１に供給する。
【００７１】
乗算器２６６は、注目画素の色差信号に注目画素重み係数Ｗ０を乗算するものである。この乗算器２６６は、乗算結果を加算部２７１に供給する。
【００７２】
加算部２７１は、乗算器２６６、２６７、２６８、２６９および２７０のそれぞれの乗算結果を加算するものである。この加算部２７１は、加算結果を出力画像データ内の座標（ｘ、ｙ）の色差信号Ｕ’およびＶ’として出力する。一方、入力画像データ内の輝度信号Ｙ（ｘ、ｙ）は、そのまま出力画像データにおける輝度信号Ｙ（ｘ、ｙ）として出力される。
【００７３】
図９は、第１の実施の形態における平滑化前後のエッジの一例を示すグラフである。同図において縦軸は、画素値を示し、横軸は座標を示す。また、黒丸は注目画素を示し、白丸は周辺画素を示す。同図におけるａは、平滑化前のエッジの一例を示すグラフである。同図におけるｂは、式１を用いた平滑化後のエッジの一例を示すグラフである。同図におけるｃは、バイラテラルフィルタによる平滑化後のエッジの一例を示すグラフである。
【００７４】
図９におけるａに例示したように、エッジの濃度勾配が緩やかである場合には、注目画素の画素値Ｐ（ｘ、ｙ）と周辺画素の画素値Ｐ（ｘ−１、ｙ）およびＰ（ｘ＋１、ｙ）とのそれぞれの差分が比較的小さくなる。ここで、仮にバイラテラルフィルタを用いた場合、画素値Ｐ（ｘ、ｙ）と画素値Ｐ（ｘ−１、ｙ）およびＰ（ｘ＋１、ｙ）との差分から、その差分が小さいほど大きな重み係数が算出される。このため、バイラテラルフィルタでは、エッジの濃度勾配が緩やかであるほど周辺画素に対する重み係数が大きくなり、平滑化の度合いが大きくなる。したがって、同図におけるｃに例示するように勾配がさらに小さくなり、エッジにおいてボケや滲みが生じるおそれがある。
【００７５】
これに対して、画像処理部２００では、式１により、周辺画素の画素値Ｐ（ｘ−１、ｙ）と画素値Ｐ（ｘ＋１、ｙ）との差分から、その差分が小さいほど大きな周辺画素重み係数が算出される。エッジが注目画素を通過する場合、周辺画素対のそれぞれの画素値の差分は、注目画素および周辺画素のそれぞれの画素値の差分よりも大きくなる。このため、式１による周辺画素重み係数は、バイラテラルフィルタにおける重み係数よりも小さくなり、平滑化の度合いが低くなる。したがって、図９におけるｃに例示したように、平滑化後においてもエッジの勾配が維持され、エッジのボケや滲みの発生を抑制することができる。
【００７６】
図１０は、第１の実施の形態における平滑化前後のノイズの一例を示すグラフである。同図において縦軸は、画素値を示し、横軸は座標を示す。また、黒丸は注目画素を示し、白丸は周辺画素を示す。同図におけるａは、平滑化前のノイズの一例を示すグラフである。同図におけるｂは、平滑化後のノイズの一例を示すグラフである。
【００７７】
図１０におけるａに例示するように、注目画素においてノイズが生じた際には、周辺画素対の画素値の差分が比較的小さくなり、周辺画素重み係数が大きくなる。したがって、平滑化の度合いが高くなって、同図におけるｂに例示するように、ノイズが除去される。
【００７８】
図９および図１０に例示したように、画像処理部２００は、エッジの滲みやボケの発生を抑制しつつ、ノイズを除去することができる。これにより、出力画像データの画質を向上させることができる。また、点対称の一対の画素のそれぞれに対する重み係数を同一にしているため、重み係数が対称性を持ち、重み付け加算部２６０により構成されるフィルタは、直線位相特性を持つ。これにより、エッジに歪みが生じにくくなる。
【００７９】
［撮像装置の動作例］
図１１は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像のための所定の操作（シャッターボタンの押下など）が行われたときに開始される。
【００８０】
撮像装置１００内の撮像素子１２０は、画像データを生成し（ステップＳ９０１）、デモザイク処理（ステップＳ９０２）およびＹＵＶ変換処理（ステップＳ９０３）を行う。
【００８１】
そして、撮像装置１００内の画像処理部２００は、選択されていない注目画素を選択し（ステップＳ９０５）、注目画素に対して点対称の位置にある周辺画素対の画素値の差分から重み係数を算出する（ステップＳ９０６）。また、画像処理部２００は、注目画素および周辺画素のそれぞれの画素値に対して重み付け加算を行う（ステップＳ９０７）。画像処理部２００は、全画素を選択したか否かを判断する（ステップＳ９０８）。全画素を選択していない場合には（ステップＳ９０８：Ｎｏ）、画像処理部２００は、ステップＳ９０５に戻る。一方、全画素を選択した場合には（ステップＳ９０８：Ｙｅｓ）、画像処理部２００は、撮像および画像処理の動作を終了する。
【００８２】
このように、本技術の第１の実施の形態によれば、画像処理部２００は、注目画素に対して点対称の位置にある一対の画素のそれぞれの画素値の差分が大きいほど平滑化の度合いを高くするため、注目画素をエッジが通過する際に平滑化の度合いが小さくなる。このため、エッジにおいて、滲みやボケの発生を抑制することができ、画像データの画質を向上させることができる。
【００８３】
＜２．第２の実施の形態＞
第１の実施の形態では、重み係数算出部２３０および重み付け加算部２６０により、注目画素から一定距離のフィルタ範囲内で重み付け加算を行い、ノイズを除去していた。しかし、重み付け加算部２６０より広いフィルタ範囲で重み付け加算を行うローパスフィルタをさらに追加してもよい。このローパスフィルタの追加により、より広い周波数帯域のノイズを除去して、画質を向上させることができる。第２の実施の形態の画像処理部２００は、重み付け加算部２６０より広いフィルタ範囲で重み付け加算を行うローパスフィルタを追加した点において第１の実施の形態と異なる。
【００８４】
図１２は、第２の実施の形態における画像処理部２００の一構成例を示すブロック図である。第２の実施の形態の画像処理部２００は、ローパスフィルタ２８０およびデータバッファ２９０をさらに備える点において第１の実施の形態と異なる。
【００８５】
ローパスフィルタ２８０は、重み付け加算部２６０より広いフィルタ範囲で重み付け加算を行うものである。この広範囲の平滑化処理（重み付け加算）により、重み付け加算部２６０より広い周波数帯域のノイズが除去される。ローパスフィルタ２８０は、データバッファ２１０から色差信号ＵおよびＶを読み出して平滑化処理を行い、処理後の信号（Ｕ’およびＶ’）と、輝度信号Ｙとをデータバッファ２９０に保持させる。なお、ローパスフィルタ２８０は、特許請求の範囲に記載の広範囲平滑化処理部の一例である。
【００８６】
また、第２の実施の形態の重み係数算出部２３０および重み付け加算部２６０は、データバッファ２９０から画素データを読み出す。
【００８７】
図１３は、第２の実施の形態におけるローパスフィルタ２８０に設定される重み係数の一例を示す図である。同図において太い実線で囲まれた画素は着目画素を示す。画素に記載された数値は、重み係数を示す。
【００８８】
ローパスフィルタ２８０は、入力画像データ内の画素を順に着目画素として選択する。この着目画素を中心として５×５のフィルタ範囲内の各画素について、着目画素からの距離が長いほど小さい重み係数が設定される。着目画素と、その上下左右、左上、右上、左下および右下の９個の画素については、「４」の重み係数が乗算される。また、着目画素からの距離が２以上、２×２1/2未満の画素については、「２」の重み係数が乗算される。残りの画素については「１」の重み係数が設定される。ローパスフィルタ２８０は、これらの係数を対応する画素値（ＵおよびＶ）に乗算し、乗算結果の合計値を「６４」で除算してデータバッファ２９０に保持させる。なお、輝度信号Ｙは、ローパスフィルタ２８０を通過せずに、そのままデータバッファ２９０に保持される。
【００８９】
図１４は、第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。第２の実施の形態の撮像装置１００の動作は、ステップＳ９０４をさらに実行する点において第１の実施の形態と異なる。
【００９０】
ＹＵＶ変換処理（ステップＳ９０３）の後、画像処理部２００は、ローパスフィルタ２８０によりノイズを除去し（ステップＳ９０４）、ステップＳ９０５以降の処理を行う。
【００９１】
このように、本技術の第２の実施の形態によれば、画像処理部２００は、ローパスフィルタ２８０において重み付け加算部２６０よりも広い範囲で重み付け加算を行うため、より広い周波数帯域のノイズを除去して画像データの画質を向上させることができる。
【００９２】
＜３．第３の実施の形態＞
第１の実施の形態では、デモザイク処理を撮像素子１２０において行っていたが、このデモザイク処理を画像処理部２００が行ってもよい。第３の実施の形態の画像処理部２００は、デモザイク処理をさらに行う点において第１の実施の形態と異なる。
【００９３】
図１５は、第３の実施の形態における撮像素子１２０の一構成例を示すブロック図である。第３の実施の形態の撮像素子１２０は、デモザイク処理部１２７およびＹＵＶ変換部１２８を備えない点において第１の実施の形態と異なる。第３の実施の形態のＡＤ変換部１２５は、デモザイク前の画像データを入力画像データとして画像処理部２００に供給する。
【００９４】
図１６は、第３の実施の形態における画像処理部２００の一構成例を示すブロック図である。第３の実施の形態の画像処理部２００は、デモザイク処理部３００およびデータバッファ２９０をさらに備える点において第１の実施の形態と異なる。
【００９５】
デモザイク処理部３００は、入力画像データに対してデモザイク処理を行うものである。このデモザイク処理部３００は、データバッファ２１０から画素データを読み出してデモザイク処理を行い、処理後の画像データをデータバッファ２９０に保持させる。なお、デモザイク処理部３００は、特許請求の範囲に記載の色情報補間部の一例である。
【００９６】
また、第３の実施の形態の重み係数算出部２３０および重み付け加算部２６０は、データバッファ２９０から画素データを読み出す。ただし、第３の実施の形態の重み係数算出部２３０は、式１の代わりに次の式を使用して係数ｗｇｈｔを算出する。
【数３】
2016071808.tif 000005
【００９７】
上式において、ｒは、一対の周辺画素のうち一方のｒ信号であり、ｒ’は、一対の周辺画素のうち他方のｒ信号である。ｇは、一対の周辺画素のうち一方のｇ信号であり、ｇ’は、一対の周辺画素のうち他方のｇ信号である。また、ｂは、一対の周辺画素のうち一方のｂ信号であり、ｂ’は、一対の周辺画素のうち他方のｂ信号である。
【００９８】
なお、画像処理部２００は、ＹＵＶ変換処理をさらに実行してもよい。この場合には、デモザイク処理後の画像データに対してＹＵＶ変換を行うＹＵＶ変換処理部が画像処理部２００にさらに設けられる。
【００９９】
図１７は、第３の実施の形態におけるデモザイク処理部３００の一構成例を示すブロック図である。このデモザイク処理部３００は、Ｒ補間フィルタ３０１と、Ｇ補間フィルタ３０２、Ｂ補間フィルタ３０３と、Ｗ補間フィルタ３０４、３０５および３０６とを備える。また、デモザイク処理部３００は、減算器３０７、３０８および３０９を備える。
【０１００】
Ｒ補間フィルタ３０１は、複数の画素を順に対象画素として選択し、対象画素においてＲ信号を補間するものである。例えば、Ｒ補間フィルタ３０１は、対象画素を中心として５×５のフィルタ範囲内のＲ信号のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｒ補間フィルタ３０１は、加算結果をＲ’信号として減算器３０７に供給する。
【０１０１】
Ｇ補間フィルタ３０２は、対象画素においてＧ信号を補間するものである。例えば、Ｇ補間フィルタ３０２は、対象画素を中心として５×５のフィルタ範囲内のＧ信号のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｇ補間フィルタ３０２は、加算結果をＧ’信号として減算器３０８に供給する。
【０１０２】
Ｂ補間フィルタ３０３は、対象画素においてＢ信号を補間するものである。例えば、Ｂ補間フィルタ３０３は、対象画素を中心として５×５のフィルタ範囲内のＢ信号のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｂ補間フィルタ３０３は、加算結果をＢ’信号として減算器３０９に供給する。
【０１０３】
Ｗ補間フィルタ３０４は、対象画素から一定範囲内のＲ画素の上下左右のＷ画素から、対象画素についてＷ信号を補間するものである。例えば、Ｗ補間フィルタ３０４は、対象画素を中心として５×５のフィルタ範囲内のＲ信号の上下左右のＷ信号の平均値のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｗ補間フィルタ３０４は、加算結果をＷ’信号として減算器３０７に供給する。
【０１０４】
Ｗ補間フィルタ３０５は、対象画素から一定範囲内のＧ画素の上下左右のＷ画素から、対象画素についてＷ信号を補間するものである。例えば、Ｗ補間フィルタ３０５は、対象画素を中心として５×５のフィルタ範囲内のＧ信号の上下左右のＷ信号の平均値のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｗ補間フィルタ３０５は、加算結果をＷ’信号として減算器３０８に供給する。
【０１０５】
Ｗ補間フィルタ３０６は、対象画素から一定範囲内のＢ画素の上下左右のＷ画素から、対象画素についてＷ信号を補間するものである。例えば、Ｗ補間フィルタ３０６は、対象画素を中心として５×５のフィルタ範囲内のＢ信号の上下左右のＷ信号の平均値のそれぞれに対して、距離に応じた係数による重み付け加算を行う。Ｗ補間フィルタ３０６は、加算結果をＷ’信号として減算器３０９に供給する。
【０１０６】
減算器３０７は、Ｒ補間フィルタ３０１からのＲ’信号から、Ｗ補間フィルタ３０４からのＷ’信号を減算するものである。減算器３０７は、減算結果をｒ信号として出力する。減算器３０８は、Ｇ補間フィルタ３０２からのＧ’信号から、Ｗ補間フィルタ３０５からのＷ’信号を減算するものである。減算器３０８は、減算結果をｇ信号として出力する。減算器３０９は、Ｂ補間フィルタ３０３からのＢ’信号から、Ｗ補間フィルタ３０６からのＷ’信号を減算するものである。減算器３０９は、減算結果をｂ信号として出力する。
【０１０７】
図１８は、第３の実施の形態における入力画像データ５３０の一例を示す図である。同図に例示するように、入力画像データにおいて、Ｒ信号、Ｇ信号、Ｂ信号およびＷ信号のいずれかの色情報を画素値とする複数の画素が二次元格子状に配列される。
【０１０８】
このように、Ｗ画素を含む画像データをデモザイクした場合、Ｗ画素を含まないベイヤ配列の画像データをデモザイクした場合と比較して明るさが向上するものの、色情報が少ないために色ノイズや滲みが多く発生してしまう傾向がある。式１による平滑化処理により、これらのノイズの発生を効果的に抑制することができる。なお、撮像素子１２０がベイヤ配列の入力画像データを生成し、画像処理部２００が、その入力画像データをデモザイクする構成としてもよい。
【０１０９】
図１９は、第３の実施の形態におけるＲ補間フィルタ３０１、Ｇ補間フィルタ３０２およびＢ補間フィルタ３０３に設定される重み係数の一例を示す図である。
【０１１０】
図１９におけるａは、Ｒ補間フィルタ３０１に設定される重み係数の一例を示す図である。このＲ補間フィルタ３０１は、入力画像データ内の画素を順に対象画素として選択する。この対象画素を中心として５×５の範囲内のＲ信号について、対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＲ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＲ画素については、「２」の重み係数が乗算される。残りのＲ画素については「１」の重み係数が設定される。Ｒ補間フィルタ３０１は、これらの係数を対応するＲ信号に乗算し、合計値が「１」になるように、所定値で除算してＲ’信号を生成する。
【０１１１】
図１９におけるｂは、Ｇ補間フィルタ３０２に設定される重み係数の一例を示す図である。このＧ補間フィルタ３０２では、対象画素を中心として５×５の範囲内のＧ信号について、対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＧ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＧ画素については、「２」の重み係数が乗算される。残りのＧ画素については「１」の重み係数が設定される。Ｇ補間フィルタ３０２は、これらの係数を対応するＧ信号に乗算し、合計値が「１」になるように、所定値で除算してＧ’信号を生成する。
【０１１２】
図１９におけるｃは、Ｂ補間フィルタ３０３に設定される重み係数の一例を示す図である。このＢ補間フィルタ３０３では、対象画素を中心として５×５の範囲内のＢ信号について、対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＢ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＢ画素については、「２」の重み係数が乗算される。残りのＢ画素については「１」の重み係数が設定される。Ｂ補間フィルタ３０３は、これらの係数を対応するＢ信号に乗算し、合計値が「１」になるように、所定値で除算してＢ’信号を生成する。
【０１１３】
図２０は、第３の実施の形態におけるＷ補間フィルタ３０４、３０５および３０６に設定される重み係数の一例を示す図である。
【０１１４】
図２０におけるａは、Ｗ補間フィルタ３０４に設定される重み係数の一例を示す図である。このＷ補間フィルタ３０４では、対象画素を中心として５×５の範囲内のＲ画素の上下左右のＷ信号について、そのＲ画素の対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＲ画素の上下左右のＷ画素については、「４」の重み係数が乗算される。この場合、フィルタ範囲は、７×７の範囲である。また、対象画素からの距離が２以上、２×２1/2未満のＲ画素の上下左右のＷ画素については、「２」の重み係数が乗算される。残りのＲ画素の上下左右のＷ画素については「１」の重み係数が設定される。同図におけるａの斜線部分は、Ｒ画素を示す。Ｗ補間フィルタ３０４は、これらの係数を対応するＷ信号の平均値に乗算し、合計値が「１」になるように、所定値で除算してＷ’信号を生成する。
【０１１５】
図２０におけるｂは、Ｗ補間フィルタ３０５に設定される重み係数の一例を示す図である。このＷ補間フィルタ３０５では、対象画素を中心として５×５の範囲内のＧ画素の上下左右のＷ信号について、そのＧ画素の対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＧ画素の上下左右のＷ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＧ画素の上下左右のＷ画素については、「２」の重み係数が乗算される。残りのＧ画素の上下左右のＷ画素については「１」の重み係数が設定される。同図におけるａの斜線部分は、Ｇ画素を示す。Ｗ補間フィルタ３０５は、これらの係数を対応するＷ信号の平均値に乗算し、合計値が「１」になるように、所定値で除算してＷ’信号を生成する。
【０１１６】
図２０におけるｃは、Ｗ補間フィルタ３０６に設定される重み係数の一例を示す図である。このＷ補間フィルタ３０６では、対象画素を中心として５×５の範囲内のＢ画素の上下左右のＷ信号について、そのＢ画素の対象画素からの距離が長いほど小さい重み係数が設定される。対象画素と、その上下左右、左上、右上、左下および右下にあるＢ画素の上下左右のＷ画素については、「４」の重み係数が乗算される。また、対象画素からの距離が２以上、２×２1/2未満のＢ画素の上下左右のＷ画素については、「２」の重み係数が乗算される。残りのＢ画素の上下左右のＷ画素については「１」の重み係数が設定される。同図におけるａの斜線部分は、Ｂ画素を示す。Ｗ補間フィルタ３０６は、これらの係数を対応するＷ信号の平均値に乗算し、合計値が「１」になるように、所定値で除算してＷ’信号を生成する。
【０１１７】
図２１は、第３の実施の形態におけるデモザイク処理後の画像データ５４０の一例を示す図である。同図に例示するように、デモザイク処理により、画素ごとに足りない色情報が補間された結果、画素ごとに、ｒ信号、ｇ信号およびｂ信号を含む画像データ５４０が生成される。
【０１１８】
図２２は、第３の実施の形態における重み付け加算部２６０の一構成例を示すブロック図である。第３の実施の形態の読出し部２６１は、色差信号ＵおよびＶの代わりに、注目画素および周辺画素のそれぞれのｒ信号、ｇ信号およびｂ信号を読み出す点において第１の実施の形態と異なる。
【０１１９】
図２３は、第３の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。第３の実施の形態の撮像装置１００の動作は、画像処理部２００がデモザイク処理（ステップＳ９０２）を実行し、ＹＵＶ変換処理（ステップＳ９０３）を実行しない点において第１の実施の形態と異なる。
【０１２０】
このように、本技術の第３の実施の形態によれば、画像処理部２００は、デモザイク処理をさらに行うため、撮像素子１２０がデモザイク処理を行う必要がなくなる。これにより、撮像素子１２０の回路規模を削減することができる。
【０１２１】
［変形例］
第３の実施の形態では、画像処理部２００は、デモザイク処理および平滑化処理後の画像データをそのまま出力しているが、デモザイク処理により除去された高周波成分を取り出して、平滑化処理後に、その高周波成分を復元してもよい。これにより、画像データの画質がさらに向上する。変形例の画像処理部２００は、高周波成分を復元する点において第１の実施の形態と異なる。
【０１２２】
図２４は、第３の実施の形態の変形例における画像処理部２００の一構成例を示すブロック図である。変形例の画像処理部２００は、Ｗ補間フィルタ３１０および高周波成分復元部３２０をさらに備える点において第３の実施の形態と異なる。
【０１２３】
Ｗ補間フィルタ３１０は、デモザイク処理部３００における補間フィルタよりもタップ数の小さいフィルタにより、画素ごとに足りないＷ信号を補間するフィルタである。例えば、デモザイク処理部３００において７×７のタップ数の補間フィルタを用いた場合、３×３のタップ数のＷ補間フィルタ３１０が設けられる。このＷ補間フィルタ３１０は、補間後のＷ信号を高周波成分として高周波成分復元部３２０に供給する。
【０１２４】
高周波成分復元部３２０は、平滑化処理後の画像データにおいて、高周波成分を復元するものである。この高周波成分復元部３２０は、重み付け加算部２６０からの画像データに、Ｗ補間フィルタ３１０からの高周波成分を合成して出力画像データとして出力する。これにより、高周波成分が復元される。
【０１２５】
このように、変形例によれば、デモザイク処理により取り除かれた高周波成分を、平滑化処理後に復元するため、画像データの画質をさらに向上させることができる。
【０１２６】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１２７】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【０１２８】
なお、本技術は以下のような構成もとることができる。
（１）二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する画像処理装置。
（２）前記差分取得部は、
前記差分を求めて当該差分が大きいほど小さい係数を周辺画素重み係数として前記差分から生成する周辺画素重み係数生成部と、
前記注目画素に対する係数を注目画素重み係数として前記周辺画素重み係数から生成する注目画素重み係数生成部と
を備え、
前記平滑化処理部は、前記周辺画素重み係数および前記注目画素重み係数による前記一対の入力画素と前記注目画素とに対する重み付け加算を前記平滑化処理として行う
前記（１）記載の画像処理装置。
（３）前記周辺画素重み係数生成部は、前記差分が大きいほど小さく、前記注目画素と前記一対の入力画素のいずれかとの間の距離が短いほど大きい係数を前記周辺画素重み係数として生成する
前記（２）記載の画像処理装置。
（４）前記複数の入力画素のそれぞれについて順に着目画素として当該着目画素から前記一定距離より長い距離の範囲内において平滑化処理を広範囲平滑化処理として行う広範囲平滑化処理部をさらに具備し、
前記差分取得部は、前記広範囲平滑化処理の後の前記一対の入力画素のそれぞれの画素値の差分を求め、
前記平滑化処理部は、前記広範囲平滑化処理の後の前記所定範囲内において前記平滑化処理を行う
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記画素値は、輝度信号および色差信号を含む
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記画素値は、複数の色情報を含む
前記（１）から（４）のいずれかに記載の画像処理装置。
（７）複数の色情報のうちの１つを前記画素値とする前記複数の入力画素のそれぞれにおいて前記複数の色情報のうち足りない色情報を補間する色情報補間部をさらに具備し、
前記重み係数生成部は、前記色情報が補間された前記複数の入力画素のそれぞれについて順に注目画素とする
前記（１）から（４）のいずれかに記載の画像処理装置。
（８）二次元格子状に配列された複数の入力画素を含む画像を撮像する撮像部と、
前記複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得部と、
前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する撮像装置。
（９）差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
を具備する画像処理方法。
（１０）差分取得部が、二次元格子状に配列された複数の入力画素のそれぞれについて順に注目画素として当該注目画素から一定距離の所定範囲内において前記注目画素に対して点対称の位置にある一対の入力画素のそれぞれの画素値の差分を求める差分取得手順と、
平滑化処理部が、前記差分が小さいほど平滑化の度合いの高い平滑化処理を前記所定範囲内において行う平滑化処理部と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１２９】
１００  撮像装置
１１０  撮像レンズ
１２０  撮像素子
１２１  行走査回路
１２２  画素アレイ部
１２３  画素
１２４  タイミング制御回路
１２５  ＡＤ変換部
１２６  列走査回路
１２７  デモザイク処理部
１２８  ＹＵＶ変換部
１３０  制御部
１４０  記録部
２００  画像処理部
２１０、２９０  データバッファ
２２０  注目画素選択部
２３０  重み係数算出部
２４０  周辺画素重み係数算出部
２４１  左右対重み係数算出部
２４２  上下対重み係数算出部
２４３、２４４  斜め対重み係数算出部
２４５、２４６、２４７、２４８、２５１、２５２、２５３、２５４、２６６、２６７、２６８、２６９、２７０  乗算器
２５０  注目画素重み係数算出部
２５５、２６２、２６３、２６４、２６５  加算器
２５６、３０７、３０８、３０９  減算器
２６０  重み付け加算部
２６１  読出し部
２７１  加算部
２８０  ローパスフィルタ
３００  デモザイク処理部
３０１  Ｒ補間フィルタ
３０２  Ｇ補間フィルタ
３０３  Ｂ補間フィルタ
３０４、３０５、３０６  Ｗ補間フィルタ
３１０  Ｗ補間フィルタ
３２０  高周波成分復元部
【図１】
2016071808.tif 000006
【図２】
2016071808.tif 000007
【図３】
2016071808.tif 000008
【図４】
2016071808.tif 000009
【図５】
2016071808.tif 000010
【図６】
2016071808.tif 000011
【図７】
2016071808.tif 000012
【図８】
2016071808.tif 000013
【図９】
2016071808.tif 000014
【図１０】
2016071808.tif 000015
【図１１】
2016071808.tif 000016
【図１２】
2016071808.tif 000017
【図１３】
2016071808.tif 000018
【図１４】
2016071808.tif 000019
【図１５】
2016071808.tif 000020
【図１６】
2016071808.tif 000021
【図１７】
2016071808.tif 000022
【図１８】
2016071808.tif 000023
【図１９】
2016071808.tif 000024
【図２０】
2016071808.tif 000025
【図２１】
2016071808.tif 000026
【図２２】
2016071808.tif 000027
【図２３】
2016071808.tif 000028
【図２４】
2016071808.tif 000029