(57)【要約】【課題】画質をより改善することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置１００は、入力画像信号を入力する入力部１０と、色信号及び輝度信号を参照信号とし、かつ、色信号を対象信号として、色信号及び輝度信号に基づいて色信号に対しフィルタ処理を行う色信号フィルタ部３０と、フィルタ処理後の色信号と輝度信号に基づいた出力画像信号を出力する出力部４０と、を備えるものである。【選択図】図１
2015035698.tif 000002
【特許請求の範囲】
【請求項１】
第１のコンポーネント信号及び一つ以上の第２のコンポーネント信号を含む入力画像信号を入力する入力部と、
前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号を参照信号とし、かつ、前記第１のコンポーネント信号を対象信号として、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号に基づいて前記第１のコンポーネント信号に対しフィルタ処理を行うフィルタ部と、
前記フィルタ処理後の第１のコンポーネント信号と前記一つ以上の第２のコンポーネント信号に基づいた出力画像信号を出力する出力部と、
を備える画像処理装置。
【請求項２】
前記フィルタ処理は、前記第１のコンポーネント信号に応じた重み項と、前記一つ以上の第２のコンポーネント信号に応じた重み項とに基づいてフィルタの重み係数を算出するフィルタ処理である、
請求項１に記載の画像処理装置。
【請求項３】
前記第１のコンポーネント信号に応じた重み項の係数が、前記一つ以上の第２のコンポーネント信号に応じた重み項の係数よりも大きい、
請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ処理は、ジョイントバイラテラルフィルタ処理である、
請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第１のコンポーネント信号は、色信号であり、
前記一つ以上の第２のコンポーネント信号には、輝度信号が含まれる、
請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記フィルタ部は、前記輝度信号に対しフィルタ処理を行った信号を前記参照信号とする、
請求項５に記載の画像処理装置。
【請求項７】
前記出力部は、前記フィルタ処理後の輝度信号に基づいて前記出力画像信号を生成する、
請求項６に記載の画像処理装置。
【請求項８】
前記第１のコンポーネント信号は、第１の色信号であり、
前記第２のコンポーネント信号には、第２の色信号が含まれる、
請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項９】
前記フィルタ部は、前記第１及び第２の色信号をアップサンプリングした信号を前記参照信号とし、前記第１の色信号をアップサンプリングした信号を前記対象信号とする、
請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記フィルタ部は、前記フィルタ処理としてジョイントバイラテラルアップサンプリング処理を行う、
請求項９に記載の画像処理装置。
【請求項１１】
第１のコンポーネント信号及び一つ以上の第２のコンポーネント信号を含む入力画像信号を入力し、
前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号を参照信号とし、かつ、前記第１のコンポーネント信号を対象信号として、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号に基づいて前記第１のコンポーネント信号に対しフィルタ処理を行い、
前記フィルタ処理後の第１のコンポーネント信号と前記一つ以上の第２のコンポーネント信号に基づいた出力画像信号を出力する、
画像処理方法。
【請求項１２】
前記フィルタ処理は、前記第１のコンポーネント信号に応じた重み項と、前記一つ以上の第２のコンポーネント信号に応じた重み項とに基づいてフィルタの重み係数を算出するフィルタ処理である、
請求項１１に記載の画像処理方法。
【請求項１３】
前記第１のコンポーネント信号に応じた重み項の係数が、前記一つ以上の第２のコンポーネント信号に応じた重み項の係数よりも大きい、
請求項１２に記載の画像処理方法。
【請求項１４】
前記フィルタ処理は、ジョイントバイラテラルフィルタ処理である、
請求項１１乃至１３のいずれか一項に記載の画像処理方法。
【請求項１５】
第１のコンポーネント信号及び一つ以上の第２のコンポーネント信号を含む入力画像信号を入力し、
前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号を参照信号とし、かつ、前記第１のコンポーネント信号を対象信号として、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号に基づいて前記第１のコンポーネント信号に対しフィルタ処理を行い、
前記フィルタ処理後の第１のコンポーネント信号と前記一つ以上の第２のコンポーネント信号に基づいた出力画像信号を出力する、
画像処理方法をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、入力画像に対しフィルタリングを行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、テレビ受像機やパーソナルコンピュータ、スマートフォン、デジタルカメラ等、デジタルの画像信号（映像信号）の表示や処理等を行う画像処理装置が広く普及しており、より高精度な画像処理技術が望まれている。
【０００３】
画像処理技術として、従来から、符号化（データ圧縮）により劣化した画像（映像）の品質を向上させるフィルタ技術が利用されている。例えば、フィルタに関する従来技術として、非特許文献１〜４、特許文献１〜３が知られている。
【０００４】
ノイズ除去によく用いられる従来技術としてガウシアンフィルタなどが挙げられる。しかし、ガウシアンフィルタでは、ノイズをできるだけ除去しようとすると輪郭もボケてしまうという欠点があった。
【０００５】
そこで、非特許文献１では、エッジ保持平滑化フィルタにより、画像をスムーズにしつつ、エッジ部分をぼかすことのないバイラテラルフィルタが提案されている。バイラテラルフィルタは、ガウスぼかしをする際、画素間の距離で重みを決定するのではなく、輝度の差も計算に入れ、輝度の変化が大きいところは重みを小さくすることによりエッジを残す手法である。
【０００６】
一方、近年、同じシーンに対し違う条件で撮影された画像や異なる特性を持つ画像を用いることで画質を改善する参照データ式画質改善手法が注目を集めている。参照データ式画質改善手法として、非特許文献２でジョイントバイラテラルフィルタ、非特許文献３でガイデッドフィルタが提案されている。参照データ式画質改善手法（参照データ式フィルタ）とは、ジョイントバイラテラルフィルタやガイデッドフィルタのように参照信号と対象信号の２つの画像信号を入力し、参照信号に基づいて対象信号に対しフィルタ処理を行うものとする。
【０００７】
図１７は、非特許文献２で提案されているジョイントバイラテラルフィルタの概要を示している。図１７に示すように、ジョイントバイラテラルフィルタ９００には、ガイダンス信号（参照信号）として画像１の輝度信号Ｙと、ターゲット信号（対象信号）として画像２の輝度信号Ｙとを入力する。例えば、フラッシュありで撮影した画像１と、フラッシュなしで撮影した画像２を入力する。ジョイントバイラテラルフィルタ９００は、ガイダンス信号の画像１を参照することでターゲット信号の画像２をフィルタ処理し、画像２のフィルタ処理後の輝度信号Ｙを出力する。
【０００８】
また、非特許文献３で提案されたガイデッドフィルタも、図１７と同様に、ガイダンス信号として画像１の輝度信号と、ターゲット信号として画像２の輝度信号を入力する。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】C.Tomasi, R.Manduchi, “Bilateral Filtering for Gray and Color Images”, ICCV1998(IEEE International Conference on Computer Vision), pp. 839-846, 1998年
【非特許文献２】Petschnigg, G., Agrawala, M., Hoppe, H., Szeliski, R.,Cohen, M., Toyama, K., “Digital Photography with Flash and No-Flash Image Pairs”, SIGGRAPH(2004), 2004年
【非特許文献３】K.He, J.Sun, X.Tang, “Guided Image Filtering”, ECCV2010(European Conference on Computer Vision), 2010年
【非特許文献４】J.Kopf, M.F.Cohen, D.Lischinski, M.Uyttendaele, “Joint Bilateral Upsampling”, SIGGRAPH2007, No.96, 2007年
【特許文献】
【００１０】
【特許文献１】特開２００４−２００７９０号公報
【特許文献２】特開２００９−２７６１９号公報
【特許文献３】特開２０１２−２３９０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、非特許文献２や３などの従来のフィルタでは、画質を十分に改善できない場合があることを本発明者は見出した。すなわち、画像信号には輝度信号と色信号のように複数のコンポーネント信号が含まれているものの、図１７のように従来のフィルタでは、一つのコンポーネント信号である輝度信号のみを参照信号及び対象信号としているため、他のコンポーネント信号である色信号について考慮されていない。
【００１２】
したがって、従来のフィルタでは、一つのコンポーネント信号しか考慮されていないため、複数のコンポーネント信号の間でノイズに相関が無い場合などにおいて、画質が十分に改善されない恐れがあるという問題があった。
【００１３】
本発明は、このような従来技術の課題に鑑み、画質をより改善することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、第１のコンポーネント信号及び一つ以上の第２のコンポーネント信号を含む入力画像信号を入力する入力部と、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号を参照信号とし、かつ、前記第１のコンポーネント信号を対象信号として、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号に基づいて前記第１のコンポーネント信号に対しフィルタ処理を行うフィルタ部と、前記フィルタ処理後の第１のコンポーネント信号と前記一つ以上の第２のコンポーネント信号に基づいた出力画像信号を出力する出力部と、を備えるものである。
【００１５】
本発明に係る画像処理方法は、第１のコンポーネント信号及び一つ以上の第２のコンポーネント信号を含む入力画像信号を入力し、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号を参照信号とし、かつ、前記第１のコンポーネント信号を対象信号として、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号に基づいて前記第１のコンポーネント信号に対しフィルタ処理を行い、前記フィルタ処理後の第１のコンポーネント信号と前記一つ以上の第２のコンポーネント信号に基づいた出力画像信号を出力するものである。
【００１６】
本発明に係る画像処理プログラムは、第１のコンポーネント信号及び一つ以上の第２のコンポーネント信号を含む入力画像信号を入力し、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号を参照信号とし、かつ、前記第１のコンポーネント信号を対象信号として、前記第１のコンポーネント信号及び前記一つ以上の第２のコンポーネント信号に基づいて前記第１のコンポーネント信号に対しフィルタ処理を行い、前記フィルタ処理後の第１のコンポーネント信号と前記一つ以上の第２のコンポーネント信号に基づいた出力画像信号を出力する、画像処理方法をコンピュータに実行させるためのものである。
【発明の効果】
【００１７】
本発明によれば、画質をより改善することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】参考例の画像処理方法の流れを説明するための説明図である。
【図３】参考例の画像処理方法の具体例を説明するための説明図である。
【図４】参考例の画像処理方法の具体例を説明するための説明図である。
【図５】実施の形態１に係る画像処理方法の流れを説明するための説明図である。
【図６】実施の形態１に係る画像処理方法の具体例を説明するための説明図である。
【図７】実施の形態２に係る画像処理方法の流れを説明するための説明図である。
【図８】実施の形態２に係る画像処理方法の流れを説明するための説明図である。
【図９】実施の形態２に係る画像処理方法の流れを説明するための説明図である。
【図１０】実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１１】実施の形態３に係る画像処理方法の流れを説明するための説明図である。
【図１２】実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図１３】実施の形態４に係る画像処理方法の流れを説明するための説明図である。
【図１４】実施の形態４に係る画像処理方法の流れを説明するための説明図である。
【図１５】実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図１６】実施の形態４に係る画像処理方法の流れを説明するための説明図である。
【図１７】従来のジョイントバイラテラルフィルタの構成を示す構成図である。
【発明を実施するための形態】
【００１９】
（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。
【００２０】
ＪＰＥＧやＭＰＥＧなどの画像・映像符号化では、一般的に画像を輝度画像信号（輝度信号）Ｙと色画像信号（色信号）Ｃｒ，Ｃｂに分割したＹＣｒＣｂ色空間画像を扱う。また、輝度画像信号に対して色画像信号を縦横１／２の解像度とする４：２：０カラーフォーマットを用いるのが一般的である。これは、人間が輝度の空間周波数変化に対して色の空間周波数変化に鈍感であるという視覚特性に基づいている。しかしながら、テロップなど色コントラストの高い文字を符号化した場合、輝度に比べて色の解像度が低いため、色の符号化歪が非常に目立つという問題がある。
【００２１】
また、参照データ式画質改善手法において、単純に輝度画像信号を参照信号として用いた場合、輝度画像の画素間に画素値の差が無く色画像の画素間にのみ画素値の差がある領域（例えば赤の背景に青の線が入っている色エッジ領域など）では、色画像信号に単純なガウシアンフィルタが適用されることと等価になり、色にじみが発生するという問題がある。
【００２２】
そこで、実施の形態では、参照データ式画質改善手法を利用し、輝度画像信号Ｙ（例えば第２のコンポーネント信号）を参照信号とし、色画像信号Ｃｒ，Ｃｂ（例えば第１のコンポーネント信号）を対象信号として、色画像信号のノイズ除去を行いつつ、高解像度化を同時に行う。実施の形態は、４：２：０カラーフォーマットで符号化された画像・映像に対し特に有効である。
【００２３】
さらに、実施の形態では、参照データ式画質改善手法の一つであるジョイントバイラテラルフィルタを利用し、輝度画像信号Ｙだけでなく色画像信号Ｃｂ，Ｃｒも参照信号として用い、ジョイントバイラテラルフィルタの重み項にＣｒとＣｂの画素間差分値に応じた重み項を追加することにより、輝度画像の画素間に画素値の差が無く色画像の画素間に画素値の差がある領域（例えば赤の背景に青の線が入っている色エッジ領域など）で色にじみが生じる問題を解決することができる。
【００２４】
また、実施の形態を、デジタルカメラで一般的に用いられるＲＧＢ画像信号に対して適用することもできる。その場合、上記Ｙ,Ｃｒ,ＣｂをＲ,Ｇ,Ｂに置き換えて、Ｒ,Ｇ,Ｂ画像を参照信号とし、対象信号をＲ又はＧ又はＢ画像とすることにより、Ｒ,Ｇ,Ｂ各色画像のノイズ除去が可能となると伴に、デモザイキング処理を同時に行うことも可能となる。また、ＨＳＶ画像信号についても、ＲＧＢ画像信号と同様に、Ｈ,Ｓ,Ｖ画像を参照信号とし、対象信号をＨ又はＳ又はＶ画像としてもよい。
【００２５】
実施の形態は、当該技術分野の画質改善技術に関するものであり、従来技術と比較して、比較的単純な処理で色画像信号のノイズ除去と高解像度化の両方の効果を得られる点で優れている。また、一般的にノイズ除去フィルタの副作用として挙げられるエッジやテクスチャなどのぼけが生じにくい点でも優れている。
【００２６】
（実施の形態１）
以下、図面を参照して実施の形態について説明する。本実施の形態では、複数のコンポーネント信号を含む画像として、テレビ受像機などで一般的に使用されるＹＣｒＣｂ画像を用いる例について説明する。複数のコンポーネント信号のうちの一つを第１のコンポーネント信号、その他を一つ以上の第２のコンポーネント信号と称する場合がある。
【００２７】
図１は、本実施の形態に係る画像処理装置の構成を示している。図１に示すように画像処理装置１００は、入力部１０、輝度信号フィルタ部２０、色信号フィルタ部３０、出力部４０を備えている。また、色信号フィルタ部３０は、一例として、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２を備えている。
【００２８】
なお、後述する本実施の形態に係る画像処理方法が実現できれば、その他の機能ブロックで構成してもよい。図１の画像処理装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。画像処理装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述する本実施の形態に係る画像処理方法を行うための画像処理プログラムを格納し、画像処理装置の各機能を、記憶装置に格納された画像処理プログラムをＣＰＵで実行することにより実現してもよい。
【００２９】
入力部１０は、符号化された入力画像（または映像）が入力され、入力画像に含まれる輝度信号Ｙ１を輝度信号フィルタ部２０へ出力し、入力画像に含まれる色信号Ｃｂ１、Ｃｒ１を色信号フィルタ部３０（Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２）へ出力する。なお、後述の実施の形態で説明するように、輝度信号Ｙ１を出力部４０や色信号フィルタ部３０へ出力してもよい。例えば、入力画像は、ＹＵＶ４２０フォーマットやＪＰＥＧ及びＭＰＥＧ−２などの画像符号化により劣化した画質であり、特に第１のコンポーネント信号（例えば色信号ＣｂまたはＣｒ）と第２のコンポーネント信号の一つ（例えば輝度信号Ｙ）とにノイズの相関が無い画像である。入力画像は、例えば、輝度信号Ｙ、色信号Ｃｂ，Ｃｒを含むＹＣｂＣｒ（またはＹＵＶ）方式の映像信号であるが、ＲＧＢ方式やＨＳＶ方式等、その他の方式の画像信号であってもよい。入力部１０は、入力画像がＲＧＢ方式やＨＳＶ方式の場合、ＹＣｂＣｒ方式の画像信号に変換する。
【００３０】
輝度信号フィルタ部２０は、入力部１０から入力される輝度信号Ｙ１に対しフィルタ処理を行い、フィルタ処理後の輝度信号Ｙ２を出力する。輝度信号フィルタ部２０は、非特許文献２や３の参照データ式画質改善手法によりフィルタリングを行う。ここでは輝度信号に重畳されているノイズを除去するためのフィルタであれば良く、例えば、後述する色信号フィルタ部と同様の参照データ式画質改善手法（例えばガイデッドフィルタやジョイントバイラテラルフィルタ）を用いて、参照信号を対象信号と同じ輝度信号Ｙ１としてもよいし、ガウシアンフィルタやイプシロンフィルタなど一般的なフィルタを用いてもよい。
【００３１】
色信号フィルタ部３０は、入力部１０から入力される色信号Ｃｂ１，Ｃｒ１に対しフィルタ処理を行い、フィルタ処理後の色信号Ｃｂ２、Ｃｒ２を出力する。色信号フィルタ部３０は、参照データ式画質改善手法（参照データ式フィルタ）によりフィルタリングを行う。すなわち、色信号フィルタ部３０は、ガイダンス信号（参照信号）を用いて、ターゲット信号（対象信号）に対しフィルタリング処理を行う。本実施の形態では、色信号フィルタ部３０にジョイントバイラテラルフィルタを適用した例について説明するが、ガイデッドフィルタなどその他の参照データ式フィルタを適用してもよい。なお、輝度信号フィルタ部２０と色信号フィルタ部３０を一つのフィルタ部としてもよい。
【００３２】
Ｃｂ信号フィルタ部３１は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、色信号Ｃｂ１をターゲット信号として、ジョイントバイラテラルフィルタ処理後の色信号Ｃｂ２を出力する。例えば、色信号Ｃｂ１が第１のコンポーネント信号であり、輝度信号Ｙ２及び色信号Ｃｒ１が第２のコンポーネント信号である。Ｃｒ信号フィルタ部３２は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、色信号Ｃｒ１をターゲット信号として、ジョイントバイラテラルフィルタ処理後の色信号Ｃｒ２を出力する。例えば、色信号Ｃｒ１が第１のコンポーネント信号であり、輝度信号Ｙ２及び色信号Ｃｂ１が第２のコンポーネント信号でもある。なお、輝度信号Ｙと色信号Ｃｂ，Ｃｒとはノイズに相関がなく、色信号Ｃｂと色信号Ｃｒとはノイズに相関がある。このため、色信号Ｃｂ，Ｃｒのいずれかを一方をガイダンス信号としてもよい。すなわち、Ｃｂ信号フィルタ部３１またはＣｒ信号フィルタ部３２は、少なくとも輝度信号Ｙ２と色信号Ｃｂ１（またはＣｒ１）をガイダンス信号とする。
【００３３】
出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、色信号フィルタ部３０によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２に基づいて、出力画像を生成し出力する。なお、出力部４０は、必要に応じて、コントラスト改善などの後処理を行ってもよい。
【００３４】
ここで、図２を用いて、本実施の形態適用前の参考例の画像処理方法について説明する。図２に示すように、参考例では、入力部１０が、ＹＣｂＣｒ信号（またはＲＧＢ信号を変換したＹＣｂＣｒ信号）に含まれる輝度信号Ｙ１、色信号Ｃｂ１、Ｃｒ１を分離し、輝度信号フィルタ部２０、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２にそれぞれ入力する（Ｓ１０１）。
【００３５】
続いて、輝度信号フィルタ部２０は、入力部１０から入力された輝度信号Ｙ１に対し一般的なフィルタ処理（ＮＲフィルタ処理：Noise Reductionフィルタ処理）を行う（Ｓ１０２）。ガウシアンノイズなどは輝度空間にも存在することから、色信号にフィルタ処理を行う前にガイダンス信号となる輝度信号に対しノイズ除去処理をジョイントバイラテラルフィルタで自分自身（輝度信号）を参照する形で平滑化処理を行ってもよい。輝度信号フィルタ部２０は、フィルタ処理後の輝度信号Ｙ２を、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２、出力部４０へ出力する。
【００３６】
続いて、Ｃｂ信号フィルタ部３１は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２をガイダンス信号とし、入力部１０から入力される色信号Ｃｂ１をターゲット信号として、色信号Ｃｂ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ１０３）。ノイズ除去後の輝度信号Ｙ２を参照画像とし、色信号Ｃｂをジョイントバイラテラルフィルタでフィルタ処理を行うことで、輝度画像の細部情報を利用し、色信号Ｃｂの該当細部の解像度を改善する。Ｃｂ信号フィルタ部３１は、フィルタ処理後の色信号Ｃｂ２を出力部４０へ出力する。
【００３７】
続いて（例えばＳ１０３と平行して）、Ｃｒ信号フィルタ部３２は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２をガイダンス信号とし、入力部１０から入力される色信号Ｃｒ１をターゲット信号として、色信号Ｃｒ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ１０４）。ノイズ除去後の輝度信号Ｙ２を参照画像とし、色信号Ｃｒをジョイントバイラテラルフィルタでフィルタ処理を行うことで、輝度画像の細部情報を利用し、色信号Ｃｒの該当細部の解像度を改善する。Ｃｒ信号フィルタ部３１は、フィルタ処理後の色信号Ｃｒ２を出力部４０へ出力する。
【００３８】
続いて、出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像を生成し出力する（Ｓ１０５）。
【００３９】
参考例のＳ１０３、Ｓ１０４で処理されるジョイントバイラテラルフィルタは以下の式１、式２で表すことができる。
【数１】
2015035698.tif 000003
【数２】
2015035698.tif 000004
【００４０】
ここで、ｐは対象信号、Ｉは参照信号、ｑはフィルタ後の出力信号であり、ｉは画像全体の中の座標を表し、ｊはフィルタ対象画素を中心とした所定の大きさのウィンドウ内の座標を表す。また、Ｗはウィンドウ内の各画素にかかる重み係数を表し、ｘはウィンドウ内の位置、Ｋはウィンドウ内のＷの合計が１となるように正規化するためのパラメータである。例えば、図２のＣｂ１にジョイントバイラテラルフィルタを適用する際（Ｓ１０３）には、ｐがＣｂ１、ＩがＹ２、ｑがＣｂ２となる。
【００４１】
式２からわかるように、重み係数Ｗは、フィルタ対象画素（ウィンドウ内の中心画素）の位置ｘｉに対して周辺画素の位置ｘｊが離れれば離れるほど重みが小さくなり、また、フィルタ対象画素と同じ位置の参照信号の画素Ｉｉと、周辺画素の参照信号Ｉｊとの差が大きくなればなるほど重みが小さくなるように制御されることとなる。すなわち、重み係数Ｗは、画素間の距離に応じた重み項（ｘｉ-ｘｊを含む項）と、画素間の輝度差分に応じた重み項（Ｉｉ-Ｉｊを含む項）とに基づいて算出される。したがって、参照信号にエッジなどの画素間差分値の大きい構造がある場合、エッジを跨ぐ周辺画素の重み係数が小さくなる。
【００４２】
図３にジョイントバイラテラルフィルタの効果を表す概念図を示す。図３は画素値を縦軸にして画像を１次元で示したものである。図３のように、対象信号のエッジが不鮮明であり、参照信号の同じ位置にも鮮明なエッジがある場合には対象信号のエッジを鮮明化しつつノイズ除去を行うことができる。すなわち、参考例では、色信号Ｃｂ，Ｃｒをフィルタ処理する際に、輝度信号Ｙを参照信号に用いるため、色信号Ｃｂ、Ｃｒでノイズによりエッジが不鮮明であっても、輝度信号Ｙでエッジが鮮明な場合には、色信号Ｃｂ，Ｃｒのエッジを鮮明化しノイズを除去することができる。
【００４３】
しかしながら、例えば図４のように、輝度画像の画素間に画素値の差が無く色画像の画素間にのみ画素値の差がある領域（例えば赤の背景に青の線が入っている色エッジ領域など）では、色画像信号に単純なガウシアンフィルタが適用されることと等価になり、色にじみ（色エッジのぼけ）が発生してしまうという問題がある。すなわち、参考例では、色信号Ｃｂ、Ｃｒでエッジが鮮明であっても、輝度信号Ｙにエッジがない場合には、色信号Ｃｂ，Ｃｒのエッジが平滑化されるため、色にじみが発生してしまう。
【００４４】
そこで、本実施の形態では、図５に示すように輝度信号だけでなく、色信号も参照信号として用いることにより上記問題を解決する。
【００４５】
図５のように、本実施の形態では、まず、図２と同様に、入力部１０は、輝度信号Ｙ１、色信号Ｃｂ１、Ｃｒ１を輝度信号フィルタ部２０、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２にそれぞれ入力し（Ｓ１０１）、輝度信号フィルタ部２０は、入力部１０から入力された輝度信号Ｙ１に対し一般的なフィルタ処理を行う（Ｓ１０２）。
【００４６】
続いて、Ｃｂ信号フィルタ部３１は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力部１０から入力される色信号Ｃｂ１をターゲット信号として、色信号Ｃｂ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２０１）。ノイズ除去後の輝度信号Ｙ２及び色信号Ｃｂ，Ｃｒを参照画像とし、色信号Ｃｂをジョイントバイラテラルフィルタでフィルタ処理を行うことで、輝度画像及び色画像の細部情報を利用し、色信号Ｃｂの該当細部の解像度を改善しつつノイズを除去する。Ｃｂ信号フィルタ部３１は、フィルタ処理後の色信号Ｃｂ２を出力部４０へ出力する。
【００４７】
続いて（例えばＳ２０１と平行して）、Ｃｒ信号フィルタ部３２は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力部１０から入力される色信号Ｃｒ１をターゲット信号として、色信号Ｃｒ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２０２）。ノイズ除去後の輝度信号Ｙ２及び色信号Ｃｂ，Ｃｒを参照画像とし、色信号Ｃｒをジョイントバイラテラルフィルタでフィルタ処理を行うことで、輝度画像及び色画像の細部情報を利用し、色信号Ｃｒの該当細部の解像度を改善しつつノイズを除去する。Ｃｒ信号フィルタ部３１は、フィルタ処理後の色信号Ｃｒ２を出力部４０へ出力する。
【００４８】
続いて、出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像を生成し出力する（Ｓ１０５）。
【００４９】
本実施の形態のＳ２０１，Ｓ２０２では、参考例のジョイントバイラテラルフィルタの上記式２を、以下の式３のように変更する。
【数３】
2015035698.tif 000005
【００５０】
ここで、ＩＹ、ＩＣｂ、ＩＣｒは参照信号であり、式２に対してＣｂ及びＣｒの画素間差分値を考慮して重み係数Ｗを生成する式となっている。式３では、重み係数Ｗは、画素間の距離に応じた重み項（ｘｉ-ｘｊを含む項）と、画素間の輝度差分に応じた重み項（ＩＹｉ-ＩＹｊを含む項）と、画素間の色信号Ｃｂの差分に応じた重み項（ＩＣｂｉ-ＩＣｂｊを含む項）と、画素間の色信号Ｃｒの差分に応じた重み項（ＩＣｒｉ-ＩＣｒｊを含む項）とに基づいて算出される。これにより、図６に示すように、輝度信号にエッジがない場合でも、色信号にエッジが存在するのであれば、色信号のエッジを保存したままノイズを除去することが可能となる。すなわち、参考例では、輝度信号のみを参照信号としていたため、図４のように色エッジの部分に色にじみが発生していたのに対し、本実施形態では、色信号も参照信号とするため、図６のように、色信号Ｃｂ、Ｃｒでエッジが鮮明な場合、色信号Ｃｂ，Ｃｒのエッジが鮮明な状態でノイズを除去することができる。また、本実施の形態でも、輝度信号を含めて参照信号としているため、輝度信号でエッジが鮮明な場合は、図３と同様に、色信号Ｃｂ，Ｃｒのエッジを鮮明化しノイズを除去することができる。
【００５１】
なお、参照画像としての色信号はあくまでも対象信号のエッジをぼかさないための補助的な役割であるため、式３において各項の重みを係数σにより調整することが好ましい。すなわち、対象信号のエッジをぼかさないで且つノイズを除去できる程度に色信号のσ（第１のコンポーネント信号すなわち対象信号かつ参照信号の係数）を輝度信号のσ（第２のコンポーネント信号すなわち参照信号の係数）よりも大きい値にすることが望ましい。実験では、４：２：０カラーフォーマットで符号化され、且つ画素値が０．０〜１．０に正規化された画像信号を用いた場合、σＹを０．１より小さく、σＣｂ、σＣｒを０．２より大きい値に設定するのが良い結果となった。実験の結果、従来のガイデッドフィルタや単純なジョイントバイラテラルフィルタ（参考例）では赤線と青線が交差する場所で色にじみが発生したが、本実施の形態のカラージョイントバイラテラルフィルタでは色にじみが発生しなかった。
【００５２】
以上のように、本実施の形態では、色信号を対象信号とするフィルタ処理において、輝度信号及び色信号を参照信号としてフィルタリングを行うこととした。これにより、画像符号化により劣化した画質、特に色信号におけるノイズと解像度劣化に対し、画質改善を図ることができる。特に、本実施の形態によれば、参照信号となる輝度信号に輝度差が無く対象信号となる色信号に大きい色差があるような領域（例えば色エッジ領域）において、色にじみが生じることなく画質改善を行うことができる。
【００５３】
現行の各種圧縮方式の多くは、人間が輝度解像度より色解像度に対する敏感度が特に弱いという視覚特徴に基づき、ＹＵＶ４２２、４２０フォーマットのように色信号の解像度を輝度信号の解像度よりも低くし、輝度信号はできるだけ原画の解像度を保っている。このような符号化方式では色ノイズが生じやすくなり、それに伴う画質の劣化が見られる。本実施の形態は非特許文献２のジョイントバイラテラルフィルタを利用して、細部情報が豊富な輝度信号を参照データとし、色信号をフィルタリングすることで、色信号の解像度を向上する。また、色信号も参照データとして利用するようにジョイントバイラテラルフィルタを拡張することによって色にじみの発生を抑えつつ、ノイズを抑制し、画像の細部まで再現することが可能となり、大幅な画質改善を行うことができる。
【００５４】
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。実施の形態１では、輝度信号に予めフィルタ処理を施した画像を参照信号として用い、また、フィルタ処理後の輝度信号を出力信号としたが、本実施の形態では、輝度信号にフィルタ処理を施さない例について説明する。なお、本実施の形態に係る画像処理装置の主な構成は実施の形態１の図１と同様である。
【００５５】
図７は、実施の形態１に対して、入力された輝度信号を用いて出力画像を生成する例である。
【００５６】
図７に示すように、輝度信号Ｙ１、色信号Ｃｂ１、Ｃｒ１が入力され（Ｓ１０１）、輝度信号フィルタ部２０は、実施の形態１と同様に、入力された輝度信号Ｙ１に対し一般的なフィルタ処理を行う（Ｓ１０２）。
【００５７】
Ｃｂ信号フィルタ部３１は、実施の形態１と同様に、フィルタ処理された輝度信号Ｙ２と、入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力される色信号Ｃｂ１をターゲット信号として、色信号Ｃｂ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２０１）。Ｃｒ信号フィルタ部３２は、実施の形態１と同様に、フィルタ処理された輝度信号Ｙ２と、入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力される色信号Ｃｒ１をターゲット信号として、色信号Ｃｒ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２０２）。
【００５８】
続いて、出力部４０は、入力部１０から入力された輝度信号Ｙ１、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像を生成し出力する（Ｓ１０５）。
【００５９】
図８は、実施の形態１に対して、入力された輝度信号をガイダンス信号として色信号に対しフィルタ処理する例である。
【００６０】
図８に示すように、輝度信号Ｙ１、色信号Ｃｂ１、Ｃｒ１が入力され（Ｓ１０１）、輝度信号フィルタ部２０は、実施の形態１と同様に、入力された輝度信号Ｙ１に対し一般的なフィルタ処理を行う（Ｓ１０２）。
【００６１】
Ｃｂ信号フィルタ部３１は、入力部１０から入力された輝度信号Ｙ１と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力部１０から入力される色信号Ｃｂ１をターゲット信号として、色信号Ｃｂ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２１１）。Ｃｒ信号フィルタ部３２は、入力部１０から入力された輝度信号Ｙ１と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力部１０から入力される色信号Ｃｒ１をターゲット信号として、色信号Ｃｒ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２１２）。
【００６２】
続いて、出力部４０は、輝度信号フィルタ部２０によりフィルタ処理された輝度信号Ｙ２、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像を生成し出力する（Ｓ１０５）。
【００６３】
図９は、実施の形態１に対して、入力された輝度信号をガイダンス信号として色信号に対しフィルタ処理を行い、かつ、入力された輝度信号を用いて出力画像を生成する例である。
【００６４】
図９に示すように、輝度信号Ｙ１、色信号Ｃｂ１、Ｃｒ１が入力される（Ｓ１０１）。Ｃｂ信号フィルタ部３１は、入力部１０から入力された輝度信号Ｙ１と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力部１０から入力される色信号Ｃｂ１をターゲット信号として、色信号Ｃｂ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２１１）。Ｃｒ信号フィルタ部３２は、入力部１０から入力された輝度信号Ｙ１と、入力部１０から入力される色信号Ｃｂ１及びＣｒ１をガイダンス信号とし、入力部１０から入力される色信号Ｃｒ１をターゲット信号として、色信号Ｃｒ１に対しジョイントバイラテラルフィルタ処理を行う（Ｓ２１２）。
【００６５】
続いて、出力部４０は、入力部１０から入力された輝度信号Ｙ１、Ｃｂ信号フィルタ部３１、Ｃｒ信号フィルタ部３２によりフィルタ処理された色信号Ｃｂ２，Ｃｒ２を合成して出力画像を生成し出力する（Ｓ１０５）。
【００６６】
以上のように、輝度信号に対するフィルタ処理を省略して、少なくとも輝度信号及び色信号を参照信号とし、色信号に対しジョイントバイラテラルフィルタ処理を行った場合でも、実施の形態１と同様に、色信号の解像度を向上し、エッジ周辺のノイズ等を精度よく除去することができる。
【００６７】
（実施の形態３）
以下、図面を参照して実施の形態３について説明する。実施の形態１及び２では、主にＹＣｂＣｒ画像を入力する例について説明したが、本実施の形態では、複数のコンポーネント信号を含む画像として、デジタルカメラなどで一般的に使用されるＲＧＢ画像を用いる例について説明する。
【００６８】
図１０は、本実施の形態に係る画像処理装置の構成を示している。図１０に示すように画像処理装置１００は、入力部１０、ＲＧＢ信号フィルタ部５０、出力部４０を備えている。また、ＲＧＢ信号フィルタ部５０は、Ｒ信号フィルタ部５１、Ｇ信号フィルタ部５２、Ｂ信号フィルタ部５３を備えている。
【００６９】
入力部１０は、デジタルカメラ（撮像装置）等により生成されたＲＧＢ画像（ＲＧＢ信号）が入力され、ＲＧＢ画像に含まれるＲ１信号、Ｇ１信号、Ｂ１信号をＲＧＢ信号フィルタ部（Ｒ信号フィルタ部５１、Ｇ信号フィルタ部５２、Ｂ信号フィルタ部５３）へ出力する。なお、後述の実施の形態で説明するように、Ｒ１信号、Ｇ１信号、Ｂ１信号に対し、必要に応じてアップスケーリングなどの前処理を行った後、ＲＧＢ信号フィルタ部５０へ出力してもよい。
【００７０】
ＲＧＢ信号フィルタ部５０は、入力部１０から入力されるＲ１信号、Ｇ１信号、Ｂ１信号に対しフィルタ処理を行い、フィルタ処理後のＲ２信号、Ｇ２信号、Ｂ２信号を出力する。ＲＧＢ信号フィルタ部５０は、実施の形態１の色信号フィルタ部３０と同様に、参照データ式画質改善手法によりフィルタリングを行う。本実施の形態では、実施の形態１と同様に、ＲＧＢ信号フィルタ部５０にジョイントバイラテラルフィルタを適用した例について説明するが、ガイデッドフィルタなどその他の参照データ式のフィルタを適用してもよい。
【００７１】
Ｒ信号フィルタ部５１は、入力部１０から入力されるＲ１信号（第１のコンポーネント信号、第１の色信号）、Ｇ１信号及Ｂ１信号（第２のコンポーネント信号、第２の色信号）をガイダンス信号とし、Ｒ１信号をターゲット信号として、ジョイントバイラテラルフィルタ処理後のＲ２信号を出力する。Ｇ信号フィルタ部５２は、入力部１０から入力されるＧ１信号（第１のコンポーネント信号、第１の色信号）、Ｒ１信号及Ｂ１信号（第２のコンポーネント信号、第２の色信号）をガイダンス信号とし、Ｇ１信号をターゲット信号として、ジョイントバイラテラルフィルタ処理後のＧ２信号を出力する。Ｂ信号フィルタ部５３は、入力部１０から入力されるＢ１信号（第１のコンポーネント信号、第１の色信号）、Ｒ１信号及Ｇ１信号（第２のコンポーネント信号、第２の色信号）をガイダンス信号とし、Ｂ１信号をターゲット信号として、ジョイントバイラテラルフィルタ処理後のＢ２信号を出力する。なお、色信号Ｒ，Ｇ，Ｂはノイズに相関がないため、色信号Ｒ，Ｇ，Ｂの全てをガイダンス信号とすることが好ましい。
【００７２】
出力部４０は、ＲＧＢ信号フィルタ部５０によりフィルタ処理されたＲ２、Ｇ２、Ｂ２信号に基づいて、出力画像を生成し出力する。出力部４０は、必要に応じて、コントラスト改善などの後処理を行ってもよい。
【００７３】
図１１は、本実施の形態における処理の流れを示している。図１１に示すように、まず、入力部１０は、ＲＧＢ信号に含まれるＲ１信号、Ｇ１信号、Ｂ１信号を分離し、Ｒ信号フィルタ部５１、Ｇ信号フィルタ部５２、Ｂ信号フィルタ部５３にそれぞれ入力する（Ｓ３０１）。
【００７４】
続いて、Ｒ信号フィルタ部５１は、入力部１０から入力されるＲ１信号、Ｇ１信号及びＢ１信号をガイダンス信号とし、入力部１０から入力されるＲ１信号をターゲット信号として、Ｒ１信号に対しジョイントバイラテラルフィルタ処理を行う（Ｓ３０２）。Ｒ信号、Ｇ信号、Ｂ信号を参照画像とし、Ｒ信号をジョイントバイラテラルフィルタでフィルタ処理を行うことで、Ｒ信号、Ｇ信号、Ｂ信号の情報を利用し、Ｒ信号のノイズを除去する。Ｒ信号フィルタ部５１は、フィルタ処理後のＲ２信号を出力部４０へ出力する。
【００７５】
続いて（例えばＳ３０２と並行して）、Ｇ信号フィルタ部５２は、入力部１０から入力されるＲ１信号、Ｇ１信号及びＢ１信号をガイダンス信号とし、入力部１０から入力されるＧ１信号をターゲット信号として、Ｇ１信号に対しジョイントバイラテラルフィルタ処理を行う（Ｓ３０３）。Ｒ信号、Ｇ信号、Ｂ信号を参照画像とし、Ｇ信号をジョイントバイラテラルフィルタでフィルタ処理を行うことで、Ｒ信号、Ｇ信号、Ｂ信号の情報を利用し、Ｇ信号のノイズを除去する。Ｇ信号フィルタ部５２は、フィルタ処理後のＧ２信号を出力部４０へ出力する。
【００７６】
続いて（例えばＳ３０２，Ｓ３０３と平行して）、Ｂ信号フィルタ部５３は、入力部１０から入力されるＲ１信号、Ｇ１信号及びＢ１信号をガイダンス信号とし、入力部１０から入力されるＢ１信号をターゲット信号として、Ｂ１信号に対しジョイントバイラテラルフィルタ処理を行う（Ｓ３０４）。Ｒ信号、Ｇ信号、Ｂ信号を参照画像とし、Ｂ信号をジョイントバイラテラルフィルタでフィルタ処理を行うことで、Ｒ信号、Ｇ信号、Ｂ信号の情報を利用し、Ｂ信号のノイズを除去する。Ｂ信号フィルタ部５３は、フィルタ処理後のＢ２信号を出力部４０へ出力する。
【００７７】
続いて、出力部４０は、Ｒ信号フィルタ部５１によりフィルタ処理されたＲ２信号、Ｇ信号フィルタ部５２によりフィルタ処理されたＧ２信号、Ｂ信号フィルタ部５３によりフィルタ処理されたＢ２信号を合成して出力画像を生成し出力する（Ｓ３０５）。
【００７８】
本実施の形態では、入力画像の色信号Ｒ１、Ｇ１、Ｂ１に対してそれぞれ、Ｒ１、Ｇ１、Ｂ１を参照信号としてジョイントバイラテラルフィルタを適用し、Ｒ２、Ｇ２、Ｂ２を出力する。この場合、ジョイントバイラテラルフィルタは上記式３を以下の式４のように変更する。
【数４】
2015035698.tif 000006
【００７９】
ここで、ＩＲ、ＩＧ、ＩＢはそれぞれ参照信号であり、Ｒ画像及びＧ画像及びＢ画像の画素間差分値を考慮して重み係数Ｗを生成する式となっている。式４では、重み係数Ｗは、画素間の距離に応じた重み項（ｘｉ-ｘｊを含む項）と、画素間のＲ信号の差分に応じた重み項（ＩＲｉ-ＩＲｊを含む項）と、画素間のＧ信号の差分に応じた重み項（ＩＧｉ-ＩＧｊを含む項）と、画素間のＢ信号の差分に応じた重み項（ＩＢｉ-ＩＢｊを含む項）とに基づいて算出される。これにより、各色画像信号のエッジを保存したままノイズを除去することが可能となる。
【００８０】
なお、実施の形態１と同様に、Ｒ画像を対象信号とする場合にはＲ画像のエッジをぼかさないで且つノイズを除去できる程度にＲ信号のσＲｒ（第１のコンポーネント信号すなわち対象信号かつ参照信号の係数）をＧ画像及びＢ画像信号のσＧｒ，σＢｒ（第２のコンポーネント信号すなわち参照信号の係数）よりも大きい値にすることが望ましい。Ｇ画像及びＢ画像を対象信号とする場合も同様に、対象信号と同じ参照信号のσは、他の参照信号のσよりも大きい値になるように制御することが望ましい。
【００８１】
以上のように、本実施の形態では、第１の色信号を対象信号とするフィルタ処理において、第１及び第２の色信号を参照信号としてフィルタリングを行うこととした。これにより、実施の形態１と同様に、第１及び第２の色信号に基づいて第１の色信号のノイズを除去し、画質を改善することができる。
【００８２】
（実施の形態４）
以下、図面を参照して実施の形態４について説明する。本実施の形態は、実施の形態３に対し、入力画像をアップスケーリング処理する例である。
【００８３】
デジタルカメラやデジタルムービーカメラなどの撮像装置では、レンズを通して入ってきた光をＲＧＢ各色のカラーフィルタを通した後、ＣＭＯＳやＣＣＤなどのイメージセンサーで受光し、光電変換することによりデジタル画像信号を取得する。ここで取得した画像信号は、一般的にベイヤー配列と呼ばれる配置（後述の図１４に示すのような配列）でＲ、Ｇ、Ｂが規則的に並んだ画像（以下、ＲＡＷ画像と呼ぶ）となる。このＲＡＷ画像からフル解像度の画像を作るための処理をデモザイキングと呼び一般的にはＲＡＷ画像を色プレーンに分解し補間フィルタなどを用いて本来データが無い位置の信号を生成する処理を行う。補間処理では一般的に画像の鮮鋭度が低下するという問題がある。また、暗所での高感度撮影などではノイズが非常に目立つという問題がある。
【００８４】
本実施の形態では、実施の形態３のようにジョイントバイラテラルフィルタを用いることにより、鮮鋭度を低下させずにノイズ除去とデモザイキングを同時に行う。
【００８５】
図１２は、本実施の形態に係る画像処理装置の構成を示している。図１２に示すように画像処理装置１００は、実施の形態３の図１０で示した構成に加えて、アップスケーリング部６０を備えている。また、アップスケーリング部６０は、Ｒ信号アップスケーリング部６１、Ｇ信号アップスケーリング部６２、Ｂ信号アップスケーリング部６３を備えている。
【００８６】
アップスケーリング部６０は、入力部１０から入力されるＲ１信号、Ｇ１信号、Ｂ１信号を適当な補間処理でアップサンプリングし、フル解像度の画像Ｒ１ｕｐ、Ｇ１ｕｐ、Ｂ１ｕｐ（Ｒ１ｕｐ信号、Ｇ１ｕｐ信号、Ｂ１ｕｐ信号）を生成し出力する。この際、補間処理はニアレストネイバーやバイリニアなどの単純な補間処理を用いてよい。Ｒ信号アップスケーリング部６１は、入力部１０から入力されるＲ１信号に対しアップスケーリング処理を行い、アップスケーリング処理後のＲ１ｕｐ信号を出力する。Ｇ信号アップスケーリング部６２は、入力部１０から入力されるＧ１信号に対しアップスケーリング処理を行い、アップスケーリング処理後のＧ１ｕｐ信号を出力する。Ｂ信号アップスケーリング部６３は、入力部１０から入力されるＢ１信号に対しアップスケーリング処理を行い、アップスケーリング処理後のＢ１ｕｐ信号を出力する。
【００８７】
図１３及び図１４は、本実施の形態における処理の流れを示している。図１３及び図１４に示すように、まず、入力部１０は、入力画像として入ってきたＲＡＷ画像を各プレーンＲ１、Ｇ１、Ｂ１（Ｒ１信号、Ｇ１信号、Ｂ１信号）に分解する（Ｓ３０１）。
【００８８】
続いて、Ｒ信号アップスケーリング部６１は、入力部１０から入力されるＲ１信号に対しアップスケーリング処理を行い、アップスケーリング処理後のＲ１ｕｐ信号を出力する（Ｓ４０１）。続いて（例えばＳ４０１と並行して）、Ｇ信号アップスケーリング部６２は、入力部１０から入力されるＧ１信号に対しアップスケーリング処理を行い、アップスケーリング処理後のＧ１ｕｐ信号を出力する（Ｓ４０２）。続いて（例えばＳ４０１，Ｓ４０２と並行して）、Ｂ信号アップスケーリング部６３は、入力部１０から入力されるＢ１信号に対しアップスケーリング処理を行い、アップスケーリング処理後のＢ１ｕｐ信号を出力する（Ｓ４０３）。
【００８９】
続いて、ＲＧＢ信号フィルタ部５０は、生成されたＲ１ｕｐ信号、Ｇ１ｕｐ信号、Ｂ１ｕｐ信号に対して、実施の形態３で説明したようにジョイントバイラテラルフィルタを適用し、Ｒ２信号、Ｇ２信号、Ｂ２信号を生成する。
【００９０】
すなわち、Ｒ信号フィルタ部５１は、Ｒ１ｕｐ信号、Ｇ１ｕｐ信号及びＢ１ｕｐ信号をガイダンス信号とし、Ｒ１ｕｐ信号をターゲット信号として、ジョイントバイラテラルフィルタ処理を行い（Ｓ３１２）、Ｇ信号フィルタ部５２は、Ｒ１ｕｐ信号、Ｇ１ｕｐ信号及びＢ１ｕｐ信号をガイダンス信号とし、Ｇ１ｕｐ信号をターゲット信号として、ジョイントバイラテラルフィルタ処理を行い（Ｓ３１３）、Ｂ信号フィルタ部５３は、Ｒ１ｕｐ信号、Ｇ１ｕｐ信号及びＢ１ｕｐ信号をガイダンス信号とし、Ｂ１ｕｐ信号をターゲット信号として、ジョイントバイラテラルフィルタ処理を行う（Ｓ３１４）。その後、出力部４０は、フィルタ処理されたＲ２信号、Ｇ２信号、Ｂ２信号を合成して出力画像を出力する（Ｓ３０５）。
【００９１】
これにより、ジョイントバイラテラルフィルタでノイズ除去と鮮鋭化処理を同時に行うことができ、鮮鋭度を低下させず且つノイズを除去することができる。
【００９２】
また、図１５及び図１６で示すように、非特許文献４に記載のジョイントバイラテラルアップサンプリング処理を用いることにより、予めアップスケーリング処理を施すこと無しに、デモザイキング処理を行うことも可能である。
【００９３】
すなわち、図１５に示すように、本実施の形態に係る画像処理装置は、図１２のアップスケーリング部６０とＲＧＢ信号フィルタ部５０の代わりに、アップスケーリング及びフィルタ処理を行うアップスケーリングフィルタ部７０を備えてもよい。アップスケーリングフィルタ部７０は、Ｒ信号アップスケーリングフィルタ部７１、Ｇ信号アップスケーリングフィルタ部７２、Ｂ信号アップスケーリングフィルタ部７３を備えている。
【００９４】
図１６は、図１５の構成における処理の流れを示している。図１６に示すように、まず、入力部１０は、入力されたＲＡＷ画像をＲ１信号、Ｇ１信号、Ｂ１信号に分解する（Ｓ３０１）。
【００９５】
続いて、アップスケーリングフィルタ部７０は、入力されたＲ１信号、Ｇ１信号、Ｂ１信号に対して、ジョイントバイラテラルアップサンプリングを行い、アップサンプリング及びフィルタ処理後のＲ２信号、Ｇ２信号、Ｂ２信号を生成する。
【００９６】
すなわち、Ｒ信号アップスケーリングフィルタ部７１は、入力部１０から入力されるＲ１信号、Ｇ１信号及びＢ１信号をアップスケーリングするとともに、Ｒ１信号、Ｇ１信号及びＢ１信号をガイダンス信号とし、Ｒ１信号をターゲット信号としてジョイントバイラテラルフィルタ処理を行う（Ｓ３２２）。また、Ｇ信号アップスケーリングフィルタ部７２は、入力部１０から入力されるＲ１信号、Ｇ１信号及びＢ１信号をアップスケーリングするとともに、Ｒ１信号、Ｇ１信号及びＢ１信号をガイダンス信号とし、Ｇ１信号をターゲット信号としてジョイントバイラテラルフィルタ処理を行う（Ｓ３２３）。さらに、Ｂ信号アップスケーリングフィルタ部７３は、入力部１０から入力されるＲ１信号、Ｇ１信号及びＢ１信号をアップスケーリングするとともに、Ｒ１信号、Ｇ１信号及びＢ１信号をガイダンス信号とし、Ｂ１信号をターゲット信号としてジョイントバイラテラルフィルタ処理を行う（Ｓ３２４）。その後、出力部４０は、アップスケーリング及びフィルタ処理されたＲ２信号、Ｇ２信号、Ｂ２信号を合成して出力画像を出力する（Ｓ３０５）。
【００９７】
以上のように、実施の形態３のようなジョイントバイラテラルフィルタを用いるとともに、入力画像に対してアップスケーリングを行うことにより、鮮鋭度を低下させずにノイズ除去とデモザイキングを同時に行うことができる。
【００９８】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００９９】
１０    入力部
２０    輝度信号フィルタ部
３０    色信号フィルタ部
３１    Ｃｂ信号フィルタ部
３２    Ｃｒ信号フィルタ部
４０    出力部
５０    ＲＧＢ信号フィルタ部
５１    Ｒ信号フィルタ部
５２    Ｇ信号フィルタ部
５３    Ｂ信号フィルタ部
６０    アップスケーリング部
６１    Ｒ信号アップスケーリング部
６２    Ｇ信号アップスケーリング部
６３    Ｂ信号アップスケーリング部
７０    アップスケーリングフィルタ部
７１    Ｒ信号アップスケーリングフィルタ部
７２    Ｇ信号アップスケーリングフィルタ部
７３    Ｂ信号アップスケーリングフィルタ部
１００  画像処理装置
【図１】
2015035698.tif 000007
【図２】
2015035698.tif 000008
【図３】
2015035698.tif 000009
【図４】
2015035698.tif 000010
【図５】
2015035698.tif 000011
【図６】
2015035698.tif 000012
【図７】
2015035698.tif 000013
【図８】
2015035698.tif 000014
【図９】
2015035698.tif 000015
【図１０】
2015035698.tif 000016
【図１１】
2015035698.tif 000017
【図１２】
2015035698.tif 000018
【図１３】
2015035698.tif 000019
【図１４】
2015035698.tif 000020
【図１５】
2015035698.tif 000021
【図１６】
2015035698.tif 000022
【図１７】
2015035698.tif 000023