【手続補正書】
【提出日】平成29年1月17日(2017.1.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明に係る画像処理装置は、被写体の光学像を複数の画素により光電変換して得られるカラーモザイク画像信号に対して前記複数の画素の各画素において欠落している色の信号を前記各画素の周辺の画素の画像信号を用いて補間処理する補間手段を備える画像処理装置であって、前記補間手段は、複数の規定方向の各方向で前記補間処理を行ってカラー画像信号を生成する複数の方向別補間手段と、前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号から得られる色信号の分散度を算出する分散度算出手段と、前記分散度算出手段が算出した前記複数の規定方向の各方向の分散度を用いて前記色信号のノイズ量に基づく重み係数を前記複数の画素ごとに算出するノイズ特性算出手段と、前記ノイズ特性算出手段が算出した重み係数に基づき、前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号の評価値を、前記複数の規定方向の各方向について前記画素ごとに算出する評価手段と、前記評価手段が算出した評価値に基づき、前記複数の方向別補間手段により補間処理されたカラー画像信号を前記画素ごとに選択あるいは加重加算してカラー補間画像データを生成する生成手段とを有することを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
図８は、画像生成部３０９による補間画像生成処理のフローチャートである。ステップＳ８０１において、画像生成部３０９は、各画素について、Ｈ方向の補間に対する評価値ＣｖａｒｈとＶ方向の補間に対する評価値Ｃｖａｒｖを比較し、評価値Ｃｖａｒｈ＜評価値Ｃｖａｒｖであるか否かを判定する。なお、図８では、評価値ＣｖａｒｈをＣｈと略記し、評価値Ｃｖと略記している。画像生成部３０９は、評価値Ｃｖａｒｈ＜評価値Ｃｖａｒｖである場合（Ｓ８０１でＹＥＳ）、処理をステップＳ８０２へ進め、評価値Ｃｖａｒｈ≧評価値Ｃｖａｒｖである場合（Ｓ８０１でＮＯ）、処理をステップＳ８０３へ進める。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
一般的に、倍率色収差のにじみ幅は軸上色収差のにじみ幅よりも著しく小さく、絞り値や焦点距離、被写体距離等の撮影条件にも依るが、極端に細い倍率色収差は、補間方向によって発生の仕方が異なって現れる場合がある。その場合、デモザイキング部１０５の分散度による評価値算出処理において、倍率色収差が悪影響を与えてしまうことが懸念される。そこで、倍率色収差補正部１４０２は、デモザイキング処理に先んじて倍率色収差の補正処理を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
１０２    カラー撮像素子 
１０３    Ａ／Ｄ変換部
１０５    デモザイキング部
１１１    制御部
３０２    Ｈ方向補間部
３０３    Ｖ方向補間部
３０４    Ｈ方向分散度算出部
３０５    Ｖ方向分散度算出部
３０６    Ｈ方向ノイズ特性算出部
３０７    Ｖ方向ノイズ特性算出部
３０８    評価値算出部
３０９    画像生成部
９０１    ノイズ特性算出部
１３０１    事前処理部
１４０１    キズ補正部
１４０２    倍率色収差補正部
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の光学像を複数の画素により光電変換して得られるカラーモザイク画像信号に対して前記複数の画素の各画素において欠落している色の信号を前記各画素の周辺の画素の画像信号を用いて補間処理する補間手段を備える画像処理装置であって、
前記補間手段は、
複数の規定方向の各方向で前記補間処理を行ってカラー画像信号を生成する複数の方向別補間手段と、
前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号から得られる色信号の分散度を算出する分散度算出手段と、
前記分散度算出手段が算出した前記複数の規定方向の各方向の分散度を用いて前記色信号のノイズ量に基づく重み係数を前記複数の画素の画素ごとに算出するノイズ特性算出手段と、
前記ノイズ特性算出手段が算出した重み係数に基づき、前記複数の方向別補間手段からそれぞれ出力されるカラー画像信号の評価値を、前記複数の規定方向の各方向について前記画素ごとに算出する評価手段と、
前記評価手段が算出した評価値に基づき、前記複数の方向別補間手段により補間処理されたカラー画像信号を前記画素ごとに選択あるいは加重加算してカラー補間画像データを生成する生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記ノイズ特性算出手段は、前記分散度算出手段が算出した分散度が大きいほど前記重み係数を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記複数の規定方向のうち前記評価手段が算出した前記評価値の小さい規定方向で前記補間処理がなされた信号を選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ノイズ特性算出手段が算出する前記重み係数は、前記カラーモザイク画像信号に対してホワイトバランス処理を行うことにより得られるベイヤー画像データにおける各色成分のノイズの大きさに基づくことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記ノイズ特性算出手段が算出する前記重み係数は、前記カラーモザイク画像信号または前記補間処理が施された各規定方向のカラー画像信号のノイズの大きさに基づくことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記重み係数をルックアップテーブルとして記憶する記憶手段を備え、
前記ノイズ特性算出手段は、前記ルックアップテーブルを用いて前記重み係数を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項７】
前記分散度算出手段は、Ｇ，Ｒ−Ｇ，Ｂ−Ｇ色空間における色差を用いて前記分散度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記分散度算出手段は、Ｌ＊ａ＊ｂ＊均等色空間における色差信号を用いて前記分散度を算出することを請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、前記評価手段により前記複数の規定方向の各方向で前記画素ごと算出した評価値で構成された２次元プレーンを生成し、前記２次元プレーンにローパスフィルタをかけることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記カラーモザイク画像信号に対して前記補間処理を行う前に、前記カラーモザイク画像信号に対して所定の事前処理を行う事前処理手段を備え、
前記補間手段は、前記事前処理手段により前記所定の事前処理が行われたカラーモザイク画像信号に対して前記補間処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項１１】
前記事前処理手段は、前記事前処理として、前記複数の画素に含まれるキズ画素に係るカラー画像信号の補正処理、ホワイトバランス処理および倍率色収差の補正処理の少なくともいずれかを行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
被写体の光学像を複数の画素により光電変換して得られるカラーモザイク画像信号に対して前記複数の画素の各画素において欠落している色の信号を前記各画素の周辺の画素の画像信号を用いて補間処理する補間ステップを有する画像処理方法であって、
前記補間ステップは、
複数の規定方向の各方向で前記補間処理を行ってカラー画像信号を生成する方向別補間ステップと、
前記方向別補間ステップで生成されたカラー画像信号から得られる色信号の分散度を算出する分散度算出ステップと、
前記分散度算出ステップで算出された前記複数の規定方向の各方向の分散度を用いて前記色信号のノイズ量に基づく重み係数を前記複数の画素の画素ごとに算出するノイズ特性算出ステップと、
前記ノイズ特性算出ステップで算出した重み係数に基づき、前記方向別補間ステップで得られるカラー画像信号の評価値を、前記複数の規定方向の各方向について前記画素ごとに算出する評価ステップと、
前記評価ステップで算出された評価値に基づき、前記方向別補間ステップにおいて補間処理されたカラー画像信号を前記画素ごとに選択あるいは加重加算してカラー補間画像データを生成する生成ステップと有することを特徴とする画像処理方法。
【請求項１３】
前記補間ステップを行う前に、前記カラーモザイク画像信号に対する所定の事前処理として、前記複数の画素に含まれるキズ画素に係るカラー画像信号の補正処理、ホワイトバランス処理および倍率色収差の補正処理の少なくともいずれかを行う事前処理ステップを更に有し、
前記補間ステップは、前記事前処理ステップにより前記所定の事前処理が行われたカラーモザイク画像信号に対して前記補間処理を行うことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
請求項１２又は１３に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。