【手続補正書】
【提出日】平成27年8月28日(2015.8.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画素補間処理装置、撮像装置、プログラムおよび集積回路
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
そして、補間ステップは、相関度に基づいて、相関の高い方向があると判定される場合において、
（１）画素補間処理の対象の第１色の色成分画素と同色の色成分画素と第２色の色成分画素が、相関の高い方向に存在する場合、第２色の色成分画素の画素値を用いて相関の高い方向の変化率を第１変化率として取得し、注目画素の第１色成分画素値を、相関の高い方向に存在する第１色の色成分画素と、取得した第１変化率とに基づいて、取得することで、前記注目画素に対して、画素補間処理を行い、
（２）画素補間処理の対象の色成分画素と同色の色成分画素が、相関の高い方向に存在していない場合、相関の高い方向と直交する方向において、色空間変換して取得した画素値を用いて、相関の高い方向と直交する方向の変化率を第２変化率として取得し、取得した第２変化率に基づいて、注目画素に対して画素補間処理を行う。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
そして、補間部は、相関度に基づいて、相関の高い方向があると判定される場合において、
（１）画素補間処理の対象の第１色の色成分画素と同色の色成分画素と第２色の色成分画素が、相関の高い方向に存在する場合、第２色の色成分画素の画素値を用いて相関の高い方向の変化率を第１変化率として取得し、注目画素の第１色成分画素値を、相関の高い方向に存在する第１色の色成分画素と、取得した第１変化率とに基づいて、取得することで、注目画素に対して、画素補間処理を行い、
（２）画素補間処理の対象の色成分画素と同色の色成分画素が、相関の高い方向に存在していない場合、相関の高い方向と直交する方向において、色空間変換して取得した画素値を用いて、相関の高い方向と直交する方向の変化率を第２変化率として取得し、取得した第２変化率に基づいて、注目画素に対して画素補間処理を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
＜１．１：撮像装置の構成＞
図１Ａは、第１実施形態に係る撮像装置１０００の概略構成図である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
画素補間処理部３は、図１Ａに示すように、彩度評価値算出部３１と、相関値算出部３２と、画素補間法決定部３３と、補間部３４と、色空間変換部３５と、を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
ｄ１＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ２３）
＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）
＋ａｂｓ（Ｐ２１−Ｐ３２））／４
≪（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒ≫
次に、第２斜め方向評価値ｄ２＿ｃｏｌｏｒの算出処理について、図９を用いて、説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
彩度評価値算出部３１は、上記処理により取得した、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出する。図１０は、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出するための関数の一例の入出力特性を示す図である。彩度評価値算出部３１は、例えば、２つの閾値Ｔ１、Ｔ２を用いて、下記に相当する処理を行うことで、彩度評価係数ＫＬを取得する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１８７
【補正方法】変更
【補正の内容】
【０１８７】
（１．２．３．１：相関方向判定処理）
≪判定用相関値の選択≫
画素補間法決定部３３では、相関値算出部３２により算出された、（１）カラー画像領域用の４方向の相関値Ｃｖ＿ｃｏｌｏｒ，Ｃｈ＿ｃｏｌｏｒ，Ｃｄ１＿ｃｏｌｏｒ，Ｃｄ２＿ｃｏｌｏｒと、（２）グレー画像領域用の４方向の相関値Ｃｖ＿ｇｒａｙ，Ｃｈ＿ｇｒａｙ，Ｃｄ１＿ｇｒａｙ，Ｃｄ２＿ｇｒａｙとから、次のようにして、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択する。なお、判定用相関値は、注目画素（処理対象画素）の相関方向（画素補間処理を実行するときに参照される相関方向）を決定するために用いられる。
（ａ）ＫＬ＞ＴＨ２の場合の判定用相関値
画素補間法決定部３３は、カラー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部３３は、
Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする。
（ｃ）ＫＬ≦ＴＨ１の場合の判定用相関値
画素補間法決定部３３は、グレー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部３３は、
Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定用相関値
この場合、画素補間法決定部３３は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。この判断方法について、図２０、図２１のフローチャートを参照しながら、以下説明する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２１５
【補正方法】変更
【補正の内容】
【０２１５】
画素補間法決定部３３は、以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）のそれぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択（決定）する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２１９
【補正方法】変更
【補正の内容】
【０２１９】
≪各画素における相関方向の判定処理≫
次に、画素補間法決定部３３は、上記処理により取得した判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２２の関係図または図２３の関係図を用いて、相関方向を決定する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２２２
【補正方法】変更
【補正の内容】
【０２２２】
画素補間法決定部３３は、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２２の関係図または図２３の関係図を用いて、以下の（１）、（２）により、相関方向を決定する。
（１）画素補間法決定部３３は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｖまたは判定用相関値Ｃｈが最小値をとる場合、つまり、
Ｃｖ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｈ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２２の関係図を用いて、相関方向を決定する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０２２６
【補正方法】変更
【補正の内容】
【０２２６】
また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ４に含まれる場合、画素補間法決定部３３は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。
（２）画素補間法決定部３３は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｄ１または判定用相関値Ｃｄ２が最小値をとる場合、つまり、
Ｃｄ１＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｄ２＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２３の関係図を用いて、相関方向を決定する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０３１１
【補正方法】変更
【補正の内容】
【０３１１】
図３２は、中心画素（注目画素）がＢ画素である場合の５画素×５画素のマトリクス領域を示す図である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０３２７
【補正方法】変更
【補正の内容】
【０３２７】
図３５は、中心画素（注目画素）がＷ画素である場合の５画素×５画素のマトリクス領域を示す図である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０３４４
【補正方法】変更
【補正の内容】
【０３４４】
図３８は、中心画素（注目画素）がＧ画素である場合の５画素×５画素のマトリクス領域を示す図である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０３５８
【補正方法】変更
【補正の内容】
【０３５８】
≪Ｂｏｕｔ≫
Ｂ色成分の画素値Ｂｏｕｔを取得するために、補間部３４は、以下の処理を行う。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０３６２
【補正方法】変更
【補正の内容】
【０３６２】
そして、補間部３４は、以下の数式に相当する処理により、Ｐ２２のＢ色成分値Ｂｏｕｔを取得する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０３６６
【補正方法】変更
【補正の内容】
【０３６６】
補間部３４は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。
【手続補正１９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１３
【補正方法】変更
【補正の内容】
【請求項１３】
異なる４色のフィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、
前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得部と、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度を取得する相関度取得部と、
前記彩度評価値取得部により取得された彩度評価値と、前記相関度取得部により取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された画素補間方法により、前記画像に対して、画素補間処理を実行し、所定の色空間の画像データを取得する補間部と、
を備え、
前記補間部は、前記相関度に基づいて、相関の高い方向があると判定される場合において、
（１）画素補間処理の対象の第１色の色成分画素と同色の色成分画素と第２色の色成分画素が、前記相関の高い方向に存在する場合、前記第２色の色成分画素の画素値を用いて前記相関の高い方向の変化率を第１変化率として取得し、前記注目画素の第１色成分画素値を、前記相関の高い方向に存在する第１色の色成分画素と、取得した前記第１変化率とに基づいて、取得することで、前記注目画素に対して、画素補間処理を行い、
（２）画素補間処理の対象の色成分画素と同色の色成分画素が、前記相関の高い方向に存在していない場合、前記相関の高い方向と直交する方向において、色空間変換して取得した画素値を用いて、前記相関の高い方向と直交する方向の変化率を第２変化率として取得し、取得した前記第２変化率に基づいて、前記注目画素に対して画素補間処理を行う、
を備える集積回路。