【手続補正書】
【提出日】平成28年11月24日(2016.11.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画素補間処理装置、撮像装置、プログラムおよび集積回路
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
第１４の発明は、異なる４色のフィルタが所定のパターンで配列されている色フィルタを有し、被写体光から画像信号を取得する撮像部と、第１から第１３のいずれかの発明である画素補間処理装置と、を備える撮像装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
グレー相関値算出部４は、信号補正部１から出力される画像信号Ｄ１を入力する。グレー相関値算出部４は、画像Ｄ１上の注目画素（処理対象の画素）について、以下の４つのグレー相関値を算出する（詳細については後述する）。
（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
グレー相関値算出部４は、画像Ｄ1上の画素ごとに取得した上記４つのグレー相関値を画素補間法決定部５に出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
第１マトリックス変換部７１は、補間部６の選択部６４から出力される画像信号Ｄ２を入力する。第１マトリックス変換部７１は、画像信号Ｄ２に対して、マトリックス変換を行い、ＲＧＢ色空間の信号である画像信号Ｄ３を取得する。第１マトリックス変換部７１は、取得した画像信号Ｄ３を色空間処理部７２に出力する。なお、第１マトリックス変換部７１に入力される画像信号Ｄ２に、Ｗ成分画素信号が含まれる場合、第１マトリックス変換部７１は、当該Ｗ成分画素信号を画像信号Ｄ３に含めて出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
減算器７２６は、輝度信号出力部７２３から出力された輝度成分画素信号Ｙ（Ｙ成分画素信号）と、第１マトリックス変換部７１から出力されたＲ成分信号とを入力とし、減算処理を行い、Ｒ−Ｙ信号（＝Ｒ成分画素信号−輝度成分画素信号Ｙ）を取得し、取得したＲ−Ｙ信号をゲイン調整部７２７に出力する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１４９
【補正方法】変更
【補正の内容】
【０１４９】
図４において、画素Ｐ００を第１色成分用画素とし、画素Ｐ０１を第２色成分用画素とし、画素Ｐ１０を第３色成分用画素とし、画素Ｐ１１を第４色成分用画素とすると、図４の５画素×５画素のマトリックス領域ＡＲ１〜ＡＲ４は、以下のように分類される。
（Ａ）図４の５画素×５画素のマトリックス領域ＡＲ１は、中心画素が第１色成分用画素（画素Ｐ００と同色の画素Ｐ２２）の場合のマトリクス領域に分類される。
（Ｂ）図４の５画素×５画素のマトリックス領域ＡＲ２は、中心画素が第２色成分用画素（画素Ｐ０１と同色の画素Ｐ２７）の場合のマトリクス領域に分類される。
（Ｃ）図４の５画素×５画素のマトリックス領域ＡＲ３は、中心画素が第３色成分用画素（画素Ｐ１０と同色の画素Ｐ７２）の場合のマトリクス領域に分類される。
（Ｄ）図４の５画素×５画素のマトリックス領域ＡＲ４は、中心画素が第４色成分用画素（画素Ｐ１１と同色の画素Ｐ７７）の場合のマトリクス領域に分類される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
なお、上記数式において、係数ｋ０１、ｋ０２、ｋ０３、ｋ０４、ｋ１１、ｋ１２、ｋ１３、および、ｋ１４は、取得しようとする色成分差分値に合わせて、設定される係数である。また、変数ｏｆｆｓｅｔ０およびｏｆｆｓｅｔ１は、オフセットを設定するための数値（オフセット値）である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２１９
【補正方法】変更
【補正の内容】
【０２１９】
図１６は、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０３０１
【補正方法】変更
【補正の内容】
【０３０１】
Ｓｏｕｔ＝（Ｐ１１＋Ｐ１２＋Ｐ１３
＋Ｐ２１＋Ｐ２２＋Ｐ２３
＋Ｐ３１＋Ｐ３２＋Ｐ３３）／９
つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＹｅ画素である場合、注目画素のＣｙ色成分値、Ｇ色成分値およびＭｇ色成分値を、それぞれ、Ｃｙ（Ｐ２２）、Ｇ（Ｐ２２）およびＭｇ（Ｐ２２）とすると、
Ｃｙ（Ｐ２２）＝Ｇ（Ｐ２２）＝Ｍｇ（Ｐ２２）＝Ｓｏｕｔ
となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０３６４
【補正方法】変更
【補正の内容】
【０３６４】
カラー画像用補間部６１は、Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２、Ｐ４２の５つの画素を用いて、以下の処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０４０４
【補正方法】変更
【補正の内容】
【０４０４】
ｑ０＝（３×Ｐ１２＋Ｐ３４）／４
ｑ１＝（Ｐ１０＋３×Ｐ３２）／４
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０４１１
【補正方法】変更
【補正の内容】
【０４１１】
このように、カラー画像用補間部６１は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記ではＹｅ色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記ではＣｙ色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。これにより、カラー画像用補間部６１では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＣｙ色成分値Ｃｙｏｕｔ）を取得することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０４２４
【補正方法】変更
【補正の内容】
【０４２４】
ｑ０＝（３×Ｐ１２＋Ｐ３０）／４
ｑ１＝（Ｐ１４＋３×Ｐ３２）／４
そして、カラー画像用補間部６１は、以下の数式に相当する処理により、Ｐ２２のＧ色成分値Ｇｏｕｔを取得する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０４３１
【補正方法】変更
【補正の内容】
【０４３１】
このように、カラー画像用補間部６１は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記ではＹｅ色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記ではＣｙ色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２のＣｙ色成分値Ｃｙｏｕｔを取得する。これにより、カラー画像用補間部６１では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２のＣｙ色成分値Ｃｙｏｕｔ）を取得することができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０４４９
【補正方法】変更
【補正の内容】
【０４４９】
本実施形態では、
ｃｏｌｏｒ１＝Ｙｅ
ｃｏｌｏｒ２＝Ｃｙ
ｃｏｌｏｒ３＝Ｇ
ｃｏｌｏｒ４＝Ｍｇ
であるので、Ｙｅ−Ｃｙ―Ｇ−Ｍｇ色空間を、ＲＧＢ色空間に変換するように、変換行列の要素ａ１１〜ａ３４が決定される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０５００
【補正方法】変更
【補正の内容】
【０５００】
図３８は、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０５０１
【補正方法】変更
【補正の内容】
【０５０１】
グレー相関値算出部４Ａは、図３８に示すように、第１斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙを取得する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０５０４
【補正方法】変更
【補正の内容】
【０５０４】
図３９は、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０５０５
【補正方法】変更
【補正の内容】
【０５０５】
グレー相関値算出部４Ａは、図３９に示すように、第２斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙを取得する。
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図３０
【補正方法】変更
【補正の内容】
【図３０】
2015106889.tif 000001
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図３１
【補正方法】変更
【補正の内容】
【図３１】
2015106889.tif 000002
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図３３
【補正方法】変更
【補正の内容】
【図３３】
2015106889.tif 000003
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図３４
【補正方法】変更
【補正の内容】
【図３４】
2015106889.tif 000004