(57)【要約】【課題】複数の配列形式に応じたデモザイク処理を、回路規模を抑制し、かつ低コストで実現することができるようにする。【解決手段】単一の色成分の画素から成る入力画像であって、画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、予測タップと係数を用いた演算により、入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における注目画素の値を算出する予測演算部とを備え、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、第１の入力画像より画素密度が低く、画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における注目画素の値を算出する。【選択図】図５
2014042176.tif 000002
【特許請求の範囲】
【請求項１】
単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、
前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、
前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、
前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する
画像処理装置。
【請求項２】
前記入力画像は、
赤色、緑色、および青色の各色の単一の色成分の画素から成るベイヤー配列画像、または、前記ベイヤー配列画像の１画素のそれぞれを、２行２列の同色の画素に分割したベイヤー２×２配列画像であり、
前記出力画像は、赤色、緑色、および青色の３色の色成分の画素から成るＲＧＢ画像である
請求項１に記載の画像処理装置。
【請求項３】
前記予測タップ取得部は、
前記入力画像がベイヤー２×２配列画像である場合、互いに隣接する４つの位置の注目画素に対応して、それぞれ同一の予測タップを取得する
請求項２に記載の画像処理装置。
【請求項４】
前記予測演算部は、
前記入力画像が前記ベイヤー配列画像である場合、
ベイヤー２×２配列画像の予測タップにおいて４つのタップに乗じられる前記係数の平均値または代表値を算出し、
前記算出された平均値または代表値を、前記ベイヤー配列画像の予測タップに乗じることで前記出力画像における前記注目画素の値を算出する
請求項２に記載の画像処理装置。
【請求項５】
前記入力画像から、注目画素に対応して定まる複数の画素の値をクラスタップとして取得するクラスタップ取得部と、
前記注目画素を所定のクラスに分類するクラス分類部とをさらに備える
請求項２に記載の画像処理装置。
【請求項６】
前記クラスタップ取得部は、
前記入力画像がベイヤー２×２配列画像である場合、
前記ベイヤー配列画像のクラスタップを構成する各画素を、２行２列の同色の画素に分割したクラスタップを取得する
請求項５に記載の画像処理装置。
【請求項７】
前記クラス分類部は、
前記入力画像がベイヤー２×２配列画像である場合、
前記クラスタップを構成する同色の４つの画素の平均値または代表値を算出し、前記算出された平均値または代表値をＡＤＲＣ処理することで、前記入力画像がベイヤー配列画像である場合のクラスコードと同一の桁数のクラスコードを決定し、前記注目画素をクラス分類する
請求項６に記載の画像処理装置。
【請求項８】
前記クラス分類部は、
前記入力画像がベイヤー配列画像である場合、
前記クラスタップを構成する画素の値をＡＤＲＣ処理して得られる量子化コードの一部を補間することで、前記入力画像がベイヤー２×２配列画像である場合のクラスコードと同一の桁数のクラスコードを決定し、前記注目画素をクラス分類する
請求項６に記載の画像処理装置。
【請求項９】
前記係数データ記憶部に記憶される係数のデータは、
ベイヤー２×２配列画像と同一の画素密度を有するＲＧＢ画像を教師画像とし、前記ＲＧＢ画像の各画素の色成分を間引くことにより生成されたベイヤー２×２配列画像を生徒画像とした学習により算出された係数のデータとされる
請求項２に記載の画像処理装置。
【請求項１０】
所定の配列形式の画像を、動作モードに応じて他の配列形式の画像に変換し、前記入力画像として供給する入力画像変換部をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
予測タップ取得部が、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得し、
前記予測タップと係数データ記憶部に記憶された前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出するステップを含み、
所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値が算出される
画像処理方法。
【請求項１２】
コンピュータを、
単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、
前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、
前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、
前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する画像処理装置として機能させる
プログラム。
【請求項１３】
複数の光電変換素子を平面上に配置して成る画素アレイと、
前記画素アレイから出力される信号に基づいて生成される、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、
前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、
前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、
前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する
固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに、固体撮像装置に関し、特に、複数の配列形式に応じたデモザイク処理を、回路規模を抑制し、かつ低コストで実現することができるようにする画像処理装置および方法、プログラム、並びに、固体撮像装置に関する。
【背景技術】
【０００２】
装置の小型化などのために撮像素子を１つしか有しない撮影装置では、一般的に撮像素子の画素毎に異なるカラーフィルタを施し、画素毎に複数の色成分のうちどれか１つを表す色成分（例えば、Ｒ成分、Ｇ成分、Ｂ成分の３つの色成分のうちのいずれか）をもった画像が撮像される。このような、画素毎に複数の色成分のうちどれか１つを表す色成分をもった画像は、通常、ベイヤー配列と称される方式で画素が並べられているので、このような画像を、ベイヤー配列画像と称することにする。
【０００３】
そして、ベイヤー配列画像に基づいて、補間処理などを用いて、画素毎に複数の色成分を持つカラー画像(例えばＲ成分、Ｇ成分、Ｂ成分の３つの成分を持つ画像)を生成することが一般的に行われている。このような、画素毎に複数の色成分を持つカラー画像をＲＧＢ画像と称することにする。例えば、ベイヤー配列画像に対して補間処理を行い、ＲＧＢ画像を得る処理はデモザイク処理と称される。
【０００４】
ベイヤー配列画像は、カラーフィルタの配列により様々な色配列が可能である。一般的には、２次元行列状に配置された画素において、Ｒの画素とＧの画素が繰り返し並べられた行と、Ｇの画素とＢの画素が繰り返し並べられた行が交互に配置されてベイヤー配列画像が構成される。
【０００５】
一方、一般的なベイヤー配列画像の画素密度をより高密度化することも行われている。例えば、一般的なベイヤー配列画像の画素密度を４倍にしたベイヤー配列画像も用いられている。
【０００６】
ベイヤー配列画像をＲＧＢ画像にデモザイクする際に、出力画像の画像品質を高めるためにノイズ低減処理や先鋭感を向上させる処理を施すことも可能である。
【０００７】
例えば、入力画像信号の注目画素毎に、注目画素近傍の複数の画素を抽出し、複数の画素の信号値についてＡＤＲＣ処理を行うことにより第１の特徴情報を生成するとともに、入力画像信号の急峻なエッジ部分の画素の信号値を第２の特徴情報として抽出し、上記第１の特徴情報及び第２の特徴情報に基づいて１つのクラスを決定し、そのクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する技術も開発されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−６４８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の技術を利用してデモザイクする場合、例えば、複数通りの画素密度のベイヤー配列画像など、ベイヤー配列画像の配列形式の種類に応じた複数通りの係数データを記憶しておく必要がある。
【００１０】
また、配列形式に応じて、クラスタップや予測タップを変えるため、変換処理も複数通り用意しておく必要がある。
【００１１】
すなわち、従来の技術では、予め学習によって生成される係数データおよび変換処理部を、入力画像の配列形式毎に用意しておかなければならず、回路規模が大きくなったり、メモリ容量の増大やコストの増加につながっていた。
【００１２】
本技術はこのような状況に鑑みて開示するものであり、複数の配列形式に応じたデモザイク処理を、回路規模を抑制し、かつ低コストで実現することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の第１の側面は、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する画像処理装置である。
【００１４】
前記入力画像は、赤色、緑色、および青色の各色の単一の色成分の画素から成るベイヤー配列画像、または、前記ベイヤー配列画像の１画素のそれぞれを、２行２列の同色の画素に分割したベイヤー２×２配列画像であり、前記出力画像は、赤色、緑色、および青色の３色の色成分の画素から成るＲＧＢ画像であるようにすることができる。
【００１５】
前記予測タップ取得部は、前記入力画像がベイヤー２×２配列画像である場合、互いに隣接する４つの位置の注目画素に対応して、それぞれ同一の予測タップを取得するようにすることができる。
【００１６】
前記予測演算部は、前記入力画像が前記ベイヤー配列画像である場合、ベイヤー２×２配列画像の予測タップにおいて４つのタップに乗じられる前記係数の平均値または代表値を算出し、前記算出された平均値または代表値を、前記ベイヤー配列画像の予測タップに乗じることで前記出力画像における前記注目画素の値を算出するようにすることができる。
【００１７】
前記入力画像から、注目画素に対応して定まる複数の画素の値をクラスタップとして取得するクラスタップ取得部と、前記注目画素を所定のクラスに分類するクラス分類部とをさらに備えるようにすることができる。
【００１８】
前記クラスタップ取得部は、前記入力画像がベイヤー２×２配列画像である場合、前記ベイヤー配列画像のクラスタップを構成する各画素を、２行２列の同色の画素に分割したクラスタップを取得するようにすることができる。
【００１９】
前記クラス分類部は、前記入力画像がベイヤー２×２配列画像である場合、前記クラスタップを構成する同色の４つの画素の平均値または代表値を算出し、前記算出された平均値または代表値をＡＤＲＣ処理することで、前記入力画像がベイヤー配列画像である場合のクラスコードと同一の桁数のクラスコードを決定し、前記注目画素をクラス分類するようにすることができる。
【００２０】
前記クラス分類部は、前記入力画像がベイヤー配列画像である場合、前記クラスタップを構成する画素の値をＡＤＲＣ処理して得られる量子化コードの一部を補間することで、前記入力画像がベイヤー２×２配列画像である場合のクラスコードと同一の桁数のクラスコードを決定し、前記注目画素をクラス分類するようにすることができる。
【００２１】
前記係数データ記憶部に記憶される係数のデータは、ベイヤー２×２配列画像と同一の画素密度を有するＲＧＢ画像を教師画像とし、前記ＲＧＢ画像の各画素の色成分を間引くことにより生成されたベイヤー２×２配列画像を生徒画像とした学習により算出された係数のデータとされるようにすることができる。
【００２２】
所定の配列形式の画像を、動作モードに応じて他の配列形式の画像に変換し、前記入力画像として供給する入力画像変換部をさらに備えるようにすることができる。
【００２３】
本技術の第１の側面は、予測タップ取得部が、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得し、前記予測タップと係数データ記憶部に記憶された前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出するステップを含み、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値が算出される画像処理方法である。
【００２４】
本技術の第１の側面は、コンピュータを、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する画像処理装置として機能させるプログラムである。
【００２５】
本技術の第２の側面は、複数の光電変換素子を平面上に配置して成る画素アレイと、前記画素アレイから出力される信号に基づいて生成される、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する固体撮像装置である。
【００２６】
本技術の第１の側面および第２の側面においては、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値が予測タップとして取得され、前記取得された予測タップのそれぞれに乗じる係数のデータが係数データ記憶部に記憶され、前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値が算出され、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値が算出される。
【発明の効果】
【００２７】
本技術によれば、複数の配列形式に応じたデモザイク処理を、回路規模を抑制し、かつ低コストで実現することができる。
【図面の簡単な説明】
【００２８】
【図１】ベイヤー配列の例を示す図である。
【図２】一般的なベイヤー配列の画素密度を４倍にしたベイヤー配列の例を示す図である。
【図３】ベイヤー２×２配列の例を示す図である。
【図４】従来の技術を利用した高画質化システムの構成例を示すブロック図である。
【図５】本技術を適用した高画質化システムの構成例を示すブロック図である。
【図６】図５の予測信号処理部の構成例を示すブロック図である。
【図７】ベイヤー配列画像において、取得されるクラスタップの例を示す図である。
【図８】ベイヤー２×２配列画像において、取得されるクラスタップの例を示す図である。
【図９】ベイヤー２×２配列画像において、取得されるクラスタップの別の例を示す図である。
【図１０】クラスコードの読み替えの例を説明する図である。
【図１１】ベイヤー配列画像において、取得される予測タップの例を示す図である。
【図１２】ベイヤー２×２配列画像において、取得される予測タップの例を示す図である。
【図１３】ベイヤー２×２配列画像の予測タップに乗じられる係数を説明する図である。
【図１４】ベイヤー配列画像の予測タップに乗じられる係数を説明する図である。
【図１５】ベイヤー２×２配列画像において、取得される予測タップの別の例を示す図である。
【図１６】本技術を適用した学習装置の構成例を示すブロック図である。
【図１７】学習処理の例を説明するフローチャートである。
【図１８】高画質化デモザイク処理の例を説明するフローチャートである。
【図１９】配列形式別クラス分類適応処理の例を説明するフローチャートである。
【図２０】本技術を適用した高画質化システムの別の構成例を示すブロック図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本技術の実施の形態について説明する。
【００３０】
撮像素子を１つしか有しない撮像装置では、一般的に撮像素子の画素毎に異なるカラーフィルタを施し、画素毎に複数の色成分のうちどれか１つを表す色成分（例えば、Ｒ成分、Ｇ成分、Ｂ成分の３つの色成分のうちのいずれか）をもった画像が撮像される。このような、画素毎に複数の色成分のうちどれか１つを表す色成分をもった画像は、通常、ベイヤー配列と称される方式で画素が並べられている。
【００３１】
図１は、ベイヤー配列の例を示す図である。図中の「Ｒ」は赤色に対応するカラーフィルタが施された画素を表しており、「Ｇ」は緑色に対応するカラーフィルタが施された画素を表しており、「Ｂ」は青色に対応するカラーフィルタが施された画素を表している。図１に示される例では、２次元行列状に配置された画素において、Ｒの画素とＧの画素が繰り返し並べられた行（例えば、上から１行目、３行目、５行目）と、Ｇの画素とＢの画素が繰り返し並べられた行（例えば、上から２行目、４行目）が交互に配置されている。
【００３２】
一般的なベイヤー配列の画素密度をより高密度化することも行われている。例えば、一般的なベイヤー配列の画素密度を４倍にしたベイヤー配列も用いられている。図２は、一般的なベイヤー配列の画素密度を４倍にしたベイヤー配列の例を示す図である。
【００３３】
図２の例では、図１の１画素が２行２列に分割されて、それぞれ４画素が配置されている。すなわち、図１のＲの画素が、図２においては、Ｒ，Ｇ，Ｇ，Ｂの４画素によって構成されている。同様に、図１のＧの画素、Ｂの画素も、それぞれＲ，Ｇ，Ｇ，Ｂの４画素によって構成されている。
【００３４】
また、近年、別の方式で一般的なベイヤー配列の画素密度を４倍にしたベイヤー配列も用いられている。図３は、一般的なベイヤー配列の画素密度を４倍にしたベイヤー配列の別の例を示す図である。
【００３５】
図３の例では、図１の１画素が２行２列に分割されて、それぞれ同色の４画素が配置されている。すなわち、図１のＲの画素が、図２においては、Ｒ，Ｒ，Ｒ，Ｒの４画素によって構成されている。同様に、図１のＧの画素、およびＢの画素も、それぞれＧ，Ｇ，Ｇ，Ｇの４画素、およびＢ，Ｂ，Ｂ，Ｂの４画素によって構成されている。
【００３６】
例えば、図２に示されるようなベイヤー配列を構成する場合、極めて小さい面積の中でＲ，Ｇ，Ｂの３色に対応するカラーフィルタを適切に配置する必要がある。従って、図２に示される例の場合、色漏れなどを防止するために高い技術力が求められる。これに対して、図３に示されるようなベイヤー配列を構成する場合、例えば、図２に示される場合と比較して低コストで色漏れなどの問題を最小化することができる。また、図３に示されるようなベイヤー配列を構成する場合、例えば、図１に示される場合と比較して画像を構成する画素数が増えることから、より高精細の画像を得ることができる。
【００３７】
ここでは、図３に示されるような配列形式を、ベイヤー２×２配列と称することにする。
【００３８】
図１乃至図３に示されるような配列形式に対応する画素により得られた画像は、１画素がＲ，Ｇ，またはＢの１色の成分のみを有する画像となる。人間の目によって観察される画像に近づけるためには、１画素がＲ，Ｇ，またはＢの１色の成分のみを有する画像を、１画素がそれぞれＲ，Ｇ，およびＢの３色の成分を有する画像に変換する必要がある。このように、単一の色成分を有する画素のそれぞれによって構成される画像を、１画素が多数の色成分を有する画像に変換することをデモザイクと称することにする。
【００３９】
ここでは、図１に示されるような配列形式に対応する画素により撮像された画像をベイヤー配列画像と称することとし、図３に示されるような配列形式に対応する画素により撮像された画像をベイヤー２×２配列画像と称することにする。また、１画素がそれぞれＲ，Ｇ，およびＢの３色の成分を有する画像をＲＧＢ画像と称することにする。
【００４０】
ベイヤー配列画像やベイヤー２×２配列画像をＲＧＢ画像にデモザイクする際に、出力画像の画像品質を高めるためにノイズ低減処理や先鋭感を向上させる処理を施すことも可能である。例えば、ベイヤー配列画像の中の注目画素の周辺画素情報を用いてクラス分類を行い、クラス分類結果に基づいて、予め学習したデータを用いて注目画素上に前述の色成分以外の色成分を生成することができる。
【００４１】
しかしながら、従来の技術では、ベイヤー配列画像をＲＧＢ画像にデモザイクする場合と、ベイヤー２×２配列画像をＲＧＢ画像にデモザイクする場合とで、異なる係数データや信号処理方式を用意する必要があった。
【００４２】
図４は、従来の技術を利用した高画質化システムの構成例を示すブロック図である。同図に示される高画質化システム１０は、ベイヤー配列画像をＲＧＢ画像にデモザイクし、また、ベイヤー２×２配列画像をＲＧＢ画像にデモザイクする。そして、高画質化システム１０は、デモザイクする際に、出力画像の画像品質を高めるためにノイズ低減処理や先鋭感を向上させる処理を施すようになされている。
【００４３】
図４の高画質化システム１０は、撮像素子２１、予測信号処理部２２−１、予測信号処理部２２−２、係数データ記憶部２３−１、および係数データ記憶部２３−２を備えている。
【００４４】
撮像素子２１は、画像を撮像して出力する。撮像素子２１は、例えば、ベイヤー配列画像およびベイヤー２×２配列画像のいずれも出力できるようになされている。
【００４５】
予測信号処理部２２−１は、例えば、撮像素子２１から出力されたベイヤー配列画像をデモザイクするようになされている。予測信号処理部２２−２は、例えば、撮像素子２１から出力されたベイヤー２×２配列画像をデモザイクするようになされている。また、予測信号処理部２２−１および予測信号処理部２２−２は、それぞれデモザイクする際に、出力画像の画像品質を高めるためにノイズ低減処理や先鋭感を向上させる処理を施すようになされている。
【００４６】
予測信号処理部２２−１および予測信号処理部２２−２は、入力画像であるベイヤー配列画像およびベイヤー２×２配列画像の中で、デモザイクの対象となる画素である注目画素を特定する。
【００４７】
そして、予測信号処理部２２−１および予測信号処理部２２−２は、それぞれ注目画素を中心とする複数の画素により構成されるクラスタップを抽出し、クラスタップを構成する画素値に基づいてクラス分類を行う。クラス分類を行う方法としては、例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)等を採用することができ、ＡＤＲＣコードをクラスコードとして注目画素のクラスが特定される。
【００４８】
予測信号処理部２２−１および予測信号処理部２２−２は、入力画像の注目画素を中心とする複数の画素により構成される予測タップを抽出し、注目画素のクラスに応じて定まる係数を、予測タップを構成する各画素の値に乗じる積和演算を行って、注目画素の予測値を算出する。このとき、予測信号処理部２２−１は、係数データ記憶部２３−１に記憶されている係数を読出し、その係数を予測タップの各画素の値に乗じる。一方、予測信号処理部２２−２は、係数データ記憶部２３−２に記憶されている係数を読出し、その係数を予測タップの各画素の値に乗じる。
【００４９】
予測信号処理部２２−１および予測信号処理部２２−２の積和演算により、それぞれ出力画像であるＲＧＢ画像の注目画素の値（予測値）が算出されることになる。これにより、予測信号処理部２２−１によって、ベイヤー配列画像と同一の画素密度のＲＧＢ画像が生成されて出力され、予測信号処理部２２−２によって、ベイヤー２×２配列画像と同一の画素密度のＲＧＢ画像が生成されて出力されることになる。
【００５０】
このように、従来の技術では、ベイヤー配列画像およびベイヤー２×２配列画像をデモザイクして高画質化するためには、それぞれの入力画像に応じて異なる予測信号処理部と係数データ記憶部とを設ける必要があった。つまり、従来の技術では、配列形式（および画素密度）が異なるベイヤー配列画像と、ベイヤー２×２配列画像とで同じ係数を用いた予測演算を行うことはできなかった。
【００５１】
しかしながら、従来技術のように入力画像に応じて異なる予測信号処理部と係数データ記憶部とを設けると、回路規模が大きくなったり、メモリ容量の増大やコストの増加につながる。近年、装置の小型化、低価格化が進んでいる中で、高画質化システムについても小型化、低コスト化が求められている。
【００５２】
そこで、本技術では、共通の予測信号処理部と係数データ記憶部とを用いて、ベイヤー配列画像およびベイヤー２×２配列画像をデモザイクして高画質化できるようにする。
【００５３】
図６は、本技術を適用した高画質化システムの構成例を示すブロック図である。同図に示される高画質化システム１００は、撮像素子１１１、予測信号処理部１１２、係数データ記憶部１１３を備えている。
【００５４】
撮像素子１１１は、画像を撮像して出力する。撮像素子１１１は、例えば、ベイヤー２×２配列画像を出力するようになされている。
【００５５】
予測信号処理部１１２は、例えば、撮像素子１１１から出力されたベイヤー２×２配列画像をデモザイクするようになされている。
【００５６】
図６は、予測信号処理部１１２の詳細な構成例を示すブロック図である。同図に示さるように、予測信号処理部１１２には、前処理部１２１および後処理部１２２が設けられている。
【００５７】
前処理部１２１は、画素欠陥補正部１３１、画素加算処理部１３２、クランプ処理部１３３、およびホワイトバランス部１３４によって構成されている。
【００５８】
画素欠陥補正部１３１は、例えば、撮像素子１１１の画素の中の欠陥画素(何かの理由で入射光に反応しない素子や常に電荷を蓄えている素子)を検出し、欠陥画素の影響が出ないように、周辺の正常な画素から補間するなどして欠陥画素の出力値を補正する。
【００５９】
画素加算処理部１３２は、動作モードによって、ベイヤー２×２配列画像のデータを、ベイヤー配列画像のデータに変換する。ここで、動作モードは、例えば、動画モード、または、静止画モードとされ、高画質化システム１００が実装される機器の動作に基づいて特定される。
【００６０】
動作モードが動画モードの場合、高画質化システム１００では、動画のフレームレートに応じて出力画像を生成する必要があり、高速での処理が求められる。このため、例えば、動作モードが動画モードである場合、画素加算処理部１３２は、例えば、ベイヤー２×２配列画像のＲ，Ｇ，Ｂの各色成分について４つの画素値を１つの画素値に置き換えてベイヤー配列画像のデータに変換する。
【００６１】
図３を参照して上述したように、ベイヤー２×２配列画像では、ベイヤー配列画像の１画素が２行２列に分割されて、それぞれ同色の４画素が配置される。画素加算処理部１３２は、例えば、同色の４画素の値の平均値、または、４画素の値の中から所定の基準で選択された代表値によって、４つの画素値を１つの画素値に置き換えることで、ベイヤー２×２配列画像のデータをベイヤー配列画像のデータに変換する。
【００６２】
一方、動作モードが静止画モードの場合、高画質化システム１００では、動画モード時のような高速での処理は求められない。このため、例えば、動作モードが静止画モードである場合、画素加算処理部１３２は、ベイヤー２×２配列画像のデータをそのまま出力する。
【００６３】
ここでは、画素加算処理部１３２が動作モードに応じて配列形式を変換する例について説明したが、他の条件に基づいて配列形式が変換されるようにしてもよい。
【００６４】
また、ここでは、撮像素子１１１から、常にベイヤー２×２配列画像が出力され、動作モードに応じてベイヤー配列画像に変換されることを前提として説明した。しかし、例えば、高画質化システム１００に、ベイヤー配列画像を出力する撮像素子と、ベイヤー２×２配列画像を出力する撮像素子とが設けられ、動作モードに応じて、いずれかの撮像素子から画像が出力されるようにしてもよい。
【００６５】
クランプ処理部１３３は、撮像素子１１１でのＡＤ変換の際のシフトをキャンセルする。すなわち、撮像素子１１１内でＡＤ変換が行われる際に、負の値がカットされるのを防ぐため、信号値が正の方向にシフトされてＡＤ変換されるので、そのシフト分をキャンセルするようにクランプされる。
【００６６】
ホワイトバランス部１３４は、色成分毎にゲインを補正することでホワイトバランスを調整する。
【００６７】
後処理部１２２は、クラスタップ取得部１３５、予測タップ取得部１３６、クラス分類部１３７、および適応処理部１３８によって構成されている。
【００６８】
クラスタップ取得部１３５は、入力画像であるベイヤー配列画像またはベイヤー２×２配列画像の中で、デモザイクの対象となる画素である注目画素を特定する。そして、クラスタップ取得部１３５は、注目画素を中心とする複数の画素により構成されるクラスタップを抽出（取得）する。
【００６９】
クラス分類部１３７は、クラスタップを構成する画素値に基づいてクラス分類を行う。クラス分類を行う方法としては、例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)等を採用することができ、ＡＤＲＣコードをクラスコードとして注目画素のクラスが特定される。
【００７０】
予測タップ取得部１３６は、入力画像の注目画素を中心とする複数の画素により構成される予測タップを抽出（取得）する。
【００７１】
適応処理部１３８は、注目画素のクラスに応じて定まる係数を、予測タップを構成する各画素の値に乗じる積和演算を行って、注目画素の予測値を算出する。このとき、適応処理部１３８は、係数データ記憶部１１３に記憶されている係数を読出し、その係数を予測タップの各画素の値に乗じる。
【００７２】
係数データ記憶部１１３には、上述の積和演算に用いられる係数であって、予め学習により求められた係数がクラスに対応づけられて記憶されている。すなわち、注目画素のクラスの数だけ、予測タップのタップ数（画素数）と同じ数の係数が、予め係数データ記憶部１１３に記憶されている。なお、学習によって、クラス毎に係数を求める処理については後述する。
【００７３】
係数をＷｉで表し、予測タップを構成する画素の値をｘｉで表した場合、注目画素の予測値ｙは、式（１）により算出される。
【００７４】
【数１】
2014042176.tif 000003
・・・（１）
【００７５】
なお、式（１）におけるｎは、予測タップのタップ数とされる。
【００７６】
適応処理部１３８の積和演算により、それぞれ出力画像であるＲＧＢ画像の注目画素の値（予測値）が算出されることになる。これにより、適応処理部１３８によって、ベイヤー配列画像と同一の画素密度のＲＧＢ画像、または、ベイヤー２×２配列画像と同一の画素密度のＲＧＢ画像が生成されることになる。
【００７７】
図７は、ベイヤー配列画像において、クラスタップ取得部１３５により取得されるクラスタップの例を示す図である。同図の例では、「×」の記号が記された図中中央の「Ｇ」の画素が注目画素とされ、図中の円で示された、注目画素を中心とした９個の画素がクラスタップとして取得されている。
【００７８】
図８は、ベイヤー２×２配列画像において、クラスタップ取得部１３５により取得されるクラスタップの例を示す図である。同図の例では、「×」の記号が記された図中中央の「Ｇ」の画素が注目画素とされる。図８の場合、図７のクラスタップと同じ位置に円が配置されているが、１つの円の中に４つの画素が配置されている。すなわち、ベイヤー２×２配列画像の場合、ベイヤー配列画像のクラスタップを構成する１画素をそれぞれ同色の４（２行２列）画素に分割したときの画素位置となる、合計３６の位置の画素がクラスタップとして取得されている。
【００７９】
なお、図８に示される注目画素の座標位置を（ｎ，ｍ）で表した場合、注目画素の座標位置が（ｎ＋１，ｍ），（ｎ，ｍ＋１），または（ｎ＋１，ｍ＋１）である場合、注目画素の座標位置が（ｎ，ｍ）である場合と同じ予測タップが取得される。つまり、本技術では、ベイヤー２×２配列画像からクラスタップが取得される場合、互いに隣接する４つの位置の注目画素に対応して、それぞれ同一のクラスタップが取得されることになる。
【００８０】
図７に示されるクラスタップに基づいて、クラス分類部１３７がＡＤＲＣによってクラス分類する場合、クラスタップを構成する各画素値の量子化コード（例えば、「１」または「０」）を判定し、画素の位置に応じた順番に量子化コードを並べることにより注目画素の９桁のクラスコードが決定される。
【００８１】
クラスタップを構成する画素の値の最大値および最小値をＭＡＸおよびＭＩＮとし、ダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）とし、再量子化ビット数をｐとした場合、画素値ｋｉに対応する量子化コードｑｉは、式（２）により求められる。
【００８２】
【数２】
2014042176.tif 000004
・・・（２）
【００８３】
また、量子化コードｑｉに基づいて、クラスコードｃｌａｓｓを式（３）により算出できる。
【００８４】
【数３】
2014042176.tif 000005
・・・（３）
【００８５】
なお、式（３）におけるｎは、クラスタップのタップ数とされる。
【００８６】
一方、図８に示されるクラスタップに基づいて、クラス分類部１３７がＡＤＲＣによってクラス分類する場合、図８の１つの円の中の同色の４つの画素を１つのタップ（画素）とみなして量子化コードを判定する。例えば、１つの円の中の４つの画素の平均値または代表値に基づいて量子化コードが判定される。そして、タップの位置に応じた順番に量子化コードを並べることにより注目画素の９桁のクラスコードが決定される。
【００８７】
このようにすることで、ベイヤー配列画像の場合も、ベイヤー２×２配列画像の場合も、同じクラスコードによって、注目画素をクラス分類することが可能となる。
【００８８】
あるいはまた、より詳細に画像の特性を反映させることができるように、クラスタップが取得されるようにしてもよい。図９は、ベイヤー２×２配列画像において、クラスタップ取得部１３５により取得されるクラスタップの別の例を示す図である。
【００８９】
図９の例では、図中の円で示される各タップにタップ番号の数字が付されている。図９におけるタップ番号０乃至３、８乃至１１の８つのタップは、図７の場合と同様に取得されている。しかし、図９の場合、図７の場合と異なり、注目画素であるタップ番号４の画素、およびその周辺の３つの画素（タップ番号５乃至７の画素）がそれぞれ１つのタップとして取得されている。
【００９０】
図９の例の場合、クラスタップは、１２個の画素により構成されることになるので、注目画素のクラスコードは１２桁となる。このようにする場合、クラスコードの桁数を共通化するため、ベイヤー配列画像から取得されたクラスタップに基づいて決定されるクラスコードも１２桁に読み替える。
【００９１】
例えば、図１０に示されるように、ベイヤー配列画像から取得されたクラスタップにおける注目画素のタップ（中央に位置するタップ）の量子化コードを４つ生成する。例えば、ベイヤー配列画像から取得されたクラスタップにおける注目画素のタップの量子化コードが「１」である場合、これを「１１１１」と読み替える。また、例えば、ベイヤー配列画像から取得されたクラスタップにおける注目画素のタップの量子化コードが「０」である場合、これを「００００」と読み替える。すなわち、クラスタップにおける注目画素のタップに対応する量子化コードが補間されてクラスコードが決定される。
【００９２】
このようにすることで、ベイヤー配列画像から取得されたクラスタップに基づいて決定されるクラスコードが１２桁に読み替えられる。
【００９３】
なお、図７乃至図９に示したものは、クラスタップの例であり、各タップの位置、および、タップ数は、図７乃至図９に示したものに限られるものではない。
【００９４】
図１１は、ベイヤー配列画像において、予測タップ取得部１３６により取得される予測タップの例を示す図である。同図の例では、「×」の記号が記された図中中央の「Ｇ」の画素が注目画素とされ、図中の円で示された、注目画素を中心とした１３個の画素が予測タップとして取得されている。
【００９５】
図１２は、ベイヤー２×２配列画像において、予測タップ取得部１３６により取得される予測タップの例を示す図である。同図の例では、「×」の記号が記された図中中央の「Ｇ」の画素が注目画素とされる。図１２の場合、図１１の予測タップと同じ位置にタップが配置されているが、図１１における１画素につき、図１２では４つの画素が配置されている。すなわち、ベイヤー２×２配列画像の場合、ベイヤー配列画像の予測タップを構成する１画素をそれぞれ同色の４画素（２行２列）に分割したときの画素位置となる、合計５２の位置の画素が予測タップとして取得されている。
【００９６】
なお、図１１および図１２に示したものは、予測タップの例であり、各タップの位置、および、タップ数は、図１１および図１２に示したものに限られるものではない。
【００９７】
本技術を適用した高画質化システム１００においては、ベイヤー２×２配列画像における予測タップのタップ数（画素数）と同じ数の係数が、予め係数データ記憶部１１３に記憶されている。すなわち、図１２の例の場合、５２個の係数から成る係数群がそれぞれクラスコード毎に記憶されていることになる。
【００９８】
一方で、図１１のベイヤー配列画像においては、予測タップのタップ数は１３個となるので、このままでは積和演算を行うことができない。そこで、本技術では、ベイヤー配列画像から取得された予測タップに基づいて積和演算が行われる場合、５２個の係数を１３個の係数に変換する。
【００９９】
例えば、図１２に示される同色の４つの画素に乗じられる４つの係数の平均値（または代表値）を算出し、得られた１つの平均値（または代表値）を、図１１の各タップに乗じるようにする。例えば、図１３に示されるベイヤー２×２配列画像の予測タップにおいて、タップ１６１−１乃至タップ１６１−４の４つのタップにそれぞれ乗じられる４つの係数の平均値（または代表値）を算出する。これにより得られた１つの平均値（または代表値）が、図１４に示されるベイヤー配列画像の予測タップにおいて、タップ１６２に乗じられる。
【０１００】
このようにすることで、１３個のタップに１３個の係数が乗じられて積和演算が行われることになる。従って、本技術では、ベイヤー配列画像の場合も、ベイヤー２×２配列画像の場合も、同じ係数を用いて積和演算を行って、注目画素の予測値を演算することができる。
【０１０１】
上述したように、本技術では、ベイヤー配列画像の場合と、ベイヤー２×２配列画像の場合とで係数が共通化されている。このような共通化を可能とするために、本技術では、予測タップを次のように取得している。すなわち、ベイヤー２×２配列画像から予測タップを取得する場合、４通りの注目画素に対して１通りの予測タップが取得されるようになされている。
【０１０２】
例えば、図１２に示される注目画素の場合と、図１５に示される注目画素の場合において同一の予測タップが取得されるようになされている。図１５Ａは、注目画素の位置が図１２における位置から１画素分右に移動したものである。図１５Ｂは、注目画素の位置が図１２における位置から１画素分下に移動したものである。図１５Ｃは、注目画素の位置が図１２における位置から１画素分右に、かつ１画素分下に移動したものである。
【０１０３】
例えば、図１２における注目画素の座標位置を（ｎ，ｍ）で表した場合、注目画素の座標位置が（ｎ＋１，ｍ），（ｎ，ｍ＋１），または（ｎ＋１，ｍ＋１）である場合、注目画素の座標位置が（ｎ，ｍ）である場合と同じ予測タップが取得される。つまり、本技術では、ベイヤー２×２配列画像から予測タップが取得される場合、互いに隣接する４つの位置の注目画素に対応して、それぞれ同一の予測タップが取得されることになる。
【０１０４】
このように、ベイヤー２×２配列画像における注目画素が同色の４つの画素のいずれかである場合、同じ予測タップが取得されることで、ベイヤー配列画像の場合と、ベイヤー２×２配列画像の場合とで係数を共通化することが可能となる。
【０１０５】
次に、係数データ記憶部１１３に記憶される係数の学習について説明する。図１６は、図５に示される高画質化システム１００に対応する学習装置の構成例を示すブロック図である。同図に示される学習装置２００は、高画質のＲＧＢ画像である教師画像と、教師画像の画質を劣化させたベイヤー２×２配列画像である生徒画像の画素値に基づいて、高画質化システム１００において注目画素の予測値を演算するのに最適な係数を算出するようになされている。
【０１０６】
図１６に示される学習装置２００は、間引き処理部２０１、教師画像処理部２０２、生徒画像処理部２０３、クラス分類部２０４、演算部２０５、および係数メモリ２０６によって構成されている。
【０１０７】
学習装置２００は、高画質のＲＧＢ画像を入力画像として受け付け、この入力画像を教師画像として教師画像処理部２０２に供給する。なお、入力画像の画素密度は、ベイヤー２×２配列画像の画素密度と同一とされる。
【０１０８】
間引き処理部２０１は、例えば、ノイズを挿入するなどして入力画像の画質を劣化させるとともに、カラーフィルタの配列のパターンに従って画素の色成分を間引く。この際、例えば、撮像素子１１１のカラーフィルタを想定して画素の色成分を間引く。これにより、ＲＧＢ画像がベイヤー２×２配列画像に変換され、変換後の画像が生徒画像とされて生徒画像処理部２０３に供給される。
【０１０９】
生徒画像処理部２０３は、生徒画像から、注目画像に対応するクラスタップおよび予測タップを取得する。クラスタップは、例えば、図７乃至図９を参照して上述したように取得され、予測タップは、例えば、図１１、図１２、図１５を参照して上述したように取得される。
【０１１０】
取得されたクラスタップは、クラス分類部２０４に供給され、式（２）、式（３）によりクラスコードが決定される。
【０１１１】
クラス分類部２０４により決定されたクラスコードと、生徒画像処理部２０３により取得された予測タップは、演算部２０５に供給される。
【０１１２】
教師画像処理部２０２は、生徒画像処理部２０３において設定されている注目画素に対応する画素を教師画像から取得し、その画素の値を予測値として演算部２０５に供給する。
【０１１３】
なお、生徒画像処理部２０３は、生徒画像を構成する複数の画素のそれぞれを順番に注目画素として設定し、それらの注目画素のそれぞれについて、クラスコード、予測タップ、および予測値が演算部２０５に供給される。
【０１１４】
演算部２０５は、クラスタップに基づいて予測値を演算する線形一次式のサンプルを複数生成する。例えば、式（４）に示される線形一次式のサンプルがクラスコード毎に複数生成される。
【０１１５】
【数４】
2014042176.tif 000006
・・・（４）
【０１１６】
式（４）においてＷｉ（ｉ＝１乃至ｎ、ｎは予測タップのタップ数）は、適応処理部１３８の積和演算に用いられる係数とされる。ｘｉは、予測タップを構成する画素の値であり、ｙは予測値とされる。なお、ｋはサンプルの番号などを表すインデックスとされ、例えば、ｍ個のサンプルが生成される。
【０１１７】
演算部２０５は、式（４）における誤差を最小にする係数Ｗｉを算出する。まず、式（４）の各サンプルの誤差ｅkを式（５）に示されるように定義する。
【０１１８】
【数５】
2014042176.tif 000007
・・・（５）
【０１１９】
そして、例えば、式（６）および式（７）に示されるように、最小二乗法により誤差を最小にする係数Ｗｉを算出する。
【０１２０】
【数６】
2014042176.tif 000008
・・・（６）
【０１２１】
【数７】
2014042176.tif 000009
・・・（７）
【０１２２】
すなわち、式（６）のｅの２乗を最小にするべく、式（７）のように、eの２乗を係数Ｗｉ(ｉ＝０乃至ｎ)で偏微分し、iの各値について偏微分値が０となるように係数Ｗｉを求める。
【０１２３】
ここで、例えば、式（８）および式（９）に示されるようにＸjiおよびＹiを定義する。
【０１２４】
【数８】
2014042176.tif 000010
・・・（８）
【０１２５】
【数９】
2014042176.tif 000011
・・・（９）
【０１２６】
式（４）、式（８）、および式（９）より式（１０）が導出される。
【０１２７】
【数１０】
2014042176.tif 000012
・・・（１０）
【０１２８】
式（１０）を掃き出し法（Gauss-Jordanの消去法）などを用いて解くことにより、係数Ｗｉを求めることができる。
【０１２９】
演算部２０５により求められた係数Ｗｉは、クラス分類部２０４により決定されたクラスコードに対応付けられて係数メモリ２０６に記憶される。これにより、学習装置２００により係数が学習されたことになり、係数メモリ２０６に記憶されたデータが、高画質化システム１００における係数データ記憶部１１３に記憶される。
【０１３０】
次に、図１７のフローチャートを参照して、本技術を適用した学習装置２００による学習処理の例について説明する。この処理が実行される際には、上述したように、高画質のＲＧＢ画像を入力画像として受け付け、この入力画像が教師画像として教師画像処理部２０２に供給される。なお、入力画像の画素密度は、ベイヤー２×２配列画像の画素密度と同一とされる。また、間引き処理部２０１は、例えば、ノイズを挿入するなどして入力画像の画質を劣化させるとともに、カラーフィルタの配列のパターンに従って画素の色成分を間引く。この際、例えば、撮像素子１１１のカラーフィルタを想定して画素の色成分を間引く。これにより、ＲＧＢ画像がベイヤー２×２配列画像に変換され、変換後の画像が生徒画像とされて生徒画像処理部２０３に供給される。
【０１３１】
ステップＳ２１において、生徒画像処理部２０３は、生徒画像から、注目画像に対応するクラスタップを取得する。このとき、クラスタップは、例えば、図７乃至図９を参照して上述したように取得される。
【０１３２】
ステップＳ２２において、クラス分類部２０４は、ステップＳ２１の処理で取得されたクラスタップに基づいて、クラスコードを決定する。このとき、例えば、上述した式（２）、式（３）によりクラスコードが決定される。
【０１３３】
ステップＳ２３において、生徒画像処理部２０３は、生徒画像から、注目画像に対応する予測タップを取得する。このとき、予測タップは、例えば、図１１、図１２、図１５を参照して上述したように取得される。
【０１３４】
ステップＳ２４において、教師画像処理部２０２は、生徒画像処理部２０３において設定されている注目画素に対応する画素を教師画像から取得する。このとき、取得された画素の値が予測値として演算部２０５に供給される。
【０１３５】
ステップＳ２５において、演算部２０５は、ステップＳ２４の処理で取得された予測タップに基づいて予測値を演算する線形一次式を生成する。例えば、式（４）に示される線形一次式が生成される。
【０１３６】
ステップＳ２６において、ステップＳ２５の処理で生成された線形一次式がサンプルとしてクラスコード毎に足し込まれる。
【０１３７】
なお、生徒画像処理部２０３は、生徒画像を構成する複数の画素のそれぞれを順番に注目画素として設定し、それらの注目画素のそれぞれについて、クラスコード、予測タップ、および予測値が演算部２０５に供給される。これにより、演算部２０５が上述した線形一次式のサンプルを複数生成する。
【０１３８】
ステップＳ２７では、全てのサンプルの足し込みが完了したか否かが判定される。まだ、全てのサンプルの足し込みが完了していないと判定された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返し実行される。
【０１３９】
一方、ステップＳ２７において、全てのサンプルの足し込みが完了したと判定された場合、処理は、ステップＳ２８に進む。
【０１４０】
ステップＳ２８において、演算部２０５は、クラスコード毎に係数を算出する。このとき、例えば、式（５）乃至式（１０）を参照して上述した演算によって、予測タップに乗じられる係数Ｗ1、Ｗ2、・・・Ｗmがクラスコード毎に算出される。すなわち、クラスコード毎にｍ個の係数が算出され、当該クラスコードに対応づけられて係数メモリ２０６に記憶される。
【０１４１】
このようにして、学習処理が実行される。
【０１４２】
次に、図１８のフローチャートを参照して、本技術を適用した高画質化システム１００による高画質化デモザイク処理の例について説明する。この処理は、例えば、撮像素子１１１により画像が撮像されるとき、実行される。なお、この処理に先立って、図１８を参照して上述した学習処理が実行され、係数メモリ２０６に記憶されたデータが、高画質化システム１００における係数データ記憶部１１３に記憶されているものとする。
【０１４３】
ステップＳ４１において、画素欠陥補正部１３１は、画素欠陥を補正する。このとき、画素欠陥補正部１３１は、例えば、撮像素子１１１の画素の中の欠陥画素(何かの理由で入射光に反応しない素子や常に電荷を蓄えている素子)を検出し、欠陥画素の影響が出ないように、周辺の正常な画素から補間するなどして欠陥画素の出力値を補正する。
【０１４４】
ステップＳ４２において、画素加算処理部１３２は、配列形式を判定する。このとき、例えば、高画質化システム１００の動作モードが特定され、動作モードに応じた配列形式が特定される。ここで、動作モードは、例えば、動画モード、または、静止画モードとされ、高画質化システム１００が実装される機器の動作に基づいて特定される。
【０１４５】
なお、ここでは、撮像素子１１１は、常にベイヤー２×２配列画像のデータを出力するものとし、高速での処理が求められる動画モードの場合、撮像素子１１１から出力されたベイヤー２×２配列画像がベイヤー配列画像に変換されるものとする。
【０１４６】
ステップＳ４２において、配列形式がベイヤー配列であると判定された場合（動作モードが動画モードの場合）、処理は、ステップＳ４３に進む。
【０１４７】
ステップＳ４３において、画素加算処理部１３２は、例えば、ベイヤー２×２配列画像のＲ，Ｇ，Ｂの各色成分について４つの画素値を１つの画素値に置き換えてベイヤー配列画像のデータに変換する。このとき、画素加算処理部１３２は、例えば、同色の４画素の値の平均値、または、４画素の値の中から所定の基準で選択された代表値によって、４つの画素値を１つの画素値に置き換えることで、ベイヤー２×２配列画像のデータをベイヤー配列画像のデータに変換する。
【０１４８】
一方、ステップＳ４２において、配列形式がベイヤー２×２配列であると判定された場合（動作モードが静止画モードの場合）、ステップＳ４３の処理はスキップされ、画素加算処理部１３２は、ベイヤー２×２配列画像のデータをそのまま出力する。
【０１４９】
ここでは、画素加算処理部１３２が動作モードに応じて配列形式を変換する例について説明したが、他の条件に基づいて配列形式が変換されるようにしてもよい。
【０１５０】
ステップＳ４４において、クランプ処理部１３３は、クランプ処理を行う。すなわち、撮像素子１１１内でＡＤ変換が行われる際に、負の値がカットされるのを防ぐため、信号値が正の方向にシフトされてＡＤ変換されるので、そのシフト分をキャンセルするようにクランプされる。
【０１５１】
ステップＳ４５において、ホワイトバランス部１３４は、色成分毎にゲインを補正することでホワイトバランスを調整する。
【０１５２】
ステップＳ４６において、図１９のフローチャートを参照して後述するように、後処理部１２２による配列形式別クラス分類適応処理が実行される。
【０１５３】
ステップＳ４７において、ステップＳ４６の配列形式別クラス分類適応処理が全画素分実行されたか否かが判定され、まだ、全画素分実行されていないと判定された場合、ステップＳ４６の処理が繰り返し実行される。
【０１５４】
一方、ステップＳ４７において、ステップＳ４６の配列形式別クラス分類適応処理が全画素分実行されたと判定された場合、処理は終了する。
【０１５５】
このようにして、高画質化デモザイク処理が実行される。
【０１５６】
次に、図１９のフローチャートを参照して、図１８のステップＳ４６の配列形式別クラス分類適応処理の詳細な例について説明する。
【０１５７】
ステップＳ６１において、配列形式が判定される。ここでは、図１８のステップＳ４２の処理による判定と同様に、配列形式が判定される。
【０１５８】
ステップＳ６１において、配列形式がベイヤー配列であると判定された場合、処理は、ステップＳ６２に進む。
【０１５９】
ステップＳ６２において、クラスタップ取得部１３５は、入力画像であるベイヤー配列画像の中で、デモザイクの対象となる画素である注目画素を特定する。そして、クラスタップ取得部１３５は、注目画素を中心とする複数の画素により構成されるクラスタップを取得する。
【０１６０】
ステップＳ６３において、クラス分類部１３７は、ステップＳ６２の処理で取得されたクラスタップについてＡＤＲＣ処理を行う。
【０１６１】
ステップＳ６４において、クラス分類部１３７は、クラスコードの読み替えを行う。このとき、例えば、図８に示されるクラスタップに基づいて、クラス分類部１３７がＡＤＲＣによってクラス分類する場合、１つの円の中の４つの画素を１つのタップ（画素）とみなして量子化コードを判定する。例えば、１つの円の中の４つの画素の平均値または代表値に基づいて量子化コードが判定される。そして、タップの位置に応じた順番に量子化コードを並べることにより注目画素の９桁のクラスコードが決定される。
【０１６２】
あるいはまた、図９に示されるクラスタップが取得される場合は、ベイヤー配列画像から取得されたクラスタップにおける注目画素のタップ（中央に位置するタップ）の量子化コードを４つ生成する。例えば、ベイヤー配列画像から取得されたクラスタップにおける注目画素のタップの量子化コードが「１」である場合、これを「１１１１」と読み替える。また、例えば、ベイヤー配列画像から取得されたクラスタップにおける注目画素のタップの量子化コードが「０」である場合、これを「００００」と読み替える。
【０１６３】
ステップＳ６５において、クラス分類部１３７は、ステップＳ６４の処理の結果に基づいてクラスコードを決定する。
【０１６４】
ステップＳ６６において、予測タップ取得部１３６は、入力画像の注目画素を中心とする複数の画素により構成される予測タップを取得する。
【０１６５】
ステップＳ６７において、適応処理部１３８は、予測係数を再構築する。例えば、ベイヤー配列画像から取得された予測タップに基づいて積和演算が行われる場合、５２個の係数を１３個の係数に変換する。例えば、図１２に示される同色の４つの画素に乗じられる４つの係数の平均値（または代表値）を算出し、得られた１つの平均値（または代表値）を、図１１の各タップに乗じるようにする。例えば、図１３に示されるベイヤー２×２配列画像の予測タップにおいて、タップ１６１−１乃至タップ１６１−４の４つのタップにそれぞれ乗じられる４つの係数の平均値（または代表値）を算出する。これにより得られた１つの平均値（または代表値）が、図１４に示されるベイヤー配列画像の予測タップにおいて、タップ１６２に乗じられる。
【０１６６】
一方、ステップＳ６１において、配列形式は、ベイヤー２×２配列であると判定された場合、処理は、ステップＳ６８に進む。
【０１６７】
ステップＳ６８において、クラスタップ取得部１３５は、入力画像であるベイヤー２×２配列画像の中で、デモザイクの対象となる画素である注目画素を特定する。そして、クラスタップ取得部１３５は、注目画素を中心とする複数の画素により構成されるクラスタップを取得する。
【０１６８】
ステップＳ６９において、クラス分類部１３７は、ステップＳ６８の処理で取得されたクラスタップについてＡＤＲＣ処理を行う。なお、この際、例えば、図８に示されるクラスタップにおいて、１つの円の中の同色の４つの画素を１つのタップとみなして量子化コードが判定される。例えば、図８の１つの円の中の４つの画素の平均値または代表値に基づいて量子化コードが判定される。
【０１６９】
ステップＳ７０において、クラス分類部１３７は、ステップＳ６９の処理結果に基づいてクラスコードを決定する。
【０１７０】
ステップＳ７１において、予測タップ取得部１３６は、入力画像の注目画素を中心とする複数の画素により構成される予測タップを取得する。
【０１７１】
ステップＳ６７またはステップＳ７１の処理の後、処理はステップＳ７２に進む。
【０１７２】
ステップＳ７２において、適応処理部１３８は、ステップＳ６５またはステップＳ７０の処理により決定された注目画素のクラスに応じて定まる係数を、ステップＳ６６またはステップＳ７１の処理で取得された予測タップを構成する各画素の値に乗じる積和演算を行って、注目画素の予測値を算出する。
【０１７３】
このとき、適応処理部１３８は、係数データ記憶部１１３に記憶されている係数を読出し、その係数を予測タップの各画素の値に乗じる。また、上述したように、入力画像がベイヤー配列画像である場合、ステップＳ６７の処理によって再構築された係数が予測タップの各画素値に乗じられることになる。
【０１７４】
このようにして、配列形式別クラス分類適応処理が実行される。
【０１７５】
なお、本技術を適用した高画質化システム１００は、図５に示される構成の他にも、種々の構成を採用することができる。例えば、高画質化システム１００を、デジタルカメラやスマートフォンなどに搭載された撮像素子と信号処理回路によって構成してもよいし、ネットワークを介して接続されるパーソナルコンピュータとサーバによって構成されるようにしてもよい。
【０１７６】
例えば、高画質化システム１００を、図２０に示されるように構成するようにしてもよい。
【０１７７】
図２０は、本技術を適用した高画質化システム１００の別の構成例を示すブロック図である。
【０１７８】
図２０の例では、撮像素子１１１と予測信号処理部１１２がネットワーク１１４を介して接続されている。また、図２０の例では、高画質化システム１００に、出力画像を保存する出力画像保存部１１５が設けられている。その他の構成は、図５を参照して上述した場合と同様なので詳細な説明は省略する。
【０１７９】
あるいはまた、撮像素子１１１と予測信号処理部１１２とがオフラインで接続されるようにしてもよい。さらに、図５の場合と同様に、撮像素子１１１と予測信号処理部１１２とが信号線で接続された状態において、出力画像保存部１１５が設けられるようにしてもよい。
【０１８０】
あるいはまた、図５に示される高画質化システム１００全体が、例えば、半導体チップの中に構成されるようにしてもよい。例えば、複数の光電変換素子を平面上に配置して成る画素アレイを有するＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの固体撮像装置として構成される半導体チップの中に形成された信号処理回路などが、高画質化システム１００として機能するようにすることも可能である。
【０１８１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１８２】
図２１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８３】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１８４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１８６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１８７】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１８８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
なお、本技術は以下のような構成も取ることができる。
【０１９１】
（１）
単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、
前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、
前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、
前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する
画像処理装置。
（２）
前記入力画像は、
赤色、緑色、および青色の各色の単一の色成分の画素から成るベイヤー配列画像、または、前記ベイヤー配列画像の１画素のそれぞれを、２行２列の同色の画素に分割したベイヤー２×２配列画像であり、
前記出力画像は、赤色、緑色、および青色の３色の色成分の画素から成るＲＧＢ画像である
（１）に記載の画像処理装置。
（３）
前記予測タップ取得部は、
前記入力画像がベイヤー２×２配列画像である場合、互いに隣接する４つの位置の注目画素に対応して、それぞれ同一の予測タップを取得する
（２）に記載の画像処理装置。
（４）
前記予測演算部は、
前記入力画像が前記ベイヤー配列画像である場合、
ベイヤー２×２配列画像の予測タップにおいて４つのタップに乗じられる前記係数の平均値または代表値を算出し、
前記算出された平均値または代表値を、前記ベイヤー配列画像の予測タップに乗じることで前記出力画像における前記注目画素の値を算出する
（２）または（３）に記載の画像処理装置。
（５）
前記入力画像から、注目画素に対応して定まる複数の画素の値をクラスタップとして取得するクラスタップ取得部と、
前記注目画素を所定のクラスに分類するクラス分類部とをさらに備える
（２）乃至（３）のいずれかに記載の画像処理装置。
（６）
前記クラスタップ取得部は、
前記入力画像がベイヤー２×２配列画像である場合、
前記ベイヤー配列画像のクラスタップを構成する各画素を、２行２列の同色の画素に分割したクラスタップを取得する
（５）に記載の画像処理装置。
（７）
前記クラス分類部は、
前記入力画像がベイヤー２×２配列画像である場合、
前記クラスタップを構成する同色の４つの画素の平均値または代表値を算出し、前記算出された平均値または代表値をＡＤＲＣ処理することで、前記入力画像がベイヤー配列画像である場合のクラスコードと同一の桁数のクラスコードを決定し、前記注目画素をクラス分類する
（６）に記載の画像処理装置。
（８）
前記クラス分類部は、
前記入力画像がベイヤー配列画像である場合、
前記クラスタップを構成する画素の値をＡＤＲＣ処理して得られる量子化コードの一部を補間することで、前記入力画像がベイヤー２×２配列画像である場合のクラスコードと同一の桁数のクラスコードを決定し、前記注目画素をクラス分類する
（６）または（７）に記載の画像処理装置。
（９）
前記係数データ記憶部に記憶される係数のデータは、
ベイヤー２×２配列画像と同一の画素密度を有するＲＧＢ画像を教師画像とし、前記ＲＧＢ画像の各画素の色成分を間引くことにより生成されたベイヤー２×２配列画像を生徒画像とした学習により算出された係数のデータとされる
（２）乃至（９）のいずれかに記載の画像処理装置。
（１０）
所定の配列形式の画像を、動作モードに応じて他の配列形式の画像に変換し、前記入力画像として供給する入力画像変換部をさらに備える
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
予測タップ取得部が、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得し、
前記予測タップと係数データ記憶部に記憶された前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出するステップを含み、
所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値が算出される
画像処理方法。
（１２）
コンピュータを、
単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、
前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、
前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、
前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する画像処理装置として機能させる
プログラム。
（１３）
複数の光電変換素子を平面上に配置して成る画素アレイと、
前記画素アレイから出力される信号に基づいて生成される、単一の色成分の画素から成る入力画像であって、前記画素の配列形式が異なる複数の入力画像から、注目画素に対応して定まる複数の画素の値を予測タップとして取得する予測タップ取得部と、
前記取得された予測タップのそれぞれに乗じる係数のデータを記憶する係数データ記憶部と、
前記予測タップと前記係数を用いた演算により、前記入力画像をデモザイクした画像であって、複数の色成分の画素から成る出力画像における前記注目画素の値を算出する予測演算部とを備え、
前記予測演算部は、所定の画素密度を有する第１の入力画像から取得された予測タップのそれぞれに乗じる係数を用いて、前記第１の入力画像より画素密度が低く、前記画素の配列形式が異なる第２の入力画像をデモザイクした出力画像における前記注目画素の値を算出する
固体撮像装置。
【符号の説明】
【０１９２】
１００  高画質化システム，  １１１  撮像素子，  １１２  予測信号処理部，  １１３  係数データ記憶部，  １１４  ネットワーク，  １３１  画素欠陥補正部，  １３２  画素加算処理部，  １３３  クランプ処理部，  １３４  ホワイトバランス部，  １３５  クラスタップ取得部，  １３６  予測タップ取得部，  １３７  クラス分類部，  １３８  適応処理部
【図１】
2014042176.tif 000013
【図２】
2014042176.tif 000014
【図３】
2014042176.tif 000015
【図４】
2014042176.tif 000016
【図５】
2014042176.tif 000017
【図６】
2014042176.tif 000018
【図７】
2014042176.tif 000019
【図８】
2014042176.tif 000020
【図９】
2014042176.tif 000021
【図１０】
2014042176.tif 000022
【図１１】
2014042176.tif 000023
【図１２】
2014042176.tif 000024
【図１３】
2014042176.tif 000025
【図１４】
2014042176.tif 000026
【図１５】
2014042176.tif 000027
【図１６】
2014042176.tif 000028
【図１７】
2014042176.tif 000029
【図１８】
2014042176.tif 000030
【図１９】
2014042176.tif 000031
【図２０】
2014042176.tif 000032
【図２１】
2014042176.tif 000033