(57)【要約】【課題】撮像素子から得られている画像情報の処理を該撮像素子の特性に応じて行うことができるようにする。【解決手段】特性推定部２０は、撮像素子から得られている画像情報または該画像情報に付随する情報から、撮像素子の特性を推定する。処理部３０は、特性推定結果に基づき画像情報の処理を行う。例えば、高画質化パラメータ設定部３１は、推定された撮像素子の特性に応じた高画質化パラメータの設定を行う。高画質化処理部３２は、設定された高画質化パラメータに基づき高画質化処理を行う。。撮像素子から得られている画像情報の処理を、画像情報の生成に用いられている撮像素子の特性に応じて行うことができるようになり、撮像素子の種類毎に画像処理装置を開発する必要がないので、開発期間の短縮や開発コストを低減できる。【選択図】        図１
2013239904.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から得られている画像情報または該画像情報に付随する情報から、前記画像情報の生成に用いた撮像素子の特性を推定する特性推定部と、
前記特性推定部で推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う処理部と
を備える画像処理装置。
【請求項２】
前記特性推定部は、前記撮像素子の画素配列規則を推定する画素配列規則推定部を備える
請求項１記載の画像処理装置。
【請求項３】
前記画素配列規則推定部は、空間的に近い同一の特性を持つ画素の配列が、予め想定した画素配列規則の何れに最も類似しているか判別して、前記画像情報を生成した撮像素子の画素配列規則を推定する
請求項２記載の画像処理装置。
【請求項４】
前記画素配列規則推定部は、予め想定した画素配列規則毎に画素配列規則に対する相関特徴量を算出して、算出した相関特徴量に基づき最も類似している画素配列規則を判別する
請求項３記載の画像処理装置。
【請求項５】
前記画像情報における画像平坦領域を検出する平坦領域検出部をさらに備え、
前記画素配列規則推定部は、前記平坦領域検出部で検出された画像平坦領域の画像情報を用いて、前記相関特徴量の算出を行う
請求項２記載の画像処理装置。
【請求項６】
前記特性推定部は、前記推定された画素配列規則における画素間の関係性を推定する画素関係性推定部を備える
請求項２記載の画像処理装置。
【請求項７】
前記画素関係性推定部は、画素値平均に基づいて、前記推定された画素配列規則における白成分画素および電荷蓄積時間の異なる画素を判定する
請求項６記載の画像処理装置。
【請求項８】
前記画素関係性推定部は、画素値のヒストグラムに基づいて、前記推定された画素配列規則における緑成分画素を判定する
請求項６記載の画像処理装置。
【請求項９】
前記処理部は、高画質化処理と画像分類処理と画像加工処理の少なくとも何れかの処理を行う
請求項１記載の画像処理装置。
【請求項１０】
前記画像情報はＲＡＷ画像データである
請求項１記載の画像処理装置。
【請求項１１】
撮像素子から得られている画像情報または該画像情報に付随する情報から、前記撮像素子の特性を推定する工程と、
前記推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う工程と
を含む画像処理方法。
【請求項１２】
撮像素子から得られている画像情報の処理をコンピュータで実行させるプログラムであって、
前記撮像素子から得られている画像情報または該画像情報に付随する情報から、前記撮像素子の特性を推定する手順と、
前記推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関し、撮像素子から得られている画像情報の処理を該撮像素子の特性に応じて行うことができるようにする。
【背景技術】
【０００２】
撮像装置で生成される画像信号では、例えば、撮像素子のノイズや画素配列に応じた信号変換等によって品質の低下を招く場合がある。そこで、画像処理によって画像信号に含まれるノイズの除去や画質の改善等が行われている。例えば特許文献１では、撮像素子の特性を考慮して撮像画像を高画質化することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６６９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年様々な撮像素子が開発されており、これらの撮像素子を用いて生成されたＲＡＷ画像データに対して高画質化処理を行おうとすると、撮像素子に即した専用アルゴリズムを毎回作り込む必要が生じてしまう。
【０００５】
そこで、この技術では、撮像素子から得られている画像情報の処理を該撮像素子の特性に応じて行うことができる画像処理装置と画像処理方法およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、撮像素子から得られている画像情報または該画像情報に付随する情報から、前記画像情報の生成に用いた撮像素子の特性を推定する特性推定部と、前記特性推定部で推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う処理部とを備える画像処理装置にある。
【０００７】
この技術においては、画像処理装置は、撮像素子から得られている画像情報であるＲＡＷ画像データまたはＲＡＷ画像データに付随する情報から、ＲＡＷ画像データの生成に用いた撮像素子の特性を推定する。撮像素子の特性の推定は、空間的に近い同一の特性を持つ画素の配列が、予め想定した画素配列規則の何れに最も類似しているか判別して、ＲＡＷ画像を生成した撮像素子の画素配列規則を推定する。最も類似している画素配列規則の判別は、例えば予め想定した画素配列規則毎に画素配列規則に対する相関特徴量を算出して、算出した相関特徴量に基づき最も類似している画素配列規則を判別する。また、画像処理装置は、推定された画素配列規則における画素間の関係性を推定する。例えば、画素値平均に基づいて、推定された画素配列規則における白成分画素や電荷蓄積時間の異なる画素を判定する。また、画素値のヒストグラムに基づいて、推定された画素配列規則における緑成分画素を判定する。画像処理装置は、推定された撮像素子の特性に応じて、ＲＡＷ画像データの処理、例えば高画質化処理や画像分類処理、画像加工処理等の少なくとも何れかの処理を行う。
【０００８】
この技術の第２の側面は、撮像素子から得られている画像情報または該画像情報に付随する情報から、前記撮像素子の特性を推定する工程と、前記推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う工程とを含む画像処理方法にある。
【０００９】
この技術の第３の側面は、撮像素子から得られている画像情報の処理をコンピュータで実行させるプログラムであって、前記撮像素子から得られている画像情報または該画像情報に付随する情報から、前記撮像素子の特性を推定する手順と、前記推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う手順とを前記コンピュータで実行させるプログラムにある。
【００１０】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１１】
この技術によれば、撮像素子から得られている画像情報または該画像情報に付随する情報から、撮像素子の特性が推定されて、この推定された撮像素子の特性に応じて、画像情報の処理が行われる。このため、撮像素子から得られている画像情報の処理を、画像情報の生成に用いられている撮像素子の特性に応じて行うことができる。また、撮像素子の種類毎に画像処理装置を開発する必要がないので、開発期間の短縮や開発コストを低減できる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態の画像処理装置の構成を示す図である。
【図２】特性推定部の構成を示す図である。
【図３】高画質化パラメータ設定部と高画質化処理部の構成を例示した図である。
【図４】第１の実施の形態の画像処理装置の動作を示すフローチャートである。
【図５】画素配列規則の推定動作を例示したフローチャートである。
【図６】撮像素子の画素配列を例示した図である。
【図７】画素配列がベイヤ配列である場合を説明するための図である。
【図８】第２の実施の形態の特性推定部の構成を示す図である。
【図９】画素配列規則の推定動作を例示したフローチャートである。
【図１０】画素関係性の推定動作を例示したフローチャートである。
【図１１】第３の実施の形態における画像処理装置の構成を例示した図である。
【図１２】画像処理装置を用いたシステムの構成を例示した図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．画像処理装置の構成
１−２．画像処理装置の動作
２．第２の実施の形態
２−１．画像処理装置の構成
２−１．画像処理装置の構成
３．第３の実施の形態
３−１．第３の実施の形態の構成および動作
【００１４】
＜１．第１の実施の形態＞
［１−１．画像処理装置の構成］
図１は、第１の実施の形態の画像処理装置の構成を示している。画像処理装置１０は、特性推定部２０と処理部３０を備えている。
【００１５】
特性推定部２０は、撮像素子から得られている画像情報であるＲＡＷ画像データに基づいて撮像素子の特性を推定する。特性推定部２０は、推定結果を処理部３０へ出力する。また、特性推定部２０は、ＲＡＷ画像データに撮像素子の特性を示す特性情報が含まれている場合、撮像素子の特性の推定に代えて特性情報の取得を行い、取得した特性情報を処理部３０へ出力する。
【００１６】
処理部３０は、特性推定部２０で推定された撮像素子の特性に応じて、ＲＡＷ画像の処理を行う。例えば、処理部３０は、高画質化パラメータ設定部３１と高画質化処理部３２を用いて構成されており、ＲＡＷ画像の高画質化処理を行う。
【００１７】
高画質化パラメータ設定部３１では、撮像素子の種類毎に、高画質化処理を行うための高画質化パラメータが予め記憶されている。高画質化パラメータ設定部３１は、特性推定部２０における推定結果や取得された特性情報に基づき、推定結果や特性情報に対応する高画質化パラメータを選択して高画質化処理部３２へ出力する。
【００１８】
高画質化処理部３２は、高画質化パラメータ設定部３１から供給された高画質化パラメータを用いて、撮像素子から供給されたＲＡＷ画像の高画質化処理を行う。
【００１９】
図２は、特性推定部の構成を示している。特性推定部２０は、ＲＡＷ画像データの生成に用いた撮像素子の画素配列規則を推定する画素配列規則推定部２１を備えている。画素配列規則推定部２１は、空間的に近い同一の特性を持つ画素の配列が、予め想定した画素配列規則の何れに最も類似しているか判別して、ＲＡＷ画像データを生成した撮像素子の画素配列規則を推定する。例えば、画素配列規則推定部２１は、予め想定した画素配列規則毎に画素配列規則に対する相関特徴量を算出して、算出した相関特徴量に基づき最も類似している画素配列規則を判別する。
【００２０】
画素配列規則推定部２１は、画素配列規則仮定部２１２、相関特徴量算出部２１３-1〜２１３-n、画素配列規則仮定検証部２１４を備えている。
【００２１】
画素配列規則仮定部２１２は、予め想定した画素配列規則毎に画素配列規則に対する相関特徴量を算出するため、画素配列規則に応じた仮定に基づく相関パターン情報を生成して、相関特徴量算出部２１３-1〜２１３-nへ出力する。画素配列規則仮定部２１２は、想定した１番目の画素配列規則に対応して設けられている相関特徴量算出部２１３-1に対して、１番目の画素配列規則に対応した相関パターン情報を出力する。１番目の画素配列規則に対応した相関パターン情報は、１番目の画素配列規則の撮像素子で生成されたＲＡＷ画像データが入力されたとき、相関特徴量が相関の高いことを示す情報である。例えば、画素配列規則仮定部２１２は、１番目の画素配列規則において同一種類の画素についての画素配列に関するパターン情報を相関パターン情報とする。画素配列規則仮定部２１２は、想定した２番目の画素配列規則に対応して設けられている相関特徴量算出部２１３-2に対して、２番目の画素配列規則に対応した相関パターン情報を出力する。２番目の画素配列規則に対応した相関パターン情報は、２番目の画素配列規則の撮像素子で生成されたＲＡＷ画像データが入力されたとき、相関特徴量が相関の高いことを示す情報である。例えば、画素配列規則仮定部２１２は、２番目の画素配列規則において同一種類の画素についての画素配列に関するパターン情報を相関パターン情報とする。さらに、画素配列規則仮定部２１２は、他の相関特徴量算出部２１３-3〜２１３-nに対しても同様に、想定した画素配列規則に応じた相関パターン情報を生成して出力する。
【００２２】
相関特徴量算出部２１３-1は、画素配列規則仮定部２１２から供給された相関パターン情報に基づき、入力されたＲＡＷ画像を用いて相関演算を行い、相関特徴量を算出する。相関特徴量算出部２１３-1は、算出した相関特徴量を画素配列規則仮定検証部２１４へ出力する。
【００２３】
同様に、相関特徴量算出部２１３-2〜２１３-nは、画素配列規則仮定部２１２から供給された相関パターン情報に基づき、入力されたＲＡＷ画像を用いて相関演算を行い、相関特徴量を算出する。相関特徴量算出部２１３-2〜２１３-n、算出した相関特徴量を画素配列規則仮定検証部２１４へ出力する。
【００２４】
画素配列規則仮定検証部２１４は、相関特徴量算出部２１３-1〜２１３-nから供給された相関特徴量に基づき、最も高い相関を示す相関特徴量を算出した相関特徴量算出部を判別する。さらに、画素配列規則仮定検証部２１４は、最も高い相関を示す相関特徴量を算出した相関特徴量算出部に対応する画像配列規則を、入力されたＲＡＷ画像データの生成に用いられている撮像素子の画素配列規則と推定する。画素配列規則仮定検証部２１４は、画素配列規則の推定結果を撮像素子の特性情報として処理部３０へ出力する。
【００２５】
なお、画素配列規則推定部２１では、相関係数に限らず相関度合いを示す絶対値または相対値を用いて画素配列規則の推定を行ってもよい。
【００２６】
図３は、高画質化パラメータ設定部と高画質化処理部の構成を例示している。高画質化パラメータ設定部３１は、パラメータ記憶部３１１とパラメータ選択部３１２を備えている。
【００２７】
パラメータ記憶部３１１には、予め撮像素子の種類毎に高画質化処理を行うための高画質化パラメータを記憶させておく。パラメータ選択部３１２は、特性推定部２０で生成された特性情報に対応する高画質化パラメータをパラメータ記憶部３１１から読み出して高画質化処理部３２へ出力する。
【００２８】
図３に示す高画質化処理部３２は、例えば予め学習によって生成された予測係数を用いて画像の高画質化処理を行う場合の構成を例示している。高画質化処理部３２は、注目画素設定部３２１、クラス分類部３２２、予測タップ抽出部３２３、係数記憶部３２４、予測係数取得部３２５、および予測演算部３２６を備えている。
【００２９】
注目画素設定部３２１は、予測対象とする任意の画素すなわち高画質化処理を行う画素を注目画素として順次設定する。注目画素設定部３２１は、設定した注目画素の画素位置をクラス分類部３２２へ出力する。また、注目画素設定部３２１は、入力されたＲＡＷ画像と注目画素位置を予測タップ抽出部３２３へ出力する。
【００３０】
クラス分類部３２２は、注目画素設定部３２１で設定された注目画素の画素位置と高画質化パラメータ設定部３１で設定された高画質化パラメータに応じて、後述する係数記憶部３２４において予測係数と対応付けられた何れかのクラスに注目画素を分類する。そして、クラス分類部３２２は、分類したクラスを表すクラスコードを予測係数取得部３２５へ出力する。
【００３１】
係数記憶部３２４は、学習処理によって得られた予測係数が、画素位置に応じたクラス毎に記憶されている。係数記憶部３２４は、例えば、予測係数取得部３２５から指定されたクラスコードに対応して記憶されている予測係数を読み出し、予測係数取得部３２５へ出力する。
【００３２】
予測係数取得部３２５は、クラス分類部３２２から入力されたクラスコードに対応する予測係数を係数記憶部３２４から取得して、予測演算部３２６へ出力する。
【００３３】
予測タップ抽出部３２３は、注目画素設定部３２１から入力された注目画素位置の近傍の複数の画素をＲＡＷ画像から予測タップとして抽出して、抽出した予測タップを予測演算部３２６へ出力する。また、予測タップ抽出部３２３は、高画質化パラメータに応じて予測タップの配置や数を設定してもよい。
【００３４】
予測演算部３２６は、予測タップ抽出部３２３から供給された予測タップの各画素値と予測係数取得部３２５から入力された予測係数の各係数値とを例えば線形一次結合することにより、注目画素の画素値に相当する予測値を算出する。
【００３５】
このような予測値の演算をＲＡＷ画像の全ての画素について行うことで、推定した撮像素子の特性を考慮して高画質化された画像データを生成できる。
【００３６】
また、画像の高画質化は、予測係数を用いた高画質化処理に限られない。例えば、画像処理装置１０は、高画質化パラメータに応じてフィルタ係数やフィルタタップ数を設定してフィルタ処理を行い、画像の高画質化を行うようにしてもよい。
【００３７】
［１−２．画像処理装置の動作］
図４は、第１の実施の形態の画像処理装置の動作を示すフローチャートである。ステップＳＴ１で画像処理装置１０は、撮像素子特性推定を行う。画像処理装置１０は、撮像素子特性推定を行い、撮像素子の画素配列規則を推定してステップＳＴ２に進む。
【００３８】
ステップＳＴ２で画像処理装置１０は、高画質化パラメータ設定を行う。画像処理装置１０は、推定された画素配列規則の撮像素子に対応する高画質化パラメータを設定してステップＳＴ３に進む。
【００３９】
ステップＳＴ３で画像処理装置１０は、高画質化処理を行う。画像処理装置１０は、設定されたパラメータを用いることで推定した撮像素子に応じた高画質化処理を行う。
【００４０】
図５は、画素配列規則の推定動作を例示したフローチャートである。ステップＳＴ１１で画像処理装置１０は、パターン相関量の算出を行う。画像処理装置１０は、想定した画素配列規則毎に、相関パターン情報に基づき画素配列規則において同一種類の画素についての画素配列に関する相関値を算出する。また、画像処理装置１０は、相関値の算出を画素配列規則の画素数サイズ単位で行い、算出された相関値を累積してステップＳＴ１２に進む。
【００４１】
ステップＳＴ１２で画像処理装置１０は、全サンプルの終了であるか判別する。画像処理装置１０は、設定した画像範囲についてパターン相関量の算出が終了していない場合は、画素配列規則の画素数サイズ単位で、パターン相関量の算出に用いられる画像領域を移動してステップＳＴ１１に戻る。また、画像処理装置１０は、設定した画像範囲についてパターン相関量の算出が終了した場合は、ステップＳＴ１３に進む。
【００４２】
ステップＳＴ１３で画像処理装置１０は、相関特徴量を算出する。画像処理装置１０は、想定した画素配列規則毎に、画素配列規則において算出されている同一種類の画素についての画素配列に関する相関値から相関特徴量を算出してステップＳＴ１４に進む。
【００４３】
ステップＳＴ１４で、画素配列規則の検証を行う。画像処理装置１０は、想定した画素配列規則毎に算出されている相関特徴量に基づき、最も相関が高い画素配列規則を判別して、判別した画素配列規則を、画像の生成に用いた撮像素子の画素配列規則と推定する。
【００４４】
次に、画素配列規則の推定について具体例を示す。図６は、ＲＡＷ画像データの生成において用いられる撮像素子の画素配列を例示している。図６の（Ａ）はベイヤ配列、図６の（Ｂ）はクリアビットＣＭＯＳセンサ（商標）の画素配列、図６の（Ｃ）はＲＧＢの三原色に白成分画素を加えたＲＧＢＷ方式の画素配列である。また、図６の（Ｄ）はハイダイナミックレンジの画像データの生成に用いられるいわゆるＨＤＲ方式の画素配列である。なお、図６において「Ｒ」は赤成分画素、「Ｇ」は緑成分画素、「Ｂ」は青成分画素、「Ｗ」は「白成分画素」、「ＬＧ」は電荷蓄積時間の長い緑成分画素であることを示している。また、撮像素子の画素配列は図６の画素配列に限られない。
【００４５】
画素配列規則仮定部２１２は、撮像素子の画素配列が図６に示すように規則性を有しているとして、画素配列規則毎に画素配列規則に対する相関特徴量を算出するための相関パターン情報を生成する。例えば、図６の（Ａ）に示すベイヤ配列である場合、以下に示す３つの仮定が成立する。したがって、画素配列規則仮定部２１２は、３つの仮定毎に相関値を算出するためのパターン情報を相関パターン情報として生成する。
【００４６】
仮定１・・・４×４画素のブロック内において、斜め方向に隣接する緑成分画素の空間相関が高い。
【００４７】
仮定２・・・４×４画素のブロック内において、４つの赤成分画素の空間相関が高い。
【００４８】
仮定３・・・４×４画素のブロック内において、４つの青成分画素の空間相関が高い。
【００４９】
画素配列規則仮定部２１２は、他の画素配列規則についても同様に、画素配列の規則性について成立する仮定毎に相関値を算出するためのパターン情報を生成して相関パターン情報とする。
【００５０】
相関特徴量算出部２１３-1〜２１３-nは、画素配列規則仮定部２１２から供給された相関パターン情報に基づき相関演算を行う。相関演算では、例えば式（１）または式（２）に基づき相関値ｒを算出する。式（１）および（２）において、「sample」は、相関演算に用いる画素の組の数を示している。また、「ｘ」「ｙ」は、仮定に応じた画素位置の画素値である。
【００５１】
【数１】
2013239904.tif 000003
【００５２】
ここで、図７に示すように画素配列がベイヤ配列である場合、上述の仮定１に基づき緑成分画素についての画素の組（ｘ，ｙ）を、例えば（Ｐ1，Ｐ6）（Ｐ3，Ｐ8）（Ｐ9，Ｐ14）（Ｐ11，Ｐ16）の４つとして、式（１）または式（２）の演算を行う。また、パターン情報に基づき上述の仮定２に基づき赤成分画素についての画素の組（ｘ，ｙ）を、例えば（Ｐ5，Ｐ7）（Ｐ5，Ｐ13）（Ｐ7，Ｐ15）（Ｐ13，Ｐ15）の４つとして、式（１）または式（２）の演算を行う。さらに、上述の仮定３に基づき青成分画素についての画素の組（ｘ，ｙ）を、例えば（Ｐ2，Ｐ4）（Ｐ2，Ｐ10）（Ｐ4，Ｐ12）（Ｐ10，Ｐ12）の４つとして、式（１）または式（２）の演算を行う。画素配列規則仮定部２１２は、このような画素の組（ｘ，ｙ）を示すパターン情報を、相関パターン情報として相関特徴量算出部へ出力する。相関特徴量算出部は、相関パターン情報に基づき、画素配列規則において同一種類の画素についての画素配列に関する相関値を算出する。さらに、相関特徴量算出部は、算出した相関値から相関特徴量を算出する。相関特徴量算出部は、例えば算出した相関値を加算して相関特徴量とする。また、相関特徴量算出部は、相関値を加算する際に色成分等に応じて重み付けを行ってもよい。このようにして算出された相関特徴量は、画像の生成に用いた撮像素子の画素配列がベイヤ配列である場合に相関が高いことを示す値となり、ベイヤ配列と異なる場合に相関が低いことを示す値となる。
【００５３】
したがって、想定した画素配列規則毎に算出した相関特徴量から、画像の生成に用いた撮像素子の画素配列を推定できるようになる。また、撮像素子の画素配列規則の推定結果を利用して、画素配列規則に応じた高画質化処理を行うことができるようになる。
【００５４】
以上のように、第１の実施の形態において、特性推定部２０は、撮像素子から得られている画像情報であるＲＡＷ画像データに基づき撮像素子の特性の推定や、ＲＡＷ画像データに含まれている特性情報の取得を行う。また、高画質化処理部３２は、推定結果や特性情報に対応する高画質化パラメータを用いて、ＲＡＷ画像の高画質化処理を行う。したがって、画像処理装置１０は、種々の撮像素子で生成されたＲＡＷ画像に対して、撮像素子の特性に応じた最適な画像処理、例えば高画質化処理を行うことができる。また、撮像素子の種類毎に画像処理装置を開発する必要がないので、開発期間の短縮や開発コストを低減できる。
【００５５】
また、画素配列規則推定部２１は、外部から供給されたパラメータ等に応じて相関パラメータ情報の生成を行うようにして、推定可能な画素配列規則を増やせるようにしてもよい。さらに、画像処理装置１０は、ソフトウェアのアップデート等により、画素配列規則推定部２１で推定可能な画素配列規則を更新できるようにしてもよい。このような構成とすることで、画像処理装置の汎用性を高めることが可能となる。
【００５６】
＜２．第２の実施の形態＞
ところで、第１の実施の形態では、画素配列規則を推定する場合について説明した。しかし、推定した画素配列規則において、何れの画素がどのような色等の画素であるかを推定すれば、画素配列規則のみを推定して高画質化処理を行う場合に比べて、さらに撮像素子の特性に応じた高画質化処理を行うことが可能となる。
【００５７】
そこで、第２の実施の形態では、画素配列規則の推定と、推定された画像配列規則において、何れの画素がどのような色等の画素であるかの推定を行う場合について説明する。  さらに、第２の実施の形態では、画素配列規則の推定を第１の実施の形態に比べて精度よく行うことができる構成および動作について説明する。
【００５８】
［２−１．画像処理装置の構成］
第２の実施の形態における画像処理装置は、図１に示す第１の実施の形態の画像処理装置と同様に、特性推定部２０と高画質化パラメータ設定部３１および高画質化処理部３２を備えている。
【００５９】
特性推定部２０は、撮像素子から得られている画像情報であるＲＡＷ画像データに基づいて撮像素子の特性を推定する。特性推定部２０は、推定結果を処理部３０へ出力する。
【００６０】
処理部３０の高画質化パラメータ設定部３１では、撮像素子の種類毎に、高画質化処理を行うための高画質化パラメータが予め記憶されている。高画質化パラメータ設定部３１は、特性推定部２０における推定結果に基づき、推定された撮像素子に対応する高画質化パラメータを選択して高画質化処理部３２へ出力する。
【００６１】
高画質化処理部３２は、高画質化パラメータ設定部３１から供給された高画質化パラメータを用いて、撮像素子から供給されたＲＡＷ画像の高画質化処理を行う。
【００６２】
図８は、第２の実施の形態の特性推定部の構成を示している。特性推定部２０は、ＲＡＷ画像データの生成に用いた撮像素子の画素配列規則を推定する画素配列規則推定部２１と、何れの画素がどのような色等の画素であるかを推定する画素関係性推定部２２を備えている。
【００６３】
画素配列規則推定部２１は、平坦領域検出部２１１、画素配列規則仮定部２１２、相関特徴量算出部２１３-1〜２１３-n、画素配列規則仮定検証部２１４を備えている。
【００６４】
平坦領域検出部２１１は、ＲＡＷ画像における画像平坦領域を検出する。撮像素子において、同一種類の画素は画像平坦領域において画素値の相関が高くなり、同一種類の画素が空間的にどのように分布しているかを把握しやすい。したがって、平坦領域検出部２１１は、ＲＡＷ画像における画像平坦領域を検出して、検出結果を相関特徴量算出部２１３-1〜２１３-nへ出力する。
【００６５】
画素配列規則仮定部２１２は、予め想定した画素配列規則毎に相関特徴量を算出するため、上述のように、画素配列規則に応じた相関パターン情報を生成して、相関特徴量算出部２１３-1〜２１３-nへ出力する。画素配列規則仮定部２１２は、想定した１番目の画素配列規則に対応して設けられている相関特徴量算出部２１３-1に対して、１番目の画素配列規則に対応した相関パターン情報を出力する。１番目の画素配列規則に対応した相関パターン情報は、１番目の画素配列規則の撮像素子で生成されたＲＡＷ画像データが入力されたとき、相関特徴量が相関の高いことを示す情報である。例えば、画素配列規則仮定部２１２は、１番目の画素配列規則において同一種類の画素についての画素配列に関するパターン情報を相関パターン情報とする。画素配列規則仮定部２１２は、他の相関特徴量算出部２１３-2〜２１３-nに対しても同様に、想定した画素配列規則に応じた相関パターン情報を生成して出力する。
【００６６】
相関特徴量算出部２１３-1は、画素配列規則仮定部２１２から供給された相関パターン情報に基づき、入力されたＲＡＷ画像における平坦領域検出部２１１で検出された画像平坦領域の画像を用いて相関演算を行い、相関特徴量を算出する。相関特徴量算出部２１３-1は、算出した相関特徴量を画素配列規則仮定検証部２１４へ出力する。
【００６７】
同様に、相関特徴量算出部２１３-2〜２１３-nは、画素配列規則仮定部２１２から供給された相関パターン情報に基づき、入力されたＲＡＷ画像における平坦領域検出部２１１で検出された画像平坦領域の画像を用いて相関演算を行い、相関特徴量を算出する。相関特徴量算出部２１３-2〜２１３-nは、算出した相関特徴量を画素配列規則仮定検証部２１４へ出力する。
【００６８】
画素配列規則仮定検証部２１４は、相関特徴量算出部２１３-1〜２１３-nから供給された相関特徴量に基づき、最も高い相関を示す相関特徴量を算出した相関特徴量算出部を判別する。さらに、画素配列規則仮定検証部２１４は、最も高い相関を示す相関特徴量を算出した相関特徴量算出部に対応する画像配列規則を、入力されたＲＡＷ画像データの生成に用いられている撮像素子の画素配列規則と推定する。画素配列規則仮定検証部２１４は、画素配列規則の推定結果を画素関係性推定部２２へ出力する。
【００６９】
画素関係性推定部２２は、画素配列規則推定部２１で推定された画素配列規則において、何れの画素がどのような色等の画素であるか画素間の関係性を推定する。画素関係性推定部２２は、画素関係性の推定結果と画素配列規則推定部２１で推定された画素配列規則を、入力されたＲＡＷ画像データの生成に用いられている撮像素子の特性情報として処理部３０へ出力する。
【００７０】
処理部３０の高画質化パラメータ設定部３１は、上述の図３に示すように、パラメータ記憶部３１１とパラメータ選択部３１２を備えている。
【００７１】
パラメータ記憶部３１１には、予め撮像素子の種類毎に高画質化処理を行うための高画質化パラメータを記憶させておく。パラメータ選択部３１２は、特性推定部２０で生成された特性情報に対応する高画質化パラメータをパラメータ記憶部３１１から読み出して高画質化処理部３２へ出力する。例えば、パラメータ選択部３１２は、特性推定部２０で推定された画素配列規則と画素関係性に応じた高画質化パラメータをパラメータ記憶部３１１から読み出して高画質化処理部３２へ出力する。高画質化処理部３２は、図３を用いて説明したように、高画質化パラメータ設定部３１で設定された高画質化パラメータに応じて第１の実施の形態と同様にクラス分類や予測値の算出を行い、高画質化された画像データを生成する。
【００７２】
［２−２．画像処理装置の動作］
第２の実施の形態の画像処理装置は、図４に示すように、撮像素子特性推定、高画質化パラメータ設定、および高画質化処理を行う。
【００７３】
撮像素子特性推定では、図９に示す画素配列規則の推定動作と図１０に示す画素関係性の推定動作を行う。
【００７４】
図９において、ステップＳＴ２１で画像処理装置１０は、画像平坦領域の検出を行う。画像処理装置１０は、入力されたＲＡＷ画像における画像平坦領域を検出してステップＳＴ２２に進む。
【００７５】
ステップＳＴ２２で画像処理装置１０は、パターン相関量の算出を行う。画像処理装置１０は、想定した画素配列規則毎に、画像平坦領域の画像を用いて、相関パターン情報に基づき画素配列規則において同一種類の画素についての画素配列に関する相関値を算出する。また、画像処理装置１０は、相関値の算出を画素配列規則の画素数サイズ単位で行い、算出された相関値を累積してステップＳＴ２３に進む。
【００７６】
ステップＳＴ２３で画像処理装置１０は、全サンプルの終了であるか判別する。画像処理装置１０は、画像平坦領域についてパターン相関量の算出が終了していない場合は、画素配列規則の画素数サイズ単位で、パターン相関量の算出に用いられる画像領域を画像平坦領域内で移動してステップＳＴ２２に戻る。また、画像処理装置１０は、画像平坦領域についてパターン相関量の算出が終了した場合は、ステップＳＴ２４に進む。
【００７７】
ステップＳＴ２４で画像処理装置１０は、相関特徴量を算出する。画像処理装置１０は、想定した画素配列規則毎に、画素配列規則において算出されている同一種類の画素についての画素配列に関する相関値から相関特徴量を算出してステップＳＴ２５に進む。
【００７８】
ステップＳＴ２５で、画素配列規則の検証を行う。画像処理装置１０は、想定した画素配列規則毎に算出されている相関特徴量に基づき、最も相関が高い画素配列規則を判別して、判別した画素配列規則を、画像の生成に用いた撮像素子の画素配列規則と推定する。
【００７９】
図１０は、画素関係性の推定動作を示すフローチャートを例示している。ステップＳＴ３１で画像処理装置１０は、白成分画素または長蓄（短畜）画素を含む画素配列規則であるか判別する。なお、長畜画素とは他の画素よりも電荷蓄積時間の長い画素、短畜画素とは他の画素よりも電荷蓄積時間の短い画素である。画像処理装置１０は、画素配列規則の推定によって、撮像素子の画素配列規則が白成分画素または長蓄（短畜）画素を含む画素配列規則と推定された場合にステップＳＴ３２に進み、他の画素配列規則と推定された場合にステップＳＴ３３に進む。
【００８０】
ステップＳＴ３２で画像処理装置１０は、白成分画素および長蓄（短畜）画素の判定を行う。画像処理装置１０は、白成分画素の画素値は、その他の色成分画素の画素値よりも画素値平均が高くなると考えられる。また、長畜画素の画素値は、その他の画素の画素値よりも画素値平均が高くなると考えられる。さらに、短畜画素の画素値は、その他の画素の画素値よりも画素値平均が低くなると考えられる。したがって、画素種類毎の画素値平均に基づき、白成分画素および長蓄（短畜）画素を判定できる。画像処理装置１０は、白成分画素および長蓄（短畜）画素の判定を行ってステップＳＴ３３に進む。
【００８１】
ステップＳＴ３３で画像処理装置１０は、緑成分画素の判定を行う。例えば、自然画であれば赤成分画素や青成分画素に比べて緑成分画素が広い範囲の画素値に分布する傾向があると考えられる。このため、画像処理装置１０は、推定した画像配列規則において、同一種類の画素の画素値に基づき、画素値のヒストグラム、すなわち画素値をデータ区間で画素数を頻度としたヒストグラムを生成する。画像処理装置１０は生成したヒストグラムの分布から緑成分画素を判定する。
【００８２】
画像処理装置１０は、このような処理を行うことで、推定した画像配列規則における緑成分画素や白成分画素、長畜（短畜）画素を判別できるようになる。
【００８３】
次に、画素配列規則の推定で行われる画像平坦領域の検出動作について説明する。画像平坦領域の検出では、例えば注目画素を中心とする特定範囲の画素値平均を求め、その空間的な変動量が小さい領域を画像平坦領域とする。具体的には、注目画素ｉを基準として周辺のＭ個の画素の画素値ｖｊ（ｊ＝１〜Ｍ）から式（３）に基づき平均値ＡＶＥｉを算出する。
【００８４】
また、注目画素ｉを基準とした周辺のＮ個の画素のそれぞれについて算出した平均値ＡＶＥｊ（ｊ＝１〜Ｎ）を用いて、式（４）に基づき、注目画素ｉについて算出した平均値ＡＶＥｉの分散ＶＡＲｉを算出する。この算出した分散ＶＡＲｉが所定値よりも小さくなる領域を画像平坦領域と判別する。
【００８５】
【数２】
2013239904.tif 000004
【００８６】
また、画像平坦領域の検出は、領域内の画素値のヒストグラムを利用しても検出できる。例えば、画像が平坦である場合、各色の画素の画素値はほぼ等しくなることから、画素の種類に応じてヒストグラムのピークが生じる。したがって、ピークの数やピークレベル等に基づき、画像平坦領域を検出することができる。さらに、画像平坦領域の検出では、領域を検出するだけでなく、平坦度に応じて検出結果の信頼度を設定してもよい。平坦度は、例えば分散ＶＡＲｉを用いる。また、ヒストグラムを利用して画像平坦領域を検出する場合には、ピークレベル等を用いるようにしてもよい。
【００８７】
画素配列規則の推定では、検出された画像平坦領域の画像を用いて、上述のパターン相関量の算出、相関特徴量の算出および画素配列規則の検証を行う。このように、同一種類の画素について画素値の相関が高くなる画像平坦領域の画像を用いることで、画素配列規則の推定を精度よく行うことができるようになる。
【００８８】
このように、画素配列推定および画素関係性推定を行えば、ＲＡＷ画像がどのような画素配列の撮像素子を用いて生成されており、ＲＡＷ画像の各画素が、推定された画素配列における何れの成分画素に対応するか判別できるようになる。
【００８９】
以上のように、第２の実施の形態の特性推定部２０は、第１の実施の形態と同様に、撮像素子から得られている画像情報であるＲＡＷ画像データに基づき撮像素子の特性の推定や、ＲＡＷ画像データに含まれている特性情報の取得を行う。また、特性推定部２０は、何れの画素がどのような色等の画素であるか画素間の関係性を推定する。さらに、高画質化処理部３２は、推定結果や特性情報に対応する高画質化パラメータを用いて、ＲＡＷ画像の高画質化処理を行う。したがって、画像処理装置１０は、第１の実施の形態と同様に、種々の撮像素子で生成されたＲＡＷ画像に対して、撮像素子の特性に応じた最適な画像処理、例えば高画質化処理を行うことができる。また、撮像素子の種類毎に画像処理装置を開発する必要がないので、開発期間の短縮や開発コストを低減できる。さらに、第２の実施の形態では、画素配列規則の推定結果だけでなく画素関係性の推定結果に基づいて高画質化処理を行うことから、第１の実施の形態よりもさらに撮像素子の特性に応じた最適な画像処理を行うことができる。
【００９０】
また、第２の実施の形態において、特性推定部２０は、画像平坦領域の画像に基づいて画素配列規則の推定を行うことから、精度よく画素配列規則を推定できる。
【００９１】
さらに、画素配列規則推定部２１は、外部から供給されたパラメータ等に応じて、より多くの画素関係性を推定できるようにしてもよい。さらに、画像処理装置１０は、ソフトウェアのアップデート等により、特性推定部２０で推定可能な画素配列規則や画素関係性を更新できるようにしてもよい。このような構成とすることで、画像処理装置の汎用性を高めることが可能となる。
【００９２】
＜３．第３の実施の形態＞
第１および第２の実施の形態では、撮像素子の特性推定結果に基づき高画質化処理を行う場合について説明したが、特性推定結果を用いて行う処理は、高画質化処理に限られない。第３の実施の形態では、特性推定結果を用いて種々の処理を行う画像処理装置について説明する。
【００９３】
［３−１．第３の実施の形態の構成および動作］
図１１は、第３の実施の形態における画像処理装置の構成を例示している。第３の実施の形態の画像処理装置１０は、特性推定部２０と処理部３０を備えている。
【００９４】
特性推定部２０は、上述のようにして、ＲＡＷ画像データの生成に用いた撮像素子の画素配列規則を推定する。例えば特性推定部２０は、空間的に近い同一の特性を持つ画素の配列が、予め想定した画素配列規則の何れに最も類似しているか判断することで、画素配列規則の推定を行う。また、特性推定部２０は、画素配列規則の推定と、推定した画素配列規則において何れの画素がどのような色等の画素であるか画素間の関係性の推定を行う。
【００９５】
処理部３０は、高画質化処理を行うための高画質化パラメータ設定部３１と高画質化処理部３２だけでなく、画像分類処理部３３、画像加工処理部３４、情報関連付け処理部３５等を備えている。
【００９６】
高画質化パラメータ設定部３１は、特性推定部２０で推定された撮像素子に対応する高画質化パラメータを選択する。高画質化処理部３２は、選択された高画質化パラメータを用いて、撮像素子から供給されたＲＡＷ画像の高画質化処理を行う。
【００９７】
画像分類処理部３３は、ＲＡＷ画像に対して例えばシーン検出や顔認識等を行い、検出結果や認識結果に基づき画像の分類を行う。また、画像分類処理部３３は、シーン検出や顔認識を行う際に、特性推定部２０からの推定結果を利用する。
【００９８】
画像加工処理部３４は、ＲＡＷ画像に対して種々の加工処理を行う。また、画像加工処理部３４は、加工処理を行う際に、特性推定部２０からの推定結果を利用する。
【００９９】
情報関連付け処理部３５は、ＲＡＷ画像に対して撮像素子の特性情報が関連付けられていない場合、特性推定部２０からの推定結果を、ＲＡＷ画像の生成に用いた撮像素子の特性情報として関連付けを行う。このように、情報関連付け処理部３５は、ＲＡＷ画像に対して推定結果を関連付けることで、他の機器でＲＡＷ画像に対する種々の処理を行う際に、推定結果を利用できるようにする。
【０１００】
図１２は、画像処理装置を用いたシステムの構成を例示している。システム６０は、例えばネットワーク６１を介して撮像装置６２とサーバ６３や電子機器６４等が接続されている。撮像装置６２は、撮像動作を行って生成したＲＡＷ画像データを、無線または有線のネットワーク６１を介してサーバ６３や電子機器６４へ出力する。
【０１０１】
サーバ６３は、撮像装置６２から供給されたＲＡＷ画像データを記憶する。また、サーバ６３は、電子機器６４等からの要求に応じて、要求されたＲＡＷ画像データを要求元へ出力する。
【０１０２】
電子機器６４は、撮像装置６２から供給されたＲＡＷ画像データやサーバ６３から読み出したＲＡＷ画像データに基づき撮像画像の表示等の出力処理を行う。
【０１０３】
さらに、サーバ６３または電子機器６４には、上述の画像処理装置１０の構成が含まれており、撮像装置６２においてＲＡＷ画像の生成に用いた撮像素子の特性の推定を行う。また、サーバ６３や電子機器６４は、撮像素子の特性の推定結果を用いて画像処理等を行う。
【０１０４】
このように、第３の実施の形態によれば、撮像装置６２から供給されたＲＡＷ画像に対して、撮像装置６２で用いられている撮像素子の特性に応じた高画質化処理等の種々の処理を、サーバや電子機器等で行うことができるようになる。また、撮像素子の種類毎に画像処理装置を開発する必要がなく、パラメータの設定やソフトウェアのアップデート等により、新たな特性の撮像素子に対応することが可能となるので、サーバや電子機器等に容易に適用できる。
【０１０５】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１０６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１０７】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０８】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１０９】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  撮像素子から得られている画像情報または該画像情報に付随する情報から、前記画像情報の生成に用いた撮像素子の特性を推定する特性推定部と、
前記特性推定部で推定された前記撮像素子の特性に応じて、前記画像情報の処理を行う処理部と
を備える画像処理装置。
（２）  前記特性推定部は、前記撮像素子の画素配列規則を推定する画素配列規則推定部を備える（１）に記載の画像処理装置。
（３）  前記画素配列規則推定部は、空間的に近い同一の特性を持つ画素の配列が、予め想定した画素配列規則の何れに最も類似しているか判別して、前記画像情報を生成した撮像素子の画素配列規則を推定する（２）に記載の画像処理装置。
（４）  前記画素配列規則推定部は、予め想定した画素配列規則毎に画素配列規則に対する相関特徴量を算出して、算出した相関特徴量に基づき最も類似している画素配列規則を判別する（３）に記載の画像処理装置。
（５）  前記画像情報における画像平坦領域を検出する平坦領域検出部をさらに備え、
前記画素配列規則推定部は、前記平坦領域検出部で検出された画像平坦領域の画像情報を用いて、前記相関特徴量の算出を行う（２）乃至（４）の何れかに記載の画像処理装置。
（６）  前記特性推定部は、前記推定された画素配列規則における画素間の関係性を推定する画素関係性推定部を備える（２）乃至（５）の何れかに記載の画像処理装置。
（７）  前記画素関係性推定部は、画素値平均に基づいて、前記推定された画素配列規則における白成分画素および電荷蓄積時間の異なる画素を判定する（６）に記載の画像処理装置。
（８）  前記画素関係性推定部は、画素値のヒストグラムに基づいて、前記推定された画素配列規則における緑成分画素を判定する（６）または（７）に記載の画像処理装置。
（９）  前記処理部は、高画質化処理と画像分類処理と画像加工処理の少なくとも何れかの処理を行う（１）乃至（８）の何れかに記載の画像処理装置。
（１０）  前記画像情報はＲＡＷ画像データである（１）乃至（９）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１１０】
この技術の画像処理装置と画像処理方法およびプログラムでは、撮像素子から得られている画像情報または該画像情報に付随する情報から、撮像素子の特性が推定されて、この推定された撮像素子の特性に応じて、画像情報の処理が行われる。このため、撮像素子から得られている画像情報の処理を、画像情報の生成に用いられている撮像素子の特性に応じて行うことができる。また、撮像素子の種類毎に画像処理装置を開発する必要がないので、開発期間の短縮や開発コストを低減できる。したがって、ＲＡＷ画像データを記憶するサーバや、ＲＡＷ画像データを用いて種々の処理を行う電子機器等に適している。
【符号の説明】
【０１１１】
１０・・・画像処理装置、２０・・・特性推定部、２１・・・画素配列規則推定部、２２・・・画素関係性推定部、３０・・・処理部、３１・・・高画質化パラメータ設定部、３２・・・高画質化処理部、３３・・・画像分類処理部、３４・・・画像加工処理部、３５・・・情報関連付け処理部、６０・・・システム、６１・・・ネットワーク、６２・・・撮像装置、６３・・・サーバ、６４・・・電子機器、２１１・・・平坦領域検出部、
２１２・・・画素配列規則仮定部、２１３-1〜２１３-n・・・相関特徴量算出部、２１４・・・画素配列規則仮定検証部、３１１・・・パラメータ記憶部、３１２・・・パラメータ選択部、３２１・・・注目画素設定部、３２２・・・クラス分類部、３２３・・・予測タップ抽出部、３２４・・・係数記憶部、３２５・・・予測係数取得部、３２６・・・予測演算部
【図１】
2013239904.tif 000005
【図２】
2013239904.tif 000006
【図３】
2013239904.tif 000007
【図４】
2013239904.tif 000008
【図５】
2013239904.tif 000009
【図６】
2013239904.tif 000010
【図７】
2013239904.tif 000011
【図８】
2013239904.tif 000012
【図９】
2013239904.tif 000013
【図１０】
2013239904.tif 000014
【図１１】
2013239904.tif 000015
【図１２】
2013239904.tif 000016