(57)【要約】【課題】正確なシーン判別を実行してシーンに対応した色補正などの処理を実行可能とする。【解決手段】ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成し、ヒストグラムとシーン判別用辞書との比較処理により、撮影シーン判別処理を実行して判別結果に応じた画像処理を行う。ヒストグラムと様々なシーン対応の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）パラメータとを比較してシーン判別を行う。本構成により、様々なシーン（屋外、夕景、夜景、室内、水中など）を正確に判定可能となり、シーンに特化した最適な色補正などの処理が可能となる。【選択図】図１
2009239772.tif 000002
【特許請求の範囲】
【請求項１】
撮像処理を実行してＲＡＷ画像を出力する撮像素子と、
前記撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成する特徴量計算部と、
前記特徴量計算部の算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行する画像判別部と、
前記画像判別部のシーン判別結果に応じた画像処理を実行する画像処理部と、
を有する撮像装置。
【請求項２】
前記特徴量計算部は、
前記入力ＲＡＷ画像を構成するブロック単位でＲＧＢ各画素値の比率Ｒ／Ｇ，Ｂ／Ｇを算出し、前記入力ＲＡＷ画像の構成ブロック全てに対応する複数のＲ／ＧとＢ／Ｇの値の出現頻度を度数分布としたヒストグラムを生成する構成である請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、
前記撮像素子の出力するＲＡＷ画像の縮小処理を実行して縮小ＲＡＷ画像を生成する画像縮小部を有し、
前記特徴量計算部は、前記画像縮小部の生成した縮小ＲＡＷ画像を入力して前記ヒストグラムを生成する構成である請求項１に記載の撮像装置。
【請求項４】
前記記憶部は、前記ヒストグラムの度数分布傾向を判別する矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を規定するパラメータを、複数の異なるシーンに対応するシーン判別用辞書として格納し、
前記画像判別部は、
前記特徴量計算部の算出したヒストグラムと、前記記憶部に格納された前記パラメータとの比較処理を実行し、前記ヒストグラムと規定類似度以上の類似度を持つパラメータ対応のシーンを前記ＲＡＷ画像のシーンであると判断する構成である請求項１に記載の撮像装置。
【請求項５】
前記記憶部は、
特定シーン対応の画像による学習データを用いて、前記矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を規定するパラメータを算出した結果を格納した構成である請求項４に記載の撮像装置。
【請求項６】
前記画像処理部は、
前記画像判別部のシーン判別結果に特化した色補正処理を実行する構成である請求項１に記載の撮像装置。
【請求項７】
撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成する特徴量計算部と、
前記特徴量計算部の算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行する画像判別部と、
前記画像判別部のシーン判別結果に応じた画像処理を実行する画像処理部と、
を有する画像処理装置。
【請求項８】
特徴量計算部が、撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成する特徴量計算ステップと、
画像判別部が、前記特徴量計算ステップにおいて算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行する画像判別ステップと、
画像処理部が、前記画像判別ステップにおけるシーン判別結果に応じた画像処理を実行する画像処理ステップと、
を有する画像処理方法。
【請求項９】
画像処理装置に画像処理を実行させるプログラムであり、
特徴量計算部に、撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成させる特徴量計算ステップと、
画像判別部に、前記特徴量計算ステップにおいて算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行させる画像判別ステップと、
画像処理部に、前記画像判別ステップにおけるシーン判別結果に応じた画像処理を実行させる画像処理ステップと、
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像の特徴に基づくシーン判別を行い、判別結果に応じて補正処理を行うことを可能とした撮像装置、画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラによって画像を撮影する場合、屋外、夕景、夜景、室内、あるいは水中など様々な撮影状況、すなわち撮影シーンがあり、これらの撮影画像は、それぞれの撮影シーンに応じた補正を行うことで高品質な画像を出力することが可能となる。例えばホワイトバランス調整処理や、彩度、色相の調整を行う色再現処理などにおいて、撮影シーンに応じた異なるパラメータを適用した補正を行うことで出力画像の品質を高めることが可能となる。具体的には例えば水中写真では全体に青みがかった画像となり、青みを削減するといった画像補正を行うことで、品質の高い画像を出力できる。このように撮影シーンに応じた色補正などの画像処理を行うことが求められる場合がある。
【０００３】
撮影シーンに応じた画像処理を開示した従来技術として、例えば以下の手法がある。
（１）撮影時の外光からの検波データを解析し、この解析結果をシーン判別に利用してストロボ発光、非発行時の最適なホワイトバランスを決定して、色補正を行う手法がある。このような手法については、例えば特許文献１（特開２００１−３５８９８６号公報）に記載がある。
また、
（２）撮影画像の色を用いてシーン判別する手法としては、画像から色特徴量を計算して全画素の色の平均値を算出し、この計算結果と、あらかじめ設定した閾値を用いて、どのようなシーンが撮影されたかを判別する手法がある。
【０００４】
しかし、上記（１）の手法は、撮影時の明るさに基づいてシーン判別を行う構成であり、色に関しての判断は行っておらず、色の補正態様を変更するといった処理には適用できない。
また、上記（２）の手法は、画像全体での色特徴量の平均値を算出し、画像全体の平均的な特徴に基づいて補正態様を決定する構成である。このような手法では、画像内に存在する様々なオブジェクトの色が画像全体の色特徴量の平均値に影響を与える。従って、例えば異なるシーンでも映像内の色の組み合わせ次第では、類似した特徴量を出力することがあり、誤ったシーン判別をしてしまう可能性が大きくなるという問題がある。
【特許文献１】特開２００１−３５８９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、例えば、上記問題点に鑑みてなされたものであり、画像の持つ色の平均値を利用するのではなく、画像に含まれる色の分布状況を解析することで、より正確なシーン判別を可能として、判別シーンに応じた適切な補正を実現する撮像装置、画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の側面は、
撮像処理を実行してＲＡＷ画像を出力する撮像素子と、
前記撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成する特徴量計算部と、
前記特徴量計算部の算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行する画像判別部と、
前記画像判別部のシーン判別結果に応じた画像処理を実行する画像処理部と、
を有する撮像装置にある。
【０００７】
さらに、本発明の撮像装置の一実施態様において、前記特徴量計算部は、前記入力ＲＡＷ画像を構成するブロック単位でＲＧＢ各画素値の比率Ｒ／Ｇ，Ｂ／Ｇを算出し、前記入力ＲＡＷ画像の構成ブロック全てに対応する複数のＲ／ＧとＢ／Ｇの値の出現頻度を度数分布としたヒストグラムを生成する構成である。
【０００８】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記撮像素子の出力するＲＡＷ画像の縮小処理を実行して縮小ＲＡＷ画像を生成する画像縮小部を有し、前記特徴量計算部は、前記画像縮小部の生成した縮小ＲＡＷ画像を入力して前記ヒストグラムを生成する構成である。
【０００９】
さらに、本発明の撮像装置の一実施態様において、前記記憶部は、前記ヒストグラムの度数分布傾向を判別する矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を規定するパラメータを、複数の異なるシーンに対応するシーン判別用辞書として格納し、前記画像判別部は、前記特徴量計算部の算出したヒストグラムと、前記記憶部に格納された前記パラメータとの比較処理を実行し、前記ヒストグラムと規定類似度以上の類似度を持つパラメータ対応のシーンを前記ＲＡＷ画像のシーンであると判断する構成である。
【００１０】
さらに、本発明の撮像装置の一実施態様において、前記記憶部は、特定シーン対応の画像による学習データを用いて、前記矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を規定するパラメータを算出した結果を格納した構成である。
【００１１】
さらに、本発明の撮像装置の一実施態様において、前記画像処理部は、前記画像判別部のシーン判別結果に特化した色補正処理を実行する構成である。
【００１２】
さらに、本発明の第２の側面は、
撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成する特徴量計算部と、
前記特徴量計算部の算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行する画像判別部と、
前記画像判別部のシーン判別結果に応じた画像処理を実行する画像処理部と、
を有する画像処理装置にある。
【００１３】
さらに、本発明の第３の側面は、
特徴量計算部が、撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成する特徴量計算ステップと、
画像判別部が、前記特徴量計算ステップにおいて算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行する画像判別ステップと、
画像処理部が、前記画像判別ステップにおけるシーン判別結果に応じた画像処理を実行する画像処理ステップと、
を有する画像処理方法にある。
【００１４】
さらに、本発明の第４の側面は、
画像処理装置に画像処理を実行させるプログラムであり、
特徴量計算部に、撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像を入力し、入力ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成させる特徴量計算ステップと、
画像判別部に、前記特徴量計算ステップにおいて算出したヒストグラムと、記憶部に格納されたシーン判別用辞書との比較を実行して、前記ＲＡＷ画像の撮影シーン判別処理を実行させる画像判別ステップと、
画像処理部に、前記画像判別ステップにおけるシーン判別結果に応じた画像処理を実行させる画像処理ステップと、
を有するプログラムにある。
【００１５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００１６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１７】
本発明の一実施例の構成によれば、撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成して、生成したヒストグラムと、予め記憶部に格納されたシーン判別用辞書との比較を実行して、ＲＡＷ画像の撮影シーン判別処理を実行して、判別結果に応じた画像処理を実行する。具体的には、ヒストグラムと、様々なシーンに対応して準備された矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を規定するパラメータとを比較してシーン判別を行う構成としたので、明るさや、色の平均値による解析に比較して、様々なシーン（屋外、夕景、夜景、室内、水中など）をより正確に判定することが可能となり、それぞれのシーンに特化した最適な色補正など、最適な画像補正処理を実行することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の一実施形態に係る撮像装置、画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。
【００１９】
本発明の画像処理装置や撮像装置の一実施例について、図１を参照して説明する。図１に示す構成は撮像装置１００の構成例を示している。撮像装置１００において、画像撮影を行う場合、被写体像はレンズ１０１によって取り込まれる。レンズ１０１から取り込まれた画像光は撮像素子１０２で光電変換によって電気信号（アナログ信号）に変換される。次にこの電気信号（アナログ信号）はデジタル信号化部１０３でデジタル信号に変換される。
【００２０】
デジタル信号化部１０３で生成されるデジタル信号は、撮像素子１０１の配列に従った信号であり、特定の色信号をモザイク上に配列した信号（モザイク信号）となる。具体的には、例えば図２に示すようなＲ，Ｇ、Ｂのデータ配列を持ったＲＡＷ画像となる。図２に示す例はＧ信号が２種類のＧｒ，Ｇｂからなる。これは、Ｇｒ，ＧｂがＧ＋ｒと、Ｇ＋ｂのわずかに異なる色信号を持つことを示している。ただし、この配列は撮像素子１０１の配列に応じた構成であり、単純なＲＧＢの３種類の撮像素子構成を適用した場合は、ＲＧＢの３種の色信号配列となる。
【００２１】
図２に示すＲＡＷ画像信号は一例であり、本発明で適用する色信号配列は、この配列に限らず単純なＲＧＢの３種の色信号配列など、この他の構成としてもよい。
【００２２】
図２に示すＲＡＷ画像では、各画素でそれぞれＲ信号、Ｇ（ＧｒまたはＧｂ）信号、Ｂ信号の信号値を有する。各画素の画素値は、例えば１６ｂｉｔで保持される。最終的な出力画像生成の際には、これらの個別の色信号の値に基づくデモザイク処理により各画素のＲ，Ｇ，Ｂの出力値が決定される。
【００２３】
この図２に示すようなＲＡＷ画像が、図１に示す撮像装置１００のデジタル信号化部１０３が生成し、図１に示す撮像装置１００のシーン判別部１１０に入力される。シーン判別部１１０は、このＲＡＷ画像データを入力してシーン判別を行う。シーン判別部１１０は、図１に示すように、画像縮小部１１１、特徴量計算部１１２、画像判定部１１３を有する。
【００２４】
画像縮小部１１１は、デジタル信号化部１０３の生成した画像の縮小処理を実行する。これは、後段の特徴量計算部１１２における処理負荷を軽減するための処理である。例えば、デジタル信号化部１０３の生成したサイズ２４７×１１２４画素のＲＡＷ画像を６０×８０画素に縮小する。なお、画像縮小部１１１の後段の処理部、すなわち、特徴量計算部１１２などにおいてサイズの大きな画像データの処理を可能とした構成であれば、画像縮小部１１１を省略し、デジタル信号化部１０３の生成したＲＡＷ画像をそのまま特徴量計算部１１２に入力して処理を実行する構成としてもよい。
【００２５】
画像縮小部１１１の実行する処理の具体例について、図３を参照して説明する。図３には、
（ａ）デジタル信号化部１０３から入力するＲＡＷ画像
（ｂ）画像縮小部１０４の生成する縮小画像
（ｃ）縮小画像を構成するブロックの構成
これらを示している。
【００２６】
（ａ）ＲＡＷ画像は、デジタル信号化部１０３の生成したサイズ２４７×１１２４画素のＲＡＷ画像であり、画像縮小部１０４は、このサイズ２４７×１１２４画素を、６０×８０画素の（ｂ）縮小画像に縮小する。このとき端数が出た場合は、右端、下端よりそれぞれ切り捨てることとする。（ｂ）縮小画像の１つのブロックは、（ｃ）ブロックに示すように、ＲとＢが１画素ずつ、Ｇが２画素の４画素から構成される。この４つの画素値は、ブロックとして縮小する対象となる（ａ）ＲＡＷ画像の構成画素の画素値を入力して以下に示す算出式に従って算出する。
【００２７】
具体的には、ブロック内における、Ｒ、Ｇ、Ｂの値の平均値を以下に示す式に従ってそれぞれ計算する。但し、Ｇｒ、Ｇｂに関しては、一緒に計算し、その平均をＧとする。計算された値は、小数第１位で四捨五入し、１６ｂｉｔの整数とする。すなわち、下式に従ってブロックの構成画素Ｒ，Ｇ，Ｂの画素値を算出する。２つのＧ画素の画素値は同一の値に設定される。
【００２８】
【数１】
2009239772.tif 000003
【００２９】
上記式によって算出されたＲ，Ｇ，Ｂの値をブロックの４画素の画素値に設定して、この４画素を１ブロックとした３０×４０＝１２００ブロックの画像を（ｂ）縮小画像とする。
【００３０】
特徴量計算部１０４は、画像縮小部１０３で作成した６０×８０画素の縮小ＲＡＷ画像を入力し、この縮小ＲＡＷ画像の色特徴量を計算する。特徴量計算部１０４は、６０×８０画素の縮小ＲＡＷ画像を、図２（ｃ）に示す４画素によって構成されるブロック単位の３０×４０ブロックの画像として、１ブロック内での、Ｒ、Ｂ、Ｇ（２つのＧは共通）の値から、画像特徴量として以下の２つの色比率を算出する。すなわち、
Ｒ／Ｇ、
Ｂ／Ｇ、
である。
【００３１】
Ｒ／Ｇは、１つのブロックのＲ画素値とＧ画素値の比率である。
Ｂ／Ｇは、１つのブロックのＢ画素値とＧ画素値の比率である。
なお、Ｇ画素値は１ブロックに２つ存在するが、先に説明したように、１つのブロック内の２つのＧ画素の画素値は同一の値として算出されるのでいずれの値を利用しても同じである。特徴量計算部１０４は、これらの画素値比率を、各ブロック対応の特徴量データとして算出する。
【００３２】
特徴量計算部１０４は、縮小ＲＡＷ画像を構成する３０×４０＝１２００ブロックのすべてに対して上記の色比率である画像特徴量、Ｒ／Ｇ、Ｂ／Ｇを算出する。縮小ＲＡＷ画像の１フレームから、１２００個のブロック対応の色比率としての画像特徴量［Ｒ／Ｇ］、［Ｂ／Ｇ］を算出する。
【００３３】
特徴量計算部１０４は、さらに、これらのブロック対応の１２００組のデータを用いて、図４に示すような、Ｒ／Ｇ、Ｂ／Ｇの各軸によって構成される２次元平面上でのヒストグラムを作成する。縦軸は同一の特徴量値の組（［Ｒ／Ｇ］，［Ｂ／Ｇ］）を持つブロック数に相当する。このヒストグラムは、画像の色に基づく特徴量を示す画像特徴ヒストグラムである。
【００３４】
図４に示す画像特徴ヒストグラムの生成処理の詳細について図５、図６を参照して説明する。図５には、（１）縮小ＲＡＷ画像から（２）ブロックを取得して、（２）ブロック内のＲＧＢの各画素値から色比率である画像特徴量、Ｒ／Ｇ、Ｂ／Ｇを算出し、この算出結果によって生成する（３）画像特徴ヒストグラムを示している。
【００３５】
特徴量計算部１０４は、（Ｒ／Ｇ，Ｂ／Ｇ）の値を（１）縮小ＲＡＷ画像に含まれる１２００ブロック全てにおいて算出し、１２００個の（Ｒ／Ｇ，Ｂ／Ｇ）データに基づいて、（Ｒ／Ｇ，Ｂ／Ｇ）を２次元平面とし、縦軸を出現頻度として、（ｃ）画像特徴ヒストグラムを生成する。
【００３６】
具体的なヒストグラム生成シーケンスについて、図６に示すフローチャートを参照して説明する。この処理は、図１に示す特徴量計算部１０５の処理として実行される。まず、ステップＳ１０１において、画像縮小部の生成した縮小ＲＡＷ画像を入力し、ステップＳ１０２において、入力した縮小ＲＡＷ画像を１つのブロックに４画素が含まれる１２００個のブロックに分割する。
【００３７】
ステップＳ１０１において入力する縮小ＲＡＷ画像は、例えば、図４、図５に示す１つのブロックに４画素が含まれるブロックを１２００個含むＲＡＷ画像データである。
【００３８】
次に、ステップＳ１０３において、１つのブロックデータを読み取り、ステップＳ１０４〜Ｓ１０６において、読み取ったブロックに含まれる画素の画素値Ｒ，Ｇ，Ｂの平均値を算出する。なお、本実施例では、１ブロックは図４、図５を参照して説明したように、Ｒ，Ｂが１つずつ、Ｇが同一の画素値に設定された２つの画素から構成されているので、ブロック内のＲＧＢ各画素値の取得のみで、平均値算出は省略できる。
【００３９】
１つのブロックの設定態様は様々な設定態様が可能であり、例えば１つのブロック内に異なる画素値を持つＲ画素、Ｇ画素、Ｂ画素が複数存在する場合には、ステップＳ１０４〜Ｓ１０６において平均値算出を行うことが必要となる。
【００４０】
次に、ステップＳ１０７、Ｓ１０８において、画像特徴量を示すブロック内のＲＧＢ各画素値に基づく色比率Ｒ／Ｇ，Ｂ／Ｇを算出する。次に、ステップＳ１０９において、算出した（Ｒ／Ｇ，Ｂ／Ｇ）の値の組のカウント値（出現頻度）を＋１とする。次に、ステップＳ１１０において、縮小ＲＡＷ画像に含まれる１２００ブロックの全ての処理が終了したか否かを判定し、終了していない場合は、ステップＳ１０３に戻り、未処理ブロックの読み取りを行いステップＳ１０４以下の処理を繰り返し実行する。
【００４１】
ステップＳ１１０において、縮小ＲＡＷ画像に含まれる１２００ブロックの全ての処理が終了したと判定すると、ステップＳ１１１に進み、１２００ブロック全ての（Ｒ／Ｇ，Ｂ／Ｇ）の値の組のカウント値（出現頻度）に基づいて、色比率（Ｒ／Ｇ，Ｂ／Ｇ）平面と頻度情報からなるヒストグラム、すなわち図４、図５を参照して説明した（Ｒ／Ｇ，Ｂ／Ｇ）を２次元平面として頻度を縦軸とした画像特徴（色比率）ヒストグラム（Ｒａｔｉｏ  Ｈｉｓｔｇｒａｍ）を生成する。
【００４２】
図１に示す特徴量計算部１０５は、このような処理によって画像特徴（色比率）ヒストグラム（Ｒａｔｉｏ  Ｈｉｓｔｇｒａｍ）を生成する。
【００４３】
次に、図１に示す画像判別部１０５は、特徴量計算部１０４の生成したヒストグラムを利用して、画像のシーン判別処理を行う。この画像判別部１０５は、例えば水中、空、夕景、夜景、木、雪、紅葉などの各シーンを撮影して得られたヒストグラムに基づく学習データから得られる辞書データを利用して画像シーン判別処理を行う。画像判別部１０５は記憶部に保持された様々なシーン（水中、空、夕景、夜景、木、雪、紅葉など）に対応した辞書データを利用して、シーン判別対象画像のヒストグラムがどのタイプのシーンに対応する画像であるかを判別する。
【００４４】
画像判別部１０５が記憶部に格納している辞書データは、例えば、
＊水中を撮影した画像に基づいて生成されるヒストグラムの分布の傾向を判断するための辞書データ、
＊夕景を撮影した画像に基づいて生成されるヒストグラムの分布の傾向を判断するための辞書データ、
など、水中、空、夕景、夜景、木、雪、紅葉などの各シーン対応の辞書データであり、画像判別部１０５は、特徴量計算部１０４の生成したヒストグラムと各辞書データとを比較して最も類似する辞書データを選択し、判定対象の画像のシーンとして判別する。
【００４５】
辞書データの具体例について、図７を参照して説明する。図７（ａ）は、特徴量計算部１０４の生成したヒストグラムを示し、さらに、画像判別部１０５がシーン判別において利用する辞書データである矩形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）３０１，３０２の例を示している。
【００４６】
矩形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）は、図７（ｂ）に示すように、ヒストグラムの生成される２次元平面である［Ｒ／Ｇ］軸と，［Ｂ／Ｇ］軸とに平行な線によって構成される矩形形状を有し、図７（ｂ）に示すように、Ａ，Ｂの２分割された領域からなる。領域Ａと領域Ｂの面積は等しい設定とする。
【００４７】
この矩形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の大きさ（ｈやｗによって定義される）や、設定位置（１つの頂点位置（ｘ，ｙ）によって定義される）は、水中、空、夕景、夜景、木、雪、紅葉などの各シーン対応の辞書データごとに異なっていてよい。また、利用する矩形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の個数も各シーン対応の辞書ごとに異なっていてよい。
【００４８】
特徴量計算部１０４の生成したヒストグラム上に、矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を設定してＡ，Ｂにおける頻度数総数（積分値）の差分値を算出する。矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の設定位置は、比較対象とするシーン対応の辞書に定義された位置とする。各シーン対応の辞書には、矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の設定位置や大きさ、タイプ（ＡＢの配置が並列型か縦列型か）などの情報が定義されている。
【００４９】
図８には、矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を設定してＡ，Ｂにおける頻度数総数（積分値）の差分値を算出する処理例を示している。図８（１）は、ＡＢの配置が並列型である場合であり、領域Ａの頻度数総数（積分値）から、領域Ｂの頻度数総数（積分値）を減算して、差分値（Ｓｔ）を算出する。なお、ｔは、あるシーン対応の辞書に登録された矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の数に相当する識別子である。たとえば１つのシーン対応の辞書に矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）がＫ個登録されている場合、差分値ＳｔはＳ１〜Ｓｋ、総計でＫ個算出する。
【００５０】
図８（２）は、ＡＢの配置が縦列型である場合であり、領域Ａの頻度数総数（積分値）から、領域Ｂの頻度数総数（積分値）を減算して、差分値（Ｓｔ）を算出する。
【００５１】
図９には、ある１つのシーン（例えば水中シーン）の判定に適用する辞書の構成例を示している。辞書データは、複数の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するパラメータ（ｘ，ｙ，ｗ，ｈ，ｔｙｐｅ，θ，α，ｐ）によって構成される。図９に示す例は、Ｋ個の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するパラメータを示している。
【００５２】
各パラメータは以下の意味を持つ。
ｘ：矩形領域の１頂点のＲ／Ｇ軸の座標
ｙ：矩形領域の１頂点のＢ／Ｇ軸の座標
ｗ：矩形領域の幅
ｈ：矩形領域の高さ
ｔｙｐｅ：矩形領域に設定するＡＢの配置が並列型か縦列型か
θ：差分値（Ｓｔ）判別用閾値
α：シーン判別用重み
ｐ：差分値（Ｓｔ）算出結果からシーン判別データを算出する場合に適用するフラグであり、＋１または−１の値に設定されている。
【００５３】
図１０に示すフローチャートを参照して、辞書データを適用したシーン判別処理と、判別結果に基づく画像処理態様の決定処理のシーケンスについて説明する。この処理は、図１に示す撮像装置１００の画像判別部１１３の処理として実行される。
【００５４】
まず、ステップＳ２０１において、特徴量計算部１１２の生成した色比率ヒストグラムを入力する。これは図４、図５を参照して説明したＲ／Ｇ，Ｂ／Ｇ平面と頻度情報（高さ）を持つヒストグラムである。また、初期設定として、適用する辞書データに含まれる矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の識別子［ｔ］と、シーン判別用データ［ｆ］の初期設定として、ｔ＝０，ｆ＝０の初期値設定を行う。
【００５５】
ステップＳ２０２において、比較対象とするシーン対応の辞書を記憶部から取得し、辞書に含まれる複数の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）から、ｔ番目の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するパラメータを取得する。なお、辞書データは、図９を参照して説明したように、複数の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するパラメータ（ｘ，ｙ，ｗ，ｈ，ｔｙｐｅ，θ，α，ｐ）によって構成される。
【００５６】
例えばヒストグラムを生成した撮影画像が、水中シーンであるか否かを判別する場合は、水中シーンの学習データによって生成された辞書データを利用して処理を行う。夕景シーンであるか否かを判別する場合は、夕景シーンの学習データによって生成された辞書データを利用して処理を行う。
【００５７】
ステップＳ２０３〜Ｓ２０４において、撮影画像に基づいて生成したヒストグラム内に、判別対象としたシーン対応辞書のｔ番目の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を設定して、領域Ａおよび領域Ｂの積分、すなわち頻度の総数を算出する。次にステップＳ２０５において、領域Ａおよび領域Ｂの積分値の差分［Ｓｔ］を算出する。この処理は、図８を参照して説明した処理に相当する。
【００５８】
次に、ステップＳ２０６において、ステップＳ２０５で算出した差分［Ｓｔ］と、辞書に登録されている閾値［θｔ］とを比較する。前述したようにθは、差分値（Ｓｔ）判別用閾値である。
【００５９】
ステップＳ２０６の判定処理において、Ｓｔ＞θｔが成立する場合は、ステップＳ２０７に進み、Ｓｔ＞θｔが成立しない場合は、ステップＳ２０８に進む。
【００６０】
ステップＳ２０６の判定処理において、Ｓｔ＞θｔが成立する場合は、ステップＳ２０７に進み、ステップＳ２０７において、
ｆｔ＝ｐ×αｔ
上記式を適用して、ｔ番目の１つの矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するシーン判別用データ［ｆｔ］を算出する。上記式において、
ｐは差分値（Ｓｔ）算出結果からシーン判別データを算出する場合に適用するフラグであり、（＋１）または（−１）の値である。
αｔは、１つの矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するシーン判別用重みである。
【００６１】
一方、ステップＳ２０６の判定処理において、Ｓｔ＞θｔが成立しない場合は、ステップＳ２０８において、
ｆｔ＝−ｐ×αｔ
上記式を適用して、ｔ番目の１つの矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するシーン判別用データ［ｆｔ］を算出する。
【００６２】
すなわち、図１１（１）に示すように、
Ｓｔ＞θｔが成立する場合は、ｆｔ＝ｐ×αｔ、
Ｓｔ＞θｔが成立しない場合は、ｆｔ＝−ｐ×αｔ、
このようにして、ｔ番目の１つの矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するシーン判別用データ［ｆｔ］を算出する。
【００６３】
次に、ステップＳ２０９において、
ステップＳ２０７またはステップＳ２０８において算出したｔ番目の１つの矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するシーン判別用データ［ｆｔ］を、既に算出済みのシーン判別用データ［Σｆ］に加算する。
【００６４】
次に、ステップＳ２１０において、シーン判別に適用している辞書に含まれる矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の識別子［ｔ］が、選択辞書に含まれる矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）の総数未満であるか否かを判定する。すなわち、利用している辞書に未処理の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）があるか否かを判定する。
【００６５】
利用している辞書に未処理の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）が存在する場合は、ステップＳ２０２に戻り、ステップＳ２０２以下、未処理の矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を利用して同様の処理を繰り返し実行する。このようにして、全ての矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）に対応するシーン判別用データ［ｆｔ］を算出し、そのトータル加算値であるｆの総和［Σｆ］を算出する。
【００６６】
次に、ステップＳ２１１において、ｆの総和［Σｆ］が０より大きいか否かを判定する。
ｆの総和［Σｆ］が０より大きい場合は、ヒストグラムを生成した画像がシーン判別に適用した辞書データに類似する色の分布を持つと判定する。この場合、ステップＳ２１２において、適用した辞書に対応するシーンの画像であると判断し、そのシーンに特化した画像処理を実行する。この判別結果に基づく画像処理は、図１に示す撮像装置の画像処理部１０５が実行する。
【００６７】
一方、ｆの総和［Σｆ］が０より大きくない場合は、ヒストグラムを生成した画像がシーン判別に適用した辞書データに類似する色の分布を持たないと判定する。この場合、ステップＳ２１３において、適用した辞書に対応するシーンの画像でないと判断し、そのシーンに特化した画像処理ではなく、一般画像に対して適用する画像処理を実行する。この判別結果に基づく画像処理は、図１に示す撮像装置の画像処理部１０５が実行する。
【００６８】
このように、ヒストグラムを生成した撮影画像が、シーン判別処理に適用した辞書に対応するシーン画像であると判断した場合、ステップＳ２１２においてそのシーンに特化した画像処理が実行される。
【００６９】
具体的には、例えばシーン判定に適用した辞書が水中シーン対応の辞書であり、撮影画像が水中シーンの画像であると判断された場合、撮影された画像は、水中の光特性により、画像が実際より青みがかった色となっている。この場合、その青みを除去して自然な色に戻す処理が、シーンに特化した画像処理として、ステップＳ２１２において実行される。
【００７０】
このように、本発明のシーン判別処理は、撮影画像の色分布をヒストグラムによって表現して、様々なシーンに対応する画像データの学習により生成した辞書データである矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を適用して、シーン判別を行う。この構成により、画像に含まれる色に基づくシーン判別を正確に行うことが可能となる。例えば従来行われていた明るさの条件によるシーン判別より正確なシーン判別が実現される。
【００７１】
例えば、明るさによる解析だけでは水中であるか否かを判別することは不可能であり、明るさに基づくシーン判別を実行しても水中で撮影した画像に対応する特定の画像処理を実行させるといった処理を行うことはできない。従って、明るさによるシーン解析だけでは一般的な画像処理を実行せざる得なくなり、結果としての出力画像は、不自然に青いままの画像となってしまう。
【００７２】
これに対して、本発明に従ったシーン判別を実行することで、様々なシーン（屋外、夕景、夜景、室内、水中など）をより正確に判定することが可能となり、それぞれのシーンに特化した最適な色補正など、最適な画像補正処理を実行することが可能となり、各シーンに対応した高品質な画像の生成、出力を行うことが可能となる。
【００７３】
また、本発明のシーン判別処理は、色特徴量の平均値ではなく、全体の色分布情報を利用してシーン判別を実行する構成であるので、シーン判別に用いる情報が飛躍的に増加し、シーン判別精度を向上させることが可能となる。例えば、何らかの青い物体が画像内の大半に映っている風景を撮影したときの映像と、水中で魚を撮影した映像を、色の平均値で判別しようとしても、色平均値を算出すると、その平均値はほぼ同じ値になる可能性が高くなり、シーン判別が困難となる。しかし、本発明の手法では、色分布を用いた判別を行う構成であり、このような平均値を利用した処理における問題が解決され、より正確なシーン判別が実現される。
【００７４】
本発明の処理では、より正確なシーン判別結果を用いた補正処理を行うことが可能となり、例えば非水中では実際に青いものは青く出力、水中では不自然な青さを抑えた画像を生成するといったシーンに応じた補正処理が可能となり、より品質の高い画像を生成して出力することが可能となる。
【００７５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００７６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００７７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００７８】
以上、説明したように、本発明の一実施例構成によれば、撮像素子によって取得されるＲＡＷ画像または該ＲＡＷ画像を縮小した縮小ＲＡＷ画像の区分領域であるブロック単位で、各色の画素値比率を算出し、算出した画素値比率の度数分布情報であるヒストグラムを生成して、生成したヒストグラムと、予め記憶部に格納されたシーン判別用辞書との比較を実行して、ＲＡＷ画像の撮影シーン判別処理を実行して、判別結果に応じた画像処理を実行する。具体的には、ヒストグラムと、様々なシーンに対応して準備された矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を規定するパラメータとを比較してシーン判別を行う構成としたので、明るさや、色の平均値による解析に比較して、様々なシーン（屋外、夕景、夜景、室内、水中など）をより正確に判定することが可能となり、それぞれのシーンに特化した最適な色補正など、最適な画像補正処理を実行することが可能となる。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施例に係る撮像装置の構成について説明する図である。
【図２】Ｒ，Ｇ、Ｂのデータ配列を持ったＲＡＷ画像例について説明する図である。
【図３】本発明の一実施例に係る撮像装置における画像縮小部の実行する処理の具体例について説明する図である。
【図４】本発明の一実施例に係る撮像装置における特徴量計算部の生成する縦軸をＲ／Ｇ、横軸をＢ／Ｇとする２次元平面上でのヒストグラムの一例について説明する図である。
【図５】縮小ＲＡＷ画像からブロックを取得して、ブロック内のＲＧＢの各画素値から色比率である画像特徴量、Ｒ／Ｇ、Ｂ／Ｇを算出し、この算出結果によって画像特徴ヒストグラムを生成する処理例について説明する図である。
【図６】本発明の一実施例に係る撮像装置における具体的なヒストグラム生成シーケンスについて説明するフローチャートを示す図である。
【図７】本発明の一実施例に係る撮像装置における画像判別部の利用する辞書データの構成例について説明する図である。
【図８】本発明の一実施例に係る撮像装置における画像判別部の実行する矩形形状特徴判定データ（Ｒｅｃｔａｎｇｌｅ  Ｆｅａｔｕｒｅ）を利用した頻度数総数（積分値）の差分値を算出する処理例について説明する図である。
【図９】ある１つのシーン（例えば水中シーン）の判定に適用する辞書の構成例を示す図である。
【図１０】辞書データを適用したシーン判別処理と、判別結果に基づく画像処理態様の決定処理のシーケンスについて説明するフローチャートを示す図である。
【図１１】辞書データを適用したシーン判別処理の具体例について説明する図である。
【符号の説明】
【００８０】
１００  撮像装置
１０１  レンズ
１０２  撮像素子
１０３  デジタル信号化部
１０５  画像処理部
１１０  シーン判別部
１１１  画像縮小部
１１２  特徴量計算部
１１３  画像判別部
【図１】
2009239772.tif 000004
【図６】
2009239772.tif 000005
【図１０】
2009239772.tif 000006
【図１１】
2009239772.tif 000007
【図２】
2009239772.tif 000008
【図３】
2009239772.tif 000009
【図４】
2009239772.tif 000010
【図５】
2009239772.tif 000011
【図７】
2009239772.tif 000012
【図８】
2009239772.tif 000013
【図９】
2009239772.tif 000014