(57)【要約】【課題】  動画像を撮影した場合に、撮像素子の出力と色空間との対応関係予め用意しなくとも、適切な色空間を用いた画像処理を実行する。【解決手段】  予め設定された色空間に基づいて画像処理された画像データを解析することにより、前記色空間に対する前記画像データの飽和度を求める飽和度算出部と、飽和度算出部により求められた飽和度に基づいて、予め設定された色空間から、異なる大きさの色域からなる色空間に切り替える切替部と、新たに取得される画像データを、切替部により切り替えられた色空間に基づいて画像処理する画像処理部と、を備えたことを特徴とする。【選択図】    図１
2011176576.tif 000002
【特許請求の範囲】
【請求項１】
予め設定された色空間に基づいて画像処理された画像データを解析することにより、前記色空間に対する前記画像データの飽和度を求める飽和度算出部と、
前記飽和度算出部により求められた飽和度に基づいて、前記予め設定された色空間から、異なる大きさの色域からなる色空間に切り替える切替部と、
新たに取得される画像データを、前記切替部により切り替えられた色空間に基づいて画像処理する画像処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記飽和度算出部は、前記予め設定された色空間に基づいて画像処理された画像データに含まれる画素のうち、色飽和している画素の数を算出し、
前記切替部は、前記色飽和している画素の数が第１閾値を超過した場合に、前記予め設定された色空間から、該予め設定された色空間の色域よりも広い色域からなる色空間に切り替えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記飽和している画素の数が前記第１閾値を超過する画像データの数をカウントする第１カウンタを備え、
前記切替部は、前記第１カウンタによりカウントされた画像データの数が所定値を超過した場合に、前記予め設定される色空間から、該予め設定された色空間の色域よりも広い色域からなる色空間に切り替えることを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において
前記飽和度算出部は、前記予め設定された色空間に基づいて画像処理された画像データを構成する各画素の彩度の合計値を算出し、
前記切替部は、前記彩度の合計値が第２閾値未満となる場合に、前記予め設定された色空間から、該予め設定された色空間の色域よりも狭い色域からなる色空間に切り替えることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記彩度の合計値が第２閾値を超過する画像データの数をカウントする第２カウンタを備え、
前記切替部は、前記第２カウンタによりカウントされた画像データの数が所定値を超過した場合に、前記予め設定された色空間から、該予め設定された色空間の色域よりも狭い色域からなる色空間に切り替えることを特徴とする画像処理装置。
【請求項６】
予め設定された色空間に基づいて画像処理された画像データを解析することにより、前記色空間に対する前記画像データの飽和度を求める飽和度算出工程と、
前記飽和度算出部により求められた飽和度に基づいて、前記予め設定された色空間から、異なる大きさの色域からなる色空間に切り替える切替工程と、
新たに取得される画像データを、前記切替部により切り替えられた色空間に基づいて画像処理する画像処理工程と、
をコンピュータに実行させることが可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
得られた画像データに対して画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやディスプレイなどに用いられる色空間としては、標準的な色空間であるｓＲＧＢ色空間が用いられる。最近では、ｓＲＧＢ色空間の色域よりも広い色域からなる、ＡｄｏｂｅＲＧＢ（登録商標）色空間やｘ．ｖ．ｃｏｌｏｒ（登録商標）色空間などの拡張色空間を用いた階調表現を実行する技術が提案されている。また、この他に、予め複数の色空間を用意しておき、撮影時に得られた画像に最も適している色空間を自動的に選択する技術も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４１−２００９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像素子の出力の段階で画像処理を実行する際に用いる色空間を選択するためには、撮像素子の出力と色空間との対応関係（テーブル）を予め用意しておく、又は暫定的な色空間を用いて画像処理を行い、設定された色空間が最適な色空間であるか否かを判定することで、最終的に適切であると判断された色空間を用いて画像処理を実行する必要がある。このような処理は処理時間を要することから、動画像に対しては不向きである。また、得られた動画像に対して、このような色空間を切り替える処理を頻繁に実行してしまうと、色空間を切り替えたときに生じるフレーム画像毎の階調表現の差が目立ってしまうという問題がある。
【０００５】
本発明は、動画像を撮影した場合に、撮像素子の出力と色空間との対応関係を用意しなくとも、適切な色空間を用いた画像処理を実行することができるようにした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、予め設定された色空間に基づいて画像処理された画像データを解析することにより、前記色空間に対する前記画像データの飽和度を求める飽和度算出部と、前記飽和度算出部により求められた飽和度に基づいて、前記予め設定された色空間から、異なる大きさの色域からなる色空間に切り替える切替部と、新たに取得される画像データを、前記第２の色空間に基づいて画像処理する画像処理部と、を備えたことを特徴とする。
【０００７】
また、前記飽和度算出部は、前記予め設定された色空間に基づいて画像処理された画像データに含まれる画素のうち、色飽和している画素の数を算出し、前記切替部は、前記色飽和している画素の数が第１閾値を超過した場合に、前記予め設定された色空間から、該予め設定された色空間の色域よりも広い色域からなる色空間に切り替えることを特徴とすることが好ましい。
【０００８】
また、前記飽和している画素の数が前記第１閾値を超過する画像データの数をカウントする第１カウンタを備え、前記切替部は、前記第１カウンタによりカウントされた画像データの数が所定値を超過した場合に、前記予め設定される色空間から、該予め設定された色空間の色域よりも広い色域からなる色空間に切り替えることが好ましい。
【０００９】
また、前記飽和度算出部は、前記予め設定された色空間に基づいて画像処理された画像データを構成する各画素の彩度の合計値を算出し、前記切替部は、前記彩度の合計値が第２閾値未満となる場合に、前記予め設定された色空間から、該予め設定された色空間の色域よりも狭い色域からなる色空間に切り替えることが好ましい。
【００１０】
また、前記彩度の合計値が第２閾値を超過する画像データの数をカウントする第２カウンタを備え、前記切替部は、前記第２カウンタによりカウントされた画像データの数が所定値を超過した場合に、前記予め設定された色空間から、該予め設定された色空間の色域よりも狭い色域からなる色空間に切り替えることが好ましい。
【００１１】
また、本発明の画像処理プログラムは、予め設定された色空間に基づいて画像処理された画像データを解析することにより、前記色空間に対する前記画像データの飽和度を求める飽和度算出工程と、前記飽和度算出部により求められた飽和度に基づいて、前記予め設定された色空間から、異なる大きさの色域からなる色空間に切り替える切替工程と、新たに取得される画像データを、前記第２の色空間に基づいて画像処理する画像処理工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【００１２】
本発明によれば、画像処理済みの画像データを解析することで、設定されている色空間が適切な色空間であるか否かを適切に判断でき、また、適切な色空間でない場合には適切な色空間に容易に切り替えることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の一例であるデジタルカメラの構成を示す図である。
【図２】ｓＲＧＢ色空間及びＡｄｏｂｅＲＧＢ色空間を示すｘｙ色度図である。
【図３】動画像ファイルの構成の一例を示す図である。
【図４】動画像を撮像する際の流れを示すフローチャートである。
【図５】動画像を撮像する際の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の画像処理装置の一例として、デジタルカメラを例に挙げて説明する。図１に示すように、デジタルカメラ１０は、撮像素子１５、Ａ／Ｄ変換部１６、バッファメモリ１８、画像処理部１９、メモリ２０、記録Ｉ／Ｆ２１、表示Ｉ／Ｆ２２、表示装置２３及びＣＰＵ２４を備えている。なお、バッファメモリ１８、画像処理部１９、メモリ２０、記録Ｉ／Ｆ２１、表示Ｉ／Ｆ２２及びＣＰＵ２４はバス２５を介して接続される。
【００１５】
撮像素子１５は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）が用いられる。撮像素子１５は、図示を省略した撮像光学系により取り込まれた被写体光を取り込むことにより、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。そして、蓄積された信号電荷をアナログの画像信号として出力する。
【００１６】
Ａ／Ｄ変換部１６は、図示を省略したＡＧＣ回路やＣＤＳ回路によってゲインコントロール、雑音除去などのアナログ処理が施された画像信号をアナログの画像信号からデジタルの画像信号に変換する。このデジタルの画像信号は、１コマ毎にまとめられた画像データとしてバッファメモリ１８に記録される。なお、このＡ／Ｄ変換部１６により、Ｒ，Ｇ，Ｂの画素出力が、例えばそれぞれ１２ビットで符号化される。
【００１７】
画像処理部１９は、バッファメモリ１８に記憶された画像データを読み出し、ホワイトバランス処理（以下、ＷＢ処理）、色補間処理、色・階調処理、輪郭強調処理などの画像処理を施す。ここで、色・階調処理とは、撮像素子の分光特性に依存した画像データを、特定の色空間で示される色や階調の画像データに変換する処理であり、例えばマトリクス演算処理やガンマ処理が挙げられる。例えば、マトリクス演算処理は、選択された色空間に対応する変数を用いて、撮像素子１５の分光特性に依存した画像データを、選択された色空間で表される画像データに変換する。また、ガンマ処理は、各色のデータについて出力機器のビット数になるようにビット変換を行うとともに、画像の階調特性をコントロールする。
【００１８】
上述した色空間としては、例えばｓＲＧＢ色空間や、ＡｄｏｂｅＲＧＢ色空間が挙げられる。図２に示すように、馬蹄形の内側の領域は、人間が知覚できる色の範囲（以下、可視領域）を示している。これに対して、ｓＲＧＢ色空間は、記号「△」で示される三角形の内側の色のみを表現（符号化及び再生）できる。一方、ＡｄｏｂｅＲＧＢ色空間は、記号「□」で示される三角形の内側の色のみを表現できる。色空間が表現できる色の範囲を色域とした場合、ｓＲＧＢ色空間の色域は、ＡｄｏｂｅＲＧＢ色空間の色域よりも小さく設定される。なお、本実施形態では、ｓＲＧＢ色空間、又はＡｄｏｂｅＲＧＢ色空間のいずれかの色空間を用いて上述した色・階調処理を実行するものとして説明する。なお、それぞれの色空間の色域の外側に位置する色は、後述する色・階調処理を行った際に、各色空間が示す色域の内側と外側との境界の位置、或いはその近傍の色となるようにクリップされる。
【００１９】
画像処理部１９は、これら処理が施された画像データに対して、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）を施す。この画像処理部１９は圧縮・伸張処理を行うことが可能であり、フォーマット処理が施された画像データに対して、圧縮伸張処理を施すことで、サムネイル画像データや、例えばＪＰＥＧ方式により圧縮された画像データ（主画像データ）を生成する。
【００２０】
メモリ２０には、画像処理部１９により画像処理されたサムネイル画像データや主画像データの他に、撮影時の撮影条件等が一時記録される。記録Ｉ／Ｆ２１は、デジタルカメラ１０に装着された記憶媒体３１に対して画像ファイルを記録する、或いは記録媒体３１に記憶されている画像ファイルを読み出す。表示Ｉ／Ｆ２２は、表示装置２３に静止画像や動画像を表示させる他、デジタルカメラ１０の設定を行う際の設定用画像を表示する。なお、表示装置２３としては、例えばＬＣＤが用いられる。
【００２１】
ＣＰＵ２４は、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ２４には、レリーズボタン３３、操作部３４が操作されたときの操作信号が入力されることから、ＣＰＵ２４は、これら操作信号に基づいた処理を実行する。なお、レリーズボタン３３は、静止画像を撮影する場合や、動画像を撮影する際、及び動画像の撮影を終了する場合に操作される。操作部３４は、デジタルカメラ１０の初期設定や、撮影時の撮影条件を変更する等の際に操作される。
【００２２】
このＣＰＵ２４は、取得した静止画像や動画像を記録する際に動作する。例えば静止画像が撮影された時には、ＣＰＵ２４は、主画像データやサムネイル画像データの他に、撮影条件やデジタルカメラ１０の機種名や撮影条件などの情報をまとめた画像ファイル（以下、静止画像ファイル）を記憶媒体３１に記録する。静止画像ファイルは、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）規格と呼ばれるフォーマット形式により生成される。このＥｘｉｆ規格は、デジタルカメラ共通のフォーマット形式である。つまり、このＥｘｉｆ規格のフォーマット形式を用いることで、記憶媒体３１を他のデジタルカメラ等に装着した場合であっても、記憶された画像データを読み出すことが可能となる。
【００２３】
一方、動画像を撮影したときには、ＣＰＵ２４は、動画像の基になる画像ファイル（以下、動画像ファイル）ＭＩを記憶媒体３１に記録する。この動画像ファイルＭＩとしては、例えばＭｏｔｉｏｎ−Ｊｐｅｇ形式を用いた動画像ファイルが挙げられる。図３に示すように、Ｍｏｔｉｏｎ−Ｊｐｅｇ形式の動画像ファイルＭＩは、所定間隔毎に取得される静止画像ファイルをフレーム画像ファイルＦＩｎ（ｎ＝１，２，・・・・）とし、これら複数のフレーム画像ファイルＦＩｎをまとめることで生成される。動画像ファイルＭＩにおける各フレーム画像ファイルＦＩｎは、タグ情報及び主画像データとから構成される。このタグ情報としては、静止画像ファイルに書き込まれるタグ情報と同様に、撮影時の撮影条件やデジタルカメラ１０の機種名や撮影日時などの情報が挙げられる。また、この他に、後述する色・階調処理を実行したときに使用された色空間を示す情報が挙げられる。なお、この各フレーム画像ファイルを構成する主画像データがフレーム画像データとなる。
【００２４】
このＣＰＵ２４は、図示を省略したシーケンスプログラムを実行することにより、飽和度算出部４１、カウンタ４２，４３、色空間切替部４４の機能を有している。なお、これら機能は、デジタルカメラ１０において動画像の撮影を行う際に実行される。以下、動画像の撮影を行う際に得られる各フレーム画像データを、画像データと称して説明する。
【００２５】
飽和度算出部４１は、画像処理部１９により画像処理が施された画像データを用いて、フレーム画像データに含まれる全ての画素のうち、色が飽和している画素の数を算出する。この算出の後、飽和度算出部４１は、飽和している画素の数と、予め設定された閾値Ｌとを比較する。例えば色が飽和している画素の数が閾値Ｌを超過している場合、飽和度が高い、つまり、設定された色空間の色域が画像データに対して狭い色空間であると判定する。
【００２６】
一方、色が飽和している画素の数が閾値Ｌ以下となる場合には、設定された色空間の色域が画像データに対して適切な色空間であると判定する。このような判定がなされた場合、飽和度算出部４１は、画像データの各画素の画素値から彩度を求め、全画素の彩度の合計値を求める。飽和度算出部４１は、全画素の彩度の合計値と予め設定された閾値Ｍとを比較する。例えば全画素の彩度の合計値が閾値Ｍ未満となる場合には、使用している色空間の飽和度が低い、つまり、設定されている色空間の色域が適切ではないと判定する。一方、全画素の彩度の合計値が閾値Ｍ以上となる場合には、設定された色空間が画像データに対して適切な色空間であると判定する。なお、閾値Ｌや閾値Ｍは、実験や評価を行って得られる値であっても良いし、ユーザが任意に設定した値であってもよい。
【００２７】
カウンタ４２は、上述した飽和度算出部４１において色が飽和している画素の数が閾値Ｌを超過している、つまり飽和度が高いと判定された場合に「１」アップカウントされる。言い換えれば、このカウンタ４２は、設定されている色空間に対する飽和度が高いと判定された画像データの数をカウントする。また、カウンタ４３は、上述した飽和度算出部４１において全画素の彩度の和が閾値Ｓ未満となる、つまり、飽和度が低いと判定された場合に、「１」アップカウントされる。言い換えれば、このカウンタ４３は、設定されている色空間に対する飽和度が低いと判定された画像データの数をカウントする。なお、これらカウンタ４２，４３は、動画像の撮影を開始する際にリセットされる。
【００２８】
色空間切替部４４は、色・階調処理の際に、画像データの色空間を切り替える。詳細には、色空間切替部４４は、上述するカウンタ４２，４３のいずれか一方のカウンタのカウント数が予め設定される閾値Ｆ以上となる場合に色空間を切り替える。なお、この閾値Ｆは適宜設定されるものである。
【００２９】
例えば色・階調処理で用いる色空間としてｓＲＧＢ色空間が設定されているときに、カウンタ４２のカウント数が予め設定される閾値Ｆ以上となる場合には、色空間切替部４４は、色・階調処理で用いる色空間の設定をｓＲＧＢ色空間からＡｄｏｂｅＲＧＢ色空間に切り替える。一方、色・階調処理で用いる色空間としてＡｄｏｂｅＲＧＢ色空間が設定されているときに、カウンタ４３のカウント数が予め設定される閾値Ｆ以上となる場合には、色空間切替部４４は、色・階調処理で用いられる色空間をＡｄｏｂｅＲＧＢ色空間からｓＲＧＢ色空間に切り替える。
【００３０】
以下、図４のフローチャートに基づいて、動画像を撮像する際の流れについて説明する。なお、図４のフローチャートは、デジタルカメラ１０における撮影モードとして動画像撮影モードに設定された後に、レリーズボタン３３が操作されたことを受けて実行される。なお、以下のフローチャートにおいては色・階調処理に用いる色空間として、まずｓＲＧＢ色空間が設定されている場合について説明する。なお、色・階調処理に用いる色空間としては、ユーザが操作部３４を操作して設定しても良いし、デジタルカメラ１０の内部で自動的に設定されるものであっても良い。以下、Ａ／Ｄ変換部１６におけるＡ／Ｄ変換処理及びＷＢ処理を前段画像処理と称し、輪郭強調処理を後段画像処理と称して説明する。
【００３１】
ステップＳ１０１はカウンタをリセットする処理である。このステップＳ１０１の処理は、ＣＰＵ２４によって行われる。カウンタ４２のカウント数をｎＬ、カウンタ４３のカウント数をｎＳとした場合、このステップＳ１０１の処理を実行することで、ｎＬ＝０、ｎＳ＝０となる。
【００３２】
ステップＳ１０２は、画像を取得する処理である。このステップＳ１０２の処理が実行されることで、例えば３０ｆｐｓのフレームレートなど一定間隔で、撮像素子１５から画像信号が出力される。
【００３３】
ステップＳ１０３は、前段画像処理である。上述したように、前段画像処理とは、Ａ／Ｄ変換処理及びホワイトバランス（ＷＢ）処理である。ステップＳ１０２により取得される画像信号は、ゲインコントロール、雑音除去などのアナログ処理が施された後、Ａ／Ｄ変換部１６により、Ｒ，Ｇ，Ｂの各色の画素出力を例えば１２ビットで符号化されたデジタルの画像信号に変換される。このデジタルの画像信号は、１コマ毎にまとめられた画像データとしてバッファメモリ１８に記録される。画像処理部１９は、バッファメモリに記憶された画像データを読み出して、該画像データにホワイトバランス処理を実行する。このホワイトバランス処理の後に、図示を省略した色補間処理が実行され、各画素がＲ，Ｇ，Ｂ各色全てに対する１２ビットのデジタルな画像データとなる。
【００３４】
ステップＳ１０４は、色・階調処理である。画像処理部１９は、まずマトリクス演算処理を実行する。画像処理部１９は、設定された色空間に対する変数を読み出し、バッファメモリに記憶される画像データを、設定された色空間で表される画像データに変換する。例えば設定された色空間がｓＲＧＢ色空間であれば、このマトリクス演算処理が実行されることで、ｓＲＧＢ色空間で表される画像データに変換される。このマトリクス演算処理の後、画像処理部１９は、変換された画像データに対してガンマ処理を実行する。このガンマ処理においても、色空間に対応する変数が用いられる。画像処理部１９によってガンマ処理が実行されることにより、各色のデータが出力機器のビット数になるようにビット変換されるとともに、画像の階調特性がコントロールされる。
【００３５】
ステップＳ１０５は、後段画像処理である。上述したように、後段画像処理としては、輪郭強調処理が挙げられる。画像処理部１９は、変換された画像データに対して、画像鮮鋭化の処理を施す。
【００３６】
ステップＳ１０６は、色飽和している画素数が閾値Ｌを超過するか否かを判定する処理である。ＣＰＵ２４は、画像処理が施された画像データを読み出し、該画像データを構成する全ての画素のうち、色飽和している画素の数を算出する。そして、色飽和している画素の数を算出した後、ＣＰＵ２４は、色飽和している画素の数と、閾値Ｌとを比較する。例えば色飽和している画素の数が閾値Ｌを超過している場合には、ＣＰＵ２４は色空間の色域に対する画像データの飽和度が高い、つまり、設定された色空間の色域が画像データに対して狭い色空間であると判定する。このような場合には、ステップＳ１０６の判定がＹｅｓとなり、ステップＳ１０７に進む。一方、色飽和している画素の数が閾値Ｌ以下となる場合には、設定された色空間の色域が画像データに対して適切な色空間であると判定する。この場合には、ステップＳ１０６の判定がＮｏとなり、ステップＳ１１５に進む。
【００３７】
ステップＳ１０７は、カウンタ４２のカウント数ｎＬを「１」アップカウントする処理である。
【００３８】
ステップＳ１０８は、カウンタ４２のカウント数ｎＬが閾値Ｆ以上であるか否かを判定する処理である。ＣＰＵ２４は、カウンタ４２のカウント数ｎＬを参照して、該カウント数ｎＬが予め設定された閾値Ｆ以上であるか否かを判定する。カウント数ｎＬが閾値Ｆ以上となる場合、ステップＳ１０９に進む。一方、カウント数ｎＬが閾値Ｆ未満となる場合には、ステップＳ１１２に進む。この場合には、用いる色空間は切り替えられず、設定された色空間がそのまま用いられる。
【００３９】
ステップＳ１０９は、設定された色空間よりも色域が広い色空間が有るか否かを判定する処理である。使用可能な色空間として、ｓＲＧＢ色空間とＡｄｏｂｅＲＧＢ色空間とが用いられる場合、色空間における色域は、ｓＲＧＢ色空間よりＡｄｏｂｅ色空間の方が広い色域となる。つまり、色空間としてｓＲＧＢ色空間が設定されている場合には、使用可能な色空間としては、ｓＲＧＢ色空間よりも色域が広いＡｄｏｂｅＲＧＢ色空間を使用することが可能である。この場合、このステップＳ１０９の処理はＹｅｓとなり、ステップＳ１１０に進む。
【００４０】
一方、色空間としてＡｄｏｂｅＲＧＢ色空間が設定されている場合にはＡｄｏｂｅＲＧＢ色空間よりも色域が大きい色空間はない。この場合には、ステップＳ１０９の判定はＮｏとなり、ステップＳ１１２に進む。この場合も、用いる色空間は切り替えられず、設定された色空間がそのまま用いられる。
【００４１】
ステップＳ１１０は、設定された色空間よりも色域が広い色空間に切り替える処理である。色空間としてｓＲＧＢ色空間が設定されている場合には、ＣＰＵ２４は、ＡｄｏｂｅＲＧＢ色空間に切り替える。
【００４２】
ステップＳ１１１は、カウンタのカウント数ｎＬをリセットする処理である。ステップＳ１１０の処理を実行することで、設定された色空間が切り替わるので、ＣＰＵ２４は、カウンタ４２のカウント数ｎＬをリセットする。
【００４３】
ステップＳ１１２は、動画像の撮影を終了するか否かを判定する処理である。ＣＰＵ２４には、レリーズボタン３４の操作信号が入力されることから、このレリーズボタン３４の操作信号の有無を判別することによって、動画像の撮影を終了するか否かを判定する。例えばユーザがレリーズボタン３４を操作しているのであれば、レリーズボタン３４の操作信号がＣＰＵ２４に入力されるので、このような場合には、ステップＳ１１２の判定はＹｅｓとなり、動画像の撮影が終了する。このとき、ＣＰＵ２４は、取得された画像データと、タグ情報とから構成されるフレーム画像ファイルを動画像ファイルとしてまとめた上で、記録媒体３１に記録する。この記録の際に、各フレーム画像ファイルのタグ情報に、色・階調処理で変換した色空間の情報が付加される。このタグ情報に色空間の情報を付加することで、動画像ファイルを用いた動画像の再生時に、再生装置側で適切な階調表現を用いた表示を実行することが可能となる。
【００４４】
なお、ステップＳ１１２において、レリーズボタン２４の操作信号がＣＰＵ２４に入力されていない場合には、このステップＳ１１２の判定がＮｏとなる。この場合は、ステップＳ１０２に戻り、引き続き動画像の撮影が行われる。
【００４５】
上述したステップＳ１０６の判定処理でＮｏとなる場合、つまり、色飽和している画素数が閾値Ｌ以下となる場合には、ステップＳ１１５に進む。
【００４６】
ステップＳ１１５は、彩度の合計が閾値Ｍ未満であるか否かを判定する処理である。ＣＰＵ２４は、画像データの全ての画素における彩度を求め、各画素で求めた彩度の合計値を算出する。例えば彩度の合計値が閾値Ｍ未満となる場合には、ステップＳ１１５の判定がＹｅｓとなり、ステップＳ１１６に進む。一方、彩度の合計が閾値Ｍ以上となる場合には、ステップＳ１１５の判定がＮｏとなり、ステップＳ１１２に進む。この場合、用いる色空間は切り替えられず、設定された色空間がそのまま用いられる。
【００４７】
ステップＳ１１６は、カウンタ４３のカウント数ｎＳを「１」アップカウントする処理である。
【００４８】
ステップＳ１１７は、カウンタ４３のカウント数ｎＳが閾値Ｆ以上となるか否かを判定する処理である。ＣＰＵ２４は、カウンタ４３のカウント数ｎＳを読み出して、該カウント数ｎＳが予め設定された閾値Ｆ以上であるか否かを判定する。カウント数ｎＳが閾値Ｆ以上となる場合、ステップＳ１１８に進む。一方、カウント数ｎＳが閾値Ｆ未満となる場合には、ステップＳ１１２に進む。この場合、用いる色空間は切り替えられず、設定された色空間がそのまま用いられる。
【００４９】
ステップＳ１１８は、設定された色空間よりも狭い色空間が有るか否かを判定する処理である。例えば色空間として、ＡｄｏｂｅＲＧＢ色空間が設定されている場合には、ＡｄｏｂｅＲＧＢ色空間よりも狭い色域の色空間としてｓＲＧＢ色空間があることから、このステップＳ１１８の処理はＹｅｓとなる。この場合、ステップＳ１１９に進む。一方、色空間として、ｓＲＧＢ色空間が設定されている場合には、ｓＲＧＢ色空間よりも色域の狭い色空間はないので、ステップＳ１１８の判定はＮｏとなる。この場合、ステップＳ１１２に進む。なお、このステップＳ１１８の判定がＮｏとなる場合には、用いる色空間は切り替えられず、設定された色空間がそのまま用いられる。
【００５０】
ステップＳ１１９は、設定された色空間よりも色域が狭い色空間に切り替える処理である。現在設定されている色空間がＡｄｏｂｅＲＧＢ色空間からなる場合には、ＣＰＵ２４は、ｓＲＧＢ色空間に切り替える。
【００５１】
ステップＳ１２０は、カウンタのカウント数ｎＳをリセットする処理である。ステップＳ１１０の処理を実行することで、設定された色空間が切り替わるので、カウンタ４２のカウント数ｎＳをリセットする。この処理の後、ステップＳ１１２に進む。
【００５２】
このようにして、動画像を撮影している際には、色・階調変換した後の全ての画像データに対して、色飽和している画素数や画像データを構成する全画素の彩度の合計などの飽和度を求め、該飽和度に基づいて、色・階調処理で用いる色空間を切り替えるようにしている。これによれば、予め撮像素子１５の出力特性と色空間との対応関係を用いなくとも、適切な色空間を用いた画像処理を行うことが可能となる。また、飽和度に基づいて設定される色空間を切り替えることから、色つぶれや色飛びの発生を防止することが可能となる。また、色飽和している画素数が閾値Ｌを超過した画像データの数ｎＬや、彩度の合計が閾値Ｓ未満となる画像データの数ｎＳがそれぞれ閾値Ｆ以上となるときに初めて、設定された色空間を切り替えることから、色空間の変更により発生する階調表現の差を最小限に留め、このような階調表現の差を目立たせることはない。
【００５３】
本実施形態では、彩度の合計値が閾値Ｍ未満となる場合に、設定されている色空間を、色域の小さい色空間に切り替えているが、これに限定される必要はなく、色飽和している画素数が閾値以下となる場合に、色空間を色域の小さい色空間に切り替えることも可能である。
【００５４】
本実施形態では、画像データの全ての画素に対して、色飽和している画素であるか否かの識別、及び彩度の合計の算出を行っているが、これに限定される必要はなく、画像データに基づく画像を構成する画素のうち、特定の箇所の画素を用いることも可能である。
【００５５】
本実施形態では、動画撮影時に得られる画像データの全てに対して、色飽和している画素数、又は画像データを構成する全画素の彩度の合計を求めているが、これに限定されるものではなく、例えば１番目のフレーム画像データ、３１番目のフレーム画像データなど、所定のフレーム画像データに対して、色飽和している画素数、又は画像データを構成する全画素の彩度の合計を求めてもよい。
【００５６】
本実施形態では、動画像の撮影を開始したことを契機にして上述した飽和度の算出や、色空間の切り替えなどを行っているが、これに限定される必要はなく、例えば動画像を撮影する前に取り込まれる画像（スルー画像）を用いて、色・階調処理で用いる色空間の設定を行うことも可能である。また、本実施形態では、動画像の撮影時の流れについて説明しているが、これに限定される必要はなく、連続して静止画像を取得する、所謂連写撮影を行う場合や、長時間スルー画像を取り込む場合にも適用することが可能である。
【００５７】
本実施形態では、設定される色空間として、ｓＲＧＢ色空間、ＡｂｏｂｅＲＧＢ色空間を取り上げ、これら色空間の間で、色・階調処理で用いる色空間を切り替えているが、これに限定される必要はなく、例えばｓＲＧＢ色空間とｘ．ｖ．ｃｏｌｏｒ色空間との間で、又はＡｂｏｂｅＲＧＢ色空間とｘ．ｖ．ｃｏｌｏｒ色空間との間で色空間を切り替えることも可能である。なお、ｘ．ｖ．ｃｏｌｏｒ色空間については、特開２００６−３３５７５号公報に記載されていることから、ここでは、その詳細を省略するが、ｓＲＧＢ色空間や、ＡｄｏｂｅＲＧＢ色空間よりも色域が広い色空間である。例えばｘ．ｖ．ｃｏｌｏｒ色空間を用いた色・階調処理を行った場合には、撮像素子１５から出力される画像データを８ビット以上の画像データに変換可能である。つまり、ｓＲＧＢ色空間とｘ．ｖ．ｃｏｌｏｒ色空間との間、又はＡｂｏｂｅＲＧＢ色空間とｘ．ｖ．ｃｏｌｏｒ色空間との間で色空間をそれぞれ切り替える場合には、色・階調処理によって用いる色空間を適用的に切り替えるだけでなく、色・階調処理後の画像データのビット数、言い換えれば画像データのデータ容量を変えることも可能となる。
【００５８】
なお、色空間としてｘ．ｖ．ｃｏｌｏｒ色空間を用いた場合には、８ビット以上のビット数の画像データに変換するか、８ビットの画像データに変換するかを切り替えることも可能である。この場合、８ビットに変換するための変換式を予め用意しておけばよい。
【００５９】
本実施家形態の画像処理装置として、デジタルカメラを取り上げて説明しているが、これに限定される必要はなく、例えばカメラ機能を有する携帯型端末機であってもよい。また、この他に、図１の画像処理部１９の機能や、ＣＰＵ２４の機能（飽和度算出部４１、カウンタ４２，４３、色空間切替部４４）の機能や、図４及び図５のフローチャートの流れを実行することが可能なコンピュータであってもよい。また、図１の画像処理部１９の機能や、ＣＰＵ２４の機能（飽和度算出部４１、カウンタ４２，４３、色空間切替部４４）の機能や、図４及び図５のフローチャートの流れを実行することが可能な画像処理プログラムであってもよい。この画像プログラムは、メモリーカード、光学ディスク、磁気ディスクなどのコンピュータが読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６０】
１０…デジタルカメラ、１５…撮像素子、１９…画像処理部、２４…ＣＰＵ、４１…飽和度算出部、４２，４３…カウンタ、４４…色空間切替部
【図１】
2011176576.tif 000003
【図２】
2011176576.tif 000004
【図３】
2011176576.tif 000005
【図４】
2011176576.tif 000006
【図５】
2011176576.tif 000007