(57)【要約】【課題】画像データの被写体の色を被写体本来の色に容易に補正することができる撮像装置を提供する。【解決手段】  被写体を撮像する撮像部８と、前記撮影部による撮影画角内に照明光を照射する照明部１４と、前記照明部により照明光が照射されていない状態で撮像した第１画像データを記憶する第１記憶部１０と、前記照明部により照明光が照射されている状態で撮像した第２画像データを記憶する第２記憶部１０と、前記第１記憶部に記憶されている第１画像データの特徴量及び前記第２記憶部に記憶されている第２画像データの特徴量を取得する特徴量取得部４と、前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量に基づいて、前記第１画像データの特徴量を前記第２画像データの特徴量に近づける補正係数を生成する補正係数生成部４と、前記補正係数生成部により生成された補正係数に基づいて、前記第１画像データの補正を行う補正部４とを備える。【選択図】図１
2012133421.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記撮影部による撮影画角内に照明光を照射する照明部と、
前記照明部により照明光が照射されていない状態で撮像した第１画像データを記憶する第１記憶部と、
前記照明部により照明光が照射されている状態で撮像した第２画像データを記憶する第２記憶部と、
前記第１記憶部に記憶されている第１画像データの特徴量及び前記第２記憶部に記憶されている第２画像データの特徴量を取得する特徴量取得部と、
前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量に基づいて、前記第１画像データの特徴量を前記第２画像データの特徴量に近づける補正係数を生成する補正係数生成部と、
前記補正係数生成部により生成された補正係数に基づいて、前記第１画像データの補正を行う補正部と
を備えることを特徴とする撮像装置。
【請求項２】
前記補正部は、前記補正係数生成部により生成された前記補正係数に基づいて前記照明部により照明光が照射されていない状態で前記撮像部により撮像された第３画像データの補正を行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量のばらつきが所定値以下の場合に報知する報知部を備えることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
照明光が照射されていない状態で撮像された第１画像データを記憶する第１記憶部と、
照明光が照射されている状態で撮像された第２画像データを記憶する第２記憶部と、
前記第１記憶部に記憶されている第１画像データの特徴量及び前記第２記憶部に記憶されている第２画像データの特徴量を取得する特徴量取得部と、
前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量に基づいて、前記第１画像データの特徴量を前記第２画像データの特徴量に近づける補正係数を生成する補正係数生成部と、
前記補正係数生成部により生成された補正係数に基づいて、前記第１画像データの補正を行う補正部と
を備えることを特徴とする画像処理装置。
【請求項５】
前記補正部は、前記補正係数に基づいて照明光が照射されていない状態で撮像された第３画像データの補正を行うことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量のばらつきが所定値以下の場合に報知する報知部を備えることを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
照明光が照射されていない状態で撮像された第１画像データ及び照明光が照射されている状態で撮像された第２画像データを記憶する記憶部を備えた画像処理装置を、
前記第１画像データの第１特徴量を取得するステップ、
前記第２画像データの第２特徴量を取得するステップ、
前記第１特徴量及び前記第２特徴量に基づいて、前記第１特徴量を前記第２特徴量に近づける補正係数を生成するステップ、
前記補正係数に基づいて、前記第１画像データの補正を行うステップ、
として機能させるための画像処理プログラム。
【請求項８】
前記補正係数に基づいて照明光が照射されていない状態で撮像された第３画像データの補正を行うステップを含む請求項７記載の画像処理プログラム。
【請求項９】
前記第１画像データ及び前記第２画像データの特徴量のばらつきが所定値以下の場合に報知を行うステップを含む請求項７または８記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、入力された画像データに対して環境光補正を行い、表示画像の見え方を補正することができる画像処理装置が存在する（例えば、特許文献１参照）。この画像処理装置によれば、操作者により予め設定された環境照明光特性係数に基づいて環境光補正を行い、画像データの被写体の色を被写体本来の色に補正することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−４１４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の画像処理装置においては、操作者が予め環境照明光特性係数を設定しなければならず、煩雑な設定操作が必要であった。
【０００５】
本発明の目的は、画像データの被写体の色を被写体本来の色に容易に補正することができる撮像装置、画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、被写体を撮像する撮像部と、前記撮影部による撮影画角内に照明光を照射する照明部と、前記照明部により照明光が照射されていない状態で撮像した第１画像データを記憶する第１記憶部と、前記照明部により照明光が照射されている状態で撮像した第２画像データを記憶する第２記憶部と、前記第１記憶部に記憶されている第１画像データの特徴量及び前記第２記憶部に記憶されている第２画像データの特徴量を取得する特徴量取得部と、前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量に基づいて、前記第１画像データの特徴量を前記第２画像データの特徴量に近づける補正係数を生成する補正係数生成部と、前記補正係数生成部により生成された補正係数に基づいて、前記第１画像データの補正を行う補正部とを備えることを特徴とする。
【０００７】
また、本発明の画像処理装置は、照明光が照射されていない状態で撮像された第１画像データを記憶する第１記憶部と、照明光が照射されている状態で撮像された第２画像データを記憶する第２記憶部と、前記第１記憶部に記憶されている第１画像データの特徴量及び前記第２記憶部に記憶されている第２画像データの特徴量を取得する特徴量取得部と、前記特徴量取得部により取得された前記第１画像データ及び前記第２画像データの特徴量に基づいて、前記第１画像データの特徴量を前記第２画像データの特徴量に近づける補正係数を生成する補正係数生成部と、前記補正係数生成部により生成された補正係数に基づいて、前記第１画像データの補正を行う補正部とを備えることを特徴とする。
【０００８】
また、本発明の画像処理プログラムは、照明光が照射されていない状態で撮像された第１画像データ及び照明光が照射されている状態で撮像された第２画像データを記憶する記憶部を備えた画像処理装置を、前記第１画像データの第１特徴量を取得するステップ、前記第２画像データの第２特徴量を取得するステップ、前記第１特徴量及び前記第２特徴量に基づいて、前記第１特徴量を前記第２特徴量に近づける補正係数を生成するステップ、前記補正係数に基づいて、前記第１画像データの補正を行うステップ、として機能させる。
【発明の効果】
【０００９】
本発明によれば、画像データの被写体の色を本来有する色に容易に補正することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係る撮像装置のシステム構成を示すブロック図である。
【図２】実施の形態に係る撮像装置の補正処理を示すフローチャートである。
【図３】実施の形態に係る撮像装置の補正処理における画像データの流れを示す図である。
【図４】実施の形態に係る撮像部による撮影画角内の被写体を示す図である。
【図５】実施の形態に係る照明ＯＦＦ画像データの特徴量及び照明ＯＮ画像データの特徴量を示す図である。
【図６】実施の形態に係る照明ＯＦＦ画像データに対する補正処理を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態に係る撮像装置であるカメラについて説明する。図１は、本発明の実施の形態に係るカメラのシステム構成を示すブロック図である。図１に示すように、カメラ２は、カメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、被写体を撮像する撮像部８、撮像部８から出力された撮像信号から生成された画像データを記憶するメモリ１０、制御部４が実行する撮影処理、投映処理、補正処理等のプログラムを記憶するプログラムメモリ１１、撮影画像の画像データ等を記憶するメモリカード１２、撮像部８による撮影画角内に照明光を照射する投映部１４、カメラ２の背面部に配置され撮像部８により撮像された画像、スルー画及びカメラ２のモードを設定する画面等を表示するＬＣＤ表示部１６及び操作部１８が接続されている。
【００１２】
ここで、撮像部８は、撮影レンズ２０、イメージセンサ２２、レンズ駆動回路２４及び撮影制御回路２６を備えている。イメージセンサ２２は、ＣＣＤやＣＭＯＳ等の撮像素子により構成される。撮影レンズ２０は、イメージセンサ２２の撮像面上に被写体像を結像させる。撮影制御回路２６は、制御部４からの指令によりイメージセンサ２２およびレンズ駆動回路２４を駆動制御する。即ち、撮影制御回路２６は、制御部４からの撮影開始指示に応じてイメージセンサ２２に撮像を開始させ、イメージセンサ２２から読出した撮像信号を制御部４へ送出する。レンズ駆動回路２４は、撮影制御回路２６から出力されるフォーカス調節信号に基づいて、撮影レンズ２０を構成するフォーカスレンズ（不図示）を光軸方向に移動させる。また、レンズ駆動回路２４は、撮影制御回路２６から出力されるズーム調節信号に基づいて、撮影レンズ２０を構成するズームレンズ（不図示）を光軸方向（テレ側もしくはワイド側）に移動させる。
【００１３】
投映部１４は、投映レンズ３０、液晶パネル３２、ＬＥＤ光源３４及び投映制御回路３６を備えている。投映部１４は、投映レンズ３０を介して液晶パネル３２に表示された画像の投映を行う。投映制御回路３６は、制御部４から出力される投映指令に応じてＬＥＤ光源３４及び液晶パネル３２の制御を行う。
【００１４】
操作部１８は、電源スイッチ、レリーズボタン、ズームボタン、カメラ２のモードを設定するモード設定ボタン、十字ボタン及びＯＫボタン等を備えている。
【００１５】
ここで、撮像部８及び投映部１４は、撮像部８による撮影方向と投映部１４による投映方向が同じ方向を向いて配置される。また、撮像部８及び投映部１４は互いに近接して配置される。これにより、撮像部８による撮影画角内に対して、投映部１４からの照明光を照射することが可能となる。
【００１６】
次に、図２に示すフローチャート及び図３に示す画像データの流れを参照して本発明の実施の形態に係るカメラ２の補正処理について説明する。操作者が操作部１８のモード設定ボタンを操作することによりカメラ２を撮影モードに移行させると、制御部４は、撮像部８により所定のフレームレートで被写体を撮像し、撮像部８から出力された撮影信号に基づいてスルー画をＬＣＤ表示部１６に表示する。例えば図４に示すように、カメラ２の撮像部８の撮影画角内にりんご４０、バナナ４２及び花４４が存在する場合には、ＬＣＤ表示部１６にりんご４０、バナナ４２及び花４４が表示される。
【００１７】
操作者がレリーズボタンを押下すると、制御部４は投映部１４のＬＥＤ光源３４をＯＦＦした状態（照明ＯＦＦ）で撮像部８により撮像を行い（ステップＳ１０）、更に投映部１４のＬＥＤ光源３４をＯＮした状態（照明ＯＮ）で撮像部８により撮像を行う（ステップＳ１２）。また、照明ＯＦＦで撮像された照明ＯＦＦ画像データ及び照明ＯＮで撮像された照明ＯＮ画像データをメモリ１０に記憶する。ここで、照明ＯＦＦ画像データは、外光のみを用いて撮像されたものであるため、影は自然であり遠方が明るいが、光の演色性が低い場合には色再現性が低くなる。また、照明ＯＮ画像データは、照明光の演色性が高いため色再現性は良好であるが影が不自然となり遠方が暗い。
【００１８】
制御部４は、パターンマッチング等の画像処理によりメモリ１０に記憶されている照明ＯＦＦ画像データと照明ＯＮ画像データの位置を合わせる（ステップＳ１４）。また、照明ＯＦＦ画像データと照明ＯＮ画像データのそれぞれを色差平面であるＬａｂ空間のａｂ平面に写像する。そして、図５（ａ）に示すように、照明ＯＦＦ画像データについて色差の小さい領域、即ちりんご４０、バナナ４２、花４４等の領域の各画素の色差の平均値を複数個、取得して特徴量ＡＢとする（ステップＳ１６）。この特徴量ＡＢは［（ａ１，ｂ１）Ｔ，（ａ２，ｂ２）Ｔ，（ａ３，ｂ３）Ｔ，…］で表される。また、図５（ｂ）に示すように、照明ＯＮ画像データについても色差の小さい領域（りんご４０、バナナ４２、花４４等照明ＯＦＦ画像データにおける色差が小さい領域に対応する領域）の各画素の色差の平均値を複数個、取得して特徴量ＡＢ’とする（ステップＳ１８）。この特徴量ＡＢ’は［（ａ１’，ｂ１’）Ｔ，（ａ２’，ｂ２’）Ｔ，（ａ３’，ｂ３’）Ｔ，…］で表される。
【００１９】
制御部４は、照明ＯＦＦ画像データの特徴量ＡＢと照明ＯＮ画像データの特徴量ＡＢ’に基づいて、照明ＯＦＦ画像データの特徴量ＡＢが照明ＯＮ画像データの特徴量ＡＢ’に近づくように、ＡＢ’≒Ｋ×ＡＢとなる補正係数Ｋ（例えば２×２の行列）を算出する（ステップＳ２０）。そして、算出された補正係数Ｋのデータをメモリ１０に記憶する。
【００２０】
制御部４は、補正係数Ｋを用いて照明ＯＦＦ画像データの補正を行う（ステップＳ２２）。即ち、図６に示すように、照明ＯＦＦ画像データの各画素の色差に対して、補正係数Ｋを乗じることにより、照明ＯＦＦ画像データの色再現性を改善させる。そして、補正された照明ＯＦＦ画像データはメモリカード１２に記憶される。
【００２１】
本発明の実施の形態に係るカメラによれば、照明ＯＦＦ画像データ及び照明ＯＮ画像データに基づいて補正係数を算出し、算出された補正係数を用いて照明ＯＦＦ画像データの補正を行うため、照明ＯＦＦ画像データの被写体の色を被写体本来の色に容易に補正することができる。
【００２２】
なお、上述の実施の形態においては、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データ特徴量ＡＢ’をＬａｂ空間のａｂ平面で表しているが、輝度Ｙ，輝度と青色成分の差Ｕ，輝度と赤色成分の差Ｖで表されるＹＵＶ空間のＵＶ平面で表してもよい。また、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データ特徴量ＡＢ’を輝度Ｙ，色差成分Ｃｂ，Ｃｒを表すＹＣｂＣｒ空間のＣｂＣｒ平面で表してもよい。また、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データ特徴量ＡＢ’をＲＧＢ感度の比率、即ちＲ／Ｇ（緑成分に対する赤成分）及びＢ／Ｇ（緑成分に対する青成分）で表してもよい。更に、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データ特徴量ＡＢ’をＲＧＢ座標におけるＲＧＢの平均値を特徴量としてもよい。この場合には、補正係数Ｋとして３×３の行列を算出する。これらの場合には、Ｌａｂ空間のａｂ平面で表した場合に比べ演算が簡単となり、制御部４による演算量を低減することが可能となる。
【００２３】
また、上述の実施の形態においては、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データ特徴量ＡＢ’を色差の小さい領域の色差の平均値を用いて補正係数Ｋを算出しているが、照明ＯＦＦ画像データ及び照明ＯＮ画像データのそれぞれの全画素についての色差を用いてそれぞれの画像データの全画素の色差が最小となるような補正係数Ｋを算出するようにしてもよい。
【００２４】
また、上述の実施の形態において、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データ特徴量ＡＢ’について色相領域毎に異なる彩度ゲイン・色相シフト量を考慮して補正係数Ｋを算出するようにしてもよい。
【００２５】
また、上述の実施の形態において、制御部４は、メモリ１０に補正係数Ｋが記憶されている状態において照明ＯＦＦで撮像部８により撮像が行われた場合には、補正係数Ｋを用いて撮像された画像データの補正を行うようにしてもよい。
【００２６】
また、上述の実施の形態において、照明ＯＦＦ画像データ及び照明ＯＮ画像データの撮影時に、撮影画角内に彩度が高い被写体が存在しないまたはカメラ２から所定の距離に被写体が存在しない等の理由により、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データの特徴量ＡＢ’にばらつきがない場合には、制御部４は、再撮影を促す旨を示す情報等をＬＣＤ表示部１６に表示して操作者に報知するようにしてもよい。
【００２７】
また、上述の実施の形態においては、カメラ２を用いて補正処理を行っているが、メモリ１０に照明ＯＦＦ画像データ及び照明ＯＮ画像データが予め記憶されているのであれば、パソコン等の画像処理装置を用いて上述の補正処理を行うようにしてもよい。
【００２８】
また、パソコン等の画像処理装置に上述の画像データの補正処理を実施させるプログラムを読み込んで画像データの補正処理を実行するようにしてもよい。即ち、上述の実施の形態で用いられている画像データの補正処理プログラムは、画像処理装置に、照明ＯＦＦ画像データの特徴量ＡＢを取得するステップ、照明ＯＮ画像データの特徴量ＡＢ’を取得するステップ、特徴量ＡＢ及び特徴量ＡＢ’に基づいて、特徴量ＡＢを特徴量ＡＢ’に近づける補正係数Ｋを生成するステップ、補正係数Ｋのデータをメモリに記憶するステップ、補正係数Ｋに基づいて照明ＯＦＦ画像データの補正を行うステップを実行させる。従って、上述の実施の形態に係る画像データの補正処理プログラムによれば、メモリに予め記憶されている照明ＯＦＦ画像データ及び照明ＯＮ画像データに基づいて補正係数Ｋを算出し、補正係数Ｋを用いて照明ＯＦＦ画像データの補正を行うため、照明ＯＦＦ画像データの被写体の色を被写体本来の色に容易に補正することができる。
【００２９】
また、上述の実施の形態で用いられている補正処理プログラムは、画像処理装置のメモリに照明ＯＦＦ画像データと同じ環境で撮像された画像データが記憶されている場合に、補正係数Ｋを用いてメモリに記憶されている画像データの補正を行うステップを有してもよい。
【００３０】
また、上述の実施の形態で用いられている補正処理プログラムは、画像処理装置のメモリに記憶されている照明ＯＦＦ画像データ及び照明ＯＮ画像データについて、照明ＯＦＦ画像データの特徴量ＡＢ及び照明ＯＮ画像データの特徴量ＡＢ’にばらつきがない場合に、再撮影を促す旨を示す情報等をＬＣＤ表示部に表示して操作者に報知を行うステップを有してもよい。
【符号の説明】
【００３１】
２…カメラ、４…制御部、８…撮像部、１０…メモリ、１４…投映部、１６…ＬＣＤ表示部、１８…操作部、２６…撮影制御回路、３６…投映制御回路。
【図１】
2012133421.tif 000003
【図２】
2012133421.tif 000004
【図３】
2012133421.tif 000005
【図４】
2012133421.tif 000006
【図５】
2012133421.tif 000007
【図６】
2012133421.tif 000008