(57)【要約】【目的】葉の画像部分を鮮やかにする。【構成】自然撮影モードが選択されている場合には（ステップ21でＹＥＳ），ＣＣＤの前方に赤外線カット・フィルタを挿入した状態での被写体像の撮影と（ステップ24，28），赤外線カット・フィルタが退避させられた状態での被写体像の撮影と（ステップ25，30）が行われる。赤外線カット・フィルタを挿入したときに得られた赤外線がカットされた被写体像と，赤外線カット・フィルタが退避されられたときに得られた赤外線が含まれている被写体像とから，被写体像の中の葉の画像部分が検出される。検出された葉の画像部分が鮮やかとなるような補正が行われる（ステップ27）。【選択図】  図２
2007214933.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し，カラー被写体像を表すカラー画像データを出力する固体電子撮像装置，
上記固体電子撮像装置の受光面前方に挿入および退避自在に支持された赤外線カット・フィルタ，
上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方に挿入して被写体を撮像し，第１のカラー被写体像を表す第１のカラー画像データを出力し，かつ上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方から退避して被写体を撮像し，第２のカラー被写体像を表す第２のカラー画像データを出力するように上記固体電子撮像装置および上記赤外線カット・フィルタを制御する撮像制御手段，ならびに
上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士の色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分を検出する検出手段，
を備えたカラー撮像装置。
【請求項２】
上記検出手段によって検出された葉の画像部分が鮮やかとなるように上記第１のカラー被写体像データまたは上記第２のカラー被写体像データを補正する補正手段をさらに備えた請求項１に記載のカラー撮像装置。
【請求項３】
上記固体電子撮像装置は，ＲＧＢカラー画像データを出力するものであり，
上記撮像制御手段による制御のもとに得られた上記第１のカラー画像データおよび上記第２のカラー画像データをＬａｂ色空間の画像データに変換する色空間変換手段をさらに備え，
上記検出手段は，上記色空間変換手段によってＬａｂ色空間変換された上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士のＬａｂ色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分を検出するものである，
請求項１に記載のカラー撮像装置。
【請求項４】
固体電子撮像装置を用いて，被写体を撮像し，カラー被写体像を表すカラー画像データを得，
上記固体電子撮像装置の受光面前方に挿入および退避自在に赤外線カット・フィルタを支持しておき，
上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方に挿入して被写体を撮像し，第１のカラー被写体像を表す第１のカラー画像データを出力し，かつ上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方から退避して被写体を撮像し，第２のカラー被写体像を表す第２のカラー画像データを出力するように上記固体電子撮像装置および上記赤外線カット・フィルタを制御し，
上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士の色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分を検出する，
カラー撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，カラー撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
風景などを撮像した場合には，植物の葉などが含まれることがある。撮像により得られた画像のうち，葉が鮮やかとなるような補正をするには葉の画像部分を検出する必要がある。たとえば，入射光を分光ミラーによって可視光と赤外光とに分光し，可視光用の撮像素子と赤外光用の撮像素子を用いて受光し，得られた可視光像と赤外光像とを比較することにより葉などの部分を検出するものがある（特許文献１）。
【特許文献１】特開2002−5842号公報
【０００３】
しかしながら，可視光像用と赤外光像用の二つの撮像素子が必要となる。
【発明の開示】
【０００４】
この発明は，一つの撮像素子を用いて葉の画像部分を認識することを目的とする。
【０００５】
この発明によるカラー撮像装置は，被写体を撮像し，カラー被写体像を表すカラー画像データを出力する固体電子撮像装置，上記固体電子撮像装置の受光面前方に挿入および退避自在に支持された赤外線カット・フィルタ，上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方に挿入して被写体を撮像し，第１のカラー被写体像を表す第１のカラー画像データを出力し，かつ上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方から退避して被写体を撮像し，第２のカラー被写体像を表す第２のカラー画像データを出力するように上記固体電子撮像装置および上記赤外線カット・フィルタを制御する撮像制御手段，ならびに上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士の色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分を検出する検出手段を備えていることを特徴とする。
【０００６】
この発明は，上記カラー撮像装置に適した制御方法も提供している。すなわち，この方法は，固体電子撮像装置を用いて，被写体を撮像し，カラー被写体像を表すカラー画像データを得，上記固体電子撮像装置の受光面前方に挿入および退避自在に赤外線カット・フィルタを支持しておき，上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方に挿入して被写体を撮像し，第１のカラー被写体像を表す第１のカラー画像データを出力し，かつ上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方から退避して被写体を撮像し，第２のカラー被写体像を表す第２のカラー画像データを出力するように上記固体電子撮像装置および上記赤外線カット・フィルタを制御し，上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士の色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分を検出するものである。
【０００７】
この発明によると，固体電子撮像装置の受光面前方に挿入および退避自在な赤外線カット・フィルタが支持されている。上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方に挿入して被写体を撮像し，第１のカラー被写体像を表す第１のカラー画像データが得られ，かつ上記赤外線カット・フィルタを上記固体電子撮像装置の受光面前方から退避して被写体を撮像し，第２のカラー被写体像を表す第２のカラー画像データが得られる。上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士の色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分が検出される。葉の画像部分は，上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士の色空間上の差分が大きい。このために，この差分にもとづいて葉の画像部分を検出することができる。また，一つの固体電子撮像装置を用いて葉の画像部分を検出することができる。
【０００８】
上記検出手段によって検出された葉の画像部分が鮮やかとなるように上記第１のカラー被写体像データまたは上記第２のカラー被写体像データを補正する補正手段をさらに備えることが好ましい。
【０００９】
上記固体電子撮像装置は，たとえば，ＲＧＢカラー画像データを出力するものである。この場合，上記撮像制御手段による制御のもとに得られた上記第１のカラー画像データおよび上記第２のカラー画像データをＬａｂ色空間の画像データに変換する色空間変換手段をさらに備える。そして，この場合，上記検出手段は，上記色空間変換手段によってＬａｂ色空間変換された上記第１のカラー被写体像と上記第２のカラー被写体像とにおいて対応する画素同士のＬａｂ色空間上の差分にもとづいて，上記第１のカラー被写体像または上記第２のカラー被写体像に含まれる葉の画像部分を検出するものとなろう。
【実施例】
【００１０】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【００１１】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ８によって統括される。
【００１２】
この実施例によるディジタル・スチル・カメラは，被写体像の中に葉の画像が含まれている場合に，その葉の画像を検出し，葉の画像に適した補正をすることができる。このように，葉の画像に適した補正を行う撮影モードが自然撮影モードであり，モード選択ダイアル９によって選択される。モード選択ダイアル９によって選択された自然撮影モード，通常撮影モードその他のモードを示す信号は，ＣＰＵ８に入力する。
【００１３】
撮像素子としてのＣＣＤ３の前方には撮像レンズ１およびＩＲ（赤外線）カット・フィルタ２が設けられている。ＩＲカット・フィルタ２は，モータ５によって，ＣＣＤ３の受光面前方に挿入および退避自在に支持されている。モータ５の動作は，ＣＰＵ８によって制御されるＩＲカット・フィルタ動作制御回路６によって制御される。詳しくは，後述するように，自然撮影モードが設定されると，ＣＣＤ３の受光面前方にＩＲカット・フィルタ２が挿入された状態での被写体の撮影と，ＣＣＤ３の受光面前方からＩＲカット・フィルタ２が退避された状態での被写体の撮影とが行われる。これらの撮影によって得られた二駒の被写体像を用いて被写体像の葉の画像部分が検出され，検出された葉の画像部分について補正が行われる。
【００１４】
撮影制御回路７によってＣＣＤ３が制御され，ＣＣＤ３によって被写体が撮影される。ＣＣＤ３のフォトダイオード上には赤色の光成分を透過するフィルタと，緑色の光成分を透過するフィルタと，青色の光成分を透過するフィルタとが交互に設けられている。被写体が撮像されることにより，被写体像を表すＲＧＢのカラー映像信号がＣＣＤ３から出力され，アナログ／ディジタル変換回路４においてＲＧＢのディジタル・カラー画像データに変換される。変換されたディジタル・カラー画像データが表示装置（図示略）に与えられることにより，撮影によって得られた被写体像が表示される。
【００１５】
通常撮影モードが設定されている場合において，シャッタ・レリーズ・ボタンが押されると，上述のようにアナログ／ディジタル変換回路４において変換されたＲＧＢカラー画像データは，所定の信号処理が行われて，メモリ・カード（図示略）に記録される。自然撮影モードが設定されている場合において，シャッタ・レリーズ・ボタンが押されると，上述のように，ＣＣＤ３の前方にＩＲカット・フィルタが挿入された状態で被写体が撮像された被写体像を表す画像データと，ＣＣＤ３の前方からＩＲカット・フィルタが退避された状態で被写体が撮像された被写体像を表すカラー画像データとが得られる。得られた二駒の被写体像を表すカラー画像データは，メモリ10に与えられ，一時的に記憶される。メモリ10から二駒の被写体像を表す画像データが読み取られて画像認識／処理回路11に入力する。画像認識／処理回路11において，上述のように葉の画像部分が検出され，検出された葉の画像部分が補正される。葉の画像部分が補正されたカラー画像データ（ＣＣＤ３の前方にＩＲカット・フィルタ２が挿入されたときに得られたカラー画像データが補正されることとなろうが，ＩＲカット・フィルタ２がＣＣＤ３から退避したときに得られたカラー画像データが補正されてもよい）が画像認識／処理回路11から出力される。出力された補正カラー画像データは，メモリ10を介して出力され，所定の信号処理を介してメモリ・カードに与えられ，記録される。
【００１６】
図２は，ディジタル・スチル・カメラの撮影処理手順を示すフローチャートである。
【００１７】
モード選択ダイアル９によって自然撮影モードが設定されているかどうかが確認される（ステップ21）。
【００１８】
自然撮影モードが設定されていると（ステップ21でＹＥＳ），ＩＲカット・フィルタ２がＣＣＤ３の受光面前方に挿入されているかどうかが確認される（ステップ22）。
【００１９】
ＩＲカット・フィルタ２がＣＣＤ３の受光面前方に挿入されていれば（ステップ22でＹＥＳ），挿入されている状態で被写体が撮影され（ステップ28），被写体像を表すカラー画像データがメモリ10に記憶される。つづいて，ＩＲカット・フィルタ２がＣＣＤ３の受光面前方から退避させられて（ステップ29），再び被写体が撮影される（ステップ30）。撮影によって得られたカラー画像データがメモリ10に記憶される。
【００２０】
ＩＲカット・フィルタ２がＣＣＤ３の受光面前方に挿入されていなければ（ステップ22でＮＯ），ＣＣＤ３の受光面前方に挿入させられて（ステップ23），被写体が撮影される（ステップ24）。撮影によって得られたカラー画像データは，メモリ10に記憶される。つづいて，ＩＲカット・フィルタ２がＣＣＤ３の受光面前方から退避させられて（ステップ25），再び被写体が撮影される。撮影によって得られたカラー画像データは，メモリ10に記憶される。
【００２１】
このようにして，自然撮影モードが設定されている場合には，ＣＣＤ３の受光面前方にＩＲカット・フィルタ３が挿入されている状態で被写体が撮影されて得られる画像データとＩＲカット・フィルタ３が退避されている状態で被写体が撮影されて得られる画像データとの二駒の画像データが得られる。得られた二駒の画像データを用いて葉の画像部分について色補正処理が行われる（ステップ27）。
【００２２】
自然撮影モードが設定されていなければ（ステップ21でＮＯ），ＣＣＤ３の受光面前方にＩＲカット・フィルタ２が挿入されているかどうかが確認される（ステップ31）。挿入されていなければ（ステップ31でＮＯ），ＩＲカット・フィルタ２がＣＣＤ３の受光面前方に挿入される（ステップ32）。ＩＲカット・フィルタ３がＣＣＤ３の受光面前方に挿入されている状態で（ステップ31でＹＥＳ，32），被写体が撮影される（ステップ33）。
【００２３】
図３は，ＣＣＤ３の受光面前方にＩＲカット・フィルタ３を挿入した状態で被写体を撮影することにより得られた被写体像の一例である。
【００２４】
図３においては，ＩＲカット・フィルタ３がＣＣＤ３の受光面前方に挿入した状態で被写体が撮影されて得られ，赤外線成分がカットされた被写体像Ｉ１であることを示すために，被写体像Ｉ１全体に渡ってハッチングが示されている。この被写体像Ｉ１には，葉の画像部分41が含まれている。
【００２５】
図４は，ＣＣＤ３の受光面前方からＩＲカット・フィルタ３を退避した状態で被写体を撮影することにより得られた被写体像の一例である。
【００２６】
図４においては，図３と異なり，ＩＲカット・フィルタ３がＣＣＤ３の受光面前方から退避した状態で被写体が撮影されて得られ，赤外線成分が含まれている被写体像Ｉ２であることを示すために，被写体像Ｉ２にハッチングは示されていない。この被写体像Ｉ２は，被写体像Ｉ１と同じであるために，葉の画像部分42が含まれている。
【００２７】
図５は，色補正処理の処理手順を示すフローチャートである。
【００２８】
上述のようにして得られた赤外線成分がカットされた第１の被写体像Ｉ１を構成するすべての画素を表すデータについて式１から式３にしたがってＬａｂ変換が行われる（ステップ51）。ただし，式１において，Ｒ，Ｇ，Ｂは，ＲＧＢカラー画像データのデータ・レベルであり，Ｎは，画像のビット精度であり，たとえば，８ビットである。
【００２９】
Ｌ（Ｒ）＝Ｒ／Ｎ
Ｌ（Ｇ）＝Ｇ／Ｎ                    ・・・式１
Ｌ（Ｂ）＝Ｂ／Ｎ
【００３０】
【数１】
2007214933.tif 000003
【数２】
2007214933.tif 000004
【００３１】
Ｌａｂ変換された第１の被写体像Ｉ１についてのＬａｂ色空間におけるａｂ平面上の評価値がメモリ10に記録される（ステップ52）。評価値は，Ｌａｂ変換された第１の被写体像Ｉ１のうちの特定の画素がＬａｂ色空間のａｂ平面上の座標位置であり，式３から得られる。
【００３２】
図６は，Ｌａｂ色空間におけるａｂ平面を示している。
【００３３】
第１の被写体像Ｉ１の特定の画素ｃ１がａｂ平面において（ａ１，ｂ１）において示されるとする。すると，その特定の画素ｃ１の評価値は，（ａ１，ｂ１）によって表される。
【００３４】
図５に戻って，つづいて，赤外線成分が含まれた第２の被写体像Ｉ２を構成するすべての画素を表すデータについてＬａｂ変換が行われる（ステップ53）。Ｌａｂ変換された第２の被写体像Ｉ２についてのＬａｂ色空間におけるａｂ平面上の評価値がメモリ10に記録される（ステップ54）。
【００３５】
図６を再び参照して，第１の被写体像Ｉ１の特定の画素ｃ１に対応するような第２の被写体像Ｉ２の特定の画素ｃ２は，ａｂ平面において（ａ２，ｂ２）によって表される。被写体の同じ部分を表す画素であっても赤外線がカットされた被写体像Ｉ１における画素ｃ１と赤外線が含まれている被写体像Ｉ２における画素ｃ２とでは，ａｂ平面上において距離（差分）Δｃだけ異なる。被写体の葉の部分については，この差分Δｃが大きくなるから，この差分Δｃにもとづいて被写体像Ｉ１またはＩ２のうちの葉の画像部分が検出される。
【００３６】
再び，図５を参照して，式４にもとづいて，差分Δｃが算出される（ステップ55）。
【数３】
2007214933.tif 000005
【００３７】
算出された差分Δｃが閾値以上であれば（ステップ56でＹＥＳ），その画素は葉を表していると考えられる。このためにその画素の部分が葉として認識され，記憶される（ステップ57）。算出された差分Δｃが閾値未満であれば（ステップ56でＮＯ），ステップ57の処理はスキップされる。被写体像Ｉ１およびＩ２のすべての領域について，ステップ55から57までの評価値の比較（差分Δｃが閾値以上かどうかの判定）が行われる（ステップ58）。すべての領域について評価値の比較が終了すると（ステップ58でＹＥＳ），葉であると判定された画像部分が鮮やかな色となるように色補正（彩度補正）が行われる（ステップ59）。この色補正は，上述したように，通常は赤外線がカットされた被写体像Ｉ１について行われるが，赤外線が含まれている被写体像Ｉ２について行ってもよい。
【００３８】
上述した実施例においては，ＲＧＢカラー画像データをＬａｂ色空間に変換した上で差分が検出されているが，Ｌａｂ色空間に変換せずにＲＧＢ色空間上で差分を検出することもできる。
【００３９】
図７は，ＲＧＢ色空間上で差分を検出して色補正を行う場合の処理手順を示すフローチャートである。この図において図６に示す処理と同じ処理については同じ符号を付して説明を省略する。
【００４０】
第１の被写体像Ｉ１のすべての画素について，ＲＧＢ色空間上における評価値がメモリ14に記憶される（ステップ61）。この評価値は，第１の被写体像Ｉ１を構成する画素のＲＧＢ色空間における座標値Ｒ１，Ｇ１，Ｂ１である。つづいて，第２の被写体像Ｉ２のすべての画素について，ＲＧＢ色空間上における評価値がメモリ14に記憶される（ステップ62）。
【００４１】
第１の被写体像Ｉ１の特定の画素の評価値と，その画素に対応する第２の被写体像Ｉ２の特定の画素の評価値との差分Δｃが式５にしたがって算出される（ステップ63）。算出されたΔｃが閾値以上であれは，その画素の部分が葉と認識される（ステップ57）。
【数４】
2007214933.tif 000006
【００４２】
このようにして，Ｌａｂ変換することなく，ＲＧＢ色空間の状態で葉の画像部分を検出することもできる。
【図面の簡単な説明】
【００４３】
【図１】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図２】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図３】ＣＣＤの受光面前方にＩＲカット・フィルタを挿入して得られた被写体像の一例である。
【図４】ＣＣＤの受光面前方からＩＲカット・フィルタを退避して得られた被写体像の一例である。
【図５】色補正処理手順を示すフローチャートである。
【図６】Ｌａｂ色空間におけるａｂ平面を示している。
【図７】色補正処理手順を示すフローチャートである。
【符号の説明】
【００４４】
２  赤外線カット・フィルタ
３  ＣＣＤ
７  撮影制御回路
８  ＣＰＵ
11  画像認識／処理回路
【図１】
2007214933.tif 000007
【図２】
2007214933.tif 000008
【図３】
2007214933.tif 000009
【図４】
2007214933.tif 000010
【図５】
2007214933.tif 000011
【図６】
2007214933.tif 000012
【図７】
2007214933.tif 000013