(57)【要約】【目的】黒つぶれ無い被写体像を得る。【構成】ダイクロイック・ミラー２を用いて，被写体像を表す光線を近赤外光Ｌ１と可視光Ｌ２とに分離する。近赤外光Ｌ１が近赤外用ＣＣＤ７に入射することにより，第１のＡＦＥ４から近赤外光像データが得られる。可視光Ｌ２が可視用ＣＣＤ５に入射することにより，第２のＡＦＥ６から可視光像データが得られる。可視光像の黒つぶれの部分が赤外光像に置き換えられる処理がＤＳＰ９において行われる。置き換え処理が行われることにより黒つぶれが除去された被写体像を表す画像データがメモリ・カード13に記録される。【選択図】  図１
2007208346.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し，可視光の被写体像を表す可視光像データと近赤外光の被写体像を表す近赤外光像データとを出力する撮像装置，
上記撮像装置から出力された可視光像データによって表される可視光の被写体像のうち黒つぶれの画像部分を検出する検出手段，および
上記可視光の被写体像のうち，上記検出手段によって検出された黒つぶれの画像部分を，上記撮像装置から出力された近赤外光像データによって表される近赤外光の被写体像のうち，上記黒つぶれの画像部分に対応する画像部分に置き換えた被写体像を表す被写体像データを生成する生成手段，
を備えた撮像システム。
【請求項２】
上記撮像装置は，上記可視光像データを出力する第１の固体電子撮像素子と，上記近赤外光像データを出力する第２の固体電子撮像素子とを含むものである，請求項１に記載の撮像システム。
【請求項３】
上記近赤外光の被写体像を表す光線を上記第１の固体電子撮像素子に導き，かつ上記可視光の被写体像を表す光線を上記第２の固体電子撮像素子に導くビーム・スプリッタをさらに備えた請求項２に記載の撮像システム。
【請求項４】
上記第１の固体電子撮像素子および上記第２の固体電子撮像素子に動作電源を供給する電源，
上記第１の固体電子撮像素子または上記第２の固体電子撮像素子の使用停止を設定する設定手段，
上記設定手段による使用停止の設定に応じて，上記第１の固体電子撮像素子または上記第２の固体電子撮像素子への動作電源の供給を停止するように上記電源を制御する電源制御手段，および
上記設定手段による使用停止に応じて，上記置き換え処理を停止するように上記生成手段を制御する置き換え停止制御手段，
をさらに備えた請求項２に記載の撮像システム。
【請求項５】
置き換え指令を与える指令手段をさらに備え，
上記生成手段は，上記指令手段からの置き換え指令に応じて，上記置き換え処理を行うものである，
請求項１に記載の撮像システム。
【請求項６】
上記撮像装置は，上記被写体像の緑色成分を表す緑色可視光像データを出力する緑用固体電子撮像素子と，上記被写体像の青色成分を表す青色可視光像データを出力する青色固体電子撮像素子と，上記被写体像の赤色成分および近赤外成分を表す赤外可視光像／近赤外可視光像データを出力する赤／近赤外用固体電子撮像素子を含むものである，
請求項１に記載の撮像システム。
【請求項７】
上記生成手段によって生成された被写体像データによって表される被写体像と上記撮像装置から出力された可視光像データによって表される可視光の被写体像とを表示画面上に表示するように表示装置を制御する表示制御手段，
上記生成手段によって生成された被写体像データによって表される被写体像を記録媒体に記録する指令を与える記録指令手段，および
上記記録指令手段からの記録指令に応じて，上記生成手段によって生成された被写体像データを記録媒体に記録する記録制御手段，
をさらに備えた請求項１に記載の撮像システム。
【請求項８】
撮像装置を用いて，被写体を撮像し，可視光の被写体像を表す可視光像データと近赤外光の被写体像を表す近赤外光像データとを得，
検出装置が，上記撮像装置から出力された可視光像データによって表される可視光の被写体像のうち黒つぶれの画像部分を検出し，
上記可視光の被写体像のうち，上記検出装置によって検出された黒つぶれの画像部分を，上記撮像装置から出力された近赤外光像データによって表される近赤外光の被写体像のうち，上記黒つぶれの画像部分に対応する画像部分に置き換えた被写体像を表す被写体像データを生成する生成する，
を備えた撮像システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，撮像システムおよびその制御方法に関する。
【背景技術】
【０００２】
入射した光を可視光と非可視光とに分離して，分離したそれぞれの光を可視光用の撮像素子と非可視光用の撮像素子とに入射するような撮像装置がある（特許文献１，２）。
【特許文献１】特開平６−121325号公報
【特許文献２】特開2003−169260号公報
【０００３】
しかしながら，これらの撮像装置では，被写体が暗い場合に，被写体像にいわゆる黒つぶれが起きることがある。
【発明の開示】
【０００４】
この発明は，黒つぶれしない被写体像を得ることを目的とする。
【０００５】
この発明による撮像システムは，被写体を撮像し，可視光の被写体像を表す可視光像データと近赤外光の被写体像を表す近赤外光像データとを出力する撮像装置，上記撮像装置から出力された可視光像データによって表される可視光の被写体像のうち黒つぶれの画像部分を検出する検出手段，および上記可視光の被写体像のうち，上記検出手段によって検出された黒つぶれの画像部分を，上記撮像装置から出力された近赤外光像データによって表される近赤外光の被写体像のうち，上記黒つぶれの画像部分に対応する画像部分に置き換えた被写体像を表す被写体像データを生成する生成手段を備えていることを特徴とする。
【０００６】
この発明は，上記撮像システムに適した制御方法も提供している。すなわち，この方法は，撮像装置を用いて，被写体を撮像し，可視光の被写体像を表す可視光像データと近赤外光の被写体像を表す近赤外光像データとを得，検出装置が，上記撮像装置から出力された可視光像データによって表される可視光の被写体像のうち黒つぶれの画像部分を検出し，上記可視光の被写体像のうち，上記検出装置によって検出された黒つぶれの画像部分を，上記撮像装置から出力された近赤外光像データによって表される近赤外光の被写体像のうち，上記黒つぶれの画像部分に対応する画像部分に置き換えた被写体像を表す被写体像データを生成する生成するものである。
【０００７】
この発明によると，被写体像を撮像することにより，可視光の被写体像を表す可視光像データと近赤外光の被写体像を表す近赤外光像データとが得られる。可視光の被写体像のうち黒つぶれ部分が検出され，検出された黒つぶれの画像部分が，近赤外光の被写体像のうち，黒つぶれの画像部分に対応する画像部分に置き換えた被写体像を表す被写体像データが生成される。黒つぶれの部分が近赤外光像データによって表される画像部分に置き換えられているので，生成された被写体像データによって表される被写体像から黒つぶれの部分が除去されることとなる。黒つぶれの無い被写体像が得られる。
【０００８】
上記撮像装置は，たとえば，上記可視光像データを出力する第１の固体電子撮像素子と，上記近赤外光像データを出力する第２の固体電子撮像素子とを含む。
【０００９】
上記近赤外光の被写体像を表す光線を上記第１の固体電子撮像素子に導き，かつ上記可視光の被写体像を表す光線を上記第２の固体電子撮像素子に導くビーム・スプリッタをさらに備えてもよい。
【００１０】
上記第１の固体電子撮像素子および上記第２の固体電子撮像素子に動作電源を供給する電源，上記第１の固体電子撮像素子または上記第２の固体電子撮像素子の使用停止を設定する設定手段，上記設定手段による使用停止の設定に応じて，上記第１の固体電子撮像素子または上記第２の固体電子撮像素子への動作電源の供給を停止するように上記電源を制御する電源制御手段，および上記設定手段による使用停止に応じて，上記置き換え処理を停止するように上記生成手段を制御する置き換え停止制御手段をさらに備えることが好ましい。第１の固体電子撮像素子または第２の固体電子撮像素子のうち，不要な素子に電源供給を停止でき，消費電力を抑えることができる。
【００１１】
置き換え指令を与える指令手段をさらに備えてもよい。この場合には，上記生成手段は，上記指令手段からの置き換え指令に応じて，上記置き換え処理を行うものとなろう。
【００１２】
上記撮像装置は，たとえば，上記被写体像の緑色成分を表す緑色可視光像データを出力する緑用固体電子撮像素子と，上記被写体像の青色成分を表す青色可視光像データを出力する青色固体電子撮像素子と，上記被写体像の赤色成分および近赤外成分を表す赤外可視光像／近赤外可視光像データを出力する赤／近赤外用固体電子撮像素子を含むものとすることもできる。
【００１３】
上記生成手段によって生成された被写体像データによって表される被写体像と上記撮像装置から出力された可視光像データによって表される可視光の被写体像とを表示画面上に表示するように表示装置を制御する表示制御手段，上記生成手段によって生成された被写体像データによって表される被写体像を記録媒体に記録する指令を与える記録指令手段，および上記記録指令手段からの記録指令に応じて，上記生成手段によって生成された被写体像データを記録媒体に記録する記録制御手段をさらに備えてもよい。記録指令が与えられることにより，置き換え処理により得られた被写体像データを記録できるし，置き換え処理の行われていない可視光像データを記録することもできるようになる。
【実施例】
【００１４】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００１５】
ディジタル・スチル・カメラには，シャッタ・レリーズ・ボタン，モード・スイッチ，上下左右キー，決定ボタンなどの各種指令を与えるための操作器16が設けられている。この操作器16から出力される操作信号は，ＤＳＰ（ディジタル・シグナル・プロセッサ）９に入力する。
【００１６】
ディジタル・スチル・カメラには，電源８が設けられている。電源８は，ディジタル・スチル・カメラから着脱自在であっても無くてもよい。電源８から供給される電源は，電源制御回路７に与えられ，この電源制御回路７によって後述する近赤外用ＣＣＤ３，可視用ＣＣＤ５，第１のＡＦＥ（アナログ・フロント・エンド）４，第２のＡＦＥ６，ＤＳＰ９などに動作電源が供給される。電源制御回路７によって各回路への動作電源の供給の停止も制御される。
【００１７】
被写体像を表す光線は，撮像レンズ１によって集光させられてダイクロイック・ミラー（ビーム・スプリッタ）２に導かれる。被写体像を表す光線は，ダイクロイック・ミラー２によって，650nm程度以上の波長をもつ近赤外光Ｌ１と650nm程度以下の波長をもつ可視光Ｌ２とに分離される。近赤外光Ｌ１は，近赤外用ＣＣＤ７の受光面に導かれる。可視光Ｌ２は，可視用ＣＣＤ５に導かれる。
【００１８】
撮像モードが設定されると，可視用ＣＣＤ５からは，650nm程度以下の波長をもつ光学的な被写体像を表す可視光像信号が出力する。可視光用ＣＣＤ５の受光面上には赤外線カット・フィルタが設けられていても良いし，設けられていなくても良い。可視用ＣＣＤ５から出力された可視光像信号は，第２のＡＦＥ６において，近赤外光像信号と同様に所定の信号処理が行われ，可視光像データとして出力される。第２のＡＦＥ６から出力された可視光像データは，ＤＳＰ９においてガンマ補正，白バランス調整などの所定の信号処理が行われてＬＣＤ（液晶表示装置）ドライバ14によってＬＣＤ15に与えられる。ＬＣＤ15の表示画面に被写体の可視光像が表示される。
【００１９】
ＬＣＤ15に表示されている被写体の可視光像を見ながら，ユーザによってカメラ・アングルが決定されると，シャッタ・レリーズ・ボタンが押される。すると，上述のようにして，第２のＡＦＥ６から出力された可視光像データはＤＳＰ９を通過して，メモリ・コントローラ10の制御のもとに内蔵メモリ11に入力し，記憶される。
【００２０】
近赤外用ＣＣＤ３の受光面上には赤外線カット・フィルタは設けられていない。したがって，近赤外用ＣＣＤ３からは，650nm程度以上の波長をもつ光学的な被写体像を表す近赤外光像信号が出力する。近赤外用ＣＣＤ３から出力された近赤外光像信号は，第１のＡＦＥ４に入力する。近赤外光像データは，第１のＡＦＥ４において，相関二重サンプリング，ゲイン調整，アナログ／ディジタル変換処理などの所定の信号処理が行われ，近赤外光像データとして出力される。第１のＡＦＥ４から出力された近赤外光像データも，ＤＳＰ９を通過して内蔵メモリ11に入力し，記憶される。
【００２１】
内蔵メモリ11に記憶されたデータのうち，可視光像データが読み出されＤＳＰに９入力する。ＤＳＰ９において，可視光像データによって表される被写体の可視光像のうち黒つぶれがある画像部分が検出される。画素のレベルが０〜255まで値によって表現される場合，ほぼ５以下のレベルの画素が黒つぶれの画素と考えられる。そのような黒つぶれの画素の集まりが黒つぶれの画像部分として検出される。可視光像のうち黒つぶれの画像部分が，赤外光像のうち可視光像の黒つぶれの画像部分に対応する画像部分に置き換える処理が行われる。置き換え処理によって得られた被写体像を表す画像データは，メモリ・コントローラ10の制御により内蔵メモリ11に記憶される。
【００２２】
置き換え処理によって得られた被写体像を表す画像データおよび可視光像データはメモリ・コントローラ10の制御のもとに内蔵メモリ11から読み出され，ＤＳＰ９およびＬＣＤドライバ14を介してＬＣＤ15に与えられる。これにより，ＬＣＤ15の表示画面上には，置き換え処理によって得られた被写体像と可視光像との両方の被写体像が対比して表示される。いずれか一方の被写体像が操作器16によって指定されると，指定された被写体像を表す画像データが内蔵メモリ11から読み取られる。読み取られた画像データがメモリ・インターフェイス12を介してメモリ・カード13に与えられることにより，記録される。
【００２３】
上述の実施例では，撮像モードが選択されると，可視光像がＬＣＤ15の表示画面上に表示されているが，上述のようにして置き換え処理が行われた被写体像または赤外光像が表示されるようにしてもよい。
【００２４】
図２は，ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【００２５】
上述のように，被写体が撮像され，可視光像データおよび近赤外光像データが得られる（ステップ21）。可視光像データによって表される被写体の可視光像の中に黒つぶれの画像部分があるかどうかが確認される（ステップ22）。黒つぶれの画像部分がある場合には（ステップ22でＹＥＳ），その黒つぶれの画像部分の位置が記憶される（ステップ23）。そして，上述したように，可視光像の黒つぶれの画像部分が，赤外光像のうち，その黒つぶれの画像部分に対応する画像部分に置き換えられる（ステップ24）。
【００２６】
図３は可視光像Ｉ１の一例を，図４は近赤外光像Ｉ２の一例を，図５は置き換え処理が行われた被写体像Ｉ３の一例をそれぞれ示している。
【００２７】
図３を参照して，可視光像Ｉ１のうち下方の画像部分（ハッチングで示す）60が黒つぶれの画像部分であると検出されたものとする。すると，図４を参照して，近赤外光像Ｉ２のうち，可視光像Ｉ１の黒つぶれの画像部分60に対応する画像部分61が，可視光像Ｉ１の黒つぶれの画像部分60に置き換えられる。図５は，このような置き換え処理が行われた被写体像Ｉ３を示している。置き換え処理により，被写体像Ｉ３のうち，可視光像Ｉ１が黒つぶれしていない画像部分については可視光像Ｉ１から得られた画像部分となり，可視光像Ｉ１が黒つぶれしている画像部分については赤外光像Ｉ２から得られた画像部分となる。黒つぶれの無い被写体像Ｉ３が得られる。
【００２８】
図２に戻って，置き換え処理が行われると，上述したように，可視光像と置き換え処理後の被写体像とが対比して表示される（ステップ25）。
【００２９】
図６は，ＬＣＤ15の表示画面の一例である。
【００３０】
表示画面40の下方左側に置き換え処理が行われる前の可視光像42が表示され，可視光像42の右側に置き換え処理後の被写体像43が表示されている。これらの可視光像42および被写体像43の上部に「置き換えられた被写体像を記録しますか？」の文章ならびに「ＹＥＳ」および「ＮＯ」の単語が表示されている。「ＹＥＳ」の文字には下線41が表示されており，操作器16に含まれている左右の矢印キーに押下に応じて下線41が「ＹＥＳ」または「ＮＯ」の文字の下に移動する。操作器16に含まれている決定ボタンが押されると，押されたときに下線41がある文字の指令となる。たとえば，「ＹＥＳ」の文字に下線41がある場合に決定ボタンが押されると，置き換え処理後の被写体像を表す画像データがメモリ・カード13に記録される。「ＮＯ」の文字に下線41がある場合に決定ボタンが押されると，置き換え処理前の可視光像データがメモリ・カード13に記録される。
【００３１】
再び図２に戻って，上述したように，置き換え処理前の可視光像と置き換え処理後の被写体像とが対比して表示される（ステップ25）。置き換え処理後の被写体像データをメモリ・カード13に記録する指令が与えられると（ステップ26でＹＥＳ），その被写体像データがメモリ・カード13に与えられ，記録される（ステップ27）。置き換え処理前の可視光像をメモリ・カード13に記録する指令が与えられると（ステップ26でＮＯ），可視光像データがメモリ・カード13に与えられ，記録される（ステップ28）。可視光像の中に黒つぶれの画像部分が無い場合にも（ステップ22でＮＯ），可視光像データがメモリ・カード13に記録される（ステップ28）。
【００３２】
図７は，他の実施例を示すもので，ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【００３３】
撮像レンズ31によって被写体像を表す光線が集光され，分離プリズム32に導かれる。分離プリズムは，入射する光線を赤色または赤外の波長をもつ光線，緑色の波長をもつ光線ならびに青色の波長をもつ光線にそれぞれ分離するものである。赤色または赤外の波長をもつ光線はＲ用ＣＣＤ33の受光面に導かれ，緑色の波長をもつ光線はＧ用ＣＣＤ33の受光面に導かれ，青用の波長をもつ光線はＢ用ＣＣＤ35の受光面に導かれる。
【００３４】
Ｒ用ＣＣＤ33からは赤色または赤外の被写体像を表す赤色可視光像／近赤外光像信号が出力される。赤色可視光像／近赤外光像信号は，第１のＡＦＥ36に入力し，上述したように所定の信号処理が行われて赤色可視光像／近赤外光像データとしてＤＳＰ39に入力する。Ｇ用ＣＣＤ34からは緑色の被写体像を表す緑色可視光像信号が出力する。緑色可視光像信号は，第２のＡＦＥ37に入力し，所定の信号処理が行われて緑色可視光像データとしてＤＳＰ39に入力する。Ｂ用ＣＣＤ35からは青色の被写体像を表す青色可視光像信号が出力する。青色可視光像信号は，第３のＡＦＥ38に入力し，所定の信号処理が行われて青色可視光像データとしてＤＳＰ39に入力する。
【００３５】
ＤＳＰ39において，赤色可視光像／近赤外光像データによって表される赤色可視光像／近赤外光像，緑色可視光像データによって表される緑色可視光像および青色可視光像データによって表される緑色可視光像から一駒のカラー被写体像が生成される。生成されたカラー被写体像の黒つぶれの画像部分が検出される。黒つぶれの画像部分が検出されると，カラー被写体像のうち検出された黒つぶれの画像部分が，その画像部分に対応する赤色可視光像／近赤外光像に画像部分に置き換えられる。このようにして，上述と同様に黒つぶれの無いカラー被写体像が生成されるのは理解できよう。
【００３６】
図８は，ＬＣＤ15の表示画面の一例である。
【００３７】
表示画面40には，設定メニューの画像が表示されている。この設定メニューの画像は，操作器16に含まれているモード・ダイアルによって設定メニューが選択されることにより表示画面40に表示される。
【００３８】
設定メニューの画像の左側には，ディジタル・スチル・カメラによって設定可能なメニュー・テーブル44が表示されている。メニュー・テーブル44には，ユーザが設定可能な各メニューが表示されている。メニュー・テーブル44のいずれかのメニューを囲むためのカーソル45が表示されている。カーソル45は，撮像モードのメニューを囲んでおり，撮像モードの設定ができる状態であることを示している。カーソル45は，操作器16に含まれる上下キーの操作に応じて上下に移動する。
【００３９】
メニュー・テーブル44の右側には撮像モード・メニュー・テーブル46が表示されている。撮像モード・メニュー・テーブル46は，撮像モードとして設定可能なメニューを表示するものである。撮像モードとして設定可能なメニューには，可視光像データを記録する可視光撮像モード（可視光像），近赤外光像データを記録する近赤外光像撮像モード（近赤外光像）および上述したように可視光像のうち黒つぶれの部分が近赤外光像によって置き換えられた被写体像データを記録する近赤外光像／可視光像撮像モード（近赤外光像／可視光像）がある。撮像モード・メニュー・テーブル46のいずれかのメニューを囲むためのカーソル47が表示されている。カーソル47は，近赤外光像／可視光像撮像モードを囲んでおり，近赤外光像／可視光像撮像モードが設定可能である状態であることを示している。カーソル47は操作器16に含まれている左右キーの左右操作に応じて上下に移動する。
【００４０】
操作器16に含まれている決定ボタンが押されることよりカーソル47によって特定される撮像モードが決定され，その撮像モードにより得られる画像データが上述のようにメモリ・カード13に記録される。このように，設定メニューを利用して，メモリ・カード13に記録する画像データの種類（可視光像データか，近赤外光像データか，置き換え処理が行われた被写体像データか）を決定することもできる。
【００４１】
図９は，上述のようにして撮像モードが選択された場合の電源供給処理の一例を示すフローチャートである。
【００４２】
上述のようにしてユーザによって撮像モードが選択されると（ステップ51），選択された撮像モードに応じて図１に示す可視用ＣＣＤ５を使用するかどうか（ステップ52），近赤外用ＣＣＤ３を使用するかどうか（ステップ54）が判断される。たとえば，可視光像撮像モードが選択されると，（ステップ52でＮＯ），近赤外用ＣＣＤ３は使用しないと判断されるステップ54でＮＯ）。近赤外用ＣＣＤ３への電源の供給が停止するように電源制御回路７が動作する。近赤外光像撮像モードが選択されると（ステップ52でＮＯ，ステップ54でＹＥＳ），可視用ＣＣＤ５への電源の供給が停止させられる（ステップ53）。近赤外光像／可視光撮像モードが選択されると（ステップ52，54のいずれもＹＥＳ），可視用ＣＣＤ５および近赤外用ＣＣＤ３のいずれにも電源が供給される。
【００４３】
不要なＣＣＤには電源供給が停止するので電力消費を抑えることができる。
【図面の簡単な説明】
【００４４】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【図３】可視光像の一例である。
【図４】近赤外光像の一例である。
【図５】置き換えられた被写体像の一例である。
【図６】表示画面の一例である。
【図７】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図８】表示画面の一例である。
【図９】ディジタル・スチル・カメラの電源制御の処理手順を示すフローチャートである。
【符号の説明】
【００４５】
２  ダイクロイック・ミラー（ビーム・スプリッタ）
３  近赤外用ＣＣＤ
５  可視用ＣＣＤ
７  電源制御回路
８  電源
９  ＤＳＰ
10  メモリ・コントローラ
11  内蔵メモリ
61  黒つぶれの画像部分
Ｉ１  可視光像
Ｉ２  近赤外光像
Ｉ３  置き換えられた被写体像
【図１】
2007208346.tif 000003
【図２】
2007208346.tif 000004
【図３】
2007208346.tif 000005
【図４】
2007208346.tif 000006
【図５】
2007208346.tif 000007
【図６】
2007208346.tif 000008
【図７】
2007208346.tif 000009
【図８】
2007208346.tif 000010
【図９】
2007208346.tif 000011