(57)【要約】【課題】  被写界深度を擬似的に浅くするための技術を提供する。【解決手段】  本発明の撮像装置は、撮像部、および画像処理部を備える。撮像部は、撮影レンズを介して被写体に焦点があった可視光と、焦点がずれた赤外光を撮像する。画像処理部は、可視光とボケた赤外光とから画像を作成する。【選択図】      図２
2007318233.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズを介して被写体に焦点があった可視光と、焦点がずれた赤外光を撮像する撮像部と、
前記撮像部が撮像した前記可視光とボケた前記赤外光とから画像を作成する画像処理部とを有すること
を特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像処理部は、前記可視光から前記被写体の可視画像を作成し、前記赤外光から前記被写体の赤外画像を作成し、前記可視画像にボケた前記赤外画像を反映させた画像を作成すること
を特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
主要被写体を判別する画像認識部を備え、
前記画像処理部は、前記可視画像の主要被写体を除く領域に、前記赤外画像のボケを反映させること
を特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記撮像部は、
透過波長域を可変する波長可変フィルタと、
前記波長可変フィルタの波長切り換えに従って、前記可視光と前記赤外光をそれぞれ撮像する撮像素子とを備えること
を特徴とする撮像装置。
【請求項５】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記撮像部は、
同一の撮像面に、前記可視光を光電変換する画素と、前記赤外光を光電変換する画素とを有すること
を特徴とする撮像装置。
【請求項６】
被写体に焦点があった可視光から作成した可視画像に、前記被写体から焦点がずれた赤外光から作成した赤外画像を反映させた画像を作成する手順
をコンピュータに実行させるための画像処理プログラム。                                                                               
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
撮影レンズの焦点距離が全般的に短いコンパクトタイプの電子カメラなどでは、被写界深度が深くなる。そのため、この種の電子カメラでは、合焦状態の主要被写体に比べて背景がボケにくい。
そこで、特許文献１には、ピントを意図的にずらしたボケ画像を、ピントの有った合焦画像に合成することによって、被写界深度を擬似的に浅くする技術が開示されている。
【特許文献１】特開２００３−２０９７２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来技術では、合焦画像とボケ画像を撮影する間に、撮影レンズを駆動してピント位置を大きくずらす必要がある。そのため、レンズ駆動の分だけ撮影間隔が空いてしまうといった問題点があった。
そこで、本発明では、被写界深度を擬似的に浅くする技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
《１》  本発明の撮像装置は、撮像部、および画像処理部を備える。
撮像部は、撮影レンズを介して被写体に焦点があった可視光と、焦点がずれた赤外光とを撮像する。
画像処理部は、撮像部が撮像した可視光とボケた赤外光とから画像を作成する。
《２》  なお好ましくは、画像処理部は、可視光から被写体の可視画像を作成し、赤外光から被写体の赤外画像を作成し、可視画像にボケた赤外画像を反映させた画像を作成する。
《３》  また好ましくは、画像認識部を備えて、主要被写体を判別する。画像処理部は、可視画像の主要被写体を除く領域に、赤外画像のボケを反映させる。
《４》  なお好ましくは、撮像部は、透過波長域を可変する波長可変フィルタと、波長可変フィルタの波長切り換えに従って可視光と赤外光をそれぞれ撮像する撮像素子とを備える。
《５》  また好ましくは、撮像部は、同一の撮像面に、可視光を光電変換する画素と、赤外光を光電変換する画素とを備える。
《６》  本発明の画像処理プログラムは、被写体に焦点があった可視光から作成した可視画像に、被写体から焦点がずれた赤外光から作成した赤外画像を反映させた画像を作成する手順をコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００５】
本発明によれば、可視画像に赤外画像のボケを反映させることによって、被写界深度の浅い画像を得ることができる。
【発明を実施するための最良の形態】
【０００６】
《第１実施形態》
（第１実施形態の構成説明）
図１は、撮像装置１１の構成を示すブロック図である。
図１において、撮像装置１１には、撮影レンズ１２が装着される。この撮影レンズ１２内のレンズユニットは制御部１８によって前後駆動され、焦点制御が行われる。
この撮影レンズ１２により形成される被写体像は、波長可変フィルタ１２ａを透過して、撮像部１３の撮像面に投影される。
【０００７】
この波長可変フィルタ１２ａは、制御部１８の制御によって透過波長域が変化する。このような波長可変フィルタ１２ａとしては、例えば波長チューナブル液晶フィルタが使用可能である。この波長チューナブル液晶フィルタは、液晶チューニングエレメントと複屈折フィルタとを組み合わせて構成される。この液晶チューニングエレメントを制御することにより、可視域〜赤外域の任意の波長域を選択的に透過させることができる。
【０００８】
一方、撮像部１３は、光電変換を実施し、画像データを生成する。この画像データは、Ａ／Ｄ変換部１４を介してデジタル化された後、画像処理部１５に与えられる。この画像処理部１５は、画像データに対して画像処理を施し、記録部１６に出力する。記録部１６は、画像処理後の画像データを圧縮記録する。
なお、制御部１８には、レリーズ釦などを含む操作部１８ａが接続される。
【０００９】
（第１実施形態の動作説明）
図２は、第１実施形態の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って、この動作を説明する。
【００１０】
ステップＳ１：  撮像装置１１の主電源が投入されると、制御部１８は、波長可変フィルタ１２ａを赤外カット状態（可視波長域を透過し、赤外波長域を遮断する状態）に設定する。
【００１１】
ステップＳ２：  制御部１８は、撮影レンズ１２の焦点制御を実施し、主要被写体にピントを合わせる。ここでの焦点制御方式としては、例えば、コントラスト山登り方式、瞳分割位相差検出方式、アクティブ方式、パッシブ方式その他の方式が使用可能である。
【００１２】
ステップＳ３：  制御部１８は、操作部１８ａのレリーズ操作に応じて撮像部１３を制御し、波長可変フィルタ１２ａを透過した可視波長域の被写体像を光電変換する。このようにして生成された可視画像は、Ａ／Ｄ変換部１４を介してデジタル化された後、画像処理部１５に一旦記録される。
【００１３】
ステップＳ４：  制御部１８は、可視画像の読み出しが完了すると、波長可変フィルタ１２ａを赤外透過状態（赤外波長域を透過し、可視波長域を遮断する状態）に設定する。
【００１４】
ステップＳ５：  制御部１８は、この赤外透過状態で撮像部１３を制御して、赤外波長域の被写体像を光電変換する。このように生成された赤外画像は、Ａ／Ｄ変換部１４を介してデジタル化された後、画像処理部１５に一旦記録される。
一般に、可視光用の撮像素子は、赤外波長域についても分光感度を有する。そのため、撮像部１３において赤外波長域を光電変換することが可能である。なお、撮像素子は、可視波長域と赤外波長域とで分光感度に差が生じる。そのため、この分光感度の差を考慮して、赤外画像の露出設定（撮像感度，光電変換時間など）を調整することが好ましい。
また、カラー用の撮像部１３では、画素単位に微小色フィルタが配列（ベイヤー配列など）される。そのため、一部の画素では微小色フィルタの分光遮断特性によって赤外光が遮断される可能性がある。このような場合は、赤外波長域を透過する微小色フィルタ（例えば、赤フィルタや赤外フィルタ）の画素（Ｒ画素やＩＲ画素）から赤外画像を作成すればよい。なお、このように特定色の画素からなる赤外画像は、可視画像に比べて画素数が不足する。そのため、この画素不足分については画素補間などによって補うことが好ましい。
【００１５】
ステップＳ６：  画像処理部１５は、可視画像について主要被写体の領域判別を行う。例えば、公知の顔認識を用いて人物被写体の画面内に占める領域を判別してもよい。また、空間周波数フィルタを用いて可視画像から鮮明なエッジ領域を抽出して主要被写体の領域としてもよい。
【００１６】
ステップＳ７：  画像処理部１５は、可視画像に対して、赤外画像のボケを反映させることにより、被写界深度を擬似的に浅くした合成画像を作成する。
なお好ましくは、可視画像の主要被写体の領域（ステップＳ６で判別された領域）に対しては、赤外画像のボケを反映させない。あるいは、反映の程度を弱める。このような処理により、画面内に鮮鋭感の対比を強めて、主要被写体がボケから浮き上がるような合成画像を作成することができる。
ところで、可視画像に赤外画像のボケを反映させる画像処理としては、例えば、次のような処理例が好ましい。
【００１７】
（処理例その１）  画像処理部１５は、可視画像の輝度成分に対して赤外画像を重み付け合成する。このような処理では、合成画像は、赤外画像のボケを反映しつつ、赤外写真に近い明暗表現を呈するようになる。
【００１８】
（処理例その２）  画像処理部１５は、赤外画像をウェーブレット変換などの空間周波数フィルタで処理して、直流分をカットした（低域）変動成分を抽出する。画像処理部１５は、この低域変動成分に調整係数を乗じて、可視画像の輝度成分に合成する。このような処理では、合成画像は、赤外画像のボケを反映しつつ、可視画像の明暗表現を残すようになる。
【００１９】
ステップＳ８：  記録部１６は、ステップＳ７で作成された合成画像を記録する。
【００２０】
（第１実施形態の効果など）
図３［Ａ］は、撮影レンズ１２の色収差を示す図である。可視波長域では、光学的な色消し構成により、撮影レンズ１２の色収差は抑えることができる。一方、可視波長の長波長側（７００ｎｍ）を超えて赤外波長領域に入ると色収差が大きくなる。
図３［Ｂ］は、この色収差による赤外波長域のボケ発生を説明する図である。赤外波長域の光像は、撮像面に対して色収差ｄの分だけ離れた位置に結像する。このピントズレにより、赤外波長域の光像は、撮像面の位置にボケｂを生じる。
【００２１】
第１実施形態は、この赤外波長域を光電変換することによって、可視画像よりもボケの大きな赤外画像を得る。この赤外画像のボケを可視画像に反映させることによって、被写界深度を擬似的に浅くした合成画像を得ることができる。すなわち、被写界深度が深い撮像光学系を使用した場合においても、被写体に焦点が合う一方、背景をぼかした画像を得ることができる。
このように、第１実施形態では、波長可変フィルタ１２ａの制御により色収差によるボケを発生させるため、撮影レンズ１２のピント位置を機械的にずらす必要がなくなる。そのため、可視画像と赤外画像の撮影間隔を短縮することができる。
【００２２】
《第２実施形態》
図４は、第２実施形態における微小色フィルタの配列例を示す図である。
第２実施形態では、波長可変フィルタ１２ａに代えて、撮像部１３の撮像面に、赤外波長域を選択的に透過する微小色フィルタを配置する。例えば、図４では、可視波長域を透過する微小色フィルタ（図４中に示すＲＧＢ）の間に、赤外波長域を透過する微小色フィルタ（図４中に示すＩＲ）を周期的に配置する。
なお、撮像装置１１のその他の構成は、第１実施形態（図１）と同じため、ここでの説明を省略する。
図５は、第２実施形態の動作を説明する流れ図である。以下、図５に示すステップ番号に沿って、この動作を説明する。
【００２３】
ステップＳ２１：  制御部１８は、可視波長域の主要被写体に合焦するように、焦点制御を行う。
【００２４】
ステップＳ２２：  制御部１８は、操作部１８ａのレリーズ操作に応じて、撮像部１３を制御して、被写体像の光電変換を実施する。
【００２５】
ステップＳ２３：  画像処理部１５は、撮像部１３から出力される画像信号から、図４に示すＲ画素、Ｇ画素、およびＢ画素の画素出力を抽出する。画像処理部１５は、これらの画素出力に対して、必要に応じて欠落画素を画素補間し、可視画像を作成する。
【００２６】
ステップＳ２４：  画像処理部１５は、撮像部１３から出力される画像信号から、図４に示すＩＲ画素の画素出力を抽出する。画像処理部１５は、この画素出力に対して、必要に応じて欠落画素を画素補間し、赤外画像を作成する。
【００２７】
ステップＳ２５〜２７：  第１実施形態のステップＳ６〜Ｓ８と同じ動作。
【００２８】
（第２実施形態の効果など）
上述した動作により、第２実施形態においても、第１実施形態と同様に、被写界深度を疑似的に浅くした合成画像を得ることができる。
さらに、第２実施形態では、可視画像と赤外画像を１回の光電変換で取得する。そのため、可視画像と赤外画像の撮影間隔をゼロにすることができる。その結果、たとえ動体被写体を撮影しても、可視画像と赤外画像とで動体被写体の画面内位置が一致し、より良質な合成画像を作成することが可能になる。
【００２９】
《実施形態の補足事項》
なお、上述した実施形態において、波長可変フィルタ１２ａが透過する赤外波長域を調整変更してもよい。例えば、図３［Ａ］に示すように、赤外波長域の中心波長をＷ１からＷ２へ切り換えることによって、色収差をｄ１からｄ２に変更し、赤外画像のボケ具合を調整することができる。その結果、合成画像に現れるボケ効果を柔軟に調整することが可能になる。
【００３０】
また、上述した実施形態では、カラー撮像を行うために、撮像部１３に微小色フィルタを配列している。しかしながら、この微小色フィルタを省いてカラー撮像を行うことも可能である。例えば、波長可変フィルタ１２ａの透過波長を、Ｂ帯域、Ｇ帯域、Ｒ帯域、ＩＲ帯域に切り換えながら、撮像部１３で光電変換を逐次行う。これら複数回の撮像動作によって、ＲＧＢ成分からなる可視画像と、ＩＲ成分からなる赤外画像とを得ることができる。
【００３１】
さらに、上述した実施形態では、単板式の撮像部１３を前提に説明しているが、これに限定されるものではない。多板式の撮像機構を用いて、可視画像と赤外画像を同時に光電変換することも可能である。
【００３２】
また、上述した実施形態では、撮像から合成画像の作成までを撮像装置１１内で全て実行するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、上述した合成画像の作成処理（図２，図５参照）を、撮像装置１１とは別のコンピュータ上で画像処理プログラムを用いて実行してもよい。
【図面の簡単な説明】
【００３３】
【図１】撮像装置１１の構成を示すブロック図である。
【図２】第１実施形態の動作を説明する流れ図である。
【図３】赤外画像のボケを説明する図である。
【図４】微小色フィルタの配列例を示す図である。
【図５】第２実施形態の動作を説明する流れ図である。
【符号の説明】
【００３４】
１１…撮像装置，１２…撮影レンズ，１２ａ…波長可変フィルタ，１２ｂ…焦点制御部，１３…撮像部，１４…Ａ／Ｄ変換部，１５…画像処理部，１６…記録部，１８…制御部，１８ａ…操作部
【図１】
2007318233.tif 000003
【図２】
2007318233.tif 000004
【図３】
2007318233.tif 000005
【図４】
2007318233.tif 000006
【図５】
2007318233.tif 000007