(57)【要約】【課題】前景と背景との境界領域を適切に特定すること。【解決手段】画像処理装置は、光学系を通じて撮像された画像を取得する画像取得部と、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理部と、補正画像の画像内容に基づいて、入射瞳において入射領域と異なる領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部とを備える。【選択図】図１
2010087870.tif 000002
【特許請求の範囲】
【請求項１】
光学系を通じて撮像された画像を取得する画像取得部と、
前記光学系の入射瞳における入射領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を前記画像に施して補正画像を生成する画像処理部と、
前記補正画像の画像内容に基づいて、前記入射領域と異なる前記入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部と
を備える画像処理装置。
【請求項２】
前記画像処理部は、前記入射瞳の全領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、前記補正画像を生成し、
前記領域特定部は、前記補正画像の画像内容に基づいて、前記入射瞳の一部の領域に入射する光による像が形成される画像領域である前記特定画像領域を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記領域特定部が特定した前記特定画像領域を含む画像領域から、前記入射瞳への光の一部が遮られた被写体を示すオブジェクトを抽出するオブジェクト抽出部
をさらに備える請求項２に記載の画像処理装置。
【請求項４】
前記入射瞳における前記入射領域の一部に入射した光による像に前記補正処理を施して得られた像の画像特徴量を格納する画像特徴量格納部
をさらに備え、
前記領域特定部は、画像特徴量格納部が格納している画像特徴量に適合する画像特徴量を有する画像領域を、前記特定画像領域として特定する
請求項２または３に記載の画像処理装置。
【請求項５】
前記光学系は、前記入射瞳における異なる複数の部分領域に入射する光に、それぞれ異なる結像特性を与え、
前記領域特定部は、前記補正画像の画像内容と、前記複数の部分領域のそれぞれにおける前記結像特性とに基づいて、前記特定画像領域を特定する
請求項２または３に記載の画像処理装置。
【請求項６】
前記入射瞳における前記複数の部分領域のそれぞれに対応づけて、前記入射瞳における前記複数の部分領域のそれぞれに入射した光による像に前記補正処理を施して得られた像の画像特徴量を格納する画像特徴量格納部
をさらに備え、
前記領域特定部は、前記特徴量格納部が格納している画像特徴量に適合する画像特徴量に有する領域を前記特定画像領域として特定するとともに、当該画像特徴量に対応づけて前記特徴量格納部が格納している部分領域を、当該特定画像領域に像を形成する光が入射した部分領域として特定する
請求項５に記載の画像処理装置。
【請求項７】
前記画像取得部は、物点からの光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された画像を取得し、
前記画像処理部は、前記光学系の光学伝達関数に基づいて、前記物点からの光の広がりを補正する補正処理を前記画像に施して補正画像を生成する
請求項１に記載の画像処理装置。
【請求項８】
前記画像取得部は、光変調部による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された画像を取得する
請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記画像取得部は、前記光学系の光軸に対する位置に関する３次の位相分布を物点からの光に与える前記光変調部により、物点からの光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された画像を取得する
請求項８に記載の画像処理装置。
【請求項１０】
光学系を通じて撮像された画像を取得する画像取得段階と、
前記光学系の入射瞳における入射領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を前記画像に施して補正画像を生成する画像処理段階と、
前記補正画像の画像内容に基づいて、前記入射領域と異なる前記入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定段階と
を備える画像処理方法。
【請求項１１】
画像処理装置用のプログラムであって、コンピュータを、
光学系を通じて撮像された画像を取得する画像取得部、
前記光学系の入射瞳における入射領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を前記画像に施して補正画像を生成する画像処理部、
前記補正画像の画像内容に基づいて、前記入射領域と異なる前記入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部
として機能させるプログラム。
【請求項１２】
光学系と、
前記光学系を通じて画像を撮像する撮像部と、
前記光学系の入射瞳における入射領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を前記画像に施して補正画像を生成する画像処理部と、
前記補正画像の画像内容に基づいて、前記入射領域と異なる前記入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部と
を備える撮像装置。
【請求項１３】
前記画像処理部は、前記入射瞳の全領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、前記補正画像を生成し、
前記領域特定部は、前記補正画像の画像内容に基づいて、前記入射瞳の一部の領域に入射する光による像が形成される画像領域である前記特定画像領域を特定する
請求項１２に記載の撮像装置。
【請求項１４】
前記光学系は、前記入射瞳における異なる複数の部分領域に入射する光に、それぞれ異なる結像特性を与え、
前記領域特定部は、前記補正画像の画像内容と、前記複数の部分領域のそれぞれにおける前記結像特性とに基づいて、前記特定画像領域を特定する
請求項１２または１３に記載の撮像装置。
【請求項１５】
前記光学系は、物点からの光の広がりを物点までの距離に対して略一定にし、
前記画像処理部は、前記光学系の光学伝達関数に基づいて、前記物点からの光の広がりを補正する補正処理を前記画像に施して補正画像を生成する
請求項１２乃至１４のいずれかに記載の撮像装置。
【請求項１６】
前記光学系は、波面を変換する光変調部を有し、
前記光学系は、前記光変調部による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする
請求項１２乃至１５のいずれかに記載の撮像装置。
【請求項１７】
前記光変調部は、前記光学系の光軸に対する位置に関する３次の位相分布を物点からの光に与え、
前記光学系は、前記光変調部による波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする
請求項１６に記載の撮像装置。
【請求項１８】
光学系を通じて画像を撮像する撮像段階と、
前記光学系の入射瞳における入射領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を前記画像に施して補正画像を生成する画像処理段階と、
前記補正画像の画像内容に基づいて、前記入射領域と異なる前記入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定段階と
を備える撮像方法。
【請求項１９】
撮像装置用のプログラムであって、コンピュータを、
光学系を通じて画像を撮像する撮像段階と、
前記光学系の入射瞳における入射領域に入射した物点からの光に対する前記光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を前記画像に施して補正画像を生成する画像処理部、
前記補正画像の画像内容に基づいて、前記入射領域と異なる前記入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留める技術が知られている（例えば、特許文献１および２参照。）。
【特許文献１】特開２００６−９４４６９号公報
【特許文献２】特表平１１−５００２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献に記載の光学系によると、被写体までの距離によらず被写体像は一様にぼけるので、前景と背景との境界領域を適切に特定することができない場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様によると、画像処理装置であって、光学系を通じて撮像された画像を取得する画像取得部と、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理部と、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部と備える。
【０００５】
画像処理部は、入射瞳の全領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、補正画像を生成し、領域特定部は、補正画像の画像内容に基づいて、入射瞳の一部の領域に入射する光による像が形成される画像領域である特定画像領域を特定してよい。
【０００６】
領域特定部が特定した特定画像領域を含む画像領域から、入射瞳への光の一部が遮られた被写体を示すオブジェクトを抽出するオブジェクト抽出部をさらに備えてよい。
【０００７】
入射瞳における入射領域の一部に入射した光による像に補正処理を施して得られた像の画像特徴量を格納する画像特徴量格納部をさらに備え、領域特定部は、画像特徴量格納部が格納している画像特徴量に適合する画像特徴量を有する画像領域を、特定画像領域として特定してよい。
【０００８】
光学系は、入射瞳における異なる複数の部分領域に入射する光に、それぞれ異なる結像特性を与え、領域特定部は、補正画像の画像内容と、複数の部分領域のそれぞれにおける結像特性とに基づいて、特定画像領域を特定してよい。
【０００９】
入射瞳における複数の部分領域のそれぞれに対応づけて、入射瞳における複数の部分領域のそれぞれに入射した光による像に補正処理を施して得られた像の画像特徴量を格納する画像特徴量格納部をさらに備え、領域特定部は、特徴量格納部が格納している画像特徴量に適合する画像特徴量に有する領域を特定画像領域として特定するとともに、当該画像特徴量に対応づけて特徴量格納部が格納している部分領域を、当該特定画像領域に像を形成する光が入射した部分領域として特定してよい。
【００１０】
画像取得部は、物点からの光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得し、画像処理部は、光学系の光学伝達関数に基づいて、物点からの光の広がりを補正する補正処理を画像に施して補正画像を生成してよい。
【００１１】
画像取得部は、光変調部による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。
【００１２】
画像取得部は、光学系の光軸に対する位置に関する３次の位相分布を物点からの光に与える光変調部により、物点からの光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。
【００１３】
本発明の第２の態様によると、画像処理方法であって、光学系を通じて撮像された画像を取得する画像取得段階と、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理段階と、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定段階とを備える。
【００１４】
本発明の第３の態様によると、画像処理装置用のプログラムであって、コンピュータを、光学系を通じて撮像された画像を取得する画像取得部、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理部、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部として機能させる。
【００１５】
本発明の第４の態様によると、撮像装置であって、光学系と、光学系を通じて画像を撮像する撮像部と、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理部と、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部とを備える。
【００１６】
画像処理部は、入射瞳の全領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、補正画像を生成し、領域特定部は、補正画像の画像内容に基づいて、入射瞳の一部の領域に入射する光による像が形成される画像領域である特定画像領域を特定してよい。
【００１７】
光学系は、入射瞳における異なる複数の部分領域に入射する光に、それぞれ異なる結像特性を与え、領域特定部は、補正画像の画像内容と、複数の部分領域のそれぞれにおける結像特性とに基づいて、特定画像領域を特定してよい。
【００１８】
光学系は、物点からの光の広がりを物点までの距離に対して略一定にし、画像処理部は、光学系の光学伝達関数に基づいて、物点からの光の広がりを補正する補正処理を画像に施して補正画像を生成してよい。
【００１９】
光学系は、波面を変換する光変調部を有し、光学系は、光変調部による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。
【００２０】
光変調部は、光学系の光軸に対する位置に関する３次の位相分布を物点からの光に与え、光学系は、光変調部による波面変調により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。
【００２１】
本発明の第５の態様によると、撮像方法であって、光学系を通じて画像を撮像する撮像段階と、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理段階と、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定段階とを備える。
【００２２】
本発明の第６の態様によると、撮像装置用のプログラムであって、コンピュータを、光学系を通じて画像を撮像する撮像部、光学系の入射瞳における入射領域に入射した物点からの光に対する光学系の光学伝達関数に基づいて、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する画像処理部、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する領域特定部として機能させる。
【００２３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、重なって撮像されている被写体像の境界を容易に特定することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。
【００２６】
撮像装置１１０は、光学系１００、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、領域特定部１５０、画像特徴量格納部１５４、オブジェクト抽出部１５２、出力部１９０、光学パラメータ取得部１３２、制御部１２０、および操作部１２２を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。
【００２７】
絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。
【００２８】
光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。例えば、光学系１００は、光変調部１０４による光の波面変調により、受光部１７０の受光面における物点からの光の広がりを、物点までの距離に対して略一定にする。
【００２９】
光変調部１０４は、一例として３次元的曲面を有する位相板であってよい。例えば、光変調部１０４は、光軸を原点とする座標に関する３次式で表される曲面形状を有してよい。より具体的には、光変調部１０４は、光軸を原点とする直交座標の各座標値に関して、３次式で表される曲面形状を有してよい。例えば、光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ３＋ｙ３）で表される。このような光変調部１０４により、光軸を原点とする座標に関する３次の位相差分布が物点からの光に与えられる。これにより、光学系１００を通過した光は、物点の位置によらず、受光部１７０の受光面において略一様なぼけを伴って結像する。
【００３０】
受光部１７０は、光学系１００を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。
【００３１】
撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０および撮像画像生成部１７２は、光学系１００を通じて画像を撮像する撮像部として機能する。
【００３２】
画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。画像記憶部１７４は、撮像画像生成部１７２が生成した画像を、これらの記憶素子に記憶してよい。
【００３３】
画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。このように、画像取得部１３０は、光学系１００を通じて撮像された画像を取得することができる。なお、以後の説明において単に"画像"と記されたものは、撮像装置１１０により撮像された画像であり、画像取得部１３０により取得された画像を指すものとする。
【００３４】
画像処理部１８０は、光学系１００の入射瞳における入射領域に入射した物点からの光に対する光学系１００の光学伝達関数に基づき、当該光学伝達関数に応じた補正処理を画像に施して補正画像を生成する。そして、領域特定部１５０は、補正画像の画像内容に基づいて、入射領域と異なる入射瞳における領域に入射する光による像が形成される画像領域である特定画像領域を特定する。
【００３５】
例えば、ある被写体から光学系１００に向かう光が、当該光の進行方向の前方に位置している被写体に遮られてしまい、光学系１００の入射瞳の一部の領域にだけ入射する場合がある。このように、複数の被写体の位置関係によっては、入射瞳への光の入射領域が被写体間で異なる場合がある。この場合、画像処理部１８０が、入射瞳の特定の領域（例えば、入射瞳の全領域）に入射した光に対する光学伝達関数に応じた補正処理を画像に施した場合、入射領域の違いが、補正画像に含まれる被写体像上のアーチファクトの有無、または、アーチファクトの画像特徴量の違いとして現れる場合がある。領域特定部１５０は、被写体像上のアーチファクトの有無、または、アーチファクトの画像特徴量の違いに基づき、補正画像上の被写体間の境界領域である特定画像領域を特定する。
【００３６】
一例として、画像処理部１８０は、入射瞳の全領域に入射した物点からの光に対する光学系１００の光学伝達関数に基づいて、補正画像を生成してよい。そして、領域特定部１５０は、補正画像の画像内容に基づいて、入射瞳の一部の領域に入射する光による像が形成される画像領域である特定画像領域を特定する。この場合、上記の"入射領域"は入射瞳の全領域であり、"入射領域と異なる入射瞳における領域"は"入射瞳の一部の領域"となる。
【００３７】
なお、上記の"入射領域"は、入射瞳における一部の領域である第１領域であってもよい。そして、"入射領域と異なる入射瞳における領域"とは、当該第１領域とは異なる、入射瞳における第２領域であってよい。第２領域の少なくとも一部は、第１領域と重なっていてもよい。第２領域は入射瞳における全領域であってもよい。
【００３８】
また、光学伝達関数に応じた補正処理としては、光学伝達関数の逆フィルタを用いた復元処理を例示することができる。当該復元処理により、光学系１００による画像劣化が復元される。
【００３９】
ここで、当該逆フィルタが、一例として、入射瞳の全領域に入射した光に対する光学伝達関数に対する逆フィルタであるとする。この場合、物点から入射瞳の全領域に入射して光学系１００により広げられた点像は、当該逆フィルタにより一点の点像に変換される。しかしながら、物点から入射瞳に向かう光の一部が遮蔽物などによって遮られるなどして、入射瞳の一部の領域にだけ入射した場合、その光により形成される点像は、当該逆フィルタによっては一点の点像には変換されない。
【００４０】
このため、入射瞳に向かう光の一部が遮蔽された被写体の像を補正処理した場合には、補正画像上の当該被写体の像上には特徴的な画像パターンが表れる。したがって、領域特定部１５０は、この特徴的な画像パターンが表れた領域を抽出することで、当該被写体の領域を特定することができる。
【００４１】
画像特徴量格納部１５４は、入射瞳における入射領域の一部に入射した光による像に補正処理を施して得られた像の画像特徴量を格納する。画像特徴量格納部１５４は、当該画像特徴量を予め格納していてよい。画像特徴量としては、テクスチャ情報、空間周波数領域における強度成分の分布パターンなどを例示することができる。
【００４２】
領域特定部１５０は、画像特徴量格納部１５４が格納している画像特徴量に適合する画像特徴量を有する画像領域を、特定画像領域として特定してよい。そして、オブジェクト抽出部１５２は、領域特定部１５０が特定した特定画像領域を含む画像領域から、入射瞳への光の一部が遮られた被写体を示すオブジェクトを抽出してよい。
【００４３】
出力部１９０は、領域特定部１５０が特定した特定画像領域を示す情報、オブジェクト抽出部１５２が抽出したオブジェクトを示す情報を、画像処理部１８０により出力された補正画像に対応づけて出力する。例えば、出力部１９０は、当該情報が対応づけられた補正画像を記憶媒体に記録してよい。他にも、出力部１９０は、当該情報が対応づけられた補正画像を、撮像装置１１０の外部に出力してよい。
【００４４】
なお、制御部１２０は、光学系１００の位置および絞り部１０６の絞り開度を制御する。例えば、制御部１２０は、結像レンズ１０２の位置、絞り部１０６の絞り値を制御することにより、光学系１００の位置および絞り部１０６の絞り開度を制御してよい。なお、制御部１２０は、撮像装置１１０のユーザから操作部１２２を通じて入力された命令により、光学系１００の位置および絞り部１０６の絞り開度を制御してもよい。制御部１２０はさらに、光学系１００の焦点距離を制御してもよい。
【００４５】
光学パラメータ取得部１３２は、画像が撮像されたときの光学系１００の結像特性を示す情報を取得する。具体的には、光学パラメータ取得部１３２は、画像を撮像した場合における光学系１００の位置および絞り部１０６の絞り開度を取得する。例えば、光学パラメータ取得部１３２は、光学系１００の位置および絞り開度を制御する制御値を、制御部１２０から取得してよい。
【００４６】
画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき補正処理に用いる画像処理パラメータを格納している。画像処理パラメータとしては、上述した逆フィルタを例示することができる。画像処理部１８０は、光学パラメータ取得部１３２が取得した情報が示す結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、画像に補正処理を施してよい。
【００４７】
なお、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、領域特定部１５０、画像特徴量格納部１５４、オブジェクト抽出部１５２、出力部１９０、および光学パラメータ取得部１３２は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。
【００４８】
図２は、画像処理パラメータ格納部１８８が格納している画像処理パラメータの一例をテーブル形式で示す。画像処理パラメータ格納部１８８は、絞り開度の指標としての絞り値に対応づけて、当該絞り値で撮像された画像に対して適用すべき逆フィルタを格納している。なお、画像処理パラメータ格納部１８８が格納している逆フィルタは、光学系１００の入射瞳の全面に入射した光に対する光学伝達関数の逆フィルタであってよい。
【００４９】
なお、画像処理パラメータ格納部１８８は、光学系１００の位置毎に、本図に示した絞り値に対応づけられた逆フィルタを格納してもよい。また、画像処理パラメータ格納部１８８はさらに、複数の画像エリア毎に、絞り値に対応づけられた逆フィルタを格納することもできる。これにより、画像処理部１８０は、光学パラメータ取得部１３２が取得した光学系１００の位置および絞り開度に対応づけて画像処理パラメータ格納部１８８が格納しているフィルタを用いて、各画像エリアの被写体像にそれぞれ望ましい補正処理を施すことができる。入射瞳への光が遮られていない場合には、その被写体の像は画像処理部１８０による補正処理により正しく復元され得る。
【００５０】
図３は、入射瞳３００への光が遮られた被写体３２０の一例を模式的に示す。本図に示されるように、被写体３１０からの光は、入射瞳３００の全面に入射している。一方、被写体３２０から入射瞳３００へと向かう光は、その一部が被写体３１０に遮られる。このため、被写体３２０から入射瞳３００へと向かう光は、入射瞳３００の一部にしか入射しない。このため、画像処理パラメータ格納部１８８が格納している逆フィルタを用いた補正処理を画像に施すと、被写体３１０の像は正しく復元されるが、入射瞳３００の一部にしか入射しない光により形成された像は、当該逆フィルタを用いた補正処理では正しく復元されない。
【００５１】
図４は、画像処理部１８０による逆フィルタを用いた補正処理の一例を示す。画像４００は、画像取得部１３０が取得した画像とする。画像４００には、被写体３１０の像である被写体像４０２と、被写体３２０の像である被写体像４０４とを含む。画像４００に逆フィルタを適用することにより、補正画像４２０が得られる。補正画像４２０に含まれる復元像４２２は、被写体像４０２に補正処理を施すことにより得られた像であり、正しく復元された被写体３１０の像を示している。
【００５２】
一方、補正画像４２０に含まれる復元像４２４は、被写体像４０４に補正処理を施すことにより得られた像であり、復元像４２４には正しく復元されていない画像領域４２６が存在する。この画像領域４２６に対応する被写体３２０上の領域からの光は、被写体３１０によって入射瞳３００への光の一部が遮られている。このような画像領域４２６には、復元処理により、入射瞳３００の一部にしか光が入射しないことに起因する特徴的な画像パターンが表れる。領域特定部１５０は、このような特徴的な画像パターンが表れた画像領域４２６を、特定画像領域として特定する。
【００５３】
以上説明したように、撮像装置１１０によると、重なって撮像された被写体の境界領域を抽出することができる。これにより、撮像装置１１０は、境界領域に基づいて補正画像を解析することによって、複数の被写体像がそれぞれ示す複数の被写体の空間的な位置関係をより正確に特定することができる。
【００５４】
図５は、入射瞳３００における部分領域Ａ〜Ｄの一例を示す。図５および図６に関連して、補正画像に現れた異なる画像パターンに基づいて境界領域をより正確に抽出する方法について説明する。具体的には、入射瞳３００のどの領域に被写体光が入射したかによって補正画像中に現れる画像パターンが変わることを利用する。
【００５５】
光学系１００は、入射瞳３００における異なる複数の部分領域Ａ〜Ｄに入射する光に、それぞれ異なる結像特性を与える。例えば、上述した３次式曲面を有する光変調部１０４が与える位相差の分布は、光軸まわりに回転非対称となっている。したがって、各部分領域Ａ〜Ｄに入射した光にそれぞれ異なる位相差が加えられる。このように、光変調部１０４の存在により、入射瞳面上の部分領域Ａ〜Ｄで結像特性が大きく異なる。また、場合によっては、結像レンズ１０２自身も、部分領域Ａ〜Ｄで結像特性に有意な差を有している場合がある。このため、いずれの部分領域Ａ〜Ｄに光が入射したかによって、特定画像領域に表れる画像パターンが変わる。そこで、領域特定部１５０は、図６に関連して以下に説明するように、補正画像の画像内容と、複数の部分領域のそれぞれにおける結像特性とに基づいて、特定画像領域を特定することができる。
【００５６】
図６は、画像特徴量格納部１５４が格納しているデータの一例をテーブル形式で示す。画像特徴量格納部１５４は、複数の入射領域に対応づけて複数の画像特徴量を格納している。入射領域としては、部分領域Ａ〜Ｄの任意の組み合わせで表される領域を例示することができる。
【００５７】
例えば、画像特徴量格納部１５４は、部分領域Ａに入射した光による像を復元した場合に表れる画像特徴量として特徴量Ｖ１を格納しており、部分領域ＡおよびＢに入射した光による像を復元した場合に表れる画像特徴量として特徴量Ｖ３を格納している。このように、画像特徴量格納部１５４は、入射瞳３００における複数の部分領域のそれぞれに対応づけて、入射瞳３００における複数の部分領域のそれぞれに入射した光による像に補正処理を施して得られた像の画像特徴量を格納する。
【００５８】
領域特定部１５０は、上述したように、画像特徴量格納部１５４が格納している画像特徴量に適合する画像特徴量に有する領域を特定画像領域４２６として特定する。そして、領域特定部１５０は、当該画像特徴量に対応づけて画像特徴量格納部１５４が格納している部分領域を特定する。
【００５９】
例えば、特徴量Ｖ３に適合する画像特徴量を有する領域に像を形成する被写体光は、主として部分領域ＡおよびＢに入射したことがわかる。このように、領域特定部１５０は、特徴量格納部が格納している画像特徴量に適合する画像特徴量に有する領域を特定画像領域として特定するとともに、当該画像特徴量に対応づけて特徴量格納部が格納している部分領域を、当該特定画像領域に像を形成する光が入射した部分領域として特定することができる。以下に説明するように、オブジェクト抽出部１５２は、特定された部分領域に基づいて、オブジェクトを正確に抽出することができる。
【００６０】
例えば、補正画像上の画像中央部に、背後からの光を遮蔽する被写体の像が形成されているとする。簡単のために当該被写体の像の形状は、瞳形状に沿った矩形であるとする。この場合、当該被写体の周囲には、部分領域Ａおよび部分領域Ｂに入射した被写体光による特定画像領域、部分領域Ｂおよび部分領域Ｃに入射した被写体光による特定画像領域、部分領域Ｃおよび部分領域Ｄに入射した被写体光による特定画像領域、および、部分領域Ｄおよび部分領域Ａに入射した被写体光による特定画像領域が存在する場合がある。領域特定部１５０は、各特定画像領域の画像特徴量に対応づけて画像特徴量格納部１５４が格納している入射領域を示す情報を、オブジェクト抽出部１５２に供給する。
【００６１】
オブジェクト抽出部１５２は、特定された入射領域に基づいて他の被写体（例えば、背景）との境界線を検出して、抽出した境界線に基づいてオブジェクトを抽出する。例えば、オブジェクト抽出部１５２は、入射領域Ａ＋Ｂに対応する画像特徴量を有する特定画像領域と、入射領域Ｂ＋Ｃに対応する画像特徴量を有する特定画像領域とを接続し、部分領域Ｂおよび部分領域Ｃに入射した被写体光による特定画像領域と、部分領域Ｃおよび部分領域Ｄに入射した被写体光による特定画像領域とを接続し、部分領域Ｃおよび部分領域Ｄに入射した被写体光による特定画像領域と、部分領域Ｄおよび部分領域Ａに入射した被写体光による特定画像領域とを接続することで、境界線を検出してよい。
【００６２】
なお、境界線として接続することができる特定画像領域に対応する複数の入射領域は、予め関連づけられていてよい。オブジェクト抽出部１５２は、当該関連づけられた情報を予め記憶してよい。例えば、入射領域Ａ＋Ｂに対応する画像特徴量を有する特定画像領域と、入射領域Ｂ＋Ｃに対応する画像特徴量を有する特定画像領域とが、境界線として接続することができる特定画像領域として関連づけられてよい。一方、入射領域Ａに対応する画像特徴量を有する特定画像領域と、入射領域Ｃに対応する画像特徴量を有する特定画像領域とは、連続する境界領域として関連づけられていなくてよい。
【００６３】
このような場合、オブジェクト抽出部１５２は、入射領域Ａ＋Ｂに対応する画像特徴量を有する特定画像領域と、入射領域Ｂ＋Ｃに対応する画像特徴量を有する特定画像領域とを、境界線として接続する優先度を高くするとともに、入射領域Ａに対応する画像特徴量を有する特定画像領域と、入射領域Ｃに対応する画像特徴量を有する特定画像領域とについては、境界線として接続する優先度を低くする。これにより、オブジェクト抽出部１５２は、境界線のつながりを適切に検出することができるので、オブジェクトをより正確に抽出することができる。
【００６４】
なお、画像処理部１８０は、領域特定部１５０が特定した部分領域に入射する光に対する光学系１００の光学伝達特性に基づき、当該光学伝達特性に応じた補正処理を、領域特定部１５０が特定した特定画像領域の画像に施してよい。ここで、光学伝達特性に応じた補正処理としては、部分領域に入射する光に対する光学系１００の光学伝達関数の逆フィルタを、特定画像領域の画像に適用する補正処理を例示することができる。
【００６５】
なお、画像特徴量格納部１５４は、画像エリア毎に、本図で示すような入射領域に対応づけられた画像特徴量を格納してよい。画像特徴量格納部１５４はさらに、絞り部１０６の絞り開度、および、光学系１００の位置に対応づけて、入射領域に対応づけられた画像特徴量を格納してよい。そして、領域特定部１５０は、画像が撮像されたときの絞り部１０６の絞り開度、光学系１００の位置、および画像エリアに対応づけられた画像特徴量の中から、適合する画像特徴量を有する領域を、画像エリア毎に特定してよい。これにより、上述した特定画像領域および入射領域を、より正確に特定することができる。
【００６６】
以上説明したように、撮像装置１１０は、重なって撮像された被写体間の境界領域を容易に特定することができる。なお、上記の説明では、他の被写体に遮られた被写体を特定する場合を例に挙げて説明した。なお、補正処理に用いる逆フィルタ等が前提としている入射瞳への入射パターンと異なる入射パターンで光が入射した被写体の像についても、補正処理によって特徴的な画像パターンが生じる場合がある。例えば、光を等方的に発している物点に対する逆フィルタを、光が等方的でない被写体の像に対して適用することによっても、特徴的な画像パターンが生じる場合がある。したがって、領域特定部１５０は、光を等方的に発していない被写体の領域を特定することもできる場合がある。
【００６７】
なお、上記において光変調部１０４の一例として３次曲面形状の位相板を示したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、３次式曲面以外の曲面形状を有する光学素子、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。
【００６８】
また、上記において、物点までの距離によらず光の広がりを略一定にする光学系１００を例に挙げて撮像装置１１０の各構成要素を説明した。そのような光学系１００以外にも、撮像装置１１０が有する光学系１００が入射領域毎に実質的に異なる光学伝達特性を有していれば、同様の処理により境界領域を特定することができる。
【００６９】
また、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。撮像装置１１０は、動画に含まれる複数の動画構成画像のそれぞれ対して上述の画像処理をすることにより、前景と背景との境界領域を特定することができる。
【００７０】
図７は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０が備える各構成要素として機能することができる。
【００７１】
コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【００７２】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７３】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００７４】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７５】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図６に関連して説明した撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、領域特定部１５０、画像特徴量格納部１５４、オブジェクト抽出部１５２、出力部１９０、光学パラメータ取得部１３２、および制御部１２０などとして機能させる。
【００７６】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。
【００７７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７８】
【図１】一実施形態に係わる撮像装置１１０のブロック構成を示す図である。
【図２】画像処理パラメータ格納部１８８が格納しているデータを示す図である。
【図３】入射瞳３００への光が遮られた被写体３２０を模式的に示す図である。
【図４】逆フィルタを用いた補正処理の一例を示す図である。
【図５】入射瞳３００における部分領域Ａ〜Ｄの一例を示す図である。
【図６】画像特徴量格納部１５４が格納しているデータを示す図である。
【図７】撮像装置１１０に係わるコンピュータ１５００のハードウェア構成を示す図である。
【符号の説明】
【００７９】
１００  光学系
１０２  結像レンズ
１０４  光変調部
１０６  絞り部
１１０  撮像装置
１２０  制御部
１２２  操作部
１３０  画像取得部
１３２  光学パラメータ取得部
１５０  領域特定部
１５２  オブジェクト抽出部
１５４  画像特徴量格納部
１７０  受光部
１７２  撮像画像生成部
１７４  画像記憶部
１８０  画像処理部
１８８  画像処理パラメータ格納部
１９０  出力部
３００  入射瞳
３１０、３２０  被写体
４００  画像
４０２、４０４  被写体像
４２２、４２４  復元像
４２０  補正画像
４２６  画像領域
１５００  コンピュータ
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示デバイス
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
１５９８  ネットワーク通信装置
【図１】
2010087870.tif 000003
【図２】
2010087870.tif 000004
【図３】
2010087870.tif 000005
【図４】
2010087870.tif 000006
【図５】
2010087870.tif 000007
【図６】
2010087870.tif 000008
【図７】
2010087870.tif 000009