(57)【特許請求の範囲】
【請求項１】
被写体の像を撮像する撮像レンズと、撮像レンズを通過した光の光路を複数の光路に分割する光路分割手段と、分割された各光路にそれぞれ配置され、被写体の像を撮像して映像信号を発生する撮像素子と、各撮像素子をその光軸方向に沿って移動させる撮像素子駆動装置と、入力された撮像レンズのレンズパラメータに応じて各撮像素子の光軸上の位置を決定する演算処理装置と、各撮像素子から出力された映像信号を合成する画像合成装置とを具え、
ｂを撮像レンズの主点から撮像素子の配置位置までの光軸に沿う距離とし、ｆを撮像レンズの焦点距離とし、Ｆをレンズ絞りのＦナンバーとし、δを許容錯乱円径とした場合に、前記演算処理装置が、
撮像レンズの主点から１つの撮像素子の光軸方向の距離を、式
ｂ＝ｆ2 ／（ｆ−δＦ）を満たすように設定し、
他の１つの撮像素子の撮像レンズの主点からの光軸方向の距離を、式
ｂ＝ｆ2 ／（ｆ−３δＦ）を満たすように設定することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、前記画像合成装置が、各撮像素子の出力部にそれぞれ接続した高域通過フィルタと、これら高域通過フィルタの出力を加算する加算器とを具え、各映像信号の高周波成分を画像合成装置により画像合成することを特徴とする撮像装置。
【請求項３】
前記撮像素子が、２次元マトリックス状に配列された複数の受光素子を有し、撮像素子の出力信号を複数の画素を含む画素ブロック単位で出力し、各画素ブロックの映像出力についてそれぞれ高域通過フィルタ処理を行い、各画素ブロック中に含まれる高域成分の量を比較し、高域成分の多い画素ブロックの映像出力を選択的に抽出して画像合成することを特徴とする請求項１に記載の撮像装置。
【請求項４】
１つの撮像素子からの映像信号について電気的なデフォーカス処理を行い、デフォーカス処理された映像信号とデフォーカス処理されていない他の撮像素子からの映像信号とを比較し、デフォーカス処理された映像信号とデフォーカス処理されていない他の撮像素子からの映像信号とが一致した領域についてはデフォーカス処理された映像信号を選択して画像合成することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、一層深い被写界深度が得られる撮像装置に関するものである。
【０００２】
【従来の技術】
従来、広い対物距離にある被写体に対して合焦して撮像するものとしてピンホールカメラが既知である。しかし、ピンホールカメラは撮像装置へのに入射光量が少ないため明るい被写体しか撮像できない欠点がある。また、広角レンズを用い、被写界深度をできるだけ深くしたカメラも提案されていた。しかし、このようなカメラの場合周辺の幾何学歪みが大きくなり過ぎてしまう。
【０００３】
深い被写界深度が得られる別の撮像装置として、特開平９−１１６８０７号公報に記載されている撮像装置が既知である。この撮像装置では、撮像レンズの光路を２つの光路に分割し、各光路にそれぞれ撮像素子を配置し、これら撮像素子の撮像レンズの主点からの配置距離を互いに僅かに相違させている。そして、一方の撮像素子から出力される映像信号に対して高周波フィルタリング処理を行い、他方の撮像装置から出力されフィルタリング処理されていない映像信号と高周波フィルタリング処理された映像信号とが加算処理されている。この既知の撮像装置では、フィルタリング処理されていない映像信号と高周波フィルタリング処理された映像信号とが加算処理されていので、撮像装置としての被写界深度は実質的増大し、一層深い被写界深度の撮像装置が実現されている。
【０００４】
【発明が解決しようとする課題】
上述した既知の撮像装置では、撮像装置間の距離が少な過ぎると両方の撮像装置の被写界深度の重なる範囲が多くなり最終的に得られる映像信号が持つ被写界深度の拡大範囲が小さくなってしまい、逆にそのずらし距離が大き過ぎると両方の撮像素子の被写界深度の領域が連続しなくなり連続した広範囲の被写界深度が得られなくなる欠点があった。さらに、一方の撮像素子から得られる映像信号に高域通過フィルタ処理を行い他方の撮像素子から得られる映像信号と加算処理を行うため、一方の撮像素子から得られる映像に不鮮明な像の部分があった場合、鮮明な画像を加算しただけでは最終的に出力される映像はその先鋭感が低下する欠点があった。
【０００５】
従って、本発明の目的は、任意の焦点距離を有する撮像レンズを用いて任意の絞り値で撮像した場合においても、広範囲の被写体に合焦して撮像できる撮像装置を実現することにある。
【０００６】
【課題を解決する手段】
本発明による撮像装置は、被写体の像を撮像する撮像レンズと、撮像レンズを通過した光の光路を複数の光路に分割する光路分割手段と、分割された各光路にそれぞれ配置され、被写体の像を撮像して映像信号を発生する撮像素子と、各撮像素子をその光軸方向に沿って移動させる撮像素子駆動装置と、入力された撮像レンズのレンズパラメータに応じて各撮像素子の光軸上の位置を決定する演算処理装置と、各撮像素子から出力された映像信号を合成する画像合成装置とを具え、
ｂを撮像レンズの主点から撮像素子の配置位置までの光軸に沿う距離とし、ｆを撮像レンズの焦点距離とし、Ｆをレンズ絞りのＦナンバーとし、δを許容錯乱円径とした場合に、前記演算処理装置が、
撮像レンズの主点から１つの撮像素子の光軸方向の距離を、式
ｂ＝ｆ2 ／（ｆ−δＦ）を満たすように設定し、
他の１つの撮像素子の撮像レンズの主点からの光軸方向の距離を、式
ｂ＝ｆ2 ／（ｆ−３δＦ）を満たすように設定することを特徴とする。
【０００７】
少なくとも２つの撮像素子の撮像レンズの主点からの距離を上記式を満たすように設定すれば、撮像装置の合焦する対物距離の範囲は、後述する過焦点距離Ｈについて無限遠からＨ／４までの範囲となり撮像装置の合焦範囲を大幅に拡大することができる。しかも２つの被写界深度領域が重なることなく連続させることができる。この結果、被写界深度が大幅に向上した撮像装置を実現することができる。さらに、各撮像素子は、その光軸方向に自在に移動することができるので、任意の焦点距離の撮像レンズを用いても或いは任意の絞り値で撮像しても一層広い範囲の合焦範囲を得ることができる。
【０００８】
【発明の実施の形態】
図１は本発明による撮像装置の第１実施例の構成を示す線図である。遠視野の被写体１及び近視野の被写体２からの光は撮像レンズ３を経て光路分割手段であるプリズム４に入射する。撮像レンズ３は単レンズとして図示したが複数のレンズ組から成る撮像レンズ系とすることができる。プリズム４はハーフミラー構造を有し、入射光を２つの光路の光に分割する。一方の光路上に第１の撮像素子５を配置し、他方の光路上に第２の撮像素子６を配置する。これら第１及び第２の撮像素子は、多数の受光素子すなわち画素が２次元マトリックス状に配列された２次元撮像素子とする。
【０００９】
各撮像素子５，６は駆動装置７及び８に取り付けられ、その光軸方向に自在に移動することができる。従って、各撮像素子の撮像レンズ３の主点からの距離は、使用する撮像レンズの焦点距離や絞りの条件に応じて自在に設定することができる。各撮像素子５及び６は、コントローラの制御のもとで互いに同期して読み出され、画像合成装置１２に供給され、画像合成された映像信号が出力される。
【００１０】
撮像レンズ３のレンズパラメータ、例えばレンズの焦点距離や絞り値は演算処理装置１０に入力され、この演算処理装置により、使用する撮像レンズの特性に応じて撮像素子５及び６の撮像レンズ３からの距離を計算する。これらの計算値は駆動回路１０及び１１にそれぞれ供給され、駆動装置７及び８の駆動信号が形成され、第１及び第２の撮像素子はレンズパラメータに対応した位置に配置されることになる。
【００１１】
次に、演算処理装置における演算処理内容を図２を参照しながら説明する。図２は、撮像レンズ３の焦点距離ｆ、撮像レンズの主点から被写体までの距離ｌ、結像距離ｂ、後方被写界深度ｄ１、前方被写界深度ｄ２、及び許容錯乱円δの関係を示す。奥行きのある被写体を撮像する場合、合焦点の前後も焦点深度内は合焦して見える。これは、像のぼけが許容錯乱円よりも小さい場合、そのぼけが検出できないからである。この合焦範囲を被写界深度と称する。また、撮像レンズの主点から被写体までの距離である対物距離ｌに合焦している場合、対物距離ｌよりも遠方の合焦範囲を後方被写界深度ｄ１と称し、対物距離よりもレンズに近い側の合焦範囲を前方被写界深度ｄ２と称する。
【００１２】
撮像レンズの焦点距離をｆとし、レンズ絞りのＦナンバをＦとし、許容錯乱円をδとし、対物距離をｌとすると、被写界深度は以下の式により求められる。
後方被写界深度：ｄ１＝δ・Ｆ・ｌ2 ／（ｆ2 −δ・Ｆ・ｌ）    式（１）
前方被写界深度：ｄ２＝δ・Ｆ・ｌ2 ／（ｆ2 ＋δ・Ｆ・ｌ）    式（２）
過焦点距離：      Ｈ＝ｆ2 ／δ・Ｆ                          式（３）
【００１３】
ここで、過焦点距離Ｈとは、後方被写界深度の遠点を無限遠とした時の対物距離ｌの値であり、この距離に合焦すれば無限遠から過焦点距離の１／２の距離までが合焦する。
【００１４】
また、レンズ主点から測った対物距離をｌとし、結像距離をｂとした場合、以下の結像式が成り立つ。
１／ｌ＋１／ｂ＝１／ｆ                                式（４）
ここで、対物距離ｌに対する結像距離ｂを求める。まず、ｌ＝無限遠のとき、式（４）より
ｂ＝ｆ
となる。すなわち、結像距離は焦点距離と一致する。
次に、ｌ＝過焦点距離Ｈのとき、式（３）及び（４）より
δＦ／ｆ2 ＋１／ｂ＝１／ｆ
故に、ｂ＝ｆ2 ／（ｆ−δＦ）                                  式（５）
従って、演算処理装置９において式（５）から算出される結像距離に従って第１の撮像素子５を配置すると、この第１の撮像素子により無限遠から１／２Ｈまで合焦した映像が得られる。従って、第１の撮像素子は、被写体が撮像レンズの過焦点距離Ｈに位置する場合の結像位置に配置する。
【００１５】
次に、第２の撮像素子６の配置位置について説明する。第２の撮像素子６の後方合焦点が第１の撮像素子５の前方合焦点すなわち１／２Ｈに等しくなるような対物距離をＬとする。図３に撮像素子１、２の被写界深度を示す。撮像素子１の後方被写界深度をｄ2L、前方被写界深度をｄ2H、第２の撮像素子６の後方被写界深度をｄ1L、前方被写界深度をｄ2L、とする。このとき、対物距離は、
Ｌ＝Ｈ／２−ｄ1L
と表せられる。
式（１）よりｄ1Lを求め、式（３）よりＨを代入し、計算すると
Ｌ＝ｆ2 ／（３δＦ）                                        式（６）
よって、ｌ＝Ｌのとき、式（４）により、
３δＦ／ｆ2 ＋１／ｂ＝１／ｆ
故に、ｂ＝ｆ2 ／（ｆ＋３δＦ）                                式（７）
となる。
このとき、合焦している最短合焦距離Ｌ′は、
Ｌ′＝Ｌ−ｄ2L
式（２）よりｄ2Lを求め、式（６）よりＬを代入し、計算すると、
Ｌ’＝ｆ2 ／４δｆ＝Ｈ／４                                  式（８）
【００１６】
従って、演算処理装置において式（７）から算出される結像距離に従って第２の撮像素子６を配置すると、対物距離が１／２ＨからＬ′、すなわち１／２Ｈから１／４Ｈまで合焦した映像が得られる。
【００１７】
以上、演算処理装置の動作をまとめると、レンズパラメータを式（５）に従って演算し第１の撮像素子５の配置位置を決定し制御し、また式（７）に従って演算し第２の撮像素子６の配置位置を決定し制御する。この制御により、対物距離が１／４Ｈから無限遠の間にある被写体は、第１又は第２の撮像素子５又は６のどちらかにおいて必ず合焦して撮像されることとなる。
【００１８】
第１及び第２の撮像素子５、６から得られる映像の内、被写体毎に合焦した映像領域を検出または任意に指定するなどの手法により選択し、映像合成装置において２次元平面上に合成することにより、対物位置が１／４Ｈから無限遠まで合焦した合成映像が得られる。
【００１９】
以上の説明により明らかなように、レンズパラメータが変化した場合においても、演算処理装置において式（５）及び（７）にしたがって第１及び第２の撮像素子のレンズ主点からの距離を算出し、駆動装置７及び８を駆動することにより撮像素子の配置を適切に移動させ、それぞれの撮像素子から得られる映像信号を合成することにより、常に最も広範囲の被写界深度を持つ合成映像が得られる。図３に、絞り値が変化したときの合成映像の被写界深度の変化の様子もあわせて模式的に示す。
【００２０】
図４は本発明による撮像装置の画像合成装置の変形例を示す線図である。本例では、第１及び第２の撮像素子５及び６の後段に高域通過フィルタ２１及び２２をそれぞれ接続し、これら高域通過フィルタを通過した信号を加算器２３に供給して画像合成する。２つの撮像素子５、６の合焦範囲にある全ての被写体は、必ずどちらかの撮像素子では合焦して撮像されその他の撮像素子ではぼけて撮像される。従って両映像に適当な高域通過フィルタ処理を行うことによりそれぞれの映像の合焦部分だけが抽出され、それらを加算器により加算処理することにより、全体として合焦した映像が得られる。尚、高域通過フィルタとして、例えば２次元ディジタルフィルタを用いることができる。
【００２１】
図５は、複数の画素で構成されるブロック領域毎に合焦した映像を選択し選択された映像を合成する手法例を示したものである。２つの撮像素子５及び６から得られる映像信号はそれぞれ複数の画素を含むブロック領域に分けられ、ブロック領域毎に高域通過フィルタ３１、３２により高域成分を抽出し、比較器３３によって高域成分の量が比較される。比較器３３からの出力に従って映像の高域成分が多い方の映像ブロックからの映像信号が切替器３４によって選択される。最終的に出力される映像は、ブロック毎により合焦に近い映像が選択され出力される。各ブロックを構成する画素数は少ない程細かく合焦映像を選択することができるが、逆に少なすぎると高域成分の比較精度が低下するので、適当な画素数にしておく。ブロック毎に合成した結果ブロックのつなぎ日の映像の微小な違いが気になる場合は、必要に応じて合成出力に対して適当な２次元低域通過フィルタ処理などを行い、ブロックのつなぎ目の影響を低減しても良い。
【００２２】
図６は、一方の撮像素子から得られる映像を電気的にデフォーカスし、デフォーカス処理されていない他方の映像と比較することによって合焦領域を検出して合焦した映像を選択し合成する手法例を示したものである。第２の撮像素子６にデフォーカスフィルタ４１を接続して第２の撮像素子６の映像信号について電気的にデフォーカス処理を行いレンズによるぼけと同様なぼけを与える。そして、デフォーカス処理された映像信号と第１の撮像素子５のデフォーカス処理されていない映像信号とを比較器４２に供給して比較する。撮像素子６によって合焦した被写体は、電気的なデフォーカス処理によって撮像素子５による映像のぼけた映像と一致するので、両映像が一致した部分は撮像素子２の被写体の合焦した領域と判断できる。この比較器からの出力結果によって切替器を切り替え、合焦した画像を選択的に抽出して画像合成する。この結果、当該画像合成法により、画像全体が合焦した画像を形成することができる。
【００２３】
尚、上述した実施例では、撮像レンズの光路を２つに分割し、２個の撮像素子から出力される映像信号を合成する例について説明したが、光路を２つ以上に分割する場合の原理は同様であることは言うまでもない。
【００２４】
本発明を用いた第２の実施例について図７を用いて説明する。これは２つの撮像素子から得られる映像の合焦範囲が連続していなくとも、それぞれの撮像素子が撮像すべき各被写体に対して合焦して撮像すれば、１台の撮像装置から対物距離がそれぞれ相違する複数の被写体について合焦した画像が同時に得られ、テレビジョンスタジオ収録などにおいて演出効果を高めることが期待される例である。図７は、近接撮影の例として人形劇をスタジオで収録する場面を想定した図である。背景画像の前には人形が配置されており、背景画像と人形は、赤外線測距装置やポテンショメータなどの距離センサのような手段によりカメラレンズからの対物距離が測定され、各被写体についての対物距離がパラメータとして演算処理装置へ入力される。例えば赤外線測距装置のような距離センサ５０を用い、撮像装置から被写体までの距離を各被写体毎に測定し、得られた各距離情報を演算処理装置９に供給する。演算処理装置９では、供給された距離情報に基づいて各撮像素子の合焦位置を算出し、駆動回路にそれぞれ供給する。そして、得られた距離情報に応じて各撮像素子を合焦範囲内に移動させ位置決めする。
【００２５】
背景被写体の対物距離をｌ1 、人形被写体の対物距離をｌ2 、とするとそれぞれの被写体の結像距離ｂ1 、b2、すなわち第１及び第２の撮像素子の撮像レンズからの合焦位置は式（４）より、
ｂ1 ＝ｌ1 ｆ／（ｌ1 −ｆ）
ｂ2 ＝ｌ2 ｆ／（ｌ2 −ｆ）                                  式（９）
と求められる。
【００２６】
この式（９）の演算結果に基づき撮像素子の結像位置を制御することにより、近接撮影など合焦領域が狭い被写体においても個別の被写体に対して適応して合焦した映像を得ることができる。またこのような書き割り映像の撮影において、それぞれの対物距離の被写体が合焦して撮影できるため、ポスプロにおいて任意の被写体を映像処理によってぼかすなど、演出効果がより広がる可能性がある。
【００２７】
尚、距離センサは各撮像素子毎に設けることができ、或いは１つの距離センサを複数の撮像素子で共用することもできる。
【００２８】
【発明の効果】
以上説明したように、本発明によれば、テレビジョンカメラ等において、任意の焦点距離を有する撮像レンズを用いて任意の絞り値において撮像した場合においても、広範囲の対物距離の被写体に合焦したパンフォーカス画像が得られる。また、例えば人形劇の接写等の合焦領域が狭い被写体についても人形や背景画像等の個別の被写体に対して適応して合焦した映像を得ることができる。また人形と背景画像との同時撮影が可能になり、ポスプロにおいて任意の被写体を映像処理によってぼかす等の演出効果が効果が達成される。
【図面の簡単な説明】
【図１】  本発明の第１の実施例による撮像装置の構成を示す線図である。
【図２】  本発明による撮像装置の光学パラメータを説明するための線図である。
【図３】  合焦領域の絞り値に対応した変化を示す線図である。
【図４】  画像合成装置を示す線図である。
【図５】  画像合成装置を示す線図である。
【図６】  画像合成装置の別の実施例を示す線図である。
【図７】  本発明の第２実施例による撮像装置の構成を示す線図である。
【符号の説明】
１，２  被写体
３  撮像レンズ
４  プリズム
５  第１の撮像素子
６  第２の撮像素子
７  第１の空間装置
８  第２の空間装置
９  演算処理装置
１０  第１の駆動回路
１１  第２の駆動回路
１２  画像合成装置
【図１】
0004226235.tif 000002
【図２】
0004226235.tif 000003
【図３】
0004226235.tif 000004
【図４】
0004226235.tif 000005
【図５】
0004226235.tif 000006
【図６】
0004226235.tif 000007
【図７】
0004226235.tif 000008