(57)【要約】【課題】スチル画像撮影中であっても常時モニターでの被写体の追随を可能にする。【解決手段】画像処理装置１は、被写体からの光を映像信号に変換する撮像素子Ａ３及び撮像素子Ｂ４と、撮像素子Ａ３及びＢ４を互いに独立して駆動する撮像装置２と、撮像素子Ａ３及びＢ４の一方をスチル駆動、他方をモニタ駆動させるように撮像装置２を制御する中央演算装置１５とを備える。【選択図】  図１
2005341134.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を映像信号に変換する第１及び第２の撮像素子と、
前記第１及び第２の撮像素子を互いに独立して駆動する撮像手段と、
通常モードにおいて、前記第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように前記撮像手段を制御する制御手段とを備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記第１及び第２の撮像素子からの映像信号を画像データへ変換する画像処理部を備える画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置であって、
前記第１の撮像素子と前記第２の撮像素子とは画素数が異なる画像処理装置。
【請求項４】
請求項１又は２記載の画像処理装置であって、
前記第１と第２の撮像素子は、画素数がほぼ等しく、
前記制御手段は、連続撮影モードにおいて、前記第１及び第２の撮像素子を交互にスチル駆動する画像処理装置。
【請求項５】
請求項１又は２記載の画像処理装置であって、
前記制御手段は、前記第１及び第２の撮像素子を同時に駆動させ、各撮像素子の露光時間が可変である画像処理装置。
【請求項６】
請求項１ないし５のいずれか一項記載の画像処理装置であって、
前記撮像装置は、前記第１及び第２の撮像素子をそれぞれ駆動する第１及び第２の撮像装置を含む画像処理装置。
【請求項７】
請求項１ないし６のいずれか一項記載の画像処理装置であって、
前記第１及び第２の撮像素子のそれぞれに対応する焦点距離を有する第１及び第２の撮像光学系を備える画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、
前記第１及び第２の撮像光学系は、それぞれ異なる被写体からの光を前記第１及び第２の撮像素子に結像するように配置される画像処理装置。
【請求項９】
請求項１ないし６のいずれか一項記載の画像処理装置であって、
被写体からの光を前記第１及び第２の撮像素子に結像する撮像光学系と、
前記撮像光学系の光路を前記第１及び第２の撮像素子にそれぞれ導くように分割する光路分割部材と、を備える画像処理装置。
【請求項１０】
請求項９記載の画像処理装置であって、
前記光路分割部材により分割された光路のうち、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路の長さを可変とする光路長可変装置を備える画像処理装置。
【請求項１１】
請求項１０記載の画像処理装置であって、
前記光路長可変装置は、前記第１及び第２の撮像素子の少なくとも一方の位置を変化させる駆動機構である画像処理装置。
【請求項１２】
請求項１０記載の画像処理装置であって、
前記光路長可変装置は、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路に挿入される光学部材と、前記光学部材を前記光路に対して挿抜するための駆動機構と、を含む画像処理装置。
【請求項１３】
請求項７ないし１２のいずれか一項記載の画像処理装置であって、
前記撮像装置から出力される前記映像信号に基づいて、前記被写体の輪郭情報を取り出す輪郭情報取得装置と、
前記輪郭情報に基づいて、光路長のずれに対応して前記撮像光学系を制御する合焦制御装置とを備える画像処理装置。
【請求項１４】
請求項１３記載の画像処理装置であって、
前記第１及び第２の撮像装置にそれぞれ対応する第１及び第２の輪郭情報取得装置を備える画像処理装置。
【請求項１５】
請求項１３又は１４記載の画像処理装置であって、
前記制御手段は、前記輪郭情報取得装置から得られる前記輪郭情報に基づいて、最も合焦状態に近い前記第１及び第２の撮像素子のいずれか一方に対応する前記撮像光学系を制御する画像処理装置。
【請求項１６】
請求項１３又は１４記載の画像処理装置であって、
合焦させる前記撮像素子の個数を指定する指定装置を備える画像処理装置。
【請求項１７】
請求項２ないし１６のいずれか一項記載の画像処理装置であって、
前記画像処理部が変換した画像データを表示する表示装置を備える画像処理装置。
【請求項１８】
請求項１７記載の画像処理装置であって、
前記画像処理部は、前記第１及び第２の撮像素子それぞれの映像信号を変換した画像データを切り替えて前記表示装置へ出力する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ（Charge Coupled Devices：電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数備える画像処理装置に関する。
【背景技術】
【０００２】
従来、複数の撮像素子を用いた画像処理装置として、２つの撮像素子の焦点をずらして撮像し、撮像したものを合成することにより、ソフトフォーカス効果を得るような技術が開示されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特願２０００―８１５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像素子を用いた画像処理装置では、静止画撮影（スチル画像撮影）時、シャッターが押されてから、撮像装置からデータが出力されるまでに時間がかかり、その間モニターには“何も表示されない”か“最終のモニター画像”が表示されるため、ユーザーがモニターで被写体を追随できないという事情があった。
【０００５】
また、撮像素子は、露光が完了しその映像信号を出力した後でなければ次の撮像ができないため、連続撮影を行う場合、撮影間隔が、撮像素子の露光時間と映像信号出力時間に支配されるという事情があった。
【０００６】
本発明は、上記従来の事情に鑑みてなされたものであって、スチル画像撮影中であっても常時モニターでの被写体の追随が可能になる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、被写体からの光を映像信号に変換する第１及び第２の撮像素子と、前記第１及び第２の撮像素子を互いに独立して駆動する撮像手段と、通常モードにおいて、前記第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように前記撮像手段を制御する制御手段とを備える。上記構成によれば、通常モードにおいて、第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように撮像手段を制御する制御手段を備えることにより、一方の撮像素子をモニター画像撮影専用にすることができる為、スチル画像撮影中であっても常時モニターでの被写体の追随が可能になる。
【０００８】
また、本発明の画像処理装置は、前記第１及び第２の撮像素子からの映像信号を画像データへ変換する画像処理部を備える。上記構成によれば、第１及び第２の撮像素子からの映像信号を画像データへ変換することにより、スチル画像撮影中であっても常時モニターで被写体を追随できる。
【０００９】
また、本発明の画像処理装置は、前記第１の撮像素子と前記第２の撮像素子とは画素数が異なるものである。上記構成によれば、一方の撮像素子の画素数を少なくすることにより、撮像素子のコストやモニター撮影時の消費電力を抑えることができる。
【００１０】
また、本発明の画像処理装置は、前記第１と第２の撮像素子が、画素数がほぼ等しく、前記制御手段が、連続撮影モードにおいて、前記第１及び第２の撮像素子を交互にスチル駆動する。上記構成によれば、制御手段が、連続撮影モードにおいて、前記第１及び第２の撮像素子を交互にスチル駆動することにより、高速に連続撮影できる。また上記構成によれば、撮影して得られる画像データのサイズが等しくなり、駆動時間をずらして複数の撮像素子を駆動させ、それぞれで得られる映像信号を露光の完了したものから順に取り込んで画像データに変換することにより、１つの撮像素子を駆動して得られる連続静止画より高速な連続撮影ができる。
【００１１】
また、本発明の画像処理装置は、前記制御手段が、前記第１及び第２の撮像素子を同時に駆動させ、各撮像素子の露光時間が可変であるものである。上記構成によれば、制御手段が第１及び第２の撮像素子を同時に駆動させ、各撮像素子の露光時間が可変であることにより、明るさの異なる複数の画像を同時に得ることができる。
【００１２】
また、本発明の画像処理装置は、前記撮像装置が、前記第１及び第２の撮像素子をそれぞれ駆動する第１及び第２の撮像装置を含むものである。上記構成によれば、不要な撮像素子に対応する撮像装置を使用しないようにすることで、電力の消費を抑えることができる。また、種類やサイズの異なる撮像素子、異なる駆動信号を必要とする撮像素子等への対応が容易になる。
【００１３】
また、本発明の画像処理装置は、前記第１及び第２の撮像素子のそれぞれに対応する焦点距離を有する第１及び第２の撮像光学系を備える。上記構成によれば、第１及び第２の撮像素子のそれぞれに対応する焦点距離を有する第１及び第２の撮像光学系を備えることにより、焦点距離が同じ又は異なる複数の画像データを得ることができる。また、一方は単焦点レンズ、一方はズームレンズを搭載することができ、レリーズを押してから実際に露光されるまでの撮影レスポンスを重視する場合は、近い距離から遠い距離までのすべてにピントがあらかじめ合わせてあるパンフォーカス（Pan Focus）式単焦点レンズを使用し、撮影レスポンスを重視せずズームを行いたい場合はズームレンズを使用するといった使い方ができる。
【００１４】
また、本発明の画像処理装置は、前記第１及び第２の撮像光学系が、それぞれ異なる被写体からの光を前記第１及び第２の撮像素子に結像するように配置される。上記構成によれば、第１及び第２の撮像光学系が、それぞれ異なる被写体からの光を前記第１及び第２の撮像素子に結像するように配置されることにより、複数の被写体に対し同時に撮影動作を行うことができる。例えば一方に対し、もう一方を１８０度反対に設置することで、前後の映像を同時に撮影して使用するといった使い方ができる。このようにして、複数の撮像光学系、撮像素子をそれぞれが写すことの出来ない領域を補って設置することで、３６０度の映像を同時に撮影することも可能となる。
【００１５】
また、本発明の画像処理装置は、被写体からの光を前記第１及び第２の撮像素子に結像する撮像光学系と、前記撮像光学系の光路を前記第１及び第２の撮像素子にそれぞれ導くように分割する光路分割部材と、を備える。上記構成によれば、撮像光学系の光路を前記第１及び第２の撮像素子にそれぞれ導くように分割する光路分割部材を備えることにより、少数の撮像光学系で多数の撮像素子に結像させることができ、撮像光学系をコンパクトにすることができる。
【００１６】
本発明の画像処理装置は、前記光路分割部材により分割された光路のうち、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路の長さを可変とする光路長可変装置を備える。上記構成によれば、光路分割部材により分割された光路のうち、少なくとも一方の撮像素子へ向かう光路の長さを可変とする光路長可変装置を備えることで、画角の異なる画像データを得ることができる。
【００１７】
また、本発明の画像処理装置は、前記光路長可変装置が、前記第１及び第２の撮像素子の少なくとも一方の位置を変化させる駆動機構である。上記構成によれば、前記光路長可変装置が、前記第１及び第２の撮像素子の少なくとも一方の位置を変化させる駆動機構であることにより、光路長可変装置による光の利得を損なうことなく、画角の異なる画像データを得ることができる。
【００１８】
また、本発明の画像処理装置は、前記光路長可変装置が、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路に挿入される光学部材と、前記光学部材を前記光路に対して挿抜するための駆動機構と、を含む。上記構成によれば、光学部材を前記光路に対して挿入及び引き出すための駆動機構を含むことにより、光学部材を挿入して画角の異なる画像データを得ることができるとともに、光学部材を抜き出して光路長の等しい画像データを得ることができる。
【００１９】
また、本発明の画像処理装置は、前記撮像装置から出力される前記映像信号に基づいて前記被写体の輪郭情報を取り出す輪郭情報取得装置と、前記輪郭情報に基づいて、光路長のずれに対応して前記撮像光学系を制御する合焦制御装置とを備えるものである。上記構成によれば、輪郭情報に基づいて、光路長のずれに対応して前記撮像光学系を制御する合焦制御装置を備えることにより、光路長のずれによる合焦状態と撮像光学系を可動させて得られる合焦状態とを同じ状態にすることが可能であるので、１つの撮像素子について光路長のずれた２つ以上の撮像素子で合焦を行うことは、２点以上の撮像光学系の可動量から合焦状態を演算するのと同じとなり、撮像光学系の可動範囲を減らすことができ、合焦に要する時間を短縮させることができる。
【００２０】
また、本発明の画像処理装置は、前記第１及び第２の撮像装置にそれぞれ対応する第１及び第２の輪郭情報取得装置を備える。上記構成によれば、第１及び第２の撮像装置にそれぞれ対応する第１及び第２の輪郭情報取得装置を備えることにより、必要な撮像装置に対応する合焦制御装置のみを制御することができる為、電力消費を抑えることができる。また、第１及び第２の撮像装置からそれぞれ出力される映像信号から、第１及び第２の輪郭情報取得装置で同時に輪郭情報を取り出すことができる為、第１及び第２の撮像装置の映像信号出力制御を同時に行うことができる。
【００２１】
また、本発明の画像処理装置は、前記制御手段が、前記輪郭情報取得装置から得られる前記輪郭情報に基づいて、最も合焦状態に近い前記第１及び第２の撮像素子のいずれか一方に対応する前記撮像光学系を制御する。上記構成によれば、制御手段が、前記輪郭情報取得装置から得られる前記輪郭情報に基づいて、最も合焦状態に近い前記第１及び第２の撮像素子のいずれか一方に対応する前記撮像光学系を制御することにより、撮像光学系の可動範囲をさらに減らすことができ、合焦に要する時間を一層短縮できる。
【００２２】
また、本発明の画像処理装置は、合焦させる前記撮像素子の個数を指定する指定装置を備える。上記構成によれば、合焦させる前記撮像素子の個数を指定することにより、必要な撮像光学系、撮像素子だけを駆動させることができる為、消費電力を抑えることができる。
【００２３】
また、本発明の画像処理装置は、前記画像処理部が変換した画像データを表示する表示装置を備える。上記構成によれば、画像処理部が変換した画像データを表示する表示装置を備えることにより、実際に撮影された映像を確認することができる。
【００２４】
また、本発明の画像処理装置は、前記画像処理部が、前記第１及び第２の撮像素子それぞれの映像信号を変換した画像データを切り替えて前記表示装置へ出力するものである。上記構成によれば、画像処理部が、前記第１及び第２の撮像素子それぞれの映像信号を変換した画像データを切り替えて前記表示装置へ出力することにより、30fpsや15fpsなどの撮影更新周期を容易に変更できる。例えば、第１の撮像素子を30fpsで駆動させ、第２の撮像素子15fpsで駆動させておくことで、ユーザーにより撮影更新周期を30fpsから15fpsと変更されたとしても、映像信号出力を撮影更新周期30fpsで駆動させている第１の撮像素子から撮影更新周期15fpsで駆動させている第２の撮像素子へと切り替えるだけで、撮影更新周期の変更が容易に行うことができる。
【発明の効果】
【００２５】
本発明によれば、通常モードにおいて、第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように撮像手段を制御する制御手段を備えることにより、一方の撮像素子をモニター画像撮影専用にすることができる為、スチル画像撮影中であっても常時モニターでの被写体の追随が可能になる。
【発明を実施するための最良の形態】
【００２６】
（第１の実施形態）
図１は、本発明の第1の実施形態を説明するための画像処理装置の概略構成を示すブロック図である。図１に示すように、画像処理装置１は、被写体からの光を映像信号に変換する撮像素子Ａ３及び撮像素子Ｂ４と、撮像素子Ａ３及びＢ４を互いに独立して駆動する撮像装置２と、通常モードにおいて、撮像素子Ａ３及びＢ４の一方をスチル駆動、他方をモニタ駆動させるように撮像装置２を制御する中央演算装置１５とを備える。また、図１における撮像装置２は、撮像素子Ａ３を駆動させるための撮像素子駆動信号発生装置Ａ２０、及び撮像素子Ｂ４を駆動させるための撮像素子駆動信号発生装置Ｂ２１とを備える。
【００２７】
画像処理装置１は、撮像装置２により撮像素子Ａ３及び撮像素子Ｂ４をそれぞれ独立に駆動させることが可能であるので、撮像素子Ａ３及び撮像素子Ｂ４の駆動開始時間をずらすことにより、高速な連続撮影を行うことができる。
【００２８】
図２は、画像処理装置１で高速な連続撮影を行う場合のタイミングチャートである。図２に示すように、撮像装置２が撮像素子Ａ３の露光制御を行い（ｔ１〜ｔ２）、撮像素子Ａ３の露光完了ののちに撮像素子Ａ３の映像信号出力制御Ａを行う（ｔ２〜ｔ４）。また、撮像素子Ａ３の露光開始から遅れて撮像素子Ｂ４の露光制御を行い（ｔ２〜ｔ３）、撮像素子Ｂ４の露光完了ののちに撮像素子Ｂ４の映像信号出力制御Ｂを行う（ｔ４〜ｔ５）。これにより、撮影時間差の少ない、高速な連続撮影を行うことができる。
【００２９】
なお、図２において、撮像素子Ａ３の露光Ａは、被写体からの光を露光する期間を表わし、映像信号出力Ａは、露光Ａで得られた映像信号Ａを撮像装置２に出力する期間を表わす。また、撮像装置２の露光制御Ａは、撮像素子Ａ３の露光を制御する期間を表わし、映像信号出力制御Ａは、撮像素子Ａ３の映像信号出力を制御する期間を表わす。撮像素子Ｂ４についても同様である。
【００３０】
このように、映像信号出力制御Ａと映像信号出力制御Ｂの処理タイミングをずらして連続撮影を行うことができるが、撮像装置２の処理能力が高ければ、映像信号出力制御Ａと映像信号出力制御Ｂを同時に処理するように駆動させてもよい。
【００３１】
図３は、画像処理装置１で映像信号出力制御Ａと映像信号出力制御Ｂを同時に処理する場合のタイミングチャートである。図３に示すように、撮像装置２は、映像信号出力制御Ａ（ｔ２〜ｔ４）と映像信号出力制御Ｂ（ｔ３〜ｔ５）を重複して処理する。このようにすれば、撮像装置２における処理を短縮することができる。図２及び図３は、撮像素子Ａ３及び撮像素子Ｂ４の撮像を１枚ずつ行っている様子を示しているが、それに限らず連続撮影動作を行っても良い。
【００３２】
図４は、画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を連続して撮影動作させた場合のタイミングチャートである。図４に示すように、撮像素子Ａ３は、露光Ａ及び映像信号出力Ａを２回連続して行い（ｔ１〜ｔ４、ｔ４〜ｔ７）、撮像素子Ｂ４は、露光Ｂ及び映像信号出力Ｂを２回連続して行う（ｔ２〜ｔ５、ｔ５〜ｔ８）ことにより、連続撮影を高速に処理することができる。
【００３３】
図５は、画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を同時に駆動させ、各撮像素子の露光時間を変えた場合のタイミングチャートである。図５に示すように、撮像素子Ａ３の露光Ａは期間（ｔ１〜ｔ２）であり、撮像素子Ｂ４の露光Ｂは期間（ｔ１〜ｔ３）である。これにより、露光時間の異なる映像信号Ａ、映像信号Ｂから、明るさの異なる画像データＡ、画像データＢを得ることができる。
【００３４】
図６（ａ）は、図１に示す画像処理装置１に画像処理部５を追加した画像処理装置１の概略構成を示すブロック図である。図６（ａ）に示すように、画像処理装置１は、被写体からの光を映像信号に変換する撮像素子Ａ３及び撮像素子Ｂ４と、撮像素子Ａ３及び撮像素子Ｂ４をそれぞれ独立に駆動させることが可能な撮像装置２とを備え、撮像素子Ａ３により撮像された映像信号Ａ、及び撮像素子Ｂ４により撮像された映像信号Ｂを撮像装置２から同時もしくは順次に画像データへ変換する処理を行う画像処理部５とを備える。
【００３５】
図６（ｂ）は、図６（ａ）に示す画像処理装置１において、撮像素子Ａ３でモニター撮影中に、撮像素子Ｂ４でスチル（静止画）撮影を行う場合のタイミングチャートである。  図６（ｂ）に示すように、撮像装置２により、撮像素子Ａ３を、撮像素子の全有効画素のうち一部を使用し、もしくは画素混合して、露光と映像信号出力を同じタイミングで行うモニター駆動方式で駆動する。それと同時に、撮像素子Ｂ４を、撮像素子の全有効画素のうち一部もしくは全ての画素を使用し、露光Ｂと映像信号出力Ｂを排他的タイミングで行うスチル駆動方式で駆動する。そして、撮像素子Ａ３でモニター撮影中に、撮像素子Ｂ４で静止画撮影を別々に駆動させる。
【００３６】
図６（ｂ）において、撮像素子Ａ３のモニターＡは、露光と映像信号出力を表し、撮像装置２のモニター制御Ａは、撮像素子Ａ３の露光制御と映像信号出力制御を表している。これにより、撮像素子Ｂ４のスチル撮影中においても、撮像素子Ａ３のモニター撮影が途切れることなく行えることがわかる。
【００３７】
図７は、撮像素子３及び４にそれぞれ対応する撮像装置Ａ６及びＢ７を備える画像処理装置１の概略構成を示すブロック図である。図７に示すように、画像処理装置１は、撮像素子３に対応する撮像装置Ａ６を備え、撮像素子４に対応する撮像装置Ｂ７を備える。撮像装置Ａ６，Ｂ７を撮像素子Ａ３，Ｂ４の一つ一つに対応して備えることで、使用しない撮像素子があれば、それに対応する撮像装置も使用しないようにすることで、電力の消費を抑えることができる。また、異なるサイズの撮像素子や、ＣＣＤまたはＣＭＯＳといった異なる撮像素子への対応が容易になる。
【００３８】
上記説明において、撮像素子Ａ３と撮像素子Ｂ４の画素数が同数であれば、撮影して得られる画像データのサイズが等しくなる。また、図２から図４のように駆動時間をずらして撮像素子Ａ３と撮像素子Ｂ４を駆動させ、それぞれで得られる映像信号を、露光の完了したものから順に取り込んで画像データに変換することで、１つの撮像素子を駆動して得られる連続静止画より高速な連続撮影ができる。
【００３９】
図８は、撮像素子Ａ３が低画素、撮像素子Ｂ４が高画素の場合の画像処理装置１の概略構成を示すブロック図である。ここで、画像処理装置１では、撮像素子Ａ３に３０万画素程度の低画素のものを使用し、撮像素子Ｂ４に８００万画素程度の高画素のものを使用する。
【００４０】
図９は、図８に示す各撮像素子のモニター撮影時の駆動を示すタイミングチャートである。撮像素子Ａ３は撮像素子Ｂ４に対し、水平画素数がおよそ１／５であるため、同じモニター撮影を行う場合であっても、画素数の少ない撮像素子Ａ３の映像信号出力Ａに要する時間（ｔ１〜ｔ２）が、画素数の多い撮像素子Ｂ４の映像信号出力Ｂに要する時間（ｔ１〜ｔ３）より少なくなることがわかる。映像信号出力Ａに要する時間が少ないことで、撮像素子Ａ３を駆動させる時間が少なくなり、撮像素子Ｂ４によるモニター撮影よりも消費電力を少なくすることができる。また、モニター撮影用には低画素のものを使用することで、撮像素子のコスト削減を見込むことができる。
【００４１】
図１０は、撮像素子Ａ３及びＢ４にそれぞれ対応する撮像光学系Ａ８及びＢ９を備える画像処理装置１の概略構成を示すブロック図である。図１０に示すように、画像処理装置１は、撮像素子Ａ３に対応する撮像光学系Ａ８を備え、撮像素子Ｂ４に対応する撮像光学系Ｂ９を備える。図１０において、被写体１００から撮像光学系Ａ８までの光路長を光路長Ｌ１、撮像光学系Ａ８から撮像素子Ａ３までの光路長を光路長Ｌ１１、被写体１００から撮像光学系Ｂ９までの光路長を光路長Ｌ２、撮像光学系Ｂ９から撮像素子Ｂ４までの光路長を光路長Ｌ２１と表している。
【００４２】
被写体１００と、光路長Ｌ１及び光路長Ｌ２と、撮像光学系Ａ８及び撮像光学系Ｂ９と、光路長Ｌ１１及び光路長Ｌ２１とがすべて同じであった場合、撮像素子Ａ３と撮像素子Ｂ４に撮像される映像は同じものになる。この条件で撮像素子Ａ３と撮像素子Ｂ４の駆動タイミングをずらせば、同じ映像に対し、高速な連続撮影が可能となる。
【００４３】
一方、撮像光学系Ａ８と撮像光学系Ｂ９が異なり、それに伴って光路長Ｌ１１と光路長Ｌ２１が異なる場合、同じ被写体でも焦点距離が異なるため、焦点距離が長い方が望遠された映像、短い方が広角された映像となる。
【００４４】
このように、結像する撮像光学系の焦点距離を同じにすることで同じ映像について連続撮影が行え、焦点距離が異なる撮像光学系を備えることで、広角な画像データや望遠された画像データが得ることができる。
【００４５】
また、撮像光学系について、一方は単焦点レンズ(単焦点距離レンズ)、他方はズームレンズ(可変焦点距離レンズ)を搭載するなど異なる撮像光学系を備えることができる。レリーズを押してから実際に露光されるまでの撮影レスポンスを重視する場合は、あらかじめ近い距離から遠い距離までのすべてにピントを合わせてあるパンフォーカス（Pan Focus）式単焦点レンズを使用し、撮影レスポンスを重視せずにズームを行いたい場合はズームレンズを使用するといった多様な使い方が可能となる。
【００４６】
図１１は、撮像光学系Ａ８及びＢ９がそれぞれ異なる被写体１００,１０１からの光を結像するように配置された画像処理装置１の概略構成を示すブロック図である。図１１に示すように、撮像光学系Ａ８に対し撮像光学系Ｂ９を１８０度反対側に設置することで、撮像光学系Ａ８で写らない被写体を撮像光学系Ｂ９で撮影することができ、撮像光学系Ｂ９で写らない被写体を撮像光学系Ａ８で撮影することができる。さらに、複数の撮像光学系、撮像素子をそれぞれが写すことの出来ない領域を補って設置することにより、３６０度の映像を同時に撮影することも可能となる。
【００４７】
図１２は、撮像光学系１０から出力される光を分割する光路分割部材１１を備える画像処理装置１の概略構成を示すブロック図である。撮像光学系１０で結像した映像を光路分割部材１１によって分割し、分割された光路のうち撮像素子Ａ３への光路長を光路長Ｌ１１１、撮像素子Ｂ４への光路長を光路長Ｌ１１２としている。光路長Ｌ１１１と光路長Ｌ１１２が同じである場合、一つの撮像光学系１０で撮像素子Ａ３と撮像素子Ｂ４で、同じ被写体１００の映像を撮像することができる。
【００４８】
一方、光路長Ｌ１１１と光路長Ｌ１１２が異なる場合、一つの撮像光学系１０で撮像素子Ａ３と撮像素子Ｂ４に同じ被写体１００の合焦映像と非合焦映像を撮像することができる。これにより、１つの撮像光学系で、２つの撮像素子に結像させることができ、同じ被写体を撮影する場合、それぞれに撮像光学系を具備するよりもコンパクトにすることができる。
【００４９】
図１３は、光路分割部材１１で分割された光路のうちの一方に光路長可変装置１２を備える画像処理装置１の概略構成を示すブロック図である。ここで、光路分割部材１１から光路長可変装置１２までの光路長を光路長Ｌ１１２、光路長可変装置１２から撮像素子Ｂ４までの光路長を光路長Ｌ１１２Ｖとする。光路長Ｌ１１２と光路長Ｌ１１２Ｖの和が光路長Ｌ１１１と等しければ、撮像素子Ａ３と撮像素子Ｂ４とで同じ被写体１００の映像を撮像することができる。また、光路長可変装置１２によって光路長Ｌ１１２Ｖを変更し、光路長Ｌ１１２と光路長Ｌ１１２Ｖの和が光路長Ｌ１１１と異なるようにすれば、撮像素子Ａ３と撮像素子Ｂ４で画角の異なる同じ被写体１００の映像を撮像することができる。
【００５０】
ここで、光路長可変装置１２は、撮像素子Ｂ４の位置を変化させる駆動機構であってもよい。この場合、光路長可変装置１２による光の利得を損なうことなく画角の異なる画像データを得ることができる。
【００５１】
また、光路長可変装置１２は、撮像素子Ｂ４に向かう光路に挿入される光学部材及びその光学部材を光路に対して挿抜するための駆動機構を含んでもよい。この場合、画角の異なる画像データを得たい場合は光学部材を挿入し、光路長Ｌ１１１と等しい画像データを得たい場合は光学部材を抜き出す。
【００５２】
図１４は、表示装置１３を備える画像処理装置１の概略構成を示すブロック図であり、表示装置１３によって画像処理部５で作成された画像データを表示する場合を示す。この表示装置１３で、撮像素子Ａ３と撮像素子Ｂ４で撮影された映像信号を変換して得られる画像データのすべて、もしくは一部を確認することができる。ここで、画像処理部５は、撮像素子Ａ３と撮像素子Ｂ４で撮影された映像信号を変換して得られる画像データを切り替えて表示装置１３へ出力してもよい。
【００５３】
図１５は、本実施形態の画像処理装置１において、撮像素子Ａ３を30fpsで駆動させ、撮像素子Ｂ４を15fpsで駆動させる場合のタイミングチャートである。図１５に示すように、撮像素子Ａ３を30fpsで駆動させ、撮像素子Ｂ４を15fpsで駆動させると、撮影更新周期が30fps必要なときは画像処理部５で撮像素子Ａ３によって得られる画像データＡを表示装置１３へ出力すればよい。
【００５４】
図１６は、撮像素子Ｂ４によって得られる画像データＢを表示装置１３へ出力する場合のタイミングチャートを示す。図１６に示すように、撮影更新周期が15fps必要なときは画像処理部５で撮像素子Ｂ４によって得られる画像データＢを表示装置１３へ出力すればよい。このようにして撮影更新周期を容易に変更させることができる。
【００５５】
（第２の実施形態）
図１７は、本発明の第２の実施形態を説明する為の画像処理装置の概略構成を示すブロック図である。図１７に示す画像処理装置１は、撮像装置２から出力される映像信号を使用し、コントラスト検出方式によって被写体１００の輪郭情報を取り出す輪郭抽出装置１４と、輪郭抽出装置１４によって得られる輪郭情報から撮像光学系１０を制御し被写体１００の結像（合焦）のための制御を行う中央演算装置１５とを備える。撮像装置２は、撮像素子Ａ３及び撮像素子Ｂ４を同時に駆動するものであり、光路長Ｌ１１１と光路長Ｌ１１２のずれから結像のための撮像光学系１０の制御量を中央演算装置１５が判断し、撮像素子Ａ４及び撮像素子Ｂ４の両方、もしくはいずれか一方の撮像素子を結像させる。
【００５６】
図１８は、光路長のずれが撮像素子Ａ３及びＢ４の合焦に及ぼす影響について説明する図である。図１８のＡ点は撮像素子Ａ３の合焦状態、Ｂ点は撮像素子Ｂ４の合焦状態、幅Gは光路長のずれによる撮像素子Ａ３及び撮像素子Ｂ４の合焦状態の差を示す。一般的にレンズで被写体を結像した場合、図１８のＰ点のように結像位置が存在する。そして結像位置からレンズをずらすと、図１８の曲線のように合焦状態からはずれていく。図中の撮像光学系の制御量とは、撮像光学系における駆動可能な“焦点をあわせるためのレンズ”の可動量を示しており、撮像光学系の焦点距離を変えるレンズによって焦点がずれた場合にも、焦点をあわせるためのレンズを可動させることにより焦点をあわせることができる。
【００５７】
図１８において、撮像素子Ａ３及び撮像素子Ｂ４の合焦状態から、撮像素子Ｂ４の方が合焦状態に近いことがわかる。これにより、中央演算装置１５は撮像光学系１０の可動量を多い方向に制御し、撮像素子Ｂ４の合焦状態が低くなった段階で、Ｐ点を通過したことを判断する。以降、中央演算装置１５は撮像光学系１０の可動量を少ない方向に制御し、撮像素子Ｂ４の合焦状態がより高い状態まで制御を行う。これにより、撮像素子が一つだけある場合よりも撮像光学系の可動量を少なくすることができるとともに、高速に合焦を行うことができる。
【００５８】
また、ここでは２つの撮像素子について述べているが、さらに撮像素子を増やすことでＰ点に近い撮像素子について合焦動作を行い、撮像光学系の可動量を少なくすることができるので、高速に合焦を行うことができる。
【００５９】
図１９は、複数の輪郭抽出装置を備える画像処理装置１の概略構成を示すブロック図である。図１９に示すように、画像処理装置１は、撮像装置Ａ６から出力される映像信号を使用して輪郭情報を取り出す輪郭抽出装置Ａ１６と、撮像装置Ｂ７から出力される映像信号を使用して輪郭情報を取り出す輪郭抽出装置Ｂ１７とを備え、輪郭抽出装置Ａ１６によって得られる輪郭情報から撮像光学系Ａ８を制御して被写体１００の結像（合焦）を行い、輪郭抽出装置Ｂ１７によって得られる輪郭情報から撮像光学系Ｂ９を制御して被写体１００の結像（合焦）を行う中央演算装置１５を備える。
【００６０】
図１９に示す画像処理装置１は、撮像素子Ａ３に関する装置（撮像光学系Ａ８、撮像素子Ａ３、撮像装置Ａ６、輪郭抽出装置Ａ１６）、及び撮像素子Ｂ４に関する装置（撮像光学系Ｂ９、撮像素子Ｂ４、撮像装置Ｂ７、輪郭抽出装置Ｂ１７）を独立して動作させることができるので、撮像素子を１つだけ駆動させる場合は撮像素子Ａ３に関する装置のみを駆動させ、必要な場合だけ撮像素子Ｂ４に関する装置も駆動させることができる。これにより、撮像素子を１つだけ駆動させる場合の電力消費を抑えることができる。また、撮像装置Ａ６及び撮像装置Ｂ７から出力される映像信号から、輪郭抽出装置Ａ１６及び輪郭抽出装置Ｂ１７において同時に輪郭情報を取り出すことができるので、撮像装置Ａ６及び撮像装置Ｂ７の映像信号出力制御を同時に行うことができる。
【００６１】
図１８では、撮像素子Ａ３もしくは撮像素子Ｂ４のいずれか一方について合焦を行う場合について説明しているが、図１９に示す画像処理装置１によれば、複数の撮像素子について合焦を行うことができる。したがって、図１８のように合焦状態に近い撮像素子Ｂ４に対する合焦だけでなく、撮像素子Ａ３についても合焦を行って連続撮影することができる。
【００６２】
図２０は、図１９に示す画像処理装置１の動作を示すタイミングチャートである。図２０において、輪郭抽出装置Ａ１６の輪郭抽出Ａは、撮像装置Ａ６から出力される映像信号を使用して輪郭情報を取り出す合焦動作を表し、輪郭抽出装置Ｂ１７の輪郭抽出Ｂは、撮像装置Ｂ７から出力される映像信号を使用して輪郭情報を取り出す合焦動作を表す。また、中央演算装置１５の光学系制御Ａは、撮像光学系Ａ８を制御して合焦を行う動作を表し、光学系制御Ｂは、撮像光学系Ｂ９を制御して合焦を行う動作を表す。図２０に示すように、静止画撮影中でない撮像素子に対する合焦動作を随時行うことで、次々と合焦された映像を撮ることができる。
【００６３】
図２１は、合焦を行う撮像素子の個数を指定する指定装置１８を備える画像処理装置１の概略構成を示すブロック図である。図２１に示す画像処理装置１は、合焦を行う撮像素子の個数を指定する指定装置１８を備え、指定装置１８で指定された個数だけ撮像素子の合焦動作を行う中央演算装置１５を備える。
【００６４】
図２２は、２つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャートである。この場合、指定装置１８において指定数が“２”に指定されているため、撮像光学系Ａ８及び撮像光学系Ｂ９の２つとも合焦動作が行われる。
【００６５】
図２３は、１つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャートである。この場合、指定装置１８において指定数が“１”に指定されているため、撮像光学系Ａ８もしくは撮像光学系Ｂ９のいずれか１つの合焦動作が行われる。なお、合焦動作の行われない撮像素子に関する装置について撮影動作を行っているが、撮影動作を行わないほうが好ましく、それにより消費電力を抑えることができる。
【００６６】
上記説明では２つの撮像素子について示しているが、これに限らず、複数の撮像素子のうち一部もしくは全てを指定するように指定装置１８を駆動させても良い。例えば５つの撮像素子に対し、合焦動作を２つ行うとすると、合焦動作の行われる２つについては連続撮影もしくは同時撮影が行え、残りの３つについては動作させない、といった使い方ができる。
【００６７】
なお、本発明は上記実施の形態に限定されるものではなく、以下のように実施してもよい。
（１）上記説明では、撮像素子の露光制御と映像信号出力のタイミングをいくつか示したが、撮像素子の露光制御と映像信号出力は撮像素子ごとに独立に制御することができるので、タイミングはこれらに限らず、ずらしてもよい。また各タイミングにおいて、連続撮影動作は２回の例を示しているが、これに限らず何回連続撮影動作を行っても良い。
（２）上記説明では、撮像素子Ａが低画素の場合について示しているが、これに限らず、撮像素子Ｂを低画素のものにして駆動させても良い。
（３）撮像素子の画素数は、上記説明で示した数に限らず、ほかの画素数の撮像素子を用いても良い。
【産業上の利用可能性】
【００６８】
本発明は、高速撮影モードにおいて、撮像素子の露光時間と映像信号出力時間によって撮影間隔が支配されることなく、高速に連続撮影を行うことができる効果を有し、ＣＣＤ（Charge Coupled Devices：電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数備える画像処理装置等に有用である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第1の実施形態を説明するための画像処理装置の概略構成を示すブロック図
【図２】画像処理装置１で高速な連続撮影を行う場合のタイミングチャート
【図３】画像処理装置１で映像信号出力制御Ａと映像信号出力制御Ｂを同時に処理する場合のタイミングチャート
【図４】画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を連続して撮影動作させた場合のタイミングチャート
【図５】画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を同時に駆動させ、各撮像素子の露光時間を変えた場合のタイミングチャート
【図６】（ａ）は、図１に示す画像処理装置１に画像処理部５を追加した画像処理装置１の概略構成を示すブロック図、（ｂ）は、撮像素子Ａ３でモニター撮影中に、撮像素子Ｂ４でスチル（静止画）撮影を行う場合のタイミングチャート
【図７】撮像素子３及び４にそれぞれ対応する撮像装置Ａ６及びＢ７を備える画像処理装置１の概略構成を示すブロック図
【図８】撮像素子Ａ３が低画素、撮像素子Ｂ４が高画素の場合の画像処理装置１の概略構成を示すブロック図
【図９】図８に示す各撮像素子のモニター撮影時の駆動を示すタイミングチャート
【図１０】撮像素子Ａ３及びＢ４にそれぞれ対応する撮像光学系Ａ８及びＢ９を備える画像処理装置１の概略構成を示すブロック図
【図１１】撮像光学系Ａ８及びＢ９がそれぞれ異なる被写体１００,１０１からの光を結像するように配置された画像処理装置１の概略構成を示すブロック図
【図１２】撮像光学系１０から出力される光を分割する光路分割部材１１を備える画像処理装置１の概略構成を示すブロック図
【図１３】光路分割部材１１で分割された光路のうちの一方に光路長可変装置１２を備える画像処理装置１の概略構成を示すブロック図
【図１４】表示装置１３を備える画像処理装置１の概略構成を示すブロック図
【図１５】画像処理装置１において、撮像素子Ａ３を30fpsで駆動させ、撮像素子Ｂ４を15fpsで駆動させる場合のタイミングチャート
【図１６】撮像素子Ｂ４によって得られる画像データＢを表示装置１３へ出力する場合のタイミングチャート
【図１７】本発明の第２の実施形態を説明する為の画像処理装置の概略構成を示すブロック図
【図１８】光路長のずれが撮像素子Ａ３及びＢ４の合焦に及ぼす影響について説明する図
【図１９】複数の輪郭抽出装置を備える画像処理装置１の概略構成を示すブロック図
【図２０】図１９に示す画像処理装置１の動作を示すタイミングチャート
【図２１】合焦を行う撮像素子の個数を指定する指定装置１８を備える画像処理装置１の概略構成を示すブロック図
【図２２】２つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャート
【図２３】１つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャート
【符号の説明】
【００７０】
１     画像処理装置
２     撮像装置
３     撮像素子Ａ
４     撮像素子Ｂ
５     画像処理部
６     撮像装置Ａ
７     撮像装置Ｂ
８     撮像光学系Ａ
９     撮像光学系Ｂ
１０  撮像光学系
１１  光路分割部材
１２  光路長可変装置
１３  表示装置
１４  輪郭抽出装置
１５  中央演算装置
１６  輪郭抽出装置Ａ
１７  輪郭抽出装置Ｂ
１８  指定装置
２０  撮像素子駆動信号発生装置Ａ
２１  撮像素子駆動信号発生装置Ｂ
１００  被写体
１０１  被写体
Ｌ１  被写体から撮像光学系Ａまでの光路長
Ｌ２  被写体から撮像光学系Ｂまでの光路長
Ｌ１１  撮像光学系Ａから撮像素子Ａもしくは光路分割部材までの光路長
Ｌ２１  撮像光学系Ｂから撮像素子Ｂまでの光路長
Ｌ１１１  光路分割部材から撮像光学系Ａまでの光路長
Ｌ１１２  光路分割部材から撮像光学系Ｂまでの光路長
Ｌ１１２Ｖ  光路長可変装置から撮像光学系Ｂまでの光路長
【図１】
2005341134.tif 000003
【図２】
2005341134.tif 000004
【図３】
2005341134.tif 000005
【図４】
2005341134.tif 000006
【図５】
2005341134.tif 000007
【図６】
2005341134.tif 000008
【図７】
2005341134.tif 000009
【図８】
2005341134.tif 000010
【図９】
2005341134.tif 000011
【図１０】
2005341134.tif 000012
【図１１】
2005341134.tif 000013
【図１２】
2005341134.tif 000014
【図１３】
2005341134.tif 000015
【図１４】
2005341134.tif 000016
【図１５】
2005341134.tif 000017
【図１６】
2005341134.tif 000018
【図１７】
2005341134.tif 000019
【図１８】
2005341134.tif 000020
【図１９】
2005341134.tif 000021
【図２０】
2005341134.tif 000022
【図２１】
2005341134.tif 000023
【図２２】
2005341134.tif 000024
【図２３】
2005341134.tif 000025