(57)【要約】【課題】  撮像素子の切り出し読み出しにより被写体の変化に追従しつつ、切り出し範囲外の部分がなるべく死角とならないよう撮影を行うことのできる撮像装置及び撮像方法を提供することにある。【解決手段】  撮像素子を各画素にランダムにアクセスして読み出しが可能な構成とするとともに、且つ該撮像素子に２つ以上の信号出力端子を設け同時に２箇所以上読み出せるような構成とする。通常時は遅いフレームレートで全体の撮影を行う。全体画像から画像の変化を検出したら、その近辺を切り出して第２の信号出力端子から重点的に信号読み出しを行うことで変化のある部分の画像更新レートを上げる。変化の無い部分については通常時の遅いフレームレートのまま信号読み出しを行い夫々個別に信号処理を行って後で二つの画像を合成する。【選択図】  図１
2006324834.tif 000002
【特許請求の範囲】
【請求項１】
各画素に対して複数の信号読み出しルートを有し、各信号読み出しルートから並行して信号を出力する撮像素子と、
該撮像素子の各信号読み出しルートから並行して出力される複数の信号を処理する信号処理手段と、
該信号処理手段が処理した複数の信号を合成して１つの信号を生成する合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記撮像素子から並行して出力される複数の信号は、画角および／またはフレームレートが異なること、
を特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記撮像素子から並行して出力される複数の信号のうち、第１の信号は該撮像素子が撮像可能な最大画角に略等しい画角であり、第２の信号は該画角よりも小さい画角であること、
を特徴とする撮像装置。
【請求項４】
請求項３において、第１の信号のフレームレートは第２の信号のフレームレートより小さいこと
を特徴とする撮像装置。
【請求項５】
請求項３又は４において、
前記信号処理手段の出力信号より撮像物体の動きを検出する認識処理手段と、
を備え、
前記第２の信号は、該認識処理手段により動きが検出された部分を含む所定の画角であること、
を特徴とする撮像装置。
【請求項６】
少なくとも２つ以上の信号読み出しルートを持ち、且つ該信号読み出しルートの各々が全ての画素に対しての読み出しを可能とした撮像素子と、該撮像素子の各々の出力に対して個別にＡＤ変換を行うための複数のＡＤ手段と、該複数のＡＤ変換手段でデジタル化した複数のデジタル撮像信号に対して、各々個別に信号処理を行って輝度信号と色信号からなるデジタル画像信号を生成する複数の画像信号処理手段と、該複数の画像信号処理手段で生成された複数のデジタル画像信号に対して、各々個別に画像内の物体の移動量を検出し数値化する複数の認識処理手段と、該複数のデジタル画像信号を合成して別のデジタル画像信号を生成する画像合成処理手段、該複数の認識処理手段により数値化された画像内の物体移動情報をもとに装置をコントロールするコントローラで構成される撮像装置であって、該撮像素子の二つ以上の読み出しルートから画角、フレームレートの異なる撮像信号を並行して読み出して、それら二つ以上の撮像信号から生成されるデジタル画像信号を合成して別のデジタル画像信号を生成する撮像装置。
【請求項７】
請求項６に記載の撮像装置において、撮像素子から読み出される二つ以上の撮像信号のうちの一つは、撮像装置の撮影可能な最大の範囲の撮像画像を生成するための撮像信号、残りの撮像信号は撮像装置で撮影可能な範囲の内で撮像物体の動きがある部分とその周辺を含む範囲を切り取った撮像画像生成をするための撮像信号となるよう画角を設定し、動きのある部分のフレームレート上げて撮影を行い、該最大範囲の撮像画像に対して動きのある部分とその周辺を切り取った撮像画像の全てを組み合わせた合成画像を生成して、それを用いて動画像を生成する撮像方法。
【請求項８】
全ての画素に対しての読み出しを可能とした撮像素子と、該撮像素子の出力に対して時分割でＡＤ変換を行うための複数のＡＤ手段と、該複数のＡＤ変換手段でデジタル化した複数のデジタル撮像信号に対して、各々個別に信号処理を行って輝度信号と色信号からなるデジタル画像信号を生成する複数の画像信号処理手段と、該複数の画像信号処理手段で生成された複数のデジタル画像信号に対して、各々個別に画像内の物体の移動量を検出し数値化する複数の認識処理手段と、該複数のデジタル画像信号を合成して別のデジタル画像信号を生成する画像合成処理手段、該複数の認識処理手段により数値化された画像内の物体移動情報をもとに装置をコントロールするコントローラで構成される撮像装置であって、該撮像素子の二つ以上の読み出しルートから画角、フレームレートの異なる撮像信号を並行して読み出して、それら二つ以上の撮像信号から生成されるデジタル画像信号を合成して別のデジタル画像信号を生成する撮像装置。
【請求項９】
全ての画素に対しての読み出しを可能とした撮像素子と、該撮像素子の出力信号をＡＤ変換するＡＤ手段と、ＡＤ変換手段でデジタル化したデジタル撮像信号を時分割で振り分けて、各々個別に信号処理を行って輝度信号と色信号からなるデジタル画像信号を生成する複数の画像信号処理手段と、該複数の画像信号処理手段で生成された複数のデジタル画像信号に対して、各々個別に画像内の物体の移動量を検出し数値化する複数の認識処理手段と、該複数のデジタル画像信号を合成して別のデジタル画像信号を生成する画像合成処理手段、該複数の認識処理手段により数値化された画像内の物体移動情報をもとに装置をコントロールするコントローラで構成される撮像装置であって、該撮像素子の二つ以上の読み出しルートから画角、フレームレートの異なる撮像信号を並行して読み出して、それら二つ以上の撮像信号から生成されるデジタル画像信号を合成して別のデジタル画像信号を生成する撮像装置。
【請求項１０】
請求項８もしくは請求項９に記載の撮像装置において、点順次で時間ごとに分割された二つ以上の撮像信号のうちの一つは、撮像装置の撮影可能な最大の範囲の撮像画像を生成するための撮像信号、残りの撮像信号は撮像装置で撮影可能な範囲の内で撮像物体の動きがある部分とその周辺を含む範囲を切り取った撮像画像生成をするための撮像信号となるよう画角を設定し、動きのある部分のフレームレート上げて撮影を行い、該最大範囲の撮像画像に対して動きのある部分とその周辺を切り取った撮像画像の全てを組み合わせた合成画像を生成して、それを用いて動画像を生成する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
撮像装置と撮像方法に係わる
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００４−２３７４７号公報（特許文献１）がある。該公報には、課題として「オートフォーカス制御の高速化を図り、かつ、オートフォーカス制御時のプレビュー表示を適正化することが可能な電子カメラを提供する。」と記載され、解決手段として「デジタルカメラにおけるＣＣＤ撮像素子１０は、画像信号の読み出しモードとして、撮像素子内の全画素のうちの所定数の画素に対応する画像信号を読み出すドラフトモードと、このドラフトモードよりも少ない数の画素に対応する画像信号を読み出すことによって複数の画像を高速に読み出す自動合焦モードとを有する。シャッタボタンが半押し状態に押下されると、自動合焦モードで読み出された画像信号に基づいてオートフォーカス制御が行われ、表示部（背面ＬＣＤ等）には、自動合焦モードに移行する直前にドラフトモードで読み出されていた画像信号に基づく画像Ｇｂと自動合焦モードで読み出される画像信号に基づく画像Ｇｈとの合成画像が表示される。」と記載されている。
【０００３】
【特許文献１】特開２００４−２３７４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
光電変換による撮像素子は製造プロセスの微細化技術に後押しされ、高画素化が進んでいる。撮像素子の高画素化により撮像装置の高解像度化が進んだ反面、デジタルスチルカメラでは撮像素子からの信号読み出し速度の限界を理由に、動画像処理のフレームレートを下げることを余儀なくされる事態が生じている。民生用ビデオカメラでは、撮像素子内で画素混合を行うことで実効的に画素数を減らしてから信号の読み出しを行うことで、動画像処理に要求されるフレームレートの撮影を行うものもある。
【０００５】
また、デジタルスチルカメラにおいて画像の更新レートの早さが要求される場面では、例えば特開２００４−２３７４７に記載されているように、フォーカス動作をする際に画面の一部を切り出して読み出すことで画像の更新レートを上げて撮影のための制御を行う技術が記載されている。さらに、同発明によれば、フォーカス動作直前の撮像画像を保存してビューファインダ等に表示することで撮影される画角をビューファインダ等で確認できるとしている。
【０００６】
監視カメラを設置する場合において、なるべく死角を作りたくない。監視カメラのレンズを広角レンズとすることで一度に広範囲を撮影すれば死角を少なくすることが可能である。しかしながら、広角レンズで広範囲を撮影した場合、遠くにある被写体は小さく撮影されるため遠くにある被写体の細部を確認することが出来なくなる。係る問題を解決するため、背景技術にある画素数の多い撮像素子を用いることが考えられるが、画像の更新レートが犠牲になるので被写体の変化に追従する速度が犠牲になる。また、特開２００４−２３７４７号公報に記載される技術のように、画面の一部を切り出すことにより画面の更新レートを上げて被写体に追従する技術(フォーカス制御について記載)もあるが、切り出し範囲外は事実上死角となってしまうため死角をなるべく作りたくないという主旨に反する。
【０００７】
そこで、撮像素子の切り出し読み出しにより被写体の変化に追従しつつ、切り出し範囲外の部分がなるべく死角とならないよう撮影を行うことができると、使い勝手向上する。
【０００８】
本発明が解決しようとする課題は、撮像装置の使い勝手向上である。
【課題を解決するための手段】
【０００９】
上記課題は、特許請求の範囲に記載の発明により解決される。
【発明の効果】
【００１０】
本発明によれば、撮像装置の使い勝手が向上する。
【発明を実施するための最良の形態】
【００１１】
以下、図を用いて、実施例を説明する。
【実施例１】
【００１２】
図１は、本発明おける撮像装置の構成の一例を示したものである。同図において、１０１は撮影対象から到来する光を撮像素子１０２の撮像面に結像させるための撮像レンズ、１０２は撮像面に照射された光を電気的なエネルギーに変換して電荷として蓄積する撮像素子、１０３及び１０４は撮像素子から読み出されるアナログの撮像信号をデジタルの撮像信号に変換するＡＤ変換手段、１０５及び１０６はデジタルの撮像信号から輝度信号と色信号からなる画像信号を生成する信号処理手段１及び信号処理手段２、１０７及び１０８は画像信号の時間的変化から撮像物体の動きを認識する認識処理手段１及び認識処理手段２、１０９は信号処理手段１及び信号処理手段２で生成された２つの画像信号を合成する画像合成処理手段、１１０は撮像装置の動作を制御するコントローラ、１１１は撮像装置の動作タイミング基準を発生するタイミング発生手段を示している。また、１１２は信号処理手段１、信号処理手段２、認識処理手段１、認識処理手段２および画像合成処理手段が形成される信号処理手段であり、本発明ではデジタル信号処理手段と称す。
【００１３】
上記撮像装置の動作を説明すると以下の通りとなる。
【００１４】
撮像素子は、光電変換を行う画素が撮像面上に碁盤目状に並べられており、各々の画素に対してＡ及びＢ２つの信号読み出しルートが設けられている(図３)。撮像信号の読み出しは撮像素子に設けられた読み出し制御手段（図示せず）が、各々の画素に設けられたスイッチＡ及びスイッチＢを開閉することで配線Ａ若しくは配線Ｂを介して撮像信号を出力端子Ａ若しくは出力端子Ｂへ送り出すことによって行われる。
【００１５】
出力端子Ａ及び出力端子Ｂの各出力端子から読み出される画素の範囲は、コントローラが該読み出し制御手段に設定する開始位置と終了位置を対角線とする領域で決定され、出力端子Ａか読み出される領域と出力端子Ｂから読み出される領域が重複した場合には、各々の領域が排他になるように、コントローラが設定するどちらか一方の領域を優先する。
【００１６】
信号の読み出し順序は、開始位置から終了位置に向けて水平方向若しくは垂直方向のラインごとに順次読み出しを行うものとする。図１０はＮ×Ｍ画素の領域に対して水平方向のラインごとに読み出す場合の読み出し順序を図示したものである。同図に示したようにＮ×Ｍ画素の領域を水平のラインごとに読み出す場合には開始画素を先頭に水平方向に連続Ｎ画素の順次読み出しが終了したら、次のラインという形で合計Ｍラインの画素について読み出しを行う。但し、排他領域の読み出し停止期間に差し掛かった場合は、その期間についての信号読み出しが行われないようスイッチの開閉動作を停止する。また、全画素の読み出しを高速で行う場合には、必要に応じて同色フィルタにより分光された光で露光した画素の読み出しスイッチの幾つかを同時に開閉して信号を加算することで全画素の読み出し期間する。例えば、４画素の信号を加算する場合においては、図１１のような色フィルタ配列を持たせた撮像素子であれば、図１２に示すような順序で信号の読み出しを行うようにする。
【００１７】
撮像素子から読み出された撮像信号は、ＡＤ変換手段１及び、ＡＤ変換手段２でＡＤアナログの撮像信号からデジタルの撮像信号に変換され、デジタル信号処理手段に供給される。
【００１８】
デジタル信号処理手段では、まず、信号処理手段１及び信号処理手段２を用いて撮像素子に設けられた２つの出力端子から読み出された２つの撮像信号を個別に処理して２つの画像信号を生成する。この時、一方の撮像素子からの信号読み出し範囲を撮像素子の撮像面全体、もう一方の撮像素子からの信号読み出し範囲を撮像素子の撮像面の一部にセットすれば、カメラが撮影できる画角全体の撮像画像（以降、「バックグランド画像」称す）と、その一部を切り取った撮像画像（以降、「注目画像」と称す）の２つの画像信号が生成される。生成されたバックグランド画像と注目画像は、それぞれ認識処理手段１及び、認識処理手段２に供給され新規に撮像された撮像画像とそれ以前に撮像された撮像画像の比較を行い撮影物体の動きを検出し、画面内の各位置における動きの量（ｘ:水平方向の移動量、ｙ：垂直方向の移動量）を示す情報（以降動きベクトル情報と称す）を抽出しパラメータ化しデータベース化する。また、バックグランド画像と注目画像は画像合成処理手段により合成されてモニタ出力となるが、合成の方法としてはコントローラから注目画像の位置情報を取得してバックグランド画像に注目画像をはめ込む形にする。このとき、注目画像の読み出し範囲はバックグランド画像の読み出し範囲に比べて狭いため、単位画素あたりの読み出し時間を同じくした場合、バックグランド画像を１枚生成する間に複数毎の注目画像を生成することが出来る。いま仮に、注目画像の生成レートがバックグランド画像の生成レートの３倍であったとするとバックグランド画像１枚に対して、３枚の注目画像が生成される。このことを利用することで、３枚の注目画像のおのおのに対してバックグランド画像を合成した３枚の合成画像を生成することが可能となり、結果としては３枚の高精細な全体画像が構成される（図６に画像合成の様子を示す）。この時の連続的に撮像する際の画像処理のサイクルを示すと図７となる。また、ここで構成される３枚の画像は動きのある部分についてのみ着目して画面の更新を行った画像と等価であり、画面内の動きに対して追従性の高い画像となる。
【００１９】
コントローラは、デジタル信号処理手段で得た撮影画像の動きベクトル情報をもとに、撮像画像のバックグランド画像を形成する監視エリア上から注目画像の切り出しを行う範囲を示す注目エリアを決定する。撮像装置の初期状態としては、注目エリアの無い状態からスタートするが、注目エリアの決定は次の様に行う。図２ａに示したような監視エリア内において移動物体（図２ａの破線部内）が存在する場合の動きベクトル分布を図示すると図２のようになる。注目エリアの設定はこの動きベクトルの分布をもとに設定し、図５に示したように動きのある部分を囲むよう、なお且つ物体の移動を考慮して物体の移動方向に大きくなるよう設定する。また、一度注目エリアに設定された領域については、該当注目エリア内の動きベクトル情報を用いて、次の処理サイクルにおける注目エリアを予測して注目エリア領域の更新を行う。図８はバックグランド画像の生成を行うごとに一回の注目エリア更新を行う様子を図示したもので、図７におけるバックグランド画像Ａの生成期間の最後に生成された注目画像ｃ以前の注目画像における動きベクトル情報から、バックグランド画像Ｂ読み出し期間の注目エリアを設定する。また、注目エリア外で新たな動きを検出した場合、例えば図７におけるバックグランド画像Ａの動きベクトル情報を解析して新たな動きが検出された場合には、バックグランド画像Ｂの生成タイミングに注目エリアを追加して、予測エリアと注目エリアの２つのエリアの注目画像を生成させる。また、エリアの予測の際に同一エリア内で方向の異なる動きベクトル郡が存在する場合、次のエリア予測においてエリアの分割を行う（図１３）。また、複数のエリアの予測結果が重なる場合にはエリアの結合も行う（図１４）。さらに、監視エリア全体わたり動きに対する追従性を上げたい場合においては、静止画としての解像度は低下してしまうが撮像素子を画素混合モードに設定して画素混合を行うことで監視エリア全体の更新レートを早くするように撮像装置を制御する。
【００２０】
タイミング発生手段は、画像の更新サイクルの基準となる信号を発生させ、撮像素子、デジタル信号処理手段、コントローラの動作シーケンスを同期させる。例えば、基準となる信号としてバックグランド画像の更新周期で変動する２値のパルスを発生することで、撮像素子、デジタル信号処理手段、コントローラは該２値のパルスの変化点を基準として、内部動作タイミングをコントロールしシステム全体としての同期をとる。
【００２１】
以上によれば、撮影物体の動きに対する追従性が高く、なお且つ高精細で一度に広い領域の撮影画像を撮影することが出来る。
【実施例２】
【００２２】
以下、使用する撮像素子として、ランダムアクセス可能且つ読み出し出力を一つしか設けない撮像素子を用いて撮像装置を構成する場合の実施例をします。撮像素子として、ランダムアクセス可能な撮像素子を用いれば、フィルタの配列を工夫することで、画素の役割をバックグランド用と注目画像用に役割をグループ分けして、バックグランド画像の画素と注目画像の画素を時分割で読み出すことが可能である。図１５は、その時の撮像装置の構成例を示したもので、ここでは例えばＡＤ変換の周期をＡＤ変換器１とＡＤ変換器２で１８０度オフセットさせることで、信号処理手段に供給する信号を分離することが出来る。グループ分けを列ごとに行った例を図４にその時の画素フィルタの配列例を図１６に示す。また、ＡＤ変換のオフセットの様子は図１７に示す。図１５の撮像素子において画像を読み出す範囲は、バックグランドに関しては全画角、注目エリアについての指定は、第１の実施例同様コントローラの指定による。以上によれば、第1の実施例と同様に高精細で動きに対して追従性のよい撮像が行える撮像装置を実現できる。また、第２の実施例では、注目エリアの画像を形成する画素とバックグランド作る画素が独立であるため、注目エリアの予測は、注目エリアの画像生成毎に行えるため追従の精度を高める効果が得られる。本実施例の説明図（図１５）ではＡＤ変換器を２つとしているが、ＡＤを一つにしてＡＤ変換後にデジタルデータを振り分けてもよい。
【産業上の利用可能性】
【００２３】
本発明は撮像装置の構成とその撮像方法に適用される。
【図面の簡単な説明】
【００２４】
【図１】撮像装置の構成の一例
【図２】監視エリア内の物体移動と動きベクトルの関係を示す図
【図３】第１の実施例の撮像装置構成例
【図４】第２の実施例におけるバックグランド画像と注目画像の生成元となる画素のグループ分け方法の１例
【図５】注目エリアの設定基準の説明図
【図６】画像合成手段における画像構成の様子
【図７】バックグランド画像と注目画像の生成タイミング関係を示すタイムチャート
【図８】注目エリアの予測イメージ図
【図９】注目エリアの追加イメージ図
【図１０】撮像素子からの信号読み出し順序を示す図
【図１１】撮像素子のカラーフィルタパタンの例
【図１２】複数画素（４画素）同時読み出しを行う場合の読み出し順序を示す図
【図１３】注目エリア分割のイメージ図
【図１４】注目エリア結合のイメージ図
【図１５】第１の実施例とは異なった本発明の第２実施例
【図１６】第２の実施例おける撮像素子のカラーパタンの１例
【図１７】第２の実施例おけるＡＤ変換のオフセットの様子を示す図
【符号の説明】
【００２５】
１０１  撮像レンズ
１０２  撮像素子
１０３  ＡＤ変換手段１
１０４  ＡＤ変換手段２
１０５  信号処理手段１
１０６  信号処理手段２
１０７  認識処理手段２
１０８  認識処理手段１
１０９  画像合成処理手段
１１０  コントローラ
１１１  タイミング発生手段
１５０２  撮像素子
【図１】
2006324834.tif 000003
【図２】
2006324834.tif 000004
【図３】
2006324834.tif 000005
【図４】
2006324834.tif 000006
【図５】
2006324834.tif 000007
【図６】
2006324834.tif 000008
【図７】
2006324834.tif 000009
【図８】
2006324834.tif 000010
【図９】
2006324834.tif 000011
【図１０】
2006324834.tif 000012
【図１１】
2006324834.tif 000013
【図１２】
2006324834.tif 000014
【図１３】
2006324834.tif 000015
【図１４】
2006324834.tif 000016
【図１５】
2006324834.tif 000017
【図１６】
2006324834.tif 000018
【図１７】
2006324834.tif 000019