(57)【要約】【課題】信号電荷の蓄積期間が非同時な撮像素子を搭載した撮像装置において像ぶれを補正すると共に像の歪みを抑えること。【解決手段】撮像装置を、電荷蓄積期間が撮像面の所定領域ごとに相違する撮像素子と、撮像素子を駆動制御して被写体を複数回の連続した露光時間で撮像する撮像制御手段と、撮像された複数枚の画像を比較して該画像の相互のぶれを検出するぶれ検出手段と、検出されたぶれを補正するように複数枚の画像を相互にシフトして一枚の画像に合成するぶれ補正手段と、検出されたぶれに基づいて被写体の速度ベクトルを計算する速度ベクトル計算手段と、速度ベクトルに基づいて所定領域間の電荷蓄積期間の非同時性に起因した画像の歪みを補正する歪み補正手段と、から構成する。【選択図】図４
2012161029.tif 000002
【特許請求の範囲】
【請求項１】
電荷蓄積期間が撮像面の所定領域ごとに相違する撮像素子と、
前記撮像素子を駆動制御して被写体を複数回の連続した露光時間で撮像する撮像制御手段と、
前記撮像された複数枚の画像を比較して該画像の相互のぶれを検出するぶれ検出手段と、
前記検出されたぶれを補正するように前記複数枚の画像を相互にシフトして一枚の画像に合成するぶれ補正手段と、
前記検出されたぶれに基づいて前記被写体の速度ベクトルを計算する速度ベクトル計算手段と、
前記速度ベクトルに基づいて前記所定領域間の前記電荷蓄積期間の非同時性に起因した画像の歪みを補正する歪み補正手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記歪み補正手段は、
前記撮像面上の所定の基準領域の電荷蓄積期間を基準蓄積期間と定義し、歪み補正の対象となる補正対象像を取り込んだ該撮像面上の該基準領域以外の他の所定領域の電荷蓄積期間と該基準蓄積期間とのずれ時間を蓄積ずれ時間と定義し、該基準蓄積期間開始から該他の所定領域の電荷蓄積期間開始までの間の該補正対象像の移動距離及び移動方向を露光ずれ量と定義した場合に、
前記他の所定領域ごとに、
前記速度ベクトルと前記蓄積ずれ時間を用いて前記露光ずれ量を計算し、
前記露光ずれ量を用いて前記補正対象像の位置を前記基準蓄積期間の開始時点で存在していたと推定される位置に変換する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記歪み補正後の画像の形状を所定の表示画面領域に合わせて変更する形状変更手段を有することを特徴とする、請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであることを特徴とする、請求項１から請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記ぶれ検出手段は、前記複数枚の画像の中から共通の特徴点を検出し、
前記ぶれ補正手段は、前記特徴点が重なるように前記複数枚の画像を相互にシフトして一枚の画像に合成することを特徴とする、請求項１から請求項４の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号電荷の蓄積期間が非同時な撮像素子を搭載した撮像装置に関する。
【背景技術】
【０００２】
近年、固体撮像素子を搭載した撮像装置が広く普及している。撮像装置による被写体の撮像においては、像ぶれを抑えることが重要な課題の一つとして挙げられる。像ぶれを抑えるように構成された撮像装置は種々提案されている。
【０００３】
例えば特許文献１には、被写体を複数回の連続した短い露光時間で時分割的に撮像する撮像装置が記載されている。特許文献１に記載の撮像装置で撮像された各画像は、一回あたりの露光時間が短いため被写体のぶれ量が少ないが、露光不足のため全体的に輝度が低い。そのため、撮像装置は、露光開始からの装置本体のぶれ量が許容量に達するまで短時間露光を繰り返し行う。このようにして撮像された複数枚の画像は、一枚に合成されて適正な輝度を確保する。合成は、各画像の相互の像ぶれ量を検出し補正された状態で行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の撮像装置は、固体撮像素子としてＣＣＤ（Charge Coupled Device）イメージセンサを想定している。しかし、像ぶれは、ＣＣＤイメージセンサ以外の他の固体撮像素子を用いて撮像する場合も発生する。ＣＣＤイメージセンサ以外の代表的な固体撮像素子として、例えば、安価かつ低消費電力で量産性に優れたＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが知られている。
【０００６】
ＣＭＯＳイメージセンサを搭載した撮像装置において特許文献１に記載の像ぶれ補正の発明を適用すると、ＣＣＤイメージセンサを搭載した撮像装置と同様に像ぶれが補正されるものと思われる。
【０００７】
しかし、ＣＭＯＳイメージセンサは、動作原理上、信号出力直後に再び光電変換した信号の蓄積を開始するため、信号電荷の蓄積期間が走査線ごとに異なる。そのため、電荷蓄積期間のずれに起因した像の歪みが発生する。この種の像の歪みは、露光時間が短いほど各電荷蓄積期間の重複部分が短くなるため顕著に現れる。すなわち、特許文献１に記載の像ぶれ補正の発明をＣＭＯＳイメージセンサを搭載した撮像装置に適用した場合、像ぶれ補正の代償として像が大きく歪むという弊害が発生する。
【０００８】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、信号電荷の蓄積期間が非同時な撮像素子を搭載した撮像装置において像ぶれを補正すると共に像の歪みを抑えることである。
【課題を解決するための手段】
【０００９】
上記の課題を解決する本発明の一形態に係る撮像装置は、電荷蓄積期間が撮像面の所定領域ごとに相違する撮像素子と、撮像素子を駆動制御して被写体を複数回の連続した露光時間で撮像する撮像制御手段と、撮像された複数枚の画像を比較して該画像の相互のぶれを検出するぶれ検出手段と、検出されたぶれを補正するように複数枚の画像を相互にシフトして一枚の画像に合成するぶれ補正手段と、検出されたぶれに基づいて被写体の速度ベクトルを計算する速度ベクトル計算手段と、速度ベクトルに基づいて所定領域間の電荷蓄積期間の非同時性に起因した画像の歪みを補正する歪み補正手段とを有することを特徴としている。
【００１０】
本願発明によれば、電荷蓄積期間が撮像面の所定領域ごとに相違する撮像素子を用いて像ぶれ補正のために複数回の短時間露光を行う場合も、信号電荷の蓄積期間の非同時性に起因する画像の歪みが良好に抑えられる。
【００１１】
歪み補正手段は、撮像面上の所定の基準領域の電荷蓄積期間を基準蓄積期間と定義し、歪み補正の対象となる補正対象像を取り込んだ該撮像面上の該基準領域以外の他の所定領域の電荷蓄積期間と該基準蓄積期間とのずれ時間を蓄積ずれ時間と定義し、該基準蓄積期間開始から該他の所定領域の電荷蓄積期間開始までの間の該補正対象像の移動距離及び移動方向を露光ずれ量と定義した場合に、他の所定領域ごとに、速度ベクトルと蓄積ずれ時間を用いて露光ずれ量を計算し、露光ずれ量を用いて補正対象像の位置を基準蓄積期間の開始時点で存在していたと推定される位置に変換する構成としてもよい。
【００１２】
本発明に係る撮像装置は、歪み補正後の画像の形状を所定の表示画面領域に合わせて変更する形状変更手段を有する構成としてもよい。
【００１３】
撮像素子には、例えば安価かつ低消費電力で量産性に優れたＣＭＯＳイメージセンサが想定される。
【００１４】
ぶれ検出手段は、複数枚の画像の中から共通の特徴点を検出し、ぶれ補正手段は、特徴点が重なるように複数枚の画像を相互にシフトして一枚の画像に合成するように構成されてもよい。
【発明の効果】
【００１５】
本発明に係る撮像装置によれば、撮像素子の信号電荷の蓄積期間が非同時であっても像ぶれが補正されると共に像の歪みが抑えられる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態の撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態の撮像装置に搭載されたＣＭＯＳイメージセンサの撮像面の走査タイミングを説明するための図である。
【図３】本発明の実施形態の撮像装置に搭載された像ぶれ検出回路による像ぶれ検出を説明するための図である。
【図４】本発明の実施形態の撮像装置に搭載された像ぶれ補正回路及び露光ずれ補正回路による画像の補正を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施形態の撮像装置について説明する。
【００１８】
図１は、本実施形態の撮像装置１００の構成を示すブロック図である。本実施形態において、撮像装置１００は、内視鏡システム中の撮像装置部分を抜き出して示したものであるが、デジタルスチルカメラ、デジタルビデオカメラ、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Portable Navigation Device）、ＰＨＳ（Personal Handy-phone System）、携帯ゲーム機、ＰＣ等の撮像機能を有する別の形態の機器に組み込まれた装置としてもよい。
【００１９】
図１に示されるように、撮像装置１００は、コントロール回路１を有している。コントロール回路１は、各ブロックを統括的に制御する。図１中、コントロール回路１と各ブロックとの結線は、図面を簡明化する便宜上省略する。
【００２０】
コントロール回路１は、所定の同期信号に従い、ＣＭＯＳイメージセンサ２にクロックパルスを供給する。コントロール回路１は、像ぶれ補正のため、被写体を複数回の連続した短い露光時間で時分割的に撮像するようにＣＭＯＳイメージセンサ２の動作を制御する。各撮像において露光時間は一定で、撮像間隔も一定である。ＣＭＯＳイメージセンサ２は、クロックパルスに従って駆動して、光電変換した信号電荷を各画素で増幅して出力する。
【００２１】
図２（ａ）、（ｂ）は、ＣＭＯＳイメージセンサ２の撮像面の走査タイミングを説明するための図である。図２（ａ）に示されるように、ＣＭＯＳイメージセンサ２の撮像面には、複数の画素をライン状に並べた走査線が複数本（走査線Ｌ１、Ｌ２、・・・、Ｌｎ−１、Ｌｎ）配置されている。撮像面の走査タイミングは、図２（ｂ）に示される通りである。すなわち、ＣＭＯＳイメージセンサ２は、走査線ごとに走査する時間だけ信号電荷の蓄積期間がずれており、同時性がない。走査線Ｌ１を撮像面の最も上側の走査線と定義し、走査線Ｌｎを撮像面の最も下側の走査線と定義した場合、各走査線における信号電荷の蓄積期間の開始・終了は、撮像面の上側の走査線ほど早い。図２（ｂ）に示されるように、ＣＭＯＳイメージセンサ２は、一連の撮影動作中に各フレームで電荷蓄積が非同時な画素信号を数フレーム分出力する。
【００２２】
ＣＭＯＳイメージセンサ２が出力する各フレームの画素信号は、Ａ／Ｄ変換回路３に入力してデジタル信号に変換後、前段画像処理回路４に入力する。前段画像処理回路４に入力した各画素信号は、クランプ、ニー、γ補正、補間処理、ＡＧＣ（Auto Gain Control）等の所定の信号処理後、画像メモリ５が持つフレームメモリにフレーム単位でバッファリングされる。画素メモリ５には、少なくとも上記一連の撮影動作で得られる数のフレームを格納する領域が備えられている。
【００２３】
像ぶれ検出回路６は、像ぶれ量を電子的に検出する回路である。図３に、像ぶれ検出回路６による像ぶれ検出を説明するための図を示す。図３（ａ）〜（ｃ）に示されるように、像ぶれ検出回路６は、フレームメモリに格納されている上記一連の撮影動作中に撮像された複数枚（本実施形態では３枚）の画像の中からエッジ検出等により共通の特徴点ｆを検出する。像ぶれ検出回路６は、各画像の特徴点ｆの出現座標を比較して被写体（例えば図３（ａ）中撮影範囲の中央に位置する被写体Ｏ）の相互の表示位置のずれ、つまり像ぶれ量を検出する。
【００２４】
像ぶれ補正回路７は像ぶれを補正し、露光ずれ補正回路８は画像の歪みを補正する。図４に、像ぶれ補正回路７及び露光ずれ補正回路８による画像の補正を説明するための図を示す。
【００２５】
像ぶれ補正回路７は、フレームメモリに格納されている３枚の画像を単純に重ね合わせる（図４（ａ）参照）。個々の画像は、短時間露光で得た画像であるため像ぶれが少ない。しかし、画像相互では像ぶれがあるため、被写体Ｏの表示位置が一致しない。像ぶれ補正回路７は、像ぶれ検出回路６で検出された像ぶれ量の分だけ画像を相互にシフトさせて一枚の画像に合成する。シフト処理後の合成画像において特徴点ｆは一点に重なる（図４（ｂ）参照）。
【００２６】
図４（ｂ）に示されるように、合成画像は、シフト量に応じて画像サイズが拡大している。像ぶれ補正回路７は、トリミングを行い、規定の画像サイズ（例えばフレームメモリに格納されている画像と同一のサイズ）を超える領域をカットする（図４（ｃ）参照）。モニタ２００の解像度が高い場合は、大きい画像を表示するためトリミングを行わなくてもよい。
【００２７】
像ぶれ補正回路７は、短時間露光で得た複数枚の画像を上記の通り合成することにより、ぶれが少ないと共に輝度が確保された画像を得る。しかし、合成画像には、ＣＭＯＳイメージセンサ２の信号電荷の蓄積期間の非同時性に起因した歪みが残存している。図３（ａ）〜（ｃ）中の被写体Ｏ’（点線）は、ＣＣＤイメージセンサのように全画素の信号電荷の蓄積期間及び転送が同時に行われる場合に撮像される被写体像を示す。つまり、図３の例においては、被写体Ｏ’に対する現実の撮影像（すなわち被写体Ｏ）自体が画像の歪みを表現している。
【００２８】
露光ずれ補正回路８は、ＣＭＯＳイメージセンサ２の信号電荷の蓄積期間の非同時性に起因した歪みを補正する。ここで、各走査線Ｌ１、Ｌ２、・・・、Ｌｎにおける信号電荷の蓄積期間は既知である。そのため、基準走査線における信号電荷の蓄積期間を基準蓄積期間と定義した場合、基準蓄積期間と各走査線における信号電荷の蓄積期間とのずれ時間（以下、「蓄積ずれ時間」と記す。）も既知である。本実施形態において基準走査線は、例えば走査線Ｌ１である。
【００２９】
露光ずれ補正回路８は、各画像の被写体Ｏの相互の表示位置のずれから被写体Ｏの速度ベクトルを計算する。露光ずれ補正回路８は、基準蓄積期間開始から当該走査線の蓄積期間開始までの間の被写体Ｏの移動距離及び移動方向を速度ベクトルと蓄積ずれ時間を基に走査線単位で推定する。露光ずれ補正回路８は、推定された被写体Ｏの移動距離及び移動方向に対応した座標変換を走査線単位で行う。すなわち、露光ずれ補正回路８は、補正対象の走査線上の被写体Ｏを基準蓄積期間の開始時点で存在していたと推定される位置（被写体Ｏ’の位置）に移動させる。図３の例においては、被写体Ｏが画面右側に移動しているため、撮像面の下側の走査線の被写体像ほど画面右側に現れている。露光ずれ補正回路８は、被写体Ｏが被写体Ｏ’の位置に現れるように座標変換を行い（図３（ａ）〜（ｃ）及び図４（ｄ）参照）、ＣＭＯＳイメージセンサ２の信号電荷の蓄積期間の非同時性に起因した歪みを補正する。
【００３０】
露光ずれ補正回路８による座標変換後の画像は、後段画像処理回路９に入力する。座標変換後の画像の形状は、図４（ｄ）に示されるように、矩形でなく歪んでいる。後段画像処理回路９は、座標変換後の画像をモニタ２００上の撮影画像の表示領域（例えば矩形）に合わせてトリミングする（図４（ｅ）参照）。図４（ｅ）においては、説明の便宜上、トリミングで除去される領域が多く示されているが、実際に除去される領域は少ない。また、注視すべき被写体は画面中央に表示されているため、周辺領域を除去しても実質的に問題は生じない。後段画像処理回路９は、トリミングに代えて矩形のマスキングを行ってもよい。トリミングやマスキングの実行は、処理の簡略のため省いてもよい。
【００３１】
トリミング後の画像は、画像出力回路１０に入力してＮＴＳＣ（National Television
System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠した映像信号に変換される。変換された映像信号がモニタ２００に順次入力することにより、被写体の画像がモニタ２００の表示画面上に表示される。
【００３２】
このように、本実施形態によれば、ＣＭＯＳイメージセンサ２を搭載した撮像装置１００において、像ぶれ補正のために複数回の短時間露光を行う場合も、信号電荷の蓄積期間の非同時性に起因する画像の歪みが良好に抑えられる。なお、本実施形態の像ぶれ補正と歪み補正を行うにあたり特定のハードウェア構成を追加する必要はなく、実質的にコスト上昇を伴わない。
【００３３】
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えばＣＭＯＳイメージセンサ２は、信号電荷の蓄積期間が走査線単位でなく画素単位でずれた構成としてもよい。また、蓄積された信号電荷の走査順序は、本実施形態で示される順序に限定されない。
【００３４】
像ぶれ検出回路６は、電子式に限らず角速度センサ等のセンサ類を用いて像ぶれ量を検出するモジュールに置き換えてもよい。
【符号の説明】
【００３５】
１  コントロール回路
２  ＣＭＯＳイメージセンサ
３  Ａ／Ｄ変換回路
４  前段画像処理回路
５  画像メモリ
６  像ぶれ検出回路
７  像ぶれ補正回路
８  露光ずれ補正回路
９  後段画像処理回路
１０  画像出力回路
１００  撮像装置
【図１】
2012161029.tif 000003
【図２】
2012161029.tif 000004
【図３】
2012161029.tif 000005
【図４】
2012161029.tif 000006