(57)【要約】【課題】  ＣＭＯＳセンサを用いたビデオカメラにおいてローリングシャッタによる画像のゆがみを補正する。【解決手段】  動き検知手段から得られる動きのある被写体と任意に固定された基準行までの距離と、動き検知手段から得られる動きベクトル量によって、行毎に動きのある被写体の水平位置を制御することで、行毎に露光時間が異なることによる画像ひずみを補正する。【選択図】  図１
2009141717.tif 000002
【特許請求の範囲】
【請求項１】
光学系によって結像された光信号を電気信号に変換する撮像素子と、該撮像素子からＸＹアドレス方式で各画素信号を読み出す駆動手段と、該撮像素子からの出力の信号レベルの大きさを制御する信号利得制御手段と、該信号利得手段の出力から画像信号を生成する画像信号処理手段と、画像信号を格納する記憶手段と、画像信号から動きのある被写体の動きベクトル量を検知する動き検知手段とを有する撮像装置において、
該動き検知手段から得られる動きのある被写体と任意に固定された基準行までの距離と、該動き検知手段から得られる動きベクトル量によって、行毎に動きのある被写体の水平位置を制御することで、行毎に露光時間が異なることによる画像ひずみを補正する画像ひずみ補正手段を有することを特徴とする撮像装置。
【請求項２】
請求項１において、
上記撮像装置は、撮像装置の上下左右方向のブレを検知する手ぶれ検知手段とを有し、
上記駆動手段手段は、該手ぶれ検知手段からのブレ量によって該撮像素子から読み出す画素信号領域位置を撮像装置の上下左右方向のブレが画像信号に現れないように制御し、
上記画像ひずみ補正手段は、該手ぶれ検知手段からのブレ量によって、基準行を可変することにより、行毎の露光時間の差異による画像ひずみの補正を行いかつ被写体が撮像素子に露光される位置の差異による撮像間隔の時間的なずれを補正することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて画像を撮像する撮像装置に係り、特にＸＹアドレス方式で各画素信号を読み出すＣＭＯＳセンサなどの固体撮像素子を用いて撮像する撮像装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００６−１９１２３６号公報（特許文献１）がある。該公報には、「［課題］ＸＹ読み出し方式の固体撮像素子による撮像画像の歪みが防止されるとともに、画素回路内への光の漏れ込みに起因するノイズの発生量が抑制された撮像装置を提供する。［解決手段］転送トランジスタとリセットトランジスタをオンにして、フォトダイオードの蓄積電荷とフローティングディフュージョンの電位とをリセットし、フォトダイオードへの露光を開始する（タイミングＴ１２）。そして、所定の露光時間の経過後に、メカニカルシャッタを閉じて露光期間を終了させ（タイミングＴ１３）、その状態で、フォトダイオードから転送された信号電荷に応じた電圧をフローティングディフュージョンから行ごとに順次読み出す（タイミングＴ１４〜Ｔ１５）。」（要約参照）と記載されている。
【０００３】
【特許文献１】特開２００６−１９１２３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）の高精細なテレビ、レコーダ等の普及に伴い、ビデオカメラもＨＤの高精細化が進んできている。ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）のビデオカメラに用いる撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサが用いられていたが、近年では、ビデオカメラのＨＤ化が進むのに従って、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが主に用いられてきている。ＣＭＯＳセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤセンサと比較して読み出しが高速で、高感度、低消費電力といった特徴があり、高精細化に優位である。
【０００５】
ところで、このＣＭＯＳセンサの駆動方法としては、ローリングシャッターによる駆動方法がある。このシャッタ機能は、ＣＣＤセンサと異なり、２次元配列された多数の画素を画素行ごとに順次走査して信号を読み出していく方式であるため、フレームの上下で電荷蓄積時間にほぼ１垂直期間分の時間差が生じ、被写体が動いている場合、行ごとに露光期間がずれるために、画面の上下で流れた画像となる。特に被写体の動きが速い場合には、画像のゆがみが大きくなってしまうという問題があった。
【０００６】
本課題を解決する方法としては、特開２００６−１９１２３６号公報（特許文献１）に記載のように、「本発明では、ＸＹアドレス方式で各画素信号を読み出す固体撮像素子を用いて画像を撮像するための撮像方法において、制御手段が、前記固体撮像素子の各画素の検出信号を全行同時にリセットして前記固体撮像素子への露光を開始させる露光開始ステップと、前記制御手段が、所定の露光時間の経過後に、メカニカルシャッタを閉じて前記固体撮像素子の受光面に対する入射光を遮断し、その状態で前記固体撮像素子の各画素信号を行ごとに順次読み出すように制御する露光終了ステップとを含むことを特徴とする撮像方法が提供される。」（課題を解決するための手段）がある。このようなメカニカルシャッタを用いた場合には、ある一定間隔例えば１／３０秒ごとに一定時間だけメカニカルシャッタを閉じる必要があり、ビデオカメラで１／６０秒間隔でＣＭＯＳセンサから画素信号を読み出す場合には、露光時間を１／６０秒まで延ばすことが困難となり、低照度の被写体を撮像するには不利である。
【０００７】
そこで、本発明では、特殊なメカニカルシャッタおよびＣＭＯＳセンサの駆動を行なうことなく、ＣＭＯＳセンサを用いたビデオカメラにおいて、ローリングシャッタによる画像のゆがみを補正することを目的とする。
【０００８】
一方、ＣＭＯＳセンサを用いたビデオカメラにおいて、撮像装置の上下左右方向のブレを検知し、ＣＭＯＳセンサから読み出す画素信号領域位置をブレによって動的に制御する電子式手ぶれ補正を行なう場合、フレームの上部から下部に動く被写体は、ぴったり１／６０秒間隔で撮像されるのではなく、ローリングシャッターによる露光期間のずれによる撮像間隔の時間的なずれが生じ、カクカクとした動画像になる。
【０００９】
そこで、本発明では、特殊なメカニカルシャッタおよびＣＭＯＳセンサの駆動を行なうことなく、電子式手ぶれ補正を行なうＣＭＯＳセンサを用いたビデオカメラにおいて、ローリングシャッタによる画像のゆがみを補正し、撮像間隔の時間的なずれを補正することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的は、一例として特許請求の範囲に記載の発明により達成される。例えば、フレーム間の相関性をはかることにより動きのある被写体の動きベクトルを検知し、基準行に合わせて行ごとに動きのある被写体の位置を補正することで、フレーム内の動きのある被写体のローリングシャッタによる画像のゆがみを補正する。
【００１１】
また、撮像装置の上下左右方向のブレを検知し、ＣＭＯＳセンサから読み出す画素信号領域位置をブレによって動的に制御する電子式手ぶれ補正を行なう場合でも、動きのある被写体の動きベクトルを検知し、ＣＭＯＳセンサの読出し行によって基準とする行を可変し、その基準行に合わせて行ごとに動きのある被写体の位置を補正することで、、撮像間隔の時間的なずれを補正し、かつフレーム内の動きのある被写体のローリングシャッタによる画像のゆがみを補正する。
【発明の効果】
【００１２】
動きのある被写体のローリングシャッタによる画像のゆがみを、特殊なメカニカルシャッタおよびＣＭＯＳセンサの駆動を行なうことなく、電子式手ぶれ補正を行なう場合でも、補正することが出来る。
【００１３】
なお、上記した以外の課題、構成、効果は、以下の説明により明らかにされる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好適な実施例を図面により説明する。
【実施例１】
【００１５】
図１は本発明による撮像装置の一実施例を示すブロック図である。同図において１０１は被写体からの光を撮像素子に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、アイリス機構を有する光学部、１０２はＣＭＯＳセンサなどのＸＹ読み出し方式の撮像素子、１０３は増幅回路、１０４はＡ／Ｄ変換回路、１０５は画像信号処理手段、１０６は画像信号を保持する記憶手段、１０７はＮＴＳＣやＰＡＬ等の標準テレビ信号を生成するエンコーダ、１０８は液晶ディスプレイ等の表示部、１０９はＨ．２６４方式などの所定のデータフォーマットで圧縮符号化処理を行なうエンコーダ／デコーダ、１１０は記憶手段１０６に保持された画像信号から動きのある被写体の動きベクトル量を検知する動き検知手段、１１１は記憶手段１０６に保持された画像信号のひずみを補正し記憶手段１０６に保持する画像ひずみ補正手段、１１２は制御部、１１３はＨＤＤ等の記録媒体である。
【００１６】
本実施形態における撮像装置の動作について説明する。光学部１０１に入射した光は撮像素子１０２の撮像面上に結像する。制御部１１２により露光や信号読み出しを制御されて撮像素子１０２から読み出された画像信号は、増幅回路１０３に供給され増幅される。なお、ここでＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）等、公知の低雑音化処理を行なっても良い。増幅回路１０３の出力信号は、Ａ／Ｄ変換回路１０４に供給され、デジタル信号に変換される。画像信号処理手段１０５は、Ａ／Ｄ変換回路１０４から供給されたデジタル信号から輝度信号と色信号を生成し画像信号として出力する。画像信号処理手段１０５で生成された画像信号は、所定のフレーム数だけ記憶手段１０６に保持される。動き検知手段１１０は記憶手段１０６に保持された画像信号から動きのある被写体およびその動きベクトル量を検知する。画像ひずみ補正手段１１１は、動き検知手段１１０で検知された動きのある被写体と動きベクトルから記憶手段１０６に保持されている画像信号のひずみを補正し、補正画像信号として記憶手段１０６に保持する。記憶手段１０６に保持された補正画像信号は、エンコーダ１０７でＮＴＳＣ等の所定の信号フォーマットにエンコードされ、表示部９に供給される。また、記憶手段１０６に保持された補正画像信号は、エンコーダ／デコーダ１０９で所定のフォーマットに圧縮される。エンコーダ／デコーダ１０９で圧縮されたデータは、記録媒体１１３に記録される。また、記録媒体１１３に記録したデータをエンコーダ／デコーダ１０９で伸張して記憶手段１０６に保持し、エンコーダ１０７でＮＴＳＣ等の所定の信号フォーマットにエンコードされ、表示部９に供給してもよい。
【００１７】
次に、上記動作説明において、動き検知手段１１０、画像ひずみ補正手段１１１の各々の動作について、以下補足する。動き検知手段１１０は、ひずみ補正前の数フレームの画像信号からフレーム間の相関性、例えばフレーム間差分により動きのある被写体を検知する。また、動きのある被写体に関して過去および未来のフレームの該当する被写体のフレーム内の位置により、その該当する動きのある被写体の動きベクトル量を検知する。この動きベクトル量は、例えば、動きのある被写体が１秒あたりに何画素水平方向に動いているかを示す。図２においては、その値をｓ（画素／ｓｅｃ）（右方向を＋とする）とする。
【００１８】
図２は、ローリングシャッタを用いた場合の撮像素子の露光・読出しタイミングと、それによる撮像画像の例を示す図である。図２（Ａ）において、例えばＬｉｎｅ（１）行〜Ｌｉｎｅ（ｎ）行（ｎは２以上の整数）の画素を備えるＣＭＯＳセンサでは、各行をリセットした後にフォトダイオードへの露光を開始し、所定の露光時間の経過後に蓄積された電荷を転送し、信号を出力する。そして、このような動作がＬｉｎｅ（１）行〜Ｌｉｎｅ（ｎ）行に向かって順に遅延して行われる。このため、例えば矩形の被写体Ｓが右方向に移動している場合に、この被写体Ｓを撮像した画像信号は、図２（Ｂ）の細線の台形に示すように被写体Ｓが傾いた状態となってしまう。
【００１９】
次に、画像ひずみ補正手段１１１の動作について説明する。図２（Ａ）において、各行のリセットタイミングの時間の差は一定であり、その時間はＴ（sec)とする。また、図２（Ｂ）において、例えば任意に固定された基準行をＬｉｎｅ（ｍ＋ｐ）（ｍはｍ＜ｎの整数、ｐはｍ＜ｐ＜ｎの整数）とすると、例えば動きのある被写体Ｓの上端の行Ｌｉｎｅ（ｍ）と基準行Ｌｉｎｅ（ｍ＋ｐ）の露光時間の差は、Ｔ（ｓｅｃ）×｛（ｍ＋ｐ）−ｍ｝＝Ｔ×ｐ（ｓｅｃ）で表される。すると、動き検知手段１１０で検知した動きベクトルの値から、Ｔ×ｐ×ｓ（画素）分だけ、行Ｌｉｎｅ（ｍ）の被写体Ｓは、基準行Ｌｉｎｅ（ｍ＋ｐ）の被写体Ｓに比べて、左にずれていることがわかる。そこで、行Ｌｉｎｅ（ｍ）の被写体Ｓを右にＴ×ｐ×ｓ（画素）分だけずらす。上記動作を被写体Ｓがある行Ｌｉｎｅ（ｍ）から行Ｌｉｎｅ（ｍ＋ｑ）まで繰り返せば、図２（Ｂ）の太線のように、画像ひずみを補正することができる。被写体Ｓを行毎に位置補正することにできる図２（Ｂ）の塗り潰し部分は、過去もしくは未来のフレームの同一位置かつ動きのある被写体ではない箇所の画素で補間する。
【実施例２】
【００２０】
図３を用いて、本発明の他の実施例について説明する。図３は本発明による撮像装置の一実施例を示すブロック図であり、３０１は撮像装置の上下左右方向のブレを検知する手ぶれ検知手段である。その他図１に対応する部分には、同一符号をつけて重複する説明を省略する。
【００２１】
図３において、手ぶれ検知手段３０１で検知された撮像装置の上下左右方向のブレ量は、制御部１１２に出力される。そのブレ量にしたがって、例えば、下方向に撮像素子１０２の撮像面において１０行のブレが生じている場合は、撮像素子１０２から読み出す画素信号領域を１０行上にずらすように、制御部１１２は撮像素子１０２の読出しを制御することで撮像装置のブレを補正する。
【００２２】
また、制御部１１２は、撮像素子１０２から読み出す画素信号領域を上下方向に何行ずらしたかを、画像ひずみ補正手段１１１に通知する。画像ひずみ補正手段１１１は、撮像素子１０２から読み出す画素信号領域を上下方向にずらした分だけ、画像ひずみ補正を行なう基準行を変更する。
【００２３】
以下、図４を用いて、上記動作説明を補足する。図４は、ローリングシャッタを用いた場合の撮像素子の露光・読出しタイミングとおよび電子手ぶれ補正を行なった場合の撮像画像の例を示す図である。図４（Ａ）において、例えばＬｉｎｅ（１）行〜Ｌｉｎｅ（ｎ）行（ｎは２以上の整数）の画素を備えるＣＭＯＳセンサでは、各行をリセットした後にフォトダイオードへの露光を開始し、所定の露光時間の経過後に蓄積された電荷を転送し、信号を出力する。そして、このような動作がＬｉｎｅ（１）行〜Ｌｉｎｅ（ｎ）行に向かって順に遅延して行われる。電子手ぶれ補正を行なう場合は、フレーム（ｉ）（ｉは任意の整数で、時間経過でのフレーム位置を示す）ではＬｉｎｅ（ｋ）行〜Ｌｉｎｅ（ｋ＋ｈ）行（ｋ、ｈはｋ＜ｎ、ｈ＜ｎの整数。）まで、フレーム（ｉ＋１）ではＬｉｎｅ（ｋ＋ｅ）行〜Ｌｉｎｅ（ｋ＋ｈ＋ｅ）行（ｅは１以上の整数）まで、フレーム（ｉ＋２）ではＬｉｎｅ（ｋ＋ｆ）行〜Ｌｉｎｅ（ｋ＋ｈ＋ｆ）行（ｆは１以上の整数）までのラインを切り出すことで、上下方向の撮像装置のブレを補正する。ここで、ｅとｆはフレーム（ｉ）に対して何行ブレが発生しているか手ぶれ検知手段３０１で感知された値を示している。この補正により、例えば図４（Ｂ）のように撮像装置が上方向にブレていても、例えば矩形の被写体Ｓが右方向に等速で移動している場合に、この被写体Ｓを撮像した画像信号は上下方向にブレることはない。
【００２４】
ここで、実施例１と同様に手ぶれ補正した画像の基準行Ｌｉｎｅ（ｒ）で画像ひずみを補正した場合は、図４（Ｂ）の太線のようになる。ここで、点線は１フレーム前の被写体Ｓの位置で、Ｄ１およびＤ２は１フレーム前の被写体Ｓからの画像上の移動距離を示している。図４（Ｂ）のように、ひずみ補正の基準行に対応している撮像素子１０２上の行位置が異なるため露光時間がずれてしまい、Ｄ１≠Ｄ２のように移動体Ｓは等速に移動しているような画像にはならない。
【００２５】
そこで、画像ひずみ補正手段１１１は、フレーム（ｉ）では基準行Ｌｉｎｅ（ｒ）、フレーム（ｉ＋１）では基準行Ｌｉｎｅ（ｒ−ｅ）、フレーム（ｉ＋２）では基準行Ｌｉｎｅ（ｒ−ｆ）として、画像ひずみ補正を行なうことで、図４（Ｃ）のように、Ｄ１’＝Ｄ２’と移動体Ｓが等速に移動しているような画像になる。
【図面の簡単な説明】
【００２６】
【図１】本発明による撮像装置の一実施形態の構成を示すブロック図
【図２】ローリングシャッタを用いた場合の撮像素子の露光・読出しタイミングと、それによる撮像画像の例を示す図
【図３】本発明による撮像装置の一実施形態の構成を示すブロック図
【図４】ローリングシャッタを用いた場合の撮像素子の露光・読出しタイミングと、それによる撮像画像の例を示す図
【符号の説明】
【００２７】
１０１  光学部
１０２  撮像素子
１０３  増幅回路
１０４  Ａ／Ｄ変換回路
１０５  画像信号処理手段
１０６  記憶手段
１０７  エンコーダ
１０８  表示部
１０９  エンコーダ／デコーダ
１１０  動き検知手段
１１１  補正手段
１１２  制御部
１１３  記録媒体
【図１】
2009141717.tif 000003
【図２】
2009141717.tif 000004
【図３】
2009141717.tif 000005
【図４】
2009141717.tif 000006