(57)【要約】【課題】画像のラインの分割数に基づいて適切なローリングシャッタ歪み補正を行うことが可能な制御装置を提供する。【解決手段】撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段を制御する制御装置（１１５）であって、電荷を蓄積するタイミングが読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の読み出しラインの分割数を設定する設定手段（１１５ａ）と、歪みを補正するための補正量を算出する算出手段（１１５ｂ）とを有し、算出手段は、設定手段から出力された信号に基づくブレ検出手段の出力に関する情報に基づいて、補正量を算出する。【選択図】図１
2020065104.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段を制御する制御装置であって、
前記電荷を蓄積する前記タイミングが前記読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の前記読み出しラインの分割数を設定する設定手段と、
前記歪みを補正するための補正量を算出する算出手段と、を有し、
前記算出手段は、前記設定手段から出力された信号に基づくブレ検出手段の出力に関する情報に基づいて、前記補正量を算出することを特徴とする制御装置。
【請求項２】
前記読み出しラインの分割数は、前記撮像手段の電荷の読み出しラインを、複数の読み出しラインの集合に分割する際の分割数であることを特徴とする請求項１に記載の制御装置。
【請求項３】
前記設定手段は、ユーザの操作に基づいて前記分割数を変更することを特徴とする請求項１または２に記載の制御装置。
【請求項４】
前記設定手段は、前記ブレ検出手段により検出されたブレ量に基づいて前記分割数を変更することを特徴とする請求項１または２に記載の制御装置。
【請求項５】
第１のブレ量における前記分割数は、前記第１のブレ量よりも大きい第２のブレ量における前記分割数よりも小さいことを特徴とする請求項４に記載の制御装置。
【請求項６】
前記設定手段は、前記撮像手段のフレームレートに基づいて前記分割数を変更することを特徴とする請求項１または２に記載の制御装置。
【請求項７】
第１のフレームレートにおける前記分割数は、前記第１のフレームレートよりも小さい第２のフレームレートにおける前記分割数よりも小さいことを特徴とする請求項６に記載の制御装置。
【請求項８】
撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段と、
請求項１乃至７のいずれか１項に記載の制御装置と、を有することを特徴とする撮像装置。
【請求項９】
ブレ量を検出するブレ検出手段を更に有することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
撮像装置と、前記撮像装置に着脱可能なレンズ装置と、を有する撮像システムであって、
前記レンズ装置の撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段と、
ブレ量を検出するブレ検出手段と、
請求項１乃至７のいずれか１項に記載の制御装置と、を有することを特徴とする撮像システム。
【請求項１１】
前記撮像装置は、前記撮像手段と前記設定手段と前記算出手段とを有し、
前記レンズ装置は、前記ブレ検出手段を有することを特徴とする請求項１０に記載の撮像システム。
【請求項１２】
前記撮像装置は、前記設定手段からの出力に基づく信号を前記レンズ装置へ送信し、
前記レンズ装置は、前記信号に基づく前記ブレ検出手段の出力に基づく情報を前記撮像装置へ送信することを特徴とする請求項１１に記載の撮像システム。
【請求項１３】
前記設定手段は、前記撮像装置と前記レンズ装置との間の通信方式、通信速度、または、通信量の少なくとも一つに基づいて、前記分割数を変更することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像システム。
【請求項１４】
撮像装置に着脱可能で、前記撮像装置と通信可能なレンズ装置であって、
前記レンズ装置は、
ブレ量を検出するブレ検出手段を有し、
前記撮像装置は、
撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段と、
前記電荷を蓄積する前記タイミングが前記読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の前記読み出しラインの分割数を設定する設定手段と、
前記歪みを補正するための補正量を算出する算出手段と、を有し、
前記レンズ装置は、前記設定手段から出力された信号に基づく前記ブレ検出手段の出力に基づく情報を前記撮像装置に送信し、
前記算出手段は、前記情報に基づいて前記補正量を算出することを特徴とするレンズ装置。
【請求項１５】
撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段を制御する制御方法であって、
前記電荷を蓄積する前記タイミングが前記読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の前記読み出しラインの分割数を設定する設定ステップと、
前記歪みを補正するための補正量を算出する算出ステップと、を有し、
前記算出ステップにおいて、前記設定ステップにおいて出力された信号に基づくブレ検出手段の出力に関する情報に基づいて、前記補正量を算出することを特徴とする制御方法。
【請求項１６】
請求項１５に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッタ方式により被写体像を取得する撮像装置に関する。
【背景技術】
【０００２】
従来、撮像素子としてＣＭＯＳセンサを用いた撮像装置が知られている。ＣＭＯＳセンサは、ＣＭＯＳセンサの一方向に向かって電荷の読み出しライン（以下、単にラインと呼ぶ）ライン毎に蓄積された電荷を読み出すように制御される。この読み出し方法はローリングシャッタ方式と呼ばれており、例えば上部から下部に向かって電荷を読み出す場合、撮像素子の上部と下部とで読み出しタイミングが異なる。これにより撮像装置にブレが生じ、撮像面上の被写体位置が移動した場合、撮像素子の電荷読み出しのタイミングが異なることに起因する撮像画面の歪み（ローリングシャッタ歪み）が生じる。
【０００３】
近年、ジャイロセンサ等のブレ検出手段の出力信号（ブレ量）に基づいてローリングシャッタ歪みを補正する方法が提案されている。特許文献１および特許文献２には、ブレ検出手段の出力信号に基づいてローリングシャッタ歪みを補正する構成が開示されている。また特許文献１および特許文献２には、電荷の読み出しのタイムラグが生じる方向に対してライン毎に補正値を算出し、その補正値に基づいて画像を変形させることによりローリングシャッタ歪みを抑制することが開示されている。この場合、ローリングシャッタ歪みを抑制するには、補正値を算出するためのラインの分割数を増やすことが有効である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５９９７５５７号公報
【特許文献２】特許第６１７８５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や特許文献２に開示された構成では、ラインの分割数を増やすと、補正値算出処理や歪み補正処理等の処理の負荷が増大する。
【０００６】
また従来、交換レンズにおいて光学防振を行い、カメラ本体において電子防振の両方の防振制御を行う撮像システムが知られている。このような撮像システムにおいて、交換レンズによる光学防振では、露光中もブレ補正を行うため、適切なブレ補正を行うことができれば、基本的にローリングシャッタ歪みは発生しない。一方、カメラ本体による電子防振では、露光中にブレ補正を行うことができないため、ローリングシャッタ歪みが発生する。
【０００７】
このようなローリングシャッタ歪みを補正するには、ラインの分割数分のブレ補正信号をカメラ本体に通知し、カメラ本体がローリングシャッタ歪みを補正することが考えられる。しかし、ラインの分割数を増やすと、通信情報が増大して処理も複雑になる。また、カメラ本体と交換レンズとの間の通信方式や通信速度等に応じてライン数を変更すると、適切なローリングシャッタ歪みを行うことができない。
【０００８】
そこで本発明は、画像のラインの分割数に基づいて適切なローリングシャッタ歪み補正を行うことが可能な制御装置、撮像装置、撮像システム、レンズ装置、制御方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面としての制御装置は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段を制御する制御装置であって、前記電荷を蓄積する前記タイミングが前記読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の前記読み出しラインの分割数を設定する設定手段と、前記歪みを補正するための補正量を算出する算出手段とを有し、前記算出手段は、前記設定手段から出力された信号に基づくブレ検出手段の出力に関する情報に基づいて、前記補正量を算出する。
【００１０】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段と、前記制御装置とを有する。
【００１１】
本発明の他の側面としての撮像システムは、撮像装置と、前記撮像装置に着脱可能なレンズ装置とを有する撮像システムであって、前記レンズ装置の撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段と、ブレ量を検出するブレ検出手段と、前記制御装置とを有する。
【００１２】
本発明の他の側面としてのレンズ装置は、撮像装置に着脱可能で、前記撮像装置と通信可能なレンズ装置であって、前記レンズ装置は、ブレ量を検出するブレ検出手段を有し、前記撮像装置は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段と、前記電荷を蓄積する前記タイミングが前記読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の前記読み出しラインの分割数を設定する設定手段と、前記歪みを補正するための補正量を算出する算出手段とを有し、前記レンズ装置は、前記設定手段から出力された信号に基づく前記ブレ検出手段の出力に基づく情報を前記撮像装置に送信し、前記算出手段は、前記情報に基づいて前記補正量を算出する。
【００１３】
本発明の他の側面としての制御方法は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段を制御する制御方法であって、前記電荷を蓄積する前記タイミングが前記読み出しラインに応じて異なることにより発生する画像の歪みを補正する際の前記読み出しラインの分割数を設定する設定ステップと、前記歪みを補正するための補正量を算出する算出ステップとを有し、前記算出ステップにおいて、前記設定手段から出力された信号に基づくブレ検出手段の出力に関する情報に基づいて、前記補正量を算出する。
【００１４】
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。
【００１５】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１６】
本発明によれば、画像のラインの分割数に基づいて適切なローリングシャッタ歪み補正を行うことが可能な制御装置、撮像装置、撮像システム、レンズ装置、制御方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態におけるカメラシステムのブロック図である。
【図２】本実施形態におけるローリングシャッタ歪みの説明図である。
【図３】本実施形態におけるローリングシャッタ歪みの補正量を算出する際のラインの分割の説明図である。
【図４】本実施形態における補正量を用いてローリングシャッタ歪みを補正する方法の説明図である。
【図５】本実施形態におけるローリングシャッタ歪み補正の際の通信およびそのタイミングの説明図である。
【図６】本実施形態におけるカメラ本体のローリングシャッタ歪み補正処理を示すフローチャートである。
【図７】本実施形態における交換レンズのローリングシャッタ歪み補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１９】
まず、図１を参照して、本実施形態におけるカメラシステム（撮像システム）の構成について説明する。カメラシステム（撮像システム）１００は、カメラ本体（撮像装置）１０１と、カメラ本体１０１に着脱可能かつ通信可能な交換レンズ（レンズ装置）１０２とを備えて構成される。
【００２０】
撮影動作を行う前（いわゆるエイミング中）は、フォーカルプレーンシャッタ１０３が開いた状態になっており、被写体からの撮影光束は、交換レンズ１０２の撮像光学系を通り、撮像部（撮像手段）１０４上に結像する。撮像部１０４に結像した画像はＬＣＤ１０５に表示される。これによりユーザは、エイミング中の被写体像を視認することができる。撮像部１０４はＣＭＯＳセンサであり、撮像光学系を介して形成された被写体像（光学像）を光電変換する。撮像部１０４に蓄積された電荷は、ローリングシャッタ方式により読み出される。すなわち撮像部１０４は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが撮像画像（１画面）におけるライン（すなわち、撮像部１０４の画素のライン）に応じて異なる。
【００２１】
撮影動作（静止画露光を開始する動作）に入ると、フォーカルプレーンシャッタ１０３がシャッタ駆動回路１０６により駆動される。露光開始前のシャッタ動作は、カメラ設定に応じて異なる。例えば先幕メカシャッター動作を行う設定である場合、露光前にフォーカルプレーンシャッタ１０３が閉じて撮像部１０４の蓄積信号リセットを行った後、フォーカルプレーンシャッタ１０３が開き、露光処理が始まる。一方、先幕電子シャッタ動作を行う設定である場合、フォーカルプレーンシャッタ１０３は閉じずに撮像部１０４の蓄積信号リセットが行われ、その後に露光処理が始まる。露光処理が始まると、撮影光束が撮影光学画像として撮像部１０４面上に結像する。その撮影光学画像は、撮像部１０４によって光電変換され撮像信号となる。
【００２２】
タイミングジェネレータ１０７は、撮像部１０４の蓄積動作、読み出し動作、および、リセット動作等を制御する。ＣＤＳ回路１０８（２重相関サンプリング回路）は、撮像部１０４の蓄積電荷ノイズを低減するための回路である。ゲインコントロール回路１０９は、撮像信号を増幅する回路である。Ａ／Ｄ変換器１１０は、増幅された撮像信号（アナログ信号）をデジタル信号である画像データへ変換する。映像信号処理回路１１１は、Ａ／Ｄ変換器１１０でデジタル化された画像データに対して、フィルタ処理、色変換処理、および、ガンマ処理等の信号処理を行う。映像信号処理回路１１１で信号処理された画像信号は、バッファメモリ１１２に格納され、ＬＣＤ１０５に表示され、または着脱可能なメモリカード１１３に記録される。
【００２３】
操作部１１４は、カメラ本体１０１における撮影モードの設定、記録画像ファイルサイズの設定、撮影動画のサイズの設定、フレームレートの設定、静止画撮影時のレリーズ、動画撮影時の録画開始／停止等を行うためのスイッチ類である。ユーザが操作部１１４によって撮影モードとして動画モードを選択した場合、フォーカルプレーンシャッタ１０３は開いた状態となり、基本的には静止画露光を行う際と同じ順序で信号処理が行われ画像信号へと変換される。ユーザによる操作部１１４の操作によって動画撮影が開始した場合、画像信号が繋ぎ合わされることで動画となり、メモリカード１１３に撮影動画の記録が行われる。
【００２４】
カメラＭＰＵ（制御装置）１１５は、カメラ本体１０１の前述の各動作を制御する。またカメラＭＰＵ１１５は、カメラ本体１０１のインターフェース回路（カメラ側インターフェース回路）１１６および交換レンズ１０２のインターフェース回路（レンズ側インターフェース回路）１１７を介して、レンズＭＰＵ１１８と相互に通信する。この通信では、カメラ本体１０１と交換レンズ１０２との間で様々なデータのやり取りを行う。カメラＭＰＵ１１５は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが画像のラインに応じて異なる撮像手段を制御する制御装置であり、設定手段１１５ａおよび算出手段１１５ｂを有する。設定手段１１５ａは、電荷を蓄積するタイミングがラインに応じて異なることにより発生する歪み（ローリングシャッタ歪み）を補正する際のラインの分割数を設定する。算出手段１１５ｂは、歪みを補正するための補正量を算出する。算出手段１１５ｂにより算出された補正値は、映像信号処理回路（歪み補正部）１１１に入力され、歪み補正処理が行われる。
【００２５】
温度センサ１１９は、サーミスタ等の温度センサである。温度センサ１１９の出力信号は、カメラＭＰＵ１１５に入力され、カメラ制御に利用され、またはインターフェース回路１１６、１１７を介してレンズＭＰＵ１１８に入力されレンズ制御に利用される。
【００２６】
交換レンズ１０２は、撮像光学系の一部として、フォーカスレンズ１２０、ズームレンズ１２１、像ブレ補正用レンズ１２２、および、絞り１２３を有する。フォーカスレンズ１２０は、レンズＭＰＵ１１８からの制御信号に従って、フォーカス制御回路１２４およびフォーカスレンズ駆動用モータ１２５を介して、光軸ＯＡに沿った方向（光軸方向）に駆動される。フォーカス制御回路１２４は、フォーカスレンズ１２０を駆動する駆動回路、および、フォーカスレンズ１２０の移動に応じたゾーンパターン信号やパルス信号を出力するフォーカスエンコーダを含む。被写体距離は、フォーカスエンコーダにより検知することができる。
【００２７】
ズームレンズ１２１は、ユーザが不図示のズーム操作環を操作することにより光軸方向に移動する。ズームエンコーダ１２６は、ズームレンズ１２１の移動に応じたゾーンパターン信号を出力する。撮影像倍率は、レンズＭＰＵ１１８がフォーカスエンコーダとズームエンコーダ１２６からの信号を読み取り、被写体距離と焦点距離との組み合わせにより予め記憶されている撮影像倍率データを読み出すことによって得られる。
【００２８】
像ブレ補正用レンズ１２２は、像ブレ補正制御回路１２７およびリニアモータ１２８を介して光軸ＯＡに直交する方向に駆動される。像ブレ補正は、次のようにして行われる。すなわち、回転ブレを検出する角速度センサ（ブレ検出手段）１２９のブレ信号（ブレ量、ブレ情報）がＡ／Ｄ変換器１３０でデジタル信号に変換され、レンズＭＰＵ１１８に入力される。レンズＭＰＵ１１８は、各種信号処理を行うとともに、補正レンズ駆動目標信号を算出する。またレンズＭＰＵ１１８は、補正レンズ駆動目標信号と補正レンズエンコーダ１３１から出力される補正レンズ位置信号との差に応じた駆動信号を像ブレ補正制御回路１２７に出力する。像ブレ補正は、このように補正レンズエンコーダ１３１から出力される補正レンズ位置信号を像ブレ補正制御回路１２７にフィードバックすることで行われる。なお像ブレ補正制御は、カメラ本体１０１を中心として、上下方向の傾きを検出するためのピッチ軸、および、左右方向の傾きを検出するためのヨー軸の２軸それぞれにおいて行われる。
【００２９】
絞り１２３は、レンズＭＰＵ１１８からの制御信号に従って、絞り制御回路１３２およびステッピングモータ１３３を介して駆動される。スイッチ（ＳＷ）１３４は、レンズ像ブレ補正ＯＮ／ＯＦＦの選択用スイッチである。
【００３０】
次に、図２を参照して、ローリングシャッタ歪みについて説明する。図２は、ローリングシャッタ歪みの説明図である。例えば、撮像装置を静止させた状態で、かつ静止している正方形の被写体を撮像したときの撮像画像は、図２（ａ）に示されるように正方形の被写体像として撮像される。同じ被写体を、撮像装置を右から左の方向に動かしながら撮像すると、被写体像は左から右に向かって移動する。このとき、撮像部１０４の露光時間は、ラインごと（画素レベルの固まりごと）に時間的なずれを有する。このため、図２（ｂ）に示されるように、被写体像はひし形に歪む。また、撮像の際に撮像装置を上下方向に動かしながら撮像すると、図２（ｃ）に示されるように被写体像が上下方向に伸びたり縮んだりする画像になる。これがローリングシャッタ現象やフォーカルプレーン現象と呼ばれる現象であり、この現象による画像の歪みを一般的にローリングシャッタ歪みと呼ぶ。
【００３１】
なお、前述の説明では、撮像装置を左右方向または上下方向に動かして静止している被写体を撮像した際に発生するローリングシャッタ歪みについて説明した。しかし、撮像中に相対的に被写体像が移動する状況であれば、ローリングシャッタ歪みが発生する。すなわち、移動している被写体を、静止した撮像装置で撮像する場合である。この場合に発生するブレはいわゆる被写体ブレであるため、本実施形態においては撮像装置が動くことによる被写体像の移動、特に手ブレや歩行時のブレによって生じるローリングシャッタ歪みを補正の対象として扱う。
【００３２】
前述のようなローリングシャッタ歪みを補正するには、露光期間のタイムラグ中に生じた撮像面上でのブレ量を演算する必要がある。ここで、撮像素子上のある画素の露光期間を基準としたときの、着目画素でのブレ量を、ジャイロセンサ等のブレ検出手段を用いて演算する。ここで露光期間のタイムラグは、同一ラインの横方向の画素間の場合は無視できるほど小さい。このため、同一ライン内の画素は同一の露光期間であるとして扱い、ライン間の露光期間のタイムラグによって生じるブレ量を演算する。しかしながら、全ラインのブレ量を演算して保持するには、演算量が多くシステムへの負担が大きくなり、また多くのメモリを必要とする。このため、離散的に分割されたラインに対応するブレ量を算出し、その間のラインに対応するブレ量は線形補間によって求める。
【００３３】
次に、図３を参照して、ローリングシャッタ歪みの補正量を算出する際のラインの分割について説明する。図３は、ローリングシャッタ歪みの補正量を算出する際のラインの分割の説明図である。図３（ａ）に示されるように、本実施形態では、１画面を構成するラインをＬ１〜Ｌ９の９本のラインに分割している。図３（ｂ）のグラフにおいて、縦軸は時間、横軸はローリングシャッタ歪みの補正量をそれぞれ示している。図３（ｂ）は、時刻Ｔ１〜Ｔ９におけるローリングシャッタ歪みの補正量Ｃ１〜Ｃ９をプロットしたグラフである。起点となる時刻０からそれぞれのラインに対応する時刻までの間に生じたブレ量から、ローリングシャッタ歪み補正量Ｃ１〜Ｃ９を算出する。なお本実施形態では、分割した９本のラインＬ１〜Ｌ９における中心の時間をそれぞれＴ１〜Ｔ９と定義している。映像信号処理回路（歪み補正部）１１１は、ローリングシャッタ歪みの補正量Ｃ１〜Ｃ９を線形補間した情報に基づいた、更に細かな撮像画像の全ラインに対応する補正量（ローリングシャッタ歪み補正量）を用いて歪みを補正する。
【００３４】
次に、図４を参照して、ローリングシャッタ歪みの補正量を用いて歪みを補正する方法について説明する。図４は、補正量を用いてローリングシャッタ歪みを補正する方法の説明図である。図４（ａ）は、画像の横方向のローリングシャッタ歪み補正の様子を示している。図４（ｂ）は、図４（ａ）でローリングシャッタ歪みが補正された後の出力画像を示している。
【００３５】
図４（ａ）の左側の図において、範囲４０１は、撮像装置の全撮像画像の範囲（撮像画面）である。撮像画面内部の小さいひし形４０２は、本来正方形である被写体像４０３が、撮像装置に横方向のブレが加わってローリングシャッタ歪みが生じたことにより、斜めに歪んで撮像された様子を示している。図４（ａ）の右側のグラフにおいて、縦軸は時間、横軸はローリングシャッタ歪み補正量をそれぞれ示す。このグラフは、時刻Ｔ１〜Ｔ９におけるローリングシャッタ歪み補正量をプロットしたグラフである。
【００３６】
映像信号処理回路（歪み補正部）１１１は、ローリングシャッタ歪みの補正量を線形補間した情報に基づいた、更に細かな撮像画像の全ラインに対応する補正量を算出する。映像信号処理回路１１１は、これらの情報に従って、水平方向の画像読み出し開始位置を画像のラインごとに変更することにより、ローリングシャッタ歪みを補正する。すなわち、図４（ａ）の大きいひし形で示されるように画像読み出し範囲４０４を変更してローリングシャッタ歪みを補正し、図４（ｂ）のような歪みを抑制した画像読み出し範囲（画像４０５）を得る。
【００３７】
このようにして、手ブレや歩行時のブレによって生じるローリングシャッタ歪みを補正することができる。しかし、前述したように、最終的なローリングシャッタ歪みの補正量は、離散的に分割されたラインの補正量を線形補間することにより得られた補正量である。このため、ラインの分割数を増やすほど、より高精度のローリングシャッタ歪み補正が可能になる。しかしながら、実際には、処理負荷等を考慮して適切なライン分割数が設定される。
【００３８】
特に交換レンズシステムにおいて、ローリングシャッタ歪みの補正量を算出するためのブレ検出センサを、交換レンズに設ける構成を採用する場合、ローリングシャッタ歪みの補正量の基となるブレ情報を交換レンズからカメラ本体に伝達する必要がある。また、ブレ情報は少なくともライン分割数に応じた数だけ必要になり、交換レンズにおいて適切なタイミングの情報を生成するために、同じくその数分の露光時間タイミングをカメラ本体から交換レンズに事前に通知する必要がある。更に、カメラ本体の歪み補正部のハードウエア的な事情によっては、ライン分割数が異なる可能性がある。その場合、交換レンズシステムにおいて、交換レンズは取り付けられたカメラ本体によって異なるライン分割数に対応してブレ情報をカメラ本体に通知する必要がある。また、交換レンズシステムにおいては、カメラ本体と交換レンズとの間の通信方式、通信速度、または、通信量等に応じてライン分割数を可変にすることが、使い勝手を向上させるためには好ましい。そこで本実施形態においては、システム全体として適切なローリングシャッタ歪み補正を行うため、ラインの分割数を変更する。
【００３９】
次に、図５を参照して、インターフェース回路１１６、１１７を介したカメラ本体１０１と交換レンズ１０２との間のローリングシャッタ歪み補正に関する通信およびそのタイミングについて説明する。図５は、ローリングシャッタ歪み補正の際の通信およびそのタイミングの説明図である。図５は、交換レンズシステムにおいてローリングシャッタ歪み補正を実現するために行うべき、カメラ本体１０１と交換レンズ１０２との間の通信（Ｃ−Ｌ通信）、ＶＤタイミング、および、ＣＭＯＳ駆動（撮像部１０４の駆動）タイミングの関係を示している。なお、ＶＤはカメラ本体１０１の垂直同期信号、ＣＭＯＳ駆動は撮像部（撮像素子）１０４の駆動状態をそれぞれ示している。
【００４０】
撮像部１０４のＶＤを起点として、カメラ本体１０１から交換レンズ１０２へ第１の通信５０１が行われる。第１の通信５０１は、カメラ本体１０１から交換レンズ１０２へ露光重心タイミング５０４を伝えるための基準となる。交換レンズ１０２は、第１の通信５０１を受けたタイミングで交換レンズ１０２内のタイマ値を取得し、そのタイマ値を露光重心タイミング５０４の算出のための基準時間とする。なお、第１の通信５０１の通知タイミングは、ＶＤタイミングと同時、またはＶＤタイミングから任意の時間の前または後であってもよい。または、第１の通信５０１に通知タイミングのずれ時間情報を持たせて理想的なＶＤタイミングに対するずれを交換レンズ１０２に通知してもよい。ただし、フレームごとの基準タイミングを交換レンズ１０２に知らせる必要があるため、１つのＶＤに対応する第１の通信５０１をフレームごとに通知する。
【００４１】
続いて、カメラ本体１０１から交換レンズ１０２へ第２の通信５０２が行われる。第２の通信５０２では、第１の通信５０１によって交換レンズ１０２へ通知された基準のＶＤタイミングから、露光重心タイミング５０４までの相対的な時間ずれを表す露光重心遅延時間５０５を通知する。これにより、例えばフレームレートが変更した場合等、フレームごとに露光重心タイミング５０４が変わる場合でも、交換レンズ１０２に正確な露光重心タイミング５０４を通知することができる。交換レンズ１０２は、第２の通信５０２を受信することにより、露光重心遅延時間５０５を取得する。また交換レンズ１０２は、第１の通信５０１を受信したときに取得したタイマ値と露光重心遅延時間５０５とを用いて、露光重心タイミング５０４を交換レンズ１０２内のタイマ値相当の時間情報として知る。
【００４２】
また、第２の通信５０２では、露光重心遅延時間５０５の他にも必要な情報を通知することができる。具体的には、カメラ本体１０１は、カメラ本体１０１で行う電子防振の補正可能角情報、ローリングシャッタ歪み補正を行ための補正フレーム時間情報５０６、および、読み出しラインの分割数情報を交換レンズ１０２へ通知する。図５中のフレームＦ［ｎ］における読み出しラインの分割数は９であり、露光重心タイミング５０４を基準として露光期間に対して９点が均等になるように分割される。露光重心遅延時間５０５の通知により、交換レンズ１０２は露光重心タイミング５０４を知ることができる。また交換レンズ１０２は、カメラ本体１０１から補正フレーム時間情報５０６および読み出しラインの分割数を通知されることにより、露光重心タイミング５０４に対して各ラインの分割タイミングがどの程度ずれたタイミングの情報であるかを知ることができる。
【００４３】
また、前述のように、第２の通信５０２では、電子防振の補正可能角（補正可能角情報）が通知される。補正可能角情報を用いて、交換レンズ１０２の像ブレ補正用レンズ１２２を駆動することによる交換レンズ１０２のブレ補正（光学防振）と協調することができる。すなわち、交換レンズ１０２によるブレ補正（光学防振）およびカメラ本体１０１によるブレ補正（電子防振）のそれぞれで補正する補正量を振り分けることで、歩行中等のより大きなブレを補正することができる。その際、カメラ本体１０１による電子防振で行うブレ補正量分に関しては、ローリングシャッタ歪みが発生する。
【００４４】
このため、カメラ本体１０１による電子防振で行うブレ補正量について、９つのラインの分割タイミングに応じたブレ補正量を交換レンズ１０２からカメラ本体１０１へ通知する。第３の通信５０３では、この情報を通知する。カメラ本体１０１は、これら９つのライン分割タイミングに応じたブレ補正量を用いて、振り分けられた分の電子防振、および、ローリングシャッタ歪み補正を行う。なお、前述のように第３の通信５０３では、フレームＦ［ｎ］における９つのラインの分割タイミングに応じたブレ補正量を取得する必要があるため、フレーム間の全分割タイミングが経過した後に第３の通信５０３を通知することが好ましい。また本実施形態では、ラインの分割タイミングにおけるブレ補正情報を取得する例を説明したが、これに限定されるものではなく、例えばラインの分割タイミングを基準とした平均値を取得するようにしてもよい。
【００４５】
図５ではフレームＦ［ｎ＋１］、フレームＦ［ｎ＋２］において、ラインの分割タイミングが変化する例を示しており、フレームＦ［ｎ＋１］では７分割、フレームＦ［ｎ＋２］では５分割となっている。ラインの分割数は、例えば、ユーザによる設定、手ブレの大きさ、フレームレート、カメラ本体１０１に固有の分割数、または、カメラ本体１０１と交換レンズ１０２との間の通信方式、通信速度、もしくは通信量に応じて変更可能である。これにより、ローリングシャッタ歪み補正を行う際に、カメラシステム１００として最適な歪み補正を行うことができる。なお前述のように、ラインの分割数が変化したことは、第２の通信５０２において、カメラ本体１０１が読み出しラインの分割数情報を通知することにより、交換レンズ１０２が知ることができる。また、補正フレーム時間情報５０６によってそれぞれのタイミングを知ることができるため、フレームごとにラインの分割数が変わっても、必要な分割数に応じて適切なローリングシャッタ歪み補正を行うことが可能である。
【００４６】
次に、図６を参照して、カメラ本体１０１におけるローリングシャッタ歪み補正処理について説明する。図６は、カメラ本体１０１のローリングシャッタ歪み補正処理を示すフローチャートである。図６の各ステップは、主にカメラＭＰＵ１１５（設定手段１１５ａ、算出手段１１５ｂ）および映像信号処理回路（歪み補正部）１１１により実行される。
【００４７】
カメラ本体１０１でローリングシャッタ歪み補正処理が開始されると、カメラＭＰＵ１１５はステップＳ６０１から歪み補正処理を開始する。まずステップＳ６０１において、カメラ本体１０１は、交換レンズ１０２へ基準タイミングを通知する。基準タイミングとは、図５におけるＶＤタイミング、すなわち垂直同期信号タイミングであり、第１の通信５０１により通知される。
【００４８】
続いてステップＳ６０２において、カメラ本体１０１は、交換レンズ１０２へ、遅延時間情報（露光重心遅延時間）、補正フレーム時間情報、分割数情報（設定手段１１５ａが設定したラインの分割数）、および補正可能角情報（電子防振の補正可能角）を通知する。これらの情報は、図５における第２の通信５０２により通知される。続いてステップＳ６０３において、カメラ本体１０１は、ステップＳ６０２にて通知した全ライン分割タイミングが経過したか否かを判定する。全ライン分割タイミングの少なくとも一部が経過していない場合、ステップＳ６０３の判定を繰り返す。一方、全ライン分割タイミングが経過した場合、ステップＳ６０４へ進む。
【００４９】
ステップＳ６０４において、カメラ本体１０１は、交換レンズ１０２により算出された、全ライン分割タイミングにおけるカメラ側ブレ補正量（電子防振用のブレ補正情報）を取得する。カメラ側ブレ補正量は、設定手段１１５ａから出力された信号（分割数情報）に基づくブレ検出手段の出力に関する情報である。なお、カメラ側ブレ補正量は、図５における第３の通信５０３により取得される。続いてステップＳ６０５において、カメラ本体１０１（算出手段１１５ｂ）は、ステップＳ６０４にて取得したブレ補正量に基づいて、ローリングシャッタ歪みの補正量を算出する。
【００５０】
続いてステップＳ６０６において、カメラ本体１０１（映像信号処理回路１１１）は、ステップＳ６０４で取得したブレ補正量に基づく電子防振処理と、ステップＳ６０５で算出したローリングシャッタ歪みの補正量に基づくローリングシャッタ歪み補正処理を行う。
【００５１】
次に、図７を参照して、交換レンズ１０２におけるローリングシャッタ歪み補正処理について説明する。図７は、交換レンズ１０２のローリングシャッタ歪み補正処理を示すフローチャートである。図７の各ステップは、主にレンズＭＰＵ１１８により実行される。
【００５２】
交換レンズ１０２でローリングシャッタ歪み補正処理が開始されると、レンズＭＰＵ１１８は、ステップＳ７０１から歪み補正処理を開始する。まずステップＳ７０１において、交換レンズ１０２は、カメラ本体１０１から通知された基準タイミングを取得する。基準タイミングは、図５におけるＶＤタイミング、すなわち垂直同期信号タイミングであり、第１の通信５０１により通知される。
【００５３】
続いてステップＳ７０２において、交換レンズ１０２は、カメラ本体１０１から通知された露光重心遅延時間、補正フレーム時間情報、分割数情報、および、補正可能角情報を取得する。これらの情報は、図５における第２の通信５０２により取得される。続いてステップＳ７０３において、交換レンズ１０２は、カメラ本体１０１から通知された補正可能角情報に基づいて、ブレ補正量をカメラ側ブレ補正量とレンズ側ブレ補正量とに振り分ける。なおブレ補正量は、角速度センサ１２９で検出したブレ信号（ブレ量）に対して各種の信号処理を行って算出される量であり、ブレ検出手段の出力に基づく情報であると言える。この際、補正可能角情報（電子防振補正可能角）と、交換レンズ１０２の補正可能角（光学防振補正可能角）とを有効に活用できるようにブレ補正量を振り分けることで、より効率的に大きなブレを補正することが可能となる。
【００５４】
続いてステップＳ７０４において、交換レンズ１０２は、ローリングシャッタ歪み補正のライン分割タイミングに到達したかを判定する。ライン分割タイミングに到達していない場合、ステップＳ７０４を繰り返す。一方、ライン分割タイミングに到達した場合、ステップＳ７０５へ進む。ライン分割タイミングは、ステップＳ７０１にて取得した基準タイミングと、ステップＳ７０２にて取得した露光重心遅延時間、補正フレーム時間情報、および、分割数情報とに基づいて算出することができる。なおライン分割タイミングは、ライン分割数分の複数のタイミングを含む。このタイミングは、カメラ本体１０１から必要な情報を取得した時点で全タイミング情報を算出することができる。または、まず全タイミングのうち最初に到達するタイミングのみを算出し、そのタイミングに到達した場合に順々に次のタイミングを取得するようにしてもよい。
【００５５】
続いてステップＳ７０５において、交換レンズ１０２は、ステップＳ７０３にて算出したカメラ側ブレ補正量をカメラ本体１０１への通知情報として取得する。続いてステップＳ７０６において、交換レンズ１０２は、ローリングシャッタ歪み補正の全ライン分割タイミングが終了したか否かを判定する。全ライン分割タイミングの少なくとも一つが終了していない場合、ステップＳ７０７へ進む。ステップＳ７０７において、次のローリングシャッタ歪み補正のライン分割タイミングのタイマを設定し、ステップＳ７０４に戻る。
【００５６】
一方、ステップＳ７０６にて全ライン分割タイミングが終了した場合、ステップＳ７０８へ進む。ステップＳ７０８において、交換レンズ１０２は、カメラ本体１０１からブレ補正量取得通信の要求を受信したか否かを判定する。交換レンズ１０２がその要求を受信していない場合、ステップＳ７０８を繰り返す。一方、交換レンズ１０２がその要求を受信した場合、ステップＳ７０９へ進む。ステップＳ７０９において、交換レンズ１０２は、カメラ本体１０１に全ライン分割におけるカメラ側ブレ補正量を通知する。なお、カメラ側ブレ補正量は、図５における第３の通信５０３により通知される。
【００５７】
以上のように、本実施形態によれば、カメラ本体１０１の電子防振と交換レンズ１０２の像ブレ補正用レンズ１２２を用いたブレ補正（光学防振）とを協調して行いつつ、ローリングシャッタ歪みを補正することができる。また、ユーザによる設定、手ブレの大きさ、フレームレート、撮像装置固有の分割数、または、カメラ本体１０１と交換レンズ１０２との間の通信方式、通信速度、もしくは通信量等に基づいてラインの分割数が変更可能である。これにより、様々な事情によりラインの分割数を変更すべき状況が生じた場合でも、撮像システムにおいて適切な歪み補正が可能になる。
【００５８】
また本実施形態では、ブレ検出手段（角速度センサ１２９）は交換レンズ１０２に設けられているが、これに限定されるものではなく、ブレ検出手段をカメラ本体１０１に設けてもよい。これにより、カメラ本体１０１に取り付けられた交換レンズ１０２がブレ検出手段やブレ補正手段を有しない場合でも、適切なローリングシャッタ歪み補正が可能になる。
【００５９】
また本実施形態では、基準タイミング（ＶＤタイミング）に対する露光重心までの遅延時間を通知し、更にそこから分割ラインごとのずれ時間を算出することで全ライン分割のタイミングを算出する。すなわち本実施形態では、露光重心のタイミングを基準にして必要な全タイミングを算出しているが、これに限定されるものではない。例えば、全ラインタイミングのうち先頭のタイミングを基準として、そこからライン分割数分のタイミングを算出するようにしても同様の効果を得ることができる。
【００６０】
また本実施形態では、カメラ本体１０１がローリングシャッタ歪みの補正量を算出するが、これに限定されるものではない。例えば、交換レンズ１０２がローリングシャッタ歪みの補正量を算出し、算出した補正量をカメラ本体１０１に通知するようにしてもよい。
【００６１】
このように本実施形態において、制御装置（カメラＭＰＵ１１５）は、撮像光学系を介して形成された被写体像を受光して電荷を蓄積するタイミングが、電荷の読み出しラインに応じて異なる撮像手段（撮像部１０４）を制御する。また制御装置は、設定手段１１５ａおよび算出手段１１５ｂを有する。設定手段は、電荷を蓄積するタイミングが読み出しラインに応じて異なることにより発生する画像の歪み（ローリングシャッタ歪み）を補正する際の読み出しラインの分割数を設定する。算出手段は、歪みを補正するための補正量（ローリングシャッタ歪み補正量）を算出する。また算出手段は、設定手段から出力された信号に基づくブレ検出手段（角速度センサ１２９）の出力に関する情報に基づいて、補正量を算出する。
【００６２】
なお、本実施例では、設定手段１１５ａから出力された信号として分割数情報（分割数の数値）を用いたが、本発明はこれに限定されない。設定手段１１５ａは、設定された分割数を用いて露光期間を分割し、分割露光期間ごと信号（同期信号）を発信することにより分割数を伝達しても良い。
【００６３】
好ましくは、読み出しラインの分割数は、撮像手段の電荷の読み出しラインを、複数の読み出しラインの集合に分割する際の分割数（複数のラインをいくつかの固まりとした場合の、歪みを補正する際の固まりの数）である。また好ましくは、設定手段は、ユーザの操作に基づいて分割数を変更する。また好ましくは、設定手段は、ブレ検出手段により検出されたブレ量に基づいて分割数を変更する。より好ましくは、第１のブレ量（小ブレ量）における分割数は、第１のブレ量よりも大きい第２のブレ量（大ブレ量）における分割数よりも小さい。また好ましくは、設定手段は、撮像手段のフレームレートに基づいて分割数を変更する。より好ましくは、第１のフレームレート（大フレームレート、細かいフレームレート）における分割数は、第１のフレームレートよりも小さい第２のフレームレート（小フレームレート、粗いフレームレート）における分割数よりも小さい。
【００６４】
好ましくは、撮像システム（カメラシステム１００）は、撮像装置（カメラ本体１０１）と、撮像装置に着脱可能なレンズ装置（交換レンズ１０２）とを有する。撮像装置は、設定手段からの出力に基づく信号をレンズ装置へ送信する。そしてレンズ装置は、その信号に基づくブレ検出手段の出力に基づく情報を撮像装置へ送信する。
【００６５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６６】
本実施形態の撮像装置は、ローリングシャッタ歪みを補正する際に、補正量を算出するための撮像画像のラインの分割数を変更することができる。撮像装置は、例えば、ユーザによる設定、手ブレの大きさ、フレームレート、撮像装置固有の分割数、または、カメラ本体と交換レンズとの間の通信方式、通信速度、または、通信量等に基づいてラインの分割数を変更することが可能である。これにより、様々な事情により分割数を変更すべき状況が生じた場合でも、適切なローリングシャッタ歪み補正を行うことができる。このため本実施形態によれば、画像のラインの分割数に基づいて適切なローリングシャッタ歪み補正を行うことが可能な制御装置、撮像装置、撮像システム、レンズ装置、制御方法、および、プログラムを提供することができる。
【００６７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６８】
１１５  カメラＭＰＵ（制御装置）
１１５ａ  設定手段
１１５ｂ  算出手段
【図１】
2020065104.tif 000003
【図２】
2020065104.tif 000004
【図３】
2020065104.tif 000005
【図４】
2020065104.tif 000006
【図５】
2020065104.tif 000007
【図６】
2020065104.tif 000008
【図７】
2020065104.tif 000009