(57)【要約】【課題】  被写体の移動量の検出精度を高めるために、被写体の露光に対応した正確な防振機構の位置を求めること。【解決手段】  振れを検出する振れ検出手段と、前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する防振手段と、前記防振手段の位置を検出して出力する検出手段と、画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定手段と、前記検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出手段とを有する。【選択図】  図３
2020056953.tif 000002
【特許請求の範囲】
【請求項１】
振れを検出する振れ検出手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する防振手段と、
前記防振手段の位置を検出して出力する検出手段と、
画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定手段と、
前記検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出手段と
を有することを特徴とする防振装置。
【請求項２】
前記撮像素子には、複数の画素が行列状に配置され、
前記決定手段は、前記撮像素子の各行の露光時間の中心時刻を、前記抽出タイミングとして決定することを特徴とする請求項１に記載の防振装置。
【請求項３】
前記撮像素子には、複数の画素が行列状に配置され、
前記決定手段は、前記撮像素子の各行の内、一定間隔おきの行の露光時間の中心時刻を、前記抽出タイミングとして決定することを特徴とする請求項１に記載の防振装置。
【請求項４】
前記撮像素子により撮影された画像から、被写体の位置を検出する被写体位置検出手段を更に有し、
前記撮像素子には、複数の画素が行列状に配置され、
前記決定手段は、前記被写体位置検出手段により検出された各被写体について、該被写体を含む行の露光時間の中心時刻を、それぞれ前記抽出タイミングとして決定することを特徴とする請求項１に記載の防振装置。
【請求項５】
前記検出手段から出力された前記防振手段の位置の時系列の情報に対して、平滑化処理を行う平滑化手段を更に有し、
前記抽出手段は、前記平滑化された前記防振手段の位置の時系列の情報から、前記決定手段により決定された抽出タイミングにおける前記防振手段の位置を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の防振装置。
【請求項６】
前記防振手段は、撮像素子であることを特徴とする請求項１乃至５のいずれか１項に記載の防振装置。
【請求項７】
振れを検出する第２の振れ検出手段と、
前記第２の検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第２の防振手段と、
前記第２の防振手段の位置を検出して出力する第２の検出手段と、
前記第２の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第２の防振手段の位置を抽出する第２の抽出手段と
を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の防振装置。
【請求項８】
前記第２の防振手段は、防振レンズであることを特徴とする請求項７に記載の防振装置。
【請求項９】
前記防振装置は、撮像装置本体と、交換レンズとからなる撮像システムに搭載され、
前記交換レンズは、前記第２の振れ検出手段と、前記第２の防振手段と、前記第２の検出手段と、前記第２の抽出手段と、を含み、前記撮像装置本体は、前記撮像素子および前記決定手段を含み、
前記決定手段により決定された抽出タイミングを、前記交換レンズに送信するとともに、前記第２の抽出手段により抽出された前記第２の防振手段の位置を、前記撮像装置本体に送信する通信手段を更に有する
ことを特徴とする請求項７または８に記載の防振装置。
【請求項１０】
前記防振手段は、防振レンズであることを特徴とする請求項１乃至４のいずれか１項に記載の防振装置。
【請求項１１】
前記防振装置は、撮像装置本体と、交換レンズとからなる撮像システムに搭載され、
前記交換レンズは、前記振れ検出手段と、前記防振手段と、前記検出手段と、前記抽出手段と、を含み、前記撮像装置本体は、前記撮像素子および前記決定手段を含み、
前記決定手段により決定された抽出タイミングを、前記交換レンズに送信するとともに、前記抽出手段により抽出された前記防振手段の位置を、前記撮像装置本体に送信する通信手段を更に有する
ことを特徴とする請求項１０に記載の防振装置。
【請求項１２】
前記決定手段により決定された抽出タイミングにおける、前記振れ検出手段の出力を抽出する第３の抽出手段を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の防振装置。
【請求項１３】
前記振れ検出手段は、前記決定手段および前記第３の抽出手段と異なる基板上に形成され、
前記振れ検出手段により検出された振れの情報を、前記第３の抽出手段に送信する通信手段を更に有することを特徴とする請求項１２に記載の防振装置。
【請求項１４】
前記通信手段は、前記振れの情報を、逐次、前記第３の抽出手段に送信することを特徴とする請求項１３に記載の防振装置。
【請求項１５】
前記通信手段は、予め決められた期間ごとに得られる前記振れの情報を、一括して前記第３の抽出手段に送信することを特徴とする請求項１３に記載の防振装置。
【請求項１６】
前記防振装置が、前記撮像素子と同じ基板に形成されていることを特徴とする請求項１乃至６のいずれか１項に記載の防振装置。
【請求項１７】
複数の画素が行列状に配置された前記撮像素子により撮影された画像の画素データと、前記抽出手段により抽出した防振手段の位置の情報とを含む、ペイロードとヘッダとを有するパケットを生成する生成手段と、
前記生成手段により生成されたパケットを送信する送信手段と
を有することを特徴とする請求項１乃至１６のいずれか１項に記載の防振装置。
【請求項１８】
前記生成手段は、各パケットの前記ペイロードに前記撮像素子の各行の画素データを挿入すると共に、当該行の露光時間に前記抽出手段により抽出された防振手段の位置の情報を、同じパケットのヘッダに挿入することを特徴とする請求項１７に記載の防振装置。
【請求項１９】
前記生成手段は、前記検出手段の出力に基づいて、各フレームにおける前記防振手段の基準位置と、該基準位置と前記防振手段の位置との差分を求め、各パケットの前記ペイロードに前記撮像素子の各行の画素データまたは前記基準位置の情報を挿入すると共に、前記差分の情報を、前記防振手段の位置を抽出した抽出タイミングに対応する行のヘッダに挿入することを特徴とする請求項１７に記載の防振装置。
【請求項２０】
前記生成手段は、各パケットの前記ペイロードに前記撮像素子の各行の画素データまたは前記防振手段の位置の情報を挿入すると共に、前記ペイロードに前記撮像素子の各行の画素データと前記防振手段の位置の情報のいずれが挿入されているかを示す情報を、各パケットのヘッダに挿入することを特徴とする請求項１７に記載の防振装置。
【請求項２１】
前記撮像素子は、画素データを出力しないダミー領域を含み、
前記生成手段は、前記ダミー領域に対応するパケットのペイロードに、前記防振手段の位置の情報を挿入すると共に、当該パケットのヘッダに、前記防振手段の位置の情報を挿入したことを示す情報を挿入することを特徴とする請求項１７に記載の防振装置。
【請求項２２】
前記撮像素子により撮影された画像に基づいて、被写体の動きを示す動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトルと、請求項１乃至２１のいずれか１項に記載の防振装置から情報を取得する取得手段と、
前記取得手段により取得した前記情報に基づいて、前記被写体の移動量を検出する移動量検出手段と、を有し、
前記情報は、前記振れ検出手段により検出された振れの振れ量と、前記抽出手段により抽出された前記防振手段の位置を含むことを特徴とする画像処理装置。
【請求項２３】
振れ検出手段が、振れを検出する振れ検出工程と、
防振制御手段が、前記振れ検出工程で検出した振れに基づいて防振手段の位置を動かすことにより、前記振れを補正する防振工程と、
検出手段が、前記防振手段の位置を検出して出力する検出工程と、
決定手段が、画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定工程と、
抽出手段が、前記検出手段の出力から、前記決定工程で決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出工程と
を有することを特徴とする防振手段の位置の検出方法。
【請求項２４】
振れを検出する振れ検出手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する防振手段と、
前記防振手段の位置を検出して出力する検出手段と、を有する防振装置において、
画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定手段と、
前記検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出手段と
としてコンピュータを機能させるためのプログラム。
【請求項２５】
請求項２４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、防振装置、画像処理装置、及び検出方法に関する。
【背景技術】
【０００２】
撮像装置の振れを検出し、この振れに起因する画像のブレを、移動可能な光学レンズまたは撮像素子を用いて補正する機能を備えた撮像装置や交換レンズが知られている。このような方式の画像のブレを補正する機能（以下、防振機能）を光学式防振と呼ぶ。撮像装置の振れを検出するには、角速度センサ（ジャイロセンサ）や加速度センサを用いるのが一般的であり、検出した角速度や加速度に基づいて画像のブレをキャンセルする方向に光学レンズまたは撮像素子を駆動する。
【０００３】
また近年では、撮像装置のフレームレートの高速化と画像処理技術の進歩により、フレーム間の画像の位置のずれを解析し、そこから動きベクトルを算出することで被写体の動き（移動量）を検出することも可能となってきている。このようにして検出された移動量に基づいて、動画の各フレームの切り出し位置を変更することにより、画像のブレをキャンセルする防振機能も知られており、このような方式の防振機能を電子式防振と呼ぶ。電子式防振は、小型・軽量の撮像装置や撮像装置付き携帯電話などに用いられている。
【０００４】
撮影装置は、動きベクトルから求めた被写体の移動量情報を用いることで、電子式の防振はもちろん、様々な機能を実現することが可能となる。例えば、被写体が動体であるか否かを検知し、シャッタスピードや感度などを調整する動体検知撮影や、被写体の移動量から被写体の位置を予測し、焦点を追尾しながら合致させる被写体追尾オートフォーカスが実現可能となる。他にも、被写体を画角内の一定サイズに自動的におさめて撮影する自動フレーミング機能や、熟練撮影技術である流し撮りをより行い易くサポートする流し撮りアシスト機能なども実現可能となる。これらのさまざまな機能を効果的かつ正確に行うためには、被写体の移動量を正確に算出することが重要である。
【０００５】
流し撮りをより容易にするために、特許文献１では撮像装置の振れの検出タイミングを２つのフレームの各露光期間の間に設定することで、撮像装置の振れをより正確に求める方法が開示されている。この方法で検出した撮像装置の振れと、撮像した被写体像の動きベクトルとを用いることで、流し撮りの対象である主被写体の像ブレを抑える流し撮りアシスト機能を提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１６１７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１ではジャイロセンサなどで取得される撮像装置の振れのみに着目しているが、防振機能をもつ撮像装置の場合、より正確な被写体の移動量を求めるためには、画像から算出される動きベクトル、撮像装置の振れ量の他に、防振機構の補正量（補正位置）を正確に求めることが重要となる。
【０００８】
ここで、図２５を用いて、「画像から算出される動きベクトル」、「被写体の移動量」、「撮像装置の振れ量」、「防振機構の補正量（補正位置）」の関係について説明する。図２５では、一例として、撮像装置１１０１が、２つの被写体１１０３及び被写体１１０４を撮影している場合を示している。また、光学式防振機構１１０２は、ここでは撮像素子を移動させて像ブレを補正する構成とする。なお、ここでは撮像素子による防振を想定しているが、光学防振レンズを用いた方式でも構わない。
【０００９】
図２５（ａ）に示す撮影画像１１０５は、被写体１１０３及び被写体１１０４を撮影した画像であり、それぞれの被写体の像を被写体像１１０６、被写体像１１０７とする。このような構図の被写体１１０３及び被写体１１０４のうち、被写体１１０３が右方向に動き、位置Ｐ１から位置Ｐ２まで移動した状態が、図２５（ｂ）に示す撮影画像１１１０である。このとき、撮影画像１１０５における被写体像１１０６は、位置ｐ１から、撮影画像１１１０における位置ｐ２まで移動する。これにより、被写体像１１０６の動きベクトル１１１３が求まり、これをもとに被写体１１０３の被写体移動量１１０９を求めることができる。
【００１０】
さらに、図２５（ｂ）の状態において撮像装置１１０１に左振れ（撮像装置振れ量１１２１）が発生した状態を示したものが図２５（ｃ）である。このときの撮像装置１１０１の振れ角速度を角速度１１２２とすると、撮影画像１１２０は、撮影画像１１１０と比較して左側に画角がずれた画像となる。これにより被写体像１１０６、被写体像１１０７は、被写体自身の動きの有無に関わらず、撮影画像１１２０上では相対的に右側に画面上での位置がシフトすることとなる。その結果、図２５（ｃ）における被写体像１１０６の撮影画像１１２０上での動きは、動きベクトル１１２５として求まる。つまり、この動きベクトル１１２５は、被写体１１０３自身の移動量である被写体移動量１１０９と、撮像装置１１０１の揺れ量である撮像装置振れ量１１２１とに起因している。従って、動きベクトル１１２５から撮像装置振れ量１１２１相当の動きベクトルを差し引くことで、被写体像１１０６の動きベクトル１１１３が求まり、これをもとに被写体１１０３の被写体移動量１１０９を求めることができる。
【００１１】
更に、防振機能を有する撮像装置は、常に防振を行っているのが一般的であり、撮影される画像もその影響を受けている。図２５（ｄ）では、光学式防振機構１１０２が防振動作を行っているものとし、そのときの防振量を防振量１１３１としている。これによって図２５（ｄ）の撮影画像１１３０は、図２５（ｃ）の撮影画像１１２０に対して、撮像装置振れ量１１２１をキャンセルする逆方向にシフトした画像となる。これにより、被写体１１０３の被写体像１１０６の位置から求まる撮影画像１１３０上での動きベクトルは、動きベクトル１１３５となる。
【００１２】
ここで、防振量１１３１により防振機能が撮像装置振れ量１１２１を完全にキャンセルできた場合、撮像装置１１０１の完全な停止状態と等しくなるため、図２５（ｂ）に示す撮影画像１１１０と図２５（ｄ）に示す撮影画像１１３０は同等となる。すなわち、動きベクトル１１３５は、被写体移動量１１０９のみに起因するものとなる。しかしながら、撮像装置振れ量１１２１が大きく、光学式防振機構１１０２では補正しきれない場合には、撮像装置振れ量１１２１は完全にはキャンセルされない。また、撮影者が意図的にパンニング動作をしていて光学式防振機構１１０２が遅れ時間を発生させながら追従しているような場合にも、撮像装置振れ量１１２１は完全にはキャンセルされない。そのため、撮影画像１１３０から算出される動きベクトル１１３５は、被写体移動量１１０９の他に、撮像装置振れ量１１２１及び防振量１１３１にも起因することとなる。この場合、動きベクトル１１３５から撮像装置振れ量１１２１及び防振量１１３１に相当する動きベクトルを差し引くことで、被写体像１１０６の動きベクトル１１１３が求まり、これをもとに被写体１１０３の被写体移動量１１０９を求めることができる。
【００１３】
従って、防振機能をもつ撮像装置の場合、上述したように、より正確な被写体の移動量を求めるためには、画像から算出される動きベクトル、撮像装置の振れ量の他に、防振機構の補正量（補正位置）を正確に求めることが重要となる。そのため、撮像素子における各水平ラインや被写体が存在する水平ライン（以下、「被写体水平ライン」と呼ぶ。）の露光タイミングに同期して、光学式防振機構の補正量を抽出する発明も提案されている。
【００１４】
また、撮像装置内部において、撮像素子及びその画素データを変換する画像信号処理部と、被写体の動きベクトルや移動量を算出する処理部とは異なる半導体素子や基板上に存在することがある。その場合、露光して得られた画像データや、その露光タイミングと同期して抽出された補正位置情報は、異なる基板の処理部の間で受け渡しを行う必要がある。その際に、画像データと補正位置情報とをそれぞれ別の通信手段で受け渡しを行った場合、各通信手段用の配線が必要となり、その配線のために基板上の配線スペースやコネクタのピン数などが増加し、撮像装置の小型化の妨げとなる。また、画像データと補正位置情報とは同期を取る必要があるため、異なる通信手段間でデータ転送の同期を取らなければならず、処理が煩雑となる。
【００１５】
そのため、露光して得られた画像データと露光タイミングと同期して抽出された補正位置情報とを処理部間で受け渡すにあたり、省スペースかつ効率よく実現することが望まれる。
【００１６】
さらに、レンズ交換式の撮像装置で、レンズ側に備えられた防振レンズなどの防振機能を用いて防振する場合、正確な被写体の移動量を求めるために、レンズ側から防振量１１３１を、何らかの方法で本体側に送信する必要がある。そのため、正確な被写体の移動量を求めるためには、画像から算出される動きベクトル、撮像装置の振れ量の他に、レンズ側の防振機構の補正量（補正位置）を正確に求め、レンズ側から、本体側へ送信することが重要となる。
【００１７】
また、撮像装置内部において、撮像素子、被写体の動きベクトルや移動量を算出する処理部、防振制御部が一つの基板上あるいは半導体素子内に形成され、別の基板上に振れ検出部を形成することがある。例えば、振れ検出部は、撮像装置の振れを検出する必要があるため、可動式の撮像素子を駆動して防振する構成においては、振れ検出部と撮像素子は異なる基板上に配置しなければならない。そのため、振れ検出部の検出結果は、それら異なる基板に配置された処理部の間で受け渡しを行う必要がある。この際に、振れ検出部の検出結果を専用の通信手段を用いて受け渡しを行う場合、専用の通信回路及び通信手段用の配線が必要となる。このため、基板上の配線スペースやコネクタのピン数などが増加し、部品コストの増加及び撮像装置の小型化の妨げとなる。
【００１８】
本発明は上記問題点を鑑みてなされたものであり、被写体の移動量の検出精度を高めるために、被写体の露光に対応した正確な防振機構の位置を求めることを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明の防振装置は、振れを検出する振れ検出手段と、前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する防振手段と、前記防振手段の位置を検出して出力する検出手段と、画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定手段と、前記検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出手段とを有する。
【発明の効果】
【００２０】
本発明によれば、被写体の露光に対応した正確な防振機構の位置を求めることができる。これにより、被写体の移動量の検出精度を高めることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る撮像装置の全体構成の一例を示すブロック図。
【図２】実施形態に係る撮像装置の撮影フローを示すフローチャート。
【図３】第１の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図４】第１の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図５】第２の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図６】第２の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図７】第２の実施形態に係る複数の被写体があるときの防振機構の位置情報を抽出するタイミングを説明する図。
【図８】第３の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図９】第３の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図１０】被写体動き検出処理に係る他の構成を示すブロック図。
【図１１】第４の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図１２】第４の実施形態における伝送パケットの構成例を説明する図。
【図１３Ａ】第４の実施形態における伝送パケットの構成を説明する図。
【図１３Ｂ】第４の実施形態における伝送パケットの構成を説明する図。
【図１４Ａ】第５の実施形態における伝送パケットの構成例を説明する図。
【図１４Ｂ】第５の実施形態における伝送パケットの構成例を説明する図。
【図１４Ｃ】第５の実施形態における伝送パケットの構成例を説明する図。
【図１５】第６の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図１６】第６の実施形態に係る防振機構の位置信号を抽出するタイミングを説明する図。
【図１７】第７の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図１８】第７の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図１９】第７の実施形態に係る複数の被写体があるときの防振機構の位置情報を抽出するタイミングを説明する図。
【図２０】第８の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図２１】第８の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図２２】第９及び第１０の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図２３】第９の実施形態に係るカメラ振れ検出部の位置情報を抽出するタイミングを説明する図。
【図２４】第１０の実施形態に係るカメラ振れ検出部の位置情報を抽出するタイミングを説明する図。
【図２５】動きベクトルと撮像装置及び被写体の関係を説明する図。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。各実施形態では、撮影画像の防振を行う防振装置を例示する。防振光学系の可動部材等を駆動制御する防振装置は、ビデオカメラ、デジタルカメラといった撮像装置や、双眼鏡、望遠鏡、フィールドスコープといった観察装置を含む光学機器に搭載可能である。
【００２３】
図１は、本発明の実施形態に係る撮像システムの全体構成の一例を示すブロック図であり、防振機能を搭載したミラーレスカメラであるカメラ本体１２０（撮像装置本体）及び交換レンズ１００の構成を示す。
【００２４】
交換レンズとしては様々なレンズを用いることができ、カメラ本体１２０に装着可能な光学機器である。ここで説明する交換レンズ１００は、主撮影光学系１０２と、焦点距離を変更可能なズームレンズ群１０３及び像ブレを補正する防振レンズ群１０４などから成る撮影レンズユニット１０１を備える。ズームエンコーダ１０５はズームレンズ群１０３の位置を検出し、検出信号をレンズ制御部１０８内のレンズ焦点距離検出部１０９に出力する。レンズ焦点距離検出部１０９は、ズームエンコーダ１０５の検出信号により、撮影レンズユニット１０１の焦点距離を得ることができる。
【００２５】
防振レンズ位置センサ１０６は、防振レンズアクチュエータ１０７によって駆動される防振レンズ群１０４の位置を検出し、検出信号をレンズ防振制御部１１２に出力する。交換レンズ振れ検出部１１３は交換レンズ１００の振れを検出し、振れ検出信号（振れ量）をレンズ防振制御部１１２に出力する。レンズ防振制御部１１２は、この振れ検出信号に基づいて防振レンズ群１０４を光軸に対して垂直方向に駆動させることで防振動作を行う。すなわち、レンズ防振制御部１１２は、防振レンズ群１０４の位置と、交換レンズ１００の振れ量とに基づいて、防振レンズ群１０４の補正量を求め、求めた補正量を用いて防振制御することができる。
【００２６】
マウント接点部１１４は、カメラ本体１２０との接続部であり、レンズ通信制御部１１１によってカメラ本体１２０との通信を行う。また、レンズ制御部１０８は不図示のフォーカス制御や絞りなどの制御等も行う。
【００２７】
カメラ本体１２０は、カメラシステム制御用マイクロコンピュータ１６０（以降、「カメラ制御部」と呼ぶ。）や、露出制御に用いるシャッタ１２１、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１５０を備える。シャッタ１２１はシャッタアクチュエータ１２２によって駆動され、シャッタドライバ１２３を介してシャッタ制御部１２４により駆動制御される。撮像素子１５０には、複数の画素が行列状に配置され、露光タイミング制御部１５２によって動作タイミングを設定され、撮像素子１５０からの出力信号は画像信号処理部１５１によって処理され、画像が生成される。
【００２８】
カメラ振れ検出部１３４は、カメラ本体１２０の振れを検出し、振れ検出信号をカメラ防振制御部１３５に出力する。撮像素子１５０は、カメラ防振アクチュエータ１３２によって光軸に対して垂直方向に駆動され、その位置はカメラ防振位置センサ１３１によってカメラ防振制御部１３５に出力される。カメラ防振制御部１３５はカメラ振れ検出部１３４の出力と撮像素子１５０の位置情報に基づいて補正量を求め、求めた補正量に基づいてカメラ防振ドライバ１３３を介してカメラ防振アクチュエータ１３２を駆動することで、カメラ本体１２０の防振制御を行う。
【００２９】
表示部１７１は、ユーザがカメラで撮影しようとしている画像をモニタするために表示し、また撮影した画像を確認するために表示する、液晶パネル（ＬＣＤ）等の表示デバイスを備える。記憶媒体１７２は、撮影された画像のデータを記録するメモリーカード等の記録媒体である。操作部１７３は、電源スイッチ、レリーズスイッチ、各種モード設定切替スイッチ等を備える。
【００３０】
マウント接点部１４１は、カメラ本体１２０と交換レンズ１００とを接続するために備えられた接続部であり、レンズ通信制御部１１１とカメラ通信制御部１４２は、マウント接点部１１４及びマウント接点部１４１を介して所定のタイミングで通信を行う。
【００３１】
被写体位置検出部１６１は、画像信号処理部１５１から出力された画像から主被写体や背景などの各種被写体を検出する。動きベクトル検出部１６２は、複数のフレームの画像データの差分から被写体の動きベクトルを算出する。被写体移動量検出部１６３は、カメラ振れ検出部１３４の振れ検出信号、動きベクトル検出部１６２の動きベクトル、及び、カメラ防振位置センサ１３１からの位置情報から、被写体の動き（移動量）を検出する。
【００３２】
カメラ本体１２０は、その他にもホワイトバランス制御部等、様々な制御ブロックを備えているが、図示の簡略化のために省略する。また、防振時には、例えば横方向と縦方向といった、直交する２軸に関する検出及び補正処理が実行されるが、これらは同様の構成であるため、以下では１軸分に関して説明する。
【００３３】
図２は、本発明における上記構成を有する撮像装置の撮影フローを示すフローチャートである。以下、図２を参照して撮像装置の撮影フローについて説明する。
【００３４】
電源が投入された撮像装置は、まず始めに撮影準備のための初期処理を行う（Ｓ２０１）。初期処理を終えた撮像装置は、撮像素子１５０の駆動を開始し、被写体像の取り込みを開始する（Ｓ２０２）。このとき、防振機能が設定によって有効となっている場合には（Ｓ２０３でＹＥＳ）、各種防振機構による防振処理を行い（Ｓ２０４）、Ｓ２０５に進む。防振機能が有効となっていない場合には、防振処理を行わずにＳ２０５に進む。
【００３５】
次に、撮像装置はＳ２０５において、撮影記録が開始された状態であるかどうかを判断する。撮影記録を開始していない場合にはＳ２０６へ進み、操作部１７３にあるレリーズボタンの操作により撮影開始のトリガが発生したかどうかを判断する。撮影開始のトリガが発生した場合には、Ｓ２０７に進んで撮影記録を開始し、Ｓ２１２に進む。一方、撮影開始のトリガが発生していなければ、そのままＳ２１２に進む。
【００３６】
また、すでに撮影記録が開始されている場合はＳ２０８へ進み、操作部１７３にあるレリーズボタンの操作により撮影終了のトリガが発生したかどうかを判断する。撮影終了のトリガが発生していない場合には、Ｓ２０９に進んで撮影記録処理を行い、Ｓ２１０で撮影した画像を記録媒体に保存して、Ｓ２１２に進む。一方、撮影終了のトリガが発生していれば、Ｓ２１１に進んで、撮影記録を停止し、Ｓ２１２に進む。
【００３７】
このように、撮影記録が開始されていない状態でレリーズボタンの操作によりトリガが発生すると、撮影記録を開始し、再びトリガが発生するまでは撮影記録処理を継続させ撮影映像を記録媒体へ保存する。そして、撮影記録の開始後に再びトリガが発生すると、撮影記録は停止される。
【００３８】
Ｓ２１２では、撮像素子１５０から得られた画像における被写体の位置を検知し、Ｓ２１３において、前回検知した被写体の位置と今回検知した被写体の位置から、被写体の動きを検出する。なお、本発明では、被写体の位置検知処理（Ｓ２１２）と被写体の動き検出処理（Ｓ２１３）を、撮影記録の有無に関わらず、撮像素子１５０が動作している状態では常時機能しているものとする。そうすることで、撮影待機状態であっても被写体の位置やその動きを検出及び予測をすることができ、さまざまな撮影機能を実現することが可能となる。
【００３９】
Ｓ２１４では、操作部１７３にある電源ボタンなどの電源オフ動作が為されたか否かを判断し、電源オフされていなければＳ２０３に戻って上述した処理を繰り返す。一方、電源オフされていれば、Ｓ２１５において終了処理を行い、撮像装置の電源を落として、撮影フローを終了とする。
【００４０】
＜第１の実施形態＞
図３は、本発明の第１の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図１と同じ構成には、同じ参照番号を付している。また、図１に示す構成の内、第１の実施形態における被写体動き検出処理に直接関係の無い構成については、記載を省略している。
【００４１】
カメラ防振制御部１３５は、位置フィードバック制御部２１１と制御目標値生成部２１２を備える。制御目標値生成部２１２は、カメラ振れ検出部１３４の出力に基づいて、位置フィードバック制御部２１１で位置フィードバック制御を行うための制御目標値を生成する。位置フィードバック制御部２１１は、制御目標値と、カメラ防振位置センサ１３１からの位置情報とに基づいて、撮像素子１５０の目標位置を求めて動作量を算出し、カメラ防振アクチュエータ１３２を駆動制御する位置フィードバック制御を行う。このように、制御目標値生成部２１２によって生成された制御目標値によって、像振れを抑える防振機能や滑らかなパンニング動作を実現する。
【００４２】
防振位置抽出部２０４は、カメラ防振位置センサ１３１の出力から、ある特定のタイミングで値を抽出するものであり、そのタイミングは、露光タイミング制御部１５２に備えられたタイミング通知部２０１によって決定される。また、タイミング通知部２０１の出力は、露光タイミング制御部１５２における撮影条件などに依存する。その詳細については後述する。また、被写体移動量検出部１６３は、被写体位置検出部１６１、動きベクトル検出部１６２及び防振位置抽出部２０４、カメラ振れ検出部１３４の各出力に基づいて、被写体の移動量を検出する。
【００４３】
次に、図４を用いて、本実施形態を適用した場合の、防振位置抽出部２０４による抽出タイミングについて説明する。図４（ａ）の信号４０１は同期信号であり、その周期はフレームレートに対応する。第１、第２、第３のフレームにそれぞれ対応する露光期間４０２ａ、４０２ｂ、４０２ｃは、フレームごとの露光期間に相当する。本実施形態では、撮像素子１５０としてＣＭＯＳセンサを使用した場合を想定し、フレームレートに対応する周期ごとの露光期間を示している。ＣＭＯＳセンサをローリングシャッタにより駆動した場合、撮像素子１５０の各水平読み出しラインごとに読み出しタイミングが異なる。図４では、最上部の水平読み出しライン４１１から、水平読み出しライン４１２、水平読み出しライン４１３…水平読み出しライン４１９まで順に読み出しを行っている。そのため、露光期間４０２ａからも分かるとおり、最上部の水平読み出しライン４１１から最下部の水平ライン４１９にかけて、露光のタイミングがずれていく。
【００４４】
信号４０３は、タイミング通知部２０１の出力であり、防振位置抽出部２０４がカメラ防振位置センサ１３１からの位置情報を抽出するタイミングを示している。
【００４５】
図４（ａ）に示す本実施形態では、撮像素子１５０の各水平読み出しラインの露光期間の重心となる中心時刻に抽出タイミングを設定している。例えば、最上部の水平読み出しライン４１１では、その露光期間の中心時刻は時刻ｔ１であり、その時刻ｔ１にタイミング通知部２０１が防振位置抽出部２０４に位置情報の抽出タイミングを通知し、防振位置抽出部２０４は位置情報を抽出する。同様に、水平読み出しライン４１２においては時刻ｔ２に、水平読み出しライン４１９においては時刻ｔ３といったように、防振位置抽出部２０４は順次位置情報を抽出する。これは第２、第３の露光期間である露光期間４０２ｂ、露光期間４０２ｃについても同様である。
【００４６】
このようにすることで、各水平読み出しラインに対応したカメラ防振位置センサ１３１の出力が抽出される。そして、抽出されたカメラ防振位置センサ１３１からの位置情報とその時点の光学系の焦点距離から、正確な防振機構の補正量を各水平読み出しラインごとに求めることができる。さらに、各水平読み出しラインの補正量が求まるため、被写体領域が求まれば、被写体に応じた補正量も算出することが可能となる。
【００４７】
例えば、図４（ｂ）に示すように被写体４０６が存在したとすると、その位置に対応した複数の水平読み出しラインは被写体ライン４０７に対応する。その被写体ライン４０７に対応した各フレームにおける防振機構の補正量は、抽出タイミング４４０ａ〜４４０ｃのタイミングに取得されたものに一致する。
【００４８】
なお、被写体位置検出部１６１で求めた被写体の位置情報を防振位置抽出部２０４に送り、防振位置抽出部２０４で被写体ライン４０７に対応するカメラ防振位置センサ１３１からの位置情報を抽出してから、被写体移動量検出部１６３に送るようにしても良い。
【００４９】
また、本実施形態では撮像素子１５０の各水平読み出しラインにおいて抽出タイミングを決定する方法について説明したが、一定間隔おきの水平読み出しラインにおいて抽出するようにしても構わない。
【００５０】
上記の通り第１の実施形態によれば、正確な防振機構の補正量を得ることができるため、より正確な被写体の移動量を求めることが可能となる。
【００５１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図５から図７を参照して説明する。
【００５２】
図５は、第２の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図３と同じ構成には、同じ参照番号を付して説明を省略する。図５に示す構成と図３に示す構成とは、被写体位置検出部１６１により検出された各種被写体の情報を、タイミング通知部２０１に出力するところが異なる。
【００５３】
次に、図６を用いて、第２の実施形態における防振位置抽出部２０４による抽出タイミングについて説明する。図４と同様に、信号４０１はフレームに同期した同期信号である。また、信号６０３は、タイミング通知部２０１から出力される、カメラ防振位置センサ１３１からの位置情報を抽出するタイミングを示す信号である。また、露光期間６０２ａ〜６０２ｃは、フレームごとの露光期間に相当する。
【００５４】
第２の実施形態では、図６に示す通り、撮影画像６０５内に被写体６０６が存在し、そのときの被写体６０６の位置は被写体位置検出部１６１によって検出されているものとする。被写体６０６の位置が求まっている場合、それに対応した撮像素子１５０の水平読み出しラインの範囲である被写体ライン６０７も同様に求めることが可能となる。さらに、その被写体ライン６０７に対応した露光期間についても、撮影条件などから被写体露光期間６０８として求めることができる。この被写体ライン６０７の中心かつその露光時間の中心に一致する時刻２１が、その被写体露光期間６０８の中心時刻となる。従って、時刻ｔ２１にカメラ防振位置センサ１３１からの位置情報を抽出することで、被写体６０６に対応した防振補正量を算出することが可能となる。第２、第３の露光期間である露光期間６０２ｂ、露光期間６０２ｃについても同様に、それぞれ時刻ｔ２２、ｔ２３にカメラ防振位置センサ１３１からの位置情報を抽出する。
【００５５】
図７は、撮影画像７０５内に２つの被写体７０６、７０７が存在する場合の抽出タイミングを示している。この場合も、図６の説明と同様の考え方をすることで、被写体７０６に対応した撮像素子１５０の水平読み出しラインの範囲である被写体ライン７０８の被写体露光時間７１０の中心時刻ｔ２５にカメラ防振位置センサ１３１からの位置情報を抽出する。また、被写体７０７に対応した水平読み出しラインの範囲である被写体ライン７０９の被写体露光時間７１１の中心時刻ｔ２４に、カメラ防振位置センサ１３１からの位置情報を抽出する。これは第２、第３の露光期間である露光期間６０２ｂ、露光期間６０２ｃについても同様である。
【００５６】
前述のように、撮影条件の他に、撮影画像上での被写体位置に応じて情報抽出タイミングが決定されるため、図５に示す様に、被写体位置検出部１６１にて求められた被写体の位置情報がタイミング通知部２０１のタイミング決定に必要となる。
【００５７】
上記の通り第２の実施形態によれば、正確な防振機構の補正量を得ることができるため、より正確な被写体の移動量を求めることが可能となる。
【００５８】
＜第３の実施形態＞
次に、本発明の第３の実施形態について、図８から図１０を参照して説明する。
【００５９】
図８は、第３の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図３及び図５と同じ構成には同じ参照番号を付し、説明を省略する。図８に示す構成と図５に示す構成とは、図８において、カメラ防振制御部１３５が防振位置抽出部２０４を含み、更に、防振位置抽出部２０４内に防振位置演算処理部２０５を有するところが異なる。
【００６０】
次に、図９を用いて、第３の実施形態における防振位置抽出部２０４による抽出タイミングについて説明する。図９は第３の実施形態の信号タイミングを示しており、図６と同様に、信号４０１はフレームに同期した同期信号である。また、信号９０３は、タイミング通知部２０１から出力される、カメラ防振位置センサ１３１からの位置情報を抽出するタイミングを示す信号である。露光期間６０２ａ〜６０２ｃは、フレームごとの露光期間に相当する。
【００６１】
第３の実施形態においても、図９に示すとおり、撮影画像６０５内に被写体６０６が存在し、そのときの被写体６０６の位置は被写体位置検出部１６１によって検出されているものとする。被写体露光期間６０８は、被写体６０６が位置する水平読み出しラインの被写体ライン６０７に対応した露光期間を示す。被写体ライン６０７の中心かつその露光時間の中心に一致する時刻ｔ２１が、その被写体露光期間６０８の中心時刻となる。
【００６２】
図９における信号９２１は、第３の実施形態におけるカメラ防振位置センサ１３１から出力される位置情報を時系列で示したものであり、その時系列データをフィルタリング処理したものが信号９２４である。
【００６３】
第３の実施形態では、カメラ防振位置センサ１３１からの位置情報を被写体露光期間６０８の期間中に一定時間周期で取得し、その時系列データをローパスフィルタ（以下、ＬＰＦ）処理のようなノイズを除去するフィルタリング演算処理する。そして、ＬＰＦ演算処理された位置情報から、時刻ｔ２１の情報を抽出する。こうすることで、位置情報の抽出時刻にノイズが発生していても、そのノイズを除去することが可能となる。
【００６４】
例えば、時刻ｔ２１において、カメラ本体１２０に一時的に衝撃が加わった場合、その衝撃は撮像素子１５０まで伝わり、結果としてカメラ防振位置センサ１３１の出力にノイズとして観測される。その衝撃によるノイズを表現したものがパルス９２２である。もしそのパルス９２２のタイミングと抽出時刻ｔ２１が合致した場合には、被写体６０６に対応したカメラ防振位置センサ１３１からの位置情報として、位置データ９２３が抽出されることとなる。
【００６５】
一方、位置フィードバック制御部２１１はフィードバック制御を行っているため、たとえ衝撃が加わって一瞬位置がずれたとしても撮像素子１５０はすぐに所望の位置に戻る。そのため、被写体露光期間６０８に対して、衝撃による撮像素子１５０の位置ずれの時間は一瞬であり、それによる露光画像９０５への影響はほとんど生じない。本発明において必要な情報は、露光された撮影画像に対しての防振補正量であるため、抽出タイミング９３１にて抽出したい情報は衝撃が加わったときの位置情報の位置データ９２３ではなく、その衝撃前後の露光期間の位置情報である。本実施形態のように、前述のようなＬＰＦ演算処理を施すことで、所望の位置情報を取得することが可能となる。
【００６６】
そのため、図８に示すように、本実施形態では、防振位置抽出部２０４内に防振位置演算処理部２０５を持ち、それによりノイズ除去のためのＬＰＦなどのフィルタ演算処理をほどこした上で、位置情報の抽出を行う。なお、第３の実施形態ではノイズ除去のためにＬＰＦを用いたが、平均化処理など別の演算により平滑化処理を行っても構わない。
【００６７】
上記の通り第３の実施形態によれば、一時的にカメラ本体１２０に衝撃が加えられた場合であっても正確な防振機構の補正量を得ることができるため、より正確な被写体の移動量を求めることが可能となる。
【００６８】
なお、上述した例では、撮像素子１５０とカメラ防振制御部１３５と露光タイミング制御部１５２と防振位置抽出部２０４とを別体の構成として説明してきた。これに対し、図１０で示すように、カメラ防振制御部１３５と露光タイミング制御部１５２と防振位置抽出部２０４とを一体化したロジック回路からなる処理ブロック２１０を構成し、撮像素子１５０と一体化した構成としても良い。このようにすることで相互のブロック間の信号の連携が容易になり、より高速かつ正確な信号処理を実現することが可能となる。
【００６９】
＜第４の実施形態＞
次に、本発明の第４の実施形態について、図１１から図１３Ｂを参照して説明する。
【００７０】
図１１は、本発明の第４の実施形態における被写体動き検出処理を説明するための詳細構成を記載したブロック図である。図１１に示す構成は、図３に示す構成を、２つの基板に分けて配置したものである。そのため、２つの基板の間で通信を行う構成、及び制御部が追加されたものとなる。なお、図３、図５または図８と同じ構成には同じ参照番号を付し、適宜説明を省略する。
【００７１】
図１１において、撮像防振回路部３０１は、撮像素子１５０やカメラ防振制御部１３５などを備えた回路ブロックであり、同一の半導体素子や基板上に形成される。カメラ制御回路部３０２は、カメラ制御部１６０や動きベクトル検出部１６２、被写体移動量検出部１６３などを備えた回路ブロックであり、撮像防振回路部３０１とは異なる基板上あるいは半導体素子内に形成される。
【００７２】
撮像制御部３１１は撮像防振回路部３０１に構成され、撮像防振回路部３０１に構成された撮像制御信号受信部３１２、及び、カメラ制御回路部３０２に構成された撮像制御信号送信部３１３を介して、カメラ制御部１６０から撮像に関する制御情報を受信する。そして、受信した制御情報を用いて、露光時間などの撮影条件や撮像素子１５０の画素読み出しアルゴリズムの設定などを行い、撮像素子１５０や露光タイミング制御部１５２を制御すると共に、画像信号処理部１５１などを制御する。
【００７３】
防振位置抽出部２０４は、タイミング通知部２０１からの信号により、図４、図６または図７を参照して上述したタイミングで、カメラ防振位置センサ１３１の出力を抽出する。
【００７４】
撮像防振回路部３０１に構成された通信パケット送信部３２２、及び、カメラ制御回路部３０２に構成された通信パケット受信部３２３は、撮像防振回路部３０１からカメラ制御回路部３０２にデータを受け渡す通信ブロックである。その際に、通信パケット送信部３２２から送られる、送信パケット生成部３２１にて生成されたパケットデータを受信パケット処理部３２４にて解析したのちに、カメラ制御回路部３０２の各処理ブロックにデータとして渡される。送信パケット生成部３２１には、パケットデータに付加するヘッダを生成するヘッダ生成部３２５と、パケットデータのペイロードを生成するペイロード生成部３２６とを備える。このヘッダやペイロードは、水平ライン別の画素データや、防振機構の位置情報、撮影条件、被写体位置などを含み、またその識別のための情報も持つが、その詳細については後述する。
【００７５】
被写体移動量検出部１６３は、動きベクトル検出部１６２及びカメラ振れ検出部１３４、受信パケット処理部３２４にて解析処理されたパケットデータから抽出した画素データや防振機構の位置情報、被写体位置などの各出力に基づいて、被写体の移動量を検出する。
【００７６】
図１２は、送信パケット生成部３２１にて生成される、１フレーム分の画像データを伝送するのに用いられるパケットのフォーマットの例を示す図である。図１２に示す画素データ領域１２０１は、伝送する画素データの領域を示すものであり、有効画素領域１２１１は撮像素子１５０により撮像された１フレームの画像の有効画素の領域である。有効画素領域１２１１の左側には、垂直方向の画素数が有効画素領域１２１１の垂直方向の画素数と同じであるマージン領域１２１２が設定される。有効画素領域１２１１の上側には、水平方向の画素数が有効画素領域１２１１とマージン領域１２１２との全体の水平方向の画素数と同じである前ダミー領域１２１３が設定されている。図１２においては、前ダミー領域１２１３にはエンベデッドデータ１２１５が挿入されている。エンベデッドデータ１２１５は、シャッタースピード、ゲインなどの撮像素子１５０による撮像に関する設定値や、被写体位置などの情報が含まれる。有効画素領域１２１１の下側には、水平方向の画素数が有効画素領域１２１１とマージン領域１２１２との全体の水平方向の画素数と同じである後ダミー領域１２１４が設定される。なお、エンベデッドデータ１２１５はこの後ダミー領域１２１４に挿入されることもある。これら、有効画素領域１２１１、マージン領域１２１２、前ダミー領域１２１３、及び後ダミー領域１２１４から画素データ領域１２０１が構成される。
【００７７】
図１２の上側の帯は、本実施形態において伝送に用いられるパケットデータの構造を示している。水平方向の画素の並びをラインとすると、パケットのペイロードには、画素データ領域１２０１を構成する各ラインの画素データが格納される。１ライン分の画素データが格納されたペイロードに、ヘッダとフッタ、及びヘッダの前にスタートコード、フッタの後ろにエンドコードなどの制御コードが付加されることによって、１パケットが構成される。なお、フッタはオプションで付加され、フッタが付加されない場合にはペイロードの後ろにエンドコードなどの制御コードが付加される。
【００７８】
ヘッダには、後述するように、Ｆｒａｍｅ  Ｓｔａｒｔ、Ｆｒａｍｅ  Ｅｎｄ、Ｌｉｎｅ  Ｖａｌｉｄ、Ｌｉｎｅ  Ｎｕｍｂｅｒ、ＥＣＣなどの、ペイロードに格納されている画素データの付加的な情報が含まれる。このように、１フレームの画像を構成する画素データをラインごとに伝送するフォーマットを採用することによって、ヘッダ等の付加的な情報やスタートコード、エンドコードなどの制御コードをラインごとのブランキング期間中に転送することが可能になる。
【００７９】
１フレーム分の画像データ全体の伝送は、画素データ領域１２０１の垂直方向の画素数以上の数のパケットを用いて行われる。
【００８０】
図１２の左側及び下側の帯は、ヘッダ情報の内容を示している。図１３Ａ（ａ）は、図１２の上側に示すパケットのフォーマットと、図１２の下側に示すヘッダ情報の詳細と、Ｒｅｓｅｒｖｅの内容をまとめて示した図である。図１３Ｂ（ｂ）は、ヘッダ情報の内容とその情報量の例を示す。
【００８１】
Ｆｒａｍｅ  Ｓｔａｒｔは、フレームの先頭を示す１ビットの情報である。図１２の画素データ領域１２０１の１ライン目の画素データの伝送に用いられるパケットのヘッダのＦｒａｍｅ  Ｓｔａｒｔには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのＦｒａｍｅ  Ｓｔａｒｔには０の値が設定される。Ｆｒａｍｅ  Ｅｎｄはフレームの終端を示す１ビットの情報である。有効画素領域１２１１の終端ラインの画素データをペイロードに含むパケットのヘッダのＦｒａｍｅ  Ｅｎｄには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのＦｒａｍｅ  Ｅｎｄには０が設定される。これら、Ｆｒａｍｅ  ＳｔａｒｔとＦｒａｍｅ  Ｅｎｄがフレームに関する情報である「フレーム情報」となる。
【００８２】
Ｌｉｎｅ  Ｖａｌｉｄは、ペイロードに格納されている画素データのラインが有効画素のラインであるか否かを表す１ビットの情報である。有効画素領域１２１１内のラインの画素データの転送に用いられるパケットのヘッダのＬｉｎｅ  Ｖａｌｉｄには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのＬｉｎｅ  Ｖａｌｉｄには０の値が設定される。Ｌｉｎｅ  Ｎｕｍｂｅｒは、ペイロードに格納されている画素データにより構成されるラインのライン番号を表す１３ビットの情報である。Ｅｎｂｅｄｄｅｄ  Ｌｉｎｅは、エンベデッドデータが挿入されているラインの伝送に用いられるパケットであるか否かを表す１ビットの情報である。例えば、エンベデッドデータを含むラインの伝送に用いられるパケットのヘッダのＥｎｂｅｄｄｅｄ  Ｌｉｎｅには１の値が設定され、他のラインの伝送に用いられるパケットのヘッダのＥｍｂｅｄｄｅｄ  Ｌｉｎｅには０の値が設定される。前述したようにエンベデッドデータは前ダミー領域１２１３や後ダミー領域１２１４の所定のラインに挿入される。これら、Ｌｉｎｅ  Ｖａｌｉｄ、Ｌｉｎｅ  Ｎｕｍｂｅｒ及びＥｍｂｅｄｄｅｄ  Ｌｉｎｅが、ラインに関する情報である「ライン情報」となる。
【００８３】
Ｄａｔａ  ＩＤは、ペイロードに格納されているデータの識別をするためのものであり、Ｒｅｓｅｒｖｅは拡張用の領域である。本実施形態における、これらＤａｔａ  ＩＤとＲｅｓｅｒｖｅの使用方法については後述する。なお、図１２においてはＤａｔａ  ＩＤに０が設定されている場合、ペイロードに格納されているデータは画素データを示すものとする。Ｈｅａｄｅｒ  ＥＣＣは、ヘッダ情報に基づいて計算される誤り検出符号を含んだ情報である。
【００８４】
本第４の実施形態では、防振機構の位置情報をＲｅｓｅｒｖｅ領域に付加する。図１３Ａ（ａ）に示す通り、防振機構の位置情報を、２４ビットの情報としてＲｅｓｅｒｖｅ拡張領域の位置情報領域１３０１に格納する。これにより、２９ビットあったＲｅｓｅｒｖｅ領域のうち、２４ビットを位置情報領域１３０１、残りの５ビットをＲｅｓｅｒｖｅ領域として使用する。図１３Ｂは、そのときの１フレーム全体の伝送パケットを示している。第Ｎライン目の有効画素ラインのパケットには、そのＲｅｓｅｖｅ領域に第Ｎライン目の露光時の位置情報１３０２が、ペイロードデータには画素データ１３０３が付加して送信されていることが分かる。
【００８５】
このように伝送パケットを構成することで、同一水平ラインの画素データと位置情報とを同じ伝送パケットで伝送することが可能となり、画素データと位置情報とを同期して扱うことが容易となる。
【００８６】
なお、上述した例では、図３に示す構成を２つの基板に分けて配置した場合について説明したが、図５及び図８に示す構成を２つの基板に分けることも可能である。その場合、それぞれ図６及び図７、及び図９を参照して説明した制御を行うことができる。
【００８７】
＜第５の実施形態＞
次に、本発明の第５の実施形態について、図１４Ａから図１４Ｃを参照して説明する。図１４Ａから図１４Ｃでは、それぞれ異なるフォーマットの位置情報伝送方式を説明する。なお、本第５の実施形態においても、図１１に示す構成を有するものとし、ここでは説明を省略する。
【００８８】
図１４Ａに示すフォーマットでは、位置情報を「基準情報」と「差分情報」とに分けて伝送する。そのフレームの基準となる位置情報（基準位置情報）をエンベデッドデータとして付加し、各水平ラインのパケットにはその基準位置情報との差分値（差分位置情報）をＲｅｓｅｒｖｅ領域に付加する。図１４Ａでは、前ダミー領域１２１３にエンベデッドデータが挿入されており、その中の一部に、そのフレームの基準となる基準位置情報１４０１が格納されている。そして、第Ｎライン目の有効画素領域１２１１のラインのパケットには、そのときの位置情報と基準位置情報１４０１との差分として、差分位置情報１４０２がＲｅｓｅｒｖｅ領域に格納される。こうすることで、各パケットのＲｅｓｅｒｖｅ領域に格納される差分位置情報１４０２のデータサイズを小さくすることが可能となる。
【００８９】
また、図１４Ｂに示すフォーマットでは、これまで画素データとエンベデッドデータを格納していたペイロードデータに位置情報を付加することを想定している。この実現のために、ここでは前述したヘッダ情報に備えているＤａｔａ  ＩＤ１４０３を使用する。Ｄａｔａ  ＩＤ１４０３はペイロードに格納されるデータが何のデータを示すか識別させるためのヘッダ情報である。図１４Ｂでは、ペイロードに格納されているデータが「画素データ」である場合には「Ｄａｔａ  ＩＤ＝０」を設定し、ペイロードに位置情報１４０４が格納されている場合には「Ｄａｔａ  ＩＤ＝１」を設定する。こうすることで、それぞれの水平ラインの画素データと位置情報とを伝送パケットにおいて識別しつつ送信することが可能となり、より多くのデータ量の位置情報を送ることが可能となる。
【００９０】
さらに図１４Ｃに示すフォーマットでは、それぞれの各水平ラインにおける位置情報を伝送するのではなく、既知である被写体水平ラインに対応した演算処理済みの位置情報を付加する。この場合、図１１に示す撮像防振回路部３０１及びカメラ制御回路部３０２は、図５または図８に示す構成を分割した構成となる。また、ここでいう演算処理とは、第３の実施形態で説明した平均化処理やフィルタ処理などのことであるが、第２の実施形態で説明した方法で取得した位置情報を、位置情報としても構わない。この際には水平ラインごとではなく、フレーム単位に情報を付加すればよいため、図１４Ｃでは、Ｄａｔａ  ＩＤ１４０５に１を設定し、フレーム位置情報１４０６をエンベデッドデータに付加することで実現する。
【００９１】
このように第６の実施形態によれば、被写体の露光期間に応じた防振機構の位置情報を抽出し、その情報を画像伝送データに付加して送ることで、煩雑な伝送経路や伝送処理を用いることなく被写体の正確な移動量の算出を実現することができる。
【００９２】
＜第６の実施形態＞
次に、本発明の第６の実施形態について、図１５及び図１６を参照して説明する。
【００９３】
図１５は、第６の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図１と同じ構成には同じ参照番号を付し、適宜説明を省略する。また、図１に示す構成の内、第６の実施形態における被写体動き検出処理に直接関係の無い構成については、記載を省略している。
【００９４】
レンズ防振制御部１１２は、位置フィードバック制御部２１３と制御目標値生成部２１４を備える。制御目標値生成部２１４は、交換レンズ振れ検出部１１３の出力に基づいて、位置フィードバック制御部２１３で位置フィードバック制御を行うための制御目標値を生成する。位置フィードバック制御部２１３は、制御目標値と、防振レンズ位置センサ１０６からの位置情報とに基づいて、防振レンズ群１０４の目標位置を求めて動作量を算出し、防振レンズアクチュエータ１０７を駆動制御する位置フィードバック制御を行う。このように、制御目標値生成部２１４によって生成された制御目標値によって、像振れを抑える防振機能や滑らかなパンニング動作を実現する。
【００９５】
レンズ防振位置抽出部２１５は、防振レンズ位置センサ１０６の出力から、ある特定のタイミングで位置情報を抽出するものであり、そのタイミングは、カメラ本体１２０側に備えられた露光タイミング制御部１５２のタイミング通知部２０１によって決定される。
【００９６】
レンズ防振位置抽出部２１５は、カメラ本体１２０側の防振位置抽出部２０６に、タイミング通知部２０１の出力に基づいて抽出された防振レンズ位置センサ１０６の出力を伝える。交換レンズ１００とカメラ本体１２０との間の通信は前述のとおり、レンズ通信制御部１１１とカメラ通信制御部１４２間で実施する。
【００９７】
図１６は、第６の実施形態におけるレンズ防振位置抽出部２１５による抽出タイミングを説明する図である。なお、図４と同様の信号等には同じ参照番号を付している。
【００９８】
本実施形態においてレンズ防振位置抽出部２１５が防振レンズ位置センサ１０６からの位置情報を抽出するタイミングは、図４を参照して説明した、防振位置抽出部２０４がカメラ防振位置センサ１３１からの位置情報を抽出するタイミングと同様である。例えば、最上部の水平読み出しライン４１１に対応して、時刻ｔ６１に位置情報を抽出する。同様に、水平読み出しライン４１２に対応して時刻ｔ６２に、最終行の水平読み出しライン４１９に対応して時刻ｔ６３に、といったように、レンズ防振位置抽出部２１５は順次位置情報を抽出する。これは第２、第３の露光期間である露光期間４０２ｂ、露光期間４０２ｃについても同様である。
【００９９】
タイミング通知部２０１がレンズ防振位置抽出部２１５に信号４０３により抽出タイミングを知らせ、レンズ防振位置抽出部２１５は、防振レンズ位置センサ１０６の出力から位置情報を抽出する。そして、レンズ防振位置抽出部２１５は、得られた位置情報をレンズ通信制御部１１１に伝え、レンズ通信制御部１１１は、通信タイミング４４１のタイミングで、フレーム毎にまとめてカメラ通信制御部１４２に送信する。
【０１００】
カメラ通信制御部１４２は、１フレーム分の防振レンズ位置センサ１０６からの位置情報を防振位置抽出部２０６に伝える。防振位置抽出部２０６では、交換レンズ１００から送られた１フレーム分の位置情報から、被写体位置検出部１６１により検出された被写体に対応する被写体ライン４０７に対応する被写体露光期間の位置情報４４０ａ〜４４０ｃを抽出する。そして、抽出した位置情報４４０ａ〜４４０ｃを被写体移動量検出部１６３に送る。
【０１０１】
被写体移動量検出部１６３は、動きベクトル検出部１６２及び防振位置抽出部２０６、カメラ振れ検出部１３４の各出力に基づいて被写体の移動量を検出する。
【０１０２】
上記の通り第６の実施形態によれば、正確な防振機構の補正量を得ることができるため、より正確な被写体の移動量を求めることが可能となる。
【０１０３】
また、本実施形態では撮像素子１５０の各水平読み出しラインにおいて抽出タイミングを決定する方法について説明したが、一定間隔おきの水平読み出しラインにおいて抽出するようにしても構わない。
【０１０４】
＜第７の実施形態＞
次に、本発明の第７の実施形態について、図１７から図１９を参照して説明する。
【０１０５】
図１７は、第７の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図１５と同じ構成には同じ参照番号を付し、適宜説明を省略する。図１７に示す構成と図１５に示す構成とは、カメラ本体１２０に防振位置抽出部２０６が無いところが異なる。
【０１０６】
次に、図１８を用いて、第７の実施形態における制御について説明する。第７の実施形態では、第２の実施形態で図６を参照して説明したタイミングで、防振レンズ位置センサ１０６からの位置情報を抽出する。タイミング通知部２０１は、カメラ防振位置センサ１３１からの位置情報を抽出するタイミングを示す信号６０３を出力し、この信号６０３は、カメラ通信制御部１４２からレンズ通信で、レンズ通信制御部１１１に送信される。
【０１０７】
レンズ防振位置抽出部２１５では、この信号６０３に基づいて、露光期間６０２ａでは時刻ｔ７１に、露光期間６０２ｂでは時刻ｔ７３に、そして、露光期間６０２ｃでは時刻ｔ７４に、防振レンズ位置センサ１０６からの位置情報を抽出する。レンズ防振位置抽出部２１５は、時刻ｔ７１で抽出した位置情報を時刻ｔ７２に、時刻ｔ７３で抽出した位置情報を時刻ｔ７４に、また、時刻ｔ７５で抽出した位置情報を時刻ｔ７６に、レンズ通信制御部１１１を介して、カメラ通信制御部１４２に送信する。
【０１０８】
図１９は、撮影画像７０５内に２つの被写体７０６、７０７が存在する場合の抽出タイミングを示しており、図７を参照して説明したタイミングで防振レンズ位置センサ１０６からの位置情報を抽出する。タイミング通知部２０１は、カメラ防振位置センサ１３１からの位置情報を抽出するタイミングを示す信号７０３を出力し、この信号７０３は、カメラ通信制御部１４２からレンズ通信で、レンズ通信制御部１１１に送信される。
【０１０９】
露光期間７０２ａでは、レンズ防振位置抽出部２１５は、この信号６０３に基づいて被写体７０７に対応する時刻ｔ７７で防振レンズ位置センサ１０６からの位置情報を抽出する。そして、抽出した位置情報を、時刻ｔ７８でレンズ通信制御部１１１を介して、カメラ通信制御部１４２に送信する。また、被写体７０６に対応する時刻ｔ７９で防振レンズ位置センサ１０６からの位置情報を抽出し、抽出した位置情報を、時刻ｔ８０でレンズ通信制御部１１１を介して、カメラ通信制御部１４２に送信する。露光期間７０２ｂ及び７０２ｃにおいても、同様の処理により位置情報の抽出と送信を行う。
【０１１０】
このようにして送信された防振レンズ位置センサ１０６からの位置情報は、被写体移動量検出部１６３に送られ、被写体の移動量検出に用いられる。
【０１１１】
上記の通り第７の実施形態によれば、正確な防振機構の補正量を得ることができるため、より正確な被写体の移動量を求めることが可能となる。
【０１１２】
＜第８の実施形態＞
次に、本発明の第８の実施形態について、図２０及び図２１を参照して説明する。
【０１１３】
図２０は、第８の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。図２０に示す構成では、図１８または図１９を参照して説明したタイミングで防振レンズ位置センサ１０６からの位置情報を抽出すると共に、撮像素子１５０を用いて防振を行い、図６または図７を参照して説明したタイミングでカメラ防振位置センサ１３１からの位置情報を抽出する。なお、図２０において、図５及び図１５と同じ構成には同じ参照番号を付して説明を省略する。また、図１に示す構成の内、第８の実施形態における被写体動き検出処理に直接関係の無い構成については、記載を省略している。
【０１１４】
次に、図２１を用いて、第８の実施形態における制御について説明する。ここでは、第７の実施形態の図１８と同様に、１つの被写体６０６が検出された場合について説明する。
【０１１５】
図２１に示すように、カメラ防振位置センサ１３１と防振レンズ位置センサ１０６は、同じタイミングで位置情報の抽出を行う。そして、図６に示す例と同様に、タイミング通知部２０１は、被写体露光期間６０８の中心に一致する時刻ｔ８１を抽出タイミングとして決定し、信号９０３を防振位置抽出部２０４に出力する。防振位置抽出部２０４は、信号９０３を受けて時刻ｔ８１でカメラ防振位置センサ１３１からの位置情報を抽出し、被写体移動量検出部１６３に抽出した位置情報を送信する。
【０１１６】
一方、タイミング通知部２０１は、時刻ｔ８１で位置情報の抽出を行わせる信号９０４を、カメラ通信制御部１４２からレンズ通信で、レンズ通信制御部１１１に送信する。レンズ防振位置抽出部２１５は、信号９０４を受けて時刻ｔ８１で防振レンズ位置センサ１０６からの位置情報の抽出し、レンズ通信制御部１１１に抽出した位置情報を渡す。レンズ通信制御部１１１は、時刻ｔ８２でレンズ通信を使って、カメラ通信制御部１４２に防振レンズ位置センサ１０６の情報を送信する。カメラ通信制御部１４２は受け取った情報を被写体移動量検出部１６３に送信する。上述した処理を、露光期間６０２ｂ、６０２ｃについても行う。
【０１１７】
被写体移動量検出部１６３では、画像から算出される動きベクトルを、動きベクトル検出部１６２から入手する。また、撮像装置の振れ量を、カメラ振れ検出部１３４から入手する。更に、防振機構の位置情報を、防振位置抽出部２０４とレンズ防振位置抽出部２１５から入手する。これらの情報から、正確な被写体の位置情報を求めることができる。
【０１１８】
上記の通り第８の実施形態によれば、交換レンズ型の撮像装置において、被写体の露光期間に応じた防振機構の位置情報を抽出することで、その露光に対応した正確な防振機構補正量を求めることができる。その結果、被写体の正確な移動量を求めることが可能となる。
【０１１９】
なお、図４及び図７に示すタイミングで、位置情報を抽出するように制御しても良い。
【０１２０】
＜第９の実施形態＞
次に、本発明の第９の実施形態について、図２２及び図２３を参照して説明する。
【０１２１】
図２２は、第９の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図１及び図３と同じ構成には同じ参照番号を付し、説明を省略する。また、図１に示す構成の内、第９の実施形態における被写体動き検出処理に直接関係の無い構成については、記載を省略している。
【０１２２】
撮像制御回路部２２０１は、撮像素子１５０、カメラ防振制御部１３５、動きベクトル検出部１６２、被写体移動量検出部１６３などを備えた回路ブロックであり、同一の基板上あるいは半導体素子内に形成される。カメラ制御回路部２２０２は、カメラ制御部１６０、カメラ振れ検出部１３４などを備えた回路ブロックであり、撮像制御回路部２２０１とは異なる基板上あるいは半導体素子内に形成される。
【０１２３】
撮像制御部２２１１は、撮像素子１５０や露光タイミング制御部１５２、画像信号処理部１５１などを制御する処理ブロックであり、露光時間などの撮影条件や撮像素子１５０の画素読み出しアルゴリズムの設定などを行う。
【０１２４】
通信制御部２２０６及び通信制御部２２０７は、撮像制御情報をカメラ制御部１６０から撮像制御部２２１１へ受け渡すための通信ブロックである。また、通信制御部２２０６及び通信制御部２２０７は、カメラ振れ検出部１３４が出力したカメラ振れ量をカメラ制御部１６０からカメラ防振制御部１３５及び振れ量抽出部２２０５へ受け渡すためにも用いられる。例えば、撮像制御情報とカメラ振れ量をそれぞれ別々の通信手段を介して受け渡しを行った場合、それぞれにおいて通信回路及び配線が必要となる。このため、基板上の配線スペースやコネクタのピン数などが増加し、部品コストの増加及び撮像装置の小型化の妨げとなるという課題がある。本実施形態では、撮像制御情報とカメラ振れ量を同一の通信手段を介して受け渡しを行うことによって、回路規模及び部品コストの増加を抑えることができる。
【０１２５】
振れ量抽出部２２０５は、カメラ振れ検出部１３４が出力したカメラ振れ量の出力をある特定のタイミングで値を抽出するものであり、そのタイミングは露光タイミング制御部１５２に備えられたタイミング通知部２０１の出力によって決定される。
【０１２６】
次に、図２３を用いて、本実施形態を適用した場合の、カメラ振れ検出部１３４から出力されるカメラ振れ量と、振れ量抽出部２２０５による抽出タイミングについて説明する。なお、図４と同様の信号等には同じ参照番号を付している。
【０１２７】
カメラ振れ検出部１３４は、検出したカメラ振れ量を所定の間隔でカメラ制御部１６０へ送信する。図２３に示す例では、通信タイミング４４１、４４２、…、４４９の順に、カメラ振れ量をカメラ振れ検出部１３４からカメラ制御部１６０へ送信する。
【０１２８】
カメラ制御部１６０は受信したカメラ振れ量を振れ量抽出部２２０５へ逐次送信する。図２３に示す例では、通信タイミング４３１において、通信タイミング４４１で受信したカメラ振れ量をカメラ制御部１６０から振れ量抽出部２２０５へ送信する。同様にして、通信タイミング４４２で受信したカメラ振れ量を通信タイミング４３２で、通信タイミング４４９で受信したカメラ振れ量を通信タイミング４３９で、カメラ制御部１６０から振れ量抽出部２２０５へ送信する。
【０１２９】
振れ量抽出部２２０５は、受信したカメラ振れ量の中から、タイミング通知部２０１の出力に基づいてカメラ振れ量を抽出する。第９の実施形態では、図４を参照して説明したように、撮像素子１５０の各水平読み出しラインの露光期間の重心となる中心時刻に抽出タイミングを設定している。例えば、最上部の水平読み出しライン４１１の場合には、その露光期間の中心時刻は時刻ｔ９１であり、タイミング通知部２０１が時刻ｔ９１を振れ量抽出部２２０５に通知する。そして、振れ量抽出部２２０５は時刻ｔ９１に対応するカメラ振れ量として、通信タイミング４３１で受信したカメラ振れ量を抽出する。
【０１３０】
同様にして、振れ量抽出部２２０５は、水平読み出しライン４１２においては時刻ｔ９２に対応するカメラ振れ量として、通信タイミング４３２で受信したカメラ振れ量を抽出する。さらに、振れ量抽出部２２０５は、水平読み出しライン４１９においては時刻ｔ９３に対応するカメラ振れ量として、通信タイミング４３９で受信したカメラ振れ量を抽出する。この抽出処理は、第２、第３の露光期間である露光期間４０２ｂ、露光期間４０２ｃについても同様である。
【０１３１】
また、防振位置抽出部２０４においても、タイミング通知部２０１からの信号に基づいて、振れ量抽出部２２０５と同じタイミングでカメラ防振位置センサ１３１から出力される位置情報を抽出して、被写体移動量検出部１６３に送る。
【０１３２】
上記の通り第９の実施形態によれば、各水平読み出しラインに対応したカメラ振れ量を各水平読み出しラインごとに求めることができ、これにより被写体の移動量の検出精度を高めることが可能となる。
【０１３３】
なお、防振位置抽出部２０４及び振れ量抽出部２２０５において、図６または図７に示すタイミングで、位置情報及びカメラ振れ量を抽出するように制御しても良い。
【０１３４】
＜第１０の実施形態＞
次に、本発明の第１０の実施形態について、図２４を参照して説明する。なお、本実施形態における撮像装置の構成は、図１及び図２２に示すものと同様であるため、説明を省略する。
【０１３５】
図２４は、第１０の実施形態における、振れ量抽出部２２０５による抽出タイミングを説明する。なお、上述した図２３に示すタイミングと同様のタイミングには、同じ参照番号を付している。
【０１３６】
カメラ振れ検出部１３４は、検出したカメラ振れ量を所定の間隔でカメラ制御部１６０へ送信する。図２４に示す例では、通信タイミング５４１、通信タイミング５４２、通信タイミング５４３…通信タイミング５４９の順に、カメラ振れ検出部１３４からカメラ制御部１６０へ送信する。
【０１３７】
カメラ制御部１６０は、各種データを一時的に記憶するためのＲＡＭ等のメモリ（不図示）を備え、受信したカメラ振れ量をメモリに記憶する。そして、カメラ制御部１６０は、所定の期間にわたって記憶したカメラ振れ量を、振れ量抽出部２２０５へ一括して送信する。図２４では、カメラ制御部１６０が通信タイミング５４１〜５４３において受信したカメラ振れ量を、通信タイミング５３３においてカメラ制御部１６０から振れ量抽出部２２０５へ一括して送信する。同様にして、通信タイミング５３６〜５３９の順に、カメラ制御部１６０から振れ量抽出部２２０５へ所定の期間にわたるカメラ振れ量を、一括して送信する。
【０１３８】
振れ量抽出部２２０５では、一括して受信したカメラ振れ量の中からタイミング通知部２０１の出力に基づいてカメラ振れ量を抽出する。第１０の実施形態においても、第９の実施形態と同様に、撮像素子１５０の各水平読み出しラインの露光期間の重心となる中心時刻に抽出タイミングを設定している。例えば、最上部の水平読み出しライン４１１の場合には、その露光期間の中心時刻は時刻ｔ１０１であり、タイミング通知部２０１が時刻ｔ１０１を振れ量抽出部２２０５に通知する。
【０１３９】
同様にして、水平読み出しライン５１２に対応した時刻ｔ１０２、水平読み出しライン４１３に対応した時刻ｔ１０３を、タイミング通知部２０１が振れ量抽出部２２０５に通知する。振れ量抽出部２２０５は通信タイミング５３３において一括して受信したカメラ振れ量の中から時刻ｔ１０１、時刻ｔ１０２、時刻ｔ１０３、時刻ｔ１０４に対応するカメラ振れ量を抽出する。同様にして、振れ量抽出部２２０５は通信タイミング５３６〜５３９において一括して受信したカメラ振れ量の中から、各水平読み出しラインの露光期間に対応するカメラ振れ量を抽出する。この抽出処理は第２、第３の露光期間である露光期間４０２ｂ、露光期間４０２ｃについても同様である。
【０１４０】
また、防振位置抽出部２０４においても、タイミング通知部２０１からの信号に基づいて、振れ量抽出部２２０５と同じタイミングでカメラ防振位置センサ１３１から出力される位置情報を抽出して、被写体移動量検出部１６３に送る。
【０１４１】
撮像制御情報及びカメラ振れ量の通信は、通信制御部２２０６及び通信制御部２２０７を介して行われるため、撮像制御信号とカメラ振れ量の通信タイミングが重ならないように制御する必要がある。本実施形態によれば、カメラ振れ量を一括して通信することによって、撮像制御信号とカメラ振れ量の通信タイミング制御が容易となる。
【０１４２】
なお、防振位置抽出部２０４及び振れ量抽出部２２０５において、図６または図７に示すタイミングで、位置情報及びカメラ振れ量を抽出するように制御しても良い。
【０１４３】
また、本実施形態では、所定の期間にわたるカメラ振れ量を一括して送信する構成としたが、１フレームに相当するカメラ振れ量を一括して送信する構成としてもよい。また、１フレームの露光期間に相応するカメラ振れ量を一括して送信する構成としてもよい。例えば、本体防振制御ＯＦＦ時は、カメラ防振制御部１３５へカメラ振れ量を送信しなくてもよい。このようにすることで、カメラ制御部１６０から振れ量抽出部２２０５へのカメラ振れ量の送信頻度を下げることができる。なお、図２４では、１フレームの露光期間に対応するカメラ振れ量は、通信タイミング５４１から通信タイミング５４９までの期間に検出されるカメラ振れ量に相当する。
【０１４４】
また、本実施形態では、所定の期間にわたるカメラ振れ量を一括して送信する構成としたが、被写体移動量に基づいて所定の期間の設定を変更する構成としてもよい。例えば、被写体移動量検出部１６３の検出結果に基づいて、被写体移動量が大きい場合はカメラ振れ量の増加に備えて所定の期間を短く設定する。一方で、被写体移動量が小さい場合はカメラ振れ量の減少に備えて所定の期間を長く設定する構成としてもよい。
【０１４５】
上記の通り第１０の実施形態によれば、被写体の露光期間に対応したカメラ振れ量を抽出することができ、これにより被写体の移動量の検出精度を高めることが可能となる。また、回路規模及び部品コストの増加を抑えた構成でカメラ振れ量を被写体移動量検出部に受け渡すことが可能となる。
【０１４６】
なお、防振位置抽出部２０４及び振れ量抽出部２２０５において、図６または図７に示すタイミングで、位置情報及びカメラ振れ量を抽出するように制御しても良い。
【０１４７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【０１４８】
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４９】
１００：交換レンズ、１０４：防振レンズ群、１０６：防振レンズ位置センサ、１０７：防振レンズアクチュエータ、１１１：レンズ通信制御部、１１２：レンズ防振制御部、１１３：交換レンズ振れ検出部、１２０：カメラ本体、１３１：カメラ防振位置センサ、１３２：カメラ防振アクチュエータ、１３４：カメラ振れ検出部、１３５：カメラ防振制御部、１４２：カメラ通信制御部、１５０：撮像素子、１５１：画像信号処理部、１５２：露光タイミング制御部、１６１：被写体位置検出部、１６２：動きベクトル検出部、１６３：被写体移動量検出部、２０１：タイミング通知部、２０４：防振位置抽出部、２０５：防振位置演算処理部、２０６：防振位置抽出部、２１１：位置フィードバック制御部、２１２：制御目標値生成部、２１３：位置フィードバック制御部、２１４：制御目標値生成部、２１５：レンズ防振位置抽出部、３０１：撮像防振回路部、３０２：カメラ制御回路部、３１２：撮像制御信号受信部、３１３：撮像制御信号送信部、２２０１：撮像制御回路部、２２０２：カメラ制御回路部、２２０５：振れ量検出部、２２０６：通信制御部、２２０７：通信制御部
【図１】
2020056953.tif 000003
【図２】
2020056953.tif 000004
【図３】
2020056953.tif 000005
【図４】
2020056953.tif 000006
【図５】
2020056953.tif 000007
【図６】
2020056953.tif 000008
【図７】
2020056953.tif 000009
【図８】
2020056953.tif 000010
【図９】
2020056953.tif 000011
【図１０】
2020056953.tif 000012
【図１１】
2020056953.tif 000013
【図１２】
2020056953.tif 000014
【図１３Ａ】
2020056953.tif 000015
【図１３Ｂ】
2020056953.tif 000016
【図１４Ａ】
2020056953.tif 000017
【図１４Ｂ】
2020056953.tif 000018
【図１４Ｃ】
2020056953.tif 000019
【図１５】
2020056953.tif 000020
【図１６】
2020056953.tif 000021
【図１７】
2020056953.tif 000022
【図１８】
2020056953.tif 000023
【図１９】
2020056953.tif 000024
【図２０】
2020056953.tif 000025
【図２１】
2020056953.tif 000026
【図２２】
2020056953.tif 000027
【図２３】
2020056953.tif 000028
【図２４】
2020056953.tif 000029
【図２５】
2020056953.tif 000030