【手続補正書】
【提出日】令和3年9月30日(2021.9.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
振れを検出する振れ検出手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第１の防振手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第２の防振手段と、
前記第１の防振手段の位置を検出して出力する第１の検出手段と、
前記第２の防振手段の位置を検出して出力する第２の検出手段と、
画像を撮影する撮像素子を露光するタイミングに基づいて、前記第１の防振手段の位置を抽出する抽出タイミングを決定する決定手段と、
前記第１の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第１の防振手段の位置を抽出する第１の抽出手段と、
前記第２の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第２の防振手段の位置を抽出する第２の抽出手段と、
を有することを特徴とする防振装置。
【請求項２】
前記撮像素子には、複数の画素が行列状に配置され、
前記決定手段は、前記撮像素子の各行の露光時間の中心時刻を、前記抽出タイミングとして決定することを特徴とする請求項１に記載の防振装置。
【請求項３】
前記撮像素子には、複数の画素が行列状に配置され、
前記決定手段は、前記撮像素子の各行の内、一定間隔おきの行の露光時間の中心時刻を、前記抽出タイミングとして決定することを特徴とする請求項１に記載の防振装置。
【請求項４】
前記撮像素子により撮影された画像から、被写体の位置を検出する被写体位置検出手段を更に有し、
前記撮像素子には、複数の画素が行列状に配置され、
前記決定手段は、前記被写体位置検出手段により検出された各被写体について、該被写体を含む行の露光時間の中心時刻を、それぞれ前記抽出タイミングとして決定することを特徴とする請求項１に記載の防振装置。
【請求項５】
前記検出手段から出力された前記第１の防振手段の位置の時系列の情報に対して、平滑化処理を行う平滑化手段を更に有し、
前記第１の抽出手段は、前記平滑化処理された前記第１の防振手段の位置の時系列の情報から、前記決定手段により決定された抽出タイミングにおける前記第１の防振手段の位置を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の防振装置。
【請求項６】
前記第１の防振手段は、撮像素子であることを特徴とする請求項１乃至５のいずれか１項に記載の防振装置。
【請求項７】
前記第２の防振手段は、防振レンズであることを特徴とする請求項１乃至６のいずれか１項に記載の防振装置。
【請求項８】
前記振れ検出手段は、第１の振れ検出部と第２の振れ検出部とを有し、
前記第１の防振手段は、前記第１の振れ検出部により検出した振れに基づいて位置を動かすことにより前記振れを補正し、
前記第２の防振手段は、前記第２の振れ検出部により検出した振れに基づいて位置を動かすことにより前記振れを補正する
ことを特徴とする請求項１乃至７のいずれか１項に記載の防振装置。
【請求項９】
前記防振装置は、撮像装置本体と、交換レンズとからなる撮像システムに搭載され、
前記交換レンズは、前記第２の防振手段と、前記第２の検出手段と、前記第２の抽出手段と、を含み、前記撮像装置本体は、前記撮像素子および前記決定手段を含み、
前記決定手段により決定された抽出タイミングを、前記交換レンズに送信するとともに、前記第２の抽出手段により抽出された前記第２の防振手段の位置を、前記撮像装置本体に送信する通信手段を更に有する
ことを特徴とする請求項１乃至８のいずれか１項に記載の防振装置。
【請求項１０】
撮像装置本体と、交換レンズとからなる撮像システムに搭載され、
前記交換レンズは、
振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第１の防振手段と、
前記第１の防振手段の位置を検出して出力する第１の検出手段と、
前記第１の検出手段の出力から、抽出タイミングにおける前記第１の防振手段の位置を抽出する第１の抽出手段と、を含み、
前記撮像装置本体は、画像を撮影する撮像素子と、前記撮像素子を露光するタイミングに基づいて、前記第１の防振手段の位置を抽出する前記抽出タイミングを決定する決定手段を含み、
前記決定手段により決定された前記抽出タイミングを、前記交換レンズに送信するとともに、前記第１の抽出手段により抽出された前記第１の防振手段の位置を、前記撮像装置本体に送信する通信手段を更に有する
ことを特徴とする防振装置。
【請求項１１】
前記決定手段により決定された抽出タイミングにおける、前記振れ検出手段の出力を抽出する第３の抽出手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の防振装置。
【請求項１２】
前記振れ検出手段は、前記決定手段および前記第３の抽出手段と異なる基板上に形成され、
前記振れ検出手段により検出された振れの情報を、前記第３の抽出手段に送信する第２の通信手段を更に有することを特徴とする請求項１１に記載の防振装置。
【請求項１３】
前記第２の通信手段は、前記振れの情報を、逐次、前記第３の抽出手段に送信することを特徴とする請求項１２に記載の防振装置。
【請求項１４】
前記第２の通信手段は、予め決められた期間ごとに得られる前記振れの情報を、一括して前記第３の抽出手段に送信することを特徴とする請求項１２に記載の防振装置。
【請求項１５】
前記防振装置が、前記撮像素子と同じ基板に形成されていることを特徴とする請求項１乃至６のいずれか１項に記載の防振装置。
【請求項１６】
複数の画素が行列状に配置された前記撮像素子により撮影された画像の画素データと、前記第１の抽出手段により抽出した前記第１の防振手段の位置の情報とを含む、ペイロードとヘッダとを有するパケットを生成する生成手段と、
前記生成手段により生成されたパケットを送信する送信手段と
を有することを特徴とする請求項１乃至１５のいずれか１項に記載の防振装置。
【請求項１７】
前記生成手段は、各パケットの前記ペイロードに前記撮像素子の各行の画素データを挿入すると共に、当該行の露光時間に前記第１の抽出手段により抽出された前記第１の防振手段の位置の情報を、同じパケットのヘッダに挿入することを特徴とする請求項１６に記載の防振装置。
【請求項１８】
前記生成手段は、前記第１の検出手段の出力に基づいて、各フレームにおける前記第１の防振手段の基準位置と、該基準位置と前記第１の防振手段の位置との差分を求め、各パケットの前記ペイロードに前記撮像素子の各行の画素データまたは前記基準位置の情報を挿入すると共に、前記差分の情報を、前記第１の防振手段の位置を抽出した抽出タイミングに対応する行のヘッダに挿入することを特徴とする請求項１６に記載の防振装置。
【請求項１９】
前記生成手段は、各パケットの前記ペイロードに前記撮像素子の各行の画素データまたは前記第１の防振手段の位置の情報を挿入すると共に、前記ペイロードに前記撮像素子の各行の画素データと前記第１の防振手段の位置の情報のいずれが挿入されているかを示す情報を、各パケットのヘッダに挿入することを特徴とする請求項１６に記載の防振装置。
【請求項２０】
前記撮像素子は、画素データを出力しないダミー領域を含み、
前記生成手段は、前記ダミー領域に対応するパケットのペイロードに、前記第１の防振手段の位置の情報を挿入すると共に、当該パケットのヘッダに、前記第１の防振手段の位置の情報を挿入したことを示す情報を挿入することを特徴とする請求項１６に記載の防振装置。
【請求項２１】
撮像素子により撮影された画像に基づいて、被写体の動きを示す動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトルと、請求項１乃至２０のいずれか１項に記載の防振装置から情報を取得する取得手段と、
前記取得手段により取得した前記動きベクトルと前記情報とに基づいて、前記被写体の移動量を検出する移動量検出手段と、を有し、
前記情報は、前記振れ検出手段により検出された振れの振れ量と、前記第１の抽出手段により抽出された前記第１の防振手段の位置を含むことを特徴とする画像処理装置。
【請求項２２】
振れを検出する振れ検出工程と、
防振制御手段が、前記振れ検出工程で検出した振れに基づいて第１の防振手段の位置を動かすことにより、前記振れを補正する第１の防振工程と、
防振制御手段が、前記振れ検出工程で検出した振れに基づいて第２の防振手段の位置を動かすことにより、前記振れを補正する第２の防振工程と、
前記第１の防振手段の位置を検出して出力する第１の検出工程と、
前記第２の防振手段の位置を検出して出力する第２の検出工程と、
画像を撮影する撮像素子を露光するタイミングに基づいて、前記第１の防振手段の位置を抽出する抽出タイミングを決定する決定工程と、
前記第１の検出工程による出力から、前記決定工程で決定された抽出タイミングにおける前記第１の防振手段の位置を抽出する第１の抽出工程と、
前記第２の検出工程による出力から、前記決定工程で決定された抽出タイミングにおける前記第２の防振手段の位置を抽出する第２の抽出工程と、
を有することを特徴とする前記第１の防振手段および前記第２の防振手段の位置の検出方法。
【請求項２３】
撮像装置本体と、交換レンズとからなる撮像システムにおける防振手段の位置の検出方法であって、
振れを検出する振れ検出工程と、
前記交換レンズの防振制御手段が、前記振れ検出工程で検出した振れに基づいて防振手段の位置を動かすことにより、前記振れを補正する防振工程と、
前記交換レンズが、前記防振手段の位置を検出して出力する検出工程と、
前記撮像装置本体が、画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定工程と、
前記撮像装置本体が、前記決定工程において決定された前記抽出タイミングを、前記交換レンズへ送信する送信工程と、
前記交換レンズが、前記検出工程による出力から、前記決定工程で決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出工程と、
前記交換レンズが、前記抽出工程により抽出された前記防振手段の位置を、前記撮像装置本体に送信する送信工程と、
を有することを特徴とする防振手段の位置の検出方法。
【請求項２４】
振れを検出する振れ検出手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第１の防振手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第２の防振手段と、
前記第１の防振手段の位置を検出して出力する第１の検出手段と、
前記第２の防振手段の位置を検出して出力する第２の検出手段と、
を有する防振装置において、
画像を撮影する撮像素子を露光するタイミングに基づいて、前記第１の防振手段の位置を抽出する抽出タイミングを決定する決定手段と、
前記第１の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第１の防振手段の位置を抽出する第１の抽出手段と、
前記第２の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第２の防振手段の位置を抽出する第２の抽出手段と
としてコンピュータを機能させるためのプログラム。
【請求項２５】
撮像装置本体と、交換レンズとを有する撮像システムに搭載され、
振れを検出する振れ検出手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する防振手段と、
前記防振手段の位置を検出して出力する検出手段と、を有する防振装置において、
前記撮像装置本体を、画像を撮影する撮像素子を露光するタイミングに基づいて、前記防振手段の位置を抽出する抽出タイミングを決定する決定手段と、前記決定手段において決定された前記抽出タイミングを、前記交換レンズへ送信する第１の通信手段として機能させ、
前記交換レンズを、前記検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記防振手段の位置を抽出する抽出手段と、前記抽出手段により抽出された前記防振手段の位置を、前記撮像装置本体に送信する第２の通信手段として機能させる
ためのプログラム。
【請求項２６】
請求項２４または２５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
上記目的を達成するために、本発明の防振装置は、振れを検出する振れ検出手段と、
前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第１の防振手段と、前記振れ検出手段により検出した振れに基づいて位置を動かすことにより、前記振れを補正する第２の防振手段と、前記第１の防振手段の位置を検出して出力する第１の検出手段と、前記第２の防振手段の位置を検出して出力する第２の検出手段と、画像を撮影する撮像素子を露光するタイミングに基づいて、前記第１の防振手段の位置を抽出する抽出タイミングを決定する決定手段と、前記第１の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第１の防振手段の位置を抽出する第１の抽出手段と、前記第２の検出手段の出力から、前記決定手段により決定された抽出タイミングにおける前記第２の防振手段の位置を抽出する第２の抽出手段と、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
【図１】本発明の実施形態に係る撮像装置の全体構成の一例を示すブロック図。
【図２】実施形態に係る撮像装置の撮影フローを示すフローチャート。
【図３】第１の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図４】第１の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図５】第２の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図６】第２の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図７】第２の実施形態に係る複数の被写体があるときの防振機構の位置情報を抽出するタイミングを説明する図。
【図８】第３の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図９】第３の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図１０】被写体動き検出処理に係る他の構成を示すブロック図。
【図１１】第４の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図１２】第４の実施形態における伝送パケットの構成例を説明する図。
【図１３Ａ】第４の実施形態における伝送パケットの構成を説明する図。
【図１３Ｂ】第４の実施形態における伝送パケットの構成を説明する図。
【図１４Ａ】第５の実施形態における伝送パケットの構成例を説明する図。
【図１４Ｂ】第５の実施形態における伝送パケットの構成例を説明する図。
【図１４Ｃ】第５の実施形態における伝送パケットの構成例を説明する図。
【図１５】第６の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図１６】第６の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図１７】第７の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図１８】第７の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図１９】第７の実施形態に係る複数の被写体があるときの防振機構の位置情報を抽出するタイミングを説明する図。
【図２０】第８の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図２１】第８の実施形態に係る防振機構の位置情報を抽出するタイミングを説明する図。
【図２２】第９及び第１０の実施形態における被写体動き検出処理に係る詳細構成を示すブロック図。
【図２３】第９の実施形態に係るカメラ振れ検出部のカメラ振れ量を抽出するタイミングを説明する図。
【図２４】第１０の実施形態に係るカメラ振れ検出部のカメラ振れ量を抽出するタイミングを説明する図。
【図２５】動きベクトルと撮像装置及び被写体の関係を説明する図。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
第２の実施形態では、図６に示す通り、撮影画像６０５内に被写体６０６が存在し、そのときの被写体６０６の位置は被写体位置検出部１６１によって検出されているものとする。被写体６０６の位置が求まっている場合、それに対応した撮像素子１５０の水平読み出しラインの範囲である被写体ライン６０７も同様に求めることが可能となる。さらに、その被写体ライン６０７に対応した露光期間についても、撮影条件などから被写体露光期間６０８として求めることができる。この被写体ライン６０７の中心かつその露光時間の中心に一致する時刻ｔ２１が、その被写体露光期間６０８の中心時刻となる。従って、時刻ｔ２１にカメラ防振位置センサ１３１からの位置情報を抽出することで、被写体６０６に対応した防振補正量を算出することが可能となる。第２、第３の露光期間である露光期間６０２ｂ、露光期間６０２ｃについても同様に、それぞれ時刻ｔ２２、ｔ２３にカメラ防振位置センサ１３１からの位置情報を抽出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
一方、位置フィードバック制御部２１１はフィードバック制御を行っているため、たとえ衝撃が加わって一瞬位置がずれたとしても撮像素子１５０はすぐに所望の位置に戻る。そのため、被写体露光期間６０８に対して、衝撃による撮像素子１５０の位置ずれの時間は一瞬であり、それによる露光画像９０５への影響はほとんど生じない。本発明において必要な情報は、露光された撮影画像に対しての防振補正量であるため、抽出タイミングｔ２１にて抽出したい情報は衝撃が加わったときの位置情報の位置データ９２３ではなく、その衝撃前後の露光期間の位置情報である。本実施形態のように、前述のようなＬＰＦ演算処理を施すことで、所望の位置情報を取得することが可能となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
図１２の左側及び下側の帯は、ヘッダ情報の内容を示している。図１３Ａ（ａ）は、図１２の上側に示すパケットのフォーマットと、図１２の下側に示すヘッダ情報の詳細と、Ｒｅｓｅｒｖｅの内容をまとめて示した図である。図１３Ａ（ｂ）は、ヘッダ情報の内容とその情報量の例を示す。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
Ｌｉｎｅ  Ｖａｌｉｄは、ペイロードに格納されている画素データのラインが有効画素のラインであるか否かを表す１ビットの情報である。有効画素領域１２１１内のラインの画素データの転送に用いられるパケットのヘッダのＬｉｎｅ  Ｖａｌｉｄには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのＬｉｎｅ  Ｖａｌｉｄには０の値が設定される。Ｌｉｎｅ  Ｎｕｍｂｅｒは、ペイロードに格納されている画素データにより構成されるラインのライン番号を表す１３ビットの情報である。Ｅｍｂｅｄｄｅｄ  Ｌｉｎｅは、エンベデッドデータが挿入されているラインの伝送に用いられるパケットであるか否かを表す１ビットの情報である。例えば、エンベデッドデータを含むラインの伝送に用いられるパケットのヘッダのＥｍｂｅｄｄｅｄ  Ｌｉｎｅには１の値が設定され、他のラインの伝送に用いられるパケットのヘッダのＥｍｂｅｄｄｅｄ  Ｌｉｎｅには０の値が設定される。前述したようにエンベデッドデータは前ダミー領域１２１３や後ダミー領域１２１４の所定のラインに挿入される。これら、Ｌｉｎｅ  Ｖａｌｉｄ、Ｌｉｎｅ  Ｎｕｍｂｅｒ及びＥｍｂｅｄｄｅｄ  Ｌｉｎｅが、ラインに関する情報である「ライン情報」となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
このように第５の実施形態によれば、被写体の露光期間に応じた防振機構の位置情報を抽出し、その情報を画像伝送データに付加して送ることで、煩雑な伝送経路や伝送処理を用いることなく被写体の正確な移動量の算出を実現することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
レンズ防振位置抽出部２１５は、カメラ本体１２０側の防振位置抽出部２０４に、タイミング通知部２０１の出力に基づいて抽出された防振レンズ位置センサ１０６の出力を伝える。交換レンズ１００とカメラ本体１２０との間の通信は前述のとおり、レンズ通信制御部１１１とカメラ通信制御部１４２間で実施する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
カメラ通信制御部１４２は、１フレーム分の防振レンズ位置センサ１０６からの位置情報を防振位置抽出部２０４に伝える。防振位置抽出部２０４では、交換レンズ１００から送られた１フレーム分の位置情報から、被写体位置検出部１６１により検出された被写体に対応する被写体ライン４０７に対応する被写体露光期間の位置情報４４０ａ〜４４０ｃを抽出する。そして、抽出した位置情報４４０ａ〜４４０ｃを被写体移動量検出部１６３に送る。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
被写体移動量検出部１６３は、動きベクトル検出部１６２及び防振位置抽出部２０４、カメラ振れ検出部１３４の各出力に基づいて被写体の移動量を検出する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
図１７は、第７の実施形態における被写体動き検出処理を説明するための、より詳細な構成を記載したブロック図である。なお、図１５と同じ構成には同じ参照番号を付し、適宜説明を省略する。図１７に示す構成と図１５に示す構成とは、カメラ本体１２０に防振位置抽出部２０４が無いところが異なる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
同様にして、水平読み出しライン４１２に対応した時刻ｔ１０２、水平読み出しライン４１３に対応した時刻ｔ１０３を、タイミング通知部２０１が振れ量抽出部２２０５に通知する。振れ量抽出部２２０５は通信タイミング５３３において一括して受信したカメラ振れ量の中から時刻ｔ１０１、時刻ｔ１０２、時刻ｔ１０３、時刻ｔ１０４に対応するカメラ振れ量を抽出する。同様にして、振れ量抽出部２２０５は通信タイミング５３６〜５３９において一括して受信したカメラ振れ量の中から、各水平読み出しラインの露光期間に対応するカメラ振れ量を抽出する。この抽出処理は第２、第３の露光期間である露光期間４０２ｂ、露光期間４０２ｃについても同様である。
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2020056953.tif 000001
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2020056953.tif 000002
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図１３Ａ
【補正方法】変更
【補正の内容】
【図１３Ａ】
2020056953.tif 000003
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2020056953.tif 000004
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2020056953.tif 000005
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2020056953.tif 000006
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図２１
【補正方法】変更
【補正の内容】
【図２１】
2020056953.tif 000007