(57)【特許請求の範囲】
【請求項１】
撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知手段と、
前記検知した情報に基づいて駆動される、前記画像信号を得るための予め決められた構成部材の位置を示す位置信号を検出する検出手段と、
前記位置信号と前記検知信号とを合成した合成信号に基づいて、前記構成部材を制御するための制御信号を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記合成信号を、新しい方から複数周期分、記憶する記憶手段と、
前記記憶手段に記憶された合成信号に基づいて、次の周期で得られる合成信号を予測する予測手段と、を更に有し、
前記生成手段は、前記検知手段により前記予め決められた情報が検知できた場合に、最も新しい合成信号に基づいて前記制御信号を生成し、前記予め決められた情報が検知できなかった場合に、前記予測手段により予測された合成信号に基づいて、前記制御信号を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記予測手段は、
前記記憶手段に記憶された前記複数周期分の合成信号のうち、前記最も新しい合成信号を除く、新しい方から予め決められた数の合成信号と、予め保持された係数に基づいて、第１の予測値を取得する第１の取得手段と、
前記第１の予測値と、前記最も新しい合成信号との差に基づいて、係数を演算する演算手段と、
前記第１の取得手段で用いた前記係数を、前記演算手段により演算した前記係数により更新する更新手段と、
前記記憶手段に記憶された前記複数周期分の合成信号のうち、前記最も新しい合成信号を含む、新しい方から前記予め決められた数の合成信号と、前記係数とに基づいて、第２の予測値を取得し、該第２の予測値を前記次の周期で得られると予測される合成信号として出力する第２の取得手段と
を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記予測手段は、前記記憶手段に記憶された前記複数周期分の合成信号に基づいて、線形予測により、前記次の周期で得られる合成信号を予測することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記検知手段は、前記予め決められた情報として振れ量を検知し、前記構成部材は振れ補正手段を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記検知手段は、前記予め決められた情報として焦点状態を検知し、前記構成部材は焦点調節手段を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２の取得手段により得られた第２の予測値に上限または下限を設けたことを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記予測値の上限または下限は、前記撮像素子の露光時間に応じて設定されることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記撮像素子と、
請求項１乃至８のいずれか１項に記載の前記画像処理装置と
を有することを特徴とする撮像装置。
【請求項１０】
検知手段が、撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知工程と、
検出手段が、前記検知した情報に基づいて駆動される、前記画像信号を得るための予め決められた構成部材の位置を示す位置信号を検出する検出工程と、
生成手段が、前記位置信号と前記検知信号とを合成した合成信号に基づいて、前記構成部材を制御するための制御信号を生成する生成工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項１１】
記憶手段に、前記合成信号を、新しい方から複数周期分、記憶する記憶工程と、
予測手段が、前記記憶手段に記憶された合成信号に基づいて、次の周期で得られる合成信号を予測する予測工程と、を更に有し、
前記生成工程では、前記検知工程で前記予め決められた情報が検知できた場合に、最も新しい合成信号に基づいて前記制御信号を生成し、前記予め決められた情報が検知できなかった場合に、前記予測工程で予測された合成信号に基づいて、前記制御信号を生成することを特徴とする請求項１０に記載の画像処理装置の制御方法。
【請求項１２】
コンピュータに、請求項１０または１１に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びその制御方法、撮像装置に関し、更に詳しくは、撮像装置に設けられた撮像素子から得た信号に基づいて制御を行う画像処理装置及びその制御方法、撮像装置に関する。
【背景技術】
【０００２】
近年、撮像素子の高機能化が進展しており、画素数、フレームレートの向上などが図られている。また、撮像素子から得られる信号を利用して複数の画像間で対象物の動きを示すベクトルデータ（オプティカルフロー）を求める方法が知られている。更に、オプティカルフローに基づいて複数画像の合成や、移動物体の検知を行う技術が知られている。なお、オプティカルフローの求め方としては、非特許文献１に開示された方法を用いることができる。
【０００３】
一方で、信号処理による時系列的な信号の予測や、予測に基づく制御方法についても提案がなされている。特許文献１では、振れ検知をした値に基づいて局所的に直線近似して振れ補正を行うシステムが提案されている。また、特許文献２では、フォーカス方向の振れ検出を行い、露光開始指示から露光開始までの振れを予測して制御する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１９４３７７号公報
【特許文献２】特開２０１０−４１２４５号公報
【非特許文献１】「ディジタル画像処理」  ＣＧ−ＡＲＴＳ協会  ｐ２４３〜ｐ２４５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１及び特許文献２においては、いわゆる手振れの検出を何らかのセンサで行うことを仮定しているが、手振れ補正を行った後の信号を観察していない。撮像素子からの信号は光学系の状態検出に適しているため、撮像素子からの信号を利用すれば、露光前に光学系の調整を行った場合に、その補正残りのみを観察することができる。しかしながら、特許文献１及び２に記載された方法では、このようなシステムに対応することはできない。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、撮像素子の信号を利用してカメラシステムの構成部材を調整するシステムにおいて、撮像素子の信号が得られない場合にも、構成部材を適切に調整することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知手段と、前記検知した情報に基づいて駆動される、前記画像信号を得るための予め決められた構成部材の位置を示す位置信号を検出する検出手段と、前記位置信号と前記検知信号とを合成した合成信号に基づいて、前記構成部材を制御するための制御信号を生成する生成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、撮像素子の信号を利用してカメラシステムの構成部材を調整するシステムにおいて、撮像素子の信号が得られない場合にも、構成部材を適切に調整することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における撮像装置のブロック図。
【図２】オプティカルフローの算出方法を説明する図。
【図３】第１の実施形態にかかるカメラシステム制御回路の一部概略構成を示すブロック図。
【図４】第１の実施形態における予測信号生成部の構成を示すブロック図。
【図５】振れ信号の模式図。
【図６】第１の実施形態における静止画撮影時の振れ補正残り量を説明する図。
【図７】第２の実施形態における撮像素子の構成を示す図。
【図８】第３の実施形態にかかるカメラシステム制御回路の一部概略構成を示すブロック図。
【図９】第３の実施形態における予測信号生成部の構成を示すブロック図。
【図１０】第３の実施形態における静止画撮影時の振れ補正残り量を説明する図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１１】
＜第１の実施形態＞
図１は、カメラシステムの概略構成を示すブロック図である。本実施形態のカメラシステムは、主に、カメラ本体１と、カメラ本体１に着脱可能なレンズユニット２とからなる。カメラ本体１とレンズユニット２は、電気接点１１を介して電気的に接続される。
【００１２】
レンズユニット２は、光軸４上に配された、フォーカスレンズ及び振れ補正レンズ（構成部材）を含む複数のレンズ及び絞り（構成部材）からなる撮影光学系３、レンズシステム制御回路１２、レンズ駆動部１３、位置センサ１５を含む。位置センサ１５は、フォーカスレンズ及び振れ補正レンズの位置を検出して、それぞれのレンズ位置信号を出力する。
【００１３】
撮影光学系３を介して入射した被写体からの光は、撮像素子６（構成部材）の撮像面に結像される。撮像素子６は、入射した光を光電変換し、光量に応じた電気信号（画像信号）を出力する。
【００１４】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路、色補間処理回路等を有し、所定の画素補間処理や色変換処理を行って、記録用の画像データ及び表示用の画像データを生成することができる。また、画像処理部７は、予め定められた方法を用いて、画像データや音声データの圧縮を行う。更に、Ａ／Ｄ変換された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、カメラシステム制御回路５が、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理を行うことができる。これにより、カメラシステム制御回路５は、撮影光学系３に含まれるフォーカスレンズの駆動量、及び、絞りの絞り値と、電荷蓄積時間とを求める。そして、電気接点１１を介してレンズシステム制御回路１２にフォーカスレンズの駆動量及び絞りの絞り値を通知する。レンズシステム制御回路１２は、通知されたフォーカスレンズの駆動量及び絞りの絞り値に基づいてレンズ駆動部１３を制御し、フォーカスレンズ及び絞りを駆動する。
【００１５】
また、画像処理部７は、撮像素子６から得られた画像信号に基づく複数の画像間の比較を行って、画像内の注目する領域の移動量を表す振れ検知信号を生成する、振れ検知部７０を含む。なお、振れ検知部７０における処理については、詳細に後述する。
【００１６】
画像処理部７により生成された記録用の画像データは、カメラシステム制御回路５によりメモリ８に出力される。一方、表示用の画像データは、カメラシステム制御回路５により表示部９に表示される。また、表示部９を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。なお、表示部９は、カメラシステム制御回路５の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１の電力消費を大幅に低減することができる。
【００１７】
カメラシステム制御回路５は、一時的な記憶領域及び演算部を備え、カメラシステム全体を制御する。上述した制御に加え、撮像の際のタイミング信号などを生成して出力すると共に、ユーザによる外部操作に応じて、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、撮像素子６の駆動、及び、画像処理部７における画像信号処理及び圧縮処理、記録処理、表示部９に表示する情報の表示内容等を制御する。表示部９はタッチパネルになっており、操作検出部１０に接続されている。
【００１８】
また、カメラシステム制御回路５は、振れ検知部７０から得られる振れ検知信号、及び、振れ補正レンズのレンズ移動量とに基づいて、後述する処理により、振れ補正レンズを駆動するための駆動データを求め、レンズユニット２に送信する。
【００１９】
図２は、振れ検知部７０で行われる、複数の画像間の比較に基づく振れ検知信号である、オプティカルフローの求め方の一例を説明する図である。図２ではいわゆるブロックマッチング法について説明するが、他の方法を用いても良い。本実施形態では、振れ検知信号をライブビューや動画撮影時に求めるものとし、予め決められた周期で撮像素子６に蓄積され、読み出された画像信号が用いられる。
【００２０】
図２（ａ）は、撮像素子６から画像信号を読み出した直近の時刻をtnとした場合に、１周期前の時刻tn-1で読み出した画像、図２（ｂ）は時刻tnで読み出した画像を示す。また、図２（ｃ）は、時刻tn-1及びtnで読み出した画像を重ねて示し、検知されたベクトル（振れ検知信号）を模式的に示した図である。
【００２１】
まず、図２（ａ）に示す時刻tn-1で読み出した画像において、被写体６２の領域のうち、領域６３に着目する。この領域６３の大きさは任意に設定可能であるが、例えば８ｘ８画素などとすればよい。この領域６３が、図２（ｂ）に示す時刻tnで取得した画像のどこに移動したかを、差分絶対値（ＳＡＤ）などを基準に探索する。具体的には、図２（ｂ）の画像内において、領域６３に位置が対応する領域６５を中心として、予め定められた範囲、矢印６６に示すように領域をずらしながらＳＡＤを計算する。ＳＡＤを基準に用いた場合は、最小となる位置が、領域６３に対応する領域６７となる。結果として、図２（ｃ）に示すように、２つの画像間で、図２（ａ）に示す領域６３はベクトル６９で示すように移動したことが分かる。
【００２２】
上記の動作を画面内に設定された複数の領域について行い、複数の移動ベクトルを検知する。その後、主被写体に注目してベクトルを選択をする、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などの方法によって推定値を求める、などの方法で２つの画像間の移動ベクトルの評価値を１つ決める。なお、ＲＡＮＳＡＣは既知の技術であり、本願発明の要部ではないので説明は割愛する。このようにして、振れ検知部７０は振れ検知信号を求めて出力する。
【００２３】
上記処理では、被写体が静止している場合、画像の移動は手振れによって生じているため、手振れが検知される。被写体が移動している場合は、被写体の移動と手振れを合わせた振れが検知される。
【００２４】
図３は、カメラシステム制御回路５に含まれる、第１の実施形態における振れ補正を行うための構成の一例を示すブロック図である。
【００２５】
図３に示す構成では、Ｒｅｓｅｔ信号、Ｓ０信号、Ｓ１信号、Ｓ２信号に基づいて、動作の切り替えが行われる。Ｒｅｓｅｔ信号は例えば、カメラシステムの電源ＯＮ時やレンズ交換時などのタイミングで出力される。また、Ｓ０信号は、振れ補正処理を行わないことが指示された場合に出力される信号、Ｓ１信号は、振れ補正処理を行うことが指示された場合に出力される信号である。Ｓ２信号は、振れ補正処理を行うことが指示されている場合であって、振れ補正処理を行うことができない状態の時に出力される信号である。例えば、ユーザの操作に応じて、振れ補正処理がオフされると、Ｓ０信号が出力され、振れ補正処理がオンされると、Ｓ１信号が出力され、その状態で不図示のシャッターレリーズ釦が押下されると、Ｓ２信号が出力される。また、ユーザによる操作の他に、カメラシステムが三脚等に固定され、振れ補正処理が必要ないと判断された場合に、Ｓ０信号を出力し、振れ補正処理が必要であると判断された場合にＳ１信号を出力するような制御としても良い。なお、Ｒｅｓｅｔ信号、Ｓ０信号、Ｓ１信号、Ｓ２信号が出力される場合は、上述した例に限られるものではなく、適宜設定することが可能である。
【００２６】
図３において、ゲイン調整部３０は、位置センサ１５から出力された、異なる時間に取得した複数のレンズ位置信号を比較することによりレンズの移動量を求め、求めたレンズの移動量を撮像素子６における画角の変化量に換算する。レンズの移動量と撮像素子６における画角の変化量との関係は光学系の特性に依存しており、これらの情報に基づいて、撮像素子６における画角の変化量を求め、加算器２２に出力する。
【００２７】
加算器２２では、ゲイン調整部３０から得られた画角の変化量と、振れ検知部７０からの振れ検知信号とを加算する。このように加算することにより、振れ補正処理を行っていない場合、即ち、振れ補正レンズの中心が光軸と一致している、基準位置にある場合の振れ量u(m)（合成信号）を得ることができる。
【００２８】
予測信号生成部２３は、入力した振れ量u(m)に基づいて現在の振れ量を予測し、予測した振れ量を示す振れ予測信号を出力するもので、Ｒｅｓｅｔ信号、Ｓ０信号、Ｓ１信号、Ｓ２信号に基づいて動作の切り替えが行われる。なお、予測信号生成部２３の内部構成と具体的な動作に関しては、図４を参照して後述する。
【００２９】
リミッタ２４は、予測信号生成部２３により得られた振れ予測信号の上限及び下限を設定し制限する。一般的に、予測に基づく処理は時間の経過とともに予測の精度が下がるため、予め予測信号生成部２３からの振れ予測信号の上限及び下限を設定しておく。その場合、予め決められた振れ予測信号の上限及び下限を設定しておいたり、Ｓ２信号が入力されてからの時間に応じて振れ予測信号の上限及び下限を設定したり、電荷蓄積時間に応じて振れ予測信号の上限及び下限を設定するなどの方法が考えられる。そして、設定された上限または下限を超える振れ予測信号を、上限または下限で打ち切る処理を行う。なお、リミッタ２４は本願発明において必須の構成ではない。
【００３０】
スイッチ２５は、Ｓ０信号、Ｓ１信号、Ｓ２信号によって切り替え制御される。Ｓ０信号またはＳ１信号が入力されると、加算器２２の信号を選択し、Ｓ２信号が入力されると、リミッタ２４の信号を選択する。制御部２６では、スイッチ２５により選択された信号に対して、フィードバック系が安定するようにゲイン及び位相の補償を行う。
【００３１】
また、スイッチ２７はＳ０信号、Ｓ１信号、Ｓ２信号によって切り替え制御される。Ｓ０信号が入力されると、接地部２８に接続される。これにより、撮影光学系３の駆動は停止され、振れ補正は行われない。Ｓ１信号またはＳ２信号が入力されるとスイッチ２７が制御部２６に接続するように切り替わり、制御部２６からの制御信号に応じて振れ補正レンズが駆動される。
【００３２】
上記構成及び制御により、Ｓ０信号が入力されている場合には、接地レベルの信号が振れ補正レンズの制御信号として出力され、Ｓ１信号が入力されている場合には、加算器２２から出力された振れ量u(m)に基づく信号が制御信号として出力される。また、Ｓ２信号が入力されている場合には、予測信号生成部２３により推定された振れ量に基づく信号が振れ補正レンズの制御信号として出力される。
【００３３】
次に、予測信号生成部２３の構成及び処理について説明する。図４は、第１の実施形態におけるカメラシステム制御回路５に含まれる予測信号生成部２３の構成例を示すブロック図である。上述したように、加算器２２から出力された振れ量u(m)が、予測信号生成部２３に入力する。なお、かっこ内のmはmサンプル目であることを示す。
【００３４】
入力した振れ量u(m)は、直列に接続された複数の遅延器３１（z-1）によって、それぞれ１周期ずつ遅延される。直近で読み出された画像信号をnサンプル目とした場合に、振れ量u(n)を１つ遅延させたものが振れ量u(n-1)であり、n-1サンプル目にサンプリングされた画像信号に基づく振れ量であることを表している。以下同様に振れ量u(n-2)、…、u(n-M+1)、u(n-M)が定義される。この、複数周期分の振れ量u(n)、u(n-1)、…u(n-M+1)、u(n-M)は、カメラシステム制御回路５内の不図示のバッファメモリに蓄積される。バッファッメモリを、例えばリングバッファで形成し、新しく振れ量u(n)が入力する度に、現在の書き込み位置のデータの置換と、書き込み位置の変更を行うことで、効率的にバッファリングできる。そして、式（１）に示す演算により、フィルタ係数３２とバッファされた振れ量を一連の加算器３３を用いて畳み込み積分する。これにより、バッファメモリに蓄積された複数周期分の振れ量u(m)のうち、１サンプル前の振れ量u(n-1)までの予め決められた数の振れ量u(m)から、直近の振れ量u(n)の予測値y(n)（第１の予測値）を得る。なお、hn-1はn-1サンプル目までに求められたフィルタ係数３２を示している。
【００３５】
0006555937.tif 000002
【００３６】
式（１）は時系列的な予測を線形結合によって行うことを示している。滑らかな信号や繰り返し性の高い信号は式（１）のような形でよく近似できることが知られている。撮影光学系３を制御するための信号もこのような特徴と持つものは多い。
【００３７】
この時の誤差eは、次の式（２）で定義することができる。これは、直近の振れ量u(n)から、一連の加算器３３により得られた予測値y(n)を、加算器３４を用いて減算することにより得ることができる。
e = u(n) - y(n)      …（２）
【００３８】
このように定義することで、適応アルゴリズム処理部３５で既知の適応アルゴリズムを用いて適応的に１周期先を予測するフィルタが形成される。適応アルゴリズムの一例として、ＬＭＳアルゴリズムによるフィルタ係数の更新式を式（３）に示す。式（３）は適応アルゴリズムの例であり、他のアルゴリズム（ＮＬＭＳやＲＬＳ等）を用いても良い。
hn(i)=hn-1(i)+μeu(i)      …（３）
(i = 1, 2, … ,M)
なお、上記式（３）において、μはステップサイズパラメータを示している。サンプリング毎に式（１）から式（３）の計算を繰り返し、hを更新することで、適応的にフィルタが形成される。
スイッチ３７は、Ｒｅｓｅｔ信号によって切り替わる。Ｒｅｓｅｔ信号が出力されると接地部３６に接続され、フィルタ係数３２はリセットされる。つまりフィルタ係数hn-1の初期化が行われる。Ｒｅｓｅｔ信号が解除されると、スイッチ３７は適応アルゴリズム処理部３５に接続され、フィルタ係数３２の更新が行われる。また、異なる撮影者が撮影する場合やレンズ交換などによって振れの特性が変化した場合でも、リセット動作を行うことにより、フィルタ係数３２を初期化することができる。
【００３９】
スイッチ３８は、Ｓ０信号、Ｓ１信号、Ｓ２信号に応じて切り替わり、Ｓ０信号及びＳ１信号が入力されると、スイッチ３８は閉状態となり、Ｓ２信号が入力されると、スイッチ３８は開状態となる。これにより、Ｓ０信号及びＳ１信号が入力された場合にはフィルタ係数３２の更新が行われ、Ｓ２信号が入力されると、フィルタ係数３２の更新が停止する。
【００４０】
そして、振れ量u(m)を遅延器３１により遅延し、上記のように設定されたフィルタ係数３２を用いて、次の式（４）に示す演算により、一連の加算器３３を用いて畳み込み積分することで、予測値y(n+1)（第２の予測値）を求める。
【００４１】
0006555937.tif 000003
【００４２】
上記式（４）において、右辺はｎサンプル目までで求められた値であり、左辺はｎ＋１サンプル目における振れ量の予測値である。
スイッチ３９は、スイッチ３８と同様にＳ０信号、Ｓ１信号、Ｓ２信号に応じて切り替わり、Ｓ０信号またはＳ１信号が入力されると、スイッチ３９は、入力した振れ量u(n)を後段に送る状態となる。また、Ｓ２信号が入力されると、上述した予測値y(n+1)を次のサンプルタイミングでの振れ量として入力する。これにより、適応アルゴリズム処理部３５における適応アルゴリズムによって得られた係数を用いて、y(n+1)が振れ量u(n+1)の良い予測値になっていればこの誤差は小さいので、これを振れ量u(n+1)の代わりに用いて、再帰的に計算を行う。Ｓ２信号が入力した後の露光状態では振れ検知信号が得られないので、Ｓ０信号またはＳ１信号が入力するまで、同様にして図４に示すフィルタでの再帰計算によって予測値を得る。
【００４３】
このように、図４に示す予測信号生成部２３により、Ｓ０信号またはＳ１信号が入力されている間に取得された振れ量u(m)に基づいて適応フィルタを更新するとともに、これに基づいてＳ２信号が入力した後の予測値y(n+1)が出力される。
【００４４】
なお、図４に示した予測信号生成部２３では、適応フィルタを利用した場合について示したが、Ｓ２信号が入力される直前の数サンプルの信号を線形近似し、その直線に従って動かしても良い。非常に短い露光時間であれば、線形近似しても誤差が小さいためである。
【００４５】
次に、図５を用いて、振れ補正の開始前後で検出される信号について説明する。図５において、横軸は時間であり、縦軸は実際の振れ量、振れ補正量、振れの補正残り量を示している。補正残り量は実際の振れ量と振れ補正量の差として定義され、振れ検知部７０で検知される振れ検知信号に対応する。また図５の中間付近の時刻tonでＳ０信号からＳ１信号に変わって、振れ補正処理がオフからオンに変わり、振れ補正処理が開始される場合を示している。
【００４６】
時刻tonより前のＳ０信号が出力された状態においては、振れ補正処理は行われていない。従って、振れ補正量は０であり、振れ量と補正残り量は一致する。
【００４７】
時刻tonより後のＳ１信号が出力された状態においては、振れ補正処理が行われ、振れ補正量は振れ量に類似した波形となり、補正残り量は図５で示すように振れ量とは異なった形状の波形となる。ここで、振れ補正量と振れ量とが完全に一致しないのは、振れ補正量が撮像素子６で読み出された信号に基づく制御量であることなど、追従の遅れなどの制御系の影響による。
【００４８】
撮影光学系３に含まれる振れ補正レンズで振れを補正すると、Ｓ１信号が出力される時刻tonの前後で、大きく信号の特性が変化する。ここで、図５において点線で示している振れ補正量は、位置センサ１５から得られる振れ補正レンズのレンズ位置信号を用いて求めることができる。また、太実線で示されている振れ量は、上述したように、位置センサ１５の信号をゲイン調整部３０により調整して、振れ検知部７０により得られる振れ検知信号に加算することで、Ｓ１信号が出力された後も、振れ量そのものを検知することができる。振れ量はＳ１信号の前後（振れ補正処理のオフ→オン）でその特性が変化しないため、予測を行うのに都合が良い。
【００４９】
図４で説明したように、予測信号生成部２３では適応フィルタを利用して振れ量u(m)の周波数特性をフィルタ係数として内部に保持している。信号の特性が変わるとフィルタ係数も大きく更新する必要があるが、第１の実施形態における構成では、加算器２２によって、Ｓ１信号の前後で信号の特性が変化しないため、それまでのフィルタ係数を用いて予測を継続することができる。
【００５０】
このように制御することは、振れ補正処理の開始に伴い、Ｓ１信号が出力された後、すぐにＳ２信号が出力された（例えば、静止画撮影における露光が開始された）場合などに特に効果がある。すなわち、補正残り量（振れ検知信号）を用いて予測をする場合、Ｓ１信号により補正残り量の特性が大きく変化した場合は、フィルタ係数を更新する必要があるが、それが終息する前にＳ２信号が出力されると、予測が不適切となる可能性がある。これに対し、本第１の実施形態における制御では、Ｓ１信号が出力された後、すぐにＳ２信号が出力された場合でも、予測が不適切となることがない。
【００５１】
図６は、予測処理を施した場合と、施さない場合の振れ量及び振れの補正残り量を説明するための図である。図６は、説明を分かりやすくするために、カメラシステムに加わる実際の振れが、単純なＳｉｎ波であるものとして示している。また、ここでは、静止画撮影時に、不図示のシャッタ釦の操作により、Ｓ０信号、Ｓ１信号、Ｓ２信号が切り替わるものとする。具体的には、シャッタ釦が押されていない状態ではＳ０信号、シャッタ釦が半押しされ、撮影準備が指示された状態ではＳ１信号、シャッタ釦が全押しされ、画像の記録が指示された状態ではＳ２信号が出力される。
【００５２】
図６（ａ）は直前までに得られた複数の信号から線形予測を行った場合を示すグラフ、図６（ｂ）は図４に示すような適応フィルタを用いて振れ予測を行った場合を示すグラフ、図６（ｃ）は振れ予測を行わない場合を示すグラフである。なお、図６において、横軸は時間、縦軸は実際の振れ量、検出された振れ量、振れ補正量、または振れの補正残り量を示している。
【００５３】
時刻t1は、Ｓ２信号を受け取ったタイミング（例えば、露光が開始されるタイミング）であり、時刻t1より前の時間は、振れ補正処理が行われている状態、即ち、Ｓ１信号が出力された状態とする。露光後の時刻t2より後の時間は、振れ補正処理が行われない状態、即ち、Ｓ０信号が出力された状態である。Ｓ２信号が出力されている時刻t1から時刻t2の間は露光中の時間であり、撮像素子６から出力された画像信号に基づく振れ検知信号を得ることができない。そのため、この間は、予測値に基づく振れ補正制御を行う。また、図６において、６３，６４，６５はそれぞれの方式による振れの補正残り量の大きさを示している。
【００５４】
図６において、太実線は、カメラシステムに加わる実際の振れ量、一点鎖線は検出された振れ量u(m)、または、露光中においては予測信号生成部２３によって出力される予測値y(m)を示している。破線は振れ補正量、２点鎖線は補正残り量である振れ検知信号をそれぞれ示している。なお、振れ量u(m)は、正しく振れが検知できている間は、実際の振れ量と略等しく、露光中においては予測値y(m)を示しており、図３においてスイッチ２５から出力される信号に対応する。図５を用いて説明したように、Ｓ１信号が出力されると、上述したように振れ検知信号を画角の変化量に加算することで得られる、振れ量u(m)に基づいて、振れ補正レンズの補正量を求める。振れ補正量は、メカの追従特性などを考慮したのちの振れ制御入力に対する応答であり、図３において制御部２６を介したのちに実現された振れ補正量に対応する。また、振れ補正残りは、実際の振れ量と振れ補正量との差である。露光中に振れ補正残りが小さければ、振れが小さいといえる。
【００５５】
図６（ａ）を用いて線形予測を行う場合について説明する。時刻t1でＳ２信号を受け取ると、その直前までに得られた複数の振れ量u(m)を線形近似し、その傾きを保ったまま延長して露光中の振れ量を予測する。図６（ａ）においては、露光中である時刻t1と時刻t2の間においては、実際の振れ量の上に振れ制御入力の一点鎖線が直線的に見える。これが線形予測された値である。その後露光が完了すると、時刻t2においてＳ０信号が入力し、図３のスイッチ２７の切り替えが行われ、接地部２８に接地される。これにより、振れ補正レンズは、その中心が光軸と一致する基準位置へ移動され、撮像素子６に入射する被写体の画角が変わるが、撮影中の画像への影響は無い。
【００５６】
ここで、図６（ａ）において露光中に発生した振れを考えると、図６（ａ）の６３で示された量が振れ残り量の大きさであり、図６（ｃ）を用いて後述する振れ予測を行わない場合に比べて、振れの影響が抑制されていることが分かる。図６（ａ）で説明したような直線で近似できるような振れは、例えば人間が立った状態で撮影するときなどに発生しやすい。立っている場合には非常にゆっくりと体が左右に揺れることが多い。この周波数（例えば０．１Ｈｚ）は手や腕が要因で発生する手振れよりも周波数が低く、揺れの大きさは大きい。そのため、一般的な露光時間（１／６０ｓ程度）で考えると直線で近似することができる。
【００５７】
次に、図６（ｂ）を参照して、適応フィルタを用いて予測を行う場合について説明する。時刻t1でＳ２信号を受け取ると、予測信号生成部２３を用いて露光中の振れ量の予測値y(n+1)を生成する。図４を用いて説明したように、露光中は再帰計算を行って予測値を生成し、それを制御に用いる。図６（ｂ）のような単純な波形においてはほぼ正確な予測が為され、露光中である、時刻t1と時刻t2の間でも、振れの予測値は、実際の振れにほぼ一致している。その後露光が完了すると、時刻t2においてＳ０信号が入力し、図３のスイッチ２７の切り替えが行われ、接地部２８に接地される。これにより、振れ補正レンズは基準位置へ移動され、撮像素子６に入射する被写体の画角が変わるが、撮影中の画像への影響は無い。
【００５８】
ここで、図６（ｂ）において露光中に発生した振れを考えると、図６（ｂ）の６４で示された量が振れ残り量の大きさであり、図６（ｃ）を用いて後述する振れ予測を行わない場合に比べて、振れがより良く抑制されていることが分かる。適応フィルタを用いた場合は、予測信号生成部２３において、振れのスペクトル情報をフィルタ係数の形で保持していると考えることができる。そのため予測信号生成部２３におけるフィルタ係数を更新するための適切な情報を得ることができれば、図６（ｂ）に示すように精度よく予測することができる。なお、図６（ｂ）では単純な波形について示したが、実際の手振れも複数の単純な波形の重ねあわせであると考えればよいので、適応フィルタを用いて精度よく予測することが可能な場面が多いと考えられる。
【００５９】
次に、図６（ｃ）を参照して、露光中に振れ予測を行わない場合について説明する。時刻t1でＳ２信号を受け取ると、振れ補正を停止する。図６（ｃ）において振れ補正量は、時刻t1と時刻t2の間でゼロとなる。当然ではあるが、露光中の振れの補正残り量は実際の振れ量そのものとなる。ここで、図６（ｃ）において露光中に発生した振れを考えると図６（ｃ）の６５で示された量が振れ残りの大きさであり、大きな振れ残りが発生していることが分かる。
【００６０】
上記の通り第１の実施形態によれば、撮像素子の信号を利用して振れ補正を行うシステムにおいて、補正残り信号を活用した予測処理を行うシステムを構築することができる。結果として、撮影に適したシーケンスを提供しながら映像品質の向上を図ることができる。
【００６１】
なお、上述した例では、撮影光学系３に含まれる振れ補正レンズを駆動することにより防振制御する場合について説明したが、撮像素子６を駆動することによっても、防振制御を行うことが可能である。
【００６２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では振れ補正に関して説明したが、第２の実施形態では、予測処理を焦点調節に適用した場合について説明する。なお、基本的なカメラシステムの構成は第１の実施形態で説明したものと同様のため説明を割愛する。第１の実施形態では、撮像素子６から得られた画像信号から振れ補正残りを検出する必要があるため、オプティカルフロー検出に基づく振れ検知を行った。これに対し、第２の実施形態では、撮像素子６から得られた画像信号から、焦点状態を検出する。なお、焦点状態の検出は、画像処理部７にて行われる。
【００６３】
図７は、第２の実施形態における撮像素子６の構成を示す図である。第２の実施形態における撮像素子６では、１つのマイクロレンズに対して複数の光電変換部が割り当てられるように構成されており、そのようなマイクロレンズがアレイ状に配置されて、マイクロレンズアレイ１２０を構成している。
【００６４】
図７（ａ）は撮像素子６におけるマイクロレンズアレイ１２０を、正面及び横からを見た場合の模式図である。図７（ａ）に示すように、撮像素子６上には、正面から見て撮像素子６を覆うようにマイクロレンズアレイ１２０が設けられており、マイクロレンズアレイ１２０の前側主点は、撮影光学系３の結像面近傍になるように配置されている。
【００６５】
図７（ｂ）は、マイクロレンズアレイ１２０のうち、２×２のマイクロレンズを正面から見た場合の複数の光電変換部との対応を示す模式図である。マイクロレンズアレイ１２０を構成する各マイクロレンズ１２０ａに対して、２つの光電変換部１２１ａ，１２１ｂが対応付けて構成されている。
【００６６】
図７（ｃ）は、マイクロレンズ１２０ａによって、マイクロレンズ１２０ａの下に設けられた複数の光電変換部１２１ａ，１２１ｂそれぞれが、撮影光学系３の射出瞳領域の異なる領域と対応づけられることを示す図である。図７（ｃ）は、撮像素子６を、マイクロレンズ１２０ａの光軸を含み、センサの長手方向が図の横方向になるように切断した断面図である。なお、実際には、図７（ｃ）の下方に示した光電変換部１２１ａ，１２１ｂの方向と射出瞳面の方向を合わせると、射出瞳面は、図７（ｃ）の紙面垂直方向になるが、説明のために投影方向を回転させている。
【００６７】
図７（ｃ）に示すように、マイクロレンズ１２０ａによって、光電変換部１２１ａ，１２１ｂそれぞれは、撮影光学系３の射出瞳面上の特定の領域１３１，１３２とそれぞれ共役になるように設計されている。すなわち光電変換部１２１ａには撮影光学系３の射出瞳の一部領域１３１を通過した光束が入射する。また、光電変換部１２１ｂには撮影光学系３の射出瞳の一部領域１３２を通過した光束が入射する。
【００６８】
このように、第２の実施形態における撮像素子６は、射出瞳の異なる領域を通過した光束に応じた画像信号を独立に取得できるので、いわゆる位相差ＡＦの原理に基づいて焦点状態を検出することができる。具体的には、各マイクロレンズ１２０ａの下に設けられた複数の光電変換部１２１ａ，１２１ｂのうち、領域１３１に対応する光電変換部１２１ａから得られる画像信号を集めて１つの画像を構成する。同様に、領域１３２に対応する光電変換部１２１ｂから得られる画像信号を集めて１つの画像を構成する。このようにして得られた一対の画像信号に基づいて、公知の相関演算を行うことにより、位相差に基いて焦点状態を検出する。
【００６９】
そして、Ｓ１信号が入力されている状態で、ＡＦ制御を継続して行ういわゆるサーボＡＦのモードにおいて、焦点状態を検出し、位置センサ１５により検出されたフォーカスレンズの移動量と加算する。このように加算して得られた値（合成信号）を用いて、第１の実施形態で説明した振れ量と同様にして処理することができる。
【００７０】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１の実施形態では、振れ検知信号と、位置センサ１５から得られたレンズ位置信号に基づく画角の変化量とを加算したのちに予測を行う方法について説明したが、第３の実施形態では、振れ検知信号のみに基づいて制御を行う場合について説明する。
【００７１】
図８は、カメラシステム制御回路５に含まれる、第３の実施形態における振れ補正に関する構成の一例を示すブロック図である。図３に示す構成との違いは、位置センサ１５からのレンズ位置信号を処理するゲイン調整部３０及び、加算器２２が無いこと、また、リセット信号による予測信号生成部２３’の制御を行わない点である。この構成により、予測信号生成部２３’には、振れ量ではなく、振れ検知部７０により検知された振れ検知信号が入力される。それ以外の構成は、図３と同様であるため、同じ参照番号を付して説明を省略する。なお、本第３の実施形態では、振れ量ではなく、振れ検知信号をu(m)と表す。
【００７２】
第１の実施形態において図５を参照して説明したように、振れ補正の開始前後で振れ検知部７０で検知される振れ検知信号の特性は大きく変化する。第３の実施形態では、図５の破線で示した補正残り量の波形に基づいて予測を行う。補正残り量の波形は振れ補正レンズを動作させないと得られないため、第３の実施形態では、図９を用いて後述するようにフィルタ係数の更新はＳ１信号の入力中に行う。
【００７３】
また、第３の実施形態では、振れ検知信号に基づいてレンズ制御を行う。これは、いわゆるゼロメソッドなどとも呼ばれる制御方法であり、振れ残りが発生した場合にそれを打ち消すように振れ補正レンズの位置の調整を行う。すなわち振れが発生すると振れ検知部７０によって検知され、ただちに（フィードバックの制御周期程度の時間で）補正がなされる。
【００７４】
なお、スイッチ２５及び２７の切り替えは、第１の実施形態と同様である。一方、Ｓ０信号が入力されると、振れ補正は停止しており、予測信号生成部２３’におけるフィルタ係数の更新は行わない。その後、Ｓ１信号が入力されると、振れ検知信号に基づいて振れ補正が行われるとともに、予測信号生成部２３’におけるフィルタ係数の更新が行われる。
【００７５】
図９は、第３の実施形態における予測信号生成部２３’の構成を示す図である。第１の実施形態の図４に示す予測信号生成部２３との違いは、接地部３６に接続するタイミング信号のみである。第１の実施形態ではＲｅｓｅｔ信号を受け取ってフィルタ係数の初期化を行った。これに対し、第３の実施形態では、Ｓ１信号が入力してから正しい信号が得られるので、Ｓ１信号の入力前はフィルタ係数が初期化された状態にする。Ｓ１信号が入力された状態となるとスイッチ３７が動作して、適応アルゴリズム処理部３５からの出力に接続されフィルタ係数３２の更新がなされる。このようにすることで図５の破線で示した補正残り量に基づいて、フィルタ係数３２を更新することができる。更に、Ｓ２信号が入力されると、フィルタ係数３２を用いて演算された、予測信号生成部２３’から出力される予測値y(n+1)に基づいて、振れ補正レンズの制御が行われる。
【００７６】
図１０は、予測処理を施した場合と、施さない場合の振れ量及び振れ補正残りを説明するための図である。なお、図１０においても、説明を分かりやすくするために、カメラシステムに加わる実際の振れが単純なＳｉｎ波であるものとして示している。また、図６と同様に、静止画撮影時に、不図示のシャッタ釦の操作により、Ｓ０信号、Ｓ１信号、Ｓ２信号が切り替わるものとする。具体的には、シャッタ釦が押されていない状態ではＳ０信号、シャッタ釦が半押しされ、撮影準備が指示された状態ではＳ１信号、シャッタ釦が全押しされ、画像の記録が指示された状態ではＳ２信号が出力される。
【００７７】
図１０（ａ）は直前までに得られた複数の信号から線形予測を行った場合を示すグラフ、図１０（ｂ）は図９に示すような適応フィルタを用いて振れ予測を行った場合を示すグラフ、図１０（ｃ）は振れ予測を行わない場合を示すグラフである。なお、図１０において、横軸は時間、縦軸は実際の振れ量、検出された振れ量、振れ補正量、または振れの補正残り量を示している。なお、図１０（ｃ）については図６（ｃ）と同様であるため、ここでは説明を省略する。
【００７８】
時刻t11は、Ｓ２信号を受け取ったタイミング（例えば、露光が開始されるタイミング）であり、時刻t11より前の時間は、振れ補正処理が行われている状態、即ち、Ｓ１信号が出力されている状態とする。露光後の時刻t12より後の時間は、振れ補正処理が行われない状態、即ちＳ０信号が出力されている状態である。Ｓ２信号が出力されている時刻t11から時刻t12の間は露光中の時間であり、撮像素子６から出力された画像信号に基づく振れ検知信号を得ることができない。そのため、この間は、予測値に基づく振れ補正制御を行う。図１０において、１６３，１６４，１６５はそれぞれの方式による振れの補正残り量の大きさを示している。
【００７９】
図１０において、太実線はカメラシステムに加わる実際の振れ量、一点鎖線は振れ検出信号、または、露光中においては予測信号生成部２３’によって出力される予測値y(m)を示している。破線は振れ補正量、２点鎖線は補正残り量をそれぞれ示している。振れ検知信号に適切な位相補償及びゲインの補償を施して振れ補正レンズを駆動するいわゆるゼロメソッドで制御されている。振れ補正レンズにより補正される補正量はメカの追従特性などを考慮したのちの振れ制御入力に対する応答であり、図８において制御部２６を介したのちに実現された振れ補正の量に対応する。また、振れ補正残りである振れ検出信号は実際の振れ量と振れ補正レンズで補正される補正量との差を示す。露光中の振れ補正残りが小さければ、実際の振れが小さいといえる。
【００８０】
図１０（ａ）を用いて線形予測を行う場合について説明する。時刻t11でＳ２信号を受け取ると、その直前までに得られた複数の振れ検知信号u(m)を線形近似し、その傾きを保ったまま延長して露光中の振れ検知信号を予測する。図１０（ａ）においては、露光中である時刻t11と時刻t12の間においては、実際の振れ量を示す線と少し乖離するように、振れ検知信号の予測値を示す一点鎖線が直線的に見える。これが線形予測された値である。図１０（ａ）において露光中に発生した振れを考えると、図１０（ａ）の１６３で示された量が振れの大きさであり、図１０（ｃ）に示す、振れ予測を行わない場合に比べて振れの影響が抑制されていることが分かる。
【００８１】
次に、図１０（ｂ）を参照して、適応フィルタを用いて予測を行う場合について説明する。時刻t11でＳ２信号を受け取ると、予測信号生成部２３’を用いて露光中の振れ検知信号の予測値y(n+1)を生成する。図１０の例では線形での予測の場合と同様に、露光中である、時刻t11と時刻t12の間においては、振れ補正残りの線と少し乖離するように振れ制御入力の一点鎖線が直線的に見える。図１０（ｂ）において露光中に発生した振れを考えると、図１０（ｂ）の１６４で示された量が振れの大きさであり、図１０（ｃ）に示す、振れ予測を行わない場合に比べて振れの影響が抑制されていることが分かる。
【００８２】
上記の通り第３の実施形態によれば、撮像素子の信号を利用して振れ補正を行うシステムにおいて、補正残り信号を活用した予測処理を行うシステムを構築することができる。結果として、撮影に適したシーケンスを提供しながら映像品質の向上を図ることができる。
【００８３】
なお、上述した実施形態では、カメラ本体１とレンズユニット２からなるカメラシステムに本発明を適用する場合について説明したが、カメラ本体とレンズユニットとが一体的に構成された撮像装置に適用可能であることは言うまでもない。
【００８４】
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
１：カメラ本体、２：レンズユニット、３：撮影光学系、４：光軸、５：カメラシステム制御回路、６：撮像素子、７：画像処理部、１１：電気接点、１２：レンズシステム制御回路、１３：レンズ駆動部、１５：位置センサ、２３，２３’：予測信号生成部、３１：遅延器、３２：フィルタ係数、３３，３４：加算器、３５：適応アルゴリズム処理部、７０：振れ検知部
【図１】
0006555937.tif 000004
【図２】
0006555937.tif 000005
【図３】
0006555937.tif 000006
【図４】
0006555937.tif 000007
【図５】
0006555937.tif 000008
【図６】
0006555937.tif 000009
【図７】
0006555937.tif 000010
【図８】
0006555937.tif 000011
【図９】
0006555937.tif 000012
【図１０】
0006555937.tif 000013