(57)【要約】【課題】ＯＩＳとＥＩＳとを併用する場合に、ＯＩＳおよびＥＩＳのいずれかが補正可能範囲外となるリスクを減らす。【解決手段】一実施形態によるカメラモジュール３１の制御に用いられる半導体装置４０は、光学式手振れ補正に使用する補正レンズ５５等の位置調整を、補正レンズ５５等の現在位置の情報８１とともに、撮像素子５０によって撮影された撮影画像に対する電子式手振れ補正の出力画像の位置情報８６に基づいて行う。これによって、補正レンズ５５の動作マージンを確保するともに電子式手振れ補正の補正マージンを確保する。【選択図】図１
2019106655.tif 000002
【特許請求の範囲】
【請求項１】
カメラモジュールを制御するための半導体装置であって、
前記カメラモジュールは、光学系および撮像素子を構成する少なくとも１つの部品である可動対象を手振れ量に応じて変位または変形させる光学式手振れ補正を実装し、
前記半導体装置は、
振れ検出センサの検出値から前記光学系の手振れ量を算出し、前記算出した手振れ量に基づいて前記可動対象の目標動作位置を算出する演算器と、
前記可動対象の現在の動作位置の情報と前記撮像素子によって撮影された撮影画像に対する電子式手振れ補正モジュールの出力画像の位置の情報とに基づいて、前記可動対象の動作位置の位置調整量を設定し、前記目標動作位置と前記位置調整量とに基づいて前記可動対象の動作位置を制御するための信号を出力する位置制御器とを備える、半導体装置。
【請求項２】
前記位置制御器は、前記可動対象の現在の動作位置から可動限界までの動作マージンと、前記撮影画像の端と前記出力画像の端との間の間隔に相当する電子式手振れ補正の補正マージンとに基づいて、前記位置調整量を設定する、請求項１に記載の半導体装置。
【請求項３】
前記撮影画像は、前記撮像素子の行に対応する第１の辺および第２の辺と前記撮像素子の列に対応する第３の辺および第４の辺とによって画定される四角形の形状を有し、
前記可動対象の機械的な可動範囲に対応する前記撮像素子の撮影可能範囲は、前記第１の辺、前記第２の辺、前記第３の辺、および前記第４の辺とそれぞれ第１の間隔、第２の間隔、第３の間隔、および第４の間隔を隔てた四角形の範囲内であり、前記可動対象の動作位置に応じて前記第１の間隔、前記第２の間隔、前記第３の間隔、および前記第４の間隔が定まり、
前記電子式手振れ補正モジュールの前記出力画像は、前記第１の辺、前記第２の辺、前記第３の辺、および前記第４の辺とそれぞれ第５の間隔、第６の間隔、第７の間隔、および第８の間隔を隔てた四角形の形状を有し、前記出力画像の位置に応じて前記第５の間隔、前記第６の間隔、前記第７の間隔、および前記第８の間隔が定まり、
前記位置制御器は、前記第１の間隔が第１の閾値未満であり、前記第５の間隔が第２の閾値以上である場合に、前記第１の間隔をより大きくするように前記位置調整量を設定する、請求項１に記載の半導体装置。
【請求項４】
前記位置制御器は、前記第５の間隔が前記第２の閾値未満であり、前記第１の間隔が前記第１の閾値より大きい値である第３の閾値以上の場合に、前記第１の間隔をより小さくするように前記位置調整量を設定する、請求項３に記載の半導体装置。
【請求項５】
前記位置制御器は、前記第５の間隔と前記第２の閾値との差が大きいほど、段階的または連続的に前記第１の間隔をより大きくするように前記位置調整量を設定する、請求項３に記載の半導体装置。
【請求項６】
前記位置制御器は、前記第３の間隔が第４の閾値未満であり、前記第７の間隔が第５の閾値以上である場合に、前記第３の間隔をより大きくするように前記位置調整量を設定する、請求項３に記載の半導体装置。
【請求項７】
前記位置制御器は、前記第７の間隔が前記第５の閾値未満であり、前記第３の間隔が前記第４の閾値より大きい値である第８の閾値以上の場合に、前記第３の間隔をより小さくするように前記位置調整量を設定する、請求項６に記載の半導体装置。
【請求項８】
前記位置制御器は、ブランキング期間中に、前記可動対象の動作位置が前記位置調整量だけ変更されるように前記可動対象の動作位置を制御する、請求項１に記載の半導体装置。
【請求項９】
前記位置制御器は、前記位置調整量を位置調整期間に応じて複数に分割することによって分割補正量を算出し、前記分割補正量を前記目標動作位置に加算することによって得られる変更された目標動作位置に前記可動対象の現在の動作位置が一致するように、前記可動対象の動作位置を制御する、請求項１に記載の半導体装置。
【請求項１０】
前記位置制御器は、複数の露光期間と複数のブランキング期間とを含めた複数のフレーム期間を前記位置調整期間とし、前記位置調整期間をかけて前記可動対象の動作位置が前記位置調整量だけ徐々に変更されるように前記可動対象の動作位置を制御する、請求項９に記載の半導体装置。
【請求項１１】
前記位置制御器は、露光期間を含めた１フレーム期間内の期間を位置調整期間とし、前記位置調整期間をかけて前記可動対象の動作位置が前記位置調整量だけ徐々に変更されるように前記可動対象の動作位置を制御する、請求項９に記載の半導体装置。
【請求項１２】
前記位置制御器は、ブランキング期間内に前記可動対象が動作位置調整のための変位または変形を開始し、次のブランキング期間内に前記可動対象が動作位置調整のための変位または変形を終了するように前記可動対象の動作位置を制御する、請求項１０に記載の半導体装置。
【請求項１３】
前記位置調整量に従って前記可動対象の動作位置を変更させることによって生じた画像の歪みは、電子式手振れ補正によって除去される、請求項１１に記載の半導体装置。
【請求項１４】
前記撮像素子は、ローリングシャッター方式によって撮影を行い、
前記画像の歪みは、ローリングシャッター歪みである、請求項１３に記載の半導体装置。
【請求項１５】
前記位置制御器は、前記電子式手振れ補正を実行するモジュールに前記位置調整量に関する情報を出力する、請求項１３に記載の半導体装置。
【請求項１６】
撮像素子と、
前記撮像素子に被写体の光学像を結像させるための光学系と、
手振れを検出するための振れ検出センサと、
前記光学系および前記撮像素子を構成する少なくとも１つの部品である可動対象を手振れ量に応じて変位または変形させるためのアクチュエータと、
前記撮像素子によって撮影された撮影画像のうち補正余裕領域を除いた一部を出力画像として出力する電子式手振れ補正モジュールと、
光学式手振れ補正モジュールとを備え、
前記光学式手振れ補正モジュールは、
前記振れ検出センサの検出値から前記光学系の手振れ量を算出し、前記算出した手振れ量に基づいて前記可動対象の目標動作位置を算出する演算器と、
前記可動対象の現在の動作位置の情報と前記撮影画像に対する前記出力画像の位置の情報とに基づいて前記可動対象の動作位置の位置調整量を設定し、前記目標動作位置と前記位置調整量とに基づいて前記可動対象の動作位置を制御するための信号を出力する位置制御器とを含む、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、半導体装置および電子機器に関し、たとえば、カメラの手振れ補正機能を制御する半導体装置および手振れ補正機能付きカメラを搭載した電子機器などに用いられるものである。
【背景技術】
【０００２】
ビデオカメラおよびデジタルカメラなどにおける手振れ補正方式として、ＯＩＳ（Optical  Image  Stabilizer：光学式手振れ補正）とＥＩＳ（Electronic  Image  Stabilizer：電子式手振れ補正）とがある（たとえば、特開２００９−１５２７９３号公報（特許文献１）を参照）。
【０００３】
ＯＩＳとは、ジャイロセンサなどの振動センサによって撮像時の手振れ量を検知し、検知した手振れ量に基づいて画像の振れを小さくするように補正レンズまたは撮像素子などの位置を調整するものである。ＯＩＳは、高周波数域での手振れを精度良く補正することができ、モーションブラーの軽減効果が高いという特徴がある。
【０００４】
ＥＩＳは、撮影した画像を一旦バッファメモリに読み込み、複数の時点で撮影された画像を比較することにより、手振れによる被写体の移動量を計算して補正する方式である。構図のずれをなくすために画像をずらす必要があるので、撮像素子で撮影された撮影画像から補正余裕領域を除いた範囲が実際の出力画像として用いられる。ＥＩＳは、台形・ひし形などの画像歪みの補正、光学収差補正、ローリングシャッタ歪みの補正、レンズの光軸に対する回転方向の歪みの補正を精度良く行えるという特徴がある。
【０００５】
ＯＩＳとＥＩＳの各々が特徴とする補正効果を同時に得るために、最近のデジタルカメラおよびカメラ付きスマートフォンなどでは、ＯＩＳとＥＩＳとを組み合わせた補正方法が採用されている。この場合、ＯＩＳとＥＩＳとは独立に制御される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１５２７９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のようにＯＩＳでは、振動センサで検知した手振れの影響を除去するように補正レンズなどが移動する。このため、動画撮影時にＯＩＳのために補正レンズの移動を繰り返すと、やがて補正レンズが移動可能範囲の限界（以下、「メカ端」と称する）に到達し、それ以上はＯＩＳが実行できなくなる場合がある。
【０００８】
一方、ＥＩＳでは、複数の画像を比較することによって検知された被写体の移動に応じて、撮影画像に対する出力画像の位置が変更される。このため、動画撮影時に手振れ補正のために出力画像の位置の変更を繰り返すと、やがて出力画像が撮影画像の端に接し、それ以上はＥＩＳが実行できなくなる場合がある。
【０００９】
ここで、ＯＩＳとＥＩＳとは独立に制御されているために、手振れ補正機能の能力が十分に発揮できない場合がある。たとえば、ＯＩＳ用補正レンズの移動によって本来の光軸方向よりも右寄りの範囲を撮影している場合において、ＥＩＳによる出力画像の位置が撮影画像の左端に近接していたとする。この場合、補正レンズの位置を中央に戻すように制御すれば、ＥＩＳが使用不能にならず手振れ補正を継続することができる。しかしながら、従来技術では上記のようなＯＩＳとＥＩＳの協調制御は行われておらず、その必要性も考慮されていなかった。
【００１０】
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
一実施形態によるカメラモジュールの制御に用いられる半導体装置は、光学式手振れ補正に使用する補正レンズなどの位置調整を、補正レンズなどの現在位置の情報とともに、撮像素子によって撮影された撮影画像に対する電子式手振れ補正の出力画像の位置情報に基づいて行う。
【発明の効果】
【００１２】
上記の実施形態によれば、ＯＩＳとＥＩＳとを併用する場合に、ＯＩＳおよびＥＩＳのいずれかが補正可能範囲外となるリスクを従来よりも減らすことができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態による電子機器３０Ａの構成の一例を示すブロック図である。
【図２】光学系５１の構成の一例を模式的に示す図である。
【図３】ＯＩＳおよびＥＩＳの補正マージンについて説明するための図である。
【図４】図１の補正レンズ位置制御器の構成例を示すブロック図である。
【図５】ＯＩＳおよびＥＩＳの補正マージンに応じた補正レンズの位置調整の具体例を説明するための図である。
【図６】図１に示す補正レンズ位置制御器４３の動作を示すフローチャートである。
【図７】補正レンズの水平方向の位置調整方法を表形式で示す図である。
【図８】補正レンズの水平方向の位置調整手順を示すフローチャートである。
【図９】補正レンズの垂直方向の位置調整方法を表形式で示す図である。
【図１０】補正レンズの垂直方向の位置調整手順を示すフローチャートである。
【図１１】第１の実施形態の電子機器における手振れ補正処理のタイミング図である。
【図１２】制御パラメータの調整方法について説明するための図である。
【図１３】ファインダ画面に表示されたユーザガイドについて説明するための図である。
【図１４】第２の実施形態の電子機器３０Ｂの構成の一例を示すブロック図である。
【図１５】第２の実施形態の場合の手振れ補正手順を示すフローチャートである。
【図１６】図１５の手振れ補正手順の変形例を示すフローチャートである。
【図１７】第３の実施形態の電子機器３０Ｃの構成の一例を示すブロック図である。
【図１８】第２の実施形態の電子機器における手振れ補正処理のタイミング図である。
【図１９】第３の実施形態の場合の手振れ補正手順を示すフローチャートである。
【図２０】図１９の手振れ補正手順の変形例を示すフローチャートである。
【図２１】第４の実施形態の第１の構成例による電子機器３０Ｄの構成を示すブロック図である。
【図２２】第４の実施形態の第２の構成例による電子機器３０Ｅの構成を示すブロック図である。
【図２３】ＥＩＳにおけるロール補正を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、各実施形態について図面を参照して詳しく説明する。なお、同一または相当する部分には同一の参照符号を付して、その説明を繰返さない。
【００１５】
＜第１の実施形態＞
図１は、第１の実施形態による電子機器３０Ａの構成の一例を示すブロック図である。以下では、電子機器３０Ａとして、カメラモジュール付きのスマートフォンを想定して説明するが、その他のカメラモジュール付きの電子機器３０Ａにも本開示の技術は適用可能である。たとえば、電子機器３０Ａには監視カメラシステムも含まれる。
【００１６】
また、本開示では、ＯＩＳの方式として補正レンズを動かすレンズシフト方式の手振れ補正を例に挙げて説明するが、本開示の技術はその他の方式のＯＩＳにも適用可能である。たとえば、光学系全体を動かすことによって手振れ補正を行ってもよいし、光学系とイメージセンサとを含むユニット全体を動かすことによって手振れ補正を行ってもよい。補正光学系として補正レンズに代えてバリアングル・プリズムを用いてもよい。もしくは、撮像素子を動かすことによって手振れ補正を行うイメージセンサシフト方式の手振れ補正にも本開示の技術を適用することができる。
【００１７】
また、本開示では、光学式手振れ補正を実現するために変位または変形させる補正レンズ、光学系、バリアングル・プリズム、および撮像素子などを総称して可動対象と称する。したがって、可動対象とは、光学系および撮像素子を構成する少なくとも１つの部品である。
【００１８】
［電子機器の全体構成］
図１を参照して、電子機器３０Ａは、被写体の撮影に関係する構成として、カメラモジュール３１と、メインボード３２と、表示装置３３と、補助記憶装置３４とを備える。
【００１９】
（１．カメラモジュールの構成）
カメラモジュール３１は、補正レンズ５５を含む光学系５１と、撮像素子（「イメージセンサ」とも称する）５０と、振れ検出センサ４１と、アクチュエータ４６と、位置検出センサ４７と、ＯＩＳモジュール４０とを含む。振れ検出センサ４１、アクチュエータ４６、位置検出センサ４７、ＯＩＳモジュール４０、および補正レンズ５５は、光学式手振れ補正（ＯＩＳ）のために用いられる。
【００２０】
図２は、光学系５１の構成の一例を模式的に示す図である。光学系５１は、光学レンズ５２，５３，５４と、補正レンズ５５と、絞り（不図示）とを含む。
【００２１】
被写体からの光線１００は光学レンズ５２，５３，５４に入射する。被写体は、光学レンズ５２，５３，５４によって撮像素子５０上に結像される。光学レンズ５２，５３，５４は、その光軸１０１が撮像素子５０の中心を通るように配置されている。
【００２２】
撮像素子５０は、被写体の光学像を電気信号に変換するデバイスであり、たとえば、ＣＭＯＳイメージセンサ（Complementary  Metal-Oxide- Semiconductor  Image  Sensor、ＣＩＳとも称する）である。ＣＭＯＳイメージセンサでは、１ラインから数ラインごとに順次露光して画像取り込みを行うローリングシャッタ方式がしばしば用いられる。
【００２３】
補正レンズ５５は、光軸１０１にほぼ垂直な面内で移動可能なように構成され、手振れによる被写体の像の振れ（ブレ）を補正する。具体的に図２に示すような凸状の補正レンズ５５の場合、手振れによる光学系５１の光軸１０１の振れの方向と逆方向に、光学系５１の光軸１０１の振れ量に応じた量だけ補正レンズ５５が移動することによって、撮像素子５０上の被写体の光学像の振れを小さくすることができる。
【００２４】
なお、凹状の補正レンズの場合には、手振れによる光学系５１の光軸１０１の振れの方向と同方向に補正レンズが移動することによって、撮像素子５０上の被写体の光学像の振れを小さくすることができる。撮像素子５０を移動させるセンサシフト方式の場合には、手振れによる光学系５１の光軸１０１の振れの方向と逆方向に撮像素子５０をシフトさせることによって、撮像素子５０上の被写体の光学像の振れを小さくすることができる。このように補正光学系の構成もしくはＥＩＳの方式によって、手振れ方向に対する可動対象の動作方向が異なる点に注意を要する。
【００２５】
以下、補正レンズ５５が初期位置（すなわち、可動範囲の中心）にある場合において、光学系５１の光軸方向をＺ軸方向とし、Ｚ軸と垂直な面内で撮像素子５０の横方向をＸ軸方向とし、撮像素子５０の縦方向をＹ軸方向とする。Ｘ軸の回りの回転をピッチ（pitch）といい、Ｙ軸の回りの回転をヨー（yaw）といい、Ｚ軸の回りの回転をロール（roll）という。
【００２６】
再び図１を参照して、振れ検出センサ４１は、光学系５１を含むカメラモジュール３１全体の振れの方向と振れ量とを検出する。振れ検出センサ４１は、たとえば、ジャイロセンサ（角速度センサとも称する）または加速度センサである。ジャイロセンサは、カメラの光軸を基準にヨー方向およびピッチ方向（必要であれば、ロール方向）の角速度を検出する。加速度センサは、光軸に垂直なＸ軸方向およびＹ軸方向（必要であればＺ軸方向）の加速度を検出する。ジャイロセンサと加速度センサとの両方が設けられていてもよい。
【００２７】
アクチュエータ４６は、ＯＩＳモジュール４０からの制御信号に基づいて、光学系５１の光軸に垂直な面内で補正レンズ５５を移動させる。アクチュエータ４６は、たとえば、ボイスコイルモータ（ＶＣＭ：Voice  Coil  Motor）、ピエゾ素子、または形状記憶合金（ＳＭＡ：Shape  Memory  Alloy）アクチュエータなどである。
【００２８】
位置検出センサ４７は、補正レンズ５５の位置を検出する。位置検出センサ４７は、たとえば、ホールセンサである。ホールセンサは、補正レンズ５５のフレームに固定された永久磁石の位置を検出するためのホール素子によって構成される。
【００２９】
ＯＩＳモジュール４０は、振れ検出センサ４１によって検出された光学系５１の振れの方向および振れ量に基づいて、撮像素子５０上での光学像の振れが小さくなるように、アクチュエータ４６によって補正レンズ５５を駆動する。これらの補正レンズ５５の位置制御は、位置検出センサ４７によって検出された補正レンズ５５の現在位置に基づいたフィードバック制御によって実行される。
【００３０】
（２．ＯＩＳモジュールの詳細な構成）
より詳細な構成として、ＯＩＳモジュール４０は、演算器４２と、補正レンズ位置制御器４３と、補償器４４とを含む。これらの構成要素は、少なくとも１つのプロセッサによってプログラムが実行されることによって実現してもよいし、ＦＰＧＡ（Field  Programmable  Gate  Array）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）などの回路によって実現してもよいし、これらを組み合わせることによって実現してもよい。
【００３１】
演算器４２は、振れ検出センサ４１の検出値に基づいて手振れの方向と手振れ量を計算する。上記の算出のために、演算器４２は、振れ検出センサ４１の出力信号に対して高域通過フィルタ（ＨＰＦ：High  Pass  Filter）を適用することによってオフセット成分を除去し、低域通過フィルタ（ＬＰＦ：Low  Pass  Filter）を適用することによってノイズ成分を除去する。さらに、演算器４２は、上記のフィルタ処理後の出力信号に対して積分処理を施すことによって座標成分ごとの振れ量を算出する。
【００３２】
具体的に、振れ検出センサ４１がジャイロセンサによって構成されている場合には、ジャイロセンサによって検出されたヨー方向およびピッチ方向の角速度を積分することによって、ヨー方向およびピッチ方向の振れ量（すなわち、角度ブレ）が得られる。振れ検出センサ４１が加速度センサによって構成されている場合には、加速度センサによって検出されたＸ軸方向およびＹ軸方向の加速度を積分することによってＸ軸方向およびＹ軸方向の速度が求まり、さらに速度を積分することによってＸ軸方向およびＹ軸方向の振れ量（すなわち、シフトブレ）が得られる。レンズの主点から被写体までの距離に基づいてシフトブレを角度ブレに変換してもよい。
【００３３】
さらに、演算器４２は、上記のようにして算出した手振れ方向および手振れ量に基づいて、撮像素子上での光学像のずれが小さくなるように補正レンズ５５を移動すべき目標動作位置を算出する。図２に示すような凸状の補正レンズ５５の移動方向は、光軸１０１と垂直面内で手振れ方向と逆方向である。
【００３４】
補正レンズ位置制御器４３は、演算器４２から出力された補正レンズ５５の目標動作位置と位置検出センサ４７から出力された補正レンズ５５の現在位置との偏差を算出し、算出した偏差を補償器４４に出力する。入力された偏差に応じた制御信号が補償器４４によってアクチュエータ４６に出力される結果、補正レンズ５５の現在位置が目標動作位置に一致するように補正レンズ５５の位置がフィードバック制御される。
【００３５】
さらに、補正レンズ位置制御器４３は、位置検出センサ４７から出力された補正レンズ５５の位置情報８１と、ＥＩＳモジュール６２の演算器７１から出力されたＥＩＳ位置情報８６とを取得する。ここで、ＥＩＳ位置情報８６とは、図３で後述するように、撮像素子５０によって撮影された撮影画像に対するＥＩＳの出力画像の位置を表す情報である。補正レンズ位置制御器４３は、取得した補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、ＯＩＳおよびＥＩＳの補正マージンを確保するために補正レンズ５５の動作位置を変更すべきか否かを判定する。補正レンズ位置制御器４３は、補正レンズ５５の動作位置を調整する場合に、補正レンズ５５の現在の動作位置から適正動作位置までの位置調整量を決定する。
【００３６】
なお、本実施形態では、補正レンズ位置制御器４３は、ブランキング期間中に上記の補正レンズ５５の位置調整を行う。このブランキング期間の開始を検知するため、垂直同期信号Ｖｓｙｎｃなどの撮像タイミング信号８０が撮像素子５０から補正レンズ位置制御器４３に入力される。ここでは、便宜的に垂直同期信号Ｖｓｙｎｃをブランキング期間の開始を通知するための撮像タイミング信号８０として位置付けている。ブランキング期間を開始するための信号としてどのような信号を利用するかは、撮像素子５０の構成などに応じて異なる。
【００３７】
補償器４４は、補正レンズ位置制御器４３から出力された目標動作位置および位置調整量に基づいてアクチュエータ４６の制御信号を生成する。補償器４４は、たとえば、比例要素（Ｐ）、積分要素（Ｉ）、および微分要素（Ｄ）が並列に接続されたＰＩＤ制御器によって構成される。
【００３８】
（３．メインボードの構成）
電子機器３０Ａのメインボード３２には、複数のプロセッサ、メモリ、専用の制御回路などが実装されている。特にカメラモジュールに関係のある構成として、電子機器３０Ａは、イメージシグナルプロセッサ（ＩＳＰ：Image  Signal  Processor）６１と、ＥＩＳモジュール６２と、符号化処理モジュール６３と、画像表示コントローラ６４とを備える。
【００３９】
これらの構成要素は、ＳｏＣ（System  on  Chip）として少なくとも１つの専用回路で構成されていてもよいし、一部の機能を専用回路で実現し、残りの機能を汎用的なプロセッサでプログラムを実行することによって実現するように構成されていてもよい。この場合の汎用的なプロセッサは、ＣＰＵ（Central  Processing  Unit）およびＧＰＵ（Graphics  Processing  Unit）などを含む。
【００４０】
イメージシグナルプロセッサ６１は、撮像素子５０から出力された生の画像信号８２（ＲＡＷデータとも称する）に対して画像処理（イメージング処理とも称する）を行う。たとえば、イメージシグナルプロセッサ６１は、光学系の補正、欠陥画素の補正、ノイズ除去、および高画質化のために明るさ・色・エッジなどの補正を行う。
【００４１】
ＥＩＳモジュール６２は、隣接するフレーム間で撮影された画像を比較することにより、被写体が同じ画面の中に収まるように手振れによる移動量を計算して補正する。より詳細には、ＥＩＳモジュール６２は、バッファメモリ７０と、演算器７１と、移動補正処理部７２と、歪み・輪郭補正処理部７３とを含む。演算器７１、移動補正処理部７２、および歪み・輪郭補正処理部７３は、たとえば、汎用のプロセッサ（ＣＰＵなど）によって実現することができる。
【００４２】
バッファメモリ７０は、イメージシグナルプロセッサ６１によって画像処理が行われた後の画像データを格納する。バッファメモリ７０は、画像データとして現時点の画像の他、１つまたは複数の先読みされた画像（たとえば、１フレーム前の画像）のデータを格納する。
【００４３】
演算器７１は、バッファメモリ７０に格納された複数の時点での画像を比較することによって、画面中での被写体の移動量を算出する。これによって、被写体が同じように画面中に収まるように画面の移動量が決まる。すなわち、演算器７１は、撮像素子５０の大きさによって決まる撮影画像の範囲から切り出される出力画像の位置を決定する。この出力画像の位置に関する情報が、ＥＩＳ位置情報８６として補正レンズ位置制御器４３に出力される。
【００４４】
移動補正処理部７２は、演算器７１の演算結果に基づいて、対応するフレーム（たとえば、１つ前のフレーム）の画像データから出力画像のデータを取り出す処理、すなわち、出力画像の範囲を移動させる処理を行う。
【００４５】
歪み・輪郭補正処理部７３は、手振れに伴って被写体に生じた歪み、被写体の輪郭の変形を補正する処理を行う。たとえば、歪み・輪郭補正処理部７３は、ローリングシャッタ歪みを補正する。
【００４６】
符号化処理モジュール６３は、ＥＩＳによる補正後の画像を補助記憶装置３４に保存するために、画像信号のデータ形式を変換する。たとえば、動画データの圧縮符号化方式としてＨ．２６４（MPEG-4  Part  10  Advanced  Video  Coding）が標準的に用いられる。静止画像の圧縮符号化方式としてＪＰＥＧ（Joint  Photographic  Experts  Group）が用いられる。補助記憶装置３４の種類は特に限定されないが、たとえば、メモリカード、ＵＳＢ（Universal  Serial  Bus）メモリなどが用いられる。
【００４７】
画像表示コントローラ６４は、ＥＩＳモジュール６２による補正後の画像信号を表示装置３３に表示するための集積回路である。画像表示コントローラ６４および表示装置３３は、撮影の構図を確認するためのプレビューのために用いられる。
【００４８】
具体的に、画像表示コントローラ６４は、ＥＩＳモジュール６２による補正後の画像信号を、表示装置３３に応じたＲＧＢ信号などの映像信号に変換する。さらに、画像表示コントローラ６４は、表示装置３３を駆動するためのドライバを含む。表示装置３３の種類は特に限定されないが、たとえば、ＬＣＤ（Liquid  Crystal  Display）、有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display）などが表示装置３３として用いられる。
【００４９】
［ＯＩＳおよびＥＩＳの補正マージンについて］
以下、図３を参照して、ＯＩＳおよびＥＩＳの補正マージンについて説明する。以下では、ＯＩＳの方式として図２で説明した凸型の補正レンズ５５をシフトさせる場合を例に挙げるが、他の可動対象を変位または変形させる場合も同様である。
【００５０】
図３は、ＯＩＳおよびＥＩＳの補正マージンについて説明するための図である。図３において、撮像素子によって撮影された撮影画像１１１を破線で示す。撮影画像１１１は、４辺ＳＸ１、ＳＸ２、ＳＹ１，ＳＹ２によって画定された四角形の形状を有し、撮像素子の受光面（すなわち、撮影可能な最大の画素領域）に対応する。辺ＳＸ１，ＳＸ２は撮像素子５０の行に対応し、辺ＳＹ１，ＳＹ２は撮像素子５０の列に対応する。
【００５１】
補正レンズ５５の機械的な可動範囲に対応して、図３に一点鎖線で示す撮像素子５０の撮影可能範囲１１０が定まる。撮影可能範囲１１０は、撮影画像１１１の外周である辺ＳＸ１、ＳＸ２、ＳＹ１，ＳＹ２とそれぞれ間隔ＯＭＸ１，ＯＭＸ２，ＯＭＹ１，ＯＭＹ２を隔てた四角形の形状を有する。これらの間隔ＯＭＸ１，ＯＭＸ２，ＯＭＹ１，ＯＭＹ２は補正レンズ５５の現在位置から可動限界までの間隔である動作マージンに対応している。この明細書では、間隔ＯＭＸ１，ＯＭＸ２，ＯＭＹ１，ＯＭＹ２をＯＩＳの補正マージンと称する。
【００５２】
たとえば、図２で説明した補正レンズ５５が図３の±Ｘ方向および±Ｙ方向に駆動可能であったとすると、＋Ｘ方向の補正レンズ５５の動作マージン（すなわち、現在位置から可動限界までの距離）は、図３の右端の補正マージンＯＭＸ１に対応する。同様に、−Ｘ方向の補正レンズ５５の動作マージンは、図３の左端の補正マージンＯＭＸ２に対応する。＋Ｙ方向の補正レンズ５５の動作マージンは、図３の上端の補正マージンＯＭＹ１に対応する。−Ｙ方向の補正レンズ５５は、図３の下端の補正マージンＯＭＹ２に対応する。
【００５３】
なお、初期状態（すなわち、手振れのない状態）では、撮影画像１１１は撮影可能範囲１１０の中央に位置する。この場合、補正マージンＯＭＸ１は補正マージンＯＭＸ２に等しく、補正マージンＯＭＹ１は補正マージンＯＭＹ２に等しい。
【００５４】
一方、ＥＩＳは、撮影した画像を一旦バッファメモリに読み込み、複数の時点で撮影された画像を比較することによって、手振れによる被写体２９の移動量を計算して補正する方式である。構図のずれをなくすために画像範囲をずらす必要があるので、撮影画像１１１から補正余裕領域を除いた範囲が実際に出力される出力画像１１２となる。
【００５５】
図３に示すように、出力画像１１２は、撮影画像１１１の外周である辺ＳＸ１、ＳＸ２、ＳＹ１，ＳＹ２とそれぞれ間隔ＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２を隔てた四角形の形状を有する。この明細書では、間隔ＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２をＥＩＳの補正マージンと称する。補正マージンＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２は、撮影画像１１１に対する出力画像１１２の位置に応じて定まる。初期状態（すなわち、手振れのない状態）では、出力画像１１２は、撮影画像１１１中央に位置する。この場合、補正マージンＥＭＸ１は補正マージンＥＭＸ２に等しく、補正マージンＥＭＹ１は補正マージンＥＭＹ２に等しい。
【００５６】
上記において、補正レンズ５５の移動量に対応する量として、撮影可能範囲１１０の中心１１３に対する撮影画像１１１の中心１１４の変位量を用いることができる。具体的に、撮影可能範囲１１０の中心１１３を座標原点とすると撮影画像１１１の中心１１４の位置座標（Ｏｘ，Ｏｙ）が補正レンズ５５の移動量に相当する。初期状態（すなわち、手振れのない状態）では、Ｏｘ＝Ｏｙ＝０である。なお、補正レンズ５５の可動範囲に対応して、位置座標（Ｏｘ，Ｏｙ）が変動する範囲が決まる。この明細書では、位置座標（Ｏｘ，Ｏｙ）の変動範囲をＯＩＳの補正範囲と称する。
【００５７】
また、撮影画像１１１に対する出力画像１１２の位置の情報として、撮影画像１１１の中心１１４を座標原点としたときの出力画像１１２の中心１１５の位置座標（Ｅｘ，Ｅｙ）を用いることができる。初期状態（すなわち、手振れのない状態）では、Ｅｘ＝Ｅｙ＝０である。なお、撮影画像１１１に対する出力画像１１２の比率に応じて、位置座標（Ｅｘ，Ｅｙ）が変動する範囲が決まる。この明細書では、位置座標（Ｅｘ，Ｅｙ）の変動範囲をＥＩＳの補正範囲と称する。
【００５８】
撮影画像１１１は撮像素子５０の受光面に対応しているので、ＯＩＳの補正マージンＯＭＸ１，ＯＭＸ２，ＯＭＹ１，ＯＭＹ２と、ＥＩＳの補正マージンＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２と、位置座標（Ｏｘ，Ｏｙ）および（Ｅｘ，Ｅｙ）の値は、画素（ピクセル）を単位として表すことができる。また、撮影画像１１１は画角に対応しているので、上記の補正マージンおよび位置座標の値を、角度を単位として表すことができる。さらに、位置検出センサ４７によって読み出された位置検出信号をＡＤＣ（Analog-to-Digital  Converter）でＡＤ変換した際のビット数で上記の補正マージンおよび位置座標を表すことができる。
【００５９】
具体的に、撮像素子の画素数を１３Ｍピクセル（水平方向４２００ピクセル、垂直方向３１２０ピクセル）とする。３５ｍｍ換算での光学系の焦点距離を２８ｍｍとし、対角画角を７５°、水平画角を６５°、垂直画角を４８°とする。この場合、垂直画角および水平画角の１度は約６５ピクセルに相当する。ホールセンサの読み出しを１２ビットのＡＤＣで行うものとすれば、垂直画角および水平画角の１度は約１０００ＬＳＢの読み出し信号に相当する。
【００６０】
なお、最終的に得られる手振れ補正量を面内の移動量と表現するのが適切か角度として表現するのが適切かは、カメラモジュール３１に組み込まれている光学的手振れ補正機構に応じて決まる。以下の説明では、手振れ補正量を直線的な移動量として表現する場合もあるし、移動角として表現する場合もあるが、どちらかに限定することを意図していない。本開示の技術はどちらの表現方法の場合にも適用可能である。
【００６１】
また、本明細書では簡単のために、平面上の移動量である画素数と球面上の移動量である角度とがリニアに対応するように取り扱っているが、あくまで近似的なものである。当業者であれば、両者をより厳密に対応付けることは容易であろう。
【００６２】
［補正レンズ位置制御器の動作］
次に、ＯＩＳモジュール４０に含まれる補正レンズ位置制御器４３の動作についてさらに詳しく説明する。
【００６３】
図４は、図１の補正レンズ位置制御器の構成例を示すブロック図である。図４では、補正レンズ位置制御器４３の周辺の要素も併せて示されている。図４を参照して、補正レンズ位置制御器４３は、位置調整器７５と、加算器７６とを含む。
【００６４】
位置調整器７５は、位置検出センサ４７から補正レンズ５５の位置情報８１を取得し、ＥＩＳモジュール６２の演算器７１から取得したＥＩＳ位置情報８６を取得する。ここで、ＥＩＳ位置情報８６は、図３で説明したＥＩＳの補正マージンＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２であってもよいし、撮影画像１１１の中心１１４に対する出力画像１１２の中心１１５の変位量（Ｅｘ，Ｅｙ）であってもよい。
【００６５】
位置調整器７５は、取得した補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、ＯＩＳおよびＥＩＳの補正マージンを確保するために補正レンズ５５の動作位置を変更すべきか否かを判定する。
【００６６】
従来技術では、補正レンズ５５の動作位置の調整は、補正レンズ５５の現在位置と動作限界との間の動作マージンのみに基づいて行われていた。これによって、補正レンズ５５がメカ端に到達した場合に生じる画像の歪みを防止していた。ここで、補正レンズ５５がメカ端に到達すると、高周波（たとえば３０Ｈｚ以上）の手振れ補正がＯＩＳによって補正されなくなったり、補正レンズがメカ端で跳ね返ったりすることにより意図しない歪み成分が生じたりするために、撮影画像は修復できないほど大きく歪む。
【００６７】
本実施形態では、補正レンズ５５の動作マージンだけでなく、ＥＩＳの補正マージンも考慮して補正レンズ５５の動作位置が調整される。したがって、補正レンズ５５の動作マージンが閾値以上で十分であったとしても、ＥＩＳ補正マージンＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２のいずれかが閾値より小さい場合には、いずれのＥＩＳ補正マージンも閾値以上になるように補正レンズ５５の位置が調整される（詳細は後述する）。このようなＯＩＳとＥＩＳの協調制御は本実施形態のＯＩＳモジュール４０において特徴的な点である。
【００６８】
位置調整器７５は、補正レンズ５５の動作位置の調整を行うと判定した場合には、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、補正レンズ５５の適正動作位置を決定する（詳細は後述する）。そして、位置調整器７５は、補正レンズ５５の現在の動作位置から適正動作位置までの位置調整量８４を求め、求めた位置調整量８４を出力する。補正レンズ５５の位置調整が行われない場合、位置調整量８４は０である。
【００６９】
加算器７６は、補正レンズ５５の位置調整が行われない場合（位置調整量８４が０の場合）には、ＯＩＳモジュール４０の演算器４２によって算出された補正レンズ５５の目標動作位置８５と位置検出センサ４７の検出値に基づく補正レンズ５５の現在の動作位置との偏差を算出し、算出した偏差を補償器４４に出力する。補償器４４は、加算器７６から出力された偏差に基づいてアクチュエータ４６の制御信号を生成する。これによって、補正レンズ５５の現在の動作位置が目標動作位置に一致するようにフィードバック制御される。
【００７０】
加算器７６は、補正レンズ５５の位置調整を行う場合には、補正レンズ５５の目標動作位置に位置調整量８４を加算することによって目標動作位置を変更する。加算器７６は、変更された目標動作位置と補正レンズ５５の現在の動作位置との偏差を算出し、算出した偏差を補償器４４に出力する。補償器４４は、加算器７６から出力された偏差に基づいてアクチュエータ４６の制御信号を生成する。これによって、補正レンズ５５の現在の動作位置が目標動作位置に一致するようにフィードバック制御される。
【００７１】
［補正レンズの位置調整方法］
以下、補正レンズの位置調整方法についてさらに詳しく説明する。以下では、まず、補正レンズの位置調整の具体例を説明することによって全体的な動作を説明する。次に、補正レンズ位置制御器４３の動作を示すフローチャートを説明する。その次に、このフローチャートのステップＳ２１０およびＳ２１１の動作についてさらに詳しく説明する。
【００７２】
（１．補正レンズの位置調整の具体例）
図５は、ＯＩＳおよびＥＩＳの補正マージンに応じた補正レンズの位置調整の具体例を説明するための図である。図５（Ａ）〜（Ｅ）では、図３で説明した撮影可能範囲１１０、撮影画像１１１、出力画像１１２が示されている。
【００７３】
図５（Ａ）の例１では、ＯＩＳに関して右端の補正マージンＯＭＸ１と下端の補正マージンＯＭＹ２とが閾値未満となっている。このことは、図２の補正レンズ５５は右下のメカ端近傍に位置していることを意味している。一方、ＥＩＳに関して左端の補正マージンＥＭＸ２と上端の補正マージンＥＭＹ１とが閾値未満となっている。すなわち、出力画像１１２は、撮影画像１１１の左上角に近接した位置に配置されている。
【００７４】
上記の例１の場合、図５（Ｂ）に示すように、補正レンズ５５を左上方向に移動させることによって、撮影画像１１１の位置が撮影可能範囲１１０に対して左上寄りに調整される。そうすると、ＥＩＳは画面の構図が変化しないように出力画像１１２の撮影画像１１１に対する位置を調整するので、出力画像１１２の位置は撮影画像１１１の中央となるように変更される。
【００７５】
このように、図５（Ａ），図５（Ｂ）の場合には、補正レンズ５５の動作位置とＥＩＳによる出力画像１１２の位置とが相互に調整されることによって、ＯＩＳおよびＥＩＳの補正マージンのいずれについても閾値以上の値が確保される。
【００７６】
図５（Ｃ）に示す例２では、ＯＩＳの補正マージンのいずれについても十分な大きさが確保されている。このことは、図２の補正レンズ５５は可動範囲の中央付近に位置していることを意味している。一方、ＥＩＳに関して左端の補正マージンＥＭＸ２と上端の補正マージンＥＭＹ１とが閾値未満となっている。すなわち、出力画像１１２は、撮影画像１１１の左上角に近接した位置に配置されている。
【００７７】
上記の例２の場合、図５（Ｄ）に示すように、補正レンズ５５を左上方向に移動させることによって、左端と上端のＯＩＳ補正マージンＯＭＸ２，ＯＭＹ１が閾値未満とならない範囲で、撮影画像１１１の位置を撮影可能範囲１１０に対して現在位置よりも左上寄りの位置に調整する。そうすると、ＥＩＳは画面の構図が変化しないように出力画像１１２の撮影画像１１１に対する位置を調整するので、出力画像１１２の位置は撮影画像１１１の中央寄りに変更される。
【００７８】
このように、図５（Ｃ）および図５（Ｄ）の場合には、ＥＩＳの補正マージンを確保するために、左端と上端のＯＩＳ補正マージンＯＭＸ２，ＯＭＹ１が閾値未満とならない範囲で、補正レンズ５５の位置が調整される。
【００７９】
図５（Ｅ）に示す例３では、ＯＩＳに関して右端の補正マージンＯＭＸ１と下端の補正マージンＯＭＹ２とが閾値未満となっている。このことは、図２の補正レンズ５５は右下のメカ端近傍に位置していることを意味している。一方、ＥＩＳの補正マージンのいずれについても十分な大きさが確保されている。すなわち、出力画像１１２は、撮影画像１１１の中央付近に位置している。
【００８０】
上記の例３の場合、図５（Ｆ）に示すように、補正レンズ５５を左上方向に移動させることによって、撮影画像１１１の位置が撮影可能範囲１１０の中央付近に調整される。そうすると、ＥＩＳは画面の構図が変化しないように出力画像１１２の撮影画像１１１に対する位置を調整するので、出力画像１１２の位置は撮影画像１１１の右下寄りの位置に変更される。この場合、右端と下端のＥＩＳの補正マージンＥＭＸ１，ＥＭＹ２が閾値未満とならないように、補正レンズ５５の移動量を調整する必要がある。
【００８１】
このように、図５（Ｅ）および図５（Ｆ）の場合には、ＯＩＳの補正マージンを確保するために、右端と下端のＥＩＳの補正マージンＥＭＸ１，ＥＭＹ２が閾値未満とならない範囲で、補正レンズ５５の位置が調整される。
【００８２】
（２．補正レンズ位置制御器の動作を示すフローチャート）
図６は、図１に示す補正レンズ位置制御器４３の動作を示すフローチャートである。図６に示す制御手順では、露光期間と露光期間との間のブランキング期間内の比較的短期間で補正レンズの位置調整が実行される。
【００８３】
図１および図６を参照して、ステップＳ２０１では、補正レンズ位置制御器４３は、ホールセンサなどの位置検出センサ４７からの出力情報の更新、ジャイロセンサなどの振れ検出センサ４１からの出力情報の更新、またはＥＩＳによる出力画像の位置の更新を待つ。
【００８４】
ここで、ホールセンサなどの位置検出センサ４７の出力信号の更新周波数は、たとえば、２０ＫＨｚ（更新周期は、５０μｓｅｃ）である。ジャイロセンサなどの振れ検出センサ４１の出力信号の更新周波数は、たとえば、１ＫＨｚ（更新周期は、１ｍｓｅｃ）である。このように、補正レンズの位置情報が更新される頻度は手振れが検出される頻度よりも１桁以上多い。一方、ＥＩＳの出力画像の更新周波数は、フレーム周波数と同じである。たとえば、１秒あたりのフレーム数を３０ｆｐｓとすれば、ＥＩＳの出力画像の更新周波数は３０Ｈｚ（更新周期は、３３．３ｍｓｅｃ）である。
【００８５】
ステップＳ２０２において、位置検出センサ４７からの出力の更新、すなわち、補正レンズ５５の位置情報が更新されたとする（ステップＳ２０２でＴｒｕｅ）。この場合、次のステップＳ２０３において、補正レンズ位置制御器４３は補正レンズの現在位置の情報を取得する。
【００８６】
その次のステップＳ２０４において、補正レンズ位置制御器４３は補正レンズ５５の位置調整の実行を示す変更フラグがセットされている否かを判定する。後述するように、ブランキング期間で最初に振れ検出センサ４１の出力が更新されたとき（ステップＳ２０９でＴｒｕｅ）に変更フラグがセットされる。
【００８７】
変更フラグがセットされている場合（ステップＳ２０４でＴｒｕｅ）、補正レンズ位置制御器４３は、手振れ量に応じて算出された補正レンズ５５の目標動作位置に位置調整量を加算することによって目標動作位置を変更する（ステップＳ２０５）。その後、変更フラグがクリアされる。変更フラグがセットされていない場合には、補正レンズ５５の目標動作位置は、手振れ量に応じて算出された値のままで変更されない。
【００８８】
次のステップＳ２０６において、補正レンズ位置制御器４３は、補正レンズ５５の目標動作位置と現在位置との偏差を演算し、この偏差を補償器４４に入力する。この結果、手振れの影響を打ち消すように補正レンズ５５の動作位置が制御される。さらに、露光期間と露光期間との間のブランキング期間内の比較的短期間で補正レンズの位置調整が実行される。その後、処理はステップＳ２０１に戻る。
【００８９】
一方、ジャイロセンサなどの振れ検出センサ４１からの出力の更新、すなわち、手振れ検出情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０７でＴｒｕｅ）。この場合、次のステップＳ２０８で、補正レンズ位置制御器４３は、検出された手振れ量に応じて算出された補正レンズ５５の目標動作位置を取得する。
【００９０】
次のステップＳ２０９において、補正レンズ位置制御器４３は、垂直同期信号Ｖｓｙｎｃなどの撮像タイミング信号８０の入力を受けたか否かに基づいて、ブランキング期間における最初の手振れ情報の更新であるか否かを判定する。ブランキング期間における最初の手振れ情報の更新でない場合（ステップＳ２０９でＦａｌｓｅ）、情報更新のイベント入力待ちの状態（ステップＳ２０１）に戻る。
【００９１】
ブランキング期間における最初の手振れ情報の更新である場合には（ステップＳ２０９でＴｒｕｅ）、以下のステップＳ２１０〜Ｓ２１２において位置調整量が設定される。
【００９２】
まず、補正レンズ位置制御器４３は、図５で概略を説明したように、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、水平方向の補正レンズの位置調整が必要と判断した場合には、補正レンズ５５の水平方向の適正位置を決定する（ステップＳ２１０）。同様に、補正レンズ位置制御器４３は、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、垂直方向の補正レンズの位置調整が必要と判断した場合には、補正レンズ５５の垂直方向の適正位置を決定する（ステップＳ２１１）。
【００９３】
上記のステップＳ２１０およびＳ２１１では、アクチュエータ４６は補正レンズ５５を垂直方向（Ｙ方向）と水平方向（Ｘ方向）に駆動可能であることを想定している。ステップＳ２１０の詳細については図７および図８を参照して後述する。ステップＳ２１１の詳細については図９および図１０を参照して後述する。
【００９４】
次のステップＳ２１２において、補正レンズ位置制御器４３は、補正レンズ５５の現在の動作位置から適正位置までの位置調整量を求める。なお、ステップＳ２１０でＸ方向位置調整が不要と判断された場合にはＸ方向の位置調整量の成分は０である。同様に、ステップＳ２１１でＹ方向位置調整が不要と判断された場合にはＹ方向の位置調整量の成分は０である。
【００９５】
その後、ステップ２１３において、補正レンズ位置制御器４３は、補正レンズ５５の位置調整を指示するための変更フラグをセットする。その後、処理はステップＳ２０１に戻る。
【００９６】
一方、ＥＩＳによる出力画像の位置情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０７でＦａｌｓｅ、ステップＳ２１４でＴｒｕｅ）。この場合、次のステップＳ２１５で、補正レンズ位置制御器４３は、ＥＩＳ位置情報８６（すなわち、撮影画像１１１に対するＥＩＳ出力画像１１２の位置を表す情報）を取得する。ＥＩＳ位置情報８６は、ステップＳ２１０およびＳ２１１において補正レンズの適正位置を決定する際に使用される。その後、処理はステップＳ２０１に戻る。
【００９７】
（３．図６のステップＳ２１０−水平方向の適正位置の決定）
以下、図６のステップＳ２１０における補正レンズ５５の水平方向の適正位置の決定方法について説明する。以下の説明では、具体的な数値例を挙げて説明するが、本実施形態はこの数値例に限定されるものでなく容易に一般化可能である。
【００９８】
また、以下の具体例では、図３で説明したＯＩＳ補正マージンＯＭＸ１，ＯＭＸ２，ＯＭＹ１，ＯＭＹ２、ＥＩＳ補正マージンＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２、撮影可能範囲１１０の中心に対する撮影画像１１１の中心の位置座標（Ｏｘ，Ｏｙ）、ならびに撮影画像１１１の中心に対する出力画像１１２の中心の位置座標（Ｅｘ，Ｅｙ）が用いられる。既に説明したように、ＯＩＳ補正マージンは、補正レンズなどの可動対象の現在の動作位置から動作限界までの間隔である動作マージンに対応している。撮影可能範囲１１０の中心に対する撮影画像１１１の中心の位置座標（Ｏｘ，Ｏｙ）は、補正レンズなどの可動対象の現在の動作位置に対応している。補正マージンおよび位置座標の値は、画角に基づく角度を単位として表される。
【００９９】
図７は、補正レンズの水平方向の位置調整方法を表形式で示す図である。
図３および図７を参照して、ＯＩＳの水平方向の補正範囲を−１．５°≦Ｏｘ≦１．５°とし、ＥＩＳの水平方向の補正範囲を−５．０≦Ｅｘ≦５．０とする。
【０１００】
図７の具体例においてＯＩＳの補正範囲は、（ａ）−１．５°≦Ｏｘ＜−１．０°、（ｂ）−１．０°≦Ｏｘ＜０．０°、（ｃ）０．０°≦Ｏｘ≦１．０°、（ｄ）１．０°＜Ｏｘ≦１．５°に４つの領域に区分される。上記（ａ）は、左端の補正マージンＯＭＸ２が閾値（０．５°）より小さい場合、すなわち、０．０°≦ＯＭＸ２＜０．５°に相当する。上記（ｂ）は、左端の補正マージンＯＭＸ２が閾値（０．５°）以上であり、かつ、撮影画像１１１が撮影可能範囲１１０に対して中央よりも左寄りである場合、すなわち、０．５°≦ＯＭＸ２＜１．５°に相当する。上記（ｃ）は、右端の補正マージンＯＭＸ１が閾値（０．５°）以上であり、かつ、撮影画像１１１が撮影可能範囲１１０に対して中央よりも右寄りである場合、すなわち、０．５°≦ＯＭＸ１≦１．５°に相当する。上記（ｄ）は、右端の補正マージンＯＭＸ１が閾値（０．５°）より小さい場合、すなわち、０．０°≦ＯＭＸ１＜０．５°に相当する。
【０１０１】
図７の具体例においてＥＩＳの補正範囲は、（ｅ）−５．０°≦Ｅｘ＜−４．０°、（ｆ）−４．０°≦Ｅｘ＜０．０°、（ｇ）０．０°≦Ｅｘ≦４．０°、（ｈ）４．０°＜Ｅｘ≦５．０°に４つの領域に区分される。上記（ｅ）は、左端の補正マージンＥＭＸ２が閾値（１．０°）より小さい場合、すなわち、０．０°≦ＥＭＸ２＜１．０°に相当する。上記（ｆ）は、左端の補正マージンＥＭＸ２が閾値（１．０°）以上であり、かつ、出力画像１１２が撮影画像１１１に対して中央よりも左寄りである場合、すなわち、１．０°≦ＥＭＸ２＜５．０°に相当する。上記（ｇ）は、右端の補正マージンＥＭＸ１が閾値（１．０°）以上であり、かつ、出力画像１１２が撮影画像１１１に対して中央よりも右寄りである場合、すなわち、１．０°≦ＥＭＸ１≦５．０°に相当する。上記（ｈ）は、右端の補正マージンＥＭＸ１が閾値（１．０°）より小さい場合、すなわち、０．０°≦ＥＭＸ１＜１．０°に相当する。
【０１０２】
まず、（ａ）左端のＯＩＳ補正マージンＯＭＸ２が閾値（０．５°）より小さい場合について説明する。この場合、（ｅ）左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）より小さい場合には、補正レンズ位置制御器４３は補正レンズの位置調整を行わない（すなわち、位置調整量＝０）。同じ側のＯＩＳ補正マージンとＥＩＳ補正マージンとが両方とも閾値よりも小さいために出力画像１１２の構図を変更することなく、補正レンズ５５の位置調整を行うことはできない。
【０１０３】
上記（ａ）の場合で、（ｆ）左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）以上であり、かつ、ＥＩＳの出力画像１１２が撮影画像１１１に対して中央よりも左寄りである場合について説明する。この場合、補正レンズ位置制御器４３は、ＥＩＳの出力画像１１２の構図を変化させずにかつ左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）未満とならない範囲で、左端のＯＩＳ補正マージンＯＭＸ２が閾値（０．５）以上となるように補正レンズ動作位置を調整する。この場合の補正レンズの左右方向の適正位置は、たとえば可動範囲の中央である。このとき、左端および右端のＯＩＳ補正マージンＯＭＸ１，ＯＭＸ２が互いに等しくなる。
【０１０４】
上記（ａ）の場合で、（ｇ）（ｈ）左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）以上であり、かつ、ＥＩＳの出力画像１１２が撮影画像１１１に対して中央よりも右側（０．０°≦Ｅｘ≦５．０°）である場合について説明する。この場合は、右端のＯＩＳ補正マージンＯＭＸ１が閾値（０．５°）未満とならない範囲で上記（ａ）かつ（ｆ）の場合よりもさらに補正レンズを右方へ移動させても、ＥＩＳの出力画像１１２の構図を変化させずにかつ左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）未満とならないようにすることが可能である。したがって、この場合の補正レンズの左右方向の適正位置は、たとえば可動範囲の中央よりも右寄りの位置である。具体的に、補正レンズ位置制御器４３は、撮影画像１１１の中心の位置座標Ｏｘ＝１．０°に対応する動作位置を、補正レンズ５５の適正位置に設定する。
【０１０５】
次に、（ｂ）左端のＯＩＳ補正マージンＯＭＸ２が閾値（０．５°）以上であり、かつ、撮影画像１１１が撮影可能範囲１１０に対して中央よりも左寄りである場合について説明する。この場合、（ｅ）左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）より小さい場合には、補正レンズ位置制御器４３は補正レンズの位置調整を行わない。左端のＥＩＳ補正マージンＥＭＸ２をより大きくしようとすると、補正レンズ５５を左方へ移動させる必要があるが、そうすると左端のＯＩＳ補正マージンＯＭＸ２が閾値（０．５°）未満となる可能性があるからである。
【０１０６】
上記（ｂ）の場合で、（ｆ）（ｇ）左端のＥＩＳ補正マージンＥＭＸ２および右端のＥＩＳ補正マージンＥＭＸ１のどちらも閾値（１．０）以上の場合は、補正レンズの動作位置を調整する必要はない。したがって、補正レンズの位置調整量は０である。
【０１０７】
上記（ｂ）の場合で、（ｈ）右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）より小さい場合には、右端のＯＩＳ補正マージンＯＭＸ１が閾値（０．５°）未満とならない範囲で補正レンズ５５を現在の動作位置よりも右方へ移動させることによって、右端のＥＩＳ補正マージンＥＭＸ１を閾値（１．０°）以上にすることができる。具体的に、この場合の補正レンズの左右方向の適正位置は、たとえば可動範囲の中央である。このとき、左端および右端のＯＩＳ補正マージンＯＭＸ１，ＯＭＸ２が互いに等しくなる。
【０１０８】
次に、（ｃ）右端のＯＩＳ補正マージンＯＭＸ１が閾値（０．５°）以上であり、かつ、撮影画像１１１が撮影可能範囲１１０に対して中央よりも右寄りである場合について説明する。この場合、（ｅ）左端のＥＩＳ補正マージンＥＭＸ２が閾値（１．０°）より小さい場合には、左端のＯＩＳ補正マージンＯＭＸ２が閾値（０．５°）未満とならない範囲で補正レンズ５５を現在の動作位置よりも左方へ移動させることによって、左端のＥＩＳ補正マージンＥＭＸ２を閾値（１．０°）以上にすることができる。具体的に、この場合の補正レンズの右左方向の適正位置は、たとえば可動範囲の中央である。このとき、右端および左端のＯＩＳ補正マージンＯＭＸ１，ＯＭＸ２が互いに等しくなる。
【０１０９】
上記（ｃ）の場合で、（ｆ）（ｇ）右端のＥＩＳ補正マージンＥＭＸ１および左端のＥＩＳ補正マージンＥＭＸ２のどちらも閾値（１．０）以上の場合は、補正レンズの動作位置を調整する必要はない。したがって、補正レンズの位置調整量は０である。
【０１１０】
上記（ｃ）の場合で、（ｈ）右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）より小さい場合には、補正レンズ位置制御器４３は補正レンズの位置調整を行わない。右端のＥＩＳ補正マージンＥＭＸ１をより大きくしようとすると、補正レンズ５５を右方へ移動させる必要があるが、そうすると右端のＯＩＳ補正マージンＯＭＸ１が閾値（０．５°）未満となる可能性があるからである。
【０１１１】
次に、（ｄ）右端のＯＩＳ補正マージンＯＭＸ１が閾値（０．５度）より小さい場合について説明する。この場合、（ｈ）右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）より小さい場合には、補正レンズ位置制御器４３は補正レンズの位置調整を行わない（すなわち、位置調整量＝０）。同じ側のＯＩＳ補正マージンとＥＩＳ補正マージンとが両方とも閾値よりも小さいために出力画像１１２の構図を変更することなく、補正レンズ５５の位置調整を行うことはできない。
【０１１２】
上記（ｄ）の場合で、（ｇ）右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）以上であり、かつ、ＥＩＳの出力画像１１２が撮影画像１１１に対して中央よりも右寄りである場合について説明する。この場合、補正レンズ位置制御器４３は、ＥＩＳの出力画像１１２の構図を変化させずにかつ右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）未満とならない範囲で、右端のＯＩＳ補正マージンＯＭＸ１が閾値（０．５）以上となるように補正レンズ動作位置を調整する。この場合の補正レンズの右左方向の適正位置は、たとえば可動範囲の中央である。このとき、右端および左端のＯＩＳ補正マージンＯＭＸ２，ＯＭＸ１が互いに等しくなる。
【０１１３】
上記（ｄ）の場合で、（ｅ）（ｆ）右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）以上であり、かつ、ＥＩＳの出力画像１１２が撮影画像１１１に対して中央よりも左側（−５．０°≦Ｅｘ≦０．０°）である場合について説明する。この場合は、左端のＯＩＳ補正マージンＯＭＸ２が閾値（０．５°）未満とならない範囲で上記（ｄ）かつ（ｇ）の場合よりもさらに補正レンズを左方へ移動させても、ＥＩＳの出力画像１１２の構図を変化させずにかつ右端のＥＩＳ補正マージンＥＭＸ１が閾値（１．０°）未満とならないようにすることが可能である。したがって、この場合の補正レンズの右左方向の適正位置は、たとえば可動範囲の中央よりも左寄りの位置である。具体的に、補正レンズ位置制御器４３は、撮影画像１１１の中心の位置座標Ｏｘ＝−１．０°に対応する動作位置を、補正レンズ５５の適正位置に設定する。
【０１１４】
図８は、補正レンズの水平方向の位置調整手順を示すフローチャートである。図８のフローチャートは、図７の表に対応したものであり、図７の表と同じ数値例が用いられている。以下の説明では、図７の表に対応付けて（ａ）〜（ｈ）の符号が付されている。
【０１１５】
図８の各ステップは、図１に示すＥＩＳ位置情報８６が補正レンズ位置制御器４３によって受信されたら（ステップＳ３０１でＴｒｕｅ）実行される。位置調整手順は、補正レンズ５５の動作位置（すなわち、撮影可能範囲１１０の中心に対する撮影画像１１１の中心のＸ方向の変位Ｏｘ）に応じて以下の４つの処理に大きく分類される。
【０１１６】
（ａ）ＯＭＸ２＜０．５°（ステップＳ３０２でＴｒｕｅ）の場合は、ＥＭＸ２＞５．０°（ステップＳ３０３でＴｒｕｅ、（ｇ），（ｈ））であればＯＭＸ２＝２．５°が適正位置として設定される（ステップＳ３０４）。１．０°≦ＥＭＸ２≦５．０°（ステップＳ３０３でＦａｌｓｅ、ステップＳ３０５でＴｒｕｅ、（ｆ））であればＯＭＸ２＝１．５°が適正位置として設定される（ステップＳ３０６）。ＥＭＸ２＜１．０°であれば、補正レンズの位置調整は行われない（すなわち、位置調整量は０である）。
【０１１７】
（ｂ）１．５°＜ＯＭＸ１≦２．５°（ステップＳ３０２でＦａｌｓｅ、ステップＳ３０７でＴｒｕｅ）の場合は、ＥＭＸ１＜１．０°（ステップＳ３０８でＴｒｕｅ、（ｈ））であればＯＭＸ１＝１．５°が適正位置として設定される（ステップＳ３０９）。ＥＭＸ１≧１．０°であれば、補正レンズの位置調整は行われない。
【０１１８】
（ｃ）１．５°≦ＯＭＸ２≦２．５°（ステップＳ３０２，Ｓ３０７でＦａｌｓｅ、ステップＳ３１０でＴｒｕｅ）の場合は、ＥＭＸ２＜１．０°（ステップＳ３１１でＴｒｕｅ、（ｅ））であればＯＭＸ２＝１．５°が適正位置として設定される（ステップＳ３１２）。ＥＭＸ２≧１．０であれば、補正レンズの位置調整は行われない。
【０１１９】
（ｄ）ＯＭＸ１＜０．５°（ステップＳ３０２，Ｓ３０７，Ｓ３１０でＦａｌｓｅ、ステップＳ３１３でＴｒｕｅ）の場合は、ＥＭＸ１＞５．０°（ステップＳ３１４でＴｒｕｅ、（ｅ），（ｆ））であればＯＭＸ１＝２．５°が適正位置として設定される（ステップＳ３１５）。１．０≦ＥＭＸ１≦５．０°（ステップＳ３１４でＦａｌｓｅ、ステップＳ３１６でＴｒｕｅ、（ｇ））であればＯＭＸ１＝１．５°が適正位置として設定される（ステップＳ３１７）。ＥＭＸ２＜１．０°であれば、補正レンズの位置調整は行われない。
【０１２０】
上記（ａ）の場合についてまとめると、左端のＯＩＳ補正マージンＯＭＸ２が第１の閾値（０．５）未満の場合、同じ左端のＥＩＳ補正マージンＥＭＸ２が第２の閾値（１．０）以上であれば、補正レンズ位置制御器４３は、左端のＯＩＳ補正マージンＯＭＸ２をより大きくするように位置調整量を設定する。この場合、左端のＥＩＳ補正マージンＥＭＸ２が大きい程、段階的にまたは連続的に左端のＯＩＳマージンＯＭＸ２を大きくするように位置調整量が設定される。上記（ｄ）の右端のＯＩＳ補正マージンＯＭＸ１および右端のＥＩＳ補正マージンについても同様である。
【０１２１】
上記（ｃ）の場合についてまとめると、左端のＥＩＳ補正マージンＥＭＸ２が上記第２の閾値（１．０）未満であり、同じ左端のＯＩＳ補正マージンＯＭＸ２が上記第１の閾値（０．５）より大きい値である第３の閾値（１．５）より大きい場合に、補正レンズ位置制御器４３は、左端のＯＩＳ補正マージンＯＭＸ２をより小さくするように位置調整量を設定する。上記（ｂ）の右端のＯＩＳ補正マージンＯＭＸ１および右端のＥＩＳ補正マージンについても同様である。
【０１２２】
（４．図６のステップＳ２１１−垂直方向の適正位置の決定）
図９は、補正レンズの垂直方向の位置調整方法を表形式で示す図である。図１０は、補正レンズの垂直方向の位置調整手順を示すフローチャートである。図９に示す表は図７に示す表に対応したものであり、図１０のフローチャートは図８のフローチャートに対応したものである。図９および図１０に示す垂直方向の適正位置の決定方法は、図７および図８で説明した水平方向の適正位置の決定方法と同様であるので、詳しく説明を繰り返さない。
【０１２３】
具体的に、図７および図８において、水平を垂直に変更し、左端のＯＩＳ補正マージンＯＭＸ２を下端のＯＩＳ補正マージンＯＭＹ２に変更し、右端のＯＩＳ補正マージンＯＭＸ１を上端のＯＩＳ補正マージンＯＭＹ１に変更し、撮影可能範囲１１０の中心に対する撮影画像１１１の中心の水平方向の変位Ｏｘを垂直方向の変位Ｏｙに変更する。さらに、図７において、左端のＥＩＳ補正マージンＥＭＸ２を下端のＥＩＳ補正マージンＥＭＹ２に変更し、右端のＥＩＳ補正マージンＥＭＸ１を上端のＥＩＳ補正マージンＥＭＹ１に変更し、撮影画像１１１の中心に対する出力画像１１２の中心の水平方向の変位Ｅｘを垂直方向の変位Ｅｙに変更する。以上の変更によって図９の表および図１０のフローチャートは得られる。
【０１２４】
［手振れ補正処理のタイミング図］
図１１は、第１の実施形態の電子機器における手振れ補正処理のタイミング図である。図１１では上から順に、垂直同期信号Ｖｓｙｎｃの出力タイミング、ジャイロセンサから出力される手振れ情報の更新タイミング、ホールセンサから出力される補正レンズ５５の位置情報の更新タイミング、ＥＩＳによる画像補正の更新タイミングが示されている。図１０では、さらに、実際の手振れ量、補正レンズの目標位置、補正レンズの位置、ＥＩＳによる画面のオフセット量、撮影タイミング、ＥＩＳの処理手順が順に示されている。以下、図１の補正レンズ位置制御器４３の動作について総括的に説明する。
【０１２５】
図１および図１１を参照して、フレームブランキング期間内の時刻ｔ１，ｔ５，ｔ９に垂直同期信号Ｖｓｙｎｃが撮像素子５０から出力される。垂直同期周期（「フレーム期間」とも称する）と同じ周期でＥＩＳによって画面位置（オフセット）が更新される。１秒当たりのフレーム数をたとえば３０ｆｐｓとする。そうすると、垂直同期信号の周波数すなわちＥＩＳによる補正の更新周波数は、たとえば、３０Ｈｚ（垂直同期周期は３３．３ｍｓｅｃ）である。３０ｆｐｓの場合の露光期間はたとえば約２５ｓｅｃであり、フレームブランキング期間は約８ｍｓｅｃである。上記の露光期間とは、最初のラインの露光が開始されてから最後のラインの露光が終了するまでの時間をいう。
【０１２６】
ジャイロセンサなどの振れ検出センサ４１の出力信号の更新周波数は、たとえば、１ＫＨｚ（更新周期は、１ｍｓｅｃ）である。ホールセンサなどの位置検出センサ４７の出力信号の更新周波数は、たとえば、２０ＫＨｚ（更新周期は、５０μｓｅｃ）である。なお、図１１に示す更新タイミングは模式的なものであって、上記の周期を正確に反映したものではない。
【０１２７】
フレームＡでは、時刻ｔ２から時刻ｔ３において第１ラインの露光が行われる。順次各ラインの露光が行われ、露光後に当該ラインのデータの読の出しが行われる。時刻ｔ４に全ラインのデータ読み出し（すなわち、画像の取り込み１４０）が終了する。時刻ｔ４から時刻ｔ６までがフレームブランキング期間である。
【０１２８】
時刻ｔ４において、フレームＡの画像の取り込み１４０が終了すると、ＥＩＳモジュール６２は、先読みしたフレームの画像データと比較することによって被写体の動き１４１を検出し、続いてＥＩＳによって補正された画像の描画１４２および表示１４３を実行する。なお、ここで、表示される画像は、フレームＡの１つ前のフレームの画像である。
【０１２９】
次のフレームＢでは、時刻ｔ６から時刻ｔ７において第１ラインの露光が行われ、露光後に当該ラインのデータの読み出しが行われる。順次各ラインの露光が行われ、時刻ｔ８に全ラインのデータ読み出し（すなわち、画像の取り込み１４５）が終了する。時刻ｔ８から時刻ｔ１０までがフレームブランキング期間である。
【０１３０】
時刻ｔ８において、フレームＢの画像の取り込み１４５が終了すると、ＥＩＳモジュール６２は、先読みしたフレームＡの画像データと比較することによって被写体の動き１４１を検出し、続いてＥＩＳによって補正されたフレームＡの画像の描画１４２および表示１４３を実行する。
【０１３１】
時刻ｔ４から時刻ｔ６までのブランキング期間のうち最初に手振れ情報が更新された時刻ｔ２２において（図６のステップＳ２０９でＴｒｕｅ）、補正レンズ位置制御器４３は、時刻ｔ２１で読み出されたＥＩＳ位置情報８６と（ステップＳ２１５）、ホールセンサで読み出された補正レンズの動作位置とに基づいて補正レンズ５５の位置調整量を決定する（ステップＳ２１２）。
【０１３２】
補正レンズ位置制御器４３は、次のホールセンサの位置情報の更新タイミングで（時刻ｔ２２と同じ）、位置調整量を補正レンズ５５の目標動作位置に加算することによって、新たな目標動作位置を設定する（ステップＳ２０５）。この新たな目標動作位置に基づいて補正レンズ５５の動作位置のフィードバック制御が実行される（ステップＳ２０６）。
【０１３３】
ここで、第１の実施形態の場合には、算出された位置調整量の全体が目標動作位置に一度で加算される点に特徴がある。このために、目標動作位置が急激に変化し、補正レンズ５５の位置制御のセトリング時間が比較的長くかかる。ただし、補正レンズ５５の位置調整をブランキング期間内に終了するようにすれば、補正レンズ５５の動きが露光に影響を及ぼすことはない。もし、位置調整量が予め定められた上限を超えているためにセトリング期間がブランキング期間よりも長くなる場合には、位置調整量を複数部分に分割し、複数のブランキング期間の各々で各分割部分だけ補正レンズ５５を位置調整するようにしてもよい。
【０１３４】
なお、補正レンズ５５の位置調整のために出力画像の構図が変化することになるが、この構図の変化は、次の時刻ｔ１１におけるＥＩＳによる出力画像１１２の更新によって吸収される。したがって、ＥＩＳおよびＯＩＳが動作可能である限り、出力画像１１２の構図の変化は生じない。
【０１３５】
［各種パラメータの調整］
これまでの説明したＯＩＳおよびＥＩＳの実施にあたり、種々の制御パラメータを最適に調整する必要がある。調整すべき制御パラメータとして、ＥＩＳの補正余裕領域（撮影画像から出力画像を除いた部分）のメモリサイズ、図７〜図１０で説明した位置調整手順における閾値および補正レンズの適正位置の設定値、ならびに補償器４４として用いられるＰＩＤ補償器のパラメータなどがある。
【０１３６】
これらの制御パラメータの設定値は、撮影意図およびユーザ技量の程度を考慮した動作モードに応じて異なる。たとえば、カメラを手持ちして行うポートレート撮影の場合は、歩き撮りの場合に比べて手振れ振幅は小さい。カメラ撮影の熟練者は初心者に比べて手振れ量は小さい。したがって、以下で説明する調整作業では、カメラの動作モードごとに各パラメータの設定値が定められる。さらに、動作モードごとに再現性が得られるように加振器１２１の加振パターンが決定される。
【０１３７】
図１２は、制御パラメータの調整方法について説明するための図である。図１２（Ａ）を参照して、調整対象の製品１２２が加振器１２１の加振テーブルに固定される。加振器１２１は、加振パターンデータ１２０に従って加振テーブルを振動させる。調整対象の製品１２２に設けられたＯＩＳモジュール４０は、補正レンズの位置情報８１（ＯＩＳ＿Ｘ，ＯＩＳ＿Ｙ）とＥＩＳ位置情報８６（ＥＩＳ＿Ｘ，ＥＩＳ＿Ｙ）とを、補正調整レポートとして試験制御部としてのテスト端末１２３に出力する。テスト端末１２３は、調整対象の製品１２２の各制御パラメータを最適値に調整する。この際、ＥＩＳ補正範囲およびＯＩＳ補正範囲を逸脱しないようにしながら、ＥＩＳに必要な補正余裕領域をできるだけ小さくするように各制御パラメータが設定される。
【０１３８】
図１２（Ｂ）は、補正調整レポートの一例を示す図である。垂直同期周期（Ｖｓｙｎｃ）ごとに調整対象の製品１２２から出力された補正レンズの位置情報８１（ＯＩＳ＿Ｘ，ＯＩＳ＿Ｙ）とＥＩＳ位置情報８６（ＥＩＳ＿Ｘ，ＥＩＳ＿Ｙ）とが示されている。ＯＩＳが補正限界に達した場合（すなわち、補正範囲を逸脱した場合）は、エラー（ＥＲＲ）の欄に「Ｏ」と表示される。ＥＩＳが補正限界に達した場合（すなわち、補正範囲を逸脱した場合）は、エラー（ＥＲＲ）の欄に「Ｅ」と表示される。
【０１３９】
以下、調整手順の例を具体的に説明する。以下の調整手順は、手動で行ってもよいし、テスト端末１２３が自動で行うようにしてもよい。
【０１４０】
（１）  第一段階として、ＯＩＳモジュール単体で調整を行い、ＯＩＳによる補正水準を確認する。具体的には以下のとおりである。
【０１４１】
（１．１）  ＯＩＳ単体で、ＯＩＳの各制御パラメータを調整する。ＯＩＳモジュール４０の補償器４４としてＰＩＤ補償器を使用している場合は、ＰＩＤ補償器のパラメータ（すなわち、比例ゲイン、積分ゲイン、微分ゲイン）を一時的に決定する。
【０１４２】
（１．２）  電子機器３０Ａがスマートフォンの場合にはＯＩＳの補正範囲は狭いため、多くの加振条件（ユースケース）において補正範囲の逸脱が避けられない。そこで、本実施形態で説明した補正レンズ５５の位置調整法を適用しない場合、ＯＩＳ補正範囲の逸脱の回数を上記の補正調整レポートを利用して加振パターン毎に記録しておく。以後の調整によって、ＯＩＳ補正性能がかえって劣化する結果とならないようにする。
【０１４３】
（２）  第二段階として、ＥＩＳ調整範囲の初期値を決定する。具体的には以下の手順による。
【０１４４】
（２．１）  ＥＩＳモジュール単体で調整を行い、ＥＩＳの補正余裕領域をどこまで広げれば、ＥＩＳ補正範囲の逸脱が起こらないかを確認する。ＥＩＳの補正範囲の初期値を決定する。
【０１４５】
（２．２）  （２．１）の過程において、上記の補正調整レポートを利用することができる。ＥＩＳの補正範囲（すなわち、補正余裕領域の割合）を変更しながら、加振パターンデータ１２０に基づいて調整対象の製品１２２対して振動を与え、その結果を補正調整レポートによって確認する。以上を繰り返すことによってＥＩＳ補正範囲の初期値を決定する。
【０１４６】
（２．３）  ＥＩＳ調整範囲を５０％としてもＥＩＳ補正範囲の逸脱が発生する場合は、ＥＩＳ補正範囲の初期値を５０％とする。この５０％の補正範囲を逸脱することがないように、以下の調整を実施する。
【０１４７】
（３）  第三段階として、本実施形態で説明した位置調整手順における各種パラメータ（閾値および補正レンズの適正位置の設定値）を決定する。加振パターンごとに上記の補正調整レポートを取得し、ＥＩＳ補正マージンに最も大きくなるように各種パラメータを設定する。
【０１４８】
（４）  第四段階として、ＥＩＳ補正範囲を上記の第二段階で決定した値よりも小さくする。具体的には以下の手順による。
【０１４９】
（４．１）  ＥＩＳ補正範囲をより小さくした場合において、加振パターンごとに上記の補正調整レポートを取得する。ＥＩＳ補正範囲の逸脱が生じずに最も小さいＥＩＳ調整範囲の設定値を見つける。
【０１５０】
（４．２）  適宜、上記（３）項と（４．１）項とを繰り返す。
（４．３）  ＯＩＳモジュール４０の補償器４４のパラメータを適宜見直す。
【０１５１】
ここで、たとえば、補償器４４としてＰＩＤ補償器を使用している場合、出力画像を目視で評価した結果として、ＯＩＳの補正による画面のドリフトが大きすぎる、もしくは、ＯＩＳによるドリフトをＥＩＳが補正している量が大きすぎると判断できる場合、残留偏差の解消を遅らせるようにＰＩＤ補償器のパラメータを調整する。このパラメータを変更した場合は、上記（１．２）項から調整をやり直す。
【０１５２】
（５）  第五段階として、ＯＩＳ補正レンズ位置調整値を決定する。加振パターンにより調整値を異ならせる。製品の用途、ユーザの撮影技量の想定などに基づき、製品で用いるモード数を決定したり、各モード毎の調整値を選択したりする。
【０１５３】
［ファインダ画面へのユーザガイドの表示］
本実施形態の電子機器３０Ａをユーザが使用する際に、ユーザが意識的にＥＩＳ補正範囲の逸脱を防ぐように操作することができるように、ファインダ画面にユーザガイドを表示することを提案する。
【０１５４】
図１３は、ファインダ画面に表示されたユーザガイドについて説明するための図である。
【０１５５】
図１３（Ａ）を参照して、画像表示コントローラ６４は、ファインダ画面１１６に、被写体２９と、ファインダの中心マーク１１７と、ユーザガイド１１８と、ＥＩＳによる補正量の最大値１１９とを表示している。ユーザガイド１１８およびＥＩＳによる補正量の最大値１１９は、ＥＩＳモジュール６２からの指示に基づいて画像表示コントローラ６４が表示している。
【０１５６】
上記のユーザガイド１１８は、ＥＩＳ位置情報８６に基づいて生成することができる。具体的に、ファインダ画面１１６は図３の出力画像１１２に対応し、中心マーク１１７は図３の出力画像１１２の中心１１５に対応し、ユーザガイド１１８は図３の撮影画像１１１の中心１１４に対応する。初期状態（手振れの無い状態）では、ユーザガイド１１８は中心マーク１１７に一致する。
【０１５７】
図１３（Ｂ）を参照して、手振れが生じたために、手振れ量に応じてユーザガイド１１８が中心マーク１１７の右上方向にずれた状態を示している。ユーザは中心マーク１１７をユーザガイド１１８に一致させるようにカメラの位置を調整することによって手振れをなくすことができる。
【０１５８】
図１３（Ｃ）を参照して、ＥＩＳの補正範囲を逸脱した場合には、ユーザガイド１１８の表示態様を変更することによってユーザに警告する。
【０１５９】
上記の構成によれば、手振れ状況を示すユーザガイドによりユーザが意識的に手振れを抑制することができるので、画質の向上が図られる。また、ＥＩＳの補正範囲の逸脱の頻度およびＥＩＳ補正マージンをユーザが認識することができるようになるので、自身の撮影技量および用途（手持ちポートレート、歩き撮りなど）に応じて、ＥＩＳの補正余裕領域の割合をユーザが選択できるようになる。この結果、ＥＩＳの補正範囲を削減できた場合には、メモリやＣＰＵおよびバス帯域などのシステムリソースを他のアプリケーション処理で利用できるようになる。
【０１６０】
ここで、人間による手振れは概ね１０Ｈｚ以下である。低い周波数の手振れは大きな振幅を有し、高い周波数の手振れは小振幅を有している。ＯＩＳは高い周波数帯域で良好な補正特性を有しており、一方、ＥＩＳは低い周波数帯域で良好な補正特性を有している。上記のようにユーザガイド１１８をファインダ画面１１６に表示させることによって、概ね１Ｈｚ以下の手振れを意識的に抑制することができる。これによって、ＥＩＳの補正範囲のために使用するメモリ消費を減らすことができる。
【０１６１】
［第１の実施形態の効果］
本実施形態によれば、補正レンズの動作位置の情報とＥＩＳの出力画像の位置情報とに基づいて、ＯＩＳおよびＥＩＳの補正マージンをできるだけ大きくするように、補正レンズの最適な動作位置が決定される。したがって、ＥＩＳの出力画像の構図をできるだけ変更することなくＯＩＳとＥＩＳとを継続して実行可能なカメラモジュールの制御装置を提供することができる。また、補正レンズの動作位置をＥＩＳの出力画像の位置情報に基づいて最適化することによって、ＥＩＳの補正範囲のために使用するメモリ消費を減らすことができ、結果として消費電力および演算量を削減することができる。
【０１６２】
特に、近年の動画撮影では４Ｋなどの高解像度化に伴い、カメラ装置の電力削減が急務となっている。消費電力を削減する一つの方策として、ＥＩＳの補正範囲を狭めることが有効である。本実施の形態によれば、ＯＩＳとＥＩＳとを継続して実行することにより、出力画像の画質を劣化させることなく、消費電力を削減することができる。
【０１６３】
＜第２の実施形態＞
ＯＩＳモジュール４０は、スマートフォンなどの場合、カメラモジュール３１に組み込まれる例が多い。このため、ＯＩＳモジュール４０以外のカメラモジュール３１の構成を変更しない場合、ＯＩＳモジュール４０は、垂直同期信号Ｖｓｙｎｃなどの撮像タイミング信号８０を利用せずに補正レンズ５５の位置調整を実行する必要がある。
【０１６４】
そこで、第２の実施形態では、撮像素子５０からＯＩＳモジュール４０の補正レンズ位置制御器４３への撮像タイミング信号８０（たとえば、垂直同期信号Ｖｓｙｎｃ）の伝達を不要として、撮像タイミングとは非同期に補正レンズ５５の位置調整を行う場合について説明する。
【０１６５】
なお、本実施形態においてもＯＩＳのための可動対象としえ補正レンズを例に挙げて説明するが、補正レンズ以外の可動対象、たとえば、イメージセンサをシフトさせるセンサシフト方式のＯＩＳにも本実施形態を適用可能である。
【０１６６】
［電子機器の全体構成］
図１４は、第２の実施形態の電子機器３０Ｂの構成の一例を示すブロック図である。図１４のブロック図は第１の実施形態の図１に対応するものである。
【０１６７】
図１４の電子機器３０Ｂは、撮像素子５０からＯＩＳモジュール４０の補正レンズ位置制御器４３に撮像タイミング信号８０が伝達されない点で図１の電子機器３０Ａと異なる。したがって、ＯＩＳモジュール４０の補正レンズ位置制御器４３の動作が第１の実施形態の場合と異なる。図１４のその他の点は図１の場合と同じであるので同一または相当する場合には同一の参照符号を付して説明を繰り返さない。
【０１６８】
［補正レンズ位置制御器４３の動作］
補正レンズ位置制御器４３の動作、特に図４の位置調整器７５の動作は、補正レンズ５５の適正位置を決定するまでは、第１の実施形態の場合と同様である。第２の実施形態では、現在位置から適正位置までの位置調整量が、ホールフィードバック周期（すなわち、ホールセンサの出力の更新周期）ごとの複数の部分量に分割される。そして、ホールフィートバック周期ごとに、各部分量（「分割補正量」と称する）が手振れ量に基づく目標動作位置に加算されることによって新たな目標動作位置が生成される。これにより、補正レンズ５５は、撮像タイミングとは無関係に適正位置の方向に一定速度で移動しながら、ＯＩＳによる手振れ補正を行うことになる。
【０１６９】
補正レンズ５５の移動速度は、求められる画質、ＣＩＳの画素数、および光学系の仕様に依存する。具体的な数値例として図３で説明した以下の場合を検討する。
【０１７０】
光学系の仕様として、光学系の焦点距離を３５ｍｍ換算で２８ｍｍを想定する。この場合、対角画角：７５°、水平画角６５°、垂直画角４８°に相当する。ＣＩＳの仕様を１３Ｍピクセル（水平方向４２００ピクセル、垂直方向３１２０ピクセル）とする。上記の画角と対応付けると、水平方向および垂直方向の１°あたり６５ピクセルになる。１秒当たりのフレーム数を３０ｆｐｓとする。そうすると、垂直同期周期は３３．３ｍｓｅｃである。
【０１７１】
求められる画質を１フレームあたり５ピクセルまでの水平方向および垂直方向の歪みとする。この歪みの大きさは補正レンズの位置調整に要する時間と画質に関係するので、撮影用途などから選択もしくは調整できるようにする。
【０１７２】
具体的には、１°の移動に要する時間は、約３３．３×６５／５＝４３３［ｍｓｅｃ］である。１°移動する場合の１フレームあたりの移動角は、１°×５／６５＝０．０７７°である。補正レンズの移動を継続する時間である調整保留期間は、任意に設定可能であるが、たとえば、１０〜１５フレーム（３００〜５００［ｍｓｅｃ］）とする。
【０１７３】
このように第２の実施形態では、複数の露光期間と複数のブランキング期間とを含めた複数のフレーム期間を位置調整に要する位置調整期間とし、この位置調整期間に応じて位置調整量が複数の部分量に分割される。そして、補正レンズ位置制御器４３は、各部分量を目標動作位置に加算することによって得られる変更された目標動作位置に補正レンズの現在の動作位置が一致するように、補正レンズ５５の動作位置を制御する。これによって、複数のフレーム期間をかけて補正レンズ５５の動作位置が位置調整量だけ徐々に変更される。
【０１７４】
なお、補正レンズ５５の移動によって、ローリングシャッタ歪みなどがＯＩＳでは補正されずに残るが、この歪みをＥＩＳによって補正するようにしてもよい。
【０１７５】
［ＯＩＳモジュールの動作の詳細］
以下、本実施形態の手振れ補正手順について説明する。以下の説明では、以下の数値例を前提としているが、本実施形態はこの数値例に限定されない。また、以下の説明では、アクチュエータ４６は補正レンズ５５を垂直方向（Ｙ方向）と水平方向（Ｘ方向）に駆動可能であることを想定している。
【０１７６】
具体的に、手振れ情報の更新周波数を１ＫＨｚ（更新周期は１ｍｓｅｃ）とする。補正レンズの位置情報の更新周波数２０ＫＨｚ（更新周期は５０μｓｅｃ）とする。ＥＩＳ位置情報の更新周波数を３０Ｈｚ（更新周期は３３．３ｍｓｅｃ）とする。ＣＩＳおよび光学系の仕様は上記したものと同じとする。垂直同期周期の３３．３ｍｓｅｃのうち露光期間を２５ｍｓｅｃとする。ホールセンサの出力信号の読み出しを１２ビットのＡＤＣで行うものとし、画角に対応付けることにより、垂直方向および水平方向１°あたり、１０００［ＬＳＢ］とする。
【０１７７】
上記の数値例の場合において、補正レンズの現在位置から適正位置までの位置調整量に基づいて、１フレームあたりの移動角が求まる。この場合の、ホールフィードバック周期（「ホールＦＢ周期」とも記載する）あたりの補正レンズの移動量をピクセル単位で表すと、
（１フレームの移動角）×６５×（ホールＦＢ周期）／（露光期間）    …(1)
と表される。また、ホールフィードバック周期あたりの補正レンズの移動量をＬＳＢ単位で表すと、
（１フレームの移動角）×１０００×（ホールＦＢ周期）／（露光期間）    …(2)
と表される。
【０１７８】
図１５は、第２の実施形態の場合の手振れ補正手順を示すフローチャートである。図１５に示す手順では、ホールセンサなどの位置検出センサ４７の出力信号が更新されるタイミングで（すなわち、ホールフィードバック周期ごとに）、補正レンズ５５の位置調整のための分割補正量ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算される。これによって、新たな目標位置がｇｘ，ｇｙが設定される。
【０１７９】
図１４および図１５を参照して、ステップＳ２００では、調整保留期間の経過を計測するためのカウンタがクリアされる。
【０１８０】
ステップＳ２０１では、補正レンズ位置制御器４３は、ホールセンサなどの位置検出センサ４７からの出力情報の更新、ジャイロセンサなどの振れ検出センサ４１からの出力情報の更新、またはＥＩＳによる出力画像の位置の更新を待つ。
【０１８１】
ステップＳ２０２において、位置検出センサ４７からの出力の更新、すなわち、補正レンズ５５の位置情報が更新されたとする（ステップＳ２０２でＴｒｕｅ）。この場合、次のステップＳ２０３において、補正レンズ位置制御器４３は補正レンズの現在位置の情報を取得する。現在位置はＸ座標、Ｙ座標を用いて［ＬＳＢ］を単位としてｐｘ，ｐｙで表される。
【０１８２】
その次のステップＳ２０５において、補正レンズ位置制御器４３は、手振れ量に応じて算出された補正レンズ５５の目標動作位置ｇｘ，ｇｙ［ＬＳＢ］に、補正レンズの位置調整のための分割補正量を加算することによって目標動作位置を変更する（ステップＳ２０５）。
【０１８３】
ここで、位置調整量および分割補正量は、調整保留期間が経過するごと（本実施形態では、カウンタで５００をカウントするごと）に設定される。ステップＳ２２０において、分割補正量はＸ座標、Ｙ座標を用いて［ＬＳＢ］を単位としてｄｘ，ｄｙで表される。
【０１８４】
次のステップＳ２０６において、補正レンズ位置制御器４３は、補正レンズ５５の目標動作位置ｇｘ，ｇｙと現在位置ｐｘ，ｐｙとの偏差Δｘ，Δｙを演算し、この偏差を補償器４４に入力する。この結果、補正レンズ５５の動作位置は、位置調整量が０でない場合には位置調整のために一定方向に移動しながら、手振れの影響を打ち消すように制御される。その後、処理はステップＳ２０１に戻る。
【０１８５】
一方、ジャイロセンサなどの振れ検出センサ４１からの出力の更新、すなわち、手振れ検出情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０７でＴｒｕｅ）。この場合、次のステップＳ２０８で、補正レンズ位置制御器４３は、検出された手振れ量に応じて算出された補正レンズ５５の目標動作位置を取得する。
【０１８６】
次のステップＳ２３０において、調整保留期間が終了したか否かが判定される。すなわち、カウンタのカウント値ｔｉｍｅｏｆｆが０以下であるか否かが判定される。なお、初回の実行では、ステップＳ２００でカウンタがクリアされているのでステップＳ２３０はＴｒｕｅとなる。
【０１８７】
調整保留期間が終了した場合（ステップＳ２３０でＴｒｕｅ）、以下のステップＳ２１０〜Ｓ２１２，Ｓ２２０，Ｓ２３１が実行される。
【０１８８】
具体的に、ステップＳ２１０において、補正レンズ位置制御器４３は、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、水平方向の補正レンズの位置調整が必要と判断した場合には、補正レンズ５５の水平方向の適正位置を決定する。ステップＳ２２０において、補正レンズ位置制御器４３は、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、垂直方向の補正レンズの位置調整が必要と判断した場合には、補正レンズ５５の垂直方向の適正位置を決定する。
【０１８９】
ステップＳ２１０の詳細については図７および図８で説明したとおりであり、ステップＳ２１１の詳細については図９および図１０で説明したとおりであるので説明を繰り返さない。また、ステップＳ２１０とＳ２２０とは並行して実行してもよいし、どちらを先に実行してもよい。
【０１９０】
次のステップＳ２１２において、補正レンズ位置制御器４３は、補正レンズ５５の現在の動作位置から適正位置までの位置調整量を求める。なお、ステップＳ２１０でＸ方向位置調整が不要と判断された場合にはＸ方向の位置調整量の成分は０である。同様に、ステップＳ２１１でＹ方向位置調整が不要と判断された場合にはＹ方向の位置調整量の成分は０である。
【０１９１】
その次のステップＳ２２０において、補正レンズ位置制御器４３は、ホールフィードバック周期ごとに分割された位置調整量である分割補正量ｄｘ，ｄｙ［ＬＳＢ］を算出する。計算式は前述の（２）式に示したとおりである。
【０１９２】
さらに、次のステップＳ２３１において、カウンタのカウント値ｔｉｍｅｏｆｆを５００に設定する。その後、処理はステップＳ２０１に戻る。
【０１９３】
上記のステップＳ２３０で調整保留期間が終了していない場合には（ステップＳ２３０でＦａｌｓｅ）、次のステップＳ２３２でカウンタのカウント値ｔｉｍｅｏｆｆが１つ減算された後に、処理がステップＳ２０１に戻る。調整保留期間の間は、既に設定された分割補正量に従って補正レンズの移動が継続しているので、新たに位置調整量が算出されることはない。
【０１９４】
一方、ＥＩＳによる出力画像の位置情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０７でＦａｌｓｅ、ステップＳ２１４でＴｒｕｅ）。この場合、次のステップＳ２１５で、補正レンズ位置制御器４３は、ＥＩＳ位置情報８６（すなわち、撮影画像１１１に対するＥＩＳ出力画像１１２の位置を表す情報）を取得する。ＥＩＳ位置情報８６は、ステップＳ２１０およびＳ２１１において補正レンズの適正位置を決定する際に使用される。その後、処理はステップＳ２０１に戻る。
【０１９５】
図１６は、図１５の手振れ補正手順の変形例を示すフローチャートである。図１６に示す制御手順では、ジャイロセンサなどの振れ検出センサ４１の出力信号が更新されるタイミングで（すなわち、ジャイロセンサの検出周期ごとに）、補正レンズ５５の位置調整のための分割補正量ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算される。これによって、新たな目標位置ｇｘ，ｇｙが設定される。
【０１９６】
具体的に図１６の制御手順では、図１５のステップＳ２０５は、手振れ情報の更新イベント（ステップＳ２０７でＴｒｕｅ）が生じたときに実行される一連の処理の最後に、すなわち、ステップＳ２３１，Ｓ２３２の後に実行される。図１６のその他の点は図１５の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
【０１９７】
なお、ジャイロセンサの検出周期のほうがホールフィードバック周期よりも長いので（１ＫＨｚ対２０ＫＨｚ）、ジャイロセンサの検出周期ごとに分割補正量を演算したほうが、演算の頻度を減らすことができる。また、ジャイロセンサの出力信号を演算するためのプロセッサのほうが、有効桁数の大きな演算に適したプロセッサを用いていると想定される。したがって、本質的な違いではないが、図１５の制御手順よりも、図１６の制御手順を用いたほうが望ましい。
【０１９８】
［第２の実施形態の効果］
本実施形態によれば、補正レンズの位置調整に撮像タイミング信号を必要としないので、ＯＩＳモジュール４０のソフトウェアを入れ替えるなどの最小限のシステム変更によって、補正レンズの位置の最適化を行うことができる。
【０１９９】
ただし、本実施形態の場合には、補正レンズの移動に要する時間が長くなるというディメリットがある。このため、ＯＩＳおよびＥＩＳが補正限界に達してしまい、その結果として画質を損なう可能性が高くなる。
【０２００】
＜第３の実施形態＞
［第３の実施形態の特徴］
本実施の形態のＯＩＳモジュール４０においても、第２の実施形態の場合と同様に、補正レンズの位置調整のために補正レンズを一定方向に移動させながら、手振れ量に基づく補正も同時に行う。ただし、本実施の形態の場合には、露光期間を含めた垂直同期周期内の期間を位置調整期間とする。そして、この位置調整期間をかけて補正レンズの動作位置を徐々に変更させることによって補正レンズの位置調整が完了するようにする。これによって、不要なセトリング期間が発生しないようにするとともに、ＯＩＳおよびＥＩＳが補正限界に達してしまうために画質を損なう可能性を低減することができる。
【０２０１】
上記の補正レンズの一定方向への移動によって、撮像素子５０によって撮影された撮影画像１１１には歪みが生じることになる。しかし、この歪みはローリングシャッタ歪みなどであるので、ＥＩＳによって補正することが可能である。逆に言えば、ＥＩＳによる補正を前提として露光期間中に補正レンズ５５を一定方向に移動させている。
【０２０２】
さらに、補正レンズの位置調整のための移動開始と停止とは、ブランキング期間に行われる。これによって、露光期間中には、一定方向に補正レンズが移動し、急激な速度変化はないので、補正レンズの移動によって生じる歪みは均一なものになる。この結果、ＥＩＳによる歪みの補正が容易になる。
【０２０３】
なお、露光期間中の補正レンズ５５の移動によって生じた画像の歪みをＥＩＳで確実に除去するためには、補正レンズ５５を一定方向に一定速度で移動させる方が望ましい。この場合、たとえば、撮像素子５０がローリングシャッタ方式のＣＭＯＳイメージセンサの場合には、長方形の輪郭を有する被写体の光学像は、平行四辺形に変形するか又は上下に伸長もしくは収縮する。このような形状の変化であれば、ＥＩＳによって容易に補正することができる。ただし、補正レンズ５５の移動によって画像に生じた歪みがＥＩＳによって補正できるか否かはＥＩＳモジュール６２の補正能力に依存することに注意すべきである。したがって、ＥＩＳモジュール６２の補正能力が優れていれば、位置調整のために補正レンズ５５を必ずしも一定速度で移動させる必要はない。
【０２０４】
［電子機器の全体構成］
以下、本実施形態の電子機器３０Ｃついて図面を参照して詳しく説明する。
【０２０５】
図１７は、第３の実施形態の電子機器３０Ｃの構成の一例を示すブロック図である。図１７のブロック図は第１の実施形態の図１に対応するものである。
【０２０６】
図１７の電子機器３０Ｃは、ＯＩＳモジュール４０の補正レンズ位置制御器４３からＥＩＳモジュール６２に、位置調整量の情報８３（すなわち、補正レンズ５５の位置調整に関する情報）が伝送される点で図１の電子機器３０Ａと異なる。
【０２０７】
位置調整量の情報８３は、移動補正処理部７２および歪み・輪郭補正処理部７３における補正のために利用される。これにより、補正レンズ５５の位置調整に起因した画像の歪みをＥＩＳモジュール６２が確実に補正できるようにする。もし、演算器７１において画面中での被写体の移動が確実に検出できるのであれば、位置調整量の情報８３は必ずしも必要でない。
【０２０８】
図１７の電子機器３０Ｂのその他の点は図１の電子機器３０Ａと同様であるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
【０２０９】
［手振れ補正処理のタイミング図］
図１８は、第２の実施形態の電子機器における手振れ補正処理のタイミング図である。図１８のタイミング図は図１１のタイミング図に対応するものである。各信号の更新周期は図１１の場合と同じと仮定している。なお、図１８に示す更新タイミングは模式的なものであって、例示した周期を正確に反映したものではない。
【０２１０】
図１７および図１８を参照して、フレームブランキング期間内の時刻ｔ１，ｔ５，ｔ９に垂直同期信号Ｖｓｙｎｃが撮像素子５０から出力される。垂直同期周期と同じ周期でＥＩＳによって画面位置（オフセット）が更新される。
【０２１１】
図１８の場合には、フレームブランキング期間中の時刻ｔ１からフレームブランキング期間中の時刻ｔ５の間で、補正レンズ５５がメカ端に衝突しないように、補正レンズ５５をメカニカルセンタ付近への移動が実行される。そして、この補正レンズ５５の移動に伴う画像の歪みおよび構図の変化は、時刻ｔ１０におけるＥＩＳによる出力画像１１２の更新によって吸収される。
【０２１２】
なお、手振れ補正性能の改善という目的から、補正レンズの移動に要する時間は、セトリング期間が問題とならない範囲で極力短いほうがいい。したがって、補正レンズの移動期間は、垂直同期信号の周期に等しいか同程度に設定される。また、露光期間中にバイアス成分が変化しないようにすることによりＥＩＳによる補正を容易にするために、手振れ補正成分に対するバイアス成分の生成および解除はフレームブランキング期間の始まりを表す信号（たとえば、垂直同期信号Ｖｓｙｎｃ）に基づいて行われる。
【０２１３】
具体例として、ＯＩＳの補正範囲（位置座標Ｏｘ，Ｏｙの変動範囲）を±１．５°とし、位置座標Ｏｘ，Ｏｙの各々が＋１．０°を超えたときまたは−１．０°未満となったとき、メカ端からメカニカルセンタに補正レンズを移動する制御を行うものとする。上記の位置座標（Ｏｘ，Ｏｙ）は図３で説明したように、撮影可能範囲１１０の中心１１３に対する撮影画像１１１の中心１１４の変位量である。
【０２１４】
上記の設定の場合、垂直露光周期（または露光期間）の間に画角で１度に対応する量だけ補正レンズを移動することになる。したがって、１サーボ制御周期（ホールフィードバック周期に対応する）ごとの補正レンズの移動量は、（全移動量：１．０°）×（ホールフィードバック周期）／（露光期間）となる。
【０２１５】
図３で説明した数値例を用いて、ＣＭＯＳイメージセンサの画像数を１３Ｍピクセル（４２００×３１２０ピクセル）とする。３５ｍｍ換算で焦点距離２８ｍｍの光学系において、対角画角を７５°、水平画角を６５°、垂直画角を４８°とする。この場合、垂直画角および水平画角の１度は約６５ピクセルに相当する。ホールセンサの読み出しを１２ビットのＡＤＣで行うものとし、垂直画角および水平画角の１度は約１０００ＬＳＢの読み出し信号に相当するものとする。
【０２１６】
上記の数値例を用いると、ホールフィードバック周期あたりの補正レンズの移動量をピクセル単位で表すと、
（全移動角）×６５×（ホールＦＢ周期）／（露光期間）    …(3)
と表される。また、ホールフィードバック周期あたりの補正レンズの移動量をＬＳＢ単位で表すと、
（全移動角）×１０００×（ホールＦＢ周期）／（露光期間）    …(4)
と表される。
【０２１７】
たとえば、１秒あたりのフレーム数を３０ｆｐｓとすれば、ＥＩＳの出力画像の更新周波数は３０Ｈｚ（更新周期は、３３．３ｍｓｅｃ）である。上記の数値例では、３１２０回のラインスキャンの間に補正レンズは６５ピクセル分移動すればよいので、概ね４８ラインで１ピクセル分の移動量に相当する。したがって、ＥＩＳの性能にも依存するが、劣化の少ない良好な画像が撮影されることが期待できる。
【０２１８】
［手振れ補正手順の詳細］
図１９は、第３の実施形態の場合の手振れ補正手順を示すフローチャートである。図１９に示す手順では、ホールセンサなどの位置検出センサ４７の出力信号が更新されるタイミングで（すなわち、ホールフィードバック周期ごとに）、補正レンズ５５の位置調整のための分割補正量ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算される。これによって、新たな目標位置がｇｘ，ｇｙが設定される。
【０２１９】
図１７および図１９を参照して、ステップＳ２０１では、補正レンズ位置制御器４３は、ホールセンサなどの位置検出センサ４７からの出力情報の更新、ジャイロセンサなどの振れ検出センサ４１からの出力情報の更新、またはＥＩＳによる出力画像の位置の更新を待つ。
【０２２０】
ステップＳ２０２において、位置検出センサ４７からの出力の更新、すなわち、補正レンズ５５の位置情報が更新されたとする（ステップＳ２０２でＴｒｕｅ）。この場合、次のステップＳ２０３において、補正レンズ位置制御器４３は補正レンズの現在位置の情報を取得する。現在位置はＸ座標、Ｙ座標を用いて［ＬＳＢ］を単位としてｐｘ，ｐｙで表される。
【０２２１】
その次のステップＳ２０５において、補正レンズ位置制御器４３は、手振れ量に応じて算出された補正レンズ５５の目標動作位置ｇｘ，ｇｙ［ＬＳＢ］に、補正レンズの位置調整のための分割補正量を加算することによって目標動作位置を変更する（ステップＳ２０５）。
【０２２２】
ここで、位置調整量および分割補正量は、垂直同期周期ごとに、ブランキング期間で最初に振れ検出センサ４１の出力が更新されたときに設定される。ステップＳ２２０において、分割補正量はＸ座標、Ｙ座標を用いて［ＬＳＢ］を単位としてｄｘ，ｄｙで表される。
【０２２３】
次のステップＳ２０６において、補正レンズ位置制御器４３は、補正レンズ５５の目標動作位置ｇｘ，ｇｙと現在位置ｐｘ，ｐｙとの偏差Δｘ，Δｙを演算し、この偏差を補償器４４に入力する。この結果、補正レンズ５５の動作位置は、位置調整量が０でない場合には位置調整のために一定方向に移動しながら、手振れの影響を打ち消すように制御される。その後、処理はステップＳ２０１に戻る。
【０２２４】
一方、ジャイロセンサなどの振れ検出センサ４１からの出力の更新、すなわち、手振れ検出情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０７でＴｒｕｅ）。この場合、次のステップＳ２０８で、補正レンズ位置制御器４３は、検出された手振れ量に応じて算出された補正レンズ５５の目標動作位置ｇｘ，ｇｙを取得する。
【０２２５】
ブランキング期間における最初の振れ検出センサ４１の出力の更新（ステップＳ２０９でＴｒｕｅ）の場合には、次に以下のステップＳ２１０，Ｓ２１１，Ｓ２１２，Ｓ２２０が実行される。
【０２２６】
具体的に、ステップＳ２１０において、補正レンズ位置制御器４３は、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、水平方向の補正レンズの位置調整が必要と判断した場合には、補正レンズ５５の水平方向の適正位置を決定する。ステップＳ２２０において、補正レンズ位置制御器４３は、補正レンズ５５の位置情報８１とＥＩＳ位置情報８６とに基づいて、垂直方向の補正レンズの位置調整が必要と判断した場合には、補正レンズ５５の垂直方向の適正位置を決定する。
【０２２７】
ステップＳ２１０の詳細については図７および図８で説明したとおりであり、ステップＳ２１１の詳細については図９および図１０で説明したとおりであるので説明を繰り返さない。また、ステップＳ２１０とＳ２２０とは並行して実行してもよいし、どちらを先に実行してもよい。
【０２２８】
次のステップＳ２１２において、補正レンズ位置制御器４３は、補正レンズ５５の現在の動作位置から適正位置までの位置調整量を求める。なお、ステップＳ２１０でＸ方向位置調整が不要と判断された場合にはＸ方向の位置調整量の成分は０である。同様に、ステップＳ２１１でＹ方向位置調整が不要と判断された場合にはＹ方向の位置調整量の成分は０である。
【０２２９】
その次のステップＳ２２０において、補正レンズ位置制御器４３は、ホールフィードバック周期ごとに分割された位置調整量である分割補正量ｄｘ，ｄｙ［ＬＳＢ］を算出する。計算式は前述の（４）式に示したとおりである。その後、処理はステップＳ２０１に戻る。
【０２３０】
一方、ＥＩＳによる出力画像の位置情報が更新されたとする（ステップＳ２０２でＦａｌｓｅ、ステップＳ２０７でＦａｌｓｅ、ステップＳ２１４でＴｒｕｅ）。この場合、次のステップＳ２１５で、補正レンズ位置制御器４３は、ＥＩＳ位置情報８６（すなわち、撮影画像１１１に対するＥＩＳ出力画像１１２の位置を表す情報）を取得する。ＥＩＳ位置情報８６は、ステップＳ２１０およびＳ２１１において補正レンズの適正位置を決定する際に使用される。その後、処理はステップＳ２０１に戻る。
【０２３１】
図２０は、図１９の手振れ補正手順の変形例を示すフローチャートである。図２０に示す制御手順では、ジャイロセンサなどの振れ検出センサ４１の出力信号が更新されるタイミングで（すなわち、ジャイロセンサの検出周期ごとに）、補正レンズ５５の位置調整のための分割補正量ｄｘ，ｄｙが補正レンズ５５の目標位置ｇｘ，ｇｙに加算される。これによって、新たな目標位置ｇｘ，ｇｙが設定される。
【０２３２】
具体的に図２０の制御手順では、図１９のステップＳ２０５は、手振れ情報の更新イベント（ステップＳ２０７でＴｒｕｅ）が生じたときに実行される一連の処理の最後に、すなわち、ステップＳ２２０の後、またはステップＳ２０９でＦａｌｓｅの場合に実行される。図２０のその他の点は図１９の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
【０２３３】
［第３の実施形態の効果］
上記のとおり、本実施形態によれば、１回の露光期間の間にＯＩＳによる手振れ補正を行いながら、同時に補正レンズの位置調整が行われる。そして、補正レンズの位置調整に伴う画像歪みはＥＩＳによって除去される。これによって、補正レンズがメカ端に衝突することを避けて継続的にＯＩＳによる手振れ補正を実行することができる。
【０２３４】
位置調整のための補正レンズの移動開始と移動終了はブランキング期間に行われる。これによって、補正レンズの位置調整に起因して、フレーム画像の一部分でなくフレーム画像全体が均一に歪むので、ＥＩＳによる画像歪みの修正が容易になり、高画質の画像を得ることができる。
【０２３５】
第１の実施形態では、フレームブランキング期間のみに補正レンズを調整していたため、補正レンズの移動速度が大きくなり、結果として５ｍｓｅｃ程度のセトリング期間が必要となっていた。これは、撮像素子のノイズ低減のために露光期間を極力長く確保したいという要求と相反していた。本実施形態によれば、上記のセトリング期間は不要になる。
【０２３６】
第２の実施形態と比較して、１フレームの撮影期間の間だけ位置調整のための補正レンズの移動が行われるので、上記したＥＩＳによる画像歪みの補正を容易にするという条件の下で、補正レンズの位置調整をできるだけ短期間で終了させることができる。この結果、ＯＩＳおよびＥＩＳが補正限界に達してしまい、その結果として画質を損なう可能性を低減することができる。
【０２３７】
＜第４の実施形態＞
第４の実施形態では、ハードウェア構成の変更例について説明する。
【０２３８】
［第１の構成例］
図２１は、第４の実施形態の第１の構成例による電子機器３０Ｄの構成を示すブロック図である。図２１では、ＯＩＳモジュール４０およびＥＩＳモジュール６２の両方ともカメラモジュール３１に内蔵させた場合の構成が示されている。
【０２３９】
図２１の電子機器３０Ｄは、ＥＩＳモジュール６２がメインボード３２上でなく、カメラモジュール３１に内蔵されている点で図１の電子機器３０Ａと異なる。図２１の場合、ＯＩＳモジュール４０、ＥＩＳモジュール６２、および撮像素子５０を併せてＣＩＳモジュール９４と称する。
【０２４０】
図２１を参照して、撮像素子５０から出力された生の画像信号（すなわち、ＲＡＷデータ）は、ＥＩＳモジュール６２によって補正される。その補正後の画像信号８２は、ＭＩＰＩ（Mobile  Industry  Processor  Interface  Alliance）のＣＳＩ−２（Camera  Serial  Interface-2）などのカメラインタフェース３５を介してイメージシグナルプロセッサ６１に伝達される。イメージシグナルプロセッサ６１によって画像処理された信号は、符号化処理モジュール６３および画像表示コントローラ６４に伝達される。図２１のその他の構成は図１の場合と同じであるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
【０２４１】
図２１の構成によれば、ＥＩＳとＯＩＳとは同じプロセッサで処理することが可能になる。従来、ＥＩＳとＯＩＳと間の通信はＩ２Ｃ（Inter-Integrated  Circuit、たとえばＭＩＰＩ  ＣＳＩ−２のＣＣＩ（Camera  Control  Interface）もこれに含むものとする）など経由を想定していたが、同一プロセッサ上のタスク間通信での置き換えることが可能になる。したがって、カメラモジュール３１とメインボード３２との間のＩ２Ｃなどの通信オーバヘッドを削減することができる。
【０２４２】
また、垂直同期信号などの撮像タイミング信号８０も、同一プロセッサ上で通信されることになるので、システム構成を簡素化することができる。
【０２４３】
また、手振れ調整は、スマートフォン用のプログラムとは無関係にカメラモジュール単体で実行することができる。従来、ＥＩＳモジュールをアプリケーションプロセッサと同じチップに組込む場合、ソフトウェアをハードウェアに最適化させるためにソフトウェアの開発工数が大きくなるという課題があった。これに対して、手振れ機構一切をカメラモジュールに内蔵することで、スマートフォンシステムの開発工数が削減でき、スマートフォン製品展開が容易になるというメリットがある。
【０２４４】
なお、図１のハードウェア構成とするか、図２１のハードウェア構成とするかは、用途、必要な機能および性能、システムコストなどに応じて選択することができる。また、図２１のハードウェア構成を採用する場合には、ＣＩＳモジュール９４のシステムリソース（たとえば、メモリ容量）などに応じて、ＥＩＳの機能を縮小することができる。
【０２４５】
［第２の構成例］
図２２は、第４の実施形態の第２の構成例による電子機器３０Ｅの構成を示すブロック図である。図２２では、ＯＩＳモジュール４０およびＥＩＳモジュール６２の両方ともメインボード３２に配置させた構成例が示されている。
【０２４６】
具体的に図２２の電子機器３０Ｅでは、振れ検出センサ４１およびＯＩＳモジュール４０がメインボード３２上に配置される点で図１の電子機器３０Ａと異なる。図２２のその他の点は図１と同様であるので、同一または相当する部分には同一の参照符号を付して説明を繰り返さない。
【０２４７】
ＯＩＳモジュールをアプリケーションプロセッサと同一のチップに組み込む場合、各種センサ（たとえば、ジャイロセンサ、磁気センサ、加速度センサ、気圧センサなど）の制御を集約したセンサハブ用のＣＰＵまたはＤＳＰに組み込むことが考えられる。
【０２４８】
上記のようにメインボード３２にＯＩＳ処理を実装する背景として、近年のスマートフォン用のＳｏＣ（System  on  Chip）では、高性能大規模コアと小電量小規模コアとの組合せによる非対称プロセッサの密結合による多コアの例が挙げられる。したがって、ＯＩＳや音楽再生のように高レスポンスを要求されるが演算量が小さい処理も効率良く実装できるようになっている。
【０２４９】
図２２の構成によれば、ＥＩＳをＣＩＳモジュール９４で実現する図２１の構成に比べて、ＥＩＳが使用可能となるシステムリソース（メモリ、ＣＰＵ、ＧＰＵなど）に比較的制約がない。したがって、高度なＥＩＳを実現できるというメリットがある。
【０２５０】
第１の実施形態の場合のＯＩＳの実装例として、ホールセンサからのフィードバック（サーボ）周期を２０ＫＨｚ〜５０ＫＨｚ、ジャイロセンタの出力データの更新周期を１ＫＨｚ〜１０ＫＨｚ程度と想定していた。さらに、ＯＩＳからＥＩＳへの各情報の伝達は、Ｉ２Ｃなどが想定されていた。このため、データ転送におけるオーバヘッド（たとえば、通信遅延や通信に関わる処理）が大きくなりがちであった。これに対して、図２２の構成によれば、ＯＩＳモジュール４０とＥＩＳモジュール６２とが、メインボード３２の同一のチップ上に実装することができるので、ＯＩＳモジュール４０とＥＩＳモジュール６２との間の通信オーバヘッドの改善が見込める。
【０２５１】
また、ＯＩＳモジュール４０およびＥＩＳモジュール６２は、イメージシグナルプロセッサ６１、符号化処理モジュール６３、画像表示コントローラ６４とともに、メインボード３２の共通のチップ上で実現できるので、カメラシステム全体の調整を集約的に行うことができ、カメラシステム開発や調整に便利である。
【０２５２】
＜その他の変形例＞
（１）  センサシフト方式のＯＩＳに本開示の技術を適用することができる。センサシフト方式のＯＩＳの手振れ補正の特徴は、ロール方向の補正にも対応可能な点である。この場合、ＥＩＳにおいてもロール補正を実施しており、次の図２３に示すように斜め切抜き処理が実施される。
【０２５３】
図２３は、ＥＩＳにおけるロール補正を説明するための図である。図３で説明したように、ＥＩＳでは、撮影画像１１１から出力画像１１２の切抜き処理が行われる。図２３の場合には、破線で示された四角形が、撮影画像１１１から切り抜かれた切抜き画像１１２Ａに相当する。この切抜き画像１１２Ａを回転角θだけ回転させることによって実線で示される最終的な出力画像１１２Ｂが生成される。
【０２５４】
図２３において、切抜き画像１１２Ａの長辺の長さをａとすると、２ａ・sinθだけ垂直方向にロール用補正マージンが必要になる。同様に、切抜き画像１１２Ａの短辺の長さをｂとすると、２ｂ・ｓｉｎθだけ水平方向にロール用補正マージンが必要になる。したがって、図３で説明したＥＩＳの補正マージンＥＭＸ１，ＥＭＸ２にｂ・sinθがそれぞれ加算され、補正マージンＥＭＹ１，ＥＭＹ２にａ・sinθがそれぞれ加算される。ロール用補正マージンの加算後の水平方向および垂直方向のＥＩＳ補正マージンを用いて、イメージセンサの適正位置が決定される。
【０２５５】
（２）  本開示の手振れ補正技術は、ローリングシャッタ歪みを補正可能なＥＩＳ機能を搭載したカメラであれば、静止画撮影の場合にも適用することができる。
【０２５６】
一般には、静止画撮影においては、１フレームのみの露光なので、露光開始時点（すなわち、シャッタを開く前に）、ＯＩＳ補正マージンおよびＥＩＳ補正マージンのいずれも最大となるように、図３において撮影画像１１１を撮影可能範囲１１０の中央に位置させ、出力画像１１２を撮影画像１１１の中央に位置させることができる。
【０２５７】
しかしながら、主にスマートフォンまたはデジタルカメラにおいて、ＬＣＤを用いてプレビューを表示する場合（光学式ファインダを有さない場合）には、プレビュー状態においても手振れ補正が要求される場合が多い。この理由は、カメラを扱い慣れていないユーザでも被写体を狙い易くするためである。プレビュー状態から直ちに静止画撮影に進行する場合には、静止画撮影の直前に補正レンズの位置をメカニカルセンタに戻すことができない。この理由は、プレビューにおいてユーザが決定した撮影構図とは異なった構図で撮影されてしまうためである。
【０２５８】
本開示によれば、静止画撮影のための露光開始前のプレビュー状態で手振れ補正を行っている場合に、ＯＩＳ補正マージンおよびＥＩＳ補正マージンに応じて補正レンズの位置調整を行うことによって、ＯＩＳおよびＥＩＳが使用不能になる事態をできるだけ回避することができる。
【０２５９】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【符号の説明】
【０２６０】
２９  被写体、３０Ａ〜３０Ｅ  電子機器、３１  カメラモジュール、３２  メインボード、３３  表示装置、３４  補助記憶装置、３５  カメラインタフェース、４０  ＯＩＳモジュール、４１  振れ検出センサ、４２，７１  演算器、４３  補正レンズ位置制御器、４４  補償器、４６  アクチュエータ、４７  位置検出センサ、５０  撮像素子、５１  光学系、５５  補正レンズ、６１  イメージシグナルプロセッサ、６２  ＥＩＳモジュール、７５  位置調整器、７６  加算器、９４  ＣＩＳモジュール、１１０  撮影可能範囲、１１１  撮影画像、１１２  出力画像、ＥＭＸ１，ＥＭＸ２，ＥＭＹ１，ＥＭＹ２，ＯＭＸ１，ＯＭＸ２，ＯＭＹ１，ＯＭＹ２  補正マージン、ＳＸ１，ＳＸ２，ＳＹ１，ＳＹ２  辺、ｄｘ，ｄｙ  分割補正量、ｇｘ，ｇｙ  目標位置、ｐｘ，ｐｙ  現在位置。
【図１】
2019106655.tif 000003
【図２】
2019106655.tif 000004
【図３】
2019106655.tif 000005
【図４】
2019106655.tif 000006
【図５】
2019106655.tif 000007
【図６】
2019106655.tif 000008
【図７】
2019106655.tif 000009
【図８】
2019106655.tif 000010
【図９】
2019106655.tif 000011
【図１０】
2019106655.tif 000012
【図１１】
2019106655.tif 000013
【図１２】
2019106655.tif 000014
【図１３】
2019106655.tif 000015
【図１４】
2019106655.tif 000016
【図１５】
2019106655.tif 000017
【図１６】
2019106655.tif 000018
【図１７】
2019106655.tif 000019
【図１８】
2019106655.tif 000020
【図１９】
2019106655.tif 000021
【図２０】
2019106655.tif 000022
【図２１】
2019106655.tif 000023
【図２２】
2019106655.tif 000024
【図２３】
2019106655.tif 000025