(57)【特許請求の範囲】
【請求項１】
単一画像を生成するための撮像を複数回の撮像動作により行い、各撮像動作の前に変位センサからの出力に基づいて焦点調節動作を行って第１の複数の画像を生成する撮像制御手段と、
該第１の複数の画像における各画像の像倍率に関する情報を生成する情報生成手段と、
前記第１の複数の画像と前記像倍率に関する情報とに基づいて第２の複数の画像を生成する画像生成手段と、
前記第２の複数の画像を合成して単一画像を生成する画像合成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記変位センサは、前記撮像装置の光軸方向への変位を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は、前記変位センサと焦点調節を行う光学素子を含む撮影光学系とを有する交換レンズが装着される一眼レフカメラであって、
前記撮影光学系からの光束をファインダ光学系に導く観察位置と撮影光路外に退避する撮影位置とに移動可能なミラーと、
前記ミラーに固定され、前記ミラーの移動に合わせて前記撮影光学系からの光束を焦点検出器に導く焦点検出位置と前記撮影光路外に退避する退避位置とに移動可能なサブミラーと、を有し、
前記サブミラーが前記撮影光路外に退避した状態で前記変位センサからの出力に基づいて前記撮影光学系に焦点調節動作を行わせて、前記複数回の撮影動作を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記複数回の撮像動作のうち、１回目の撮像動作は前記焦点検出器からの出力に基づいて焦点調節動作を行い、２回目以降の撮像動作は前記変位センサからの出力に基づいて焦点調節動作を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記複数回の撮像動作は、所定の倍率よりも高い倍率、かつ、所定のシャッタースピードよりも遅いシャッタースピードでの撮像のときのみ行われることを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
【請求項６】
前記画像生成手段は、前記第１の複数の画像から、像倍率が相互に一致した前記第２の複数の画像を生成することを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
【請求項７】
前記画像生成手段は、前記第１の複数の画像のうち第１の画像に対して像倍率が異なる第２の画像から、前記第１の画像の像倍率に一致する像倍率を有する第３の画像を生成し、
前記第２の複数の画像は、前記第１および第３の画像を含むことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像生成手段は、前記第１の複数の画像のうち最も大きな又は最も小さな像倍率を有する画像を前記第１の画像として選択することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像生成手段は、前記第１の複数の画像の各画像における特徴点を抽出し、該特徴点が一致するように前記第２の画像の座標変換処理を行うことを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
前記画像生成手段は、前記第１の複数の画像における各画像の像倍率に関する情報に基づいて、前記第２の画像の座標変換処理を行うことを特徴とする請求項７又は８に記載の撮像装置。
【請求項１１】
前記情報生成手段は、前記撮像動作時における撮影光学系の光学素子の位置に関する情報に基づいて生成された焦点距離情報と被写体距離情報とを用いて前記像倍率に関する情報を生成し、
前記被写体距離情報は、前記複数回の各撮影動作において、前回の撮影動作時の被写体距離情報に今回の変位センサの出力に基づいて生成されたピント方向変位量を加算することで生成されることを特徴とする請求項１から１０のいずれか１つに記載の撮像装置。
【請求項１２】
請求項１から１１のいずれか１つに記載の撮像装置と、
該撮像装置に対して着脱可能な交換レンズと、を有することを特徴とする撮像システム。
【請求項１３】
撮像装置に搭載されたコンピュータに、
単一画像を生成するための撮像を複数回の撮像動作により行い、各撮像動作の前に変位センサからの出力に基づいて焦点調節動作を行って第１の複数の画像を生成するステップと、
該第１の複数の画像における各画像の像倍率に関する情報を生成するステップと、
前記第１の複数の画像と前記像倍率に関する情報とに基づいて第２の複数の画像を生成するステップと、
前記第２の複数の画像を合成して単一画像を生成するステップと、を含む処理を実行させることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像から単一の合成画像を生成する撮像装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
撮像装置が受ける振れには、光軸直交方向の振れだけではなく、光軸方向（以下、ピント方向という）の振れもある。光軸直交方向の振れに対しては、撮影レンズの一部を光軸直交方向にシフトさせる等することで画像の振れを防止する技術が多く提案されている。
【０００３】
一方、ピント方向の振れが撮像中に生じると、ピントがぼけた画像が撮影されてしまう。特に、マクロレンズを用いた高倍率撮影を行うような場合には、該ピント方向の振れによる画像のピンぼけが著しい。
【０００４】
この問題に対処するため、特許文献１には、自動焦点調節（ＡＦ）を行った後の撮像中に、再度自動焦点調節動作を行うことで、撮像中のピント方向の振れによる画像のピンぼけを防止する技術が提案されている。
【特許文献１】特開平１０−３１２００６号公報（段落００２４〜００３５等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１にて提案された技術によって、撮像中のピント方向の振れによる画像のピンぼけを防止できても、撮像中のＡＦによってフォーカスレンズが移動するために撮影倍率（画像の像倍率）が変化してしまう。
【０００６】
また、従来の光軸直交方向での像振れを補正する振れ補正装置を用いた場合、一般に言われる手振れによる像振れが発生しないシャッタ速度（１／ｆ：ｆは焦点距離）よりもシャッタ速度が遅くなるため、ピント方向の振れによる像倍率の変化が顕著に現れる。
【０００７】
撮像中に像倍率が変化すると、画像上で像のずれが生じ、特に画像の周辺部における像ずれが大きくなる。この像ずれ量が、解像許容範囲内であれば、見た目にピントがぼけることはない。これに対し、例えば、高倍率撮影や振れ補正装置を用いて遅いシャッタ速度で撮影をする場合には、ピント方向の振れの影響を受けやすい。すなわち、像倍率の変化が大きく、解像が困難になり、画像が劣化する。
【０００８】
ここで、実測したデータを用いて、撮像中のピント方向の振れを求め、その振れ量によってどれくらいの画像劣化が生じるかを示す。
【０００９】
実測結果では、１００ｍｓｅｃの撮像時間に生じるピント方向の振れ量は、最大０．３５ｍｍである。像倍率の変化が起こり易い等倍撮影等の撮影条件では、以下の式（１）で算出される像倍率の変化率は、±０．４４％である。
【００１０】
【数１】
0004794963.tif 000002
【００１１】
例えば、ＣＣＤセンサ等の撮像素子における短辺の長さが１５．１２ｍｍ、長辺の長さが２２．６８ｍｍであった場合、上記像倍率の変化率より、図２０に示すように、画像周辺部において約±６０μｍの像のずれを生じることになる。解像チャートにより解像可能と許容される像のずれ量は、撮像素子において約±１５μｍであることから、６０μｍの像ずれが発生すると、解像不能となり、見た目にぼけた画像となってしまう。
【００１２】
図２１は、画像の周辺部でのずれ量とシャッタ速度との関係を、撮影倍率毎に示したものである。この図から、撮影倍率が高くなるにつれて像倍率の変化も大きくなり、画像の劣化が出やすいことが分かる。
【００１３】
本発明は、撮像中に生じるピント方向の振れによる像倍率の変化に伴う画像劣化を軽減することができるようにした撮像装置、撮像プログラムおよび画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１４】
本発明の一側面としての撮像装置は単一画像を生成するための撮像を複数回の撮像動作により行い、各撮像動作の前に変位センサからの出力に基づいて焦点調節動作を行って第１の複数の画像を生成する撮像制御手段と、該第１の複数の画像における各画像の像倍率に関する情報を生成する情報生成手段と、前記第１の複数の画像と前記像倍率に関する情報とに基づいて第２の複数の画像を生成する画像生成手段と、前記第２の複数の画像を合成して単一画像を生成する画像合成手段と、を有することを特徴とする。
【００１６】
また、本発明の他の側面としての撮像プログラムは、単一画像を生成するための撮像を複数回の撮像動作により行い、各撮像動作の前に変位センサからの出力に基づいて焦点調節動作を行って第１の複数の画像を生成するステップと、該第１の複数の画像における各画像の像倍率に関する情報を生成するステップと、第１の複数の画像と像倍率に関する情報とに基づいて第２の複数の画像を生成するステップと、前記第２の複数の画像を合成して単一画像を生成するステップと、を含む処理を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、第１の複数の画像とその像倍率に関する情報とに基づいて第２の複数の画像を生成し、さらに該第２の複数の画像から単一の合成画像を生成する。このため、第１の複数の画像に含まれる画像間に像倍率差があっても実質的に画像ずれのない鮮明な合成画像が得られる。したがって、単一画像を生成するための撮像をそれぞれ焦点調節動作を伴う複数回の撮像動作により行う場合において、撮像動作間での焦点調節動作の結果、第１の複数の画像間に像倍率の変化があったときでも、高画質の単一画像を生成することができる。
【００２０】
また、本発明によれば、単一画像を生成するための撮像を複数回の撮像動作により行い、各撮像動作の前に焦点調節動作を行う場合において、各画像の像倍率に関する情報を生成する。このため、該像倍率に関する情報を用いて、単一画像を合成するための第２の複数の画像を容易に生成することができる。したがって、第１の複数の画像間に像倍率の変化があった場合でも、鮮鋭で高画質の単一画像を生成することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２２】
図１には、本発明の実施例１に係る撮像システムとしてのカメラシステムの概略構成を示している。ここでは、光学防振を行う振れ補正装置を搭載した交換レンズと、該交換レンズが着脱可能に装着される撮像装置としてのデジタル一眼レフカメラ（カメラ本体）からなるカメラシステムについて説明する。
【００２３】
図１において、１００は交換レンズ、２００はカメラ本体、２０２は交換レンズ１００とカメラ本体２００を機械的に結合させるマウント、２０３は交換レンズ１００とカメラ本体２００の間で電気的な通信を可能とさせるための接点である。
【００２４】
まず、交換レンズ１００について説明する。交換レンズ１００は、複数の光学レンズユニットにより構成される撮影光学系１０１を有する。撮影光学系１０１は、光軸方向に移動して焦点調節を行うフォーカスレンズユニット（以下、単にフォーカスレンズという）１０１ａを有する。また、光軸直交方向に移動して光学防振を行うためのシフトレンズユニット（以下、単にシフトレンズという）１０１ｂおよび光軸方向に移動して変倍を行う変倍レンズユニット（以下、単に変倍レンズという）１０１ｃを有する。フォーカスレンズ１０１ａ、シフトレンズ１０１ｂおよび変倍レンズ１０１ｃは、撮影光学系１０１の光学素子である。
【００２５】
なお、本実施例では、シフトレンズ１０１ｂを光軸直交方向に駆動して光学防振を行う場合について説明するが、該シフトレンズ１０１ｂに代えて、他の防振光学素子を用いることもできる。例えば、一対の透明板の間に透明液体を封止して該透明板の傾きを変化させることにより光軸を偏心させる可変頂角プリズムや、光軸上の一点を中心としレンズを回動させるタイプのものを用いてもよい。
【００２６】
自動焦点調節（ＡＦ）を行う際には、ＡＦアクチュエータ１０２からの駆動力によってフォーカスレンズ１０１ａを光軸１２０の方向における合焦位置に移動させる。具体的には、カメラ本体２００からの制御信号が接点２０３を介して、ＣＰＵ等を含む交換レンズ制御回路１０９に伝えられると、交換レンズ制御回路１０９から該制御信号に応じた駆動信号がフォーカスレンズ駆動回路１０３に送られる。フォーカスレンズ駆動回路１０３は、駆動信号に基づいてＡＦアクチュエータ１０２を駆動する。
【００２７】
光学防振を行う際には、まず光学防振機能を有効にするための防振操作スイッチ１０６からの操作信号が交換レンズ制御回路１０９に入力される。交換レンズ１００は振れ検出器１１０を備えている。振れ検出器１１０は、振れに応じた検出信号を交換レンズ制御回路１０９へ送る。交換レンズ制御回路１０９は、防振駆動回路１０５に駆動信号を送る。防振駆動回路１０５からの駆動信号に応じて防振アクチュエータ１０４がシフトレンズ１０１ｂを光軸直交方向に駆動し、光学防振動作を行う。シフトレンズ１０１ｂ、防振アクチュエータ１０４および防振駆動回路１０５により振れ補正装置が構成される。
【００２８】
光量制限動作を行うには、絞り１０７を駆動させることで行う。絞り１０７は、複数の絞り羽根を有している。カメラ本体２００からの制御信号が接点２０３を介して交換レンズ制御回路１０９に伝わると、交換レンズ制御回路１０９が絞り駆動回路１０８に駆動信号を送る。絞り駆動回路１０８は、該駆動信号を受けることで不図示の絞りアクチュエータを作動させ、絞り羽根を駆動する。これにより光通過口となる開口面積（絞り口径）を変化させる。
【００２９】
また、交換レンズ１００は光軸方向の変位を検出するための変位センサ１１１を有する。変位センサ１１１は、交換レンズ１００、カメラ本体２００、マウント２０２および接点２０３からなるカメラシステムの光軸方向への変位（ピント方向変位）を検出する。変位センサ１１１は、加速度センサ、速度センサ、位置センサ等により構成される。変位センサ１１１が加速度センサである場合には、公知の積分回路により加速度センサの出力信号を２回積分することによりピント方向変位を検出することができる。また、変位センサ１１１が速度センサである場合は、該速度センサの出力信号を１回積分することによりピント方向変位を検出することができる。
【００３０】
なお、本実施例では、交換レンズ１００に変位センサ１１１を設け、その出力信号の積分演算は、交換レンズ制御回路１０９で行われる。変位センサ１１１をカメラ本体２００に設け、積分演算を、ＣＰＵ等を含むカメラ制御回路２１１で行ってもよい。
【００３１】
また、交換レンズ１００は、フォーカス領域を検出するための導電部材であるフォーカスパターン１１５と、フォーカスパターン１１５に摺動してフォーカス領域毎のグレイスケールからフォーカス領域を示すパターン信号を生成する信号生成器１１６を有する。さらに、各フォーカス領域を示すパターン信号に対応した光学情報が書き込まれたＲＯＭ１１４を有する。信号生成器１１６からのパターン信号とＲＯＭ１１４からの光学情報が交換レンズ制御回路１０９および接点２０３を介してカメラ制御回路２１１に伝わることで、カメラ制御回路２１１は、被写体距離情報を得ることができる。
【００３２】
また、交換レンズ１００はズーム領域を表すための導電部材であるズームパターン１１２と、ズームパターン１１２に摺動してズーム領域毎のグレイスケールからズーム領域を示すパターン信号を生成する信号生成器１１３を有する。さらに、各ズーム領域を示すパターン信号に対応した光学情報が書き込まれた前述したＲＯＭ１１４を有する。信号生成器１１３からのパターン信号とＲＯＭ１１４からの光学情報が交換レンズ制御回路１０９および接点２０３を介してカメラ制御回路２１１に伝わることで、カメラ制御回路２１１は焦点距離情報を得ることができる。なお、ＲＯＭ１１４は、交換レンズ制御回路１０９に内蔵されていてもよい。
【００３３】
次に、カメラ本体２００について説明する。カメラ本体２００はシャッタ２０５を有する。シャッタ２０５は、複数のシャッタ羽根を有する。カメラ本体２００に設けられたカメラ制御回路２１１はシャッタ駆動回路２０６に制御信号を送る。シャッタ駆動回路２０６は該制御信号に応じた駆動信号をシャッタ２０５に送る。これにより、シャッタ羽根は光通過口となる開口部を開閉し、撮像素子２０７に入射する光量（露光量）が制御される。
【００３４】
カメラ本体２００は、レリーズスイッチ２１２を有する。レリーズスイッチ２１２が半押し操作されたことがカメラ制御回路２１１に伝わると（ＳＷ１ＯＮ）、カメラ制御回路２１１からの制御信号により撮影準備動作（ＡＦ動作や測光動作等）が開始される。また、レリーズスイッチ２１２が全押し操作されたことがカメラ制御回路２１１に伝わると（ＳＷ２ＯＮ）、カメラ制御回路２１１からの制御信号により撮像動作が開始される。
【００３５】
また、カメラ本体２００は、絞り操作部材２１３を有する。絞り操作部材２１３が操作されたことがカメラ制御回路２１１に伝わると、カメラ制御回路２１１は交換レンズ制御回路１０９に制御信号を送る。交換レンズ制御回路１０９は、交換レンズ１００内の絞り１０７を駆動する。これにより、光量制限動作が行われる。
【００３６】
また、カメラ本体２００は、クイックリターンミラー２０１を有する。クイックリターンミラー２０１は、光軸１２０を含む撮影光路内に配置されて撮影光学系１０１からの光束を不図示のファインダ光学系に導く観察位置と、撮影光路外に退避する撮影位置とに移動可能である。観察位置に位置するクイックリターンミラー２０１の背後には、サブミラー２０１ａが配置される。クイックリターンミラー２０１の一部はハーフミラーとなっており、該ハーフミラー部分を透過した光束はサブミラー２０１ａによって焦点検出器２０４に導かれる。焦点検出器２０４は位相差検出方式によって撮影光学系１０１の焦点状態に応じた信号を生成、出力する。
【００３７】
カメラ制御回路２１１は、焦点検出器２０４からの信号に基づいて、合焦を得るために必要なフォーカスレンズ１０１ａの駆動量と駆動方向を算出し、算出情報を含む制御信号を交換レンズ制御回路１０９へ送る。この制御信号を受けた交換レンズ制御回路１０９がフォーカスレンズ駆動回路１０３に制御信号を送ることで、フォーカスレンズ１０１ａが駆動され、ＡＦ動作が行われる。
【００３８】
撮像素子２０７は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子からなる。駆動回路２０８は、カメラ制御回路２１１から電荷蓄積時間等を示す制御信号を受け、撮像素子２０７を駆動する。
【００３９】
Ａ／Ｄ変換器２０９は、撮像素子２０７から出力されるアナログ撮像信号をデジタル信号に変換する。信号処理回路２１０は、Ａ／Ｄ変換器２０９から入力されたデジタル撮像信号に対して、輝度信号や色信号を形成するなどの信号処理を行ってカラー画像信号を生成する。
【００４０】
モード切替回路２１４は、撮影モードをカメラ制御回路２１１からの制御信号により切り替える。
【００４１】
画像補正部２１９は、モード切替回路２１４を介して入力されるカラー画像信号に対し、ガンマ補正や圧縮処理を行う。画像補正部２１９から出力された画像信号は、表示部２２０と記録部２２１とに入力される。これにより、撮影画像が表示部２２０に表示されるとともに、記録部２２１に装着された半導体メモリ、光ディスク等の記録媒体に記録される。
【００４２】
次に、本実施例における撮影モードについて説明する。高倍率撮影や振れ補正装置を用いた撮像に際してシャッタ速度が遅くなる場合は、ピント方向の振れの影響を受けやすく、ピント方向の振れによって像倍率の変化が生じ、解像が困難になり、画像が劣化する。
【００４３】
そこで、本実施例では、適正露出を得るために必要な撮像時間（以下、総撮像時間という）を複数の短い撮像時間に分割して、この分割した数だけ撮像動作を繰り返して複数の画像を取得し、さらに該複数の画像から１枚の画像を合成処理により生成する。このように撮像時間を分割して複数回の撮像動作を行うと、各撮像動作により得られる画像は露出不足の画像となるが、振れの影響（像ずれ）が少ない画像となる。したがって、該複数の画像を用いた画像の合成処理によって、適正な露出で像ずれが少ない単一画像を生成することができる。以下、このような分割撮像および画像合成を行うモードを分割撮像モードと称する。
【００４４】
撮像制御手段としてのカメラ制御回路２１１は、高倍率撮影や振れ補正装置を用いた撮像が行われると判断した場合、分割撮像モードを選択する。カメラ制御回路２１１は、フォーカスパターン１１５に対応する信号生成器１１６からのパターン信号によって表される被写体距離が所定値以下の場合に、高倍率撮影であるかと判断する。また、振れ補正装置を用いる撮影か否かは、防振操作スイッチ１０６からの操作信号が交換レンズ制御回路１０９から接点２０３を介してカメラ制御回路２１１に伝えられることで判別することができる。
【００４５】
分割撮像モードでは、カメラ制御回路２１１は、シャッタ速度および撮影倍率情報に基づいて、総撮像時間をいくつに分割するかを決定する。撮影倍率は、後述するように被写体距離情報および焦点距離情報から算出される。さらに、撮像動作を繰り返して得られる複数の画像のすべてを焦点が合った画像とするために、各撮像動作に先だってＡＦ動作を行う。
【００４６】
但し、この分割撮像モードでは、ＳＷ１ＯＮに応じて最初に焦点検出器２０４からの信号を用いて焦点調節動作を行った後は、ＳＷ２ＯＮに応じてクイックリターンミラー２０１およびサブミラー２０１ａを退避させた状態で撮像動作を繰り返す。このため、２回目以降の撮像動作の前には焦点検出器２０４の出力信号を用いたＡＦ動作は行うことができない。
【００４７】
このため、本実施例では、２回目以降の各撮像動作前には、変位センサ１１１からの出力を用いてカメラシステムのピント方向の変位量および変位方向を算出し、これらの情報に基づいてフォーカスレンズ１０１ａの駆動量および駆動方向を算出する。そして、該算出情報に基づいてフォーカスレンズ１０１ａを駆動することでＡＦ動作を行う。また、ＳＷ２ＯＮになった時点から実際の１回目の撮像動作が行われるまでの間にも、ピント方向の振れが生じる可能性がある。このため、本実施例では、ＳＷ２ＯＮの後にも、再度変位センサ１１１からの出力を用いてカメラシステムのピント方向の変位量および変位方向を算出し、その結果に基づいてフォーカスレンズ１０１ａを駆動してＡＦ動作を行う。
【００４８】
ここで、撮像時間の分割数の決定方法について説明する。一般に手振れによる像の振れが発生しないシャッタ速度の限界値は、例えば焦点距離が８０ｍｍであった場合、１／８０秒であると言われている。この像振れが発生しないシャッタ速度の限界値よりもシャッタ速度が遅くなると像振れの影響が発生し、画像の劣化が生じる。このため、振れ補正装置により光軸直交方向の像振れを補正することによって、手振れによる像振れを抑制することが従来なされている。
【００４９】
シャッタ速度を１段増加又は減少させると光量は２倍又は１／２倍に変化する。例えば、像振れが発生しないシャッタ速度の限界値よりもシャッタ速度を３段分遅くした時、手振れによる像振れを振れ補正装置で補正することを、本実施例では、像振れ補正３段分の効果があると言うものとする。
【００５０】
振れ補正装置により像振れ補正３段分の効果を得ようとする場合、シャッタ速度が３段分遅くなるため、ピント方向の像振れが大きくなり、像倍率の変化も増大し、画像劣化を招くことになる。像振れが発生しないシャッタ速度の限界値になるように、像振れ補正３段分の効果を得ようとする場合では、総撮像時間を８分割（２の３乗）に分割する。図３には、分割数と像振れ補正効果との関係を示す。
【００５１】
一方、分割撮像モードで得られた各画像においては、ピント方向の手振れの影響が生じていなくても、複数画像の連続撮影中に生じたピント振れによって画像間における撮影倍率（像倍率）が微妙に異なっている場合がある。このように像倍率が異なる複数の画像をそのまま重ね合わせるように合成すると、合成後の画像は、合成前の各画像における像倍率の差に対応する量ぶれた画像になってしまう。したがって、合成する複数の画像の像倍率を相互に一致させておく必要がある。本実施例において「像倍率が一致する」とは、完全に一致している場合だけでなく、最終的に複数の画像を合成して得られた単一画像上においてぶれ（像ずれ）が画像の観察者にとって目立たない範囲で差がある場合も含む。より具体的には、「像倍率が一致する」とは、例えば１画素ピッチが６μｍ程度の場合、解像可能であると許容される像のずれ（対応画素のずれ）が１５μｍ程度である時の、該許容範囲内での像ずれ（対応画素のずれ）がある場合を含む。このことは、他の実施例でも同様である。
【００５２】
以下、像倍率が相互に一致した複数の画像を生成し、さらにこれらの画像を合成して単一画像を生成するための構成および動作について説明する。
【００５３】
カメラ制御回路２１１は、分割撮像モードでは、モード切替回路２１４を制御して、信号処理回路２１０からの画像信号（以下、単に画像という）をモード切替回路２１４から画像情報記憶部２１５に入力させる。すなわち、モード切替回路２１４から画像補正部２１９への画像の直接入力を絶つ。
【００５４】
情報生成手段としての画像情報記憶部２１５は、分割撮像モードでの複数回の撮像動作によって信号処理回路２１０から順次送られてきた複数の画像（第１の複数の画像）のすべてを記憶するとともに、該複数の画像における各画像の像倍率を算出して記憶する。ここで、像倍率は、前述した（１）式を用いて算出する。
【００５５】
（１）式より、像倍率を求めるためには、焦点距離情報と被写体距離情報が必要である。焦点距離情報は、ズームパターン１１２に対応して設けられた信号生成器１１３から交換レンズ制御回路１０９を介して伝えられたパターン信号に基づいて算出することができる。被写体距離情報は、フォーカスパターン１１５に対応して設けられた信号生成器１１６から交換レンズ制御回路１０９を介して伝えられたパターン信号に基づいて算出することができる。
【００５６】
本実施例では、１回目から最終回までの撮像動作によって得られる各画像の像倍率の算出のために、ＳＷ２ＯＮになった時点で算出した焦点距離情報を用いて行う。通常、複数回の一連の撮像動作中に撮影光学系１０１の焦点距離を変化させることはないからである。一方、１回目の撮像動作における被写体距離情報は、ＳＷ２ＯＮの時点で算出した被写体距離情報に、ＳＷ２ＯＮの時点から実際に１回目の撮像が行われるまでの間に変位センサ１１１によって得られたピント方向の変位量（変位方向により＋又は−の値）を加算することで算出する。
【００５７】
さらに、２回目以降の撮像動作における被写体距離情報の算出では、当該撮像動作の直前回の撮像動作時における被写体距離情報に対して、当該撮像動作までに変位センサ１１１によって得られたピント方向の変位量（変位方向により＋又は−の値）を加算する。
【００５８】
このようにして求めた各撮像動作時における焦点距離情報と被写体距離情報を用いて、各画像の像倍率を算出することができる。
【００５９】
拡大倍率検出部２１６は、画像情報記憶部２１５に記憶された各画像における特徴点を抽出し、この特徴点の画像内での位置座標を割り出す。例えば、図５に示すように、フレーム（Ａ）において人物５０１が建物５０２を背景にして立っている画像を得る場合を考える。このとき、次回以降の撮像動作においてピント方向振れがあると、フレーム（Ｂ）のように、フレーム（Ａ）に対して像倍率が異なる画像が得られる。フレーム（Ｂ）は、フレーム（Ａ）に対して像倍率が大きく、かつ複数回の撮像動作により得られた画像のうち像倍率が最大のものとする。
【００６０】
拡大倍率検出部２１６は、フレーム（Ａ）において、画面の周辺に位置する建物５０２のうち、輝度の高い点である窓５０３のエッジ５０４をエッジ検出によって特徴点として抽出する。次に、この特徴点５０４と、像倍率が最も大きいフレーム（Ｂ）における特徴点５０８とを比較して両者の差である変位量（動きベクトルやスカラー量）を算出する。そして、特徴点５０４の端点（図５（ａ）に示すＡとＢ）の座標が特徴点５０８において該端点に対応する点（図５（ｂ）に示すＣとＤ）の座標に揃えるように（つまりは特徴点が一致するように）、拡大処理としての座標変換処理を、画像生成手段としての座標変換部２１７で行う。すなわち、像倍率が小さいフレーム（Ａ）の画像中における最大像倍率画像（フレーム（Ｂ））に相当する領域を該最大像倍率画像のサイズに一致させるように拡散補間することによって、拡大処理を行う。
【００６１】
ここで、特徴点として撮影画面の周辺を選択する理由を説明する。多くの撮像の場合、画面中央近傍に主被写体が位置し、かつ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体の振れによる不都合が生じる。すなわち、複数回の撮像動作を行っている間に撮影者の手振れによるピント振ればかりでなく、被写体の振れも重畳するので、上記画像の座標変換処理が被写体振れに基づいて行われてしまう。
【００６２】
この場合、主被写体の像倍率が適正になるように座標変換するので好ましい画像が生成されるように思われるが、一般的に人物の動きは複雑であり、特徴点を選ぶ位置によってずれ検出精度が大きく左右される。
【００６３】
例えば、主被写体（人物）の眼を特徴点として選んだ場合は、眼の瞬きの影響が出る。また、手の先を特徴点として選択した場合には、手は動きやすいので、実際の被写体全体の振れとは異なる振れが生じてしまう。
【００６４】
このように人物上の点を特徴点として画像の座標変換を行っても、その人物が写っているすべての領域が適正に座標変換されない場合が多い。また、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００６５】
そこで、本実施例のように、背景等の静止被写体上の点を特徴点として選択して画像の座標変換を行ったほうが好ましい画像が得られる。
【００６６】
なお、特徴点は１点だけ選択するのではなく、複数点を選択し、これら複数の特徴点の動きベクトルの平均値又はスカラー量の最小値を特徴点の変位量としてもよい。ここで、特徴点の変位量としてスカラー量の最小値を利用するのは、画面周辺で選択された特徴点も移動する可能性があるため、最も移動量の小さい特徴点を選ぶためである。
【００６７】
また、各画像の像倍率を最も像倍率が大きい画像に揃うようにして像倍率補正を行う理由について説明する。図４において、（ａ）は、撮影された複数の画像の中で最も像倍率が小さい画像を示す。（ｂ）は最も像倍率が大きい画像を示す。（ｃ）は、（ａ）の画像中で（ｂ）の画像に写っている領域、すなわち（ｂ）の画像に相当する領域を示す。（ｃ）から分かるように、（ａ）の画像には（ｂ）の画像には存在しない領域が周辺部に写っており、この領域は（ｂ）の画像から作り出すことができない。このため、最も像倍率が大きい画像以外の画像において最大像倍率の画像に相当する領域を拡散補間することによって、最大像倍率に対応するサイズに拡大処理を行う必要がある。
【００６８】
拡大倍率検出部２１６は、まず取得した複数の画像の中からどの画像が最も像倍率が大きいかを判別する。具体的には、各画像を取得する時（各撮像動作時）に像倍率が算出され、記憶されているため、この情報に基づいて何枚目に撮影された画像が最も像倍率が大きいかを検出する。
【００６９】
次に、像倍率が最大の画像（第１の画像）と他の像倍率が最大より小さい画像（第２の画像）とを比較し、最大像倍率画像と該他の画像の特徴点を抽出して、特徴点の撮影画面内における位置座標を算出する。
【００７０】
そして、前述したように、像倍率が最大より小さい各画像に対して座標変換部２１７で座標変換処理（拡大処理）されることにより生成された各画像（第３の画像）は、最大像倍率画像とともに、画像合成手段としての画像合成部２１８に出力されて合成され、単一の画像が生成される。すなわち、最大像倍率画像と、拡大処理である像倍率補正がされた画像とを含む第２の複数の画像が合成されることにより、単一の合成画像が生成される。
【００７１】
デジタル画像の場合には、露出不足の画像でもゲインアップすることで露出補正が可能であるが、ゲインを高くするとノイズも多く含む画像になるおそれがある。
【００７２】
しかし、本実施例のように、複数の画像を合成することで単一画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるために、Ｓ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。
【００７３】
別の考え方をすれば、例えば、ノイズを許容して撮像素子２０７を高感度にして複数回撮像動作を行い、該複数回の撮像動作によって得られた複数の画像を加算平均することで、ランダムノイズを減少させているとも言える。
【００７４】
図２には、本実施例における主としてカメラ制御回路２１１で行われる処理の内容を示したフローチャートである。この処理は、該フローチャートにより示されるコンピュータプログラムを、コンピュータとして機能するカメラ制御回路２１１により実行される。この処理は、カメラ本体２００の電源が投入（ＯＮ）されたときからスタートする。
【００７５】
ステップ（図では、「ｓ」と略記する）１００１では、レリーズスイッチ２１２の半押し操作によりＳＷ１ＯＮになるまで待機し、ＳＷ１ＯＮになるとステップ１００２へ進む。ＳＷ１ＯＮになることを検出できなければ、ＳＷ１ＯＮになるまでステップ１００１を繰り返す。
【００７６】
ステップ１００２では、焦点調節（ＡＦ）動作を行う。ここでは、焦点検出器２０４からの信号に基づいて、カメラ制御回路２１１が合焦を得るためのフォーカスレンズ１０１ａの駆動量および駆動方向を算出し、レンズ制御回路１０９に該情報を含む制御信号を送信する。レンズ制御回路１０９は、該制御信号に基づいてＡＦモータ１０２を駆動し、フォーカスレンズ１０１ａを光軸方向に移動させる。
【００７７】
ステップ１００３では、防振操作スイッチ１０６がオンであるか否かを判別し、防振操作スイッチ１０６がオンであった場合はステップ１００４へ進んで防振動作を開始させる。防振操作スイッチ１０６がオンでない場合はステップ１００５へ進む。
【００７８】
ステップ１００５では、合焦状態であるか否かを判別し、合焦状態であればステップ１００６へ進む。合焦状態でなければ、合焦するまでステップ１００５を繰り返す。
【００７９】
ステップ１００６では、合焦時におけるフォーカスパターン１１５（信号生成器１１６）からのパターン信号に基づいて高倍率撮影であるか否かを判別する。また、設定されたシャッタ速度の情報から、スローシャッタ撮影であるか否かを判別する。高倍率撮影かつスローシャッタ撮影である場合はステップ１００７へ進み、分割撮像モードでの処理を行う。高倍率撮影でなければ、ステップ１０３１へ進み、通常撮影モードでの処理を行う。通常撮影モードでは、単一画像を得るために１回の焦点調節（ＡＦ）動作と１回の撮像動作とを行う。
【００８０】
ステップ１００７では、分割撮像モードでの複数回の撮像動作中にピント方向の振れ（被写体距離の変化）があってもピントが追従するように、例えばＡＩサーボＡＦのように動く被写体を撮像する場合に適したＡＦモードを設定する。
【００８１】
ステップ１００８では、再度合焦であるか否かを判別し、合焦であればステップ１００９へ進む。
【００８２】
ステップ１００９では、レリーズスイッチ２１２の全押し操作によってＳＷ２ＯＮになるまで待機し、ＳＷ２ＯＮになるとステップ１０１０へ進む。ＳＷ２ＯＮを検出できなければ、ステップ１００７およびステップ１００８の動作を繰り返す。
【００８３】
ステップ１０１０では、ＳＷ２ＯＮになったときの被写体距離情報をフォーカスパターン１１５からのパターン信号に基づいて算出し、該被写体距離情報を不図示のメモリに記憶する。また、ＳＷ２ＯＮになったときの焦点距離情報を、ズームパターン１１２（信号生成器１１３）からのパターン信号に基づいて算出し、該焦点距離情報を不図示のメモリに記憶する。
【００８４】
そして、ステップ１０１１では、分割撮像モードによる撮像、すなわち複数回の撮像動作を開始するために、クイックリターンミラー２０１およびサブミラー２０１ａを撮影光路外に退避させる。
【００８５】
ステップ１０１２では、変位センサ１１１からの出力を取り込み、ピント方向の振れ（振れ量および振れ方向）を検出する。
【００８６】
ステップ１０１３では、ステップ１０１２で得られた変位センサ１１１からの出力値に基づいて焦点調節（ＡＦ）動作を行う。変位センサ１１１からの出力に基づくＡＦを行う理由は、前述した通りである。
【００８７】
ステップ１０１４では、総撮像時間を複数に分割して行う複数回の撮像動作のうち１回分の撮像動作によって撮像素子２０７から出力された撮像信号に基づいて画像を生成し、該画像を画像情報記憶部２１５に記憶する。
【００８８】
ステップ１０１５では、ステップ１０１４で行われた撮像動作における被写体距離情報を算出する。１回目の撮影動作においては、ステップ１０１０で算出した被写体距離情報とステップ１０１２で変位センサ１１１からの出力に基づいて算出したピント方向変位量とを加算して被写体距離情報とする。２回目以降の撮像動作においては、前回の撮像動作時の被写体距離情報に、今回ステップ１０１２で算出したピント方向変位量を加算して被写体距離情報とする。そして、算出された被写体距離情報と、先に算出した焦点距離情報とから、像倍率を算出し、ステップ１０１４で取得した画像に対応付けて画像情報記憶部２１５に記憶する。
【００８９】
ステップ１０１６では、今回行った撮像動作によって、総撮像時間の分割数に応じた数の画像の取得が完了したか否かを判別し、完了した場合はステップ１０１７へ、まだ完了していない場合は、完了するまでステップ１０１２からステップ１０１５を繰り返す。こうして総撮像時間の分割数に応じた数の画像の取得が完了すると、ステップ１０１７に進む。
【００９０】
ステップ１０１７では、分割撮像モードでの撮像、すなわち単一画像を生成するために行われた一連の複数回の撮像動作を終了する。
【００９１】
ステップ１０１８では、画像処理による像倍率補正を開始する。
【００９２】
まずステップ１０１９では、ステップ１０１５で算出した各画像の像倍率を比較して、最も像倍率が大きい画像を第１の画像である基準画像として選択する。像倍率が最も大きい基準画像に対しては、後述する像倍率補正は行わない。また、基準画像以外の他の画像のうち基準画像と同じ像倍率を有する画像についても像倍率補正は行わない。但し、ここでは、基準画像以外の他の画像はすべて基準画像よりも小さい像倍率を有するものとして説明する。
【００９３】
ステップ１０２０では、基準画像と第２の画像である他の画像のうち１画像とで特徴点を求める。
【００９４】
ステップ１０２１では、ステップ１０２０で基準画像と比較した画像（以下、補正対象画像という）内で基準画像に相当する画像領域を、基準画像と同じ画像サイズとなるように拡大（座標変換）するための拡大倍率を算出する。
【００９５】
ステップ１０２２では、ステップ１０２１で算出した拡大倍率に応じた拡散補間により、補正対象画像のうち基準画像に相当する領域を基準画像と同じ画像サイズに拡大する。
【００９６】
ステップ１０２３では、ステップ１０２２で拡大処理した、すなわち像倍率を補正した画像（第３の画像、以下、倍率補正画像という）を画像情報記憶部２１５に記憶させる。
【００９７】
ステップ１０２４では、基準画像以外の全ての画像に対してステップ１０２０からステップ１０２３までの像倍率補正処理が完了したか否かを判別し、完了していればステップ１０２５へ進む。完了していなければ、まだ像倍率補正を行っていない画像に対してステップ１０２０からステップ１０２３までの処理を実行する。
【００９８】
ステップ１０２５では、基準画像以外の画像に対する画像処理による像倍率補正を完了する。
【００９９】
ステップ１０２６では、基準画像とそれ以外の倍率補正画像とを重ね合わせるように合成して、１つの画像（以下、合成画像という）を生成する。なお、もともと基準画像と同じ像倍率を有していた画像がある場合には、この画像も合成される。以上のようにして、適正露出を有する単一の合成画像が生成される。
【０１００】
ステップ１０２７では、画像補正部２１９において、合成画像に対するガンマ補正や圧縮処理を行わせる。
【０１０１】
ステップ１０２８では、画像補正部２１９から出力された合成画像を、表示部２２０に撮影画像として表示させる。
【０１０２】
ステップ１０２９では、画像補正部２１９から出力された合成画像を、記録部２２１を通じて記録媒体に記録させる。
【０１０３】
ステップ１０３０では、「撮影開始」に戻る。
【０１０４】
なお、ステップ１０３０の段階で、まだ継続してレリーズスイッチ２１２が半押し操作され、ＳＷ１ＯＮになっているときは、そのままステップ１００２からの処理を進める。また、ステップ１０３０の段階で、レリーズスイッチ２１２が全押し操作され、ＳＷ２ＯＮになっているときには、「撮影開始」に戻らず、ステップ１０３０で待機する。
【０１０５】
また、ステップ１００６で高倍率撮影ではないと判別した場合は、ステップ１０３１へと進み、通常撮像モードでの動作が開始される。
【０１０６】
ステップ１０３１では、レリーズスイッチ２１２が全押し操作されてＳＷ２ＯＮになるまで待機し、ＳＷ２ＯＮになるとステップ１０３２へ進む。ＳＷ２ＯＮを検出できなければステップ１０３１の動作を繰り返す。
【０１０７】
ステップ１０３２では、撮像動作が開始される。
【０１０８】
ステップ１０３３では、撮像動作により撮像素子２０７から出力された撮像信号に基づいて画像を生成する。
【０１０９】
ステップ１０３４では、撮像動作が完了する。
【０１１０】
ステップ１０３５では、生成された画像に対して画像補正部２１９にガンマ補正や圧縮処理を行わせる。
【０１１１】
ステップ１０３６では、画像補正部２１９から出力された画像を、表示部２２０に撮影画像として表示させる。
【０１１２】
ステップ１０３７では、画像補正部２１９から出力された画像を、記録部２２１を通じて記録媒体に記録させる。
【０１１３】
ステップ１０３８では、「撮影開始」に戻る。
【０１１４】
なお、ステップ１０３８の段階で、まだ継続してレリーズスイッチ２１２が半押し操作され、ＳＷ１ＯＮになっているときは、そのままステップ１００２からの処理を進める。また、ステップ１０３８の段階で、レリーズスイッチ２１２が全押し操作され、ＳＷ２ＯＮになっているときには、「撮影開始」に戻らず、ステップ１０３８で待機する。
【０１１５】
以上説明したように、本実施例のカメラシステムによれば、分割撮像モードにより撮像された複数の画像から、像倍率が相互に一致した複数の画像を生成した上で、これら複数の画像を合成して単一画像を生成する。したがって、適正露出を有し、かつ像ずれがほとんどない高画質の合成画像を得ることができる。
【実施例２】
【０１１６】
図６には、本発明の実施例２に係るカメラの概略構成を示している。ここでは像振れ補正装置を搭載した、撮影レンズ一体型のコンパクトデジタルカメラを例に説明する。
【０１１７】
本実施例のコンパクトデジタルカメラは、実施例１にて説明した一眼レフカメラのようなクイックリターンミラーおよびサブミラーを備えず、かつサブミラーからの光束を用いて焦点検出を行う焦点検出器も有していない。このため、コントラスト検出方式でのＡＦが行われる。また、変倍が電動で行われる点でも実施例１と異なる。また、ＡＦ、変倍および撮像に関する制御は、ＣＰＵ等を含む制御回路６１８により行われる。
【０１１８】
本実施例２では、コントラスト検出方式によりＡＦを行う場合について説明する。但し、本発明をコンパクトデジタルカメラに適用する場合において、ＡＦ方式がコントラスト検出方式に限定されるわけではなく、例えば、外光パッシブＡＦセンサを用いたＡＦを行ってもよい。また、コントラスト検出方式と他のＡＦ方式とを組み合わせてＡＦを行ってもよい。ほぼリアルタイムに焦点検出を行うことが可能であればＡＦ方式は問わない。
【０１１９】
図６において、本実施例のデジタルカメラは、複数の光学レンズユニットにより構成される撮影光学系６０２を有する。撮影光学系６０２は、光軸方向に移動して焦点調節を行うフォーカスレンズユニット（以下、単にフォーカスレンズという）６０２ａと、光軸直交方向に移動して光学防振を行うためのシフトレンズユニット（以下、単にシフトレンズという）６０２ｂを有する。そらに、光軸方向に移動して変倍を行う変倍レンズユニット（以下、単に変倍レンズという）６０２ｃとを有する。
【０１２０】
なお、本実施例では、シフトレンズ６０２ｂを光軸直交方向に駆動して光学防振を行う場合について説明するが、該シフトレンズ６０２ｂに代えて、他の防振光学素子を用いることができる。例えば、一対の透明板の間に透明液体を封止して該透明板の傾きを変化させることにより光軸を偏心させる可変頂角プリズムや、光軸上の一点を中心としレンズを回動させるタイプのものを用いてもよい。
【０１２１】
自動焦点調節（ＡＦ）を行う際には、制御回路６１８は、ＡＦアクチュエータ６０３からの駆動力によってフォーカスレンズ６０２ａをその可動範囲の全域で光軸６０１の方向に移動（スキャン駆動）させる。そして、該スキャン駆動中に、撮像素子６１４からの撮像信号を処理して生成された映像信号の高周波成分であるＡＦ評価値信号が最大となる位置（合焦位置）を不図示のメモリに記憶する。その後、フォーカスレンズ６０２ａを合焦位置に移動させる。但し、後述する分割撮像モードでは、ビデオカメラ等におけるコントラスト検出方式でのＡＦと同様に、ＡＦ評価値信号が最大となる位置を探索するようにフォーカスレンズ６０２ａを駆動する。そして、ＡＦ評価値信号が最大となったと判定した位置（合焦位置）にフォーカスレンズ６０２ａを停止させる。
【０１２２】
光学防振を行う際には、まず光学防振機能を有効にするための防振操作スイッチ６２２からの操作信号が制御回路６１８に入力される。本実施例のカメラは、振れ検出器６００を備えている。振れ検出器６００は、振れに応じた検出信号を制御回路６１８へ送る。制御回路６１８は、防振駆動回路６０７に駆動信号を送る。防振駆動回路６０７からの駆動信号に応じて防振アクチュエータ６０６がシフトレンズ６０２ｂを光軸直交方向に駆動し、光学防振動作を行う。シフトレンズ６０２ｂ、防振アクチュエータ６０６および防振駆動回路６０７により振れ補正装置が構成される。
【０１２３】
光量制限動作を行うには、絞り６１０を駆動させることで行う。絞り６１０は、複数の絞り羽根を有している。制御回路６１８は絞り駆動回路６１１に駆動信号を送る。絞り駆動回路６１１は、該駆動信号を受けることで不図示の絞りアクチュエータを作動させ、絞り羽根を駆動する。これにより光通過口となる開口面積（絞り口径）を変化させる。
【０１２４】
また、該カメラは、フォーカス領域を検出するための導電部材であるフォーカスパターン６３１と、フォーカスパターン６３１に摺動してフォーカス領域毎のグレイスケールからフォーカス領域を示すパターン信号を生成する信号生成器６３２を有する。さらに、各フォーカス領域を示すパターン信号に対応した光学情報が書き込まれたＲＯＭ６３５とを有する。信号生成器６３２からのパターン信号とＲＯＭ６３５からの光学情報が制御回路６１８に伝わることで、制御回路６１８は、被写体距離情報を得ることができる。
【０１２５】
また、該カメラは、ズーム領域を表すための導電部材であるズームパターン６３３と、ズームパターン６３３に摺動してズーム領域毎のグレイスケールからズーム領域を示すパターン信号を生成する信号生成器６３４を有する。さらに、各ズーム領域を示すパターン信号に対応した光学情報が書き込まれた前述したＲＯＭ６３５とを有する。信号生成器６３４からのパターン信号とＲＯＭ６３５からの光学情報が制御回路６１８に伝わることで、制御回路６１８は焦点距離情報を得ることができる。なお、ＲＯＭ６３５は、制御回路６１８に内蔵されていてもよい。
【０１２６】
また、該カメラは、シャッタ６１２を有する。シャッタ６１２は、複数のシャッタ羽根を有する。制御回路６１８がシャッタ駆動回路６１３に制御信号を送り、シャッタ駆動回路６１３が該制御信号に応じた駆動信号をシャッタ６１２に送ることで、シャッタ羽根は光通過口となる開口部を開閉する。これにより、撮像素子６１４に入射する光量（露光量）が制御される。
【０１２７】
また、該カメラは、レリーズスイッチ６１９を有する。レリーズスイッチ６１９が半押し操作されたことが制御回路６１８に伝わると（ＳＷ１ＯＮ）、制御回路６１８からの制御信号により撮影準備動作（ＡＦ動作や測光動作等）が開始される。また、レリーズスイッチ６１９が全押し操作されたことが制御回路６１８に伝わると（ＳＷ２ＯＮ）、制御回路６１８からの制御信号により撮像動作が開始される。
【０１２８】
また、該カメラは、絞り操作部材６２０を有する。絞り操作部材６２０が操作されたことが制御回路６１８に伝わると、制御回路６１８は絞り駆動回路６１１を通じて絞り６１０を駆動する。これにより、光量制限動作が行われる。
【０１２９】
さらに、該カメラは、ズーム操作部材６２１を有する。ズーム操作部材６２１が操作されたことが制御回路６１８に伝わると、制御回路６１８はズームレンズ駆動回路６０９を通じてズームアクチュエータ６０８を駆動する。これにより、変倍レンズ６０２ｃが光軸方向に駆動されて、変倍動作が行われる。
【０１３０】
撮像素子６１４は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子からなる。駆動回路６１５は、制御回路６１８から電荷蓄積時間等を示す制御信号を受け、撮像素子６１４を駆動する。
【０１３１】
Ａ／Ｄ変換器６１６は、撮像素子６１４から出力されるアナログ撮像信号をデジタル信号に変換する。信号処理回路６１７は、Ａ／Ｄ変換器６１６から入力されたデジタル撮像信号に対して、輝度信号や色信号を形成するなどの信号処理を行ってカラー画像信号を生成する。
【０１３２】
モード切替回路６２３は、撮影モードを制御回路６１８からの制御信号により切り替える。
【０１３３】
画像補正部６２８は、モード切替回路６２３を介して入力されるカラー画像信号（静止画信号又は動画信号）に対し、ガンマ補正や圧縮処理を行う。画像補正部６２８から出力された画像信号は、表示部６２９と記録部６３０とに入力される。これにより、被写体観察画像や撮影画像が表示部６２９に表示されるとともに、記録部６３０に装着された半導体メモリ、光ディスク等の記録媒体に記録される。
【０１３４】
本実施例のカメラでも、実施例１と同様に、適正露出を得るために必要な総撮像時間を複数の短い撮像時間に分割して、この分割した数だけ撮像動作を繰り返して複数の画像を取得し、さらに該複数の画像から１枚の画像を合成処理により生成する。すなわち、分割撮像モードを有する。
【０１３５】
実施例１と同様に、制御回路６１８は、高倍率撮影や振れ補正装置を用いた撮像が行われると判断した場合、分割撮像モードを選択する。制御回路６１８は、フォーカスパターン６３１に対応する信号生成器６３２からのパターン信号によって表される被写体距離が所定値以下の場合に、高倍率撮影であるかと判断する。また、振れ補正装置を用いる撮影か否かは、防振操作スイッチ６２２からの操作信号が制御回路６１８に伝えられることで判別することができる。
【０１３６】
分割撮像モードでは、制御回路６１８は、シャッタ速度および撮影倍率情報に基づいて、総撮像時間をいくつに分割するかを決定する。撮影倍率は、被写体距離情報および焦点距離情報から算出される。総撮像時間の分割数は、実施例１（図３参照）と同様である。
【０１３７】
さらに、撮像動作を繰り返して得られる複数の画像のすべてを焦点が合った画像とするために、各撮像動作に先だってＡＦ動作を行う。
【０１３８】
以下、像倍率が相互に一致した複数の画像を生成し、さらにこれらの画像を合成して単一画像を生成するための構成および動作について説明する。
【０１３９】
撮像制御手段としての制御回路６１８は、分割撮像モードでは、モード切替回路６２３を制御して、信号処理回路６１７からの画像信号（以下、単に画像という）をモード切替回路６２３から画像情報記憶部６２４に入力させる。すなわち、モード切替回路６２３から画像補正部６２８への画像の直接入力を絶つ。
【０１４０】
情報生成手段としての画像情報記憶部６２４は、分割撮像モードでの複数回の撮像動作によって信号処理回路６１７から順次送られてきた複数の画像（第１の複数の画像）のすべてを記憶するとともに、該複数の画像における各画像の像倍率を算出して記憶する。ここで、像倍率は、前述した（１）式を用いて算出する。本実施例では、コントラスト検出方式によるＡＦ動作によって、被写体距離の変化に対してほぼリアルタイムにフォーカスレンズ６０２ａが合焦位置に移動することができる。このため、各撮像動作によって得られた画像の像倍率の算出に使用する被写体距離情報は、フォーカスパターン６３１（信号生成器６３２）からのパターン信号から得ることができる。
【０１４１】
拡大倍率検出部６２５は、まず取得した複数の画像の中からどの画像が最も像倍率が大きいかを判別する。具体的には、各画像を取得する時（各撮像動作時）に像倍率が算出され、記憶されているため、この情報に基づいて何枚目に撮影された画像が最も像倍率が大きいかを検出する。
【０１４２】
次に、画像情報記憶部６２４に記憶された各画像における特徴点を抽出し、この特徴点の画像内での位置座標を割り出す。特徴点の選択方法については、実施例１と同様である。
【０１４３】
画像生成手段としての座標変換部６２６は、実施例１と同様の手法によって、最大像倍率画像以外の他の画像（第２の画像）に対して拡大処理を行う。
【０１４４】
画像合成手段としての画像合成部６２７は、最大像倍率画像（第１の画像）と座標変換部６２６で拡大処理された画像（第３の画像）からなる第２の複数の画像を、重ね合わせるように合成して、適正露出を有する単一の合成画像を生成する。
【０１４５】
図７には、本実施例における主として制御回路６１８で行われる処理の内容を示したフローチャートである。この処理は、該フローチャートにより示されるコンピュータプログラムを、コンピュータとして機能する制御回路６１８により実行される。この処理は、カメラの電源が投入（ＯＮ）されたときからスタートする。
【０１４６】
ステップ２００１では、レリーズスイッチ６１９の半押し操作によりＳＷ１ＯＮになるまで待機し、ＳＷ１ＯＮになるとステップ２００２へ進む。ＳＷ１ＯＮになることを検出できなければ、ＳＷ１ＯＮになるまでステップ２００１を繰り返す。
【０１４７】
ステップ２００２では、焦点調節（ＡＦ）動作を行う。ここでは、フォーカスレンズ６０２ａをスキャン駆動して、コントラスト検出方式により合焦位置を特定し、ＡＦアクチュエータ６０３を介して該合焦位置にフォーカスレンズ６０２aを駆動する。
【０１４８】
ステップ２００３では、防振操作スイッチ６２２がオンであるか否かを判別し、防振操作スイッチ６２２がオンであった場合はステップ２００４へ進んで防振動作を開始させる。防振操作スイッチ６２２がオンでない場合はステップ２００５へ進む。
【０１４９】
ステップ２００５では、合焦状態であるか否かを判別し、合焦状態であればステップ２００６へ進む。合焦状態でなければ、合焦するまでステップ２００５を繰り返す。
【０１５０】
ステップ２００６では、合焦時におけるフォーカスパターン６３１（信号生成器６３２）からのパターン信号に基づいて高倍率撮影であるか否かを判別する。また、設定されたシャッタ速度の情報から、スローシャッタ撮影であるか否かを判別する。高倍率撮影かつスローシャッタ撮影である場合はステップ２００７へ進み、分割撮像モードでの処理を行う。高倍率撮影でなければ、ステップ２０２９へ進み、通常撮影モードでの処理を行う。通常撮影モードでは、単一画像を得るために１回の焦点調節（ＡＦ）動作と１回の撮像動作とを行う。
【０１５１】
ステップ２００７では、分割撮像モードでの複数回の撮像動作中にピント方向の振れ（被写体距離の変化）があってもピントが追従するように、コントラスト検出方式による合焦位置の探索モードに切り替える。
【０１５２】
ステップ２００８では、再度合焦であるか否かを判別し、合焦であればステップ２００９へ進む。
【０１５３】
ステップ２００９では、レリーズスイッチ６１９の全押し操作によってＳＷ２ＯＮになるまで待機し、ＳＷ２ＯＮになるとステップ２０１０へ進む。ＳＷ２ＯＮを検出できなければ、ステップ２００７およびステップ２００８の動作を繰り返す。
【０１５４】
ステップ２０１０では、分割撮像モードによる撮像、すなわち複数回の撮像動作を開始する。このとき、焦点距離情報を、ズームパターン６３３（信号生成器６３４）からのパターン信号に基づいて算出し、該焦点距離情報を不図示のメモリに記憶する。
【０１５５】
ステップ２０１１では、探索モードでの焦点調節（ＡＦ）動作を行う。
【０１５６】
ステップ２０１２では、総撮像時間を複数に分割して行う複数回の撮像動作のうち１回分の撮像動作によって撮像素子６１４から出力された撮像信号に基づいて画像を生成し、該画像を画像情報記憶部６２４に記憶する。
【０１５７】
ステップ２０１３では、ステップ２０１２で行われた撮像動作における被写体距離情報を算出する。そして、算出された被写体距離情報と、先に算出した焦点距離情報とから、像倍率を算出し、ステップ２０１２で取得した画像に対応付けて画像情報記憶部６２４に記憶する。
【０１５８】
ステップ２０１４では、今回行った撮像動作によって、総撮像時間の分割数に応じた数の画像の取得が完了したか否かを判別し、完了した場合はステップ２０１５へ、まだ完了していない場合は、完了するまでステップ２０１１からステップ２０１３を繰り返す。こうして総撮像時間の分割数に応じた数の画像の取得が完了すると、ステップ２０１５に進む。
【０１５９】
ステップ２０１５では、分割撮像モードでの撮像、すなわち単一画像を生成するために行われた一連の複数回の撮像動作を終了する。
【０１６０】
ステップ２０１６では、画像処理による像倍率補正を開始する。
【０１６１】
まずステップ２０１７では、ステップ１０１５で算出した各画像の像倍率を比較して、最も像倍率が大きい画像を第１の画像である基準画像として選択する。像倍率が最も大きい基準画像に対しては、後述する像倍率補正は行わない。また、基準画像以外の他の画像のうち基準画像と同じ像倍率を有する画像についても像倍率補正は行わない。但し、ここでは、基準画像以外の他の画像はすべて基準画像よりも小さい像倍率を有するものとして説明する。
【０１６２】
ステップ２０１８では、基準画像と第２の画像である他の画像のうち１画像とで特徴点を求める。
【０１６３】
ステップ２０１９では、ステップ２０１７で基準画像と比較した画像（以下、補正対象画像という）内で基準画像に相当する画像領域を、基準画像と同じ画像サイズとなるように拡大（座標変換）するための拡大倍率を算出する。拡大倍率の算出方法は、実施例１と同様である。
【０１６４】
ステップ２０２０では、ステップ２０１９で算出した拡大倍率に応じた拡散補間により、補正対象画像のうち基準画像に相当する領域を基準画像と同じ画像サイズに拡大する。
【０１６５】
ステップ２０２１では、ステップ２０２０で拡大処理した、すなわち像倍率を補正した画像（第３の画像、以下、倍率補正画像という）を画像情報記憶部６２４に記憶させる。
【０１６６】
ステップ２０２２では、基準画像以外の全ての画像に対してステップ２０１８からステップ２０２１までの像倍率補正処理が完了したか否かを判別し、完了していればステップ２０２３へ進む。完了していなければ、まだ像倍率補正を行っていない画像に対してステップ２０１８からステップ２０２１までの処理を実行する。
【０１６７】
ステップ２０２３では、基準画像以外の画像に対する画像処理による像倍率補正を完了する。
【０１６８】
ステップ２０２４では、基準画像とそれ以外の倍率補正画像とを重ね合わせるように合成して、１つの画像（以下、合成画像という）を生成する。なお、もともと基準画像と同じ像倍率を有していた画像がある場合には、この画像も合成される。以上のようにして、適正露出を有する単一の合成画像が生成される。
【０１６９】
ステップ２０２５では、画像補正部６２８において、合成画像に対するガンマ補正や圧縮処理を行わせる。
【０１７０】
ステップ２０２６では、画像補正部６２８から出力された合成画像を、表示部６２９に撮影画像として表示させる。
【０１７１】
ステップ２０２７では、画像補正部６２８から出力された合成画像を、記録部６３０を通じて記録媒体に記録させる。
【０１７２】
ステップ２０２８では、「撮影開始」に戻る。
【０１７３】
なお、ステップ２０２８の段階で、まだ継続してレリーズスイッチ６１９が半押し操作され、ＳＷ１ＯＮになっているときは、そのままステップ２００２からの処理を進める。また、ステップ２０２８の段階で、レリーズスイッチ６１９が全押し操作され、ＳＷ２ＯＮになっているときには、「撮影開始」に戻らず、ステップ２０２８で待機する。
【０１７４】
また、ステップ２００６で高倍率撮影ではないと判別した場合は、ステップ２０２９へと進み、通常撮像モードでの動作が開始される。
【０１７５】
ステップ２０２９では、レリーズスイッチ６１９が全押し操作されてＳＷ２ＯＮになるまで待機し、ＳＷ２ＯＮになるとステップ２０３０へ進む。ＳＷ２ＯＮを検出できなければステップ２０２９の動作を繰り返す。
【０１７６】
ステップ２０３０では、撮像動作が開始される。
【０１７７】
ステップ２０３１では、撮像動作により撮像素子６１４から出力された撮像信号に基づいて画像を生成する。
【０１７８】
ステップ２０３２では、撮像動作が完了する。
【０１７９】
ステップ２０３３では、生成された画像に対して画像補正部６２８にガンマ補正や圧縮処理を行わせる。
【０１８０】
ステップ２０３４では、画像補正部６２８から出力された画像を、表示部６２９に撮影画像として表示させる。
【０１８１】
ステップ２０３５では、画像補正部６２８から出力された画像を、記録部６３０を通じて記録媒体に記録させる。
【０１８２】
ステップ２０３６では、「撮影開始」に戻る。
【０１８３】
なお、ステップ２０３６の段階で、まだ継続してレリーズスイッチ６１９が半押し操作され、ＳＷ１ＯＮになっているときは、そのままステップ２００２からの処理を進める。また、ステップ２０３６の段階で、レリーズスイッチ６１９が全押し操作され、ＳＷ２ＯＮになっているときには、「撮影開始」に戻らず、ステップ２０３６で待機する。
【０１８４】
以上説明したように、本実施例のカメラによれば、分割撮像モードにより撮像された複数の画像から、像倍率が相互に一致した複数の画像を生成した上で、これら複数の画像を合成して単一画像を生成する。したがって、適正露出を有し、かつ像ずれがほとんどない高画質の合成画像を得ることができる。
【実施例３】
【０１８５】
図８には、本発明の実施例３に係る撮像システムである一眼レフデジタルカメラシステムの概略構成を示している。実施例１では、カメラ本体に、分割撮像モードにより撮像された複数の画像の像倍率を算出し、像倍率を一致させる画像処理（像倍率補正処理）を行った後、画像合成処理により単一画像を生成する機能を備える場合について説明した。これに対し、本実施例のカメラ本体２００′は、分割撮像モードにより複数の画像を撮像して各画像の像倍率を算出する機能までを備えている。そして、該複数の画像と各画像の像倍率情報を、図９に示すパーソナルコンピュータ３０００に入力することにより、該パーソナルコンピュータ３０００において、像倍率補正処理と画像合成処理とを行う。カメラ本体２００′からパーソナルコンピュータ３０００への画像および像倍率情報の受け渡しは、カメラ本体２００′とパーソナルコンピュータ３０００とをＵＳＢケーブルで接続したり、赤外線通信を介したりして行うことができる。
【０１８６】
図８に示す一眼レフカメラシステムを構成する交換レンズ１００は、実施例１と同じものである。カメラ本体２００′において、実施例１のカメラ本体と共通する構成要素には、実施例１と同符号を付して説明に代える。
【０１８７】
本実施例は、基本的に、実施例１のカメラ本体から、拡大倍率検出部２１６、座標変換部２１７および画像合成部２１８が削除されたものに相当する。但し、画像情報記憶部８００の動作は、実施例１と異なる。
【０１８８】
画像情報記憶部８００は、分割撮像モードでの複数回の撮像動作によって信号処理回路２１０から順次送られてきた複数の画像（第１の複数の画像）のすべてを記憶するとともに、該複数の画像における各画像の像倍率を算出して記憶する。像倍率の算出方法は、実施例１と同様である。さらに、本実施例では、画像情報記憶部８００は、分割撮像モードで取得された各画像に対して、該画像が共通する単一合成画像を得るための分割画像であることを示すフラグおよび総撮像時間の分割数を示す情報を関連付けて記憶する。該フラグの役割については後述する。
【０１８９】
その後、画像補正部２１９では、画像情報記憶部８００から入力された画像に対するガンマ補正や圧縮処理が行われる。これらの処理がなされた画像は、表示部２２０に表示される。また、該画像、該画像の像倍率情報、上記フラグおよび分割数情報を含むデータが、記録部２２１を通じて、半導体メモリ等で構成された着脱可能な記録媒体に記録される。
【０１９０】
本実施例では、カメラ本体２００′内では像倍率補正処理および画像合成処理を行わないため、表示部２２０に表示される画像および記録媒体に記録される画像は、露光不足の画像である。
【０１９１】
なお、本実施例では、一眼レフデジタルカメラシステムについて説明するが、本実施例は、コンパクトデジタルカメラを用いる場合にも適用することができる。
【０１９２】
図９には、パーソナルコンピュータ３０００の概略構成を示している。パーソナルコンピュータ３０００内のハードディスク等のメモリ部３００１には、図１０に内容を詳しく示す画像処理プログラム４０００がインストールされている。該画像処理プログラム４０００は、一般的なＯＳ（オペレーションシステム）上で動作する。
【０１９３】
また、パーソナルコンピュータ３０００内のメモリ部３００１以外の部分には、上記画像処理プログラムに従って像倍率補正処理と画像合成処理を行うハードウェア５０００を示している。これらのハードウェア５０００は、パーソナルコンピュータ３０００に搭載されたＣＰＵ内に画像処理プログラムに従って構成される。
【０１９４】
表示部１１０５は、パーソナルコンピュータ３０００とともに用いられる液晶ディスプレイ等により構成される。
【０１９５】
図８に示したカメラ本体２００′において記録媒体に記録された分割撮像モードで得られた複数の分割画像およびデータは、ＵＳＢケーブル又は赤外線通信によってパーソナルコンピュータ３０００により受信され、記憶部１１０６に記憶される。
【０１９６】
カメラ本体２００′上又はパーソナルコンピュータ３０００上で該複数の分割画像が格納されたフォルダや複数の分割画像のいずれかがユーザーにより選択されると、制御回路１１０２は、画像処理プログラム４０００内の画像情報選択・判別部１１０７を起動する。画像情報選択・判別部１１０７は、該選択された複数の分割画像が、総撮像時間の分割数に対応した数だけ記憶部１１０６に記憶されているか否かを、各分割画像に付されたフラグと分割数情報とにより識別する。
【０１９７】
このようにフラグと分割数情報とにより分割画像の数を確認するのは、記憶部１１０６に合成すべき数の分割画像が揃っていない場合、合成しても露光不足の合成画像が生成されてしまうからである。
【０１９８】
また、画像情報選択・判別部１１０７は、各分割画像に付された像倍率情報から、複数の分割画像のうちどの画像の像倍率が最も大きいかを判別する。
【０１９９】
そして、拡大倍率検出部１１０８は、各分割画像における特徴点を抽出し、この特徴点の画像内での位置座標を割り出す。特徴点の選択方法については、実施例１と同様である。
【０２００】
座標変換部１１０９は、実施例１と同様の手法によって、最大像倍率画像以外の他の分割画像（第２の画像）に対して拡大処理を行う。
【０２０１】
さらに、画像合成部１１１０は、最大像倍率画像（第１の画像）と座標変換部１１０９で拡大処理された画像（第３の画像）からなる第２の複数の画像を、重ね合わせるように合成して、適正露出を有する単一の合成画像を生成する。
【０２０２】
合成画像は、画像補正部１１０４に入力されてガンマ補正や圧縮処理が行われ、その後、表示部１１０５に撮影画像として表示されたり、記憶部１１０６に記憶されたりする。
【０２０３】
図１０のフローチャートには、上述した画像処理プログラムの内容を示す。
【０２０４】
ステップ３００１で、ユーザーにより記録部１１０６に記憶された複数の分割画像のフォルダ又はいずれかの分割画像が選択されると、ステップ３００２に進む。ステップ３００２では、前述したように、記憶部１００６に、総撮像時間の分割数に対応した数の合成すべき分割画像が記憶されているか否かを確認する。分割数に対応した数の分割画像が記憶されている場合はステップ３００３へ進み、記憶されていなければステップ３００１へ戻る。
【０２０５】
ステップ３００３では、ステップ３００１で確認された全分割画像を記憶部１１０６から読み込む。
【０２０６】
ステップ３００４では、画像処理による像倍率補正処理を開始する。
【０２０７】
ステップ３００５では、ステップ３００３で読み込んだ各分割画像の像倍率を比較して、最も像倍率が大きい画像を基準画像（第１の画像）として選択する。この最大像倍率画像に対しては、像倍率補正処理は行わない。また、基準画像以外の他の画像のうち基準画像と同じ像倍率を有する画像についても像倍率補正は行わない。但し、ここでは、基準画像以外の他の画像はすべて基準画像よりも小さい像倍率を有するものとして説明する。
【０２０８】
ステップ３００６では、基準画像と第２の画像である他の画像のうち１画像とで特徴点を求める。
【０２０９】
ステップ３００７では、ステップ３００６で基準画像と比較した画像（以下、補正対象画像という）内で基準画像に相当する画像領域を、基準画像と同じ画像サイズとなるように拡大（座標変換）するための拡大倍率を算出する。拡大倍率の算出方法は、実施例１と同様である。
【０２１０】
ステップ３００８では、ステップ３００７で算出した拡大倍率に応じた拡散補間により、補正対象画像のうち基準画像に相当する領域を基準画像と同じ画像サイズに拡大する。
【０２１１】
ステップ３００９では、ステップ３００８で拡大処理した、すなわち像倍率を補正した画像（第３の画像、以下、倍率補正画像という）を画像情報記憶部１１０３に記憶させる。
【０２１２】
ステップ３０１０では、基準画像以外の全ての画像に対してステップ３００６からステップ３００９までの像倍率補正処理が完了したか否かを判別し、完了していればステップ３０１１へ進む。完了していなければ、まだ像倍率補正を行っていない画像に対してステップ３００６からステップ３００９までの処理を実行する。
【０２１３】
ステップ３０１１では、基準画像以外の画像に対する画像処理による像倍率補正を完了する。
【０２１４】
ステップ３０１２では、基準画像とそれ以外の倍率補正画像とを重ね合わせるように合成して、１つの画像（以下、合成画像という）を生成する。なお、もともと基準画像と同じ像倍率を有していた画像がある場合には、この画像も合成される。以上のようにして、適正露出を有する単一の合成画像が生成される。
【０２１５】
ステップ３０１３では、画像補正部１１０４において、合成画像に対するガンマ補正や圧縮処理を行わせる。
【０２１６】
ステップ３０１４では、画像補正部１１０４から出力された合成画像を、表示部１１０５に撮影画像として表示させる。また、画像補正部１１０４から出力された合成画像を、記憶部１１０６に記憶する。
【０２１７】
ステップ３０１５では、「画像選択」に戻る。
【０２１８】
以上説明したように、本実施例によれば、カメラによって分割撮像モードにより撮像された複数の画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにより像倍率が相互に一致した複数の画像を生成する。そして、これら複数の画像を合成して単一画像を生成する。したがって、実施例１に比べてカメラ（カメラ本体）の構成を簡略化できる。また、画像処理プログラムをパーソナルコンピュータにインストールするだけで、分割撮像モードにより撮像された複数の画像から、適正露出を有し、かつ像ずれがほとんどない高画質の合成画像を得ることができる。
【実施例４】
【０２１９】
本発明の実施例４である撮像システムとしての一眼レフデジタルカメラシステムにおける処理について説明する。なお、本実施例の一眼レフデジタルカメラシステムの構成は、実施例１（図１）に示したものと同様である。但し、本実施例では、図１に示した拡大倍率検出部２１６に相当する拡大倍率検出部での動作が異なる。以下、本実施例の拡大倍率検出部に２１６′と符号を付して説明する。
【０２２０】
本実施例の拡大倍率検出部２１６′は、図１に示した画像情報記憶部２１５に記憶された画像に対して以下の処理を行う。
【０２２１】
画像情報記憶部２１５は、実施例１にて説明したように、分割撮像モードで生成された複数の画像のすべてと、算出した各画像の像倍率情報とを記憶している。
【０２２２】
拡大倍率検出部２１６′は、まず取得した複数の画像のうちどの画像が最も像倍率が大きいかを検出する。具体的には、画像情報記憶部２１５にて算出および記憶した像倍率情報に基づいて、何回目の撮像動作によって生成された画像が最大像倍率を有するかを検出することができる。
【０２２３】
拡大倍率検出部２１６′は、最大像倍率画像である基準画像の像倍率情報と、他の補正対象画像（すべて最大像倍率より小さい像倍率を有するものとする）の像倍率情報とに基づいて、該補正対象画像のうち基準画像と相似な領域の画像サイズを算出する。補正対象画像のうち基準画像と相似な領域を、以下、基準画像相似領域という。ここにいう画像サイズは、画像の対角線の交点を中心としたサイズである。そして、図１１に示すように、基準画像相似領域Ｅを、基準画像Ｆの画像サイズと同一サイズに拡大するための拡大倍率を求める。
【０２２４】
次に、算出した拡大倍率に基づいて、図１に示す座標変換部２１７で基準画像相似領域を拡散補間して座標変換し、基準画像と同一の画像サイズに拡大（像倍率補正）する。同様の処理を他の補正対象画像についても行う。そして、基準画像と該像倍率補正処理がなされた画像が図１に示す画像合成部２１８において重ね合わされるように合成されて単一の合成画像が生成される。
【０２２５】
図１２は、本実施例における処理の内容を示すフローチャートである。このフローチャートは、実施例１で説明した図２のフローチャートにおけるステップ１０１８からステップ１０２５に代わるものである。図１２に示していないフローチャートの部分は、図２のフローチャートと同様である。
【０２２６】
ステップ４０１８では、画像処理による像倍率補正を開始する。
【０２２７】
まずステップ４０１９では、図２のステップ１０１５で算出した各画像の像倍率を比較して、最も像倍率が大きい画像を第１の画像である基準画像として選択する。像倍率が最も大きい基準画像に対しては、後述する像倍率補正は行わない。また、基準画像以外の他の画像のうち基準画像と同じ像倍率を有する画像についても像倍率補正は行わない。但し、ここでは、基準画像以外の他の画像はすべて基準画像よりも小さい像倍率を有するものとして説明する。
【０２２８】
ステップ４０２０では、前述したように、最大像倍率画像である基準画像の像倍率情報と、複数の補正対象画像のうち１画像の像倍率情報とに基づいて、該補正対象画像の基準画像相似領域のサイズを算出する。
【０２２９】
ステップ４０２１では、基準画像相似領域を、基準画像と同じ画像サイズとなるように拡大（座標変換）するための拡大倍率を算出する。ステップ４０１９〜４０２１が、本実施例の拡大率検出部２１６′で行われる処理である。
【０２３０】
ステップ４０２２では、ステップ４０２１で算出した拡大倍率に応じた拡散補間により、補正対象画像の基準画像相似領域を基準画像と同じ画像サイズに拡大する。
【０２３１】
ステップ４０２３では、ステップ４０２２で拡大処理した、すなわち像倍率を補正した画像（第３の画像、以下、倍率補正画像という）を画像情報記憶部２１５に記憶させる。
【０２３２】
ステップ４０２４では、基準画像以外の全ての画像に対してステップ４０２０からステップ４０２３までの像倍率補正処理が完了したか否かを判別し、完了していればステップ４０２５へ進む。完了していなければ、まだ像倍率補正を行っていない画像に対してステップ４０２０からステップ４０２３までの処理を実行する。
【０２３３】
ステップ４０２５では、画像処理による像倍率補正を完了する。
【０２３４】
本実施例によれば、実施例１のように画像の特徴点抽出やその変位量演算等、複雑な演算処理を行わずに補正対象画像の拡大率を決定することができる。このため、演算負担の増加を抑えながら、分割撮像モードにより撮像された複数の画像から、適正露出を有し、かつ像ずれがほとんどない高画質の合成画像を得ることができる。
【実施例５】
【０２３５】
本発明の実施例５であるコンパクトデジタルカメラシステムにおける処理について説明する。なお、本実施例のコンパクトデジタルカメラシステムの構成は、実施例２（図６）に示したものと同様である。但し、本実施例では、図６に示した拡大倍率検出部６２５に相当する拡大倍率検出部での動作が異なる。以下、本実施例の拡大倍率検出部に６２５′と符号を付して説明する。
【０２３６】
本実施例の拡大倍率検出部６２５′は、図６に示した画像情報記憶部６２４に記憶された画像に対して以下の処理を行う。
【０２３７】
画像情報記憶部６２４は、実施例２にて説明したように、分割撮像モードで生成された複数の画像のすべてと、算出した各画像の像倍率情報とを記憶している。
【０２３８】
拡大倍率検出部６２５′は、まず取得した複数の画像のうちどの画像が最も像倍率が大きいかを検出する。具体的には、画像情報記憶部６２４にて算出および記憶した像倍率情報に基づいて、何回目の撮像動作によって生成された画像が最大像倍率を有するかを検出することができる。
【０２３９】
拡大倍率検出部６２５′は、最大像倍率画像である基準画像の像倍率情報と、他の補正対象画像（すべて最大像倍率より小さい像倍率を有するものとする）の像倍率情報とに基づいて、該補正対象画像のうち基準画像と相似な領域の画像サイズを算出する。補正対象画像のうち基準画像と相似な領域を、以下、基準画像相似領域という。ここにいう画像サイズは、画像の対角線の交点を中心としたサイズである。そして、実施例４において図１１を用いて説明したように、基準画像相似領域Ｅを、基準画像Ｆの画像サイズと同一サイズに拡大するための拡大倍率を求める。
【０２４０】
次に、算出した拡大倍率に基づいて、図６に示す座標変換部６２６で基準画像相似領域を拡散補間して座標変換し、基準画像と同一の画像サイズに拡大（像倍率補正）する。同様の処理を他の補正対象画像についても行う。そして、基準画像と該像倍率補正処理がなされた画像が図６に示す画像合成部６２７において重ね合わされるように合成されて単一の合成画像が生成される。
【０２４１】
図１３は、本実施例における処理の内容を示すフローチャートである。このフローチャートは、実施例２で説明した図７のフローチャートにおけるステップ２０１６からステップ２０２３に代わるものである。図１３に示していないフローチャートの部分は、図７のフローチャートと同様である。
【０２４２】
ステップ５０１６では、画像処理による像倍率補正を開始する。
【０２４３】
まずステップ５０１７では、図７のステップ２０１３で算出した各画像の像倍率を比較して、最も像倍率が大きい画像を第１の画像である基準画像として選択する。像倍率が最も大きい基準画像に対しては、後述する像倍率補正は行わない。また、基準画像以外の他の画像のうち基準画像と同じ像倍率を有する画像についても像倍率補正は行わない。但し、ここでは、基準画像以外の他の画像はすべて基準画像よりも小さい像倍率を有するものとして説明する。
【０２４４】
ステップ５０１８では、前述したように、最大像倍率画像である基準画像の像倍率情報と、複数の補正対象画像のうち１画像の像倍率情報とに基づいて、該補正対象画像の基準画像相似領域のサイズを算出する。
【０２４５】
ステップ５０１９では、基準画像相似領域を、基準画像と同じ画像サイズとなるように拡大（座標変換）するための拡大倍率を算出する。ステップ５０１７〜５０１９が、本実施例の拡大率検出部６２５′で行われる処理である。
【０２４６】
ステップ５０２０では、ステップ５０１９で算出した拡大倍率に応じた拡散補間により、補正対象画像の基準画像相似領域を基準画像と同じ画像サイズに拡大する。
【０２４７】
ステップ５０２１では、ステップ５０２０で拡大処理した、すなわち像倍率を補正した画像（第３の画像、以下、倍率補正画像という）を画像情報記憶部６２４に記憶させる。
【０２４８】
ステップ５０２２では、基準画像以外の全ての画像に対してステップ５０１８からステップ５０２１までの像倍率補正処理が完了したか否かを判別し、完了していればステップ５０２３へ進む。完了していなければ、まだ像倍率補正を行っていない画像に対してステップ５０１８からステップ５０２１までの処理を実行する。
【０２４９】
ステップ５０２３では、画像処理による像倍率補正を完了する。
【０２５０】
本実施例によれば、実施例２のように画像の特徴点抽出やその変位量演算等、複雑な演算処理を行わずに補正対象画像の拡大率を決定することができる。このため、演算負担の増加を抑えながら、分割撮像モードにより撮像された複数の画像から、適正露出を有し、かつ像ずれがほとんどない高画質の合成画像を得ることができる。
【実施例６】
【０２５１】
本発明の実施例６である画像処理プログラムについて説明する。なお、本実施例の画像処理プログラムは、実施例３で説明した図９のパーソナルコンピュータに、実施例３の画像処理プログラムに代えてインストールされる。
【０２５２】
また、パーソナルコンピュータに入力される複数の画像を分割撮像モードにより撮像するカメラの構成は、実施例３（図８）に示したものと同様である。
【０２５３】
本実施例では、図９に示した拡大倍率検出部１１０８に相当する拡大倍率検出部での動作が異なる。以下、本実施例の拡大倍率検出部に１１０８′と符号を付して説明する。
【０２５４】
本実施例の拡大倍率検出部１１０８′は、図９に示した記憶部１１０６に記憶された画像に対して以下の処理を行う。
【０２５５】
記憶部１１０６は、分割撮像モードで生成された複数の画像のすべてと、算出した各画像の像倍率情報とを記憶している。
【０２５６】
拡大倍率検出部１１０８′は、まず取得した複数の画像のうちどの画像が最も像倍率が大きいかを検出する。具体的には、記憶部１１０６に記憶された像倍率情報に基づいて、何回目の撮像動作によって生成された画像が最大像倍率を有するかを検出することができる。
【０２５７】
拡大倍率検出部１１０８′は、最大像倍率画像である基準画像の像倍率情報と、他の補正対象画像（すべて最大像倍率より小さい像倍率を有するものとする）の像倍率情報とに基づいて、該補正対象画像のうち基準画像と相似な領域の画像サイズを算出する。補正対象画像のうち基準画像と相似な領域を、以下、基準画像相似領域という。ここにいう画像サイズは、画像の対角線の交点を中心としたサイズである。そして、実施例４において図１１を用いて説明したように、基準画像相似領域Ｅを、基準画像Ｆの画像サイズと同一サイズに拡大するための拡大倍率を求める。
【０２５８】
次に、算出した拡大倍率に基づいて、図９に示す座標変換部１１０９で基準画像相似領域を拡散補間して座標変換し、基準画像と同一の画像サイズに拡大（像倍率補正）する。同様の処理を他の補正対象画像についても行う。そして、基準画像と該像倍率補正処理がなされた画像が図９に示す画像合成部１１１０において重ね合わされるように合成されて単一の合成画像が生成される。
【０２５９】
図１４は、本実施例における処理の内容を示すフローチャートである。このフローチャートは、実施例３で説明した図１０のフローチャートにおけるステップ３００４からステップ３０１１に代わるものである。図１４に示していないフローチャートの部分は、図１０のフローチャートと同様である。
【０２６０】
ステップ６００４では、画像処理による像倍率補正処理を開始する。
【０２６１】
ステップ６００５では、図１０のステップ３００３で読み込んだ各分割画像の像倍率を比較して、最も像倍率が大きい画像を基準画像（第１の画像）として選択する。この最大像倍率画像に対しては、像倍率補正処理は行わない。また、基準画像以外の他の画像のうち基準画像と同じ像倍率を有する画像についても像倍率補正は行わない。但し、ここでは、基準画像以外の他の画像はすべて基準画像よりも小さい像倍率を有するものとして説明する。
【０２６２】
ステップ６００６では、前述したように、最大像倍率画像である基準画像の像倍率情報と、複数の補正対象画像のうち１画像の像倍率情報とに基づいて、該補正対象画像の基準画像相似領域のサイズを算出する。
【０２６３】
ステップ６００７では、基準画像相似領域を、基準画像と同じ画像サイズとなるように拡大（座標変換）するための拡大倍率を算出する。ステップ６００５〜６００７が、本実施例の拡大率検出部１１０８′で行われる処理である。
【０２６４】
ステップ６００８では、ステップ６００７で算出した拡大倍率に応じた拡散補間により、補正対象画像の基準画像相似領域を基準画像と同じ画像サイズに拡大する。
【０２６５】
ステップ６００９では、ステップ６００８で拡大処理した、すなわち像倍率を補正した画像（第３の画像、以下、倍率補正画像という）を画像情報記憶部１１０３に記憶させる。
【０２６６】
ステップ６０１０では、基準画像以外の全ての画像に対してステップ６００６からステップ６００９までの像倍率補正処理が完了したか否かを判別し、完了していればステップ６０１１へ進む。完了していなければ、まだ像倍率補正を行っていない画像に対してステップ６００６からステップ６００９までの処理を実行する。
【０２６７】
ステップ６０１１では、画像処理による像倍率補正を完了する。
【０２６８】
以上説明したように、本実施例によれば、カメラによって分割撮像モードにより撮像された複数の画像をパーソナルコンピュータに取り込み、該パーソナルコンピュータにより像倍率が相互に一致した複数の画像を生成する。そして、これら複数の画像を合成して単一画像を生成する。したがって、実施例１に比べてカメラ（カメラ本体）の構成を簡略化できる。また、画像処理プログラムをパーソナルコンピュータにインストールするだけで、分割撮像モードにより撮像された複数の画像から、適正露出を有し、かつ像ずれがほとんどない高画質の合成画像を得ることができる。
【０２６９】
さらに、実施例３のように画像の特徴点抽出やその変位量演算等、複雑な演算処理を行わずに補正対象画像の拡大率を決定することができる。このため、演算負担の増加を抑えながら、分割撮像モードにより撮像された複数の画像から上記のような高画質の合成画像を得ることができる。
【０２７０】
ここで、上記実施例１〜６に共通する画像処理のイメージを、図１５に示す。図１５の上段には、分割撮像モードにおける複数回（ここでは４回とする）の撮像動作によって生成された、第１の複数の画像としての４つの画像５０１〜５０４を示す。左から２番目の画像（第１の画像：基準画像）５０２の像倍率が最も大きく、他の３つの画像（第２の画像：補正対象画像）５０１，５０３，５０４の像倍率は、基準画像のそれよりも小さく、かつ互いに異なっている。また、これら４つの画像５０１〜５０４は、総撮像時間を４分割して撮像されたものであるため、本来の適正露出に対して１／４の露出状態となっている（図中のハッチングは露出が足りないことを示す）。
【０２７１】
中段には、３つの補正対象画像５０１，５０３，５０４に対して像倍率補正、すなわち座標変換による拡大処理を行って、基準画像の像倍率に一致した像倍率を有する３つの像倍率補正画像（第３の画像）５１１，５１３，５１４を生成した様子を示している。これら３つの像倍率補正画像５１１，５１３，５１４と基準画像５０２とによって第２の複数の画像が構成される。
【０２７２】
そして、これら基準画像５０２と３つの像倍率補正画像５１１，５１３，５１４とを重ね合わせるように合成することで、下段に示したように、適正露出を有し、かつ像ずれがほとんどない単一の合成画像５２０が得られる。
【実施例７】
【０２７３】
上記実施例１〜３では、分割撮像モードで撮像された複数の画像のうち最大の像倍率を有する画像を基準画像とし、該基準画像に対して他の画像の像倍率を一致させるように拡大処理による像倍率補正を行う場合について説明した。しかし、像倍率補正方法はこれに限らず、例えば、最小の像倍率を有する画像を基準画像とし、該基準画像に対して他の画像の像倍率を一致させるように縮小処理による像倍率補正を行うこともできる。
【０２７４】
本発明の実施例７では、実施例１〜３の変形例として縮小処理による像倍率補正を行う場合について説明する。ここでは、実施例１〜３のデジタルカメラ又は画像処理プログラムにおける拡大倍率検出部２１６，６２５，１１０８を縮小倍率検出部として、その動作の概要を説明する。
【０２７５】
本実施例の縮小倍率検出部は、まず取得した複数の画像のうちどの画像が最も像倍率が小さいかを検出する。具体的には、実施例１〜３の画像記憶部２１５，６２４又は記憶部１１０６に記憶された像倍率情報に基づいて、何回目の撮像動作によって生成された画像が最小像倍率を有するかを検出することができる。
【０２７６】
次に、縮小倍率検出部は、像倍率が最小の画像（第１の画像）と他の像倍率が最小より大きい画像（第２の画像）とを比較し、最小像倍率画像と該他の画像の特徴点を抽出して、特徴点の撮影画面内における位置座標を算出する。
【０２７７】
例えば、図５に示すように、フレーム（Ａ）において人物５０１が建物５０２を背景にして立っている画像を得る場合を考える。このとき、次回以降の撮像動作においてピント方向振れがあると、フレーム（Ｂ）のように、フレーム（Ａ）に対して像倍率が異なる画像が得られる。フレーム（Ｂ）は、フレーム（Ａ）に対して像倍率が大きく、またフレーム（Ａ）は、複数回の撮像動作により得られた画像のうち像倍率が最小のものとする。
【０２７８】
拡大倍率検出部は、フレーム（Ｂ）において、画面の周辺に位置する建物５０６のうち、輝度の高い点である窓５０７のエッジ５０８をエッジ検出によって特徴点として抽出する。次に、この特徴点５０８と、像倍率が最も小さいフレーム（Ａ）における特徴点５０４とを比較して両者の差である変位量（動きベクトルやスカラー量）を算出する。そして、特徴点５０８の端点（図５（ｂ）に示すＣとＤ）の座標が特徴点５０４において該端点に対応する点（図５（ａ）に示すＡとＢ）の座標に揃うように、縮小処理（座標変換処理）を座標変換部で行う。すなわち図１６に示すように、像倍率が大きいフレーム（Ｂ）の画像を、最小像倍率画像（フレーム（Ａ））内において該フレーム（Ｂ）の画像に相当する領域のサイズに一致させるように縮小処理を行う。この座標変換部は、実施例１〜３でいう座標変換部２１７，６２６，１１０９である。
【０２７９】
このとき、図１６中のＣ′で示す領域は、最小像倍率画像以外の画像には写っていない領域である。このため、本実施例では、この領域Ｃ′を合成する画像の数分、ゲインアップすることで、合成後の画像における該領域Ｃ′が適正な露光領域となる。
【実施例８】
【０２８０】
上記実施例４〜６では、分割撮像モードで撮像された複数の画像のうち最大の像倍率を有する画像を基準画像とし、該基準画像に対して他の画像の像倍率を一致させるように拡大処理による像倍率補正を行う場合について説明した。しかし、像倍率補正方法はこれに限らず、例えば、最小の像倍率を有する画像を基準画像とし、該基準画像に対して他の画像の像倍率を一致させるように縮小処理による像倍率補正を行うこともできる。
【０２８１】
本発明の実施例８では、実施例４〜６の変形例として縮小処理による像倍率補正を行う場合について説明する。ここでは、実施例４〜６のデジタルカメラ又は画像処理プログラムにおける拡大倍率検出部２１６′，６２５′，１１０８′を縮小倍率検出部として、その動作の概要を説明する。
【０２８２】
本実施例の縮小倍率検出部は、まず取得した複数の画像のうちどの画像が最も像倍率が小さいかを検出する。具体的には、実施例４〜６の画像記憶部又は記憶部に記憶された像倍率情報に基づいて、何回目の撮像動作によって生成された画像が最小像倍率を有するかを検出することができる。
【０２８３】
次に縮小倍率検出部は、最小像倍率画像である基準画像の像倍率情報と、他の補正対象画像の像倍率情報とに基づいて、基準画像内で補正対象画像と相似な領域（以下、補正画像相似領域という）の画像サイズを算出する。ここにいう画像サイズは、画像の対角線の交点を中心としたサイズである。そして、補正画像相似領域を、基準画像内における該補正画像相当領域のサイズと同一サイズに縮小するための縮小倍率を求める。
【０２８４】
次に、像倍率が大きい補正対象画像を、最小像倍率画像内において該補正対象画像に相当する領域のサイズに一致させるように縮小処理（座標変換処理）を座標変換部で行う。
【０２８５】
このとき、実施例７において図１６に示したように、最小像倍率画像以外の画像には写っていない領域Ｃ′がある。このため、本実施例では、この領域Ｃ′を合成する画像の数分、ゲインアップすることで、合成後の画像における該領域Ｃ′が適正な露光領域となる。
【実施例９】
【０２８６】
上記各実施例では、分割撮像モードで撮像された複数の画像のうち最大又は最小の像倍率を有する画像を基準画像とし、該基準画像に対して他の画像の像倍率を一致させるように像倍率補正を行う場合について説明した。しかし、像倍率補正方法はこれに限らず、任意の像倍率の画像（例えば、複数の画像のうち１回目の撮像動作によって撮像された画像）を基準画像としてもよい。
【０２８７】
この場合、基準画像以外の画像が基準画像に対して像倍率が大きい場合は、実施例７，８で説明した縮小処理による像倍率補正を行い、基準画像以外の画像が基準画像に対して像倍率が小さい場合は、実施例１〜６で説明した拡大処理による像倍率補正を行う。
【０２８８】
また、上記各実施例では、まず、フォーカスレンズやズームレンズの位置（フォーカス領域やズーム領域）を検出して得られた被写体距離情報と焦点距離情報とに基づいて各画像の像倍率を算出した。そして、該算出した像倍率の情報を用いてその後の処理を行う場合について説明した。しかし、必ずしも像倍率を算出しなくてもよく、像倍率に関する情報として被写体距離情報や焦点距離情報をそのまま用いて、その後の処理を行うようにしてもよい。
【０２８９】
また、分割撮像モードで撮像された画像の特徴点の変位量（変位方向を含む）を像倍率に関する情報として用いてもよい。この場合、基準画像の像倍率を求めず、他の画像の基準画像に対する像倍率の差に相当する特徴点変位量を求めて像倍率に関する情報として用いることができる。
【０２９０】
また、上記各実施例では、手持ち撮影時において像倍率の変化が生じた場合を前提とした説明を行ったが、三脚を用いて撮影した場合や、手持ち撮影中に像倍率の変化が起こらなかった場合でも、各実施例で説明したのと同様の動作を行うようにしてもよい。
【０２９１】
また、実施例１〜９にて説明したカメラシステムにおいて、図１に２２１で、図６に６３０で、および図８に２２１で示した「記録部」を、図１７に１７００で、図１８に１８００で、および図１９に１９００で示すように「情報伝達部」に置き換えてもよい。情報伝達部は、赤外線、ブルートゥース、ＵＳＢケーブル、ワイヤレスＬＡＮ、ＩＥＥＥ１３９４、ＧＳＭおよびＧＰＲＳ等を用いて、他の装置（撮像装置以外の装置）に情報（第１の複数の画像と像倍率に関する情報を含む）を伝達する機能を有する。他の装置とは、パーソナルコンピュータやプリンタ等に代表される装置であって、受信した情報を記録する記録媒体を有する装置や、該情報を処理する手段を有する装置である。
【図面の簡単な説明】
【０２９２】
【図１】本発明の実施例１である一眼レフデジタルカメラシステムの概略構成を示すブロック図。
【図２】実施例１のカメラシステムの動作を示すフローチャート。
【図３】実施例１における総撮像時間の分割数と像振れ補正効果との関係を示す図。
【図４】実施例１において分割撮像モードの各撮像動作にて撮像された分割画像の例を示す図。
【図５】実施例１における像倍率補正の例を示す図。
【図６】本発明の実施例２であるコンパクトデジタルカメラの概略構成を示すブロック図。
【図７】実施例２のカメラの動作を示すフローチャート。
【図８】本発明の実施例３である一眼レフデジタルカメラシステムの概略構成を示すブロック図。
【図９】実施例３における画像処理プログラムが動作するパーソナルコンピュータの概略構成を示すブロック図。
【図１０】実施例３のカメラシステムの動作を示すフローチャート。
【図１１】本発明の実施例４である一眼レフカメラシステムにおける像倍率補正の例を示す図。
【図１２】実施例４のカメラシステムの動作を示すフローチャート。
【図１３】本発明の実施例５であるコンパクトデジタルカメラの動作を示すフローチャート。
【図１４】本発明の実施例６である画像処理プログラムの動作を示すフローチャート。
【図１５】実施例１〜６による画像処理のイメージを示す図。
【図１６】本発明の実施例７としての像倍率補正方法を説明する図。
【図１７】本発明の実施例１，４，７，８，９である一眼レフデジタルカメラシステムの概略構成を示すブロック図。
【図１８】本発明の実施例２，５，７，８，９であるコンパクトデジタルカメラシステムの概略構成を示すブロック図。
【図１９】本発明の実施例３，６，７，８，９である一眼レフデジタルカメラシステムの概略構成を示すブロック図。
【図２０】画像周辺部における像ずれを説明する図。
【図２１】撮影倍率毎の画像周辺部での像ずれとシャッタ速度との関係を示す図。
【符号の説明】
【０２９３】
１００  交換レンズ
２００，２００′  カメラ本体
１０１ａ，６０２ａ  フォーカスレンズ
１０１ｂ，６０２ｂ  シフトレンズ（振れ補正レンズ）
１０１ｃ，６０２ｃ  変倍レンズ
１１１  変位センサ
１１２，６３３  ズームパターン
１１５，６３１  フォーカスパターン
５０４，５０８  特徴点
６００  振れ検出器
【図９】
0004794963.tif 000003
【図１１】
0004794963.tif 000004
【図１】
0004794963.tif 000005
【図２】
0004794963.tif 000006
【図３】
0004794963.tif 000007
【図４】
0004794963.tif 000008
【図５】
0004794963.tif 000009
【図６】
0004794963.tif 000010
【図７】
0004794963.tif 000011
【図８】
0004794963.tif 000012
【図１０】
0004794963.tif 000013
【図１２】
0004794963.tif 000014
【図１３】
0004794963.tif 000015
【図１４】
0004794963.tif 000016
【図１５】
0004794963.tif 000017
【図１６】
0004794963.tif 000018
【図１７】
0004794963.tif 000019
【図１８】
0004794963.tif 000020
【図１９】
0004794963.tif 000021
【図２０】
0004794963.tif 000022
【図２１】
0004794963.tif 000023