【手続補正書】
【提出日】平成19年8月6日(2007.8.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子を用いて撮影を行う撮像装置であって、
順次取得した複数の画像を合成して露出補正された出力画像を生成する画像合成処理を行う第１のモードと、前記画像合成処理を行わずに前記第１のモードでの出力画像に対応した出力画像を生成する第２のモードとで動作する画像生成手段と、
前記第１及び第２のモードにおいて撮影光学系の駆動による像振れ補正を行う光学防振を動作させるとともに、前記第１のモードと前記第２のモードを選択する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、撮影倍率に応じて前記第１のモードと前記第２のモードを選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮影倍率が所定値よりも大きいときに前記第１のモードを選択し、前記所定値よりも小さいときに前記第２のモードを選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像合成処理は、前記順次取得した各画像の特徴点を抽出し、基準画像の特徴点に対する他の画像の特徴点の変位量を求め、該変位量に基づいて前記他の画像の座標変換を行い、該座標変換後の画像と前記基準画像とを合成する処理であることを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【請求項５】
前記制御手段は、前記第１のモードにおいて、前記撮影倍率に応じて各画像の取得時の露光時間を変更することを特徴とする請求項２から４のいずれか１つに記載の撮像装置。
【請求項６】
前記制御手段は、前記撮影倍率が大きいほど前記露光時間を短くすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記露光時間に応じて画像の取得数を変更することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
請求項１から７のいずれか１つに記載の撮像装置と、
光学系を駆動して像振れ補正を行う光学防振手段を備えた交換レンズ装置とを有することを特徴とするカメラシステム。
【請求項９】
撮像素子を用いて撮影を行う撮像装置であって、
順次取得した複数の画像を合成して露出補正された出力画像を生成する画像生成手段と、
撮影倍率に応じて前記順次取得する各画像の露光時間を変更する制御手段とを有することを特徴とする撮像装置。
【請求項１０】
前記画像生成手段は、前記順次取得した各画像の特徴点を抽出し、基準画像の特徴点に対する他の画像の特徴点の変位量を求め、該変位量に基づいて前記他の画像の座標変換を行い、該座標変換後の画像と前記基準画像とを合成することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御手段は、前記撮影倍率が大きいほど前記露光時間を短くすることを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記制御手段は、前記露光時間に応じて画像の取得数を変更することを特徴とする請求項９から１１のいずれか１つに記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
しかし、この電子的振れ補正は、ビデオカメラにおける動きベクトルの検出では、１秒間に複数の画像を取り出し、この取り出した各画像を比較して動きベクトルを検出しているので、撮影被写体に対して１回の露光しか行わないデジタルカメラでの静止画の撮影では、コマ画像の比較を行って動きベクトルを検出することはできない。このため、ビデオカメラの防振システムをデジタルカメラに適応することができない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
１つの観点としての本発明の撮像装置は、撮像素子を用いて撮影を行う撮像装置であって、順次取得した複数の画像を合成して露出補正された出力画像を生成する画像合成処理を行う第１のモードと、画像合成処理を行わずに第１のモードでの出力画像に対応した出力画像を生成する第２のモードとで動作する画像生成手段と、第１及び第２のモードにおいて撮影光学系の駆動による像振れ補正を行う光学防振を動作させるとともに、第１のモードと第２のモードを選択する制御手段とを有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、レンズ装置２において、１１は第１レンズユニット、１２はフォーカシング光学系を構成する第２レンズユニット（フォーカスレンズユニット）、１３は変倍光学系を構成する第３レンズユニット（ズームレンズユニット）である。１４は像振れ補正光学系を構成する第４レンズユニットで、第１から第４のレンズユニット１１〜１４を通過する光線（撮影光）は、絞り１５で光量制限される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
その後、シャッター駆動回路１０８に露光開始命令を出力してミラー３の退避動作（アップ）、シャッター１０９の開放動作を行い、撮像素子４上に結像された被写体像を光電変換する。さらに、Ａ／Ｄ変換された画像信号は信号処理回路１１０においてデジタル変換されて画像データが出力される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
２０６はフォーカスレンズ制御回路で、焦点検出回路１０６の検出結果に基づいて算出された第２レンズユニット１２の移動量に従い、フォーカスレンズ駆動モータ１６を駆動して、第２レンズユニット１２を合焦位置まで駆動する駆動制御を行う。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
そこで、撮影倍率情報に基づいてシフト振れの発生しない露光時間を演算して、適正となる露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は像振れの影響が少ない画像となる。そして、複数の画像を撮影終了後に各々の画像を合成して１枚の画像にすることで露出を改善する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
そこで、本実施例では、連続撮影に応じて撮像素子４から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換によりデジタル信号に変換されてから信号処理回路１１０にて信号処理が施された後、防振操作ＳＷ２０３の操作により防振システムがオンされている場合は、信号処理回路１１０からの画像データはメモリ１１１に入力し、記憶媒体１１５への入力は行わない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
そして、画像ズレ検出回路１１２はメモリ１１１に記憶された各画像データ内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を求める。例えば、図３に示すように、フレーム１２１ａにおいて花を近接撮影する場合、複数枚撮影するとフレーム１２１ｂのように像振れによりフレーム１２１ａに対して構図がずれた画像が撮影される。このとき画像ズレ検出回路１１２は、画面の中の花のうち輝度の高い点である花弁のエッジ１２３ａをエッジ検出により特徴点として抽出し、この特徴点１２３ａを、フレーム１２１ｂにおける特徴点１２３ｂと比較することで画像ズレ（変位量）を検出する。そして、この画像ズレ（差分）を座標変換回路１１３により補正（座標変換）する。図３では、フレーム１２１ｂの特徴点１２３ｂを矢印１２４のようにフレーム１２１ａの特徴点１２３ａに重ねるようにして、フレーム１２１ｂを座標変換する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
その後、図３と同様に基準となる第１の画像における特徴点１２３ａと、第２の画像における特徴点１２３ｂとを比較し、その差分を補正（座標変換）する。すなわち、座標変換回路１１３は、第２の画像の特徴点１２３ｂを第１の画像の特徴点１２３ａに重ねるように第２の画像を座標変換する。第２の画像群の中で２枚目以降の画像についても各々特徴点１２３ｂの座標を求め、その座標が第１の画像で定めた特徴点１２３ａの座標と重なるように座標変換回路１１３は各画像（第２の画像群）を座標変換する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出補正が可能であるが、ゲインを高くするとノイズも多くなり良好な画像を得ることはできない。しかし、本実施例のように、多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。言い換えれば、ノイズを許容して撮像素子４を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
次に、カメラＣＰＵ１０１は、レリーズＳＷ１０４のＳＷ１がオンされているか否かを判別し（Ｓ１００２）、オンされている場合、レンズＣＰＵ２０１は防振操作ＳＷ２０３（ＩＳ）がＯＮ（防振動作選択）になっているかを判別する（Ｓ１００３）。そして、防振動作選択がなされていればステップ１００４へ、選択されていなければステップ１０２３へ進む。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
次にカメラＣＰＵ１０１が測光及び焦点検出を行い、レンズＣＰＵ２０１が焦点調節動作（ＡＦ）、測光、振動検出、焦点距離検出、被写体距離検出を行なう（Ｓ１００４）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
例えば、撮像素子４の感度がＩＳＯ２００に設定されている場合、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１５を全開（例えばＦ８）にし、シャッター１０９の閉じタイミング、すなわち露光時間を１／８秒が必要であるとする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、撮影レンズが暗いほど、また撮像素子の感度が低いほど少なくなり、撮影倍率が大きいほど多くなる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
続いて、ステップ１００９では、レリーズＳＷ１０４の全押し操作によりＳＷ２がオンになるまでステップ１００２からステップ１００８を繰り返し行い、ＳＷ２がオンされた場合、ステップ１０１０に進む。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
また、焦点調節動作は過去の複数回のＡＦ情報をもとに撮像面と被写体距離の変化の動きを推定して、複数回露光する露光時間の中心にて合焦する位置を予測し、フォーカスレンズを露光開始前に駆動してピントのズレを補正している。各露光の露光時間の中心にて合焦する位置を予測して、フォーカスレンズを各露光に応じて駆動してピントのズレを補正しても良い。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
ステップ１０１７ではこの合成された画像に対して、各画像が構図ブレにより重ならなかった領域（図４の領域１２９ａ、１２９ｂ）をカットし、元のフレームの大きさになるように画像の拡散補完処理を行う。また、合成画像に対してガンマ補正や圧縮処理を行う（Ｓ１０１８）。このようにして得られた合成画像を不図示の液晶表示ユニットに表示する（Ｓ１０１９）。その後、ステップ１０２０では、各処理により得られた画像データを記憶媒体１１５に記録する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
また、ステップ１００３において、防振操作ＳＷ２０３がオフ状態である場合は、ステップ１００３からステップ１０２３に進む。ステップ１０２３では、ＡＦ及び測光を行う。ステップ１０２４では、防振システムを使用しないことで像振れによる画像劣化が生ずる撮影条件であるか否かを判断する。この撮影条件とは、被写体の明るさ、レンズの明るさ、撮像感度、撮影倍率、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求める。そして、その露光時間が現状の撮影焦点距離において、像振れによる画像劣化の可能性があるか否かを判別する（Ｓ１０２４）。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
このように本実施例では、光学的振れ補正のみのモード（第２のモード）と、光学的振れ補正及び画像合成処理による電子的振れ補正を行うモード（第１のモード）とを選択している。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
さらに、画像合成処理による補正を行なう場合には、撮影される各画像の撮影時間（露光時間）は撮影倍率に応じて変更されるので、マクロ撮影のような撮影倍率が高い場合においても振れ補正の効果を十分発揮できる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
また、画像合成処理による像振れ補正を行う場合でも、角度振れ補正を光学的振れ補正により補正している。このため、複数回撮影される露光時間を撮影倍率に応じて設定できるため、最適な撮影回数（撮影倍率に応じて撮影回数を減らすなど）による処理を行うことが可能となる。また、画像のトリミング範囲を大きくできる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
以上、実施例において、撮影倍率に応じて画像合成処理を行う第１のモードと画像合成処理を行わない第２のモードとを選択しているが、撮影倍率の他に、振れの大きさによって該両モードを選択することも可能である。この場合、振動検出回路２０４の振動検出部２０４ａから出力される像振れ及び像振れ補正に関する情報（振れ幅や周波数等）に基づいて振れ大きさを求め、上述のように閾値による判別を行って、第１及び第２のモードを選択する。