(57)【要約】【課題】  複数の画像を重ね合わせ合成して１枚の画像を得る場合に、合成画像として得られる撮像画像の画角を撮影者が意図する画角にする、または近づけること。【解決手段】    被写体を１回撮影して１枚の被写体画像を得る第１の撮像モードと、被写体を複数回撮影し、得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る第２の撮像モードで動作可能な撮像装置であって、被写体光学像を電気信号に変換する撮像素子（１６１）と、画角を変更するためのズームレンズ（１５０）と、前記第２の撮像モードが設定された場合に、前記複数回の被写体の撮影に先立って、画角が所定量広くなるように前記ズームレンズの位置を変更するぶれ補正用ズーム変更部（３０１）とを有する。【選択図】  図１
2005079841.tif 000002
【特許請求の範囲】
【請求項１】
被写体を１回撮影して１枚の被写体画像を得る第１の撮像モードと、被写体を複数回撮影し、得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る第２の撮像モードで動作可能な撮像装置であって、
被写体光学像を電気信号に変換する撮像手段と、
画角を変更するための光学手段と、
前記第２の撮像モードが設定された場合に、前記複数回の被写体の撮影に先立って、画角が所定量広くなるように前記光学手段の位置を変更する変更手段と
を有することを特徴とする撮像装置。
【請求項２】
被写体を複数回撮影し、得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る撮像装置であって、
被写体光学像を電気信号に変換する撮像手段と、
画角を変更するための光学手段と、
前記複数回の被写体の撮影に先立って、画角が所定量広くなるように前記光学手段の位置を所定量変更する変更手段と
を有することを特徴とする撮像装置。
【請求項３】
前記所定量は、予め決められた固定値であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記変更手段は、変更前の画角に基づいて、前記所定量を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記所定量は、変更前の画角が狭いほど大きくなることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記変更手段は、前記複数回の撮影における総露光時間に基づいて、前記所定量を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項７】
前記所定量は、総露光時間が長いほど大きくなることを特徴とする請求項６に記載の撮像装置。
【請求項８】
撮像装置の揺れを検出する揺れ検出手段を更に有し、
前記変更手段は、前記揺れ検出手段により検出した揺れ量に基づいて、前記所定量を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
前記所定量は、揺れ量が大きいほど大きくなることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記複数枚の被写体画像間のずれ量を検出するずれ量検出手段と、
前記検出したずれ量に基づいて、前記被写体画像間のずれが無くなるように、前記複数枚の被写体画像の座標を変換する座標変換手段と、
前記変換した複数枚の被写体画像を重ね合わせて、１枚の被写体画像に合成する合成手段と、
前記合成手段により合成された被写体画像において、前記複数枚の被写体画像が全て重なった領域から画像を切り出す切り出し手段と
を更に有することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
【請求項１１】
撮影条件に基づいて、所定の露光時間で前記複数回の撮影を行うことにより、必要な露光時間の露出が実行されるように、前記撮像手段の１回の露光時間と、撮影回数とを決定する決定手段を更に有することを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
【請求項１２】
前記変更手段は、前記複数枚の被写体画像撮影後、前記光学手段を変更前の位置に戻すことを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
【請求項１３】
画角を所定量広くする変更工程と、
被写体光学像を電気信号に変換する撮像手段により被写体を複数回撮影する撮影工程と、
得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る合成工程と
を有することを特徴とする撮像方法。
【請求項１４】
複数のモードで撮影可能であって、所定モードが設定されている場合に、前記変更工程、前記撮像工程、前記合成工程とを行うことを特徴とする請求項１３に記載の撮像方法。
【請求項１５】
前記所定量は、予め決められた固定値であることを特徴とする請求項１３または１４に記載の撮像方法。
【請求項１６】
前記変更前の画角に基づいて、前記所定量を決定する工程を更に有することを特徴とする請求項１３または１４に記載の撮像方法。
【請求項１７】
前記所定量は、変更前の画角が狭いほど大きくなることを特徴とする請求項１６に記載の撮像方法。
【請求項１８】
前記複数回の撮影における総露光時間に基づいて、前記所定量を決定する工程を更に有することを特徴とする請求項１３または１４に記載の撮像方法。
【請求項１９】
前記所定量は、総露光時間が長いほど大きくなることを特徴とする請求項１８に記載の撮像方法。
【請求項２０】
撮像装置の揺れを検出する揺れ検出工程と、
前記揺れ検出工程により検出した揺れ量に基づいて、前記所定量を決定する工程と
を更に有することを特徴とする請求項１３または１４に記載の撮像方法。
【請求項２１】
前記所定量は、揺れ量が大きいほど大きくなることを特徴とする請求項２０に記載の撮像方法。
【請求項２２】
前記複数枚の被写体画像間のずれ量を検出するずれ量検出工程と、
前記検出したずれ量に基づいて、前記被写体画像間のずれが無くなるように、前記複数枚の被写体画像の座標を変換する座標変換工程と、
前記合成工程により合成された被写体画像において、前記複数枚の被写体画像が全て重なった領域から画像を切り出す切り出し工程とを更に有し、
前記合成工程では、前記座標変換した複数枚の被写体画像を重ね合わせ合成することを特徴とする請求項１３乃至２１のいずれかに記載の撮像方法。
【請求項２３】
撮影条件に基づいて、所定の露光時間で前記複数回の撮影を行うことにより、必要な露光時間の露出が実行されるように、前記撮像手段の１回の露光時間と、撮影回数とを決定する決定工程を更に有することを特徴とする請求項１３乃至２２のいずれかに記載の撮像方法。
【請求項２４】
前記撮影工程後に、前記変更工程における変更前の画角に戻す工程を更に有することを特徴とする請求項１３乃至２３のいずれかに記載の撮像方法。
【請求項２５】
請求項１３乃至２４のいずれかに記載の撮像方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項２６】
請求項２５に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を撮像し、撮影した複数の画像を重ね合わせ合成して１枚の画像を得る撮像装置及び方法に関する。
【背景技術】
【０００２】
従来より、ビデオカメラ等の撮像装置では、オートエクスポージャ（ＡＥ）やオートフォーカス（ＡＦ）等の機能に見られるように、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。
【０００３】
また、近年では、撮像装置の小型化や光学系の高倍率化に伴い、装置の振れ等が撮影画像の品位を低下させる大きな原因となっていることに着目し、このような装置の振れ（手振れ）等により生じた撮影画像の振れを補正する振れ補正機能が種々提案されている。このような振れ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。
【０００４】
振れ補正機能の一例として、光学的に揺れ補正を行う構成の提案がある。この構成では、まず、撮像手段に取り付けられた振動ジャイロ等の角速度センサにより装置の振れを角速度として検出し、直流カットフィルタにより、角速度センサより得られる角速度信号の直流（ＤＣ）成分を遮断し、交流成分すなわち振動成分のみを通過させるとともに、増幅器（アンプ）により角速度信号を適当な感度に増幅する。次に、積分回路にて所定倍された角速度信号を積分処理し角変位信号に変換し、積分回路から得られた角変位信号に基づいて光学的揺れ補正手段を駆動し、振れを抑制する（例えば、特許文献１参照）。
【０００５】
ここで光学的揺れ補正手段とは、光学的光軸を変移させて振れを相殺する光学的補正機構であり、例えば揺れ補正レンズを光軸直交面内で変位させることにより撮像面への入射光の光軸を変移させる方式などが提案されている。
【０００６】
以上によって撮像手段の揺れを光学的に打ち消すことにより、撮影中（露光中）においては常に光学的な揺れ補正が行われ、ぶれのない撮像画を撮影することができる。
【０００７】
また一方で電気的な処理にて揺れの補正を行う揺れ補正方式が提案されている。その一例として、手振れが生じない程度の短い露光時間での撮影を短時間に複数回行い、撮影により得られた複数の画像について画像のズレを修正しながら合成（重ね合わせ）し、適切な露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献２参照）。
【０００８】
最近のデジタルカメラやビデオカメラ等の撮像装置は、携帯電子機器（例えば、携帯電話）に内蔵されるほどコンパクトになってきており、このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をより一層小型化するか、振動検出部を小型化する必要がある。
【０００９】
しかし、光学的揺れ補正方式では、補正レンズを支持し、これを高精度に駆動する必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１０】
さらに、撮像装置に加わる振れとしては、所定の軸を中心とする角度振れと、撮像装置を平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフトぶれ対策は困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１１】
一方、上述した電気的座標変換を用いたぶれ補正方式においては、所定時間内に複数回の連続撮影を行えるだけの構成があればよく、具体的には従来よりも高速なシャッターを連続して複数回切ることができれば良いだけであるので、光学的揺れ補正方式に比べて小型にすることが容易にできる。また、先に述べたシフトぶれにおいても、撮像された複数の画像について画像のズレを修正しながら合成（重ね合わせ）し、適当な露光時間の撮影画像（合成画像）を得る方法であるため、ぶれの補正が可能である。したがって、撮像装置の小型化に対しては電気的座標変換を用いたぶれ補正方式がその性質上有利であることが言える。
【００１２】
次に上記の電気的座標変換を用いたぶれ補正が可能な従来の撮像装置ついて説明する。
【００１３】
図１０は、電気的座標変換を用いたぶれ補正を行う従来の撮像装置の構成を示すブロック図である。
【００１４】
図１０において、１５０はズームレンズ、２１０はズーム駆動モータ、２２０はズーム制御回路である。撮影者が撮影する画角を変更するためにズーム操作部２０２を操作すると、その操作信号が撮像制御部２００に入力される。撮像制御部２００はこの操作信号に基づいてズーム制御信号を発生し、ズーム制御回路２２０に送る。ズーム制御回路２２０では、ズーム制御信号をズーム駆動モータ２１０を駆動させるための電気的駆動信号に変換し、ズーム駆動モータ２１０を駆動することによりズームレンズ１５０を移動させる。そして、所望の位置にズームレンズ１５０を停止させることで撮影画角を変更することができる。
【００１５】
また、１５１は絞り、２１１は絞り駆動モータ、２２１は絞り制御回路、１５２はフォーカスレンズ、２１２はフォーカスレンズ１５２を直接駆動するフォーカス駆動モータ、２２２はフォーカス制御回路である。絞り１５１及びフォーカスレンズ１５２の制御動作については後述する。
【００１６】
また、１５３はシャッター、２１３はシャッター駆動アクチュエータ、２２３はシャッター制御回路である。シャッター１５３は、撮影者による後述するレリーズ操作部２０１の操作に応じて、撮像素子１６１への露光後、撮像素子１５１から撮像信号の読み出しが行われるときに撮像素子１５１に入射する光束を制限するために設けられている。シャッター１５３は複数のシャッター羽根を有しており、これらのシャッター羽根は、シャッター駆動アクチュエータ２１３からの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像素子１６１に入射する光束を制御する。また、レリーズ操作部２０１は、ここでは半押しによりスイッチＳＷ１がＯＮし、この半押しを介して全押しすることによってスイッチＳＷ２がＯＮする２段スイッチ構成を有する。
【００１７】
撮像素子１６１は入射する光量に応じた電荷を発生し、出力する撮像素子である。撮像素子１６１は例えばＭＯＳやＣＣＤなどの半導体撮像素子から成るが、これらに限定されるものではない。
【００１８】
ズームレンズ１５０を介して入射した光束（撮影光）は、絞り１５１で光量制限された後に、フォーカスレンズ１５２、シャッター１５３を通り、撮像素子１６１上に結像し、電荷に変換されて蓄積される。撮像素子１６１で蓄積された電荷（画像信号）は所定のタイミングで読み出され、例えば不図示のＡ／Ｄ変換器によりデジタル信号に変換されてカメラ信号処理回路１６２に入力される。カメラ信号処理回路１６２は、入力されたデジタル画像信号に対して輝度信号や色信号を形成するなどの所定の信号処理を行ってカラー画像信号を形成する。
【００１９】
２００は撮影制御部であり、例えばマイクロコンピュータで構成され、後述するオートフォーカス（ＡＦ）制御、オートエクスポージャ（ＡＥ）制御、ズームレンズ制御、シャッター制御などの制御を行うとともに、レリーズ操作部２０１、ズーム操作部２０２及びぶれ補正操作部２０３からの操作信号が入力されるようになっている。撮影制御部２００はレリーズ操作部２０１、ズーム操作部２０２から操作信号が入力すると、カメラの撮影状態に合わせて、入力した操作信号に基づき制御信号をシャッター制御回路２２３、ズーム制御回路２２０に与えて撮影条件を設定し、撮影を行うようにしている。
【００２０】
また、撮影制御部２００は、カメラ信号処理回路１６２により得られた輝度信号の平均レベル、すなわち被写体輝度等を取得する。撮影制御部２００は取得した被写体輝度を用いて所定の演算処理を行い、絞り制御信号を発生し、絞り制御回路２１１に送る。絞り制御回路２１１では、絞り制御信号を絞り駆動モータ２２１を駆動させるための電気的駆動信号に変換し、絞り駆動モータ２１１を駆動することにより絞り１５１を構成する複数の絞り羽根を開閉させ、光通過口となる開口面積（絞り口径）を変化させる。このようにして、最終的に輝度信号の平均レベルが所定の基準値と等しくなるよう絞り５１の開口径を変化させ、停止することでＡＥ制御が実現される。
【００２１】
一方、撮影制御部２００は、カメラ信号処理回路１６２により得られた輝度信号に含まれる周波数成分等を基にして所定の演算処理を行い、フォーカス制御信号を発生する。フォーカス制御信号はフォーカス制御回路２２２に送られて、フォーカス駆動モータ２１２を駆動させるための電気的駆動信号に変換される。フォーカス駆動モータ２１２は、この駆動信号に応じてフォーカスレンズ１５２を光軸方向に移動する。このようにして、最終的に輝度信号に含まれる所定の周波数成分が最大となる位置（合焦位置）にフォーカスレンズ１５２を移動し、停止して焦点調節を行うことによりＡＦ制御が実現される。
【００２２】
１６５はぶれ補正操作部２０３の操作に応じて切り替わる信号切替部であり、ＯＮの時には画像メモリ１７１側に接続し、ＯＦＦの時は画像処理回路１７５側に接続するように制御される。また、１７１は画像メモリ、１７２はずれ検出回路、１７３は座標変換回路、１７４は画像合成回路であって、これらの回路はぶれ補正を行う場合に用いられる。１７５は画像処理回路、１７６はレコーダ、１８０はモニタである。
【００２３】
次に、上記構成を有する撮像装置の動作について図１１のフローチャートを参照して説明する。
【００２４】
ステップＳ１０１において動作が開始される。たとえば動画像の垂直同期周期などの所定のタイミングにて繰り返し開始される。
【００２５】
動作が開始されると、ステップＳ１０２において、撮影者によるレリース操作部２０１の半押し操作によりＳＷ１がＯＮになったかどうかを判断する。ＯＮの場合にはステップＳ１０３に進み、操作が行われない場合には今回の処理を終了する。
【００２６】
ステップＳ１０３では、上述したように、カメラ信号処理回路１６２から得られる画像信号を基にして撮影制御部２００が絞り制御信号を出力し、絞り制御回路２２１、絞りモータ２１１を経て絞り１５１を適正な開口面積に駆動制御することでＡＥ制御を行う。
【００２７】
ＡＥ制御が終わるとステップＳ１０４において、上述したように、カメラ信号処理回路１６２から得られる画像信号を基にして撮影制御部２００がフォーカス制御信号を出力し、フォーカス制御回路２２２、フォーカス駆動モータ２１２を経てフォーカスレンズ１５２を合焦位置に移動することでＡＦ制御を行う。
【００２８】
次にステップＳ１０５において、撮影者がぶれ補正操作部２０３をＯＮにしているか否かを判別する。ＯＮのときはステップＳ１０６へ進んでぶれ補正動作を行い、ＯＦＦのときにはステップＳ１０８へ進む。
【００２９】
ぶれ補正操作部２０３がＯＮに設定されている状態の一例として、撮影する被写体が暗く、短時間で十分な露光が行われない場合が考えられる。つまり、ステップＳ１０３のＡＥ動作により得られた測光値に基づいてシャッター１５３を閉じるタイミング（露光時間）と絞り１５１の絞り口径が設定されるが、一般的に手ぶれ補正システムを使用するような撮影条件では被写体が暗いために絞りは全開、露光時間は長秒時露光になっていることが多い。この場合、撮影時における撮像装置の手振れの影響、すなわち撮像面上での像の揺れが無視できなくなので、ぶれ補正操作部２０３を操作してＯＮにし、以下の動作を行う。
【００３０】
まず、ステップＳ１０６においてステップＳ１０３で得られた被写体の明るさ等の撮影条件から、撮影する枚数と各々の露光時間を求める。なお、ここでいう撮影条件とは、
【００３１】
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。
例えば、撮像素子１６１の感度がＩＳＯ２００に設定されていたとする。また、被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するために、絞り１５１をｆ２．８にし、シャッター１５３の開口タイミング、すなわち露光時間を１／８秒にする必要があるとものする。ここで、撮影光学系の焦点距離が仮に３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／３２秒に設定して４回撮影を行うことにより、合計１／８秒の露光時間が得られるように設定する。
【００３２】
別の例として、撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露光時間を１／３２０秒に設定して４０回撮影（１／３２０秒×４０回＝１／８秒）を行うように設定する。
【００３３】
このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。
【００３４】
このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するか（何回撮影を行うか）も撮影条件に合わせて設定する。
【００３５】
ステップＳ１０７では、撮影者がレリース操作部２０１を全押ししてＳＷ２がＯＮになるとステップＳ１１２に進み、操作が行われない場合には今回の処理を終了する。
【００３６】
ステップＳ１１２ではステップＳ１０６で求めた露光時間でシャッター１５３を切り、撮像素子１６１から電荷を読み出す。この読み出した電荷にＡ／Ｄ変換を施し、デジタル信号に変換してからカメラ信号処理回路１６２で所定の信号処理を施し、信号処理された撮像画像を信号切替部１６５を介して画像メモリ１７１に記録する。ステップＳ１１３では、ステップＳ１０６で求められた枚数だけ撮像画像が得られたか否かを確認し、求められた枚数分の撮像画像の取得が完了していればステップＳ１１４へ、完了していなければステップＳ１１２へ戻って撮影から画像メモリ１７１に記録するまでの処理を繰り返す。
【００３７】
上記のようにして複数の撮影により得られた各画像においては、各画像における手ぶれの影響が生じていなくても、連続撮影中の手振れにより画像間の構図が微妙にずれている場合がある。したがって、これらの画像をこのまま合成すると、合成された画像は画像間の構図がずれ分だけぶれた画像になってしまうため、この画像間のずれを補正する必要がある。
【００３８】
そのため、まずステップＳ１１４では、画像メモリ１７１に記憶された撮影画像の内、連続する２枚の画像を読み出し、ずれ検出回路１７２により特徴的な像部分（特徴点）を抽出し、この特徴点の撮影画面内における座標を求める。これは順次する前画像と次画像の各画像とをそれぞれ比較して特徴点を抽出しその座標を求めることである。
【００３９】
次にステップＳ１１５で、座標変換回路１７３にて画像メモリ１７１に蓄えられた各画像の座標変換を行う。具体的には、ステップＳ１１４で求めた特徴点が各画像において同じ座標となるように、差分となる座標分、画像を移動する。
【００４０】
なお、これらの特徴点抽出、座標位置の算出、及び座標変換の各処理については詳細に後述する。
【００４１】
ステップＳ１１６では、画像メモリ１７１に蓄えられたすべての画像について座標変換が終了したかを判断する。すべての画像の処理が終了するまでステップＳ１１４及びステップＳ１１５をくり返し、すべての画像の処理が終了するとステップＳ１１７へ進む。
【００４２】
ステップＳ１１７では、画像合成回路１７４によりステップＳ１１５にて座標変換して特徴点の座標を揃えた、すべての画像の合成処理を行う。画像の合成については、例えば各画像の対応する座標の撮像信号を加算することで行えば良い。このように、得られた複数の画像を重ね合わせ合成して１枚の画像にすることで、各画像の露光不足を改善することができる。
【００４３】
なお、重ね合わせた画像領域のうち、構図ぶれによりすべての画像が重ならない領域が画像の周辺領域に存在することが考えられる。そのため、ステップＳ１１７では画像の合成と同時に、全ての画像が重ならない領域を切り取って長方形の画像を得る。これは、合成処理した結果として、すべての画像が重ならない部分については加算画像信号量が足りず、その結果合成画像の一部が暗くなってしまうからである。なお本処理に関しても後述する。
【００４４】
次にステップＳ１１８において、画像処理回路１７５は、得られた合成画像の画像信号に対してガンマ補正や圧縮処理などの所定の画像処理を行う。
【００４５】
ステップＳ１１９では、画像処理済みの合成画像データを、例えばハードディスクレコーダ、半導体メモリなどのレコーダ１７６に記録する。また、ステップＳ１２０において、ステップＳ１１９にて記録されると共に、記録される画像データを液晶モニタなどのモニタ１８０に表示する。
【００４６】
なお、撮影により得られた画像に対して画像のズレを修正しながら合成して、ダイナミックレンジを拡大した撮影画像（合成画像）を得る方法は従来開示されている（例えば、特許文献２参照）。
【００４７】
次に、ステップＳ１０５でぶれ補正操作部２０３がＯＦＦの場合の処理について説明する。
【００４８】
ステップＳ１０８では、ステップＳ１０３にて得られた被写体の明るさ等の撮影条件から撮影時の露光時間を求める。露光時間の求め方はステップＳ１０６と同様であるが、ここではぶれ補正処理を行わないため、撮影回数は１回であることが前提となる。
【００４９】
ステップＳ１０９において撮影者のレリース操作部２０１の全押し操作によりＳＷ２がオンになるとステップＳ１１１に進み、操作が行われない場合にはこのまま処理を終了する。
【００５０】
ステップＳ１１１ではステップＳ１０８で求めた露光時間でシャッター１５３を切り、撮像画像を取得する。撮影画像はカメラ信号処理回路１６２により所定の信号処理が施され、信号切替部１６５を介して画像処理回路１７５に入力され、ステップＳ１１８において上述したようにガンマ補正や圧縮処理が行われる。以降の動作は上述した処理と同様であるので、ここでは説明を省略する。なお、ステップＳ１１１で取得した撮影画像は、不図示の内部メモリに一旦保存してから読み出して、画像処理回路１７５に渡すようにしても良い。また、この内部メモリとして画像メモリ１７１を用いるように構成することも勿論可能である。
【００５１】
次に、ステップＳ１１４においてずれ検出回路１７２により行われる特徴点抽出、座標位置の算出、及び座標変換の各処理について説明する。
【００５２】
例えば、図１２に示すようにある画像フレーム４０１ａにおいて人物４１１ａが建物４１２ａや木４１３ａを背景にして立っている写真を撮影する場合を考える。同じ被写体を複数枚撮影したときに、フレーム４０１ｂのように手振れにより画像フレーム４０１ａに対して構図がずれた画像が撮影されることがある。なお、ここではフレーム４０１ｂを説明の便宜上表記しているが、実際に撮影される領域はフレーム４０１ａにほかならない。
【００５３】
ずれ検出回路１７２は、例えば撮像画像内にある建物４１２ａのうち輝度の高い点である窓４２１ａのエッジをエッジ検出により特徴点４２２ａとして取り出し、この特徴点４２２ａと、フレーム４０１ｂにおける特徴点４２２ｂと比較し、この差分を補正（座標変換）する。
【００５４】
図１２では、画像フレーム４０１ｂの特徴点４２２ｂを矢印４２３で示すように画像フレーム４０１ａの特徴点４２２ａと重ねるように、画像フレーム４０１ｂを座標変換する。
【００５５】
ここでは説明の便宜上特異点を１点として説明をしているが、実際に特異点は１画像内に複数存在し、それらの情報を基に特異点のずれ量の平均演算などにて座標移動量を算出し、座標変換を実施しても良い。
【００５６】
また、上記説明においては、２つの画像フレームの座標変換について説明をしているが、撮像画像はステップＳ１０６にて決定した枚数撮影されるものである。したがって、２枚を超える画像フレームについても、上記同様の座標変換を繰り返すことにより得られる差分を積み上げることにより、すべての画像の位置補正が可能となる。
【００５７】
以上のように特徴点抽出、座標位置の算出、及び座標変換の各処理が行われる。
【００５８】
最後に、ステップＳ１１７において行われる、構図ぶれによりすべての画像が重ならない領域の切り取り処理について説明する。
【００５９】
図１２のように構図のズレた２枚の写真を合成する場合を図１３に示す。
【００６０】
図１２（ａ）及び（ｂ）に示す撮影した２枚の画像４０２ａ、および４０２ｂに対して座標変換を施し、画像合成を実行すると図１２（ｃ）の４０３に示す画像が生成されるが、斜線で示すように画像が重ならない領域４０４を生じる。
【００６１】
先に述べたように、すべての画像が重ならない部分については加算映像信号量が足りず、その結果合成画像が暗くなってしまうため、すべての画像が重なる領域４０５のみを合成画像として扱い、領域４０４は画像から削除する処理を施す。
【００６２】
【特許文献１】特開平第９−１８１９５９号公報
【特許文献２】特許第３１１０７９７号
【発明の開示】
【発明が解決しようとする課題】
【００６３】
しかしながら、上記電気的座標変換を用いたぶれ補正方式においては、合成処理の手法上撮像時の画角よりも合成画像として得られる撮像画像の画角が小さくなってしまい、撮影者が意図する画角を得られないという問題が生じる。
【００６４】
これは上述の画像処理回路１７５により施される座標変換後の重ね合わせにより画像が重ならない領域を切り取り処理することによるものである。
【００６５】
本発明は上記問題点を鑑みてなされたものであり、電気的座標変換を用いたぶれ補正を行う場合のように、複数の画像を重ね合わせ合成して１枚の画像を得る場合に、合成画像として得られる撮像画像の画角を撮影者が意図する画角にする、または近づけることを目的とする。
【課題を解決するための手段】
【００６６】
上記目的を達成するために、本発明の撮像装置は、被写体を１回撮影して１枚の被写体画像を得る第１の撮像モードと、被写体を複数回撮影し、得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る第２の撮像モードで動作可能な撮像装置であって、被写体光学像を電気信号に変換する撮像手段と、画角を変更するための光学手段と、前記第２の撮像モードが設定された場合に、前記複数回の被写体の撮影に先立って、画角が所定量広くなるように前記光学手段の位置を変更する変更手段とを有することを特徴とする。
【００６７】
また、別の構成によれば、本発明の撮像装置は、被写体を複数回撮影し、得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る撮像装置であって、被写体光学像を電気信号に変換する撮像手段と、画角を変更するための光学手段と、前記複数回の被写体の撮影に先立って、画角が所定量広くなるように前記光学手段の位置を所定量変更する変更手段とを有することを特徴とする。
【００６８】
また、本発明の撮像方法は、画角を所定量広くする変更工程と、被写体光学像を電気信号に変換する撮像手段により被写体を複数回撮影する撮影工程と、得られた複数枚の被写体画像を重ね合わせ合成して１枚の被写体画像を得る合成工程とを有することを特徴とする。
【発明の効果】
【００６９】
上記構成によれば、電気的座標変換を用いたぶれ補正を行う場合のように、複数の画像を重ね合わせ合成して１枚の画像を得る場合に、合成画像として得られる撮像画像の画角を撮影者が意図する画角にする、または近づけることができる。
【発明を実施するための最良の形態】
【００７０】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００７１】
＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。
【００７２】
図１は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。図１０に示す従来の撮像装置とは、撮像制御部３００がぶれ補正用ズーム変更部３０１を有する点が異なる。それ以外の構成は図１０と同様であるので、同じ参照番号を付し、説明を省略する。
【００７３】
ぶれ補正用ズーム変更部３０１は、ぶれ補正操作部２０３によるぶれ補正処理のＯＮ／ＯＦＦに応じて、ズームレンズ位置を制御する。このぶれ補正用ズーム変更部３０１の動作については後述するフローチャートの中で詳しく説明する。
【００７４】
次に、図２のフローチャートに従って、本第１の実施形態における撮像装置の動作について説明する。
【００７５】
ステップＳ２０１において、動作が開始される。たとえば動画像の垂直同期周期などの所定のタイミングにて繰り返し開始される。
【００７６】
動作が開始されると、ステップＳ２０２において、撮影者によるレリース操作部２０１の半押し操作によりＳＷ１がＯＮになったかどうかを判断する。ＯＮの場合にはステップＳ２０３に進み、操作が行われない場合には今回の処理を終了する。
【００７７】
ステップＳ２０３では、カメラ信号処理回路１６２から得られる画像信号を基にして撮影制御部２００が絞り制御信号を出力し、絞り制御回路２２１、絞りモータ２１１を経て絞り１５１を適正な開口面積に駆動制御することでＡＥ制御を行う。なお、ＡＥ制御方法は従来例で上述した方法の他にも例えば測光部を設けるなど様々な方法があり、公知の方法を用いることが可能であるが、本発明とは直接関係が無い制御であるため、ここでは詳細説明を省略する。
【００７８】
ＡＥ制御が終わるとステップＳ２０４において、カメラ信号処理回路１６２から得られる画像信号を基にして撮影制御部２００がフォーカス制御信号を出力し、フォーカス制御回路２２２、フォーカス駆動モータ２１２を経てフォーカスレンズ１５２を合焦位置に移動することでＡＦ制御を行う。なお、ＡＦ制御方法には様々な方法があり、公知の方法を用いることが可能であるが、本発明とは直接関係が無い制御であるため、ここでは詳細説明を省略する。
【００７９】
次にステップＳ２０５において、撮影者がぶれ補正操作部２０３をＯＮにしているか否かを判別する。ＯＮのときはステップＳ２５１へ進んでぶれ補正動作を開始し、ＯＦＦのときにはステップＳ２０８へ進む。
【００８０】
まず始めに、手ぶれ補正操作部２０３をＯＮにしている場合の流れについて説明する。
【００８１】
手ぶれ補正動作が開始されるとステップＳ２５１において、ズームレンズ１５０の位置を現在設定されている位置よりも焦点距離の短い方向、つまり、画角を広げる方向に所定量移動する。具体的には、撮像制御部３００のぶれ補正用ズーム変更部３０１は、現在設定されているズームレンズ１５０の位置よりもあらかじめ定められた所定量、ズームレンズ１５０の位置を移動させるようにズーム制御信号を発生し、ズーム制御回路２２０に送る。ズーム制御回路２２０はズーム制御信号に基づいてズーム駆動モータ２１０を介し、ズームレンズを位置を所定量移動させることで、より広い画角を得る。
【００８２】
次にステップＳ２０６で、ステップＳ２０３にて得られた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。なお、ここでいう撮影条件とは、
【００８３】
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。
例えば、撮像素子１６１の感度がＩＳＯ２００に設定されていたとする。また、被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するために、絞り１５１をｆ２．８にし、シャッター１５３の開口タイミング、すなわち露光時間を１／８秒にする必要があるものとする。ここで、撮影光学系の焦点距離が仮に３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／３２秒に設定して４回撮影を行うことにより、合計１／８秒の露光時間が得られるように設定する。
【００８４】
別の例として、撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露光時間を１／３２０秒に設定して４０回撮影（１／３２０秒×４０回＝１／８秒）を行うように設定する。
【００８５】
このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するか（何回撮影を行うか）も撮影条件に合わせて設定する。
【００８６】
ステップＳ２０７では、撮影者がレリース操作部２０１を全押ししてＳＷ２がＯＮになるとステップＳ２１２に進み、操作が行われない場合にはステップＳ２５３へ進む。
【００８７】
ステップＳ２１２ではステップＳ２０６で求めた露光時間でシャッター１５３を切り、撮像素子１６１から電荷を読み出す。この読み出した電荷にＡ／Ｄ変換を施し、デジタル信号に変換してからカメラ信号処理回路１６２で所定の信号処理を施し、信号処理された撮像画像を信号切替部１６５を介して画像メモリ１７１に記録する。ステップＳ２１３では、ステップＳ２０６で求められた枚数だけ撮像画像が得られたか否かを確認し、求められた枚数分の撮像画像の取得が完了していればステップＳ２１４へ、完了していなければステップＳ２１２へ戻って撮影から画像メモリ１７１に記録するまでの処理を繰り返す。
【００８８】
次にステップＳ２１４において、画像メモリ１７１に記憶された撮影画像の内、連続する２枚の画像を読み出し、ずれ検出回路１７２により特徴的な像（特徴点）を抽出し、その特徴点の撮影画面内における座標を求める。これは前述したように順次する前画像と次画像の各画像とをそれぞれ比較して特徴点を抽出しその座標を求めることである。
【００８９】
次にステップＳ２１５で、座標変換回路１７３にて画像メモリ１７１に蓄えられた各画像の座標変換を行う。具体的には、ステップＳ２１４で求めた特徴点が各画像において同じ座標となるように、差分となる座標分画像を移動する。
【００９０】
なお、ここで行われる特徴点抽出、座標位置の算出、及び座標変換の各処理については、上述した従来例の図１２のステップＳ１１４及びＳ１１５で行われる処理と同様なので、ここでは詳細説明を省略する。
【００９１】
ステップＳ２１６では、画像メモリ１７１に蓄えられたすべての画像について座標変換が終了したかを判断する。すべての画像の処理が終了するまでステップＳ２１４およびステップＳ２１５をくり返し、すべての処理が終了するとステップＳ２１７へ進む。
【００９２】
ステップＳ２１７では、画像合成回路１７４によりステップＳ２１５にて座標変換して特徴点の座標を揃えた、すべての画像の合成処理を行う。画像の合成については、例えば各画像の対応する座標の撮像信号を加算することで行えば良い。このように、得られた複数の画像を重ね合わせ合成して１枚の画像にすることで、各画像の露光不足を改善することができる。
【００９３】
また同時に、重ね合わせた画像領域のうち、構図ぶれのためにすべての画像が重ならない領域を切り取って長方形の画像を得る。
【００９４】
次にステップＳ２１８において、 画像処理回路１７５は、得られた合成画像の画像信号に対してガンマ補正や圧縮処理などの所定の画像処理を行う。
【００９５】
ステップＳ２１９では、画像処理済みの合成画像データを、例えばハードディスクレコーダ、半導体メモリなどのレコーダ１７６に記録する。また、ステップＳ２２０において、ステップＳ２１９にて記録されると共に、記録される画像データを液晶モニタなどのモニタ１８０に表示する。なお、ステップＳ２１９とＳ２２０の処理順は、上記と逆であっても、同時であっても構わない。
【００９６】
ステップＳ２５３において、ぶれ補正用ズーム変更部３０１はズームレンズ１５０の位置をステップＳ２５１で変更する前の位置に戻し、処理を終了する。
【００９７】
次に、ステップＳ２０５にてぶれ補正操作部２０３がＯＦＦの場合の処理について説明する。ぶれ補正を行わない場合、ぶれ補正を行う場合と異なり、ズームレンズ１５０を移動させることなく、そのままの位置で撮影を行う。
【００９８】
ステップＳ２０８では、ステップＳ２０３にて得られた被写体の明るさ等の撮影条件から撮影時の露光時間を求める。露光時間の求め方はステップＳ２０６と同様であるが、ここではぶれ補正処理を行わないため、撮影回数は１回であることが前提となる。
【００９９】
ステップＳ２０９において撮影者のレリーズ操作部２０１の全押し操作によりＳＷ２がオンになるとステップＳ２１１に進み、操作が行われない場合にはこのまま処理を終了する。
【０１００】
ステップＳ２１１ではステップＳ２０８で求めた露光時間でシャッター１５３を切り、撮像画像を取得する。撮影画像はカメラ信号処理回路１６２により所定の信号処理が施され、信号切替部１６５を介して画像処理回路１７５に入力され、ステップＳ２１８において上述したようにガンマ補正や圧縮処理が行われる。以降の動作は上述した処理と同様であるので、ここでは説明を省略する。なお、ステップＳ１１１で取得した撮影画像は、不図示の内部メモリに一旦保存してから読み出して、画像処理回路１７５に渡すようにしても良い。また、この内部メモリとして画像メモリ１７１を用いるように構成することも勿論可能である。更に、画角を変更していないので、ステップＳ２５３ではぶれ補正用ズーム変更部３０１は、ズームレンズ１５０の位置をそのままにする。または、ぶれ補正操作部２０３がＯＦＦの場合にはステップＳ２５３の処理そのものをスキップするような構成にしても良い。
【０１０１】
最後に本第１の実施形態による、ぶれ補正処理時の画像合成及び領域切り取り処理によって得られる画像の画角について、図３を参照して説明する。
【０１０２】
図３（ａ）、（ｂ）において、画像４１１ａ、４１１ｂのように構図のずれた２枚の写真を合成するが、ズームレンズ１５０を焦点距離の短い側へ所定量移動して画角を広げて撮影してあるために、従来の図１３と比べて撮影された範囲が広い画像となっている。なお、図３（ａ）、（ｂ）における点線領域４１２ａ及び４１２ｂは、撮影者が意図する画角、即ち、図２のステップＳ２５１で変更する前の画角を示す。画像４１１ａ、４１１ｂの特徴点が一致するように座標変換して重ね合わせ合成すると、図３（ｃ）の画像４１３が得られる。図３（ｃ）から分かるように、この合成画像４１３にも画像が重ね合わされない領域４１４が生じるが、撮像前の動作として、画角を広くしているために、削除領域４１４による画角変化の影響は軽減される。
【０１０３】
上記の通り本第１の実施形態によれば、ぶれ補正操作部２０３によりぶれ補正を行うように設定された場合に、ズームレンズ１５０を焦点距離が短くなるよに制御してあらかじめ画角を広げておくことで切り取り代を設けるができ、電気的座標変換を用いたぶれ補正を行った場合であっても、合成画像から画像が重ならない部分を切り取って得られる撮像画像の画角がぶれ補正を行わない場合に比べて小さくならないようにすることができる。即ち、ユーザーの意図した画角を保証することができる。
【０１０４】
なお、図１においては、撮像制御部３００内にぶれ補正用ズーム変更部３０１を特に有する構成を示し、レリーズ操作部２０１のスイッチＳＷ１がＯＮされた時にぶれ補正操作部２０３がＯＮされている場合に、ズームレンズ１５０の位置を変更するように制御したが、本発明はこれに限るものではなく、特にぶれ補正用ズーム変更部３０１を設けずに、ソフトウエアにより撮像制御部３００が同様の動作を実現するようにすることも勿論可能である。
【０１０５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【０１０６】
第２の実施形態においては、撮影時におけるズームレンズ１５０の焦点距離の変化量を、現在の焦点距離に基づいて算出することを特徴とする。また、本発明の一例として、第１の実施形態のようにぶれ補正処理のＯＮ／ＯＦＦを設けず、常にぶれ補正処理を行う場合について説明する。
【０１０７】
図４は本第２の実施形態における撮像装置の構成を示すブロック図である。なお、図４に示す構成は、信号切替部１６５とぶれ補正操作部２０３が無く、撮像制御部４００内にズーム移動量算出部４０１を設けたこと以外は図１０と同様の構成であるので、同じ参照番号を付し、説明を省略する。
【０１０８】
また、特徴点抽出、座標位置の算出、及び座標変換の各処理についても従来と同様であるため説明を割愛する。
【０１０９】
次に、図５のフローチャートに従って、本第２の実施形態における撮像装置の動作について説明する。
【０１１０】
ステップＳ２０１〜Ｓ２０４は、上記第１の実施形態で説明した図２の同じステップ番号の処理と同様であるので説明を省略する。なお、本第２の実施形態では、ぶれ補正操作部２０３が無いため、図２のステップＳ２０５におけるぶれ補正のＯＮ／ＯＦＦの判断及び、ぶれ補正を行わない場合のステップ６０８以降の処理は行わない。
【０１１１】
ステップＳ３０１において、ズーム移動量算出部４０１はズームレンズ１５０が現在設定されている位置に基づいて、撮影時のズームレンズ１５０の焦点距離移動量を求める。
【０１１２】
この換算量は図６に示すグラフのように、焦点距離が大きくなるにつれ焦点距離の変化量が大きくなる特性を持つ。この理由は、焦点距離が長く望遠になり、画角が狭くなると被写体像が拡大されるため、撮像装置に加わるぶれが同等であっても、焦点距離が短いときよりも長い方が撮像素子１６１上での画像移動量、すなわちぶれ量が大きくなってしまい、上記に述べた画像合成における重ね合わせた画像領域のうち、構図ぶれによりすべての画像が重ならない領域が増加する傾向があるからである。
【０１１３】
次のステップＳ３０２では、ステップＳ３０１で求めた移動量分、ズームレンズ１５０の位置を変更する。具体的には、ステップＳ３０１で求められた移動量に基づいて撮像制御部４００がズーム制御信号を発生してズーム制御回路２２０に送り、ズーム制御回路２２０はこのズーム制御信号に基づいて、ズームモータ２１０を介し、ズームレンズ１５０の位置を移動させる。
【０１１４】
ステップＳ２０６以降の処理は、図２の同じ番号の処理と同じであるため、説明を省略する。
【０１１５】
上記の通り本第２の実施形態によれば、撮影者が設定したズームレンズ１５０の焦点距離に応じて、ズームレンズ１５０の焦点距離を撮影前に変更して画角を広げておくため、焦点距離に応じたより適切な切り取り代を設けることができる。これにより、ぶれ補正後も、撮影者の意図した画角を保証することができる。
【０１１６】
なお、ズーム移動量算出部４０１は、撮影者が設定したズームレンズ１５０の焦点距離を基にして、図６のグラフに対応する演算式により移動量を求めるようにしても、図６のグラフに示す内容をルックアップテーブルの形式で不図示のメモリに保存しておき、焦点距離に応じてルックアップテーブルから対応する移動量を取り出すような構成にしても良い。また、ズーム移動量算出部４０１を特に設けずに、ソフトウエアにより撮像制御部４００がズーム移動量算出部４０１と同様の動作を実現するようにすることも勿論可能である。
【０１１７】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
【０１１８】
第３の実施形態においては、撮像制御部４００の処理により算出された撮影時に要する撮影する枚数と各々の露光時間、すなわち撮影に要する総時間に基づきズームレンズ１５０の焦点距離の変化量を算出することを特徴とする。また、上記第２の実施形態と同様にぶれ補正処理のＯＮ／ＯＦＦを設けず、常にぶれ補正処理を行う場合について説明する。
【０１１９】
本第３の実施形態における撮像装置の構成は、前記第２の実施形態の説明に用いた図４に示すブロック図と同等であるため説明を省略する。
【０１２０】
また、特徴点抽出、座標位置の算出、及び座標変換の各処理についても従来と同様であるため説明を割愛する。
【０１２１】
次に、本第３の実施形態における撮像装置の動作について、第２の実施形態の説明に用いた図５のフローチャートを参照して説明する。
【０１２２】
ステップＳ２０１〜Ｓ２０４は、上記第１の実施形態で説明した図２の同じステップ番号の処理と同様であるので説明を省略する。なお、本第３の実施形態では、第２の実施形態と同様にぶれ補正操作部２０３が無いため、図２のステップＳ２０５におけるぶれ補正のＯＮ／ＯＦＦの判断及び、ぶれ補正を行わない場合のステップ６０８以降の処理は行わない。
【０１２３】
ステップＳ３０１において、ズーム移動量算出部４０１は撮像制御部４００によりステップＳ２０６で求められた撮影する枚数と各々の露光時間の値に基づいて、撮影時のズームレンズ１５０の焦点距離移動量を求める。具体的には撮像画像１枚当たりの露光に要する時間を撮影枚数分加算した時間が総撮影時間となり、その総撮影時間に応じて撮影時のズームレンズ１５０の焦点距離を移動するものである。
【０１２４】
このズームレンズ１５０の焦点距離の移動量は、例えば図７に示すグラフのように、撮影に要する総時間が長くなるにつれ焦点距離の移動量が大きくなる特性を持つ。
【０１２５】
この理由は、撮像装置に加わるぶれが同等であっても、撮影に要する総時間が長くなるにつれて構図ブレが大きくなり、上記に述べた画像合成における重ね合わせた画像領域のうち、構図ぶれによりすべての画像が重ならない領域が増加する傾向があるからである。
【０１２６】
次のステップＳ３０２では、ステップＳ３０１で求めた移動量分、ズームレンズ１５０の位置を変更する。具体的には、ステップＳ３０１で求められた移動量に基づいて撮像制御部４００がズーム制御信号を発生してズーム制御回路２２０に送り、ズーム制御回路２２０はこのズーム制御信号に基づいて、ズームモータ２１０を介し、ズームレンズ１５０の位置を移動させる。
【０１２７】
ステップＳ２０６以降の処理は、図２の同じ番号の処理と同じであるため、説明を省略する。
【０１２８】
上記の通り本第３の実施形態によれば、撮像制御部４００の露出制御処理において求められた撮影枚数と各々の露光時間の値に応じて、ズームレンズ１５０の焦点距離を撮影前に変更して画角を広げておくため、総露出時間に応じた、より適切な切り取り代を設けることができる。これにより、ぶれ補正後も、撮影者の意図した画角を保証することができる。
【０１２９】
なお、ズーム移動量算出部４０１は、撮像制御部４００の露出制御処理において求められた撮影枚数と各々の露光時間の値を基にして、図７のグラフに対応する演算式により移動量を求めるようにしても、図７のグラフに示す内容をルックアップテーブルの形式で不図示のメモリに保存しておき、総露光時間に応じてルックアップテーブルから対応する移動量を取り出すような構成にしても良い。また、ズーム移動量算出部４０１を特に設けずに、ソフトウエアにより撮像制御部４００がズーム移動量算出部４０１と同様の動作を実現するようにすることも勿論可能である。
【０１３０】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
【０１３１】
第４の実施形態においては、撮影時における焦点距離の変化量をカメラの揺れに基づいて算出することを特徴とする。
【０１３２】
図８は本第４の実施形態における撮像装置の構成を示すブロック図である。なお、図８に示す構成の内、図１０で同じ参照番号で示される構成とは同様であるので説明を省略するが、信号切替部１６５とぶれ補正操作部２０３が無く、揺れ検出部２０４及び撮像制御部５００内にズーム移動量算出部５０１が設けられた点が図１０と異なる。
【０１３３】
撮影制御部５００は、例えばマイクロコンピュータで構成されており、ＡＦ制御、ＡＥ制御、ズームレンズ制御、シャッター制御などの制御を行うとともに、レリーズ操作部２０１、ズーム操作部２０２からの操作信号が入力され、また揺れ検出部２０４からは撮像装置の揺れが入力されるようになっている。
【０１３４】
揺れ検出装置２０４は例えば角速度センサや加速度センサなどである。
【０１３５】
また、特徴点抽出、座標位置の算出、及び座標変換の各処理についても従来と同様であるため説明は割愛する。
【０１３６】
次に、本第４の実施形態における撮像装置の動作について説明するが、基本的に第２の実施形態とほぼ同様であるため、図５を用いて説明する。図２の実施形態とは、ステップＳ３０１で行うズーム移動量の算出処理方法が異なる。その他の処理は第２の実施形態と同様であるため、説明を省略する。
【０１３７】
ステップＳ３０１において、揺れ検出部２０４より得られる装置の揺れ量に応じて、撮影時のズームレンズ１５０の焦点距離移動量を求める。
【０１３８】
この換算量は図９に示すグラフのように、揺れ量が大きくなるにつれ、焦点距離の変化量が大きくなる特性を持つ。この理由は、揺れ量が大きくなると撮像素子１６１上での画像移動量、すなわちぶれ量が大きくなるため、上記に述べた画像合成における重ね合わせた画像領域のうち、構図ぶれによりすべての画像が重ならない領域が増加するからである。
【０１３９】
次のステップＳ３０２では、ステップＳ３０１で求めた移動量分、ズームレンズ１５０の位置を変更する。
【０１４０】
上記の通り本第４の実施形態によれば、撮像装置の揺れ量に応じてズームレンズ１５０の焦点距離を撮影前に変更して画角を広げておくため、揺れ量に応じたより適切な切り取り代を設けることができる。これにより、ぶれ補正後も、撮影者の意図した画角を保証することができる。
【０１４１】
なお、ズーム移動量算出部５０１は、揺れ検出部２０４において検出された揺れ量を基にして、図９のグラフに対応する演算式により移動量を求めるようにしても、また、図９のグラフに示す内容をルックアップテーブルの形式で不図示のメモリに保存しておき、揺れ量に応じてルックアップテーブルから対応する移動量を取り出すような構成にしても良い。また、ズーム移動量算出部５０１を特に設けずに、ソフトウエアにより撮像制御部５００がズーム移動量算出部５０１と同様の動作を実現するようにすることも勿論可能である。
【０１４２】
＜他の実施形態＞
なお、上記第２〜第４の実施形態では、ぶれ補正操作部２０３を設けない場合について説明したが、これに限るものではなく、ぶれ補正操作部２０３を設け、図２のフローチャートに示すステップＳ２０５及びＳ２０８〜Ｓ２１１の処理を、図８のフローチャートに示す処理に追加しても良いことは言うまでもない。逆に、第１の実施形態において、ぶれ補正操作部２０３を設けず、必ずぶれ補正を行わせるようにすることもできる。
【０１４３】
また、上記第１乃至第４の実施形態では、ぶれ補正処理に関する複数枚の画像撮影及びこれらの画像の合成処理を例にとって説明したが、例えば、ダイナミックレンジの拡大など、その目的はぶれ補正に限るものではなく、様々に適用することが可能である。
【０１４４】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１４５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【０１４６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２または図５に示すフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１４８】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における撮像装置の動作を示すフローチャートである。
【図３】本発明の第１の実施形態におけるぶれ補正処理時の画像合成及び領域切り取り処理によって得られる画像の画角を示す図である。
【図４】本発明の第２の実施形態における撮像装置の概略構成を示すブロック図である。
【図５】本発明の第２の実施形態における撮像装置の動作を示すフローチャートである。
【図６】本発明の第２の実施形態における焦点距離の移動量を示すグラフである。
【図７】本発明の第３の実施形態における焦点距離の移動量を示すグラフである。
【図８】本発明の第４の実施形態における撮像装置の概略構成を示すブロック図である。
【図９】本発明の第４の実施形態における焦点距離の移動量を示すグラフである。
【図１０】従来の撮像装置の構成を示す図である。
【図１１】従来の撮像装置の動作を示すフローチャートである。
【図１２】特徴点検出及び座標移動の概念を説明するための図である。
【図１３】従来のぶれ補正処理時の画像合成及び領域切り取り処理によって得られる画像の画角を示す図である。
【符号の説明】
【０１４９】
１５０・・・ズームレンズ
１５１・・・絞り
１５２・・・フォーカスレンズ
１５３・・・シャッター
１６１・・・撮像素子
１６２・・・カメラ信号処理回路
１６５・・・信号切替部
１７１・・・画像メモリ
１７２・・・ずれ検出回路
１７３・・・座標変換回路
１７４・・・画像合成回路
１７５・・・画像処理回路
１７６・・・レコーダ
１８０・・・モニタ
２００、３００、４００、５００・・・撮影制御部
２０１・・・レリーズ操作部
２０２・・・ズーム操作部
２０３・・・ぶれ補正操作部
２０４・・・揺れ検出部
２１０・・・ズーム駆動モータ
２１１・・・絞りモータ
２１２・・・フォーカス駆動モータ
２１３・・・シャッター駆動アクチュエータ
２２１・・・絞り制御回路
２２２・・・フォーカス制御回路
２２３・・・シャッター制御回路
３０１・・・ぶれ補正用ズーム変更部
４０１、５０１・・・ズーム移動量算出部
【図１】
2005079841.tif 000003
【図２】
2005079841.tif 000004
【図３】
2005079841.tif 000005
【図４】
2005079841.tif 000006
【図５】
2005079841.tif 000007
【図６】
2005079841.tif 000008
【図７】
2005079841.tif 000009
【図８】
2005079841.tif 000010
【図９】
2005079841.tif 000011
【図１０】
2005079841.tif 000012
【図１１】
2005079841.tif 000013
【図１２】
2005079841.tif 000014
【図１３】
2005079841.tif 000015