(57)【要約】【課題】画像合成によって露出不足を補正しつつ、合成画像に生ずるブレを無くす技術の提供。【解決手段】撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成する。【選択図】      図１
2006140971.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により撮像された画像を補正する画像処理装置であって、
前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、
前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、
前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、
前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする画像処理装置。
【請求項２】
撮像素子により撮像された画像を補正する画像処理装置であって、
前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、
前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、
前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、
前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする画像処理装置。
【請求項３】
撮像素子により撮像された画像を補正する画像処理装置であって、
前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、
前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、
前記座標変換後の各画像を合成して画像の露出を補正する補正手段と、
前記合成する画像に優先度を設ける設定手段とを備え、
前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする画像処理装置。
【請求項４】
前記補正手段は、前記優先度が最も高い画像の画角に対して他の画像が重複しない部分の露出を補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記優先度が最も高い画像は１枚目に撮影された画像であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
撮像素子により被写体の画像を撮像する撮像手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理装置は、撮像素子により被写体の画像を撮像する撮像装置から取り込んだ画像を補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
撮像素子により撮像された画像を補正する画像処理方法であって、
前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、
前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、
前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、
前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする画像処理方法。
【請求項９】
撮像素子により撮像された画像を補正する画像処理方法であって、
前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、
前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、
前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、
前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする画像処理方法。
【請求項１０】
撮像素子により撮像された画像を補正する画像処理方法であって、
前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、
前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、
前記座標変換後の各画像を合成して画像の露出を補正する補正工程と、
前記合成する画像に優先度を設ける設定工程とを備え、
前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする画像処理方法。
【請求項１１】
請求項８乃至１０のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カメラに加わる手振れは、撮影の失敗の原因の一つである。例えば、特許文献１には、撮影者の手振れ状態を検知し、レンズを動かすことで、長秒時でもブレの生じない画像を得ることができるシステムが提案されている。
【特許文献１】特開２０００−３４１５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に記載の方法では、複数の手振れ画像から１枚の適正露出画像を作り出そうとすると、適正露出画像のサイズ（画素数）は手振れの激しさに応じて小さくなってしまうという欠点がある。
【０００４】
本発明は、このような欠点を解決できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする。
【０００６】
本発明に係る画像処理装置は、撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段とを備え、前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする。
【０００７】
本発明に係る画像処理装置は、撮像素子により撮像された画像を補正する画像処理装置であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出手段と、前記検出手段による検出結果に基づいて各画像の座標変換を行う座標変換手段と、前記座標変換後の各画像を合成して画像の露出を補正する補正手段と、前記合成する画像に優先度を設ける設定手段とを備え、前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする。
【０００８】
本発明に係る画像処理方法は、撮像素子により撮像された画像を補正する画像処理方法であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、前記画像の合成時に、露出が適正化される画像数よりも多く撮影された画像の中から位置ずれの少ない画像を選択して合成することを特徴とする。
【０００９】
本発明に係る画像処理方法は、撮像素子により撮像された画像を補正する画像処理方法であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、前記座標変換後の各画像を合成して画像の露出を補正する補正工程とを備え、前記画像の合成時に、前記撮影された画像数よりも少ない画像を用いて、合成された画像の領域が最も大きくなるように画像の合成を行うことを特徴とする。
【００１０】
本発明に係る画像処理方法は、撮像素子により撮像された画像を補正する画像処理方法であって、前記撮像された複数の画像について、当該各画像中の主被写体の位置ズレを検出する検出工程と、前記検出工程による検出結果に基づいて各画像の座標変換を行う座標変換工程と、前記座標変換後の各画像を合成して画像の露出を補正する補正工程と、前記合成する画像に優先度を設ける設定工程とを備え、前記画像の合成は、優先度が最も高い画像に対して他の画像を合成するように行うことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、合成後の画像のサイズ（画素数）をできるだけ大きくすることができる。
【発明を実施するための最良の形態】
【００１２】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施形態は、本発明の一例であり、本発明は以下の実施形態に限定されるものではない。
【００１３】
［第１の実施形態］
図１は、本発明の第１の実施形態における撮像装置のブロック図である。撮像装置には、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等があるが、本実施の形態における撮像装置はデジタルカメラとする。
【００１４】
図１において、レンズ１１から入射した光線はシャッタ１２を通り、絞り１３により光量制限された後に撮像部１５に結像する。
【００１５】
撮像部１５はＣＭＯＳイメージセンサやＣＣＤセンサなどの撮像素子を用いて画像を撮影する。
【００１６】
レンズ１１はピント調整のためにＡＦ駆動モータ１４により光軸１０上を移動して焦点調節を行う。
【００１７】
ＡＦ駆動モータ１４は焦点駆動部１９により駆動され、絞り１３は絞り駆動部１７によりその絞り径が定められ、シャッタ１２はシャッタ駆動部１８により開閉させられて撮像部１５に入射する光線を制御している。
【００１８】
そして、焦点駆動部１９、絞り駆動部１７、シャッタ駆動部１８は撮影制御部１１１により制御されている。
【００１９】
撮影制御部１１１は、画像処理部１１２に取り込まれた画像により測光を行うことで絞り１３の径とシャッタ１２の開き時間を定めており、又は、焦点駆動部１９との連携でピントの合う点を求めている。
【００２０】
Ａ／Ｄ変換部１１０は、撮像部１５で撮影された画像をデジタル化する。
【００２１】
画像処理部１１２は、Ａ／Ｄ変換部１１０からのデジタル画像を用いて所定の画像処理を行う。画像処理部１１２で処理された画像は、表示部１２１、記録部１２２及びズレ検出部１１３に供給される。
【００２２】
以上説明した動作は通常防振を必要としないような明るさの被写体を撮影する場合であり、撮影被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には撮影者はデジタルカメラの操作部により防振システムをオンにして以下の動作に切り替わる。
【００２３】
まず、撮影者が撮影準備のためにデジタルカメラのレリースボタンを半押しすることでピント合わせや測光を行う。
【００２４】
このときの測光値に基づいてシャッタの開き時間（露光時間）と絞り径を設定する訳であるが一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、シャッタは長秒時露光になっている。
【００２５】
そこでこの露光時間を複数の短い露光時間に分割し、その分割数だけ撮影を繰り返すように設定する。
【００２６】
このように短い露光時間に分割すると１枚１枚の画像は露出不足になるがそれらの画像には手振れの影響が少ない。
【００２７】
そして、それら複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する訳である。
【００２８】
しかし、それら複数の画像を撮影するときに１枚ごとの手振れはなくても連続撮影中の手振れにより各画像の構図のズレは微妙に変化しており、これらをこのまま合成すると合成された画像はぶれた画像になってしまう。
【００２９】
そこで、ズレ検出部１１３は画像の特徴点を定め、その特徴点の画面における位置座標を割り出す。
【００３０】
座標変換部１１４はズレ検出部１１３で求めた特徴点の変化にあわせて各画像の画像変換を行う。画像記憶部１１５は座標変換後の各画像を記憶する。ここで、撮影された画像は適正露出になる画像の枚数よりも多く撮影されている。
【００３１】
選択部１１６では撮影された枚数にしたがって、どのように選択するかを決定する。
【００３２】
図３は、被写体に対して３枚撮影し、適正露出は２枚の合成で行う例を示している。
【００３３】
画像は、説明をわかりやすくするために少し横長となっている。撮影されたエリア５０３，５０２，５０５は撮影した画像で、３枚は図示のように手振れのためずれている。選択部１１６では５０３と５０２、５０２と５０５、５０５と５０３といったように、全ての選択を行い次の画像合成部１１７に画像を渡す。画像合成部１１７ではこの３種類の画像を前述の合成方法にしたがって合成する。図４は、図３の撮影画像５０２，５０３の撮影エリアを重ねた画像である。この場合には画像は手振れしているために、被写体はぶれて写っている。ここで被写体の５０２のＡ部を５０３のＢ部に重ねることで被写体はぴったり重なる。
【００３４】
次に、合成画像のサイズ（画素数）を画像サイズ演算部１１８で計算し、比較部１２０で比較した後、最も大きなサイズ（画素数）となった画像が記録部１２２、表示部１２１に送られる。図３で基本となる画像を５０３とした場合、５０２は左右に距離Ｌ１だけずれて撮影されているために撮影されたエリア５０３と５０２の画像の重複部分の面積は斜線部５０１の面積を引いた面積となる。また、撮影されたエリア５０３と５０５の画像の重複部分の面積は距離Ｌ２だけ上下にずれているために一点鎖線部５０４を引いたものとなる。よって、Ｌ１とＬ２が略同じ距離であれば、上下にずれた画像５０５と重複させるよりも、左右にずれた画像５０２との重複部分を選択したほうが、より大きな画像となる。５０１と５０４では同じ量だけ画像がずれているにもかかわらず、面積はかなり違っている。要するに、画像のズレ量の大きさだけでは重複させる画像は決まらない。
【００３５】
デジタル画像の場合には１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるがゲインを高くするとノイズも多くなり見苦しい画像になってしまう。
【００３６】
しかし本方式のように画像を合成することで全体のゲインをアップさせる場合には各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。
【００３７】
別の捉え方をすれば、例えばノイズを許容して撮像部１５を高感度にして複数枚撮影し、それらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【００３８】
合成された画像は表示部１２１に表示するとともに記録部１２２に記録される。
【００３９】
図２は、上述した動作をまとめたフローチャートであり、このフローチャートは防振スイッチをオンさせたときにスタートする（ステップＳ１００１）。
【００４０】
ステップＳ１００２では撮影者がレリースボタンを半押しするまで待機し、レリースボタンが半押しされてＳＷ１がオンされるとステップＳ１００３に進む。
【００４１】
ステップＳ１００３では撮像部１５が被写体を撮像し、画像処理部１１２でその画像のコントラストを検出しながら撮影制御部１１１によりＡＦ駆動モータ１４を駆動してレンズ１１を繰り出し、最もコントラストが高かった位置でレンズ１１の繰り出しを停止することでピント合わせを行う。また、同時に撮像部１５の出力から被写体の明るさを求める。
【００４２】
ステップＳ１００４ではステップＳ１００３で求めた被写体の明るさから撮影する枚数を求める。
【００４３】
例えば、被写体の明るさを測光し、それを適正に露光するためには絞り１３は全開（例えばｆ２．８）、シャッタ１２は露光時間１／８が必要だとする。
【００４４】
このとき、撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは１／８の撮影では手振れの恐れがあるので手振れの恐れがない露光時間１／３２に設定し、４回撮影が適正であるので、これに追加の枚数を加えた枚数を行うように設定する。
【００４５】
また、撮影焦点距離が３００ｍｍであるときには手振れの恐れのない露光時間１／３２０に設定し、４０回プラス追加枚数撮影を行うように設定する。
【００４６】
ステップＳ１００５ではカメラのファインダや液晶表示に撮影枚数を表示し撮影者に知らせる。
【００４７】
ステップＳ１００６ではレリースボタンを押し切り撮影の指示があるまで待機する。
【００４８】
尚、この待機ステップ中にレリースボタンが半押しされてＳＷ１がオフにされたときには、フローチャートはスタートに戻る。
【００４９】
ステップＳ１００７ではまず１枚目の撮影を開始する。
【００５０】
ステップＳ１００８では１枚目の画像に対してのズレ検出部１１３が画像の周辺領域の中から特徴的な像を抽出し、その像の座標を求める。
【００５１】
ステップＳ１００９では座標変換を行うが、最初の１枚の画像のみ座標の変換は行わず、そのままステップＳ１０１０に進む。
【００５２】
ステップＳ１０１０では画像を画像記憶部１１５に記憶する。
【００５３】
ステップＳ１０１１では所定の枚数の撮影画像が撮影され保存されるまでステップＳ１００７からの処理を繰り返し行う。
【００５４】
ステップＳ１０１２では合成する画像を選択する。図１の選択部１１６では５０３と５０２，５０２と５０５，５０５と５０３といったように、全ての選択を行う処理を順次行う。
【００５５】
ステップＳ１０１３では選択された画像の合成をそれぞれ行い、その結果を記憶する（ステップＳ１０１４）。ステップＳ１０１５では、ステップＳ１０１２からの処理を順次行い、全画像について処理が完了するとステップＳ１０１６でどの画像を選ぶかの決定を行う。ここでは、合成して作られた画像の大きさを比較して、最も大きい画像を選択する。次に、その画像をステップＳ１０１７で拡散補間をして極力もとの大きさの画像とする。補間された画像は次のステップＳ１０１８でカメラの背面の液晶表示器等に表示され、ステップＳ１０１９で半導体メモリ等の着脱可能な記録媒体等に記録される。その後、ステップＳ１０２０でスタートに戻る。
【００５６】
［第２の実施形態］
図４は、本発明の第２の実施形態における撮像装置のブロック図である。
【００５７】
図４において、レンズ１１から入射した光線はシャッタ１２を通り、絞り１３により光量制限された後に撮像部１５に結像する。
【００５８】
撮像部１５はＣＭＯＳイメージセンサやＣＣＤセンサなどの撮像素子を用いて画像を撮影する。
【００５９】
レンズ１１は、ピント調整のためにＡＦ駆動モータ１４により光軸１０上を移動して焦点調節を行う。
【００６０】
ＡＦ駆動モータ１４は焦点駆動部１９により駆動させられ、絞り１３は絞り駆動部１７によりその絞り径が定められ、シャッタ１２はシャッタ駆動部１８により開閉させられて撮像部１５に入射する光線を制御している。
【００６１】
そして、焦点駆動部１９、絞り駆動部１７、シャッタ駆動部１８は撮影制御部１１１により制御される。
【００６２】
撮影制御部１１１は、画像処理部２１１に取り込まれた画像により測光を行うことで、絞り１３の径とシャッタ１２の開き時間を定めており、又は、焦点駆動部１９との連携でピントの合う点を求めている。
【００６３】
Ａ／Ｄ変換部１１０は、撮像部１５で撮影された画像をデジタル化する。
【００６４】
画像処理部２１１は、Ａ／Ｄ変換部１１０からのデジタル画像を用いて所定の画像処理を行う。画像処理部２１１で処理された画像は、表示部２１２、記録部２１３及び画像選択部２１４に供給される。
【００６５】
以上説明した動作は通常防振を必要としないような明るさの被写体を撮影する場合であり、撮影被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には撮影者はデジタルカメラの操作部により防振システムをオンにして以下の動作に切り替わる。
【００６６】
まず、撮影者が撮影準備のためにデジタルカメラのレリースボタンを半押しすることでピント合わせや測光を行う。
【００６７】
このときの測光値に基づいてシャッタの開き時間（露光時間）と絞り径を設定する訳であるが一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、シャッタは長秒時露光になっている。
【００６８】
そこでこの露光時間を複数の短い露光時間に分割し、その分割数だけ撮影を繰り返すように設定する。
【００６９】
このように短い露光時間に分割すると１枚１枚の画像は露出不足になるがそれらの画像には手振れの影響が少ない。
【００７０】
そしてそれら複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する訳である。
【００７１】
しかし、それら複数の画像を撮影するときに１枚ごとの手振れはなくても連続撮影中の手振れにより各画像の構図のズレは微妙に変化しており、これらをこのまま合成すると合成された画像はぶれた画像になってしまう。
【００７２】
そこで、画像選択部２１４は、撮影された画像の枚数にしたがって、どのように選択するかを決定する。
【００７３】
図７は、被写体に対して４枚撮影し、適正露出は３枚の合成で行う例を示している。
【００７４】
撮影画像は６０１〜６０４で、４枚の画角を重ね合わせると図９のように手振れしている画像となる。
【００７５】
画像選択部２１４でまず６０１を選択することで６０１が基準画像となり、６０１の画角の表示範囲が最終的な合成画像の範囲となる。次に、６０２，６０４を選択する。これで合成部分が適正露出になる３枚の指定が終る。これは、本実施の形態のデジタルカメラの背面に装着されている液晶表示器等に表示されている図７の画像を見ながら操作部で入力する。
【００７６】
次に、ズレ検出部２１５は画像信号の特徴点を定め、その特徴点の画面における位置座標を割り出す。座標変換部２１６はズレ検出部２１５で求めた特徴点の変化にあわせて各画像の画像変換を行う。
【００７７】
画像記憶部２１７は座標変換後の各画像を記憶する。
【００７８】
次に、選択された画像を画像合成部２１８に画像を渡す。画像合成部２１８ではこの３種類の画像を前述の合成方法にしたがって合成する。図８は、被写体のブレが無いように合成した結果である。
【００７９】
図８で網点部６５５は合成された３枚の重複部分である。ここでは３枚合成されているので露出は適正となる。斜線部６５７は３枚の画像のうち６０４の情報が無い部分である。ここの画像が無いと、一番右の人の左腕がかけてしまうことになる。この部分は１枚画像が無い分露出がアンダーになるために、その分露出補正をかけてオーバーに処理する。格子状の線の部分６５６は画像６０２の情報が無い。ここでも前述と同じように１枚画像が足りない分を露出補正する。次に、ダイヤ柄部６５８は６０４，６０２の画像情報が無い。よって、ここは２枚分の露出補正が必要となる。露出補正を行う分画質は多少悪くなるが、必要画像の欠けが無くなる。また露出補正をする部分も、ほとんど画像の端の部分であるので、実用上は問題の無い画像となる。露出補正部２１９で補正された画像は表示部１２１に表示されると共に、記録部１２２に記録される。
【００８０】
図６は、上述した動作をまとめたフローチャートであり、このフローチャートは防振スイッチをオンさせたときにスタートする（ステップＳ２０００）。
【００８１】
ステップＳ２００１では撮影者がレリースボタンを半押しするまで待機し、レリースボタンが半押しされてＳＷ１がオンされるとステップＳ２００２に進む。
【００８２】
ステップＳ２００２では撮像部１５が被写体を撮像し、画像処理部２１１でその画像のコントラストを検出しながら撮影制御部１１１によりＡＦ駆動モータ１４を駆動してレンズ１１を繰り出し、最もコントラストが高かった位置でレンズ１１の繰り出しを停止することでピント合わせを行う。また、同時に撮像部１５の出力から被写体の明るさを求める。
【００８３】
ステップＳ２００３ではステップＳ２００２で求めた被写体の明るさから撮影する枚数を求める。
【００８４】
例えば、被写体の明るさを測光し、それを適正に露光するためには絞り１３は全開（例えばｆ２．８）、シャッタ１２は露光時間１／８が必要だとする。
【００８５】
このとき撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは１／８の撮影では手振れの恐れがあるので手振れの恐れがない露光時間１／３２に設定し、４回撮影が適正であるので、これに追加の枚数を加えた枚数を行うように設定する。
【００８６】
また、撮影焦点距離が３００ｍｍであるときには手振れの恐れのない露光時間１／３２０に設定し、４０回プラス追加枚数撮影を行うように設定する。
【００８７】
ステップＳ２００４ではカメラのファインダや液晶表示に撮影枚数を表示し撮影者に知らせる。
【００８８】
ステップＳ２００５ではレリースボタンを押し切り撮影の指示があるまで待機する。
【００８９】
尚、この待機ステップ中にレリースボタンが半押しされてＳＷ１がオフにされたときには、フローチャートはスタートに戻る。
【００９０】
ステップＳ２００６ではまず１枚目の撮影を開始する。
【００９１】
ステップＳ２００７ではステップＳ２００６で撮影された画像を保存する。
【００９２】
ステップＳ２００８では所定枚数（ステップＳ２００３で決定された枚数）の撮影が完了するまでステップＳ２００６〜Ｓ２００８までの処理を繰り返す。そして、全ての撮影が完了するとステップＳ２００９に進む。
【００９３】
ステップＳ２００９ではステップＳ２００７で保存された画像の全てを表示する。
【００９４】
ステップＳ２０１０では表示された画像の中から合成する画像の選択を行う。ここでは、基本となる画像をまず最初に選択する。この画像のサイズ（画素数）が表示及び記録されるサイズ（画素数）となる。
【００９５】
次に、ステップＳ２０１１では特徴点の抽出と座標の計算を行う。
【００９６】
ステップＳ２０１２では座標変換を行うが、最初の１枚の画像のみ座標の変換は行わずそのままステップ２０１３に進む。
【００９７】
ステップＳ２０１３では選択枚数が全て計算されるまでステップＳ２０１０からの処理を繰り返す。
【００９８】
ステップＳ２０１０では次の画像が選択され、その画像の対応する特徴点の抽出と座標変換を行い最初の画像に合成される。全ての画像はステップＳ２０１４で合成される。次に前述のように合成された枚数が少ない部分の露出補正をステップＳ２０１５で行う。
【００９９】
合成された画像は次のステップＳ２０１６でカメラの背面の液晶表示器等に表示され、ステップＳ２０１７で半導体メモリ等の着脱可能な記録媒体に記録される。ステップＳ２０１８でスタートに戻る。
【０１００】
本実施形態では画像を合成するのに、所定枚数（適正露出となる枚数）よりも多くの枚数から優先順位をつけて選択するようにしたが、優先順位をつけての選択で、最優先の画像に後の画像を合成していく方法は適正露出となる所定の枚数のみの撮影での合成画像作成の構成でも成り立つことは言うまでもない。
【０１０１】
上記実施形態によれば、手振れの生じないような短い露光時間で撮影を複数回繰り返し、撮影された複数の画像を合成することで露出不足を補完できることに着目し、更に合成前に各画像ごとに座標変換を行い手振れにより生ずる各画像ごとの構図の違いを補正することで合成画像に生ずるブレをなくすことができる。
【０１０２】
なお、本実施形態では、画像の合成を撮像装置内部で行って記録媒体に記録し、カメラの背面の液晶表示器等に表示するような構成としたが、撮像装置では画像のみを撮影し、パーソナルコンピュータ等の画像処理装置に複数枚の撮影画像を取り込んでから、上記のような合成処理を施す構成も本発明に含まれることは言うまでもない。つまり、本発明は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮像装置に限定されるものではなく、パーソナルコンピュータ等の画像処理装置にも適用することができる。
【０１０３】
［他の実施形態］
前述した実施形態は、前述した実施形態の機能を実現するためのプログラムコードからなるソフトウェアを記録したコンピュータ読み取り可能な記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置内のコンピュータ（またはＣＰＵやＭＰＵ）がその記録媒体に格納されたプログラムコードを読み出し実行することによって達成することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０５】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１０６】
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１の実施形態における撮像装置のブロック図である。
【図２】本発明の第１の実施形態における画像処理を示すフローチャートである。
【図３】本発明の第１の実施形態における画像処理により撮影画像を合成した様子を示す図である。
【図４】本発明の第１の実施形態における画像処理により手振れ画像を合成した様子を示す図である。
【図５】本発明の第２の実施形態における撮像装置のブロック図である。
【図６】本発明の第２の実施形態における画像処理を示すフローチャートである。
【図７】本発明の第２の実施形態における画像処理により撮影画像を合成した様子を示す図である。
【図８】本発明の第２の実施形態における画像処理により撮影画像を合成した様子を示す図である。
【図９】本発明の第２の実施形態の画像処理により手振れ画像を合成した様子を示す図である。
【符号の説明】
【０１０８】
１０  光軸
１１  レンズ
１２  シャッタ
１３  絞り
１４  ＡＦ駆動モータ
１５  撮像部
１６  駆動部
１７  絞り駆動部
１８  シャッタ駆動部
１９  焦点駆動部
１１０  Ａ／Ｄ変換部
１１１  撮影制御部
１１２  画像処理部
１１３  ズレ検出部
１１４  座標変換部
１１５  画像記憶部
１１６  選択部
１１７  画像合成部
１１８  画像サイズ演算部
１１９  記憶部
１２０  比較部
１２１  表示部
１２２  記録部
【図１】
2006140971.tif 000003
【図２】
2006140971.tif 000004
【図３】
2006140971.tif 000005
【図４】
2006140971.tif 000006
【図５】
2006140971.tif 000007
【図６】
2006140971.tif 000008
【図７】
2006140971.tif 000009
【図８】
2006140971.tif 000010
【図９】
2006140971.tif 000011