(57)【要約】【課題】  静止画の手ぶれ補正は高価な機械的手法に頼りがちである。【解決手段】  レリーズボタン２０の半押下（時刻ｔ０）で予備撮像を開始し、まず２枚の予備画像ｐ０、ｐ１を取得する。レリーズボタン２０が全押下されたとき（時刻ｔ１）、本撮像をしてユーザの指示に従う本画像ｐ２を取得する。その後も予備撮像をつづけ、さらに２枚の予備画像ｐ３、ｐ４を取得する。本画像ｐ２のぶれ量が大きい場合、予備画像のうちぶれ量が少ない２枚を取り出し、それらの補間画像をユーザに提示する。【選択図】        図３
2007006044.tif 000002
【特許請求の範囲】
【請求項１】
静止画の撮像指示を検出する検出ステップと、
静止画の撮像指示が検出されたとき、その指示タイミングと時間的に近いタイミングで撮像された複数の画像のうちぶれ量が小さい２枚の代替画像を選定する選定ステップと、
２枚の代替画像間でマッチング計算を実行するマッチングステップと、
マッチング計算の結果をもとに代替画像間の補間画像を生成する補間ステップと、
生成された補間画像を前記撮像指示に応じた画像として出力する出力ステップと、
を備える撮像方法。
【請求項２】
請求項１に記載の方法において、２枚の代替画像のうち１枚は指示タイミングの前に撮像された画像群の中から選定され、別の１枚は指示タイミングの後に撮像された画像群の中から選定される撮像方法。
【請求項３】
請求項１または２に記載の方法において、指示タイミングにおいて撮像された画像のぶれ量が所定値より大きい場合にマッチングステップ以下のステップを実行する撮像方法。
【請求項４】
請求項３に記載の方法において、前記所定値は２枚の代替画像のぶれ量との関係において定められる撮像方法。
【請求項５】
ユーザによる静止画の撮像指示を検出する検出ステップと、
ユーザによる静止画の撮像指示がない間も連続的に画像を撮像する予備撮像ステップと、
撮像指示に応じて撮像された画像のぶれ量が大きいとき、予備撮像ステップによって、撮像指示の前および後に撮像された画像の中からそれぞれぶれ量が小さい代替画像を１枚ずつ選定するステップと、
２枚の代替画像間でマッチング計算を実行するマッチングステップと、
マッチング計算の結果をもとに代替画像間の補間画像を生成する補間ステップと、
生成された補間画像を前記撮像指示に応じた画像として出力する出力ステップと、
を備える撮像方法。
【請求項６】
請求項５に記載の方法において、予備撮像ステップは撮像指示が予測されたときに画像の連続的な撮像を開始する撮像方法。
【請求項７】
請求項５に記載の方法において、予備撮像ステップは撮像指示が検出された後、画像の連続的な撮像を終了する撮像方法。
【請求項８】
静止画の撮像指示を検出する検出部と、
静止画の撮像指示が検出されたとき、その指示タイミングと時間的に近いタイミングで撮像された複数の画像のうちぶれ量が小さい２枚の代替画像を選定する選定部と、
２枚の代替画像間でマッチング計算を実行するマッチング処理部と、
マッチング計算の結果をもとに代替画像間の補間画像を生成する補間部と、
生成された補間画像を前記撮像指示に応じた画像として出力する出力部と、
を備える撮像装置。
【請求項９】
静止画の撮像指示に応じて撮像された画像に代えて、当該画像が撮像されたタイミングに近いタイミングで撮像された別の複数画像間の補間画像を出力することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像技術に関し、とくにマッチングを用いた撮像方法および装置に関する。
【背景技術】
【０００２】
デジタルカメラの小型軽量化に伴い、手ぶれの問題が顕著になる。手ぶれ補正のために電子式、光学式、撮像素子シフト式などと呼ばれる補正手法が知られている。電子式手ぶれ補正は、複数の画像データを連続して観たときのぶれを軽減するものだが、そのままでは静止画には効力がない。一方、光学式や撮像素子シフト式はメカニカルな手法であるため、一般に機構設計が容易ではなく、小型化、低コスト化の面で必ずしもベストの解ではない。
【特許文献１】特開２０００−６９３５３
【特許文献２】特開平５−２０４０１２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
電子式は画像処理によるもので、新たな構造を必要としないため、この方式で簡便に静止画の手ぶれ補正ができることが望ましい。本発明はこうした課題に鑑みてなされたものである。
【課題を解決するための手段】
【０００４】
本発明の撮像方法は、静止画の撮像指示に応じて撮像された画像に代えて、時間的に近いタイミングで撮像された画像間の補間画像を出力するものである。画像を代替するか否かはぶれ量によって判断すればよい。
【発明の効果】
【０００５】
本発明によれば、画像処理によって容易に静止画の手ぶれ補正ができる。
【発明を実施するための最良の形態】
【０００６】
手ぶれ写真（以下「写真」はデジタル化を想定して「画像」ともいう）は、仮にピントが合っていても、レリーズボタンを押すときにカメラまたは被写体が動けば発生する。したがって、手ぶれはいわゆる「ピンぼけ」とは異なる。手ぶれの程度、すなわち「ぶれ量」は、前出の特許文献にも示されるごとく簡単なセンサによって測定できる。
【０００７】
実施の形態では、デジタルカメラのユーザが画像を撮像したとき、そのぶれ量をセンサで測定する。測定されたぶれ量が大きい場合、この画像に代えて画像処理によって生成した補間画像をユーザに提示する。そのために、以下のプロセスを経る。
【０００８】
１．ユーザによる撮像指示の前後に、ユーザの指示とは無関係な制御(これを「予備撮像」という)によって連続的に撮像された画像の中からぶれ量が小さい画像(以下「代替画像」という)を２枚選定する。
【０００９】
２．代替画像間でマッチング計算をし、対応点や対応領域(以下「対応点」で代表させる)を検出する。マッチング計算自体はオプティカルフロー、ブロックマッチング、本出願人が提案する特許第２９２７３５０号の手法など、その内容は問わない。
【００１０】
３．マッチング計算によって代替画像間の対応点が判明したら、それら対応点どうしの位置と画素値を補間して補間画像を生成する。マッチング結果をもとに補間画像を生成する手法も、前述の特許第２９２７３５０号の手法など、その内容は問わない。
【００１１】
４．この補間画像をユーザに提示する。提示は画像確認用のＬＣＤ等への表示によってなす。
【００１２】
つまり、ユーザは自らの意思でレリーズボタンを押下して撮像指示をするものの、その撮像指示のタイミング(以下単に「指示タイミング」という)で撮像された画像(これを「本画像」という)を無条件に出力するのではなく、本画像のぶれ量が大きければ予備撮像で得られた代替画像を利用して補間画像を生成し、これをあたかも本画像のごとくにユーザに提示するものである。代替画像は指示タイミングの前から１枚、後から１枚選定し、指示タイミングからそれら代替画像までの時間距離に応じた内分比で両画像を補間することにより、指示タイミングに適合した補間画像を生成するものとする。
【００１３】
図1は実施の形態に係るデジタルカメラ１００の構成を示す。デジタルカメラ１００は、レンズ１０、レンズ１０を介して入射した被写体画像を結像する撮像素子であるＣＣＤとそのドライバおよび電子シャッタ等を含むＣＣＤブロック１２、ＣＣＤブロック１２から出力された２次元画像信号をデジタル化して各種処理を施すＤＳＰやＣＰＵを含む処理部１４、処理部１４のワークエリアとして使用されるバッファメモリ１６、処理部１４に対してユーザの指示を伝える操作部１８、操作部１８の一例としてのレリーズボタン２０、撮像した画像をユーザが確認するためのＬＣＤ２２、画像の最終保存先であるメモリカード２４、ぶれ量を検出する加速度センサなどのぶれセンサ２６を備える。レリーズボタン２０は半押下と全押下のふたつの安定位置を有し、既知の手法により、半押下により、処理部１４とレンズ１０などの連携でオートフォーカス(以下単に「ＡＦ」とも表現する)が実行され、全押下で電子シャッタ(図示せず)が切られる。
【００１４】
図２は、処理部１４の内部構成を示す。これらの構成は、実際にはＤＳＰやＣＰＵと、各種プログラムによって実現されるが、ここではハードウエアとソフトウエアの区別ではなく、それらの連携による機能に着目する。
【００１５】
操作検出部３０は操作部１８からの指示を検出し、これがレリーズボタン２０の半押下を示していればＡＦ部３２を起動する。ＡＦ部３２はレンズ１０の駆動制御など既知の合焦処理を行う。操作検出部３０で検出された指示がレリーズボタン２０の全押下を示していればこれを撮像処理部３４に通知し、撮像処理部３４がＣＣＤブロック１２を制御して１回の撮像を実行せしめ、ＣＣＤブロック１２からの画像データをＡ／Ｄコンバータ(図示せず)で変換してバッファメモリ１６へ格納する。このとき、撮像処理部３４はぶれセンサ２６で検出されたぶれ量をその画像に関連づけて保存する。
【００１６】
予備撮像部３６は、操作検出部３０で検出された指示がレリーズボタン２０の半押下であると、これを契機としてＡＦ部３２と撮像処理部３４を制御し、所定の時間間隔で予備撮像を実行する。予備撮像によって得られた画像(以下「予備画像」ともいう)も撮像処理部３４を介してバッファメモリ１６へ格納される。予備撮像の終了タイミングは、指示タイミング後所定時間経過したときとする。これにより、ユーザが撮像を意図しない無意味なタイミングでの予備撮像を回避する。
【００１７】
モード設定部３８は予備撮像の許否を設定するレジスタで、操作部１８の図示しないキーやボタン、および操作検出部３０を介してユーザによる設定内容が記憶される。ユーザが「手ぶれ補正をする」というモード(以下単に「補正モード」という)を設定したとき予備撮像が許可され、その旨がモード設定部３８から予備撮像部３６へ通知される。「手ぶれ補正をしない」モード(以下単に「通常モード」という)が設定されると、その旨がモード設定部３８から予備撮像部３６へ通知され、予備撮像のない、通常の撮像(以下これを「本撮像」ともいう)のみがなされる。
【００１８】
代替画像選定部４２、マッチング部４４、補間部４６もユーザが補正モードを設定したときにかぎり動作する。代替画像選定部４２は、予備画像のぶれ量をバッファメモリ１６から読み出し、指示タイミングの前に得られた予備画像のうちぶれ量が最小のものを第１代替画像として特定し、同様に、指示タイミングの後に得られた予備画像のうちぶれ量が最小のものを第２代替画像として特定する。つづいて、これら代替画像と本画像のぶれ量を比較し、手ぶれ補正をすべきかどうかを判断する。手ぶれ補正を「する」と決める条件の例は以下のとおりである。
【００１９】
(１）第１、第２代替画像のぶれ量がいずれも本画像のぶれ量以下のとき。
(２）第１、第２代替画像のぶれ量の平均が本画像のぶれ量以下のとき。
(３）第１、第２代替画像のぶれ量がいずれも本画像の(ぶれ量−α）以下のとき（αは正の定数で、実験等で定める）。
(４）第１、第２代替画像のぶれ量の平均が本画像の(ぶれ量−α）以下のとき（αは正の定数で、実験等で定める）。
【００２０】
代替画像選定部４２が手ぶれ補正を「する」と決めたとき、第１、第２代替画像のデータが読み出され、マッチング部４４へ投入される。手ぶれ補正を「しない」と決めた場合は、その旨が出力部４８へ通知され(図中矢印ａ)、出力部４８は単純に本画像をバッファメモリ１６から読み出してＬＣＤ２２、メモリカード２４へ転送する。
【００２１】
手ぶれ補正をする場合、マッチング部４４は、画像マッチング処理により、代替画像間の対応点情報を取得する。２つの代替画像と対応点情報は補間部４６へ投入され、ここで代替画像間の補間画像が生成される。生成された補間画像は出力部４８へ転送される。出力部４８は、補正モードのときは補間画像を選択し、通常モードのときはバッファメモリ１６から読み出された本画像を選択し、モードに応じた画像をＬＣＤ２２およびメモリカード２４へ出力する。
【００２２】
図３は予備撮像の進行を示す。時刻ｔ０においてユーザがレリーズボタン２０を半押下する。これを契機として予備撮像が開始され、ふたつの予備画像ｐ０、ｐ１が取得され、バッファメモリ１６へ格納される。予備撮像の間隔は実験等から定めればよいが、以下の考慮点がある。
【００２３】
ａ．予備画像間の差分が小さいほうがマッチングが良好となるため、ＣＣＤブロック１２等の律速条件が許すかぎり短い間隔で行う。
【００２４】
ｂ．間隔が短すぎると、予備画像のぶれ量が本画像と大差ない場合がある。そのため、ぶれ量に有意な差が出る程度の間隔、たとえば０．１秒以上などとする。
【００２５】
つぎに、時刻ｔ１においてユーザがレリーズボタン２０を全押下すると、この指示にしたがって本撮像が行われ、本画像ｐ２が取得され、バッファメモリ１６へ格納される。予備撮像は本撮像のあともつづき、具体的には時刻ｔ１から所定時間を経た時刻ｔ３まで行われ、その間、第３、第４の予備画像ｐ３、ｐ４が取得され、バッファメモリ１６へ格納される。同図ではさらにそのあと時刻ｔ４でレリーズボタン２０の押し込みが解除されているが、時刻ｔ３とｔ４の前後関係は問わない。以上のプロセスにより、同図では本画像のほかに計４枚の予備画像が取得される。
【００２６】
なお、いずれかの予備画像の取得タイミングとユーザによる指示タイミングが近接しすぎるとき、ＣＣＤブロック１２等の律速から、指示タイミングどおりに本撮像をできない場合もありうる。その場合、撮像処理部３４は指示タイミングに十分に近いタイミングで撮られた予備画像を本画像としてもよいし、または指示タイミング以降、撮像が可能になり次第撮像し、これを本画像としてもよい。これはいわゆる連写のときにも発生しうる話であり、本実施の形態で特別に不利とまではいえない。この制約を嫌うユーザは通常モードを選択することができる。
【００２７】
図４は、図３で取得された予備画像と本画像のぶれ量Ｂの例を示す。ぶれ量Ｂは、本画像ｐ２より前では最初の予備画像ｐ０が最小であり、この予備画像が第１代替画像となる。同様に、最後の予備画像ｐ４が第２代替画像となる。
【００２８】
図５は、第１代替画像ｐ０と第２代替画像ｐ４の間でなされる画像補間を示す。ここでは、第１代替画像ｐ０の撮像時刻から本画像ｐ２の撮像時刻までの時間がｔｕ、本画像ｐ２の撮像時刻から第２代替画像ｐ４の撮像時刻までの時間がｔｖである。したがって、内挿補間の際、第１代替画像ｐ０と第２代替画像ｐ４で対応しあう点の位置については、その第１代替画像ｐ０における座標と第２代替画像ｐ４における座標をｔｖ：ｔｕで内分すれば、補間画像ｐ２ａにおける当該点の座標が得られる。画素値についても同様である。こうして、ユーザが補正モードを選択し、かつ、撮像処理部３４が手ぶれ補正を「する」と決めた場合、本画像ｐ２に代えて補間画像ｐ２ａがＬＣＤ２２へ表示され、また、メモリカード２４へ格納される。もちろん、この時点で再度ユーザが補間画像ｐ２ａではなく本画像ｐ２を選択して保存できる構成としてもよく、その場合、出力部４８は操作部１８からユーザの指示を受け、本画像ｐ２と補間画像ｐ２の一方を選ぶセレクタを内蔵すればよい。
【００２９】
以上、実施の形態は例示に過ぎず、その構成や処理ステップにはいろいろな変形技術が考えられる。以下例示する。
【００３０】
実施の形態では、ぶれ量のみに着目して代替画像を選定したが、指示タイミングと予備画像の撮像タイミングとの時間距離も加味して選定してもよい。すなわち、ぶれ量と時間距離を重み付け線形和し、最小値による予備画像を代替画像とすればよい。この処理は代替画像選定部４２によってなせばよい。
【００３１】
実施の形態では、代替画像間で補間計算をしたが、ふたつの代替画像を単に合成してもよい。その場合、例えばαブレンディングを利用することができる。さらに、合成すらやめて、いずれかの代替画像を選択し、そのまま本画像と置換してもよい。この処理も代替画像選定部４２によってなせばよい。
【００３２】
実施の形態ではレリーズボタン２０の半押下によって予備撮像を開始したが、これに限る必要はない。例えばユーザがファインダを覗いたことをユーザの目の画像認識等の検知手段によって把握し、予備撮像を開始してもよい。いずれにしても、本撮像がいずれ発生する可能性があることを検出して利用すればよい。
【００３３】
実施の形態では、ぶれ量の検出のためにぶれセンサ２６を用いたが、これを廃し、代替画像選定部４２の画像処理による方法もある。同一被写体の場合、一般にぶれ量が大きいほど画像を周波数分解したときの高周波成分が減る。実施の形態の予備撮像、本撮像は時間間隔が短く、十分に「同一被写体」といえるため、ＤＣＴ(離散コサイン変換）その他の直交変換等により、画像を周波数分解し、高周波成分の多寡を比較して代替画像を定めてもよい。
【００３４】
実施の形態では、補間として内挿補間を利用したが、外挿補間でもよい。その場合、指示タイミングよりも前に撮像した２枚の代替画像、または後に撮像した２枚の代替画像から補間画像が生成できる。
【図面の簡単な説明】
【００３５】
【図１】実施の形態に係るデジタルカメラの構成を示す図である。
【図２】図１の処理部の内部構成を示す図である。
【図３】予備撮像と本撮像のタイミング関係を示す図である。
【図４】図２の撮像で取得された画像のぶれ量を示す図である。
【図５】代替画像間で補間画像を生成する処理を示す図である。
【符号の説明】
【００３６】
１４  処理部、  １６  バッファメモリ、  １８  操作部、  ２０  レリーズボタン、  ２２  ＬＣＤ、  ２６  ぶれセンサ、３０  操作検出部、  ３２  ＡＦ部、  ３４  撮像処理部、  ３６  予備撮像部、  ３８  モード設定部、  ４２  代替画像選定部、  ４４  マッチング部、  ４６  補間部、  ４８出力部、  １００  デジタルカメラ。
【図１】
2007006044.tif 000003
【図２】
2007006044.tif 000004
【図３】
2007006044.tif 000005
【図４】
2007006044.tif 000006
【図５】
2007006044.tif 000007