(57)【要約】【課題】  連続的に撮影された画像間の一致／不一致を確実に判定し、より精度の高い画像合成を行う。【解決手段】  連続的に複数の画像データを取得する画像取得手段（４）、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データから特徴量の多い第１の画素ブロックの位置を検出する位置検出手段（１５）、この位置検出手段によって検出された位置を基準として複数の画像データのうちの第２の画像データから特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段（１７）、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にして第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断することにより第１の画像データと第２の画像データとの一致を判断する判断手段（１９）を備える。【選択図】  図１
2008311906.tif 000002
【特許請求の範囲】
【請求項１】
連続的に複数の画像データを取得する画像取得手段と、
この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データから、特徴量の多い第１の画素ブロックの位置を検出する位置検出手段と、
この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段と、
この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断することにより、前記第１の画像データと前記第２の画像データとの一致を判断する判断手段と
を備えることを特徴とする画像データ照合装置。
【請求項２】
連続的に複数の画像データを取得する画像取得手段と、
この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段と、
この分割手段によって分割された各エリアから、各々特徴量の多い第１の画素ブロックの位置を検出する位置検出手段と、
この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段と、
この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断する第１の判断手段と、
この第１の判断手段により、特徴量の多い画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置とこれに対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択し、この選択された所定数の組の前記第１の画素ブロックの位置と動きベクトルとに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段と
を備えることを特徴とする画像合成装置。
【請求項３】
撮像手段を更に備え、
前記画像取得手段は、この撮像手段を連続的に駆動させて複数の画像データを取得することを特徴とする請求項２に記載の画像合成装置。
【請求項４】
コンピュータを、
連続的に複数の画像データを取得する画像取得手段、
この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データから、特徴量の多い第１の画素ブロックの位置を検出する位置検出手段、
この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段、
この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断することにより、前記第１の画像データと前記第２の画像データとの一致を判断する判断手段
として機能させることを特徴とするプログラム。
【請求項５】
コンピュータを、
連続的に複数の画像データを取得する画像取得手段、
この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段、
この分割手段によって分割された各エリアから、各々特徴量の多い第１の画素ブロックの位置を検出する位置検出手段、
この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段、
この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断する第１の判断手段、
この第１の判断手段により、特徴量の多い画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置とこれに対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択し、この選択された所定数の組の前記第１の画素ブロックの位置と動きベクトルとに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ照合装置、画像合成装置及びプログラムに関し、たとえば、デジタルカメラ等の撮影装置において、夜景等の撮影感度の向上技術の一つとして用いられている連写画像合成に適用できる画像データ照合装置、画像合成装置及びプログラムに関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳ等の半導体撮像デバイスを用いたデジタルカメラ等の撮影装置は、カメラ自体で撮影感度（半導体撮像デバイスの撮影感度のこと。ＩＳＯ感度ともいう。）を変更することが可能であり、暗所での撮影性能に優れているとされているが、ＩＳＯ感度を高くし過ぎると、半導体撮像デバイスのノイズが増加して画質が低下するという弊害がある。
【０００３】
そこで、下記の特許文献１では、低速シャッタスピード（たとえば、１／６０秒）と高速シャッタスピード（たとえば、１／１０００秒）で２枚の画像を連写し、それらの画像を合成することにより、半導体撮像デバイスのダイナミックレンジを実質的に拡大することができる技術が記載されている。
【０００４】
この技術のポイントは、低速シャッタスピードで撮影した画像（以下、低速画像という。）は、黒レベルの再現性に優れた画像であり、一方、高速シャッタスピードで撮影した画像（以下、高速画像という。）は、その逆に、白レベルの再現性に優れた画像であり、言い換えれば、低速画像では明るい部分が白く飛んだ「白飛び」の画像になりやすく、一方、高速画像では暗い部分が黒くつぶれた「黒つぶれ」の画像になりやすいという欠点を持つが、これら二つの画像を合成することにより、両画像の欠点（白飛びと黒つぶれ）を相互に補い合って、白飛びと黒つぶれのないダイナミックレンジの広い画像を得ることができるというものである。
【０００５】
さて、この特許文献１の技術においては、その画像合成について、単に白飛び部分と黒つぶれ部分とを検出し、それらの部分に他方側の画像の該当部分を充当しているだけのものに過ぎず、たとえば、動きのある被写体や、撮影時に手振れがあった場合に、正確な画像合成を行うことが困難になるという欠点がある。
【０００６】
これに対して、下記の特許文献２では、静止画撮影で生じる手振れを防止するために、防振モードにおいては、短い露光時間で複数回露光を行い、これら露光された結果得られた画像から輝度の高い画素からなる特徴点を抽出し、動きベクトルを求め、これらのデータに基づいて座標変換を行い画像合成する技術が開示されている。
【０００７】
【特許文献１】特許第３１１０７９７号
【特許文献２】特開２００４−３５７２０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２の技術においては、特徴点の検出対象が輝度の高い領域となっているため、たとえば、連続的に撮影された画像の構図そのものが異なる場合であっても、特徴点が一致してしまう可能性があり、不適切な画像合成が行われてしまうという問題があった。
【０００９】
本発明はこのような問題点に鑑みてなされたものであり、連続的に撮影された画像間の一致／不一致を確実に判定し、より精度の高い画像合成を行うことができるようにする画像データ照合装置、画像合成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
請求項１記載の発明は、連続的に複数の画像データを取得する画像取得手段と、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データから、特徴量の多い第１の画素ブロックの位置を検出する位置検出手段と、この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段と、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断することにより、前記第１の画像データと前記第２の画像データとの一致を判断する判断手段とを備えることを特徴とする。
【００１１】
請求項２記載の発明は、連続的に複数の画像データを取得する画像取得手段と、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段と、この分割手段によって分割された各エリアから、各々特徴量の多い第１の画素ブロックの位置を検出する位置検出手段と、この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段と、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断する第１の判断手段と、この第１の判断手段により、特徴量の多い画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置とこれに対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択し、この選択された所定数の組の前記第１の画素ブロックの位置と動きベクトルとに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段とを備えることを特徴とする。
【００１２】
請求項３記載の発明は、上記請求項２記載の発明において、撮像手段を更に備え、前記画像取得手段は、この撮像手段を連続的に駆動させて複数の画像データを取得することを特徴とする。
【００１３】
請求項４記載の発明は、コンピュータを、連続的に複数の画像データを取得する画像取得手段と、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データから、特徴量の多い第１の画素ブロックの位置を検出する位置検出手段と、この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段と、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断することにより、前記第１の画像データと前記第２の画像データとの一致を判断する判断手段として機能させることを特徴とする。
【００１４】
請求項５記載の発明は、コンピュータを、連続的に複数の画像データを取得する画像取得手段、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段、この分割手段によって分割された各エリアから、各々特徴量の多い第１の画素ブロックの位置を検出する位置検出手段、この位置検出手段によって検出された位置を基準にし、前記複数の画像データのうちの第２の画像データを被追跡画像データとして、この被追跡画像データから、特徴量の多い第２の画素ブロックの位置をサーチする第１のサーチ手段、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記第１の画素ブロックを含む所定範囲で特徴量の多い画素ブロックが存在するか否かを判断する第１の判断手段、この第１の判断手段により、特徴量の多い画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置とこれに対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択し、この選択された所定数の組の前記第１の画素ブロックの位置と動きベクトルとに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段として機能させることを特徴とする。
【発明の効果】
【００１５】
本発明では、連続的に撮影された画像間の一致／不一致を確実に判定し、より精度の高い画像合成を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態に係る撮影装置の構成図である。この図において、撮影装置１は、撮影レンズや絞り機構等を含む光学系２、機械的に光軸を遮断し得るシャッタ機構３、光学系２とシャッタ機構３を通過した光を結像して電気的な画像信号に変換するＣＣＤ４、ＣＣＤ４の出力をアナログからデジタルに変換するＡ／Ｄ変換器５、Ａ／Ｄ変換器５の出力を一時的に保持するＤＲＡＭ６、ＤＲＡＭ６に保持されている画像信号を所定の表示形式に変換して液晶表示画面８に出力する液晶表示コントローラ７、液晶表示コントローラ７から出力された画像を表示する液晶表示画面８、液晶表示画面８に表示されている画像が所望の構図になったときにユーザによって操作されるシャッタボタン９、当該撮影装置１のモードを通常撮影モードや連写撮影モードにしたり、あるいはそれらのモードから撮影済み画像の再生モードにしたりその逆にしたり又は所定のシステム設定モード等にしたりするためのモードボタン１０、集積回路部１１、撮影済み画像を保存する外部記憶メモリＭを備える。
【００１７】
集積回路部１１は、シャッタ機構３を制御するシャッタ制御部１２、ＣＣＤ４やＡ／Ｄ変換器５を制御する受光制御部１３、ＤＲＡＭ６に保存されている画像信号をＹＵＶ信号（色信号）と輝度信号に変換するデモザイク部１４、連写撮影モードで撮影された２枚の画像の特徴量を演算する特徴量演算部１５、特徴量演算やブロックマッチング及び画像合成の際のワークメモリとして用いられるＳＲＡＭ１６、連写撮影モードで撮影された２枚の画像のブロックマッチングを行うブロックマッチング部１７、そのブロックマッチングの結果に基づいて２枚の画像の画像変形及び合成加算処理を行う画像変形合成加算部１８、当該集積回路部１１の全体動作を制御するＣＰＵコア１９を含む。
【００１８】
図２、図３は、本実施形態における画像合成処理の概略フローを示す図である。このフローでは、まず、ユーザがモードボタン１０を操作して連写撮影モードにし、液晶表示画面８の表示を見ながら所望の構図に調整した上、シャッタボタン９を操作して２枚の画像を連写（ステップＳ０）すると、それらの２枚の画像データがＣＣＤ４からＡ／Ｄ変換器５を介してＤＲＡＭに取り込まれ、デモザイク部１４によって、２枚の画像のＹＵＶデータと輝度データが作られる。次いで、２枚の画像のうちの一方の画像を「基準画像」、他方の画像を「被追跡画像」とする（ステップＳ１）。
【００１９】
次に、基準画像を複数のエリアに分割し、各エリアを構成する所定画素数（ここでは、１６×１６画素）のブロックから、特徴量の多いブロックを選択する（ステップＳ２）。
【００２０】
図４は、基準画像の構造図である。この図において、基準画像２０は、画像の上下左右の縁部２０ａ〜２０ｄを除く部分を等分割し、各々の分割部分をエリアとしている。ここでは、一例として４×３分割し、各々をエリアＥ０〜Ｅ１１としている。また、各エリアＥ０〜Ｅ１１をさらに等分割（ここでは、３×３分割）し、各々を１６×１６画素の集まりであるブロックＢ０〜Ｂ８としている。
【００２１】
再びフローに戻り、ステップＳ２で、基準画像のブロックから特徴量の多いブロックを選択すると、次に、選択された基準画像における特徴量の多いブロックと、そのブロックに対応する被追跡画像における指定検索領域内で差分二乗和（または差分絶対値和）を演算する（ステップＳ３）。
【００２２】
図５は、ステップＳ３の概念図であり、（ａ）は基準画像の選択ブロックＢｉ（ｉは１、２、３、・・・・）と被追跡画像２１のサーチエリア２２（指定検索領域）の関係を示す図、（ｂ）は、ステップＳ３の演算結果（差分二乗和または差分絶対値和）が最小となる、被追跡画像のサーチエリア２２（指定検索領域）の位置を示す図である。
【００２３】
（ｂ）のように、ステップＳ３の演算結果（差分二乗和または差分絶対値和）が最小となる位置が得られると、次に、当該位置での、被追跡画像の対応ブロックＢｉ（１６×１６画素）で、対応する基準画像ブロック側とその周辺を含む指定検索領域内２２で、差分二乗和（または差分絶対値和）を演算する（ステップＳ４）。
【００２４】
図６は、ステップＳ４の概念図であり、Ｂｉ´は被追跡画像の対応ブロック、２３は対応する基準画像ブロック側とその周辺を含む指定検索領域である。
【００２５】
そして、ステップＳ４の演算の結果、探索結果の動きベクトル群それぞれについて“０”もしくは一定値以内である動きベクトルを複数選択し、これらの動きベクトル群を元に、たとえば、ＲＡＮＳＡＣ法により、基準画像と被追跡画像の関係を表す射影変換行列を求め（ステップＳ６）、その変換行列を用いて、被追跡画像が基準画像と同じ位置関係になるように被追跡画像を変形し、変形された被追跡画像を基準画像に加算して合成画像を生成（ステップＳ７）した後、フローを終了する。
【００２６】
ここで、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）とは、パラメータ推定の一手法であり、少数の点から求めたパラメータ推定の候補に対して、多数の点の中からその推定に適合する点の数や適合の正確性の度合い、すなわち、サポート数を算出し、サポート数の多い推定候補を最終の推定結果として採用する方法のことであり、本実施の形態においては、このＲＡＮＳＡＣによる推定結果、すなわち、サポート率を勘案して被追跡画像を射影変換行列により変形させる。
【００２７】
以上のとおり、本実施形態では、所定の分割されたエリア内の、特徴量が高いブロックで、通常のテンプレートマッチングを行い、そして、一度マッチングした位置から、基準画像と被追跡画像の役割を逆転させ、被追跡画像のマッチング位置のブロックで、基準画像のブロック周辺部をマッチングさせ、役割を逆転させてもマッチングの位置変動が一定値以内であれば、マッチングが成功したとみなして、テンプレートマッチングのデータ信頼性を向上させるようにしたので、大きな手振れや被写体振れ、または、視差の影響（見る角度によって見えたり見えなかったりすること）で原理的に追跡が不可能な場合の追跡失敗を検出するだけでなく、輝度値が低い暗所における追跡においても認識誤りを防ぐことができ、輝度値の低い画像を精度良く合成することにより、撮影画像に発生するノイズを抑えることができる。
【００２８】
なお、以上の実施形態では、差分和値が最小となる位置が求まった後に、求まった位置の被追跡画像側のブロックで、基準画像側をサーチするとしたが、以下のように改良してもよい。
【００２９】
図７は、実施形態の改良例（第１の改良例）を示す図である。この図に示すように、差分和値が最小となる位置が求まった後に、基準画像側ブロックＢｉのブロックサイズを小さくしたブロックで、求まった位置を中心として小範囲（被追跡画像側の検索範囲）で検索し、マッチング位置がずれなければ、マッチング成功するとしてもよい。
【００３０】
または、以下のように改良してもよい。
図８は、第２の改良例を示す図であり、この図は既出の図２、図３に相当する図である。なお、この図におけるステップ番号（ステップＳ０〜ステップＳ７）は、図２、図３のものと同じである。図２、図３との相違点は、ステップＳ３の後に「夜景モード撮影？」の判定（ステップＳ８）が入っていることにあり、この判定結果が“ＹＥＳ”の場合にのみ、ステップＳ４〜ステップＳ５を実行する点にある。すなわち、強制的に射影変換・画像合成を行う夜景モードが選択された際にのみ前記実施形態のプロセス（ステップＳ４〜ステップＳ５）を実行する。このようにすることにより、特徴点の一致ミスによる像ブレの影響が少ない、綺麗な静止画像データを得ることができる。
【００３１】
図９は、第３の改良例を示す図であり、この図も既出の図２、図３に相当する図である。同様に、この図におけるステップ番号（ステップＳ０〜ステップＳ７）も、図２、図３のものと同じである。図２、図３との相違点は、ステップＳ３の後に「低コントラストの画像撮影？」の判定（ステップＳ９）が入っていることにあり、この判定結果が“ＹＥＳ”の場合にのみ、ステップＳ４〜ステップＳ５を実行する点にある。すなわち、撮影した画像全体のコントラストが低い（特徴量が出にくい）画像を撮影し、射影変換・画像合成を行う場合にのみ前記実施形態のプロセス（ステップＳ４〜ステップＳ５）を実行する。このようにすることにより、特徴点の一致ミスによる像ブレの影響が少ない、綺麗な静止画像データを得ることができる。
【図面の簡単な説明】
【００３２】
【図１】実施形態に係る撮影装置の構成図である。
【図２】本実施形態における画像合成処理の概略フローを示す図（１／２）である。
【図３】本実施形態における画像合成処理の概略フローを示す図（２／２）である。
【図４】基準画像の構造図である。
【図５】ステップＳ３の概念図である。
【図６】ステップＳ４の概念図である。
【図７】第１の改良例を示す図である。
【図８】第２の改良例を示す図である。
【図９】第３の改良例を示す図である。
【符号の説明】
【００３３】
１  撮影装置
４  ＣＣＤ
１５  特徴量演算部
１７  ブロックマッチング部
１８  画像変形合成加算部
１９  ＣＰＵコア
【図１】
2008311906.tif 000003
【図２】
2008311906.tif 000004
【図３】
2008311906.tif 000005
【図４】
2008311906.tif 000006
【図５】
2008311906.tif 000007
【図６】
2008311906.tif 000008
【図７】
2008311906.tif 000009
【図８】
2008311906.tif 000010
【図９】
2008311906.tif 000011