(57)【要約】      （修正有）【課題】少ない数の画像データをもとに、少ない処理負荷や少ないメモリ容量において形成できる画像合成装置、撮像手段等を提供する。【解決手段】画像合成装置１は撮像部２が取得した第１画像データと第２画像データを取得する。特徴量情報抽出部７は両画像データの特徴量を所定の画素群ごとに形成した処理領域単位で抽出し、比較部８は異なる画像データの対応する処理領域に含まれる特徴量情報の多い方を選んだ比較結果を形成する。連続性判断部１１は比較結果において異なる画像データに基づいて形成された処理領域が隣接する箇所の特徴量情報の連続性を判断し判断結果とする。比較結果を判断結果で補正した修正結果をもとに、画像データ合成部１３が合成画像データを形成する。【選択図】図１
2006140646.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を連続的に撮影し取得した複数の画像データに基づいて一の合成画像データを形成する画像合成装置であって、
それぞれの前記画像データを所定の画素群単位に形成した処理領域ごとに合焦判定を行い、前記合焦判定の結果最も焦点の合った前記処理領域を抽出して合成した合成画像データを形成する
ことを特徴とする画像合成装置。
【請求項２】
撮像装置が同一の被写体を連続的に撮影し取得した複数の前記画像データに基づいて一の合成画像データを形成する画像合成装置であって、
複数の前記画像データに含まれる特徴量情報を所定の画素群単位に形成した処理領域ごとに抽出する特徴量情報抽出手段と、
前記特徴量情報抽出手段が抽出した前記特徴量情報を異なる前記画像データの対応する前記処理領域ごとに対比し前記処理領域ごとの前記特徴量情報が最も多い処理領域データを比較結果として抽出する比較手段と、
同一の前記画像データにおいて隣接する前記処理領域にそれぞれ含まれる前記特徴量情報の連続性の有無を判断し前記連続性があると判断された前記特徴量が最も多い前記画像データを判断結果として出力する連続性判断手段と、
前記比較結果と前記判断結果とを対比して前記比較結果を修正した修正結果を出力する修正手段と、
前記修正結果を用いて前記処理領域単位で合成して前記合成画像データを形成する画像データ合成手段と
を有することを特徴とする画像合成装置。
【請求項３】
前記画像処理手段は、前記比較結果のうち異なる前記画像データに基づいて形成された前記処理領域同士が隣接する箇所を周辺領域として形成する周辺領域形成手段を有し、
前記連続性判断手段は、前記周辺領域について前記連続性の有無を判断して前記判断結果として出力し、
前記画像データ合成手段は、前記比較結果を形成する前記処理領域のうち前記判断結果と異なる前記処理領域を前記判断結果に基づいて修正して形成した前記修正結果を出力する
ことを特徴とする請求項２に記載の画像合成装置。
【請求項４】
前記特徴量情報はエッジ成分情報であり、前記連続性は、隣接する前記処理領域にそれぞれ含まれる前記エッジ成分情報が連続する可能性であることを特徴とする請求項１から３までのいずれか１項に記載の画像合成装置。
【請求項５】
前記特徴量情報は色情報であり、前記連続性は、隣接する前記処理領域にそれぞれ含まれる前記色情報が連続する可能性であることを特徴とする請求項１から３までのいずれか１項に記載の画像合成装置。
【請求項６】
前記連続性判断手段は隣接する２つの前記周辺領域に含まれる前記特徴量情報を画素データ単位で計測する判定領域を形成し、
前記連続性判断手段は、前記判定領域中に前記特徴量情報が所定量以上存在するか否かによって隣接する前記処理領域同士の連続性の判断を行う
ことを特徴とする請求項３に記載の画像合成装置。
【請求項７】
前記連続性判断手段は、２値化した前記特徴量情報について前記連続性の判断を行うことを特徴とする請求項６に記載の画像合成装置。
【請求項８】
前記連続性判断手段は、前記画素データごとの前記特徴量情報を前記特徴量情報の階調に依存した複数の段階に区分するとともに前記段階ごとに前記特徴量情報を２値化することを特徴とする請求項７に記載の画像合成装置。
【請求項９】
前記連続性判断手段は、ハフ変換を用いることにより隣接する前記処理領域同士の連続性を判断することを特徴とする請求項３に記載の画像合成装置。
【請求項１０】
撮像部と、
前記撮像部が同一の被写体を連続的に撮影し取得した複数の画像データに基づいて一の合成画像データを形成する画像合成装置と
を有する撮像手段であって、
前記画像合成装置は、それぞれの前記画像データを所定の画素群単位に形成した処理領域ごとに合焦判定を行い、前記合焦判定の結果最も焦点の合った前記処理領域を抽出して合成した合成画像データを形成する
ことを特徴とする撮像手段。
【請求項１１】
利用者による前記撮像部のシャッタボタンの操作によるシャッタの稼働を検知するシャッタ検知手段と、
前記シャッタ検知手段による前記シャッタの稼働の検知を受けて前記撮像部のレンズ部のピントを調節するピント調節手段と、
前記ピント調節手段による前記レンズ部の調節を受けて前記撮像部のシャッタを稼働させるシャッタ稼働手段と
を有するシャッタ駆動手段をさらに備えた
ことを特徴とする請求項１０に記載の撮像手段。
【請求項１２】
請求項１から請求項９までのいずれか１項に記載の画像合成装置をコンピュータに実施させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得した複数の画像データを合成して１つの画像データを生成する画像合成装置、撮像手段、およびプログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像機器において広範囲にピントの合った画像を得るために、レンズの絞り調節による被写界深度の調整などに加え、撮像装置が取得した画像データに画像処理を施すことが行われている。画像処理により、同一画像内に存在する遠景と近景の距離が大きい場合や画像に高い鮮鋭度が求められる場合など、レンズの絞り調節など光学的手法による調節のみでは得られない品質の高い画像を得ることができる。
【０００３】
広範囲にピントの合った画像を取得する画像処理方法としては、従来、同一被写体を撮像した複数枚の元画像の画像データについて、画像データ中の特定位置の画素または特定の被写体が撮像された領域（以下「被写体領域」と称する。）を注目画素または注目領域として特定し、ＲＧＢの各色領域からエッジ検出フィルタなどを用いて注目画素または注目領域の周辺画素または周辺領域に対する画像データの変化量を検出し、変化量の最も大きい画素または領域をピントの合った元画像として選択し、選択した画素または領域の画像データを画面全体にわたって合成し合成画像を生成する方法が知られている（たとえば特許文献１参照）。
【０００４】
【特許文献１】特開平６−７０２１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載された発明は、被写体ごとに合焦判定を行ったうえで合成画像を形成することになるため、特に画像データ内に被写体が複数存在する場合には、必要な精度の合焦判定を行うために相当枚数の画像データの撮像が必要となる。そのため、画像データを一時的に保存するためのメモリの容量を多く必要とする。また、画像データ内では被写体ごとに領域を形成し領域ごとに合焦判定などの処理を行うため、ＣＰＵの処理量が多くなり、ＣＰＵの処理負担の増大や、処理時間の長大化を招く恐れがある。
【０００６】
一方、被写体領域ごとの合焦判定を行わずに複数の画像データをもとに画像合成を行い、画像処理に要するＣＰＵの処理負担を減少させる方法も考えられるが、その場合であっても全体として違和感のある合成画像が生成されることを防ぐにはなんらかの画像処理が必要となる。
【０００７】
本発明は上記課題に基づいてなされたものであり、本発明の目的は、画像全体にわたってピントの合った品質の高い画像データを、少ない数の画像データを元に、少ない処理負荷や少ないメモリ容量において形成できる画像合成装置、撮像手段、およびプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本発明の上記課題は、撮像装置が同一の被写体を連続的に撮影し取得した複数の前記画像データに基づいて一の合成画像データを形成する画像合成装置であって、複数の前記画像データに含まれる特徴量情報を所定の画素群単位に形成した処理領域ごとに抽出する特徴量情報抽出手段と、前記特徴量情報抽出手段が抽出した前記特徴量情報を異なる前記画像データの対応する前記処理領域ごとに対比し前記処理領域ごとの前記特徴量情報が最も多い処理領域データを比較結果として抽出する比較手段と、同一の前記画像データにおいて隣接する前記処理領域にそれぞれ含まれる前記特徴量情報の連続性の有無を判断し前記連続性があると判断された前記特徴量が最も多い前記画像データを判断結果として出力する連続性判断手段と、前記比較結果と前記判断結果とを対比して前記比較結果を修正した修正結果を出力する修正手段と、前記修正結果を用いて前記処理領域単位で合成して前記合成画像データを形成する画像データ合成手段とを有する画像合成装置によって達成される。
【０００９】
上記画像合成装置によれば、複数取得した画像データを複数の処理領域に区分し、処理領域単位で複数の画像データを合成し合成画像データを形成することにより、ＣＰＵに重い処理負担をかけることなく画像合成処理を行うことができる。
【００１０】
上記画像合成装置によれば、異なる画像データの対応する処理領域において特徴量情報の多い方を合成画像データの形成に用いることにより、処理領域ごとにより鮮明な画像を用いて画像データの合成を行うことができる。
【００１１】
上記画像合成装置によれば、隣接する処理領域に含まれる特徴量情報の連続性の有無を判断した結果を画像データの合成に用いることにより、近景被写体と遠景被写体との境界領域など特徴量情報が連続する部分において位置ずれや大きさのずれ等が生じにくいため、視覚上もほぼ違和感のない合成画像データを形成できる。
【００１２】
本発明の上記課題は、撮像部と、前記撮像部が同一の被写体を連続的に撮影し取得した複数の画像データに基づいて一の合成画像データを形成する画像合成装置とを有する撮像手段であって、前記画像合成装置は、それぞれの前記画像データを所定の画素群単位に形成した処理領域ごとに合焦判定を行い、前記合焦判定の結果最も焦点の合った前記処理領域を抽出して合成した合成画像データを形成する撮像手段によって達成される。
【００１３】
上記撮像手段によれば、１回のシャッタボタンの操作でふたつの画像データを連続して取得することが可能になり、ふたつの画像データで画像合成を行う画像合成装置に用いる画像データの取得を実現できる。
【発明の効果】
【００１４】
本発明によれば、一の画像データ中に近景と遠景が並存する場合においても、近景と遠景との境界部分に違和感の無い、画面全体にわたって焦点の合った品質の高い合成画像の形成をＣＰＵ等の処理負荷やメモリ容量の少ない状態で行うことが可能となり、カメラ付き携帯電話など処理能力の小さいＣＰＵや容量の少ないメモリを内蔵した小型端末機器においても容易に実現可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一の実施の形態を図１の構成ブロック図を参照して説明する。また、図１の各構成ブロックによって取得されるデータのイメージを図９から図２１に示すイメージ図を参照して説明する。
【００１６】
図１は、本発明に係る撮像装置および画像合成装置の構成を示す構成ブロック図である。本発明に係る撮像装置１Ａは、カメラ付き携帯電話機やカメラ付きＰＨＳ（Personal Handy-Phone System）やカメラ付き携帯情報端末のような各種撮像装置を内蔵した各種の携帯端末に内蔵されている。撮像装置１Ａは、画像合成装置１と、撮像部２と、シャッタ駆動手段３と、ＡＤ変換部４とを備えている。
【００１７】
撮像部２は画像撮影用のＣＣＤカメラであり、レンズ部２ａと撮像素子部２ｂとを備える。撮像部２はオートフォーカス機構を有し、ピントを調整することができる。ピントの調整は、レンズの開口絞りにより被写界深度を深くするものでもよいし、ズームレンズによる焦点距離の調整によるものでもよい。
【００１８】
撮像部２のレンズ部２ａは複数枚のレンズを有し、たとえばズームレンズのように焦点距離を調整する手段、または、開口絞りのように被写界深度を調節する手段を有する。撮像素子部２ｂはＣＣＤ(change coupled device)撮像デバイスであって、レンズ部２ａ側のレンズに対向する面である受光面２ｃに集積した画素領域を設け、画素領域がレンズ部２ａの集光した光を受光し結像する。
【００１９】
受光面２ｃの画素領域には画素がマトリクス状に多数配列されている。画素領域を形成する画素はホトダイオードのような受光素子にて形成されており、画素の表面にはそれぞれ光の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが貼り付けられている。各画素が受けた光の強さは表面に貼り付けられたフィルタの色ごとに電気信号の大きさに変換され（光電変換）、変換された電気信号は信号量に応じた電荷として一定時間画素内に蓄積されたのち、ＣＣＤ転送により縦または横方向の画素のラインごとに信号電荷として出力される。
【００２０】
図１に示すシャッタ駆動手段３は、撮像部２のレンズ部２ａとシャッタ（図示せず）とを自動的に稼働させるための制御手段であり、撮像部２のシャッタのスイッチ（図示せず）が１回操作されたことを受けて撮像部２に同一の被写体を２回連続で撮影させ、撮像部２に２回連続で画像データを取得させる。シャッタ駆動手段３は、シャッタ検知部３ａと、ピント調節部３ｂと、シャッタ稼働部３ｃとを有している。
【００２１】
シャッタ検知部３ａは利用者の手動操作に基づくシャッタの稼働を検知するセンサであって、利用者が手動操作で撮像部２のシャッタのスイッチ（図示せず）を押すと、シャッタの稼働信号や開閉動作を検知し、シャッタのスイッチ（図示せず）が押されたことを知らせる検知信号を出力する。
【００２２】
ピント調節部３ｂはシャッタ検知部３ａが出力した検知信号を受けて、レンズ部２ａの開口絞りの大きさまたはズームレンズの位置を予め設定された所定の状態（以下「設定状態」と称する。）に移動させ、レンズ部２ａのピントを調節する。本実施の形態における設定状態は、通常のカメラは遠方の被写体に対する被写界深度を深くとれることに鑑み、レンズ部２ａが開口絞りを有する場合には開口絞りが小さくなって遠方まで被写界深度が深まった状態に設定され、レンズ部２ａがズームレンズである場合には焦点が遠方に合った状態に設定されている。ただし、撮像装置１Ａの状態や撮像対象によっては、設定状態はレンズ部２ａの開口絞りが大きくなった状態やズームレンズの焦点距離が撮像部２から近い位置であってもよい。また、レンズ部２ａの調節に要する時間は、同一の被写体を撮影する必要があることに鑑み、極めて短時間であることが望ましい。ピント調節部３ｂはレンズ部２ａの調節が終了すると調節が終了したことを通知する信号を出力する。
【００２３】
シャッタ稼働部３ｃは焦点調節部３ｂから調節が終了した旨の信号を受信すると撮像部２に対してシャッタの稼働信号を送信する。撮像部２はシャッタ稼働部３ｃからシャッタの稼働信号を受信すると自動的にシャッタを再度開閉させて２回目の写真撮影を行い、２回目の画像データの取得を行う。本明細書においては、利用者によって撮像部２のシャッタのスイッチが押されたのちに最初に撮影された写真により撮像部２が生成する画像データを「第１画像データ」と称し、最初の撮影の後連続して撮影された写真により撮像部２が生成する画像データを「第２画像データ」と称する。
【００２４】
図９に撮像部２が取得した第１画像データのイメージ図を示し、図１０に撮像部２が取得した第２画像データのイメージ図を示す。図９に示す第１画像データ２１は、焦点が撮像部２から近距離に合った状態で撮像された画像データであり、実線が焦点の合った鮮鋭な輪郭線を示し、点線が焦点の外れたぼけた輪郭線を示している。図９においては、円柱状の近景被写体２２が鮮鋭な輪郭線で撮像され、自由曲線（山の稜線を示す）の遠景被写体２３がぼけた輪郭線で撮像されている。図１０においては、遠景被写体２３が鮮鋭な輪郭線で撮像され、近景被写体２２がぼけた輪郭線で撮像されている。
【００２５】
図１に戻り、ＡＤ変換部４は量子化器であり、撮像素子部２ｂから出力された画像データの信号を受信して赤（Ｒ）、緑（Ｇ）、青（Ｂ）ごとに量子化し、アナログ信号からディジタル信号に変換する。
【００２６】
画像合成装置１は、撮像装置１Ａが内蔵されたカメラ付き携帯電話機やカメラ付きＰＨＳなどに組み込まれたＣＰＵや各種画像処理プロセッサ、およびＣＰＵの演算処理によって実行されるコンピュータプログラムなどによって形成され、特徴量情報抽出部７と、比較部８と、ラベリング部９と、周辺領域形成部１０と、連続性判断部１１と、修正部１２と、画像データ合成部１３と、記憶手段１４とを備えている。
【００２７】
特徴量情報抽出部７は、ＡＤ変換部４から出力された第１画像データおよび第２画像データを受信し、第１画像データおよび第２画像データのそれぞれに含まれる特徴量情報を抽出する。特徴量情報抽出部７が抽出する特徴量としては、第１画像データおよび第２画像データに含まれるエッジ情報や、ＲＧＢなどの色情報などが考えられる。
【００２８】
特徴量情報抽出部７は、所定の画素群ごとに形成された処理領域を単位にして特徴量を抽出する。
【００２９】
図２に処理領域の模式図を示す。処理領域２ｄはｒ行×ｓ列（ｒおよびｓは１以上の整数である。）のマトリクス状の画素群によって形成され、処理領域２ｄ群はｐ行×ｑ列（ｐおよびｑは１以上の整数であり、図２においてはｐ＝１０かつｑ＝１４である。）のマトリクス格子状を形成する。各処理領域２ｄには行番号と列番号で形成された番地情報（ｉ,ｊ）が関連付けられる。ここでｉは行番号、ｊは列番号であって、１≦ｉ≦ｐかつ１≦ｊ≦ｑである。画像合成装置１における処理を正しく行うためには、各処理領域２ｄを形成する画素の数はすべて同一であり、各処理領域２ｄの面積がすべて等しいことが望ましい。
【００３０】
図１に戻り、特徴量情報抽出部７において特徴量情報として第１画像データおよび第２画像データに含まれるエッジ情報を用いる場合には、第１画像データおよび第２画像データのそれぞれに対し畳み込みオペレータを適用した演算処理を行い、第１画像データおよび第２画像データのそれぞれに含まれる特徴量情報を抽出する。抽出されたエッジ量は、処理領域２ｄごとに具体的な数値により算出される。
【００３１】
図３に特徴量情報抽出部７が特徴量としてエッジ情報を抽出する場合に用いる畳み込みオペレータの具体例を示す。図３のa-1およびa-2はPrewittのエッジ検出オペレータ（a-1はx方向の差分、a-2はy方向の差分を求めるオペレータ）であり、b-1およびb-2はSobelのエッジ検出オペレータ（b-1はx方向の差分、b-2はy方向の差分を求めるオペレータ）である。a-1,a-2,b-1,b-2のオペレータはいずれも３×３画素の９画素に対する畳み込みフィルタであり、中央の値が注目画素に対する重み付け係数の値であり、周辺の８つの値が注目画素の８近傍の周辺画素に対する重み付け係数の値である。特徴量情報抽出部７は図３(a-1)および(a-2)、または(b-1)および(b-2)のいずれかを画像データに適用して注目画素の画像データと周辺画素の画像データとの濃度値の差分を求め、注目画素をずらしながら処理を繰り返し行うことにより、処理領域２ｄ全体や画像データ全体の特徴量部分を抽出できる。
【００３２】
図３の(c)は３行×３列の移動平均オペレータであり、図３の(d)(e)は３行×３列の加重平均オペレータであって、本実施の形態においては選択的に用いられる。図３(c)(d)(e)のオペレータは、それぞれ中央の値が注目画素に対する重み付け係数の値であり、周辺の８つの値が注目画素の８近傍の周辺画素に対する重み付け係数の値である。図３(c)(d)(e)に示すいずれかのオペレータを画像データに適用し、注目画素をずらしながら注目画素の画像データと周辺画素の画像データとの濃度値の差分を求めることにより、画像データを平滑化し、ノイズが存在する部分や主被写体と背景被写体との境界部分などに、ノイズの除去や境界部分の不自然な接合状態をぼかすことができる。
【００３３】
なお、図３に示すオペレータはいずれも３×３画素に適用するサイズであるが、オペレータのサイズは３×３画素に限定されず、たとえば５×５画素や７×７画素など、他のサイズであってもよい。
【００３４】
図１１に特徴量情報抽出部７が第１画像データからエッジ成分を抽出したデータのイメージ図を示し、図１２に特徴量情報抽出部７が第２画像データからエッジ成分を抽出したデータのイメージ図を示す。図１１および図１２においては、実線が強いエッジ成分のエッジ情報を示し、点線が弱いエッジ成分のエッジ情報を示している。図１１に示す第１画像データのエッジ成分抽出データ２５においては近景被写体２２から強いエッジ成分が抽出されて遠景被写体２３から弱いエッジ成分が抽出されている。図１２に示す第２画像データのエッジ成分抽出データ２６においては近景被写体２２から弱いエッジ成分が抽出されて遠景被写体２３から強いエッジ成分が抽出されている。
【００３５】
なお、図１に示す特徴量情報抽出部７においてＲＧＢなどの色情報を抽出する場合には、抽出する色のフィルタ等を用いて所望の色情報を抽出する。
【００３６】
図１において、比較部８は、第１画像データと第２画像データとに含まれる特徴量情報の量を処理領域２ｄごとに比較し、比較の結果特徴量成分が多く含まれている方の処理領域２ｄを選択し、選択した処理領域２ｄの集合により選択したデータを比較結果として出力する。
【００３７】
図１３に比較部８が出力した比較結果データのイメージ図を示す。比較結果データ２７の各マス目は図２に示す処理領域２ｄであり、斜線で示された処理領域２ｄは第１画像データ２１の方がエッジ量が多いと判断された第１画像データ推定領域２８であり、斜線以外の処理領域２ｄは第２画像データ２４の方がエッジ量が多いと判断された第２画像データ推定領域２９である。図１３においては、遠景被写体２３のエッジ情報はすべて第２画像データ推定領域２９に含まれており、近景被写体２２のエッジ情報は大部分が第１画像データ推定領域２８に含まれているが両上端部のエッジ情報は第２画像データ推定領域２９に含まれている。
【００３８】
図１に戻り、ラベリング部９は、比較部８が出力した比較結果のデータを形成する各処理領域２ｄの番地情報を抽出し、処理領域２ｄごとの番地情報に画像識別子を関連付ける。画像識別子は第１画像データおよび第２画像データを識別するための文字や記号などであり、本実施の形態においては、第１画像データの画像識別子に「Ａ」の文字を適用し、第２画像データの画像識別子に「Ｂ」の文字を適用する。本明細書においては、画像データを形成する処理領域２ｄの番地情報に各画像データの画像識別子を関連付けることを「ラベリング」と称し、ラベリングによって形成したデータを「ラベリングデータ」と称する。ラベリング部９は、処理領域２ｄごとに「Ａ」または「Ｂ」のラベリングがされた第１ラベリングデータおよび比較部８から供給された比較結果のデータを出力する。
【００３９】
図１４にラベリング部９が形成する第１ラベリングデータのイメージ図を示す。第１ラベリングデータ３０においては、第1画像データ推定領域２８（ドット表示された領域）には処理領域２ｄごとに画像識別子「Ａ」がラベリングされ、第２画像データ推定領域２９（無地で表示された部分）には処理領域２ｄごとに画像識別子「Ｂ」がラベリングされている。
【００４０】
図１に戻り、周辺領域形成部１０は、ラベリング部９が出力した比較結果のデータにおける第１画像データを元に形成された処理領域２ｄ（すなわちラベリング部９が画像識別子「Ａ」をラベリングした処理領域２ｄ）と第２画像データを元に形成された処理領域２ｄ（すなわちラベリング部９が画像識別子「Ｂ」をラベリングした処理領域２ｄ）とが隣接している境界の箇所を抽出し、境界の箇所に隣接する処理領域２ｄが形成する領域である周辺領域を形成する。ここで処理領域２ｄが「隣接」している状態とは２つの処理領域２ｄが共有する一辺を有する状態のことをいい、一の処理領域２ｄを注目領域としたとき注目領域の上下左右にある処理領域２ｄ（つまり、注目領域の番地情報が(x,y)であった場合における、番地情報が(x-1,y),(x+1,y),(x,y-1),(x,y+1)のいずれかである処理領域２ｄ）が隣接する処理領域２ｄに該当する。
【００４１】
図１５に周辺領域形成部１０において形成された周辺領域データのイメージ図を示す。図１５中、ドット表示された処理領域２ｄが図１４において画像識別子「Ａ」と画像識別子「Ｂ」とが隣接している処理領域２ｄであり、かかる領域が周辺領域データ３１を形成する。なお、本明細書においては、図１５に示すとおり、周辺領域形成部１０が形成した周辺領域に含まれるデータを「周辺領域データ」と称する。
【００４２】
図１に戻り、連続性判断部１１は、特徴量情報抽出部７が出力した第１画像データおよび第２画像データの特徴量情報の供給と周辺領域形成部１０が形成した周辺領域データとの供給を受け、第１画像データおよび第２画像データにおいて周辺領域に相当する処理領域２ｄに存在する特徴量情報の連続性の有無を判断する。なお、連続性判断部１１において有無が判断される連続性とは、隣接する処理領域２ｄ同士にわたって連続した特徴量情報が含まれる可能性のことである。連続性判断部１１は判断結果のデータに連続性があると判断した部分に「Ａ」または「Ｂ」の画像識別子のうち適切な方をラベリングして第２ラベリングデータを形成して出力する。「Ａ」「Ｂ」いずれの画像識別子が適切であるかは、連続性があると判断した処理領域２ｄにおいて第１画像データおよび第２画像データのうち特徴量情報が多い方を選択することで決定する。
【００４３】
図１６に連続性判断部１１による連続性の判断結果のイメージ図を示す。連続性判断部１１が周辺領域データ３１を対象に連続性の判断を行った結果は、周辺領域データ３１中の近景被写体２２のエッジ情報が連続している部分が連続性があると判断される。図１６において、連続性があると判断された領域３２は、ドット表示された領域として表示されている。
【００４４】
図１７に第２ラベリングデータのイメージ図を示す。図１６おいて連続性があると判断された領域３２に対応する領域に第２ラベリングデータ３３が形成されている。図１６に示す連続性があると判断された領域３２においては第２画像データよりも第１画像データの方がエッジ量が多いため、第２ラベリングデータ３３を形成する各処理領域２ｄには、第１画像データを意味する画像識別子「Ａ」が関連付けられている。
【００４５】
図１に戻り、修正部１２は、連続性判断部１１が出力した第２ラベリングデータの画像識別子とラベリング部９が形成した第１ラベリングデータの画像識別子とを対比し、双方の画像識別子が異なる箇所を抽出する。双方の画像識別子が異なる処理領域２ｄが存在する場合、第１ラベリングデータの異なる画像識別子を第２ラベリングデータの画像識別子に置き換える。修正部１２による修正結果は第３ラベリングデータとして出力される。
【００４６】
図１８に第３ラベリングデータのイメージ図を示す。第３ラベリングデータ３４は、第１画像データ推定領域２８（図１８中ドット表示された領域）の左右上端部分の処理領域２ｄ（図１８中斜線表示された領域）が第２画像データ推定領域２９から第１画像データ推定領域２８に置き換えられ（以下置き換えられた領域を「置換領域」と称する。）置換領域３５ａ，３５ｂは第１画像データ推定領域２８の一部を形成している。
【００４７】
図１に戻り、画像データ合成部１３は、修正部１２が出力した第３ラベリングデータとＡＤ変換部４が出力した第１画像データおよび第２画像データとの供給を受け、第３ラベリングデータの番地情報および画像識別子をもとに第１画像データと第２画像データを合成して合成画像データを形成する。合成画像データはメインメモリや伝送手段やフラッシュメモリなどの各種記録媒体に出力される。
【００４８】
図１９は第３ラベリングデータに基づいて第１画像データと第２画像データとの合成を行う過程を示すイメージ図である。図１９において、ドット表示された領域３６は図１８に示す第３ラベリングデータの３４の第１画像データ推定領域２８（ドット表示された領域）に相当し、斜線表示された領域３７ａ，３７ｂは図１８に示す第３ラベリングデータ３４の置換領域３５ａ，３５ｂ（斜線表示された領域）に相当し、両領域３６、３３ａ、３３ｂによって第１画像データ２１が合成される。図１９において無地で表示された領域は図１８に示す第３ラベリングデータ３４の第２画像データ推定領域２９（無地で表示された領域）に相当し、第２画像データ２４が合成される。
【００４９】
図２０は、画像データ合成部１３によって合成された合成画像データのイメージ図である。
【００５０】
図２０に示す合成画像データ３８の近景被写体２２はすべて第１画像データが合成されたものであり、遠景被写体２３はすべて第２画像データが合成されたものである。
【００５１】
なお、図２０の合成画像データ３８との比較のため、図２１に比較結果データ２７のみにより合成された場合に形成される仮想合成画像データのイメージ図を示す。図２１示す仮想合成画像データ３９は、大半の被写体がより鮮明な輪郭情報を含む画像データが合成されているが、近景被写体２２の一部（図２１においては近景被写体２２の左右上端部近傍）に第２画像データが合成されており、図２０に示す合成画像データ３８に比べると一部違和感のある画像データとなっている。
【００５２】
図１に戻り、記憶手段１４はＤＲＡＭなどの各種内蔵メモリであって、画像処理に利用されるデータや処理途中のデータを一時的に記憶する。本実施の形態においては、ＡＤ変換部４が出力した第１画像データおよび第２画像データと、ラベリング部９が出力する第１ラベリングデータとが保存される。
【００５３】
なお、ピント調節部３ｂにおける調節がレンズ部２ａのズームレンズの位置である場合には、特徴量情報抽出部７や、連続性判断部１１や、画像データ合成部１３などが、第１画像データと第２画像データにおける被写体の大きさの違いを補正するための機能を有していることが望ましい。
【００５４】
ここで、図１に示す連続性判断部１１における連続性の判断方法の具体例を説明する。
【００５５】
（第１の方法）
第１の方法は特徴量情報抽出部７が特徴量としてエッジ情報を抽出した場合に用いられる。図４は第１の方法の処理手順を示すフローチャートであり、図５は第１の方法による処理の模式を示す図である。以下図４および図５に基づいて第１の方法における連続性の判断方法を説明する。
【００５６】
図４に示すとおり、特徴量情報抽出部７にてエッジ抽出処理が施された第１画像データおよび第２画像データに対しては、各画素のエッジ量が所定のしきい値以上かしきい値未満かを判定することで２値化が行われる。たとえば、しきい値未満のエッジ量を０（エッジなし）の画素データとし、しきい値以上のエッジ量を１（エッジあり）の画素データとして形成される（ステップＰ１）。
【００５７】
エッジ量を２値化した第１画像データおよび第２画像データからは、周辺領域形成部１０において周辺領域とされた処理領域２ｄから周辺領域データが抽出される（ステップＰ２）。
【００５８】
周辺領域として抽出された処理領域２ｄのうち、一の処理領域が注目領域として形成される（ステップＰ３）。注目領域が形成されると、注目領域と注目領域に隣接する処理領域２ｄとにまたがって形成したエッジの連続性判断のための所定の範囲（以下「判定領域」と称する。）が形成される（ステップＰ４）。
【００５９】
図５に、ステップＰ３において形成された注目領域およびステップＰ４において形成された判定領域の模式を示す。注目領域２ｇと注目領域２ｇに隣接する一の処理領域２ｄとが共有する一辺２ｈにまたがって形成された所定の範囲が判定領域２ｉである。
【００６０】
図４に示すとおり、連続性判断部１１は判定領域２ｉ中に含まれる「エッジあり」を示す数値１のデータの数を計測し（ステップＰ５）、判定領域２ｉ中に数値１のデータの数が所定量以上存在するか否かを判定する（ステップＰ６）。判定の結果、数値１のデータが所定量以上存在すると判定されれば注目領域２ｇにと注目領域２ｇに隣接する処理領域２ｄとの間には含まれるデータにエッジ情報の連続性があるものと判断する（ステップＰ７）。
【００６１】
たとえば図５においては、判定領域２ｉが縦６画素データ×横６画素データ（うち注目領域２ｇに３画素データ、処理領域２ｄに３画素データ）の計３６画素データの範囲であり、判定領域２ｉのうちエッジ量１の画素データが６０パーセント（すなわち２１個）以上の画素データがエッジ量１のデータであるか否かを判定する。判定の結果、２１個以上の画素データがエッジ量１のデータであった場合には、注目領域２ｇと隣接する処理領域２ｄとの間にはデータ中に連続性のあるエッジを含むものと判断する。
【００６２】
図４に示すとおり、ステップＰ７の処理を行ったのち、まだ隣接する処理領域２ｄとの間でエッジ情報の連続性の有無を判断していない処理領域２ｄが存在する場合には（ステップＰ８）注目領域２ｇの番地情報のうちｘまたはｙのうち少なくともいずれか一方を１繰上げて注目領域２ｇを１だけずらし（ステップＰ９）ステップＰ４以降の処理を繰り返す。ステップＰ６において数値１のデータが所定量以上存在しないと判定された場合には、判定領域２ｉ中のデータには注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとの間にはエッジ情報の連続性がないものと判定する（ステップＰ１０）。注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄにおいてまだ判定を行っていない領域がある場合には（ステップＰ１１）判定領域２ｉを１画素列共有する一辺に沿って移動させ（ステップＰ１２）ステップＰ５以降の処理を繰り返す。すなわち、判定の結果ひとつでも数値１の画素データが所定量以上存在する箇所があった場合（たとえば図５において数値１の画素データが２１個以上存在する判定領域２ｉがあった場合）には判定対象の注目領域２ｇと当該注目領域２ｇに隣接する判定対象の処理領域２ｄとの間には連続するエッジが存在し、注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとの間にはエッジ情報の連続性があるものと判断する。
【００６３】
ステップＰ１１において注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄにおいてすべての領域にわたって判定を行ったと判断された場合には、注目領域２ｇの番地情報のうちｘまたはｙのうち少なくともいずれか一方を１繰り上げて注目領域２ｇを１だけずらして新たな注目領域２ｇを形成し（ステップＰ９）、ステップＰ４以降の処理を繰り返す。
【００６４】
ステップＰ８において、すべての処理領域２ｄが隣接する処理領域２ｄとのエッジ情報の連続性の判断を行ったと判断された場合には、含まれるデータに連続性があると判断された処理領域２ｄについて、ラベリング部９が形成したラベリングデータを抽出し、画像識別子「Ａ」「Ｂ」の個数を対比して「Ａ」「Ｂ」いずれの個数が多いかを計測する（ステップＰ１３）。計測の結果、画像識別子「Ａ」の方が多いと判定された場合には、エッジ情報の連続性があると判断された処理領域２ｄにはすべて画像識別子「Ａ」を関連付け（ステップＰ１５）、画像識別子「Ｂ」の方が多いと判定された場合には、エッジ情報の連続性があると判断された処理領域２ｄにはすべて画像識別子「Ｂ」を関連付ける（ステップＰ１６）。ステップＰ１５またはステップＰ１６で画像識別子を関連付けられた処理領域２ｄは第２ラベリングデータを形成する（ステップＰ１７）。
【００６５】
第１の方法によれば、判定領域２ｉ中のエッジ情報の量によって連続性を判断することにより、隣接する処理領域２ｄ同士に含まれるエッジ情報の連続性の判断を高い確実性をもって行うことができる。
【００６６】
（第２の方法）
第２の方法は特徴量情報抽出部７が特徴量情報としてエッジ情報を抽出した場合に用いられる。図６は第２の方法の処理手順を示すフローチャートである。以下図６に基づいて第２の方法における連続性の判断方法を説明する。
【００６７】
特徴量情報抽出部７にてエッジ抽出処理が施された第１画像データおよび第２画像データの各画素データのエッジ量に対し、２値よりも細分した量子化を行う。たとえば第１画像データおよび第２画像データ中のエッジ量の最大値２５５とし、最小値を０として２５６段階に変換（８ビット量子化）し、各画素データのエッジ量を０から２５５までとする（ステップＰ２１）。
【００６８】
エッジ量を量子化した各画素データは、値の大きさをパラメータとした複数の処理ブロックに区分する。たとえば８ビット量子化したエッジ量を４等分し、エッジ量0〜63の画素データの集合（第１ブロック）、エッジ量64〜127の画素データの集合（第２ブロック）、エッジ量128〜191の画素データの集合（第３ブロック）、エッジ量192〜255の画素データの集合（第４ブロック）という４つの処理ブロックを形成する（ステップＰ２２）。
【００６９】
次に、処理ブロックごとに所定のしきい値を設け、しきい値を用いてブロックごとのエッジ量の値を２値化する（ステップＰ２３）。たとえば上記の第１〜第４ブロックの中央値（第１ブロックの３１、第２ブロックの９５、第３ブロックの１５９、第４ブロックの２２３）をしきい値とし、第１〜第４ブロックごとにすべての画素データのエッジ量の値をしきい値と比較し、しきい値未満のエッジ量を０（エッジなし）、しきい値以上のエッジ量を１（エッジあり）とする。
【００７０】
そして、処理ブロックごとに「第１の方法」のステップＰ２〜Ｐ１６と同じ処理を行い、注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとのエッジ情報の連続性の有無を判断する（ステップＰ２４）。
【００７１】
処理ブロックごとの連続性の有無の判断がすべて終了したら、判断結果をもとに各処理ブロックごとに仮ラベリングデータを形成する（ステップＰ２５）。図６においては第１〜第４処理ブロックごとに合計４種類の仮ラベリングデータが形成される。
【００７２】
処理ブロックごとの仮ラベリングデータが形成されると、すべての仮ラベリングデータの対比が行われる（ステップＰ２７）。対比は、たとえばすべての仮ラベリングデータにおいてエッジ情報の連続性ありと判断された処理領域２ｄについて、論理積の算出や、論理和の算出や、平均の算出などの方法が考えられる。
【００７３】
仮ラベリングデータの対比の結果に基づいて、第２ラベリングデータが形成される（ステップＰ２８）。
【００７４】
第２の方法によれば、画像データを複数の段階に区分した上で２値化を行い、段階ごとに行った判断の結果を総合して連続性の判断を行うことにより、第１の方法による連続性の判断よりも高い精度で処理領域２ｄごとの連続性の判断を行うことができる。
【００７５】
（第３の方法）
第３の方法は特徴量情報抽出部７が特徴量情報としてエッジ情報を抽出した場合に用いられる。特徴量情報抽出部７にてエッジ抽出処理が施された第１画像データおよび第２画像データに対し、第１の方法と同様にエッジ量０、エッジ量１の２値化を行い、周辺領域形成部１０において周辺領域データとされた処理領域２ｄを抽出する。
【００７６】
処理領域２ｄのエッジ量１の任意の点を数点抽出し、ハフ変換（Ｈｏｕｇｈ変換）を利用して個々の直線を抽出してエッジ情報の連続性を判断する。
【００７７】
図７（ａ）（ｂ）は第３の方法において用いるハフ変換の原理の説明図である。図７（ａ）に示すように、Ｘ−Ｙ平面に任意の直線ｌが存在する場合、原点Ｏから直線ｌに下ろした垂線の足をＨとし、ＯＨ＝ρ，ＯＨとＸ軸のなす角度をθ，Ｈの座標を（ｘ，ｙ）とすれば、直線ｌは下記式（１）であらわすことができる。
【００７８】
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ…（１）
【００７９】
式（１）はＸ−Ｙ平面上のすべての直線に適用できる。そしてρ、θの値が定まれば、Ｘ−Ｙ平面上の唯一本の直線を特定できる。
【００８０】
Ｘ−Ｙ平面上の任意の点（ｘｉ,ｙｉ）は、ρ−θ平面上においては式（２）および図６（ｂ）に示す正弦波に変換される。
【００８１】
ρ＝Ａｓｉｎ（θ＋α）・・・（２）
ただしＡ＝（ｘｉ２＋ｙｉ２）１／２であり、α＝ｃｏｓ（ｙｉ／Ａ）である。
【００８２】
そして図７（ｂ）に示すように、Ｘ−Ｙ平面上で一の直線上にある点はρ−θ平面上唯一の通過点を必ず通過し、通過点Ｑの値（θ,ρ）は、Ｘ−Ｙ平面上の直線が（１）式である場合の直線に一致する。
【００８３】
したがって、Ｘ−Ｙ平面上の未知の任意の直線ｌ０上に既知の複数の点（ｘ１,ｙ１）、（ｘ２,ｙ２）、・・・（ｘｎ,ｙｎ）が存在する場合、点（ｘ１,ｙ１）、（ｘ２,ｙ２）、・・・（ｘｎ,ｙｎ）の値を式（２）に代入して通過点Ｑ０（ρ０,θ０）の値を求めることで、直線ｌ０の値を求めることができる。
【００８４】
ここで、図７（ａ）のＸ−Ｙ平面を画像空間とし、Ｘ−Ｙ平面上に２値化の結果エッジ量１とされた複数の点１０１、点１０２、点１０３、点１０４、点１０５が分布しており、点１０１、点１０２、点１０３、点１０４、点１０５が未知の直線l上に存在する場合、上述の理論に従い、点１０１、点１０２、点１０３、点１０４、点１０５のｘ座標とｙ座標（すなわち画素の番地情報）を式（２）に代入すれば通過点Ｑｊ（ρｊ,θｊ）の値が求まり、直線ｌが求められる。検出された直線が存在する領域は、エッジ情報の連続性があるものと判断する。なお実際にはさまざまな要因の誤差が生ずることに鑑み、ρ−θ平面上の複数の曲線が最も多く交差する点を通過点Ｑｊ（ρｊ,θｊ）として選択することが望ましい。
【００８５】
ハフ変換によって画像データ中に複数のエッジ情報が抽出され、エッジ情報によって囲まれる領域を形成できた場合には、領域を囲むエッジ情報が連続しているものと判断できる。
【００８６】
第３の方法に示す、ハフ変換を用いて連続性の判断をおこなうことにより、隣接する処理領域２ｄにわたって存在するエッジ情報の連続性を確実に判断できる。特に、輪郭が直線で形成された被写体を多く含む画像データにおいて、高い確実性をもってエッジ情報の連続性を判断できる。また、実際には連続した輪郭情報から取得されたエッジ情報でありながらエッジ成分が弱いためにところどころでエッジ情報が途切れてしまっている場合であっても、途切れた部分を補完して、元の輪郭情報に正しく対応した連続性を判断することができる。
【００８７】
（第４の方法）
第４の方法は特徴量情報抽出部７が特徴量情報としてエッジ情報を抽出した場合に用いられる。
【００８８】
第４の方法は、図５に示すような注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとを判定領域２ｉを用いた判定により行う。
【００８９】
第４の方法は、第１、第３の方法と同様に、特徴量情報抽出部７にてエッジ抽出処理が施された第１画像データおよび第２画像データに対し、エッジ量０、エッジ量１の２値化を行う。ただし、しきい値は十分に高い値に設定し、強いエッジのみがエッジ量１になる状態とする。
【００９０】
エッジ量を２値化した第１画像データおよび第２画像データについて、周辺領域形成部１０において周辺領域データとされた処理領域２ｄを抽出する。
【００９１】
抽出した処理領域２ｄのうち一の領域を注目領域２ｇとし、注目領域２ｇに隣接する処理領域２ｄ中の特定のエッジ量１の隣接する処理領域２ｄにまたがる所定の領域（たとえば縦10画素データ×横10画素データの範囲）に判定領域２ｉを形成する。判定領域内２ｉの範囲内において、注目領域２ｇと処理領域２ｄとにそれぞれエッジ量１の画素データが存在すると判定されれば、注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄには連続性があると判断する。
【００９２】
第４の方法によれば、注目領域２ｉ内にエッジ情報が存在するか否かを判定するだけで注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとに含まれるエッジ情報の連続性が判断できるので、連続性の判断を非常に少ない処理量で行うことができる。
【００９３】
（第５の方法）
第５の方法は特徴量情報抽出部７が特徴量としてＲＧＢなどの色情報を抽出した場合に用いられる。
【００９４】
第５の方法は、図５に示すような注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとの対比によって行う。ただし図５に示す判定領域２ｉは設けない。特徴量情報抽出部７にてＲＧＢなどの色情報が抽出された第１画像データおよび第２画像データに対しては、注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとの間に注目する色情報がどの程度存在するかを用いて判断を行う。注目領域２ｇに含まれる画素データ中のうち注目する色情報と、注目領域２ｇに隣接する処理領域２ｄに含まれる画素データ中のうち注目する色情報とを対比した際の比率について、上限のしきい値と下限のしきい値とを設け、比率がしきい値以内であれば注目領域２ｇと注目領域２ｇに隣接する処理領域２ｄとの間には連続性があるものと判断する。
【００９５】
第５の方法によれば、特徴量情報に色情報を用いたＣＰＵ処理に基づく連続性の判断を実現できる。また、特徴量情報にＲＧＢなどの色情報を用いることにより、撮像部２から画像処理手段４に入力された画像データをそのまま特徴量情報の抽出に用いることができるため、特徴量抽出のために行われる処理を軽減することができる。
【００９６】
なお上述した第１〜第５の方法以外であっても周辺領域として特定された箇所において特徴量の連続性を判断できる手法であればどのような方法を用いてもよい。
【００９７】
図８は画像合成装置１において、特徴量情報として画像データに含まれるエッジ情報を用いた場合の画像合成処理のフローチャートであり、図９から図１９までは図８に示す画像合成処理の過程において生成されるデータのイメージ図である。以下、図８に基づいて、特徴量情報として画像データに含まれるエッジ情報を用いた場合の撮像装置１Ａによる画像データ取得処理および画像合成装置１による画像合成処理を説明する。なお、説明に際し、構成ならびにデータに付す番号および記号は図１、図２、図５、図９から図２１において用いた番号および記号と同じものを使用する。
【００９８】
図８において、まず撮像装置１Ａの利用者は、撮像部２のシャッタのスイッチを押して被写体を撮影し、第１画像データを取得する（ステップＳ１）。第２画像データ取得部３のシャッタ検知部３ａが利用者の操作に基づくシャッタの稼働を検知するとピント調節部２ｂはすぐにレンズ部２ａを設定状態に調節する（ステップＳ２）。レンズ部２ａが設定状態に調節されるとピント調節部３ｂはレンズ部２ａの調節が終了すると調節が終了したことを通知する信号をシャッタ稼働部３ｃに送信し、シャッタ稼働部３ｃは撮像部２にシャッタの稼働信号を送り、撮像部２は第２画像データを取得する（ステップＳ３）。
【００９９】
撮像部２が取得した第１画像データおよび第２画像データはＡＤ変換部４でディジタル信号に変換されたのち画像合成装置１に送信される。
【０１００】
画像合成装置１の特徴量情報抽出部７は第１画像データおよび第２画像データのそれぞれに対し畳み込みオペレータを用いたエッジ成分の抽出処理を行う。エッジ情報は、処理領域２ｄを単位として抽出される。（ステップＳ４）。
【０１０１】
特徴量情報抽出部７はステップＳ４において抽出されたエッジ成分について処理領域２ｄごとに具体的な数値としてエッジ量を算出する（ステップＳ５）。
【０１０２】
特徴量情報抽出部７が第１画像データおよび第２画像データについて算出したエッジ量はそれぞれ比較部８に送信される。比較部８は第１画像データと第２画像データとに含まれるエッジ成分の量を処理領域２ｄごとに比較し、エッジ成分が多く含まれている方の画像データを処理領域２ｄごとに選択した比較結果データを形成する（ステップＳ５）。
【０１０３】
ステップＳ５における比較部８が形成した比較結果データ２７は、ラベリング部９に送信される。ラベリング部９はすべての処理領域２ｄについて画像データ識別信号が第１画像データであれば「Ａ」の文字を画像識別子とし、画像データ識別信号が第２画像データであれば「Ｂ」の文字を画像識別子としてラベリングを行い、第１ラベリングデータを形成する。
【０１０４】
ステップＳ５においてラベリング部９が形成した第１ラベリングデータ３０は記憶手段１４に送信されて記録される（ステップＳ６）。また、ラベリング部９は第１ラベリングデータ３０および比較結果データ２７を周辺領域形成部１０に送信する。
【０１０５】
周辺領域形成部１０は、ラベリング部９から受信した比較結果データ２７において第１画像データ２１を元に形成された処理領域２ｄと第２画像データ２４を元に形成された処理領域２ｄとが隣接している境界の箇所を抽出し、境界の箇所に隣接する処理領域２ｄを周辺領域とし、周辺領域に存在する画像データに基づいて周辺領域データを形成する（ステップＳ８）。
【０１０６】
ステップＳ８において周辺領域形成部１０が形成した周辺領域データ３１は連続性判断部１１に供給される。連続性判断部１１はエッジ情報抽出部７が出力した第１画像データ２１および第２画像データ２４の供給を受け、第１画像データ２１および第２画像データ２４のうち周辺領域データの番地情報を含む処理領域２ｄのデータを抽出し、周辺領域データ３１において隣接する処理領域２ｄ同士に存在するエッジ情報同士の連続性の有無を判断する（ステップＳ９）。連続性の有無の判断には、上述の第１の方法から第４の方法までに示したような判断方法を用いる。
【０１０７】
連続性判断部１１は、連続性があると判断された領域３２に対し、処理領域２ｄごとに判断結果に基づいた適切な画像識別子をラベリングし、第２ラベリングデータを形成する（ステップＳ１０）。
【０１０８】
ステップＳ１０にて連続性抽出部１１が形成した第２ラベリングデータは修正部１２に供給される。修正部にはさらに記憶手段１４に記憶されたラベリング部９が形成した第１ラベリングデータが供給され、修正部１２は第１および第２ラベリングデータを対比し、異なる画面識別子が関連付けられた処理領域２ｄがあるか否かを確認する（ステップＳ１１）。異なる画面識別子が関連付けられた処理領域２ｄが存在する場合には、第１ラベリングデータにおける第２ラベリングデータと異なる画面識別子を第２ラベリングデータの画面識別子に置き換える（ステップＳ１２）。なお、連続性判断部１１が形成したラベリングデータの画像識別子とラベリング部９が形成したラベリングデータの画像識別子とが完全に一致する場合には、修正部１２はステップＳ１２の処理を行わない。第２判断部１２による第１ラベリングデータと第２ラベリングデータとの対比の結果形成されるラベリングデータは画面識別子の置き換えの如何にかかわらず修正結果としての第３ラベリングデータとして出力される。
【０１０９】
修正部１２は第３ラベリングデータ３４を出力し、第３ラベリングデータ３４は画像データ合成部１３に供給される。画像データ供給部１３はさらに記憶手段１４から第１画像データおよび第２画像データの供給を受け、第３ラベリングデータ３４の処理領域２ｄごとの番地情報と画像識別子情報とに基づいて第１画像データと第２画像データを処理領域２ｄごとに合成し、合成画像データを生成する（ステップＳ１３）。
【０１１０】
なお、図８から図２１に示す実施の形態おいては特徴量情報抽出部７において画像データに含まれるエッジ量を抽出することで合成画像データを形成したが、ＲＧＢなどの色情報を用いる場合においても同様のステップにより処理を行う。ただし特徴量情報抽出部７は色情報を抽出し、連続性判断部１１は上記（第５の方法）に示すような方法を用いて隣接する処理領域２ｄごとの色情報が連続する可能性について判断する。
【０１１１】
以上、本実施の形態に係る画像合成装置１においては、画像データを複数の処理領域２ｄに区分して処理領域２ｄごとに品質の高い画像データを選択して合成画像データ３８を形成できるため、第１画像データ２１および第２画像データ２４という２つの画像データのみを用いて品質の高い合成画像データ３８を取得することができる。
【０１１２】
本実施の形態に係る画像合成装置１においては、異なる画像データの対応する処理領域２ｄに含まれる特徴量情報の多少に基づく比較結果と、同一の画像データの隣接する処理領域２ｄに含まれる特徴量情報の連続性の判断結果の判断結果という異なるふたつの基準を用いて合成画像データ３８を形成する処理領域２ｄを選択するため、より品質の高い合成画像データ３８を形成できる。
【０１１３】
本実施の形態に係る画像合成装置１においては、比較結果のうち異なる画像データに基づいて形成された処理領域２ｄが隣接する箇所を周辺領域とし、周辺領域データ３１のうち連続性があると判断された領域３２を判断結果とすることにより、特徴量情報の比較結果を連続性の判断結果で補正する形で合成画像データを形成し、近景被写体２２と遠景被写体２３との境界領域を形成する画像データを第１画像データまたは第２画像データのうちいずれか一方に揃える事が出来るので、被写体の位置ずれや大きさのずれ等が生じにくいため、視覚上もほぼ違和感の無い合成画像データ３８を形成できる。
【０１１４】
本実施の形態に係る画像合成装置１においては、比較部８における比較結果と、連続性判定部１１における判定結果と、修正部１２における修正結果を画像識別子によるラベリングデータとして形成することにより、比較結果と連続性の判断結果との対比や画像データ合成部１３に対する対比結果の送信を簡素な処理によって確実に行うことができる。
【図面の簡単な説明】
【０１１５】
【図１】本発明の一の実施の形態に係る撮像装置および画像合成装置の構成を示す構成ブロック図である。
【図２】同上画像合成装置において形成される処理領域のイメージ図である。
【図３】同上画像合成装置の特徴量情報抽出部が用いる畳み込みオペレータの具体例である。
【図４】同上画像合成装置の連続性判断部の第１の方法による処理手順を示すフローチャートである。
【図５】同上連続性判断部の第１の方法による処理の模式を示す図である。
【図６】同上連続性判断部の第２の方法による処理手順を示すフローチャートである。
【図７】同上連続性判断部の第３の方法において用いるハフ変換の原理の説明図である。
【図８】同上画像合成装置における画像合成処理のフローチャートである。
【図９】同上画像合成装置の取得した第１画像データのイメージ図である。
【図１０】同上画像合成装置の取得した第２画像データのイメージ図である。
【図１１】同上画像合成装置において第１画像データからエッジ成分を抽出したデータのイメージ図である。
【図１２】同上画像合成装置において第２画像データからエッジ成分を抽出したデータのイメージ図である。
【図１３】同上画像合成装置において形成される比較結果データのイメージ図である。
【図１４】同上画像合成装置において形成される第１ラベリングデータのイメージ図である。
【図１５】同上画像合成装置において形成される周辺領域データのイメージ図である。
【図１６】同上画像合成装置における連続性判断部の連続性の判断結果のイメージ図である。
【図１７】同上画像合成装置において形成される第２ラベリングデータのイメージ図である。
【図１８】同上画像合成装置において形成される第３ラベリングデータのイメージ図である。
【図１９】同上画像合成装置において第１画像データと第２画像データとの合成を行う過程を示すイメージ図である。
【図２０】同上画像合成装置において合成された合成画像データのイメージ図である。
【図２１】同上画像合成装置において比較結果データのみにより合成された場合に形成される仮想合成画像データのイメージ図である。
【符号の説明】
【０１１６】
１Ａ・・・撮像装置、１・・・画像合成装置、２・・・撮像部、２ａ・・・レンズ部、２ｄ・・・処理領域、２ｉ・・・判定領域、３・・・シャッタ駆動手段、３ａ・・・シャッタ検知部、３ｂ・・・ピント調節部、３ｃ・・・シャッタ稼働部、７・・・特徴量情報抽出部、８・・・比較部、９・・・ラベリング部、１０・・・周辺領域形成部、１１・・・連続性判断部、１２・・・修正部、１３・・・画像データ合成部、２１・・・第１画像データ、２４・・・第２画像データ、３０・・・第１ラベリングデータ、３３・・・第２ラベリングデータ、３４・・・第３ラベリングデータ、３８・・・合成画像データ
【図１】
2006140646.tif 000003
【図２】
2006140646.tif 000004
【図３】
2006140646.tif 000005
【図４】
2006140646.tif 000006
【図５】
2006140646.tif 000007
【図６】
2006140646.tif 000008
【図７】
2006140646.tif 000009
【図８】
2006140646.tif 000010
【図９】
2006140646.tif 000011
【図１０】
2006140646.tif 000012
【図１１】
2006140646.tif 000013
【図１２】
2006140646.tif 000014
【図１３】
2006140646.tif 000015
【図１４】
2006140646.tif 000016
【図１５】
2006140646.tif 000017
【図１６】
2006140646.tif 000018
【図１７】
2006140646.tif 000019
【図１８】
2006140646.tif 000020
【図１９】
2006140646.tif 000021
【図２０】
2006140646.tif 000022
【図２１】
2006140646.tif 000023