【手続補正書】
【提出日】平成17年1月11日(2005.1.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像合成装置及び画像合成方法
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成装置において、
隣接する画像間で貼り合わせ可能状態に位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、その画素値平均及び分散により決定される露出の補正係数を算出し、貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施す露出補正手段と、
前記露出補正手段による露出補正処理が施された各分割画像を貼り合わせて画像を合成する画像合成処理手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記露出補正手段において、
算出された前記補正係数により分割された画像の画素値を補正する際に、予め定めた階調の範囲を越えた場合で、下限を越えた画素値は前記階調の最低値若しくは零とし、上限を越えた画素値は前記階調の最高値とすることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記画像合成装置は、前記露出補正手段による露出補正の前に隣接する画像間で貼り合わせ可能状態に位置関係を補正するために、
前記分割された画像において、隣接する画像との重複領域に含まれる同じ被写体の少なくとも１つの部分を特定点として設定し、その特定点の座標位置的なデータの比較により、互いの画像の画角を推定し、推定した画角に応じて前記画像の位置関係が合致するように幾何学変形処理を行う画像補正手段と、
前記画像における重複領域の複数の特徴点位置のずれ検出から平行移動距離及び回転角を算出して補間し、分割された画像を貼り合わせ合成する画像合成手段と、
をさらに備えたことを特徴とする請求項１に記載の画像合成装置。
【請求項４】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成装置において、
前記隣接する画像間で貼り合わせ可能状態に位置関係を補正するために、前記分割画像における前記重複領域に含まれる同じ被写体の少なくとも１つの部分を特定点として設定し、その特定点の座標位置的なデータの比較により、互いの画像の画角を推定し、推定した画角に応じて前記画像の位置関係が合致するように幾何学的変形処理を行う画像補正手段と、
前記画像補正手段により処理された各分割画像を貼り合わせて合成する画像合成手段と、を備えたことを特徴とする画像合成装置。
【請求項５】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成装置において、
隣接する画像間で貼り合わせ可能状態に位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択する選択手段と、
前記分割された画像における前記選択された互いに隣接する画像との重複領域の一部に幾何学変形処理を施し、該幾何学変形処理された画像を比較することにより、互いの画像の画角を推定し、推定した画角に応じた幾何学変形処理を前記画像の全体部分に施す前記画像補正手段と、
を備えたことを特徴とする画像合成装置。
【請求項６】
撮影地点の周囲を互いに重複する部分を持つ複数の画像に分割して撮影し、それらを合成して全周パノラマ画像を作成する画像合成装置において、
前記複数の画像に分割して撮影された各画像間の光軸周りの回転に対する位置ずれを検出する位置ずれ検出手段と、
この位置ずれ検出手段により検出された各隣接画像間の位置関係に応じて画像を補正する画像補正手段と、
前記画像補正手段により処理された各分割画像を貼り合わせて合成する画像合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項７】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成装置において、
隣接する画像間で貼り合わせ可能状態に位置関係を補正する画像補正手段と、
前記画像補正手段で位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、その画素値平均及び分散により決定される露出の補正係数を算出し、貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施す露出補正手段と、
前記露出補正手段による露出補正処理が施された各分割画像を貼り合わせて画像を合成する画像合成処理手段と、
を備えたことを特徴とする画像合成装置。
【請求項８】
前記画像補正手段は、前記分割された画像において、隣接する画像との重複領域に含まれる同じ被写体の少なくとも１つの部分を特定点として設定し、その特定点の座標位置的なデータの比較により、互いの画像の画角を推定し、推定した画角に応じて前記画像の位置関係が合致するように幾何学変形処理を行うことを特徴とする請求項７に記載の画像合成装置。
【請求項９】
前記画像合成装置は、前記画像における重複領域の複数の特徴点位置のずれ検出から平行移動距離及び回転角を算出して補間し、分割された画像を貼り合わせ合成する画像合成手段と、
をさらに備えることを特徴とする請求項８に記載の画像合成装置。
【請求項１０】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成方法であって、
隣接する画像間で貼り合わせ可能状態に位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、
前記選択した画素群の画素値平均及び分散により決定される露出の補正係数を算出し、
貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施し、
前記露出補正処理が施された各分割画像を貼り合わせて画像を合成することを特徴とする画像合成方法。
【請求項１１】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成方法であって、
隣接する画像間で貼り合わせ可能状態に位置関係を補正し、前記位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、
その画素値平均及び分散により決定される露出の補正係数を算出し、
貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施し、
前記露出補正処理が施された各分割画像を貼り合わせて画像を合成することを特徴とする画像合成方法。
【請求項１２】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成方法であって、
前記隣接する画像間で貼り合わせ可能状態に位置関係を補正するために、前記分割画像における前記重複領域に含まれる同じ被写体の少なくとも１つの部分を特定点として設定し、その特定点の座標位置的なデータの比較により、互いの画像の画角を推定し、
前記推定した画角に応じて前記画像の位置関係が合致するように幾何学的変形処理を行い、該幾何学的変形処理された各分割画像を貼り合わせて合成することを特徴とする画像合成方法。
【請求項１３】
隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成方法であって、
隣接する画像間で貼り合わせ可能状態に位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、
前記選択された互いに隣接する画像との重複領域の一部に幾何学変形処理を施し、
前記幾何学変形処理された画像を比較することにより、互いの画像の画角を推定し、
前記推定した画角に応じた幾何学変形処理を前記画像の全体部分に施すことを特徴とする画像合成方法。
【請求項１４】
撮影地点の周囲を互いに重複する部分を持つ複数の画像に分割して撮影し、それらを合成して全周パノラマ画像を作成する画像合成方法であって、
前記複数の画像に分割して撮影された各画像間の光軸周りの回転に対する位置ずれを検出し、この位置ずれ検出による各隣接画像間の位置関係に応じて画像を補正し、該補正された各分割画像を貼り合わせて合成することを特徴とする画像合成方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は、被写体（構図）を複数に分けて撮影した画像を合成し、高精細・広画角の画像や全周パノラマ画像を作成する画像合成装置及び画像合成方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
そこで本発明は、被写体を分割して撮影した複数の画像を貼り合わせる画像合成する場合に、隣り合う画像の重複する領域から自動的に画角を算出して、適正な貼り合わせを行い、且つ、処理時間が増大せずに、重複領域の画素値に基づく正確な露出補正が実施可能な画像合成装置及び画像合成方法を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
【課題を解決するための手段】
本発明は上記目的を達成するために、隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成装置において、隣接する画像間で貼り合わせ可能状態に位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、その画素値平均及び分散により決定される露出の補正係数を算出し、貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施す露出補正手段と、前記露出補正手段による露出補正処理が施された各分割画像を張り合わせて画像を合成する画像合成処理手段とを備えた画像合成装置を提供する。  
さらに、本発明は、隣接する画像間で重複する領域が含まれるように複数に分割して撮影した分割画像を貼り合わせ合成する画像合成方法であって、隣接する画像間で貼り合わせ可能状態に位置関係が補正された前記分割画像の重複領域の少なくとも一部の画素群を選択し、前記選択した画素群の画素値平均及び分散により決定される露出の補正係数を算出し、貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施し、前記露出補正処理が施された各分割画像を貼り合わせて画像を合成する画像合成方法を提供する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
以上のような構成の画像合成装置及び画像合成方法は、１つの被写体若しくは１つの構図を分割して撮影した複数の分割画像を貼り合せたパノラマ画像（広画角の画像）に合成する際に、これらの画像の貼り合わせ合成前に、重複領域の少なくとも一部の画素群を選択し、その画素値平均及び分散より決定される補正係数を算出し、貼り合わせすべき全画像若しくは、基準となる画像以外の画像に対して、前記補正係数に応じた露出補正を施す露出補正処理をし、露出補正された画像を順次貼り合わせ合成することで、露出的に自然に貼り合わせられたパノラマ画像を作成するものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
本発明は、１つの被写体若しくは１つの構図を分割して撮影した複数の分割画像を貼り合せたパノラマ画像（広画角の画像）に合成する際に、それぞれの分割画像に対して、見た目に自然な貼り合わせ画像になるように、それぞれに、若しくは一方に露出補正を施して合成する画像合成装置である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
この全周画像補正部５６において、全周画像補正パラメータ算出部６１は、ずれ格納部５７から読み出された位置関係から撮影時のカメラの回転角度を計算する。ここで、図８に示すように、ｉ番目の画像とｉ＋１番目の画像とのシフト量（ｉ番目画像の原点を基準にしたとき、合成後にｉ＋１番目画像の基準点がくる位置）を (Ｓx i ，Ｓy i ) とする。ここで、画像はＮ枚で全周をカバーするとする。但し、（ＳxＮ，ＳyＮ ）は、Ｎ番目の画像と１番目の画像とのシフト量である。このとき、シフト量の和（Ｓx ，Ｓy）（図２４参照）は、次の（８）式で与えられる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
また図１５では重複する部分内で矩形状に比較領域を設定したが、これは次段の平均・分散算出部６０２ａ，６０２ｂにおいて、データアクセスを簡便にするためであり、処理時間が特に問題にならないのであれば、重複する部分全体を比較領域に設定してもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
そして平均・分散算出部６０２ａ，６０２ｂでは、左右それぞれの比較領域中の画素値平均・分散を算出する。このとき、図１６（ａ）のように比較領域内全体の画素全体を計算対象にするのではなく、図１６（ｂ）のように、数ピクセルずつ間引いた画素（ハッチをしてある部分が計算に用いる画素）の平均・分散を計算することで、計算時間を短縮することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１７１
【補正方法】変更
【補正の内容】
【０１７１】
【発明の効果】
以上詳述したように本発明によれば、被写体を分割して撮影した複数の画像を貼り合わせる画像合成を行なう場合に、隣り合う画像の重複する領域から算出した補正係数に基づき、適正な貼り合わせを行なうことができ、処理時間が増大せずに、より精度が高いパノラマ画像が得られる画像合成装置及び画像合成方法を提供することができる。