【手続補正書】
【提出日】平成15年9月2日(2003.9.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の名称】画像合成装置及び画像合成方法
【特許請求の範囲】
【請求項１】色画像データと距離画像データの組を複数記憶したデータベース部と、前記データベース部から、色画像データと距離画像データの組を複数読み出し、距離画像データから重み画像データを計算し、色画像データと重み画像データの組を複数出力する重み計算部と、前記重み計算部から出力された色画像データと重み画像データの複数の組から、各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算し、複数の色画像データと１つ以上の最大相関位置データを出力する相関計算部と、前記相関計算部から出力された複数の色画像データと１つ以上の最大相関位置データを用いて、複数の色画像データを合成して１枚の高解像度色画像データを合成し出力する画像合成部と、前記画像合成部から出力された高解像度色画像データを記憶する合成画像記憶部を備えたことを特徴とする画像合成装置。
【請求項２】重み計算部は、距離画像データから重み画像データを計算する方法として、距離画像データの２次微分の絶対値が大きいほど重みが大きくなる計算方法であることを特徴とする請求項１記載の画像合成装置。
【請求項３】重み計算部は、距離画像データから重み画像データを計算する方法として、距離画像データの２次微分の絶対値に低域通過フィルターをかけた値が大きいほど重みが大きくなる計算方法であることを特徴とする請求項１記載の画像合成装置。
【請求項４】重み計算部は、距離画像データから重み画像データを計算する方法として、予め指定された距離に近いほど重みが大きくなる計算方法であることを特徴とする請求項１記載の画像合成装置。
【請求項５】色画像データと前記色画像データと対応が可能な前記色画像データとは異なる他のデータとの組を複数記憶したデータベース部と、前記データベース部から色画像データと他のデータの組を複数読み出し、前記他のデータから重み画像データを計算し、前記色画像データと重み画像データの組を複数出力する重み計算部と、前記重み計算部から出力された色画像データと重み画像データの複数の組から、各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算し、複数の色画像データと１つ以上の最大相関位置データを出力する相関計算部と、前記相関計算部から出力された複数の色画像データと１つ以上の最大相関位置データを用いて、複数の色画像データを合成して１枚の高解像度色画像データを合成し出力する画像合成部とを少なくとも備えたことを特徴とする画像合成装置。
【請求項６】色画像データと距離画像データの組を複数記憶したデータベース部から、色画像データと距離画像データとの組を複数読み出し、距離画像データから重み画像データを計算し、色画像データと重み画像データとの組を複数出力する重み計算部と、前記重み計算部から出力された色画像データと重み画像データとの複数の組から、各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算し、複数の色画像データと１つ以上の最大相関位置データを出力する相関計算部と、前記相関計算部から出力された複数の色画像データと１つ以上の最大相関位置データとを用いて、複数の色画像データを合成して１枚の高解像度色画像データを合成し出力する画像合成部とを備えたことを特徴とする画像合成装置。
【請求項７】色画像データと距離画像データの組を複数記憶したデータベース部から、色画像データと距離画像データとの組を複数読み出し、距離画像データから重み画像データを計算し、色画像データと重み画像データとの組を複数出力する重み計算ステップと、前記重み計算ステップから出力された色画像データと重み画像データとの複数の組から、各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算し、複数の色画像データと１つ以上の最大相関位置データを出力する相関計算ステップと、前記相関計算ステップから出力された複数の色画像データと１つ以上の最大相関位置データとを用いて、複数の色画像データを合成して１枚の高解像度色画像データを合成し出力する画像合成ステップとを備えたことを特徴とする画像合成方法。
【請求項８】重み計算部は、距離画像データから重み画像データを計算する方法として、距離画像データにおける角や稜線、輪郭部分の重みが大きくなる計算方法であることを特徴とする請求項１記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高解像度の画像データを生成する装置に関し、特に、ほぼ同じ位置から撮影角度だけを変えて撮影された複数の色画像データから、１枚の高解像度の色画像データを合成する画像合成装置及び方法に関するものである。
【０００２】
【従来の技術】
近年、コンピュータグラフィックスで用いる色画像データや、階層符号化などの画像圧縮方式で用いる色画像データとして、解像度の高い色画像データに対する要望が高まってきている。ここで色画像データとは、ＲＧＢやＹＵＶなどの多次元の表色系（またはその一部）で表現された情報一般のことを示す。
【０００３】
高解像度の色画像データを得る方法としては、撮影角度を変えて撮影された複数の色画像データから１枚の高解像度の色画像データを合成する方法や、ハイビジョンカメラなどの高解像度の撮像系を用いる方法、写真をスキャナで読む方法などがある。これらの中でも、理想的には解像度を無限に高くすることが可能であることや、即時性やコストの点でも有利であることから、撮影角度を変えて撮影された複数の色画像データから１枚の高解像度の色画像データを合成する方法を用いた画像合成装置が数多く提案されている。
【０００４】
上記した従来の画像合成装置の一例としては、重複領域を持つように撮影角度を変えて撮影された２枚の色画像データを用いて、２枚の色画像データ間の相対位置をずらしながら色画像データ間の相関が最大となる相対位置を算出し、この相対位置で２枚の色画像データを重ねあわせて１枚の高解像度の色画像データを得るという方法がある（例えば、特開平５−１２２６０６号公報「画像合成処理方法および画像合成処理装置」）。
【０００５】
【発明が解決しようとする課題】
しかしながら上記のような従来の構成では、色画像データの情報だけを用いて２枚の色画像データ間の相関が最大となる相対位置を計算しているために、例えば、色画像データ
が比較的均一である場合は全体に相関の差異が少なくなり、また、周期的なパターンを含むような場合も相関が高く差異が少ない相対位置が複数存在するため、色画像データ上のノイズなどの影響によって、誤った相対位置での相関が最も高くなる可能性があり、その結果誤った色画像データを合成する可能性があるという問題点を有していた。
【０００６】
そこで、本発明は、色画像データと対応が可能な別の情報を用いることによってより誤りを少なくすることが可能であるという点と、近年、距離画像データを得るための手法が多数提案されている点に着目し、色画像データと距離画像データを併用することによって、得られたものである。
【０００７】
従って本発明は上記問題点に鑑み、その目的は、撮影角度を変えて撮影された複数の色画像データから１枚の高解像度の色画像データを合成する画像合成装置において、より誤りの少ない高解像度の色画像データを合成する画像合成装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像合成装置は、色画像データと距離画像データの組を複数記憶したデータベース部から、色画像データと距離画像データとの組を複数読み出し、距離画像データから重み画像データを計算し、色画像データと重み画像データとの組を複数出力する重み計算部と、前記重み計算部から出力された色画像データと重み画像データとの複数の組から、各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算し、複数の色画像データと１つ以上の最大相関位置データを出力する相関計算部と、前記相関計算部から出力された複数の色画像データと１つ以上の最大相関位置データとを用いて、複数の色画像データを合成して１枚の高解像度色画像データを合成し出力する画像合成部とを備えたものである。
【０００９】
本発明は上記した構成により、複数の色画像データ間の相関が最大となる相対位置を計算する際に、距離画像データから求めた重み画像データを用いた重み付き相関によって計算することから、色画像データ中の物体の３次元的な形状を反映させることができるため、色画像データのみを用いて相関を求めた場合に比べて、より誤りが少ない高解像度色画像データの合成が可能となる。
【００１０】
【発明の実施の形態】
以下本発明の一実施の形態の画像合成装置について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１は本発明の第１の実施の形態における画像合成装置の構成図である。
【００１２】
図１において、データベース部１００は、色画像データ１１０と距離画像データ１１１の組（１１０ａ，１１１ａ），（１１０ｂ，１１１ｂ），．．．を複数組予め記憶しておく。重み計算部１０１は、データベース部１００から色画像データと距離画像データの組を複数読み出し、距離画像データから重み画像データを計算し、色画像データ１１０と重み画像データ１１２の組（１１０ａ，１１２ａ），（１１０ｂ，１１２ｂ），．．．を複数出力する。
【００１３】
相関計算部１０２は、重み計算部１０１から出力された色画像データと重み画像データの複数の組から、各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算し、複数の色画像データと１つ以上の最大相関位置データ１１３を出力する。
【００１４】
画像合成部１０３は、相関計算部１０２から出力された複数の色画像データと１つ以上の最大相関位置データを用いて、複数の色画像データを合成して１枚の高解像度色画像デ
ータ１１４を合成し、合成画像記憶部１０４に書き込む。
【００１５】
以上のように構成された画像合成装置について、以下図１及び図２を用いてその動作を説明する。
【００１６】
図２は色画像データ、及び距離画像データの一例を示すものである。本実施の形態での色画像データは、いわゆる白黒画像の輝度値を各画素値とし、その２次元配列で色画像データを構成するものであり、色画像データの座標値（ｘ，ｙ）の画素値をＩ（ｘ，ｙ）として表すものとする。また、本実施の形態での距離画像データは、色画像データの画素に対応する点とカメラのレンズ焦点からの距離を画素値とし、その２次元配列で距離画像データを構成するものであり、距離画像データの座標値（ｘ、ｙ）の画素値をＤ（ｘ，ｙ）として表すものとする。
【００１７】
色画像データに対応した距離画像データを得る方法は、種々あるのでここでは説明を省略する（例えば、特願平８−２０８１４６号）。
【００１８】
色画像データと距離画像データの組は、各色画像データは少なくとも１つ以上の異なる色画像データと重複部分を持つように撮影されたデータである必要がある。
【００１９】
各色画像データと距離画像データの組は、理想的にはレンズ焦点を中心に撮影角度を回転させて得られたデータであることが望ましいが、必ずしも完全に一致している必要はなく、撮影角度の回転中心とレンズ焦点の位置が近い程、また、撮影する対象物との距離が遠いほど、相対的に歪みの少ない高解像度色画像データを合成することができる。
【００２０】
本実施の形態では、説明を簡単にするために、色画像データと距離画像データの組を２組用いて、１つの高解像度色画像データを合成する場合の動作について説明する。また、各画像のサイズは同じであり、Ｘ，Ｙ軸方向の幅がそれぞれｗｘ、ｗｙであるものとする。
【００２１】
データベース部１００は、色画像データ１１０と距離画像データ１１１の組を複数予め記憶しておく。
【００２２】
まず最初に、重み計算部１０１は、データベース部１００から色画像データと距離画像データの組を読み出し、距離画像データから重み画像データを計算し、色画像データと重み画像データの組（１１０ａ、１１２ａ），（１１０ｂ、１１２ｂ）を出力する。
【００２３】
距離画像データから、重み画像データを計算する方法として、本実施の形態では、距離画像データの２次元の２次微分の絶対値が大きいほど、重み画像データの値が大きくなる計算方法を用いる。その一例として、距離画像データの座標値（ｘ、ｙ）での２次微分値をｄｄＤ（ｘ，ｙ）とした場合の、重み画像データの座標値（ｘ、ｙ）の値Ｗ（ｘ，ｙ）を、（数１）によって計算する。
【００２４】
【数１】
1998143635.tif 000001
【００２５】
（ただし、Ａ，Ｂは定数）
ここで、色画像データ中の、物体の角や稜線、および、物体の輪郭部分は、距離画像データの２次微分の絶対値が大きくなることが一般的に言えることから、上記の重み画像データは、画像中の３次元的な形状のうち、角や稜線、輪郭部分ほど、大きな値となる。
【００２６】
次に、相関計算部１０２は、重み計算部１０１から出力された、色画像データと重み画像データの組（１１０ａ、１１２ａ），（１１０ｂ、１１２ｂ）から、重み付き相関が最大となる相対位置である最大相関位置データを計算し、２つの色画像データ１１０ａ，１１０ｂと１つの最大相関位置データ１１３とを出力する。ここで、重み付き相関を計算する方法は多数考えられるが、本実施の形態では、色画像データＩａ、Ｉｂの（ｘ，ｙ）座標での画素値をＩａ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）、重み画像のデータＷａ、Ｗｂ（ｘ，ｙ）座標での画素値を、Ｗａ（ｘ，ｙ）、Ｗｂ（ｘ，ｙ）とすると、２つの色画像データと重み画像データの組間の相対位置が（ｄｘ，ｄｙ）の場合の重み付き相関関数Ｃ（ｄｘ，ｄｙ）を（数２）のように定義し、Ｃ（ｄｘ，ｄｙ）が最小、すなわち二つの画像の相関が最大となる相対位置である、最大相関位置データ（ｄｘ，ｄｙ）を求めることができる。
【００２７】
【数２】
1998143635.tif 000002
【００２８】
最後に、画像合成部１０３は、相関計算部１０２から出力された色画像データ１１０ａ，１１０ｂと最大相関位置データ１１３を用いて、２つの色画像データを合成し１枚の高解像度色画像データ１１４を合成して出力し、合成画像記憶部１０４に記憶する。
【００２９】
複数の色画像を重ねあわせる方法として、本発明の第１の実施の形態では、重複した部分は２つの色画像の平均値をとるものとする。
【００３０】
以上のように本発明の第１の実施の形態によれば、距離画像データから重み画像データを計算する重み計算部と、色画像データと重み画像データの複数の組から各組間の重み付き相関が最大となる相対位置である最大相関位置データを計算する相関計算部を設けることにより、色画像データのみを用いる場合より誤りの少ない最大相関位置データを計算することが可能になり、その結果、より誤りの少ない高解像度色画像データを合成することができる。
【００３１】
さらに、重み計算部で、距離画像データの２次微分の絶対値に比例した重み画像データを用いることによって、画像中の３次元的な形状のうち、角や稜線、輪郭部分がより一致するような高解像度色画像データを合成することができる。
【００３２】
（実施の形態２）
以下本発明の第２の実施の形態について説明する。第１の実施の形態と異なる点は、重み計算部において、距離画像データから、重み画像データを計算する方法として、予め指
定された距離に近いほど重み画像データの値が大きくなる計算方法を用いる点である。その一例として、予め指定された距離をＤｒｅｆ、距離画像データの座標値（ｘ、ｙ）での値をＤ（ｘ，ｙ）とした場合、重み画像データの座標値（ｘ、ｙ）の値Ｗ（ｘ，ｙ）を、（数３）によって計算する。
【００３３】
【数３】
1998143635.tif 000003
【００３４】
（ただし、Ａ，Ｂは定数）
第２の実施の形態では、予め指定された距離に近い色画像データについて、重み付き相関計算時の重みが増すため、例えば、色画像データ中の手前にあるものほど、より誤りの少ない高解像度色画像データを生成することができるなど、色画像データの特定の部位をより誤りの少ない処理を行うことができるという効果が得られる。
【００３５】
尚、本実施の形態では、合成画像記憶部を設けたが、合成画像を直接出力する端子、もしくは表示手段とした構成も考えられる。また、色画像データと距離画像データとを用いたが、色画像データと前記色画像データと対応が可能な前記色画像データとは異なる別の情報である他のデータを用いても良いものである。
【００３６】
【発明の効果】
以上のように本発明によれば、色画像データと対応が可能な前記色画像データとは異なる別の情報を用いることによって、より誤りが少ない高解像度色画像データの合成が可能な画像合成装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像合成装置の構成図
【図２】同実施の形態における色画像データと距離画像データの例を示す線図
【符号の説明】
１００  データベース部
１０１  重み計算部
１０２  相関計算部
１０３  画像合成部
１０４  合成画像記憶部
１１０，１１０ａ，１１０ｂ  色画像データ
１１１，１１１ａ，１１１ｂ  距離画像データ
１１２，１１２ａ，１１２ｂ  重み画像データ
１１３  最大相関位置データ
１１４  高解像度色画像データ