(57)【要約】解像度と照明条件の異なる複数の画像から、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成する。  画像合成装置は、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得するカメラ（１１）等と、取得された複数の参照画像を被処理画像と同一の解像度に変換する参照画像変換部（１５）と、同一の解像度となった被処理画像と複数の参照画像とに基づいて、複数の変換参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出する係数算出部（１６）と、複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として出力する画像合成部（１７）とを備える。【特許請求の範囲】
【請求項１】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、
被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、
前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、
前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、
前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記画像合成手段はさらに、前記画像取得手段で取得された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて前記線形変換画像を修正することによって、前記合成画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記画像合成手段は、前記線形変換画像を構成する画素のうち、一定条件を満たす画素を前記変換被処理画像の対応する画素で置き換えることによって前記線形変換画像を修正し、修正後の線形変換画像を前記合成画像として出力する
ことを特徴とする請求項２記載の画像合成装置。
【請求項４】
前記画像合成手段は、前記線形変換画像を前記画像取得手段で取得された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と前記被処理画像の対応する画素の画素値どうしの差が予め定めたしきい値以上の場合に前記線形変換画像の画素を前記変換被処理画像の画素で置き換えることによって前記線形変換画像を修正する
ことを特徴とする請求項３記載の画像合成装置。
【請求項５】
前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像を、前記被処理画像と前記複数の参照画像のうち、最も解像度の低い画像の解像度に変換する
ことを特徴とする請求項１記載の画像合成装置。
【請求項６】
前記画像取得手段によって取得された被処理画像と複数の参照画像のうち、最も解像度の低い画像は、前記被処理画像であり、
前記画像変換手段は、前記画像取得手段によって取得された複数の参照画像を、前記画像取得手段で取得された被処理画像の解像度に変換することによって、前記被処理画像と前記複数の参照画像とを同一の解像度にする
ことを特徴とする請求項５記載の画像合成装置。
【請求項７】
前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像に基づいて、前記被処理画像の画素に対応する前記複数の参照画像の小領域のうち、均一な画素値からなる小領域を前記複数の参照画像から抽出し、抽出した複数の参照画像の小領域と前記被処理画像の画素とを出力し、
前記変換係数算出手段は、前記画像変換手段から出力された複数の参照画像の小領域と前記被処理画像の画素とに基づいて、前記変換係数を算出する
ことを特徴とする請求項１記載の画像合成装置。
【請求項８】
前記参照画像の数は、３以上であり、
前記画像合成手段は、３以上の変換参照画像を変換係数算出手段で算出された変換係数を用いて線形結合することによって前記線形変換画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項９】
前記変換係数算出手段は、前記被処理画像と３以上の参照画像との間において対応する３点以上の画素値の間に成り立つ線形式の係数を前記変換係数として算出する
ことを特徴とする請求項１記載の画像合成装置。
【請求項１０】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、
（１）被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像を取得し、（２）取得した前記被処理画像と前記複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換し、（３）同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出し、（４）前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、前記変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として生成するプロセッサ
を備えることを特徴とする画像合成装置。
【請求項１１】
前記画像合成装置はさらに、
前記被処理画像と前記複数の参照画像とを取得するカメラと、
前記カメラによって取得された前記被処理画像と前記複数の参照画像とを記憶する記憶装置と、
前記プロセッサによって生成された合成画像を表示するディスプレイ装置とを備え、
前記プロセッサは、前記記憶装置から前記被処理画像と前記複数の参照画像とを読み出すことによって、前記被処理画像と前記複数の参照画像とを取得する
ことを特徴とする請求項１０記載の画像合成装置。
【請求項１２】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像処理方法であって、
被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得ステップと、
前記画像取得ステップによって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換ステップと、
前記画像変換ステップによって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出ステップと、
前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出ステップで算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成ステップと
を含むことを特徴とする画像合成方法。
【請求項１３】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置のためのプログラムであって、
請求項１２記載の画像合成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像を撮影する際の拡大率の違いなどによって得られた空間解像度（以下、単に「解像度」という。）が異なる複数の画像を入力とし、より解像度の高い合成画像を生成する画像合成装置に関し、特に、解像度と照明条件が異なる複数の画像を用いて画像の解像度を向上する技術に関する。
【背景技術】
【０００２】  従来の画像処理技術による解像度の高い画像を合成する画像合成装置としては、被処理画像が与えられた場合に、同一被写体を撮影した別の高解像度の参照画像を被処理画像に重畳合成することで、被処理画像の解像度を向上する画像合成装置がある。【０００３】  このような画像合成装置の例として、同一被写体を短い周期で撮影した低解像度画像と、長い周期で撮影した高解像度画像を用い、高解像度画像を２次元幾何変換することで、低解像度の画像と同じ構図の高解像度の合成画像を生成する画像合成装置が開示されている（例えば、特許文献１参照）。【０００４】  また、従来の画像処理技術による照明条件の異なる複数の画像から任意の照明条件の合成画像を生成する別の画像合成装置としては、画像の線形化を用いることで任意の照明条件の合成画像を生成する画像合成装置がある。照明条件の異なる画像とは、被写体に対する光源の位置や距離、または光源自体の形状、個数などが異なる状態で撮影された画像のことである。【０００５】  このような画像合成装置の例としては、同一人物の顔を異なる向きで撮影した複数の画像と、画像間の対応点の座標値の情報を用いて、ある向きの別の照明条件の画像を生成する画像合成装置が開示されている（例えば、特許文献２参照）。図１は、前記特許文献２に記載された従来の画像合成装置の合成画像の例を示すものであり、異なる向き、照明条件の合成画像を生成できる。
【特許文献１】特開２００３−２０３２３７号公報
【特許文献２】特開２００４−５５０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】  しかしながら、前記従来の技術による解像度の高い画像を合成する画像合成装置では、低解像度の被処理画像と高解像度の参照画像において、照明の位置や数、強さなどの照明条件が異なる場合、生成される高解像度の合成画像は、被処理画像の照明条件とは異なる画像になってしまうという課題がある。【０００７】  また、前記従来の技術による任意の照明条件の画像を生成する画像合成装置では、解像度の異なる画像を入力とした場合、対応する画素の解像度が異なることから正しい線形化係数が算出できないため、照明条件の正しい合成画像を生成することができないという別の課題もある。【０００８】  そこで、本発明は、従来の課題を解決するものであり、解像度と照明条件の異なる複数の画像から、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成する画像合成装置及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】  上記目的を達成するために、本発明に係る画像合成装置は、被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段とを備えることを特徴とする。【００１０】  これにより、変換係数を用いて参照画像を線形結合することで、被処理画像と複数の参照画像の照明条件が異なる場合であっても被処理画像と同じ照明条件で、かつ、解像度の高い合成画像を生成することができる。さらに、被処理画像と参照画像とを同一の解像度にする処理をした後の画素値を用いて変換係数を算出することで、解像度が異なる場合であっても正しい変換係数を算出することができ、より精度の高い合成画像を生成することができる。【００１１】  なお、本発明は、画像合成装置として実現できるだけでなく、画像合成方法、その方法に含まれるステップをコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、画像合成装置を回路で実現したＬＳＩ等の半導体集積回路等としても実現できる。
【発明の効果】
【００１２】  本発明の画像合成装置によれば、被処理画像と複数の参照画像の解像度の違いを考慮して変換係数を算出するため、解像度と照明条件の異なる参照画像であっても、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、従来の画像合成装置で生成した画像の一例を示す図である。
【図２】図２は、本発明の実施の形態における画像合成装置の構成図である。
【図３】図３は、画像記憶部に記憶されている画像データの一例を示す図である。
【図４】図４は、合成画像の生成における前半処理である変換係数を算出する手順を示すデータフロー図である。
【図５】図５は、合成画像の生成における後半処理である画像合成の手順を示すデータフロー図である。
【図６】図６は、被処理画像と参照画像の一例を示す図である。
【図７】図７は、合成画像と変換参照画像の一例を示す図である。
【図８】図８は、変換被処理画像の一例を示す図である。
【図９】図９は、変換参照画像の一例を示す図である。
【図１０】図１０は、線形変換画像の一例を示す図である。
【図１１】図１１は、合成画像の一例を示す図である。
【図１２】図１２は、別の被処理画像と参照画像の一例を示す図である。
【図１３】図１３は、本発明の効果を示す拡大率とＰＳＮＲとの関係の一例を示す図である。
【図１４】図１４は、小領域を用いて変換参照画像を生成する方法の一例を示す図である。
【図１５】図１５は、画像合成装置をコンピュータにより構成した場合の構成図である。
【符号の説明】
【００１４】    １１  カメラ
１２  画像記憶部
１３  入力部
１４  画像読み出し部
１５  参照画像変換部
１６  係数算出部
１７  画像合成部
１８  ディスプレイ
１０１  カメラ
１０２  Ａ／Ｄ変換器
１０３、１０７  フレームメモリ
１０４  ＣＰＵ
１０５  ＲＯＭ
１０６  ＲＡＭ
１０８  Ｄ／Ａ変換器
１０９  ディスプレイ
１１０  ＨＤＤ
【発明を実施するための最良の形態】
【００１５】  本発明に係る画像合成装置は、被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段とを備えることを特徴とする。これにより、変換係数を用いて参照画像を線形結合することで、被処理画像と複数の参照画像の照明条件が異なる場合であっても被処理画像と同じ照明条件で、かつ、解像度の高い合成画像を生成することができる。さらに、被処理画像と参照画像とを同一の解像度に変換した画素値を用いて変換係数を算出することで、解像度が異なる場合であっても正しい変換係数を算出することができ、より精度の高い合成画像を生成することができる。【００１６】  ここで、前記画像合成手段はさらに、前記画像取得手段で取得された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて前記線形変換画像を修正することによって、前記合成画像を生成するのが好ましい。修正の具体的な方法として、たとえば、前記画像合成手段は、前記線形変換画像を構成する画素のうち、一定条件を満たす画素を前記変換被処理画像の対応する画素で置き換えることによって前記線形変換画像を修正し、修正後の線形変換画像を前記合成画像として出力する方法がある。その際の一定条件としては、前記画像合成手段が、前記線形変換画像を前記画像取得手段で取得された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と前記被処理画像の対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に前記線形変換画像の画素を前記変換被処理画像の画素で置き換えることによって前記線形変換画像を修正するのが好ましい。これにより、合成画像を被処理画像と解像度が一致するように変換した画像において、被処理画像と画素値が異なる画素は、参照画像中のノイズの影響や、線形化に従わない画素であることが考えられるため、このような画素においては被処理画像の画素で置き換えることで、自然な合成画像が生成される。【００１７】  また、前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像を、前記被処理画像と前記複数の参照画像のうち、最も解像度の低い画像の解像度に変換してもよい。たとえば、前記画像取得手段によって取得された被処理画像と複数の参照画像のうち、最も解像度の低い画像は、前記被処理画像であり、前記画像変換手段は、前記画像取得手段によって取得された複数の参照画像を、前記画像取得手段で取得された被処理画像の解像度に変換することによって、前記被処理画像と前記複数の参照画像とを同一の解像度に変換してもよい。これにより、被処理画像と複数の参照画像とを最も低い解像度に揃えた後に変換係数が算出されるので、解像度を高める処理に伴う誤差の混入が回避される。【００１８】  また、前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像に基づいて、前記被処理画像の画素に対応する前記複数の参照画像の小領域のうち、均一な画素値からなる小領域を前記複数の参照画像から抽出し、抽出した複数の参照画像の小領域と前記被処理画像の画素とを出力し、前記変換係数算出手段は、前記画像変換手段から出力された複数の参照画像の小領域と前記被処理画像の画素とに基づいて、前記変換係数を算出してもよい。これにより、解像度の異なる被処理画像と参照画像の対応する画素の近傍で画素値が均一である小領域を選択することで、明に解像度の変換を行わなくても同一解像度の画素値として変換参照画像を得ることができ、計算処理負荷が軽減され、処理が高速化される。【００１９】  以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。【００２０】  図２は、本発明の実施の形態における画像合成装置の構成を示す図である。この画像合成装置は、参照画像を用いることによって被処理画像の照明条件を変えることなく解像度を向上させる装置であり、カメラ１１、画像記憶部１２、入力部１３、画像読み出し部１４、参照画像変換部１５、係数算出部１６、画像合成部１７及びディスプレイ１８を備える。なお、解像度とは、画像データにおける空間解像度であり、被写体とカメラとの距離が固定されている場合には、カメラの焦点距離が大きいほど、解像度が高い（同一の被写体が多くの画素で表わされる）。【００２１】  カメラ１１は、被写体の画像を撮影して出力する撮像装置である。【００２２】  画像記憶部１２は、カメラ１１で撮影された画像を、画像を撮影した際のカメラの焦点距離やカメラの向きなどの情報で構成される画素対応情報とともに記憶しておくハードディスク等である。図３（ａ）及び（ｂ）は、それぞれ、画像記憶部１２に記憶されている画像及び画素対応情報の例を示している。なお、本実施の形態では、この画像記憶部１２に記憶される画像として、被処理画像と、参照画像がある。被処理画像は、この画像合成装置による画像合成（ここでは、照明条件を変えることなく解像度を向上させる処理）の対象となる画像である。参照画像は、画像合成のために使用される基準となる画像であり、例えば、異なる照明条件下で撮影された被処理画像と同一の被写体についての画像である。【００２３】  入力部１３は、被処理画像と複数の参照画像の選択、被処理画像の解像度をどれくらい高めるかを示す解像度比率等に関するユーザからの指示を取得し、その指示を画像読み出し部１４等に伝えるユーザインターフェースを含む処理部である。【００２４】  画像読���出し部１４は、入力部１３からの指示に従って、画像記憶部１２から被処理画像と複数の参照画像とそれらの画素対応情報を読み出して参照画像変換部１５及び画像合成部１７に出力する処理部である。【００２５】  参照画像変換部１５は、画像読み出し部１４によって読み出された被処理画像と複数の参照画像と画素対応情報とに基づいて、それら被処理画像と複数の参照画像とを同一の解像度にする処理部である。本実施の形態では、被処理画像と複数の参照画像の中で被処理画像の解像度が最も低いことから、この参照画像変換部１５は、複数の参照画像を被処理画像と同一の解像度に変換する。なお、このように変換された参照画像を「変換参照画像」と呼ぶ。【００２６】  係数算出部１６は、参照画像変換部１５で得られた複数の変換参照画像と参照画像変換部１５から渡される被処理画像とに基づいて、複数の変換参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出する処理部である。ここでは、同じ空間位置における画素値を用いて、複数の変換参照画像の線形結合で被処理画像を表現するための線形係数を算出する。【００２７】  画像合成部１７は、画像読み出し部１４によって読み出された被処理画像と複数の参照画像、画像読み出し部１４から通知される解像度比率及び係数算出部１６で算出された変換係数等に基づいて、被処理画像の照明条件を変えることなく解像度を向上させた画像（以下、この画像を「合成画像」と呼ぶ。）を生成し、ディスプレイ１８に出力する処理部である。【００２８】  具体的には、画像合成部１７は、画像読み出し部１４によって読み出された複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を係数算出部１６で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として出力する。【００２９】  線形変換画像を修正して合成画像を生成する際には、画像合成部１７は、画像読み出し部１４によって読み出された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて線形変換画像を修正する。より詳しくは、画像合成部１７は、その線形変換画像を構成する画素のうち、一定条件を満たす画素を変換被処理画像の対応する画素で置き換えることによって線形変換画像を修正し、修正後の線形変換画像を合成画像として出力する。具体的には、画像合成部１７は、線形変換画像を画像読み出し部１４によって読み出された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と被処理画像の対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像の画素を変換被処理画像の画素で置き換えることによって線形変換画像を修正する。【００３０】  ディスプレイ１８は、画像合成部１７から出力された合成画像を表示する液晶表示装置等である。【００３１】  次に、以上のように構成された本実施の形態における画像合成装置の動作について説明する。ここでは、最初に、カメラ１１が画像を撮影して画像記憶部１２に��数の画像データを記憶し、その後、画像記憶部１２に記憶された画像データのうち、ユーザが選択した被処理画像と３枚の参照画像を用いて、合成画像を生成する例について説明する。【００３２】  カメラ１１は、視点位置が固定で撮影方向（パン・チルト角）や撮影範囲（ズーム率）が可変であるパン・チルト・ズーム（ＰＴＺ）カメラであり、撮影される被写体は静止しているものとする。カメラ１１はあらかじめ定められたパン・チルト角、ズーム率、撮影タイミングに従って被写体を撮影し、デジタル化した画像データを画像記憶部１２に格納する。このとき画像データとともに、パン・チルト角を表す回転行列Ｒと、ズーム率に対応する焦点距離ｆの情報も画素対応情報として画像記憶部１２に格納しておく。【００３３】  なお、任意の２画像Ｉｉ、Ｉｊにおける、画素座標（ｘｉ，ｙｉ）、（ｘｊ，ｙｊ）間の関係は、それぞれの撮影方向Ｒｉ，Ｒｊと焦点距離ｆｉ，ｆｊを用いて、数１に示される式で相互に変換することができる。【００３４】
【数１】
2007018008.tif 000002
【００３５】  数１の式において、ｐｘ，ｐｙは１画素あたりの投影面上でのｘ座標方向とｙ座標方向の大きさであり、あらかじめキャリブレーションによって求めておく。また、ａはスケールを変換する係数であり、３行目の値が左辺と右辺で一致するように値を算出する。よって、本実施の形態では、任意の２画像Ｉｉ、Ｉｊにおける画素座標（ｘｉ，ｙｉ）、（ｘｊ，ｙｊ）間を関係づける情報である、数１に示される撮影方向Ｒと焦点距離ｆの情報とをあわせて「画素対応情報」と呼んでいる。【００３６】  図３は、上記のようにしてカメラ１１で撮影され、画像記憶部１２に記憶された画像データと画素対応情報の例を示す図である。本実施の形態では、画像記憶部１２に記憶されている画像データの画素数は全て同じで、横（ｘ座標方向）が７６８画素、縦（ｙ座標方向）が１０２４画素であるものとする。また、図中での画像データの表記は、１画素あたりの大きさを一定として、図の大きさの大小が画像データの画素数の大小に対応するように表記する（特に断りが無い限り、以降の図においても同様）。図３（ａ）は、同一の被写体を、パン・チルト角を一定のまま、異なるズーム率で撮影した場合の画像であり、被写体表面での実空間上での単位長さに対する画素座標上での長さ、すなわち解像度が異なる画像となっている。また、撮影時の照明の位置や数、強さなどの照明条件の違いにより、被写体の陰影が異なる画像となっている。図３（ｂ）は、各画像を撮影した際の画素対応情報、すなわち撮影方向Ｒと焦点距離ｆの例である。なお、図中の焦点距離ｆは、数１の式中の画素の大きさｐｘ，ｐｙがともに０．０１９４９７［ｍｍ］の場合の値である。【００３７】  以上のようにして、画像記憶部１２には、図３に示されるような解像度と照明条件の異なる複数の画像、および各画像の撮影方向と焦点距離で構成された画素対応情報が記憶される。【００３８】  以下、画像記憶部１２に記憶された画像データのうち、入力部１３を介してユーザが選択した被処理画像と複数の参照画像、および被処理画像と合成画像の解像度比率ｋｏを用いて、合成画像を生成する際の動作について説明する。【００３９】  図４は、合成画像の生成における前半の処理である変換係数を算出する手順（主に、参照画像変換部１５及び係数算出部１６による処理手順）を示すデータフロー図であり、図５は、合成画像の生成における後半の処理である画像合成の手順（主に、画像合成部１７による処理手順）を示すデータフロー図である。ここでは、図６（ａ）の被処理画像Ｉｒ（７６８画素×１０２４画素）に対して、解像度が２倍（ｋｏ＝２）、すなわち同一撮影範囲の画素数が４倍（１５３６画素×２０４８画素）であり、かつ、照明条件が同一である図７（ａ）に示される合成画像Ｉｏを生成する際の動作を説明する。【００４０】  図６（ａ）および図６（ｂ）は、入力部１３を介してユーザが選択し、画像読み出し部１４によって画像記憶部１２から読み出された被処理画像Ｉｒと３枚の参照画像Ｉｉおよびその画素対応情報の例を示す図である。被処理画像Ｉｒと参照画像Ｉｉは、照明位置と焦点距離が異なる画像である。図６の例において、焦点距離ｆは、被処理画像Ｉｒでは１２．０５［ｍｍ］である��に対して、参照画像Ｉｉでは２４．１［ｍｍ］であり、参照画像Ｉｉは被処理画像Ｉｒの一部を拡大した画像となっている。また、照明位置は、被処理画像Ｉｒが被写体である人物像の正面（カメラ方向）であり、３枚の参照画像Ｉｉは、人物像の左１０度・上２０度、左２０度・下２０度、右２０度・下１０度の３方向から、照明をあてた画像である。なお、ユーザが参照画像Ｉｉを選択する際には、参照画像Ｉｉは被処理画像Ｉｒよりも解像度が高い（焦点距離が大きい）画像であり、かつ、それぞれの参照画像Ｉｉは異なる照明位置で撮影された画像であることが望ましい。【００４１】  参照画像変換部１５は、まず、画像読み出し部１４によって読み出された被処理画像Ｉｒと参照画像Ｉｉ、および各画像に対応する画素対応情報から、被処理画像Ｉｒの解像度に対する参照画像Ｉｉ，（ｉ＝０…２）の解像度の比率ｋｉを算出する。ここで解像度の比率ｋｉは、焦点距離の比率ｆｉ／ｆｒを用いるものとする。図６の例では、各参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度（ｋｉ＝２）である。なお、解像度の比率は、焦点距離の比率の代わりに、各画像の対応情報Ｒ，ｆから数１の式を用いて１画素の大きさの比率、またはその平均値から算出しても良い。【００４２】  次に、参照画像変換部１５は、各参照画像Ｉｉの解像度の比率の逆数１／ｋｉに応じたローパスフィルタにより、参照画像Ｉｉの高域成分を除去する（図４のステップＳ１０）。すなわち、参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度であることから、参照画像Ｉｉの周波数帯域の１／２のカットオフ周波数（参照画像Ｉｉのサンプリング周波数の１／４のカットオフ周波数）を持つローパスフィルタにより、高域成分を除去する。そして最後に、被処理画像Ｉｒの各画素座標に対応する画素値として、数１の式で求めた画素座標のフィルタ処理した参照画像Ｉｉの画素値を用い、これを変換参照画像Ｉｓｉとして出力する。【００４３】  図７（ｂ）は、上記の手順（図４のステップＳ１０））によって生成された変換参照画像Ｉｓｉの例であり、３枚の参照画像Ｉｉに１／２のローパスフィルタをかけた後に、再サンプルすることで生成した解像度が１／２の画像に相当する。なお、図７（ｂ）中の斜線部分は、参照画像Ｉｉ中に対応する画素が無い領域を指し、図７（ｂ）の変換参照画像Ｉｓｉは、図６（ａ）の被処理画像Ｉｒの人物像（白破線内）の領域にのみ画素値が存在するものである。【００４４】  続いて、係数算出部１６は、参照画像変換部１５で算出された変換参照画像Ｉｓｉを用いて変換係数Ｃを算出する（図４のステップＳ１１）。変換係数Ｃ＝（ｃ０，ｃ１，ｃ２）は、被処理画像Ｉｒの画素座標（ｘ，ｙ）の画素値をＩｒ（ｘ，ｙ）、変換参照画像Ｉｓｉの対応する画素値をＩｓｉ（ｘ，ｙ），ｉ＝０…２とすると、以下の数２に示される式が成り立つ。【００４５】
【数２】
2007018008.tif 000003
【００４６】  したがって、係数算出部１６は、３点以上の被処理画像Ｉｒと変換参照画像Ｉｓｉの対応する画素座標の画素値を与えることで、変換係数Ｃを算出することができる。図７（ｂ）の例において算出された変換係数Ｃは、（ｃ０，ｃ１，ｃ２）＝（０．４４，０．２２，０．４３）であった。【００４７】  なお、上記の数２の式は、被処理画像Ｉｒおよび参照画像Ｉｉ中の被写体表面が完全拡散反射面であり、かつ光源が平行光である場合に、影ではない画素について成り立つ式であり、Ｓｈａｓｈｕａらによって提案された理論である。詳細は「Ｓｈａｓｈｕａ，Ａ．，“Ｇｅｏｍｅｔｒｙ  ａｎｄ  Ｐｈｏｔｏｍｅｔｒｙ  ｉｎ  ３Ｄ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｈ．Ｄ．ｔｈｅｓｉｓ，Ｄｅｐｔ．Ｂｒａｉｎ  ａｎｄ  Ｃｏｇｎｉｔｉｖｅ  Ｓｃｅｉｅｎｃｅ，ＮＩＴ，１９９２．」に記載されているので、ここでは詳細な説明は行わない。また、被処理画像Ｉｒおよび参照画像Ｉｉに鏡面反射や影が含まれている場合や、完全な拡散反射で無い場合、また、光源が完全な平行光でない場合でも、数２の式が近似的に成り立つ場合があるが、このような場合、上述した方法では数２の式における変換係数Ｃを求めることができない。しかし、鏡面反射や影が含まれている場合に、変換係数Ｃを算出する別の手法が、「向川康博，宮木一，三橋貞彦，尺長健，“Ｐｈｏｔｏｍｅｔｒｉｃ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇによる仮想照明画像の生成”，情報処理学会論文誌：コンピュータビジョンとイメージメディア，ｖｏｌ．４１，Ｎｏ．ＳＩＧ１０（ＣＶＩＭ１），ｐｐ．１９−３０，２０００．」などに記載されているので、ここでは詳細な説明は行わない。【００４８】  続いて、合成画像を生成するために、画像合成部１７は、まず、被処理画像Ｉｒおよび被処理画像Ｉｒと合成画像Ｉｏの解像度比率ｋｏから、被処理画像Ｉｒを拡大した変換被処理画像Ｉｒｏを生成する（図５のステップＳ２０）。画像合成部１７は、被処理画像Ｉｒから変換被処理画像Ｉｒｏを生成する方法として、バイリニア補間やバイキュービック補間などの一般的に知られた方法を用いる。さらに、画像合成部１７は、複数の参照画像Ｉｉを、変換被処理画像Ｉｒｏと同じ解像度となるように変換した変換参照画像Ｉｏｉを生成する（図５のステップＳ２１）。図８に変換被処理画像Ｉｒｏ、図９に変換参照画像Ｉｏｉの例を、それぞれ示す。【００４９】  次に、画像合成部１７は、変換係数Ｃと変換参照画像Ｉｏｉの画素値Ｉｏｉ（ｘｏ，ｙｏ）とを用いて、以下の数３に示される式によって、線形変換画像Ｉｐの画素座標（ｘｏ，ｙｏ）の画素値Ｉｐ（ｘｏ，ｙｏ）を生成する（図５のステップＳ２２）。図１０に、図９の変換参照画像Ｉｏｉと変換係数Ｃを用いて生成した線形変換画像Ｉｐの例を示す。【００５０】
【数３】
2007018008.tif 000004
【００５１】  最後に、画像合成部１７は、変換被処理画像Ｉｒｏを用いて線形変換画像Ｉｐを修正することによって合成画像Ｉｏを生成する（図５のステップＳ２３、Ｓ２４））。そのために、画像合成部１７は、まず、線形変換画像Ｉｐの解像度を、被処理画像Ｉｒと同じ解像度に変換した変換線形変換画像Ｉｐｒを生成する（図５のステップＳ２３）。そして、画像合成部１７は、合成画像Ｉｏの画素座標（ｘｏ，ｙｏ）の画素値Ｉｏ（ｘｏ，ｙｏ）として、被処理画像Ｉｒの画素値Ｉｒ（ｘｏ／ｋ，ｙｏ／ｋ）と変換線形変換画像Ｉｐｒの画素値Ｉｐｒ（ｘｏ／ｋ，ｙｏ／ｋ）との差の絶対値があらかじめ定められた閾値ｔｈ以下である場合は線形変換画像の画素値Ｉｐ（ｘｏ，ｙｏ）を、そうで無い場合は変換被処理画像Ｉｒｏの画素値Ｉｒｏ（ｘｏ，ｙｏ）を代入することで、合成画像Ｉｏを生成する（図５のステップＳ２４；数４）。つまり、画像合成部１７は、変換線形変換画像Ｉｐｒと被処理画像Ｉｒの対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像Ｉｐの画素を変換被処理画像Ｉｒｏの画素で置き換えることによって線形変換画像Ｉｐを修正し、修正した線形変換画像Ｉｐを合成画像Ｉｏとして生成する。【００５２】
【数４】
2007018008.tif 000005
【００５３】  以上の手順により生成された合成画像Ｉｏの例を図１１に示す。図１１（ａ）の合成画像Ｉｏは、被処理画像Ｉｒをバイリニアにより拡大した図１１（ｂ）より解像度の高い画像を生成できており、かつ、照明条件は元の被処理画像Ｉｒと同一であることがわかる。【００５４】  なお、上述の例では、複数の参照画像Ｉｉの解像度が同じで、かつ、参照画像Ｉｉの解像度が合成画像Ｉｏの解像度と同じである例を示した。このような解像度の条件においては、被写体表面が完全拡散面であり、かつ、光源が並行光であれば、数３の式によって、誤差無く高解像度の合成画像Ｉｏを生成することができる。しかし、参照画像Ｉｉの解像度が合成画像Ｉｏの解像度より低い場合は、原理的に数３の式が満たされるとは限らない。しかしながら、一部の参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度より低い場合であっても、バイリニア補間で拡大するよりは良くなる場合があることが発明者らの実験により確認できた。【００５５】  図１２は、そのような解像度が異なる被処理画像Ｉｒと参照画像Ｉｉの例を示す図である。図１３は、本実施の形態における画像合成装置によって、図１２に示された被処理画像Ｉｒを２、４、８倍にそれぞれ拡大して得られた合成画像Ｉｏと、被処理画像Ｉｒをバイリニア補間して生成された画像との画質を比較したグラフ図である。縦軸は、評価値であり、真の画像に対する各画像との誤差をＰＳＮＲ（Ｐｅａｋ−Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）で示したものであり、横軸は、解像度の拡大率である。このグラフにおいて、本発明の手法により生成された合成画像Ｉｏ（図中の提案法）のＰＳＮＲがバイニリア補間で生成された画像よりも高いＰＳＮＲを示してことから分かるように、本発明の手法により生成された合成画像Ｉｏが優れていることがわかる。このことから、数３の式は、全ての参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度と同じか高い場合に原理的に成り立ち、それ以外の場合は誤差を含むこととなるが、そのような場合においても、他の一般的な合成方法よりも優れている場合があると言える。【００５６】  以上のように、本実施の形態によれば、被処理画像Ｉｒと複数の参照画像Ｉｉの解像度が異なる場合であっても、参照画像変換部において生成した同一の解像度の変換参照画像Ｉｓｉを用いることで正しい変換係数を算出することができ、これによって照明条件と解像度の異なる参照画像Ｉｉから、被処理画像Ｉｒを高解像度化した合成画像Ｉｏを得ることができるという効果がある。【００５７】  なお、本実施の形態では、画像記憶部１２に記憶されている画像データは、カメラ１１の撮影範囲（ズーム）のみを変化させて撮影された画像であるとしたが、撮影方向（パン・チルト）と撮影範囲（ズーム）が異なる画像であっても良い。【００５８】  また、本実施の形態において、参照画像変換部１５は、被処理画像Ｉｒと参照画像Ｉｉの対応する画素の画素値として、各画像に解像度の比率に応じたローパスフィルタをかけた画素値を用いたが、ローパスフィルタをかける代わりに、近傍の画素値が同一の領域、もしくは、近傍の画素値の変化が予め定められた閾値より小さい領域を抽出し、その画素値を用いても良い。【００５９】  図１４は、その例を示す図である。なお、ここに示された参照画像Ｉｉと被処理画像Ｉｒは図６と同じであり、参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度（ｋｉ＝２）である。このとき、参照画像変換部１５は、図１４に示される矩形領域のように、被処理画像Ｉｒの画素座標に対応する各参照画像Ｉｉの画素座標の近傍ｋｉ×ｋｉ（２×２）画素の小領域において、各小領域内の画素値が同一となる組を抽出する。図１４（ｂ）に示された参照画像Ｉｉ中の各３つの矩形小領域（２×２画素）は、それぞれ、小領域内で同一画素値であり、かつ、図１４（ａ）中の被処理画像Ｉｒの３つの画素（小矩形）に対応する。参照画像変換部１５は、このときの被処理画像Ｉｒと各参照画像Ｉｉの画素値の組を変換参照画像Ｉｓｉとして出力してもよい。【００６０】  このようにして求められた変換参照画像Ｉｓｉを用いることで、係数算出部１６は、ローパスフィルタをかけた画素値を用いる場合と同様に、参照画像Ｉｉと被処理画像Ｉｒの解像度が異なる場合であっても、数２の式における変換係数をより正しく求めることができる。【００６１】  また、本実施の形態において、参照画像変換部１５には、入力部１３を介してユーザが選択した被処理画像Ｉｒと３枚の参照画像Ｉｉが画像読み出し部１４によって画像記憶部１２から読み出されて入力されたが、被処理画像Ｉｒについてはユーザが選択し、参照画像Ｉｉについては参照画像変換部１５が画像記憶部１２から直接、３枚の参照画像Ｉｉを読み出してもよい。具体的には、参照画像変換部１５は、被処理画像Ｉｒの画素対応情報、すなわち撮影方向と焦点距離を用いて、画像記憶部１２に記憶された画像から、被処理画像Ｉｒの撮影範囲（視野角）を撮影し、かつ、被処理画像Ｉｒより解像度の高い画像を複数読み出し、参照画像Ｉｉとして用いる。【００６２】  また、本実施の形態において、参照画像Ｉｉは３枚であったが、参照画像Ｉｉは３枚より多くても良い。参照画像が３枚より多い場合、Ｓｈａｓｈｕａの理論における、被処理画像および参照画像中の被写体表面が完全拡散反射面であり、かつ光源が平行光であるという条件から外れた場合であっても、３枚より多い参照画像の線形結合によって、被処理画像と同じ照明条件の合成画像を近似的に生成することができるという効果がある。また、被処理画像と参照画像がＳｈａｓｈｕａの理論の条件を満たしている場合であっても、例えば、被処理画像と２つの参照画像を撮影した際の光源ベクトルが同一直線上に存在する場合、２つの参照画像を用いて、その線形結合で被処理画像と同じ照明条件の合成画像を生成できる。【００６３】  また、本発明の実施の形態では、個別の処理部は個別の回路等のハードウェアによって実現されるものとして説明したが、１つのＩＣなどに収まっているものであっても良いし、図１５に示されるようなカメラ１０１、Ａ／Ｄ変換器１０２、フレームメモリ１０３及び１０７、ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６、Ｄ／Ａ変換器１０８、ディスプレイ１０９、ＨＤＤ１１０等を備えたコンピュータ装置を用い、各処理手段をコンピュータ（ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６など）で実行されるソフトウェアによって実現しても良く、本発��の実施の形態と同様の効果を得ることができる。【００６４】  つまり、図１５に示されるように、本発明に係る画像合成装置として、被処理画像から、被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得するカメラ１０１と、カメラ１０１によって取得された被処理画像と複数の参照画像とを記憶する記憶装置（ＨＤＤ１１０）と、ＨＤＤ１１０やＲＯＭ１０５等に格納されたプログラムを実行することにより、（１）記憶装置から被処理画像と複数の参照画像とを読み出すことによって、被処理画像と複数の参照画像とを取得し、（２）取得した被処理画像と複数の参照画像とが同一の解像度になるように、被処理画像及び複数の参照画像の少なくとも１つの解像度を変換し、（３）同一の解像度となった被処理画像と複数の参照画像とに基づいて、複数の参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出し、（４）複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として生成するプロセッサ（ＣＰＵ１０４）と、プロセッサによって生成された合成画像を表示するディスプレイ装置（ディスプレイ１０９）等とを備える画像合成装置として実現してもよい。【００６５】  また、本実施の形態における構成要素と特許請求の範囲における構成要素との関係は以下の通りである。つまり、本実施の形態におけるカメラ１１は特許請求の範囲における画像取得手段の一例であり、参照画像変換部１５は特許請求の範囲における画像変換手段の一例であり、係数算出部１６は特許請求の範囲における変換係数算出手段の一例であり、画像合成部１７は特許請求の範囲における画像合成手段の一例である。
【産業上の利用可能性】
【００６６】  本発明は、被処理画像の解像度を向上させる画像合成装置として、例えば、デジタルカメラ、ムービー、監視用カメラなどで撮影された画像や、ＴＶ放送などを録画した画像を編集加工して出力する画像合成装置や画像編集装置等として有用である。また、その利用形態はカメラ本体に内蔵されるものであっても良いし、ＴＶやディスプレイに内蔵されるものであっても良い。
【図１】
2007018008.tif 000006
【図２】
2007018008.tif 000007
【図３】
2007018008.tif 000008
【図４】
2007018008.tif 000009
【図５】
2007018008.tif 000010
【図６】
2007018008.tif 000011
【図７】
2007018008.tif 000012
【図８】
2007018008.tif 000013
【図９】
2007018008.tif 000014
【図１０】
2007018008.tif 000015
【図１１】
2007018008.tif 000016
【図１２】
2007018008.tif 000017
【図１３】
2007018008.tif 000018
【図１４】
2007018008.tif 000019
【図１５】
2007018008.tif 000020
【手続補正書】
【提出日】平成18年9月12日(2006.9.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、
被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、
前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、
前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、
前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記画像合成手段はさらに、前記画像取得手段で取得された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて前記線形変換画像を修正することによって、前記合成画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記画像合成手段は、前記線形変換画像を構成する画素のうち、一定条件を満たす画素を前記変換被処理画像の対応する画素で置き換えることによって前記線形変換画像を修正し、修正後の線形変換画像を前記合成画像として出力する
ことを特徴とする請求項２記載の画像合成装置。
【請求項４】
前記画像合成手段は、前記線形変換画像を前記画像取得手段で取得された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と前記被処理画像の対応する画素の画素値どうしの差が予め定めたしきい値以上の場合に前記線形変換画像の画素を前記変換被処理画像の画素で置き換えることによって前記線形変換画像を修正する
ことを特徴とする請求項３記載の画像合成装置。
【請求項５】
前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像を、前記被処理画像と前記複数の参照画像のうち、最も解像度の低い画像の解像度に変換する
ことを特徴とする請求項１記載の画像合成装置。
【請求項６】
前記画像取得手段によって取得された被処理画像と複数の参照画像のうち、最も解像度の低い画像は、前記被処理画像であり、
前記画像変換手段は、前記画像取得手段によって取得された複数の参照画像を、前記画像取得手段で取得された被処理画像の解像度に変換することによって、前記被処理画像と前記複数の参照画像とを同一の解像度にする
ことを特徴とする請求項５記載の画像合成装置。
【請求項７】
前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像に基づいて、前記被処理画像の画素に対応する前記複数の参照画像の小領域のうち、均一な画素値からなる小領域を前記複数の参照画像から抽出し、抽出した複数の参照画像の小領域と前記被処理画像の画素とを出力し、
前記変換係数算出手段は、前記画像変換手段から出力された複数の参照画像の小領域と前記被処理画像の画素とに基づいて、前記変換係数を算出する
ことを特徴とする請求項１記載の画像合成装置。
【請求項８】
前記参照画像の数は、３以上であり、
前記画像合成手段は、３以上の変換参照画像を変換係数算出手段で算出された変換係数を用いて線形結合することによって前記線形変換画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項９】
前記変換係数算出手段は、前記被処理画像と３以上の参照画像との間において対応する３点以上の画素値の間に成り立つ線形式の係数を前記変換係数として算出する
ことを特徴とする請求項１記載の画像合成装置。
【請求項１０】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、
（１）被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像を取得し、（２）取得した前記被処理画像と前記複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換し、（３）同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出し、（４）前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、前記変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として生成するプロセッサ
を備えることを特徴とする画像合成装置。
【請求項１１】
前記画像合成装置はさらに、
前記被処理画像と前記複数の参照画像とを取得するカメラと、
前記カメラによって取得された前記被処理画像と前記複数の参照画像とを記憶する記憶装置と、
前記プロセッサによって生成された合成画像を表示するディスプレイ装置とを備え、
前記プロセッサは、前記記憶装置から前記被処理画像と前記複数の参照画像とを読み出すことによって、前記被処理画像と前記複数の参照画像とを取得する
ことを特徴とする請求項１０記載の画像合成装置。
【請求項１２】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像処理方法であって、
被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得ステップと、
前記画像取得ステップによって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換ステップと、
前記画像変換ステップによって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出ステップと、
前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出ステップで算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成ステップと
を含むことを特徴とする画像合成方法。
【請求項１３】
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置のためのプログラムであって、
請求項１２記載の画像合成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮影する際の拡大率の違いなどによって得られた空間解像度（以下、単に「解像度」という。）が異なる複数の画像を入力とし、より解像度の高い合成画像を生成する画像合成装置に関し、特に、解像度と照明条件が異なる複数の画像を用いて画像の解像度を向上する技術に関する。
【背景技術】
【０００２】
従来の画像処理技術による解像度の高い画像を合成する画像合成装置としては、被処理画像が与えられた場合に、同一被写体を撮影した別の高解像度の参照画像を被処理画像に重畳合成することで、被処理画像の解像度を向上する画像合成装置がある。
【０００３】
このような画像合成装置の例として、同一被写体を短い周期で撮影した低解像度画像と、長い周期で撮影した高解像度画像を用い、高解像度画像を２次元幾何変換することで、低解像度の画像と同じ構図の高解像度の合成画像を生成する画像合成装置が開示されている（例えば、特許文献１参照）。
【０００４】
また、従来の画像処理技術による照明条件の異なる複数の画像から任意の照明条件の合成画像を生成する別の画像合成装置としては、画像の線形化を用いることで任意の照明条件の合成画像を生成する画像合成装置がある。照明条件の異なる画像とは、被写体に対する光源の位置や距離、または光源自体の形状、個数などが異なる状態で撮影された画像のことである。
【０００５】
このような画像合成装置の例としては、同一人物の顔を異なる向きで撮影した複数の画像と、画像間の対応点の座標値の情報を用いて、ある向きの別の照明条件の画像を生成する画像合成装置が開示されている（例えば、特許文献２参照）。図１は、前記特許文献２に記載された従来の画像合成装置の合成画像の例を示すものであり、異なる向き、照明条件の合成画像を生成できる。
【特許文献１】特開２００３−２０３２３７号公報
【特許文献２】特開２００４−５５０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術による解像度の高い画像を合成する画像合成装置では、低解像度の被処理画像と高解像度の参照画像において、照明の位置や数、強さなどの照明条件が異なる場合、生成される高解像度の合成画像は、被処理画像の照明条件とは異なる画像になってしまうという課題がある。
【０００７】
また、前記従来の技術による任意の照明条件の画像を生成する画像合成装置では、解像度の異なる画像を入力とした場合、対応する画素の解像度が異なることから正しい線形化係数が算出できないため、照明条件の正しい合成画像を生成することができないという別の課題もある。
【０００８】
そこで、本発明は、従来の課題を解決するものであり、解像度と照明条件の異なる複数の画像から、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成する画像合成装置及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像合成装置は、被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段とを備えることを特徴とする。
【００１０】
これにより、変換係数を用いて参照画像を線形結合することで、被処理画像と複数の参照画像の照明条件が異なる場合であっても被処理画像と同じ照明条件で、かつ、解像度の高い合成画像を生成することができる。さらに、被処理画像と参照画像とを同一の解像度にする処理をした後の画素値を用いて変換係数を算出することで、解像度が異なる場合であっても正しい変換係数を算出することができ、より精度の高い合成画像を生成することができる。
【００１１】
なお、本発明は、画像合成装置として実現できるだけでなく、画像合成方法、その方法に含まれるステップをコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、画像合成装置を回路で実現したＬＳＩ等の半導体集積回路等としても実現できる。
【発明の効果】
【００１２】
本発明の画像合成装置によれば、被処理画像と複数の参照画像の解像度の違いを考慮して変換係数を算出するため、解像度と照明条件の異なる参照画像であっても、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成することができる。
【発明を実施するための最良の形態】
【００１３】
本発明に係る画像合成装置は、被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段とを備えることを特徴とする。これにより、変換係数を用いて参照画像を線形結合することで、被処理画像と複数の参照画像の照明条件が異なる場合であっても被処理画像と同じ照明条件で、かつ、解像度の高い合成画像を生成することができる。さらに、被処理画像と参照画像とを同一の解像度に変換した画素値を用いて変換係数を算出することで、解像度が異なる場合であっても正しい変換係数を算出することができ、より精度の高い合成画像を生成することができる。
【００１４】
ここで、前記画像合成手段はさらに、前記画像取得手段で取得された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて前記線形変換画像を修正することによって、前記合成画像を生成するのが好ましい。修正の具体的な方法として、たとえば、前記画像合成手段は、前記線形変換画像を構成する画素のうち、一定条件を満たす画素を前記変換被処理画像の対応する画素で置き換えることによって前記線形変換画像を修正し、修正後の線形変換画像を前記合成画像として出力する方法がある。その際の一定条件としては、前記画像合成手段が、前記線形変換画像を前記画像取得手段で取得された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と前記被処理画像の対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に前記線形変換画像の画素を前記変換被処理画像の画素で置き換えることによって前記線形変換画像を修正するのが好ましい。これにより、合成画像を被処理画像と解像度が一致するように変換した画像において、被処理画像と画素値が異なる画素は、参照画像中のノイズの影響や、線形化に従わない画素であることが考えられるため、このような画素においては被処理画像の画素で置き換えることで、自然な合成画像が生成される。
【００１５】
また、前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像を、前記被処理画像と前記複数の参照画像のうち、最も解像度の低い画像の解像度に変換してもよい。たとえば、前記画像取得手段によって取得された被処理画像と複数の参照画像のうち、最も解像度の低い画像は、前記被処理画像であり、前記画像変換手段は、前記画像取得手段によって取得された複数の参照画像を、前記画像取得手段で取得された被処理画像の解像度に変換することによって、前記被処理画像と前記複数の参照画像とを同一の解像度に変換してもよい。これにより、被処理画像と複数の参照画像とを最も低い解像度に揃えた後に変換係数が算出されるので、解像度を高める処理に伴う誤差の混入が回避される。
【００１６】
また、前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像に基づいて、前記被処理画像の画素に対応する前記複数の参照画像の小領域のうち、均一な画素値からなる小領域を前記複数の参照画像から抽出し、抽出した複数の参照画像の小領域と前記被処理画像の画素とを出力し、前記変換係数算出手段は、前記画像変換手段から出力された複数の参照画像の小領域と前記被処理画像の画素とに基づいて、前記変換係数を算出してもよい。これにより、解像度の異なる被処理画像と参照画像の対応する画素の近傍で画素値が均一である小領域を選択することで、明に解像度の変換を行わなくても同一解像度の画素値として変換参照画像を得ることができ、計算処理負荷が軽減され、処理が高速化される。
【００１７】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図２は、本発明の実施の形態における画像合成装置の構成を示す図である。この画像合成装置は、参照画像を用いることによって被処理画像の照明条件を変えることなく解像度を向上させる装置であり、カメラ１１、画像記憶部１２、入力部１３、画像読み出し部１４、参照画像変換部１５、係数算出部１６、画像合成部１７及びディスプレイ１８を備える。なお、解像度とは、画像データにおける空間解像度であり、被写体とカメラとの距離が固定されている場合には、カメラの焦点距離が大きいほど、解像度が高い（同一の被写体が多くの画素で表わされる）。
【００１９】
カメラ１１は、被写体の画像を撮影して出力する撮像装置である。
【００２０】
画像記憶部１２は、カメラ１１で撮影された画像を、画像を撮影した際のカメラの焦点距離やカメラの向きなどの情報で構成される画素対応情報とともに記憶しておくハードディスク等である。図３（ａ）及び（ｂ）は、それぞれ、画像記憶部１２に記憶されている画像及び画素対応情報の例を示している。なお、本実施の形態では、この画像記憶部１２に記憶される画像として、被処理画像と、参照画像がある。被処理画像は、この画像合成装置による画像合成（ここでは、照明条件を変えることなく解像度を向上させる処理）の対象となる画像である。参照画像は、画像合成のために使用される基準となる画像であり、例えば、異なる照明条件下で撮影された被処理画像と同一の被写体についての画像である。
【００２１】
入力部１３は、被処理画像と複数の参照画像の選択、被処理画像の解像度をどれくらい高めるかを示す解像度比率等に関するユーザからの指示を取得し、その指示を画像読み出し部１４等に伝えるユーザインターフェースを含む処理部である。
【００２２】
画像読み出し部１４は、入力部１３からの指示に従って、画像記憶部１２から被処理画像と複数の参照画像とそれらの画素対応情報を読み出して参照画像変換部１５及び画像合成部１７に出力する処理部である。
【００２３】
参照画像変換部１５は、画像読み出し部１４によって読み出された被処理画像と複数の参照画像と画素対応情報とに基づいて、それら被処理画像と複数の参照画像とを同一の解像度にする処理部である。本実施の形態では、被処理画像と複数の参照画像の中で被処理画像の解像度が最も低いことから、この参照画像変換部１５は、複数の参照画像を被処理画像と同一の解像度に変換する。なお、このように変換された参照画像を「変換参照画像」と呼ぶ。
【００２４】
係数算出部１６は、参照画像変換部１５で得られた複数の変換参照画像と参照画像変換部１５から渡される被処理画像とに基づいて、複数の変換参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出する処理部である。ここでは、同じ空間位置における画素値を用いて、複数の変換参照画像の線形結合で被処理画像を表現するための線形係数を算出する。
【００２５】
画像合成部１７は、画像読み出し部１４によって読み出された被処理画像と複数の参照画像、画像読み出し部１４から通知される解像度比率及び係数算出部１６で算出された変換係数等に基づいて、被処理画像の照明条件を変えることなく解像度を向上させた画像（以下、この画像を「合成画像」と呼ぶ。）を生成し、ディスプレイ１８に出力する処理部である。
【００２６】
具体的には、画像合成部１７は、画像読み出し部１４によって読み出された複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を係数算出部１６で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として出力する。
【００２７】
線形変換画像を修正して合成画像を生成する際には、画像合成部１７は、画像読み出し部１４によって読み出された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて線形変換画像を修正する。より詳しくは、画像合成部１７は、その線形変換画像を構成する画素のうち、一定条件を満たす画素を変換被処理画像の対応する画素で置き換えることによって線形変換画像を修正し、修正後の線形変換画像を合成画像として出力する。具体的には、画像合成部１７は、線形変換画像を画像読み出し部１４によって読み出された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と被処理画像の対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像の画素を変換被処理画像の画素で置き換えることによって線形変換画像を修正する。
【００２８】
ディスプレイ１８は、画像合成部１７から出力された合成画像を表示する液晶表示装置等である。
【００２９】
次に、以上のように構成された本実施の形態における画像合成装置の動作について説明する。ここでは、最初に、カメラ１１が画像を撮影して画像記憶部１２に複数の画像データを記憶し、その後、画像記憶部１２に記憶された画像データのうち、ユーザが選択した被処理画像と３枚の参照画像を用いて、合成画像を生成する例について説明する。
【００３０】
カメラ１１は、視点位置が固定で撮影方向（パン・チルト角）や撮影範囲（ズーム率）が可変であるパン・チルト・ズーム（ＰＴＺ）カメラであり、撮影される被写体は静止しているものとする。カメラ１１はあらかじめ定められたパン・チルト角、ズーム率、撮影タイミングに従って被写体を撮影し、デジタル化した画像データを画像記憶部１２に格納する。このとき画像データとともに、パン・チルト角を表す回転行列Ｒと、ズーム率に対応する焦点距離ｆの情報も画素対応情報として画像記憶部１２に格納しておく。
【００３１】
なお、任意の２画像Ｉｉ、Ｉｊにおける、画素座標（ｘｉ，ｙｉ）、（ｘｊ，ｙｊ）間の関係は、それぞれの撮影方向Ｒｉ，Ｒｊと焦点距離ｆｉ，ｆｊを用いて、数１に示される式で相互に変換することができる。
【００３２】
【数１】
2007018008.tif 000021
【００３３】
数１の式において、ｐｘ，ｐｙは１画素あたりの投影面上でのｘ座標方向とｙ座標方向の大きさであり、あらかじめキャリブレーションによって求めておく。また、ａはスケールを変換する係数であり、３行目の値が左辺と右辺で一致するように値を算出する。よって、本実施の形態では、任意の２画像Ｉｉ、Ｉｊにおける画素座標（ｘｉ，ｙｉ）、（ｘｊ，ｙｊ）間を関係づける情報である、数１に示される撮影方向Ｒと焦点距離ｆの情報とをあわせて「画素対応情報」と呼んでいる。
【００３４】
図３は、上記のようにしてカメラ１１で撮影され、画像記憶部１２に記憶された画像データと画素対応情報の例を示す図である。本実施の形態では、画像記憶部１２に記憶されている画像データの画素数は全て同じで、横（ｘ座標方向）が７６８画素、縦（ｙ座標方向）が１０２４画素であるものとする。また、図中での画像データの表記は、１画素あたりの大きさを一定として、図の大きさの大小が画像データの画素数の大小に対応するように表記する（特に断りが無い限り、以降の図においても同様）。図３（ａ）は、同一の被写体を、パン・チルト角を一定のまま、異なるズーム率で撮影した場合の画像であり、被写体表面での実空間上での単位長さに対する画素座標上での長さ、すなわち解像度が異なる画像となっている。また、撮影時の照明の位置や数、強さなどの照明条件の違いにより、被写体の陰影が異なる画像となっている。図３（ｂ）は、各画像を撮影した際の画素対応情報、すなわち撮影方向Ｒと焦点距離ｆの例である。なお、図中の焦点距離ｆは、数１の式中の画素の大きさｐｘ，ｐｙがともに０．０１９４９７［ｍｍ］の場合の値である。
【００３５】
以上のようにして、画像記憶部１２には、図３に示されるような解像度と照明条件の異なる複数の画像、および各画像の撮影方向と焦点距離で構成された画素対応情報が記憶される。
【００３６】
以下、画像記憶部１２に記憶された画像データのうち、入力部１３を介してユーザが選択した被処理画像と複数の参照画像、および被処理画像と合成画像の解像度比率ｋｏを用いて、合成画像を生成する際の動作について説明する。
【００３７】
図４は、合成画像の生成における前半の処理である変換係数を算出する手順（主に、参照画像変換部１５及び係数算出部１６による処理手順）を示すデータフロー図であり、図５は、合成画像の生成における後半の処理である画像合成の手順（主に、画像合成部１７による処理手順）を示すデータフロー図である。  ここでは、図６（ａ）の被処理画像Ｉｒ（７６８画素×１０２４画素）に対して、解像度が２倍（ｋｏ＝２）、すなわち同一撮影範囲の画素数が４倍（１５３６画素×２０４８画素）であり、かつ、照明条件が同一である図７（ａ）に示される合成画像Ｉｏを生成する際の動作を説明する。
【００３８】
図６（ａ）および図６（ｂ）は、入力部１３を介してユーザが選択し、画像読み出し部１４によって画像記憶部１２から読み出された被処理画像Ｉｒと３枚の参照画像Ｉｉおよびその画素対応情報の例を示す図である。被処理画像Ｉｒと参照画像Ｉｉは、照明位置と焦点距離が異なる画像である。図６の例において、焦点距離ｆは、被処理画像Ｉｒでは１２．０５［ｍｍ］であるのに対して、参照画像Ｉｉでは２４．１［ｍｍ］であり、参照画像Ｉｉは被処理画像Ｉｒの一部を拡大した画像となっている。また、照明位置は、被処理画像Ｉｒが被写体である人物像の正面（カメラ方向）であり、３枚の参照画像Ｉｉは、人物像の左１０度・上２０度、左２０度・下２０度、右２０度・下１０度の３方向から、照明をあてた画像である。なお、ユーザが参照画像Ｉｉを選択する際には、参照画像Ｉｉは被処理画像Ｉｒよりも解像度が高い（焦点距離が大きい）画像であり、かつ、それぞれの参照画像Ｉｉは異なる照明位置で撮影された画像であることが望ましい。
【００３９】
参照画像変換部１５は、まず、画像読み出し部１４によって読み出された被処理画像Ｉｒと参照画像Ｉｉ、および各画像に対応する画素対応情報から、被処理画像Ｉｒの解像度に対する参照画像Ｉｉ，（ｉ＝０…２）の解像度の比率ｋｉを算出する。ここで解像度の比率ｋｉは、焦点距離の比率ｆｉ／ｆｒを用いるものとする。図６の例では、各参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度（ｋｉ＝２）である。なお、解像度の比率は、焦点距離の比率の代わりに、各画像の対応情報Ｒ，ｆから数１の式を用いて１画素の大きさの比率、またはその平均値から算出しても良い。
【００４０】
次に、参照画像変換部１５は、各参照画像Ｉｉの解像度の比率の逆数１／ｋｉに応じたローパスフィルタにより、参照画像Ｉｉの高域成分を除去する（図４のステップＳ１０）。すなわち、参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度であることから、参照画像Ｉｉの周波数帯域の１／２のカットオフ周波数（参照画像Ｉｉのサンプリング周波数の１／４のカットオフ周波数）を持つローパスフィルタにより、高域成分を除去する。そして最後に、被処理画像Ｉｒの各画素座標に対応する画素値として、数１の式で求めた画素座標のフィルタ処理した参照画像Ｉｉの画素値を用い、これを変換参照画像Ｉｓｉとして出力する。
【００４１】
図７（ｂ）は、上記の手順（図４のステップＳ１０）によって生成された変換参照画像Ｉｓｉの例であり、３枚の参照画像Ｉｉに１／２のローパスフィルタをかけた後に、再サンプルすることで生成した解像度が１／２の画像に相当する。なお、図７（ｂ）中の斜線部分は、参照画像Ｉｉ中に対応する画素が無い領域を指し、図７（ｂ）の変換参照画像Ｉｓｉは、図６（ａ）の被処理画像Ｉｒの人物像（白破線内）の領域にのみ画素値が存在するものである。
【００４２】
続いて、係数算出部１６は、参照画像変換部１５で算出された変換参照画像Ｉｓｉを用いて変換係数Ｃを算出する（図４のステップＳ１１）。変換係数Ｃ＝（ｃ０，ｃ１，ｃ２）は、被処理画像Ｉｒの画素座標（ｘ，ｙ）の画素値をＩｒ（ｘ，ｙ）、変換参照画像Ｉｓｉの対応する画素値をＩｓｉ（ｘ，ｙ），ｉ＝０…２とすると、以下の数２に示される式が成り立つ。
【００４３】
【数２】
2007018008.tif 000022
【００４４】
したがって、係数算出部１６は、３点以上の被処理画像Ｉｒと変換参照画像Ｉｓｉの対応する画素座標の画素値を与えることで、変換係数Ｃを算出することができる。図７（ｂ）の例において算出された変換係数Ｃは、（ｃ０，ｃ１，ｃ２）＝（０．４４，０．２２，０．４３）であった。
【００４５】
なお、上記の数２の式は、被処理画像Ｉｒおよび参照画像Ｉｉ中の被写体表面が完全拡散反射面であり、かつ光源が平行光である場合に、影ではない画素について成り立つ式であり、Ｓｈａｓｈｕａらによって提案された理論である。詳細は「Ｓｈａｓｈｕａ，Ａ．，“Ｇｅｏｍｅｔｒｙ  ａｎｄ  Ｐｈｏｔｏｍｅｔｒｙ  ｉｎ  ３Ｄ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｈ．Ｄ．  ｔｈｅｓｉｓ，Ｄｅｐｔ．  Ｂｒａｉｎ  ａｎｄ  Ｃｏｇｎｉｔｉｖｅ  Ｓｃｅｉｅｎｃｅ，ＮＩＴ，１９９２．」に記載されているので、ここでは詳細な説明は行わない。また、被処理画像Ｉｒおよび参照画像Ｉｉに鏡面反射や影が含まれている場合や、完全な拡散反射で無い場合、また、光源が完全な平行光でない場合でも、数２の式が近似的に成り立つ場合があるが、このような場合、上述した方法では数２の式における変換係数Ｃを求めることができない。しかし、鏡面反射や影が含まれている場合に、変換係数Ｃを算出する別の手法が、「向川康博，宮木一，三橋貞彦，尺長健，“Ｐｈｏｔｏｍｅｔｒｉｃ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇによる仮想照明画像の生成”，情報処理学会論文誌：コンピュータビジョンとイメージメディア，ｖｏｌ．４１，Ｎｏ．ＳＩＧ１０（ＣＶＩＭ１），ｐｐ．１９−３０，２０００．」などに記載されているので、ここでは詳細な説明は行わない。
【００４６】
続いて、合成画像を生成するために、画像合成部１７は、まず、被処理画像Ｉｒおよび被処理画像Ｉｒと合成画像Ｉｏの解像度比率ｋｏから、被処理画像Ｉｒを拡大した変換被処理画像Ｉｒｏを生成する（図５のステップＳ２０）。画像合成部１７は、被処理画像Ｉｒから変換被処理画像Ｉｒｏを生成する方法として、バイリニア補間やバイキュービック補間などの一般的に知られた方法を用いる。さらに、画像合成部１７は、複数の参照画像Ｉｉを、変換被処理画像Ｉｒｏと同じ解像度となるように変換した変換参照画像Ｉｏｉを生成する（図５のステップＳ２１）。図８に変換被処理画像Ｉｒｏ、図９に変換参照画像Ｉｏｉの例を、それぞれ示す。
【００４７】
次に、画像合成部１７は、変換係数Ｃと変換参照画像Ｉｏｉの画素値Ｉｏｉ（ｘｏ，ｙｏ）とを用いて、以下の数３に示される式によって、線形変換画像Ｉｐの画素座標（ｘｏ，ｙｏ）の画素値Ｉｐ（ｘｏ，ｙｏ）を生成する（図５のステップＳ２２）。図１０に、図９の変換参照画像Ｉｏｉと変換係数Ｃを用いて生成した線形変換画像Ｉｐの例を示す。
【００４８】
【数３】
2007018008.tif 000023
【００４９】
最後に、画像合成部１７は、変換被処理画像Ｉｒｏを用いて線形変換画像Ｉｐを修正することによって合成画像Ｉｏを生成する（図５のステップＳ２３、Ｓ２４）。そのために、画像合成部１７は、まず、線形変換画像Ｉｐの解像度を、被処理画像Ｉｒと同じ解像度に変換した変換線形変換画像Ｉｐｒを生成する（図５のステップＳ２３）。そして、画像合成部１７は、合成画像Ｉｏの画素座標（ｘｏ，ｙｏ）の画素値Ｉｏ（ｘｏ，ｙｏ）として、被処理画像Ｉｒの画素値Ｉｒ（ｘｏ／ｋ，ｙｏ／ｋ）と変換線形変換画像Ｉｐｒの画素値Ｉｐｒ（ｘｏ／ｋ，ｙｏ／ｋ）との差の絶対値があらかじめ定められた閾値ｔｈ以下である場合は線形変換画像の画素値Ｉｐ（ｘｏ，ｙｏ）を、そうで無い場合は変換被処理画像Ｉｒｏの画素値Ｉｒｏ（ｘｏ，ｙｏ）を代入することで、合成画像Ｉｏを生成する（図５のステップＳ２４；数４）。つまり、画像合成部１７は、変換線形変換画像Ｉｐｒと被処理画像Ｉｒの対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像Ｉｐの画素を変換被処理画像Ｉｒｏの画素で置き換えることによって線形変換画像Ｉｐを修正し、修正した線形変換画像Ｉｐを合成画像Ｉｏとして生成する。
【００５０】
【数４】
2007018008.tif 000024
【００５１】
以上の手順により生成された合成画像Ｉｏの例を図１１に示す。図１１（ａ）の合成画像Ｉｏは、被処理画像Ｉｒをバイリニアにより拡大した図１１（ｂ）より解像度の高い画像を生成できており、かつ、照明条件は元の被処理画像Ｉｒと同一であることがわかる。
【００５２】
なお、上述の例では、複数の参照画像Ｉｉの解像度が同じで、かつ、参照画像Ｉｉの解像度が合成画像Ｉｏの解像度と同じである例を示した。このような解像度の条件においては、被写体表面が完全拡散面であり、かつ、光源が並行光であれば、数３の式によって、誤差無く高解像度の合成画像Ｉｏを生成することができる。しかし、参照画像Ｉｉの解像度が合成画像Ｉｏの解像度より低い場合は、原理的に数３の式が満たされるとは限らない。しかしながら、一部の参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度より低い場合であっても、バイリニア補間で拡大するよりは良くなる場合があることが発明者らの実験により確認できた。
【００５３】
図１２は、そのような解像度が異なる被処理画像Ｉｒと参照画像Ｉｉの例を示す図である。図１３は、本実施の形態における画像合成装置によって、図１２に示された被処理画像Ｉｒを２、４、８倍にそれぞれ拡大して得られた合成画像Ｉｏと、被処理画像Ｉｒをバイリニア補間して生成された画像との画質を比較したグラフ図である。縦軸は、評価値であり、真の画像に対する各画像との誤差をＰＳＮＲ（Ｐｅａｋ−Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）で示したものであり、横軸は、解像度の拡大率である。このグラフにおいて、本発明の手法により生成された合成画像Ｉｏ（図中の提案法）のＰＳＮＲがバイニリア補間で生成された画像よりも高いＰＳＮＲを示していることから分かるように、本発明の手法により生成された合成画像Ｉｏが優れていることがわかる。このことから、数３の式は、全ての参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度と同じか高い場合に原理的に成り立ち、それ以外の場合は誤差を含むこととなるが、そのような場合においても、他の一般的な合成方法よりも優れている場合があると言える。
【００５４】
以上のように、本実施の形態によれば、被処理画像Ｉｒと複数の参照画像Ｉｉの解像度が異なる場合であっても、参照画像変換部において生成した同一の解像度の変換参照画像Ｉｓｉを用いることで正しい変換係数を算出することができ、これによって照明条件と解像度の異なる参照画像Ｉｉから、被処理画像Ｉｒを高解像度化した合成画像Ｉｏを得ることができるという効果がある。
【００５５】
なお、本実施の形態では、画像記憶部１２に記憶されている画像データは、カメラ１１の撮影範囲（ズーム）のみを変化させて撮影された画像であるとしたが、撮影方向（パン・チルト）と撮影範囲（ズーム）が異なる画像であっても良い。
【００５６】
また、本実施の形態において、参照画像変換部１５は、被処理画像Ｉｒと参照画像Ｉｉの対応する画素の画素値として、各画像に解像度の比率に応じたローパスフィルタをかけた画素値を用いたが、ローパスフィルタをかける代わりに、近傍の画素値が同一の領域、もしくは、近傍の画素値の変化が予め定められた閾値より小さい領域を抽出し、その画素値を用いても良い。
【００５７】
図１４は、その例を示す図である。なお、ここに示された参照画像Ｉｉと被処理画像Ｉｒは図６と同じであり、参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度（ｋｉ＝２）である。このとき、参照画像変換部１５は、図１４に示される矩形領域のように、被処理画像Ｉｒの画素座標に対応する各参照画像Ｉｉの画素座標の近傍ｋｉ×ｋｉ（２×２）画素の小領域において、各小領域内の画素値が同一となる組を抽出する。図１４（ｂ）に示された参照画像Ｉｉ中の各３つの矩形小領域（２×２画素）は、それぞれ、小領域内で同一画素値であり、かつ、図１４（ａ）中の被処理画像Ｉｒの３つの画素（小矩形）に対応する。参照画像変換部１５は、このときの被処理画像Ｉｒと各参照画像Ｉｉの画素値の組を変換参照画像Ｉｓｉとして出力してもよい。
【００５８】
このようにして求められた変換参照画像Ｉｓｉを用いることで、係数算出部１６は、ローパスフィルタをかけた画素値を用いる場合と同様に、参照画像Ｉｉと被処理画像Ｉｒの解像度が異なる場合であっても、数２の式における変換係数をより正しく求めることができる。
【００５９】
また、本実施の形態において、参照画像変換部１５には、入力部１３を介してユーザが選択した被処理画像Ｉｒと３枚の参照画像Ｉｉが画像読み出し部１４によって画像記憶部１２から読み出されて入力されたが、被処理画像Ｉｒについてはユーザが選択し、参照画像Ｉｉについては参照画像変換部１５が画像記憶部１２から直接、３枚の参照画像Ｉｉを読み出してもよい。具体的には、参照画像変換部１５は、被処理画像Ｉｒの画素対応情報、すなわち撮影方向と焦点距離を用いて、画像記憶部１２に記憶された画像から、被処理画像Ｉｒの撮影範囲（視野角）を撮影し、かつ、被処理画像Ｉｒより解像度の高い画像を複数読み出し、参照画像Ｉｉとして用いる。
【００６０】
また、本実施の形態において、参照画像Ｉｉは３枚であったが、参照画像Ｉｉは３枚より多くても良い。参照画像が３枚より多い場合、Ｓｈａｓｈｕａの理論における、被処理画像および参照画像中の被写体表面が完全拡散反射面であり、かつ光源が平行光であるという条件から外れた場合であっても、３枚より多い参照画像の線形結合によって、被処理画像と同じ照明条件の合成画像を近似的に生成することができるという効果がある。また、被処理画像と参照画像がＳｈａｓｈｕａの理論の条件を満たしている場合であっても、例えば、被処理画像と２つの参照画像を撮影した際の光源ベクトルが同一直線上に存在する場合、２つの参照画像を用いて、その線形結合で被処理画像と同じ照明条件の合成画像を生成できる。
【００６１】
また、本発明の実施の形態では、個別の処理部は個別の回路等のハードウェアによって実現されるものとして説明したが、１つのＩＣなどに収まっているものであっても良いし、図１５に示されるようなカメラ１０１、Ａ／Ｄ変換器１０２、フレームメモリ１０３及び１０７、ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６、Ｄ／Ａ変換器１０８、ディスプレイ１０９、ＨＤＤ１１０等を備えたコンピュータ装置を用い、各処理手段をコンピュータ（ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６など）で実行されるソフトウェアによって実現しても良く、本発明の実施の形態と同様の効果を得ることができる。
【００６２】
つまり、図１５に示されるように、本発明に係る画像合成装置として、被処理画像から、被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得するカメラ１０１と、カメラ１０１によって取得された被処理画像と複数の参照画像とを記憶する記憶装置（ＨＤＤ１１０）と、ＨＤＤ１１０やＲＯＭ１０５等に格納されたプログラムを実行することにより、（１）記憶装置から被処理画像と複数の参照画像とを読み出すことによって、被処理画像と複数の参照画像とを取得し、（２）取得した被処理画像と複数の参照画像とが同一の解像度になるように、被処理画像及び複数の参照画像の少なくとも１つの解像度を変換し、（３）同一の解像度となった被処理画像と複数の参照画像とに基づいて、複数の参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出し、（４）複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として生成するプロセッサ（ＣＰＵ１０４）と、プロセッサによって生成された合成画像を表示するディスプレイ装置（ディスプレイ１０９）等とを備える画像合成装置として実現してもよい。
【００６３】
また、本実施の形態における構成要素と特許請求の範囲における構成要素との関係は以下の通りである。つまり、本実施の形態におけるカメラ１１は特許請求の範囲における画像取得手段の一例であり、参照画像変換部１５は特許請求の範囲における画像変換手段の一例であり、係数算出部１６は特許請求の範囲における変換係数算出手段の一例であり、画像合成部１７は特許請求の範囲における画像合成手段の一例である。
【産業上の利用可能性】
【００６４】
本発明は、被処理画像の解像度を向上させる画像合成装置として、例えば、デジタルカメラ、ムービー、監視用カメラなどで撮影された画像や、ＴＶ放送などを録画した画像を編集加工して出力する画像合成装置や画像編集装置等として有用である。また、その利用形態はカメラ本体に内蔵されるものであっても良いし、ＴＶやディスプレイに内蔵されるものであっても良い。
【図面の簡単な説明】
【００６５】
【図１】図１は、従来の画像合成装置で生成した画像の一例を示す図である。
【図２】図２は、本発明の実施の形態における画像合成装置の構成図である。
【図３】図３は、画像記憶部に記憶されている画像データの一例を示す図である。
【図４】図４は、合成画像の生成における前半処理である変換係数を算出する手順を示すデータフロー図である。
【図５】図５は、合成画像の生成における後半処理である画像合成の手順を示すデータフロー図である。
【図６】図６は、被処理画像と参照画像の一例を示す図である。
【図７】図７は、合成画像と変換参照画像の一例を示す図である。
【図８】図８は、変換被処理画像の一例を示す図である。
【図９】図９は、変換参照画像の一例を示す図である。
【図１０】図１０は、線形変換画像の一例を示す図である。
【図１１】図１１は、合成画像の一例を示す図である。
【図１２】図１２は、別の被処理画像と参照画像の一例を示す図である。
【図１３】図１３は、本発明の効果を示す拡大率とＰＳＮＲとの関係の一例を示す図である。
【図１４】図１４は、小領域を用いて変換参照画像を生成する方法の一例を示す図である。
【図１５】図１５は、画像合成装置をコンピュータにより構成した場合の構成図である。
【符号の説明】
【００６６】
１１    カメラ
１２    画像記憶部
１３    入力部
１４    画像読み出し部
１５    参照画像変換部
１６    係数算出部
１７    画像合成部
１８    ディスプレイ
１０１    カメラ
１０２    Ａ／Ｄ変換器
１０３、１０７    フレームメモリ
１０４    ＣＰＵ
１０５    ＲＯＭ
１０６    ＲＡＭ
１０８    Ｄ／Ａ変換器
１０９    ディスプレイ
１１０    ＨＤＤ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007018008.tif 000025
【図２】
2007018008.tif 000026
【図３】
2007018008.tif 000027
【図４】
2007018008.tif 000028
【図５】
2007018008.tif 000029
【図６】
2007018008.tif 000030
【図７】
2007018008.tif 000031
【図８】
2007018008.tif 000032
【図９】
2007018008.tif 000033
【図１０】
2007018008.tif 000034
【図１１】
2007018008.tif 000035
【図１２】
2007018008.tif 000036
【図１３】
2007018008.tif 000037
【図１４】
2007018008.tif 000038
【図１５】
2007018008.tif 000039
【国際調査報告】
2007018008.tif 000040
2007018008.tif 000041
2007018008.tif 000042
2007018008.tif 000043