(57)【要約】第１画像及び第２画像から、合成画像を生成する画像合成装置であって、第１画像及び第２画像は重なり合う共通画像を有し、第１画像の共通画像である第１共通画像の明度と、第２画像の共通画像である第２共通画像の明度とを比較する比較部と、比較部の比較結果に基づいて、第２画像の少なくとも一部の明度を、第１画像の明度に調整する調整部と、調整部によって明度が調整された第２画像と第１画像とを含む合成画像を生成する合成画像生成部とを備えることを特徴とする画像合成装置を提供する。
2004057531.tif 000002
【特許請求の範囲】
【請求項１】
第１画像及び第２画像から、合成画像を生成する画像合成装置であって、
前記第１画像及び前記第２画像は重なり合う共通画像を有し、
前記第１画像の前記共通画像である第１共通画像の明度と、前記第２画像の前記共通画像である第２共通画像の明度とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第２画像の少なくとも一部の明度を、前記第１画像の明度に調整する調整部と、
前記調整部によって明度が調整された前記第２画像と前記第１画像とを含む合成画像を生成する合成画像生成部と
を備えることを特徴とする画像合成装置。
【請求項２】
前記比較部は、所定の色毎に、前記第１共通画像の明度と、前記第２共通画像の明度とを比較し、
前記調整部は、前記比較部の比較結果に基づいて、前記第２画像の少なくとも一部における前記所定の色毎の明度を、前記第１画像の前記所定の色毎の明度に調整することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記比較部は、前記第１共通画像の色度と前記第２共通画像の色度とを更に比較し、
前記調整部は、前記比較部の比較結果に基づいて、前記第２画像の少なくとも一部の色度を、前記第１画像の色度に更に調整することを特徴とする請求項１に記載の画像合成装置。
【請求項４】
前記比較部は、
前記第２共通画像の各画素と、前記第１共通画像の対応する各画素との明度差を算出し、前記明度差に基づいて前記第２画像の画素の明度毎に補正係数を算出する補正係数算出部を有し、
前記調整部は、前記明度毎の補正係数に基づいて、前記第２画像の各画素の明度を調整することを特徴とする請求項１に記載の画像合成装置。
【請求項５】
前記補正係数算出部は、所定の範囲内の明度を有する前記第２共通画像における画素と、所定の範囲内の明度を有し前記第２共通画像の画素と対応する前記第１共通画像の画素との明度差を算出し、前記明度差に基づいて前記第２画像の全ての明度に対する前記補正係数を算出することを特徴とする請求項４に記載の画像合成装置。
【請求項６】
前記比較部は、
前記第１共通画像における各画素の明度の分布の標準偏差である第１標準偏差、及び前記第２共通画像における各画素の明度の分布の標準偏差である第２標準偏差を算出する偏差算出部を更に有し、
前記補正係数算出部は、前記第１共通画像における明度の平均値から、前記第１標準偏差の定数倍の範囲内の明度を有する前記第１共通画像における画素と、前記第２共通画像における明度の平均値から、前記第２標準偏差の前記定数倍の範囲内の明度を有し、前記第１共通画像の画素と対応する前記第２共通画像の画素との明度差を算出し、前記明度差に基づいて前記補正係数を算出することを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記比較部は、前記第１共通画像及び前記第２共通画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接している場合、前記高明度画素以外の領域における明度を比較することを特徴とする請求項１に記載の画像合成装置。
【請求項８】
前記補正係数算出部は、算出した前記明度差において、前記明度差が所定の値より小さい領域を抽出し、抽出した前記領域における前記明度差に基づいて、前記補正係数を算出することを特徴とする請求項４に記載の画像合成装置。
【請求項９】
前記画像合成装置は、第３画像を更に合成して前記合成画像を生成し、
前記第３画像は、前記第２画像と重なり合う第３共通画像を有し、
前記第２画像は、前記第３共通画像と重なり合う第４共通画像を有し、
前記比較部は、前記第１共通画像の明度と前記第２共通画像の明度との比較結果、及び前記第３共通画像の明度と前記第４共通画像の明度との比較結果に基づいて、前記第３画像の少なくとも一部の明度を、前記第１画像の明度に更に調整し、
前記合成画像生成部は、前記調整部によって明度が調整された前記第２画像及び前記第３画像、並びに前記第１画像とを含む合成画像を生成することを特徴とする請求項１に記載の画像合成装置。
【請求項１０】
与えられた複数の画像のうち、指定された画像を前記第１画像として選択し、他の画像を前記第２画像として選択する選択部を更に備え、
前記調整部は、前記第２の画像の少なくとも一部の明度を、指定された前記第１の画像の明度に調整することを特徴とする請求項１に記載の画像合成装置。
【請求項１１】
与えられた複数の画像のうち、前記共通画像における各画素の明度の分布の標準偏差が最も大きい画像を前記第１画像として選択し、他の画像を前記第２画像として選択する選択部を更に備えることにより、前記調整部に前記第２画像の少なくとも一部の明度を、前記標準偏差が最も大きい画像である前記第１画像の明度に調整させることを特徴とする請求項１に記載の画像合成装置。
【請求項１２】
前記合成画像生成部は、前記第１画像及び前記第２画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、前記高明度画素の領域に代えて、他の画像を用いて前記合成画像を生成することを特徴とする請求項１に記載の画像合成装置。
【請求項１３】
コンピュータを、第１画像及び第２画像から合成画像を生成する画像合成装置として機能させるプログラムであって、
前記第１画像及び前記第２画像は重なり合う共通画像を有し、
前記プログラムは前記コンピュータを、
前記第１画像の前記共通画像である第１共通画像の明度と、前記第２画像の前記共通画像である第２共通画像の明度とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第２画像の少なくとも一部の明度を、前記第１画像の明度に調整する調整部と、
前記調整部によって明度が調整された前記第２画像と前記第１画像とを含む合成画像を生成する合成画像生成部と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】  本発明は、複数の画像から合成画像を生成する画像合成装置に関する。
【背景技術】  従来、複数の元画像から一つの合成画像を生成する画像合成が行われている。例えば、異なる位置の小領域を撮影した複数の画像を合成し、一つの大領域の合成画像を生成している。概念的には、それぞれの元画像を平面に投影することによって合成画像が合成される。
このような画像合成の一例として、複数の衛星画像を合成して一つの合成画像を生成する場合がある。この場合、異なる緯度経度の位置を撮影した元画像を合成することにより、大領域の合成画像を生成している。
しかし、従来の画像合成において、元画像の撮影条件が異なる場合、画像合成した合成画像が好ましくない場合がある。例えば、撮影時期が異なる場合、それぞれの元画像の色味が異なるため、合成画像のそれぞれの領域において色味が異なってしまう。また、元画像の明度が異なる場合、合成画像のそれぞれの領域において明度が異なってしまう。
また、複数の衛星画像を合成して、大領域の地形情報を有する合成画像を生成するような場合、それぞれの衛星画像に雲が撮影されると当該箇所の地形情報が抜けてしまう。
そこで本発明は、上記の課題を解決することのできる画像合成装置、及びプログラムを提供することを目的とする。この目的は、請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【発明の開示】
上記課題を解決するために、本発明の第１の形態においては、第１画像及び第２画像から、合成画像を生成する画像合成装置であって、第１画像及び第２画像は重なり合う共通画像を有し、第１画像の共通画像である第１共通画像の明度と、第２画像の共通画像である第２共通画像の明度とを比較する比較部と、比較部の比較結果に基づいて、第２画像の少なくとも一部の明度を、第１画像の明度に調整する調整部と、調整部によって明度が調整された第２画像と第１画像とを含む合成画像を生成する合成画像生成部とを備えることを特徴とする画像合成装置を提供する。
比較部は、所定の色毎に、第１共通画像の明度と、第２共通画像の明度とを比較し、調整部は、比較部の比較結果に基づいて、第２画像の少なくとも一部における所定の色毎の明度を、第１画像の所定の色毎の明度に調整してよい。また、比較部は、第１共通画像の色度と第２共通画像の色度とを更に比較し、調整部は、比較部の比較結果に基づいて、第２画像の少なくとも一部の色度を、第１画像の色度に更に調整してもよい。
比較部は、第２共通画像の各画素と、第１共通画像の対応する各画素との明度差を算出し、明度差に基づいて第２画像の画素の明度毎に補正係数を算出する補正係数算出部を有し、調整部は、明度毎の補正係数に基づいて、第２画像の各画素の明度を調整してよい。補正係数算出部は、所定の範囲内の明度を有する第２共通画像における画素と、所定の範囲内の明度を有し第２共通画像の画素と対応する第１共通画像の画素との明度差を算出し、明度差に基づいて第２画像の全ての明度に対する補正係数を算出してよい。
比較部は、第１共通画像における各画素の明度の分布の標準偏差である第１標準偏差、及び第２共通画像における各画素の明度の分布の標準偏差である第２標準偏差を算出する偏差算出部を更に有し、補正係数算出部は、第１共通画像における明度の平均値から、第１標準偏差の定数倍の範囲内の明度を有する第１共通画像における画素と、第２共通画像における明度の平均値から、第２標準偏差の定数倍の範囲内の明度を有し、第１共通画像の画素と対応する第２共通画像の画素との明度差を算出し、明度差に基づいて補正係数を算出してよい。
比較部は、第１共通画像及び第２共通画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接している場合、高明度画素以外の領域における明度を比較してよい。
補正係数算出部は、算出した明度差において、明度差が所定の値より小さい領域を抽出し、抽出した領域における明度差に基づいて、補正係数を算出してよい。画像合成装置は、第３画像を更に合成して合成画像を生成し、第３画像は、第２画像と重なり合う第３共通画像を有し、第２画像は、第３共通画像と重なり合う第４共通画像を有し、比較部は、第１共通画像の明度と第２共通画像の明度との比較結果、及び第３共通画像の明度と第４共通画像の明度との比較結果に基づいて、第３画像の少なくとも一部の明度を、第１画像の明度に更に調整し、合成画像生成部は、調整部によって明度が調整された第２画像及び第３画像、並びに第１画像とを含む合成画像を生成してよい。
画像合成装置は、与えられた複数の画像のうち、指定された画像を第１画像として選択し、他の画像を第２画像として選択する選択部を更に備え、調整部は、第２の画像の少なくとも一部の明度を、指定された第１の画像の明度に調整してよい。
また、画像合成装置は、与えられた複数の画像のうち、共通画像における各画素の明度の分布の標準偏差が最も大きい画像を第１画像として選択し、他の画像を第２画像として選択する選択部を更に備えることにより、調整部に第２画像の少なくとも一部の明度を、標準偏差が最も大きい画像である第１画像の明度に調整させてもよい。
合成画像生成部は、第１画像及び第２画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、高明度画素の領域に代えて、他の画像を用いて合成画像を生成してよい。
本発明の第２の形態においては、コンピュータを、第１画像及び第２画像から合成画像を生成する画像合成装置として機能させるプログラムであって、第１画像及び第２画像は重なり合う共通画像を有し、プログラムはコンピュータを、第１画像の共通画像である第１共通画像の明度と、第２画像の共通画像である第２共通画像の明度とを比較する比較部と、比較部の比較結果に基づいて、第２画像の少なくとも一部の明度を、第１画像の明度に調整する調整部と、調整部によって明度が調整された第２画像と第１画像とを含む合成画像を生成する合成画像生成部として機能させることを特徴とするプログラムを提供する。
尚、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。
【図面の簡単な説明】    図１は、本発明の実施形態に係る画像合成装置１００の構成の一例を示す図である。
図２は、画像合成装置１００の動作の一例を説明する図である。
図３は、比較部１０の動作の一例を説明する図である。図３（ａ）は、偏差算出部２０が算出した第１共通画像の明度の分布の一例を示し、図３（ｂ）は、偏差算出部２０が算出した第２共通画像の明度の分布の一例を示す。
図４は、第１共通画像の画素と、対応する第２共通画像の画素との明度差の分布の一例を示す図である。
図５は、第１共通画像及び第２共通画像の一例を示す図である。
図６は、合成画像生成部６０が合成した合成画像の一例を示す図である。
図７は、画像合成装置１００の動作の一例を示すフローチャートである。
図８は、画像合成装置１００として機能するコンピュータ２００の構成の一例を示す図である。
【発明を実施するための最良の形態】  以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施形態に係る画像合成装置１００の構成の一例を示す。画像合成装置１００は、重なり合う共通画像を複数の画像から合成画像を生成する。本例においては、重なり合う共通画像を有する第１画像及び第２画像から合成画像を生成する場合について説明する。
画像合成装置１００は、比較部１０、選択部４０、調整部５０、及び合成画像生成部６０を備える。選択部４０は、第１画像又は第２画像のいずれの明度及び色度に、他の画像の明度及び色度を調整するかを選択する。例えば、選択部４０は、使用者の指示に応じて与えられる指示信号に基づいて、第１画像又は第２画像の一方を基準画像として選択し、他方を明度及び色度が調整されるべき調整画像として選択する。
また、他の例においては、選択部４０は、第１画像及び第２画像の色度及び明度の分布の標準偏差に基づいて、基準画像及び調整画像を選択してもよい。例えば、選択部４０は、色度の分布の標準偏差が最も大きい画像を基準画像として選択してよい。つまり、レンジの大きい画像の明度及び色度に、他の画像の明度及び色度を調整することにより、より好ましい画像を合成することができる。また、選択部４０は、撮影時期、撮影時の天候、撮影角度等の撮影条件に基づいて、複数の画像から基準画像を選択してもよい。また、選択部４０は、画像合成装置１００に与えられた複数の画像から、略同一の撮影条件によって撮影された画像を選択し、画像合成装置１００は、選択された画像を合成して合成画像を生成してもよい。また、選択部４０は、与えられた画像の撮影時及び撮影場所と、当該撮影場所の撮影時における天候の情報とに基づいて、画像を選択してもよい。本例においては、選択部４０が第１画像を基準画像として選択し、第２画像を調整画像として選択する場合について説明する。
比較部１０は、第１画像及び第２画像を受け取り、第１画像の共通画像である第１共通画像の明度及び色度と、第２画像の共通画像である第２共通画像の明度及び色度とを比較し、第１画像又は第２画像の明度及び色度を調整するための補正係数を算出する。また、比較部１０は、所定の色毎に、第１共通画像の明度と、第２共通画像の明度とを比較することが好ましい。
また、比較部１０は、それぞれの共通画像における画素の明度及び色度の分布及び標準偏差を算出し、選択部４０に通知する偏差算出部２０と、第１画像及び第２画像の明度及び色度の差分に基づいて、いずれかの画像の明度及び色度を調整するための補正係数を算出する補正係数算出部３０を有する。補正係数算出部３０は、選択部４０が選択した基準画像及び選択画像に応じて、補正係数を算出する。偏差算出部２０及び補正係数算出部３０の動作の詳細については後述する。
調整部５０は、比較部１０の比較結果に基づいて、第２画像の少なくとも一部の明度を、第１画像の明度に調整する。つまり、調整部５０は、補正係数算出部３０が算出した補正係数に応じて、選択部４０が選択した調整画像の明度及び色度を調整する。また、調整部５０は、第２画像の少なくとも一部における所定の色毎の明度を、第１画像の所定の色毎の明度に調整することが好ましい。
合成画像生成部６０は、調整部５０によって明度が調整された第２画像と第１画像とを含む合成画像を生成する。合成画像生成部６０の動作の詳細については後述する。
本例における画像合成装置１００によれば、複数の画像の明度及び色度の差を調整し、明度及び色度が統一された合成画像を生成することができる。つまり、第１共通画像及び第２共通画像は、同一の領域を撮影した画像であるため、対応する画素同士の明度差、色度差等を算出し、算出した明度差等に応じて第１画像又は第２画像の全体の画素値を補正することにより、明度及び色度の調整をすることができる。このため、異なる時期、異なる天気、異なる撮影角度等の異なる撮影条件において撮影され、明度及び色度の異なる複数の衛星画像から画像を合成した場合であっても、第１共通画像及び第２共通画像の明度差等に基づいて画像を補正することにより、同一の撮影条件で撮影された画像から合成する場合と同様に明度及び色度が統一された合成画像を生成することができる。
図２は、画像合成装置１００の動作の一例を説明する図である。本例においては、画像合成装置１００が、第１画像、第２画像、及び第３画像を合成する場合について説明する。第１画像は、第２画像と重なり合う第１共通画像を含み、第３画像は第２画像と重なり合う第３共通画像を含む。また、第２画像は、第１画像と重なり合う第２共通画像、及び第３画像と重なり合う第４共通画像を含む。
選択部４０は、第１画像を基準画像として選択し、第２画像及び第３画像を順次調整画像として選択する。比較部１０は、第１共通画像の明度と第２共通画像の明度との比較結果、及び第３共通画像の明度と第４共通画像の明度との比較結果に基づいて、第３画像の少なくとも一部の明度を、第１画像の明度に調整する。
補正係数算出部３０は、共通画像における明度及び色度の差分に基づいて補正係数を算出する。つまり、補正係数算出部３０は、第２共通画像の明度及び色度と、第１共通画像の明度及び色度の差分、並びに第３共通画像の明度及び色度と、第４共通画像の明度及び色度の差分を算出する。補正係数算出部３０は、第２共通画像の明度及び色度と、第１共通画像の明度及び色度の差分に基づいて、第２画像を補正するための補正係数を算出し、第２共通画像の明度及び色度と、第１共通画像の明度及び色度の差分、並びに第３共通画像の明度及び色度と、第４共通画像の明度及び色度の差分に基づいて、第３画像を補正するための補正係数を算出する。調整部５０は当該補正係数に基づいて、対応する第２画像の全体及び第３画像の全体の明度及び色度を、第１画像の明度及び色度に調整する。
合成画像生成部６０は、明度及び色度が調整された第２画像及び第３画像と、第１画像とを、一つの平面に投影することにより合成し、合成画像を生成する。また、合成画像生成部６０は、合成画像を所定のトリミング枠に基づいて、トリミングしてもよい。このとき、共通画像の領域については、選択部４０が選択した共通画像を用いて合成画像を生成する。本例においては、第１画像と第２画像の共通画像領域には第１共通画像を使用し、第２画像と第３画像の共通画像領域には第２共通画像を使用する。選択部４０は、例えばそれぞれの共通画像において、雲等の不要な画像が少ない共通画像を選択してよい。
図３は、比較部１０の動作の一例を説明する図である。前述したように第１共通画像及び第２共通画像は、同一の領域を撮影した画像であるため、対応する画素同士の明度差、色度差等を算出し、算出した明度差等に応じて第１画像又は第２画像の全体の画素値を補正することにより、明度及び色度の調整をすることができる。しかし、いずれかの共通画像に雲や影のような不要な画像が撮影されている場合、これらの画像要素を含めて明度差を算出すると、精度よく明度差を算出することができない。本例における比較部１０は、これらの不要な画像要素を除去して、第１共通画像と第２共通画像の明度差等を算出する。
まず、偏差算出部２０は、与えられた第１画像及び第２画像から、第１共通画像及び第２共通画像を抽出する。偏差算出部２０は、例えば第１画像及び第２画像に付加された付加情報に基づいて第１共通画像及び第２共通画像を抽出する。つまり、画像の撮影領域の緯度経度の情報等に基づいて、それぞれの共通画像を抽出してよい。また、第１画像及び第２画像には、予め共通画像の情報が付加されており、比較部１０は、当該情報に基づいてそれぞれの共通画像を抽出してもよい。
補正係数算出部３０は、第１共通画像の各画素と、第２共通画像の対応する各画素との明度差を算出し、明度差に基づいて第２画像の画素の明度毎に補正係数を算出する。ここで、補正係数算出部３０は、所定の範囲内の明度を有する第１共通画像における画素と、所定の範囲内の明度を有し前記第１共通画像の画素と対応する第２共通画像の画素との明度差を算出し、当該明度差に基づいて補正係数を算出する。当該所定の範囲は、偏差算出部２０から通知される。補正係数算出部３０は、当該補正係数を、所定の色毎に算出することが好ましい。例えば、補正係数算出部３０は、赤、青、及び緑の各色要素毎に、当該補正係数を算出する。
偏差算出部２０は、第１共通画像及び第２共通画像のそれぞれの画素の明度の分布に基づいて、上述した所定の範囲を算出する。比較部１０は、当該明度の分布を、所定の色毎に算出することが好ましい。例えば、比較部１０は、赤、青、及び緑の各色要素毎に、当該明度の分布を算出する。
図３（ａ）は、偏差算出部２０が算出した第１共通画像の明度の分布の一例を示す。図３（ａ）において、横軸は明度の強度を示し、縦軸は各明度の度数を示す。偏差算出部２０は、算出した明度の分布に基づいて、第１共通画像の明度の平均値、及び第１共通画像における各画素の明度の分布の標準偏差である第１標準偏差を算出する。また、偏差算出部２０は、第１共通画像の明度の平均値から、第１標準偏差の定数倍である明度の範囲を算出し、第１共通画像の明度の所定の範囲（ｘ２〜ｙ２）として補正係数算出部３０に通知する。
図３（ｂ）は、偏差算出部２０が算出した第２共通画像の明度の分布の一例を示す。図３（ｂ）において、横軸は明度の強度を示し、縦軸は各明度の度数を示す。偏差算出部２０は、算出した明度の分布に基づいて、第２共通画像の明度の平均値、及び第２共通画像における各画素の明度の分布の標準偏差である第２標準偏差を算出する。また、偏差算出部２０は、第２共通画像の明度の平均値から、第２標準偏差の定数倍である明度の範囲を算出し、第２共通画像の明度の所定の範囲（ｘ２〜ｙ２）として補正係数算出部３０に通知する。ここで、偏差算出部２０は、第１標準偏差と第２標準偏差とを、同一の定数倍した範囲を算出することが好ましい。これにより、第１共通画像と第２共通画像において、同数の画素の明度をそれぞれ含む明度の範囲を算出することができる。
本例における偏差算出部２０によれば、例えば雲や影のような、周囲に比べて高明度の画素及び低明度の画素の明度を所定の範囲から除くことができ、補正係数算出部３０に第１共通画像と第２共通画像の明度差を精度よく算出させることができる。また、偏差算出部２０は、予め定められた明度の範囲を、所定の範囲として補正係数算出部３０に通知してもよい。
図４は、第１共通画像の画素と、対応する第２共通画像の画素との明度差の分布の一例を示す図である。図４において、横軸は第２共通画像の画素の明度を示し、縦軸は、第２共通画像の画素と、対応する第１共通画像の画素との明度差を示す。補正係数算出部３０は、当該明度差を、第２共通画像のそれぞれの画素毎に算出する。次に、補正係数算出部３０は、第１共通画像の画素及び第２共通画像の画素のそれぞれの明度が、偏差算出部２０から通知された所定の範囲内にある画素同士の明度差を抽出する。つまり、補正係数算出部３０は、第２共通画像の画素の明度が所定の明度範囲内（ｘ２〜ｙ２）であって、且つ対応する第１共通画像の画素の明度が所定の明度範囲内（ｘ１〜ｙ１）である画素同士の明度差を抽出する。
次に、補正係数算出部３０は、抽出した明度差に基づいて、第２共通画像の画素の明度を補正するための補正係数を算出する。例えば、補正係数算出部３０は抽出した明度差を直線近似することにより、第２画像の全ての明度に対する補正係数を算出する。また、補正係数算出部３０は、更に高次の近似をすることにより、補正係数を算出してもよい。
本例における補正係数算出部３０によれば、例えば不要な雲や影を含む画像同士から、不要な画像を除去した場合の明度差を算出することができる。このため、補正係数を精度よく算出することができる。
また、補正係数算出部３０は、算出した明度差において、明度差が所定の値より小さい領域を抽出し、当該領域における明度差に基づいて補正係数を算出してもよい。第１共通画像と第２共通画像とは同一の領域を撮影しているため、対応する画素同士の明度差は、大部分が所定の範囲内にあるが、いずれかの画像に雲や影等が撮影された場合、当該箇所の明度差が大きくなる場合がある。明度差が所定の値より小さい領域を抽出することにより、補正係数を精度よく算出することができる。
また、補正係数算出部３０は、算出した明度差において、分布のバラツキが少ない領域を抽出し、当該領域における明度差に基づいて補正係数を算出してもよい。
図５は、第１共通画像及び第２共通画像の一例を示す。本例において第１共通画像には不要な雲１０２が撮影され、第２共通画像には不要な影１０４が撮影されている。図４において説明したように、比較部１０は、第１共通画像と第２共通画像の対応する画素同士の明度差に基づいて補正係数を算出するが、図４において説明したように第１共通画像及び第２共通画像において、雲１０２及び影１０４に対応する領域における画素の明度差については除外して補正係数を算出する。これにより、精度よく補正係数を算出することができる。
図１に関連して説明した調整部５０は、図４に関連して説明した補正係数算出部３０が算出した明度毎の補正係数に基づいて、第２画像の各画素の明度を、所定の色毎に補正する。これにより、第２画像の明度及び色度を、第１画像の明度及び色度に調整することができる。また、比較部１０は、図３及び図４に関連して説明した明度の補正係数と同様に、第１共通画像の色度と第２共通画像の色度とを比較し、調整部５０は、比較部１０の比較結果に基づいて、第２画像の少なくとも一部の色度を、第１画像の色度に調整してもよい。
また、比較部１０は、図３及び図４において説明したように、明度差の分布に基づいて雲や影の領域を除外していたが、他の例においては、画像処理によって雲や影の領域を抽出して除外してもよい。例えば、比較部１０は、第１共通画像及び第２共通画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接している場合、高明度画素以外の領域における明度を比較してもよい。
図６は、合成画像生成部６０が合成した合成画像の一例を示す。本例において、合成画像生成部６０は、合成画像から不要な雲や影の画像を除去する。まず、合成画像において、共通画像の領域に不要な画像が有る場合について説明する。例えば、第２画像の第４共通画像に不要な画像が撮影されている場合、合成画像生成部６０は、第２共通画像に代えて、明度及び色度が調整された第３画像の第３共通画像を用いて合成画像を生成する。つまり、重なりあう共通画像においては、不要な画像が撮影されていない共通画像を優先して使用して画像を合成することが好ましい。
また、合成画像生成部６０は、共通画像において不要な画像が撮影されている領域を画像処理により抽出して、当該領域を他の共通画像の対応する領域に置き換えてもよい。例えば、合成画像生成部６０は、共通画像において所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、当該高明度画素を雲と判定し、当該領域に代えて他の共通画像の対応する領域を用いて画像を合成してよい。
次に、合成画像において、共通画像以外の領域に不要な画像がある場合には、合成画像生成部６０は、当該領域を画像処理により抽出して、当該領域を他の画像に置き換えてよい。当該他の画像は、予め与えられていることが好ましい。例えば、合成画像生成部６０は、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、高明度画素の領域に代えて、他の画像を用いて画像を合成してよい。また、画像合成装置１００は、同一の領域を撮影した画像が複数ある場合、不要な画像要素が少ない画像を優先して選択して合成画像を生成してもよい。
本例における画像合成装置１００によれば、不要な画像を除去した合成画像を容易に生成することができる。
図７は、画像合成装置１００の動作の一例を示すフローチャートである。まず、比較段階で、比較部１０が共通画像の明度を比較する（Ｓ３００）。Ｓ３００において、比較部１０は、図１から図６において説明したように、共通画像の明度を比較する。次に、調整段階で、調整部５０が比較部１０の比較結果に基づいて、第２画像の少なくとも一部の明度を調整する（Ｓ３０２）。Ｓ３０２において、調整部５０は、図１から図６において説明したように、第２画像の明度を調整する。次に、画像合成段階で、合成画像生成部６０が合成画像を生成する（Ｓ３０４）。Ｓ３０４において、合成画像生成部６０は、図１から図６において説明したように、合成画像を生成する。
図８は、画像合成装置１００として機能するコンピュータ２００の構成の一例を示す。本例において、コンピュータ２００は、コンピュータ２００を図１から図６において説明した画像合成装置１００として機能させるプログラムを格納する。コンピュータ２００は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６と、ハードディスクドライブ７１０と、ＦＤディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１６とを備える。ＣＰＵ７００は、ＲＯＭ７０２、ＲＡＭ７０４、ハードディスク７１０、ＦＤディスク７１４、及び／又はＣＤ−ＲＯＭ７１８に格納されたプログラムに基づいて動作する。
例えば、コンピュータ２００を画像合成装置１００として機能させるプログラムは、コンピュータ２００を第１画像の共通画像である第１共通画像の明度と、第２画像の共通画像である第２共通画像の明度とを比較する比較部１０と、比較部１０の比較結果に基づいて、第２画像の少なくとも一部の明度を、第１画像の明度に調整する調整部５０と、調整部５０によって明度が調整された第２画像と第１画像とを含む合成画像を生成する合成画像生成部６０として機能させる。例えば、プログラムは、ＣＰＵ７００を、画像合成装置１００として機能させる。
通信インターフェース７０６は、外部と通信し、画像を合成するべき元画像を受信する。格納装置の一例としてのハードディスクドライブ７１０は、設定情報、受信した画像及びＣＰＵ７００を動作させるプログラムを格納する。ＲＯＭ７０２、ＲＡＭ７０４、及び／又はハードディスクドライブ７１０は、画像合成装置１００を図１から図６に関連して説明した画像合成装置１００として機能させるためのプログラムを格納する。また、画像を合成するべき元画像は、フレキシブルディスク７２０、ＣＤ−ＲＯＭ７２２、ハードディスクドライブ７１０等に格納されていてもよい。
ＦＤドライブ７１２はフレキシブルディスク７１４からプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１６はＣＤ−ＲＯＭ７１８からプログラムを読み取りＣＰＵ７００に提供する。
また、プログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブにインストールされた後にＲＡＭに読み出されて実行されても良い。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるプログラムは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば、プログラムは、機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。
プログラムを格納する記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリー等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【産業上の利用可能性】  上記説明から明らかなように、本発明によれば、複数の画像を合成して合成画像を生成する場合に、それぞれの画像の明度及び色度を精度よく調整することができる。また、合成画像から不要な画像要素を除去することができる。
【図１】
2004057531.tif 000003
【図２】
2004057531.tif 000004
【図３】
2004057531.tif 000005
【図４】
2004057531.tif 000006
【図５】
2004057531.tif 000007
【図６】
2004057531.tif 000008
【図７】
2004057531.tif 000009
【図８】
2004057531.tif 000010
【国際調査報告】
2004057531.tif 000011
2004057531.tif 000012
2004057531.tif 000013
2004057531.tif 000014