(57)【要約】【課題】重複する領域を持つ複数のカラー画像データを、結合部に限定せずに画像全体に色補正を実施して、自然な色味で１枚の画像に結合すること。【解決手段】重複する領域Lを持つソース画像とターゲット画像を結合して１枚の画像を作成する際、ソース画像の重複領域Ls内の画素を含む色域Gs0を選択し、該色域Gs0に重複する色域Gt0をターゲット画像の重複領域Ltから選択し、前記色域Gt0に対して前記Gs0の色成分量を設定して、ターゲット画像を色補正する構成を特徴とする。【選択図】図３
2007180930.tif 000002
【特許請求の範囲】
【請求項１】
重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合装置において、
第１画像に第２画像を結合する際、前記第１画像の前記第２画像との重複領域内の画素を含む第１色域を選択し、該第１色域に重複する第２色域を前記第２画像から選択する第１選択処理を行う第１選択手段と、
前記第２色域に対して前記第１色域の色成分量を設定する第１色補正処理を行う第１色補正手段と、
を有することを特徴とする画像結合装置。
【請求項２】
前記第１色補正手段は、前記第１色域の色成分量と第２色域の色成分量との差異が所定範囲内である場合に、前記第２色域に対して前記第１色域の色成分量を設定する第１色補正処理を行うことを特徴とする請求項１記載の画像結合装置。
【請求項３】
前記第１選択処理，前記第１色補正処理を含む一連の処理を、前記第１画像の前記第２画像との重複領域内の全ての色域に対して実行することを特徴とする請求項１又は２に記載の画像結合装置。
【請求項４】
前記第１画像の非重複領域内から前記第１色域に選択されず最もエントロピー値の高い色域を示す第３色域を選択し、前記第２画像の非重領域内から前記第２色域に選択されていない前記第３色域の色成分量との差異が所定範囲内である色域を示す第４色域を選択する第２選択処理を行う第２選択手段と、
前記第４色域に対して前記第３色域の色成分量を設定する第２色補正処理を行う第２色補正手段と、
を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像結合装置。
【請求項５】
前記第２選択処理，前記第２色補正処理を含む一連の処理を、前記第１画像の非重複領域内の全ての色域、又は、予め設定された割合以上の色域に対して実行することを特徴とする請求項４記載の画像結合装置。
【請求項６】
重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合装置において、
第１画像に第２画像を結合する際、前記第１画像内の特定階調域の無色彩域を示す第１無色彩域、及び、前記第２画像内の特定階調域の無色彩域を示す第２無色彩域を選択する選択処理を行う選択手段と、
前記第２無色彩域に対して前記第１無色彩域の色成分量を設定するグレーバランス補正処理を行うグレーバランス補正手段と、
を有することを特徴とする画像結合装置。
【請求項７】
前記選択処理，前記グレーバランス補正処理を含む一連の処理を、ハイライト域，シャドウ域，中間域を含む複数の特定階調域の無色彩域に対して実行することを特徴とする請求項６記載の画像結合装置。
【請求項８】
重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合装置において、
第１画像に第２画像を結合する際、前記第１画像の前記第２画像との重複領域内の特定色域の画素を含む第１色域を選択し、該第１色域に重複する第２色域を前記第２画像から選択する選択処理を行う選択手段と、
前記第２色域に対して前記第１色域の色成分量と前記第２色域の色成分量とから変換式を作成し、当該変換式を用いて前記第２式域の色成分量を変換する色補正処理を行う色補正手段と、
を有することを特徴とする色補正及び画像結合装置。
【請求項９】
前記色補正手段は、前記第１色域の色成分量と第２色域の色成分量との差異が所定範囲内である場合に、前記第２色域に対して前記第１色域の色成分量を設定する色補正処理を行うことを特徴とする請求項８記載の画像結合装置。
【請求項１０】
前記選択処理，前記色補正処理を含む一連の処理を、前記第１画像の重複領域内の複数の特定色域に対してそれぞれ実行することを特徴とする請求項８又は９に記載の画像結合装置。
【請求項１１】
前記複数の特定色域には、レッド系色域，イエロー系色域，グリーン系色域，シアン系色域，ブルー系色域，マゼンダ系色域，ホワイト系色域，中間色系色域，ブラック系色域のうち少なくとも１つが含まれることを特徴とする請求項１０に記載の画像結合装置。
【請求項１２】
前記第２画像の前記第１画像との重複領域内の画素に、前記第１画像の前記第２画像との重複領域内の画素を混合する混合手段を有し、
前記混合手段は、前記第２画像内の非重複領域に隣接する前記第１画像との重複領域の第１端部から前記第１画像内の非重複領域に隣接する重複領域の第２端部に向けて、段階的に、前記第１画像の前記第２画像との重複領域内の画素の混合割合を増加させるように混合することを特徴とする請求項１乃至１１のいずれか１項に記載の画像結合装置。
【請求項１３】
重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合方法において、
第１画像に第２画像を結合する際、前記第１画像の前記第２画像との重複領域内の画素を含む第１色域を選択し、該第１色域に重複する第２色域を前記第２画像から選択する第１選択処理を行う第１選択ステップと、
前記第２色域に対して前記第１色域の色成分量を設定する第１色補正処理を行う第１色補正ステップと、
を有することを特徴とする画像結合方法。
【請求項１４】
前記第１画像の非重複領域内から前記第１色域に選択されず最もエントロピー値の高い色域を示す第３色域を選択し、前記第２画像の非重領域内から前記第２色域に選択されていない前記第３色域の色成分量との差異が所定範囲内である色域を示す第４色域を選択する第２選択処理を行う第２選択ステップと、
前記第４色域に対して前記第３色域の色成分量を設定する第２色補正処理を行う第２色補正ステップと、
を有することを特徴とする請求項１３に記載の画像結合方法。
【請求項１５】
重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合方法において、
第１画像に第２画像を結合する際、前記第１画像内の特定階調域の無色彩域を示す第１無色彩域、及び、前記第２画像内の特定階調域の無色彩域を示す第２無色彩域を選択する選択処理を行う選択ステップと、
前記第２無色彩域に対して前記第１無色彩域の色成分量を設定するグレーバランス補正処理を行うグレーバランス補正ステップと、
を有することを特徴とする画像結合方法。
【請求項１６】
重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合方法において、
第１画像に第２画像を結合する際、前記第１画像の重複領域内の特定色域の画素を含む第１色域を選択し、該第１色域に重複する第２色域を前記第２画像から選択する選択処理を行う選択ステップと、
前記第２色域に対して前記第１色域の色成分量と前記第２色域の色成分量とから変換式を作成し、当該変換式を用いて前記第２色域の色成分量を変換する色補正処理を行う色補正ステップと、
を有することを特徴とする色補正及び画像結合方法。
【請求項１７】
前記第２画像の重複領域内の画素に、前記第１画像の重複領域内の画素を混合する混合ステップを有し、
前記混合ステップは、前記第２画像内の非重複領域に隣接する重複領域の第１端部から前記第１画像内の非重複領域に隣接する重複領域の第２端部に向けて、段階的に、前記第１画像の重複領域内の画素の混合割合を増加させるように混合することを特徴とする請求項１３乃至１６のいずれか１項に記載の画像結合方法。
【請求項１８】
請求項１３乃至１７のいずれか１項に記載された画像結合方法をコンピュータに実行させるためのプログラム。
【請求項１９】
請求項１８に記載のプログラムをコンピュータが読み取り可能に記憶した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、重複する領域を持つ複数の画像データを結合して１枚の画像データを作成する際の制御に関する。
【背景技術】
【０００２】
従来より、スキャナ等の読取装置の物理的なサイズの問題で、１度で読み取ることができないカラー原稿を、複数回に分けて読み取って、最終的に１枚の画像にするような場合があった。
【０００３】
このように分割された画像は、デバイス等の特性により色味が異なってしまう場合等があり、それらを結合したところで、結合部が目立ってしまい、１枚の画像として自然なものとならない。特に複数台の読み取り装置を用いた場合等は、顕著となる。
【０００４】
特許文献１には、結合部を目立たなくするための技術が開示されている。
【特許文献１】特開平５−１２０４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の技術では、境界部分の処理に特化してしまっているため、最終的に結合部だけは自然な感じに仕上がるが、全体を見れば不自然なものとなってしまうといった問題点があった。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、本発明の目的は、重複する領域を持つ複数のカラー画像データを、結合部に限定せずに画像全体に色補正を実施して、自然な色味で１枚の画像に結合する仕組を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合装置において、第１画像に第２画像を結合する際、前記第１画像の前記第２画像との重複領域内の画素を含む第１色域を選択し、該第１色域に重複する第２色域を前記第２画像から選択する第１選択処理を行う第１選択手段と、前記第２色域に対して前記第１色域の色成分量を設定する第１色補正処理を行う第１色補正手段と、を有することを特徴とする。
【０００８】
本発明は、重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合装置において、第１画像に第２画像を結合する際、前記第１画像内の特定階調域の無色彩域を示す第１無色彩域、及び、前記第２画像内の特定階調域の無色彩域を示す第２無色彩域を選択する選択処理を行う選択手段と、前記第２無色彩域に対して前記第１無色彩域の色成分量を設定するグレーバランス補正処理を行うグレーバランス補正手段と、を有することを特徴とする。
【０００９】
本発明は、重複する領域を持つ複数の画像を結合して１枚の画像を作成する画像結合装置において、第１画像に第２画像を結合する際、前記第１画像の前記第２画像との重複領域内の特定色域の画素を含む第１色域を選択し、該第１色域に重複する第２色域を前記第２画像から選択する選択処理を行う選択手段と、前記第２色域に対して前記第１色域の色成分量と前記第２色域の色成分量とから変換式を求め、当該変換式を用いて色補正処理を行う色補正手段と、を有することを特徴とする。
【００１０】
本発明は、前記第２画像の重複領域内の画素に、前記第１画像の重複領域内の画素を混合する混合手段を有し、前記混合手段は、前記第２画像内の非重複領域に隣接する重複領域の第１端部から前記第１画像内の非重複領域に隣接する重複領域の第２端部に向けて、段階的に、前記第１画像の重複領域内の画素の混合割合を増加させるように混合することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、重複する領域を持つ複数のカラー画像データを、結合部に限定せずに画像全体に色補正を実施して、自然な色味で１枚の画像に結合することができる。
【００１２】
更には、結合元の画像と該結合元の画像に結合する画像の画素を混合させるという簡易な方法によって結合部を目立たなくすることができる。
【００１３】
従って、スキャナ等の読取装置の物理的なサイズの問題で、１度で読み取ることができないカラー原稿から、複数回に分けて読み取られた各画像データを、画像結合時に色補正をして、最終的に自然な１枚の画像にすることができる。特に、設計図や地図を読み取って１枚の自然な画像として結合するような場合、複数枚の写真を結合して１枚の画像として自然なパノラマ写真を作成するような場合、作業時間短縮のために複数台の読み取り装置を使用して読み取ったデータを１枚の自然な画像として結合させるような場合等に有効である。このように、優れた画像結合環境を構築することができる等の効果を奏する。
【発明を実施するための最良の形態】
【００１４】
〔第１実施形態〕
図１は、本発明の一実施形態を示す画像結合装置の一例を示すブロック図である。
【００１５】
図１において、１０００は本発明の画像結合装置としてのコンピュータである。
【００１６】
画像結合装置１０００において、１１はＣＰＵであり、ＲＯＭ１３のプログラム用ＲＯＭに記憶されたプログラム，ハードディスク（ＨＤ）２１に記憶されＲＡＭ１２にロードされたプログラムに基づいてシステムバス１４に接続された各デバイスを制御し、画像結合装置１０００全体を統括制御する。
【００１７】
また、このＲＯＭ１３のフォント用ＲＯＭにはフォントデータ等を記憶し、ＲＯＭ１３のデータ用ＲＯＭには各種データを記憶する。１２はＲＡＭで、ＣＰＵ１１の主メモリ，ワークエリア等として機能する。
【００１８】
１５はキーボードコントローラ（ＫＢＣ）で、キーボード（ＫＢ）１９や図示しないポインティングデバイス（ＰＤ）、例えばマウスからの入力を制御する。１６はディスプレイコントローラ（ＤＣ）で、ディスプレイ２０の表示を制御する。なお、ディスプレイはＣＲＴであってもＬＣＤ等のその他の形式の表示装置であってもよい。
【００１９】
１７はメモリコントローラ（ＭＣ）で、ＨＤ２１，図示しないフレキシブルディスク（ＦＤ），ＣＤ−ＲＯＭ等とのアクセスを制御する。１８はネットワークインタフェース（ＮＷＩ／Ｆ）で、ネットワーク３０００を介してプリンタ２０００との通信を制御する。
【００２０】
以下、図２〜図６を参照して、本実施形態の複数カラー画像の色補正及び画像結合方法について説明する。
【００２１】
図２は、本発明の画像結合装置における第１の制御処理手順の一例を示すフローチャートであり、複数カラー画像の色補正及び画像結合処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、Ｓ1-1-1〜Ｓ1-1-11は各ステップを示す。
【００２２】
まず、本フローチャートの処理を開始する前に、重複する領域を持つ（分割された）２つのカラー画像データが指定されているものとする。なお、上記２つのカラー画像データについて、以下、結合先の画像を「ソース画像」と呼び、前記ソース画像に結合する画像を「ターゲット画像」と呼ぶ（図３（ａ））。
【００２３】
図３は、本実施形態における複数カラー画像の色補正及び画像結合処理を説明する図である。
【００２４】
なお、本実施形態では、カラー画像データをＣＭＹＫ成分のカラー画像データを例にして説明するが、カラー画像データをＣＭＹＫ成分のカラー画像データを例にして説明したが、ＲＧＢ成分、ＨＬＳ成分、又はＬａｂ成分等の他のカラースペースの色成分で構成される画像データであってもよい。
【００２５】
まず、図２のステップS1-1-1において、ＣＰＵ１１は、ソース画像とターゲット画像から解像度情報をそれぞれ抽出する。例えば、TIFF画像であればタグＩＤ２８２の値を取得する。そして、ＣＰＵ１１は、前記抽出した各画像の解像度を等しく設定する。例えば、解像度が低い画像に合わせるように解像度変換処理を施す。
【００２６】
次に、ステップS1-1-2において、ＣＰＵ１１は、ソース画像とターゲット画像のそれぞれからエッジ(濃淡、色が急激に変化している箇所)を検出し、ソース画像とターゲット画像のエッジが一致する箇所を検索する。例えば、微分法を用いてエッジ検出をする。
【００２７】
そして、ステップS1-1-3において、ＣＰＵ１１は、ステップS1-1-2で検索されたソース画像とターゲット画像のエッジ画素データの配列がほぼ一致する（最適と判断される）箇所を決定する。
【００２８】
次に、ステップS1-1-4において、ＣＰＵ１１は、重層領域に存在する全色域を補正するまで、ステップS1-1-5の重量領域色域補正処理を、繰り返すように制御する。なお、ステップS1-1-5の重量領域色域補正処理の詳細は図４に示す。
【００２９】
次に、ステップS1-1-6において、ＣＰＵ１１は、重層領域に存在する全色域を補正するまで、もしくは、ある一定水準（例えば全面積のｘ％）に達するまで、ステップS1-1-7の非重量領域色域補正処理を、繰り返すように制御する。なお、ステップS1-1-7の非重量領域色域補正処理の詳細は図５に示す。
【００３０】
次に、ステップS1-1-8において、ＣＰＵ１１は、ターゲット画像の端部をソース画像とブレンドする（端部ブレンディング処理）。なお、ステップS1-1-8の端部ブレンディング処理の詳細は図６に示す。
【００３１】
次に、ステップS1-1-9において、ＣＰＵ１１は、ソース画像と上記処理によって色補正されたターゲット画像の画素の配列を結合する。画素が存在していない箇所は、所定の画素情報(例えばＣ＝１００，Ｍ＝１００，Ｙ＝１００，Ｋ＝１００等)を当てはめる。
【００３２】
次に、ステップS1-1-10において、ＣＰＵ１１は、ステップS1-1-9で結合された画像が印刷用であるかどうかを判定する。なお、印刷用かどうかの判断は、予め設定されたパラメータ（ＨＤ２１等に記憶）に基づいて行う、または、ステップS1-1-10の時点でユーザに判断入力させ、該入力結果に基づいて行うものとする。
【００３３】
そして、ステップS1-1-10で、結合後の画像が印刷用であると判断した場合には、ＣＰＵ１１は、該結合後の画像にアンシャープマスクをかけ、処理を終了させる。
【００３４】
一方、ステップS1-1-10で、結合後の画像が印刷用でないと判断した場合には、ＣＰＵ１１は、そのまま処理を終了させる。
【００３５】
以下、図４を参照して、図２のステップS1-1-5の重層領域色補正処理について説明する。
【００３６】
図４は、本発明の画像結合装置における第２の制御処理手順の一例を示すフローチャートであり、重層領域色補正処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、S1-2-1〜S1-2-7は各ステップを示す。
【００３７】
まず、ステップS1-2-1において、ＣＰＵ１１は、ソース画像とターゲット画像の重なっている領域（図３（ｂ）のＬ）に存在するソース画像（図３（ｃ）のLs）のある１画素（図３（ｃ）のGs00）のＣＭＹＫ成分値（Cs0）を取得し、その値と近似するＣＭＹＫ成分値をもっている画素をソース画像から選択する（図３（ｄ）のGs0で示す色域）。なお、１回目は重層領域の左上の画素を基準とし、２回目以降は選択されていない画素を順次基準としていくものとする。
【００３８】
次に、ステップS1-2-2において、ＣＰＵ１１は、ステップS1-2-1で選択した画素（Gs00）の座標と同じ座標のターゲット画像の画素（図３（ｃ）のGt00）のＣＭＹＫ成分値（Ct0）を取得し、その値と近似するＣＭＹＫ成分値をもっている画素（図３（ｄ）のGt0で示す色域）をターゲット画像から選択する。
【００３９】
次に、ステップS1-2-3において、ＣＰＵ１１は、ステップS1-2-1，S1-2-2で選択した色域の各成分値Cs0，Ct0の各成分の値の差が、あらかじめ設定された許容範囲内である（類似点がある）かどうかを判断する。そして、Cs0，Ct0の各成分の値の差が上記許容範囲内である（類似点がある）と判断した場合には、ＣＰＵ１１は、ステップS1-2-4に処理を進める。
【００４０】
そして、ステップS1-2-4において、ＣＰＵ１１は、Gs0とGt0とを同一色域とみなし、Gt0に存在するそれぞれの色に対して、類似すると判断されたGs0に存在する色のＣＭＹＫ成分量を設定し、カラーバランス補正し、処理を終了する。
【００４１】
一方、ステップS1-2-3で、Cs0，Ct0の各成分の値の差が予め設定された許容範囲内でない（類似点が無い）と判断した場合には、ＣＰＵ１１は、影などの影響で極端に色が変わってしまっていると判断し、ステップS1-2-5に処理を進める。
【００４２】
そして、ステップS1-2-5において、ＣＰＵ１１は、ターゲット画像とソース画像とが重なっている位置の画素情報をどちらか一方の画素情報に強制設定するかどうかを判断する。なお、強制設定するかどうかの判断は、予め設定されたパラメータ（ＨＤ２１等に記憶）に基づいて行う、または、ステップS1-2-5の時点で各色域（Gs0，Gt0）の画像をディスプレイに表示してユーザに判断入力させ、該入力結果に基づいて行うものとする。
【００４３】
そして、ステップS1-2-5で、画素情報の強制設定すると判断した場合には、ＣＰＵ１１は、ステップS1-2-6に処理を進める。
【００４４】
そして、ステップS1-2-6では、どちらの画像を基準にして強制補正を行うかを設定する。この処理は例えばユーザに判断入力させ、該入力結果に基づいてソース画像若しくはターゲット画像のどちらを基準にするかを設定することになる。ステップS1-2-6でソース画像を基準画像と設定した場合には、ステップS1-2-7においてＣＰＵ１１は、Gt0に存在するそれぞれの色に対して、Gs0に存在する色のＣＭＹＫ成分量を強制設定する。ステップS1-2-6でターゲット画像を基準画像として設定した場合には、Gs0に存在するそれぞれの色に対して、Gt0に存在する色のＣＭＹＫ成分量を強制設定することになる。その後ステップS1-2-4に移行しカラーバランス補正を行い、処理を終了する。
【００４５】
一方、ステップS1-2-5で、画素情報の強制設定を行わないと判断した場合には、そのまま本処理を終了する。
【００４６】
以上の処理により、ターゲット画像の重層領域Ltにかかる色域Gt0若しくは色域Gs0の色補正を行うことができる。
【００４７】
なお、本フローチャートの重量領域色域補正処理は、重層領域Lに存在する全色域に対して繰り返される（図２のS1-1-4，S1-1-5）。即ち、２回目では、Gs0の隣に存在している色域（図３（ｄ）のGs1）を選択し、領域Lの最下部（図３（d）ではGs2）に到達するまで処理を繰り返して、ソース画像の重層領域Ltに存在する色の色域（Gs0〜Gs2）、ターゲット画像の重層領域Ltに存在する色の色域（Gt0〜Gt2）を補正していく。
【００４８】
以下、図５を参照して、図２のステップS1-1-７の非重層領域色補正処理について説明する。
【００４９】
図５は、本発明の画像結合装置における第３の制御処理手順の一例を示すフローチャートであり、非重層領域色補正処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、S1-3-1〜S1-3-5は各ステップを示す。
【００５０】
まず、ステップS1-3-1において、ＣＰＵ１１は、ソース画像における画像が重なっていない領域（非重層領域）で且つ未だ補正していない各色域のエントロピーを計算する。
【００５１】
次に、ステップS1-3-2において、ＣＰＵ１１は、ステップS1-3-1で計算結果に基づいて、最もエントロピーの高い(即ち、面積が最も大きい)色域Ges0（図３（ｄ））の画素を選択し、その色域のＣＭＹＫ成分量Ces0を取得する。
【００５２】
次に、ステップS1-3-3において、ＣＰＵ１１は、まだ補正されていないターゲット画像内の色域から、ステップS1-3-2で選択した色域Ges0と類似する（色成分の差が所定範囲内）と判断される色域（図３（ｄ）のGet0）を選択する。
【００５３】
次に、ステップS1-3-4において、ＣＰＵ１１は、ステップS1-3-2で選択されたソース画像の色域（Ges0）の色成分（Ces0）で、ステップS1-3-3で選択されたターゲット画像の色域（Get0）の色成分（Cet0）を補正するかどうかを判断する。なお、この補正するかどうかの判断は、予め設定されたパラメータ（ＨＤ２１等に記憶）に基づいて行う、または、ステップS1-3-5の時点で各色域（Ges0，Get0）の画像をディスプレイに表示してユーザに判断入力させ、該入力結果に基づいて行うものとする。
【００５４】
そして、ステップS1-3-4で、補正すると判断した場合には、ＣＰＵ１１は、ステップS1-3-4において、Get0に存在するそれぞれの色（Cet0）に対して、Ges0に存在する色のＣＭＹＫ成分量（Ces0）を設定し、カラーバランスを補正し、処理を終了する。
【００５５】
一方、ステップS1-3-4で、補正しないと判断した場合には、そのまま処理を終了する。
【００５６】
以上の処理により、ターゲット画像の非重層領域の色域Get0の色補正を行うことができる。
【００５７】
なお、本フローチャートの非重量領域色域補正処理は、非重層領域に存在する全色域に対して、もしくは、ある一定の水準に達するまで（例えば、面積のｘ％の領域）繰り返される（図２のS1-1-6，S1-1-7）。
【００５８】
以下、図６を参照して、図２のステップS1-1-8の端部ブレンディング処理について説明する。
【００５９】
図６は、本発明の画像結合装置における第４の制御処理手順の一例を示すフローチャートであり、端部ブレンディング処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、S1-4-1〜S1-4-2は各ステップを示す。
【００６０】
まず、ステップS1-4-1において、ＣＰＵ１１は、ターゲット画像において、ソース画像の画像が重なっている領域Lt（図６）を検出する。
【００６１】
次に、ステップS1-4-2において、ＣＰＵ１１は、ブレンディング処理を実行し、処理を終了する。詳細には、ＣＰＵ１１は、ターゲット画像においてソース画像が重なっている領域Ltの端部Ｔ（図６）の画素に、それと同じ位置にあるソース画像の画素情報を設定する。そしてさらに、ＣＰＵ１１は、ターゲット画像のそれに隣接する画素の「Ｘ％」にそれと同じ位置にあるソース画像の画素情報を設定する。そして、この処理を重なっている領域Ltのターゲット画像の端部Ｔ（図６）ではない端部Ｓ（図６）まで繰り返す。なお、端部Ｓ（図６）においては「Ｘ＝１００」であり、Ｘの値はＴからＳの範囲で比例するものとする。即ち、ターゲット画像の重層領域Ltの端部Ｔ，Ｓを、端部Ｔから重層領域Ltの内側に向けて（矢印Ｖの方向）徐々に透明(ソース画像画素率１００％且つターゲット画像画素率０％)から不透明(ソース画像画素率０％且つターゲット画像画素率１００％)にし、徐々にブレンドさせる。
【００６２】
以上により、重複する領域を持つ（分割された）２つのカラー画像データを、自然な色味で１枚の画像に結合することができる。
【００６３】
なお、３枚以上のカラー画像データを結合する際には、まず２枚の画像を上記処理により結合し、該結合した画像に他の画像を順次上記処理により結合するようにする。即ち、上記図２に示した処理を、複数回実行するようにする。これにより、重複する領域を持つ（分割された）複数のカラー画像データを、自然な色味で１枚の画像に結合することができる。
【００６４】
よって、本実施形態では、結合部に限定せずに画像全体の色補正を実施して、最終的な1枚画像の色味を自然な感じにすることができる。さらに、結合部を目立たなくすることを、結合元画像（ソース画像）と結合画像（ターゲット画像）の画素をブレンドさせるという簡易な方法によって実現できる。
【００６５】
従って、スキャナ等の読取装置の物理的なサイズの問題で、１度で読み取ることができないカラー原稿から、複数回に分けて読み取られた各画像データを、画像結合時に色補正をして、最終的に自然な１枚の画像にすることができる。特に、設計図や地図を読み取って１枚の自然な画像として結合するような場合、複数枚の写真を結合して１枚の画像として自然なパノラマ写真を作成するような場合、作業時間短縮のために複数台の読み取り装置を使用して読み取ったデータを１枚の自然な画像として結合させるような場合等に有効である。このように、優れた画像結合環境を構築することができる。
【００６６】
〔第２実施形態〕
上記第１実施形態では、画像結合時に画像全体の色補正を行う構成について説明したが、画像結合時に画像全体のグレーバランス補正を行うように構成してもよい。以下、その実施形態について説明する。
【００６７】
以下、図７，図８を参照して、本実施形態の複数カラー画像のグレーバランス補正及び画像結合方法について説明する。
【００６８】
図７は、本発明の画像結合装置における第５の制御処理手順の一例を示すフローチャートであり、複数カラー画像のグレーバランス補正及び画像結合処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、Ｓ2-1-1〜Ｓ2-1-10は各ステップを示す。
【００６９】
まず、本フローチャートの処理を開始する前に、重複する領域を持つ（分割された）２つのカラー画像データ（ソース画像，ターゲット画像）が指定されているものとする。
【００７０】
また、図７のS2-1-1〜S2-1-3は、図２のS1-1-1〜S1-1-3と同一であるので説明は省略する。
【００７１】
ステップS2-1-4において、ＣＰＵ１１は、ハイライト域グレーバランス補正処理を実行する。次に、ステップS2-1-5において、ＣＰＵ１１は、シャドウ域グレーバランス補正処理を実行する。さらに、ステップS2-1-6において、ＣＰＵ１１は、中間域グレーバランス補正処理を実行する。なお、ステップS2-1-4〜S2-1-6の処理の詳細は図８に示す。
【００７２】
そして、ＣＰＵ１１は、ステップS2-1-7に処理を進める。なお、図７のS2-1-7〜S2-1-10は、図２のS1-1-8〜S1-1-11と同一であるので説明は省略する。
【００７３】
以下、図８を参照して、ステップS2-1-4〜S2-1-6のハイライト域／シャドウ域／中間域グレーバランス補正処理について説明する。
【００７４】
図８は、本発明の画像結合装置における第６の制御処理手順の一例を示すフローチャートであり、ハイライト域／シャドウ域／中間域グレーバランス補正処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、Ｓ2-2-1〜Ｓ2-2-4は各ステップを示す。
【００７５】
まず、「ハイライト域」グレーバランス補正処理について説明する。
【００７６】
まず、ステップS2-2-1において、ＣＰＵ１１は、ソース画像のハイライト域を検出する。次に、ステップS2-2-2において、ＣＰＵ１１は、ターゲット画像のハイライト域を検出する。
【００７７】
次に、ステップS2-2-3において、ＣＰＵ１１は、ソース画像のハイライト域のＣＭＹＫ成分値Hsを取得する。さらに、ステップS2-2-4において、ＣＰＵ１１は、ステップS2-2-1で取得した、ソース画像のハイライト域のＣＭＹＫ成分値Hsを、ターゲット画像のハイライト域のＣＭＹＫ成分値Htに設定し、処理を終了する。
【００７８】
次に、「シャドウ域」グレーバランス補正処理について説明する。
【００７９】
まず、ステップS2-2-1において、ＣＰＵ１１は、ソース画像のシャドウ域を検出する。次に、ステップS2-2-2において、ＣＰＵ１１は、ターゲット画像のシャドウ域を検出する。
【００８０】
次に、ステップS2-2-3において、ＣＰＵ１１は、ソース画像のシャドウ域のＣＭＹＫ成分値Ssを取得する。さらに、ステップS2-2-4において、ＣＰＵ１１は、ステップS-2-1で取得した、ソース画像のシャドウ域のＣＭＹＫ成分値Ssを、ターゲット画像のシャドウ域のＣＭＹＫ成分値Stに設定し、処理を終了する。
【００８１】
最後に、「中間域」グレーバランス補正処理について説明する。
【００８２】
まず、ステップS2-2-1において、ＣＰＵ１１は、ソース画像の中間域を検出する。次に、ステップS2-2-2において、ＣＰＵ１１は、ターゲット画像の中間域を検出する。
【００８３】
次に、ステップS2-2-3において、ＣＰＵ１１は、中間域のＣＭＹＫ成分値Msを取得する。さらに、ステップS2-2-4において、ＣＰＵ１１は、ステップS-2-1で取得した、中間域のＣＭＹＫ成分値Msを、ターゲット画像の中間域のＣＭＹＫ成分値Mtに設定し、処理を終了する。
【００８４】
以上により、重複する領域を持つ（分割された）２つのカラー画像データを結合する際に、結合する画像間のグレーバランス（即ち、無彩色のバランス）をとり、自然な色温度で、１枚の画像に結合することができる。
【００８５】
なお、３枚以上のカラー画像データを結合する際には、まず２枚の画像を上記処理により結合し、該結合した画像に他の画像を順次上記処理により結合するようにする。即ち、上記図７に示した処理を、複数回実行するようにする。これにより、重複する領域を持つ（分割された）複数のカラー画像データを結合する際に、結合する画像間のグレーバランス（即ち、無彩色のバランス）をとり、自然な色温度で、１枚の画像に結合することができる。
【００８６】
よって、本実施形態では、結合部に限定せずに画像全体に対して、ハイライト域，シャドウ域，中間域を含む複数の階調域の無色彩域に対するグレーバランス補正を実施して、最終的な1枚画像の色味を自然な感じにすることができる。さらに、結合部を目立たなくすることを、結合元画像（ソース画像）と結合画像（ターゲット画像）の画素をブレンドさせるという簡易な方法によって実現できる。
【００８７】
従って、スキャナ等の読取装置の物理的なサイズの問題で、１度で読み取ることができないカラー原稿から、複数回に分けて読み取られた各画像データを、画像結合時にグレーバランス補正をして、最終的に自然な１枚の画像にすることができる。特に、設計図や地図を読み取って１枚の自然な画像として結合するような場合、複数枚の写真を結合して１枚の画像として自然なパノラマ写真を作成するような場合、作業時間短縮のために複数台の読み取り装置を使用して読み取ったデータを１枚の自然な画像として結合させるような場合等に有効である。このように、優れた画像結合環境を構築することができる。
【００８８】
〔第３実施形態〕
上記第１実施形態では、画像結合時に画像全体の色補正を行う構成について説明したが、画像結合時に画像全体の色補正を特定色に着目して行うように構成してもよい。以下、その実施形態について説明する。
【００８９】
以下、図９〜図１１を参照して、本実施形態の複数カラー画像の色補正及び画像結合方法について説明する。
【００９０】
図９は、本発明の画像結合装置における第７の制御処理手順の一例を示すフローチャートであり、複数カラー画像の色補正及び画像結合処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、Ｓ3-1-1〜Ｓ3-1-10は各ステップを示す。
【００９１】
まず、本フローチャートの処理を開始する前に、重複する領域を持つ（分割された）２つのカラー画像データ（ソース画像，ターゲット画像）が指定されているものとする。
【００９２】
また、図９のS3-1-1〜S3-1-3は、図２のS1-1-1〜S1-1-3と同一であるので説明は省略する。
【００９３】
ステップS3-1-4において、ＣＰＵ１１は、ソース画像と重なっている領域Ltに存在しているターゲット画像の全特定色域（0:レッド系、1:イエロー系、2:グリーン系、3:シアン系、4:ブルー系、5:マゼンダ系、6:ホワイト系、7:中間色系、8:ブラック系）に基づく色変換が終了するまで、ステップS3-1-5の重層領域色変換式生成処理，ステップS3-1-6のターゲット画像色変換処理を、繰り返すように制御する。
【００９４】
なお、ステップS3-1-5の重層領域色変換式生成処理では、ＣＰＵ１１は、ソース画像と重なっている領域Ltに存在しているターゲット画像の特定色域（0:レッド系、1:イエロー系、2:グリーン系、3:シアン系、4:ブルー系、5:マゼンダ系、6:ホワイト系、7:中間色系、8:ブラック系）をソース画像の特定色域に変換する変換式（プロファイルのようなもので、例えば図１１に示す変換式）を生成する。なお、この処理の詳細は図１０に示す。
【００９５】
また、ステップS3-1-6のターゲット画像色変換処理では、ＣＰＵ１１は、ステップS3-1-4で生成した変換式に基づいて、ターゲット画像全体を色変換する。
【００９６】
なお、図９のS3-1-7〜S3-1-10は、図２のS1-1-8〜S1-1-11と同一であるので説明は省略する。
【００９７】
以下、図１０を参照して、ステップS3-1-5の重層領域色変換式生成処理について説明する。
【００９８】
図１０は、本発明の画像結合装置における第８の制御処理手順の一例を示すフローチャートであり、重層領域色変換式生成処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１１がＨＤ２１に格納されたプログラムをＲＡＭ１２に読み出して実行することにより実現される。また、図中、Ｓ3-2-1〜Ｓ3-2-6は各ステップを示す。
【００９９】
まず、ステップS3-2-1において、ＣＰＵ１１は、ソース画像において、ターゲット画像と重なっている領域に存在する特定色域（0:レッド系、1:イエロー系、2:グリーン系、3:シアン系、4:ブルー系、5:マゼンダ系、6:ホワイト系、7:中間色系、8:ブラック系）の画素（特定色域Esn(ｎ:0〜8)）を選択して、そのＣＭＹＫ成分値Csnを取得する。
【０１００】
次に、ステップS3-2-2において、ＣＰＵ１１は、ターゲット画像においてソース画像と重なっている領域に、ステップS3-2-1でソース画像から選択したものと同じ位置に存在する色域の画素Etnを選択して、そのＣＭＹＫ成分値Ctnを取得する。
【０１０１】
次に、ステップS3-2-3において、ＣＰＵ１１は、ソース画像の選択画素のＣＭＹＫ成分値Csと、ターゲット画像の選択画素のＣＭＹＫ成分値Ctのそれぞれの値の差が予め設定されている許容範囲内（類似している）かどうかを判断する。
【０１０２】
そして、ステップS3-2-3で、ソース画像の選択画素のＣＭＹＫ成分値Csnとターゲット画像の選択画素のＣＭＹＫ成分値Ctnとの差が予め設定されている許容範囲内である（類似している）と判断した場合には、ＣＰＵ１１は、CsnとCtnを同一色域とみなし、ステップS3-2-4に処理を進める。
【０１０３】
そして、ステップS3-2-4において、ＣＰＵ１１は、ターゲット画像の選択色域EtnのＣＭＹＫ成分値Ctnを、ソース画像の特定色域Esnの各画素のＣＭＹＫ成分値Csnに変換する計算式（プロファイルのようなもので、例えば図１１に示す変換式）を生成する。即ち、CsnとCtnの成分差を計算し、CtnをCsnに変換する変換式を生成する。そして、処理を終了する。
【０１０４】
一方、ステップS3-2-3で、ソース画像の選択画素のＣＭＹＫ成分値Csnとターゲット画像の選択画素のＣＭＹＫ成分値Ctnとの差が予め設定されている許容範囲を超える（類似点がない）と判断した場合には、ＣＰＵ１１は、影などの影響で極端に色が変わってしまっていると判断し、ステップS3-2-5に処理を進める。
【０１０５】
ステップS3-2-5では、ＣＰＵ１１は、ターゲット画像のソース画像が重なっている位置に、ソース画像の画素情報を優先して設定するかどうかを判断する。なお、優先設定するかどうかの判断は、予め設定されたパラメータ（ＨＤ２１等に記憶）に基づいて行う、または、ステップS3-2-5の時点で各色域（Esn，Etn）の画像をディスプレイに表示してユーザに判断入力させ、該入力結果に基づいて行うものとする。
【０１０６】
そして、ステップS3-2-5で、ターゲット画像のソース画像が重なっている位置にソース画像の画素情報を優先して設定すると判断した場合には、ＣＰＵ１１は、ステップS3-2-6に処理を進める。
【０１０７】
次に、ステップS3-2-6において、ＣＰＵ１１は、ターゲット画像の選択色域EtnのＣＭＹＫ成分値Ctnを、ソース画像の特定色域Esnの各画素のＣＭＹＫ成分値Csnに設定し、ステップＳ3-2-1に処理を戻し、再度ソース画像の同じ画素から選択される特定色域に対して処理を進める。
【０１０８】
一方、ステップS3-2-5で、ターゲット画像のソース画像が重なっている位置に、ソース画像の画素情報を優先して設定しないと判断した場合には、ＣＰＵ１１は、図示しないステップにおいて、色変換を行わない変換式を生成する。即ち、CtnをCtnに変換する変換式を生成する。そして処理を終了させる。
【０１０９】
以上の処理により、ターゲット画像を特定色に着目して色変換することができる。
【０１１０】
図１１は、本実施形態の色変換式の一例を示す図である。
【０１１１】
以上により、重複する領域を持つ（分割された）２つのカラー画像データを結合する際に、結合する画像を特定色に基づき色変換して、自然な色で１枚の画像に結合することができる。
【０１１２】
なお、３枚以上のカラー画像データを結合する際には、まず２枚の画像を上記処理により結合し、該結合した画像に他の画像を順次上記処理により結合するようにする。即ち、上記図９に示した処理を、複数回実行するようにする。これにより、重複する領域を持つ（分割された）複数のカラー画像データを結合する際に、結合する画像を特定色に基づき色変換して、自然な色で１枚の画像に結合することができる。
【０１１３】
よって、本実施形態では、結合部に限定せずに画像全体の色補正（特定色に着目して色補正）を実施して、最終的な1枚画像の色味を自然な感じにすることができる。さらに、結合部を目立たなくすることを、結合元画像（ソース画像）と結合画像（ターゲット画像）の画素をブレンドさせるという簡易な方法によって実現できる。
【０１１４】
従って、スキャナ等の読取装置の物理的なサイズの問題で、１度で読み取ることができないカラー原稿から、複数回に分けて読み取られた各画像データを、画像結合時に特定色に着目して色補正をして、最終的に自然な１枚の画像にすることができる。特に、設計図や地図を読み取って１枚の自然な画像として結合するような場合、複数枚の写真を結合して１枚の画像として自然なパノラマ写真を作成するような場合、作業時間短縮のために複数台の読み取り装置を使用して読み取ったデータを１枚の自然な画像として結合させるような場合等に有効である。このように、優れた画像結合環境を構築することができる。
【０１１５】
なお、上述した各実施形態では、カラー画像データをＣＭＹＫ成分のカラー画像データを例にして説明したが、ＲＧＢ成分、ＨＬＳ成分、又はＬａｂ成分等の他のカラースペースの色成分で構成される画像データであってもよい。このように、上述した画像データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１１６】
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１７】
また、上述した各実施形態を組み合わせても良い。即ち、第１実施形態で示した色補正，第２実施形態で示したカラーバランス補正，第３実施形態で示した特定色に着目した色補正のいずれか又は全てを組み合わせて、画像データを補正して、結合するように構成してもよい。
【０１１８】
以下、図１２に示すメモリマップを参照して本発明に係る画像結合装置で読み取り可能なデータ処理プログラムの構成について説明する。
【０１１９】
図１２は、本発明に係る画像結合装置で読み取り可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。
【０１２０】
なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。
【０１２１】
さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。
【０１２２】
本実施形態における図２，図４，図５，図６，図７，図８，図９，図１０に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【０１２３】
以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１２４】
この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【０１２５】
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【０１２６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２８】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２９】
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１３０】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【図面の簡単な説明】
【０１３１】
【図１】本発明の一実施形態を示す画像結合装置の一例を示すブロック図である。
【図２】本発明の画像結合装置における第１の制御処理手順の一例を示すフローチャートである。
【図３】本実施形態における複数カラー画像の色補正及び画像結合処理を説明する図である。
【図４】本発明の画像結合装置における第２の制御処理手順の一例を示すフローチャートである。
【図５】本発明の画像結合装置における第３の制御処理手順の一例を示すフローチャートである。
【図６】本発明の画像結合装置における第４の制御処理手順の一例を示すフローチャートである。
【図７】本発明の画像結合装置における第５の制御処理手順の一例を示すフローチャートである。
【図８】本発明の画像結合装置における第６の制御処理手順の一例を示すフローチャートである。
【図９】本発明の画像結合装置における第７の制御処理手順の一例を示すフローチャートである。
【図１０】本発明の画像結合装置における第８の制御処理手順の一例を示すフローチャートである。
【図１１】本実施形態の色変換式の一例を示す図である。
【図１２】本発明に係る画像結合装置で読み取り可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。
【符号の説明】
【０１３２】
１１    ＣＰＵ
１２    ＲＡＭ
１３    ＲＯＭ
２１    ＨＤ
１０００    画像結合装置（ＰＣ）
【図１】
2007180930.tif 000003
【図２】
2007180930.tif 000004
【図３】
2007180930.tif 000005
【図４】
2007180930.tif 000006
【図５】
2007180930.tif 000007
【図６】
2007180930.tif 000008
【図７】
2007180930.tif 000009
【図８】
2007180930.tif 000010
【図９】
2007180930.tif 000011
【図１０】
2007180930.tif 000012
【図１１】
2007180930.tif 000013
【図１２】
2007180930.tif 000014