(57)【要約】【課題】カラー写真画像に対して明るさや色合いなどの種々の補正処理を行う際に、補正処理のためのデータ収集を写真領域に限定するため、写真領域の周囲の枠領域を排除して適切な写真領域を取得可能なようにする。【解決手段】原画像内の写真領域の周囲にある枠領域が白黒いずれかで概ね統一されるように原画像を白黒２値化する閾値を求め、この閾値で原画像全体を２値化して得られた２値化画像上で枠領域と相反する色の画素が連続的に集合した連続領域を取得し、この連続領域を取り囲む最小の矩形領域を設定して、この矩形領域に基づいて写真領域を特定する。【選択図】    図２
2004157818.tif 000002
【特許請求の範囲】
【請求項１】
原画像内にあるカラーの写真領域を対象に所要の処理を行うにあたり、前記原画像内で写真領域を特定する写真領域検出部を有し、この写真領域検出部は、前記原画像内の写真領域の周囲にある枠領域が白黒いずれかで概ね統一されるように前記原画像を白黒２値化する閾値を求め、この閾値で原画像全体を２値化して得られた２値化画像上で前記枠領域と相反する色の画素が連続的に集合した連続領域を取得し、この連続領域を取り囲む最小の矩形領域を設定して、この矩形領域に基づいて前記写真領域を特定することを特徴とする画像処理装置。
【請求項２】
前記写真領域検出部は、前記連続領域に対応して検出された複数の前記矩形領域が互いに重なり合っている場合に、この互いに重なり合う複数の矩形領域を、これらを全て含む最小の矩形領域に統合する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記写真領域検出部は、前記連続領域に対応して前記矩形領域が複数検出された場合に、この複数の矩形領域のサイズを比較して、最大サイズの矩形領域を前記写真領域と認定することを特徴とする請求項１若しくは請求項２に記載の画像処理装置。
【請求項４】
前記写真領域検出部は、最大サイズで前記写真領域と認定された最大矩形領域を除く残りの矩形領域のうち、前記最大矩形領域に対して所定割合以上のサイズを有するものを前記写真領域と認定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記写真領域検出部は、前記閾値を求めるにあたり、矩形をなす前記原画像の各辺縁部について画素ごとの濃度を収集し、これに基づいて各辺縁部ごとに枠領域の有無及び白黒の別を判定し、その判定結果に応じて前記閾値を設定することを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記写真領域検出部は、前記原画像における辺縁部が全て白枠領域である場合には、前記辺縁部の中で最も高い値を示す濃度値を閾値として、この閾値を上回る濃度を有する画素が黒画素となるように前記原画像を２値化することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記写真領域検出部は、前記原画像における辺縁部が全て黒枠領域である場合には、前記辺縁部の中で最も低い値を示す濃度値を閾値として、この閾値を下回る濃度を有する画素が黒画素となるように前記原画像を２値化することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記写真領域検出部は、前記閾値を設定するにあたり、各辺縁部ごとの枠領域の有無及び白黒の別の判定結果に基づいて各辺縁部ごとの閾値候補を求めるものとし、このとき、枠領域がない場合には所定の白近似値を閾値候補とし、白枠領域の場合には濃度の最高値を閾値候補とし、黒枠領域の場合には濃度の最低値を閾値候補とした上で、各辺縁部のいずれかに黒枠領域があれば、各辺縁部ごとの閾値候補の中から最も低い値を閾値に設定し、各辺縁部のいずれにも黒枠領域がない場合には、各辺縁部ごとの閾値候補の中から最も高い値を閾値に設定することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記写真領域検出部は、前記矩形領域の設定処理で余分に取り込まれた無彩色領域を除去する領域補正処理を行い、この処理では、前記矩形領域の各辺ごとに、その端から内側に向けて１ラインずつ前記無彩色領域か否かの判定を行い、ここで対象ラインが前記無彩色領域と判定されると当該ラインを前記矩形領域から削除し、この処理を対象ラインが前記無彩色領域でないものと判定されるまで繰り返し行うことを特徴とする請求項１乃至請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記写真領域検出部は、前記矩形領域の設定処理で余分に取り込まれた黒帯領域を矩形領域から除去する領域補正処理を行い、この処理では、前記矩形領域の上隅部が高濃度を示すと共に、中央側縁部が低濃度を示し且つ写真領域ではないことを条件に前記上隅部に前記黒帯領域があるか否かの判定を行い、ここで前記黒帯領域があるものと判定されると、前記矩形領域の側部においてエッジ画素に基づく新たな境界ラインの探索を行い、ここで取得した境界ラインまで前記矩形領域を内向きに収縮することを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記写真領域検出部は、前記矩形領域の設定処理で取り損ねた欠落領域が含まれるように前記矩形領域を補正する領域補正処理を行い、この処理では、前記矩形領域の各辺について現状の境界ラインが適切か否かの検証をエッジ画素に基づいて行い、ここで適切でないものと判定されると、その辺の外側に前記欠落領域があるものと判断して前記矩形領域を外向きに伸長することを特徴とする請求項１乃至請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
前記写真領域検出部は、前記矩形領域を外向きに伸長するにあたり、当該矩形領域の現状の境界線の外側に他の矩形領域がある場合にはその矩形領域まで伸長し、他の矩形領域がない場合には原画像の端まで伸長することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
原画像内にあるカラーの写真領域を対象に所要の処理を行うにあたり、前記原画像内で写真領域を特定する写真領域検出過程を有し、この写真領域検出過程では、前記原画像内の写真領域の周囲にある枠領域が白黒いずれかで概ね統一されるように前記原画像を白黒２値化する閾値を求め、この閾値で原画像全体を２値化して得られた２値化画像上で前記枠領域と相反する色の画素が連続的に集合した連続領域を取得し、この連続領域を取り囲む最小の矩形領域を設定して、この矩形領域に基づいて前記写真領域を特定することを特徴とする画像処理方法。
【請求項１４】
前記写真領域検出過程では、前記連続領域に対応して検出された複数の前記矩形領域が互いに重なり合っている場合に、この互いに重なり合う複数の矩形領域を、これらを全て含む最小の矩形領域に統合する処理を行うことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記写真領域検出過程では、前記連続領域に対応して前記矩形領域が複数検出された場合に、この複数の矩形領域のサイズを比較して、最大サイズの矩形領域を前記写真領域と認定することを特徴とする請求項１３若しくは請求項１４に記載の画像処理方法。
【請求項１６】
前記写真領域検出過程では、最大サイズで写真領域と認定された最大矩形領域を除く残りの矩形領域のうち、前記最大矩形領域に対して所定割合以上のサイズを有するものを前記写真領域と認定することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記写真領域検出過程では、前記閾値を求めるにあたり、矩形をなす前記原画像の各辺縁部について画素ごとの濃度を収集し、これに基づいて各辺縁部ごとに枠領域の有無及び白黒の別を判定し、その判定結果に応じて前記閾値を設定することを特徴とする請求項１３乃至請求項１６のいずれかに記載の画像処理方法。
【請求項１８】
前記写真領域検出過程では、前記原画像における辺縁部が全て白枠領域である場合には、前記辺縁部の中で最も高い値を示す濃度値を閾値として、この閾値を上回る濃度を有する画素が黒画素となるように前記原画像を２値化することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
前記写真領域検出過程では、前記原画像における辺縁部が全て黒枠領域である場合には、前記辺縁部の中で最も低い値を示す濃度値を閾値として、この閾値を下回る濃度を有する画素が黒画素となるように前記原画像を２値化することを特徴とする請求項１７に記載の画像処理方法。
【請求項２０】
前記写真領域検出過程では、前記閾値を設定するにあたり、各辺縁部ごとの枠領域の有無及び白黒の別の判定結果に基づいて各辺縁部ごとの閾値候補を求めるものとし、このとき、枠領域がない場合には所定の白近似値を閾値候補とし、白枠領域の場合には濃度の最高値を閾値候補とし、黒枠領域の場合には濃度の最低値を閾値候補とした上で、各辺縁部のいずれかに黒枠領域があれば、各辺縁部ごとの閾値候補の中から最も低い値を閾値に設定し、各辺縁部のいずれにも黒枠領域がない場合には、各辺縁部ごとの閾値候補の中から最も高い値を閾値に設定することを特徴とする請求項１７に記載の画像処理方法。
【請求項２１】
前記写真領域検出過程では、前記矩形領域の設定処理で余分に取り込まれた無彩色領域を除去する領域補正処理を行い、この処理では、前記矩形領域の各辺ごとに、その端から内側に向けて１ラインずつ前記無彩色領域か否かの判定を行い、ここで対象ラインが前記無彩色領域と判定されると当該ラインを前記矩形領域から削除し、この処理を対象ラインが前記無彩色領域でないものと判定されるまで繰り返し行うことを特徴とする請求項１３乃至請求項２０のいずれかに記載の画像処理方法。
【請求項２２】
前記写真領域検出過程では、前記矩形領域の設定処理で余分に取り込まれた黒帯領域を矩形領域から除去する領域補正処理を行い、この処理では、前記矩形領域の上隅部が高濃度を示すと共に、中央側縁部が低濃度を示し且つ写真領域ではないことを条件に前記上隅部に前記黒帯領域があるか否かの判定を行い、ここで前記黒帯領域があるものと判定されると、前記矩形領域の側部においてエッジ画素に基づく新たな境界ラインの探索を行い、ここで取得した境界ラインまで前記矩形領域を内向きに収縮することを特徴とする請求項１３乃至請求項２１のいずれかに記載の画像処理方法。
【請求項２３】
前記写真領域検出過程では、前記矩形領域の設定処理で取り損ねた欠落領域が含まれるように前記矩形領域を補正する領域補正処理を行い、この処理では、前記矩形領域の各辺について現状の境界ラインが適切か否かの検証をエッジ画素に基づいて行い、ここで適切でないものと判定されると、その辺の外側に前記欠落領域があるものと判断して前記矩形領域を外向きに伸長することを特徴とする請求項１３乃至請求項２２のいずれかに記載の画像処理方法。
【請求項２４】
前記写真領域検出過程では、前記矩形領域を外向きに伸長するにあたり、当該矩形領域の現状の境界線の外側に他の矩形領域がある場合にはその矩形領域まで伸長し、他の矩形領域がない場合には原画像の端まで伸長することを特徴とする請求項２３に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラー写真画像に対する補正処理を適切に行うために原画像内の写真領域を特定する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
フルカラーの写真画像に対して明るさや色合いなどの種々の補正処理を自動で行う場合、対象画像の特徴に応じた適切な補正処理が行われるように、対象画像について濃度、色相及び彩度などの統計データを収集し、この統計データに基づいて処理方法を決定するようにすると良いが、原画像内のカラー写真画像の周囲に白枠又は黒枠が存在する場合に、原画像全体を対象にして統計データの収集が行われると、対象画像の特徴が誤って認識され、適切な補正処理を行うことができなくなることがある。
【０００３】
例えば原画像に白枠が存在する場合には、写真画像自体は輝度が低い場合でも、白枠部分の輝度が高いために輝度が高い画像と判断され、本来ならば輝度を上げる補正が必要な場合でも、逆に輝度を下げる補正がなされることになり、適切な処理画像が得られない。他方、原画像に黒枠が存在する場合には、この黒枠の影響で輝度が低い画像と判断されて、同様に不適切な補正がなされることになる。このため、写真画像の補正にあたっては、写真画像の特徴が誤って認識されないように原画像内の写真領域を正確に特定する必要がある。
【０００４】
ところが、フルカラーの原画像内でカラー写真領域を検出するには、従来、適当な処理方法がないため、オペレータが手作業で行うことが一般的であり、このような手作業による領域指定は、オペレータの負担が大きいために作業効率が悪く、フルカラーの原画像を対象にしたカラー写真領域の検出処理が可能な画像処理装置が望まれる。なお、印刷に用いられる各色ごとの網点画像データを対象にして原画像から写真領域を分離する像域分離技術が存在する（たとえば、特許文献１参照。）が、このような網点画像用の像域分離技術を、画素単位のＲＧＢ各色成分値データからなるフルカラーの画像データに適用することは困難である。
【０００５】
また、印刷物の紙面を制作する紙面制作システムにおいて、印刷物に掲載するカラー写真画像の元になる原画像には、写真画像以外に、トンボ、カラーパッチ、コメント文字などの付加情報の画像が含まれていることがあり、また写真プリントをスキャナで読み込んで電子化する際に写真プリントを台紙に固定するためのテープなどが原因で原画像内に写真画像以外の画像が含まれることがあり、このような写真画像以外の画像を写真領域の検出処理で適切に排除することができると都合が良い。さらに紙面制作システムでは、短時間に大量の画像を処理する必要があるため、写真領域検出の処理過程が簡素で、高速な処理が可能な構成が望まれる。
【０００６】
【特許文献１】
特開平８−３０７２５号公報（図２）
【０００７】
【発明が解決しようとする課題】
そこで、本発明は、カラー写真画像に対して明るさや色合いなどの種々の補正処理を自動で行う際にその補正処理が適切になされるように補正処理のためのデータ収集の対象を写真領域に限定するため、カラーの原画像を対象にした写真領域の検出処理が可能であり、特に写真画像以外の画像を適切に排除して写真領域を精度良く取得することができ、また写真領域検出の処理過程を簡素化して処理速度を向上させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
このような目的を果たすために、本発明においては、請求項１及び請求項１３に示すとおり、原画像内にあるカラーの写真領域を対象に所要の処理を行うにあたり、原画像内の写真領域を検出するものとし、この写真領域の検出においては、原画像内の写真領域の周囲にある枠領域が白黒いずれかで概ね統一されるように原画像を白黒２値化する閾値を求め、この閾値で原画像全体を２値化して得られた２値化画像上で枠領域と相反する色の画素が連続的に集合した連続領域を取得し、この連続領域を取り囲む最小の矩形領域を設定して、この矩形領域に基づいて写真領域を特定するものとした。これによると、写真領域の周囲にある白又は黒の枠領域を排除して写真領域を精度良く取得することができる。
【０００９】
さらに請求項２及び請求項１４に示すとおり、写真領域の検出において、連続領域に対応して検出された複数の矩形領域が互いに重なり合っている場合に、この互いに重なり合う複数の矩形領域を、これらを全て含む最小の矩形領域に統合する処理を行う構成をとることができる。これによると、濃度が高い領域が分散しているために１つの写真領域が複数の連続領域に分かれて検出された場合でも、適切な写真領域を取得することができる。
【００１０】
さらに請求項３及び請求項１５に示すとおり、写真領域の検出において、連続領域に対応して矩形領域が複数検出された場合に、この複数の矩形領域のサイズを比較して、最大サイズの矩形領域を写真領域と認定する構成とすることができる。これによると、写真領域の認定が矩形領域のサイズにのみ着目して行われるため、処理過程を簡素化することができる。前記の手順で矩形領域を設定すると、通常、写真領域が最大の矩形領域として現れるため、矩形領域のサイズに基づく判定でも精度良く写真領域を取得することができる。
【００１１】
さらに請求項４及び請求項１６に示すとおり、写真領域の検出において、最大サイズで写真領域と認定された最大矩形領域を除く残りの矩形領域のうち、最大矩形領域に対して所定割合以上のサイズを有するものを写真領域と認定する構成とすることができる。これによると、複数の写真領域が存在する場合でも、これらの写真領域を取りこぼすことなく確実に取得することができ、しかも処理が矩形領域のサイズの比較のみで行われるため、処理過程を簡素化することができる。顔写真の一覧画像のように複数の写真領域が存在する場合にはそれらが略同一の面積となる場合が多くあり、またコメント文字などの付加情報の画像によって生成される矩形領域は、写真領域に比較して遙かに小さい。このため、最大矩形領域と大差のないサイズの矩形領域のみを写真領域と認定することで、付加情報の画像を除外して写真領域を確実に取得することができる。
【００１２】
さらに請求項５及び請求項１７に示すとおり、写真領域の検出において、閾値を求めるにあたり、矩形をなす原画像の各辺縁部について画素ごとの濃度を収集し、これに基づいて各辺縁部ごとに枠領域の有無及び白黒の別を判定し、その判定結果に応じて閾値を設定する構成とすることができる。これによると、辺縁部に存在する枠領域を白画素に統一することができる適切な閾値が求められ、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。
【００１３】
さらに請求項６及び請求項１８に示すとおり、写真領域の検出において、原画像における辺縁部が全て白枠領域である場合には、辺縁部の中で最も高い値を示す濃度値を閾値として、この閾値を上回る濃度を有する画素が黒画素となるように原画像を２値化する構成をとることができる。これによると、白枠領域は均一に白画素とすることができる。他方、写真領域内では、白に近い比較的濃度の低い画素を除く画素が黒画素となり、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。
【００１４】
さらに請求項７及び請求項１９に示すとおり、写真領域の検出において、原画像における辺縁部が全て黒枠領域である場合には、辺縁部の中で最も低い値を示す濃度値を閾値として、この閾値を下回る濃度を有する画素が黒画素となるように原画像を２値化する構成をとることができる。これによると、黒枠領域は白画素となり、写真領域内の黒に近い比較的濃度の高い画素を除く画素が黒画素となり、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。
【００１５】
さらに請求項８及び請求項２０に示すとおり、写真領域の検出において、閾値を設定するにあたり、各辺縁部ごとの枠領域の有無及び白黒の別の判定結果に基づいて各辺縁部ごとの閾値候補を求めるものとし、このとき、枠領域がない場合には所定の白近似値を閾値候補とし、白枠領域の場合には濃度の最高値を閾値候補とし、黒枠領域の場合には濃度の最低値を閾値候補とした上で、各辺縁部のいずれかに黒枠領域があれば、各辺縁部ごとの閾値候補の中から最も低い値を閾値に設定し、各辺縁部のいずれにも黒枠領域がない場合には、各辺縁部ごとの閾値候補の中から最も高い値を閾値に設定する構成をとることができる。これによると、枠領域の有無及び白黒の別に応じて適切な閾値を簡単に設定することができる。
【００１６】
さらに請求項９及び請求項２１に示すとおり、写真領域の検出において、矩形領域の設定処理で余分に取り込まれた無彩色領域を除去する領域補正処理を行い、この処理では、矩形領域の各辺ごとに、その端から内側に向けて１ラインずつ無彩色領域か否かの判定を行い、ここで対象ラインが無彩色領域と判定されると当該ラインを矩形領域から削除し、この処理を対象ラインが無彩色領域でないものと判定されるまで繰り返し行う構成とすることができる。これによると、カラーの写真領域の周囲にあるコメント文字などによる無彩色領域が誤って矩形領域に含めて検出された場合でも、この無彩色領域を矩形領域から削除して、適切な写真領域を取得することができる。
【００１７】
さらに請求項１０及び請求項２２に示すとおり、写真領域の検出において、矩形領域の設定処理で余分に取り込まれた黒帯領域を矩形領域から除去する領域補正処理を行い、この処理では、矩形領域の上隅部が高濃度を示すと共に、中央側縁部が低濃度を示し且つ写真領域ではないことを条件に上隅部に黒帯領域があるか否かの判定を行い、ここで黒帯領域があるものと判定されると、矩形領域の側部においてエッジ画素に基づく新たな境界ラインの探索を行い、ここで取得した境界ラインまで矩形領域を内向きに収縮する構成をとることができる。これによると、台紙に写真を固定するためのテープなどにより写真領域の上隅部に現れる黒帯領域によって写真領域が実際より幅広に検出された場合でも、黒帯領域による不要な側部を矩形領域から除去して、適切な写真領域を取得することができる。
【００１８】
さらに請求項１１及び請求項２３に示すとおり、写真領域の検出において、矩形領域の設定処理で取り損ねた欠落領域が含まれるように矩形領域を補正する領域補正処理を行い、この処理では、矩形領域の各辺について現状の境界ラインが適切か否かの検証をエッジ画素に基づいて行い、ここで適切でないものと判定されると、その辺の外側に欠落領域があるものと判断して矩形領域を外向きに伸長する構成をとることができる。これによると、風景写真における空のような低濃度領域が白枠領域と接している場合のように、写真領域内に枠領域と近似する濃度を有する領域があり、これが枠領域と接しているために枠領域と判別することができずに矩形領域の設定処理で矩形領域から除外されたとしても、その欠落領域を含めた状態に矩形領域を補正して、適切な写真領域を取得することができる。
【００１９】
さらに請求項１２及び請求項２４に示すとおり、写真領域の検出において、矩形領域を外向きに伸長するにあたり、当該矩形領域の現状の境界線の外側に他の矩形領域がある場合にはその矩形領域まで伸長し、他の矩形領域がない場合には原画像の端まで伸長する構成をとることができる。これによると、新たな境界線の設定処理を簡単に行うことができる。
【００２０】
なお、前記の請求項２以降の構成では、写真領域を黒画素にして枠領域と識別するようにしたが、白黒逆の場合も可能である。また、枠領域の有無及び白黒の別の判定処理などで濃度値を用いるようにしたが、輝度などの他の特性値を用いることも可能である。
【００２１】
【発明の実施の形態】
以下に添付の図面を参照して本発明の実施の形態について詳細に説明する。
【００２２】
図１は、本発明による画像処理システムの概略構成を示すブロック図である。この画像処理システムは、複数のサンプル画像ごとの最適な処理手順に関するスクリプトデータ（処理手順を所定形式で記述したデータ）及びそのサンプル画像の特徴を表す統計データを蓄積するカラー知識ベース（情報蓄積手段、以下適宜にＣＫＢと略す。）１と、ここに蓄積されたサンプル画像の統計データと処理対象画像について収集した統計データとを比較して、処理対象画像とサンプル画像との類似度を判定し、最も類似するサンプル画像に対応する処理手順を選択するカラークラフト（処理手順選択手段）２と、ここで選択した処理手順に従って処理対象画像の画像処理を実行するカラーインタプリタ（画像処理手段）３とを有している。カラークラフト２は、ＣＴＳ（電算写植組版システム）の画像処理部を構成する。なお、本システムで扱われる画像は、ＴＩＦＦ及びＪＦＩＦなどのファイルフォーマットによるフルカラー画像（例えば１色当たり２５６階調）である。
【００２３】
この画像処理システムで行われる画像処理方法は、換言すると、サンプル画像に代表される複数の処理グループごとに処理手順を予め指定しておくと共に、サンプル画像との類似度に基づいて処理対象画像を複数の処理グループのいずれかに振り分ける画像分類処理に要する情報をカラー知識ベース１に予め蓄積しておき、処理対象画像が入力されると、カラー知識ベース１の蓄積情報を参照して処理対象画像が属する処理グループを特定し、その処理グループに対応する処理手順にしたがって処理対象画像の画像処理を行うものである。ここで画像分類処理は、前記の最も類似するサンプル画像を設定する類似画像検索に相当し、画像分類処理に要する情報は、前記のサンプル画像との類似度の判定に要するサンプル画像の統計データである。
【００２４】
さらにこの画像処理システムは、最も類似するサンプル画像に対応する処理手順による画像処理の結果が不良な場合に、別の処理手順による画像処理を試験的に実行して良好な結果が得られる処理手順を求め、この処理手順と処理対象画像の統計データとを新たなサンプル画像としてカラー知識ベース１に登録し、また良好な結果が得られる処理手順に基づいてカラー知識ベース１に蓄積された処理手順の内容を変更するカラーサポート（処理手順登録手段、処理手順修正手段）４を有している。別の処理手順による画像処理を試験的に実行する画像処理シミュレーションでは、処理条件の入力とこれに基づく出力画像の表示とを対話型で進めて最適な処理手順を求める。カラーサポート４は、ＣＴＳの画像加工端末を構成する。
【００２５】
さらにこの画像処理システムには、処理対象画像の特徴を正確に把握して適切な類似画像検索（処理グループ選択）が行われるように、処理対象となる原画像内で写真領域を特定する写真領域検出部５が設けられている。この画像処理システムに画像が入力されると、その画像データが写真領域検出部５に送られ、ここで取得した写真領域データがカラークラフト２に送られて原画像内の写真領域のみを対象にして統計データが収集される。これにより写真画像の特徴を正確に把握して適切な処理手順の選択が可能になる。また写真領域検出部５で取得した写真領域データはカラーインタプリタ３に送られ、写真領域を対象にした補正処理が行われる。
【００２６】
図２は、図１に示した写真領域検出部で行われる処理の概要を示す模式図である。ここでは、原画像内の写真領域の周囲にある枠領域が白黒いずれかで概ね統一されるように原画像を白黒２値化する閾値を求め、この閾値で原画像全体を２値化して得られた２値化画像上で枠領域と相反する色の画素が連続的に集合した連続領域を取得し、この連続領域を取り囲む最小の矩形領域を設定して、この矩形領域に基づいて写真領域を特定するものとしており、これにより写真領域の周囲の白又は黒の枠領域を排除して写真領域を精度良く検出することができる。
【００２７】
さらにここでは、連続領域に対応して検出された複数の矩形領域が互いに重なり合っている場合に、この互いに重なり合う複数の矩形領域を、これらを全て含む最小の矩形領域に統合する矩形領域統合処理が行われるようになっており、これにより濃度が高い領域が分散しているために１つの写真領域が複数の連続領域に分かれて検出された場合でも、適切な写真領域を取得することができる。
【００２８】
図２に示す例では、上下左右で接する４方向の隣接条件で連続する黒画素の連続領域を２値化画像上で探索し、（Ａ）に示すように黒画素の連続領域が見つかると、次に（Ｂ）に示すように黒画素の連続領域を含む最小の矩形領域、すなわち黒画素の連続領域を取り囲み、これに外接する矩形領域が設定される。そしてここでは２つの矩形領域が重なっているため、（Ｃ）に示すように２つの矩形領域を１つの矩形領域に統合する処理が行われる。
【００２９】
図３は、図１に示した写真領域検出部での処理の全体を示すフロー図である。ここでは前記の閾値算出処理（ステップ１０１）、２値画像作成処理（ステップ１０２）、矩形領域取得処理（ステップ１０３）、並びに矩形領域統合処理（ステップ１０４）が行われた後、取得した矩形領域のうちで写真領域であるものを判定する写真領域判定処理（ステップ１０５）が行われ、さらに写真領域と認定した矩形領域が実際の写真領域と近似するようにその領域を補正する領域補正処理（ステップ１０６〜ステップ１１０）が行われる。
【００３０】
領域補正処理では、写真領域と認定した矩形領域の全てが終了したことを抜け出し条件として領域補正処理のループに入り（ステップ１０６）、その中で無彩色領域を除去する写真領域収縮処理（ステップ１０７）、黒帯領域を除去する写真領域収縮処理（ステップ１０８）、並びに欠落領域を併合する写真領域伸長処理（ステップ１０９）が順次行われ、これらの領域補正処理が全ての写真領域について終了すると、領域補正処理のループから抜け出して終了する（ステップ１１０）。無彩色領域を除去する写真領域収縮処理、黒帯領域を除去する写真領域収縮処理、並びに欠落領域を併合する写真領域伸長処理ではそれぞれ、無彩色領域、黒帯領域、並びに欠落領域の有無を判定して、写真領域と認定した矩形領域が写真領域として適切であるか否かの検証が行われ、ここで所定の領域が検出されて写真領域として不適切と判定された場合にその領域を補正する処理が行われる。
【００３１】
図４は、図３に示した写真領域判定処理（ステップ１０５）の概要を示す模式図である。ここでは（Ａ）に示すように、連続領域に対応して矩形領域が複数検出された場合に、この複数の矩形領域のサイズ（面積）を比較して、最大サイズの矩形領域を写真領域と認定するものとしており、これにより写真領域の認定が矩形領域のサイズにのみ着目して行われるため、処理が極めて簡易になる。前記の手順で矩形領域を設定すると、通常、写真領域が最大の矩形領域として現れるため、矩形領域のサイズに基づく判定でも精度良く写真領域を設定することができる。
【００３２】
さらに（Ｂ）に示すように、最大サイズで写真領域と認定された最大矩形領域を除く残りの矩形領域のうち、最大矩形領域に対して所定割合（７０％）以上のサイズを有するものを写真領域と認定するものとしており、これにより複数の写真領域が存在する場合でも、これらの写真領域を取りこぼすことなく確実に取得することができ、しかも処理が矩形領域のサイズの比較のみで行われるため、処理を極めて簡単に行うことができる。顔写真の一覧画像のように複数の写真領域が存在する場合にはそれらが略同一の面積となる場合が多くあり、またコメント文字などの付加情報の画像によって生成される矩形領域は、写真領域に比較して遙かに小さい。このため、最大矩形領域と大差のないサイズの矩形領域のみを写真領域と認定することで、付加情報の画像を除外して写真領域を確実に取得することができる。
【００３３】
図５は、図４に示した写真領域判定処理の手順を示すフロー図である。まずステップ２０１にて矩形領域の中から最も大きいものが選出され、つづくステップ２０２にてこの最大の矩形領域が写真領域に設定される。そしてステップ２０３にて判定対象となる矩形領域のサイズが最大矩形領域に対して所定割合（７０％）以上か否かが判定され、所定割合以上であればステップ２０４に進んで当該矩形領域が写真領域に設定され、他方、所定割合以上でなければステップ２０５に進んで当該矩形領域が非写真領域に設定される。そしてステップ２０６にて全ての矩形領域が処理済みか否かが判定され、すべての矩形領域が処理済みでなければステップ２０７にて次の領域の処理に移行し、前記の処理が全ての矩形領域について繰り返し行われる。
【００３４】
図６は、図３に示した２値化用閾値算出処理（ステップ１０１）の概要を示す模式図である。ここでは、原画像を２値化するための閾値を求めるにあたり、矩形をなす原画像の各辺縁部について画素ごとの濃度を収集し、これに基づいて各辺縁部ごとに枠領域の有無及び白黒の別を判定し、その判定結果に応じて閾値を設定するものとしており、これにより辺縁部に存在する枠領域を白画素に統一することが可能な適切な閾値が求められ、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。濃度を収集する辺縁部は、原画像の端から内側に所定幅（例えば５ライン分）の領域とすれば良い。
【００３５】
原画像内の枠領域の有無及び白黒の別の判定では、各辺縁部ごとの濃度の標準偏差を所定の判定基準値と比較して枠領域の有無が判定され、各辺縁部ごとの濃度の平均値を所定の判定基準値（例えば２５６階調の１８０）と比較して白黒の別が判定される。写真領域では濃度が不均一であるのに対して枠領域では濃度が概ね均一となることから、濃度の散らばり具合を表す標準偏差で、辺縁部に枠領域があるか否かを精度良く判定することができる。特に、枠領域の有無の判定では、判定基準値を白黒の別に応じて設定すると良い。例えば標準偏差が白枠領域の場合には４以下、黒枠領域の場合には１０以下となるときに枠領域があるものと判定する。このように白枠領域の場合に判定基準を厳しくすることで判定精度を高めることができる。
【００３６】
２値化のための閾値を設定するにあたっては、各辺縁部ごとの枠領域の有無及び白黒の別の判定結果に基づいて各辺縁部ごとの閾値候補を求めるものとし、このとき、枠領域がない場合には所定の白近似値を閾値候補とし、白枠領域の場合には濃度の最高値を閾値候補とし、黒枠領域の場合には濃度の最低値を閾値候補とした上で、各辺縁部のいずれかに黒枠領域があれば、各辺縁部ごとの閾値候補の中から最も低い値が閾値に設定され、各辺縁部のいずれにも黒枠領域がない場合には、各辺縁部ごとの閾値候補の中から最も高い値が閾値に設定される。これにより、枠領域の有無及び白黒の別に応じて適切な閾値を簡単に設定することができる。
【００３７】
白枠領域で濃度の最高値を閾値候補とする場合、並びに黒枠領域で濃度の最低値を閾値候補とする場合には、枠領域内のノイズにより不適切な閾値が設定されないように、閾値候補として有効とする濃度の範囲を予め設定しておき、その基準範囲内で閾値候補を設定してノイズの影響を避ける。すなわち白枠領域の場合には、基準範囲の上限値（例えば２５６階調の２４）を越えない最高値が閾値候補となり、基準範囲の下限値（例えば２５６階調の８）を越える濃度値がなければこの下限値が閾値候補となる。黒枠領域の場合には、基準範囲の下限値（例えば２５６階調の２４５）を下回らない最低値が閾値候補となり、基準範囲の上限値（例えば２５６階調の２５０）を下回らない濃度値がなければこの上限値が閾値候補となる。
【００３８】
図７・図８・図９は、図６に示した２値化用閾値算出処理における具体例を示す模式図である。図７（Ａ）に示すように原画像における４つの辺縁部が全て白枠領域である場合には、各辺縁部ごとに濃度の最高値を閾値候補とし、その中で最も高い値を示すものを閾値として、この閾値を上回る濃度を有する画素が黒画素となるように２値化される。これにより白枠領域は均一に白画素となり、白枠領域内に黒画素が混じるノイズを低減することができる。他方、写真領域内では、白に近い比較的濃度の低い画素を除く画素が黒画素となり、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。
【００３９】
他方、図７（Ｂ）に示すように原画像における４つの辺縁部が全て黒枠領域となる場合には、各辺縁部ごとに濃度の最低値を閾値候補とし、その中で最も低い値を示すものを閾値として、この閾値を下回る濃度を有する画素が黒画素となるように２値化される。これにより黒枠領域は白画素となり、写真領域内の黒に近い比較的濃度の高い画素を除く画素が黒画素となり、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。
【００４０】
また、図８（Ａ）に示すように辺縁部に写真領域と白枠領域とが混在し、黒枠領域がない場合には、写真領域となる辺縁部では所定の白近似値を閾値候補とし、白枠領域となる辺縁部では濃度の最高値を閾値候補とし、これらの４つの閾値候補を比較してその中で最も高い値が閾値に設定され、この閾値を上回る濃度を有する画素が黒画素となるように２値化される。これにより白枠領域は概ね白画素となり、写真領域内の白に近い比較的濃度の低い画素を除く画素が黒画素となり、黒画素の連続領域をもとにした矩形領域の設定で適切な写真領域を取得することができる。
【００４１】
他方、図８（Ｂ）に示すように辺縁部に写真領域と黒枠領域とが混在し、白枠領域がない場合には、写真領域となる辺縁部では所定の白近似値を閾値候補とし、黒枠領域となる辺縁部では濃度の最低値を閾値候補とし、これらの４つの閾値候補を比較してその中で最も低い値が閾値に設定され、この閾値を上回る濃度を有する画素が黒画素となるように２値化される。これにより黒枠領域は黒画素となり、写真領域内の白に近い比較的濃度の低い画素を除く画素が黒画素となる。このため、黒枠領域を含んだ状態で矩形領域が設定されるが、この矩形領域に取り込まれた黒枠領域は、後の無彩色領域除去処理で排除することができ、最終的に適切な写真領域を取得することができる。
【００４２】
また、図９（Ａ）に示すように辺縁部に黒枠領域と白枠領域とが混在する場合には、黒枠領域となる辺縁部では濃度の最低値を閾値候補とし、白枠領域となる辺縁部では濃度の最高値を閾値候補とし、これらの４つの閾値候補を比較してその中で最も低い値が閾値に設定され、この閾値を上回る濃度を有する画素が黒画素となるように２値化される。この場合、白枠領域は均一に白画素となるが、黒枠領域を含んだ状態で矩形領域が設定され、前記と同様に黒枠領域を無彩色領域除去処理で排除することで、最終的に適切な写真領域を取得することができる。
【００４３】
他方、図９（Ｂ）に示すように辺縁部に写真領域と黒枠領域と白枠領域とが混在する場合には、黒枠領域となる辺縁部では濃度の最低値を閾値候補とし、白枠領域となる辺縁部では濃度の最高値を閾値候補とし、写真領域となる辺縁部では所定の白近似値を閾値候補とし、これらの４つの閾値候補を比較してその中で最も低い値が閾値に設定され、この閾値を上回る濃度を有する画素が黒画素となるように２値化される。この場合も前記と同様に黒枠領域を無彩色領域除去処理で排除することで、最終的に適切な写真領域を取得することができる。
【００４４】
図１０は、図６〜図９に示した閾値算出処理の手順を示すフロー図である。まずステップ３０１にて原画像の１つの辺縁部について画素ごとの濃度を収集してその平均値及び標準偏差が算出される。そしてステップ３０２にて濃度の標準偏差と所定の判定基準値との比較により枠領域の有無が判定される。ここで濃度の標準偏差が基準値よりも小さくない、すなわち辺縁部に枠領域がなく、写真領域が接しているものと判定されると、ステップ３０３に進んで所定の白近似値（例えば２５６階調での８）が閾値候補に設定される。
【００４５】
他方、ステップ３０２にて濃度の標準偏差が基準値よりも小さい、すなわち辺縁部に枠領域があるものと判定されると、ステップ３０４に進んで濃度の平均値と所定の判定基準値との比較により枠領域の白黒の別が判定される。ここで濃度の平均値が基準値よりも高くない、すなわち白枠領域と判定されると、ステップ３０５に進んで基準範囲内での最大値が閾値候補に設定される。これとは逆に濃度の平均値が基準値よりも高い、すなわち黒枠領域と判定されると、ステップ３０６に進んで基準範囲内での最小値が閾値候補に設定される。
【００４６】
このようにして原画像の１つの辺について閾値候補が得られると、ステップ３０７にて全ての辺が処理済みか否かが判定され、全ての辺が処理済みでなければステップ３０８に進んで次の辺の処理に進み、この閾値候補の取得処理が全ての辺について処理済みとなるまで繰り返し行われる。
【００４７】
次にステップ３０９にて原画像の４辺のいずれかに黒枠領域があるか否かの判定が行われ、ここで４辺のいずれにも黒ふちがない場合（図７（Ａ）及び図８（Ａ）参照）には、ステップ３１０に進んで４つの閾値候補のうちの最高値が閾値に選出される。他方、４辺のいずれかに黒ふちがある場合（図７（Ｂ）、図８（Ｂ）、並びに図９参照）には、ステップ３１０に進んで４つの閾値候補のうちの最低値が閾値に選出される。
【００４８】
図１１は、図３に示した無彩色領域除去による領域収縮処理（ステップ１０７）の概要を示す模式図である。ここでは、矩形領域の設定処理で余分に取り込まれた無彩色領域を除去する領域補正処理を行い、この処理では、矩形領域の各辺ごとに、その端から内側に向けて１ラインずつ無彩色領域か否かの判定を行い、ここで対象ラインが無彩色領域と判定されると当該ラインを矩形領域から削除し、この処理を対象ラインが無彩色領域でないものと判定されるまで繰り返し行うものとしており、これによりカラーの写真領域の周囲にあるコメント文字などによる無彩色領域が誤って矩形領域に含めて検出された場合でも、この無彩色領域を矩形領域から削除して、適切な写真領域を取得することができる。
【００４９】
図１１に示す例では、（Ａ）に示すように写真領域の下端部分に重なるように黒色のコメント文字が書き込まれており、黒画素の連続領域による矩形領域の設定処理では、写真領域と黒色のコメント文字部分との境がないため、（Ｂ）に示すように写真領域の下のコメント文字からなる無彩色領域までを含めて矩形領域が設定される。そこでこの無彩色領域を除去して矩形領域を収縮する領域収縮処理を行うと、（Ｃ）に示すように写真領域として適切な矩形領域になる。
【００５０】
対象ラインが無彩色領域か否かの判定は、対象ライン中の無彩色画素の割合を所定の判定基準値と比較して行う。対象ライン中の画素が無彩色画素か否かの判定は、対象画素のカラー度を所定の閾値と比較して行う。カラー度は次式で求めることができる。
画素（ｒ，ｇ，ｂ）のカラー度＝Ｍａｘ（ｒ，ｇ，ｂ）−Ｍｉｎ（ｒ，ｇ，ｂ）
ここでＭａｘ（ｒ，ｇ，ｂ）はＲＧＢ各成分中の最大値、Ｍｉｎ（ｒ，ｇ，ｂ）はＲＧＢ各成分中の最小値である。無彩色画素判定のための閾値は、原画像全体に関するカラー度のヒストグラムに基づいて設定される。例えば最低値からの累計画素数（度数）が全画素数の６０％となるカラー度を閾値とする。
【００５１】
図１２は、図１１に示した無彩色領域除去による領域収縮処理の手順を示すフロー図である。まずステップ４０１にて原画像の全画素に関するカラー度のヒストグラムを作成し、つづくステップ４０２にて無彩色領域判定用の閾値を取得し、ステップ４０３以降の処理に進む。ここでは写真領域と認定された矩形領域における１辺の端から１ラインずつ処理が行われる。
【００５２】
まずステップ４０３にて判定対象となる１ラインの無彩色画素数をカウントし、つづくステップ４０４にて矩形領域のライン画素数に対する当該ラインの無彩色画素数が所定割合（例えば９０％）以上か否かが判定され、無彩色画素数が所定割合以上であり、当該ラインが無彩色領域に該当するものと判定されると、ステップ４０５に進んで当該ラインが矩形領域から削除される。そしてステップ４０６にて一つ内側のラインの処理に進み、ステップ４０３の処理が繰り返し行われ、ステップ４０４にて無彩色画素数が所定割合以上でない、すなわち当該ラインが無彩色領域に該当しないものと判定されると、その辺の処理が終了し、ステップ４０７に進む。
【００５３】
ステップ４０７では矩形領域のすべての辺が処理済みか否かが判定され、ここですべての辺が処理済みでないと判定されると、ステップ４０８に進んで次の辺の処理に移行し、前記の処理が繰り返し行われる。
【００５４】
図１３は、図３に示した黒帯領域除去による領域収縮処理（ステップ１０８）の概要を示す模式図である。ここでは、矩形領域の設定処理で余分に取り込まれた黒帯領域を矩形領域から除去する領域補正処理が行われ、この処理では、矩形領域の上隅部が高濃度を示すと共に、中央側縁部が低濃度を示し且つ写真領域ではないことを条件に上隅部に黒帯領域があるか否かの判定を行い、ここで黒帯領域があるものと判定されると、矩形領域の側部においてエッジ画素に基づく新たな境界ラインの探索を行い、ここで取得した境界ラインまで矩形領域を内向きに収縮するものとしている。これにより台紙に写真を固定するためのテープなどにより写真領域の上隅部に現れる黒帯領域によって写真領域が実際より幅広に検出された場合でも、黒帯領域による不要な側縁部を除去して、適切な写真領域を取得することができる。
【００５５】
図１３に示す例では、写真プリントの隅を色付きのテープで台紙に固定してスキャナで読み取ることで、（Ａ）に示すように写真領域の上部両端にテープによる高濃度な帯状画像が現れ、これは２値画像上で黒帯領域となり、写真領域内の高濃度部分と一緒になって黒画素の連続領域を形成する。このため、黒画素の連続領域に基づく矩形領域の設定処理を行うと、（Ｂ）に示すように黒帯領域を取り込んだ状態で矩形領域が設定される。そこで、（Ｃ）に示すように黒帯領域を含む側部が矩形領域から除外されるように矩形領域を収縮する処理が行われる。
【００５６】
図１４は、図１３に示した黒帯領域除去による領域収縮処理の内容を示す模式図である。ここで上隅部は、（Ａ）に示すように矩形領域の上端から下側に１０ライン分の高さで、且つ左右の端から内側に５ライン分の幅の領域とする。上隅部が高濃度であるか否かの判定は、上隅部の濃度の平均値を所定の基準値と比較して行う。中央側縁部は、（Ｂ）に示すように矩形領域の高さを５等分してそのうちの中央３つ分の高さで、且つ左右の端から内側に５ライン分の幅の領域とする。中央側縁部が低濃度であるか否かの判定は、中央側縁部の濃度の平均値を所定の基準値と比較して行う。中央側縁部が写真領域でないことの判定は、中央側縁部の濃度の標準偏差を所定の基準値と比較して行う。
【００５７】
上隅部に黒帯領域があると判定されて黒帯領域を含む側部を矩形領域から除去するにあたっては、（Ｃ）に示すように矩形領域の左右の端から内側に向けて境界ラインを探索する。この境界ラインの探索では、ラインごとにエッジ画素を検出し、探索領域内で最も多くのエッジ画素が検出されたエッジ最多ラインが新たな境界ラインに設定される。探索領域は、矩形領域の左右の端から矩形領域の全幅に対して１５％の幅を有する領域とする。エッジ画素の検出は、所定のオペレータを用いて行われ、これで検出値が所定の基準値（例えば１０）以上となるとエッジ画素と判断する。
【００５８】
図１５は、図１３・図１４に示した黒帯領域除去による領域収縮処理の手順を示すフロー図である。まずステップ５０１にて写真領域と認定された矩形領域の上隅部の濃度の平均値を求め、つづくステップ５０２にて上隅部の濃度の平均値と所定の基準値（２５６階調での１２０）との比較により上隅部が高濃度であるか否かの判定が行われ、ここで上隅部が高濃度であると判定されると、ステップ５０３以降の中央側縁部の判定に進む。
【００５９】
ステップ５０３では中央側縁部の濃度の平均値と標準偏差を求め、つづくステップ５０４にて濃度の平均値と所定の基準値（２５６階調での１０）との比較、並びに標準偏差と所定の基準値（１０）との比較により、中央側縁部が低濃度で、かつ写真領域でないことの判定が行われ、ここで中央側縁部の低濃度で、かつ写真領域でないものと判定されると、黒帯領域があるものとしてステップ５０５以降の矩形領域の収縮処理に進む。
【００６０】
ステップ５０５では矩形領域の側部の探索領域についてラインごとにエッジ画素が検出され、つづくステップ５０６にて最も多くのエッジ画素が検出されたエッジ最多ラインが求められる。そしてステップ５０７にてエッジ最多ラインまで矩形領域を収縮する処理が行われる。なお、エッジ画素がない、あるいはエッジ画素が所定数に満たないため、境界ラインが検出不能である場合は矩形領域の収縮処理は行われない。
【００６１】
次にステップ５０８にて、左右両辺とも処理済みか否かが判定され、左右両辺とも処理済みでなければステップ５０９に進んで次の辺の処理に移行し、前記の処理が繰り返し行われる。
【００６２】
なお、黒帯領域が矩形領域の上隅部に限定されない場合には、矩形領域の全ての辺について黒帯領域の有無の判定及び領域収縮の処理が行われ、この場合、前記の手順を矩形領域の各辺を順次上にして実施すれば良い。
【００６３】
図１６は、図３に示した欠落領域併合による領域伸張処理（ステップ１０９）の概要を示す模式図である。ここでは、矩形領域の設定処理で取り損なった欠落領域が含まれるように矩形領域を補正する領域補正処理が行われ、この処理では、矩形領域の各辺について現状の境界ラインが適切か否かの検証をエッジ画素数に基づいて行い、ここで適切でないものと判定されると、その辺の外側に欠落領域があるものと判断して矩形領域を外向きに伸長するものとしている。これにより風景写真における空のような低濃度領域が白枠領域と接している場合のように、写真領域内に枠領域と近似する濃度を有する領域があり、これが枠領域と接しているために枠領域と判別することができずに矩形領域の設定処理で矩形領域から除外されたとしても、その欠落領域を含めた状態に矩形領域を補正して、適切な写真領域を取得することができる。またこの領域伸張処理により、前記の無彩色領域除去による領域収縮処理で過剰に除去した写真領域部分を回復することもできる。
【００６４】
図１６に示す例では、（Ａ）に示すように写真領域の上部に明るくて濃度が低い空が広がっており、この低濃度領域は２値化処理で白枠領域と同じ白画素となるため、黒画素による矩形領域の設定処理を行うと、（Ｂ）に示すように低濃度領域が除外された状態で矩形領域が設定され、欠落領域が生じる。そこで、（Ｃ）に示すように欠落領域が矩形領域に含まれるように矩形領域を伸長する処理が行われる。
【００６５】
図１７は、図１６に示した領域伸張処理の内容を示す模式図である。ここでは矩形領域を外向きに伸長するにあたり、（Ａ）に示すように現状の境界線の外側に他の矩形領域がある場合にはその矩形領域まで伸長し、（Ｂ）に示すように現状の境界線の外側に他の矩形領域がない場合には原画像の端まで伸長するものとしている。これにより新たな境界線の設定処理を簡単に行うことができる。（Ａ）に示すように現状の境界線の外側に複数の矩形領域がある場合には直近の矩形領域まで伸長する。ここで、他の矩形領域まで伸長するとは、欠落領域側の１辺が他の矩形領域の手前側の１辺に接するように領域を拡大することである。
【００６６】
図１８は、図１６に示した領域伸張処理での境界線検証の概要を示す模式図である。現状の境界ラインが適切か否かの検証は、現状の境界ライン上のエッジ画素の割合を基準に行われ、特にここでは（Ａ）に示すように、境界ラインのエッジ画素数が矩形領域のライン画素数に対して所定割合（例えば５０％）以上となることを条件とし、さらに境界ラインの近傍領域において最も多くのエッジ画素が検出されたエッジ最多ラインが現状の境界ラインに一致することを条件に加え、両者を満足する場合に（第１の判定基準）、現状の境界ラインが適切であるものと判断する。ここでライン画素数とは、Ｘ方向に沿った辺が対象となる場合にはＸ方向の総画素数となり、Ｙ方向に沿った辺が対象となる場合にはＹ方向の総画素数となる。
【００６７】
この第１の判定基準による判定処理では、近傍領域全体のエッジ画素の検出及び集計の処理が必要となり、処理の高速化を図るためにその前段でより厳しい条件、すなわち（Ｂ）に示すように、現状の境界ラインのエッジ画素数が原画像全体のライン画素数に対して所定割合（例えば５０％）以上となることを条件として判定を行い、これを満足する場合（第２の判定基準）には、第１の判定基準による判定を行うことなく、現状の境界ラインが適切であるものと判断する。
【００６８】
さらにここでは、前記の第２の判定基準を満足しない場合に、第１の判定基準による判定の前段で、（Ｃ）に示すように、境界ラインの近傍領域でのエッジ最多ラインのエッジ画素数が、矩形領域のライン画素数に対して所定割合（例えば２０％）以下である場合には（第３の判定基準）、第１の判定基準による判定を行うことなく現状の境界ラインが不適切であるものと判断する。ここでは、現状の境界ラインの近傍で境界が明確であるか否かの検証を行っている。なお、エッジ最多ラインが現状の境界ラインの内側で検出された場合には矩形領域の伸長処理は行われない。
【００６９】
図１９は、図１６に示した領域伸張処理での特殊な例を示す模式図である。ここでは（Ａ）に示すように上部に空が撮影された低濃度領域があり、有彩色（例えばオレンジ色）のビルＡを除くビルはグレーの無彩色である。この原画像に対して黒画素に基づく矩形領域設定処理、並びに無彩色領域除去による領域収縮処理を行うと、（Ｂ）に示すように有彩色のビルＡの部分まで領域を縮めてしまう。そこで領域伸張処理が行われ、ここでエッジ画素の検出を行うと、有彩色のビルＡの屋上部分で矩形領域のライン画素数の２０％以上のエッジ画素が検出され、第３の判定基準では境界でないとの判定は下されない。しかし、境界ラインの近傍領域でのエッジ最多ラインがグレーのビルＢの屋上部分に存在すると、これは矩形領域の境界ラインと異なるため、第１の判定基準により境界でないものと判定され、（Ｃ）に示すように領域の伸長処理が行われる。
【００７０】
図２０は、図１６〜図１９に示した領域伸張処理での境界線探索の概要を示す模式図である。矩形領域から排除された欠落領域の有無の判定は、矩形領域の上下・左右の各辺について行われ、このとき、各辺ごとに定められた所定のオペレータを用いてエッジ画素の検出が行われ、ここで検出値が所定の基準値（例えば１０）以上となるとエッジ画素と判断する。
【００７１】
図２１は、図１６〜図２０に示した領域伸張処理の手順を示すフロー図である。まずステップ６０１にて矩形領域の１辺の境界ラインについてエッジ画素数をカウントし、つづくステップ６０２にて境界ラインのエッジ画素数が原画像のライン画素数に対して所定割合（５０％）以上あるか否かの判定（第２の判定基準）が行われ、ここでエッジ画素数が所定割合以上でなく、境界が別にある可能性が高いものと判定されると、ステップ６０３に進む。
【００７２】
ステップ６０３では境界ラインの近傍領域においてラインごとにエッジ画素を検出し、つづくステップ６０４にてエッジ画素が最も多く検出されたエッジ最多ラインとそのエッジ画素数を求める。そしてステップ６０５にてエッジ最多ラインのエッジ画素数が矩形領域のライン画素数に対して所定割合（２０％）以下あるか否かの判定（第３の判定基準）が行われ、ここでエッジ画素数が所定割合以下でなく、依然として境界の真偽が不明であるものと判定されると、ステップ６０６に進む。
【００７３】
ステップ６０６ではエッジ最多ラインが境界ラインと等しく、かつエッジ最多ラインのエッジ画素数が矩形領域のライン画素数に対して所定割合（５０％）以上あるか否かの判定（第３の判定基準）が行われ、ここでエッジ画素数が所定割合以上でなく、境界線が別にあるものと判定されると、ステップ６０７以降の新たな境界線の設定処理に進む。
【００７４】
ステップ６０７では処理対象の矩形領域の外側に別の矩形領域があるか否かが判定され、ここで別の矩形領域がなければステップ６０８に進んで原画像の端まで領域を広げる処理が行われ、別の矩形領域があればステップ６０９に進んで外側にある別の矩形領域の位置まで領域を広げる処理が行われる。他方、ステップ６０２にて境界ラインのエッジ画素数が原画像のライン画素数に対して所定割合以上あり、現状の境界ラインが適切と判定された場合には、境界変更を行わずにステップ６１０に進む。またステップ６０５にてエッジ最多ラインのエッジ画素数がライン画素数に対して所定割合以下であり、境界が別にあることが明らかであるものと判定されると、ステップ６０６による判定を行うことなくステップ６０７に進む。
【００７５】
次にステップ６１０にて矩形領域のすべての辺が処理済みか否かが判定され、すべての辺が処理済みでなければステップ６１１に進んで次の辺の処理に移行し、すべての辺が処理済みとなるまで前記の処理が繰り返し行われる。
【００７６】
【発明の効果】
このように本発明によれば、写真領域の周囲にある白又は黒の枠領域を排除して写真領域を精度良く検出することができ、ここで取得した写真領域に基づいて統計データを収集することで写真画像の特徴を正確に把握することができるため、写真画像に対して最適な補正処理が可能になり、出力画像の品質を高める上で多大な効果を奏する。特に最大サイズの矩形領域と、これに対して所定割合以上のサイズを有する矩形領域を写真領域と認定することで処理過程を簡素化することができ、高速な領域検出処理を実現する上で大きな効果が得られる。
【図面の簡単な説明】
【図１】本発明による画像処理システムの概略構成を示すブロック図
【図２】図１に示した写真領域検出部で行われる処理の概要を示す模式図
【図３】図１に示した写真領域検出部での処理の全体を示すフロー図
【図４】図３に示した写真領域判定処理の概要を示す模式図
【図５】図４に示した写真領域判定処理の手順を示すフロー図
【図６】図３に示した２値化用閾値算出処理の概要を示す模式図
【図７】図６に示した２値化用閾値算出処理における具体例を示す模式図
【図８】同じく図６に示した２値化用閾値算出処理における具体例を示す模式図
【図９】同じく図６に示した２値化用閾値算出処理における具体例を示す模式図
【図１０】図６〜図９に示した閾値算出処理の手順を示すフロー図
【図１１】図３に示した無彩色領域除去による領域収縮処理の概要を示す模式図
【図１２】図１１に示した領域収縮処理の手順を示すフロー図
【図１３】図３に示した黒帯領域除去による領域収縮処理の概要を示す模式図
【図１４】図１３に示した黒帯領域除去による領域収縮処理の内容を示す模式図
【図１５】図１３・図１４に示した領域収縮処理の手順を示すフロー図
【図１６】図３に示した欠落領域併合による領域伸張処理の概要を示す模式図
【図１７】図１６に示した領域伸張処理の内容を示す模式図
【図１８】図１６に示した領域伸張処理での境界判定の概要を示す模式図
【図１９】図１６に示した領域伸張処理での特殊な例を示す模式図
【図２０】図１６〜図１９に示した領域伸張処理での境界線探索の概要を示す模式図
【図２１】図１６〜図２０に示した領域伸張処理の手順を示すフロー図
【符号の説明】
１  カラー知識ベース
２  カラークラフト
３  カラーインタプリタ
４  カラーサポート
５  写真領域検出部
【図１】
2004157818.tif 000003
【図２】
2004157818.tif 000004
【図３】
2004157818.tif 000005
【図４】
2004157818.tif 000006
【図５】
2004157818.tif 000007
【図６】
2004157818.tif 000008
【図７】
2004157818.tif 000009
【図８】
2004157818.tif 000010
【図９】
2004157818.tif 000011
【図１０】
2004157818.tif 000012
【図１１】
2004157818.tif 000013
【図１２】
2004157818.tif 000014
【図１３】
2004157818.tif 000015
【図１４】
2004157818.tif 000016
【図１５】
2004157818.tif 000017
【図１６】
2004157818.tif 000018
【図１７】
2004157818.tif 000019
【図１８】
2004157818.tif 000020
【図１９】
2004157818.tif 000021
【図２０】
2004157818.tif 000022
【図２１】
2004157818.tif 000023