(57)【特許請求の範囲】
【請求項１】
画像中の空領域を検出する方法であって、
上記画像中の飽和度低下勾配を計算する段階と、
上記画像中の真の画像領域を識別するために、上記領域の飽和度低下勾配と空についての所定の飽和度低下勾配とを比較する段階とを含む方法。
【請求項２】
上記画像中の潜在的な空領域を色によって分類する段階を更に含む、請求項１記載の方法。
【請求項３】
上記分類段階は、
画素識別器を用いて上記画像中の画素の信念マップを形成し、
空の色の適応閾値を計算する段階と、
上記画素と上記閾値を超過する画素を上記潜在的な空の画素によって分類する段階とを含む、請求項２記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は概してディジタル画像処理及びディジタル画像理解の分野に関連し、更に特定的には、写真及び他の同様な画像中のどの領域が空であるかを検出するシステムに関連し、更に特定的には色分類、領域抽出及び物理学的空シグナチャ（特徴）検証に基づく空検出システムに関する。
【０００２】
【従来の技術】
空は、重要な被写体のうちの１つであり、写真画像中にしばしば見られる。空を検出することにより、様々な画像の理解、強調、操作タスクが容易となる。空は、シーン分類（例えば、屋外シーンと屋内シーン、ピクニックシーンと会議シーン、都市と風景等）のための屋外画像の強い指標である。例えば、M.Szummer and R.W.Picard, "Indoor-Outdoor Image Classification", in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998及びA. Vailaya, A. Jain, and H.J. Zhang, "On Image Classification: City vs. Landscape," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998（共にここに参照として組み入れられる）を参照のこと。空に関する情報については、「かなりの空を含む屋外画像」又は「夕焼けの画像」等（例えば、ここに参照として組み入れられるJ.R.Smith and C.-S. Li, "Decoding Image Semantics Using Composite Region Templates," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998）といったクエリーを作成することが可能である。このように、空検出により、更に有効な内容に基づく画像検索が可能となる。
【０００３】
画像の向きを認識するために、空及びその向きに関する知識は、屋外画像についての画像の向きを示しうる（一般的に信じられているのとは逆に、空領域は必ず画像の上部にあるとは限らない）。更に、画像中の主要な被写体を検出するとき、空領域は背景である可能性が高いため通常は排除される。
【０００４】
空の最も顕著な特徴はその色であり、空が晴れているときはその色は通常は薄い青である。このような特徴は画像中の空を検出するために使用されてきた。例えば、F.S. Jamzadehによる「Method and Apparatus for Using Film Scanning Information to Determine the Type and Category of an Image」なる名称の米国特許第５，８８９，５７８号（ここに参照として組み入れられる）は、更なる記述を与えることなく空を検出するために色のキュー（「薄い青」）を使用することについて記載している。
【０００５】
Robert M. Goodwinによる「Whole Order Orientation Method and Apparatus」なる名称の米国特許第５，６４２，４４３号（ここに参照として組み入れられる）は、画像中の空に関連付けられる画素を示すために色及びテクスチャ（が無いこと）を用いる。特に、Goodwinによれば、色度により領域をセクタへ分割する方法が用いられている。方向が揃えられていない画像の２つの長辺に沿ったサンプリングゾーンの画素が調べられる。空の色の非対称的な分布が見つかると、画像の向きが推定される。写真の注文全体の向きは、その注文の個々の画像についての推定値に基づいて決定される。Goodwinによる注文全体の向きの方法が成功するには、十分に大きな特徴の群（少なくとも８０％の成功率を有するものが殆ど各画像ごとに見つかる）か、又はより小さい特徴（９０％以上の成功率であり、この特徴が全ての画像の約４０％に見つけられる）の群が必要である。従って、Goodwinでは、非常に強固な空検出方法は必要とされていない。
【０００６】
Saber et al. (E. Saber, A.N. Tekalp, R. Eschbach, and K. Knox), "Automatic Image Annotation Using Adaptive Color Classification", CVGIP: Graphical Models and Image Processing, vol. 58, pp. 115-125, 1996（ここに参照として組み入れられる）では、空を検出するために色分類が使用される。空の画素は、２次元ガウス確率密度関数（ＰＤＦ）に従うと想定される。従って、空の画素を決定するために、所与の画像についての適応的に決定される閾値と共に、マハラノビス距離と同様の計量が用いられる。最後に、画像の分類及び注釈（例えば「屋外」、「人々」）を決定するために、上述の色分類にのみ基づいて画像から抽出される空、草、肌の有無に関する情報が使用される。
【０００７】
大局的な類似性にのみ基づいて自然画像を整合させることは、その程度までしか物を撮像することができない。従って、上述のSmithは、内容に基づく画像検索の文脈で複合領域テンプレート（ＣＲＴ）を用いて画像セマンチックを復号化する方法を開発した。Smithの方法では、画像が色領域セグメント化を用いて分割された後、典型的な５×５のグリッドに対して垂直及び水平走査が行われ、本質的には領域間の空間的関係を示す５×５マトリックスであるＣＲＴが形成される。既知の画像の向きを仮定すると、画像の上部の青の拡大したパッチは晴れた空を表わす可能性が高く、空及び雲に対応する領域は草木に対応する領域の情報の上にある可能性が高い。これらの仮定は常に有効であるわけではないが、上述のSmithでは、ＣＲＴ、色ヒストグラム、及びテクスチャを用いて実行されたクエリーは、「夕焼け」及び「自然」といったカテゴリでははるかに有効であることが示されている。
【０００８】
【発明が解決しようとする課題】
従来技術の主な欠点は、同じように色づけされた又はテクスチャを有する被写体、例えば、青い壁、水域（海、湖等）、青いシャツ等を区別できないことである。更に、これらの技術の幾つかは、画像の向きに関する知識に依存する必要がある。空の有無を高い信頼性で検出できないこと、特に偽の肯定的な検出は、それ以降の適用に失敗をもたらす可能性がある。
【０００９】
【課題を解決するための手段】
本発明は、色相、テクスチャ解析、及び物理学的空トレース解析に基づく強固な空検出システムを提供する。本発明は、明るい空の色の画素を選択するために色相情報を使用し、潜在的な空の領域を見つけるために連結成分解析を用いる。本発明は、テクスチャ内容が低い空領域を確認するために勾配（グラディエント）を用い、同様の空の色の信念であるが同様でない空の色を有する隣接する領域を分割するために平滑な広がりとして画成されるオープンスペースをセグメント化する。本発明はまた、天頂−水平線方向を決定するために勾配を用い、候補領域が空モデルに当てはまるかどうかを決定するために物理学的空トレースシグナチャを用いる。
【００１０】
更に特定的には、本発明は画像中で空領域を検出するための方法、画像認識システム、コンピュータプログラム等の形式を取ることができ、画像中の潜在的な空画素を色によって分類すること、潜在的な空画素の連結成分を抽出すること、所定のテクスチャ閾値以上のテクスチャを有する連結成分のうちの１つを除去すること、連結成分の飽和度低下（desaturation）勾配を比較すること、及び画像中の真の空領域を識別するために、連結成分の飽和度低下勾配と空についての所定の飽和度低下勾配とを比較することを含む。
【００１１】
飽和度低下勾配は、画像の赤、緑、青のトレース成分についての飽和度低下勾配を含み、空についての所定の飽和度低下勾配は、水平線から天頂まで、赤及び緑の光トレース成分の減少と、略一定の青の光トレース成分とを含む。
【００１２】
色分類は、画素分類器を用いて画像中の画素の信念マップを形成し、空の色の適応閾値を計算し、閾値を越える画素を分類することは、信念マップから得られる信念ヒストグラム中の第１の谷を識別することを含む。信念マップ及び信念ヒストグラムは、画像に固有である。
【００１３】
本発明はまた、画像の幅方向に平行な第１の勾配を識別し、画像の幅方向に垂直な第２の勾配を識別し、第１の勾配と第２の勾配とを比較することによって、画像中のシーンの水平方向を決定する。シーンの水平方向は、第１の勾配と第２の勾配のうちの小さい方によって識別される。
【００１４】
【発明の実施の形態】
上述及び他の目的、面、及び利点は、添付の図面を参照して本発明の望ましい実施例の詳細な説明を読むことにより明らかとなろう。
【００１５】
上述のように、強固な空検出処理は、色及びテクスチャを越えてなされる必要がある。特に、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別するために、空の物理的モデルが所望とされる。以下説明される本発明は、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別する強固な空検出処理を提供する。
【００１６】
本願では、空検出は、空の閉塞されていない部分に対応する画像中の全ての画素を識別することを含む。更に、空の検出により、個々のセグメント化された領域に、空を含む確率が割り当てられる。確率を用いた表現を使用するか、これをクリスプな決定に変換するかは、画像理解システムの続く従来の処理にゆだねられる。本発明の幾つかの重要な特徴は、色相分類、テクスチャ解析、及び物理的空トレース解析に基づく強固な空検出処理、明るい空の色の画素を選択するために色相情報を使用すること、潜在的な空領域を見つけるために連結成分解析を用いること、空領域のテクスチャ内容が低いこと（即ちオープンスペースであること）を確かめるために勾配を使用すること、同様の空の色の信念を有し同様でない空の色を有する隣接する領域を分割するためにオープンスペースのセグメント化を使用すること、天頂−水平線方向を決定するために勾配を使用すること、候補領域が空モデルに当てはまるかどうかを決定するために物理的空トレースシグナチャを使用することを含む。
【００１７】
本発明の主要な事項は、ディジタル画像理解技術、即ちディジタル画像を理解しそれにより人間によって理解可能な対象、属性又は条件に対して有用な意味を割り当てるよう処理し、次に得られた結果をディジタル画像の更なる処理に用いることに関する。
【００１８】
図１は、空検出システム（例えばディジタル画像理解技術）全体を示すブロック図である。まず、ディジタル画像（１０）がディジタル式に処理される（２０）。
画像変更段階（４０）において、処理段階（２０）から得られる結果（３０）と、元のディジタル画像（１０）とを用いて、変更画像（５０）が生成される。
【００１９】
図２は、本発明による空検出処理をより詳細に示す図である。本発明の方法は、３つの主な段階を含む。最初の主な段階（例えばブロック２０１）では、以下説明される正及び負の例を用いてブートストラップ式に学習されるマルチレイヤバックプロパゲーションニューラルネットワークによって色分類が実行される。色分類段階の出力は、２値決定マップよりも望ましい連続的な「信念」値のマップである。
【００２０】
次に主な段階では、領域抽出段階（例えばブロック２０２）は、信念ヒストグラム中を低い信念から高い信念へ移動するときに通る第１の谷を見つけることによって空の色の信念マップのための適当な閾値を自動的に決定し、連結成分解析を実行する。更に、（１）高くテクスチャ化された領域を判定するため、及び（２）空を、他の青色の領域、例えば水域から区別するために、オープンスペースの検出（例えばブロック２０４）が組み込まれる。閾値信念よりも上の値を有する画素と、オープンスペースのマップ中で連結成分との交点を取ることにより、シード領域が形成される。閾値信念よりも下の値の画素では、信念値の連続性及び色値の連続性により、シード領域からの成長が生ずる。
【００２１】
最後に、第３の主な段階では、空シグナチャ検証処理（例えばブロック２０５乃至２０９）は、各抽出された領域についての垂直／水平勾配を調べること、推定された水平線−天頂方向に沿った領域中の１次元トレースを抽出すること、トレースが空のトレースに似ているかどうか（以下に説明する一組の規則により）決定すること、最後に、物理学的空トレースモデルに当てはまるトレースの割合に基づいて領域の空信念を計算することによって、空の向きを推定する。１つの実施例では、本発明は、画像の幅方向に平行な第１の勾配及び画像の幅方向に垂直な第２の勾配を識別することにより画像中のシーンの水平方向を識別し、第１の勾配と第２の勾配のうち小さい方がシーンの方向を示すとされる。
【００２２】
更に特定的には、図２中、入力画像はディジタル形式（２００）で受信される。次に画素は、以下に説明される本発明の色分類処理を用いて、空の色の画素と空でない色の画素に分類される（２０１）。やはり以下に説明する連結成分解析を用いて、空の色の画素の空間的に連続する領域が抽出される（２０２）。連結成分（又は「領域」）の各内部画素に対して勾配演算子が与えられ、水平及び垂直勾配値が計算される（２０３）。連結成分の境界の近傍の画素は、空と他の被写体との間、例えば水平線における大きさのかなりの遷移を示すため、１つの実施例では排除されることが望ましい。
【００２３】
平均の水平勾配値Ｇｘ及び垂直勾配値Ｇｙは、領域の全ての内部画素を用いて計算される。多数の試験により、過剰なテクスチャに基づいて候補領域が失格とされる。このように、いずれかの勾配値が所定の上限閾値Ｔhighを越えるとき、即ち領域のテクスチャが多い場合、領域は空領域であるとは考慮されないことを示す。｜Ｇｘ｜と｜Ｇｙ｜が略同一である場合も、領域は空領域であるとは考慮されない。更に、候補領域中の全ての画素の色（色相）分布が空領域の予想される特徴に当てはまらない場合も、領域は空領域であるとは考慮されない。
【００２４】
本発明は、空の色の分布の３次元形状が、部分的には飽和度低下効果の結果として、略ルミナンス方向に沿った長軸を有する傾斜した楕円体に似ているべきであることを認める。
【００２５】
領域が低テクスチャ試験（２０４）に合格すれば、天頂−水平線方向の考えられる方向が決定される（２０５）。不合格であれば、方法はステップ（２０２）に戻って、空の色を有する次の潜在的な画素領域を解析する。特に、赤のチャネルの勾配が検査される。｜Ｇｘ｜＞｜Ｇｙ｜であれば、風景画像である可能性が高いことを示している。そうでなければ、画像は肖像画像である可能性が高い。更に、風景画像では、Ｇｘ＜０であれば直立画像である可能性が高いことが示されており、そうでなければ倒立画像である可能性が高い。肖像画像では、Ｇｙ＜０であれば、左向き画像である可能性が高いことが示され、そうでなければ右向き画像である可能性が高い。
【００２６】
次に、水平線−頂点方向に沿って候補空領域に亘ってトレースが抽出される（ステップ２０６）。各トレースが空領域から得られたものであるかどうかを判定するため、各トレースについて複数の空−トレースシグナチャが測定される（ステップ２０７）。候補領域が空である可能性又は信念は、抽出された全ての空トレースから投票することによって決定される（ステップ２０８）。候補領域の全体としての信念が所定の閾値を越える場合（ステップ２０９）、候補領域は空領域であると宣言される（ステップ２１０）。処理は、同じようにして全ての候補領域を解析するために繰り返される（例えば、処理はステップ２０２へ戻る）。検出された空領域が空の向きと一致しない場合、画像の全体の向きはより大きくより高い信念空領域からの結果によって決定される。相反する空領域を有する領域は、拒絶される。
【００２７】
人間の視覚系には、空は青、草は緑、土は灰色／赤／茶、水は青／緑に見えることが殆ど公理のようなものである。しかしながら、ディジタル画像に実際に記録されるものは幾らか異なる。これは、朝焼け及び夕焼けに関連する暖色を含む空の領域についていえるだけでなく、示される色の記録物よりも更に青みがかって見える空の領域についてもいえる。この問題は、画像補足中又はイメージングチェーンの他の段階において導入される誤りにより、画像全体の色バランスが崩れうることによって、更に混乱される。
【００２８】
カラー画像中の空の青のみかけは、物理学的な結果だけでなく、人間の生理的及び心理的な面の結果によるものであり、青く見える空画像における赤及び緑成分は、青成分よりも（僅かなパーセント割合で）強くなりうる。更に、例えば太陽自体、照らされた雲、雪、氷、又は人工的な対象が青い空よりも明るくされうるとしても、晴れた雲のない空は通常は画像中の最も明るい被写体である。太陽は、オレンジ−黄の波長において最も明るく照射する。空気の粒子の波長選択的散乱は、散乱は波長の４乗に反比例することを示すレイリーの法則に従って、太陽光線の青光成分をより長い波長よりも強く分散させる（例えば、ここに参照として組み入れられるC.F.Bohren and D.R.Huffman, Absorption and Scattering of Light by Small Particles, New York, John Wiley and Sons, 1983を参照のこと）。空の色は、実際に、殆ど紫（人間の目によってあまり感知されない）によって構成され、幾らかの青、少しの緑、非常に僅かな黄及び赤を含み、これらの成分を全て合計すると、空の青となる（例えば、ここに参照として組み入れられるM. Minnaert, The Nature of Light and Color in the Open Air, New York: 1954を参照のこと）。
【００２９】
しかしながら、空の青のみかけは均一ではない。空はしばしば水平線に向かって飽和度が低下して現れる。太陽をはずして頭上に晴れた空を直接見た場合、散乱された青い光が優位であり、空は濃い青に見える。見る方向を遠い水平線に向かって移動させると、様々な選択的な因子が等化され、空は殆ど白へ飽和度が低下される。
【００３０】
空での光の分布に関する多くの興味深い効果、例えば暈、蜃気楼、虹がある。これらの効果では、光の強度は天頂から水平線にかけて増加し、同時に色は濃い青から白へ変化する。この効果は、主に人間の目と水平線の間の空気層の厚さが厚いことによって生ずる。空気の小さな粒子が選択的に青の光を散乱させるが、散乱された光線は散乱する粒子から人間の目への長い路において最も弱くされる。非常に厚い空気層により、散乱効果と減衰効果は相互に打ち消し合う。
【００３１】
所与の点から距離ｓにある小さい粒子が、分数ｓｄｓ（ｓは色依存散乱係数、ｄｓは粒子の寸法とする）を散乱させると想定する。光の量は、所与の点に到達する前に、ｅ-sxの比率で弱められる。無限に厚い空気層（妥当な近似）から受けられる光は、全ての粒子ｄｓからの寄与の合計、即ち、
【００３２】
【数１】
0004477222.tif 000002
からなり、これは１に等しい。明らかに、受けた光の量はｓとは独立であり、従って光の色とは独立である。
【００３３】
従って、水平線に近い空は、太陽によって照らされた白いスクリーンと同じ明度及び色を示す。更に、地面に近い空気層は、より多くの浮遊する大きい塵粒子を含み、（空気層が無限の厚さであると考えられなくても）全ての色を等しい強さで散乱させ、光の色をより白くする。
【００３４】
観察者が太陽を背にしており、太陽が観察者の後方から横向きに照っているとき、太陽の位置（水平線よりも高いところにある）と、観察者の制限された視野のため、光の同心的な分布は水平線に略平行となる。観察者が太陽の方向を向いてみているとき（観察者は建物の影の中の影の縁の近傍に立つべきである）、空の明度は太陽の近くでは急速に増加し、目を眩ませるほどとなり、その色は更に白くなる。写真画像では、太陽が水平線上にあるか光の強度が非常に弱い朝焼け又は夕焼けの場合を除き、直接太陽光の写真を撮影することはあまりない。
【００３５】
青い空は色の均一なグラデーションの最も良い例として考えられ、一方、図３Ａ及び３Ｂに示されるように、夕焼けは一定の明度及び色の同心の分布の同様の形状でよりドラマチックな色のグラデーションを示す。更に特定的には、図４Ａ及び３Ｂは、太陽が西の水平線に沈むときに東の水平線に見られる異なる色を示す図である（即ち、昼光対薄明）。薄明の空を検出することは本発明の目的ではないが、この薄明の空の固有のシグナチャはより一般的な空検出処理において使用されうる。実際に、本発明によって使用される特性のうちの１つがターンオフされると、以下に説明するように、方法は、図３Ｂ中の薄明の空を検出することに成功する。
【００３６】
また、しばしば空の色と区別することが可能でない水の色を決定する因子について見ることも重要である。人間の目が水から受ける光の一部は表面によって反射され、表面が平滑であるときに鏡のように作用し、水の色は、空の色により青やグレーとなる。遠くの海（又は任意の大きい開いた水域）の色は、２０°乃至３０°の高さの空の色と略同じである。これは、人間が遠くのウェーブレットのスロープを見ているときに、光の一部のみが反射されるためである（例えば上記のMinnaertを参照のこと）。
【００３７】
深い水は、反射のほかに、「それ自体の色」即ち散乱されて下から戻る光の色を有する。深い水及び同じように深い水の深さは、水の底から実質的に全く光が戻らないほど深いと考えられうる。「それ自体の色」は、水中での散乱及び吸収の組み合わされた効果に寄与する。深い、殆ど純粋な水の色は、光が水を通過し、散乱されて戻った後、スペクトルのオレンジ及び赤の部分での水による吸収により、青である。
【００３８】
空検出のため、青い（通常は深い）水域を、空と一緒に現れるか現れないかに関わらず、空とは区別することが重要である。考慮される要因は、水による光のオレンジ及び赤の成分の吸収である。かかる深い水域の波及び波動は、様々な勾配の小さい面を形成する。一般的に、見る方向により垂直な面又はより近い面を見るときに色は暗くなる。しかしながら、変化するのは、主に色相ではなく明度である。
【００３９】
ここで色分類について説明すると、上述したように（例えば図２のブロック２０１）、本発明はまず、簡単化及び明瞭性のため、特に昼間に見られる晴れた明るい青い空について色分類器を学習させる。朝焼け及び夕焼けに関連する暖色を含む空領域は、多くの屋外シーンにおいて背景をなす青い空又はグレーの空とは一緒にされない。本発明では、色に基づく検出によって全ての候補青い空画素を識別し、これらは晴れた空と一貫性のある空間的なシグナチャについての領域としてのスクリーンである。
【００４０】
次に、色分類器の学習を完了するために、ニューラルネットワーク学習が用いられる。最初の学習セットは、理想の青い空の特徴、グレーの空の画像、及び空ではない（主に屋内の）画像を有する画像を含む。全ての青い空の画素は肯定的な例として含まれ、否定的な例は全ての画素から青い空でも水でもない画素をサンプリングすることによって含まれる。
【００４１】
フィードフォワードニューラルネットワークは、３又は２のニューロンを含む２つの隠れ層と単一の出力ニューロンとによって構成される（例えば、Howard Demuth and Mark Beale, Matlab Neural Network Toolbox, The Math Works, Inc., 1998を参照のこと）。隠れ層のニューロンは、タンジェント−シグモイド伝達関数を有し、出力ニューロンの伝達関数はログ−シグモイドである。ネットワークは、画素値を理想の青い空又は空でないものとして分類するために、Levernberg-Marquardtバックプロパゲーションを用いて学習された（例えばHoward Demuth and Mark Bealeを参照のこと）。ターゲット応答は、理想の青い空ではａ＝１であり、空でないときはａ＝０である。
【００４２】
このように学習された色分類器は、処理された各画素について０乃至１の信念値を有し、１は画素が青い空である可能性が高いことを示し、０は画素が青い空である可能性があまり高くないことを示す。（ｒ，ｇ，ｂ）入力空間中の点に対する本発明の応答を視覚化するため、本発明により処理される例の画像から得られる（ｒ，ｇ，ｂ）トリプレットの規則的な間隔のグリッドが図４Ａに示され、各色平面は図４Ｂ乃至４Ｄに別々に示されている。
【００４３】
図４Ａ中、０．１よりも大きい青い空の信念を生成する点は、「．」で示されている。この分布の３つの平面への投影もまた示されている（「ｏ」によって示される。）。分布はルミナンスの方向に非常に細長く延びており、低いルミナンスに向かってわずかに発散し始めることに注意すべきである。特定に入力画像について、各画素は別々に分類され、信念マップは、各画素の明度をその信念値に比例するよう設定することによって形成される。このような信念マップの例は、図１２Ｅ−Ｆ及び図１３Ｅ−Ｆに示される。
【００４４】
図５は、本発明による色分類器の画素レベルの受信器動作特徴（ＲＯＣ）を示す図である。この曲線は、色分類器における処理の後に様々なレベルにおける厳しい閾値が続いた場合の真の肯定的なパフォーマンスと偽の肯定的なパフォーマンスを示す。
【００４５】
従来、大局閾値は動的でなく、図５に示されるグラフの曲線上の左上の隅に最も近い位置を探すことにより見つけられる。例えば、０．０１２５の閾値を用いることにより青い空画素の９０．４％の正しい検出が与えられるが、１３％の青い空でない画素も検出する。これらの検出された青い空でない画素のうち、水がかなりの部分を占める。これに対して、本発明は、所定の「厳しい」閾値を使用するのではなく、各領域を一組の空シグナチャに対して検証する前に領域抽出方法を実行する。この処理について、以下、図７を参照して詳述する。
【００４６】
更に特定的には、本発明の領域抽出処理（例えば上述のブロック２０２）は、信念ヒストグラム中で低い信念から高い信念へ動くときに存在する第１の谷点を見つけることによって空色信念マップについての適当な閾値を自動的に決定し、次に図７に示されるような連結成分解析を実行する。更に、本発明によれば、連結された成分は空セグメントの領域レベルの表現を生成するために細分化され、これにより画素レベルでは不可能であった空シグナチャ検証が容易となる。
【００４７】
図６中、（図２の）領域抽出処理（ステップ２０２）についての詳細が与えられている。各画素値が空の色を有する画素の信念に比例する信念マップ７１について、図７を参照して以下説明するように、大局閾値７２が適応的に決定される。この閾値を用いて２値マップ７３が形成され、「１」画素は候補空画素と考えられ、「０」画素は空でない画素と考えられる。空間的に連続する「１」画素の領域である連結成分は、空の色の空間的に分離されたゼロでない領域を生成するために固有にラベル付けされる（ステップ７４）。空でない画素は、廉潔性とは無関係に「０」とラベル付けされる。（本願では「ラベルなし」と称される。）空の色の各連結結成分は、空の色の連結成分を生成するため（ステップ７６）、以下詳細に示す２つの演算を用いて細分化される（ステップ７５）。オープンスペースマップ７７（やはり以下に説明する）は、図２中ブロック２０２によって出力される候補空領域を生成するために組み合わされる。
【００４８】
図７は、本発明による方法を、大局閾値を動的に決定する本発明の方法を示す。まず、空の色の信念マップから信念値のヒストグラムが得られる。次にヒストグラムは、雑音（図７中の曲線を生成する）。第１の顕著な谷（例えば図７中の「第１の谷」）は、平滑化されたヒストグラムの中に含まれる。明らかな空領域があり、その他は全て明らかに空ではない単純な画像では、ヒストグラムは２つのピークとその間の１つの谷のみを有する。複雑な画像には、空と、水と、他の青い領域がある。従って、本発明は各画像について異なるヒストグラムを用い、本発明によって処理される個々の画像に対して動的な閾値が形成されることを可能とする。
【００４９】
上述のSaberでは、平滑化されたヒストグラム中の最後の谷は、画像中の真の空領域が常に最も高い確率を有するという仮定に基づいて、最尤推定（ＭＬＥ）スキームでユニバーサル閾値を調整するために使用される。しかしながら、幾つかの場合、青色の空でない領域が、色に関して高い空信念を有しうる。従って、本発明は、更なる解析のために全ての空の色の領域を保持し、空検出処理のより高い段階において空の色を有する空でない領域を排除する。従って、第１の谷がある位置の信念値が大局閾値として選択される。上述のように、この閾値は空の異なる影及び画像補足条件を適応させるために個々の画像について決定される。
【００５０】
上述のブロック７５において説明される２つの細分化動作のうちの１つは、領域分割である。領域分割は、異なる対象に属するが空の色を有するということに関しては同様の信念値を有する空間的に連結された青っぽい（潜在的な空）領域を分割するために用いられる。例えば、かかる領域は、青い空を背景とする青い布でありうる。かかる領域は、（空の典型的な色であるという）同様の信念を有し、従って信念マップ中で分離することができない。
【００５１】
しかしながら、かかる領域は青の色の異なる影を有し、従って適応ｋ平均処理（ここに参照として組み入れられるJ.Luo, R.T.Gray, H.-C.Le "Towards a Physics-Based Segmentation of Photographic Color Images," in Proc. IEEE Int. Comf. Image Process., 1997を参照のこと）。本発明は、この処理を使用し、領域が色セグメント化領域の多数の領域についての集合でなければ、空の色の領域を２つ以上の領域（固有の新しいラベル）へ分割する。
【００５２】
本発明の他の実施例では、汎用色分割処理の代わりに、オープンスペース検出処理（ステップ７７）（ここに参照として組み入れられる、J. Warnick, R.Mehrotra and R.Senn, のU.S Patent 5,901,245号、"Method and system for detection and characterization of open space in digital images"）が使用されうる。オープンスペースは、画像中の平滑的且つ連続的な領域であると定義される。画像中に所望のキャプション又は図形的な要素を配置するために有用である。
【００５３】
上述の自動的なオープンスペースの処理は、動作の２つの別々の段階に基づく（上述のWarnick）。まず、正しい色空間変換が実行された後、勾配に基づくアクティビティマップが計算され、多領域ヒストグラム解析により正しい閾値が決定される。第２の段階では、ボイドを埋めるために２値アクティビティマップに対して連結成分解析が実行され、小さい領域が排除される。上述のWarnickで実施されるオープンスペースの処理は、効果的且つ効率的である。その速度は、色セグメント化方法に必要とされる速度の数分の１である。オープンスペースの検出は、候補領域の平滑さについての追加的な確認を与える。従って、本発明のこの望ましい実施例では、本発明はオープンスペースの検出処理を用いる。このように、オープンスペースの検出は、（１）非常にテクスチャ化された領域を排除するため、（２）空を水域といった他の青ではない領域から分離するために組み入れられる。
【００５４】
図６のステップ７５で実行される第２の細分化動作は、領域成長を含む。本発明の領域制御処理は、孔を埋め、境界を拡張するために使用される。これは特に、「周縁」画素が、大局閾値に僅かに達しないが、最初の大局閾値を合格した近傍の画素の信念値に十分に近い空色信念値を有しうる場合に有用である。
【００５５】
本発明によれば、「成長閾値」は、「ラベル付けされていない」画素とその近傍の「ラベル付けされた」画素の信念値の差が、領域成長のための第２の閾値よりも小さい場合に、かかる周縁画素を連結画素に対して再びラベル付けするために使用される。更に特定的には、閾値よりも上の信念値の画素とオープンスペースマップ中の連結成分との交差を取ることによりシード領域が形成される。閾値よりも下の信念値の画素では、領域成長は、信念値の連続性及び色値の連続性によって案内される。小さい独立した空領域は無視される。
【００５６】
図２のブロック２０７について説明された空シグナチャ尺度では、水平線−天頂方向に沿った領域から１次元トレースが抽出される。本発明は、各抽出された領域における垂直勾配及び水平勾配の両方の分布に基づいて空の向きを決定する。
【００５７】
更に特定的には、本発明は、物理学に基づく空のモデルにより、空の向きを決定するために赤の信号を用いる。上述のように、空の物理学に基づくモデルでは、散乱する光の量は光の波長及び散乱角度に依存する。一般的に、水平線に向かう飽和度低下効果は、青の光に対する赤の光及び緑の光の増加によって生ずる。更に、本発明は、青の光が水平線−天頂方向に略不変のままであると決定した。緑の信号の変化は、青の信号ほど顕著でない。従って、赤の信号は、最も信頼性の高い飽和低下効果のしるしが与えられる。従って、不均一な勾配分布は、赤の信号において最もよく観察できる。
【００５８】
飽和度低下効果により、空は水平線−天頂方向に低い勾配を有するが、垂直方向では本質的に一定である。太陽の位置が水平線よりもかなり上であれば、散乱する光の同心分布は、異なる色領域の水平のストリップによって近似されうる（例えば図３のbarring lens falloff効果）。従って、図８Ａ（水平線に平行）及び図８Ｂ（水平線に垂直）に示されるように、勾配の分布は水平方向と垂直方向に異なる特徴を有し、平均１＜＜平均２である。
【００５９】
領域抽出２０２及び向き決定２０５の後、空シグナチャ検証処理は、上述のように、水平線−天頂方向に沿った領域内の１次元トレースを抽出し（ステップ２０６）、一組の規則によりトレースが空から得られるトレースに似ているか否かを決定し（ステップ２０７）、最後に物理学に基づく空トレースモデルに当てはまるトレースの割合によって領域の空信念を計算する。
【００６０】
空から得られる多数の１次元トレースと画像中の幾つかの他の一般的な空の色の被写体の解析に基づき、本発明はこれらのトレースを定量化するモデルを含む。特に、水平線−天頂方向に沿って抽出されるトレースは、図１０Ａに示される空のトレースのシグナチャを示す。トレースの青の信号は空全体に亘って一定である傾向がある。緑の信号及び青の信号は、水平線から遠ざかって徐々に減少し、赤の信号は緑の信号よりも早く減少する。更に特定的には、全ての３つの信号は低次の多項式（例えば２次多項式）によって近似されうる。３つの信号中のマクロ変形は相関されない。比較として、幾つかの他の青の色の被写体はかかるシグナチャを示さない。これに対して、図１０Ｂは、フラッシュ発光された画像中の青い壁の一般的なトレースを示す図であり、３つの信号は平行に平滑に変化している。
【００６１】
同様に、図１１Ｂは、水域を通る一般的なトレースを示す図であり、３つの信号は局所的な変形において強く相関している。これらの２つの場合の両方は、変化が主にルミナンスの変化であることを示す。更に、図１１Ａに示されるように、（白い）雲が晴れた青い空と共に存在する混合された空では、赤の信号及び緑の信号は雲の中では高くジャンプし、青の信号は同じままに維持され中立の雲領域を形成する。一般的に、雲の中で、赤の信号は緑の信号よりも多くジャンプする。
【００６２】
図９は、入力トレースの処理を示すフローチャートである。更に特定的には、ブロック１００では、抽出されたトレースは、図１０Ａ−１１Ｂに示されるトレースモデルに対して解析される。まず、赤、緑、青の３つの信号について夫々、２項多項式当てはめが計算される（ステップ１０１）。２次多項式は、
ｙ＝ｆ（ｘ）＝ｃ１＋ｃ２＊ｘ＋ｃ３＊ｘ2
として示され、式中、ｘは１次元トレースのインデックスを示し、ｙは対応する信号のコード値である。
【００６３】
次に、元のトレース又は当てはめされたトレースのいずれかに基づいて複数の特徴（「シグナチャ」）が計算される。特徴は、青の空トレース（１０４）、又は青の空トレースではない（混合された空トレース（１０５）、水のトレース（１０６）、又は「わからない」（１０７））として特徴付けられうる。以下示される例では、各抽出されたトレースについて１０の尺度（「シグナチャ」）が計算される。しかしながら、当業者は、本願を読むことにより任意の数のかかるシグナチャを準備しうる。
【００６４】
第１のシグナチャは、当てはめ２次多項式のオフセットに関するものである。オフセットは、赤のチャネル、緑のチャネル、青のチャネルの平均値に関連する。このシグナチャ特性は、平均青成分が平均赤成分及び平均緑成分よりも上であることを必要とする。トレースが抽出される特定の方法により、この特徴は実際に、青成分がトレースの殆どの青側で最も強いという要件へ翻訳される。かかる論理ステートメントのためのＣ言語的な疑似コードは、以下の通りである。
【００６５】
【数２】
0004477222.tif 000003
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値の台形ファジースコアリング関数を用いることが有利でありうる。
【００６６】
第２の典型的なシグナチャは、当てはめ２次多項式の傾斜に関するものである。一般的に、トレースが抽出される特定の方法により、ＲＧＢ信号の傾斜は負である。この特徴は、青の信号が（減少するのであれば）赤の信号及び緑の信号よりもゆっくりと減少することを必要とする。一方、この特徴により単調増加（正の傾斜）もまた可能である。かかる論理ステートメントについてのＣ言語的疑似コードは以下の通りである。
【００６７】
if (cb[2] > cg[2] && cb[2] > cr[2])
sig2 = 1;
if (!sig2 && sig2bg && sig2br)
sig2 = 1;
これは、クリスプな規則として実施される。ただし、sig2の厳しい条件を、sig2が満たされない場合に、より緩く定義される２つの条件sig2bg及びsig2brへゆるめられる。
【００６８】
第３のシグナチャは、当てはめられた信号間の類似性又は平行性に関するものである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【００６９】
if ((rgdist < brdist && bgdist < brdist) || (rgdist < bgdist && rgdist < brdist))
sig3 = 1;
ここで、rgdistは、２つの当てはめられた赤の信号と緑の信号の間の差（「距離」）を示すために使用される。これは以下のようにして決められる。まず、２つの信号のうちの１つが、移動された信号が移動されていない信号の開始点と同じ値を有するように適当に移動される。当てはめられた赤の信号と緑の信号を、
【００７０】
【数３】
0004477222.tif 000004
とすると、
【００７１】
【数４】
0004477222.tif 000005
であり、ただし、
【００７２】
【数５】
0004477222.tif 000006
とされる。
【００７３】
次に、当てはめられた赤の信号と緑の信号の差又は距離は、
rgdist = |r(L/2)-g(L/2)|                            （９）
となり、式中、Ｌはトレースの全長である。換言すれば、この特徴は２つの当てはめられた信号の間の差を、両方の信号が同じ開始値を有するよう一方の信号が移動されたときの２つの中点における距離によって測定する。他の２つの項bgdist及びbrdistは同様に決められる。ここで１つの可能性は、かかる符号情報が絶対差と共に使用されるよう絶対値を使用しないことである。
【００７４】
第４のシグナチャは、赤−緑の類似性に関するものである。赤の信号及び緑の信号は、かなり似ているべきである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【００７５】
if (rgdist < MAXRGDIST)
sig4 = 1;
where
#define MAXRGDIST  15
第５のシグナチャは、低い非線形性に関するものである。全ての３つの信号は低い線形性を有するべきである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００７６】
if ( fabs (cb[3]) < MAXNONLINEARITY &&
fabs (cg[3]) < MAXNONLINEARITY &&
fabs (cr[3]) < MAXNONLINEARITY)
sig5 = 1;
where
#define MAXNONLINEARITY  0.05
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００７７】
第６のシグナチャは、大きい変更のための赤−緑−青相関に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００７８】
if (largesignal && corr_rg > 0.5 && corr_br < 0.3 && corr_bg < 0.3)
sig6 = 1; //red-grn-blue correlation for large modulation
else if (!largesignal && corr_rg > 0.2 && corr_br < 0.4 && corr_bg < 0.4)
sig6 = 1; //red-grn-blue correlation for small modulation
else if (largesignal == -1)
sig6 = 1; //red-grn-blue correlation for micro modulation
if (largesignal ! = -1 && corr_rg > 0.9 && corr_rg >5*corr_br && corr_rg > 5*corr_bg)
sig6 = -1; //significantly higher red-grn-blue correlation
式中、corr-xyは、信号ｘと信号ｙの相関係数を示す。やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００７９】
第７のシグナチャは、赤−緑−青の類似性又は近平行性に関するものである。かかる論理ステートメントについての疑似コードは次の通りである。
【００８０】
if (rgdist < MINDIST && bgdist < MINDIST && brdist < MINDIST)
sig7 = 0;
where
#define MINDIST  1.5
やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８１】
第８のシグナチャは、負の赤／緑傾斜に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８２】
if (cr[2] > 0 AND cg[2] > 0)
sig8 = 0;
これは、クリスプな規則として実施される。
【００８３】
第９のシグナチャは、当てはめの良さに関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８４】
if (rchisq > MAXCHISQ_R && gchisq > MAXCHISQ_G && bchisq > MAXCHISQ_B)  sig9 = 0;
where
#define MAXCHISQ_R  50
#define MAXCHISQ_G  25
#define MAXCHISQ_B  100
であり、式中、CHISQはχ二乗当てはめ誤差を示す。
【００８５】
やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＜０．１）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８６】
第１０のシグナチャは、赤の信号及び緑の信号の減少に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８７】
sigA = rdec*gdec;
であり、rdecは、赤の信号が（単調に）減少するかどうかを示す。特に、rdecは、全長の１／４の点における第１のサンプルx1と３／４の点における第２のサンプルx2の２つのサンプルを取ることにより当てはめられた赤の信号を用いて決定される。かかる論理ステートメントの疑似コードは以下の通りである。
【００８８】
if (x2 < x1)
rdec = 1;
else
rdec = 0
他の項gdecは、緑の信号について同様に決定される。これはクリスプな規則として実施される。rdec =1且つgdec=1の場合にのみsigA=1であることに注意すべきである。
【００８９】
これらの１０のシグナチャは、現在の規則に基づく処理に、クリスプな決定として統合される。所与のトレースは、全ての条件が満たされたとき、即ち
if (sig1 && sig2 && sig3 && sig4 && sig5 && sig6 ! = 0 && sig7 && sig8 && sig9 && sigA)
skysignature =1;
又は、ファジー論理に基づくアルゴリズムでは、
if (sig1 > EFFECTIVEZERO && sig2 > EFFECTIVEZERO && sig3 > EFFECTIVEZERO && sig4 > EFFECTIVEZERO && sig5 > EFFECTIVEZERO &&
fabs(sig6) > EFFECTIVEZERO && sig8 > EFFECTIVEZERO && sig9 > EFFECTIVEZERO && sigA > EFFECTIVEZERO)
skysignature = (sig1+sig2+…+sig9+sigA)/10
where
#define EFFECTIVEZERO  0.1
の場合にのみ、空のトレースであると宣言される。
【００９０】
殆どが（例えば９５％が）空の色の画素である全ての候補トレースを検査するとき、領域の空の信念は、物理学に基づく空トレースモデルを満たすトレースの割合として計算される。空の信念が閾値（本例では一般的な目的では経験的に０．２５）よりも下であれば、空でないと宣言される。
【００９１】
図１２Ａ乃至図１３Ｈは、様々な画像に対する本発明の作用を示す図である。更に特定的には、図１２Ａ−１２Ｂ及び１３Ａ−１３Ｂは、元の画像が処理されることについて示す。図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄは、上述のように図２中のブロック２０１に示される本発明の色分類処理の結果を示す図打得る。図１２Ｅ−１２Ｆ及び図１３Ｅ−１３ＤＦは本発明によって生成されるオープンスペースマップ（図６中のブロック７７）の結果を示す図である。図１２Ｇ−１２Ｈ及び図１３Ｇ−１３Ｈは、本発明による、空領域を白の部分として、空でない部分を黒の部分として示す図である。図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄの明度は、空の色の信念に比例するが、図１２Ｅ−１２Ｆ及び図１３Ｅ−１３Ｆの明度は分離されたラベルの領域を示すだけである。
【００９２】
本発明は、フィルム及びディジタルカメラといったソースによって生成されるＲＧＢ画像に対して非常によく作用する。検出される空領域は、知覚的な境界に対して非常によい整合を示す。図１２Ａ乃至１２Ｈに示される幾つかの例は、本発明の作用を示す。図１２中、空と海は正しく分離され、真の空領域が検出される。図１２Ｂの画像は、空の向きの正しい検出に基づいて本発明による方法によって正しく検出されている。図１３Ａ中の平滑な青い対象及び図１３Ｂのテクスチャ化されたテーブルクロスは、本発明により夫々正しく排除されている。
【００９３】
本発明による空シグナチャ検証処理の有効性が与えられていれば、色分類段階をゆるめて、夕焼け又は朝焼けのときの影といった空の青でない影を含むようにすることが可能である。曇った空に対して、夕焼け又は朝焼けのときの雲のない空は、日中の同じ部分と同様の散乱効果を示す。主な差は、昇っている又は沈んでいる太陽からの暖色の色合いである。
【００９４】
候補領域の２次元平面当てはめは、空の検証を行なうための他の方法である。孔のある領域については、孔の位置の重み係数をゼロに設定して空の色の画素のみが平面当てはめに寄与するようにすることができる。偽の行程の検出の潜在的な増加を制限するため、孔を明るい中立の対象（雲）だけによるものとすることが必要でありうる。
【００９５】
従って、本発明は、色分類、領域抽出、及び物理的空シグナチャ検証に基づく空検出のためのシステムを含む。本発明は、フィルム及びディジタルカメラを含むソースからの８ビット画像に対して予めバランス調整し、正しいダイナミックレンジ調整を行ったものに対して非常に良く作用する。検出された空領域は、近くされた空境界に対する非常によい空間的整合を示す。
【００９６】
上述のように、本発明は、空中の小さい粒子による光の散乱に基づく空の物理的モデルを使用する。（色又はテクスチャモデルではなく）物理的モデルを使用することにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【００９７】
【発明の効果】
本発明の１つの利点は、空気中の小さい粒子による光の散乱に基づく空の物理的モデルを使用することにある。（テクスチャモデルではなく）物理的モデルを用いることにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【００９８】
本発明は、予めバランス調整すること及び正しいダイナミックレンジ調整をした後、フィルム及びディジタルカメラを含むソースからの８ビット画像に対して非常によく作用する。本発明によって検出される空領域は、知覚される空の境界に対して非常に良い空間的な整列を示す。
【図面の簡単な説明】
【図１】本発明の１つの実施例を示す概略構成図である。
【図２】本発明の１つの実施例を示す概略構成図である。
【図３Ａ】晴れた空での昼光の色を示す概略図である。
【図３Ｂ】晴れた空での薄明の色を示す概略図である。
【図４Ａ】色空間中の青い空のクラスタを３次元グラフとして示す図である。
【図４Ｂ】クラスタを生成する１つの色平面を示す図である。
【図４Ｃ】クラスタを生成する他の色平面を示す図である。
【図４Ｄ】クラスタを生成する他の色平面を示す図である。
【図５】空の色の分類の受信器動作特徴（ＲＯＣ）を示すグラフ表現である。
【図６】本発明の領域抽出部を示す概略構成図である。
【図７】本発明による空の色の信念のための閾値決定を示すグラフ表現である。
【図８Ａ】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図８Ｂ】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図９】本発明によって実行されるトレース分析を示す概略構成図である。
【図１０Ａ】晴れた空の典型的なトレースを示す図である。
【図１０Ｂ】青い壁の典型的なトレースを示す図である。
【図１１Ａ】空と雲が混ざった典型的なトレースを示す図である。
【図１１Ｂ】水の典型的なトレースを示す図である。
【図１２Ａ】本発明によって処理される画像の１つの段階を示す図である。
【図１２Ｂ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｃ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｄ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｅ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｆ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｇ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｈ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ａ】本発明によって処理される画像の１つの段階を示す図である。
【図１３Ｂ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｃ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｄ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｅ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｆ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｇ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｈ】本発明によって処理される画像の他の段階を示す図である。
【符号の説明】
１０    ディジタル画像
２０    画像処理段階
３０    結果
４０    画像変更段階
５０    変更された画像
【図１】
0004477222.tif 000007
【図２】
0004477222.tif 000008
【図３Ａ】
0004477222.tif 000009
【図３Ｂ】
0004477222.tif 000010
【図４Ａ】
0004477222.tif 000011
【図４Ｂ】
0004477222.tif 000012
【図４Ｃ】
0004477222.tif 000013
【図４Ｄ】
0004477222.tif 000014
【図５】
0004477222.tif 000015
【図６】
0004477222.tif 000016
【図７】
0004477222.tif 000017
【図８Ａ】
0004477222.tif 000018
【図８Ｂ】
0004477222.tif 000019
【図９】
0004477222.tif 000020
【図１０Ａ】
0004477222.tif 000021
【図１０Ｂ】
0004477222.tif 000022
【図１１Ａ】
0004477222.tif 000023
【図１１Ｂ】
0004477222.tif 000024
【図１２Ａ】
0004477222.tif 000025
【図１２Ｂ】
0004477222.tif 000026
【図１２Ｃ】
0004477222.tif 000027
【図１２Ｄ】
0004477222.tif 000028
【図１２Ｅ】
0004477222.tif 000029
【図１２Ｆ】
0004477222.tif 000030
【図１２Ｇ】
0004477222.tif 000031
【図１２Ｈ】
0004477222.tif 000032
【図１３Ａ】
0004477222.tif 000033
【図１３Ｂ】
0004477222.tif 000034
【図１３Ｃ】
0004477222.tif 000035
【図１３Ｄ】
0004477222.tif 000036
【図１３Ｅ】
0004477222.tif 000037
【図１３Ｆ】
0004477222.tif 000038
【図１３Ｇ】
0004477222.tif 000039
【図１３Ｈ】
0004477222.tif 000040