(57)【要約】【課題】所定の画像から任意形状の画像を抽出する際に、画像の領域分割処理における領域分割の精度を高めるのに好適な画像の領域分割方法、当該画像の領域分割方法を利用した画像抽出方法、及び、これらの方法を実現するためのプログラムを提供する。【解決手段】所定の画像から抽出対象の任意形状の画像の輪郭部に沿った形状の画像部分を抽出（輪郭部に沿って大雑把に画像を切り出す）する。そして、この抽出された画像部分に対して、任意形状の画像の輪郭部を含む画像部分の輪郭部近傍の画素の所定情報に基づき、任意形状の画像の領域とそれ以外の領域とに分割する処理を行うようする。【選択図】      図１
2004304578.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像から任意形状の画像を抽出する際に、前記所定の画像を、前記任意形状の画像の領域とそれ以外の領域とに分割する画像の領域分割方法であって、
前記所定の画像から抽出対象の前記任意形状の画像の輪郭部を含み且つ当該輪郭部にほぼ沿った形状の画像部分を抽出する画像部分抽出処理を行い、
前記任意形状の画像の輪郭部を含む前記画像部分の輪郭部近傍の画素に係る所定情報に基づき、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割する領域分割処理を行うことを特徴とする画像の領域分割方法。
【請求項２】
前記画像部分抽出処理によって抽出された前記画像部分における前記任意形状の画像の輪郭部をいずれかの領域に含むように、前記画像部分の輪郭部に沿って所定範囲の複数の評価領域を設定し、
前記評価領域毎に、当該評価領域内の画素に係る所定情報に基づき前記領域分割処理を行うことを特徴とする請求項１記載の画像の領域分割方法。
【請求項３】
前記所定情報は、前記評価領域内にある画素の明るさの濃淡の勾配であることを特徴とする請求項１又は請求項２記載の画像の領域分割方法。
【請求項４】
前記評価領域内にある画素の前記勾配の大小に基づき、前記評価領域の所定範囲を決定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像の領域分割方法。
【請求項５】
前記評価領域内の画素に係る所定情報に基づき前記評価領域内に存在する画素毎に、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割するための第１の閾値を算出し、
前記第１の閾値と、前記評価領域内における前記画像部分の輪郭部にある画素と前記所定領域内にある他の画素との距離と、に基づき前記画像部分の輪郭部において前記任意形状の画像に含まれる画素とそれ以外の画素とを分割するための第２の閾値を算出し、
前記画像部分の輪郭部にある画素において、前記評価領域の範囲及び前記第２の閾値に基づき前記領域分割処理を行うことを特徴とする請求項２乃至請求項４のいずれか１項に記載の画像の領域分割方法。
【請求項６】
前記第１の閾値の算出において、大津の自動閾値判別法を利用することを特徴とする請求項５記載の画像の領域分割方法。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の画像の領域分割方法を利用して前記所定の画像から前記任意形状の画像を抽出することを特徴とする画像抽出方法。
【請求項８】
前記任意形状の画像の抽出後において、前記画像部分の幅及び高さに基づき決定された閾値と、前記抽出された任意形状の画像の輪郭部と当該輪郭部から離れた位置にある画素との距離と、に基づき、前記抽出された任意形状の画像から余分な画素を除去することを特徴とする請求項７記載の画像抽出方法。
【請求項９】
所定の画像から任意形状の画像を抽出する際に、前記所定の画像を、前記任意形状の画像の領域とそれ以外の領域とに分割するコンピュータが実行可能な画像の領域分割プログラムであって、
前記所定の画像から抽出対象の前記任意形状の画像の輪郭部を含み且つ当該輪郭部にほぼ沿った形状の画像部分を抽出する画像部分抽出処理を行い、
前記任意形状の画像の輪郭部を含む前記画像部分の輪郭部近傍の画素に係る所定情報に基づき、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割する領域分割処理を行うことを特徴とする画像の領域分割プログラム。
【請求項１０】
前記画像部分抽出処理によって抽出された前記画像部分における前記任意形状の画像の輪郭部をいずれかの領域に含むように、前記画像部分の輪郭部に沿って所定範囲の複数の評価領域を設定し、
前記評価領域毎に、当該評価領域内の画素に係る所定情報に基づき前記分割処理を行うことを特徴とする請求項９記載の画像の領域分割プログラム。
【請求項１１】
前記所定情報は、前記評価領域内にある画素の明るさの濃淡の勾配であることを特徴とする請求項９又は請求項１０記載の画像の領域分割プログラム。
【請求項１２】
前記評価領域内にある画素の前記勾配の大小に基づき、前記評価領域の所定範囲を決定することを特徴とする請求項９乃至請求項１１のいずれか１項に記載の画像の領域分割プログラム。
【請求項１３】
前記評価領域内の画素に係る所定情報に基づき前記評価領域内に存在する画素毎に、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割するための第１の閾値を算出し、
前記第１の閾値と、前記評価領域内における前記画像部分の輪郭部にある画素と前記所定領域内にある他の画素との距離と、に基づき前記画像部分の輪郭部において前記任意形状の画像に含まれる画素とそれ以外の画素とを分割するための第２の閾値を算出し、
前記画像部分の輪郭部にある画素において、前記評価領域の範囲及び前記第２の閾値に基づき前記領域分割処理を行うことを特徴とする請求項１０乃至請求項１２のいずれか１項に記載の画像の領域分割プログラム。
【請求項１４】
前記第１の閾値の算出において、大津の自動閾値判別法を利用することを特徴とする請求項１３記載の画像の領域分割プログラム。
【請求項１５】
請求項９乃至請求項１４のいずれか１項に記載の画像の領域分割プログラムを利用して前記所定の画像から前記任意形状の画像を抽出することを特徴とする画像抽出プログラム。
【請求項１６】
前記任意形状の画像の抽出後において、前記画像部分の幅及び高さに基づき決定された閾値と、前記抽出された任意形状の画像の輪郭部と当該輪郭部から離れた位置にある画素との距離と、に基づき、前記抽出された任意形状の画像から余分な画素を除去することを特徴とする請求項１５に記載の画像抽出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定画像を、任意形状の画像の領域とそれ以外の画像の領域に分割する領域分割方法及びこの方法を利用した画像抽出方法に係り、特に、領域分割の精度を向上するのに好適な領域分割方法及び正確な任意形状の画像を抽出するのに好適な画像抽出方法に関する。
【０００２】
【従来の技術】
近年、デジタル画像合成は映像業界などで特殊効果として注目されている。中でも領域分割は、画像合成における基本的な手法の１つである。この領域分割は、従来から非常に多数の手法が提案されている。その代表例として、Ｓｎａｋｅｓ（非特許文献１参照）とＩｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓ（非特許文献２参照）があげられる。前者は、Ｋａｓｓらによって１９８７年に開かれたコンピュータビジョンに関する国際会議によって提案されたのが最初である。最初にスプライン曲線で表現される領域の境界線を（人手での入力を含めて）  適当な方法で指定しておいて、この曲線に働く「力」に基づいて、境界線を真の境界線に近づけようとする手法である。後者は、ＭｏｒｔｅｎｓｅｎとＢａｒｒｅｔｔによって提案され、エッジ（輪郭部）の連続性を重視した従来とは全く異なるものである。この方法はエッジを単に追跡するのではなく動的計画法に基づいて、１つのエッジから他のすべてのエッジに至る最小コスト（画像の勾配，ラプラシアンゼロ交差点，勾配の方向を考慮する）の経路を求める。ここで、境界線とは、人手等により、抽出あるいは設定された、画像全体のうち抽出対象の画像を含む画像部分の輪郭部のことである。
【０００３】
【非特許文献１】
Ｍ．Ｋａｓｓ，Ａ．Ｗｉｔｋｉｎ，ａｎｄ  Ｄ．Ｔｅｒｚｏｐｏｕｌｏｓ：  ”ＳＮＡＫＥＳ：  Ａｃｔｉｖｅ  Ｃｏｎｔｏｕｒ  Ｍｏｄｅｌｓ，”Ｉｎｔ．Ｊ．ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１，ｐｐ．３２１−３３１，１９８８．
【非特許文献２】
Ｅｒｉｃ  Ｎ．Ｍｏｒｔｅｎｓｅｎ，Ｗｉｌｌｉａｍ  Ａ  ．Ｂａｒｒｅｔｔ：  ”Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｏｍｐｏｓｉｔｉｏｎ，”Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  Ｓｅｒｉｅｓ，１９９５，ｐｐ．１９１−１９８．
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の領域分割手法では、松の木の葉や、髪の毛の先端などのような輪郭部形状が細かい複雑な画像と背景画像との領域分割において分割の精度が低くなるといった欠点があった。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、所定の画像から任意形状の画像を抽出する際に、画像の領域分割処理における領域分割の精度を高めるのに好適な画像の領域分割方法、当該画像の領域分割方法を利用した画像抽出方法、及び、これらの方法を実現するためのプログラムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像の領域分割方法は、所定の画像から任意形状の画像を抽出する際に、前記所定の画像を、前記任意形状の画像の領域とそれ以外の領域とに分割する画像の領域分割方法であって、
前記所定の画像から抽出対象の前記任意形状の画像の輪郭部を含み且つ当該輪郭部にほぼ沿った形状の画像部分を抽出する画像部分抽出処理を行い、
前記任意形状の画像の輪郭部を含む前記画像部分の輪郭部近傍の画素に係る所定情報に基づき、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割する領域分割処理を行うことを特徴としている。
【０００６】
つまり、まず、所定の画像から抽出対象の任意形状の画像の輪郭部にほぼ沿った形状の画像部分を抽出（輪郭部に沿って大雑把に画像を切り出す）する。そして、この抽出された画像部分に対して、任意形状の画像の輪郭部を含む画像部分の輪郭部近傍の画素の所定情報に基づき、任意形状の画像の領域とそれ以外の領域とに分割する処理を行うようする。従って、例えば、上記した従来の領域分割手法を利用して、所定画像から上記画像部分を抽出し、当該抽出した画像部分に対して再度領域分割を行うことになるので、評価対象を絞ることが可能となり、画像抽出時に領域分割がうまく出来なかった部分を正確に領域分割することが可能となる。つまり、これにより領域分割の精度を高めることが可能となる。
【０００７】
ここで、領域分割とは、画像部分において、所定形状の画像とそれ以外の画像とを２値で表現することである。
また、第２の発明は、第１の発明において、前記画像部分抽出処理によって抽出された前記画像部分における前記任意形状の画像の輪郭部をいずれかの領域に含むように、前記画像部分の輪郭部に沿って所定範囲の複数の評価領域を設定し、
前記評価領域毎に、当該評価領域内の画素に係る所定情報に基づき前記領域分割処理を行うことを特徴としている。
【０００８】
つまり、画像部分に対する領域分割処理の際に、任意形状の画像の輪郭部をいずれかの領域に含むように前記画像部分の輪郭部に沿って所定範囲の複数の評価領域を設定し、この評価領域毎に領域分割処理を行うようにしたので、より高精度な領域分割が可能となる。
また、第３の発明は、第１又は第２の発明において、前記所定情報は、前記評価領域内にある画素の明るさの濃淡の勾配であることを特徴としている。
【０００９】
一般的に、ほぼ抽出対象画像の輪郭部に沿って抽出されている箇所は画素の明るさの濃淡レベルの勾配は大きく、逆に抽出対象画像の輪郭部からそれている箇所は画素の明るさの濃淡レベルの勾配が小さいと考えられる。従って、画素の明るさの濃淡レベルの勾配を評価することで、抽出対象画像の輪郭部とそれ以外とを簡易に区別することが可能となる。
【００１０】
また、第４の発明は、第１乃至第３のいずれか１の発明において、前記評価領域内にある画素の前記勾配の大小に基づき、前記評価領域の所定範囲を決定することを特徴としている。
つまり、ほぼ抽出対象画像の輪郭部に沿って抽出されている箇所は画素の明るさの濃淡レベルの勾配は大きく、逆に抽出対象画像の輪郭部からそれている箇所は画素の明るさの濃淡レベルの勾配が小さいと考えられるので、濃淡レベルの勾配が大きいほど評価領域のサイズを小さくし、逆に勾配が小さいほど評価領域のサイズを大きくすることで評価領域に任意対象の画像の輪郭部が含まれ易くなる。
【００１１】
また、第５の発明は、第２乃至第４のいずれか１の発明において、前記評価領域内の画素に係る所定情報に基づき前記評価領域内に存在する画素毎に、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割するための第１の閾値を算出し、
前記第１の閾値と、前記評価領域内における前記画像部分の輪郭部にある画素と前記所定領域内にある他の画素との距離と、に基づき前記画像部分の輪郭部において前記任意形状の画像に含まれる画素とそれ以外の画素とを分割するための第２の閾値を算出し、
前記画像部分の輪郭部にある画素において、前記評価領域の範囲及び前記第２の閾値に基づき前記領域分割処理を行うことを特徴としている。
【００１２】
つまり、評価領域における画素の前記第１の閾値と、評価領域における画像部分の輪郭部にある画素とその他の画素との距離と、に基づき第２の閾値を算出し、当該第２の閾値に基づき、領域分割処理を行うようにしたので、より正確な領域分割が可能となる。
また、第６の発明は、第５の発明において、前記第１の閾値の算出において、大津の自動閾値判別法を利用することを特徴としている。
【００１３】
濃淡レベルを０，１，…，Ｌ−１とするとき、各濃淡レベルｉについてそのレベルの画素数ｎｉを表したものを画像のヒストグラムという。ヒストグラムは、横軸を濃淡レベル、縦軸を頻度とする棒グラフで表現されることが多い。背景と対象領域がそれぞれ別個の濃淡レベル分布をもつ理想的な場合、ヒストグラムは双峰性を示し２つの山の間の「谷」に対応するレベルが２値化のための最適なしきい値と考えられる。そのようなレベルを求めるのはさほど困難なことではない。しかし、一般には照明の関係などから背景と対象領域の濃淡レベル分布が少し広がりをもつようになり、２つの領域の濃淡レベル分布が互いに重なりを持つようになる。この場合、２値化のためにしきい値を選ぶことはヒューリスティック法では困難となる。よって人間の目をもってしても、ヒストグラムだけを見ただけでは最適なしきい値を定めるのは容易ではない。このような場合にもかなり良いしきい値を自動的に選ぶことができるのが大津によって提案された判別分析の基準に基づく自動しきい値選定法である（大津展之：判別および最小２乗基準に基づく自動しきい値選定法，”電子通信学会論文誌Ｄ，Ｊ−６３，４，ｐ．３４９，１９８０．参照）。
【００１４】
つまり、第１の閾値の算出に大津の自動しきい値選定法を利用することによって、画像部分を任意の画像の領域とそれ以外の領域とに分割するための第１の閾値を簡易に算出することが可能である。
また、第７の発明は、第１乃至第６のいずれか１に記載の発明を利用して前記所定の画像から前記任意形状の画像を抽出することを特徴としている。
【００１５】
つまり、上記第１乃至第６のいずれか１に記載の発明によって、正確に領域分割し、当該領域分割結果に基づき画像を抽出することが可能なので、任意形状の画像をより正確に抽出することが可能である。
また、第８の発明は、第７の発明において、前記任意形状の画像の抽出後において、前記画像部分の幅及び高さに基づき決定された閾値と、前記抽出された任意形状の画像の輪郭部と当該輪郭部から離れた位置にある画素との距離と、に基づき、前記抽出された任意形状の画像から余分な画素を除去することを特徴としている。
【００１６】
つまり、第１乃至第６のいずれか１に記載の発明を利用して領域分割してもなお発生する余分な画像部分（ノイズ成分）の除去を、画像部分の幅及び高さに基づき決定された閾値と、前記抽出された任意形状の画像の輪郭部と当該輪郭部から離れた位置にある画素との距離と、に基づき行うことが可能である。従って、任意形状の画像の輪郭部とは未結合で、且つ、離れた位置にあるような余分な画素を除去することが可能となる。
【００１７】
また、第９の発明は、所定の画像から任意形状の画像を抽出する際に、前記所定の画像を、前記任意形状の画像の領域とそれ以外の領域とに分割するコンピュータが実行可能な画像の領域分割プログラムであって、
前記所定の画像から抽出対象の前記任意形状の画像の輪郭部を含み且つ当該輪郭部にほぼ沿った形状の画像部分を抽出する画像部分抽出処理を行い、
前記任意形状の画像の輪郭部を含む前記画像部分の輪郭部近傍の画素に係る所定情報に基づき、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割する領域分割処理を行うことを特徴としている。
【００１８】
ここで、本発明は、第１の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
また、第１０の発明は、第９の発明において、前記画像部分抽出処理によって抽出された前記画像部分における前記任意形状の画像の輪郭部をいずれかの領域に含むように、前記画像部分の輪郭部に沿って所定範囲の複数の評価領域を設定し、
前記評価領域毎に、当該評価領域内の画素に係る所定情報に基づき前記分割処理を行うことを特徴としている。
【００１９】
ここで、本発明は、第２の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
また、第１１の発明は、第９又は第１０の発明において、前記所定情報は、前記評価領域内にある画素の明るさの濃淡の勾配であることを特徴としている。
ここで、本発明は、第３の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
【００２０】
また、第１２の発明は、第９乃至第１１のいずれか１の発明において、前記評価領域内にある画素の前記勾配の大小に基づき、前記評価領域の所定範囲を決定することを特徴としている。
ここで、本発明は、第４の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
【００２１】
また、第１３の発明は、第１０乃至第１２のいずれか１の発明において、前記評価領域内の画素に係る所定情報に基づき前記評価領域内に存在する画素毎に、前記画像部分を前記任意形状の画像の領域とそれ以外の領域とに分割するための第１の閾値を算出し、
前記第１の閾値と、前記評価領域内における前記画像部分の輪郭部にある画素と前記所定領域内にある他の画素との距離と、に基づき前記画像部分の輪郭部において前記任意形状の画像に含まれる画素とそれ以外の画素とを分割するための第２の閾値を算出し、
前記画像部分の輪郭部にある画素において、前記評価領域の範囲及び前記第２の閾値に基づき前記領域分割処理を行うことを特徴としている。
【００２２】
ここで、本発明は、第５の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
また、第１４の発明は、第１３の発明において、前記第１の閾値の算出において、大津の自動閾値判別法を利用することを特徴としている。
ここで、本発明は、第６の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
【００２３】
また、第１５の発明は、第９乃至第１４のいずれか１に記載の発明を利用して前記所定の画像から前記任意形状の画像を抽出することを特徴としている。
ここで、本発明は、第７の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
また、第１６の発明は、第１５の発明において、前記任意形状の画像の抽出後において、前記画像部分の幅及び高さに基づき決定された閾値と、前記抽出された任意形状の画像の輪郭部と当該輪郭部から離れた位置にある画素との距離と、に基づき、前記抽出された任意形状の画像から余分な画素を除去することを特徴としている。
【００２４】
ここで、本発明は、第８の発明を実現するためのプログラムであり、その効果は重複するので記載を省略する。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１乃至図６は、本発明に係る画像の領域分割方法及び当該領域分割方法を利用した画像抽出方法の実施の形態を示す図である。ここで、本発明は、図示しないＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理機器において、本発明に係る画像の領域分割プログラムを利用した画像抽出プログラムを実行することで実現される。
【００２６】
まず、図１に基づき、全体画像から抽出対象画像を含む画像部分の抽出を行う処理について説明する。図１（ａ）は、全体画像を示す図であり、図１（ｂ）は、抽出対象画像を含む画像部分を抽出する様子を示す図である。ここで、本実施の形態においては、Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓを利用して、全体画像から任意形状の画像を含む画像部分の抽出を行うこととする。
【００２７】
画像の領域分割を行うための画像の２値化処理では、抽出対象画像と背景画像とがそれぞれ異なる濃淡レベル分布をもっていることを仮定している。白地に文字が黒で書かれているような理想的な場合には確かにこの仮定が成立するが、抽出対象画像が複数になったり、抽出対象画像と背景画像との区別が明確でないような場合には、２値化で抽出対象画像に対応する領域を切り出すことは非常に困難である。
【００２８】
また、画像の濃淡レベルについて、人間の色の感じ方に近いＬ＊ａ＊ｂ＊色空間のＬ＊値（明度）やＹＩＱ色空間のＹ値（明度）などがあげられる。本実施の形態では、明度が１００階値で表現される前者に比べ２５６階値で表現される後者の方がよりきめ細やかなことから、後者のＹＩＱ色空間のＹ値（明度）を濃淡レベルとして扱う。
【００２９】
更に、Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓによる抽出対象画像を含む画像部分の抽出処理について説明する。Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓは、抽出対象画像のエッジの連続性を重視した従来とは全く異なる方法である。この方法はエッジを単に追跡するのではなく、上記したように動的計画法に基づいて、１つのエッジから他のすべてのエッジに至る最小コストの経路を求める。つまり、人手等により目標点が指定されると、その点に近いエッジで且つスタートエッジからコストが最小であるものを選び、対応する最小コスト経路を求める境界線として出力しようとするものである。最小コストパスは画像成分の境界線と一致するので、強い辺の特徴を示すピクセル間のリンクはローカルコストを持つ。つまり、このＩｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓを用いることにより、図１（ａ）に示す、背景画像１０ａ及び抽出対象画像１００からなる全体画像１０において、抽出対象画像の輪郭部近傍に目標点を設定することで、図１（ｂ）に示す、抽出対象画像１００を含む画像部分１０１を抽出することが可能である。図１（ｂ）に示すように、画像部分１０１は、抽出対象画像１００とそれ以外の余分な画像である対象外画像１０１ａとから成るものである。
【００３０】
更に、図２に基づき、抽出した画像部分１０１に対する評価領域の設定を行う処理について説明する。図２（ａ）は、画像部分１０１に評価領域を設定する様子を示す図であり、図２（ｂ）は、微分演算に用いる微分オペレータを示す図であり、図２（ｃ）は、評価領域のサイズの決定方法を示す図であり、図２（ｄ）は、評価領域サイズの最大値の一例を示す図である。
【００３１】
細かい複雑なエッジ形状を持つ抽出対象画像を正確に切り出すためには、グローバルな領域分割での問題点を克服しなければならない。そこで、グローバルな領域分割で抽出した画像部分１０１の輪郭部１０１ｂに沿って局所的に評価を行う。そこで、輪郭部１０１ｂに沿って局所的な領域内で抽出対象画像の連結性を考慮せずに色濃淡レベルについて２値化を行う（ローカルな領域分割）。なお、２値化の際には、しきい値を自動的に選ぶことができる大津によって提案された判別分析の基準に基づく自動しきい値選定法を用いる。
【００３２】
ここで、２値化を行うにあたっての局所的な評価領域２０のサイズは濃淡レベルの勾配によって決定する。図２（ａ）に示すようにグローバルな領域分割によって抽出された画像部分１０１の輪郭部１０１ｂについては次のように考えられる。一般的に、ほぼ抽出対象画像１００の輪郭部１００ａに沿って抽出されている箇所は濃淡レベルの勾配は大きく、逆に抽出対象画像１００の輪郭部１００ａからそれている箇所は勾配が小さい。従って、抽出対象画像１００の輪郭部１００ａから離れた位置にある輪郭部１０１ｂにおいては濃淡レベルの勾配が小さくなるので、抽出対象画像１００の輪郭部１００ａを含むように評価領域２０のサイズを大きくする必要がある。よって、図２（ａ）に示すように、輪郭部１０１ｂが輪郭部１００ａから離れた箇所ほど勾配が小さくなるので評価領域２０のサイズを大きくし、逆に、輪郭部１０１ｂが輪郭部１００ａに近い箇所ほど勾配が大きくなるので評価領域２０のサイズを小さくする。
【００３３】
また、濃淡レベルの勾配を算出するには、関数の変化分を取り出す微分演算が利用される。微分には１次微分（グラディエント）  と２次微分（ラプラシアン）  があり、ともに輪郭抽出つまり濃淡レベルの勾配を算出するのに利用される。
ラプラシアンは輪郭抽出よりむしろ点状のようなものの検出や画像の強調に向いているということから、ローカルな領域分割では濃淡レベルの勾配を算出するためにグラディエントを用いる。
【００３４】
座標（ｘ，ｙ）における濃度の勾配を表す１次微分の値は、大きさと方向を持つベクトル量Ｇ（ｘ，ｙ）＝（ｆｘ，ｆｙ）として表現される。ここでは、ｆｘはｘ方向（本実施の形態では画像の横方向）の微分、ｆｙはｙ方向（本実施の形態では画像の縦方向）の微分を示す。微分値ｆｘ及びｆｙは、以下の式（１）及び式（２）に示すようになる。
【００３５】
【数１】
2004304578.tif 000003
【００３６】
微分値ｆｘ及びｆｙが求まれば、以下に示す式（３）及び式（４）から輪郭の強さと方向が求まる。
【００３７】
【数２】
2004304578.tif 000004
【００３８】
上式（３）及び（４）では、隣接画素同士の差をとる演算で微分を近似している。微分演算を行うための隣接画素同士の演算を表現する係数の組を「微分オペレータ」と呼ぶ。微分オペレータは、図２（ｂ）に示すようになる。図２（ｂ）中に示す数値配列に基づき、対象の画素に対する周囲の画素にその位置に相当する係数を乗じて和をとることになる。
【００３９】
上記式（１）〜（４）により求めた濃淡レベルの勾配の強さｇ（ｘ，ｙ）から評価領域のサイズを算出する。上記したように、濃淡レベルの勾配が大きいほど評価領域のサイズを小さく、逆に勾配が小さいほど評価領域のサイズを大きくする。なお、ここで述べる評価領域のサイズとは図２（ｃ）の領域サイズ２０ａを示す。
【００４０】
また画像の１辺の長さＮが大きければ大きいほどそれに比例して評価領域のサイズも大きくする必要がある。但し、注意しなければならないのはＮが非常に小さいときに評価領域のサイズが１以下の極端に小さくなるケースが考えられるということである。Ｎが小さいときもある程度のサイズをもってローカルな領域分割を行いたい。そこで、Ｎの大きさと評価領域のサイズの最大値とが比例すると考え、以下の式（５）及び（６）に示すように、Ｎが非常に小さいときにはｇ（ｘ，ｙ）の値を上限２５５に抑えて、ある程度の評価領域のサイズを保つことができるようにした。種々の実画像で考察を繰り返した結果、図２（ｄ）のようなＮと評価領域サイズの最大値との関係であればうまく領域分割できることが解った。
【００４１】
【数３】
2004304578.tif 000005
【００４２】
更に、領域分割する際に用いる大津の自動しきい値選定法について述べる。
まず、自動しきい値選定法を説明するために記号の定義を行う。濃淡レベルを０，１，…，Ｌ−１とし、各濃淡レベルｉについてそのレベルのピクセル数をｎｉとする。また、全画素数をｎとする。すなわち、以下の式（７）に示すような関係が成立する。
【００４３】
【数４】
2004304578.tif 000006
【００４４】
従って、上記式（７）より、画像全体での平均濃淡レベルＴは、以下の式（８）に示すようになる。
【００４５】
【数５】
2004304578.tif 000007
【００４６】
さて、０からＬ−１までのレベルを、レベルｔにおいて２分割し、０からｔ−１までのレベルをクラス０、ｔからＬ−１までのレベルをクラス１と定義し、それぞれのクラスをＳ０、Ｓ１と表現する。これら２つのクラスに関して、各クラスＳｉ（ｉ＝０，１）のサイズｎ（Ｓｉ）の平均濃淡レベルμ（Ｓｉ）は次式（９）及び式（１０）に従って計算できる。
【００４７】
【数６】
2004304578.tif 000008
【００４８】
これらの量は、いずれも先にＯ（Ｌ）の時間をかけて前処理を行なっておけば、定数時間で計算は可能である。実際、以下に示す式（１１）及び式（１２）を定義するとき、Ｎ（１），Ｎ（２），…，Ｎ（Ｌ）及びＭ（１），Ｍ（２），…，Ｍ（Ｌ）をＯ（Ｌ）時間で計算するのは容易である。
【００４９】
【数７】
2004304578.tif 000009
【００５０】
これらを用いると、上記の諸量は以下に示す式（１３）のように書き直すことができる。
【００５１】
【数８】
2004304578.tif 000010
【００５２】
ここで、求めたいのは２つクラスを最もよく分離するしきい値ｔの値である。基本的には、２つのクラスの平均濃淡レベルの差が最大になるところがよいが、画像に１点だけ他の点と全く濃淡レベルが異なる雑音成分が含まれているときには、その１点と他全体という分割が選ばれてしまうことになる。このようなアンバランスな分割を防ぐには、クラス間のサイズの比も考慮に入れるべきである。クラスのサイズのバランスを評価する最も簡単な方法は、各クラスのサイズの積の値に注目することである。実際、ｎ（Ｓ０）×ｎ（Ｓ１）は、２つのクラスのサイズが等しいとき、すなわち、ｎ（Ｓ０）＝ｎ（Ｓ１）が成立するときに最大になり、サイズがアンバランスになればなるほど値は小さくなる。したがって、平均濃淡レベルの差の２乗に各クラスのサイズを掛け合わせた形の以下に示す式（１４）がクラス間の分離度を評価する式として考えられる。
【００５３】
【数９】
2004304578.tif 000011
【００５４】
ここで、上式右辺における諸量はすべてパラメータｔによって表現されることに注意してみる。すなわち、ｎ（Ｓ０）、ｎ（Ｓ１）、μ（Ｓ０）、μ（Ｓ１）は、式（１３）である。前述したように、Ｏ（Ｌ）時間で、Ｎ（ｉ）、Ｍ（ｉ）（ｉ＝１，２，…，Ｌ）の値を計算することができるので、Ｖ（１），Ｖ（２），…，Ｖ（Ｌ）の中で最大値を見つけるのもＯ（Ｌ）時間でできる。
【００５５】
大津の方法は、基本的には、上記の値を最大にするｔの値を最適なしきい値として選ぶというものである。しかし実際は、大津の評価式は下記式（１５）のようになる。
【００５６】
【数１０】
2004304578.tif 000012
【００５７】
これは判別分析で用いられるクラス間分散の式である。一見したところ、式（１５）は式（１４）と異なるもののように思われるが、実質的には同じ基準である。
以上より、上記説明した大津の自動しきい値判別法により、各評価領域２０内の画素の濃淡レベルに基づき、それぞれの画素の一次閾値を算出する。
【００５８】
更に、本実施の形態においては、図２（ａ）に示すように、ある評価領域２０内における画像部分１０１の輪郭部１０１ｂ上にある中心画素１０１ｃに対して、同じ評価領域２０内にある前記中心画素１０１ｃから距離Ｋだけ離れた位置にある画素の１次閾値の平均値を２次閾値として算出する。
このようにして算出された２次閾値に基づき、評価領域２０内の各画素を抽出対象画像１００（１）か否（０）かに２値化する。そして、この２値化結果に基づき、全体画像１０を抽出対象画像１００の領域とそれ以外の領域とに領域分割する。そして、領域分割後は、図３に示すように、全体画像１０から画像部分１０１’を抽出する。ここで、図３中の１０１’は、領域分割後に抽出された画像部分である。
【００５９】
更に、本実施の形態においては、図４に基づいて決定される閾値を用いて、領域分割後に抽出された抽出対象画像１００に対して、この抽出画像に含まれるノイズ成分（余分な画素）の除去を行う。図４は、ノイズ除去における閾値決定方法に係る図である。
つまり、上記評価領域２０のサイズを基にローカルな領域分割を行った結果、抽出対象画像１００と判別されたが主要連結領域ではない画素が存在する。そのような画素には、本来は主要連結領域につながるべき領域だが抽出対象画像１００の影などによって遮られるケースと主要連結領域とは全く関係のないケースが考えられる。後者のケースは抽出対象画像１００として切り出したい領域以外にも誤って抽出対象画像１００と判別されたケースである。そのように誤って判別された領域をノイズと呼び、それを除去する必要がある。主要連結領域からの距離について、前者のケースでは比較的小さく後者のケースでは比較的大きいと考えられる。よって最終段階の微調整としてノイズを除去するときは、主要連結領域からの距離を基準に処理を行う。
【００６０】
ここで、主要連結領域ではない画素がノイズであるかどうかを判別する主要連結領域からの距離のしきい値について、何に依存するものであるかについて考える。考えられるものとして、グローバルな領域分割で抽出された輪郭部１０１ｂの長さと抽出対象画像１００とみなされた領域のサイズなどがあげられる。しかし種々の実画像で考察を繰り返した結果、それらよりも画像の横方向に関しては抽出対象画像１００の横方向の幅の最大値を、縦方向に関しては抽出対象画像１００の縦方向の幅の最大値を考慮してしきい値を決定したときに一番ふさわしい結果が得られることが解っている（図４（ａ）、（ｂ）参照）。従って、それらの最大値が大きいほどしきい値を大きく、小さいほどしきい値を小さくすると良い。そして縦方向もしくは横方向のどちらかにおいてしきい値内にあれば、それらの領域はノイズとは判別されず抽出対象画像１００とみなされる。
【００６１】
ここで、ノイズ除去の一例を図５に示す。図５（ａ）は、ノイズ除去前の画像の一例であり、図５（ｂ）は、ノイズ除去後の画像の一例である。
グローバルな領域分割で抽出された輪郭部１０１ｂからの距離が上記で決定されたしきい値より大きいか小さいかにより画素はノイズであるかどうかを判別する。図５（ａ）、（ｂ）に示すように、これは、ノイズを除去する前後の対象物がトカゲである画像について示しているが、ノイズがそれなりに除去されているのがわかる。
【００６２】
更に、図６に基づき、画像抽出プログラムの処理の流れを説明する。図６は、画像抽出プログラムの処理を示すフローチャートである。
図６に示すように、まずステップＳ６００に移行し、Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓによって、全体画像１０から抽出対象画像１００を含む画像部分１０１を抽出してステップＳ６０２に移行する。
【００６３】
ステップＳ６０２では、画像部分１０１の輪郭部１０１ｂ上にある各画素において濃淡レベルの勾配を算出し、それを基に各画素における評価領域２０のサイズを決定して、当該評価領域２０を設定しステップＳ６０４に移行する。
ステップＳ６０４では、各評価領域２０（算出した評価領域のサイズによって決定された範囲）において、大津の自動しきい値選定法により、一次閾値を算出してステップＳ６０６に移行する。
【００６４】
ステップＳ６０６では、画像部分１０１の輪郭部１０１ｂ上にある各画素で領域分割を行う際の２次閾値を算出してステップＳ６０８に移行する。
ステップＳ６０８では、画像部分１０１の輪郭部１０１ｂ上にある各画素において、算出した評価領域２０のサイズ及び２次閾値に基づき２値化処理を行い、これにより領域を分割してステップＳ６１０に移行する。
【００６５】
ステップＳ６１０では、分割結果に基づき、抽出対象画像１００を含む画像部分を抽出してステップＳ６１２に移行する。
ステップＳ６１２では、抽出した画像の幅及び高さから、距離に基づくしきい値を算出して、当該しきい値と主要連結部から離れた位置にある画素の主要連結部からの距離とに基づきノイズ成分を除去して処理を終了する。
【図面の簡単な説明】
【図１】（ａ）は、全体画像を示す図であり、（ｂ）は、抽出対象画像を含む画像部分を抽出する様子を示す図である。
【図２】（ａ）は、画像部分１０１に評価領域を設定する様子を示す図であり、（ｂ）は、微分演算に用いる微分オペレータを示す図であり、（ｃ）は、評価領域のサイズの決定方法を示す図であり、（ｄ）は、評価領域サイズの最大値の一例を示す図である。
【図３】領域分割後に全体画像１０から抽出された画像部分１０１を示す図である。
【図４】ノイズ除去における閾値決定方法に係る図である。
【図５】（ａ）は、ノイズ除去前の画像の一例であり、（ｂ）は、ノイズ除去後の画像の一例である。
【図６】画像抽出プログラムの処理を示すフローチャートである。
【符号の説明】
１０…全体画像、２０…評価領域、２０ａ…評価領域のサイズ、１００…抽出対象画像、１００ａ…抽出対象画像１００の輪郭部、１０１…画像部分、１０１’…領域分割後に抽出された画像部分、１０１ａ…対象外画像、１０１ｂ…画像部分１０１の輪郭部１０１ｂ、１０１ｃ…中心画像
【図１】
2004304578.tif 000013
【図２】
2004304578.tif 000014
【図３】
2004304578.tif 000015
【図４】
2004304578.tif 000016
【図５】
2004304578.tif 000017
【図６】
2004304578.tif 000018