(57)【特許請求の範囲】
【請求項１】
入力画像からエッジを抽出する画像処理装置において、
入力画像から基準エッジを抽出する基準エッジ抽出手段と、分割前の参照エッジを抽出する参照エッジ抽出手段と、分割前の参照エッジを分割して複数の分割後参照エッジを生成する分割手段と、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成するエッジ構成手段とを備え、
前記参照エッジの両側の微小領域の比較により前記入力画像中の対象物体が透明物体であるか否かを判定することで、前記入力画像中の透明物体のエッジを検出することを特徴とする画像処理装置。
を特徴とする画像処理装置。
【請求項２】
分割前の参照エッジを、微分フィルタ、ソーベルフィルタ、又は、キャニーフィルタを用いて抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
参照エッジの分割をエッジの勾配の変化が不連続な点で行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記重複度は、分割後の参照エッジと基準エッジの画素の重複割合であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
入力画像からエッジを抽出する画像処理装置において、
入力画像から基準エッジと、分割前の参照エッジとを抽出し、分割前の参照エッジを分割して複数の分割後参照エッジを生成し、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成し、
前記参照エッジの両側の領域の比較により前記入力画像中の対象物体が透明物体であるか否かを判定することで、前記入力画像中の透明物体のエッジを検出することを特徴とする画像処理方法。
【請求項６】
分割前の参照エッジを、微分フィルタ、ソーベルフィルタ、又は、キャニーフィルタを用いて抽出することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
参照エッジの分割をエッジの勾配の変化が不連続な点で行うことを特徴とする請求項５に記載の画像処理方法。
【請求項８】
前記重複度は、分割後の参照エッジと基準エッジの画素の重複割合であることを特徴とする請求項５に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像からエッジを抽出する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
入力画像からエッジを抽出する画像処理装置（方法）が知られており、下記［特許文献１］にも開示がある。下記［特許文献１］に記載のものでは、画像を複数の閾値で２値化し、該２値化された画像に対して、境界画素判定オペレータを作用させた後、境界画像を統合する。
【特許文献１】特開平５−２２５３３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
境界画像のエッジ部分を理論和で合成しているため、エッジ部分であれば全て統合されてしまうため、特定部分で連続したエッジのみを抽出するようなことができない（もともと特定部分のエッジのみを抽出しようという発想がない。）従って、本発明の目的は、入力画像中の特定のエッジ部分のみを抽出することのできる画像処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００４】
請求項１に記載の画像処理装置は、入力画像から基準エッジを抽出する基準エッジ抽出手段と、分割前の参照エッジを抽出する参照エッジ抽出手段と、分割前の参照エッジを分割して複数の分割後参照エッジを生成する分割手段と、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成するエッジ構成手段とを備え、参照エッジの両側の微小領域の比較により入力画像中の対象物体が透明物体であるか否かを判定することで、入力画像中の透明物体のエッジを検出することを特徴としている。
【０００５】
また、請求項５に記載の画像処理方法は、入力画像からエッジを抽出する画像処理装置において、入力画像から基準エッジと、分割前の参照エッジとを抽出し、分割前の参照エッジを分割して複数の分割後参照エッジを生成し、分割後の参照エッジのそれぞれについて基準エッジとの重複度を算出し、複数の分割後の参照エッジのうち、重複度が所定基準以上の分割後の参照エッジを用いて入力画像中のエッジを構成し、参照エッジの両側の領域の比較により入力画像中の対象物体が透明物体であるか否かを判定することで、入力画像中の透明物体のエッジを検出することを特徴としている。
【０００７】
請求項２及び６に記載の発明は、請求項１に記載の画像処理装置、又は、請求項５に記載の画像処理方法において、分割前の参照エッジが、分割フィルタ、ソーベルフィルタ、又は、キャニーフィルタを用いて抽出されることを特徴としている。
【０００８】
請求項３及び７に記載の発明は、請求項１に記載の画像処理装置、又は、請求項５に記載の画像処理方法において、参照エッジの分割をエッジの勾配の変化が不連続な点で行われることを特徴としている。
【０００９】
請求項４及び８に記載の発明は、請求項１に記載の画像処理装置、又は、請求項５に記載の画像処理方法において、重複度が、分割後の参照エッジと基準エッジの画素の重複割合であることを特徴としている。
【発明の効果】
【００１０】
本発明の画像処理装置又は方法によれば、入力画像中の特定のエッジ部分（例えば、透明物体のエッジ部分）のみを精度良く抽出することができる。透明物体のエッジ部分の注出を試みる場合、特徴が現れているエッジのみを基準エッジとして採用するために、途切れ途切れに分割されて基準エッジが抽出されるる場合がある。このような場合、一般的なエッジ抽出手段による参照エッジと、基準エッジとが重複する部分については参照エッジをエッジとして抽出することで、所望のエッジのみ、かつ、連続したエッジを抽出することが可能となる。
【発明を実施するための最良の形態】
【００１１】
本発明の画像処理装置は、画像取得部と、この取得した画像に各種フィルタをかけて処理する画像処理部と、最終的に処理された画像を出力する画像出力部を備えている。画像取得部は、ＣＣＤカメラなどである。画像処理部は、各種フィルタをかけるだけでなく、画像処理によって得た基準エッジや参照エッジ（詳しくは後述する）などに関する演算処理も行うもので、ＣＰＵやＧＰＵ、ＲＯＭ・ＲＡＭなどを備えたＥＣＵである。画像出力部は、ディスプレイであったりプリンタであったり、次工程の処理を行う他のＥＣＵなどに画像信号として出力を行う出力部であったりする。
【００１２】
上述した画像処理装置による画像処理制御例について説明する。この制御例についてのフローチャートを図１に示す。ここでは、抽出する特定のエッジは透明物体のエッジである。透明な物体をＣＣＤカメラなどの撮像系を用いて検出・認識することを課題とすると、絵柄や３Ｄ形状のような特徴量を導くためには、偏光を用いたり、光源位置を特定したりするなどの特殊な環境下でなければ困難であり、現状で最も有力な手がかりはエッジとなる。
【００１３】
しかし、通常のエッジ検出（Ｓｏｂｅｌ，Ｃａｎｎｙ）法では、透明部分のエッジだけでなくあらゆる物体のエッジを均等に抽出してしまい、その中から透明な物体のエッジのみを抽出することは困難であった。ただし、透明部分に特有の輝度の高くなる「てかり」の検出を行って透明物体を抽出することも検討されているが、この［てかり］現象は透明物体のみに特有なものではなく、曲面全体に存在するために決定的な手法となってはいない。
【００１４】
以下に説明する本実施形態の検出制御は、このような問題を解決するものである。図１に示されるように、まず、ＣＣＤカメラなどの画像取得部によって画像を取得する（ステップ１００：図２）。この画像に、Ｓｏｂｅｌ等のエッジ抽出フィルタをかけ、参照エッジＩｅｄｇｅを抽出する（ステップ１０５：図３）。この参照エッジＩｅｄｇｅを抽出するフィルタは、微分フィルタやＣａｎｎｙフィルタなどのフィルタであってもよい。これらのフィルタはエッジ抽出の一般的なフィルタで、後述する基準フィルタよりも比較的はっきりとエッジを抽出できるものである。
【００１５】
また、参照エッジＩｅｄｇｅの抽出と並行して、図１の画像に対して基底フィルタ（ここではｗａｖｅｌｅｔフィルタをかけており、マザーウェーブレットフィルタ）を用いて、多重解像解析（Ｋｉ［ここでは、ｉ＝１〜Ｎ：Ｎ＝４］層とする）を行って基準エッジを抽出する（ステップ１１０：図４〜図７）。本実施形態では透明物体（ガラスコップ）のエッジ検出を例に説明しており、透明エッジ部に似た形の基底が好ましい。ここでの図４〜図７は、ｗａｖｅｌｅｔフィルタにおける周波数帯域が異なるものであり、図４から図７にかけて順に周波数が大きくなっている。
【００１６】
基準エッジの抽出に用いるフィルタは、ｗａｖｅｌｅｔフィルタの他、ガボールフィルタなどであっても良い。これらのフィルタは、望ましい周波数帯域、方向性のエッジを抽出することが可能である。あるいは、グラフカットフィルタやｍｅａｎｓｈｉｆｔ法によって基準エッジを抽出しても良い。これらのフィルタは、望ましい色、エッジの強さ、等の領域／輪郭を抽出することが可能である。これらの基準エッジ抽出フィルタに共通する特性は、抽出したい特性のエッジを狙って（例えば、透明物体のエッジを狙って、特定の色のエッジを狙って、など）抽出できるということがある。
【００１７】
ステップ１０５の後、参照エッジＩｅｄｇｅについては、細線化を行い（必要に応じて伸張処理を施しても良い）、ジャンクション点（勾配が不連続な点、勾配変化が急な点）を求め、エッジのセグメント化（分割化）を行う（ステップ１１５）。ここでは、図２の参照エッジの図では線が複雑であるため、図４をある閾値で二値化した図８を例にしてセグメント化の例を示す。図８をセグメント化し、各セグメントを線で囲ったものが図９になる。１つの線で囲まれたものが一つのセグメントとなる。このようなセグメント化を、図２の参照エッジについて行う。これにより、参照エッジＩｅｄｇｅは分割され、複数にセグメント化される。
【００１８】
一方、各基準エッジ（Ｎ＝１〜４）を示す画像については、ステップ１１０の後、それぞれについて以下の処理を行う。基準エッジと参照エッジＩｅｄｇｅとを重ね合わせ、参照エッジの両側に存在する微小領域に着目する。ここでは、透明物体のエッジを検出するが、透明物体の参照エッジＩｅｄｇｅであれば、その両側では背景が一致する可能性が非常に高い（あるいは、一致する）はずである。ただし、透明部分の参照エッジＩｅｄｇｅの内側と外側の領域では、透明物体を透過するため、透明物体を透過する内側の領域にはボケが存在する。そこで、両側の微小領域の差を測定し（ステップ１２５）、その閾値が基準値以下である（ほぼ一致する、一致する）場合は、その参照エッジＩｅｄｇｅを透明物体のエッジであると判定する。
【００１９】
この工程を、図１０の図と図１１のフローチャートに基づいて説明する。図１０に示されるように、参照エッジの両側に、対となる微小領域（一辺１０〜２０ｐｉｘｅｌ程度の矩形領域）を設定し、これらの一方、透明物体を透過しない外側の領域ｄＳｏｕｔ−ｉにガウシアンフィルターなどの平滑化（ボカシ）処理を行った後に、透明物体を透過する内側の領域ｄＳｉｎ−ｉとの差Ｄｉｆｆｉ＝Ｓｉｎ−ｉ−Ｓｏｕｔ−ｉを算出する（ステップ１１１０）。なお、ステップ１１００，Ｓ１１０５は、それぞれ上述した図１のフローチャートのステップ１００，１０５に相当する。
【００２０】
なお、Ｓｉｎ−ｉ，Ｓｏｕｔ−ｉは、差Ｄｉｆｆｉを求めるために、それぞれ各領域ｄＳｉｎ−ｉ，ｄＳｏｕｔ−ｉの状態をスカラー量に変換した値である。また、平滑化（ボカシ）処理を行うときに、実際には、エッジの両側のどちらが透明物体を透過した側かしていない側か分からないため、それぞれ片方の領域に平滑化処理を行い、その結果を見てどちらが内側でどちらが外側かを決めることとなる。その後、上述した差Ｄｉｆｆｉが求められる。
【００２１】
差Ｄｉｆｆｉの求め方は、種々の方法によればよい。例えば、領域内の全てのピクセルの色（グレースケールであれば濃度など）を数値化し、全ピクセルの平均値や総和などをＳｉｎ−ｉ，Ｓｏｕｔ−ｉの値としても良い。あるいは、色相、彩度、明度や、輝度値を数値化して利用しても良い。あるいは、各ピクセル毎に差を計算し、この差の平均値や総和を求めて全体の差Ｄｉｆｆｉとしても良い。
【００２２】
そして、ステップ１１１０の後、図１１では、差Ｄｉｆｆｉが所定の閾値Ｔｈ未満であるエッジのみを透明物体のエッジである抽出エッジＩｌａｓｔとして抽出する（ステップ１１１５）。この抽出エッジＩｌａｓｔは、透明物体（例えばコップ）の輪郭としては、一部が欠けていたりするものとして抽出される。そこで、ステップ１１１５の後、Ｓｎａｋｅなどの輪郭抽出手法を用いて、透明物体の輪郭を決定する（ステップ１１２０）。ただし、図１のフローチャートでは、基準エッジを複数（図４〜図７）用いるため、ステップ１１１５，１１２０のステップの前に別のステップを経ることとする。ただし、図１のステップ１２０における差Ｄｉｆｆｉの算出は、上述したように、算出される。
【００２３】
図１のフローチャートのステップ１２０において、各基本エッジ画像について、全ての微小領域について、Ｄｉｆｆｉ＜Ｔｈを満たす割合（＝Ｒａｔｉｏ）が所定の閾値Ｔｈ−ｒａｔｉｏを超える階層Ｋｉを選択する（ステップ１２５）。図４〜図７の基準エッジに対して、図２の参照エッジと重ね合わせてＤｉｆｆｉ＜Ｔｈを満たす参照エッジ部分を抽出した図を図１２〜図１５に示す。ここでは、Ｒａｔｉｏ＞Ｔｈ−ｒａｔｉｏを満たす階層はＫ１のみであるが、複数ある場合は、これらを全て重ね合わせた（統合した）ものを統合エッジＩｃｏｍｂとして抽出する（ステップ１３０）。
【００２４】
ステップ１３０の後、統合エッジＩｃｏｍｂと「セグメント化された」参照エッジＩｅｄｇｅとを比較し、統合エッジＩｃｏｍｂ領域と重なる（重複度：重複割合が所定基準以上である）参照エッジＩｅｄｇｅのセグメントを抽出エッジＩｌａｓｔとして抽出する（ステップ１３５）。この図を図１６に示す。ここで、セグメント化した参照エッジＩｅｄｇｅと重ね合わせることで、統合エッジＩｃｏｍｂとして抽出されなかったエッジをも回復させることができるため、より精度の高い検出が行える。例えば、図１２（統合エッジＩｃｏｍｂ）と図１６（抽出エッジＩｌａｓｔ）とを比較すると分かるが、左から二番目のコップなどは、もとの形状が正確に抽出されている。
【００２５】
この抽出エッジＩｌａｓｔは、透明物体（例えばコップ）の輪郭としては、一部が欠けていたりするものとして抽出される。そこで、上述した図１１のステップ１１２０と同様に、Ｓｎａｋｅなどの輪郭抽出手法を用いて、透明物体の輪郭を決定する（ステップ１４０）。Ｓｎａｋｅなどの輪郭抽出手法を用いて決定された透明物体の輪郭を表す図を図１７に示す。このようにして、検出が難しい特定物体のエッジ（ここでは透明物体のエッジ）。
【００２６】
上述した実施形態は、透明物体のエッジを検出する場合を例に説明したが、本発明は必ずしも透明物体の検出に限られるものではない。物体を特定せずに一般化した場合のフローチャートを図１８に示す。まず、ＣＣＤカメラなどの画像取得部によって画像を取得する（ステップ１８００）。この画像に、異なる二つのエッジ抽出フィルタをかけ、参照エッジＩｅｄｇｅ１を抽出する（ステップ１８０５）と共に、基準エッジＩｅｄｇｅ２を抽出する（ステップ１８１０）。
【００２７】
異なる二つのエッジ抽出フィルタは特性が異なり、参照エッジＩｅｄｇｅ１を抽出するフィルタは脆弱なエッジも抽出可能な（エッジを強く抽出可能な）フィルタを採用し、基準エッジＩｅｄｇｅ２を抽出するフィルタは輪郭を抽出したい対象物体のエッジをより強く（対象物体のエッジのみをより強く）抽出できるようなフィルタを採用し、組み合わせて使用する。ここでは、基準エッジＩｅｄｇｅ２を抽出した画像は一つのみであるとする。
【００２８】
次に、参照エッジＩｅｄｇｅ１について、上述した図１のステップ１１５と同様に、ジャンクション点（勾配が不連続な点、勾配変化が急な点）を求め、エッジのセグメント化を行う（ステップ１８１５）。さらに、基準エッジＩｅｄｇｅ２とセグメント化された参照エッジＩｅｄｇｅ１とを重ね合わせて、各セグメント毎に、重複する部分が所定の閾値Ｔｈ−ｒａｔｉｏを超える参照エッジＩｅｄｇｅ１のセグメントを抽出エッジＩｌａｓｔとして抽出する（ステップ１８２０：図１のステップ１２０〜１３５を簡素化したものともいえる）。そして、図１のステップ１４０と同様に、Ｓｎａｋｅなどの輪郭抽出手法を用いて、透明物体の輪郭を決定する（ステップ１８２５）
【００２９】
なお、本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態ではモノクロ画像を例に説明しているが、カラー画像に対しても本発明は適用し得る。
【図面の簡単な説明】
【００３０】
【図１】本発明の画像処理装置（方法）の一実施形態のフローチャートである。
【図２】取得画像である。
【図３】取得画像に対してＳｏｂｅｌフィルタをかけ、参照エッジを抽出した画像である。
【図４】取得画像に対してｗａｖｅｌｅｔフィルタ（第一周波数）をかけ、基準エッジを抽出した画像である。
【図５】取得画像に対してｗａｖｅｌｅｔフィルタ（第二周波数）をかけ、基準エッジを抽出した画像である。
【図６】取得画像に対してｗａｖｅｌｅｔフィルタ（第三周波数）をかけ、基準エッジを抽出した画像である。
【図７】取得画像に対してｗａｖｅｌｅｔフィルタ（第四周波数）をかけ、基準エッジを抽出した画像である。
【図８】図４の画像を二値化した画像である。
【図９】図８の画像をセグメント化した画像である。
【図１０】透明物体のエッジ検出を説明する説明図である。
【図１１】透明物体のエッジ検出を説明するフローチャートである。
【図１２】図４の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。
【図１３】図５の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。
【図１４】図６の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。
【図１５】図７の画像をもとに差Ｄｉｆｆ＜所定閾値Ｔｈを満たすエッジを示す画像である。
【図１６】セグメント化された参照エッジ画像と所定割合Ｔｈ−ｒａｔｉｏを満たした統合エッジとを重ね合わせ、重複するセグメントを抽出した画像である。
【図１７】図１６の画像から輪郭を抽出した画像である。
【図１８】本発明の画像処理装置（方法）の他の実施形態のフローチャートである。
【図１】
0004635760.tif 000002
【図１０】
0004635760.tif 000003
【図１１】
0004635760.tif 000004
【図１８】
0004635760.tif 000005
【図２】
0004635760.tif 000006
【図３】
0004635760.tif 000007
【図４】
0004635760.tif 000008
【図５】
0004635760.tif 000009
【図６】
0004635760.tif 000010
【図７】
0004635760.tif 000011
【図８】
0004635760.tif 000012
【図９】
0004635760.tif 000013
【図１２】
0004635760.tif 000014
【図１３】
0004635760.tif 000015
【図１４】
0004635760.tif 000016
【図１５】
0004635760.tif 000017
【図１６】
0004635760.tif 000018
【図１７】
0004635760.tif 000019