(57)【要約】【課題】画像に撮像されている遮蔽物画素を検出する処理の速さを向上させる。【解決手段】遮蔽物画素検出装置は、入力される画像を入力画像とし、入力画像を平滑化した平滑化画像と入力画像との差分を示す差分画像を生成する候補画素抽出部と、差分画像において予め定められた差分閾値より大きい画素値を有する画素ごとに、当該画素が局所的な直線の一部であるか否かを判定し、局所的な直線の一部である場合に当該画素を遮蔽物が撮像されている画素の候補にする局所直線性判定部と、遮蔽物が撮像されている画素の候補を連結して得られる連結画素群を包含する矩形を決定し、当該矩形の内部における連結画素群のフラクタル次元値を算出し、算出したフラクタル次元値と連結画素群の画素数とに基づいて連結画素群が遮蔽物であるか否かを判定する大局的遮蔽物判定部とを備える。【選択図】図１
2014006786.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像を入力画像とし、入力画像を平滑化した平滑化画像と前記入力画像との差分を示す差分画像を生成する候補画素抽出部と、
前記差分画像において予め定められた差分閾値より大きい画素値を有する画素ごとに、当該画素が局所的な直線の一部であるか否かを判定し、局所的な直線の一部である場合に当該画素を遮蔽物が撮像されている画素の候補にする局所直線性判定部と、
遮蔽物が撮像されている画素の候補を連結して得られる連結画素群を包含する矩形を決定し、当該矩形の内部における連結画素群のフラクタル次元値を算出し、算出したフラクタル次元値と前記連結画素群の画素数とに基づいて前記連結画素群が遮蔽物であるか否かを判定する大局的遮蔽物判定部と
を備えることを特徴とする遮蔽物画素検出装置。
【請求項２】
請求項１に記載の遮蔽物画素検出装置であって、
前記候補画素抽出部は、
前記平滑化画像の画像サイズを縮小して得られた画像を新たな入力画像とし、当該入力画像を平滑化した平滑化画像と当該入力画像との差分を示す差分画像を生成する処理を繰り返して行うことにより、画像サイズの異なる入力画像と差分画像との組み合わせを複数生成する
ことを特徴とする遮蔽物画素検出装置。
【請求項３】
請求項１又は請求項２のいずれかに記載の遮蔽物画素検出装置であって、
前記局所直線性判定部は、
前記差分画像において前記差分閾値より大きい画素値を有する画素を含む近傍領域の勾配方向から勾配方向の出現頻度を示す勾配ヒストグラムを生成し、最頻のビンと次頻のビンとが互いに逆の方向である場合、前記画素を局所的な直線の一部であると判定する
ことを特徴とする遮蔽物画素検出装置。
【請求項４】
請求項３に記載の遮蔽物画素検出装置であって、
前記局所直線性判定部は、
前記最頻のビンと前記次頻のビンとの頻度値が、第１の閾値より大きい場合に前記画素を局所的な直線の一部の候補であると判定し、
前記最頻のビンと前記次頻のビンとの頻度値が、前記第１の閾値より大きい値を有する第２の閾値より大きい場合に前記画素を局所的な直線の一部であると判定し、
前記大局的遮蔽物判定部は、
前記局所直線性判定部が局所的な直線の一部であると判定した画素を起点として、前記局所直線性判定部が局所的な直線の一部の候補であると判定した画素を連結することにより前記連結画素群を検出する
ことを特徴とする遮蔽物画素検出装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の遮蔽物画素検出装置であって、
前記候補画素抽出部は、
入力画像を平滑化する際に、メディアンフィルタを用いる
ことを特徴とする遮蔽物画素検出装置。
【請求項６】
入力される画像を入力画像とし、入力画像を平滑化した平滑化画像と前記入力画像との差分を示す差分画像を生成する候補画素抽出ステップと、
前記差分画像において予め定められた差分閾値より大きい画素値を有する画素ごとに、当該画素が局所的な直線の一部であるか否かを判定し、局所的な直線の一部である場合に当該画素を遮蔽物が撮像されている画素の候補にする局所直線性判定ステップと、
遮蔽物が撮像されている画素の候補を連結して得られる連結画素群を包含する矩形を決定し、当該矩形の内部における連結画素群のフラクタル次元値を算出し、算出したフラクタル次元値と前記連結画素群の画素数とに基づいて前記連結画素群が遮蔽物であるか否かを判定する大局的遮蔽物判定ステップと
を有することを特徴とする遮蔽物画素検出方法。
【請求項７】
請求項１から請求項５のいずれか一項に記載の遮蔽物画素検出装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細長い物体を含んだ実空間を撮像したカメラにより入力される画像から、細長い物体に対応する画素を検出する遮蔽物画素検出装置、遮蔽物画素検出方法、及びプログラムに関する。
【背景技術】
【０００２】
実空間を撮像したカメラにより入力された画像において、所定領域の画素値を周囲領域から推定する例えば非特許文献１記載のInpainting技術では、デジタル化工程において生じたノイズ箇所や、指定指示した領域を除去した画像を合成することを可能にしている。
Inpainting技術では除去したい画像内の領域を利用者が手動で指定する必要がある。これに対して、例えば非特許文献２記載の方法では、撮影対象を遮蔽するフェンスなどの遮蔽物に該当する画像内の領域を、遮蔽領域は細長い紐状の形状でありかつ、近傍領域との輝度差が大きいと仮定のうえ、近傍領域との輝度差の投票を行うことにより人手を介さずに、遮蔽領域を推定することを可能としている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】M. Bertalmio, G. Sapiro, V. Caselles and C. Ballester, "Image inpainting," in Proc. SIGGRAPH, pp.417-424, July 2000.
【非特許文献２】鈴木  博、玉木  徹、山本  正信、「紐状遮へい領域の除去と画像の復元」、信学技報、vol. PRMU2004-192、２００５年２月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の文献に記載された方法では、近傍領域との輝度差の投票によって求めた遮蔽物候補画素の正否判定を、遮蔽物候補画素の近傍領域には他の遮蔽物候補画素が多く存在するという仮定のもと、遮蔽物候補画素から選択した１つの注目画素ごとに近傍での遮蔽物候補画素の投票値の合算と、その変化量を用いた最適化計算とによって、全遮蔽物候補画素に亘って行うため、計算処理量が多いといった問題がある。
【０００５】
本発明は、上記問題を解決すべくなされたものであり、画像に撮像されている遮蔽物画素を検出する処理の速さを向上させる遮蔽物画素検出装置、遮蔽物画素検出方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、入力される画像を入力画像とし、入力画像を平滑化した平滑化画像と前記入力画像との差分を示す差分画像を生成する候補画素抽出部と、前記差分画像において予め定められた差分閾値より大きい画素値を有する画素ごとに、当該画素が局所的な直線の一部であるか否かを判定し、局所的な直線の一部である場合に当該画素を遮蔽物が撮像されている画素の候補にする局所直線性判定部と、遮蔽物が撮像されている画素の候補を連結して得られる連結画素群を包含する矩形を決定し、当該矩形の内部における連結画素群のフラクタル次元値を算出し、算出したフラクタル次元値と前記連結画素群の画素数とに基づいて前記連結画素群が遮蔽物であるか否かを判定する大局的遮蔽物判定部とを備えることを特徴とする遮蔽物画素検出装置である。
【０００７】
また、本発明は、上記に記載の遮蔽物画素検出装置において、前記候補画素抽出部は、前記平滑化画像の画像サイズを縮小して得られた画像を新たな入力画像とし、当該入力画像を平滑化した平滑化画像と当該入力画像との差分を示す差分画像を生成する処理を繰り返して行うことにより、画像サイズの異なる入力画像と差分画像との組み合わせを複数生成することを特徴とする。
【０００８】
また、本発明は、上記に記載の遮蔽物画素検出装置において、前記局所直線性判定部は、前記差分画像において前記差分閾値より大きい画素値を有する画素を含む近傍領域の勾配方向から勾配方向の出現頻度を示す勾配ヒストグラムを生成し、最頻のビンと次頻のビンとが互いに逆の方向である場合、前記画素を局所的な直線の一部であると判定することを特徴とする。
【０００９】
また、本発明は、上記に記載の遮蔽物画素検出装置において、前記局所直線性判定部は、前記最頻のビンと前記次頻のビンとの頻度値が、第１の閾値より大きい場合に前記画素を局所的な直線の一部の候補であると判定し、前記最頻のビンと前記次頻のビンとの頻度値が、前記第１の閾値より大きい値を有する第２の閾値より大きい場合に前記画素を局所的な直線の一部であると判定し、前記大局的遮蔽物判定部は、前記局所直線性判定部が局所的な直線の一部であると判定した画素を起点として、前記局所直線性判定部が局所的な直線の一部の候補であると判定した画素を連結することにより前記連結画素群を検出することを特徴とする。
【００１０】
また、本発明は、上記に記載の遮蔽物画素検出装置において、前記候補画素抽出部は、入力画像を平滑化する際に、メディアンフィルタを用いることを特徴とする。
【００１１】
また、本発明は、入力される画像を入力画像とし、入力画像を平滑化した平滑化画像と前記入力画像との差分を示す差分画像を生成する候補画素抽出ステップと、前記差分画像において予め定められた差分閾値より大きい画素値を有する画素ごとに、当該画素が局所的な直線の一部であるか否かを判定し、局所的な直線の一部である場合に当該画素を遮蔽物が撮像されている画素の候補にする局所直線性判定ステップと、遮蔽物が撮像されている画素の候補を連結して得られる連結画素群を包含する矩形を決定し、当該矩形の内部における連結画素群のフラクタル次元値を算出し、算出したフラクタル次元値と前記連結画素群の画素数とに基づいて前記連結画素群が遮蔽物であるか否かを判定する大局的遮蔽物判定ステップとを有することを特徴とする遮蔽物画素検出方法である。
【００１２】
また、本発明は、上記に記載の遮蔽物画素検出装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、候補画素抽出部による平滑化及び差分処理と、局所直線性判定部による差分処理で得られた各画素について局所的な直線の一部であるか否かの判定とによって、入力された画像に撮像されている遮蔽物の画素の候補を絞り込み、絞り込んだ候補の画素に対して大局的遮蔽物判定部が遮蔽物の正否判定を行うようにしたので、演算量を抑えることができ、遮蔽物画素を検出する処理の速さを向上させることができる。また、大局的遮蔽物判定部は、候補の画素を連結した連結画素群ごとに正否判定を行うので、更に演算量を抑えることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る一実施形態における遮蔽物画素検出装置１０の構成を示す概略ブロック図である。
【図２】同実施形態における候補画素抽出部１１が行う候補画素抽出処理を示すフローチャートである。
【図３】同実施形態における候補画素抽出処理の一例を示す概略図である。
【図４】同実施形態における局所直線性判定部１２が行う局所直線性判定処理を示すフローチャートである。
【図５】同実施形態において局所直線性判定部１２が生成する勾配ヒストグラムの一例を示す図である。
【図６】同実施形態の局所直線判定処理における判定例を示す概略図である。
【図７】同実施形態における大局的遮蔽物判定部１３が行う大局的遮蔽物判定処理のフローチャートである。
【図８】同実施形態における連結処理の一例を示す概略図である。
【図９】フラクタル次元値Ｄとその形状との対応の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態における遮蔽物画素検出装置、遮蔽物画素算出方法、及びプログラムを説明する。
【００１６】
図１は、本発明に係る一実施形態における遮蔽物画素検出装置１０の構成を示す概略ブロック図である。遮蔽物画素検出装置１０は、入力される画像に含まれる物体であって細長い形状を有する物体である遮蔽物、例えば電線やケーブル、フェンスなどを検出し、検出した物体に対応する画素を示す情報を出力する。遮蔽物画素検出装置１０は、同図に示すように、候補画素抽出部１１と、局所直線性判定部１２と、大局的遮蔽物判定部１３と、記憶部１４とを具備している。
【００１７】
候補画素抽出部１１には、カメラ等で撮像した撮影画像が入力される。候補画素抽出部１１は、撮影画像に対する平滑化処理と差分処理とを所定の回数（階層数Ｎ）繰り返して行い、平滑化処理により得られる階層入力画像と、差分処理により得られる差分画像とを生成する。候補画素抽出部１１は、処理を繰り返すごとに画像のサイズを縮小する。
【００１８】
局所直線性判定部１２は、候補画素抽出部１１から出力される階層入力画像と差分画像とをそれぞれ階層数分入力し、画像のエッジ強度を示す勾配強度と、画像のエッジ方向を示す勾配方向とを算出する。局所直線性判定部１２は、算出した勾配強度及び勾配方向から勾配ヒストグラムを算出し、当該勾配ヒストグラムに対する所定の高低２つの閾値を用いた判定により局所直線上画素及び局所直線上候補画素を決定する。局所直線性判定部１２は、局所直線上画素を示す局所直線性判定結果画像と、局所直線上候補画素を示す局所直線判定結果候補画像とを階層数分出力する。
【００１９】
大局的遮蔽物判定部１３は、局所直線性判定部１２が出力する階層数分の局所直線判定結果画像及び局所直線判定結果候補画像を入力する。大局的遮蔽物判定部１３は、局所直線上候補画素を連結して統合することにより２つの閾値を用いた判定結果を統合するヒステリシス閾値処理を行う。大局的遮蔽物判定部１３は、連結された連結画素群を包含する矩形内において図形の複雑度を示すフラクタル次元値を算出のうえ、該フラクタル次元値と連結画素数から連結画素群が人工遮蔽物か否かを判定する。大局的遮蔽物判定部１３は、この判定を階層数分繰り返して行い、得られた判定結果を統合した遮蔽物画像を出力する。
以下、各部における処理の詳細について説明する。
【００２０】
図２は、本実施形態における候補画素抽出部１１が行う候補画素抽出処理を示すフローチャートである。
候補画素抽出処理が開始されると、候補画素抽出部１１は撮影画像を入力し、候補画素抽出処理における繰り返し回数を示す処理階層ｋを０にして初期化する。（ステップＳ１０１）。なお、撮影画像の色空間がＨＳＶ以外の色空間で表された画像である場合、ＨＳＶ変換を行うようにしてもよい。
【００２１】
候補画素抽出部１１は、処理階層ｋの値が予め定められた階層数Ｎ（Ｎは１以上）より小さいかどうかを判定する（ステップＳ１０２）。
処理階層ｋが階層数Ｎ未満である場合（ステップＳ１０２：Ｙｅｓ）、候補画素抽出部１１は、処理階層ｋが０である、すなわち初回の処理であるか否かを判定する（ステップＳ１０３）。
【００２２】
初回の処理（処理階層ｋ＝０）である場合（ステップＳ１０３：Ｙｅｓ）、候補画素抽出部１１は、ステップＳ１０１において入力した撮影画像を階層入力画像に設定し、設定した階層入力画像と処理階層ｋ（すなわち「０」）とを対応付けて記憶部１４に記憶させる（ステップＳ１０４）。
一方、初回の処理でない場合（ステップＳ１０３：Ｎｏ）、候補画素抽出部１１は、一つ前の処理階層において生成された次階層入力画像を今回の処理階層における階層入力画像に設定し、設定した階層入力画像と処理階層ｋとを対応付けて記憶部１４に記憶させる（ステップＳ１０５）。
【００２３】
候補画素抽出部１１は、階層入力画像に対して平滑化フィルタを適用し、平滑化画像を生成する（ステップＳ１０６）。平滑化フィルタとしては、例えば、メディアンフィルタや、ガウシアンフィルタ、ボックスフィルタなどを用いることができる。メディアンフィルタを用いた場合、階層入力画像に対する平滑化に要する演算量を抑えることができる。
候補画素抽出部１１は、平滑化画像と階層入力画像との差分画像を生成し、生成した差分画像と処理階層ｋとを対応付けて記憶部１４に記憶させる（ステップＳ１０７）。
【００２４】
候補画素抽出部１１は、ステップＳ１０６において生成した平滑化画像を予め定められた縮小率で画像のサイズを縮小し、縮小後の平滑化画像を次階層入力画像に設定する（ステップＳ１０８）。
候補画素抽出部１１は、処理階層ｋに「１」を加算し（ステップＳ１０９）、処理をステップＳ１０２に戻してステップＳ１０２からステップＳ１０９までの各処理をＮ回繰り返す。
【００２５】
ステップＳ１０２において、処理階層ｋが階層数Ｎ未満でない場合、すなわちステップＳ１０２からステップＳ１０９までの各処理をＮ回実施した場合（ステップＳ１０２：Ｎｏ）、処理階層ｋ（ｋ＝０，…，Ｎ−１）に対応付けられた、階層入力画像及び差分画像それぞれＮ枚の画像を記憶部１４から読み出して局所直線性判定部１２に出力し、候補画素抽出処理を終了する。
上述の候補画素抽出処理により、差分画像が遮蔽物に対応する画素の候補を示す情報として得られる。
【００２６】
図３は、本実施形態における候補画素抽出処理の一例を示す概略図である。候補画像抽出処理が行われると、処理階層０から処理階層（Ｎ−１）に対応する階層入力画像が設定される。各処理階層の階層入力画像に対して平滑化画像が得られる。同図には、平滑化にメディアンフィルタを適用した例が示されている。各処理階層で階層入力画像と平滑化画像との差分をとると、同図に示す差分画像が生成されることになる。この差分画像が、遮蔽物に対応する画素の候補を示す情報となる。
【００２７】
候補画素抽出処理において、平滑化画像を縮小して差分画像の生成を繰り返して行うのは、実空間中で太さを有する遮蔽物が画像内において数画素の幅を持つことから、遮蔽物の複数の太さに対応して検出を行うためである。階層数Ｎは１以上であれば任意の値でよい。平滑化画像を生成する際にメディアンフィルタを用いた場合、撮影画像に撮像されている遮蔽物以外の物体のエッジが過度に抽出されることを抑制することができる。
【００２８】
図４は、本実施形態における局所直線性判定部１２が行う局所直線性判定処理を示すフローチャートである。
局所直線性判定部１２は、局所直線性判定処理を開始すると、候補画素抽出部１１から処理階層の値に対応付けられた階層入力画像及び差分画像がそれぞれＮ枚ずつ入力され、局所直線性判定処理における繰り返し回数を示す処理階層ｋを０にして初期化する（ステップＳ２０１）。
【００２９】
局所直線性判定部１２は、処理階層ｋの値が階層数Ｎより小さいかどうかを判定し（ステップＳ２０２）、処理階層ｋの値が階層数Ｎより小さい場合（ステップＳ２０２：Ｙｅｓ）、処理階層ｋの値に対応する階層入力画像から勾配強度と勾配方向とを算出する（ステップＳ２０３）。
【００３０】
具体的には、階層入力画像における画像座標（ｘ，ｙ）に対する、水平方向の輝度勾配ｆｘ（ｘ，ｙ）、垂直方向の輝度勾配ｆｙ（ｘ，ｙ）を用いて、勾配強度ｍ（ｘ，ｙ）と勾配方向θ（ｘ，ｙ）を算出する。
局所直線性判定部１２は、次式（１−１）〜次式（１−４）を用いて、輝度勾配ｆｘ（ｘ，ｙ）、垂直方向の輝度勾配ｆｙ（ｘ，ｙ）、勾配強度ｍ（ｘ，ｙ）、及び、勾配方向θ（ｘ，ｙ）を算出する。
【００３１】
【数１】
2014006786.tif 000003
【００３２】
式（１−３）及び式（１−４）におけるＩ（ｘ，ｙ）は画像座標（ｘ，ｙ）における輝度を表す。なお、式（１−３）及び式（１−４）は、Ｓｏｂｅｌフィルタを用いた場合の輝度勾配を算出する式であるが、他のフィルタを用いて輝度勾配を算出するようにしてもよい。
【００３３】
局所直線性判定部１２は、階層入力画像と同じ画像サイズを有し局所直線上画素であるか否かを２値表現する局所直線判定結果画像と、階層入力画像と同じ画像サイズを有し局所直線上画素の候補となる画素であるか否かを２値表現する局所直線判定結果候補画像とを生成する。局所直線性判定部１２は、生成した局所直線判定結果画像及び局所直線判定結果候補画像を初期化する（ステップＳ２０４）。局所直線判定結果画像及び局所直線判定結果候補画像の初期化では、局所直線性判定部１２が、それぞれの画像に含まれる各画素の値を、局所直線上画素ではないことを示す値にする。
【００３４】
局所直線性判定部１２は、処理階層ｋに対応する差分画像において画素値が予め定めた差分閾値より大きい画素値を有する画素のうち未処理の画素が存在するか否かを判定し（ステップＳ２０５）、未処理の画素が存在しない場合（ステップＳ２０５：Ｎｏ）、処理をステップＳ２１２に進める。なお、差分閾値は、例えば０としてもよいし、候補画素抽出処理における平滑化フィルタの特性に応じて定めてもよい。
【００３５】
一方、未処理画素が存在する場合、局所直線性判定部１２は、未処理画素からいずれか一つの画素（ｘ，ｙ）を選択し、階層入力画像において当該画素（ｘ，ｙ）に対応する処理対象画素（ｘ，ｙ）に対して近傍領域（例えば、７×７画素の領域）を設定する。局所直線性判定部１２は、近傍領域における各画素の勾配強度ｍで重み付けをした勾配方向θの出現頻度を表す勾配ヒストグラムを生成する（ステップＳ２０６）。
【００３６】
図５は、本実施形態において局所直線性判定部１２が生成する勾配ヒストグラムの一例を示す図である。同図に示すように、勾配ヒストグラムは、横軸が勾配方向θを示し、縦軸が出現頻度を示す。同図に示す例では、勾配方向θを４５度ごとの８つのビンで勾配ヒストグラムを生成している。なお、勾配ヒストグラムは、頻度の合計値が１となるように正規化して生成してもよい。
【００３７】
図４に戻り、局所直線判定処理の説明を続ける。
局所直線性判定部１２は、生成した勾配ヒストグラムにおける最頻のビンと次頻のビンそれぞれの頻度が予め定められた低閾値（第１の閾値）を上回るか否かを判定し（ステップＳ２０７）、低閾値を上回らない場合（ステップＳ２０７：Ｎｏ）、画素（ｘ，ｙ）を処理済みにして、処理をステップＳ２０５に戻す。
【００３８】
一方、低閾値を上回る場合（ステップＳ２０７：Ｙｅｓ）、局所直線性判定部１２は、最頻のビンの勾配方向と次頻のビンの勾配方向とのビン間距離が１８０度分であるか否かを判定する（ステップＳ２０８）。ビン間距離が１８０度分であるかどうかの判定は、例えば、勾配ヒストグラムを勾配方向である０度から３６０度の範囲を４５度ごとに８方向に量子化した場合、それぞれの範囲に対応するビンにビンＩＤとして「１」から「８」までの値を、０度を含むビンから順に付与したとき、最頻のビンのビンＩＤと次頻のビンのビンＩＤとの差の絶対値が４であるか否かにより行う。すなわち最頻のビンと次頻のビンとが互いに逆の方向を示しているか否かを判定する。
【００３９】
ビン間距離が１８０度分でない場合（ステップＳ２０８：Ｎｏ）、局所直線性判定部１２は、画素（ｘ，ｙ）を処理済みにして、処理をステップＳ２０５に戻す。
一方、ビン間距離が１８０度分である場合（ステップＳ２０８：Ｙｅｓ）、局所直線性判定部１２は、局所直線判定結果候補画像において処理対象画素（ｘ，ｙ）と同じ座標（ｘ，ｙ）の画素値に、局所直線上候補画素であることを示す値を設定する（ステップＳ２０９）。
【００４０】
局所直線性判定部１２は、生成した勾配ヒストグラムにおける最頻のビンと次頻のビンそれぞれの頻度が予め定められた高閾値（第２の閾値）を上回るか否かを判定し（ステップＳ２１０）、高閾値を上回らない場合（ステップＳ２１０：Ｎｏ）、画素（ｘ，ｙ）を処理済みにして、処理をステップＳ２０５に戻す。なお、高閾値は低閾値より高い頻度を示す値が定められる。
一方、高閾値を上回る場合（ステップＳ２１０：Ｙｅｓ）、局所直線性判定部１２は、局所直線性判定部１２は、局所直線判定結果画像において処理対象画素（ｘ，ｙ）と同じ座標（ｘ，ｙ）の画素値に、局所直線上画素であることを示す値を設定し（ステップＳ２１１）、処理をステップＳ２０５に戻す。
【００４１】
ステップＳ２０５において未処理の画素が存在しない場合（ステップＳ２０５：Ｎｏ）、局所直線性判定部１２は、処理階層ｋに局所直線判定結果画像及び局所直線判定結果候補画像を関連付けて記憶部１４に記憶させるとともに、処理階層ｋに「１」を加算し（ステップＳ２１２）、処理をステップＳ２０２に戻して、ステップＳ２０３からステップＳ２１２までの処理を各処理階層ｋ（ｋ＝０，…，Ｎ−１）の階層入力画像及び差分画像に対して行う。
【００４２】
ステップＳ２０２において、処理階層ｋの値が階層数Ｎより小さくない場合（ステップＳ２０２：Ｎｏ）、局所直線性判定部１２は、各処理階層ｋに関連付けられた局所直線判定結果画像及び局所直線判定結果候補画像のそれぞれＮ枚の画像を大局的遮蔽物判定部１３に出力する（ステップＳ２１３）。
【００４３】
図６は、本実施形態の局所直線判定処理における判定例を示す概略図である。同図に示すように、処理対象画素（ｘ，ｙ）が局所直線上であった場合、局所直線を構成する片端のエッジ上では、その勾配方向θが局所直線の延びる方向に対して直交する。また、他端のエッジ上の勾配方向θも局所直線の延びる方向に対して直交する。このとき、両端の勾配方向θそれぞれは互いにほぼ１８０度反転することになる。そのため、局所直線上に処理対象画素（ｘ，ｙ）が存在する場合の勾配ヒストグラムは、二峰性となり両峰のビン間距離はほぼ１８０度分となる。
【００４４】
以上のことから、処理対象画素（ｘ，ｙ）が局所直線上の画素かどうかを判定するには、最頻のビンと次頻のビンとの頻度が所定の閾値より高く、かつそのビン間距離が１８０度分であるかどうかを判定すればよいことがわかる。ただし、頻度に対する閾値を適切に設けることは難しく、適切に閾値を設定できないと過剰検出や検出漏れが生じる原因となる。これに対して、本実施形態では、低閾値と高閾値との２つの閾値を用いることにより、過剰検出や検出漏れが生じることを抑制している。
【００４５】
これらの閾値は、頻度値の最小値である０を基準としてもよいし、勾配ヒストグラムのビンのうち最頻値を基準にしてもよいし、２番目に頻値が高い次頻値を基準にした相対的な閾値を用いてもよい。また、最頻値と次頻値との合計値に対する０を基準にした閾値を用いてもよい。また、近傍領域のサイズに基づいて閾値を定めるようにしてもよい。
【００４６】
図７は、本実施形態における大局的遮蔽物判定部１３が行う大局的遮蔽物判定処理のフローチャートである。
大局的遮蔽物判定部１３は、大局的遮蔽物判定処理を開始すると、局所直線性判定部１２から処理階層の値に対応付けられた局所直線判定結果画像及び局所直線判定結果候補画像それぞれがＮ枚ずつ入力され、大局的遮蔽物判定処理における繰り返し回数を示す処理階層ｋを０にして初期化する（ステップＳ３０１）。
【００４７】
大局的遮蔽物判定部１３は、処理階層ｋの値が階層数Ｎより小さいかどうかを判定し（ステップＳ３０２）、処理階層ｋの値が階層数Ｎより小さい場合（ステップＳ３０２：Ｙｅｓ）、処理階層ｋに対応する局所直線判定結果画像及び局所直線判定結果候補画像、並びに階層入力画像と同じ画像サイズを有する遮蔽物画像を生成し、生成した遮蔽物画像を処理階層ｋに対応付ける。遮蔽物画像の各画素は、階層入力画像内の同じ座標の画素に遮蔽物が撮像されている否かを２値表現する。大局的遮蔽物判定部１３は、生成した遮蔽物画像を初期化する（ステップＳ３０３）。遮蔽物画像の初期化では、大局的遮蔽物判定部１３が、遮蔽物画像の各画素に遮蔽物が撮像されていないことを示す値を設定し、遮蔽物が総を処理階層ｋに対応付けて記憶部１４に記憶させる。
【００４８】
大局的遮蔽物判定部１３は、処理階層ｋに対応する局所直線性判定結果画像において局所直線上画素であることを示す画素のうち未処理の画素が存在するか否かを判定し（ステップＳ３０４）、未処理の画像が存在しない場合（ステップＳ３０４：Ｎｏ）、処理階層ｋに「１」を加算し（ステップＳ３１１）、処理をステップＳ３０２に戻す。
【００４９】
一方、未処理の画素が存在する場合（ステップＳ３０４：Ｙｅｓ）、大局的遮蔽物判定部１３は、未処理の画素のいずれか一つを選択し、局所直線性判定結果候補画像において選択した画素と同じ座標の局所直線上候補画素を起点として、近傍の連結する画素のうち局所直線上候補画素を追跡し、追跡して得られた局所直線上候補画素を局所直線上画素にする連結処理を行う（ステップＳ３０５）。
【００５０】
図８は、本実施形態における連結処理の一例を示す概略図である。同図に示すように連結処理とは、ある局所直線判定結果候補画像において互いに連結している局所直線上画素の候補の画素を１つのクラス（連結画素群）にまとめることである。連結は８近傍もしくは４近傍での連結を意味する。
【００５１】
図７に戻って、大局的遮蔽物判定処理の説明を続ける。
大局的遮蔽物判定部１３は、連結された連結画素群、すなわち連結処理により得られた局所直線上画素を包含する矩形及び連結画素数を決定し（ステップＳ３０６）、決定した矩形内部における連結画素群のフラクタル次元値Ｄを算出する（ステップＳ３０７）。ここで、フラクタル次元値とは形状の複雑度を定量化する指標である。元の形状を分割しｎ個になったときに、作成された同じ形状の個数をｍとするとフラクタル次元値Ｄは、次式（２）で定義される。
【００５２】
【数２】
2014006786.tif 000004
【００５３】
フラクタル次元値は、例えば、参考文献１に記載されているように、Box Counting法と呼ばれる方法で算出することができる。
参考文献１：高安  秀樹、「フラクタルの物理」、物性研究、ｖｏｌ．４４、ｎｏ．６、１９８５年９月
【００５４】
ところで、フラクタル次元値Ｄは、二次元画像の場合、０．０〜２．０の数値をとり、値が大きいほど複雑な形状であることを示す。
図９は、フラクタル次元値Ｄとその形状との対応の例を示す図である。同図に示す用に、例えば、樹木などの複雑な形状を含む矩形は２．０に近い値となり、矩形内の形状が直線や曲線である場合には１．０〜１．３程度の値となる。また、空や地面などの輝度変化が少ない矩形は０．０に近い値となる。
【００５５】
図７に戻って、大局的遮蔽物判定処理の説明を続ける。
大局的遮蔽物判定部１３は、算出したフラクタル次元値Ｄが予め定めた所定の範囲内の値であり、かつ連結画素数が予め定めた連結閾値以上であるか否かを判定する（ステップＳ３０８）。なお、フラクタル次元値Ｄに対する所定の範囲は、検出対象の形状に応じて定められる。大局的遮蔽物判定処理では、細長い形状を有する物体である遮蔽物を検出対象としているので、所定の範囲を例えば１．０〜１．３程度の値とする。
【００５６】
フラクタル次元値Ｄが所定の範囲内であり、かつ連結画素数が連結閾値以上である場合（ステップＳ３０８：Ｙｅｓ）、大局的遮蔽物判定部１３は、処理階層ｋに対応付けた遮蔽物画像上でステップＳ３０６において連結した画素全てと同じ座標の画素に、遮蔽物が撮像されていることを示す値を設定し、記憶部１４に記憶されている遮蔽物画像を更新する（ステップＳ３０９）。
大局的遮蔽物判定部１３は、ステップＳ３０６において連結した画素全てを、処理が行われた画素（処理済み）として記録し（ステップＳ３１０）、処理をステップＳ３０４に戻す。
【００５７】
一方、フラクタル次元値Ｄが所定の範囲外であるか、連結画素数が連結閾値未満である場合（ステップＳ３０８：Ｎｏ）、大局的遮蔽物判定部１３は、処理をステップＳ３１０に進める。
【００５８】
ステップＳ３０２において、処理階層ｋの値が階層数Ｎより小さくない場合（ステップＳ３０２：Ｎｏ）、大局的遮蔽物判定部１３は、処理階層の各値（１，…，Ｎ）に対応付けられた遮蔽物画像を記憶部１４から読み出し、読み出した各遮蔽物画像を撮影画像と同じ画像サイズに拡大する。大局的遮蔽物判定部１３は、拡大した各遮蔽物画像を画素ごとのＯＲ演算などにより統合し、１枚の画像として出力し（ステップＳ３１２）、大局的遮蔽物判定処理を終了する。
なお、大局的遮蔽物判定部１３の出力は、統合して得られた１枚の画像に替えて、Ｎ枚の遮蔽物画像であってもよいし、遮蔽物の位置及び形状を示す情報であってもよい。
【００５９】
上述の処理を行うことにより、遮蔽物画素検出装置１０が出力する遮蔽物画像の各画素は、撮影画像の同じ座標の画素に遮蔽物が撮像されているか否かを表すことになる。
遮蔽物画素検出装置１０は、局所直線判定処理において遮蔽物候補画素である局所直線性の判定を、低閾値及び高閾値の２つの閾値を用いるヒステリシス閾値で行う。遮蔽物画素検出装置１０は、高閾値に基づいて生成した局所直線判定結果画像を用いて連結処理の起点を定め、低閾値に基づいて生成した局所直線判定結果候補画像を用いて連結処理を行うことにより、遮蔽物候補画素を決定する。遮蔽物画素検出装置１０は、連結処理により得られた遮蔽物候補画素が示す形状の複雑さ度合いをフラクタル次元値により判定することにより、細長い形状を有する遮蔽物を撮影画像から検出することができ、撮影画像内の細長い物体に該当する直線形状の領域や曲線形状の領域を高速に算出することができる。
【００６０】
また、遮蔽物画素検出装置１０は、候補画素抽出処理と局所直線判定処理とにおいて遮蔽物候補画素の絞り込みを行い、絞り込んだ遮蔽物候補画素に対して遮蔽物の正否判定（大局的遮蔽物判定処理）を行うようにしたので、演算量を抑えることができ、遮蔽物画素検出処理を高速に行うことができる。
また、遮蔽物画素検出装置１０は、図３に示したように、階層入力画像と平滑化画像との画像サイズを小さくしながら複数の差分画像を作成するようにしている。これにより、同じ処理（平滑化処理及び差分処理）で異なる太さ（線の幅）を有する細長い形状の物体を差分画像において検出することができる。
また、遮蔽物画素検出装置１０は、図６に示したように、検出対象である遮蔽物、すなわち細長い形状の物体を局所的に直線として扱い、差分画像で検出した遮蔽物の候補に対して勾配ヒストグラムを生成し、遮蔽物の候補を絞り込んでいる。これにより、大局的遮蔽物判定処理の対象となる候補を効果的に絞り込むことができる。
【００６１】
なお、本発明における遮蔽物画素検出装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、候補画素抽出処理、局所直線性判定処理、大局的遮蔽物判定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６３】
以上、本発明を実施形態の例に基づき具体的に説明したが、上述の実施形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定しあるいは範囲を減縮するように解すべきではない。また、本発明の各手段構成は上述の実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【符号の説明】
【００６４】
１０…遮蔽物画素検出装置、１１…候補画素抽出部、１２…局所直線性判定部、１３…大局的遮蔽物判定部、１４…記憶部
【図１】
2014006786.tif 000005
【図２】
2014006786.tif 000006
【図３】
2014006786.tif 000007
【図４】
2014006786.tif 000008
【図５】
2014006786.tif 000009
【図６】
2014006786.tif 000010
【図７】
2014006786.tif 000011
【図８】
2014006786.tif 000012
【図９】
2014006786.tif 000013