(57)【要約】第１のイメージについてエッジ検出操作を実行して第２のイメージを取得し、該第２のイメージのエッジのうち少なくとも所定の信頼性を呈する特定のエッジを識別し、及び該特定のエッジを含み前記第２のイメージの他のエッジを排除した第３のイメージを生成するよう構成された、イメージ処理システム。例えば、所与の実施形態では、前記第１のイメージをデプス撮像装置により生成されたデプスイメージとし、前記第２のイメージを該デプスイメージに対してエッジ検出操作を適用することにより生成されたエッジイメージとし、前記第３のイメージを少なくとも所定の信頼性を呈する前記特定のエッジのみを有する修正されたエッジイメージとすることが可能である。【選択図】図２
2016505185.tif 000002
【特許請求の範囲】
【請求項１】
第１のイメージにエッジ検出操作を実行して、第２のイメージを取得し、
該第２のイメージのエッジであって少なくとも所定の信頼性を呈する特定のエッジを識別し、
該特定のエッジを含み該第２のイメージの他のエッジを排除した第３のイメージを生成する、
という各ステップからなる方法であって、
前記実行ステップ、識別ステップ、及び生成ステップが、メモリに接続されたプロセッサからなる少なくとも１つの処理装置において実施される、方法。
【請求項２】
前記第１のイメージが、デプス撮像装置により生成されたデプスイメージからなる、請求項１に記載の方法。
【請求項３】
前記第２のイメージが、前記デプスイメージにエッジ検出操作を適用することにより生成されたエッジイメージからなる、請求項２に記載の方法。
【請求項４】
前記第３のイメージが、少なくとも前記所定の信頼性を呈する特定のエッジのみを有する修正されたエッジイメージからなる、請求項３に記載の方法。
【請求項５】
前記第２のイメージのエッジであって少なくとも所定の信頼性を呈する特定のエッジを識別する前記ステップが、
前記第２のイメージにエッジセグメント化操作を適用して複数の異なるエッジセグメントを識別し、
それぞれのエッジセグメントについてエッジセグメントの近辺を定義し、
前記第１のイメージ及び前記エッジセグメントの近辺を使用して前記エッジセグメントについての準位統計を取得し、
前記準位統計及び所定のしきい値に基づいて前記エッジセグメントの各々毎に許容又は棄却判定を生成する、
という各ステップからなる、請求項１に記載の方法。
【請求項６】
前記異なるエッジセグメントの各々が、開始ピクセル、終了ピクセル、及び該開始ピクセルと該終了ピクセルとの間の間隙又は分岐の欠如を特徴とする一組の２つ以上の隣接するエッジピクセルからなる、請求項５に記載の方法。
【請求項７】
それぞれのエッジセグメントについてエッジセグメントの近辺を定義する前記ステップが、エッジループ閉鎖、最大近辺半径、及び滑動垂直線に沿った最大近辺距離のうちの１つに基づいて複数のエッジセグメントの近辺のうちの少なくとも所与の１つを定義するステップからなる、請求項５に記載の方法。
【請求項８】
エッジセグメントについて取得された前記準位統計が、該エッジセグメントの両側にわたって定義された対応するエッジセグメントの近辺についての１つ以上の積分グレースケールレベルに基づいて各エッジセグメントについて決定されたグレースケールレベル統計からなる、請求項５に記載の方法。
【請求項９】
複数の前記エッジセグメントのうちの所与の１つについての前記許容又は棄却判定が、該エッジセグメントの第１の側における近辺の部分についての第１の積分グレースケールレベルと、該エッジセグメントの第２の側における近辺の部分についての第２の積分グレースケールレベルとの差に基づいて行われる、請求項８に記載の方法。
【請求項１０】
前記第２のイメージのエッジであって少なくとも所定の信頼性を呈する特定のエッジを識別する前記ステップが、
前記第１のイメージに分離可能な線形フィルタリング操作を適用してフィルタリングされた第１のイメージを取得し、
該フィルタリングされた第１のイメージから正規化された擬似勾配を生成し、
該正規化された擬似勾配に基づいてエッジマスクを生成し、
該エッジマスクを前記第２のイメージに適用する、
という各ステップからなる、請求項１に記載の方法。
【請求項１１】
前記第１のイメージの所与のピクセルに適用される前記分離可能な線形フィルタリング操作が、推定値：
【数１９】
2016505185.tif 000021
（G(i,j)は、所与の１ピクセルを表し、Lは、該所与のピクセルの分離可能な線形フィルタリングに使用される局所的なピクセルの近傍を表し、wg(l)=wg(-l)≧0、wd(l)=-wd(-l)、wd(0)=0）
を生成する、請求項１０に記載の方法。
【請求項１２】
前記正規化された擬似勾配が、
推定値gx(i,j)及びgy(i,j)の各対毎に、対応するレベル：
【数２０】
2016505185.tif 000022
を決定し、及び、正規化された擬似勾配：
【数２１】
2016505185.tif 000023
（DV(G(i,j))は、第１のイメージについての距離の関数としての、距離の測定値の不確実性を表し、p≧1）
を算出することにより生成される、
請求項１１に記載の方法。
【請求項１３】
前記正規化された擬似勾配に基づいてエッジマスクを生成する前記ステップが、
回転不変性ローパスフィルタを使用して前記正規化された擬似勾配を平滑化し、
該平滑化された正規化された擬似勾配の各ピクセルを所定のしきい値と比較し、
該比較結果に基づいてエッジマップを生成する、
という各ステップからなる、請求項１０に記載の方法。
【請求項１４】
前記第２のイメージに前記エッジマスクを適用する前記ステップが、次式：
【数２２】
2016505185.tif 000024
（E(i,j)は、第２のイメージの１ピクセルを表し、Eimproved(i,j)は、第３のイメージの１ピクセルを表し、andは論理演算子を表し、mask(i,j)はエッジマスクの１ピクセルを表している）
に従ってエッジマスクをピクセル単位で適用することにより前記第２のイメージにおける信頼できないエッジを排除することからなる、請求項１０に記載の方法。
【請求項１５】
コンピュータプログラムコードを有するコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムコードが、処理装置で実行された際に請求項１に記載の方法を該処理装置に実行させるものである、コンピュータ読み取り可能記憶媒体。
【請求項１６】
メモリに接続されたプロセッサを備えた少なくとも１つの処理装置からなり、
該少なくとも１つの処理装置が、第１のイメージについてエッジ検出操作を実行して第２のイメージを取得し、該第２のイメージのエッジのうち少なくとも所定の信頼性を呈する特定のエッジを識別し、及び該特定のエッジを含み該第２のイメージの他のエッジを排除した第３のイメージを生成するよう構成されている、装置。
【請求項１７】
前記処理装置がイメージプロセッサからなり、該イメージプロセッサが、
エッジ検出操作を実行するよう構成されたエッジ検出モジュールと、
前記第２のイメージのエッジのうち少なくとも前記所定の信頼性を呈する特定のエッジを識別するよう構成されたエッジ選択モジュールと
を備えている、請求項１６に記載の装置。
【請求項１８】
前記イメージプロセッサが、前記第１のイメージのソースと前記エッジ検出モジュールの入力との間に接続された前処理モジュールを更に備えている、請求項１７に記載の装置。
【請求項１９】
少なくとも第１のイメージを提供するイメージソースと、
１つ以上のイメージ宛先と、
前記イメージソースと前記１つ以上のイメージ宛先との間に接続されたイメージプロセッサとからなり、
該イメージプロセッサが、前記第１のイメージについてエッジ検出操作を実行して第２のイメージを取得し、該第２のイメージのエッジのうち少なくとも所定の信頼性を呈する特定のエッジを識別し、該特定のエッジを含み該第２のイメージの他のエッジを排除した第３のイメージを生成し、及び該第３のイメージを前記１つ以上のイメージ宛先へ提供するよう構成されている、
イメージ処理システム。
【請求項２０】
前記イメージソースがデプス撮像装置からなる、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にイメージ処理に関し、特に１つ以上のイメージで検出されたエッジの処理に関するものである。
【背景技術】
【０００２】
イメージ内のエッジを検出するための多種多様な技術が知られている。かかる技術は、一般に、高解像度イメージ（例えば、ディジタルカメラにより生成された写真又はその他の２次元（2D）イメージ）に適用される場合には許容可能な結果を生成する。しかし、数多くの重要なマシンビジョン用途は、デプス撮像装置（depth imager）（例えば、ストラクチャード・ライト（SL）カメラ又はTOF（time of flight）カメラ）により生成された３次元（3D）イメージを使用する。かかるデプスイメージは、低解像度イメージである場合が多く、典型的には非常にノイズが多くてはっきりしないエッジを有するものとなる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のエッジ検出技術は一般に、デプスイメージに適用した場合には良好に機能しない。例えば、かかる従来の技術は、所与のデプスイメージ内の重要なエッジを検出し損ない、又は重要なエッジと共に多数のスプリアス（偽りの）エッジを見出す可能性がある。その結果として検出されたエッジは、品質の低いものとなり、それ故、後続のイメージ処理（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）の有効性を損ねるものとなる。
【課題を解決するための手段】
【０００４】
一実施形態では、イメージ処理システムはイメージプロセッサを備えており、該イメージプロセッサは、第１のイメージについてエッジ検出操作を実行して第２のイメージを取得し、該第２のイメージのエッジのうち少なくとも所定の信頼性を呈する特定のエッジを識別し、及び該特定のエッジを含み該第２のイメージの他のエッジを排除した第３のイメージを生成するよう構成されたものである。
【０００５】
例えば、所与の実施形態では、前記第１のイメージは、デプス撮像装置により生成されたデプスイメージからなることが可能であり、前記第２のイメージは、該デプスイメージにエッジ検出操作を適用することにより生成されたエッジイメージからなることが可能であり、前記第３のイメージは、少なくとも所定の信頼性を呈する特定の複数のエッジのみを有する修正されたエッジイメージからなることが可能である。
【０００６】
本発明の別の実施形態は、方法、装置、システム、処理装置、集積回路、及び本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体を含む（但し、これらには限定されない）。
【図面の簡単な説明】
【０００７】
【図１】一実施形態によるエッジ選択機能を有するイメージプロセッサを備えたイメージ処理システムのブロック図である。
【図２】図１のシステムのイメージプロセッサを使用してエッジイメージ内の信頼できるエッジを識別するための例示的な処理のフローチャートである。
【図３】エッジイメージの各部で識別されたエッジセグメントの例を示している。
【図４Ａ】エッジイメージの各部で識別されたエッジセグメントの例を示している。
【図４Ｂ】エッジイメージの各部で識別されたエッジセグメントの例を示している（本書では図４Ａ及び図４Ｂを包括的に図４とも称する）。
【図５】図１のシステムのイメージプロセッサを使用してエッジイメージ内の信頼できるエッジを識別するための別の例示的な処理のフローチャートである。
【発明を実施するための形態】
【０００８】
本書では、イメージプロセッサ又はその他のタイプの処理装置を含み、及び信頼できるエッジを有するエッジイメージを生成する技術を実施する、例示的なイメージ処理システムに関して、本発明の実施形態を説明することとする。しかし、本発明の実施形態は、１つ以上のイメージ内のエッジの処理を伴うあらゆるイメージ処理システム又はそれに関連する装置又は技術に広く適用可能なものである、ということが理解されよう。
【０００９】
図１は、本発明の一実施形態におけるイメージ処理システム100を示している。該イメージ処理システム100は、１つ以上のイメージソース105からイメージを受信し、及び処理済みのイメージを１つ以上のイメージ宛先107へ提供する、イメージプロセッサ102を含む。該イメージプロセッサ102はまた、ネットワーク104を介して複数の処理装置106と通信する。
【００１０】
図１では、処理装置106とは別個のものとして１つ以上のイメージソース105及び１つ以上のイメージ宛先107を示したが、かかるソース及び宛先の少なくとも一部を、複数の処理装置106のうちの１つ以上を少なくとも部分的に使用して実施することが可能である。したがって、イメージは、その処理のために、複数の処理装置106のうちの１つ以上からネットワーク104を介してイメージプロセッサ102へ提供することが可能である。同様に、処理済みのイメージは、イメージプロセッサ102によりネットワーク104を介して複数の処理装置106のうちの１つ以上へ供給することが可能である。よって、かかる処理装置は、イメージソース又はイメージ宛先の一例とみなすことが可能である。
【００１１】
所与のイメージソースは、例えば、デプスイメージを生成するよう構成されたSLカメラ又はTOFカメラ等の3D撮像装置、又はグレスケールイメージ、カラーイメージ、赤外線イメージ、又はその他の種類の2Dイメージを生成するよう構成された2D撮像装置からなることが可能である。イメージソースの別の例として、イメージプロセッサ102に処理用のイメージを提供する記憶装置又はサーバが挙げられる。
【００１２】
所与のイメージ宛先は、例えば、コンピュータ又は携帯電話のヒューマン・マシン・インタフェイスの１つ以上の表示画面、又は処理済みのイメージをイメージプロセッサ102から受信する少なくとも１つの記憶装置又はサーバからなることが可能である。
【００１３】
また、図１では、１つ以上のイメージソース105及び１つ以上のイメージ宛先107は、イメージプロセッサ102とは別個のものとして示されているが、該イメージプロセッサ102は、１つの共通の処理装置において、１つ以上のイメージソース及び１つ以上のイメージ宛先の少なくとも一部と少なくとも部分的に組み合わせることが可能である。このため、例えば、所与のイメージソースとイメージプロセッサ102とを１つの処理装置上で包括的に実施することが可能である。同様に、所与のイメージ宛先とイメージプロセッサ102とを同一の処理装置上で包括的に実施することが可能である。
【００１４】
本実施形態では、イメージプロセッサ102は、所与のイメージソースからの第１のイメージについてエッジ検出を実行して第２のイメージを取得し、該第２のイメージの複数のエッジのうち少なくとも所定の信頼性を呈する特定のエッジを識別し、及び該特定のエッジを含み該第２のイメージの他のエッジを除外した第３のイメージを生成するよう構成される。
【００１５】
図１に示すイメージプロセッサ102は、前処理モジュール110、エッジ検出モジュール112、及びエッジ選択モジュール114を含む。該エッジ検出モジュール112は、所与のイメージソースにより供給された第１のイメージについてエッジ検出操作を実行するよう構成され、該エッジ選択モジュール114は、第２のイメージの複数のエッジのうち少なくとも所定の信頼性を呈するエッジを識別するよう構成されている。該前処理モジュール110は、所与のイメージソースとエッジ検出モジュール112との間に接続され又はその他の態様で配設されることを想定したものであり、第１のイメージがエッジ検出モジュール112においてエッジ検出操作を受ける前に該第１のイメージに対してノイズ除去及び等化処理（equalization）といった前処理を適用するよう構成されている。
【００１６】
上記の第１、第２、及び第３のイメージの考え得る一例として、所与の実施形態における第１のイメージは、SLカメラ又はTOFカメラ等のデプス撮像装置により生成されたデプスイメージからなることが可能であり、第２のイメージは、前記デプスイメージに対してエッジ検出モジュール112においてエッジ検出操作を適用することにより生成されたエッジマップ又はその他の種類のエッジイメージからなることが可能であり、第３のイメージは、少なくとも所定の信頼性を呈するものとしてエッジ選択モジュール114により選択された特定のエッジのみを有する修正されたエッジイメージからなることが可能である。別の実施形態では、別の種類及び構成のイメージを受信し、処理し、及び生成することが可能である。
【００１７】
図１の実施形態でイメージプロセッサ102内に示されている複数のモジュールの特定の個数及び構成は、異なる実施形態では変更することが可能である。例えば、別の実施形態では、それらモジュールのうちの２つ以上を一層少数のモジュール内に組み込むことが可能である。本書で開示する操作を実行するよう適当に修正された他の従来のイメージ処理集積回路又はその他の種類のイメージ処理回路を使用して、イメージプロセッサ102のモジュール110,112,114のうちの１つ以上の少なくとも一部を実施することが可能である。
【００１８】
エッジ検出モジュール112の操作を図２及び図５のフリーチャートに関して以下で一層詳細に説明することとする。各フローチャートは、エッジ検出モジュール112により提供されるエッジイメージ内の信頼できるエッジを識別するための異なる処理を示している。
【００１９】
イメージプロセッサ102により生成された、少なくとも所定の信頼性を呈する特定のエッジのみを有する修正されたエッジイメージは、該イメージプロセッサ102において更なる操作（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）を受けることが可能である。
【００２０】
代替的に、イメージプロセッサ102により生成された、少なくとも所定の信頼性を呈する特定のエッジのみを有する修正されたエッジイメージは、ネットワーク104を介して１つ以上の処理装置106へ提供することが可能である。１つ以上のかかる処理装置は、上述した後続の操作（特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡など）を実行するよう構成されたイメージプロセッサをそれぞれ備えることが可能である。
【００２１】
処理装置106は、例えば、コンピュータ、携帯電話、サーバ、又は記憶装置を、任意の組み合わせで備えることが可能である。１つ以上のかかる処理装置はまた、例えば、イメージプロセッサ102により生成されたイメージを提示するために使用される表示画面その他のユーザインタフェイスを含むことが可能である。よって、処理装置106は、ネットワーク104を介してイメージプロセッサ102から処理済みのイメージストリームを受信する多種多様な異なる宛先装置（例えば、イメージプロセッサ102から１つ以上の処理済みのイメージストリームを受信する少なくとも１つのサーバ又は記憶装置）からなることが可能である。
【００２２】
本実施形態では処理装置106とは別個のものとして示したが、イメージプロセッサ102は、少なくとも部分的に、複数の処理装置106のうちの１つ以上と少なくとも部分的に組み合わせることが可能である。このため、例えば、複数の処理装置106のうちの所与の１つを使用してイメージプロセッサ102を少なくとも部分的に実施することが可能である。例えば、イメージプロセッサ102及びおそらくは所与のイメージソースを含むようにコンピュータ又は携帯電話を構成することが可能である。それ故、１つ以上のイメージソース105は、コンピュータ、携帯電話、又はその他の処理装置に付随するカメラその他の撮像装置からなることが可能である。既述のように、イメージプロセッサ102は、共通の処理装置において１つ以上のイメージソース又はイメージ宛先と少なくとも部分的に組み合わせることが可能である。
【００２３】
本発明におけるイメージプロセッサ102は、少なくとも１つの処理装置を使用して実施することを想定したものであり、メモリ122に接続されたプロセッサ120を備えたものである。該プロセッサ120は、イメージ処理操作の実行を制御するために該メモリ122内に格納されているソフトウェアコードを実行する。イメージプロセッサ102はまた、ネットワーク104を介した通信をサポートするネットワークインタフェイス124を備えている。
【００２４】
プロセッサ120は、例えば、マイクロプロセッサ、特定用途向け集積回路（ASIC）、FPGA（field-programmable gate array）、中央処理装置（CPU）、ALU（arithmetic logic unit）、ディジタル信号プロセッサ（DSU）、又はその他の同様の処理装置要素、並びにその他の種類及び構成のイメージ処理回路を、任意の組み合わせで備えることが可能である。
【００２５】
メモリ122は、イメージプロセッサ102の機能の各部（例えば、モジュール110,112,114の各部）を実施するためにプロセッサ120により実行されるソフトウェアコードを格納する。対応するプロセッサにより実行されるソフトウェアコードを格納する所与のかかるメモリは、本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体又はその他の種類のコンピュータプログラム製品として本書で一層広範に称されるものの一例であり、例えば、ランダムアクセスメモリ（RAM）又はリードオンリーメモリ（ROM）等の電子的なメモリ、磁気メモリ、光メモリ、又はその他の種類の記憶装置を任意の組み合わせで備えることが可能である。上述のように、プロセッサは、マイクロプロセッサ、ASIC、FPGA、CPU、ALU、DSP、又はその他のイメージ処理回路の一部又はそれらの任意の組み合わせからなることが可能である。
【００２６】
また、本発明の実施形態は集積回路という形で実施することが可能であることが理解されよう。所与のかかる集積回路による実施形態では、典型的には、半導体ウェハの一表面上に同一のダイが繰り返しのパターンで形成される。各ダイは、本書で説明するイメージプロセッサ又はその他のイメージ処理回路を含み、その他の構造又は回路を含むことも可能である。個々のダイは、該ウェハから切断され又はダイス状に切断され、次いで集積回路としてパッケージ化される。ウェハをダイス状に切断しダイをパッケージ化して集積回路を作製するための方法については当業者には周知のところである。このように作製された集積回路は、本発明の一実施形態とみなされるものである。
【００２７】
図１に示すイメージ処理システム100の特定の構成は、例示のみを目的としたものであり、該システム100は、別の実施形態では、同図に特に示したもの（かかるシステムの従来の実施態様に一般に見られる種類の１つ以上の構成要素を含む）に加えて又はそれに代えて別の構成要素を含むことが可能である。
【００２８】
例えば、実施形態によっては、イメージ処理システム100は、ユーザのジェスチャを認識するためにイメージストリームを処理するビデオゲームシステム又はその他の種類のジェスチャベースのシステムとして実施される。本開示の技術は、ジェスチャベースのヒューマン・マシン・インタフェイスを必要とする多種多様な他のシステムで使用するために同様に適用することが可能であり、また、ジェスチャ認識以外の用途（例えば、ロボット工学その他の工業用途におけるマシンビジョンシステム）に適用することも可能である。
【００２９】
図２を参照すると、図１のイメージ処理システム100においてエッジイメージ内の信頼できるエッジを識別するための例示的なプロセスが示されている。図２のプロセスは、イメージプロセッサ102によりそのエッジ選択モジュール114を使用して実施されることを想定したものである。本実施形態のプロセスは、ステップ200-212を含む。この実施形態では、イメージプロセッサ102においてイメージソース105から受信される入力イメージが歪んだイメージ（例えば、デプス撮像装置からのデプスマップその他のデプスイメージ）であることが想定されている。
【００３０】
ステップ200で、グレースケールイメージGを生成するために入力イメージに対して前処理が適用される。該前処理は、例えば、ノイズ除去、等化といった操作を伴うことが可能である。本実施形態におけるグレースケールイメージGは、「第１のイメージ」として本書で一層広範に称されるものの一例である。本実施形態におけるエッジイメージEは、「第２のイメージ」として本書で一層広範に称されるものの一例である。ステップ202で、エッジイメージEを生成するために多種多様な既知のあらゆるエッジ検出技術を適用することが可能である。かかるエッジ検出技術の実例が、例えば、J. Canny の「A computational approach to edge detection」（IEEE Transactions on Pattern Analysis and Machine Inteligence, Vol. PAMI-8, Issue 6, pp. 679-698, November 1986）、R. Kimmel 及び A.M. Bruckstein の「On regularized Laplacian zero crossing and other optimal edge integrators」（International Journal of Computer Vision, 53(3):225-243, 2003）、及び W.K. Pratt の「Digital Image Processing」（3rd Edition, John Wiley & Sons, 2001）に開示されている。ステップ202で所与のエッジ検出操作を適用する場合、重要なエッジが確実に保持されるように、あらゆる関連するエッジ検出しきい値を十分に低く設定すべきであり、これは、以下で説明する後続の処理が信頼できるエッジを確実に保持するからである。
【００３１】
本書で用いる用語「イメージ」は、広い意味で解釈されることを意図したものであり、エッジイメージEに関しては、例えば、検出されたエッジを特徴付けるエッジマップ又はその他の一組のピクセル情報からなることが可能である、ということに留意されたい。用語「エッジ」もまた、広い意味で解釈されることを意図したものであり、例えば、所与のイメージ中のオブジェクトの周辺部分と該イメージの他の部分との間の遷移に関わる該イメージ内の一組のピクセルを含むものである。
【００３２】
ステップ204で、エッジイメージE内の特定のエッジを、不十分なサイズのものであるとして随意選択的に除去することが可能である。
【００３３】
ステップ206で、ステップ204におけるサイズの小さなエッジの随意選択的な除去の後、エッジイメージEに対してエッジセグメント化操作が適用される。該エッジセグメント化操作は、ESn（n=1,…,N）で示す複数の異なるエッジセグメントを識別する。所与のエッジイメージの各部で識別されたエッジセグメントの実例が図３及び図４に示されている。これらの実例では、エッジイメージEの特定のピクセルに対応する所与のエッジセグメントの各ボックス、及び全てのエッジは、１ピクセルの厚さを有するものと想定されている。また、エッジセグメントに関するピクセルは白で図示され、図示のエッジイメージの各部における他のピクセルは黒で図示されているエッジピクセル及び非エッジピクセルは、別の実施形態では別の態様で特徴付けることが可能である。例えば、エッジピクセル及び非エッジピクセルをそれぞれ特徴付けるために本書で使用する用語「白」及び「黒」は、追加的に又は代替的に「１」及び「０」といった二値を使用して表すことが可能である。
【００３４】
図３に示す２つの例示的なエッジセグメントES1,ES2は、開始ピクセルsi及び終了ピクセルei（i=1又は2）を有している。左方の第１のエッジセグメントES1は、充填された隅位置（filled corner positions）を含み、右方の第２のエッジセグメントES2は、充填されていない隅位置を含む。図４Ａ及び図４Ｂは、同様に、開始ピクセルsi及び終了ピクセルei（i=1又は2）を有する２つの更なる例示的なエッジセグメントESiをそれぞれ示している。多数の他の種類のエッジセグメントをステップ206で生成することが可能である。例えば、他の実施形態におけるエッジセグメントは、２ピクセル以上の厚さとすることが可能である。
【００３５】
以下で一層詳細に説明するように、エッジセグメント操作は、１つの分岐したエッジ図（edge graph）を複数の基本曲線セグメントへと分割して各要素のセグメントが分岐を含まないようにすることとして特徴付けることが可能である。
【００３６】
より具体的には、ステップ206のエッジセグメント化操作において、エッジイメージEは、有限の一組の局所化され（localized）交差せず隣接し得る基本曲線セグメントESn（n=1,…,N）へと分割される。各セグメントは、その開始ピクセルsn、終了ピクセルen、及び（存在する場合には）開始ピクセルと終了ピクセルとの間の複数の隣接するピクセルにより特徴付けられ、snとenとの間に間隙が存在しないようになっており、snとenとの間に分岐は存在せず、曲線セグメントの長さは、２ピクセル以上であるが、イメージ解像度により示されるもの以外にその上限はない。
【００３７】
一実施形態として、この種のセグメント化操作は、以下の各ステップを使用して実施することが可能である。
１．エッジイメージE内の任意のエッジピクセルを回転させて、それが単一の孤立したピクセルであるか否かを判定する。該エッジピクセルが単一の孤立したピクセルである場合には、該エッジピクセルを削除し、孤立していないエッジピクセルが発見されるまで又は全てのエッジピクセルが削除されるまでステップ１を繰り返し、次いでエッジセグメント化操作が終了する。本実施形態の説明及び本書の他の記載では、図３及び図４の実施形態の場合のように、エッジピクセルが白であり、非エッジピクセルが黒であるものと仮定されている。このため、任意のエッジピクセルの探索は、白ピクセルの探索を伴い、エッジピクセルの削除は、該ピクセルを黒にする設定を伴う。
２．探索されたエッジピクセルが、それにすぐ隣接する白ピクセルを１つのみ有する場合には、該探索されたエッジピクセルを開始ピクセルsnとしてマークし、そのエッジに沿って唯一の可能な方向へ移動して各ピクセルを訪れる。探索されたエッジピクセルがすぐ隣接する白ピクセルを２つ以上有する場合には、それぞれの対応するエッジに沿って各々の可能な方向に移動して各ピクセルを訪れる。その異なる可能な方向は、それぞれの分岐を表し、分岐の重複を回避するために、複数の分岐のうちの１つのみを、当初に探索されたエッジピクセルをその開始ピクセルsnとして有するものとみなすべきである。１つのエッジに沿った移動は、対応するエッジセグメントが終了したとき又は２つ以上の方向に分岐したときに停止する。何れの場合においても、移動が停止した場所にあるエッジピクセルは、開始ピクセル又は終了ピクセルとみなされる。所与のエッジセグメントは、その開始ピクセル及び終了ピクセルが識別された際に完全に獲得される。訪れたエッジピクセルは、エッジセグメントをその個々の終了ピクセルが識別された際に完全に特徴付けることを可能にするために、記録し又はその他の態様でマーキングすべきである。この記録又はマーキングはまた、所与のエッジピクセルが同一のエッジセグメント内に２回以上含まれる可能性（例えば、ループしたエッジの場合）を回避するのに役立つものとなる。
３．エッジイメージE内に孤立していないエッジピクセルが残存しなくなるまでステップ１,２を繰り返す。このため、ステップ１,２は、エッジイメージE内の全ての孤立していないエッジピクセルが削除され又は複数のエッジセグメントのうちの１つの一部とみなされるまで、繰り返される。
４．随意選択的に、所定の個数のエッジピクセルよりも少数のエッジピクセルを有するあらゆるエッジセグメントを削除する。これは、ステップ204で実行される随意選択的なエッジ除去と類似するが、該削除は、識別されたエッジセグメントに対して適用される。これは、図２の後続ステップ208,210,212の複雑さの低減に資することができるが、複数の小さなセグメントにより示される複数のエッジが失われることになり、状況によっては性能の低下に通じ得る。
【００３８】
上記の例示的な４ステップによるエッジセグメント化操作の出力は、一組の解体された（disjoint）分岐のないエッジセグメントESn（n=1,…,N）である。
【００３９】
エッジイメージEが、上記エッジセグメントESnと同一の又はそれと類似した特徴を有するエッジセグメントを提供するような態様で既に構成されている場合には、ステップ206のエッジセグメント化操作をなくすことが可能である、ということに留意されたい。
【００４０】
ステップ208で、それぞれのエッジセグメントESnについてエッジセグメント近傍（neighborhoods）が定義される。この実施形態では、近傍とは、それぞれのすぐ近く（immediate vicinity）を意味するが、他の実施形態では他の種類の近い度合いを用いることが可能である。したがって、前記近傍とは、それぞれのエッジセグメントの「近辺（vicinity）」と本書で一層広範に称するものの一例とみなされるものである。
【００４１】
ここで、ステップ208においてエッジセグメントの近傍を定義することができる態様の多数の異なる例について説明する。
【００４２】
第１の例では、近傍は、以下の各ステップを使用し、エッジループの閉鎖に基づいてそれぞれのエッジセグメントについて決定される。
１．ステップ206のエッジセグメント化されたイメージ出力の全てのフレーム境界ピクセルを白に設定し、これにより、それらピクセルを代理エッジセグメントとして定義する。これら４つの代理エッジセグメントは、セグメント化イメージの各側部に１つずつ関係するものであり、それぞれエッジセグメントN+1〜N+4と符号が付されている。
２．各エッジセグメントESn（n=1,…,N）毎に、その開始ピクセル及び終了ピクセルsn,enの各々について、全ての他のエッジセグメントESm（m=1,…,N+4（m≠n））の全ての白ピクセルの中から最も近い白ピクセルを見出し、sn,enをそれぞれの最も近い白ピクセルに直線セグメントで接続する。該「最も近い」白ピクセルは、ユークリッド距離、マンハッタン距離、又はその他の種類の距離測度を使用して決定することが可能である。
３．未接続の開始又は終了ピクセルが得られなくなるまで、複数のエッジセグメントの１つ以上についてステップ２を繰り返す。
【００４３】
この時点で、複数の閉じたエッジループが存在することになる。図４Ａの２つの例示的なエッジセグメントES1,ES2は、１つのかかる閉じたエッジループを形成し、それらを接続する直線セグメントが陰付きピクセルで示されている。この場合には、２つの陰付きピクセルからなる１つの直線セグメントが、ES1の中間の白ピクセルをES2の開始ピクセルs2に接続し、２つの陰付きピクセルからなるもう１つの直線セグメントが、ES1の開始ピクセルs1をES2の終了ピクセルe2に接続している。したがって、図４Ａに示す特定の実施形態では、各エッジセグメントの中ぶらりんの両端が他方のセグメントの最も近い白ピクセルに接続されている。
【００４４】
上述のステップ２,３を用いたエッジループ閉鎖プロセスの実施形態によっては、大きな領域を包囲する非常に長いエッジが現れる可能性がある。このような場合には、予想されるエッジ信頼性統計（edge reliability statistics）が大きく変動する可能性があり、これは同一セグメント内の１つのエッジセグメント部分からもう１つのエッジセグメント部分へ特徴の拡張に通じるものとなる。この状況は、以下に示すように更なるピクセル接続ルールを適用することにより対処することができる。ステップ２,３の実行後、同一の又は異なるエッジセグメントからの２つの白ピクセルが、最短距離に沿って多くともD_結合（D_join）黒ピクセルにより分離されており、且つ両方の白ピクセルが、同じエッジセグメントに沿ってD_分離（D_disjoin）白ピクセルよりも多くの白ピクセルによって互いに離れており又は異なるエッジセグメントに属している場合に限り、該２つの白ピクセルを直線セグメントと接続する。
【００４５】
この更なるピクセル接続ルールを図４Ａの閉じたエッジループに適用した結果が図４Ｂに示されている。この例では、１つの陰付きピクセルからなる更なる直線セグメントが、ES1の終了ピクセルe1を該ES1の中間の白ピクセルに接続している。
【００４６】
前記パラメータD_結合は、現れることになる更なるエッジセグメントループの数を決定し、その値が高いほど、閉ループの分解が一層詳細となり、これは後続の処理のために利用可能となる局所化されたエッジセグメントを一層良好なものにする傾向を有するものである。約1〜５の範囲内のD_結合の値は、計算の複雑さと低解像度イメージのエッジ品質との間の妥当な妥協点を設定するものとなる。前記パラメータD_分離は、同一のエッジセグメントの複数の閉じた部分の接続を防止するために使用される。このパラメータの適当な値は、低解像度イメージの場合には約５〜２０の範囲内となる。一層良好な解像度のイメージの場合には一層高い値を使用することが可能である。図４Ｂの例では、これらのパラメータは、D_結合≧１およびD_分離≦５となるよう選択される。
４．各エッジセグメントESn（n=1,…,N）毎に、ESnの両側の一対のピクセルを探し出して領域充填処理（region filling）のための複数の隣接領域を決定する。少なくとも２つの隣接領域が各エッジセグメントESnに割り当てられる。
５．各エッジセグメントESn（n=1,…,N）毎に、ステップ４で決定したその隣接領域を高速充填アルゴリズム（例えばフラッドフィル又はクリックフィルアルゴリズム）を使用して充填する。充填される複数の隣接領域の各組は、ステップ210で対応するエッジセグメントについて統計を収集するために使用されることになる一組のピクセルを表すものである。
【００４７】
上記例では、ステップ２で共に接続される複数のエッジセグメントは、１つ以上の同じ充填領域を共有する可能性がある。したがって、領域充填に関する計算の複雑さを低減させるために、かかる共有される各領域を１回だけ充填し、次いで該領域を共有する全てのエッジセグメントを識別して、ステップ210で収集された対応する統計を共有させることが可能である。また、エッジセグメントを接続する過程で、中間のピクセルを他のセグメントの開始又は終了ピクセルに接続することにより、１つのセグメントを２つ以上の部分に分割することが可能である。
【００４８】
この近傍定義の実例は、以下で説明する別の近傍定義の実例よりも高い計算上の複雑さを呈するものであるが、各エッジセグメント毎のピクセルの一層大きな近傍にわたる統計的なサンプリングを伴うため、かかる別の実例よりも改善されたエッジ検証上の信頼性を提供するものとなる。
【００４９】
第２の実例では、以下の各ステップを用いて最大近辺半径（maximal vicinity radius）パラメータに基づき個々のエッジセグメントについて近傍が決定される。
１．各エッジセグメントESn（n=1,…,N）毎に、直線セグメントを使用して、該エッジセグメントの両端をそれぞれ最大RVピクセルまで延長する。この延長プロセスの過程で、延長されたエッジセグメントが白ピクセルと出会った場合には、該エッジセグメントを該白ピクセルと接続して該エッジセグメントの延長を停止する。前記パラメータRVは、近辺半径を示す正の整数である。該近辺半径RVが大きいほど、個々のエッジセグメントについて定義された近傍内に一層多くのピクセルが含まれることになる。
２．ステップ１からの延長された各エッジセグメント毎に、該延長されたエッジセグメントの各側部における全てのピクセルであって、該ステップ１による延長の前にエッジセグメントESnからRVよりも遠くない位置にあり且つ該エッジセグメントを延長する間に出会った最初の白ピクセルよりも遠くない位置にあるピクセルを探し出す。
【００５０】
この実例におけるエッジセグメントの延長の使用は、各エッジセグメントの両側を包囲する適切な近傍の決定を促進させるものである。その計算上の複雑さは、上述した実例の場合よりも僅かに低減されるが、典型的なデプスイメージの場合には、同等のエッジ検証上の信頼性を提供することが可能となる。
【００５１】
第３の実例では、以下の各ステップを使用して滑動（sliding）垂直線に沿った最大近辺距離に基づいて個々のエッジセグメントについて近傍が決定される。
１．各エッジセグメントESn（n=1,…,N）毎に、該エッジセグメントESnの各ピクセルにおいて両方向に最大DVピクセルの距離まで又は白ピクセルに出会うまで垂直線を描き、訪れた全てのピクセルを該エッジセグメントの近傍に結合させる。その結果として得られる近傍は、複数のピクセルからなる幅2DVのストリップに類似したものとなり、そのエッジ自体が該ストリップの中間に位置する。
【００５２】
上記の実例と同様に、この第３の実例もまた、単一の正の整数パラメータ（この場iiには最大近辺距離DV）を使用するものであり、したがって、上記の実例で生成されるものと類似した近傍を生成する。該近辺距離DVが大きいほど、個々のエッジセグメントについて定義される近傍に一層多くのピクセルが含まれることになる。この実例は、上記の第１及び第２の実例の場合よりも小さな計算上の複雑さを有するものであるが、これもまた典型的にデプスイメージの場合には同等のエッジ検証上の信頼性を提供することができるものとなる。
【００５３】
上述のように、本書で用いる用語「近辺」は、上記実例に関して説明した例示的な近傍よりも一層広い意味で解釈されることを意図したものである。所与のエッジセグメントについての近辺は、より一般的に（単なる一例ではあるが）閉じたエッジ曲線のそれぞれの側部に位置する複数のピクセルからなる複数の部分集合からなることが可能であり、該複数の部分集合は、対応するエッジによって互いに完全に分離したものである。多種多様な異なる技術を使用して、以下で説明する準位統計（level statistics）の取得に使用するための近辺ピクセルを選択し重み付けすることが可能であり、計算上の複雑さや所望のエッジ検証上の信頼性といった因子を考慮することにより、かかる様々な技術のうちの特定の１つを所与の用途に使用すべく決定することが可能である。
【００５４】
ステップ210で、前処理ステップ200の出力におけるグレースケールイメージGとステップ208で定義されたエッジセグメント近傍が使用されて、エッジセグメントについての準位統計が取得される。この実施形態では、両側（two-sided）エッジセグメントの近辺にわたってグレースケール準位統計が収集される。以下で一層詳細に説明するように、これは、例えば、あらゆるエッジセグメントの両側における局所的なグレースケールレベルパラメータの推定値を伴うことが可能である。よって、該準位統計は、個々のエッジセグメントについての両側横平均様値（two-sided lateral mean-like value）及びそれに関連する変動の推定値（variance estimates）といった情報からなることが可能である。
【００５５】
より詳細には、ステップ210における準位統計の収集は、エッジセグメントESn（n=1,…,N）の両側s（s=1又は2）にわたって定義されたエッジセグメントの近辺についての特有の積分グレースケールレベルMGp（n,s）の評価を伴うことが可能である。該グレースケールレベルは、イメージGの特定の性質に応じて、撮像されたシーン（imaged scene）内のオブジェクトの深さ又は距離、明度、温度、密度、又はその他の物理的な属性を表すことが可能である。ここで、用語「深さ」とは、距離の測度を包含するよう広く解釈されることを意図したものである、ということに留意されたい。
【００５６】
積分グレースケールレベルMGp（n,s）は、例えば、
中央値(median value)：
【００５７】
【数１】
2016505185.tif 000003
【００５８】
又は一般化平均：
【００５９】
【数２】
2016505185.tif 000004
【００６０】
を含む、様々な異なる態様で定義することが可能である。ここで、M(n,s)は、対応するエッジセグメントについてステップ208で決定された近辺における総ピクセル数を示し、p≧1は、距離測度空間パラメータを示し、gm(n,s)は、ピクセルグレースケールレベルを示している。p=1の場合、上記の一般化平均は、単純な算術平均MG1(n,s)となる。
【００６１】
MGp(n,1)及びMGp(n,2)が僅かしか相違しない場合、これは異なる積分グレースケールレベルの２つの幾何学領域を分割しないため、エッジセグメントを信頼できないものと指定することが可能である。例えば、かかるエッジセグメントの両側は、撮像されたシーン内の同一オブジェクトに属する可能性があり、このため、エッジにより分離されるべきではない。逆に、エッジセグメントの異なる側についての積分グレースケールレベルの顕著な相違は、該エッジセグメントにより定義される境界にまたがるイメージのグレースケールレベル及びそれに関連するオブジェクト特性の階段状の遷移を示すものである。かかるエッジセグメントは、信頼でき許容可能なものと指定することが可能である。
【００６２】
したがって、エッジセグメントESnの信頼性を示す考え得る準位統計は、MGp(n,1)とMGp(n,2)との間の相違に基づくものとすることが可能である。この相違は、例えば、
単純な算術的な相違：
【００６３】
【数３】
2016505185.tif 000005
【００６４】
正規化された算術的な相違：
【００６５】
【数４】
2016505185.tif 000006
【００６６】
又は幾何学的な相違：
【００６７】
【数５】
2016505185.tif 000007
【００６８】
を含む、多数の異なる態様で表現することが可能である。
【００６９】
もう１つの準位統計は、グレースケールレベルの変動（variance）からなることが可能である。かかる変動は、次のように定義することが可能である：
【００７０】
【数６】
2016505185.tif 000008
【００７１】
その値は、エッジセグメントの近辺の均一性を示している。より高い変動は、ΔMG(n)の一層信頼性の低い推定値を一般に示すものとなる。かかる状況では、MGp（n,s）の重み付けされた推定値に基づくレベル平滑化手段（level smoother）を使用することが可能である。
【００７２】
例えば、かかる重み付けされた推定値は、以下に示すように、エッジセグメントに一層近い近辺ピクセルを一層高い重要度を有するものとして扱うことが可能である：
【００７３】
【数７】
2016505185.tif 000009
【００７４】
ここで、パラメータr＞0は、エッジセグメントからの距離が増えるにつれてピクセルの重要度を低く設定する。別の実例のように、次のようにしてレベルの異常値（outliers）を抑制することが可能である。
【００７５】
【数８】
2016505185.tif 000010
【００７６】
ここで、パラメータrは、異常値抑制機能の鋭さを設定する。
【００７７】
これらの例示的な複数のレベル平滑化手段を共に組み合わせて双方向フィルタとして動作させることが可能である。当業者には理解されるように、代替的に従来の双方向フィルタを使用することが可能である。
【００７８】
もう１つの準位統計は、推定されたレベルが特定のダイナミックレンジの上限又は下限から逸脱する度合いに基づくものとすることが可能である。例えば、該準位は、エッジセグメントの一方の側におけるノイズ及びアンダーフローと、該エッジセグメントの他方の側における飽和及びオーパーフローを被る可能性がある。以下に示すように、該レンジ内の値（value_confidence(n,s)）は一層高い統計的信頼度を示すものとなる。
【００７９】
【数９】
2016505185.tif 000011
【００８０】
ここで、saturation_level（飽和レベル）は前記ダイナミックレンジの上限を示しており、noise_level（ノイズレベル）は前記ダイナミックレンジの下限を示している。該ダイナミックレンジの下限では、撮像装置の物理的な制限に起因して値は精確に測定されない。所与のピクセルについての信頼度値が高いほど、そのグレースケールレベルが撮像装置によって一層精確に決定される。
【００８１】
上記は、ステップ210で様々なエッジセグメントについて収集することができる準位統計の例示に過ぎないものである。エッジセグメントをまたぐレベル差ΔMG(n)に基づく統計は、varp(n,s)及びvalue_confidence(n,s)といった他の統計よりも、エッジセグメントの信頼性を決定する上で一般に一層重要なものである、ということに留意されたい。後者の２つの統計は、例えば、レベル差ΔMG(n)に基づく統計を使用して信頼できるものと識別された所与のエッジセグメントの関連性を判定するために、使用することが可能である。グレースケールレベル以外の様々な種類のイメージ情報レベルに基づく統計を含む、多数の他の種類の準位統計を、他の実施形態で使用することが可能である。
【００８２】
ステップ212で、ステップ210で決定された準位統計及び所定のしきい値に基づいてエッジセグメントの各々毎に許容又は棄却判定が行われる。この実施形態における該しきい値は、特定の信頼性を確立するものであり、「所定の信頼性」と本書で一層広範に称するものの一例とみなすことが可能なものである。所与のかかる所定の信頼性は、特定の信頼性値であって、それ以上でエッジピクセルが許容され、それ未満でエッジピクセルが棄却される、特定の信頼性値を示すことが可能なものである。したがって、本書では、エッジについての所定の信頼性は、様々なしきい値ベースの信頼性測度を包含することが可能なものである。別の実施形態では多数の他の種類の所定の信頼性を使用することが可能である。例示的な実施形態として、ステップ212で使用されるしきい値は、0＜しきい値＜1といった無単位の正規化値、又はイメージGの最小及び最大グレースケール値に基づくmin(G)＜しきい値＜max(G)といった別の値とすることが可能である。
【００８３】
更なる特定の例として、エッジセグメントESnを許容すべきか棄却すべきかに関する判定は、おそらくは以下の複数のルールのうちの特定の１つ又は該複数のルールのうちの２つ以上の組み合わせを使用して、対応するレベル差ΔMG(n)をしきい値と比較することを伴うことが可能である。
【００８４】
１．ΔMGpsa(n)≧しきい値psaの場合にはESnを許可し、それ以外の場合にはESnをGから削除する。
【００８５】
２．ΔMGpna(n)≧しきい値pnaの場合にはESnを許可し、それ以外の場合にはESnをGから削除する。
【００８６】
３．ΔMGpg(n)≦しきい値pgの場合にはESnを許可し、それ以外の場合にはESnをGから削除する。
【００８７】
図２のプロセスは、直接的な態様でパイプライン化することが可能である。例えば、ステップ206で識別された複数の異なるエッジセグメントについてステップ208,210,212のうちの少なくとも一部を並列に実行することが可能であり、これにより所与のイメージについての該プロセスの全体的な待ち時間が削減され、リアルタイムイメージ処理用途での本開示の技術の実施が促進される。また、ファームウェアでのベクトル処理を使用して、該プロセスの一部（例えばステップ210での統計収集）を加速させることが可能である。
【００８８】
ステップ212で許容された複数のエッジセグメントは、イメージプロセッサ102により提供された修正済みエッジイメージにおいて維持することが許可された一組の信頼できるエッジを包括的に表すものとなる。既述のように、この修正されたエッジイメージは、イメージプロセッサ102で更に処理することが可能であり、又は別の処理装置106又はイメージ宛先107へ供給することが可能である。許容されたエッジセグメントの各々は、それに関する準位統計又はそこから導出された情報によって与えられた関連する信頼性推定値を有することが可能である。
【００８９】
図５は、図１のイメージ処理システムにおいてエッジイメージ内の信頼できるエッジを識別するためのもう１つの例示的なプロセスを示している。図２のプロセスのように、図５のプロセスは、イメージプロセッサ102によりそのエッジ選択モジュール114を使用して実施されることを想定したものである。この実施形態におけるプロセスは、ステップ500−508を含む。ステップ500,502は、図２のステップ200,202のそれぞれに概して対応する前処理ステップ及びエッジ検出ステップであり、上述の場合と実質的に同様の態様で実施することが可能である。
【００９０】
ステップ504で、分離可能な線形フィルタリング操作がグレースケールイメージGに対して適用され、次いで、その結果として得られるフィルタリング後のグレースケールイメージから、正規化された擬似勾配（normalized pseudo-gradient）（NPG）が生成される。
【００９１】
本実施形態においてグレースケールイメージGの所与のピクセルG(i,j)に適用される該分離可能な線形フィルタリングは、以下に示すように、イメージの高さ及び幅に沿って2L近傍ピクセルを使用して１次元の線形和様及び差分様（linear sum-like and difference-like）の有限の推定値を取得するよう構成することが可能である。
【００９２】
【数１０】
2016505185.tif 000012
【００９３】
ここで、自然対称的及び方向的な等価性の考慮（natural symmetrical and directional equivalence considerations）から、wg(l)=wg(-l)≧0, wd(l)=-wd(-l)となり、よって、wd(0)=0となる。より特定の実例として、以下の計算上単純なL=3の場合の推定を適用することが可能である。
【００９４】
【数１１】
2016505185.tif 000013
【００９５】
上述した例示的な分離可能な線形フィルタはx,yで分離可能であり、これは計算上の複雑さの低減に資するものとなる、ということに留意されたい。しかし、他の実施形態は、多種多様な他の種類のフィルタを使用することが可能であり、かかるフィルタは、様々な種類の分離不能な非線形フィルタを含むことが可能である。
【００９６】
NPGは、以下の態様で生成することが可能である。推定値gx(i,j)及びgy(i,j)の各対毎に、対応するレベル：
【００９７】
【数１２】
2016505185.tif 000014
【００９８】
を見出す。
【００９９】
グレースケールイメージG  を提供する撮像装置が、非負のサンプル値のみを提供する場合には、レベル決定は次のように単純化することが可能である：
【０１００】
【数１３】
2016505185.tif 000015
【０１０１】
最小限の計算上の複雑さは、典型的にはp=1及びp=∞という値で得られ、この場合には、上記方程式は、それぞれ、gm(i,j)=|gx(i,j)|+|gy(i,j)| 及び gm(i,j)=max(|gx(i,j)|,|gy(i,j)|) へと削減される。
【０１０２】
本実施形態は、SLもしくはTOFカメラ又はその他の種類のデプス撮像装置により提供されるイメージの特徴的な特性を利用したものである。より詳細には、かかるデプス撮像装置において、距離の測定値の不確実性は、典型的には、撮像されたオブジェクトに対する距離の関数となる。該距離の測定値の不確実性は、距離G(i,j)の関数として、DV(G(i,j))と示される。典型的なSLカメラの場合、三角測量を使用して距離を決定するため、次式が成立する。
【０１０３】
【数１４】
2016505185.tif 000016
【０１０４】
一方、典型的なTOFカメラは、一層遅い精度の損失を特徴とする。
【０１０５】
【数１５】
2016505185.tif 000017
【０１０６】
本実施形態は、このSLもしくはTOFカメラ又はその他の種類のデプス撮像装置により提供されるイメージの特徴的な特性を、ステップ504におけるNPGの生成に利用する。
【０１０７】
例えば、該NPGは、距離の測定値の不確実性の依存性DV(G(i,j))を使用して次のように定義することが可能である：
【０１０８】
【数１６】
2016505185.tif 000018
【０１０９】
このNPGに関する方程式の二乗した異なる成分gx(i,j) 及び gy(i,j)の和の平方根は、擬似勾配の方向不変性の（direction-invariant）推定値を提供し、DV(・)による除算は、G(i,j)の近傍におけるオリジナルのピクセルデータの精度に対する結果の自動的な正規化を提供する。この例示的な非負の値を有するNPG(i,j)は、信頼できないデータ領域の影響を抑制し及び信頼できるデータ領域の影響を増幅させるという点で、整合フィルタと同様の態様で動作する。しかし、他の実施形態では他のNPGを使用することが可能であることが理解されよう。
【０１１０】
ステップ506で、上述のNPGに基づいてエッジマスクが生成される。該エッジマスクを生成するための技法の考え得る一例として、回転不変性（rotation-invariant）２Dローパス・フィルタ（LPF）（例えば、２Dガウシアンフィルタ）を使用してNPGが最初に平滑化される。次いで該平滑化されたNPGが、正の値を有する一定の重要性しきい値とピクセル単位で比較される。該しきい値（threshold）未満であるNPG(・)内の全てのピクセルが黒としてマークされ、該しきい値よりも高い全てのピクセルが白としてマークされる：
【０１１１】
【数１７】
2016505185.tif 000019
【０１１２】
ここで、vrai(true)=1 及び vrai(false)=0 である。最後に、次のルールを１回以上の適用を用いて不連続性に対処する：NPG(i,j)=0であり、且つそのすぐ近傍の少なくとも１つが１である場合、NPG(i,j)=1と設定する。この部分の手順は、エッジマスク内の誤って分離されたエッジ部分を結合するものである。
【０１１３】
ステップ508で、ステップ506で決定されたエッジマスクがエッジイメージEに適用される。より詳細には、以下のピクセル単位でのマスクの適用により、信頼できないエッジがこのステップで排除される：
【０１１４】
【数１８】
2016505185.tif 000020
【０１１５】
ここで、「and」は論理演算子である。
【０１１６】
図２実施形態の場合のように、図５のプロセスの出力は、イメージプロセッサ102により提供された修正済みエッジイメージ内で維持することが許可された一組の信頼できるエッジである。この場合も、該修正後のエッジイメージをイメージプロセッサ102において更に処理することが可能であり、又は別の処理装置106又はイメージ宛先107へ供給することが可能である。
【０１１７】
図５のプロセスは、局所化されたピクセルベースの手法を用いて、所与のエッジピクセルが信頼できるエッジの一部であるか否かを判定するものである。この手法は、重要性の一層低い背景オブジェクトに関する一層精度の低いエッジを、一層重要な前景オブジェクトに関する一層明確に画定されたエッジから区別するために、（典型的には比較的少数の近傍ピクセルを伴う）局所化された統計を利用するものである。図５におけるエッジの信頼性の判定は、図２のプロセスの場合のように全体としてのエッジセグメントについて行われるのではなく、エッジピクセルの各々毎に別個に行われる。また、図５のプロセスは、入力イメージを提供する撮像装置についての距離の関数として距離の測定値の不確実性が変動する特定の態様を考慮するものである。
【０１１８】
図５のプロセスに多数の単純化を施すことが可能である。例えば、エッジイメージEが、上述したエッジセグメントESnと同一の又はそれと同様の特性を有するエッジセグメントを提供する態様で既に構成されている場合には、その情報をステップ504へ提供して各エッジピクセル毎の適当な近傍ピクセルの決定を促進させることが可能である。また、図５のプロセスにおける様々な操作を直接的な態様でパイプライン化することが可能である。例えば、異なるマスク領域を別々に計算してステップ504,506,508で互いに並列に適用することが可能である。
【０１１９】
よって、図２及び図５の実施形態で使用した特定のプロセスステップは、例示のみを目的としたものであり、他の実施形態では、異なる種類及び構成のイメージ処理操作を使用することが可能である、ということが理解されよう。例えば、信頼できるエッジが識別される特定の態様、及び該信頼できるエッジを使用して修正されたエッジイメージが提供される特定の態様は、他の実施形態では異なることが可能である。また、上述のように、図中で直列に実行されるものとして示した各ステップは、少なくとも部分的に、他の実施形態における１つ以上の他のステップと並列に実行することが可能である。
【０１２０】
本発明の実施形態は、所与のイメージ内の信頼できるエッジを識別するための特に効率の良い技術を提供するものである。例えば、かかる技術は、SLもしくはTOFカメラ又はその他の種類のデプス撮像装置からのデプスイメージといった特定の種類のイメージについて低品質の検出されたエッジを一般に生成する従来のエッジ検出技術と比較して、大幅に改善されたエッジイメージを提供することが可能である。更に、従来のエッジ検出操作に多々必要とされた過度のパラメータ調整のためのコスト及び複雑さを伴うことなく、本書で開示する技術を使用して信頼できるエッジが提供される。
【０１２１】
したがって、本発明の実施形態により提供される信頼できるエッジイメージは、かかるエッジイメージを使用する後続のイメージ処理操作（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡を含む）の有効性を大幅に向上させるものとなる。
【０１２２】
本書で説明した本発明の実施形態はその例示のみを目的としたものである、ということを再び強調すべきである。例えば、本発明の他の実施形態は、本書で説明した特定の実施形態で使用したものとは異なる多種多様な種類及び構成のイメージ処理回路、モジュール、及び処理操作を使用して実施することが可能である。更に、特定の実施形態を説明する上で本書で行った特定の想定は、別の実施形態では適用する必要がない。特許請求の範囲内に含まれるこれらの及び多数の他の代替的な実施形態は、当業者には自明のものである。
【図１】
2016505185.tif 000025
【図２】
2016505185.tif 000026
【図３】
2016505185.tif 000027
【図４Ａ】
2016505185.tif 000028
【図４Ｂ】
2016505185.tif 000029
【図５】
2016505185.tif 000030
【国際調査報告】
2016505185.tif 000031