(57)【要約】【課題】画像処理およびオブジェクトの視点決定の方法ならびにシステム。【解決手段】画像を処理するためのシステムおよび方法であって、該画像を、各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップ（４ａ，．．．，４ｆ）を取得し（２）、各特徴マップについて配信するために、各特徴マップ、すなわち、画像上で見える少なくとも１つのオブジェクトのタイプ、少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、少なくとも１つのオブジェクトの少なくとも１つの可能な視点、少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転について分類を実行する（３）ように構成されたニューラル・ネットワーク（１）に入力するステップを含むシステムおよび方法。【選択図】図１
2020537790.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する方法であって、
該画像を、各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップ（４ａ，．．．，４ｆ）を取得し（２）、
各特徴マップについて配信するために、各特徴マップ、すなわち、画像上で見える少なくとも１つのオブジェクトのタイプ、前記少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、前記少なくとも１つのオブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転について分類を実行する（３）
ように構成されたニューラル・ネットワークに入力する（１）ステップを含む方法。
【請求項２】
前記画像は、カラー画像、または、カラーおよび深度画像である、請求項１に記載の方法。
【請求項３】
前記分類は、核パーセプトロン（３）の手段によって実行される、請求項１または２に記載の方法。
【請求項４】
３つ以上の特徴マップが得られるか、または６つの特徴マップ（４ａ，．．．，４ｆ）が得られ、該特徴マップの各々が異なる解像度を有する、請求項１ないし３のいずれか１項に記載の方法。
【請求項５】
前記少なくとも１つのオブジェクトの前記少なくとも１つの可能な視点と、前記少なくとも１つのオブジェクトの前記少なくとも１つの可能な面内回転とを使用して、少なくとも１つのオブジェクの６Ｄポーズを取得するステップをさらに含む、請求項１ないし４のいずれか１項に記載の方法。
【請求項６】
前記６Ｄポーズを取得するステップは、色ベースのアプローチ、輪郭ベースのアプローチ、または、深度ベースのアプローチを使用して、前記６Ｄポーズを精緻化するステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記ニューラル・ネットワークの予備訓練をさらに含み、前記予備訓練は、少なくとも１つの３次元テンプレート・オブジェクトが前記ニューラル・ネットワークにレンダリングされたテンプレート画像を入力するステップを含む、請求項１ないし６のいずれか１項に記載の方法。
【請求項８】
前記予備訓練がさらに、
前記ニューラル・ネットワークを用いて、前記テンプレート画像の上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、前記少なくとも１つのオブジェクトを取り囲む少なくとも１つの２次元バウンディング・ボックスの前記テンプレート画像内の位置および形状、前記少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、を取得するステップと、
【数１】
2020537790.tif 000005
の式において最小化するステップであって、Ｐｏｓは、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、Ｎｅｇテンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、ｂは、ＰｏｓまたはＮｅｇのいずれかに属するバウンディング・ボックスであり、Ｌｃｌａｓｓは、クラスの属性におけるエラーに関連する損失であり、Ｌｆｉｔは、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、Ｌｖｉｅｗは、視点の属性におけるエラーに関連する損失であり、Ｌｉｎｐｌａｎｅは、面内回転の属性におけるエラーに関連する損失であり、α、β、およびγは、所定の係数である、ステップと
を含む、請求項７に記載の方法。
【請求項９】
前記可能な視点は、所定の視点の組の中から選択され、
テンプレート・オブジェクトが対称の場合、所定の視点のセットの視点が、テンプレート・オブジェクトを中心とする球の弧にすべて配置され、
テンプレート・オブジェクトが半対称の場合、所定の視点のセットの視点は、前記テンプレート・オブジェクトを中心とする球の１つの半球にすべて配置される、
請求項８に記載の方法。
【請求項１０】
前記ニューラル・ネットワークは、前記画像上で見えるオブジェクトにそれぞれ関連付けられた情報の１つ以上の群を出力し、
各群は、前記オブジェクトのタイプ、前記オブジェクトを囲むバウンディング・ボックスの位置および形状、前記視点、および前記面内回転を含み、
前記方法は、
前記ニューラル・ネットワークによって出力された各グループのスコア（例えば、スカラー値）を精緻化するステップと、
各スコアの所定の閾値を比較するステップと、前記閾値を超えるスコアを有するグループのみを保持するステップと
をさらに含む、請求項１ないし９のいずれか１項に記載の方法。
【請求項１１】
前記ニューラル・ネットワークによって出力される情報の２つのグループの２つのバウンディング・ボックスΜ、エリア閾値を超えてオーバラップする場合、最も高いスコアを有する情報のグループが保持される非最大抑制を含む、請求項１０に記載の方法。
【請求項１２】
前記オブジェクトと前記画像を取得した画像取得モジュールとの間の距離は、前記少なくとも１つのバウンディング・ボックスの対角長を使用して決定される、請求項１ないし１１のいずれか１項に記載の方法。
【請求項１３】
画像を処理するためのシステムであって、
該システムは、該画像が入力され得るニューラル・ネットワークを備え、
該ニューラル・ネットワークは、複数の特徴マップを取得し、
各特徴マップはそれぞれの解像度およびそれぞれの深度を有し、
各特徴マップについて配信するために、各特徴マップ、すなわち、前記画像の上で見える少なくとも１つのオブジェクトのタイプ、前記少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、前記少なくとも１つのオブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転に対して分類を実行するように構成される、システム。
【請求項１４】
コンピュータプログラムがコンピュータによって実行されるときに、請求項１ないし１２のいずれか１項に記載の方法のステップを実行するための命令を含むプログラム。
【請求項１５】
請求項１ないし１２のいずれか１項に記載の方法のステップを実行するための命令を含むコンピュータプログラムを記録した、コンピュータによって読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理の分野に関し、より正確には、画像上の３次元オブジェクトの検出に関する。
【背景技術】
【０００２】
カメラで取得した画像上の三次元オブジェクトを検出することが提案されている。
【０００３】
典型的には、画像上で見えるオブジェクトの６Ｄポーズを得ることも望ましい。「６Ｄポーズ」は、オブジェクトの３次元位置と３次元方向との組み合わせを指定する、当業者に周知の表現である。
【０００４】
オブジェクトを検出するための既知の方法は、満足のいくものではない。例えば、既知の方法は、深度情報を使用する（例えば、「ＲＧＢ−Ｄ」または「ＲＧＢ−深度」として当業者に知られている画像を使用する）ことを必要とし得る。
【０００５】
既知の方法では、ジオメトリやテクスチャが難しいオブジェクトや小さなオブジェクトなど、特定のオブジェクトの検出に失敗することもある。
【０００６】
いくつかの方法は、視点（オブジェクトが画像上で見られる角度）または６Ｄポーズに関する非常に粗い情報を提供する。たとえば、一部のメソッドは、オブジェクトが側面または下から見えることのみを示している。
【０００７】
したがって、画像を処理し、特にオブジェクトおよびその視点を検出するための改善された方法が必要とされている。従来技術から、以下の文献が知られている。
・  Ａ．Ｍｏｕｓａｖｉａｎ、Ｄ．Ａｎｇｕｅｌｏｖ、Ｊ．Ｆｌｙｎｎ、および、Ｊ．Ｋｏｓｅｃｋａ、「ディープ・ラーニングと幾何学を用いた３Ｄバウンディング・ボックス推定（３Ｄ  Ｂｏｕｎｄｉｎｇ  Ｂｏｘ  Ｅｓｔｉｍａｔｉｏｎ  Ｕｓｉｎｇ  Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  ａｎｄ  Ｇｅｏｍｅｔｒｙ）」ａｒＸｉｖ：１６１２．００４９６、２０１６、
・  Ｐ．Ｐｏｉｒｓｏｎ、Ｐ．Ａｍｍｉｒａｔｏ，Ｃ．−Ｙ．Ｆｕ、Ｗ．Ｌｉｕ、Ｊ．Ｋｏｓｅｃｋａ、およびＡ．Ｃ．Ｂｅｒｇ、「高速シングルショット検出と姿勢推定（Ｆａｓｔ  Ｓｉｎｇｌｅ  Ｓｈｏｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ）」、３ＤＶ、２０１６、
・  Ｗ．Ｌｉｕ、Ｄ．Ａｎｇｕｅｌｏｖ、Ｄ．Ｅｒｈａｎ、Ｃ．Ｓｚｅｇｅｄｙ、Ｓ．Ｒｅｅｄ、Ｃ．−ｙ．Ｆｕ、および、Ａ．Ｃ．Ｂｅｒｇ、「ＳＳＤ：シングルショット・マルチボックス検出器（ＳＳＤ：Ｓｉｎｇｌｅ  Ｓｈｏｔ  ＭｕｌｔｉＢｏｘ  Ｄｅｔｅｃｔｏｒ）」、ＥＣＣＶ、２０１６。
【発明の概要】
【０００８】
本開示は、画像を処理するための方法を提案することによって、従来技術の１つ以上の欠点を克服する。この方法は、以下のように構成されたニューラル・ネットワークに画像を入力することを含む。各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップを取得し、各特徴マップに対して配信するために各特徴マップに対して以下の分類を実行する。
・  画像上で見える少なくとも１つのオブジェクト（１つ以上のオブジェクト）のタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転。
【０００９】
一例として、画像は、当業者に知られているＲＧＢ（赤−緑−青）画像などのカラー画像とすることができる。
【００１０】
特徴マップはベクトルの行列であり、表現解像度は行列の解像度に向けられ、深度は行列のベクトルの深度に関係する。
【００１１】
本願で使用される「ニューラル・ネットワーク」という表現は、複数の既知のネットワークの組み合わせを包含することができる。例えば、複数の特徴マップを取得するステップは、第１のサブネットワークを使用して実行することができる。当業者は、それぞれの解像度およびそれぞれの深度を有する特徴マップを得るために、どのサブネットワークを使用すべきかを知っている。
【００１２】
分類を実行するステップは、また、第２のサブネットワークによって実行することができる。当業者は、各特徴マップ、
・  画像上で見える少なくとも１つのオブジェクトのタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転
について、どのサブネットワークを使用して配信するかを知っている。
【００１３】
当業者は、バウンディング・ボックスがオブジェクトを囲む座標を有する仮想矩形であることを知っていることに留意する。複数のオブジェクトが決定された場合、各オブジェクトは少なくとも１つのバウンディング・ボックスに関連付けられる。バウンディング・ボックスは複数の所定のバウンディング・ボックスの中から選択することができ、分類ステップは最良のバウンディング・ボックス（すなわち、オブジェクトに最も近いバウンディング・ボックス）を決定するように構成される。
【００１４】
オブジェクトのタイプは、検出され得るオブジェクトの所定のセットの中から選択される。
【００１５】
視点は画像上でオブジェクトが見える角度であり、例えば、基準角度（ｒｅｆｅｒｅｎｃｅ  ａｎｇｌｅ）から測定される。
【００１６】
面内回転は、画像を取得するために使用される画像取得モジュールまたはカメラの光軸の周りの回転である。
【００１７】
例として、ニューラル・ネットワークは、画像上で見えるオブジェクトにそれぞれ関連付けられた情報の１つ以上の群を出力することができ、各群は、オブジェクトのタイプ、オブジェクトを囲むバウンディング・ボックスの位置および形状、視点、および面内回転を含む。
【００１８】
いくつかのオブジェクトが画像上で見える場合、ニューラル・ネットワークは、上記で定義したような情報の少なくとも２つのグループを出力することができる。
【００１９】
また、ニューラル・ネットワークは、例えば、視点に関連する２つの群の間の差を用いて、同じオブジェクトについて２つ以上の群の情報を出力してもよい。
【００２０】
前記ニューラル・ネットワークを使用することにより、超並列シングルパスネットワークを使用することが可能になり、計算速度が大幅に向上し（前記方法は、約１０Ｈｚ、すなわち毎秒１０画像で動作することが観察されている）、良好な精度を得ることが可能になることに留意する。
【００２１】
さらに、可能な視点を提供する分類を実行することによって、所定の視点のセットにおける視点を選択することが可能である。これにより、ネットワークが視野角を予測する精度を向上させることができる。例えば、視野角は、５度以下のオーダーの精度で決定することができる。
【００２２】
実施形態によれば、画像はカラー画像（例えば、ＲＧＢ画像）、または色と深度画像（例えば、ＲＧＢ−Ｄ画像）である。
【００２３】
深度の使用は、本方法の精度を改善することに留意する。
【００２４】
一実施形態によれば、分類は、核パーセプトロンの手段によって実行される。
【００２５】
一実施形態によれば、３つ以上の特徴マップが取得されるか、または６つの特徴マップが取得され、特徴マップはそれぞれ異なる解像度を有する。
【００２６】
本発明の発明者らは、６つの特徴マップで良好な結果が得られることを観察した。様々な解像度（および特徴マップの少なくともいくつかの深度）を使用することにより、画像上で見えるオブジェクトの異なるスケールに対処することが可能になる。
【００２７】
一実施形態によれば、本方法は、少なくとも１つのオブジェクトについての少なくとも１つの可能な視点と、少なくとも１つのオブジェクトについての少なくとも１つの可能な面内回転とを使用して、少なくとも１つのオブジェクトの６Ｄポーズを取得することをさらに含む。
【００２８】
ニューラル・ネットワークの出力を解析して、少なくとも１つのオブジェクトの６Ｄポーズを得ることが可能であることが観察されている。最も注目すべきは、視点および面内回転を得ることにより、６Ｄポーズを得ることができることである。
【００２９】
例として、平行移動行列（ｔｒａｎｓｌａｔｉｏｎ  ｍａｔｒｉｘ）と回転行列（ｒｏｔａｔｉｏｎ  ｍａｔｒｉｘ）の形で６Ｄポーズを得るように、視点上と面内回転上で分類を行うことができる。
【００３０】
一実施形態によれば、６Ｄポーズを取得することは、色ベースのアプローチ、輪郭ベースのアプローチ、または深度ベースのアプローチを使用して６Ｄポーズを精緻化することをさらに含む。
【００３１】
例えば、深度ベースのアプローチは、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ）法を使用することができる。
【００３２】
ＲＧＢ画像が使用される場合、オブジェクトをレンダリングして、画像上に最初に存在するオブジェクトとの位置合わせを検証することができる。
【００３３】
一実施形態によれば、本方法はニューラル・ネットワークの予備訓練をさらに含み、前記予備訓練は、少なくとも１つの３次元テンプレート・オブジェクトがニューラル・ネットワークにレンダリングされたテンプレート画像を入力することを含む。
【００３４】
３次元テンプレート・オブジェクト手段をレンダリングし、このテンプレート・オブジェクトの投射が選択された角度で見える画像を作成する。
【００３５】
好適には、この方法が、テンプレート・オブジェクトとして使用されたオブジェクトを含む画像に使用される。
【００３６】
前記レンダリングを使用することによって、対称オブジェクトにより良く対処することができ、対称性から生じる視点の混乱を排除することができる。
【００３７】
一実施形態によれば、前記予備訓練は、前記ニューラル・ネットワークを使用して、
・  テンプレート画像上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスのテンプレート画像内の位置および形状、
・  少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、および、式
【数１】
2020537790.tif 000003
におけるＬを最小化することを取得するステップをさらに含む。ここで、
Ｐｏｓは、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、
Ｎｅｇテンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、
ｂは、ＰｏｓまたはＮｅｇのいずれかに属するバウンディング・ボックスであり、
Ｌｃｌａｓｓは、クラスの属性におけるエラーに関連する損失であり、
Ｌｆｉｔは、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、
Ｌｖｉｅｗは、視点の属性におけるエラーに関連する損失であり、
Ｌｉｎｐｌａｎｅは、面内回転の属性におけるエラーに関連する損失であり、
α、β、およびγは、所定の係数である。
【００３８】
例として、Ｌｃｌａｓｓ、Ｌｖｉｅｗ、および、Ｌｉｎｐｌａｎｅは、当業者に知られている方法でソフトマック・スクロスエントロピー損失（ｓｏｆｔｍａｘ  ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）によって得ることができる。
【００３９】
また、例として、Ｌｆｉｔは、当業者に公知の方法で、滑らかなＬ１回帰によって得ることができる。
【００４０】
Ｌ（Ｐｏｓ，Ｎｅｇ）は、ニューラル・ネットワークの訓練中に最小化されるべきエネルギーを表すために、当業者によって考慮される損失関数である。あるいは、Ｌ（Ｐｏｓ，Ｎｅｇ）は、ニューラル・ネットワークの訓練中に最小化されるべき目的関数であると考えられる。
【００４１】
α、β、およびγは、ニューラル・ネットワークの訓練中の各損失に起因する重要性に応じて選択することができる。
【００４２】
一実施形態によれば、可能な視点は、視点の所定のセットの中から選択され、テンプレート・オブジェクトが対称である場合、所定の視点の組の視点は、すべて、テンプレート・オブジェクトを中心とする球の円弧上に配置され、テンプレート・オブジェクトが半対称である場合、所定の視点の組の視点は、すべて、テンプレート・オブジェクトを中心とする球の１つの半球上に配置される。
【００４３】
これにより、対称または半対称のオブジェクトを検出するニューラル・ネットワークの能力を向上させることができる。
【００４４】
対称オブジェクトは、本出願では、ボトルのような軸対称性を呈するオブジェクト、または円筒形オブジェクト（これらのオブジェクトの場合、対称軸はオブジェクトの中心を通る）であることに留意する。
【００４５】
また、本願において、半対称オブジェクトとは左右対称と呼ばれることがある平面対称性を示すオブジェクトである（バグやスプーンはこの範畴に入るが、これらのオブジェクトについてはオブジェクトの中心軸を通る対称面が存在する）。
【００４６】
一実施形態によれば、ニューラル・ネットワークは、画像上で見えるオブジェクトにそれぞれ関連付けられた情報の１つ以上の群を出力し、各群は、オブジェクトのタイプ、オブジェクトを囲むバウンディング・ボックスの位置および形状、視点、ならびに面内回転を含む。そして、この方法は、ニューラル・ネットワークによって出力された各グループのスコア（例えば、スカラー値）を精緻化するステップと、各スコアの所定の閾値を比較するステップと、前記閾値を超えるスコアを有するグループのみを保持するステップとをさらに含む。
【００４７】
このスコアは、情報のグループの正確さを示すように取得することができる。スコアを計算するために使用される式は、較正ステップ中に当業者によって選択され得る。
【００４８】
さらに、前記所定の閾値は、較正ステップ中に設定され得る。
【００４９】
一実施形態によれば、本方法は、ニューラル・ネットワークによって出力された２つの情報グループの２つのバウンディング・ボックスがエリア閾値を超えてオーバラップする場合に、最も高いスコアを有する情報グループが保持される非最大抑制を含む。
【００５０】
この面積閾値は、２つのバウンディング・ボックスの各々の面積のパーセンテージとして決定することができる。パーセンテージは５０％であり得る。例えば、バウンディング・ボックスが他のバウンディング・ボックスの面積の５０％に重なっている場合、条件が検証される。
【００５１】
この実施形態は、最良の精度を有する情報のグループを維持することを可能にする。
【００５２】
一実施形態によれば、オブジェクトと画像を取得した画像取得モジュールとの間の距離は、少なくとも１つのバウンディング・ボックスの対角長を使用して決定される。
【００５３】
第２の態様によれば、本発明はまた、画像を処理するためのシステムを提案し、このシステムは画像を入力することができるニューラル・ネットワークを備え、ニューラル・ネットワークは複数の特徴マップを取得するように構成され、各特徴マップはそれぞれの解像度およびそれぞれの深度を有し、各特徴マップに対して分類を実行して、各特徴マップ、すなわち、
・  画像上で見える少なくとも１つのオブジェクトのタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転
について配信する。
【００５４】
このシステムは、上述した画像処理方法の全ての実施形態を実行するように構成することができる。
【００５５】
特定の一実施形態では、画像を処理する方法のステップが、コンピュータプログラム命令によって決定される。
【００５６】
したがって、本発明は、このプログラムがコンピュータによって実行されるとき、上述の方法のステップを実行するためのコンピュータプログラムにも向けられる。
【００５７】
このプログラムは任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、またはソースコードとオブジェクトコードとの間の中間のコード、例えば部分的にコンパイルされた形式、または他の任意の望ましい形式をとることができる。
【００５８】
本発明は、上述したコンピュータプログラムの命令を含むコンピュータ可読情報媒体にも向けられる。
【００５９】
情報媒体は、プログラムを格納することが可能な任意のエンティティまたは装置とすることができる。例えば、媒体は、ＲＯＭ、例えばＣＤ  ＲＯＭまたはマイクロエレクトロニックサーキットＲＯＭのような格納手段、または磁気格納装置、例えばディスケット（フロッピー（登録商標）ディスク）またはハードディスクを含むことができる。
【００６０】
あるいは、この情報媒体は、プログラムが組み込まれた集積回路であり得、回路は当該方法を実行するように、またはその実行に使用されるように適合される。
【図面の簡単な説明】
【００６１】
以下、添付の図面を参照して、本開示をどのように実施することができるかを例として説明する。
【図１】図１は、一例による、画像を処理するための例示的な方法のブロック図である。
【図２】図２は、一例による、画像を処理するための例示的なシステムのブロック図である。
【図３】図３は、オブジェクトの可能なビューポイントのセットを示している。
【図４】図４は、ニューラル・ネットワークの訓練に使用される種々の画像を示している。
【発明を実施するための形態】
【００６２】
画像を処理するための例示的な方法およびシステムを以下に説明する。
【００６３】
画像を処理する方法は図１に示されており、以下に説明するように、この方法は、画像上で見えるオブジェクトの６Ｄポーズを決定することもできる。しかしながら、本発明は、画像上で見えるオブジェクトの６Ｄポーズの決定に限定されない。
【００６４】
図１では処理対象の画像をＩＭＧとしたが、この例では画像の解像度が幅２９９画素、高さ２９９画素である。画像ＩＭＧはＲＧＢ画像であり、したがって、画像の各画素は、３つの値に関連付けられる。
【００６５】
画像ＩＭＧを処理するために、図１に示すニューラル・ネットワーク１にこの画像を入力し、さらにその画像ＩＭＧが深度情報を含む場合（例えば、ＲＧＢ−Ｄ画像である場合）、ニューラル・ネットワーク１にはＲＧＢ値のみを入力することができ、その後の精緻化ステップ（ｒｅｆｉｎｉｎｇ  ｓｔｅｐ）ステップで深度情報を使用することができる。
【００６６】
ニューラル・ネットワーク１は複数の特徴マップを取得するように構成され、各特徴マップはそれぞれの解像度およびそれぞれの深度を有する。この目的のために、ニューラル・ネットワーク１は、６つの特徴マップを作成することができるサブネットワーク２を備える。６つの特徴マップはそれぞれ異なる解像度を持つ。
【００６７】
例えば、第１の特徴マップ４ａは、７１×７１の解像度と３８４の深度を有する。第２の特徴マップ４ｂは、３５×３５の解像度と３８４の深度を有する。第３の特徴マップ４ｃは、１７×１７の解像度と１０２４の深度を有する。第４の特徴マップ４ｄは、９×９の解像度および１５３６の深度を有する。第５の特徴マップ４ｅは、解像度５×５、深度１０２４である。第６の特徴マップ４ｆは、解像度３×３であり、深度が１０２４である。
【００６８】
当業者は、いくつの特徴マップを使用すべきか、ならびにそれらの解像度および深度を選択することができる。例えば、較正ステップを実行して、アプリケーションの関数として、特徴マップの数、それらの解像度、およびそれらの深度を決定することができる。異なる解像度を使用することにより、様々なスケールを有するオブジェクトを検出することができる。
【００６９】
サブネットワーク２は、当業者には、インセプションＶ４（ＩｎｃｅｐｔｉｏｎＶ４）として知られ、ＣＳｚｅｇｅｄｙ、ＳＩｏｆｆｅ、およびＶＶａｎｈｏｕｃｋｅ、「Ｉｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ  ａｎｄ  Ｉｍｐａｃｔ  ｏｆ  Ｒｅｓｉｄｕａｌ  Ｃｏｎｎｅｃｔｉｏｎｓ」に記載されているネットワークであることが好ましい。
【００７０】
好適には、サブネットワーク２が前のステップで訓練される。
【００７１】
ニューラル・ネットワーク１は、各特徴マップに対して、配信する各特徴マップ、すなわち、
・  画像上で見える少なくとも１つのオブジェクトのタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転、
上で分類を実行するようにさらに構成される。
【００７２】
この目的のために、ニューラル・ネットワーク１はサブネットワーク２を含む。好適には、サブネットワーク２が分類器、例えば、カーネル・パーセプトロンである。
【００７３】
サブネットワーク２は、入力として６つの特徴マップ４ａ−４ｆを受信する。例えば、ｗｓ、ｈｓ、およびｃｓがそれぞれ、スケールｓにおける幅、高さ、およびチャネル深度に対応する場合（ｓは、特徴マップ４ｓのしるしを示す）、各特徴マップ４ｓに対して、解像度として３倍、深度としてｃｓを有するカーネル・パーセプトロンを使用することができる。このカーネル・パーセプトロンは、特に、オブジェクトのタイプ、視点、および面内回転についてのスコアを提供する。
【００７４】
可能なバウンディング・ボックスの数Ｂｓは、また、異なる位置（好適には所定のアスペクト比および所定の位置）で異なるアスペクト比を提供することができる。
【００７５】
入力として４ｓを受け取ったカーネル・パーセプトロンの出力は、ｗｓ×ｈｓの解像度と、Ｂｓ×（Ｃ＋Ｖ＋Ｒ＋４）の深度とを有する特徴マップとすることができる。ここで、Ｃは可能なオブジェクトクラスの数であり、Ｖは可能な視点の数であり、Ｒは可能な面内回転の数である。
【００７６】
例として、２１２２２個の可能なバウンディング・ボックスが、異なる形状およびサイズを有して使用されてもよい。
【００７７】
このようにして、６つの特徴マップ５ａ、５ｂ、５ｃ、５ｄ、５ｅ、および５ｆが、カーネル・パーセプトロンの出力として得られる。これらの特徴マップは、
・  画像上、例えば各特徴マップ４ｓ上で、で見える少なくとも１つのオブジェクトの種類、
・  この特徴マップ４ｓ上の少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・  この特徴マップ４ｓ上の少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・  この特徴マップ４ｓ上の少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転、
を示すものとして解釈できる。
【００７８】
次に、非最大抑圧ステップ６が実行される。
【００７９】
次に、６つの注釈付き画像７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆが得られる。これらの画像から、バウンディング・ボックスが検出されたオブジェクトを囲み、オブジェクトのタイプ、オブジェクトの視点、および面内回転に関する情報が提供される。
【００８０】
これらの結果から、これらのオブジェクトのそれぞれの６Ｄポーズを推定することが可能である。
【００８１】
図１を参照して説明した方法のステップは、コンピュータ命令によって決定することができる。これらの命令は図２に示すように、システムのプロセッサで実行できる。
【００８２】
この図では、システム１０が示されている。このシステムは、プロセッサ１１と、画像を取得するように構成された取得モジュール１２と、メモリ１３とを備える。
【００８３】
メモリ１３は、不揮発性メモリであり得、プロセッサ１１によって実行され、図１を参照して説明した方法を実行することができる命令（またはコンピュータプログラム）ＩＮＳＴのセットを含む。ＩＮＳＴのセットは、各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップを取得するための命令１４、各特徴マップ、すなわち、
・  画像上で見える少なくとも１つのオブジェクトのタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転、
に対して配信するために各特徴マップにおいて分類を実行するための命令１５、を含む。
【００８４】
図３は、レンダリングされた３次元テンプレート・オブジェクトＯＢＪを示す。このオブジェクトは、図１の方法のニューラル・ネットワークの訓練中に画像上にレンダリングすることができる。
【００８５】
可能な視点のセットも図３に示されている。
【００８６】
より正確には、可能な視点２０がテンプレート・オブジェクトＯＢＪを中心とする球の円弧上に配置される。これらの視点は、対称オブジェクトには十分である。
【００８７】
テンプレート・オブジェクトＯＢＪを中心とする球体の半球上には、さらに視点２２、２１が配置されている。半対称オブジェクトの場合、視点２０と２１、または、２０と２２のどちらかのみを使用することが可能である。対称性のないオブジェクトについては、全ての視点２０、２１、２２を使用することができる。
【００８８】
これは、従来技術の方法が使用されるときに視点の決定に混乱がある対称または半対称であるオブジェクトの視点の決定を容易にする。
【００８９】
実際、ニューラル・ネットワークの訓練中、ニューラル・ネットワークをより良く訓練するために、（半）対称オブジェクトに対しては、限られた一組の視点のみが使用される。
【００９０】
訓練後にニューラル・ネットワークを用いて画像を処理する場合、オブジェクトが検出されると、視点を決定するために、限られた視点の組のみが分類される。
【００９１】
図４は、図１を参照して開示された方法のニューラル・ネットワークを訓練するために使用される様々な画像を示し、これは、典型的には、本願方法のステップを実行する前に実行される（そして、予備訓練と称されてもよい）。
【００９２】
好適には、この訓練は、少なくとも１つの３次元テンプレート・オブジェクトがニューラル・ネットワークにレンダリングされたテンプレート画像を入力することを含む。例えば、図３を参照して説明したテンプレート・オブジェクトＯＢＪは、画像でレンダリングすることができ、その画像は次に、得られたテンプレート画像の背景となる。
【００９３】
図４では４つのテンプレート画像が表現されており、各テンプレート画像ではいくつかのテンプレート・オブジェクトがレンダリングされている。
【００９４】
この例では、写真が背景として使用され、テンプレート・オブジェクトがこの背景上にレンダリングされてテンプレート画像が形成される。
【００９５】
背景として写真を使用することは、完全に合成された画像（例えば、コンピュータによって生成された画像）を使用するよりも良好な訓練結果をもたらすことが、本発明者らによって観察された。
【００９６】
本発明のニューラル・ネットワークによって検出されたオブジェクトは図上のバウンディング・ボックスによって囲まれ、例えば、これらは、ニューラル・ネットワークによって出力され、１組のバウンディング・ボックス内で選択されたすべてのバウンディング・ボックスである。より正確には、図に表されたバウンディング・ボックスは、テンプレート・オブジェクトの領域の所定の部分を囲む領域を有する。
【００９７】
レンダリングされたテンプレート・オブジェクトに関連するバウンディング・ボックスは、テンプレート・オブジェクトの領域の事前定義された一部を囲む領域を持つバウンディング・ボックスと、条件を検証しない残りのバウンディング・ボックスとの間でソートすることができる。
【００９８】
上記の条件は、当業者によって「合併に対する交差（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  ｕｎｉｏｎ）」と呼ばれ、条件を検証するための閾値は、バウンディング・ボックスの面積の５０％に設定することができる。
【００９９】
次に、訓練は、前記ニューラル・ネットワーク、テンプレート画像上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、
・  少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスのテンプレート画像内の位置および形状、
・  少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、
・  少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、および以下の式
【数２】
2020537790.tif 000004
における最小化、
を用いて取得することをさらに含む。ここで、
Ｐｏｓは、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、
Ｎｅｇテンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、
ｂは、ＰｏｓまたはＮｅｇのいずれかに属するバウンディング・ボックスであり、
Ｌｃｌａｓｓは、クラスの属性におけるエラーに関連する損失であり、
Ｌｆｉｔは、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、
Ｌｖｉｅｗは、視点の属性におけるエラーに関連する損失であり、
Ｌｉｎｐｌａｎｅは面内回転の属性におけるエラーに関連する損失であり、
α、β、およびγは、所定の係数である。
【図１】
2020537790.tif 000006
【図２】
2020537790.tif 000007
【図３】
2020537790.tif 000008
【図４】
2020537790.tif 000009
【国際調査報告】
2020537790.tif 000010
2020537790.tif 000011