(57)【要約】本願は、物体の点群データを取得することであって、前記点群データは少なくとも１つの点を含むステップと、前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るステップと、前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るステップと、前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得ることであって、前記姿勢は位置および姿勢角を含むステップと、を含む物体姿勢推定方法および対応する装置を開示する。本願では、点群ニューラルネットワークによって物体の点群データを処理し、物体の姿勢を得る。
2021536068.tif 000002
【特許請求の範囲】
【請求項１】
物体の点群データを取得することであって、前記点群データは少なくとも１つの点を含むステップと、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るステップと、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るステップと、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得ることであって、前記姿勢は位置および姿勢角を含むステップと、を含む物体姿勢推定方法。
【請求項２】
前記物体の姿勢は、前記物体の基準点の姿勢を含み、
前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む請求項１に記載の方法。
【請求項３】
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得る前記ステップについて、前記物体の点群データに対して前記点群ニューラルネットワークにより行われる操作は、
前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るステップと、
前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るステップと、を含む請求項１または２に記載の方法。
【請求項４】
前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、
前記特徴データに対して線形変換を行い、前記物体の点群データにおける点の予測姿勢を得る前記ステップは、
前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、
前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、を含む請求項３に記載の方法。
【請求項５】
前記点群ニューラルネットワークは第１の全接続層を含み、前記特徴データに対して第１の線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測位置を得る前記ステップは、
前記第１の全接続層の重みを得るステップと、
前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、を含む請求項４に記載の方法。
【請求項６】
前記点群ニューラルネットワークは第２の全接続層を含み、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の予測姿勢角を得るステップは、
第２の全接続層の重みを得るステップと、
前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、を含む請求項４に記載の方法。
【請求項７】
前記物体の点群データを取得する前記ステップは、
前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するステップと、
前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するステップと、
前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るステップと、を含む請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るステップと、
前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るステップと、をさらに含む請求項７に記載の方法。
【請求項９】
前記予測姿勢は予測位置を含み、前記少なくとも１つの点に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る前記ステップは、
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得ること、を含む請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得る前記ステップは、
前記物体の点群データからいずれか１つの点を第１の点として取るステップと、
前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、
前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、
前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、を含む請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、
前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、
前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、
前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、をさらに含む請求項１０に記載の方法。
【請求項１２】
前記クラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得る前記ステップは、
前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するステップと、
前記予測姿勢の平均値を前記物体の姿勢とするステップと、を含む請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするステップ、をさらに含む請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とする前記ステップは、
前記物体の三次元モデルを取得するステップと、
前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするステップと、
反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするステップと、を含む請求項１３に記載の方法。
【請求項１５】
前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るステップ、をさらに含む請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものである請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
物体の点群データを取得するように構成される取得ユニットであって、前記点群データは少なくとも１つの点を含む取得ユニットと、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るように構成される第１の処理ユニットと、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るように構成される第２の処理ユニットと、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得るように構成される第３の処理ユニットと、を含む物体姿勢推定装置。
【請求項１８】
前記物体の姿勢は、前記物体の基準点の姿勢を含み、
前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む請求項１７に記載の装置。
【請求項１９】
前記第１の処理ユニットは、
前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るための特徴抽出サブユニットと、
前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るための線形変換サブユニットと、を含む請求項１７または１８に記載の装置。
【請求項２０】
前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、
前記線形変換サブユニットはさらに、
前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、
前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、に用いられる請求項１９に記載の装置。
【請求項２１】
前記点群ニューラルネットワークは第１の全接続層を含み、前記線形変換サブユニットはさらに、
前記第１の全接続層の重みを得るステップと、
前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、に用いられる請求項２０に記載の装置。
【請求項２２】
前記点群ニューラルネットワークは第２の全接続層を含み、前記線形変換サブユニットはさらに、
第２の全接続層の重みを得るステップと、
前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、に用いられる請求項２０に記載の装置。
【請求項２３】
前記取得ユニットは、
前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するための第１の取得サブユニットと、
前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するための第１の決定サブユニットと、
前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るための除去サブユニットと、を含む請求項１７から２２のいずれか一項に記載の装置。
【請求項２４】
前記取得ユニットは、
前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るための第１の処理サブユニットと、
前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るための第２の処理サブユニットと、をさらに含む請求項２３に記載の装置。
【請求項２５】
前記予測姿勢は予測位置を含み、前記第２の処理ユニットは、
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得るための分割サブユニット、を含む請求項１７から２４のいずれか一項に記載の装置。
【請求項２６】
前記分割サブユニットはさらに、
前記物体の点群データからいずれか１つの点を第１の点として取るステップと、
前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、
前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、
前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、に用いられる請求項１７から２５のいずれか一項に記載の装置。
【請求項２７】
前記分割サブユニットはさらに、
前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、
前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、
前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、
前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、に用いられる請求項２６に記載の装置。
【請求項２８】
前記第３の処理ユニットは、
前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するための計算サブユニットと、
前記予測姿勢の平均値を前記物体の姿勢とするための第２の決定サブユニットと、を含む請求項１７から２７のいずれか一項に記載の装置。
【請求項２９】
前記物体姿勢推定装置は、
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするための修正ユニットをさらに含む請求項１７から２８のいずれか一項に記載の装置。
【請求項３０】
前記修正ユニットは、
前記物体の三次元モデルを取得するための第２の取得サブユニットと、
前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするための第３の決定サブユニットと、
反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするための調整サブユニットと、を含む請求項２９に記載の装置。
【請求項３１】
前記物体姿勢推定装置は、
前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るための第４の処理ユニット、をさらに含む請求項１７から３０のいずれか一項に記載の装置。
【請求項３２】
前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものである請求項１７から３１のいずれか一項に記載の装置。
【請求項３３】
プロセッサとメモリとを含む物体姿勢推定装置であって、前記プロセッサは前記メモリに結合され、前記メモリはプログラムコマンドが記憶され、前記プログラムコマンドが前記プロセッサにより実行されるとき、前記プロセッサに請求項１から１６のいずれか一項に記載の方法を実行させる、物体姿勢推定装置。
【請求項３４】
コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムはプログラムコマンドを含み、前記プログラムコマンドがバッチ処理装置のプロセッサにより実行されるとき、前記プロセッサに請求項１から１６のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項３５】
コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、前記コンピュータ実行可能コマンドが実行された後、請求項１から１６のいずれか一項に記載の方法のステップを実現できる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号２０１９１０１３４６４０．４、出願日２０１９年２月２３日の中国特許出願に基づくものであり、前記中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、マシンビジョンの技術分野に関し、特に物体姿勢推定方法および装置に関する。
【背景技術】
【０００３】
ロボットに対する研究の深化および様々な方面における需要の驚異的な伸びにつれて、ロボットの応用分野は広がってきており、例えばロボットにより材料ボックスに積み重なっている物体を把持するようにもなっている。ロボットにより積み重なっている物体を把持するには、まず被把持物の空間における姿勢を認識する必要があり、その後、認識された姿勢に基づいて被把持物を把持する。従来の方法では、まず、画像から特徴点を抽出する。その後、前記画像を所定の基準画像と特徴マッチングを行い、マッチする特徴点を得て、そして、マッチする特徴点に基づいて被把持物のカメラ座標系における位置を特定する。さらに、カメラの校正パラメータに基づいて計算して物体の姿勢を得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
本願は、物体姿勢推定方法および装置を提供する。
【０００５】
第１の態様によれば、物体の点群データを取得することであって、前記点群データは少なくとも１つの点を含むステップと、前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るステップと、前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るステップと、前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得ることであって、前記姿勢は位置および姿勢角を含むステップと、を含む物体姿勢推定方法を提供する。
【０００６】
一実現可能な形態では、前記物体の姿勢は、前記物体の基準点の姿勢を含み、前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む。
【０００７】
別の実現可能な形態では、前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得る前記ステップについて、前記物体の点群データに対して前記点群ニューラルネットワークにより行われる操作は、前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るステップと、前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るステップと、を含む。
【０００８】
さらに別の実現可能な形態では、前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、前記特徴データに対して線形変換を行い、前記物体の点群データにおける点の予測姿勢を得る前記ステップは、前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、を含む。
【０００９】
さらに別の実現可能な形態では、前記点群ニューラルネットワークは第１の全接続層を含み、前記特徴データに対して第１の線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測位置を得る前記ステップは、前記第１の全接続層の重みを得るステップと、前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、を含む。
【００１０】
さらに別の実現可能な形態では、前記点群ニューラルネットワークは第２の全接続層を含み、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の予測姿勢角を得るステップは、第２の全接続層の重みを得るステップと、前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、を含む。
【００１１】
さらに別の実現可能な形態では、物体の点群データを取得する前記ステップは、前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するステップと、前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するステップと、前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るステップと、を含む。
【００１２】
さらに別の実現可能な形態では、前記方法は、前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るステップと、前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るステップと、をさらに含む。
【００１３】
さらに別の実現可能な形態では、前記予測姿勢は予測位置を含み、前記少なくとも１つの点に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る前記ステップは、前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得るステップ、を含む。
【００１４】
さらに別の実現可能な形態では、前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得る前記ステップは、前記物体の点群データからいずれか１つの点を第１の点として取るステップと、前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、前記第２のベクトルの係数（ｍｏｄｕｌｕｓ）が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、を含む。
【００１５】
さらに別の実現可能な形態では、前記方法は、前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、をさらに含む。
【００１６】
さらに別の実現可能な形態では、前記クラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得る前記ステップは、前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するステップと、前記予測姿勢の平均値を前記物体の姿勢とするステップと、を含む。
【００１７】
さらに別の実現可能な形態では、前記方法は、前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするステップ、をさらに含む。
【００１８】
さらに別の実現可能な形態では、前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とする前記ステップは、前記物体の三次元モデルを取得するステップと、前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするステップと、反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするステップと、を含む。
【００１９】
さらに別の実現可能な形態では、前記方法は、前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るステップ、をさらに含む。
【００２０】
さらに別の実現可能な形態では、前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものであり、前記姿勢損失関数は
【００２１】
【化１】
2021536068.tif 000003
【００２２】
であり、
式中、
【００２３】
【化２】
2021536068.tif 000004
【００２４】
は前記物体の姿勢、
【００２５】
【化３】
2021536068.tif 000005
【００２６】
は前記姿勢のラベルであり、
【００２７】
【化４】
2021536068.tif 000006
【００２８】
は前記点群データにおける少なくとも１つの点の点群姿勢損失関数を加算することを表している。
【００２９】
第２の態様によれば、物体の点群データを取得するように構成される取得ユニットであって、前記点群データは少なくとも１つの点を含む取得ユニットと、前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るように構成される第１の処理ユニットと、前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るように構成される第２の処理ユニットと、前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得るように構成される第３の処理ユニットと、を含む物体姿勢推定装置を提供する。
【００３０】
一実現可能な形態では、前記物体の姿勢は、前記物体の基準点の姿勢を含み、
前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む。
【００３１】
別の実現可能な形態では、前記第１の処理ユニットは、前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るように構成される特徴抽出サブユニットと、前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るように構成される線形変換サブユニットと、を含む。
【００３２】
さらに別の実現可能な形態では、前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、前記線形変換サブユニットはさらに、前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、を行うように構成される。
【００３３】
さらに別の実現可能な形態では、前記点群ニューラルネットワークは第１の全接続層を含み、前記線形変換サブユニットはさらに、前記第１の全接続層の重みを得るステップと、前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、を行うように構成される。
【００３４】
さらに別の実現可能な形態では、前記点群ニューラルネットワークは第２の全接続層を含み、前記線形変換サブユニットはさらに、第２の全接続層の重みを得るステップと、前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、を行うように構成される。
【００３５】
さらに別の実現可能な形態では、前記取得ユニットは、前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するように構成される第１の取得サブユニットと、前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するように構成される第１の決定サブユニットと、前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るように構成される除去サブユニットと、を含む。
【００３６】
さらに別の実現可能な形態では、前記取得ユニットは、前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るように構成される第１の処理サブユニットと、前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るように構成される第２の処理サブユニットと、をさらに含む。
【００３７】
さらに別の実現可能な形態では、前記予測姿勢は予測位置を含み、前記第２の処理ユニットは、前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得るように構成される分割サブユニット、を含む。
【００３８】
さらに別の実現可能な形態では、前記分割サブユニットはさらに、前記物体の点群データからいずれか１つの点を第１の点として取るステップと、前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、を行うように構成される。
【００３９】
さらに別の実現可能な形態では、前記分割サブユニットはさらに、前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、を行うように構成される。
【００４０】
さらに別の実現可能な形態では、前記第３の処理ユニットは、前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するように構成される計算サブユニットと、前記予測姿勢の平均値を前記物体の姿勢とするように構成される第２の決定サブユニットと、を含む。
【００４１】
さらに別の実現可能な形態では、前記物体姿勢推定装置は、前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするように構成される修正ユニット、をさらに含む。
【００４２】
さらに別の実現可能な形態では、前記修正ユニットは、前記物体の三次元モデルを取得するように構成される第２の取得サブユニットと、前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするように構成される第３の決定サブユニットと、反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするように構成される調整サブユニットと、を含む。
【００４３】
さらに別の実現可能な形態では、前記物体姿勢推定装置は、前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るように構成される第４の処理ユニット、をさらに含む。
【００４４】
さらに別の実現可能な形態では、前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものであり、前記姿勢損失関数は
【００４５】
【化５】
2021536068.tif 000007
【００４６】
であり、
式中、
【００４７】
【化６】
2021536068.tif 000008
【００４８】
は前記物体の姿勢、
【００４９】
【化７】
2021536068.tif 000009
【００５０】
は前記姿勢のラベルであり、
【００５１】
【化８】
2021536068.tif 000010
【００５２】
は前記点群データにおける少なくとも１つの点の点群姿勢損失関数を加算することを表している。
【００５３】
第３の態様によれば、本願は、バッチ処理装置のプロセッサにより実行されると、前記プロセッサに第１の態様のいずれか一項に記載の方法を実行させるプログラムコマンドを含むコンピュータプログラムが記憶されている、コンピュータ可読記憶媒体を提供する。
【００５４】
第４の態様によれば、本願は、プロセッサと、プログラムコマンドが記憶されているメモリとを含み、前記プログラムコマンドが前記プロセッサにより実行されるとき、前記プロセッサに第１の態様のいずれか一項に記載の方法を実行させる、前記プロセッサは前記メモリに結合されている、物体姿勢および種別を取得する装置を提供する。
【００５５】
本願の実施例では、点群ニューラルネットワークによって物体の点群データを処理し、物体の点群データにおける各点が属する物体の基準点の位置および各点が属する物体の姿勢角を予測し、そして物体の点群データにおける点が属する物体の予測姿勢に対してクラスタリング処理を行うことでクラスタ集合を得て、さらにクラスタ集合に含まれる点の位置の予測値および姿勢角の予測値について平均値を求めて、物体の基準点の位置および物体の姿勢角を得る。
【００５６】
本願は、実行されると、本願の実施例により提供される物体姿勢推定方法を実現できるコンピュータ実行可能コマンドを含む、コンピュータプログラム製品をさらに提供する。
【図面の簡単な説明】
【００５７】
【図１】本願の実施例により提供される物体姿勢推定方法のフローチャートである。
【図２】本願の実施例により提供される別の物体姿勢推定方法のフローチャートである。
【図３】本願の実施例により提供される別の物体姿勢推定方法のフローチャートである。
【図４】本願の実施例により提供される物体姿勢推定に基づく物体把持のフローチャートである。
【図５】本願の実施例により提供される物体姿勢推定装置の構造模式図である。
【図６】本願の実施例により提供される物体姿勢推定装置のハードウェア構成図である。
【発明を実施するための形態】
【００５８】
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的解決手段を説明するために用いられる。
【００５９】
本願の解決手段を当業者により好適に理解させるために、以下は本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の実施例の一部に過ぎず、全ての実施例ではない。本願の実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本願の保護範囲に属する。
【００６０】
本願の明細書、特許請求の範囲および上記図面における「第１」、「第２」等の用語は、特定の順序を記述するものではなく、異なる対象を区別するためのものである。また、「含む」、「備える」という用語およびそれらのいかなる変形も、非排他的に含むことを意図する。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品または機器は、挙げられたステップまたはユニットに限定されるものではなく、さらに挙げられないステップまたはユニットを選択可能に含み、または、さらに、これらのプロセス、方法または機器に固有の他のステップまたはユニットを選択可能に含む。
【００６１】
本明細書で言及される「実施例」は、実施例で説明された特定の特徴、構造または特性により本願の少なくとも１つの実施例に含まれることが可能であるのを意味する。明細書の各箇所で出現する前記用語は必ず同じ実施例を指すというわけでなく、他の実施例に対して排他的に独立した実施例または代替的な実施例であるというわけでもない。本明細書に記載の実施例を他の実施例と組み合わせてよいことが当業者に明示的または暗示的に理解される。
【００６２】
工業分野において、組み立てられるべき部品は一般的に材料ボックスまたは材料トレイに置かれ、材料ボックスまたは材料トレイに置かれる部品の組み立ては、組み立てプロセス中の重要な一環である。組み立てられるべき部品の数が膨大であるため、手動組み立ての方式は効率が低く、且つ人件費が高い。本願では、点群ニューラルネットワークによって材料ボックスまたは材料トレイ内の部品を認識することで、組み立てられるべき部品の姿勢情報が自動的に得られ、その後、ロボットまたはロボットアームは、組み立てられるべき部品の姿勢情報に基づいて、組み立てられるべき部品の把持および組み立てを完了することができる。
【００６３】
本願の実施例または背景技術における技術的解決手段をより明瞭に説明するために、以下、本願の実施例または背景技術に用いられる図面について説明する。
【００６４】
以下に本願の実施例における図面と関連付けて本願の実施例を説明する。本願により提供される方法のステップの実行主体について、ハードウェアにより実行されてもよく、またはプロセッサがコンピュータ実行可能コードを実行することにより実行されてもよい。
【００６５】
図１は、本願の実施例により提供される物体姿勢推定方法のフローチャートである。
【００６６】
１０１では、物体の点群データを取得する。
【００６７】
本開示の実施例では、物体の点群データを処理することで、物体の姿勢を得る。物体の点群データを取得する一可能な形態において、三次元レーザースキャナによって物体を走査し、レーザー光が物体の表面に照射される時、反射されるレーザー光には方位、距離等の情報が担持されるようになり、レーザービームを特定の軌跡で走査させると、走査しながら反射されたレーザー光スポット情報が記録されるようになる。走査が極めて精細であるため、大量のレーザー光スポットが得られ、さらに物体の点群データが得られる。
【００６８】
１０２では、上記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、少なくとも１つの点が属する物体の予測姿勢を得る。
【００６９】
物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力することで、点群データにおける各点が属する物体の基準点の位置および属する物体の姿勢角を予測し、各物体の予測姿勢を得て、ベクトルの形で提供し、ここで、上記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、上記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む。
【００７０】
上記点群ニューラルネットワークは予めトレーニングされたものであり、一実現可能な形態では、上記点群ニューラルネットワークのトレーニング方法は以下を含む。物体の点群データおよびラベルデータを取得する。前記物体の点群データに対して特徴抽出処理を行い、特徴データを得る。前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得る。前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得る。前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得る。前記特徴データに対して第３の線形変換を行い、前記点群データにおける点に対応する物体の種別認識結果を得る。前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得て、ここで、前記予測姿勢は、前記点が属する物体の基準点の予測位置および前記点が属する物体の基準点の予測姿勢角を含む。前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得る。分類損失関数、前記物体種別の予測結果および前記ラベルデータに基づいて、分類損失関数値を得る。姿勢損失関数、前記物体の姿勢および前記物体の姿勢ラベルに基づいて、姿勢損失関数値を得て、ここで、前記姿勢損失関数の表現式は
【００７１】
【化９】
2021536068.tif 000011
【００７２】
であり、式中、
【００７３】
【化１０】
2021536068.tif 000012
【００７４】
は前記物体の姿勢、
【００７５】
【化１１】
2021536068.tif 000013
【００７６】
は前記姿勢のラベルであり、
【００７７】
【化１２】
2021536068.tif 000014
【００７８】
は少なくとも１つの点の点群姿勢関数を加算することを表している。点ごとの点群損失関数、視認性予測損失関数、前記分類損失関数値、前記姿勢損失関数値に基づいて、点ごとの点群損失関数値を得る。前記点ごとの点群損失関数値が閾値未満となるように、前記点群ニューラルネットワークの重みを調整し、トレーニング後の点群ニューラルネットワークを得る。
【００７９】
本願は上記分類損失関数および総損失関数の具体的な形態を限定しないことを理解されたい。トレーニング後の点群ニューラルネットワークは、物体の点群データにおける各点が属する物体の基準点の位置および各点が属する物体の姿勢角を予測し、位置の予測値および姿勢角の予測値をベクトルの形で提供するとともに、点群における点が属する物体の種別を提供することができる。
【００８０】
１０３では、上記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る。
【００８１】
物体の点群データにおける点が属する物体の予測姿勢に対してクラスタリング処理を行い、１つの物体にそれぞれ対応する少なくとも１つのクラスタ集合を得る。一実現可能な形態では、ミーンシフトクラスタリングアルゴリズムにより、物体の点群データにおける点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る。
【００８２】
１０４では、上記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、上記物体の姿勢を得る。
【００８３】
各クラスタ集合内には複数の点が含まれ、各点は、いずれも位置の予測値および姿勢角の予測値を有する。一実現可能な形態では、クラスタ集合に含まれる点の位置の予測値について平均値を求めて、位置の予測値の平均値を上記物体の基準点の位置とし、クラスタ集合に含まれる点の姿勢角の予測値について平均値を求め、姿勢角の予測値の平均値を上記物体の姿勢角とする。
【００８４】
任意選択的に、１０１〜１０４の処理により、任意のシーンにおいて積み重なっている少なくとも１つの物体の姿勢が得られる。物体の把持点がいずれも予め設定されたものであるため、カメラ座標系における物体の基準点の位置および物体の姿勢角を得た場合には、以下のように行う。物体の姿勢角に基づいて、ロボットエンドエフェクタの調整角度を得る。物体の基準点と把持点との間の位置関係に基づいて、カメラ座標系における把持点の位置を得る。その後、ロボットのハンドアイ校正結果（すなわち、カメラ座標系における把持点の位置）に基づいて、ロボット座標系における把持点の位置を得る。ロボット座標系における把持点の位置に基づいて経路を計画し、ロボットの走行経路を得る。調整角度および走行経路を制御コマンドとして、少なくとも１つの積み重なっている物体を把持するようにロボットを制御する。本願の実施例では、点群ニューラルネットワークによって物体の点群データを処理し、物体の点群における各点が属する物体の基準点の位置および各点が属する物体の姿勢角を予測し、そして、物体の点群データにおける点が属する物体の予測姿勢に対してクラスタリング処理を行うことでクラスタ集合を得て、さらに、クラスタ集合に含まれる点の位置の予測値および姿勢角の予測値について平均値を求めて、物体の基準点の位置および物体の姿勢角を得る。
【００８５】
図２は、本願の実施例により提供される別の物体姿勢推定方法のフローチャートである。
【００８６】
２０１では、物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得する。
【００８７】
物体が材料ボックスまたは材料トレイ内に置かれ、且つ物体が全て積み重なった状態にあるため、物体の積み重なった状態での点群データを直接得ることはできない。材料ボックスまたは材料トレイの点群データ（すなわち、予め記憶されている背景点群データ）を取得し、および物体が置かれる材料ボックスまたは材料トレイの点群データ（すなわち、物体が存在するシーンのシーン点群データ）を取得し、そして上記２つの点群データにより物体の点群データを得る。一実現可能な形態では、三次元レーザースキャナによって物体が存在するシーン（上記材料ボックスまたは材料トレイ）を走査し、レーザー光が材料ボックスまたは材料トレイの表面に照射される時、反射されたレーザー光には方位、距離等の情報が担持されるようになり、レーザービームを特定の軌跡で走査させると、走査しながら反射されたレーザー光スポット情報が記録されるようになる。走査が極めて精細であるため、大量のレーザー光スポットが得られ、さらに背景点群データが得られる。その後、物体を材料ボックスまたは材料トレイ内に置き、三次元のレーザー光走査により物体が存在するシーンのシーン点群データを得る。
【００８８】
ここで、以下のことを理解されたい。上記物体の数は少なくとも１つであり、且つ物体は同じ種別の物体であっても、異なる種別の物体であってもよい。物体を材料ボックスまたは材料トレイ内に置く際に、置く順序について特に要求されず、全ての物体を材料ボックスまたは材料トレイ内に随意に積み重ねることができる。また、本願では、物体が存在するシーンのシーン点群データを取得する順序、および予め記憶されている背景点群データを取得する順序について具体的に限定しない。
【００８９】
２０２では、上記シーン点群データおよび上記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定する。
【００９０】
点群データに含まれる点の数が膨大であり、点群データに対する処理の計算量も非常に大きいため、物体の点群データのみを処理すれば、計算量を減らし、処理速度を高めることができる。まず、上記シーン点群データおよび上記背景点群データに同じデータが存在するか否かを判断し、同じデータが存在する場合、上記シーン点群データから前記同じデータを除去し、上記物体の点群データを得る。
【００９１】
２０３では、上記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得る。
【００９２】
上述したように、点群データには大量の点が含まれ、２０２の処理を経て、多くの計算量を減らしても、物体の点群データにはまだ大量の点が含まれるため、そのまま点群ニューラルネットワークによって物体の点群データを処理すると、その計算量は依然として非常に大きい。また、点群ニューラルネットワークを実行するハードウェアの構成に制限されているため、計算量が大きくなりすぎると後続処理の速度に影響を及ぼし、正常の処理すらできなくなる恐れがある。したがって、点群ニューラルネットワークに入力される物体の点群データにおける点の数を制限し、上記物体の点群データにおける点の数を第１の所定値に減らす必要があり、第１の所定値は、具体的なハードウェア構成に応じて調整することができる。一実現可能な形態では、物体の点群データに対してランダムサンプリング処理を行い、数が第１の所定値となる点を得る。別の実現可能な形態では、物体の点群データに対して最遠点サンプリング処理を行い、数量が第１の所定値となる点を得る。さらに別の実現可能な形態では、物体の点群データに対して均等サンプリング処理を行い、数が第１の所定値となる点を得る。
【００９３】
２０４では、上記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、上記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得る。
【００９４】
上記数が第１の所定値となる点を点群ニューラルネットワークに入力し、点群ニューラルネットワークによって上記数が第１の所定値となる点に対して特徴抽出処理を行い、特徴データを得る。一実現可能な形態では、点群ニューラルネットワークにおける畳み込み層によって上記数が第１の所定値となる点に対して畳み込み処理を行い、特徴データを得る。
【００９５】
特徴抽出処理を経て得られた特徴データは全接続層に入力される。全接続層の数は複数であってもよく、点群ニューラルネットワークをトレーニングした後、異なる全接続層が異なる重みを有するため、特徴データが異なる全接続層により処理された後、得られた結果は全て異なることを理解されたい。上記特徴データに対して第１の線形変換を行い、上記数が第１の所定値となる点が属する物体の基準点の位置から点の位置までの予測変位ベクトルを得て、そして、上記点の位置と上記予測変位ベクトルに基づいて上記点が属する物体の基準点の予測位置を得て、すなわち、各点から属する物体の基準点までの変位ベクトルおよび前記点の位置を予測することで、各点が属する物体の基準点の位置が得られ、こうして各点が属する物体の基準点の位置の予測値の範囲は比較的揃うようになり得、点群ニューラルネットワークの収束性はより高くなる。上記特徴データに対して第２の線形変換を行い、上記数が第１の所定値となる点が属する物体の姿勢角の予測値を得て、そして、上記特徴データに対して第３の線形変換を行い、上記数が第１の所定値となる点が属する物体の種別を得る。一実現可能な形態では、第１の全接続層の重みに基づいて、畳み込み層から出力される異なる特徴データの重みを決定し、第１の重み付けされたオーバーラップ加算を行い、上記数が第１の所定値となる点が属する物体の基準点の位置の予測値を得る。そして、第２の全接続層の重みに基づいて、畳み込み層から出力される異なる特徴データに対して第２の重み付けされたオーバーラップ加算を行い、上記数が第１の所定値となる点が属する物体の姿勢角の予測値を得る。さらに、第３の全接続層の重みに基づいて、畳み込み層から出力される異なる特徴データの重みを決定し、第３の重み付けされたオーバーラップ加算を行い、上記数が第１の所定値となる点が属する物体の種別を得る。
【００９６】
本開示の実施例では、点群ニューラルネットワークをトレーニングすることで、トレーニング後の点群ニューラルネットワークは物体の点群データに基づいて、点群データにおける点が属する物体の基準点の位置および属する物体の姿勢角を認識することができる。
【００９７】
図３は本願の実施例により提供される別の物体姿勢推定方法のフローチャートである。
【００９８】
３０１では、少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る。
【００９９】
点群ニューラルネットワークの処理を経て、物体の点群データにおける各点はいずれも対応する予測ベクトルを有しており、各予測ベクトルには前記点が属する物体の位置の予測値および姿勢角の予測値が含まれる。異なる物体の姿勢が空間的に必ず重なり合わないため、異なる物体に属する点から得られた予測ベクトルは大きく異なるが、同じ物体に属する点から得られた予測ベクトルはほぼ同じであり、そこで、上記少なくとも１つの点が属する物体の予測姿勢、およびクラスタリング処理方法に基づいて物体の点群データにおける点を分割し、対応するクラスタ集合を得る。一実現可能な形態では、上記物体の点群データからいずれか１つの点を第１の点として取る。第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築する。上記第１の点を始点とし、上記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、上記第１のベクトルを加算して第２のベクトルを得る。上記第２のベクトルの係数が閾値以下である場合、上記第１の調整対象クラスタ集合をクラスタ集合とする。上記第２のベクトルの係数が閾値より大きい場合、第１の点を上記第２のベクトルに沿って移動させ、第２の点を得る。第２の点を球心とし、上記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築する。前記第２の点を始点、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とする第３のベクトルを加算して第４のベクトルを得る。上記第４のベクトルの係数が上記閾値以下である場合、上記第２の調整対象クラスタ集合をクラスタ集合とする。上記第４のベクトルの係数が上記閾値より大きい場合、第２の調整対象クラスタ集合を構築する上記ステップを、新たに構築された調整対象クラスタ集合における球心以外の点から球心までのベクトルの和の係数が上記閾値以下となるまで繰り返し、前記調整対象クラスタ集合をクラスタ集合とする。上記クラスタリング処理によって少なくとも１つのクラスタ集合が得られ、各クラスタ集合はいずれも１つの球心を有しており、いずれか２つの球心の間の距離が第２の閾値未満である場合、この２つの球心に対応するクラスタ集合を１つのクラスタ集合として統合する。
【０１００】
なお、上記実現可能なクラスタリング処理方法以外、他のクラスタリング方法、例えば密度によるクラスタリング方法、分割によるクラスタリング方法、ネットワークによるクラスタリング方法によって上記少なくとも１つの点が属する物体の予測姿勢をクラスタリングすることもできることを理解されたい。これについて、本願は具体的に限定しない。
【０１０１】
３０２では、上記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、上記物体の姿勢を得る。
【０１０２】
上記得られたクラスタ集合には複数の点が含まれ、各点は、いずれもその属する物体の基準点の位置の予測値および属する物体の姿勢角の予測値を有しており、且つ各クラスタ集合は１つの物体に対応する。クラスタ集合における点が属する物体の基準点の位置の予測値について平均値を求めて、位置の予測値の平均値を前記クラスタ集合に対応する物体の基準点の位置とし、そして、クラスタ集合における点が属する物体の姿勢角の予測値について平均値を求めて、姿勢角の予測値の平均値を前記クラスタ集合に対応する物体の姿勢角とすることで、上記物体の姿勢を得る。
【０１０３】
上記のようにして得られた物体の姿勢は精度が低く、前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とすることで、得られた物体の姿勢の精度を高めることができる。一実現可能な形態では、上記物体の三次元モデルを取得し、三次元モデルをシミュレーション環境に配置し、上記クラスタ集合における点が属する物体の基準点の位置の予測値の平均値を三次元モデルの基準点の位置とし、上記クラスタ集合における点が属する物体の姿勢角の予測値の平均値を三次元モデルの姿勢角とし、その後、三次元モデルと、物体の点群データにおける対応する位置の物体の領域との重なり度が第３の所定値となるように、反復最近点アルゴリズム、上記三次元モデルおよび上記物体の点群に基づいて三次元モデルの位置を調整し、位置調整後の三次元モデルの基準点の位置を物体の基準点の位置とし、調整後の三次元モデルの姿勢角を物体の姿勢角とする。
【０１０４】
本開示の実施例では、点群ニューラルネットワークから出力される少なくとも１つの点が属する物体の姿勢に基づいて、物体の点群データに対してクラスタリング処理を行い、クラスタ集合を得る。その後、クラスタ集合内に含まれる点が属する物体の基準点の位置の予測値の平均値および姿勢角の予測値の平均値に基づいて、物体の基準点の位置および物体の姿勢角を得る。
【０１０５】
図４は、本願の実施例により提供される物体姿勢推定に基づく物体把持のフローチャートである。
【０１０６】
４０１では、物体の姿勢に基づいて、制御コマンドを得る。
【０１０７】
実施例２（２０１〜２０４）および実施例３（３０１〜３０２）の処理によって、任意のシーンにおいて積み重なっている少なくとも１つの物体の姿勢が得られる。物体の把持点がいずれも予め設定されたものであるため、カメラ座標系における物体の基準点の位置および物体の姿勢角を得た場合には、以下のように行う。物体の姿勢角に基づいて、ロボットエンドエフェクタの調整角度を得る。物体の基準点と把持点との間の位置関係に基づいて、カメラ座標系における把持点の位置を得る。その後、ロボットのハンドアイ校正結果（すなわち、カメラ座標系における把持点の位置）に基づいて、ロボット座標系における把持点の位置を得る。ロボット座標系における把持点の位置に基づいて経路を計画し、ロボットの走行経路を得る。調整角度および走行経路を制御コマンドとする。
【０１０８】
４０２では、上記制御コマンドに基づいて、物体を把持するようにロボットを制御する。
【０１０９】
制御コマンドをロボットに送信し、物体を把持し且つ組み立てるようにロボットを制御する。一実現可能な形態では、物体の姿勢角に基づいて、ロボットエンドエフェクタの調整角度を得て、調整角度に従ってロボットのエンドエフェクタを制御して調整する。物体の基準点の位置、および把持点と基準点との間の位置関係に基づいて、把持点の位置を得る。ハンドアイ校正結果に基づいて把持点の位置を変換させ、ロボット座標系における把持点の位置を得る。そして、ロボット座標系における把持点の位置に基づいて経路を計画し、ロボットの走行経路得る。さらに、走行経路に沿って移動するようにロボットを制御し、エンドエフェクタによって物体を把持し、物体を組み立てる。
【０１１０】
本開示の実施例では、物体の姿勢に基づいて、物体を把持し組み立てるようにロボットを制御する。
【０１１１】
以下の実施例は、本願の実施例により提供される上記点群ニューラルネットワークのトレーニング方法である。
【０１１２】
物体の点群データおよびラベルデータを取得する。前記物体の点群データに対して特徴抽出処理を行い、特徴データを得る。前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得る。前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得る。前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得る。前記特徴データに対して第３の線形変換を行い、前記点群データにおける点に対応する物体の種別認識結果を得る。前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得て、ここで、前記予測姿勢は、前記点が属する物体の基準点の予測位置および前記点が属する物体の基準点の予測姿勢角を含む。前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得る。分類損失関数、前記物体種別の予測結果および前記ラベルデータに基づいて、分類損失関数値を得る。姿勢損失関数、前記物体の姿勢および前記物体の姿勢ラベルに基づいて、姿勢損失関数値を得て、ここで、前記姿勢損失関数の表現式は
【０１１３】
【化１３】
2021536068.tif 000015
【０１１４】
であり、式中、
【０１１５】
【化１４】
2021536068.tif 000016
【０１１６】
は前記物体の姿勢、
【０１１７】
【化１５】
2021536068.tif 000017
【０１１８】
は前記姿勢のラベルであり、
【０１１９】
【化１６】
2021536068.tif 000018
【０１２０】
は少なくとも１つの点の点群姿勢関数を加算することを表している。点ごとの点群損失関数、視認性予測損失関数、前記分類損失関数値、前記姿勢損失関数値に基づいて、点ごとの点群損失関数値を得る。前記点ごとの点群損失関数値が閾値未満となるように、前記点群ニューラルネットワークの重みを調整し、トレーニング後の点群ニューラルネットワークを得る。
【０１２１】
以上本願の実施例の方法を詳細に述べたが、以下本願の実施例の装置を提供する。
【０１２２】
図５は本願の実施例により提供される物体姿勢推定装置の構造模式図であり、前記装置１は、
物体の点群データを取得するように構成される取得ユニット１１であって、前記点群データは少なくとも１つの点を含む取得ユニット１１と、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るように構成される第１の処理ユニット１２と、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るように構成される第２の処理ユニット１３と、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得るように構成される第３の処理ユニット１４と、
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするように構成される修正ユニット１５と、
前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るように構成される第４の処理ユニット１６と、を含む。
【０１２３】
さらに、前記物体の姿勢は、前記物体の基準点の姿勢を含み、前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む。
【０１２４】
さらに、前記第１の処理ユニット１２は、前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るように構成される特徴抽出サブユニット１２１と、前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るように構成される線形変換サブユニット１２２と、を含む。
【０１２５】
さらに、前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含む。前記線形変換サブユニット１２２はさらに、前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、を行うように構成される。
【０１２６】
さらに、前記点群ニューラルネットワークは第１の全接続層を含み、前記線形変換サブユニット１２２はさらに、前記第１の全接続層の重みを得るステップと、前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、を行うように構成される。
【０１２７】
さらに、前記点群ニューラルネットワークは第２の全接続層を含み、前記線形変換サブユニット１２２はさらに、第２の全接続層の重みを得るステップと、前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、を行うように構成される。
【０１２８】
さらに、前記取得ユニット１１は、前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するように構成される第１の取得サブユニット１１１と、前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するように構成される第１の決定サブユニット１１２と、前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るように構成される除去サブユニット１１３と、を含む。
【０１２９】
さらに、前記取得ユニット１１は、前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るように構成される第１の処理サブユニット１１４と、前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るように構成される第２の処理サブユニット１１５と、をさらに含む。
【０１３０】
さらに、前記予測姿勢は予測位置を含み、前記第２の処理ユニット１３は、前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得るように構成される分割サブユニット１３１、を含む。
【０１３１】
さらに、前記分割サブユニット１３１はさらに、前記物体の点群データからいずれか１つの点を第１の点として取るステップと、前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、を行うように構成される。
【０１３２】
さらに、前記分割サブユニット１３１はさらに、前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、を行うように構成される。
【０１３３】
さらに、前記第３の処理ユニット１４は、前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するように構成される計算サブユニット１４１と、前記予測姿勢の平均値を前記物体の姿勢とするように構成される第２の決定サブユニット１４２と、を含む。
【０１３４】
さらに、前記修正ユニット１５は、前記物体の三次元モデルを取得するように構成される第２の取得サブユニット１５１と、前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするように構成される第３の決定サブユニット１５２と、反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするように構成される調整サブユニット１５３と、を含む。
【０１３５】
さらに、前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものであり、前記姿勢損失関数は、
【０１３６】
【化１７】
2021536068.tif 000019
【０１３７】
であり、式中、
【０１３８】
【化１８】
2021536068.tif 000020
【０１３９】
は前記物体の姿勢、
【０１４０】
【化１９】
2021536068.tif 000021
【０１４１】
は前記姿勢のラベルであり、
【０１４２】
【化２０】
2021536068.tif 000022
【０１４３】
は前記点群データにおける少なくとも１つの点の点群姿勢損失関数を加算することを表している。
【０１４４】
図６は、本願の実施例により提供される物体姿勢推定装置のハードウェア構成図である。前記推定装置２は、プロセッサ２１を含み、さらに入力装置２２、出力装置２３およびメモリ２４を含んでもよい。前記入力装置２２、出力装置２３、メモリ２４およびプロセッサ２１はバスによって相互に接続されている。
【０１４５】
メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、または携帯型読み取り専用メモリ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＣＤ−ＲＯＭ）を含むが、これらに限定されず、前記メモリは関連コマンドおよびデータを記憶するために用いられる。
【０１４６】
入力装置はデータおよび／または信号を入力するために用いられ、出力装置はデータおよび／または信号を出力するために用いられる。出力装置および入力装置は個別の装置であってもよく、一体化された装置であってもよい。
【０１４７】
プロセッサは１つ以上のプロセッサ、例えば１つ以上の中央プロセッサ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）を含み得、プロセッサが１つのＣＰＵである場合、前記ＣＰＵはシングルコアＣＰＵであっても、マルチコアＣＰＵであってもよい。
【０１４８】
メモリは、ネットワーク機器のプログラムコードおよびデータを記憶するために用いられる。
【０１４９】
プロセッサは、前記メモリ内のプログラムコードおよびデータを呼び出し、上記方法の実施例に記載のステップを実行するために用いられる。具体的には方法の実施例の記載を参照すればよく、ここでは繰り返して詳述しない。
【０１５０】
図６は物体姿勢推定装置の簡略化した設計を示しているものに過ぎず、実際の応用時には、物体姿勢推定装置は必要とされる他の素子をそれぞれ含んでもよく、それは任意の数の入力／出力装置、プロセッサ、コントローラ、メモリなどを含むが、これらに限定されず、本願の実施例を実現できる物体姿勢推定装置は全て本願の実施例の保護範囲内に含まれることが理解される。
【０１５１】
本願の実施例は、実行されると、コンピュータに上記いずれか１つの実施例により提供される物体姿勢推定方法の操作を実行させるコンピュータ可読コマンドを記憶するためのコンピュータプログラム製品、をさらに提供する。
【０１５２】
前記コンピュータプログラム製品は具体的にはハードウェア、ソフトウェアまたはそれらの組合せにより実現可能である。選択可能な一実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体（揮発性および不揮発性の記憶媒体を含む）として実現され、別の選択可能な一実施例において、コンピュータプログラム製品は具体的には、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｋｉｔ：ＳＤＫ）などのソフトウェア製品として実現される。
【０１５３】
なお、本明細書で開示された実施例に記載の各例のユニットおよびアルゴリズムのステップに基づいて、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組み合せで実現可能であることは、当業者であれば想到できる。これらの機能をハードウェアの形態で実行するか、またはソフトウェアの形態で実行するかは、技術的解決手段の特定の用途および設計制約条件によって決定される。専門技術者は各特定の用途について、記述した機能を異なる方法を用いて実現できるが、このような実現は本願の範囲を超えたものと理解すべきではない。
【０１５４】
なお、説明を簡便にするために、上述したシステム、装置およびユニットの具体的な動作プロセスは、前記方法の実施例での対応するプロセスを参照すればよく、ここでは説明を省略することは、当業者であれば明確に理解できる。
【０１５５】
本願が提供するいくつかの実施例では、開示するシステム、装置および方法は、他の形態で実現できることを理解すべきである。例えば、上述した装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの区別は、論理機能の区別に過ぎず、実際に実現時に別の区別形態にしてもよく、例えば複数のユニットまたはコンポーネントは組み合わせてもよく、または別のシステムに統合してもよく、またはいくつかの特徴を省略してもよく、もしくは実行しなくてもよい。一方、示したまたは論じた互いのカップリングまたは直接カップリングまたは通信接続はいくつかのインタフェースによるものであってもよく、装置またはユニットの間接カップリングまたは通信接続は、電気的、機械的または他の形式であってもよい。
【０１５６】
別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、すなわち、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
【０１５７】
また、本願の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ以上で１つのユニットに統合されてもよい。
【０１５８】
上記実施例では、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せにより全体的または部分的に実現することができる。ソフトウェアにより実現する時に、コンピュータプログラム製品として全体的または部分的に実現することができる。前記コンピュータプログラム製品は１つまたは複数のコンピュータコマンドを含む。コンピュータに前記コンピュータプログラムコマンドをロードし、実行する時に、本願の実施例によるフローまたは機能が全体的または部分的に発生する。前記コンピュータは汎用コンピュータ、専用コンピュータ、コンピュータネットワークまたは他のプログラマブルデバイスであってよい。前記コンピュータコマンドはコンピュータ可読記憶媒体に記憶されてもよいし、前記コンピュータ可読記憶媒体により伝送されてもよい。前記コンピュータコマンドは１つのウエブサイト、コンピュータ、サーバまたはデータセンタから有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者回線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ：ＤＳＬ））または無線（例えば、赤外線、無線、マイクロ波等）で別のウエブサイト、コンピュータ、サーバまたはデータセンタに伝送可能である。前記コンピュータ可読記憶媒体は、コンピュータがアクセス可能ないかなる利用可能な媒体或いは１つまたは複数の利用可能な媒体を含んで統合されたサーバ、データセンタ等のデータ記憶装置であってよい。前記利用可能な媒体は磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）であってよく、光媒体（例えば、デジタル多用途ディスク（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ：ＤＶＤ））、または半導体媒体（例えば、半導体ディスク（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ：ＳＳＤ）等が挙げられる。
【０１５９】
当業者であれば、上記実施例の方法の全てまたは一部を実現するフローは、コンピュータプログラムによって関連ハードウェアにコマンドを出すことにより完了できることを理解でき、このプログラムは、読み取り専用メモリ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ：ＲＯＭ）やランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ可読記憶媒体に記憶可能であり、前記プログラムが実行される時に、上記各方法の実施例のフローを含むことができる。
【図１】
2021536068.tif 000023
【図２】
2021536068.tif 000024
【図３】
2021536068.tif 000025
【図４】
2021536068.tif 000026
【図５】
2021536068.tif 000027
【図６】
2021536068.tif 000028
【手続補正書】
【提出日】令和3年3月9日(2021.3.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体の点群データを取得することであって、前記点群データは少なくとも１つの点を含むステップと、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るステップと、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るステップと、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得ることであって、前記姿勢は位置および姿勢角を含むステップと、を含む物体姿勢推定方法。
【請求項２】
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得る前記ステップについて、前記物体の点群データに対して前記点群ニューラルネットワークにより行われる操作は、
前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るステップと、
前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るステップと、を含む請求項１に記載の方法。
【請求項３】
前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、
前記特徴データに対して線形変換を行い、前記物体の点群データにおける点の予測姿勢を得る前記ステップは、
前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、
前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、を含む請求項２に記載の方法。
【請求項４】
前記点群ニューラルネットワークは第１の全接続層を含み、前記特徴データに対して第１の線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測位置を得る前記ステップは、
前記第１の全接続層の重みを得るステップと、
前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、を含む請求項３に記載の方法。
【請求項５】
前記点群ニューラルネットワークは第２の全接続層を含み、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の予測姿勢角を得るステップは、
第２の全接続層の重みを得るステップと、
前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、を含む請求項３に記載の方法。
【請求項６】
前記物体の点群データを取得する前記ステップは、
前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するステップと、
前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するステップと、
前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るステップと、を含む請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るステップと、
前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るステップと、をさらに含む請求項６に記載の方法。
【請求項８】
前記予測姿勢は予測位置を含み、前記少なくとも１つの点に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る前記ステップは、
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得ること、を含む請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得る前記ステップは、
前記物体の点群データからいずれか１つの点を第１の点として取るステップと、
前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、
前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、
前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、を含む請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、
前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、
前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、
前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、をさらに含む請求項９に記載の方法。
【請求項１１】
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするステップ、をさらに含む請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とする前記ステップは、
前記物体の三次元モデルを取得するステップと、
前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするステップと、
反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするステップと、を含む請求項１１に記載の方法。
【請求項１３】
物体の点群データを取得するように構成される取得ユニットであって、前記点群データは少なくとも１つの点を含む取得ユニットと、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るように構成される第１の処理ユニットと、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るように構成される第２の処理ユニットと、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得るように構成される第３の処理ユニットと、を含む物体姿勢推定装置。
【請求項１４】
プロセッサとメモリとを含む物体姿勢推定装置であって、前記プロセッサは前記メモリに結合され、前記メモリはプログラムコマンドが記憶され、前記プログラムコマンドが前記プロセッサにより実行されるとき、前記プロセッサに請求項１から１２のいずれか一項に記載の方法を実行させる、物体姿勢推定装置。
【請求項１５】
コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムはプログラムコマンドを含み、前記プログラムコマンドがバッチ処理装置のプロセッサにより実行されるとき、前記プロセッサに請求項１から１２のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項１６】
コンピュータに、請求項１から１６のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
本願は、実行されると、本願の実施例により提供される物体姿勢推定方法を実現できるコンピュータ実行可能コマンドを含む、コンピュータプログラム製品をさらに提供する。
例えば、本願は以下の項目を提供する。
（項目１）
物体の点群データを取得することであって、前記点群データは少なくとも１つの点を含むステップと、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るステップと、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るステップと、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得ることであって、前記姿勢は位置および姿勢角を含むステップと、を含む物体姿勢推定方法。
（項目２）
前記物体の姿勢は、前記物体の基準点の姿勢を含み、
前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む項目１に記載の方法。
（項目３）
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得る前記ステップについて、前記物体の点群データに対して前記点群ニューラルネットワークにより行われる操作は、
前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るステップと、
前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るステップと、を含む項目１または２に記載の方法。
（項目４）
前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、
前記特徴データに対して線形変換を行い、前記物体の点群データにおける点の予測姿勢を得る前記ステップは、
前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、
前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、を含む項目３に記載の方法。
（項目５）
前記点群ニューラルネットワークは第１の全接続層を含み、前記特徴データに対して第１の線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測位置を得る前記ステップは、
前記第１の全接続層の重みを得るステップと、
前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、を含む項目４に記載の方法。
（項目６）
前記点群ニューラルネットワークは第２の全接続層を含み、前記特徴データに対して第２の線形変換を行い、前記点が属する物体の予測姿勢角を得るステップは、
第２の全接続層の重みを得るステップと、
前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、を含む項目４に記載の方法。
（項目７）
前記物体の点群データを取得する前記ステップは、
前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するステップと、
前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するステップと、
前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るステップと、を含む項目１から６のいずれか一項に記載の方法。
（項目８）
前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るステップと、
前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るステップと、をさらに含む項目７に記載の方法。
（項目９）
前記予測姿勢は予測位置を含み、前記少なくとも１つの点に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得る前記ステップは、
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得ること、を含む項目１から８のいずれか一項に記載の方法。
（項目１０）
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得る前記ステップは、
前記物体の点群データからいずれか１つの点を第１の点として取るステップと、
前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、
前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、
前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、を含む項目１から９のいずれか一項に記載の方法。
（項目１１）
前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、
前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、
前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、
前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、をさらに含む項目１０に記載の方法。
（項目１２）
前記クラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の姿勢を得る前記ステップは、
前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するステップと、
前記予測姿勢の平均値を前記物体の姿勢とするステップと、を含む項目１から１１のいずれか一項に記載の方法。
（項目１３）
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするステップ、をさらに含む項目１から１２のいずれか一項に記載の方法。
（項目１４）
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とする前記ステップは、
前記物体の三次元モデルを取得するステップと、
前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするステップと、
反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするステップと、を含む項目１３に記載の方法。
（項目１５）
前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るステップ、をさらに含む項目１から１４のいずれか一項に記載の方法。
（項目１６）
前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものである項目１から１５のいずれか一項に記載の方法。
（項目１７）
物体の点群データを取得するように構成される取得ユニットであって、前記点群データは少なくとも１つの点を含む取得ユニットと、
前記物体の点群データを予めトレーニングされた点群ニューラルネットワークに入力し、前記少なくとも１つの点が属する物体の予測姿勢を得るように構成される第１の処理ユニットと、
前記少なくとも１つの点が属する物体の予測姿勢に対してクラスタリング処理を行い、少なくとも１つのクラスタ集合を得るように構成される第２の処理ユニットと、
前記少なくとも１つのクラスタ集合に含まれる物体の予測姿勢に基づいて、前記物体の、位置および姿勢角が含まれる姿勢を得るように構成される第３の処理ユニットと、を含む物体姿勢推定装置。
（項目１８）
前記物体の姿勢は、前記物体の基準点の姿勢を含み、
前記物体の姿勢は前記物体の基準点の位置および姿勢角を含み、前記基準点は質量中心、重力中心、中心のうちの少なくとも１つを含む項目１７に記載の装置。
（項目１９）
前記第１の処理ユニットは、
前記少なくとも１つの点に対して特徴抽出処理を行い、特徴データを得るための特徴抽出サブユニットと、
前記特徴データに対して線形変換を行い、前記少なくとも１つの点がそれぞれ属する物体の予測姿勢を得るための線形変換サブユニットと、を含む項目１７または１８に記載の装置。
（項目２０）
前記物体の予測姿勢は、前記物体の基準点の予測位置および予測姿勢角を含み、
前記線形変換サブユニットはさらに、
前記特徴データに対して第１の線形変換を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、
前記特徴データに対して第２の線形変換を行い、前記点が属する物体の基準点の予測姿勢角を得るステップと、に用いられる項目１９に記載の装置。
（項目２１）
前記点群ニューラルネットワークは第１の全接続層を含み、前記線形変換サブユニットはさらに、
前記第１の全接続層の重みを得るステップと、
前記第１の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の基準点の位置から前記点の位置までの予測変位ベクトルを得るステップと、
前記点の位置および前記予測変位ベクトルに基づいて、前記点が属する物体の基準点の予測位置を得るステップと、に用いられる項目２０に記載の装置。
（項目２２）
前記点群ニューラルネットワークは第２の全接続層を含み、前記線形変換サブユニットはさらに、
第２の全接続層の重みを得るステップと、
前記第２の全接続層の重みに基づいて、前記特徴データに対して重み付けされたオーバーラップ加算演算を行い、前記点が属する物体の予測姿勢角を得るステップと、に用いられる項目２０に記載の装置。
（項目２３）
前記取得ユニットは、
前記物体が存在するシーンのシーン点群データ、および予め記憶されている背景点群データを取得するための第１の取得サブユニットと、
前記シーン点群データおよび前記背景点群データに同じデータが存在する場合、前記シーン点群データおよび前記背景点群データ中の同じデータを決定するための第１の決定サブユニットと、
前記シーン点群データから前記同じデータを除去し、前記物体の点群データを得るための除去サブユニットと、を含む項目１７から２２のいずれか一項に記載の装置。
（項目２４）
前記取得ユニットは、
前記物体の点群データに対してダウンサンプリング処理を行い、数が第１の所定値となる点を得るための第１の処理サブユニットと、
前記数が第１の所定値となる点を予めトレーニングされた点群ニューラルネットワークに入力し、前記数が第１の所定値となる点の少なくとも１つが属する物体の予測姿勢を得るための第２の処理サブユニットと、をさらに含む項目２３に記載の装置。
（項目２５）
前記予測姿勢は予測位置を含み、前記第２の処理ユニットは、
前記少なくとも１つのクラスタ集合における点が属する物体の予測位置に基づいて、前記少なくとも１つの点を少なくとも１つの集合に分割し、前記少なくとも１つのクラスタ集合を得るための分割サブユニット、を含む項目１７から２４のいずれか一項に記載の装置。
（項目２６）
前記分割サブユニットはさらに、
前記物体の点群データからいずれか１つの点を第１の点として取るステップと、
前記第１の点を球心とし、第２の所定値を半径とするように第１の調整対象クラスタ集合を構築するステップと、
前記第１の点を始点とし、前記第１の調整対象クラスタ集合における前記第１の点以外の点を終点とするように第１のベクトルを得て、前記第１のベクトルを加算して第２のベクトルを得るステップと、
前記第２のベクトルの係数が閾値以下である場合、前記第１の調整対象クラスタ集合を前記クラスタ集合とするステップと、に用いられる項目１７から２５のいずれか一項に記載の装置。
（項目２７）
前記分割サブユニットはさらに、
前記第２のベクトルの係数が前記閾値より大きい場合、前記第１の点を前記第２のベクトルに沿って移動させ、第２の点を得るステップと、
前記第２の点を球心とし、前記第２の所定値を半径とするように第２の調整対象クラスタ集合を構築するステップと、
前記第２の点を始点とし、前記第２の調整対象クラスタ集合における前記第２の点以外の点を終点とするように第３のベクトルを得て、第３のベクトルを加算して第４のベクトルを得るステップと、
前記第４のベクトルの係数が前記閾値以下である場合、前記第２の調整対象クラスタ集合を前記クラスタ集合とするステップと、に用いられる項目２６に記載の装置。
（項目２８）
前記第３の処理ユニットは、
前記クラスタ集合に含まれる物体の予測姿勢の平均値を計算するための計算サブユニットと、
前記予測姿勢の平均値を前記物体の姿勢とするための第２の決定サブユニットと、を含む項目１７から２７のいずれか一項に記載の装置。
（項目２９）
前記物体姿勢推定装置は、
前記物体の姿勢を修正し、修正後の姿勢を前記物体の姿勢とするための修正ユニットをさらに含む項目１７から２８のいずれか一項に記載の装置。
（項目３０）
前記修正ユニットは、
前記物体の三次元モデルを取得するための第２の取得サブユニットと、
前記クラスタ集合に含まれる点が属する物体の予測姿勢の平均値を前記三次元モデルの姿勢とするための第３の決定サブユニットと、
反復最近点アルゴリズム、および前記物体に対応するクラスタ集合に基づいて前記三次元モデルの位置を調整し、位置調整後の三次元モデルの姿勢を前記物体の姿勢とするための調整サブユニットと、を含む項目２９に記載の装置。
（項目３１）
前記物体姿勢推定装置は、
前記物体の点群データを前記点群ニューラルネットワークに入力し、前記点群データにおける点が属する物体の種別を得るための第４の処理ユニット、をさらに含む項目１７から３０のいずれか一項に記載の装置。
（項目３２）
前記点群ニューラルネットワークは、点ごとの点群損失関数の加算値に基づくものであり、且つ逆伝播トレーニングを行うことで得られたものであり、前記点ごとの点群損失関数は、姿勢損失関数、分類損失関数および視認性予測損失関数に基づいて重み付けされたオーバーラップ加算を行って得られたものであり、且つ前記点ごとの点群損失関数は、前記点群データにおける少なくとも１つの点の損失関数を加算するものである項目１７から３１のいずれか一項に記載の装置。
（項目３３）
プロセッサとメモリとを含む物体姿勢推定装置であって、前記プロセッサは前記メモリに結合され、前記メモリはプログラムコマンドが記憶され、前記プログラムコマンドが前記プロセッサにより実行されるとき、前記プロセッサに項目１から１６のいずれか一項に記載の方法を実行させる、物体姿勢推定装置。
（項目３４）
コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムはプログラムコマンドを含み、前記プログラムコマンドがバッチ処理装置のプロセッサにより実行されるとき、前記プロセッサに項目１から１６のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
（項目３５）
コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、前記コンピュータ実行可能コマンドが実行された後、項目１から１６のいずれか一項に記載の方法のステップを実現できる、コンピュータプログラム製品。
【国際調査報告】
2021536068.tif 000029
2021536068.tif 000030
2021536068.tif 000031
2021536068.tif 000032