(57)【特許請求の範囲】
【請求項１】
複数の作業工程から成る作業を実行可能なロボットが前記作業を実行するのに必要となる、前記ロボットの外部環境に対するセマンティックセグメンテーションを行なう画像認識システムであって、
前記ロボットが実行している前記作業工程の切り替わりを検出する作業工程切り替わり検出手段と、
前記作業工程切り替わり検出手段によって前記作業工程の切り替わりが検出されたら、切り替わり後の作業工程、又は、切り替わり後の前記ロボットのプロファイルの何れかに対応する、少なくとも１つの認識候補を取得する認識候補取得手段と、
前記少なくとも１つの認識候補に対応する識別器を用いて、前記ロボットの前記外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する画像認識手段と、
を備え、
前記作業工程切り替わり検出手段は、前記ロボットのサービス環境内における位置に基づいて、現在の作業工程を判定する、
画像認識システム。
【請求項２】
複数の作業工程から成る作業を実行可能なロボットが前記作業を実行するのに必要となる、前記ロボットの外部環境に対するセマンティックセグメンテーションを行なう画像認識システムであって、
前記ロボットが実行している前記作業工程の切り替わりを検出する作業工程切り替わり検出手段と、
前記作業工程切り替わり検出手段によって前記作業工程の切り替わりが検出されたら、切り替わり後の前記ロボットのプロファイルに対応する、少なくとも１つの認識候補を取得する認識候補取得手段と、
前記少なくとも１つの認識候補に対応する識別器を用いて、前記ロボットの前記外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する画像認識手段と、
を備え、
前記ロボットのプロファイルは、前記ロボットの制御対象の種別であって、
前記ロボットは、把持手段としてのハンド及び移動手段としての台車を含み、
前記ロボットの制御対象は、前記ハンド及び前記台車を含む、
た画像認識システム。
【請求項３】
複数の作業工程から成る作業を実行可能なロボットが前記作業を実行するのに必要となる、前記ロボットの外部環境に対するセマンティックセグメンテーションを行なう画像認識システムであって、
前記ロボットの外部環境を撮像可能なカメラと、
前記ロボットが実行している前記作業工程の切り替わりを検出する作業工程切り替わり検出手段と、
前記作業工程切り替わり検出手段によって前記作業工程の切り替わりが検出されたら、切り替わり後の作業工程、又は、切り替わり後の前記ロボットのプロファイルの何れかに対応する、少なくとも１つの認識候補を取得する認識候補取得手段と、
前記少なくとも１つの認識候補に対応する識別器を用いて、前記ロボットの前記外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する画像認識手段と、
を備え、
前記認識候補取得手段は、前記カメラの視野が広い場合は相対的に抽象的な認識候補を取得し、前記カメラの視野が狭い場合は相対的に具体的な認識候補を取得する、
画像認識システム。
【請求項４】
請求項３に記載の画像認識システムであって、
前記ロボットにはDepthセンサが設けられており、
前記カメラの視野が相対的に広いことは、前記Depthセンサの出力値の平均値が相対的に大きいことであり、
前記カメラの視野が相対的に狭いことは、前記Depthセンサの出力値の平均値が相対的に小さいことである、
画像認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識システムに関する。
【背景技術】
【０００２】
非特許文献１は、抽象的なラベルを上層、具体的なラベルを下層とする階層的なラベル木を作成し、尤度が一定以上となる最も下層のラベルを割り当てる、セマンティックラベリング技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】Chenxia Wu, Ian Lenz and Ashutosh Saxena、『Hierarchical Semantic Labeling for Task-RelevantRGB-D Perception』、第１頁、[online]、２０１４年６月３日、［２０１４年４月２６日検索］、インターネット（URL:http://www.cs.cornell.edu/~asaxena/papers/wulenzsaxena_hierarchicallabel-rgbd_rss2014.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ラベル木や枝葉の数が多いとラベリングに失敗する可能性が高くなる。
【０００５】
本発明の目的は、ラベリングの成功率を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の観点によれば、複数の作業工程から成る作業を実行可能なロボットが前記作業を実行するのに必要となる、前記ロボットの外部環境に対するセマンティックセグメンテーションを行なう画像認識システムであって、前記ロボットが実行している前記作業工程の切り替わりを検出する作業工程切り替わり検出手段と、前記作業工程切り替わり検出手段によって前記作業工程の切り替わりが検出されたら、切り替わり後の作業工程、又は、切り替わり後の前記ロボットのプロファイルの何れかに対応する、少なくとも１つの認識候補を取得する認識候補取得手段と、前記少なくとも１つの認識候補に対応する識別器を用いて、前記ロボットの前記外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する画像認識手段と、を備えた画像認識システムが提供される。
【発明の効果】
【０００７】
本発明によれば、各作業工程毎に異なる認識候補が用いられるので、ラベリングの成功率が向上する。
【図面の簡単な説明】
【０００８】
【図１】画像認識システムの機能ブロック図である。
【図２】画像認識システムの動作のフローチャートである。
【図３】ロボットのサービス環境の平面図である。
【発明を実施するための形態】
【０００９】
（第１実施形態）
以下、図１及び図２を参照して、第１実施形態を説明する。
【００１０】
図１には、画像認識システム１の機能ブロック図を示している。画像認識システム１は、複数のフェイズ（作業工程）から成るタスク（作業）を実行可能なロボットがタスクを実行するのに必要となる、ロボットの外部環境に対するセマンティックセグメンテーション（画像認識、ラベリング）を行なうシステムである。
【００１１】
画像認識システム１は、ラベルセットDB２と、ラベル決定プロファイルDB３と、フェイズ検出部４（作業工程切り替わり検出手段）と、ラベル選択部５（認識候補取得手段）と、識別モデル切替部６と、画像認識部７（画像認識手段）と、を備えている。
【００１２】
以下、説明の便宜上、ロボットのタスクは、移動フェイズ、ドア開けフェイズ、物体把持フェイズを含むものとする。移動フェイズは、ロボットのサービス環境内に設置された冷蔵庫の正面にロボットが移動するフェイズである。ドア開けフェイズは、ロボットが冷蔵庫のドアの取っ手を把持してドアを開けるフェイズである。物体把持フェイズは、冷蔵庫内に収納されている物体をロボットが把持するフェイズである。
【００１３】
ラベルセットDB２は、各フェイズ毎に、複数のラベル（認識候補）によって構成されるラベルセット（認識候補セット）が関連付けて記憶されている。例えば、移動フェイズには、｛床、冷蔵庫、棚、障害物｝というラベルセットが関連付けられている。ドア開けフェイズには、｛ドア、取っ手、床、シール｝というラベルセットが関連付けられている。物体把持フェイズには、｛テーブル、壁、缶、ペットボトル、その他の物体｝というラベルセットが関連付けられている。
【００１４】
フェイズ検出部４は、ロボットが実行しているフェイズの切り替わりを検出する。具体的には、フェイズ検出部４は、ロボットが実行しているフェイズが移動フェイズからドア開けフェイズへ切り替わること、又は、ロボットが実行しているフェイズがドア開けフェイズから物体把持フェイズへ切り替わること、を検出する。フェイズ検出部４は、例えばロボットの制御部から、現在実行中であるフェイズの完了報告を受けることでフェイズの切り替わりを検出する。
【００１５】
ラベル選択部５は、フェイズ検出部４がフェイズの切り替わりを検出したら、切り替わり後のフェイズに対応するラベルセットをラベルセットDB２を参照して取得する。
【００１６】
識別モデル切替部６は、ラベル選択部５が取得したラベルセットに対応した識別モデル（識別器）を取得する。ここで、識別モデルとは、RGBやdepthなどの入力情報をもとに、ラベルを推定して出力する識別器のことである。識別モデル切替部６は、予め生成されている複数の識別モデルから選択して取得してもよいし、都度、識別モデルを生成してもよいし、フェイズの切り替わりの直前に使用していた識別モデルを転移学習させることで新たな識別モデルを生成してもよい。ここで、転移学習とは、出力層の出力数を修正したり、訓練データのGroundTruthをラベルセットに合わせる学習を行なうことを意味する。
【００１７】
具体的には、ロボットが実行しているフェイズが移動フェイズからドア開けフェイズへ切り替わったら、識別モデル切替部６は、｛ドア、取っ手、床、シール｝というラベルセットに対応した識別モデルを取得する。同様に、ロボットが実行しているフェイズがドア開けフェイズから物体把持フェイズへ切り替わったら、識別モデル切替部６は、｛テーブル、壁、缶、ペットボトル、その他の物体｝というラベルセットに対応した識別モデルを取得する。
【００１８】
そして、画像認識部７は、識別モデル切替部６が取得した識別モデルを用いて、ロボットの外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する。
【００１９】
次に、図２を参照して、画像認識システム１の動作のフローを説明する。
【００２０】
先ず、ロボットがタスクを開始すると、フェイズ検出部４は、ロボットが現在実行しているフェイズの種別を判定する（S100）。次に、フェイズ検出部４は、前回判定されたフェイズと、今回判定したフェイズが異なっているか判定する（S110）。そして、前回判定したフェイズと、今回判定したフェイズが同じであるとフェイズ検出部４が判定した場合は（S110:NO）、画像認識部７が現在使用している識別モデルをそのまま用いて、ロボットの外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行し（S140）、後処理を実行し（S150）、処理をS100に戻す。
【００２１】
これに対し、S110で、前回判定したフェイズと今回判定したフェイズが異なっているとフェイズ検出部４が判定した場合（S110:YES）、ラベル選択部５は、今回判定したフェイズに対応するラベルセットをラベルセットDB２を参照して取得する（S120）。
【００２２】
次に、識別モデル切替部６は、ラベル選択部５が取得したラベルセットに対応する識別モデルを取得する（S130）。
【００２３】
そして、画像認識部７は、識別モデル切替部６が取得した識別モデルを用いて、ロボットの外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する（S140）。
【００２４】
以上に、上記第１実施形態を説明したが、上記第１実施形態は、以下の特徴を有する。
【００２５】
画像認識システム１は、複数のフェイズ（作業工程）から成るタスク（作業）を実行可能なロボットがタスクを実行するのに必要となる、ロボットの外部環境に対するセマンティックセグメンテーションを行なうシステムである。画像認識システム１は、ロボットが実行しているフェイズの切り替わりを検出するフェイズ検出部４（作業工程切り替わり検出手段）と、フェイズ検出部４によってフェイズの切り替わりが検出されたら、切り替わり後のフェイズに対応する、複数のラベル（認識候補）を取得するラベル選択部５（認識候補取得手段）と、複数の認識候補に対応する識別モデル（識別器）を用いて、ロボットの外部環境を撮像して得られる画像に対してセマンティックセグメンテーションを実行する画像認識部７（画像認識手段）と、を備える。以上の構成によれば、各作業工程毎に異なる認識候補が用いられるので、ラベリングの成功率が向上する。
【００２６】
なお、ラベルセットは、複数のラベルから構成されるとした。ラベルセットは、少なくとも１つのラベルで構成されていればよい。
【００２７】
また、フェイズ検出部４は、図３に示すロボットのサービス環境内における位置に基づいて、現在のフェイズを判定するようにしてもよい。例えば、ロボットが冷蔵庫の正面にいない場合は、ロボットが実行しているフェイズは移動フェイズであるとフェイズ検出部４は判定することができる。
【００２８】
（第２実施形態）
次に、第２実施形態を説明する。以下、本実施形態が上記第１実施形態と異なる点を中心に説明し、重複する説明は省略する。
【００２９】
上記第１実施形態において、ラベル選択部５は、フェイズ検出部４によってフェイズの切り替わりが検出されたら、切り替わり後のフェイズに対応するラベルセットを取得するようにしていた。
【００３０】
しかし、これに代えて、本実施形態では、ラベル選択部５は、切り替わり後のロボットのプロファイルに対応するラベルセットを取得するようにしてもよい。換言すれば、ラベル選択部５は、ロボットのセンサ等で取得できる情報から柔軟に認識候補であるラベルセットを取得するようにしてもよい。ここで、プロファイルとは、フェイズを除くロボットの状態・属性を意味する。ラベル決定プロファイルDB３は、ロボットのプロファイルをラベルセットと関連付けて記憶している。
【００３１】
例えば、ラベル選択部５は、ロボットがハンドの動作を制御している場合は、ハンドの動作がプロファイルに該当し、ハンドの動作に対応したラベルセットを取得する。ハンドの動作に対応したラベルセットは、例えば、｛テーブル、壁、缶、ペットボトル、その他の物体｝である。同様に、ラベル選択部５は、ロボットが台車の動作を制御している場合、台車の動作がプロファイルに該当し、台車の動作に対応したラベルセットを取得する。台車の動作に対応したラベルセットは、例えば、｛床、冷蔵庫、棚、障害物｝である。
【００３２】
また、ラベル選択部５は、ロボットに備え付けられたカメラの視野が広い場合は、粒度が粗い、即ち、より抽象的なラベルセットを取得し、狭い場合は、粒度が細かい、即ち、より具体的なラベルセットを取得する。抽象的なラベルセットに｛家具｝が含まれるとしたら、具体的なラベルセットには｛冷蔵庫｝が含まれることになる。また、図３に示すサービス環境内においてロボットが部屋の左端から冷蔵庫あたりを見ている場合と、中央から冷蔵庫あたりを見ている場合を考えると、前者の場合は、ロボットは冷蔵庫から遠い位置に位置しており、部屋全体を見渡すような視点となるため、ラベル選択部５は、｛床、構造物、家具、天井｝といった抽象的なラベルセットを取得する。なぜなら、部屋全体を見渡すような視点であるときにラベル選択部５が例えば｛冷蔵庫、洗濯機、電子レンジ｝のようなラベルセットを取得すると、ラベリングの成功率が著しく低下するからである。これに対し、後者の場合は、ロボットは冷蔵庫から近い位置に位置しており、ラベル選択部５は、｛冷蔵庫、洗濯機、電子レンジ｝といった具体的なラベルセットを取得する。なお、ラベル選択部５は、ロボットに備え付けられたカメラの視野の広狭を、例えばDepthセンサの出力値の平均値をモニタリングすることで判断することができる。即ち、Depthセンサの出力値の平均値が相対的に大きな値となった場合は、ロボットは部屋全体を見渡していることになり、相対的に小さな値となった場合は、ロボットは部屋の一部を見ていることになる。
【００３３】
また、他のプロファイルとしては、単に、ロボットの制御に用いられる変数やフラグ情報であってもよい。即ち、ラベル選択部５は、ロボットの制御に用いられる変数に対応するラベルセットを取得したり、ロボットの制御に用いられるフラグ情報に対応するラベルセットを取得するようにしてもよい。
【符号の説明】
【００３４】
１  画像認識システム
２  ラベルセットDB
３  ラベル決定プロファイルDB
４  フェイズ検出部
５  ラベル選択部
６  識別モデル切替部
７  画像認識部
【図１】
0006759692.tif 000002
【図２】
0006759692.tif 000003
【図３】
0006759692.tif 000004