(57)【特許請求の範囲】
【請求項１】
環境内の物体の画像情報を取得する画像取得手段と、
前記環境内の物体の距離情報を取得する距離取得手段と、
前記画像取得手段により取得された画像情報を表示する表示手段と、
前記表示手段により表示された画像上の物体を指示する指示手段と、
前記画像取得手段により取得された画像情報と、前記距離取得手段により取得された距離情報と、に基づいて、スーパーピクセルをグラフのノードとしたグラフカット法により、エネルギー関数を最小化するように、前記表示手段により表示された画像の中から、前記指示手段により指示された物体の領域を切出す切出手段と、
ユーザの修正指示に応じて、前記切出手段により切出され前記表示手段に表示された物体領域を修正して、修正物体領域を生成する領域修正手段と、
前記領域修正手段により修正された修正物体領域を切出すための前記エネルギー関数の目的関数パラメータを算出するパラメータ算出手段と、
前記領域修正手段により生成された修正物体領域の特徴量を抽出し、該抽出した特徴量と前記パラメータ算出手段により算出された目的関数パラメータと、を対応付けて記憶手段に記憶させる特徴量抽出手段と、
前記特徴量抽出手段により抽出された対象物の物体領域の特徴量と、前記記憶手段の特徴量と、の類似度を算出し、前記記憶手段の特徴量群の中から類似度が閾値以上となる特徴量を抽出し、該特徴量に対応付けられた目的関数パラメータを抽出する特徴量比較手段と、を備え、
前記切出手段は、前記特徴量比較手段により抽出された前記目的関数パラメータに基づいて、前記エネルギー関数を最小化する解を求めることで、前記対象物の物体領域を切出す、
ことを特徴とする物体領域切出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から物体領域を切出す物体領域切出装置に関する。
【背景技術】
【０００２】
ユーザにより指定された物体の指定ピクセルの色に基づいて物体領域の色分布とそれ以外の領域の色分布を推定することで、画像から物体領域を切出す物体領域切出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１５６４２５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記物体領域切出装置において、例えば、実際に切出された物体領域がユーザの意図する領域と異なる場合に、パラメータ調整などを行ってその物体領域を修正する必要が生じる。また、再度、画像から同様の物体領域を切出す場合に、同一の修正を繰り返すこととなり、その作業負荷がかかる。
本発明は、かかる課題を解決するためになされたものであり、画像から物体領域を切出す場合でも修正を行うことなく、ユーザの意図する物体領域を切出すことができる物体領域切出装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するための本発明の一態様は、
環境内の物体の画像情報を取得する画像取得手段と、
前記環境内の物体の距離情報を取得する距離取得手段と、
前記画像取得手段により取得された画像情報を表示する表示手段と、
前記表示手段により表示された画像上の物体を指示する指示手段と、
前記画像取得手段により取得された画像情報と、前記距離取得手段により取得された距離情報と、に基づいて、スーパーピクセルをグラフのノードとしたグラフカット法によりエネルギー関数を最小化するように、前記表示手段により表示された画像の中から、前記指示手段により指示された物体の領域を切出す切出手段と、
ユーザの修正指示に応じて、前記切出手段により切出され前記表示手段に表示された物体領域を修正して、修正物体領域を生成する領域修正手段と、
前記領域修正手段により修正された修正物体領域を切出すための前記エネルギー関数の目的関数パラメータを算出するパラメータ算出手段と、
前記領域修正手段により生成された修正物体領域の特徴量を抽出し、該抽出した特徴量と前記パラメータ算出手段により算出された目的関数パラメータと、を対応付けて記憶手段に記憶させる特徴量抽出手段と、
前記特徴量抽出手段により抽出された対象物の物体領域の特徴量と、前記記憶手段の特徴量と、の類似度を算出し、前記記憶手段の特徴量群の中から類似度が閾値以上となる特徴量を抽出し、該特徴量に対応付けられた目的関数パラメータを抽出する特徴量比較手段と、を備え、
前記切出手段は、前記特徴量比較手段により抽出された前記目的関数パラメータに基づいて、前記エネルギー関数を最小化する解を求めることで、前記対象物の物体領域を切出す、
ことを特徴とする物体領域切出装置である。
この一態様によれば、記憶手段には、ユーザが意図する修正を行った修正物体領域に対応した目的関数パラメータが記憶される。そして、記憶手段から対象物の物体領域に類似する修正物体領域を抽出し、その対応する目的関数パラメータを抽出する。抽出した目的関数パラメータを用いて画像から修正物体領域と同一領域を切出すことでができる。したがって、画像から対象物の物体領域を切出す際の修正を行うことなく、ユーザの意図する物体領域を切出すことができ、その作業負荷が軽減される。
【発明の効果】
【０００６】
本発明によれば、画像から物体領域を切出す場合でも修正を行うことなくユーザの意図する物体領域を切出すことができる物体領域切出装置を提供することを主たる目的とする。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る物体領域切出装置の概略的なシステム構成を示すブロック図である。
【図２】本発明の一実施形態に係る物体領域切出方法のデータベース生成処理フローを示すフローチャートである。
【図３】本発明の一実施形態に係る物体領域切出方法の対象物領域切出処理フローを示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施の形態について説明する。
本発明の一実施形態に係る物体領域切出装置は、例えば、環境センサにより計測された物体の距離情報や画像情報に基づいて、取得された画像からロボットなどが操作する物体の領域（以下、物体領域）を切出す（セグメンテーション）ための装置である。ロボットは、物体領域切出装置により切出された物体領域に基づいて、その物体を認識し、あるいはその物体を把持操作する。
【０００９】
ところで、画像から実際に切出された物体領域がユーザの意図する領域と異なる場合に、その物体領域を修正する必要が生じる。例えば、歯ブラシの領域を切出す際に一緒に置かれたコップの領域も併せてその物体領域として切出したい場合や、物体の模様や形状に沿って誤って切出されその物体の一部が物体領域に含まれていない又は余分な部分が含まれる場合などでは、その物体領域を修正する必要がある。この場合、物体領域の切出処理を行うための目的関数パラメータを調整することで、物体領域の修正を行うこととなる。
また、再度、画像から同様の物体領域を切出す場合に、従来、同一の目的関数パラメータ修正を繰り返すこととなり、その作業負荷がかかる。
【００１０】
これに対し、本実施形態に係る物体領域切出装置は、まず、物体領域の切出処理を行うための目的関数パラメータを、修正した物体領域毎に算出し、その目的関数パラメータのデータベースを生成する処理（データベース生成処理）を行う。
その後、物体領域切出装置は、そのデータベースから、切出す対象物の目的関数パラメータを抽出し、抽出した目的関数パラメータを用いて画像から対象物の物体領域を切出す処理（対象物領域切出処理）を行う。これにより、画像から対象物の物体領域を切出す際の修正を行うことなく、ユーザの意図する物体領域を切出すことができ、その作業負荷が軽減される。
【００１１】
図１は、本発明の一実施形態に係る物体領域切出装置の概略的なシステム構成を示すブロック図である。本実施形態に係る物体領域切出装置１は、画像取得部２と、距離取得部３と、画像表示部４と、物体指示部５と、切出処理部６と、領域修正部７と、パラメータ算出部８と、特徴量抽出部９と、特徴量比較部１０と、を備えている。
【００１２】
なお、物体領域切出装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム、制御プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、それぞれ、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
【００１３】
画像取得部２は、画像取得手段の一具体例である。画像取得部２は、環境内の物体の画像情報を取得する。画像取得部２は、ステレオカメラ、カラーカメラ（ＲＧＢカメラ）を用いて、環境内の物体のカラー画像情報を取得する。なお、画像取得部２は、モノクロ画像情報を取得してもよい。
【００１４】
距離取得部３は、距離取得手段の一具体例である。距離取得部３は、環境内の物体の距離情報を取得する。距離取得部３は、ステレオカメラ、超音波センサ、レーダセンサなどの距離センサを用いて、環境内の物体の距離情報を取得する。なお、画像取得部２及び距離取得部３は、ＲＧＢ−Ｄカメラなどのカラー画像距離センサを用いて、同時にカラー画像及び距離情報を取得してもよい。
【００１５】
画像表示部４は、表示手段の一具体例である。画像表示部４は、画像取得部２により取得された物体の画像情報や、切出処理部６により切出された物体領域などを表示する。画像表示部４は、例えば、タブレット、スマートフォン、ＰＣなどの液晶ディスプレイ、有機ＥＬディスプレイである。
【００１６】
物体指示部５は、指示手段の一具体例である。物体指示部５は、ユーザの指示入力に応じて、画像表示部４に表示された画像上の物体を点、線、領域（以下、指示領域）によって指示する。物体指示部５に対する指示入力は、マウス、タッチスクリーン、キーなどを用いて行われる。例えば、ユーザは、マウスを操作して、画像表示部４に表示された画像上の物体に対して、クリック操作を行い、あるいは、線、四角、円などを描画することで、を指示入力することができる。
【００１７】
切出処理部６は、切出手段の一具体例である。切出処理部６は、画像表示部４に表示された画像から、物体指示部５により指示された指示領域を含む物体の領域（以下、物体領域）を切出す切出処理を行う。
【００１８】
切出処理部６は、例えば、スーパーピクセル（SuperPixel）をグラフのノードとしたグラフカット（GraphCut）法を行って物体領域の切出処理を行う。ここで、スーパーピクセルとは、画像において、色または輝度などの各種のパラメータの値が互いに類似している隣接した複数の画素をグルーピングした小領域である。グラフカット法とは、ノード間をエッジ（辺）で結び、エッジを切断することで、コスト最小となるような最小切断を計算する手法である。
【００１９】
なお、切出処理部６は、さらに、上記スーパーピクセルを類似度でグルーピングし、より大きなスーパーピクセル（ハイパーピクセル（HyperPixel））を生成し、このスーパーピクセルをグラフのノードとしたグラフカット法を行って物体領域の切出処理を行ってもよい。切出処理部６は、上記画像のスーパーピクセルをエネルギー最小化問題として定式化し、それをグラフカット法を用いて解くことで、物体領域の切出処理を行う。
【００２０】
切出処理部６は、例えば、画像取得部２により取得されたカラー画像情報と、距離取得部３により取得された距離情報と、に基づいて、下記エネルギー関数Ｆ（Ｘ）を最小化する解を求めることで、物体領域の切出処理を行う。
【数１】
0006530323.tif 000002
【００２１】
上記式において、ｕ、ｖはノードである。ｇｕ（Ｘｕ）は、あるノードｕにラベルＸｕを割り振る際のコストである。Ｘｓはsource（物体領域）である。Ｘｄはdrain（物体領域以外）のラベルである。ｇucolor（Ｘｓ）は、カラー画像情報から計算されるノードｕにラベルＸｕを割り振る際のコストである。ｇu3D（Ｘｓ）は、距離情報から計算されるノードｕにラベルＸｕを割り振る際のコストである。Ｃｃは、カラー画像情報および距離情報のコストの重みを決定する目的関数パラメータである。Ｃｇは、各ノードとドレインノードとのカットコストを調整する目的関数パラメータである。ｈuv（Ｘｕ、Ｘｖ）は、平滑化項であり、カラー画像情報および距離情報から計算される。
【００２２】
なお、上記切出処理において、例えば、目的関数パラメータの一つであるＣｃを変更することで、カラー画像情報および距離情報から計算される各コストの重みを調整することができる。その調整結果、物体領域の切出処理の結果も変化する。
【００２３】
例えば、目的関数パラメータＣｃを大きくするとカラー画像情報が重視されるため、切出処理部６は、物体指示部５より指示された指示領域とより類似した色の領域を、物体領域として切出す。一方、目的関数パラメータＣｃを小さくすると距離情報が重視されるため、切出処理部６は、物体指示部５より指示された指示領域により近い領域を、物体領域として切出す。同様に、目的関数パラメータＣｇを変更することで、各ノードとドレインノードとのカットコストの重みを調整できる。
なお、目的関数パラメータの初期値は、例えば、ユーザが任意に設定した値（デフォルト）が設定されている。
【００２４】
領域修正部７は、領域修正手段の一具体例である。領域修正部７は、ユーザの修正指示に応じて、画像表示部４に表示された物体領域を修正した修正物体領域を生成する。領域修正部７は、ユーザの修正指示に応じて、画像表示部４に表示された物体領域を増加させ、あるいは減少させて、修正物体領域を生成する。領域修正部７に対する修正指示は、マウス、タッチスクリーン、キーなどを用いて行われる。
【００２５】
例えば、ユーザは、マウスを操作して、画像表示部４に表示された画像上の修正領域（増加領域、減少領域）に対して、クリック操作を行い、あるいは、線、四角、円などを描画することで、を物体領域の修正を行うことができる。領域修正部７は、修正指示された修正領域の位置のハイパーピクセルに割り当てられたラベル（物体領域又はそれ以外の領域）を反転させる。
【００２６】
パラメータ算出部８は、パラメータ算出手段の一具体例である。パラメータ算出部８は、領域修正部７により修正された修正物体領域を切出すための目的関数パラメータを算出する。例えば、パラメータ算出部８は、目的関数パラメータを変化させつつ、グラフカット法を行い、複数の物体領域候補の切出を行う。そして、パラメータ算出部８は、各物体領域候補と、領域修正部７により生成された修正物体領域とを比較する。パラメータ算出部８は、各物体領域候補のうち、修正物体領域に最も類似した物体領域候補を抽出する。パラメータ算出部８は、抽出したその物体領域候補の目的関数パラメータを、算出結果として特徴量抽出部９に出力する。
【００２７】
特徴量抽出部９は、特徴量抽出手段の一具体例である。特徴量抽出部９は、領域修正部７により生成された修正物体領域の特徴量を抽出する。特徴量抽出部９は、例えば、修正物体領域及びその周辺領域（１６×１６ピクセルなど所定ピクセル）のカラー画像パッチを取得し、そのＲＧＢのカラーヒストグラムを特徴量として抽出する。なお、特徴量抽出部９は、修正物体領域の、ＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ(Histograms of Oriented Gradients)などの画像特徴量を抽出してもよい。特徴量抽出部９は、抽出した修正物体領域の特徴量と、パラメータ算出部８により算出された目的関数パラメータと、を対応付けてメモリ（記憶手段の一具体例）に記憶させる。メモリには、修正物体領域の特徴量と目的関数パラメータとを対応付けたデータベースが構築されている。
【００２８】
特徴量比較部１０は、特徴量比較手段の一具体例である。特徴量比較部１０は、特徴量抽出部９により抽出された対象物の物体領域の特徴量と、メモリのデータベースの各特徴量と、を比較する。特徴量比較部１０は、特徴量抽出部９により抽出された対象物の物体領域の特徴量と、メモリのデータベースの特徴量と、の類似度（例えば、相関係数）を夫々算出する。特徴量比較部１０は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出し、その特徴量に対応付けられた目的関数パラメータを抽出する。一方、特徴量比較部１０は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出できない場合、デフォルトの目的関数パラメータを採用する。
【００２９】
次に、本実施形態に係る物体領域切出方法について詳細に説明する。図２は、本実施形態に係る物体領域切出方法のデータベース生成処理フローを示すフローチャートである。
＜データベース生成処理＞
最初に、物体領域切出装置１は、修正物体領域の特徴量と、目的関数パラメータと、を対応付けるデータベース生成処理を実行する。
【００３０】
画像取得部２は、環境内の物体のカラー画像情報を取得する（ステップＳ１０１）。
距離取得部３は、環境内の物体の距離情報を取得する（ステップＳ１０２）。
画像表示部４は、画像取得部２により取得された物体の画像情報を表示する（ステップＳ１０３）。
【００３１】
物体指示部５は、ユーザの指示入力に応じて、画像表示部４に表示された画像上の物体を指示領域によって指示する（ステップＳ１０４）。
切出処理部６は、画像取得部２により取得されたカラー画像情報と、距離取得部３により取得された距離情報と、に基づいて、エネルギー関数Ｆ（Ｘ）を最小化する解を求めることで、指示領域の物体領域を切出す（ステップＳ１０５）。
【００３２】
画像表示部４は、切出処理部６により切出された物体領域を表示する（ステップＳ１０６）。
領域修正部７は、ユーザの修正指示に応じて、画像表示部４に表示された物体領域を修正した修正物体領域を生成する（ステップＳ１０７）。
【００３３】
パラメータ算出部８は、領域修正部７により修正された修正物体領域を切出すための目的関数パラメータを算出する（ステップＳ１０８）。
特徴量抽出部９は、領域修正部７により生成された修正物体領域の特徴量を抽出する（ステップＳ１０９）。
特徴量抽出部９は、抽出した修正物体領域の特徴量と、パラメータ算出部８により算出された目的関数パラメータと、を対応付けて、メモリに記憶させる（ステップＳ１１０）。以上の処理を環境内の物体毎に行い、複数の修正物体領域の特徴量と目的関数パラメータと、を対応付けたデータベースをメモリに構築する。
【００３４】
図３は、本実施形態に係る物体領域切出方法の対象物領域切出処理フローを示すフローチャートである。
＜対象物領域切出処理＞
上記データベース生成処理に続いて、物体領域切出装置１は、上記構築したデータベースから対象物の目的関数パラメータを抽出し、抽出した目的関数パラメータを用いて画像から対象物の物体領域を切出す対象物領域切出処理を実行する。
【００３５】
物体指示部５は、ユーザの指示入力に応じて、画像表示部４に表示された画像上の対象物を指示する（ステップＳ１１１）。
切出処理部６は、画像表示部４に表示された画像から、物体指示部５により指示された指示領域を含む対象物の物体領域を切出す切出処理を行う（ステップＳ１１２）。
【００３６】
特徴量抽出部９は、切出処理部６により切出された対象物の物体領域の特徴量を抽出する（ステップＳ１１３）。
特徴量比較部１０は、特徴量抽出部９により抽出された対象物の物体領域の特徴量と、メモリのデータベースの特徴量と、の類似度を夫々算出する（ステップＳ１１４）。
【００３７】
特徴量比較部１０は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出でき場合（ステップＳ１１５のＹＥＳ）、その特徴量に対応付けられた目的関数パラメータを抽出する（ステップＳ１１６）。
一方、特徴量比較部１０は、データベースの特徴量群の中から類似度が閾値以上となる特徴量を抽出できない場合（ステップＳ１１５のＮＯ）、デフォルトの目的関数パラメータを採用する（ステップＳ１１７）。
【００３８】
切出処理部６は、特徴量比較部１０により抽出あるいは採用された目的関数パラメータに基づいて、上記エネルギー関数Ｆ（Ｘ）を最小化する解を求めることで、対象物の物体領域の切出処理を行う（ステップＳ１１８）。
画像表示部４は、切出処理部６により切出された対象物の物体領域を表示する（ステップＳ１１９）。
【００３９】
以上、本実施形態に係る物体領域切出装置１において、切出処理部６は、画像取得部２により取得された画像情報と、距離取得部３により取得された距離情報と、に基づいて、エネルギー関数をスーパーピクセルをグラフのノードとしたグラフカット法により最小化するように、画像表示部４により表示された画像の中から、物体指示部５により指示された物体の領域を切出す。領域修正部７は、ユーザの修正指示に応じて修正物体領域を生成する。パラメータ算出部８は、領域修正部７により修正された修正物体領域を切出すためのエネルギー関数の目的関数パラメータを算出する。特徴量抽出部９は、領域修正部７により生成された修正物体領域の特徴量を抽出し、抽出した特徴量とパラメータ算出部８により算出された目的関数パラメータとを対応付けてメモリに記憶させる。特徴量比較部１０は、特徴量抽出部９により抽出された対象物の物体領域の特徴量と、メモリの特徴量と、の類似度を算出し、メモリの特徴量群の中から類似度が閾値以上となる特徴量を抽出し、該特徴量に対応付けられた目的関数パラメータを抽出する。切出処理部６は、特徴量比較部１０により抽出された目的関数パラメータに基づいて、エネルギー関数を最小化する解を求めることで、対象物の物体領域を切出す。
これにより、メモリには、ユーザが意図する修正を行った修正物体領域に対応した目的関数パラメータが記憶される。そして、メモリから対象物の物体領域に類似する修正物体領域を抽出し、その対応する目的関数パラメータを抽出する。抽出した目的関数パラメータを用いて画像から修正物体領域と同一領域を切出すことでができる。したがって、画像から対象物の物体領域を切出す際の修正を行うことなく、ユーザの意図する物体領域を切出すことができ、その作業負荷が軽減される。
【００４０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００４１】
本発明は、例えば、図２及び３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
【００４２】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００４３】
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００４４】
１  物体領域切出装置、２  画像取得部、３  距離取得部、４  画像表示部、５  物体指示部、６  切出処理部、７  領域修正部、８  パラメータ算出部、９  特徴量抽出部、１０  特徴量比較部
【図１】
0006530323.tif 000003
【図２】
0006530323.tif 000004
【図３】
0006530323.tif 000005