(57)【特許請求の範囲】
【請求項１】
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、
前記始点及び前記終点に応じた把持位置を記憶する記憶部と、
を備え、
前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援装置。
【請求項２】
前記一対の把持線は、前記始点と前記ポインタを通る直線を軸として対象に配置される
請求項１に記載のアノテーション支援装置。
【請求項３】
前記一対の把持線は、前記直線と平行である
請求項２に記載のアノテーション支援装置。
【請求項４】
前記一対の把持線の間の幅は、前記始点と前記ポインタとの間の距離に比例する
請求項１から請求項３までのいずれか１項に記載のアノテーション支援装置。
【請求項５】
前記把持位置操作画像は、前記始点を通り、前記直線と平行な中心線を含む
請求項２に記載のアノテーション支援装置。
【請求項６】
前記表示制御部は、前記終点が指定された後、把持位置画像を表示し、
前記把持位置画像は、当該終点が指定された際に表示されていた前記一対の把持線を含む
請求項１から請求項５までのいずれか１項に記載のアノテーション支援装置。
【請求項７】
前記表示制御部は、アノテーションされる把持位置の種類に応じて前記一対の把持線を異なる表示形式で表示する
請求項１から請求項６までのいずれか１項に記載のアノテーション支援装置。
【請求項８】
情報処理装置が実行する、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法。
【請求項９】
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション支援装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
ロボットアームにより物体を把持する技術が知られている。引用文献１には、メモリと、少なくとも１つのプロセッサと、を備える学習装置であって、前記少なくとも１のプロセッサは、ニューラルネットワークモデルで表される学習モデルであって、ターゲット物体に関する情報が入力されると、前記ターゲット物体を把持可能な把持装置の位置及び姿勢に関する情報を出力する前記学習モデルを学習すること、を実行するよう構成され、出力される前記姿勢に関する情報は、複数の軸周りの回転角度を表現可能な情報を含む、学習装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１９−１６４８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような学習装置では、教師データとして、把持位置がアノテーションされたターゲット物体の画像データが利用される場合がある。把持位置のアノテーションは手作業で行われるため、教師データの用意には大きな手間がかかる。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、画像に対する把持位置のアノテーションを容易にすることを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態にかかるアノテーション支援装置は、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、前記始点及び前記終点に応じた把持位置を記憶する記憶部と、を備え、前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む。
【発明の効果】
【０００７】
一実施形態によれば、画像に対する把持位置のアノテーションを容易にすることができる。
【図面の簡単な説明】
【０００８】
【図１】アノテーション支援装置のハードウェア構成の一例を示す図である。
【図２】アノテーション支援装置の機能構成の一例を示す図である。
【図３】アノテーション前のアノテーション画面の一例を示す図である。
【図４】把持位置操作画像の一例を示す図である。
【図５】把持位置画像の一例を示す図である。
【図６】アノテーション支援方法の一例を示すフローチャートである。
【図７】アノテーション方法の一例を示す図である。
【図８】アノテーション後のアノテーション画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１０】
＜アノテーション支援装置の概要＞
まず、本実施形態に係るアノテーション支援装置１の概要について説明する。本実施形態に係るアノテーション支援装置１は、ユーザによる対象物画像Ｉｍに対する把持位置のアノテーションを支援する、すなわち、アノテーションデータ１２２の作成を支援する情報処理装置（コンピュータ）である。対象物画像Ｉｍとは、把持対象となる任意の物体の画像である。把持位置のアノテーションとは、対象物画像Ｉｍの画像データである対象物画像データ１２１に、把持位置を示すメタデータを付加することをいう。アノテーションデータ１２２とは、把持位置をアノテーションされた対象物画像データ１２１のことである。なお、把持位置について詳しくは後述する。
【００１１】
本実施形態において、アノテーション支援装置１は、ユーザがアノテーションを実施するためのアノテーション画面に対象物画像Ｉｍ及び把持位置操作画像ｇｐを表示する。そして、ユーザは、アノテーション画面上でポインタＰを操作する。把持位置操作画像ｇｐは、把持位置のアノテーションを支援する画像であり、ユーザのポインタ操作に応じてアノテーションされる把持位置を視覚的に示す画像である。ユーザは、把持位置操作画像ｇｐを確認しながらアノテーションを行うことにより、対象物画像Ｉｍの所望の位置に容易に把持位置をアノテーションすることができる。なお、把持位置操作画像ｇｐについて詳しくは後述する。
【００１２】
アノテーション支援装置１により作成されたアノテーションデータは、例えば、対象物画像Ｉｍから把持位置を推論する機械学習モデルを学習させるための教師データとして利用される。機械学習モデルは、例えば、ニューラルネットワークであるが、これに限られない。
【００１３】
＜ハードウェア構成＞
次に、アノテーション支援装置１のハードウェア構成について説明する。図１は、アノテーション支援装置１のハードウェア構成の一例を示す図である。図１に示すように、アノテーション支援装置１は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。
【００１４】
プロセッサ１０１は、ストレージ１０３に記憶されたプログラムをメモリ１０２に展開して実行することにより、アノテーション支援装置１の各構成を制御し、アノテーション支援装置１の機能を実現する。プロセッサ１０１が実行するプログラムは、ＯＳ（Operating System）及びアノテーション支援プログラムを含むが、これに限られない。プロセッサ１０１がアノテーション支援プログラムを実行することにより、本実施形態に係るアノテーション支援方法が実現される。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
【００１５】
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。
【００１６】
ストレージ１０３は、ＯＳ、アノテーション支援プログラム、及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。
【００１７】
通信Ｉ／Ｆ１０４は、アノテーション支援装置１を、ネットワークを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４ は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、 Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Fibre Channel）に準拠したアダプタであるが、これに限られない。
【００１８】
入出力Ｉ／Ｆ１０５は、アノテーション支援装置１に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
【００１９】
ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。
【００２０】
なお、本実施形態において、アノテーション支援プログラムは、アノテーション支援装置１の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークを介してアノテーション支援装置１に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介してアノテーション支援装置１に提供されてもよい。また、アノテーション支援装置１は、図１に示すように、一の情報処理装置により構成されてもよいし、ネットワークを介して接続された複数の情報処理装置により構成されてもよい。
【００２１】
＜機能構成＞
次に、アノテーション支援装置１の機能構成について説明する。図２は、アノテーション支援装置１の機能構成の一例を示す図である。図２に示すように、アノテーション支援装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。
【００２２】
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークを介して外部装置との間で情報の送受信を行う。
【００２３】
記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、対象物画像データ１２１、及びアノテーションデータ１２２を記憶する。
【００２４】
制御部１３は、プロセッサ１０１がメモリ１０２からアノテーション支援プログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、アノテーション支援装置１の動作全体を制御する。制御部１３は、表示制御部１３１を備える。
【００２５】
表示制御部１３１は、アノテーション支援装置１のディスプレイの表示を制御する。具体的には、表示制御部１３１は、アノテーション支援装置１のディスプレイにアノテーション画面を表示する。
【００２６】
図３は、アノテーション前のアノテーション画面の一例を示す図である。図３のアノテーション画面は、アノテーション領域Ａ１と、操作領域Ａ２と、を含む。
【００２７】
アノテーション領域Ａ１は、ユーザがポインタＰを操作して対象物画像Ｉｍに把持位置をアノテーションするための領域である。アノテーション領域Ａ１には、対象物画像Ｉｍと、ポインタＰと、が表示される。図３の例では、対象物はスパナＳであり、ポインタＰは矢印形状である。
【００２８】
なお、対象物画像Ｉｍには、複数の対象物が含まれてもよいし、複数種類の対象物が含まれてもよい。また、ポインタＰの形状は任意である。また、ポインタＰは、アノテーション領域Ａ１だけで操作可能であってもよいし、アノテーション画面全体で操作可能であってもよい。
【００２９】
また、アノテーション領域Ａ１には、ユーザのポインタ操作に応じて、把持位置操作画像ｇｐと、把持位置画像ＧＰと、が表示される。ここで、本実施形態における把持位置、把持位置操作画像ｇｐ、及び把持位置画像ＧＰについて詳細に説明する。
【００３０】
把持位置は、ロボットアームのエンドエフェクタがそこに位置した場合、対象物をエンドエフェクタで把持可能である、とユーザが考える、対象物画像上におけるエンドエフェクタの位置である。本実施形態では、エンドエフェクタが２指のグリッパであることを想定しているため、把持位置はグリッパの２指の位置に相当する。
【００３１】
把持位置は、例えば、Ｘ，Ｙ，Ｗ，Ｈ，θで表され得る。Ｘは、グリッパの中心のＸ座標である。Ｙは、グリッパの中心のＹ座標である。Ｗは、グリッパの２指の間の幅である。Ｈは、グリッパの指の先端の幅である。θは、Ｘ軸又はＹ軸に対するグリッパの傾きである。このとき、対象物画像データに付加される把持位置を示すメタデータは、Ｘ，Ｙ，Ｗ，Ｈ，θの値を示すデータとなる。
【００３２】
なお、把持位置の表現方法は、上記の例に限られない。把持位置は、対象物画像上におけるグリッパの２指の位置を特定可能な任意の方法で表現され得る。また、把持位置は、グリッパの高さＺを含んでもよい。
【００３３】
把持位置操作画像ｇｐは、ユーザのポインタ操作に応じてアノテーションされる把持位置を視覚的に示す画像である。図４は、把持位置操作画像ｇｐの一例を示す図である。図４の把持位置操作画像ｇｐは、中心点ＣＰと、中心線ＣＬと、一対の把持線ＧＬ１，ＧＬ２と、を含む。
【００３４】
中心点ＣＰは、グリッパの中心を示す画像である。Ｘは、中心点ＣＰのＸ座標に相当する。Ｙは、中心点ＣＰのＹ座標に相当する。
【００３５】
中心線ＣＬは、中心点ＣＰとポインタＰを通る直線ＳＬと平行な直線状の画像である。中心線ＣＬは、中心点ＣＰを通り、中心点ＣＰから両側に伸びる。図４の例では、θは、Ｘ軸に対する中心線ＣＬの傾きであるが、Ｙ軸に対する中心線ＣＬの傾きであってもよい。中心線ＣＬの長さは任意である。
【００３６】
把持線ＧＬ１は、グリッパの一方の指の先端の位置を示す直線状の画像である。把持線ＧＬ２は、グリッパの他方の指の先端の位置を示す直線状の画像である。把持線ＧＬ１，ＧＬ２は、中心線ＣＬ及び直線ＳＬと平行であり、中心線ＣＬ及び直線ＳＬを軸として対称に配置される。Ｈは、把持線ＧＬ１，ＧＬ２の長さに相当する。Ｗは、把持線ＧＬ１，ＧＬ２の間の幅に相当する。Ｗは、中心点ＣＰとポインタＰとの間の距離Ｌに比例し、例えば、Ｗ＝ｋＬで表される（ｋは正の実数）。
【００３７】
把持位置画像ＧＰは、ユーザのポインタ操作によりアノテーションされた把持位置を視覚的に示す画像である。図５は、把持位置画像ＧＰの一例を示す図である。図５の把持位置画像ＧＰは、一対の把持線ＧＬ１，ＧＬ２と、一対の幅線ＷＬ１，ＷＬ２と、を含む。把持位置画像ＧＰの把持線ＧＬ１，ＧＬ２は、把持位置操作画像ｇｐの把持線ＧＬ１，ＧＬ２と同様である。
【００３８】
幅線ＷＬ１は、把持線ＧＬ１，ＧＬ２の一端を結ぶ直線状の画像である。幅線ＷＬ２は、把持線ＧＬ１，ＧＬ２の他端を結ぶ直線状の画像である。幅線ＷＬ１，ＷＬ２は、中心線ＣＬ及び直線ＳＬと垂直である。Ｗは、幅線ＷＬ１，ＷＬ２の長さに相当する。Ｈは、幅線ＷＬ１，ＷＬ２の間の幅に相当する。把持位置画像ＧＰは、把持線ＧＬ１，ＧＬ２及び幅線ＷＬ１，ＷＬ２により形成された、高さがＨ、幅がＷの矩形となる。
【００３９】
なお、把持位置、把持位置操作画像ｇｐ、及び把持位置画像ＧＰは上記の例に限られない。例えば、把持線ＧＬ１，ＧＬ２は、中心点ＣＰを挟んで対向して配置されればよく、中心点ＣＰを中心として対称に配置されてもよいし、中心線ＳＬに対して（例えば、垂直に）傾いて配置されてもよい。また、把持線ＧＬ１，ＧＬ２の間の幅Ｗは、中心点ＣＰとポインタＰとの間の距離Ｌに反比例してもよいし、中心点ＣＰからみたポインタＰの方向（角度θに相当）に比例又は反比例してもよい。
【００４０】
操作領域Ａ２は、各種の操作要素を表示するための領域である。操作領域Ａ２には、ロードボタンＢ１、セーブボタンＢ２、デリートボタンＢ３、オプションボタンＢ４、第１種類ボタンＢ５、及び第２種類ボタンＢ６が表示される。
【００４１】
ロードボタンＢ１は、記憶部１２に記憶された対象物画像データ１２１を読み出し、アノテーション領域Ａ１に対象物画像Ｉｍを表示するためのボタンである。ユーザがロードボタンＢ１を選択すると、記憶部１２に記憶された対象物画像データ１２１の一覧が表示される。ユーザが対象物画像データ１２１を選択すると、対応する対象物画像１２１がアノテーションＡ１に表示される。
【００４２】
セーブボタンＢ２は、ユーザがアノテーションした把持位置を記憶部１２に保存するためのボタンである。ユーザが把持位置をアノテーションした後、セーブボタンＢ２を選択すると、アノテーションされた把持位置を示すメタデータを含むアノテーションデータ１２２が記憶部１２に保存される。
【００４３】
デリートボタンＢ３は、ユーザがアノテーションした把持位置を削除するためのボタンである。ユーザが把持位置をアノテーションした後、デリートボタンＢ３を選択すると、アノテーションされた把持位置が削除される。
【００４４】
オプションボタンＢ４は、オプション画面を表示するためのボタンである。オプション画面には、各種の設定を変更するための操作要素が表示される。オプション画面に表示される操作要素は任意である。
【００４５】
第１種類ボタンＢ５は、アノテーションする把持位置の種類を第１種類に指定するためのボタンである。ユーザが第１種類ボタンＢ５を選択すると、ユーザが指定した把持位置が第１種類の把持位置としてアノテーションされる。すなわち、把持位置を示すメタデータに第１種類を示すメタデータが追加される。第１種類は、例えば、把持許可位置である。把持許可位置とは、そこで把持してもよい把持位置のことである。
【００４６】
第２種類ボタンＢ６は、アノテーションする把持位置の種類を第２種類に指定するためのボタンである。ユーザが第２種類ボタンＢ６を選択すると、ユーザが指定した把持位置が第２種類の把持位置としてアノテーションされる。すなわち、把持位置を示すメタデータに第２種類を示すメタデータが追加される。第２種類は、例えば、把持禁止位置である。把持禁止位置とは、そこで把持してはいけない把持位置のことである。
【００４７】
なお、操作領域Ａ２に表示される操作要素は上記の例に限られない。また、把持位置の種類は、１種類又は３種類以上であってもよい。また、対象物画像データ１２１は、カメラから入力されてもよい。
【００４８】
＜アノテーション支援方法＞
次に、アノテーション支援装置１が実行するアノテーション支援方法について説明する。図６は、アノテーション支援方法の一例を示すフローチャートである。
【００４９】
（ステップＳ１０１）
ユーザは、アノテーション画面に対象物画像１２１を表示し、ポインタＰで始点を指定する（ステップＳ１０１）。始点は、クリック操作やタップ操作などの、画面上の一点を指定する任意の操作で指定可能である。
【００５０】
（ステップＳ１０２）
ユーザが始点を指定すると、表示制御部１３１は、始点及びポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。具体的には、表示制御部１３１は、始点の位置に中心点ＣＰを表示する（ステップＳ１０２）。
【００５１】
（ステップＳ１０３）
表示制御部１３１は、中心点ＣＰ（始点）を通る中心線ＣＬを表示する（ステップＳ１０３）。中心線ＣＬの長さは、固定（例えば、Ｈ）であってもよいし、オプション画面から任意に変更可能であってもよい。
【００５２】
（ステップＳ１０４）
表示制御部１３１は、中心点ＣＰ（始点）とポインタＰとの間の距離Ｌを計算し、距離Ｌに応じた幅Ｗを計算する（ステップＳ１０４）。幅Ｗは、例えば、Ｗ＝ｋＬで計算される。係数ｋは、固定（例えば、１）であってもよいし、オプション画面から任意に変更可能であってもよい。
【００５３】
（ステップＳ１０５）
表示制御部１３１は、中心点ＣＰ（始点）とポインタＰを通る直線ＳＬを軸として対称な位置に、幅Ｗの間隔で一対の把持線ＧＬ１，ＧＬ２を表示する（ステップＳ１０５）。把持線ＧＬ１，ＧＬ２の長さＨは、固定であってもよいし、オプション画面から任意に変更可能であってもよい。以上のステップＳ１０２からステップＳ１０５により、ユーザが指定した始点の位置とポインタＰの位置に応じた把持位置操作画像ｇｐが表示される。
【００５４】
（ステップＳ１０６）
ユーザが終点を指定しない場合（ステップＳ１０６：ＮＯ）、処理はステップＳ１０２に戻る。すなわち、表示制御部１３１は、ユーザにより始点が指定されてから終点が指定されるまで、ステップＳ１０２からステップＳ１０５までの処理を繰り返し、始点及びポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。ユーザが終点を指定した場合（ステップＳ１０６：ＹＥＳ）、処理はステップＳ１０７に進む。
【００５５】
（ステップＳ１０７）
ユーザが終点を指定すると、表示制御部１３１は、始点及び終点に応じた把持位置画像ＧＰを表示する。具体的には、表示制御部１３１は、ユーザが終点を指定した際に表示されていた一対の把持線ＧＬ１，ＧＬ２を表示する（ステップＳ１０７）。
【００５６】
（ステップＳ１０８）
また、表示制御部１３１は、ステップＳ１０７で表示した一対の把持線ＧＬ１，ＧＬ２に応じた幅線ＷＬ１，ＷＬ２を表示する（ステップＳ１０８）。以上のステップＳ１０７及びステップＳ１０８により、対象物にして、ユーザが指定した始点及び終点の位置に応じた把持位置がアノテーションされ、アノテーションされた把持位置に対応する把持位置画像ＧＰが表示される。ユーザがセーブボタンＢ２を選択すると、把持位置画像ＧＰに対応する把持位置がアノテーションデータ１２２として記憶部１２に保存される。
【００５７】
＜アノテーション方法＞
ここで、本実施形態に係るアノテーション支援装置１を利用したアノテーション方法について説明する。図７は、アノテーション方法の概要を説明する図である。以下では、スパナＳに把持位置をアノテーションする場合を例に説明する。
【００５８】
まず、ユーザは、ポインタＰで対象物画像Ｉｍ上に始点を指定する。始点が指定されると、表示制御部１３１は、始点とポインタＰの位置に応じた把持位置操作画像ｇｐを表示する。図７左の例では、スパナＳの柄の中心部に始点が指定されている。
【００５９】
次に、ユーザは、把持線ＧＬ１，ＧＬ２が所望の位置にくるように、ポインタＰを移動させる。ユーザは、中心線ＣＬの傾きを調整することで、把持線ＧＬ１，ＧＬ２の傾きを調整できる。また、ユーザは、中心点ＣＰからポインタＰまでの距離Ｌを調整することで、把持線ＧＬ１，ＧＬ２の間の幅Ｗを調整できる。図７中央の例では、把持線ＧＬ１，ＧＬ２は、スパナＳの柄を挟んだ位置にあり、かつ、スパナＳの柄と平行に配置されている。
【００６０】
そして、ユーザは、把持線ＧＬ１，ＧＬ２が所望の位置にきた際のポインタＰの位置を終点に指定する。終点が指定されると、表示制御部１３１は、始点及び終点の位置に応じた把持位置画像ＧＰを表示する。図７右の例では、スパナＳの柄を囲む把持位置画像ＧＰが表示されている。
【００６１】
図８は、アノテーション後のアノテーション画面の一例を示す図である。図８の例では、対象物画像Ｉｍ（スパナＳ）に４つの把持位置がアノテーションされており、各把持位置に対応する把持位置画像ＧＰ１〜ＧＰ４が対象物画像Ｉｍ上に表示されている。把持位置画像ＧＰ１，ＧＰ２は、第１種類の把持位置の把持位置画像であり、把持位置画像ＧＰ３，ＧＰ４は、第２種類の把持位置の把持位置画像である。
【００６２】
図８の例のように、一の対象物画像Ｉｍに対して複数の把持位置画像ＧＰが表示されてもよい。また、把持位置画像ＧＰは、把持位置の種類に応じて異なる表示形式で表示されもよい。例えば、把持位置の種類に応じて、把持位置画像ＧＰの少なくとも一部の色、模様、太さを変えることが考えられる。また、複数の把持位置画像ＧＰが重複していてもよい。
【００６３】
＜まとめ＞
以上説明した通り、本実施形態によれば、ユーザが対象物画像Ｉｍに対して把持位置をアノテーションする際に、ユーザのポインタ操作に応じた把持位置操作画像ｇｐが表示される。ユーザは、把持位置操作画像ｇｐにより、アノテーションされる把持位置を確認できるため、所望の把持位置に容易にアノテーションを行うことができる。また、ユーザは、ポインタＰで始点及び終点を指定するだけで、把持位置を指定することができる。また、中心点ＣＰ（始点）に対するポインタＰの位置を調整するだけで把持位置を調整できるため、ユーザは、所望の把持位置を直感的な操作でアノテーションできる。
【００６４】
＜付記＞
本実施形態は、以下の開示を含む。
【００６５】
（付記１）
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、
前記始点及び前記終点に応じた把持位置を記憶する記憶部と、
を備え、
前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援装置。
【００６６】
（付記２）
前記一対の把持線は、前記始点と前記ポインタを通る直線を軸として対称に配置される
付記１に記載のアノテーション支援装置。
【００６７】
（付記３）
前記一対の把持線は、前記直線と平行である
付記２に記載のアノテーション支援装置。
【００６８】
（付記４）
前記一対の把持線の間の幅は、前記始点と前記ポインタとの間の距離に比例する
付記１から付記３までのいずれかに記載のアノテーション支援装置。
【００６９】
（付記５）
前記把持位置操作画像は、前記始点を通り、前記直線と平行な中心線を含む
付記１から付記４までのいずれかに記載のアノテーション支援装置。
【００７０】
（付記６）
前記表示制御部は、前記終点が指定された後、把持位置画像を表示し、
前記把持位置画像は、当該終点が指定された際に表示されていた前記一対の把持線を含む
付記１から付記５までのいずれかに記載のアノテーション支援装置。
【００７１】
（付記７）
前記表示制御部は、アノテーションされる把持位置の種類に応じて前記一対の把持線を異なる表示形式で表示する
付記１から付記６までのいずれかに記載のアノテーション支援装置。
【００７２】
（付記８）
情報処理装置が実行する、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法。
【００７３】
（付記９）
対象物画像に対する把持位置のアノテーションを支援するアノテーション支援方法であって、
前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御処理と、
前記始点及び前記終点に応じた把持位置を記憶する記憶処理と、
を備え、
前記表示制御処理は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、
前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む
アノテーション支援方法をコンピュータに実行させるためのプログラム。
【００７４】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００７５】
１：アノテーション支援装置
１１：通信部
１２：記憶部
１３：制御部
１２１：対象物画像データ
１２２：アノテーションデータ
１３１：表示制御部
【要約】
【課題】  画像に対する把持位置のアノテーションを容易にする。
【解決手段】
一実施形態にかかるアノテーション支援装置は、対象物画像に対する把持位置のアノテーションを支援するアノテーション支援装置であって、前記対象物画像と、前記対象物画像上でユーザが始点及び終点を指定するためのポインタと、を表示する表示制御部と、前記始点及び前記終点に応じた把持位置を記憶する記憶部と、を備え、前記表示制御部は、前記始点が指定されてから前記終点が指定されるまで、把持位置操作画像を表示し、前記把持位置操作画像は、前記始点と、前記始点を挟んで対向して配置された一対の把持線と、を含む。
【選択図】図５【図１】
0006878727.tif 000002
【図２】
0006878727.tif 000003
【図３】
0006878727.tif 000004
【図４】
0006878727.tif 000005
【図５】
0006878727.tif 000006
【図６】
0006878727.tif 000007
【図７】
0006878727.tif 000008
【図８】
0006878727.tif 000009