(57)【要約】【課題】ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。【解決手段】ロボットの操作対象物を第１の方向から撮像した第１の撮像画像を取得した後で、第１の方向とは異なる方向からの撮像画像である第２の撮像画像を取得する。そして、第１の撮像画像及第２の撮像画像の撮像範囲に関する情報である撮像情報に基づいて、第２の撮像画像取得時に、第２の撮像画像の撮像範囲を示す情報と共に第１の撮像画像の撮像範囲を示す情報を表示部に表示する。【選択図】図５
2014184543.tif 000002
【特許請求の範囲】
【請求項１】
ロボットの操作対象物を撮像部により複数回撮像して取得した複数の撮像画像を用いて、前記操作対象物の３次元情報を取得するロボットシステムであって、
前記撮像部が前記操作対象物を第１の方向から撮像した撮像範囲を示す情報と、前記撮像部が前記操作対象物を前記第１の方向とは異なる方向である第２の方向から撮像した撮像範囲を示す情報とを表示部に表示する
ことを特徴とするロボットシステム。
【請求項２】
第１の撮像部と、
ロボットと、
前記ロボットの操作対象物を第１の方向から撮像した第１の撮像画像と、前記操作対象物を前記第１の撮像部が前記第１の方向とは異なる方向から撮像した画像である第２の撮像画像とを取得する画像取得部と、
表示部と、
前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを前記表示部に表示させる表示制御部と、
を備えることを特徴とするロボットシステム。
【請求項３】
請求項１又は２に記載のロボットシステムにおいて、
第２の撮像画像は、時間的に連続したライブビュー画像である
ことを特徴とするロボットシステム。
【請求項４】
請求項１から３のいずれか一項に記載のロボットシステムにおいて、
第２の撮像画像は、第１の撮像画像を取得した後で取得される
ことを特徴とするロボットシステム。
【請求項５】
請求項２に記載のロボットシステムにおいて、
前記表示制御部は、前記ロボットを示す画像及び前記第１の撮像部を示す画像を前記表示部に表示させる
ことを特徴とするロボットシステム。
【請求項６】
請求項２から５のいずれか一項に記載のロボットシステムにおいて、
前記ロボット、前記第１の撮像部及び前記操作対象物を仮想空間内に配置し、当該仮想空間における任意の視点から前記仮想空間内に配置された前記ロボット、前記第１の撮像部及び前記操作対象物を見た画像である俯瞰画像を生成する俯瞰画像生成部を備え、
前記表示制御部は、前記俯瞰画像を前記表示部に表示し、かつ前記第１の撮像画像の撮像範囲を示す情報及び前記第２の撮像画像の撮像範囲を示す情報を前記俯瞰画像に重畳表示する
ことを特徴とするロボットシステム。
【請求項７】
請求項２から６のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像を前記表示部に表示し、かつ前記第２の撮像画像に前記第１の撮像画像の撮像範囲を示す情報を重畳表示する
ことを特徴とするロボットシステム。
【請求項８】
請求項２から６のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる色で表示する
ことを特徴とするロボットシステム。
【請求項９】
請求項２から６のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる形状で表示する
ことを特徴とするロボットシステム。
【請求項１０】
請求項２から７のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の撮像画像の撮像範囲を線で表示した枠として表示する
ことを特徴とするロボットシステム。
【請求項１１】
請求項２から７のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の画像の撮像範囲を、当該第１の画像の撮像範囲以外の範囲と識別可能な色で塗りつぶした図形として表示する
ことを特徴とするロボットシステム。
【請求項１２】
請求項２から６のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の撮像画像の撮像範囲を線で表示した枠として表示する
ことを特徴とするロボットシステム。
【請求項１３】
請求項２から６のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の画像の撮像範囲を、当該第２の画像の撮影範囲以外の範囲と識別可能な色で塗りつぶした図形として表示する
ことを特徴とするロボットシステム。
【請求項１４】
請求項２から７のいずれか一項に記載のロボットシステムにおいて、
前記表示制御部は、前記第１の撮像部の光軸を表示する
ことを特徴とするロボットシステム。
【請求項１５】
請求項６に記載のロボットシステムにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として前記第１の撮像画像の撮像範囲を示す立体図形を表示する
ことを特徴とするロボットシステム。
【請求項１６】
請求項６又は１５に記載のロボットシステムにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像の撮像範囲を示す立体図形を表示する
ことを特徴とするロボットシステム。
【請求項１７】
請求項２から１６に記載のロボットシステムにおいて、
前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報を取得する撮像情報取得部を備える
ことを特徴とするロボットシステム。
【請求項１８】
請求項２に記載のロボットシステムにおいて、
前記第１の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられる
ことを特徴とするロボットシステム。
【請求項１９】
請求項２に記載のロボットシステムにおいて、
前記ロボットは、複数のアームを有し、
前記第１の撮像部は、前記複数のアームのうちの一本のアームに設けられ、
前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮影画像を撮影する第２の撮像部が設けられる
ことを特徴とするロボットシステム。
【請求項２０】
請求項１８又は１９に記載のロボットシステムにおいて、
前記ロボットは、前記第１の撮像部の撮像範囲を変える撮像制御部を有する
ことを特徴とするロボットシステム。
【請求項２１】
請求項１８又は２０のいずれか一項に記載のロボットシステムにおいて、
前記ロボット以外に設けられ、前記第１の撮像画像を撮像する第２の撮像部を備える
ことを特徴とするロボットシステム。
【請求項２２】
請求項２に記載のロボットシステムにおいて、
前記第１の撮像画像を撮像する第２の撮像部を備え、
前記第２の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられる
ことを特徴とするロボットシステム。
【請求項２３】
請求項２に記載のロボットシステムにおいて、
前記第１の撮像画像を撮像する第２の撮像部を備え、
前記ロボットは、複数のアームを有し、
前記第２の撮像部は、前記複数のアームのうちの一本のアームに設けられ、
前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮像部が設けられる
ことを特徴とするロボットシステム。
【請求項２４】
請求項２２又は２３に記載のロボットシステムにおいて、
前記ロボットは、前記第２の撮像部の撮像範囲を変える撮像制御部を有する
ことを特徴とするロボットシステム。
【請求項２５】
請求項２２又は２４のいずれか一項に記載のロボットシステムにおいて、
前記第１の撮像部は、前記ロボット以外に設けられる
ことを特徴とするロボットシステム。
【請求項２６】
操作対象物を撮像部により複数回撮像して取得した複数の撮像画像を用いて、前記操作対象物の３次元情報を取得するロボットであって、
前記撮像部が前記操作対象物を第１の方向から撮像した撮像範囲を示す情報と、前記撮像部が前記操作対象物を前記第１の方向とは異なる方向である第２の方向から撮像した撮像範囲を示す情報とを表示部に表示する
ことを特徴とするロボット。
【請求項２７】
第１の撮像部と、
操作対象物を第１の方向から撮像した第１の撮像画像と、前記操作対象物を前記第１の撮像部が前記第１の方向とは異なる方向から撮像した画像である第２の撮像画像とを取得する画像取得部と、
表示部と、
前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを前記表示部に表示させる表示制御部と、
を備えることを特徴とするロボット。
【請求項２８】
請求項２６又は２７に記載のロボットにおいて、
第２の撮像画像は、時間的に連続したライブビュー画像である
ことを特徴とするロボット。
【請求項２９】
請求項２６から２８のいずれか一項に記載のロボットにおいて、
第２の撮像画像は、第１の撮像画像を取得した後で取得される
ことを特徴とするロボット。
【請求項３０】
請求項２７に記載のロボットにおいて、
前記表示制御部は、前記ロボットを示す画像及び前記第１の撮像部を示す画像を前記表示部に表示させる
ことを特徴とするロボット。
【請求項３１】
請求項２７から３０のいずれか一項に記載のロボットにおいて、
前記第１の撮像部及び前記操作対象物を仮想空間内に配置し、当該仮想空間における任意の視点から前記仮想空間内に配置された前記撮像部及び前記操作対象物を見た画像である俯瞰画像を生成する俯瞰画像生成部を備え、
前記表示制御部は、前記俯瞰画像を前記表示部に表示し、かつ前記第１の撮像画像の撮像範囲を示す情報及び前記第２の撮像画像の撮像範囲を示す情報を前記俯瞰画像に重畳表示する
ことを特徴とするロボット。
【請求項３２】
請求項２７又は３０に記載のロボットにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像を前記表示部に表示し、かつ前記第２の撮像画像に前記第１の撮像画像の撮像範囲を示す情報を重畳表示する
ことを特徴とするロボット。
【請求項３３】
請求項２７から３１のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる色で表示する
ことを特徴とするロボット。
【請求項３４】
請求項２７から３１のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる形状で表示する
ことを特徴とするロボット。
【請求項３５】
請求項２７から３２のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の撮像画像の撮像範囲を線で表示した枠として表示する
ことを特徴とするロボット。
【請求項３６】
請求項２７から３２のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の画像の撮像範囲を、当該第１の画像の撮像範囲以外の範囲と識別可能な色で塗りつぶした図形として表示する
ことを特徴とするロボット。
【請求項３７】
請求項２７から３１のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の撮像画像の撮像範囲を線で表示した枠として表示する
ことを特徴とするロボット。
【請求項３８】
請求項２７から３１のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の画像の撮像範囲を、当該第２の画像の撮影範囲以外の範囲と識別可能な色で塗りつぶした図形として表示する
ことを特徴とするロボット。
【請求項３９】
請求項２７から３２のいずれか一項に記載のロボットにおいて、
前記表示制御部は、前記第１の撮像部の光軸を表示する
ことを特徴とするロボット。
【請求項４０】
請求項３１に記載のロボットにおいて、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として前記第１の撮像画像の撮像範囲を示す立体図形を表示する
ことを特徴とするロボット。
【請求項４１】
請求項３１又は４０に記載のロボットにおいて、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像の撮像範囲を示す立体図形を表示する
ことを特徴とするロボット。
【請求項４２】
請求項２７から４１に記載のロボットにおいて、
前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報を取得する撮像情報取得部を備える
ことを特徴とするロボット。
【請求項４３】
請求項２７に記載のロボットにおいて、
前記第１の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられる
ことを特徴とするロボット。
【請求項４４】
請求項２７に記載のロボットにおいて、
複数のアームを有し、
前記第１の撮像部は、前記複数のアームのうちの一本のアームに設けられ、
前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮像画像を撮像する第２の撮像部が設けられる
ことを特徴とするロボット。
【請求項４５】
請求項４３又は４４に記載のロボットにおいて、
前記第１の撮像部の撮像範囲を変える撮像制御部を有する
ことを特徴とするロボット。
【請求項４６】
請求項２７に記載のロボットにおいて、
前記第１の撮像画像を撮像する第２の撮像部を備え、
前記第２の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられる
ことを特徴とするロボット。
【請求項４７】
請求項２７に記載のロボットにおいて、
前記第１の撮像画像を撮像する第２の撮像部と、
複数のアームと、を備え、
前記第２の撮像部は、前記複数のアームのうちの一本のアームに設けられ、
前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮像部が設けられる
ことを特徴とするロボット。
【請求項４８】
請求項４６又は４７に記載のロボットにおいて、
前記ロボットは、前記第２の撮像部の撮像範囲を変える撮像制御部を有する
ことを特徴とするロボット。
【請求項４９】
ロボットの操作対象物を撮像部により複数回撮像して取得した複数の撮像画像を用いて、前記操作対象物の３次元情報を取得する画像表示装置であって、
前記撮像部が前記操作対象物を第１の方向から撮像した撮像範囲を示す情報と、前記撮像部が前記操作対象物を前記第１の方向とは異なる方向である第２の方向から撮像した撮像範囲を示す情報とを表示部に表示する
ことを特徴とする画像表示装置。
【請求項５０】
ロボットの操作対象物を第１の方向から撮像した第１の撮像画像と、前記第１の方向とは異なる方向からの撮像画像である第２の撮像画像とを取得する画像取得部と、
表示部と、
前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを前記表示部に表示させる表示制御部と、
を備えることを特徴とする画像表示装置。
【請求項５１】
請求項４９又は５０に記載の画像表示装置において、
第２の撮像画像は、時間的に連続したライブビュー画像である
ことを特徴とする画像表示装置。
【請求項５２】
請求項４９から５１のいずれか一項に記載の画像表示装置において、
第２の撮像画像は、第１の撮像画像を取得した後で取得される
ことを特徴とする画像表示装置。
【請求項５３】
請求項５０に記載の画像表示装置において、
前記表示制御部は、前記ロボットを示す画像及び前記第１の撮像部を示す画像を前記表示部に表示させる
ことを特徴とする画像表示装置。
【請求項５４】
請求項５０から５３のいずれか一項に記載の画像表示装置において、
前記第２の撮像画像を撮像する撮像部及び前記操作対象物を仮想空間内に配置し、当該仮想空間における任意の視点から前記仮想空間内に配置された前記撮像部及び前記操作対象物を見た画像である俯瞰画像を生成する俯瞰画像生成部を備え、
前記表示制御部は、前記俯瞰画像を前記表示部に表示し、かつ前記第１の撮像画像の撮像範囲を示す情報及び前記第２の撮像画像の撮像範囲を示す情報を前記俯瞰画像に重畳表示する
ことを特徴とする画像表示装置。
【請求項５５】
請求項５０から５３のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像を前記表示部に表示し、かつ前記第２の撮像画像に前記第１の撮像画像の撮像範囲を示す情報を重畳表示する
ことを特徴とする画像表示装置。
【請求項５６】
請求項５０から５４のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる色で表示する
ことを特徴とする画像表示装置。
【請求項５７】
請求項５０から５４のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる形状で表示する
ことを特徴とする画像表示装置。
【請求項５８】
請求項５０から５５のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の撮像画像の撮像範囲を線で表示した枠として表示する
ことを特徴とする画像表示装置。
【請求項５９】
請求項５０から５５のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の画像の撮像範囲を、当該第１の画像の撮像範囲以外の範囲と識別可能な色で塗りつぶした図形として表示する
ことを特徴とする画像表示装置。
【請求項６０】
請求項５０から５４のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の撮像画像の撮像範囲を線で表示した枠として表示する
ことを特徴とする画像表示装置。
【請求項６１】
請求項５０から５４のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の画像の撮像範囲を、当該第２の画像の撮影範囲以外の範囲と識別可能な色で塗りつぶした図形として表示する
ことを特徴とする画像表示装置。
【請求項６２】
請求項５０から５５のいずれか一項に記載の画像表示装置において、
前記表示制御部は、前記第１の撮像部の光軸を表示する
ことを特徴とする画像表示装置。
【請求項６３】
請求項５４に記載の画像表示装置において、
前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として前記第１の撮像画像の撮像範囲を示す立体図形を表示する
ことを特徴とする画像表示装置。
【請求項６４】
請求項５４又は６３に記載の画像表示装置において、
前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像の撮像範囲を示す立体図形を表示する
ことを特徴とする画像表示装置。
【請求項６５】
請求項５０から６４に記載の画像表示装置において、
前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報を取得する撮像情報取得部を備える
ことを特徴とする画像表示装置。
【請求項６６】
ａ．ロボットの操作対象物を第１の方向から撮像した第１の撮像画像を取得するステップと、
ｂ．前記第１の方向とは異なる方向からの撮像画像である第２の撮像画像を取得するステップと、
ｃ．前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報に基づいて、前記第１の撮像画像の撮像範囲を示す情報と前記第２の撮像画像の撮像範囲を示す情報とを表示部に表示させるステップと、
を有することを特徴とする画像表示方法。
【請求項６７】
請求項６６に記載の画像表示方法において、
前記ｂ及び前記ｃのステップを繰り返し行うことを特徴とする画像表示方法。
【請求項６８】
ａ．ロボットの操作対象物を第１の方向から撮像した第１の撮像画像を取得するステップと、
ｂ．前記第１の方向とは異なる方向からの撮像画像である第２の撮像画像を取得するステップと、
ｃ．前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報に基づいて、前記第１の撮像画像の撮像範囲を示す情報と前記第２の撮像画像の撮像範囲を示す情報とを表示部に表示させるステップと、
を演算装置に実行させることを特徴とする画像表示プログラム。
【請求項６９】
請求項６８に記載の画像表示プログラムにおいて、
前記ｂ及び前記ｃのステップを繰り返し行う処理を、演算装置に実行させることを特徴とする画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、少なくともロボット、ワーク及び視覚センサー装置の撮像部の３次元モデルを画面に配置して同時に表示し、ロボットの動作シミュレーションを行うシミュレーション装置において、撮像部の視野を３次元形状で画面上に表示する手段を備えることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３５２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実際にロボットを使用する現場で、作業対象物を撮像した画像に基づいてビジョン制御を実施するには、作業対象物の３次元情報を撮像した画像から取得して作業対象物の位置等を把握する。作業対象物の３次元情報を取得するには、作業対象物を異なる複数の方向から撮像した少なくとも２枚の画像が必要となる。
【０００５】
この少なくとも２枚の画像のうちの２枚目以降の画像を取得するときに、すでに取得した画像の撮像範囲等が分からない場合には、作業者は、実際に撮像した結果を確認しないと、複数の画像の撮像範囲が適切に重なっているか、すなわち作業対象物の３次元情報が取得できるか否かを判断することができない。したがって、作業者は、実際に複数枚の画像を取得してみて、複数の画像の撮像範囲が適切に重なっているかを確認して、複数の画像の撮像範囲が適切に重なっていない場合には画像を取得しなおす、といった試行錯誤を繰り返さなければならず、作業者の負荷が重くなるという問題がある。
【０００６】
特許文献１に記載の発明は、カメラを１つ用いて１枚の画像を撮像する場合に、視野の３次元形状を把握するという課題を解決するためになされたものであるため、１枚の画像については撮像範囲を知ることができる。しかしながら、特許文献１に記載の発明は、複数の画像を撮像することは考慮されておらず、作業対象物の３次元情報を取得するという課題については示唆されていない。
【０００７】
そこで、本発明は、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができるロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための第一の態様は、ロボット制御装置システムであって、ロボットの操作対象物を撮像部により複数回撮像して取得した複数の撮像画像を用いて、前記操作対象物の３次元情報を取得するロボットシステムであって、前記撮像部が前記操作対象物を第１の方向から撮像した撮像範囲を示す情報と、前記撮像部が前記操作対象物を前記第１の方向とは異なる方向である第２の方向から撮像した撮像範囲を示す情報とを表示部に表示することを特徴とする。
【０００９】
第一の態様によれば、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。なお、本発明の撮像は、仮想的な撮像と実際の撮像とを含む概念である。特に仮想的に撮影をする場合には、実際にロボットを動かすことなく、適切なステレオ画像が撮像できるカメラの位置及び姿勢を少ない試行錯誤で知ることができる。
【００１０】
上記課題を解決するための第二の態様は、ロボットシステムであって、第１の撮像部と、ロボットと、前記ロボットの操作対象物を第１の方向から撮像した第１の撮像画像と、前記操作対象物を前記第１の撮像部が前記第１の方向とは異なる方向から撮像した画像である第２の撮像画像とを取得する画像取得部と、表示部と、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを前記表示部に表示させる表示制御部と、を備えることを特徴とする。
【００１１】
第二の態様によれば、ロボットの操作対象物を第１の方向から撮像した第１の撮像画像と、操作対象物を第１の撮像部が第１の方向とは異なる方向から撮像した画像である第２の撮像画像とを取得し、第１の撮像画像の撮像範囲を示す情報と、第２の撮像画像の撮像範囲を示す情報とを表示部に表示させる。なお、本発明の撮像は、仮想的な撮像と実際の撮像とを含む概念である。これにより、ステレオ画像を撮像する前に画像の撮像範囲を知ることができる。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。特に仮想的に撮影をする場合には、実際にロボットを動かすことなく、適切なステレオ画像が撮像できるカメラの位置及び姿勢を少ない試行錯誤で知ることができる。
【００１２】
ここで、第２の撮像画像は、時間的に連続したライブビュー画像であってもよい。これにより、実際に静止画を撮像する前に撮像範囲を知ることができ、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００１３】
ここで、第２の撮像画像は、第１の撮像画像を取得した後で取得されてもよい。これにより、複数の画像を画像の順番に撮像する場合に、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００１４】
ここで、前記表示制御部は、前記ロボットを示す画像及び前記第１の撮像部を示す画像を前記表示部に表示させてもよい。これにより、ロボットや第１撮像部の位置と、撮像範囲との関係を確認することができる。
【００１５】
ここで、前記ロボット、前記第１の撮像部及び前記操作対象物を仮想空間内に配置し、当該仮想空間における任意の視点から前記仮想空間内に配置された前記ロボット、前記第１の撮像部及び前記操作対象物を見た画像である俯瞰画像を生成する俯瞰画像生成部を備え、前記表示制御部は、前記俯瞰画像を前記表示部に表示し、かつ前記第１の撮像画像の撮像範囲を示す情報及び前記第２の撮像画像の撮像範囲を示す情報を前記俯瞰画像に重畳表示してもよい。これにより、仮想空間内の位置関係を知ることができる俯瞰画像に１枚目の画像の撮像範囲を示す情報と２枚目の画像の撮像範囲を示す情報とが表示されるため、複数の画像の撮像範囲がどのように異なるかを容易に把握することができる。
【００１６】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像を前記表示部に表示し、かつ前記第２の撮像画像に前記第１の撮像画像の撮像範囲を示す情報を重畳表示してもよい。これにより、撮像した２枚目の撮像画像に、撮像された１枚目の画像の撮像範囲を示す情報が表示されるため、１枚目の撮像範囲と２枚目の撮像範囲とがどの程度重なっているか、どの範囲で重なっているかを容易に把握することができる。
【００１７】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる色で表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００１８】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる形状で表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００１９】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の撮像画像の撮像範囲を線で表示した枠として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００２０】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の画像の撮像範囲を、当該第１の画像の撮像範囲以外の範囲と識別可能な色で塗りつぶした図形として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００２１】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の撮像画像の撮像範囲を線で表示した枠として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００２２】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の画像の撮像範囲を、当該第２の画像の撮影範囲以外の範囲と識別可能な色で塗りつぶした図形として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００２３】
ここで、前記表示制御部は、前記表示制御部は、前記第１の撮像部の光軸を表示してもよい。これにより、撮像画像の撮像方向を容易に把握することができる。
【００２４】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として前記第１の撮像画像の撮像範囲を示す立体図形を表示してもよい。これにより、撮像範囲をより容易に把握することができる。
【００２５】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像の撮像範囲を示す立体図形を表示してもよい。これにより、撮像範囲をより容易に把握することができる。特に、第１の撮像画像の撮像範囲と、前記第２の撮像画像の撮像範囲とを立体図形で表示する場合には、撮像範囲の差異を容易に比較することができる。
【００２６】
ここで、前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報を取得する撮像情報取得部を備えてもよい。これにより、撮像範囲を表示することができる。
【００２７】
ここで、前記第１の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられてもよい。これにより、ロボットに設けられたカメラで画像を撮像することができる。
【００２８】
ここで、前記ロボットは、複数のアームを有し、前記第１の撮像部は、前記複数のアームのうちの一本のアームに設けられ、前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮影画像を撮影する第２の撮像部が設けられてもよい。これにより、複数のアームを用いて画像を撮像することができる。
【００２９】
ここで、前記ロボットは、前記第１の撮像部の撮像範囲を変える撮像制御部を有してもよい。これにより、同じ撮像部で複数の画像を撮像することができる。
【００３０】
ここで、前記ロボット以外に設けられ、前記第１の撮像画像を撮像する第２の撮像部を備えてもよい。これにより、ロボットに設けられてないカメラを用いて画像を撮像することができる。
【００３１】
ここで、前記第１の撮像画像を撮像する第２の撮像部を備え、前記第２の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられてもよい。これにより、ロボットに設けられたカメラで画像を撮像することができる。
【００３２】
ここで、前記第１の撮像画像を撮像する第２の撮像部を備え、前記ロボットは、複数のアームを有し、前記第２の撮像部は、前記複数のアームのうちの一本のアームに設けられ、前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮像部が設けられてもよい。これにより、複数のアームを用いて画像を撮像することができる。
【００３３】
ここで、前記ロボットは、前記第２の撮像部の撮像範囲を変える撮像制御部を有してもよい。これにより、同じ撮像部で複数の画像を撮像することができる。
【００３４】
ここで、前記第１の撮像部は、前記ロボット以外に設けられてもよい。これにより、ロボットに設けられてないカメラを用いて画像を撮像することができる。
【００３５】
上記課題を解決するための第三の態様は、操作対象物を撮像部により複数回撮像して取得した複数の撮像画像を用いて、前記操作対象物の３次元情報を取得するロボットであって、前記撮像部が前記操作対象物を第１の方向から撮像した撮像範囲を示す情報と、前記撮像部が前記操作対象物を前記第１の方向とは異なる方向である第２の方向から撮像した撮像範囲を示す情報とを表示部に表示することを特徴とする。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。なお、本発明の撮像は、仮想的な撮像と実際の撮像とを含む概念である。特に仮想的に撮影をする場合には、実際にロボットを動かすことなく、適切なステレオ画像が撮像できるカメラの位置及び姿勢を少ない試行錯誤で知ることができる。
【００３６】
上記課題を解決するための第四の態様は、ロボットであって、第１の撮像部と、操作対象物を第１の方向から撮像した第１の撮像画像と、前記操作対象物を前記第１の撮像部が前記第１の方向とは異なる方向から撮像した画像である第２の撮像画像とを取得する画像取得部と、表示部と、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを前記表示部に表示させる表示制御部と、を備えることを特徴とする。これにより、ステレオ画像を撮像する前に画像の撮像範囲を知ることができる。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００３７】
ここで、第２の撮像画像は、時間的に連続したライブビュー画像であってもよい。これにより、実際に静止画を撮像する前に撮像範囲を知ることができ、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００３８】
ここで、第２の撮像画像は、第１の撮像画像を取得した後で取得されてもよい。これにより、複数の画像を画像の順番に撮像する場合に、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００３９】
ここで、前記表示制御部は、前記ロボットを示す画像及び前記第１の撮像部を示す画像を前記表示部に表示させてもよい。これにより、ロボットや第１撮像部の位置と、撮像範囲との関係を確認することができる。
【００４０】
ここで、前記第１の撮像部及び前記操作対象物を仮想空間内に配置し、当該仮想空間における任意の視点から前記仮想空間内に配置された前記撮像部及び前記操作対象物を見た画像である俯瞰画像を生成する俯瞰画像生成部を備え、前記表示制御部は、前記俯瞰画像を前記表示部に表示し、かつ前記第１の撮像画像の撮像範囲を示す情報及び前記第２の撮像画像の撮像範囲を示す情報を前記俯瞰画像に重畳表示してもよい。これにより、仮想空間内の位置関係を知ることができる俯瞰画像に１枚目の画像の撮像範囲を示す情報と２枚目の画像の撮像範囲を示す情報とが表示されるため、複数の画像の撮像範囲がどのように異なるかを容易に把握することができる。
【００４１】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像を前記表示部に表示し、かつ前記第２の撮像画像に前記第１の撮像画像の撮像範囲を示す情報を重畳表示してもよい。これにより、撮像した２枚目の撮像画像に、撮像された１枚目の画像の撮像範囲を示す情報が表示されるため、１枚目の撮像範囲と２枚目の撮像範囲とがどの程度重なっているか、どの範囲で重なっているかを容易に把握することができる。
【００４２】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる色で表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００４３】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる形状で表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００４４】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の撮像画像の撮像範囲を線で表示した枠として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００４５】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の画像の撮像範囲を、当該第１の画像の撮像範囲以外の範囲と識別可能な色で塗りつぶした図形として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００４６】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の撮像画像の撮像範囲を線で表示した枠として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００４７】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の画像の撮像範囲を、当該第２の画像の撮影範囲以外の範囲と識別可能な色で塗りつぶした図形として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００４８】
ここで、前記表示制御部は、前記表示制御部は、前記第１の撮像部の光軸を表示してもよい。これにより、撮像画像の撮像方向を容易に把握することができる。
【００４９】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として前記第１の撮像画像の撮像範囲を示す立体図形を表示してもよい。これにより、撮像範囲をより容易に把握することができる。
【００５０】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像の撮像範囲を示す立体図形を表示してもよい。これにより、撮像範囲をより容易に把握することができる。特に、第１の撮像画像の撮像範囲と、前記第２の撮像画像の撮像範囲とを立体図形で表示する場合には、撮像範囲の差異を容易に比較することができる。
【００５１】
ここで、前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報を取得する撮像情報取得部を備えてもよい。これにより、撮像範囲を表示することができる。
【００５２】
ここで、前記第１の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられてもよい。これにより、ロボットに設けられたカメラで画像を撮像することができる。
【００５３】
ここで、複数のアームを有し、前記第１の撮像部は、前記複数のアームのうちの一本のアームに設けられ、前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮像画像を撮像する第２の撮像部が設けられてもよい。これにより、複数のアームを用いて画像を撮像することができる。
【００５４】
ここで、前記第１の撮像部の撮像範囲を変える撮像制御部を有してもよい。これにより、同じ撮像部で複数の画像を撮像することができる。
【００５５】
ここで、前記第１の撮像画像を撮像する第２の撮像部を備え、前記第２の撮像部は、前記ロボットの頭部及び前記ロボットのアームの少なくとも一方に設けられてもよい。これにより、ロボットに設けられたカメラで画像を撮像することができる。
【００５６】
ここで、前記第１の撮像画像を撮像する第２の撮像部と、複数のアームと、を備え、前記第２の撮像部は、前記複数のアームのうちの一本のアームに設けられ、前記複数のアームのうちの前記一本のアーム以外のアームには、前記第１の撮像部が設けられてもよい。
【００５７】
ここで、前記第２の撮像部の撮像範囲を変える撮像制御部を有してもよい。これにより、同じ撮像部で複数の画像を撮像することができる。
【００５８】
上記課題を解決するための第五の態様は、ロボットの操作対象物を撮像部により複数回撮像して取得した複数の撮像画像を用いて、前記操作対象物の３次元情報を取得する画像表示装置であって、前記撮像部が前記操作対象物を第１の方向から撮像した撮像範囲を示す情報と、前記撮像部が前記操作対象物を前記第１の方向とは異なる方向である第２の方向から撮像した撮像範囲を示す情報とを表示部に表示することを特徴とする。これにより、ステレオ画像を撮像する前に画像の撮像範囲を知ることができる。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００５９】
上記課題を解決するための第六の態様は、画像表示装置において、ロボットの操作対象物を第１の方向から撮像した第１の撮像画像と、前記第１の方向とは異なる方向からの撮像画像である第２の撮像画像とを取得する画像取得部と、表示部と、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを前記表示部に表示させる表示制御部と、を備えることを特徴とする。これにより、ステレオ画像を撮像する前に画像の撮像範囲を知ることができる。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００６０】
ここで、第２の撮像画像は、時間的に連続したライブビュー画像であってもよい。これにより、実際に静止画を撮像する前に撮像範囲を知ることができ、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００６１】
ここで、第２の撮像画像は、第１の撮像画像を取得した後で取得されてもよい。これにより、複数の画像を画像の順番に撮像する場合に、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００６２】
ここで、前記表示制御部は、前記ロボットを示す画像及び前記第１の撮像部を示す画像を前記表示部に表示させてもよい。これにより、ロボットや第１撮像部の位置と、撮像範囲との関係を確認することができる。
【００６３】
ここで、前記第１の撮像部及び前記操作対象物を仮想空間内に配置し、当該仮想空間における任意の視点から前記仮想空間内に配置された前記撮像部及び前記操作対象物を見た画像である俯瞰画像を生成する俯瞰画像生成部を備え、前記表示制御部は、前記俯瞰画像を前記表示部に表示し、かつ前記第１の撮像画像の撮像範囲を示す情報及び前記第２の撮像画像の撮像範囲を示す情報を前記俯瞰画像に重畳表示してもよい。これにより、仮想空間内の位置関係を知ることができる俯瞰画像に１枚目の画像の撮像範囲を示す情報と２枚目の画像の撮像範囲を示す情報とが表示されるため、複数の画像の撮像範囲がどのように異なるかを容易に把握することができる。
【００６４】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像を前記表示部に表示し、かつ前記第２の撮像画像に前記第１の撮像画像の撮像範囲を示す情報を重畳表示してもよい。これにより、撮像した２枚目の撮像画像に、撮像された１枚目の画像の撮像範囲を示す情報が表示されるため、１枚目の撮像範囲と２枚目の撮像範囲とがどの程度重なっているか、どの範囲で重なっているかを容易に把握することができる。
【００６５】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる色で表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００６６】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報と、前記第２の撮像画像の撮像範囲を示す情報とを、異なる形状で表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００６７】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の撮像画像の撮像範囲を線で表示した枠として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００６８】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として、前記第１の画像の撮像範囲を、当該第１の画像の撮像範囲以外の範囲と識別可能な色で塗りつぶした図形として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００６９】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の撮像画像の撮像範囲を線で表示した枠として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００７０】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として、前記第２の画像の撮像範囲を、当該第２の画像の撮影範囲以外の範囲と識別可能な色で塗りつぶした図形として表示してもよい。これにより、複数の画像の撮像範囲の差異を容易に把握することができる。
【００７１】
ここで、前記表示制御部は、前記表示制御部は、前記第１の撮像部の光軸を表示してもよい。これにより、撮像画像の撮像方向を容易に把握することができる。
【００７２】
ここで、前記表示制御部は、前記第１の撮像画像の撮像範囲を示す情報として前記第１の撮像画像の撮像範囲を示す立体図形を表示してもよい。これにより、撮像範囲をより容易に把握することができる。
【００７３】
ここで、前記表示制御部は、前記第２の撮像画像の撮像範囲を示す情報として前記第２の撮像画像の撮像範囲を示す立体図形を表示してもよい。これにより、撮像範囲をより容易に把握することができる。特に、第１の撮像画像の撮像範囲と、前記第２の撮像画像の撮像範囲とを立体図形で表示する場合には、撮像範囲の差異を容易に比較することができる。
【００７４】
ここで、前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報を取得する撮像情報取得部を備えてもよい。これにより、撮像範囲を表示することができる。
【００７５】
上記課題を解決するための第七の態様は、画像表示方法であって、ａ．ロボットの操作対象物を第１の方向から撮像した第１の撮像画像を取得するステップと、ｂ．前記第１の方向とは異なる方向からの撮像画像である第２の撮像画像を取得するステップと、ｃ．前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報に基づいて、前記第１の撮像画像の撮像範囲を示す情報と前記第２の撮像画像の撮像範囲を示す情報とを表示部に表示させるステップと、を有することを特徴とする。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００７６】
ここで、前記ｂ及び前記ｃのステップを繰り返し行うようにしてもよい。これにより、ステレオ画像の２枚目の静止画を撮像する前に画像の撮像範囲を知ることができる。
【００７７】
上記課題を解決するための第八の態様は、画像表示プログラムであって、ａ．ロボットの操作対象物を第１の方向から撮像した第１の撮像画像を取得するステップと、ｂ．前記第１の方向とは異なる方向からの撮像画像である第２の撮像画像を取得するステップと、ｃ．前記第１の撮像画像及び前記第２の撮像画像の撮像範囲に関する情報である撮像情報に基づいて、前記第１の撮像画像の撮像範囲を示す情報と前記第２の撮像画像の撮像範囲を示す情報とを表示部に表示させるステップと、を演算装置に実行させることを特徴とする。したがって、ロボットの作業対象物の３次元情報を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【００７８】
ここで、前記ｂ及び前記ｃのステップを繰り返し行う処理を、演算装置に実行させてもよい。これにより、ステレオ画像を撮像する前に画像の撮像範囲を知ることができる。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施形態におけるロボットシステム１の構成の一例を示す図である。
【図２】アームの構成の一例を示す図である。
【図３】ロボットシステム１の機能構成の一例を示すブロック図である。
【図４】制御部２０のハードウェア構成の一例を示す図である。
【図５】撮像位置決定処理の流れの一例を示すフローチャートである。
【図６】ロボットシステム１の表示画面の一例を示す図である。
【図７】ロボットシステム１の表示画面の一例を示す図である。
【図８】ロボットシステム１の表示画面の一例を示す図である。
【図９】ロボットの変形例の一例を示す図である。
【図１０】ロボットシステム１の表示画面の変形例を示す図である。
【図１１】ロボットシステム１の表示画面の変形例を示す図である。
【図１２】本発明の第２の実施形態におけるロボットシステム２の撮像位置決定処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００８０】
本発明の一実施形態について、図面を参照しながら説明する。
【００８１】
＜第１の実施形態＞
【００８２】
図１は、本発明の一実施形態におけるロボットシステム１の構成の一例を示すシステム構成図である。本実施形態におけるロボットシステム１は、主として、ロボット１０と、制御部２０と、第１撮像部３０と、第２撮像部３１と、第１天井撮像部４０と、第２天井撮像部４１と、を備える。
【００８３】
ロボット１０は、２本のアームを有するアーム型のロボットである。本実施の形態では、２本のアームである右アーム１１Ｒ及び左アーム１１Ｌ（以下、右アーム１１Ｒ及び左アーム１１Ｌをまとめて表す場合に、アーム１１という）を備えた双腕ロボットを例に説明するが、ロボット１０のアーム１１の数は１本でも構わない。
【００８４】
図２は、アーム１１の詳細を説明する図である。図２においては、右アーム１１Ｒを例示しているが、右アーム１１Ｒと左アーム１１Ｌとは同一の構成である。以下、右アーム１１Ｒを例に説明し、左アーム１１Ｌについては説明を省略する。
【００８５】
右アーム１１Ｒは、複数のジョイント（関節）１２と、複数のリンク１３と備える。
【００８６】
右アーム１１Ｒの先端には、ロボット１０の操作対象物であるワークＡを把持したり、道具を把持して対象物に対して所定の作業を行ったりすることが可能なハンド１４（いわゆるエンドエフェクター又は手先効果器）が設けられる。
【００８７】
ジョイント１２及びハンド１４には、それらを動作させるためのアクチュエーター（図示せず）が設けられる。アクチュエーターは、例えば、サーボモーターやエンコーダーなどを備える。エンコーダーが出力するエンコーダー値は、制御部２０によるロボット１０のフィードバック制御に使用される。
【００８８】
ハンド１４の内部又はアーム１１の先端等には、力覚センサー（図示せず）が設けられる。力覚センサーは、ハンド１４に加わる力を検出する。力覚センサーとしては、例えば、並進３軸方向の力成分と、回転３軸回りのモーメント成分の６成分を同時に検出することができる６軸力覚センサーを用いることができる。また、力覚センサーで使用される物理量は、電流、電圧、電荷量、インダクタンス、ひずみ、抵抗、電磁誘導、磁気、空気圧、光等である。力覚センサーは、所望の物理量を電気信号に変換することにより、６成分を検出可能である。なお、力覚センサーは、６軸に限らず、例えば３軸でもよい。また、力覚センサーを設ける位置は、ハンド１４に加わる力を検出できるのであれば、特に限定されるものではない。
【００８９】
また、右アーム１１Ｒの先端には、右ハンドアイカメラ１５Ｒが設けられる。本実施の形態では、右ハンドアイカメラ１５Ｒは、右ハンドアイカメラ１５Ｒの光軸１５Ｒａとアーム１１の軸１１ａとが直交（少しずれている場合を含む）するように設けられている。ただし、右ハンドアイカメラ１５Ｒは、光軸１５Ｒａと軸１１ａとが平行になるように設けられてもよいし、光軸１５Ｒａと軸１１ａとが任意の角度となるように設けられてもよい。なお、光軸とは、ハンドアイカメラ１５等の撮像部に含まれるレンズの中心を通り、レンズ面に垂直な直線を意味する。右ハンドアイカメラ１５Ｒ及び左ハンドアイカメラ１５Ｌは、本発明の撮像部、及び第１の撮像部又は第２の撮像部に相当する。
【００９０】
なお、ロボット１０の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。一般的な把持ロボットが備える構成を排除するものではない。例えば、図１では６軸のアームが示されているが、軸数（ジョイント数）をさらに増加させてもよいし、減らしてもよい。リンクの数を増減させてもよい。また、アーム、ハンド、リンク、ジョイント等の各種部材の形状、大きさ、配置、構造等も適宜変更してよい。また、エンドエフェクターはハンド１４に限られない。
【００９１】
図１の説明に戻る。制御部２０は、ディスプレイ（本発明の表示部に相当する）等の出力装置２６を備え、ロボット１０の全体を制御する処理を行う。制御部２０は、ロボット１０の本体とは離れた場所に設置してもよいし、ロボット１０等に内蔵してもよい。制御部２０がロボット１０の本体と離れた場所に設置されている場合には、制御部２０は、有線又は無線でロボット１０と接続される。
【００９２】
第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１は、ロボット１０の作業領域付近をそれぞれ異なる角度から撮像して、画像データを生成するユニットである。第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１は、例えば、カメラを含み、作業台、天井、壁などに設けられる。本実施の形態では、第１撮像部３０及び第２撮像部３１は作業台に設けられ、第１天井撮像部４０及び第２天井撮像部４１は天井に設けられる。第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１としては、可視光カメラ、赤外線カメラ等を採用することができる。第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１は、本発明の撮像部及び第２の撮像部に相当する。
【００９３】
第１撮像部３０及び第２撮像部３１は、ロボット１０がビジュアルサーボを行う時に用いる画像を取得する撮像部である。第１天井撮像部４０及び第２天井撮像部４１は、作業台の上の物品の配置等を把握するための画像を取得する撮像部である。
【００９４】
第１撮像部３０及び第２撮像部３１と、第１天井撮像部４０及び第２天井撮像部４１は、それぞれ、奥行き方向の情報も得ることができるように、撮像する画像の画角の一部が重なるように設けられる。
【００９５】
第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１は、それぞれ制御部２０に接続され、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１により撮像された画像は制御部２０に入力される。なお、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１は、制御部２０ではなくロボット１０に接続されるようにしてもよい。この場合には、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１により撮像された画像は、ロボット１０を介して制御部２０に入力される。
【００９６】
次に、ロボットシステム１の機能構成例について説明する。図３は、制御部２０の機能ブロック図の一例である。制御部２０は、主として、ロボット制御部２０１と、画像処理部２０２と、画像取得部２０３とを有する。
【００９７】
ロボット制御部２０１は、主として、駆動制御部２０１１と、撮像制御部２０１２とを有する。
【００９８】
駆動制御部２０１１は、アクチュエーターのエンコーダー値、及びセンサーのセンサー値等に基づいてアーム１１及びハンド１４を制御する。例えば、駆動制御部２０１１は、制御部２０から出力された移動方向及び移動量でアーム１１（ハンドアイカメラ１５）を移動させるように、アクチュエーターを駆動させる。
【００９９】
撮像制御部２０１２は、ハンドアイカメラ１５を制御して、任意のタイミングで任意の回数だけ画像を撮像する。ハンドアイカメラ１５で撮像される画像は、静止画でもよいし、ライブビュー画像でもよい。なお、ライブビュー画像とは、静止画を所定のフレームレートで時間的に連続して取得する画像である。
【０１００】
画像取得部２０３は、ハンドアイカメラ１５、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１が撮像した画像を取得する。画像取得部２０３が取得した画像は、画像処理部２０２に出力される。
【０１０１】
画像処理部２０２は、主として、カメラパラメーター取得部２０２１と、３次元モデル情報取得部２０２２と、俯瞰画像生成部２０２３と、ライブビュー画像生成部２０２４と、表示制御部２０２５とを有する。
【０１０２】
カメラパラメーター取得部２０２１は、ハンドアイカメラ１５、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１の内部カメラパラメーター（焦点距離、画素サイズ）及び外部カメラパラメーター（位置姿勢）を取得する。ハンドアイカメラ１５、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１は内部カメラパラメーター及び外部カメラパラメーター（以下、カメラパラメーターという）に関する情報を保持しているため、カメラパラメーター取得部２０２１は、ハンドアイカメラ１５、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１からこれらの情報を取得することができる。カメラパラメーター取得部２０２１は、本発明の撮像情報取得部に相当する。また、カメラパラメーターは、本発明の撮像情報に相当する。
【０１０３】
３次元モデル情報取得部２０２２は、ロボット１０、作業台、第１撮像部３０、第２撮像部３１、第１天井撮像部４０、第２天井撮像部４１、ワークＡ等の３次元モデルの情報を取得する。３次元モデルとは、例えばＣＡＤ（Computer Aided Design）ソフトウェアを用いて作成されたデータファイル（３次元ＣＡＤデータ）である。この３次元モデルは、各構造点（頂点）を結んでできる多角形（例えば三角形）からなるポリゴンを多数組み合わせて構成されている。３次元モデル情報取得部２０２２は、制御部２０に接続された図示しない外部機器に記憶された３次元モデルの情報を直接又はネットワークを介して取得する。なお、３次元モデル情報取得部２０２２は、メモリー２２や外部記憶装置２３（図４参照）に記憶された３次元モデルの情報を取得するようにしてもよい。
【０１０４】
なお、３次元モデル情報取得部２０２２が３次元モデルの情報を取得する代わりに、制御部２０に導入されたＣＡＤソフトウェアを用いて３次元モデルを作成するようにしてもよい。
【０１０５】
俯瞰画像生成部２０２３は、カメラパラメーター取得部２０２１、３次元モデル情報取得部２０２２が取得した情報、画像取得部２０３から入力された画像データ等に基づいて、ロボット１０、作業台、第１撮像部３０、第２撮像部３１、第１天井撮像部４０、第２天井撮像部４１、及びワークＡ等の３次元モデルを仮想空間内に配置する。各３次元モデルの配置位置は、画像取得部２０３から入力された画像データ等に基づいて定めることができる。
【０１０６】
そして、俯瞰画像生成部２０２３は、仮想空間内に配置された３次元モデルを、仮想空間内の任意の視点位置から見た画像である俯瞰画像を生成する。俯瞰画像生成部２０２３が３次元モデルを仮想空間内に配置する処理、及び俯瞰画像生成部２０２３が俯瞰画像を生成する処理は、すでに公知の様々な技術を用いることができるため、詳細な説明を省略する。俯瞰画像生成部２０２３は、本発明の俯瞰画像生成部に相当する。
【０１０７】
ライブビュー画像生成部２０２４は、俯瞰画像生成部２０２３が生成した俯瞰画像と、カメラパラメーター取得部２０２１が取得したカメラパラメーターとに基づいて、仮想空間内に配置されたハンドアイカメラ１５、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１が仮想空間内で撮像を行ったときに得られる撮像画像（以下、仮想撮像画像）を生成する。仮想撮像画像は、静止画でもよいし、ライブビュー画像でもよい。ライブビュー画像生成部２０２４は、本発明の画像取得部に相当する。
【０１０８】
表示制御部２０２５は、俯瞰画像生成部２０２３が生成した俯瞰画像、ライブビュー画像生成部２０２４が生成した仮想撮像画像を出力装置２６に出力する。また、表示制御部２０２５は、カメラパラメーター取得部２０２１が取得したカメラパラメーターに基づいて、俯瞰画像及び仮想撮像画像にハンドアイカメラ１５の撮像範囲を示す画像を表示する。表示制御部２０２５は、本発明の表示制御部に相当する。
【０１０９】
図４は、制御部２０の概略構成の一例を示すブロック図である。図示するように、例えばコンピューターなどで構成される制御部２０は、演算装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１と、揮発性の記憶装置であるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）や不揮発性の記憶装置であるＲＯＭ（Ｒｅａｄ  ｏｎｌｙ  Ｍｅｍｏｒｙ）からなるメモリー２２と、外部記憶装置２３と、ロボット１０等の外部の装置と通信を行う通信装置２４と、マウスやキーボード等の入力装置２５と、ディスプレイ等の出力装置２６と、制御部２０と他のユニットを接続するインターフェイス（Ｉ／Ｆ）２７とを備える。
【０１１０】
上記の各機能部は、例えば、ＣＰＵ２１が外部記憶装置２３等に格納された所定のプログラムをメモリー２２等に読み出して実行することにより実現される。なお、所定のプログラムは、例えば、予め外部記憶装置２３等にインストールされてもよいし、通信装置２４を介してネットワークからダウンロードされてインストール又は更新されてもよい。
【０１１１】
以上のロボットシステム１の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。例えば、ロボット１０が制御部２０や第１撮像部３０及び第２撮像部３１を備えていてもよい。また、一般的なロボットシステムが備える構成を排除するものではない。
【０１１２】
次に、本実施形態における、上記構成からなるロボットシステム１の特徴的な処理について説明する。
【０１１３】
図５は、画像処理部２０２が行うシミュレーション処理の流れを示すフローチャートである。この処理は、任意のタイミングで、例えば、図示しないボタン等を介してシミュレーションの開始指示が入力されることにより開始される。
【０１１４】
本実施の形態では、ワークＡの位置、形状等の３次元情報を取得するため、右ハンドアイカメラ１５Ｒを用いてワークＡを異なる角度から撮像した２枚の画像（以下、ステレオ画像という）を取得する場合を例に説明する。
【０１１５】
俯瞰画像生成部２０２３は俯瞰画像を生成し（ステップＳ１００）、ライブビュー画像生成部２０２４はハンドアイカメラ１５、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１の仮想撮像画像をライブビュー画像として生成する。（ステップＳ１０２）。
【０１１６】
表示制御部２０２５は、ステップＳ１００で生成された俯瞰画像と、ステップＳ１０２で生成された仮想撮像画像とが含まれる表示画像Ｐを生成し、出力装置２６に出力する（ステップＳ１０４）。
【０１１７】
図６は、ステップＳ１０４で生成された表示画像Ｐの表示例である。図６に示すように、表示画像Ｐの上部に、俯瞰画像を表示する俯瞰画像表示領域Ｐ１が設けられる。
【０１１８】
俯瞰画像表示領域Ｐ１の下方向には、第１天井撮像部４０の仮想撮像画像が表示される仮想撮像画像表示領域Ｐ２が設けられ、その横に第２天井撮像部４１の仮想撮像画像が表示される仮想撮像画像表示領域Ｐ３が設けられる。また、俯瞰画像表示領域Ｐ１の下方向には、左ハンドアイカメラ１５Ｌの仮想撮像画像が表示される仮想撮像画像表示領域Ｐ４２が設けられ、その横に右ハンドアイカメラ１５Ｒの仮想撮像画像が表示される仮想撮像画像表示領域Ｐ５が設けられる。さらに、俯瞰画像表示領域Ｐ１の下方向には、第１撮像部３０の仮想撮像画像が表示される仮想撮像画像表示領域Ｐ６が設けられ、その横に第２撮像部３１の仮想撮像画像が表示される仮想撮像画像表示領域Ｐ７が設けられる。
【０１１９】
なお、ステップＳ１０２で仮想撮像画像においてライブビュー画像として生成されているため、ステップＳ１０４において、表示制御部１０４は、ライブビュー画像が更新される都度、各仮想撮像画像表示領域Ｐ２〜Ｐ７の表示を適宜変更する。すなわち、ステップＳ１０２及びステップＳ１０４の処理は、図５に示す処理が終了するまで継続的に行われる。なお、ライブビュー画像に応じて表示を適宜変更する方法は、すでに公知であるため、説明を省略する。
【０１２０】
ライブビュー画像生成部２０２４は、ステップＳ１０２で生成された右ハンドアイカメラ１５Ｒの仮想撮像画像に基づいて、ステレオ画像のうちの１枚目の仮想撮像画像を静止画として仮想的に撮像する（ステップＳ１０６）。仮想的な画像の撮影は、作業者が入力装置２５を介して撮像指示を入力することにより行うこともできるし、ライブビュー画像生成部２０２４が自動的に行うこともできる。例えば、ライブビュー画像生成部２０２４が自動的に行う場合には、画像の所定範囲にワークＡが含まれたときに仮想的な撮影を行うようにしてもよい。
【０１２１】
ライブビュー画像生成部２０２４は、ステップＳ１０２で生成された右ハンドアイカメラ１５Ｒの仮想撮像画像に基づいて、ステレオ画像のうちの２枚目の仮想撮像画像の、ライブビュー画像としての１枚目の画像を仮想的に撮像する（ステップＳ１０８）。
【０１２２】
なお、ステップＳ１０６で取得した仮想撮像画像と、ステップＳ１０８で取得した仮想撮像画像とでは右ハンドアイカメラ１５Ｒのカメラパラメーターを変更する必要がある。カメラパラメーターの変更は、作業者が入力装置２５を介してカメラパラメーターを適宜入力することにより行うこともできるし、ライブビュー画像生成部２０２４が自動的に行うこともできる。例えば、ライブビュー画像生成部２０２４が自動的に行う場合には、ステップＳ１０６で取得した仮想撮像画像を取得した時に右ハンドアイカメラ１５Ｒの位置から、あらかじめ定められた大きさだけ右方向（左方向でもよいし、上方向でもよいし、下方向でもよいし、斜め方向でもよい）に移動させることにより、カメラパラメーターを変更してもよい。
【０１２３】
右ハンドアイカメラ１５Ｒのカメラパラメーターを変更すると、自動的に右アーム１１Ｒの位置等が変わるため、俯瞰画像も変更する必要がある。したがって、カメラパラメーターが変更される度に、俯瞰画像生成部２０２３はステップＳ１００の処理を行い、表示制御部２０２５は俯瞰画像表示領域Ｐ１の表示を変更する。
【０１２４】
表示制御部２０２５は、表示画像Ｐの各表示領域Ｐ１〜Ｐ７に表示された画像に、ステップＳ１０６で仮想的に撮像された仮想画像の撮像範囲を示す画像と、ステップＳ１０８で仮想的に撮像された仮想画像の撮像範囲を示す画像とを重畳表示する（ステップＳ１１０）。
【０１２５】
図６は、ステレオ画像の１枚目の仮想撮像画像と、２枚目の仮想撮像画像との撮像範囲がほとんど一致している場合の表示画像Ｐである。
【０１２６】
ステップＳ１０６で仮想的に撮像されたステレオ画像の１枚目の仮想画像の撮像範囲を示す画像として、表示画像Ｐに矩形の枠Ｆ１が表示される。また、ステップＳ１０８で仮想的に撮像されたステレオ画像の２枚目の仮想撮像画像仮想画像の撮像範囲を示す画像として、表示画像Ｐに矩形の枠Ｆ２が表示される。図６では、枠Ｆ１の位置と枠Ｆ２の位置とがほぼ同じであるため、枠Ｆ２が省略されている。ただし、枠Ｆ２を省略しなくてもよいし、枠Ｆ２の代わりに枠Ｆ１を省略するようにしてもよい。
ここで、表示制御部２０２５が枠Ｆ１、Ｆ２を生成し、表示する方法について説明する。
【０１２７】
表示制御部２０２５は、カメラパラメーター取得部２０２１が取得したカメラパラメーターに基づいて、右ハンドアイカメラ１５Ｒの視野を示す四角錐を、仮想空間内に生成する。例えば、表示制御部２０２５は、右ハンドアイカメラ１５Ｒのピクセル比に基づいて四角錐の底辺の四角形の縦横比を決定する。そして、表示制御部２０２５は、右ハンドアイカメラ１５Ｒの焦点距離に基づいて、頂点からの距離に対する底面の大きさを決定する。
【０１２８】
次に、表示制御部２０２５は、仮想空間内において、生成した四角錐と、作業台、ワークＡ等とが交わったところに、枠Ｆ１、Ｆ２を生成する。このように枠Ｆ１、Ｆ２を生成することで、処理を軽くすることができる。
【０１２９】
そして、表示制御部２０２５は、仮想空間内の枠Ｆ１、Ｆ２の位置に基づいて枠Ｆ１、Ｆ２を表示画像Ｐに表示する。これにより、表示画像Ｐの各表示領域Ｐ１〜Ｐ７に表示された画像に枠Ｆ１、Ｆ２が重畳表示される。なお、本実施の形態では、枠Ｆ１と枠Ｆ２とが識別できるように、枠Ｆ１は太線で、枠Ｆ２は細線で表示されている。ただし、枠Ｆ１と枠Ｆ２とは、識別できるように、異なる形状又は異なる色で表示されればよく、線の太さを変える形態には限らない。
【０１３０】
図７は、図６に示す場合に対し、右アーム１１Ｒ（すなわち、右ハンドアイカメラ１５Ｒ）を仮想空間内で右方向に移動させた場合の表示画像Ｐである。図７においては、右アーム１１Ｒが大きく移動されているため、俯瞰画像表示領域Ｐ１、仮想撮像画像表示領域Ｐ２及び仮想撮像画像表示領域Ｐ７においては、枠Ｆ１と枠Ｆ２とが異なる位置に表示されている。
【０１３１】
また、仮想撮像画像表示領域Ｐ５においては、図６に示す場合には、仮想撮像画像表示領域Ｐ５の周辺近傍に枠Ｆ１が一辺だけ表示されているのに対し、図７に示す場合においては、仮想撮像画像表示領域Ｐ５の中央近くに枠Ｆ１が表示される。
【０１３２】
図８は、図７に示す場合に対し、右アーム１１Ｒを仮想空間内で上方向（作業台から遠ざかる方向）に移動させた場合の表示画像Ｐである。図８においては、右アーム１１Ｒと作業台との距離が、図７に示す場合に比べて遠ざかっているため、枠Ｆ２の大きさが図７より大きくなっている。
【０１３３】
このように、俯瞰画像表示領域Ｐ１、仮想撮像画像表示領域Ｐ２及び仮想撮像画像表示領域Ｐ７（特に、俯瞰画像表示領域Ｐ１）に枠Ｆ１と枠Ｆ２とが表示されるため、複数の画像の撮像範囲がどのように異なるかを容易に把握することができる。また、２枚目の撮像画像を表示する仮想撮像画像表示領域Ｐ５に枠Ｆ１が表示されることで、１枚目の撮像範囲と２枚目の撮像範囲とがどの程度重なっているか、どの範囲で重なっているかを容易に把握することができる。
【０１３４】
なお、図６〜８では、枠Ｆ１、Ｆ２と同時に、右ハンドアイカメラ１５Ｒの光軸Ｘを重畳表示している。これにより、カメラの位置や撮像画像の撮像方向を容易に把握することができる。
【０１３５】
表示制御部２０２５は、ステレオ画像のうちの２枚目の仮想撮像画像の、ライブビュー画像の撮像を終了するか否かを判断する（ステップＳ１１２）。表示制御部２０２５は、入力装置２５等を介して終了指示が入力された場合に、ライブビュー画像の撮像を終了すると判断することができる。または、表示制御部２０２５は、ステップＳ１１０で表示された枠Ｆ１と枠Ｆ２との位置関係に基づいてライブビュー画像の撮像を終了するか否かを判断することもできる。例えば、枠Ｆ１と枠Ｆ２との重なる領域が、枠Ｆ１、Ｆ２の大きさの８割程度である場合に、ライブビュー画像の撮像を終了するか否かを判断してもよい。
【０１３６】
ライブビュー画像の撮像を終了しない場合（ステップＳ１１２でＮＯ）は、ライブビュー画像生成部２０２４は、ステップＳ１０２で生成された右ハンドアイカメラ１５Ｒの仮想撮像画像に基づいて、ステレオ画像のうちの２枚目の仮想撮像画像の、ライブビュー画像としての次のフレームの画像を仮想的に撮像する（ステップＳ１１４）。その後、ステップＳ１１０を行う。このステップＳ１１０では、仮想画像表示領域Ｐ５の表示をステップＳ１１４で取得された画像に変更し、かつ、表示画像Ｐの各表示領域Ｐ１〜Ｐ７に表示された画像に、ステップＳ１０６で仮想的に撮像された仮想画像の撮像範囲を示す画像と、ステップＳ１１４で仮想的に撮像された仮想画像の撮像範囲を示す画像とを重畳表示する。
【０１３７】
ライブビュー画像の撮像を終了する場合（ステップＳ１１２でＹＥＳ）は、ライブビュー画像生成部２０２４は、ステップＳ１０８で仮想的に撮像したライブビュー画像を、２枚目の仮想撮像画像の静止画として仮想的に撮像する（ステップＳ１１６）。その後、処理を終了する。
【０１３８】
本実施の形態によれば、シミュレーションにおいて、ステレオ画像を撮像する前に画像の撮像範囲を知ることができる。特に、本実施の形態では、仮想空間内の位置関係を知ることができる画像（本実施の形態では俯瞰画像表示領域Ｐ１）に１枚目の画像の撮像範囲を示す画像と２枚目の画像の撮像範囲を示す画像とが表示されるため、複数の画像の撮像範囲がどのように異なるかを容易に把握することができる。したがって、シミュレーションにおいてステレオ画像を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。
【０１３９】
また、本実施の形態では、仮想的に撮像した２枚目の撮像画像に、仮想的に撮像された１枚目の画像の撮像範囲を示す画像を表示するため、１枚目の撮像範囲と２枚目の撮像範囲とがどの程度重なっているか、どの範囲で重なっているかをシミュレーションにおいて容易に把握することができる。
【０１４０】
特に、本実施の形態では、シミュレーションによりステレオ画像を撮像するときに、すでに撮像した画像の撮像範囲を知ることができるため、実際にロボットを動かすことなく、適切なステレオ画像が撮像できるカメラの位置及び姿勢を少ない試行錯誤で知ることができる。
【０１４１】
なお、本実施の形態では、ワークＡの３次元情報を取得するステレオ画像を右ハンドアイカメラ１５Ｒで仮想的に撮像したが、ステレオ画像を撮像するのはハンドアイカメラに限られない。例えば、図９に示すように、ロボット１０Ａの頭に相当する部分に撮像部１６を設け、撮像部１６でステレオ画像を撮像してもよい。
【０１４２】
また、本実施の形態では、ステレオ画像の１枚目の画像及び２枚目の画像の両方を右ハンドアイカメラ１５Ｒを用いて仮想的に撮像したが、ステレオ画像の１枚目の画像を撮像する撮像部と、２枚目の画像を撮像する撮像部とが異なってもよい。例えば、１枚目の画像は第２天井撮像部４１を用いて仮想的に撮像し、２枚目の画像を右ハンドアイカメラ１５Ｒを用いて仮想的に撮像してもよい。また、例えば、右アーム１１Ｒに複数のカメラを設け、それぞれの画像をそれぞれ異なるカメラで仮想的に撮像してもよい。例えば、焦点距離が異なる２つのカメラを右アーム１１Ｒに設け、１枚目の画像を焦点距離が長いカメラで仮想的に撮像し、２枚目の画像を焦点距離が短いカメラで仮想的に撮像してもよい。
【０１４３】
また、本実施の形態では、ステレオ画像の撮像範囲を示す情報として、枠Ｆ１、Ｆ２を表示したが、ステレオ画像の撮像範囲を示す情報は枠に限定されない。例えば、図１０に示すように、仮想空間内において、撮像範囲を示す四角錐と、作業台やワークＡ等とが交わったところにおける撮像範囲内に含まれる部分を、他の部分とは異なる色で塗りつぶした四角形（図形）である図形Ｆ３を表示することにより、表示制御部２０２５がステレオ画像の撮像範囲を示してもよい。なお、枠や色で塗りつぶした図形の形状は、四角形に限られない。また、図形Ｆ３は、四角形の内部を一色で塗りつぶしたが画像であるが、枠を塗りつぶす形態はこれに限られない。例えば、四角形の内部に市松模様等の模様を付したり、四角形の内部にハッチングを掛けたりすることにより、四角形の内部を塗りつぶすようにしてもよい。
【０１４４】
また、例えば、図１１に示すように、俯瞰画像に撮像範囲を示す四角錐Ｆ４を重ねて表示することにより、表示制御部２０２５がステレオ画像の撮像範囲を示してもよい。これにより、撮影範囲をより容易に把握することができる。なお、撮像範囲を示す四角錐は、光軸上の任意の点と、枠Ｆ２（または枠Ｆ１）の頂点とを結ぶ線を引くことにより、生成することができる。立体図形としては、四角錐に限らず、四錐台でもよい。
【０１４５】
また、本実施の形態では、ステレオ画像の撮像範囲を示す情報として、枠Ｆ１、Ｆ２と共に光軸Ｘを表示したが、光軸の表示は必須ではない。例えば、枠Ｆ１、Ｆ２等の図形のみでもよい。又は、枠Ｆ１、Ｆ２等の図形に変えて、仮想撮像画像を撮像するカメラの光軸Ｘのみを表示するようにしてもよい。ただし、枠Ｆ１、Ｆ２と共に光軸Ｘを表示する場合は、その他の場合に比べて、多くの情報を得ることができるという効果がある。
【０１４６】
また、本実施の形態では、ステレオ画像の１枚目の画像と２枚目の画像とを順番に取得したが、この１枚目の画像、２枚目の画像は便宜上のものであり、２つの撮像部を用いて２枚の画像を同時に撮像するようにしてもよい。この場合には、２枚の画像のそれぞれについて、ライブビュー画像を撮影しながら、２枚の画像の撮像範囲を示す情報を重畳表示させるようにすればよい。
【０１４７】
また、本実施の形態では、ステレオ画像の１枚目の画像を静止画で取得し、ステレオ画像の２枚目の画像をライブビュー画像として取得したが、静止画及びライブビュー画像は撮像の一形態として例示したものであり、ステレオ画像の１枚目の画像及び２枚目の画像の撮像形態はこれに限られない。本発明の撮像とは、シャッター（レリーズ）を切って静止画又は動画を取得する場合や、シャッター（レリーズ）を切らずにライブビュー画像を取得する場合を含む概念である。
【０１４８】
また、本実施の形態では、すでにロボット１０、第１撮像部３０、第２撮像部３１、第１天井撮像部４０及び第２天井撮像部４１等が配置された状態で、ワークＡの位置、形状等を知るためにステレオ画像を撮像したが、ステレオ画像を撮像する目的はこれに限られない。例えば、第１撮像部３０、第２撮像部３１の配置位置が決まっていない状態で、仮想空間内で第１撮像部３０、第２撮像部３１を仮に配置して、第１撮像部３０、第２撮像部３１の撮像範囲を俯瞰画像に重畳表示し、これを見ながら第１撮像部３０、第２撮像部３１の配置位置を決定してもよい。
また、本実施の形態では、２枚の画像からなるステレオ画像を例に説明したが、ステレオ画像を構成する画像の枚数は２枚には限られない。
【０１４９】
＜第２の実施の形態＞
本発明の第１の実施の形態は、ステレオ画像をシミュレーションにより仮想的に撮像するときに撮像範囲を示す画像を表示する形態であるが、撮像範囲を示す画像を表示するのはシミュレーションにより画像を撮像する場合に限られない。
【０１５０】
本発明の第２の実施の形態は、実際の画像を撮像するときに撮像範囲を示す画像を表示する形態である。以下、第２の実施の形態のロボットシステム２について説明する。なお、ロボットシステム２の構成は、ロボットシステム１の構成と同一であるため、説明を省略する。また、ロボットシステム２の作用についても、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
【０１５１】
図１２は、実際に撮像した画像に基づいて画像処理部２０２が撮像画像の範囲を示す画像を表示する処理の流れを示すフローチャートである。この処理は、例えば、実際にステレオ画像の１枚目の画像が撮像されることにより開始される。
【０１５２】
撮像制御部２０１２が右ハンドアイカメラ１５Ｒを制御して静止画の撮像指示を出力すると、画像取得部２０３は、右ハンドアイカメラ１５Ｒが撮像した静止画を取得し、画像処理部２０２に出力する（ステップＳ２００）。
【０１５３】
撮像制御部２０１２が右ハンドアイカメラ１５Ｒを制御してライブビュー画像の撮像指示を出力すると、画像取得部２０３は、右ハンドアイカメラ１５Ｒが撮像したライブビュー画像のうちの最初のフレームの画像を取得し、画像処理部２０２に出力する（ステップＳ２０２）。
【０１５４】
表示制御部２０２５は、右ハンドアイカメラ１５Ｒが撮像したライブビュー画像が取得されたら、取得された画像を出力装置２６に出力する（ステップＳ２０４）。これにより、出力装置２６にライブビュー画像が表示される。本実施の形態では右ハンドアイカメラ１５Ｒで撮像を行っているため、この時に表示されるライブビュー画像は、図６等における仮想撮像画像表示領域Ｐ５に示すような画像とほぼ同等である。
【０１５５】
表示制御部２０２５は、ライブビュー画像における、ステップＳ２００で取得された１枚目の画像の位置に、枠Ｆ１を表示する（ステップＳ２０６）。枠Ｆ１の位置は、例えば、右アーム１１Ｒの移動量や、右ハンドアイカメラ１５Ｒのカメラパラメーターから算出することができる。また、枠Ｆ１の位置は、ステップＳ２００で撮像した画像と、俯瞰画像生成部２０２３が生成した俯瞰画像とに基づいて算出することができる。
【０１５６】
表示制御部２０２５は、ステレオ画像のうちの２枚目の撮像画像の、ライブビュー画像の撮像を終了するか否かを判断する（ステップＳ２０８）。表示制御部２０２５は、第１の実施の形態と同様、入力装置２５等を介して終了指示が入力された場合に、ライブビュー画像の撮像を終了すると判断することができる。または、表示制御部２０２５は、第１の実施の形態と同様、１枚目の画像の撮像範囲と２枚目の画像の撮像範囲との位置関係に基づいてライブビュー画像の撮像を終了するか否かを判断することもできる。
【０１５７】
ライブビュー画像の撮像を終了しない場合（ステップＳ２０８でＮＯ）は、撮像制御部２０１２は、右ハンドアイカメラ１５Ｒを介してステレオ画像のうちの２枚目の仮想撮像画像の、ライブビュー画像としての次のフレームの画像を撮像し、画像取得部２０３がこれを取得する（ステップＳ２１０）。その後、ステップＳ２０４を行う。
ライブビュー画像の撮像を終了する場合（ステップＳ２０８でＹＥＳ）は、表示制御部２０２５は、処理を終了する。
【０１５８】
本実施の形態によれば、実際にステレオ画像を撮像する前に、画像の撮像範囲を知ることができる。したがって、ステレオ画像の２枚目以降の画像を取得する際の試行錯誤を減らし、作業者の負荷を低減することができる。特に、撮像した２枚目の撮像画像に、撮像された１枚目の画像の撮像範囲を示す情報が表示されるため、１枚目の撮像範囲と２枚目の撮像範囲とがどの程度重なっているか、どの範囲で重なっているかを容易に把握することができる。
【０１５９】
なお、本実施の形態では、ステレオ画像の１枚目の画像、２枚目の画像共に、実際に右ハンドアイカメラ１５Ｒを用いて撮像したが、ステレオ画像の１枚目の画像のみを実際に右ハンドアイカメラ１５Ｒを用いて撮像し、その後はシミュレーションにより表示画像Ｐ及び枠Ｆ１、Ｆ２の表示を行う（図５に示すステップＳ１０６の代わりにステップＳ２００を行う）ようにしてもよい。また、ステレオ画像の１枚目の画像はシミュレーションにより取得し、２枚目の画像は実際の撮像する（図５に示すステップＳ１０６の次に図１０のステップＳ２０４を行う）ようにしてもよい。
【０１６０】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。特に、第１、第２の実施の形態では、ロボットと、ロボット制御部が別に設けられたロボットシステムを提供する場合を例示したが、ロボットと、ロボット制御部とが別に設けられたロボットシステムとして提供してもよいし、ロボットにロボット制御部等が含まれたロボットとして提供してもよいし、ロボット制御部のみ、又はロボット制御部及び撮像部からなるロボット制御装置として提供してもよい。また、本発明は、ロボット等を制御するプログラムやプログラムを記憶した記憶媒体として提供することもできる。
【０１６１】
そして、ロボット制御部として提供する場合には、１．ロボット制御部に撮像部が含まれる場合、２．ロボット制御部に撮像部が含まれない場合、の２通りが本発明の技術的範囲に含まれる。また、ロボットシステム及びロボットとして提供する場合には、１．ロボットに撮像部及びロボット制御部が含まれる場合、２．ロボットに撮像部が含まれ、ロボット制御部は含まれない場合、３．ロボットにロボット制御部が含まれ、撮像部は含まれない場合、４．ロボットに撮像部とロボット制御部とが含まれず、撮像部とロボット制御部とが異なる筐体に、もしくは撮像部とロボット制御部とが同一の筐体に含まれる場合、の４通りが本発明の技術的範囲に含まれる。
【符号の説明】
【０１６２】
１、２：ロボットシステム、１０、１０Ａ：ロボット、１１：アーム、１１Ｌ：左アーム、１１Ｒ：右アーム、１１ａ：軸、１２：ジョイント、１３：リンク、１４：ハンド、１５：ハンドアイカメラ、１５Ｌ：左ハンドアイカメラ、１５Ｒ：右ハンドアイカメラ、１５ａ：光軸、１６：撮像部、２０：制御部、２１：ＣＰＵ、２２：メモリー、２３：外部記憶装置、２４：通信装置、２５：入力装置、２６：出力装置、３０：第１撮像部、３１：第２撮像部、４０：第１天井撮像部、４１：第２天井撮像部、２００：画像取得部、２０１：ロボット制御部、２０２：画像処理部、２０３：画像取得部、２０１１：駆動制御部、２０１２：撮像制御部、２０２１：カメラパラメーター取得部、２０２２：３次元モデル情報取得部、２０２３：俯瞰画像生成部、２０２４：ライブビュー画像生成部、２０２５：表示制御部
【図１】
2014184543.tif 000003
【図２】
2014184543.tif 000004
【図３】
2014184543.tif 000005
【図４】
2014184543.tif 000006
【図５】
2014184543.tif 000007
【図６】
2014184543.tif 000008
【図７】
2014184543.tif 000009
【図８】
2014184543.tif 000010
【図９】
2014184543.tif 000011
【図１０】
2014184543.tif 000012
【図１１】
2014184543.tif 000013
【図１２】
2014184543.tif 000014