(57)【要約】  可動ロボットの動作空間を立体的に表示するためのデータを生成する動作空間提示装置を提供する。動作空間提示装置は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、可動ロボットが動作する三次元領域を生成する作業領域生成部（１０２）と、実画像を撮像する撮像部（１０４）と、撮像部（１０４）の撮像位置と撮像方向とを検出する位置姿勢検出部（１０５）と、撮像部（１０４）により撮像された実画像に、可動ロボットの線分近似モデルを撮像位置から撮像方向に向かって見たときの像と、三次元領域を撮像位置から撮像方向に向かって見たときの像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部（１０６）とを備える。
2011080882.tif 000002
【特許請求の範囲】
【請求項１】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、
実画像を撮像する撮像部と、
前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備える
動作空間提示装置。
【請求項２】
前記オーバレイ部は、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳する
請求項１に記載の動作空間提示装置。
【請求項３】
前記作業領域生成部は、
前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部と、
前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記線分近似モデルを動作させる動作シミュレータと、
前記動作シミュレータが前記線分近似モデルを動作させた結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成部とを備える
請求項１または請求項２に記載の動作空間提示装置。
【請求項４】
前記オーバレイ部は、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレータが動作させた前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳する
請求項３に記載の動作空間提示装置。
【請求項５】
前記オーバレイ部は、前記三次元領域が滑らかであると評価するとき、前記実画像に前記線分近似モデル像を重畳し、前記三次元領域が滑らかでないと評価するとき、前記実画像に前記作業領域像を重畳する
請求項４に記載の動作空間提示装置。
【請求項６】
前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が予め定められた条件を満たすとき、前記実画像に前記線分近似モデル像を重畳し、前記撮像位置から前記可動ロボットの位置までの距離が前記予め定められた条件を満たさないとき、前記実画像に前記作業領域像を重畳する
請求項４に記載の動作空間提示装置。
【請求項７】
前記動作空間提示装置は、さらに、前記作業領域生成部により生成された前記三次元領域の表現形式を変更する領域表現調整部を備える
請求項３〜６のいずれか１項に記載の動作空間提示装置。
【請求項８】
前記領域表現調整部は、前記可動ロボットが前記動作計画に従って前記三次元領域を動作する単位時間当たりの移動量によって、前記三次元領域を構成する二次元平面の表現形式を変更する
請求項７に記載の動作空間提示装置。
【請求項９】
前記領域表現調整部は、前記動作計画において区分されるモードの違いにより前記三次元領域を構成する二次元平面の表現形式を変更する
請求項７または請求項８に記載の動作空間提示装置。
【請求項１０】
前記オーバレイ部は、さらに、前記モードの実行順序であって、前記動作計画に従って決定される前記実行順序を前記作業領域像と前記実画像とのうち少なくとも一方に重畳する
請求項９に記載の動作空間提示装置。
【請求項１１】
前記オーバレイ部は、さらに、現在実行中の前記モードの終了予定時間を前記作業領域像と前記実画像とのうち少なくとも一方に重畳する
請求項９または請求項１０に記載の動作空間提示装置。
【請求項１２】
前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳する
請求項１〜１１のいずれか１項に記載の動作空間提示装置。
【請求項１３】
前記作業領域生成部は、前記三次元領域において前記可動ロボットが動作する領域と、前記三次元領域において前記可動ロボットが動作する時刻と、を対応づけて前記三次元領域を生成し、
前記オーバレイ部は、前記三次元領域から現在時刻以降に前記可動ロボットが動作する前記領域を抽出し、前記実画像に、抽出された前記領域を前記撮像位置から前記撮像方向に向かって見たときの像を、前記作業領域像として、重畳する
請求項１〜１２のいずれか１項に記載の動作空間提示装置。
【請求項１４】
前記位置姿勢検出部は、前記撮像部によって撮像された、位置を示すビジュアルタグにより、前記撮像位置と前記撮像方向とを検出する
請求項１〜１３のいずれか１項に記載の動作空間提示装置。
【請求項１５】
前記動作空間提示装置は、さらに、前記撮像部と一緒に移動する表示部を備え、
前記表示部は、前記オーバレイ部により前記実画像に重畳された前記作業領域像を表示する
請求項１〜１４のいずれか１項に記載の動作空間提示装置。
【請求項１６】
前記動作空間提示装置は、さらに、前記可動ロボットを動作させるための動作計画を保持する動作計画保持部を備え、
前記作業領域生成部は、前記三次元領域を、前記動作計画保持部により保持された前記動作計画に従って生成する
請求項１〜１５のいずれか１項に記載の動作空間提示装置。
【請求項１７】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含む
動作空間提示方法。
【請求項１８】
可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを
コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作計画に従って動作する可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置および動作空間提示方法に関する。
【背景技術】
【０００２】
従来のロボットは、人の立ち入りが禁止されたロボット専用の動作空間が十分に与えられていた。しかし近年では、家事支援ロボット、および、双碗型のセル生産向けロボットなど、人と空間を共有しながらタスクを実行するロボットが増えつつある。【０００３】
このようなロボットに隣接して人が作業を行う場合、人がロボットの動作空間を適切に知覚しなければ、人は、ロボットと接触して負傷する場合がある。人が負傷しなかったとしても、ロボットの緊急停止により、アイドリング時間が増加したり、あるいは、ロボットによって実行されているタスクが失敗したりすることになる。【０００４】
このような支障を回避するため、例えば、特許文献１に示された移動ロボットは、移動ロボットが移動する路面上に危険範囲を投影する。これにより、移動ロボットは、危険範囲を提示し、円滑な動作を実現する。【０００５】
図２７は、特許文献１に示された移動ロボットの概要を示す図である。【０００６】
動作計画部９９０２は、移動ロボット９９０１の動作内容を決定する。【０００７】
動作制御部９９０３は、決定された動作内容、および、エンコーダ９９０８により計測された車輪９９０６の情報に基づいて、車輪９９０６を駆動するための情報を算出する。駆動部９９０４は、算出された情報に基づいて、車輪９９０６を駆動する。また、動作制御部９９０３は、決定された動作内容、および、エンコーダ９９０９により計測された腕部９９０７の情報に基づいて、腕部９９０７を駆動するための情報を算出する。駆動部９９０５は、算出された情報に従って、腕部９９０７を駆動する。【０００８】
これにより、移動ロボット９９０１は移動し、また、腕部９９０７を動作させる。表示制御部９９１０は、決定された動作内容に基づいて、移動および動作する可能性のある危険範囲を決定する。プロジェクタ９９１１は、移動ロボット９９０１が移動する路面上に、決定された危険範囲を投影する。これにより、移動ロボット９９０１は、危険範囲を提示し、円滑な動作を実現する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１２３０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に示された移動ロボットは、どの高さが危険範囲であるかを提示できない。【００１１】
例えば、アームロボットの場合、アームロボットがプロジェクタによって利用する範囲をアームロボットの設置面に投影するだけでは、どの高さがアームロボットにより利用されるかを判断することが困難である。仮に、アームロボットが設置面から６０ｃｍ以上の部分しか動作空間として使用しない場合であっても、特許文献１に示された方法では、高さ方向のすべてが動作空間として判断される。したがって、アームロボットが動作空間として使用しない空間も、利用不可能な空間となる。【００１２】
また、アームロボットが高速で動作する場合、プロジェクタによってアームロボットの設置面に投影される像も高速で移動する。さらに、プロジェクタが投影する接地面が曲面などの場合は投影された像が変形し、動作空間が誤って判断される可能性もある。【００１３】
したがって、設置面に投影される像により、アームロボットの動作空間全体を直感的に判断することは困難である。そこで、本発明は、ロボットの動作空間を立体的に表示するためのデータを生成する動作空間提示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明に係る動作空間提示装置は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、実画像を撮像する撮像部と、前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備える。【００１５】
これにより、動作空間提示装置は、動作計画に従って動作する可動ロボットの動作空間を立体的に表示するためのデータを生成することができる。また、見えにくさに基づく選択的な重畳によって、表示に適切なデータが生成される。【００１６】
また、前記オーバレイ部は、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳してもよい。【００１７】
これにより、作業領域像が見えにくいときに線分近似モデル像が重畳される。したがって、表示に適切なデータが生成される。【００１８】
また、前記作業領域生成部は、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部と、前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記線分近似モデルを動作させる動作シミュレータと、前記動作シミュレータが前記線分近似モデルを動作させた結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成部とを備えてもよい。【００１９】
これにより、動作空間提示装置は、可動ロボットの線分近似モデルを用いて、可動ロボットの動作空間である三次元領域を生成する。よって、動作空間提示装置は、演算処理を削減できる。【００２０】
また、前記オーバレイ部は、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレータが動作させた前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳してもよい。【００２１】
これにより、動作空間提示装置は、滑らかさまたは距離に応じて、より知覚しやすい形態を表現できる。【００２２】
また、前記オーバレイ部は、前記三次元領域が滑らかであると評価するとき、前記実画像に前記線分近似モデル像を重畳し、前記三次元領域が滑らかでないと評価するとき、前記実画像に前記作業領域像を重畳してもよい。【００２３】
これにより、動作空間が滑らかでわかりにくい場合、より知覚しやすい表示をするために、線分近似モデルが用いられる。【００２４】
また、前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が予め定められた条件を満たすとき、前記実画像に前記線分近似モデル像を重畳し、前記撮像位置から前記可動ロボットの位置までの距離が前記予め定められた条件を満たさないとき、前記実画像に前記作業領域像を重畳してもよい。【００２５】
これにより、撮像部から動作空間までの距離が近すぎてわかりにくい場合、より知覚しやすい表示をするために、線分近似モデルが用いられる。【００２６】
また、前記動作空間提示装置は、さらに、前記作業領域生成部により生成された前記三次元領域の表現形式を変更する領域表現調整部を備えてもよい。【００２７】
これにより、動作空間の表現形式が、よりわかりやすい表現形式に変更される。【００２８】
また、前記領域表現調整部は、前記可動ロボットが前記動作計画に従って前記三次元領域を動作する単位時間当たりの移動量によって、前記三次元領域を構成する二次元平面の表現形式を変更してもよい。【００２９】
これにより、速度に基づいて、動作空間の表現形式が変更される。例えば、動作空間提示装置は、速度が速い部分について、より危険が高いことを表現できる。【００３０】
また、前記領域表現調整部は、前記動作計画において区分されるモードの違いにより前記三次元領域を構成する二次元平面の表現形式を変更してもよい。【００３１】
これにより、動作空間提示装置は、モード毎の動作空間を表現できる。【００３２】
また、前記オーバレイ部は、さらに、前記モードの実行順序であって、前記動作計画に従って決定される前記実行順序を前記作業領域像と前記実画像とのうち少なくとも一方に重畳してもよい。【００３３】
これにより、動作空間提示装置は、モード毎に動作空間が利用される順序を表現できる。【００３４】
また、前記オーバレイ部は、さらに、現在実行中の前記モードの終了予定時間を前記作業領域像と前記実画像とのうち少なくとも一方に重畳してもよい。【００３５】
これにより、動作空間提示装置は、現在実行中のモードにより利用される動作空間以外の空間が、終了予定時間まで、利用可能であることを表現できる。【００３６】
また、前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳してもよい。【００３７】
これにより、動作空間提示装置は、動作空間までの近さを表現できる。また、動作空間提示装置は、透明度を下げることにより、危険が近づいていることを表現できる。【００３８】
また、前記作業領域生成部は、前記三次元領域において前記可動ロボットが動作する領域と、前記三次元領域において前記可動ロボットが動作する時刻と、を対応づけて前記三次元領域を生成し、前記オーバレイ部は、前記三次元領域から現在時刻以降に前記可動ロボットが動作する前記領域を抽出し、前記実画像に、抽出された前記領域を前記撮像位置から前記撮像方向に向かって見たときの像を、前記作業領域像として、重畳してもよい。【００３９】
これにより、動作空間提示装置は、可動ロボットの動作空間である、動作計画に基づく三次元領域を、予め生成しておくことができる。よって、動作空間提示装置は、重畳するときの演算処理を削減することができる。【００４０】
また、前記位置姿勢検出部は、前記撮像部によって撮像された、位置を示すビジュアルタグにより、前記撮像位置と前記撮像方向とを検出してもよい。【００４１】
これにより、動作空間提示装置は、位置センシングデバイスおよび姿勢センシングデバイスによることなく、撮像部の撮像位置および撮像方向を検出できる。【００４２】
また、前記動作空間提示装置は、さらに、前記撮像部と一緒に移動する表示部を備え、前記表示部は、前記オーバレイ部により前記実画像に重畳された前記作業領域像を表示してもよい。【００４３】
これにより、動作空間提示装置は、外部の表示手段によることなく、重畳された画像を表示できる。また、撮像部と表示部とが一緒に移動することにより、表示部に画像が違和感無く表示される。【００４４】
また、前記動作空間提示装置は、さらに、前記可動ロボットを動作させるための動作計画を保持する動作計画保持部を備え、前記作業領域生成部は、前記三次元領域を、前記動作計画保持部により保持された前記動作計画に従って生成してもよい。【００４５】
これにより、動作空間提示装置は、ネットワーク等の通信手段によることなく、可動ロボットの動作計画を取得できる。【００４６】
また、本発明に係る動作空間提示方法は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含む動作空間提示方法であってもよい。【００４７】
これにより、動作計画に従って動作する可動ロボットの動作空間を立体的に表示するためのデータが生成される。また、見えにくさに基づく選択的な重畳によって、表示に適切なデータが生成される。【００４８】
また、本発明に係るプログラムは、可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させるためのプログラムであってもよい。【００４９】
これにより、前記動作空間提示方法がプログラムとして実現される。
【発明の効果】
【００５０】
本発明により、ロボットの動作空間を立体的に表示するためのデータを生成することができる。
【図面の簡単な説明】
【００５１】
【図１】図１は、実施の形態１における動作空間提示装置の機能ブロック図である。
【図２】図２は、実施の形態１における動作空間提示装置の利用状態を示す図である。
【図３】図３は、実施の形態１における動作空間提示装置の外観を示す図である。
【図４】図４は、実施の形態１における動作空間提示装置の表示内容の一例を示す図である。
【図５】図５は、実施の形態１における動作計画保持部の動作計画の一例を示す図である。
【図６】図６は、実施の形態１における作業領域生成部の機能ブロック図である。
【図７】図７は、実施の形態１における線分近似モデルの一例を示す図である。
【図８】図８は、実施の形態１における三次元領域生成部の動作の一例を示す図である。
【図９】図９は、実施の形態１における領域表現調整部の動作の一例を示す図である。
【図１０】図１０は、実施の形態１におけるオーバレイ部の動作の一例を示す図である。
【図１１】図１１は、実施の形態１における動作空間提示装置に表示される動作空間の一例を示す図である。
【図１２】図１２は、実施の形態２における領域表現調整部の動作の一例を示す図である。
【図１３】図１３は、実施の形態２における動作空間提示装置に表示される動作空間の一例を示す図である。
【図１４】図１４は、実施の形態３における動作計画保持部の動作計画の一例を示す図である。
【図１５】図１５は、実施の形態３における領域表現調整部の動作の一例を示す図である。
【図１６】図１６は、実施の形態３における動作空間提示装置に表示される動作空間の一例を示す図である。
【図１７】図１７は、実施の形態３における動作空間提示装置に表示される動作空間の第１の変形例を示す図である。
【図１８】図１８は、実施の形態３における動作空間提示装置に表示される動作空間の第２の変形例を示す図である。
【図１９】図１９は、実施の形態４における領域表現調整部の動作の一例を示す図である。
【図２０】図２０は、実施の形態４における三次元領域の一例を示す図である。
【図２１】図２１は、実施の形態４における動作空間提示装置に表示される動作空間の一例を示す図である。
【図２２】図２２は、実施の形態５における動作空間提示装置の機能ブロック図である。
【図２３】図２３は、実施の形態５における動作空間提示装置の利用状態を示す図である。
【図２４】図２４は、実施の形態５における動作空間提示装置の外観を示す図である。
【図２５】図２５は、実施の形態５におけるオーバレイ部の動作の一例を示す図である。
【図２６】図２６は、実施の形態６における動作空間提示装置の機能ブロック図である。
【図２７】図２７は、従来技術における危険範囲を提示する装置の機能ブロック図を示す図である。
【発明を実施するための形態】
【００５２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００５３】
（実施の形態１）
図１は、実施の形態１における動作空間提示装置の機能ブロック図である。
【００５４】
図１の動作計画保持部１０１は、アームロボットなどの可動ロボットの動作計画を保持する。作業領域生成部１０２は、動作計画保持部１０１により保持された動作計画から、可動ロボットの動作空間である三次元領域を生成する。領域表現調整部１０３は、生成された三次元領域を人が知覚しやすいように変形または三次元領域を構成する二次元平面のテクスチャを加工する。
【００５５】
撮像部１０４は、実世界画像を撮像する。位置姿勢検出部１０５は、撮像部１０４の実世界における位置と姿勢を検出する。オーバレイ部１０６は、領域表現調整部１０３により出力された三次元領域から、現在時刻以降に可動ロボットが使用する三次元領域を抽出し、撮像部１０４の視点を用いて実世界画像の二次元平面に重畳する。表示部１０７は、人が三次元領域を確認するための表示手段である。
【００５６】
作業領域生成部１０２と領域表現調整部１０３は、可動ロボットが動作を開始するまでに処理を完了する。可動ロボットが動作を開始した後、オーバレイ部１０６は、撮像部１０４の位置および姿勢と、可動ロボットの動作の経過時間と、に応じて、可動ロボットの動作空間に相当する三次元領域を表示部１０７に表示する。これにより、動作空間提示装置１００は、可動ロボットの動作空間を人に提示する。なお、作業領域生成部１０２と領域表現調整部１０３は、可動ロボットの動作と並行して、処理を行ってもよい。
【００５７】
図２は、図１に示された動作空間提示装置１００の利用状態を示す図である。
【００５８】
動作空間提示装置１００は、人２０１と可動ロボット２０２が隣接して作業を行う環境において利用される。動作計画保持部１０１、作業領域生成部１０２、領域表現調整部１０３およびオーバレイ部１０６は、動作空間提示装置１００の電子回路として実装されている。撮像部１０４および表示部１０７は動作空間提示装置１００の表面に実装されている。
【００５９】
また、位置姿勢検出部１０５は、動作空間提示装置１００に実装されたセンシングデバイスと、作業環境内に実装されたセンシングデバイスとによって、撮像部１０４の撮像位置および撮像方向を検出する。実施の形態１では、作業環境内のセンシングデバイスとして、天井に複数の位置センシングデバイス２０４が設置され、床に複数の姿勢センシングデバイス２０５が設置されている。
【００６０】
図３は、図１に示された動作空間提示装置１００の外観を示す図である。
【００６１】
動作空間提示装置１００は、現実世界を撮像するカメラ３０１と、現実世界に三次元領域が重畳された画像を表示する表示画面３０２とを備える表示端末として構成される。図１に示された撮像部１０４は、カメラ３０１等により実装される。また、図１に示された表示部１０７は、表示画面３０２等により実装される。
【００６２】
表示画面３０２は、携帯電話およびＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等のように、人２０１が手に持つことができる大きさで実現してもよい。また、表示画面３０２は、眼鏡レンズ程度の大きさであって、接眼レンズを付けてヘッドマウントディスプレイとして実現してもよい。
【００６３】
位置センシングデバイス３０３は、動作空間提示装置１００の位置センシングデバイスであり、環境側の位置センシングデバイス２０４と連携して動作空間提示装置１００の実世界における位置を検出する。動作空間提示装置１００の位置センシングデバイス３０３と作業環境内の位置センシングデバイス２０４は、例えばＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）を利用した公知の屋内ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などにより位置の検出を実現する。
【００６４】
また、姿勢センシングデバイス３０４は、動作空間提示装置１００の姿勢センシングデバイスであり、作業環境内の姿勢センシングデバイス２０５と連携して動作空間提示装置１００の姿勢を検出する。動作空間提示装置１００の姿勢センシングデバイス３０４と環境側の姿勢センシングデバイス２０５は、例えば、磁気を利用した公知の三次元傾きセンサを利用することにより姿勢検出を実現する。
【００６５】
なお、動作空間提示装置１００と撮像部１０４とは一体であるため、動作空間提示装置１００の位置および姿勢は、図１に示された撮像部１０４の撮像位置および撮像方向に置き換え可能である。ここで、撮像位置は、撮像部１０４自体の位置を意味する。また、撮像方向は、撮像部１０４から被写体への方向を意味する。
【００６６】
図４は、実施の形態１における動作空間提示装置１００の表示内容の一例を示す図である。
【００６７】
人２０１は、動作空間提示装置１００を介して、可動ロボット２０２を観察することにより、可動ロボット２０２の動作空間を直感的に把握することができる。例えば、人２０１と可動ロボット２０２の距離が遠い場合、表示内容４０１が表示画面３０２に表示される。表示内容４０１の動作空間４０２は、可動ロボット２０２の動作空間である。
【００６８】
また、人２０１と可動ロボット２０２の距離が近くなれば、例えば、表示内容４０３が、表示画面３０２に表示される。この場合、可動ロボット２０２の動作空間４０４は、人２０１と可動ロボット２０２の距離が近いため、動作空間４０２よりも大きく表示される。
【００６９】
また、さらに距離が近くなれば、例えば、表示内容４０５が表示画面３０２に表示される。可動ロボット２０２の動作空間４０６は、人２０１と可動ロボット２０２の距離がさらに近いため、動作空間４０４よりも、さらに大きく表示される。ところで、動作空間が大きく表示される場合、人２０１は動作空間と動作空間以外の空間との区別が困難になる場合がある。そのため、この例では、動作空間提示装置１００は、動作空間の透明度を下げることにより、より明確に、動作空間を人２０１に提示している。
【００７０】
つまり、動作空間提示装置１００のオーバレイ部１０６は、撮像位置から可動ロボット２０２までの距離が第１の長さよりも短い第２の長さであるとき、第１の長さであるときよりも動作空間を示す作業領域像の透明度を下げる。そして、オーバレイ部１０６は、透明度を下げた作業領域像と、現実世界の画像とを重畳する。
【００７１】
図５は、図１に示された動作計画保持部１０１により保持される動作計画の一例を示す図である。
【００７２】
図５に示す動作計画５０１は、ＪＩＳ規格の産業用ロボット言語であるＳＬＩＭ（Ｓｔａｎｄａｒｄ  Ｌａｎｇｕａｇｅ  ｆｏｒ  Ｉｎｄｕｓｔｒｉａｌ  Ｍａｎｉｐｕｌａｔｏｒ）によって記述されている。ロボットを操作するための言語は、仕様が標準化されたものから特定のロボット向けに設計されたものまで様々な言語が存在する。動作計画５０１は、ＳＬＩＭ以外の言語仕様によって記述されていてもよい。他の言語であっても、本発明は、実施可能である。
【００７３】
動作計画５０１に基づく動作は、次の通りである。すなわち、可動ロボット２０２の先端が空間位置Ｃにある時に動作計画５０１が実行された場合、可動ロボット２０２の先端は、速度を１００として空間位置Ａへ動く。次に、可動ロボット２０２の先端は、速度を半分の５０として空間位置Ｂへ動き、次に、空間位置Ｃに動く。可動ロボット２０２の先端は、空間位置Ａ、空間位置Ｂおよび空間位置Ｃへ順次動く動作を１０回繰返す。
【００７４】
図６は、図１に示された作業領域生成部１０２の機能ブロック図である。可動ロボット２０２の形状は、近似する線分により表現され、線分近似モデル（線形近似モデルまたは区分線形近似モデルとも呼ばれる）として線分近似モデル保持部６０１に格納される。
【００７５】
図７は、実施の形態１における線分近似モデルの一例を示す図である。
【００７６】
実際のロボットの形状７０１は、一般的に、直線的ではなく、安全性と軽量化を考慮して曲面を多用した形状である。動作空間提示装置１００は、曲面を表現する数式を利用することにより、人２０１に提示される動作空間をより精密に表現できる。しかし、曲面を表現する数式に基づくロボットの形状の計算には、計算量が増加する問題がある。そのため、例えば、実際のロボットの形状７０１は、近似する複数の直線の線分によって表現された線分近似モデル７０２のように、事前に近似モデルに変換される。
【００７７】
線分近似モデル７０２は、線分近似モデルの一例であって、実際のロボットの形状７０１を内包可能な最小の多面体である。線分近似モデル７０２は、例えば、線分近似モデルの内部形式７０３によって表現される。線分近似モデルの内部形式７０３は、多面体を構成する線分の集合として、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）により表現される。
【００７８】
線分近似モデルの内部形式７０３において、線分は、＜ｌｉｎｅ＞タグにより表現される。また、属性ｓｔａｒｔは、線分の始点を示し、属性ｅｎｄは、線分の終点を示す。属性ａｔｔｒがｂｏｄｙの場合、線分が可動ロボット２０２の形状を構成する線分であることを示し、属性ａｔｔｒがｔｒａｊの場合、線分が動作の軌跡であることを示す。また、線分の集合は、＜ｐｏｌｙｇｏｎｓ＞タグにより表現される。なお、実際には、図７に示された線分近似モデルの内部形式７０３のｐ１〜ｐ８に、単位を持つ三次元座標値が格納される。
【００７９】
図６に示された動作シミュレータ６０２は、動作計画保持部１０１が保持する動作計画に基づき、線分近似モデル保持部６０１に保持された線分近似モデルを仮想空間内で動作させる。三次元領域生成部６０３は、可動ロボット２０２の動作を一定時間間隔ΔＴでサンプリングし、可動ロボット２０２の動作空間である三次元領域を生成して出力する。
【００８０】
図８は、図６に示された三次元領域生成部６０３の動作の一例を示す図である。
【００８１】
図８に示された線分近似モデル７０２は、可動ロボット２０２の一部を構成する。そして、線分近似モデル７０２は、動作計画５０１に従って、空間位置Ａ（時刻ｔ＝０）から空間位置Ｂ（時刻ｔ＝２ΔＴ）に、姿勢の変化を伴いながら動く。
【００８２】
一般性を失わずに説明を簡単にするため、図８における線分近似モデル７０２を構成する線分ｐ１−ｐ２に着目する。可動ロボット２０２が空間位置Ａから空間位置Ｂに移動するのに伴い、線分ｐ１−ｐ２は、空間位置Ａの線分８０１から空間位置Ｂの線分８０３へ移動する。ただし、三次元領域生成部６０３は、一定時間間隔ΔＴで動作をサンプリングする。そのため、中間の位置の線分８０２もサンプリングされる。
【００８３】
そして、三次元領域の内部形式８０４に示すように、動作空間を表現する三次元領域が生成される。なお、三次元領域生成部６０３は、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅに動作計画５０１の開始時刻を設定する。以下、時刻の表記は、［時］：［分］：［秒］と記載される。また、実際には、図８に示された三次元領域の内部形式８０４のｐ１（０）、ｐ２（０）、ｐ１（ΔＴ）、ｐ２（ΔＴ）、ｐ１（２ΔＴ）およびｐ２（２ΔＴ）に、単位を持つ三次元座標値が格納される。
【００８４】
領域表現調整部１０３は、作業領域生成部１０２によって出力される三次元領域の形状または三次元領域を構成する二次元平面のテクスチャを加工する。図９は、領域表現調整部１０３が可動ロボット２０２の動作速度によって、三次元領域を構成する二次元平面の色を変化させる例を示す図である。
【００８５】
三次元領域を表現する線分は、それらの線分を辺とする多角形を形成する。三次元領域の内部形式９０３の＜ｐｏｌｙｇｏｎ＞タグは、多角形を示す。属性ｓｔａｒｔの値は、可動ロボット２０２が二次元平面に入る相対時刻を示す。属性ｅｎｄの値は、可動ロボット２０２が二次元平面から出る相対時刻を示す。また、図９に示された三次元領域の内部形式９０３は、時刻が０からΔＴまでの動作により形成される二次元平面９０１と、時刻がΔＴから２ΔＴまでの動作により形成される二次元平面９０２と、に区分される。
【００８６】
そして、各二次元平面を構成する線分のうち、移動の軌跡により生成された線分は、ａｔｔｒ属性の値がｔｒａｊである＜ｌｉｎｅ＞タグにより表現される。また、移動の軌跡により生成された線分の長さは、動作速度に比例する。
【００８７】
また、図９に示された例において、速い動作を示す軌跡を含む二次元平面９０１の色は、赤であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｒｅｄである。遅い動作を示す軌跡を含む二次元平面９０２の色は、黄色であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｙｅｌｌｏｗである。
【００８８】
オーバレイ部１０６は、領域表現調整部１０３によって加工された三次元領域から、現在時刻以降に可動ロボット２０２が使用する三次元領域を抽出する。より具体的には、オーバレイ部１０６は、可動ロボット２０２が動作を開始した時刻を、相対時刻００：００：００として現在の相対時刻を算出する。そして、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅの値が現在の相対時刻よりも後の三次元領域のみを抽出する。
【００８９】
オーバレイ部１０６は、カメラ３０１で撮像された現実世界の画像に、可動ロボット２０２の動作空間である三次元領域を半透明のテクスチャとして重畳する。図１０は、オーバレイ部１０６が、カメラ３０１で撮像された実画像に、三次元領域を撮像位置から撮像方向に向かって見たときの像を重畳する例を示す図である。
【００９０】
可動ロボット２０２の位置は、既知である。また、実世界における撮像部１０４の撮像位置と撮像方向は、位置姿勢検出部１０５によってトレースされている。カメラ３０１の仕様（レンズ焦点距離、撮像素子の形状）は、既知である。
【００９１】
ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の処理により、可動ロボット２０２の動作空間を撮像部１０４の撮像位置から撮像方向に向かって見たときの像に変換する行列式が計算される。すなわち、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）を表示座標系（ｘｃ，ｙｃ）へ変換する行列式が計算される。オーバレイ部１０６は、この行列式を用いて三次元領域を二次元平面に射影し、可動ロボット２０２を含む実画像に重畳する。
【００９２】
実施の形態１において、重畳する際の透明度は、撮像位置と可動ロボット２０２の位置とから計算される距離に比例する値に設定される。
【００９３】
なお、人２０１と可動ロボット２０２との距離は、撮像位置と可動ロボット２０２との距離、および、動作空間提示装置１００と可動ロボット２０２との距離に近似する。そして、図１０に示すように可動ロボット２０２の世界座標Ｐｒは、既知である。また、時刻ｔにおける動作空間提示装置１００の世界座標Ｐｄ（ｔ）は、位置センシングデバイス２０４により既知である。したがって、時刻ｔにおける人２０１と可動ロボット２０２との距離ｄ（ｔ）は、ｄ（ｔ）＝｜Ｐｒ−Ｐｄ（ｔ）｜によって計算される。そして、オーバレイ部１０６は、計算された距離に応じて、実画像に三次元領域の像を重畳できる。
【００９４】
このような構成により、図１１に示すように、動作空間提示装置１００は動作空間を提示する。これにより、人２０１は、可動ロボット２０２の動作空間を立体的に、かつ、直感的に知覚することが可能になり、衝突などの危険を回避することが可能になる。
【００９５】
また、可動ロボット２０２に近いほど重畳されて表示される動作空間の透明度は低くなるため、人２０１は動作空間を視覚的に把握することが容易になる。また、人２０１は、可動ロボット２０２の可動範囲ではあるが現在は使用されていない三次元領域を知覚することで、動作空間を有効に活用することが可能になる。
【００９６】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態１と同じ部分は、記述を省略する。また、実施の形態２における動作空間提示装置は、図１に示された実施の形態１における動作空間提示装置１００と同じ構成要素を備える。
【００９７】
図１２は、実施の形態２における領域表現調整部の動作の一例を示す図である。実施の形態２において、領域表現調整部１０３は、三次元領域を示す色を変化させる。
【００９８】
まず、領域表現調整部１０３は、三次元領域を構成する二次元平面１２０１の内部形式をベースとしてコピーする。次に、領域表現調整部１０３は、ベースとした二次元平面の色を赤、コピーされた二次元平面の色を黄色に設定することにより、三次元領域の内部形式１２０２を変更する。これにより、動作空間提示装置１００は、異なる色で動作空間を表示できる。
【００９９】
図１３は、実施の形態２における動作空間提示装置１００に表示される動作空間の一例を示す図である。動作空間提示装置１００は、可動ロボット２０２から遠い位置において、表示内容１３０１のように、画像を表示し、可動ロボット２０２から近い位置において、表示内容１３０２のように、画像を拡大して表示する。さらに、動作空間提示装置１００が可動ロボット２０２に近づいた場合、三次元領域が、別の色によって表示内容１３０３のように表示される。
【０１００】
ここで、実施の形態１に示されたように、人２０１と可動ロボット２０２の距離は、算出可能である。例えば、オーバレイ部１０６は、可動ロボット２０２の最大到達距離Ｄｒを閾値として、時刻ｔにおける人２０１と可動ロボット２０２との距離ｄ（ｔ）がｄ（ｔ）＜＝Ｄｒの場合、重畳する三次元領域の色を赤色にする。そして、ｄ（ｔ）＞Ｄｒの場合、オーバレイ部１０６は、重畳する三次元領域の色を黄色にする。これにより、図１３のように三次元領域が表示される。
【０１０１】
したがって、人２０１は、人２０１と可動ロボット２０２の動作空間との距離を色によって知覚し、可動ロボット２０２の動作空間をより直感的に把握することが可能になる。
【０１０２】
（実施の形態３）
次に、実施の形態３について説明する。実施の形態１と同じ部分は、記述を省略する。また、実施の形態３における動作空間提示装置は、図１に示された実施の形態１における動作空間提示装置１００と同じ構成要素を備える。実施の形態３において、可動ロボット２０２は、動作計画により定められた複数の動作モードに従って動作する。動作空間提示装置１００は、動作モードにより、動作空間の表現形式を変更する。
【０１０３】
図１４は、実施の形態３における動作計画保持部１０１の動作計画の一例を示す図である。領域表現調整部１０３は、可動ロボット２０２の動作モードの切り替わりで三次元領域の色を変化させる。実施の形態３において、可動ロボット２０２は、２つの動作モードを持ち、動作モード１の実行後に動作モード２を実行する。
【０１０４】
図１５は、実施の形態３における領域表現調整部１０３の動作の一例を示す図である。図１５に示すように、各動作モードに応じて、それぞれの三次元領域が生成される。そして、動作モード１の三次元領域は、黄色に設定され、動作モード１に対応する＜ｐｏｌｙｇｏｎｓ＞タグの属性ｃｏｌｏｒはｙｅｌｌｏｗに設定される。そして、動作モード２の三次元領域は、緑色に設定され、動作モード２に対応する＜ｐｏｌｙｇｏｎｓ＞タグの属性ｃｏｌｏｒはｇｒｅｅｎに設定される。これにより、三次元領域の色が変更される。
【０１０５】
また、三次元領域の内部形式１５０１には、全体の動作が開始する時刻を００：００：００として、各動作モードの動作が開始する相対時刻が格納される。より具体的には、この相対時刻は、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅの値として格納される。
【０１０６】
図１６は、実施の形態３における動作空間提示装置１００に表示される動作空間の一例を示す図である。実施の形態３において、人２０１が動作空間提示装置１００を用いて可動ロボット２０２の動作空間を観察した場合、現在の動作モードの三次元領域が黄色で表示され、次の動作モードの三次元領域が緑色で表示される。
【０１０７】
これにより、動作空間提示装置１００は、人２０１に現在の動作モードの動作空間に近づかないように注意を喚起することができる。また、動作空間提示装置１００は、次の動作モードの動作空間に危険が近づいていることを人２０１に知らせることができる。
【０１０８】
図１７は、実施の形態３における動作空間提示装置１００に表示される動作空間の第１の変形例を示す図である。オーバレイ部１０６は、三次元領域を二次元平面に投射した後、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｍｏｄｅから動作モードの順序を示す数値を取得する。そして、オーバレイ部１０６は、現在の動作モードの順序を示す数値１７０１および次の動作モードの順序を示す数値１７０２を二次元平面にさらに重畳する。これにより、人２０１にとって、動作空間が遷移する順序がよりわかりやすくなる。
【０１０９】
図１８は、実施の形態３における動作空間提示装置１００に表示される動作空間の第２の変形例を示す図である。オーバレイ部１０６は、三次元領域を二次元平面に投射した後、次の動作モードの開始時刻を＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅから取得する。そして、オーバレイ部１０６は、現在の時刻と次の動作モードの開始時刻との差分を、現在の動作モードが終了するまでに要する時間として、二次元平面に重畳する。これにより、人２０１にとって、動作空間が遷移する時刻がよりわかりやすくなる。
【０１１０】
図１８に示すように、可動ロボット２０２の動作開始時点からの相対時刻００：００：００において、動作空間提示装置１００に動作モード１の終了までの所要時間１８０１が表示される。また、相対時刻００：０５：３０において、動作モード１の終了までの所要時間１８０２が表示される。
【０１１１】
以上のように、実施の形態３における領域表現調整部１０３は、動作計画において区分されるモードの違いにより三次元領域を構成する二次元平面の表現形式を変更する。そして、オーバレイ部１０６は、実画像または三次元領域の像に、実行順序および終了予定時間を重畳する。実行順序および終了予定時間が重畳される位置は、実画像および三次元領域の像のいずれであってもよい。例えば、実行順序は、動作モードに対応する動作空間を示す像の付近に重畳されてもよい。
【０１１２】
（実施の形態４）
次に、実施の形態４について、説明する。実施の形態１と同じ部分については記述を省略する。また、実施の形態４における動作空間提示装置は、図１に示された実施の形態１における動作空間提示装置１００と同じ構成要素を備える。
【０１１３】
図１９は、実施の形態４における領域表現調整部１０３の動作の一例を示す図である。領域表現調整部１０３は、作業領域生成部１０２によって出力される三次元領域の形状または三次元領域を構成する二次元平面のテクスチャを加工する。図１９に領域表現調整部１０３が可動ロボット２０２の動作速度によって、三次元領域を構成する二次元平面の色を変化させる例が示されている。
【０１１４】
三次元領域を表現する線分は、それらの線分を辺とする多角形を構成する。三次元領域の内部形式１９０３の＜ｐｏｌｙｇｏｎ＞タグは、多角形を示す。属性ｓｔａｒｔの値は、可動ロボット２０２が二次元平面に入る相対時刻を示す。属性ｅｎｄの値は、可動ロボット２０２が二次元平面から出る相対時刻を示す。また、図１９に示された三次元領域の内部形式１９０３は、時刻が０からΔＴまでの動作により形成される二次元平面１９０１と、時刻がΔＴから２ΔＴまでの動作により形成される二次元平面１９０２と、に区分される。
【０１１５】
そして、各二次元平面を構成する線分のうち、移動の軌跡により生成された線分は、ａｔｔｒ属性の値がｔｒａｊである＜ｌｉｎｅ＞タグにより表現される。また、移動の軌跡により生成された線分の長さは、動作速度に比例する。
【０１１６】
また、図１９に示された例において、速い動作を示す軌跡を含む二次元平面１９０１の色は、赤であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｒｅｄである。遅い動作を示す軌跡を含む二次元平面１９０２の色は、黄色であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｙｅｌｌｏｗである。
【０１１７】
また、領域表現調整部１０３は、各二次元平面の単位法線ベクトルを計算し、多角形の属性に追加する。追加された単位法線ベクトルは、三次元領域の内部形式１９０３の＜ｐｏｌｙｇｏｎ＞タグの属性ｎｏｒｍに格納される。なお、実際には、図１９に示された三次元領域の内部形式１９０３のｎ１およびｎ２に、単位を持つ三次元座標値が記述される。
【０１１８】
オーバレイ部１０６は、領域表現調整部１０３により出力された三次元領域のすべての隣接する二次元平面ｉ，ｊについて、そのなす角θｉｊを計算する。そして、オーバレイ部１０６は、θｉｊが予め設定された閾値θｔｈよりも小さい角の数ｎ（θｉｊ＜θｔｈ）を計算する。そして、オーバレイ部１０６は、その他の角も含めたすべての角の数ｎ（θｉｊ）を用いて、ｎ（θｉｊ＜θｔｈ）／ｎ（θｉｊ）の値を計算する。
【０１１９】
そして、オーバレイ部１０６は、計算されたｎ（θｉｊ＜θｔｈ）／ｎ（θｉｊ）の値が、予め定められた閾値ｐｔｈ以上の場合は、領域表現調整部１０３が出力した三次元領域の起伏が少なく、滑らかであると判断する。三次元領域が滑らかでない場合、または、人２０１と可動ロボット２０２の距離が予め定められた閾値ｄｔｈ以上の場合、オーバレイ部１０６は、領域表現調整部１０３により出力された三次元領域を重畳する。三次元領域が滑らかである場合、かつ、人２０１と可動ロボット２０２の距離が予め定められた閾値ｄｔｈ未満の場合、オーバレイ部１０６は、線分近似された可動ロボット２０２の形状を、二次元平面に重畳する。
【０１２０】
より具体的には、例えば、図２０に示すように、三次元領域が６つの二次元平面２００１〜２００６によって構成される六面体の場合、隣接する二次元平面は以下の１２である。すなわち、ｎ（θｉｊ）＝１２が成立している。
【０１２１】
（二次元平面２００１，二次元平面２００２）
（二次元平面２００１，二次元平面２００３）
（二次元平面２００１，二次元平面２００５）
（二次元平面２００１，二次元平面２００６）
（二次元平面２００２，二次元平面２００５）
（二次元平面２００２，二次元平面２００３）
（二次元平面２００３，二次元平面２００６）
（二次元平面２００５，二次元平面２００６）
（二次元平面２００４，二次元平面２００２）
（二次元平面２００４，二次元平面２００３）
（二次元平面２００４，二次元平面２００６）
（二次元平面２００４，二次元平面２００５）
【０１２２】
オーバレイ部１０６は、各二次元平面のなす角θｉｊを、法線ベクトルの内積に余弦の逆関数を適用することで計算する。例えば、二次元平面２００１と二次元平面２００３とのなす角度２００７は、θである。ここで、閾値であるθｔｈおよびｐｔｈは、それぞれ、θｔｈ＝３０［ｄｅｇ］、ｐｔｈ＝０．３と設定されているとする。ｎ（θｉｊ＜θｔｈ）＝４の場合、ｎ（θｉｊ＜θｔｈ）／ｎ（θｉｊ）＝４／１２＝１／３＞ｐｔｈが成立する。
【０１２３】
したがって、オーバレイ部１０６は、三次元領域が滑らかであると判断する。よって、人２０１と可動ロボット２０２との距離が予め定められた閾値ｄｔｈ未満の場合、オーバレイ部１０６は、領域表現調整部１０３が出力した三次元領域から、線分近似された可動ロボット２０２の形状を抽出して、二次元平面に重畳する。
【０１２４】
線分近似された可動ロボット２０２の形状の抽出は、より具体的には、下記により実現する。すなわち、まず、オーバレイ部１０６は、可動ロボット２０２が動作を開始した時刻を相対時刻００：００：００として、現在の相対時刻を算出する。次に、オーバレイ部１０６は、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅの値が現在の相対時刻よりも後の特定の時刻（例えば、ΔＴ経過後の時刻）のみを含む線分（＜ｌｉｎｅ＞タグ）を抽出する。その後、オーバレイ部１０６は、一致する点から線分の接続関係を判定することにより、線分近似モデル７０２を構成する二次元平面を再構成する。
【０１２５】
または、オーバレイ部１０６は、複数の時刻の線分を抽出することにより、複数の線分近似モデルを構成する二次元平面を再構成してもよい。
【０１２６】
オーバレイ部１０６は、所定の条件に従って、線分近似モデル７０２を撮像部１０４の撮像位置から撮像方向に向かって見たときの像と実画像とを重畳する。
【０１２７】
図２１は、実施の形態４における動作空間提示装置１００に表示される動作空間の一例を示す図である。
【０１２８】
動作空間提示装置１００は、可動ロボット２０２から遠い場合、表示内容２１０１のように、画像を表示する。そして、動作空間提示装置１００は、可動ロボット２０２から近い場合、表示内容２１０２のように、画像を拡大して表示する。
【０１２９】
さらに、動作空間提示装置１００が可動ロボット２０２に、より近い場合、かつ、三次元領域の表面が滑らかである場合、人２０１は、動作空間を直感的に知覚することが困難になる。そのため、動作空間提示装置１００は、自動的に線分近似された可動ロボット２０２の形状を示す表示に切り替える。そして、動作空間提示装置１００は、表示内容２１０３のように、画像を表示する。これにより、人２０１は、可動ロボット２０２の動作空間をより直感的に把握することが可能になる。
【０１３０】
ここで、実施の形態１に示されたように、人２０１と可動ロボット２０２の距離は、算出可能である。例えば、比較に用いられる閾値ｄｔｈは、可動ロボット２０２の最大到達距離Ｄｒであってもよい。すなわち、閾値ｄｔｈは、ｄｔｈ＝Ｄｒとして設定されてもよい。これにより、図２１のように三次元領域が表示される。
【０１３１】
なお、実施の形態４において、オーバレイ部１０６は、滑らかさと距離とに応じて、実画像に線分近似モデルの像と三次元領域の像とのいずれかを重畳したが、滑らかさおよび距離のうち少なくともいずれか一方に応じて、実画像に線分近似モデルの像と三次元領域の像とのいずれかを重畳してもよい。
【０１３２】
例えば、オーバレイ部１０６は、三次元領域の滑らかさのみに応じて、線分近似モデルの像と三次元領域の像とのいずれを重畳するかを判定してもよい。この場合、オーバレイ部１０６は、三次元領域が滑らかであると評価するとき、実画像に線分近似モデルの像を重畳し、滑らかでないと評価するとき、実画像に三次元領域の像を重畳してもよい。
【０１３３】
あるいは、オーバレイ部１０６は、撮像位置と可動ロボット２０２の距離のみに応じて、線分近似モデルの像と三次元領域の像とのいずれを重畳するかを判定してもよい。この場合、オーバレイ部１０６は、撮像位置と可動ロボット２０２の位置との距離が予め定められた条件を満たすとき、実画像に線分近似モデルの像を重畳し、撮像位置と可動ロボット２０２の位置との距離が予め定められた条件を満たさないとき、実画像に三次元領域の像を重畳してもよい。
【０１３４】
また、オーバレイ部１０６は、別途の切り替え手段により、実画像に線分近似モデルの像と三次元領域の像とのいずれかを重畳してもよい。
【０１３５】
また、実施の形態４において、領域表現調整部１０３が各二次元平面の単位法線ベクトルを計算したが、作業領域生成部１０２が単位法線ベクトルを計算してもよい。これにより、領域表現調整部１０３がなくても、オーバレイ部１０６は三次元領域の滑らかさを評価し、実画像に線分近似モデルまたは三次元領域の像を選択的に重畳できる。
【０１３６】
（実施の形態５）
次に、実施の形態５について説明する。実施の形態１と同じ部分については記述を省略する。
【０１３７】
図２２は、実施の形態５における動作空間提示装置の機能ブロック図である。位置姿勢検出部２２０５は、撮像部１０４が撮像する実世界画像から撮像部１０４の撮像位置と撮像方向を検出する。
【０１３８】
図２３は、図２２に示された動作空間提示装置２２００の利用状態を示す図である。
【０１３９】
動作空間提示装置２２００は、人２０１と可動ロボット２０２が隣接して作業を行う環境において利用される。動作計画保持部１０１、作業領域生成部１０２、領域表現調整部１０３、位置姿勢検出部２２０５およびオーバレイ部１０６は、動作空間提示装置２２００の電子回路として実装されている。撮像部１０４および表示部１０７は、動作空間提示装置２２００の表面に実装されている。ビジュアルタグ２３０４は、位置姿勢検出部２２０５が撮像位置および撮像方向を検出するときに利用される。
【０１４０】
図２４は、図２２に示された動作空間提示装置２２００の外観を示す図である。
【０１４１】
動作空間提示装置２２００は、現実世界を撮像するカメラ３０１と現実世界に三次元領域を重畳した画像を表示する表示画面３０２とを備える。表示画面３０２は、携帯電話およびＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等のように、人２０１が手に持つことができる大きさによって、実現してもよい。また、表示画面３０２は、眼鏡レンズ程度の大きさであって、接眼レンズを付けてヘッドマウントディスプレイとして実現してもよい。
【０１４２】
ビジュアルタグ２３０４は、撮像部１０４によって撮像され、表示画面３０２に表示されている。位置姿勢検出部２２０５は、撮像されたビジュアルタグ２３０４を用いて、撮像部１０４の撮像位置および撮像方向を検出する。
【０１４３】
図２５は、図２２に示されたオーバレイ部１０６の動作の一例を示す図である。オーバレイ部１０６は、ビジュアルタグ２３０４を利用して三次元領域を二次元平面に投射する。
【０１４４】
具体的には、予めキャリブレーションされたビジュアルタグ２３０４は、カメラ３０１の撮像範囲に含められるように配置される。そして、オーバレイ部１０６は、カメラ３０１で撮像された現実世界の画像に、三次元領域を半透明のテクスチャで投射する。座標系の変換には、表示座標系とマーカ座標系を対応付ける画像処理（ＡＲＴｏｏｌＫｉｔなど）が利用される。マーカ座標系と表示座標系とは、キャリブレーションなどによって簡単に対応付けられる。
【０１４５】
したがって、オーバレイ部１０６は、事前にビジュアルタグ２３０４をマーカ座標系に対応付けておくことにより、ビジュアルタグ２３０４が撮像された時に、マーカ座標系（Ｘｍ，Ｙｍ，Ｚｍ）から表示座標系（ｘｃ，ｙｃ）へ変換する行列式を決定できる。オーバレイ部１０６は、この行列式を用いて三次元領域を二次元平面に射影し、実世界の画像に重畳する。
【０１４６】
（実施の形態６）
次に、実施の形態６について説明する。実施の形態１と同じ部分については記述を省略する。
【０１４７】
図２６は、実施の形態６における動作空間提示装置の機能ブロック図である。
【０１４８】
動作空間提示装置２６００は、作業領域生成部２６０２、撮像部１０４、位置姿勢検出部１０５およびオーバレイ部２６０６を備える。
【０１４９】
作業領域生成部２６０２は、例えば、通信ネットワークを介して可動ロボット２０２の動作計画を取得する。これにより、実施の形態１に示された動作計画保持部１０１が無くても、作業領域生成部２６０２は、可動ロボット２０２の動作計画に従って三次元領域を生成できる。
【０１５０】
撮像部１０４は、実画像を撮像する。すなわち、撮像部１０４は、被写体を撮影して、実画像を生成する。位置姿勢検出部１０５は、撮像部１０４の撮像位置および撮像方向を検出する。位置姿勢検出部１０５は、撮像位置および撮像方向を検出するため、実施の形態５に示されたビジュアルタグ２３０４を利用してもよい。
【０１５１】
オーバレイ部２６０６は、作業領域生成部２６０２により生成された三次元領域を取得し、三次元領域を撮像部１０４の撮像位置から撮像方向に向かって見たときの像である作業領域像を算出する。そして、算出された作業領域像と撮像部１０４により撮像された実画像とを重畳する。そして、重畳されたデータは、外部に出力される。出力されたデータは、例えば、外部の表示手段によって表示される。
【０１５２】
すなわち、動作空間提示装置２６００は、実施の形態１に示された動作計画保持部１０１、領域表現調整部１０３および表示部１０７を備えなくても、可動ロボット２０２の動作空間を立体的に表示するためのデータを生成することができる。生成されたデータは、例えば、外部の表示手段により、動作空間を立体的に表示する画像として表示される。これにより、人２０１は、可動ロボット２０２の動作空間を直感的に知覚できる。
【０１５３】
なお、オーバレイ部２６０６は、実画像に、可動ロボット２０２の線分近似モデルを撮像位置から撮像方向に向かって見たときの像である線分近似モデル像と、作業領域像と、のいずれかを、線分近似モデル像または作業領域像の見えにくさに応じて選択的に重畳してもよい。例えば、オーバレイ部２６０６は、見えにくさを評価するための基準に従って作業領域像が見えにくいと評価するとき、実画像に線分近似モデル像を重畳する。これにより、よりわかりやすい表示を実現するためのデータが生成される。
【０１５４】
具体的には、撮像位置から可動ロボット２０２までの距離が近すぎる場合、作業領域像が見えにくい。また、可動ロボット２０２の動作空間が滑らかである場合、人２０１は動作空間を直感的に知覚しにくい。つまり、この場合も、作業領域像が見えにくい。そこで、オーバレイ部２６０６は、撮像位置から可動ロボット２０２までの距離が近いか否か、または、作業領域生成部２６０２により生成された三次元領域が滑らかであるか否か等を、見えにくさを評価するための基準として用いて、見えにくさを評価してもよい。
【０１５５】
以上、複数の実施の形態に示されたように、本発明に係る動作空間提示装置は、動作計画に従って生成された可動ロボットの動作空間を立体的に表示するためのデータを生成することができる。生成されたデータは、表示手段により、動作空間を立体的に表示する画像として表示される。これにより、人は、可動ロボットの動作空間を直感的に知覚できる。
【０１５６】
なお、これらの実施の形態は例であり、本発明はこれらの実施の形態に限定されるのではない。これらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も、動作空間を立体的に表示するためのデータを生成することが可能であり、本発明に含まれる。
【０１５７】
また、本発明は、動作空間提示装置として実現できるだけでなく、動作空間提示装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらの方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体として実現できる。
【産業上の利用可能性】
【０１５８】
本発明に係る動作空間提示装置は、動作空間を立体的に表示するためのデータを生成でき、セル生産現場などのロボットと密に連携して作業する現場において、ロボットとの衝突回避に有用である。また、本発明に係る動作空間提示装置は、ロボットの動作をプレゼンテーションするためのツールとして適用できる。
【符号の説明】
【０１５９】
１００、２２００、２６００  動作空間提示装置
１０１  動作計画保持部
１０２、２６０２  作業領域生成部
１０３  領域表現調整部
１０４  撮像部
１０５、２２０５  位置姿勢検出部
１０６、２６０６  オーバレイ部
１０７  表示部
２０１  人
２０２  可動ロボット
２０４、３０３  位置センシングデバイス
２０５、３０４  姿勢センシングデバイス
３０１  カメラ
３０２  表示画面
４０１、４０３、４０５、１３０１、１３０２、１３０３、２１０１、２１０２、２１０３  表示内容
４０２、４０４、４０６  動作空間
５０１  動作計画
６０１  線分近似モデル保持部
６０２  動作シミュレータ
６０３  三次元領域生成部
７０１  ロボットの形状
７０２  線分近似モデル
７０３  線分近似モデルの内部形式
８０１、８０２、８０３  線分
８０４、９０３、１２０２、１５０１、１９０３  三次元領域の内部形式
９０１、９０２、１２０１、１９０１、１９０２、２００１、２００２、２００３、２００４、２００５、２００６  二次元平面
１７０１、１７０２  数値
１８０１、１８０２  所要時間
２００７  角度
２３０４  ビジュアルタグ
９９０１  移動ロボット
９９０２  動作計画部
９９０３  動作制御部
９９０４、９９０５  駆動部
９９０６  車輪
９９０７  腕部
９９０８、９９０９  エンコーダ
９９１０  表示制御部
９９１１  プロジェクタ
【図１】
2011080882.tif 000003
【図２】
2011080882.tif 000004
【図３】
2011080882.tif 000005
【図４】
2011080882.tif 000006
【図５】
2011080882.tif 000007
【図６】
2011080882.tif 000008
【図７】
2011080882.tif 000009
【図８】
2011080882.tif 000010
【図９】
2011080882.tif 000011
【図１０】
2011080882.tif 000012
【図１１】
2011080882.tif 000013
【図１２】
2011080882.tif 000014
【図１３】
2011080882.tif 000015
【図１４】
2011080882.tif 000016
【図１５】
2011080882.tif 000017
【図１６】
2011080882.tif 000018
【図１７】
2011080882.tif 000019
【図１８】
2011080882.tif 000020
【図１９】
2011080882.tif 000021
【図２０】
2011080882.tif 000022
【図２１】
2011080882.tif 000023
【図２２】
2011080882.tif 000024
【図２３】
2011080882.tif 000025
【図２４】
2011080882.tif 000026
【図２５】
2011080882.tif 000027
【図２６】
2011080882.tif 000028
【図２７】
2011080882.tif 000029
【手続補正書】
【提出日】平成23年8月1日(2011.8.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作計画に従って動作する可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置および動作空間提示方法に関する。
【背景技術】
【０００２】
従来のロボットは、人の立ち入りが禁止されたロボット専用の動作空間が十分に与えられていた。しかし近年では、家事支援ロボット、および、双碗型のセル生産向けロボットなど、人と空間を共有しながらタスクを実行するロボットが増えつつある。
【０００３】
このようなロボットに隣接して人が作業を行う場合、人がロボットの動作空間を適切に知覚しなければ、人は、ロボットと接触して負傷する場合がある。人が負傷しなかったとしても、ロボットの緊急停止により、アイドリング時間が増加したり、あるいは、ロボットによって実行されているタスクが失敗したりすることになる。
【０００４】
このような支障を回避するため、例えば、特許文献１に示された移動ロボットは、移動ロボットが移動する路面上に危険範囲を投影する。これにより、移動ロボットは、危険範囲を提示し、円滑な動作を実現する。
【０００５】
図２７は、特許文献１に示された移動ロボットの概要を示す図である。
【０００６】
動作計画部９９０２は、移動ロボット９９０１の動作内容を決定する。
【０００７】
動作制御部９９０３は、決定された動作内容、および、エンコーダ９９０８により計測された車輪９９０６の情報に基づいて、車輪９９０６を駆動するための情報を算出する。駆動部９９０４は、算出された情報に基づいて、車輪９９０６を駆動する。また、動作制御部９９０３は、決定された動作内容、および、エンコーダ９９０９により計測された腕部９９０７の情報に基づいて、腕部９９０７を駆動するための情報を算出する。駆動部９９０５は、算出された情報に従って、腕部９９０７を駆動する。
【０００８】
これにより、移動ロボット９９０１は移動し、また、腕部９９０７を動作させる。表示制御部９９１０は、決定された動作内容に基づいて、移動および動作する可能性のある危険範囲を決定する。プロジェクタ９９１１は、移動ロボット９９０１が移動する路面上に、決定された危険範囲を投影する。これにより、移動ロボット９９０１は、危険範囲を提示し、円滑な動作を実現する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１２３０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に示された移動ロボットは、どの高さが危険範囲であるかを提示できない。
【００１１】
例えば、アームロボットの場合、アームロボットがプロジェクタによって利用する範囲をアームロボットの設置面に投影するだけでは、どの高さがアームロボットにより利用されるかを判断することが困難である。仮に、アームロボットが設置面から６０ｃｍ以上の部分しか動作空間として使用しない場合であっても、特許文献１に示された方法では、高さ方向のすべてが動作空間として判断される。したがって、アームロボットが動作空間として使用しない空間も、利用不可能な空間となる。
【００１２】
また、アームロボットが高速で動作する場合、プロジェクタによってアームロボットの設置面に投影される像も高速で移動する。さらに、プロジェクタが投影する接地面が曲面などの場合は投影された像が変形し、動作空間が誤って判断される可能性もある。
【００１３】
したがって、設置面に投影される像により、アームロボットの動作空間全体を直感的に判断することは困難である。そこで、本発明は、ロボットの動作空間を立体的に表示するためのデータを生成する動作空間提示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明に係る動作空間提示装置は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、実画像を撮像する撮像部と、前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備え、前記オーバレイ部は、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳する。
【００１５】
また、本発明に係る動作空間提示装置は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、実画像を撮像する撮像部と、前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備え、前記作業領域生成部は、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部と、前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記線分近似モデルを動作させる動作シミュレータと、前記動作シミュレータが前記線分近似モデルを動作させた結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成部とを備え、前記オーバレイ部は、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレータが動作させた前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳する動作空間提示装置でもよい。
【００１６】
また、本発明に係る動作空間提示装置は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、実画像を撮像する撮像部と、前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備え、前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳する動作空間提示装置でもよい。
【００１７】
また、本発明に係る動作空間提示装置は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、実画像を撮像する撮像部と、前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備える動作空間提示装置でもよい。
【００１８】
これにより、動作空間提示装置は、動作計画に従って動作する可動ロボットの動作空間を立体的に表示するためのデータを生成することができる。また、見えにくさに基づく選択的な重畳によって、表示に適切なデータが生成される。
【００１９】
また、前記オーバレイ部は、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳してもよい。
【００２０】
これにより、作業領域像が見えにくいときに線分近似モデル像が重畳される。したがって、表示に適切なデータが生成される。
【００２１】
また、前記作業領域生成部は、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部と、前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記線分近似モデルを動作させる動作シミュレータと、前記動作シミュレータが前記線分近似モデルを動作させた結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成部とを備えてもよい。
【００２２】
これにより、動作空間提示装置は、可動ロボットの線分近似モデルを用いて、可動ロボットの動作空間である三次元領域を生成する。よって、動作空間提示装置は、演算処理を削減できる。
【００２３】
また、前記オーバレイ部は、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレータが動作させた前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳してもよい。
【００２４】
これにより、動作空間提示装置は、滑らかさまたは距離に応じて、より知覚しやすい形態を表現できる。
【００２５】
また、前記オーバレイ部は、前記三次元領域が滑らかであると評価するとき、前記実画像に前記線分近似モデル像を重畳し、前記三次元領域が滑らかでないと評価するとき、前記実画像に前記作業領域像を重畳してもよい。
【００２６】
これにより、動作空間が滑らかでわかりにくい場合、より知覚しやすい表示をするために、線分近似モデルが用いられる。
【００２７】
また、前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が予め定められた条件を満たすとき、前記実画像に前記線分近似モデル像を重畳し、前記撮像位置から前記可動ロボットの位置までの距離が前記予め定められた条件を満たさないとき、前記実画像に前記作業領域像を重畳してもよい。
【００２８】
これにより、撮像部から動作空間までの距離が近すぎてわかりにくい場合、より知覚しやすい表示をするために、線分近似モデルが用いられる。
【００２９】
また、前記動作空間提示装置は、さらに、前記作業領域生成部により生成された前記三次元領域の表現形式を変更する領域表現調整部を備えてもよい。
【００３０】
これにより、動作空間の表現形式が、よりわかりやすい表現形式に変更される。
【００３１】
また、前記領域表現調整部は、前記可動ロボットが前記動作計画に従って前記三次元領域を動作する単位時間当たりの移動量によって、前記三次元領域を構成する二次元平面の表現形式を変更してもよい。
【００３２】
これにより、速度に基づいて、動作空間の表現形式が変更される。例えば、動作空間提示装置は、速度が速い部分について、より危険が高いことを表現できる。
【００３３】
また、前記領域表現調整部は、前記動作計画において区分されるモードの違いにより前記三次元領域を構成する二次元平面の表現形式を変更してもよい。
【００３４】
これにより、動作空間提示装置は、モード毎の動作空間を表現できる。
【００３５】
また、前記オーバレイ部は、さらに、前記モードの実行順序であって、前記動作計画に従って決定される前記実行順序を前記作業領域像と前記実画像とのうち少なくとも一方に重畳してもよい。
【００３６】
これにより、動作空間提示装置は、モード毎に動作空間が利用される順序を表現できる。
【００３７】
また、前記オーバレイ部は、さらに、現在実行中の前記モードの終了予定時間を前記作業領域像と前記実画像とのうち少なくとも一方に重畳してもよい。
【００３８】
これにより、動作空間提示装置は、現在実行中のモードにより利用される動作空間以外の空間が、終了予定時間まで、利用可能であることを表現できる。
【００３９】
また、前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳してもよい。
【００４０】
これにより、動作空間提示装置は、動作空間までの近さを表現できる。また、動作空間提示装置は、透明度を下げることにより、危険が近づいていることを表現できる。
【００４１】
また、前記作業領域生成部は、前記三次元領域において前記可動ロボットが動作する領域と、前記三次元領域において前記可動ロボットが動作する時刻と、を対応づけて前記三次元領域を生成し、前記オーバレイ部は、前記三次元領域から現在時刻以降に前記可動ロボットが動作する前記領域を抽出し、前記実画像に、抽出された前記領域を前記撮像位置から前記撮像方向に向かって見たときの像を、前記作業領域像として、重畳してもよい。
【００４２】
これにより、動作空間提示装置は、可動ロボットの動作空間である、動作計画に基づく三次元領域を、予め生成しておくことができる。よって、動作空間提示装置は、重畳するときの演算処理を削減することができる。
【００４３】
また、前記位置姿勢検出部は、前記撮像部によって撮像された、位置を示すビジュアルタグにより、前記撮像位置と前記撮像方向とを検出してもよい。
【００４４】
これにより、動作空間提示装置は、位置センシングデバイスおよび姿勢センシングデバイスによることなく、撮像部の撮像位置および撮像方向を検出できる。
【００４５】
また、前記動作空間提示装置は、さらに、前記撮像部と一緒に移動する表示部を備え、前記表示部は、前記オーバレイ部により前記実画像に重畳された前記作業領域像を表示してもよい。
【００４６】
これにより、動作空間提示装置は、外部の表示手段によることなく、重畳された画像を表示できる。また、撮像部と表示部とが一緒に移動することにより、表示部に画像が違和感無く表示される。
【００４７】
また、前記動作空間提示装置は、さらに、前記可動ロボットを動作させるための動作計画を保持する動作計画保持部を備え、前記作業領域生成部は、前記三次元領域を、前記動作計画保持部により保持された前記動作計画に従って生成してもよい。
【００４８】
これにより、動作空間提示装置は、ネットワーク等の通信手段によることなく、可動ロボットの動作計画を取得できる。
【００４９】
また、本発明に係る動作空間提示方法は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含み、前記オーバレイステップでは、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳する動作空間提示方法でもよい。
【００５０】
また、本発明に係る動作空間提示方法は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含み、前記作業領域生成ステップは、前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部で保持された前記線分近似モデルを動作させる動作シミュレーションステップと、前記動作シミュレーションステップで前記線分近似モデルが動作した結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成ステップとを含み、前記オーバレイステップでは、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレーションステップで動作した前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳する動作空間提示方法でもよい。
【００５１】
また、本発明に係る動作空間提示方法は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含み、前記オーバレイステップでは、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳する動作空間提示方法でもよい。
【００５２】
また、本発明に係る動作空間提示方法は、可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含む動作空間提示方法であってもよい。
【００５３】
これにより、動作計画に従って動作する可動ロボットの動作空間を立体的に表示するためのデータが生成される。また、見えにくさに基づく選択的な重畳によって、表示に適切なデータが生成される。
【００５４】
また、本発明に係るプログラムは、可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させ、前記オーバレイステップでは、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳するプログラムでもよい。
【００５５】
また、本発明に係るプログラムは、可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させ、前記作業領域生成ステップは、前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部で保持された前記線分近似モデルを動作させる動作シミュレーションステップと、前記動作シミュレーションステップで前記線分近似モデルが動作した結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成ステップとを含み、前記オーバレイステップでは、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレーションステップで動作した前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳するプログラムでもよい。
【００５６】
また、本発明に係るプログラムは、可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させ、前記オーバレイステップでは、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳するプログラムでもよい。
【００５７】
また、本発明に係るプログラムは、可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させるためのプログラムであってもよい。
【００５８】
これにより、前記動作空間提示方法がプログラムとして実現される。
【発明の効果】
【００５９】
本発明により、ロボットの動作空間を立体的に表示するためのデータを生成することができる。
【図面の簡単な説明】
【００６０】
【図１】図１は、実施の形態１における動作空間提示装置の機能ブロック図である。
【図２】図２は、実施の形態１における動作空間提示装置の利用状態を示す図である。
【図３】図３は、実施の形態１における動作空間提示装置の外観を示す図である。
【図４】図４は、実施の形態１における動作空間提示装置の表示内容の一例を示す図である。
【図５】図５は、実施の形態１における動作計画保持部の動作計画の一例を示す図である。
【図６】図６は、実施の形態１における作業領域生成部の機能ブロック図である。
【図７】図７は、実施の形態１における線分近似モデルの一例を示す図である。
【図８】図８は、実施の形態１における三次元領域生成部の動作の一例を示す図である。
【図９】図９は、実施の形態１における領域表現調整部の動作の一例を示す図である。
【図１０】図１０は、実施の形態１におけるオーバレイ部の動作の一例を示す図である。
【図１１】図１１は、実施の形態１における動作空間提示装置に表示される動作空間の一例を示す図である。
【図１２】図１２は、実施の形態２における領域表現調整部の動作の一例を示す図である。
【図１３】図１３は、実施の形態２における動作空間提示装置に表示される動作空間の一例を示す図である。
【図１４】図１４は、実施の形態３における動作計画保持部の動作計画の一例を示す図である。
【図１５】図１５は、実施の形態３における領域表現調整部の動作の一例を示す図である。
【図１６】図１６は、実施の形態３における動作空間提示装置に表示される動作空間の一例を示す図である。
【図１７】図１７は、実施の形態３における動作空間提示装置に表示される動作空間の第１の変形例を示す図である。
【図１８】図１８は、実施の形態３における動作空間提示装置に表示される動作空間の第２の変形例を示す図である。
【図１９】図１９は、実施の形態４における領域表現調整部の動作の一例を示す図である。
【図２０】図２０は、実施の形態４における三次元領域の一例を示す図である。
【図２１】図２１は、実施の形態４における動作空間提示装置に表示される動作空間の一例を示す図である。
【図２２】図２２は、実施の形態５における動作空間提示装置の機能ブロック図である。
【図２３】図２３は、実施の形態５における動作空間提示装置の利用状態を示す図である。
【図２４】図２４は、実施の形態５における動作空間提示装置の外観を示す図である。
【図２５】図２５は、実施の形態５におけるオーバレイ部の動作の一例を示す図である。
【図２６】図２６は、実施の形態６における動作空間提示装置の機能ブロック図である。
【図２７】図２７は、従来技術における危険範囲を提示する装置の機能ブロック図を示す図である。
【発明を実施するための形態】
【００６１】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００６２】
（実施の形態１）
図１は、実施の形態１における動作空間提示装置の機能ブロック図である。
【００６３】
図１の動作計画保持部１０１は、アームロボットなどの可動ロボットの動作計画を保持する。作業領域生成部１０２は、動作計画保持部１０１により保持された動作計画から、可動ロボットの動作空間である三次元領域を生成する。領域表現調整部１０３は、生成された三次元領域を人が知覚しやすいように変形または三次元領域を構成する二次元平面のテクスチャを加工する。
【００６４】
撮像部１０４は、実世界画像を撮像する。位置姿勢検出部１０５は、撮像部１０４の実世界における位置と姿勢を検出する。オーバレイ部１０６は、領域表現調整部１０３により出力された三次元領域から、現在時刻以降に可動ロボットが使用する三次元領域を抽出し、撮像部１０４の視点を用いて実世界画像の二次元平面に重畳する。表示部１０７は、人が三次元領域を確認するための表示手段である。
【００６５】
作業領域生成部１０２と領域表現調整部１０３は、可動ロボットが動作を開始するまでに処理を完了する。可動ロボットが動作を開始した後、オーバレイ部１０６は、撮像部１０４の位置および姿勢と、可動ロボットの動作の経過時間と、に応じて、可動ロボットの動作空間に相当する三次元領域を表示部１０７に表示する。これにより、動作空間提示装置１００は、可動ロボットの動作空間を人に提示する。なお、作業領域生成部１０２と領域表現調整部１０３は、可動ロボットの動作と並行して、処理を行ってもよい。
【００６６】
図２は、図１に示された動作空間提示装置１００の利用状態を示す図である。
【００６７】
動作空間提示装置１００は、人２０１と可動ロボット２０２が隣接して作業を行う環境において利用される。動作計画保持部１０１、作業領域生成部１０２、領域表現調整部１０３およびオーバレイ部１０６は、動作空間提示装置１００の電子回路として実装されている。撮像部１０４および表示部１０７は動作空間提示装置１００の表面に実装されている。
【００６８】
また、位置姿勢検出部１０５は、動作空間提示装置１００に実装されたセンシングデバイスと、作業環境内に実装されたセンシングデバイスとによって、撮像部１０４の撮像位置および撮像方向を検出する。実施の形態１では、作業環境内のセンシングデバイスとして、天井に複数の位置センシングデバイス２０４が設置され、床に複数の姿勢センシングデバイス２０５が設置されている。
【００６９】
図３は、図１に示された動作空間提示装置１００の外観を示す図である。
【００７０】
動作空間提示装置１００は、現実世界を撮像するカメラ３０１と、現実世界に三次元領域が重畳された画像を表示する表示画面３０２とを備える表示端末として構成される。図１に示された撮像部１０４は、カメラ３０１等により実装される。また、図１に示された表示部１０７は、表示画面３０２等により実装される。
【００７１】
表示画面３０２は、携帯電話およびＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等のように、人２０１が手に持つことができる大きさで実現してもよい。また、表示画面３０２は、眼鏡レンズ程度の大きさであって、接眼レンズを付けてヘッドマウントディスプレイとして実現してもよい。
【００７２】
位置センシングデバイス３０３は、動作空間提示装置１００の位置センシングデバイスであり、環境側の位置センシングデバイス２０４と連携して動作空間提示装置１００の実世界における位置を検出する。動作空間提示装置１００の位置センシングデバイス３０３と作業環境内の位置センシングデバイス２０４は、例えばＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）を利用した公知の屋内ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などにより位置の検出を実現する。
【００７３】
また、姿勢センシングデバイス３０４は、動作空間提示装置１００の姿勢センシングデバイスであり、作業環境内の姿勢センシングデバイス２０５と連携して動作空間提示装置１００の姿勢を検出する。動作空間提示装置１００の姿勢センシングデバイス３０４と環境側の姿勢センシングデバイス２０５は、例えば、磁気を利用した公知の三次元傾きセンサを利用することにより姿勢検出を実現する。
【００７４】
なお、動作空間提示装置１００と撮像部１０４とは一体であるため、動作空間提示装置１００の位置および姿勢は、図１に示された撮像部１０４の撮像位置および撮像方向に置き換え可能である。ここで、撮像位置は、撮像部１０４自体の位置を意味する。また、撮像方向は、撮像部１０４から被写体への方向を意味する。
【００７５】
図４は、実施の形態１における動作空間提示装置１００の表示内容の一例を示す図である。
【００７６】
人２０１は、動作空間提示装置１００を介して、可動ロボット２０２を観察することにより、可動ロボット２０２の動作空間を直感的に把握することができる。例えば、人２０１と可動ロボット２０２の距離が遠い場合、表示内容４０１が表示画面３０２に表示される。表示内容４０１の動作空間４０２は、可動ロボット２０２の動作空間である。
【００７７】
また、人２０１と可動ロボット２０２の距離が近くなれば、例えば、表示内容４０３が、表示画面３０２に表示される。この場合、可動ロボット２０２の動作空間４０４は、人２０１と可動ロボット２０２の距離が近いため、動作空間４０２よりも大きく表示される。
【００７８】
また、さらに距離が近くなれば、例えば、表示内容４０５が表示画面３０２に表示される。可動ロボット２０２の動作空間４０６は、人２０１と可動ロボット２０２の距離がさらに近いため、動作空間４０４よりも、さらに大きく表示される。ところで、動作空間が大きく表示される場合、人２０１は動作空間と動作空間以外の空間との区別が困難になる場合がある。そのため、この例では、動作空間提示装置１００は、動作空間の透明度を下げることにより、より明確に、動作空間を人２０１に提示している。
【００７９】
つまり、動作空間提示装置１００のオーバレイ部１０６は、撮像位置から可動ロボット２０２までの距離が第１の長さよりも短い第２の長さであるとき、第１の長さであるときよりも動作空間を示す作業領域像の透明度を下げる。そして、オーバレイ部１０６は、透明度を下げた作業領域像と、現実世界の画像とを重畳する。
【００８０】
図５は、図１に示された動作計画保持部１０１により保持される動作計画の一例を示す図である。
【００８１】
図５に示す動作計画５０１は、ＪＩＳ規格の産業用ロボット言語であるＳＬＩＭ（Ｓｔａｎｄａｒｄ  Ｌａｎｇｕａｇｅ  ｆｏｒ  Ｉｎｄｕｓｔｒｉａｌ  Ｍａｎｉｐｕｌａｔｏｒ）によって記述されている。ロボットを操作するための言語は、仕様が標準化されたものから特定のロボット向けに設計されたものまで様々な言語が存在する。動作計画５０１は、ＳＬＩＭ以外の言語仕様によって記述されていてもよい。他の言語であっても、本発明は、実施可能である。
【００８２】
動作計画５０１に基づく動作は、次の通りである。すなわち、可動ロボット２０２の先端が空間位置Ｃにある時に動作計画５０１が実行された場合、可動ロボット２０２の先端は、速度を１００として空間位置Ａへ動く。次に、可動ロボット２０２の先端は、速度を半分の５０として空間位置Ｂへ動き、次に、空間位置Ｃに動く。可動ロボット２０２の先端は、空間位置Ａ、空間位置Ｂおよび空間位置Ｃへ順次動く動作を１０回繰返す。
【００８３】
図６は、図１に示された作業領域生成部１０２の機能ブロック図である。可動ロボット２０２の形状は、近似する線分により表現され、線分近似モデル（線形近似モデルまたは区分線形近似モデルとも呼ばれる）として線分近似モデル保持部６０１に格納される。
【００８４】
図７は、実施の形態１における線分近似モデルの一例を示す図である。
【００８５】
実際のロボットの形状７０１は、一般的に、直線的ではなく、安全性と軽量化を考慮して曲面を多用した形状である。動作空間提示装置１００は、曲面を表現する数式を利用することにより、人２０１に提示される動作空間をより精密に表現できる。しかし、曲面を表現する数式に基づくロボットの形状の計算には、計算量が増加する問題がある。そのため、例えば、実際のロボットの形状７０１は、近似する複数の直線の線分によって表現された線分近似モデル７０２のように、事前に近似モデルに変換される。
【００８６】
線分近似モデル７０２は、線分近似モデルの一例であって、実際のロボットの形状７０１を内包可能な最小の多面体である。線分近似モデル７０２は、例えば、線分近似モデルの内部形式７０３によって表現される。線分近似モデルの内部形式７０３は、多面体を構成する線分の集合として、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）により表現される。
【００８７】
線分近似モデルの内部形式７０３において、線分は、＜ｌｉｎｅ＞タグにより表現される。また、属性ｓｔａｒｔは、線分の始点を示し、属性ｅｎｄは、線分の終点を示す。属性ａｔｔｒがｂｏｄｙの場合、線分が可動ロボット２０２の形状を構成する線分であることを示し、属性ａｔｔｒがｔｒａｊの場合、線分が動作の軌跡であることを示す。また、線分の集合は、＜ｐｏｌｙｇｏｎｓ＞タグにより表現される。なお、実際には、図７に示された線分近似モデルの内部形式７０３のｐ１〜ｐ８に、単位を持つ三次元座標値が格納される。
【００８８】
図６に示された動作シミュレータ６０２は、動作計画保持部１０１が保持する動作計画に基づき、線分近似モデル保持部６０１に保持された線分近似モデルを仮想空間内で動作させる。三次元領域生成部６０３は、可動ロボット２０２の動作を一定時間間隔ΔＴでサンプリングし、可動ロボット２０２の動作空間である三次元領域を生成して出力する。
【００８９】
図８は、図６に示された三次元領域生成部６０３の動作の一例を示す図である。
【００９０】
図８に示された線分近似モデル７０２は、可動ロボット２０２の一部を構成する。そして、線分近似モデル７０２は、動作計画５０１に従って、空間位置Ａ（時刻ｔ＝０）から空間位置Ｂ（時刻ｔ＝２ΔＴ）に、姿勢の変化を伴いながら動く。
【００９１】
一般性を失わずに説明を簡単にするため、図８における線分近似モデル７０２を構成する線分ｐ１−ｐ２に着目する。可動ロボット２０２が空間位置Ａから空間位置Ｂに移動するのに伴い、線分ｐ１−ｐ２は、空間位置Ａの線分８０１から空間位置Ｂの線分８０３へ移動する。ただし、三次元領域生成部６０３は、一定時間間隔ΔＴで動作をサンプリングする。そのため、中間の位置の線分８０２もサンプリングされる。
【００９２】
そして、三次元領域の内部形式８０４に示すように、動作空間を表現する三次元領域が生成される。なお、三次元領域生成部６０３は、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅに動作計画５０１の開始時刻を設定する。以下、時刻の表記は、［時］：［分］：［秒］と記載される。また、実際には、図８に示された三次元領域の内部形式８０４のｐ１（０）、ｐ２（０）、ｐ１（ΔＴ）、ｐ２（ΔＴ）、ｐ１（２ΔＴ）およびｐ２（２ΔＴ）に、単位を持つ三次元座標値が格納される。
【００９３】
領域表現調整部１０３は、作業領域生成部１０２によって出力される三次元領域の形状または三次元領域を構成する二次元平面のテクスチャを加工する。図９は、領域表現調整部１０３が可動ロボット２０２の動作速度によって、三次元領域を構成する二次元平面の色を変化させる例を示す図である。
【００９４】
三次元領域を表現する線分は、それらの線分を辺とする多角形を形成する。三次元領域の内部形式９０３の＜ｐｏｌｙｇｏｎ＞タグは、多角形を示す。属性ｓｔａｒｔの値は、可動ロボット２０２が二次元平面に入る相対時刻を示す。属性ｅｎｄの値は、可動ロボット２０２が二次元平面から出る相対時刻を示す。また、図９に示された三次元領域の内部形式９０３は、時刻が０からΔＴまでの動作により形成される二次元平面９０１と、時刻がΔＴから２ΔＴまでの動作により形成される二次元平面９０２と、に区分される。
【００９５】
そして、各二次元平面を構成する線分のうち、移動の軌跡により生成された線分は、ａｔｔｒ属性の値がｔｒａｊである＜ｌｉｎｅ＞タグにより表現される。また、移動の軌跡により生成された線分の長さは、動作速度に比例する。
【００９６】
また、図９に示された例において、速い動作を示す軌跡を含む二次元平面９０１の色は、赤であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｒｅｄである。遅い動作を示す軌跡を含む二次元平面９０２の色は、黄色であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｙｅｌｌｏｗである。
【００９７】
オーバレイ部１０６は、領域表現調整部１０３によって加工された三次元領域から、現在時刻以降に可動ロボット２０２が使用する三次元領域を抽出する。より具体的には、オーバレイ部１０６は、可動ロボット２０２が動作を開始した時刻を、相対時刻００：００：００として現在の相対時刻を算出する。そして、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅの値が現在の相対時刻よりも後の三次元領域のみを抽出する。
【００９８】
オーバレイ部１０６は、カメラ３０１で撮像された現実世界の画像に、可動ロボット２０２の動作空間である三次元領域を半透明のテクスチャとして重畳する。図１０は、オーバレイ部１０６が、カメラ３０１で撮像された実画像に、三次元領域を撮像位置から撮像方向に向かって見たときの像を重畳する例を示す図である。
【００９９】
可動ロボット２０２の位置は、既知である。また、実世界における撮像部１０４の撮像位置と撮像方向は、位置姿勢検出部１０５によってトレースされている。カメラ３０１の仕様（レンズ焦点距離、撮像素子の形状）は、既知である。
【０１００】
ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の処理により、可動ロボット２０２の動作空間を撮像部１０４の撮像位置から撮像方向に向かって見たときの像に変換する行列式が計算される。すなわち、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）を表示座標系（ｘｃ，ｙｃ）へ変換する行列式が計算される。オーバレイ部１０６は、この行列式を用いて三次元領域を二次元平面に射影し、可動ロボット２０２を含む実画像に重畳する。
【０１０１】
実施の形態１において、重畳する際の透明度は、撮像位置と可動ロボット２０２の位置とから計算される距離に比例する値に設定される。
【０１０２】
なお、人２０１と可動ロボット２０２との距離は、撮像位置と可動ロボット２０２との距離、および、動作空間提示装置１００と可動ロボット２０２との距離に近似する。そして、図１０に示すように可動ロボット２０２の世界座標Ｐｒは、既知である。また、時刻ｔにおける動作空間提示装置１００の世界座標Ｐｄ（ｔ）は、位置センシングデバイス２０４により既知である。したがって、時刻ｔにおける人２０１と可動ロボット２０２との距離ｄ（ｔ）は、ｄ（ｔ）＝｜Ｐｒ−Ｐｄ（ｔ）｜によって計算される。そして、オーバレイ部１０６は、計算された距離に応じて、実画像に三次元領域の像を重畳できる。
【０１０３】
このような構成により、図１１に示すように、動作空間提示装置１００は動作空間を提示する。これにより、人２０１は、可動ロボット２０２の動作空間を立体的に、かつ、直感的に知覚することが可能になり、衝突などの危険を回避することが可能になる。
【０１０４】
また、可動ロボット２０２に近いほど重畳されて表示される動作空間の透明度は低くなるため、人２０１は動作空間を視覚的に把握することが容易になる。また、人２０１は、可動ロボット２０２の可動範囲ではあるが現在は使用されていない三次元領域を知覚することで、動作空間を有効に活用することが可能になる。
【０１０５】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態１と同じ部分は、記述を省略する。また、実施の形態２における動作空間提示装置は、図１に示された実施の形態１における動作空間提示装置１００と同じ構成要素を備える。
【０１０６】
図１２は、実施の形態２における領域表現調整部の動作の一例を示す図である。実施の形態２において、領域表現調整部１０３は、三次元領域を示す色を変化させる。
【０１０７】
まず、領域表現調整部１０３は、三次元領域を構成する二次元平面１２０１の内部形式をベースとしてコピーする。次に、領域表現調整部１０３は、ベースとした二次元平面の色を赤、コピーされた二次元平面の色を黄色に設定することにより、三次元領域の内部形式１２０２を変更する。これにより、動作空間提示装置１００は、異なる色で動作空間を表示できる。
【０１０８】
図１３は、実施の形態２における動作空間提示装置１００に表示される動作空間の一例を示す図である。動作空間提示装置１００は、可動ロボット２０２から遠い位置において、表示内容１３０１のように、画像を表示し、可動ロボット２０２から近い位置において、表示内容１３０２のように、画像を拡大して表示する。さらに、動作空間提示装置１００が可動ロボット２０２に近づいた場合、三次元領域が、別の色によって表示内容１３０３のように表示される。
【０１０９】
ここで、実施の形態１に示されたように、人２０１と可動ロボット２０２の距離は、算出可能である。例えば、オーバレイ部１０６は、可動ロボット２０２の最大到達距離Ｄｒを閾値として、時刻ｔにおける人２０１と可動ロボット２０２との距離ｄ（ｔ）がｄ（ｔ）＜＝Ｄｒの場合、重畳する三次元領域の色を赤色にする。そして、ｄ（ｔ）＞Ｄｒの場合、オーバレイ部１０６は、重畳する三次元領域の色を黄色にする。これにより、図１３のように三次元領域が表示される。
【０１１０】
したがって、人２０１は、人２０１と可動ロボット２０２の動作空間との距離を色によって知覚し、可動ロボット２０２の動作空間をより直感的に把握することが可能になる。
【０１１１】
（実施の形態３）
次に、実施の形態３について説明する。実施の形態１と同じ部分は、記述を省略する。また、実施の形態３における動作空間提示装置は、図１に示された実施の形態１における動作空間提示装置１００と同じ構成要素を備える。実施の形態３において、可動ロボット２０２は、動作計画により定められた複数の動作モードに従って動作する。動作空間提示装置１００は、動作モードにより、動作空間の表現形式を変更する。
【０１１２】
図１４は、実施の形態３における動作計画保持部１０１の動作計画の一例を示す図である。領域表現調整部１０３は、可動ロボット２０２の動作モードの切り替わりで三次元領域の色を変化させる。実施の形態３において、可動ロボット２０２は、２つの動作モードを持ち、動作モード１の実行後に動作モード２を実行する。
【０１１３】
図１５は、実施の形態３における領域表現調整部１０３の動作の一例を示す図である。図１５に示すように、各動作モードに応じて、それぞれの三次元領域が生成される。そして、動作モード１の三次元領域は、黄色に設定され、動作モード１に対応する＜ｐｏｌｙｇｏｎｓ＞タグの属性ｃｏｌｏｒはｙｅｌｌｏｗに設定される。そして、動作モード２の三次元領域は、緑色に設定され、動作モード２に対応する＜ｐｏｌｙｇｏｎｓ＞タグの属性ｃｏｌｏｒはｇｒｅｅｎに設定される。これにより、三次元領域の色が変更される。
【０１１４】
また、三次元領域の内部形式１５０１には、全体の動作が開始する時刻を００：００：００として、各動作モードの動作が開始する相対時刻が格納される。より具体的には、この相対時刻は、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅの値として格納される。
【０１１５】
図１６は、実施の形態３における動作空間提示装置１００に表示される動作空間の一例を示す図である。実施の形態３において、人２０１が動作空間提示装置１００を用いて可動ロボット２０２の動作空間を観察した場合、現在の動作モードの三次元領域が黄色で表示され、次の動作モードの三次元領域が緑色で表示される。
【０１１６】
これにより、動作空間提示装置１００は、人２０１に現在の動作モードの動作空間に近づかないように注意を喚起することができる。また、動作空間提示装置１００は、次の動作モードの動作空間に危険が近づいていることを人２０１に知らせることができる。
【０１１７】
図１７は、実施の形態３における動作空間提示装置１００に表示される動作空間の第１の変形例を示す図である。オーバレイ部１０６は、三次元領域を二次元平面に投射した後、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｍｏｄｅから動作モードの順序を示す数値を取得する。そして、オーバレイ部１０６は、現在の動作モードの順序を示す数値１７０１および次の動作モードの順序を示す数値１７０２を二次元平面にさらに重畳する。これにより、人２０１にとって、動作空間が遷移する順序がよりわかりやすくなる。
【０１１８】
図１８は、実施の形態３における動作空間提示装置１００に表示される動作空間の第２の変形例を示す図である。オーバレイ部１０６は、三次元領域を二次元平面に投射した後、次の動作モードの開始時刻を＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅから取得する。そして、オーバレイ部１０６は、現在の時刻と次の動作モードの開始時刻との差分を、現在の動作モードが終了するまでに要する時間として、二次元平面に重畳する。これにより、人２０１にとって、動作空間が遷移する時刻がよりわかりやすくなる。
【０１１９】
図１８に示すように、可動ロボット２０２の動作開始時点からの相対時刻００：００：００において、動作空間提示装置１００に動作モード１の終了までの所要時間１８０１が表示される。また、相対時刻００：０５：３０において、動作モード１の終了までの所要時間１８０２が表示される。
【０１２０】
以上のように、実施の形態３における領域表現調整部１０３は、動作計画において区分されるモードの違いにより三次元領域を構成する二次元平面の表現形式を変更する。そして、オーバレイ部１０６は、実画像または三次元領域の像に、実行順序および終了予定時間を重畳する。実行順序および終了予定時間が重畳される位置は、実画像および三次元領域の像のいずれであってもよい。例えば、実行順序は、動作モードに対応する動作空間を示す像の付近に重畳されてもよい。
【０１２１】
（実施の形態４）
次に、実施の形態４について、説明する。実施の形態１と同じ部分については記述を省略する。また、実施の形態４における動作空間提示装置は、図１に示された実施の形態１における動作空間提示装置１００と同じ構成要素を備える。
【０１２２】
図１９は、実施の形態４における領域表現調整部１０３の動作の一例を示す図である。領域表現調整部１０３は、作業領域生成部１０２によって出力される三次元領域の形状または三次元領域を構成する二次元平面のテクスチャを加工する。図１９に領域表現調整部１０３が可動ロボット２０２の動作速度によって、三次元領域を構成する二次元平面の色を変化させる例が示されている。
【０１２３】
三次元領域を表現する線分は、それらの線分を辺とする多角形を構成する。三次元領域の内部形式１９０３の＜ｐｏｌｙｇｏｎ＞タグは、多角形を示す。属性ｓｔａｒｔの値は、可動ロボット２０２が二次元平面に入る相対時刻を示す。属性ｅｎｄの値は、可動ロボット２０２が二次元平面から出る相対時刻を示す。また、図１９に示された三次元領域の内部形式１９０３は、時刻が０からΔＴまでの動作により形成される二次元平面１９０１と、時刻がΔＴから２ΔＴまでの動作により形成される二次元平面１９０２と、に区分される。
【０１２４】
そして、各二次元平面を構成する線分のうち、移動の軌跡により生成された線分は、ａｔｔｒ属性の値がｔｒａｊである＜ｌｉｎｅ＞タグにより表現される。また、移動の軌跡により生成された線分の長さは、動作速度に比例する。
【０１２５】
また、図１９に示された例において、速い動作を示す軌跡を含む二次元平面１９０１の色は、赤であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｒｅｄである。遅い動作を示す軌跡を含む二次元平面１９０２の色は、黄色であり、＜ｐｏｌｙｇｏｎ＞タグの属性ｃｏｌｏｒの値は、ｙｅｌｌｏｗである。
【０１２６】
また、領域表現調整部１０３は、各二次元平面の単位法線ベクトルを計算し、多角形の属性に追加する。追加された単位法線ベクトルは、三次元領域の内部形式１９０３の＜ｐｏｌｙｇｏｎ＞タグの属性ｎｏｒｍに格納される。なお、実際には、図１９に示された三次元領域の内部形式１９０３のｎ１およびｎ２に、単位を持つ三次元座標値が記述される。
【０１２７】
オーバレイ部１０６は、領域表現調整部１０３により出力された三次元領域のすべての隣接する二次元平面ｉ，ｊについて、そのなす角θｉｊを計算する。そして、オーバレイ部１０６は、θｉｊが予め設定された閾値θｔｈよりも小さい角の数ｎ（θｉｊ＜θｔｈ）を計算する。そして、オーバレイ部１０６は、その他の角も含めたすべての角の数ｎ（θｉｊ）を用いて、ｎ（θｉｊ＜θｔｈ）／ｎ（θｉｊ）の値を計算する。
【０１２８】
そして、オーバレイ部１０６は、計算されたｎ（θｉｊ＜θｔｈ）／ｎ（θｉｊ）の値が、予め定められた閾値ｐｔｈ以上の場合は、領域表現調整部１０３が出力した三次元領域の起伏が少なく、滑らかであると判断する。三次元領域が滑らかでない場合、または、人２０１と可動ロボット２０２の距離が予め定められた閾値ｄｔｈ以上の場合、オーバレイ部１０６は、領域表現調整部１０３により出力された三次元領域を重畳する。三次元領域が滑らかである場合、かつ、人２０１と可動ロボット２０２の距離が予め定められた閾値ｄｔｈ未満の場合、オーバレイ部１０６は、線分近似された可動ロボット２０２の形状を、二次元平面に重畳する。
【０１２９】
より具体的には、例えば、図２０に示すように、三次元領域が６つの二次元平面２００１〜２００６によって構成される六面体の場合、隣接する二次元平面は以下の１２である。すなわち、ｎ（θｉｊ）＝１２が成立している。
【０１３０】
（二次元平面２００１，二次元平面２００２）
（二次元平面２００１，二次元平面２００３）
（二次元平面２００１，二次元平面２００５）
（二次元平面２００１，二次元平面２００６）
（二次元平面２００２，二次元平面２００５）
（二次元平面２００２，二次元平面２００３）
（二次元平面２００３，二次元平面２００６）
（二次元平面２００５，二次元平面２００６）
（二次元平面２００４，二次元平面２００２）
（二次元平面２００４，二次元平面２００３）
（二次元平面２００４，二次元平面２００６）
（二次元平面２００４，二次元平面２００５）
【０１３１】
オーバレイ部１０６は、各二次元平面のなす角θｉｊを、法線ベクトルの内積に余弦の逆関数を適用することで計算する。例えば、二次元平面２００１と二次元平面２００３とのなす角度２００７は、θである。ここで、閾値であるθｔｈおよびｐｔｈは、それぞれ、θｔｈ＝３０［ｄｅｇ］、ｐｔｈ＝０．３と設定されているとする。ｎ（θｉｊ＜θｔｈ）＝４の場合、ｎ（θｉｊ＜θｔｈ）／ｎ（θｉｊ）＝４／１２＝１／３＞ｐｔｈが成立する。
【０１３２】
したがって、オーバレイ部１０６は、三次元領域が滑らかであると判断する。よって、人２０１と可動ロボット２０２との距離が予め定められた閾値ｄｔｈ未満の場合、オーバレイ部１０６は、領域表現調整部１０３が出力した三次元領域から、線分近似された可動ロボット２０２の形状を抽出して、二次元平面に重畳する。
【０１３３】
線分近似された可動ロボット２０２の形状の抽出は、より具体的には、下記により実現する。すなわち、まず、オーバレイ部１０６は、可動ロボット２０２が動作を開始した時刻を相対時刻００：００：００として、現在の相対時刻を算出する。次に、オーバレイ部１０６は、＜ｐｏｌｙｇｏｎｓ＞タグの属性ｔｉｍｅの値が現在の相対時刻よりも後の特定の時刻（例えば、ΔＴ経過後の時刻）のみを含む線分（＜ｌｉｎｅ＞タグ）を抽出する。その後、オーバレイ部１０６は、一致する点から線分の接続関係を判定することにより、線分近似モデル７０２を構成する二次元平面を再構成する。
【０１３４】
または、オーバレイ部１０６は、複数の時刻の線分を抽出することにより、複数の線分近似モデルを構成する二次元平面を再構成してもよい。
【０１３５】
オーバレイ部１０６は、所定の条件に従って、線分近似モデル７０２を撮像部１０４の撮像位置から撮像方向に向かって見たときの像と実画像とを重畳する。
【０１３６】
図２１は、実施の形態４における動作空間提示装置１００に表示される動作空間の一例を示す図である。
【０１３７】
動作空間提示装置１００は、可動ロボット２０２から遠い場合、表示内容２１０１のように、画像を表示する。そして、動作空間提示装置１００は、可動ロボット２０２から近い場合、表示内容２１０２のように、画像を拡大して表示する。
【０１３８】
さらに、動作空間提示装置１００が可動ロボット２０２に、より近い場合、かつ、三次元領域の表面が滑らかである場合、人２０１は、動作空間を直感的に知覚することが困難になる。そのため、動作空間提示装置１００は、自動的に線分近似された可動ロボット２０２の形状を示す表示に切り替える。そして、動作空間提示装置１００は、表示内容２１０３のように、画像を表示する。これにより、人２０１は、可動ロボット２０２の動作空間をより直感的に把握することが可能になる。
【０１３９】
ここで、実施の形態１に示されたように、人２０１と可動ロボット２０２の距離は、算出可能である。例えば、比較に用いられる閾値ｄｔｈは、可動ロボット２０２の最大到達距離Ｄｒであってもよい。すなわち、閾値ｄｔｈは、ｄｔｈ＝Ｄｒとして設定されてもよい。これにより、図２１のように三次元領域が表示される。
【０１４０】
なお、実施の形態４において、オーバレイ部１０６は、滑らかさと距離とに応じて、実画像に線分近似モデルの像と三次元領域の像とのいずれかを重畳したが、滑らかさおよび距離のうち少なくともいずれか一方に応じて、実画像に線分近似モデルの像と三次元領域の像とのいずれかを重畳してもよい。
【０１４１】
例えば、オーバレイ部１０６は、三次元領域の滑らかさのみに応じて、線分近似モデルの像と三次元領域の像とのいずれを重畳するかを判定してもよい。この場合、オーバレイ部１０６は、三次元領域が滑らかであると評価するとき、実画像に線分近似モデルの像を重畳し、滑らかでないと評価するとき、実画像に三次元領域の像を重畳してもよい。
【０１４２】
あるいは、オーバレイ部１０６は、撮像位置と可動ロボット２０２の距離のみに応じて、線分近似モデルの像と三次元領域の像とのいずれを重畳するかを判定してもよい。この場合、オーバレイ部１０６は、撮像位置と可動ロボット２０２の位置との距離が予め定められた条件を満たすとき、実画像に線分近似モデルの像を重畳し、撮像位置と可動ロボット２０２の位置との距離が予め定められた条件を満たさないとき、実画像に三次元領域の像を重畳してもよい。
【０１４３】
また、オーバレイ部１０６は、別途の切り替え手段により、実画像に線分近似モデルの像と三次元領域の像とのいずれかを重畳してもよい。
【０１４４】
また、実施の形態４において、領域表現調整部１０３が各二次元平面の単位法線ベクトルを計算したが、作業領域生成部１０２が単位法線ベクトルを計算してもよい。これにより、領域表現調整部１０３がなくても、オーバレイ部１０６は三次元領域の滑らかさを評価し、実画像に線分近似モデルまたは三次元領域の像を選択的に重畳できる。
【０１４５】
（実施の形態５）
次に、実施の形態５について説明する。実施の形態１と同じ部分については記述を省略する。
【０１４６】
図２２は、実施の形態５における動作空間提示装置の機能ブロック図である。位置姿勢検出部２２０５は、撮像部１０４が撮像する実世界画像から撮像部１０４の撮像位置と撮像方向を検出する。
【０１４７】
図２３は、図２２に示された動作空間提示装置２２００の利用状態を示す図である。
【０１４８】
動作空間提示装置２２００は、人２０１と可動ロボット２０２が隣接して作業を行う環境において利用される。動作計画保持部１０１、作業領域生成部１０２、領域表現調整部１０３、位置姿勢検出部２２０５およびオーバレイ部１０６は、動作空間提示装置２２００の電子回路として実装されている。撮像部１０４および表示部１０７は、動作空間提示装置２２００の表面に実装されている。ビジュアルタグ２３０４は、位置姿勢検出部２２０５が撮像位置および撮像方向を検出するときに利用される。
【０１４９】
図２４は、図２２に示された動作空間提示装置２２００の外観を示す図である。
【０１５０】
動作空間提示装置２２００は、現実世界を撮像するカメラ３０１と現実世界に三次元領域を重畳した画像を表示する表示画面３０２とを備える。表示画面３０２は、携帯電話およびＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等のように、人２０１が手に持つことができる大きさによって、実現してもよい。また、表示画面３０２は、眼鏡レンズ程度の大きさであって、接眼レンズを付けてヘッドマウントディスプレイとして実現してもよい。
【０１５１】
ビジュアルタグ２３０４は、撮像部１０４によって撮像され、表示画面３０２に表示されている。位置姿勢検出部２２０５は、撮像されたビジュアルタグ２３０４を用いて、撮像部１０４の撮像位置および撮像方向を検出する。
【０１５２】
図２５は、図２２に示されたオーバレイ部１０６の動作の一例を示す図である。オーバレイ部１０６は、ビジュアルタグ２３０４を利用して三次元領域を二次元平面に投射する。
【０１５３】
具体的には、予めキャリブレーションされたビジュアルタグ２３０４は、カメラ３０１の撮像範囲に含められるように配置される。そして、オーバレイ部１０６は、カメラ３０１で撮像された現実世界の画像に、三次元領域を半透明のテクスチャで投射する。座標系の変換には、表示座標系とマーカ座標系を対応付ける画像処理（ＡＲＴｏｏｌＫｉｔなど）が利用される。マーカ座標系と表示座標系とは、キャリブレーションなどによって簡単に対応付けられる。
【０１５４】
したがって、オーバレイ部１０６は、事前にビジュアルタグ２３０４をマーカ座標系に対応付けておくことにより、ビジュアルタグ２３０４が撮像された時に、マーカ座標系（Ｘｍ，Ｙｍ，Ｚｍ）から表示座標系（ｘｃ，ｙｃ）へ変換する行列式を決定できる。オーバレイ部１０６は、この行列式を用いて三次元領域を二次元平面に射影し、実世界の画像に重畳する。
【０１５５】
（実施の形態６）
次に、実施の形態６について説明する。実施の形態１と同じ部分については記述を省略する。
【０１５６】
図２６は、実施の形態６における動作空間提示装置の機能ブロック図である。
【０１５７】
動作空間提示装置２６００は、作業領域生成部２６０２、撮像部１０４、位置姿勢検出部１０５およびオーバレイ部２６０６を備える。
【０１５８】
作業領域生成部２６０２は、例えば、通信ネットワークを介して可動ロボット２０２の動作計画を取得する。これにより、実施の形態１に示された動作計画保持部１０１が無くても、作業領域生成部２６０２は、可動ロボット２０２の動作計画に従って三次元領域を生成できる。
【０１５９】
撮像部１０４は、実画像を撮像する。すなわち、撮像部１０４は、被写体を撮影して、実画像を生成する。位置姿勢検出部１０５は、撮像部１０４の撮像位置および撮像方向を検出する。位置姿勢検出部１０５は、撮像位置および撮像方向を検出するため、実施の形態５に示されたビジュアルタグ２３０４を利用してもよい。
【０１６０】
オーバレイ部２６０６は、作業領域生成部２６０２により生成された三次元領域を取得し、三次元領域を撮像部１０４の撮像位置から撮像方向に向かって見たときの像である作業領域像を算出する。そして、算出された作業領域像と撮像部１０４により撮像された実画像とを重畳する。そして、重畳されたデータは、外部に出力される。出力されたデータは、例えば、外部の表示手段によって表示される。
【０１６１】
すなわち、動作空間提示装置２６００は、実施の形態１に示された動作計画保持部１０１、領域表現調整部１０３および表示部１０７を備えなくても、可動ロボット２０２の動作空間を立体的に表示するためのデータを生成することができる。生成されたデータは、例えば、外部の表示手段により、動作空間を立体的に表示する画像として表示される。これにより、人２０１は、可動ロボット２０２の動作空間を直感的に知覚できる。
【０１６２】
なお、オーバレイ部２６０６は、実画像に、可動ロボット２０２の線分近似モデルを撮像位置から撮像方向に向かって見たときの像である線分近似モデル像と、作業領域像と、のいずれかを、線分近似モデル像または作業領域像の見えにくさに応じて選択的に重畳してもよい。例えば、オーバレイ部２６０６は、見えにくさを評価するための基準に従って作業領域像が見えにくいと評価するとき、実画像に線分近似モデル像を重畳する。これにより、よりわかりやすい表示を実現するためのデータが生成される。
【０１６３】
具体的には、撮像位置から可動ロボット２０２までの距離が近すぎる場合、作業領域像が見えにくい。また、可動ロボット２０２の動作空間が滑らかである場合、人２０１は動作空間を直感的に知覚しにくい。つまり、この場合も、作業領域像が見えにくい。そこで、オーバレイ部２６０６は、撮像位置から可動ロボット２０２までの距離が近いか否か、または、作業領域生成部２６０２により生成された三次元領域が滑らかであるか否か等を、見えにくさを評価するための基準として用いて、見えにくさを評価してもよい。
【０１６４】
以上、複数の実施の形態に示されたように、本発明に係る動作空間提示装置は、動作計画に従って生成された可動ロボットの動作空間を立体的に表示するためのデータを生成することができる。生成されたデータは、表示手段により、動作空間を立体的に表示する画像として表示される。これにより、人は、可動ロボットの動作空間を直感的に知覚できる。
【０１６５】
なお、これらの実施の形態は例であり、本発明はこれらの実施の形態に限定されるのではない。これらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も、動作空間を立体的に表示するためのデータを生成することが可能であり、本発明に含まれる。
【０１６６】
また、本発明は、動作空間提示装置として実現できるだけでなく、動作空間提示装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらの方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体として実現できる。
【産業上の利用可能性】
【０１６７】
本発明に係る動作空間提示装置は、動作空間を立体的に表示するためのデータを生成でき、セル生産現場などのロボットと密に連携して作業する現場において、ロボットとの衝突回避に有用である。また、本発明に係る動作空間提示装置は、ロボットの動作をプレゼンテーションするためのツールとして適用できる。
【符号の説明】
【０１６８】
１００、２２００、２６００  動作空間提示装置
１０１  動作計画保持部
１０２、２６０２  作業領域生成部
１０３  領域表現調整部
１０４  撮像部
１０５、２２０５  位置姿勢検出部
１０６、２６０６  オーバレイ部
１０７  表示部
２０１  人
２０２  可動ロボット
２０４、３０３  位置センシングデバイス
２０５、３０４  姿勢センシングデバイス
３０１  カメラ
３０２  表示画面
４０１、４０３、４０５、１３０１、１３０２、１３０３、２１０１、２１０２、２１０３  表示内容
４０２、４０４、４０６  動作空間
５０１  動作計画
６０１  線分近似モデル保持部
６０２  動作シミュレータ
６０３  三次元領域生成部
７０１  ロボットの形状
７０２  線分近似モデル
７０３  線分近似モデルの内部形式
８０１、８０２、８０３  線分
８０４、９０３、１２０２、１５０１、１９０３  三次元領域の内部形式
９０１、９０２、１２０１、１９０１、１９０２、２００１、２００２、２００３、２００４、２００５、２００６  二次元平面
１７０１、１７０２  数値
１８０１、１８０２  所要時間
２００７  角度
２３０４  ビジュアルタグ
９９０１  移動ロボット
９９０２  動作計画部
９９０３  動作制御部
９９０４、９９０５  駆動部
９９０６  車輪
９９０７  腕部
９９０８、９９０９  エンコーダ
９９１０  表示制御部
９９１１  プロジェクタ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、
実画像を撮像する撮像部と、
前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備え、
前記オーバレイ部は、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳する
動作空間提示装置。
【請求項２】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、
実画像を撮像する撮像部と、
前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備え、
前記作業領域生成部は、
前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部と、
前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記線分近似モデルを動作させる動作シミュレータと、
前記動作シミュレータが前記線分近似モデルを動作させた結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成部とを備え、
前記オーバレイ部は、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレータが動作させた前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳する
動作空間提示装置。
【請求項３】
前記オーバレイ部は、前記三次元領域が滑らかであると評価するとき、前記実画像に前記線分近似モデル像を重畳し、前記三次元領域が滑らかでないと評価するとき、前記実画像に前記作業領域像を重畳する
請求項２に記載の動作空間提示装置。
【請求項４】
前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が予め定められた条件を満たすとき、前記実画像に前記線分近似モデル像を重畳し、前記撮像位置から前記可動ロボットの位置までの距離が前記予め定められた条件を満たさないとき、前記実画像に前記作業領域像を重畳する
請求項２に記載の動作空間提示装置。
【請求項５】
前記動作空間提示装置は、さらに、前記作業領域生成部により生成された前記三次元領域の表現形式を変更する領域表現調整部を備える
請求項２〜４のいずれか１項に記載の動作空間提示装置。
【請求項６】
前記領域表現調整部は、前記可動ロボットが前記動作計画に従って前記三次元領域を動作する単位時間当たりの移動量によって、前記三次元領域を構成する二次元平面の表現形式を変更する
請求項５に記載の動作空間提示装置。
【請求項７】
前記領域表現調整部は、前記動作計画において区分されるモードの違いにより前記三次元領域を構成する二次元平面の表現形式を変更する
請求項５または請求項６に記載の動作空間提示装置。
【請求項８】
前記オーバレイ部は、さらに、前記モードの実行順序であって、前記動作計画に従って決定される前記実行順序を前記作業領域像と前記実画像とのうち少なくとも一方に重畳する
請求項７に記載の動作空間提示装置。
【請求項９】
前記オーバレイ部は、さらに、現在実行中の前記モードの終了予定時間を前記作業領域像と前記実画像とのうち少なくとも一方に重畳する
請求項７または請求項８に記載の動作空間提示装置。
【請求項１０】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示装置であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成部と、
実画像を撮像する撮像部と、
前記撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出部と、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイ部とを備え、
前記オーバレイ部は、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳する
動作空間提示装置。
【請求項１１】
前記作業領域生成部は、前記三次元領域において前記可動ロボットが動作する領域と、前記三次元領域において前記可動ロボットが動作する時刻と、を対応づけて前記三次元領域を生成し、
前記オーバレイ部は、前記三次元領域から現在時刻以降に前記可動ロボットが動作する前記領域を抽出し、前記実画像に、抽出された前記領域を前記撮像位置から前記撮像方向に向かって見たときの像を、前記作業領域像として、重畳する
請求項１〜１０のいずれか１項に記載の動作空間提示装置。
【請求項１２】
前記位置姿勢検出部は、前記撮像部によって撮像された、位置を示すビジュアルタグにより、前記撮像位置と前記撮像方向とを検出する
請求項１〜１１のいずれか１項に記載の動作空間提示装置。
【請求項１３】
前記動作空間提示装置は、さらに、前記撮像部と一緒に移動する表示部を備え、
前記表示部は、前記オーバレイ部により前記実画像に重畳された前記作業領域像を表示する
請求項１〜１２のいずれか１項に記載の動作空間提示装置。
【請求項１４】
前記動作空間提示装置は、さらに、前記可動ロボットを動作させるための動作計画を保持する動作計画保持部を備え、
前記作業領域生成部は、前記三次元領域を、前記動作計画保持部により保持された前記動作計画に従って生成する
請求項１〜１３のいずれか１項に記載の動作空間提示装置。
【請求項１５】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含み、
前記オーバレイステップでは、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳する
動作空間提示方法。
【請求項１６】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含み、
前記作業領域生成ステップは、
前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部で保持された前記線分近似モデルを動作させる動作シミュレーションステップと、
前記動作シミュレーションステップで前記線分近似モデルが動作した結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成ステップとを含み、
前記オーバレイステップでは、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレーションステップで動作した前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳する
動作空間提示方法。
【請求項１７】
可動ロボットの動作空間を提示するためのデータを生成する動作空間提示方法であって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとを含み、
前記オーバレイステップでは、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳する
動作空間提示方法。
【請求項１８】
可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させ、
前記オーバレイステップでは、前記見えにくさを評価するための基準に従って前記作業領域像が見えにくいと評価するとき、前記実画像に前記線分近似モデル像を重畳する
プログラム。
【請求項１９】
可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させ、
前記作業領域生成ステップは、
前記可動ロボットを動作させるための動作計画に従って、仮想空間内で、前記可動ロボットの前記線分近似モデルを保持する線分近似モデル保持部で保持された前記線分近似モデルを動作させる動作シミュレーションステップと、
前記動作シミュレーションステップで前記線分近似モデルが動作した結果から、前記可動ロボットが動作する前記三次元領域を生成する三次元領域生成ステップとを含み、
前記オーバレイステップでは、前記三次元領域の滑らかさと、前記撮像位置から前記可動ロボットの位置までの距離と、の少なくとも一方に応じて、前記実画像に、前記動作シミュレーションステップで動作した前記線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である前記線分近似モデル像と、前記作業領域像と、のいずれかを重畳する
プログラム。
【請求項２０】
可動ロボットの動作空間を提示するためのデータを生成するプログラムであって、
前記可動ロボットが動作する三次元領域を生成する作業領域生成ステップと、
実画像を撮像する撮像部の位置である撮像位置と、前記撮像部の撮像方向と、を検出する位置姿勢検出ステップと、
前記撮像部により撮像された前記実画像に、前記可動ロボットの線分近似モデルを前記撮像位置から前記撮像方向に向かって見たときの像である線分近似モデル像と、前記三次元領域を前記撮像位置から前記撮像方向に向かって見たときの像である作業領域像と、のいずれかを見えにくさに応じて選択的に重畳するオーバレイステップとをコンピュータに実行させ、
前記オーバレイステップでは、前記撮像位置から前記可動ロボットの位置までの距離が第１の長さよりも短い第２の長さであるとき、前記撮像位置から前記可動ロボットの位置までの距離が前記第１の長さであるときよりも前記作業領域像の透明度を下げて、前記実画像に前記作業領域像を重畳する
プログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011080882.tif 000030
【図２】
2011080882.tif 000031
【図３】
2011080882.tif 000032
【図４】
2011080882.tif 000033
【図５】
2011080882.tif 000034
【図６】
2011080882.tif 000035
【図７】
2011080882.tif 000036
【図８】
2011080882.tif 000037
【図９】
2011080882.tif 000038
【図１０】
2011080882.tif 000039
【図１１】
2011080882.tif 000040
【図１２】
2011080882.tif 000041
【図１３】
2011080882.tif 000042
【図１４】
2011080882.tif 000043
【図１５】
2011080882.tif 000044
【図１６】
2011080882.tif 000045
【図１７】
2011080882.tif 000046
【図１８】
2011080882.tif 000047
【図１９】
2011080882.tif 000048
【図２０】
2011080882.tif 000049
【図２１】
2011080882.tif 000050
【図２２】
2011080882.tif 000051
【図２３】
2011080882.tif 000052
【図２４】
2011080882.tif 000053
【図２５】
2011080882.tif 000054
【図２６】
2011080882.tif 000055
【図２７】
2011080882.tif 000056
【国際調査報告】
2011080882.tif 000057
2011080882.tif 000058
2011080882.tif 000059
2011080882.tif 000060