(57)【要約】【課題】マスタスレーブを操作している作業者が見ている画像に応じた力提示を受けることができるマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路を提供する。【解決手段】マスタスレーブロボット１００の制御装置は、対象物情報算出部１１３で算出した対象物情報を基に、力情報補正部１１４において、画面上での対象物の特徴に応じて力情報を補正することによって、ディスプレイ７に映し出された画像を見ながら作業者１が適切な力を加えて作業を行うことができる。【選択図】図１
2015071220.tif 000002
【特許請求の範囲】
【請求項１】
対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、
前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、
前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さの対象物情報を算出する対象物情報算出部と、
前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、
前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、
を備えるマスタスレーブロボットの制御装置。
【請求項２】
前記対象物情報算出部は、前記表示部における撮像画像情報を取得し、取得した前記撮像画像情報から色の濃さを算出して前記対象物情報とする、
請求項１に記載のマスタスレーブロボットの制御装置。
【請求項３】
前記対象物情報算出部は、前記表示部における前記撮像画像情報から明度を検出し、明度が小さいときを色が濃いとする一方、明度が大きいときを色が薄いとすることにより、色の濃さを算出して前記対象物情報とする、
請求項２に記載のマスタスレーブロボットの制御装置。
【請求項４】
前記対象物情報算出部は、前記表示部における前記撮像画像情報をグレースケールに変換して、色の濃さを算出して前記対象物情報とする、
請求項２に記載のマスタスレーブロボットの制御装置。
【請求項５】
前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の色の濃さの前記対象物情報が濃ければ濃いほど、前記力情報取得部から取得した前記力情報を大きく補正するように前記補正力情報を生成する、
請求項１に記載のマスタスレーブロボットの制御装置。
【請求項６】
前記組立作業を表示する前記表示部での画像の拡大率情報を取得する表示情報取得部をさらに備え、
前記力情報補正部において、前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を補正する際の補正量を大きくする、
請求項１に記載のマスタスレーブロボットの制御装置。
【請求項７】
前記力情報補正部は、前記表示情報取得部は、前記表示部の画面上において、前記スレーブアームの作業の状態を拡大して表示するときの拡大率を前記拡大率情報として算出し、算出した前記拡大率情報を基に前記力情報を補正する前記補正力情報を生成する、
請求項６に記載のマスタスレーブロボットの制御装置。
【請求項８】
前記力情報補正部において、前記力情報を補正する際に予め決められた周期で前記力情報を更新するとき、前記力情報の更新の周期を前記予め決められた周期よりも大きくするか又は小さくように補正することのどちらかを行う、
請求項１に記載のマスタスレーブロボットの制御装置。
【請求項９】
前記対象物情報算出部は、前記作業の識別情報を基に、前記作業と、前記対象物の材質又は前記対象物に対する組立作業量とを関係付ける関係情報を参照して、前記対象物の材質又は前記対象物に対する組立作業量算出する、
請求項１〜８のいずれか１つに記載のマスタスレーブロボットの制御装置。
【請求項１０】
請求項１〜９のいずれか１つに記載のマスタスレーブロボットの制御装置と、
前記マスタスレーブアームと、
を備えるロボット。
【請求項１１】
対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御方法であって、
力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得し、
対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さの対象物情報を算出し、
力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成し、
力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する、
マスタスレーブロボットの制御方法。
【請求項１２】
対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、
力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、
対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さの対象物情報を算出するステップと、
力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成するステップと、
力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示するステップと、
をコンピュータに実行させるための、マスタスレーブロボットの制御プログラム。
【請求項１３】
対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御用集積電子回路であって、
前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、
前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さの対象物情報を算出する対象物情報算出部と、
前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、
前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、
を備える
マスタスレーブロボットの制御用集積電子回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マスタスレーブロボットの動作の生成を行うためのマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路に関する。
【背景技術】
【０００２】
人がマスタロボットを遠隔で操作をして、スレーブロボットにより作業を行うマスタスレーブロボットが様々な分野で注目を集めている。
【０００３】
医療の現場では、術者が遠隔でモニタ画面上に映し出された内視鏡の映像を見ながらマスタロボットを操作して、スレーブロボットが把持した鉗子を動かして手術を行う内視鏡手術がある。患部又は鉗子などを拡大してモニタ画面に映し出し、手術ができるメリットに加えて、現場に専門の医師がいなくても遠隔で手術ができる。
【０００４】
また、製造現場では、微細作業又は熟練を要する作業を行うスレーブロボットを遠隔で操作又は教示するマスタスレーブロボットが提案されており、特に顕微鏡下で行う微細作業について、手元の拡大表示、又は、手元操作の移動量の拡大又は縮小移動などにより、細かな作業を簡易に操作することができる。
【０００５】
いずれのマスタスレーブ方式においてもマスタロボットを操作してスムーズにスレーブロボットを操作する機能に加えて、スレーブロボットにかかる力をマスタロボットにフィードバックする機能が求められる。
【０００６】
また、人はモニタ画面を見ながらマスタを操作するため、モニタに映し出された映像とマスタの操作やスレーブの動作とを対応させる必要がある。その技術として、下記の技術が提案されている。
【０００７】
体腔内手術用マスタスレーブマニピュレータにおいて、モニタに映し出された映像の拡大率に応じてマスタロボットとスレーブロボットの動作比率を自動調整する（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平８−１８７２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、見ている映像に対応した力提示を行うことができ、正確に作業を行うことができるように、さらなる作業効率の向上が求められていた。
【００１０】
したがって、本発明の目的は、前記問題を解決することにあり、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても作業者が効率良く作業ができる、マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一態様に係るマスタスレーブロボットの制御装置は、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、
前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、
前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さの対象物情報を算出する対象物情報算出部と、
前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、
前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、
を備える。
【００１２】
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
【発明の効果】
【００１３】
本発明の前記一態様によれば、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者は、効率良くかつ正確に作業を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態におけるマスタスレーブロボットの構成の概要を示す図。
【図２】本発明の第１実施形態のマスタスレーブロボットのブロック図。
【図３】本発明の第１実施形態のマスタスレーブロボットにおける動作情報、時間情報のデータ図。
【図４Ａ】本発明の第１実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。
【図４Ｂ】本発明の第１実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。
【図４Ｃ】本発明の第１実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。
【図４Ｄ】本発明の第１実施形態のマスタスレーブロボットにおける撮像装置の設置方法の説明図。
【図５】本発明の第１実施形態のマスタスレーブロボットにおける撮像装置座標系の説明図。
【図６】本発明の第１実施形態のマスタスレーブロボットにおける撮像装置の設置位置の説明図。
【図７】本発明の第１実施形態のマスタスレーブロボットにおける拡大率情報と、撮像装置位置情報と、時間情報とのデータ図。
【図８】本発明の第１実施形態のマスタスレーブロボットにおける拡大率情報と、撮像装置位置情報と、時間情報とのデータ図（拡大率情報が変化する場合の図）。
【図９】本発明の第１実施形態のマスタスレーブロボットにおける座標系の説明図。
【図１０】本発明の第１実施形態のマスタスレーブロボットにおける補正マスタ動作情報と、時間情報とのデータ図。
【図１１】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報と、時間情報とのデータ図。
【図１２Ａ】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図１２Ｂ】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図１２Ｃ】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図１３Ａ】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図１３Ｂ】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図１３Ｃ】本発明の第１実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図１４】本発明の第１実施形態のマスタスレーブロボットにおける力情報の更新周期変更の説明図。
【図１５】本発明の第１実施形態のマスタスレーブロボットにおける力情報と、時間情報とのデータ図。
【図１６】本発明の第１実施形態のマスタスレーブロボットにおけるマスタ入出力ＩＦのブロック図。
【図１７】本発明の第１実施形態のマスタスレーブロボットの操作手順のフローチャート。
【図１８】本発明の第１実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図１９】本発明の第２実施形態のマスタスレーブロボットのブロック図。
【図２０】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に関する参照画像情報と材質情報のデータ図。
【図２１】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報、時間情報のデータ図。
【図２２】本発明の第２実施形態のマスタスレーブロボットにおける材質情報、補正情報のデータ図。
【図２３Ａ】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２３Ｂ】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２３Ｃ】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２４Ａ】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２４Ｂ】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２４Ｃ】本発明の第２実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２５】本発明の第２実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図２６】本発明の第３実施形態のマスタスレーブロボットのブロック図。
【図２７Ａ】本発明の第３実施形態のマスタスレーブロボットにおける組立作業量の説明図。
【図２７Ｂ】本発明の第３実施形態のマスタスレーブロボットにおける組立作業量の説明図。
【図２８】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報、時間情報のデータ図。
【図２９Ａ】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２９Ｂ】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図２９Ｃ】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図３０Ａ】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図３０Ｂ】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図３０Ｃ】本発明の第３実施形態のマスタスレーブロボットにおける対象物情報に基づいた力情報の補正の説明図。
【図３１】本発明の第３実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図３２】本発明の第４実施形態のマスタスレーブロボットのブロック図。
【図３３】本発明の第４実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図３４】本発明の第５実施形態のマスタスレーブロボットのブロック図。
【図３５】本発明の第５実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図３６】本発明の第６実施形態のマスタスレーブロボットのブロック図。
【図３７Ａ】本発明の第６実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。
【図３７Ｂ】本発明の第６実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。
【図３７Ｃ】本発明の第６実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。
【図３８Ａ】本発明の第６実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。
【図３８Ｂ】本発明の第６実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。
【図３８Ｃ】本発明の第６実施形態のマスタスレーブロボットにおける拡大率情報に基づいた力情報の補正の説明図。
【図３９】本発明の第６実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図４０】本発明の第７実施形態のマスタスレーブロボットのブロック図。
【図４１】本発明の第７実施形態のマスタスレーブロボットにおける力補正手順のフローチャート。
【図４２Ａ】従来のマスタスレーブロボットにおける映像と力の感じ方の説明図。
【図４２Ｂ】従来のマスタスレーブロボットにおける映像と力の感じ方の説明図。
【発明を実施するための形態】
【００１５】
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
【００１６】
以下、図面を参照して本発明における実施形態を詳細に説明する前に、まず、本発明の基礎となった知見を説明したのち、本発明の種々の態様について説明する。
【００１７】
また、本発明の実施形態における作業は組立作業を対象とする。
【００１８】
ここで、本明細書において「組立作業」とは、スレーブアームが把持する挿入物を被挿入物へ挿入する作業、または、スレーブアームが把持する対象物を他の対象物の表面へ設置する作業などをいう。
【００１９】
（本発明の基礎となった知見）
図１に示すように、スレーブアーム３は、作業台１１上の機器１０の挿入口９に、ハンド４で把持された微細部品８を挿入する作業を行うロボットである。この作業をカメラなどの撮像装置６で撮像して表示部の一例としてのディスプレイ７に映し出している。このような状況において、作業者（人）１がディスプレイ７に映し出された映像を見ながらマスタアーム２を操作するマスタスレーブロボット１００を示している。このマスタスレーブロボット１００において、映像の拡大率に対するスレーブアーム３の動作比率を変更すると、それまで見ていた映像とマスタアーム２の操作又は力の感じ方が変わり、作業効率が低下する。
【００２０】
具体的には、図４２Ａ及び図４２Ｂを用いて説明する。図４２Ａ及び図４２Ｂは、図１に示すマスタスレーブロボット１００において、作業者１が見ているディスプレイ７の画面の映像を示す。図４２Ｂと比べて図４２Ａの方が、映像の拡大率が大きく、画面上の微細部品８などが実物よりも大きく映っている。一般に、人が対象物を見る場合に、体積が大きい対象物の方が、重さが重いと先入観により判断する傾向がある（シャルパンティエ効果（大きさ重さ錯覚））ため、映像の拡大率が大きい場合の方が、対象物が大きく見え、対象物が重いとイメージしてしまう。その結果、同じ対象物に対して作業を行っている場合においても、映像の拡大率が大きい場合の方が、重い対象物と判断し、大きな力を対象物に加えてしまう。その結果、作業者１が対象物に過負荷を加えてしまい、作業を正確に行うことが難しくなる。そこで、作業者１の見ている映像と作業者１が行っている操作とを対応付ける技術が提案されている。
【００２１】
具体的には、特許文献１の方法では、ディスプレイ７に映し出された映像の拡大率に応じて、マスタアーム２に対するスレーブアーム３の動作比率を自動調整する。例えば、拡大率をｋ倍すると、動作比率を１／ｋとする。
【００２２】
しかし、特許文献１の方法では、映像の拡大率に応じて動作比率は変えているが、作業者１への力フィードバックする力の大きさは変えていない。つまり、特許文献１においては、映像の見え方に応じて、作業者１に力フィードバックされる力の感じ方が変わることまでは考慮できていない。例えば、図４２Ａ及び図４２Ｂの例では、映像を拡大した場合に、大きな力で作業を行ってしまう。
【００２３】
よって、マスタスレーブロボット１００において、ディスプレイ７に映し出される映像に対応して作業者１がマスタアーム２を操作できるように、映像に応じて力フィードバックする力を自動調整するようにマスタスレーブロボット１００を制御することが求められている。
【００２４】
また、拡大率が変更される場合の他にも、作業者１が見ている画面上での対象物の色の濃さ又は材質又は埋没量などの特徴（特徴量）が変更される場合に同様に、力の感じ方が異なるという問題が生じる。よって、作業者１がディスプレイ７上の画面を見ながら正確に作業できるように、画面上に映し出された対象物の特徴に応じて、フィードバックする力を自動調整するようにマスタスレーブロボット１００を制御することが求められている。
【００２５】
そこで本発明の種々の態様は、以下の通りである。
【００２６】
本発明の第１態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御装置であって、
前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、
前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも１つ以上の対象物情報を算出する対象物情報算出部と、
前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、
前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、
を備えるマスタスレーブロボットの制御装置を提供する。
【００２７】
前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴（対象物情報の特徴量）が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。
【００２８】
また、本発明の第２態様によれば、前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の色の濃さの前記対象物情報が濃ければ濃いほど、前記力情報取得部から取得した前記力情報を大きく補正するように前記補正力情報を生成する、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００２９】
前記態様よれば、対象物の色の濃さに応じて力情報を補正するので、対象物の色の濃さが変更された場合においても、作業者が適切な力で作業を行うことができるように誘導することができる。
【００３０】
また、本発明の第３態様によれば、前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の材質の前記対象物情報が柔らかければ柔らかいほど、前記力情報取得部から取得した前記力情報を小さく補正するように前記補正力情報を生成する、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００３１】
前記態様よれば、対象物の材質の見え方に応じて力情報を補正するので、対象物の材質の見え方が変更された場合においても、作業者が適切な力で作業を行うことができるように誘導することができる。
【００３２】
また、本発明の第４態様によれば、前記力情報補正部において、前記対象物情報算出部から取得した前記対象物の組立作業量の前記対象物情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を小さく補正するように前記補正力情報を生成する、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００３３】
前記態様よれば、対象物の組立作業量に応じて力情報を補正するので、対象物の組立作業量が変更された場合においても、作業者が適切な力で作業を行うことができるように誘導することができる。
【００３４】
また、本発明の第５態様によれば、前記対象物情報算出部から前記対象物情報を複数個取得するとき、前記複数個の対象物情報から１つの対象物情報を選択する対象物情報選択部をさらに備える、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００３５】
前記態様よれば、複数の対象物の特徴がある場合において、最も影響の大きい対象物の特徴を選択し力情報を補正するので、効果の大きい力情報の補正を行うことができ、作業者が作業を正確に行うことができるように誘導することができる。
【００３６】
また、本発明の第６態様によれば、前記対象物情報算出部から前記対象物情報を複数個取得するとき、前記複数個の対象物情報を基に１つの対象物情報に合成する対象物情報合成部をさらに備える、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００３７】
前記態様よれば、複数の対象物の特徴がある場合において、複数の対象物情報を合成し力情報を補正するので、全ての対象物情報の要素を用いて力情報の補正を行うことができ、作業者が作業を正確に行うことができるように誘導することができる。
【００３８】
また、本発明の第７態様によれば、前記組立作業を表示する前記表示部での画像の拡大率情報を取得する表示情報取得部をさらに備え、
前記力情報補正部において、前記表示情報取得部から取得した前記拡大率情報が大きければ大きいほど、前記力情報取得部から取得した前記力情報を補正する際の補正量を大きくする、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００３９】
前記態様よれば、拡大率情報に応じて力情報を補正するので、作業者の実際の見え方に応じて力情報の補正を行うことができ、作業者が作業を正確に行うことができるように誘導することができる。
【００４０】
また、本発明の第８態様によれば、前記力情報補正部は、前記表示情報取得部は、前記表示部の画面上において、前記スレーブアームの作業の状態を拡大して表示するときの拡大率を前記拡大率情報として算出し、算出した前記拡大率情報を基に前記力情報を補正する前記補正力情報を生成する、
第７の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００４１】
前記態様よれば、スレーブアームの作業の状態を拡大して拡大率情報を算出するので、実際の作業に適した拡大率情報を算出することができ、適切な値に力情報を補正し、作業を行う上で適切な力を作業者が加えることができるように誘導することができる。
【００４２】
また、本発明の第９態様によれば、前記力情報補正部において、前記力情報を補正する際に予め決められた周期で前記力情報を更新するとき、前記力情報の更新の周期を前記予め決められた周期よりも大きくするか又は小さくように補正することのどちらかを行う、
第１の態様に記載のマスタスレーブロボットの制御装置を提供する。
【００４３】
前記態様よれば、補正する際に力情報の大きさは変化させないので、力情報を大きく変化させすぎてしまうことがない。また、力情報の大きさを補正することができないシステムの場合においても、力情報の大きさを補正することと同様の効果を得ることができる。
【００４４】
また、本発明の第１０態様によれば、前記対象物情報算出部は、前記作業の識別情報を基に、前記作業と、前記対象物の材質又は前記対象物に対する組立作業量とを関係付ける関係情報を参照して、前記対象物の材質又は前記対象物に対する組立作業量算出する、
第１〜９のいずれかの態様の１つに記載のマスタスレーブロボットの制御装置を提供する。
【００４５】
前記態様によれば、識別情報を基に対象物の材質又は組立作業量を算出するので、それらの情報を正確に算出することができる。その結果、適切な値に力情報を補正し、作業者が作業を行う上で適切な力を対象物に加えることができるように誘導することができる。
【００４６】
また、本発明の第１１態様によれば、第１〜１０の態様のいずれか１つに記載のマスタスレーブロボットの制御装置と、
前記マスタスレーブアームと、
を備えるロボットを提供する。
【００４７】
前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴（対象物情報）が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。
【００４８】
また、本発明の第１２態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御方法であって、
力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得し、
対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも１つ以上の対象物情報を算出し、
力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成し、
力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する、
マスタスレーブロボットの制御方法を提供する。
【００４９】
前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴（対象物情報）が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。
【００５０】
また、本発明の第１３態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、
力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、
対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも１つ以上の対象物情報を算出するステップと、
力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成するステップと、
力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示するステップと、
をコンピュータに実行させるための、マスタスレーブロボットの制御プログラムを提供する。
【００５１】
前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴（対象物情報）が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。
【００５２】
また、本発明の第１４態様によれば、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御用集積電子回路であって、
前記スレーブアームに外部から加えられた力情報を取得する力情報取得部と、
前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも１つ以上の対象物情報を算出する対象物情報算出部と、
前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成する力情報補正部と、
前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示する力情報提示部と、
を備える
マスタスレーブロボットの制御用集積電子回路を提供する。
【００５３】
前記態様によれば、対象物の色の濃さ、材質、組立作業量などの対象物情報に基づいて力フィードバックする力情報を補正することができる。つまり、対象物の特徴（対象物情報）が変わっても、具体的には、作業者が映像を見ながら操作するマスタスレーブロボットにおいて、画面上での見え方が変化した場合においても、見ている映像に対応した力提示を行うことができ、作業者が作業に必要な力を加えることができて、効率良くかつ正確に作業を行うことができるように誘導することができる。
【００５４】
（第１実施形態）
本発明の第１実施形態における、マスタスレーブロボット１００の制御装置１０１を含むマスタスレーブロボット１００の概要について説明する。
【００５５】
図１は、マスタスレーブロボット１００を使った微細部品８の挿入作業の様子を示す。
【００５６】
図１に示すように、例えば、工場内のセル生産で、テレビ、ＤＶＤレコーダ、又は携帯電話などの機器１０用のコネクタの挿入口９に、対象物の一例としての微細部品８を、対象物の別の例としての挿入口９に取り付ける作業を例にとって説明する。
【００５７】
マスタスレーブロボット１００のスレーブアーム３は、機器１０が設置された作業台１１の上部もしくは壁面に設置され、機器１０の挿入口９に微細部品８を挿入する作業を行うロボットである。
【００５８】
スレーブアーム３の先端には、微細部品８を把持するハンド４が取り付けられている。
【００５９】
作業台１１には、カメラなどの撮像装置６が配置され、微細部品８及び挿入口９を拡大して撮像し、ディスプレイ７に、前記撮像した映像を映す。
【００６０】
力センサ５は、ハンド４の手首部に設置され、微細部品８が挿入口９又は機器１０に接触した際に生じる反力を測定する。
【００６１】
作業者１は、撮像装置６で撮像された映像をディスプレイ７で確認しながらマスタアーム２を操作するとスレーブアーム３が動作する。さらに、力センサ５で計測した力を、スレーブアーム３からマスタアーム２へフィードバックすることで、作業者１は、微細部品８を直接操作している感覚でスレーブアーム３を操作することができる。
【００６２】
図２は、本発明の第１実施形態における、マスタスレーブロボット１００のブロック図を示す。図２において、マスタスレーブロボット１００は、マスタロボット１０２と、スレーブロボット１０３で構成されている。マスタロボット１０２は、マスタアーム２と、マスタアーム２の制御装置１０４とで構成されている。スレーブロボット１０３は、スレーブアーム３と、スレーブアーム３の制御装置１０５とで構成されている。
【００６３】
マスタアーム２の制御装置１０４は、スレーブアーム３の動作を生成し、スレーブロボット１０３で取得した力情報を補正して提示するマスタアーム２の制御装置である。スレーブアーム３の制御装置１０５は、スレーブアーム３の位置及び姿勢を制御するスレーブアーム３の制御装置である。
【００６４】
以下、この第１実施形態について詳細に説明する。
【００６５】
＜マスタアームの制御装置の説明＞
マスタアーム２の制御装置１０４は、マスタ制御装置本体部１０６と、マスタ周辺装置１０８とで構成されている。
【００６６】
＜スレーブアームの制御装置の説明＞
スレーブアーム３の制御装置１０５は、スレーブ制御装置本体部１０７と、スレーブ周辺装置１０９とで構成されている。
【００６７】
＜マスタ制御装置本体部の説明＞
マスタ制御装置本体部１０６は、マスタ動作情報取得部１１０と、表示情報取得部１１１と、マスタ動作情報補正部１１２と、対象物情報算出部１１３と、力情報補正部１１４と、力情報提示部１１５とで構成されている。
【００６８】
（マスタ動作情報取得部１１０）
マスタ動作情報取得部１１０は、マスタ入出力ＩＦ１１８からマスタアーム２の位置情報及び姿勢情報と、マスタ入出力ＩＦ１１８に内蔵されたタイマからの時間情報とが入力される。また、マスタ動作情報取得部１１０は、マスタ入出力ＩＦ１１８から取得した位置情報を時間情報で微分することによって、速度情報を取得する。また、マスタ動作情報取得部１１０は、姿勢情報を時間情報で微分することによって、角速度情報を取得する。図３に、マスタ動作情報取得部１１０で取得する時間情報と、位置情報と、姿勢情報と、速度情報と、角速度情報とを示す。これらの位置情報と、姿勢情報と、速度情報と、角速度情報とでマスタアーム２の動作情報（マスタ動作情報）を構成する。
【００６９】
マスタ動作情報取得部１１０は、取得したマスタアーム２の位置情報と、姿勢情報と、速度情報と、角速度情報と、時間情報とをマスタ動作情報補正部１１２に出力する。
【００７０】
（撮像装置６）
撮像装置６は、スレーブアーム３が行う作業を撮像し、主に、ハンド４と、微細部品８と、挿入口９との付近を撮像する。撮像装置６は、撮像時の拡大率を変更することができる。また、撮像装置６を設置する位置又は姿勢を変更することができる。撮像装置６を設置する場合は、いかなる位置又は姿勢で設置することも可能であるが、被写体（特にハンド４と、微細部品８と、挿入口９と）が重ならずに写る位置、姿勢、被写体の移動、及び、大きさが捉えられる位置及び姿勢が必要である。図４Ａ及び図４Ｂに示す例では、図４Ａの位置及び姿勢の方が、図４Ｂの位置及び姿勢よりも被写体が重ならずに写り、移動する変化も捉えることができる。ディスプレイ７に映し出された映像をそれぞれ図４Ｃ及び図４Ｄに示す。図４Ａの位置及び姿勢の方が画面上のスレーブアーム３の移動及び微細部品８の大きさがよく見えることわかる。
撮像装置６は、撮像装置６で撮像した撮像画像情報（撮像した動画情報又は撮像した静止画情報）と、撮像時の拡大率情報と、撮像時の撮像装置６を設置する位置及び姿勢の情報である撮像装置位置情報とを、表示情報として表示情報取得部１１１に出力する。撮像装置位置情報は、図５に示すスレーブアーム２の座標系Σｂｓを用いて表現する。
【００７１】
また、撮像装置６は、図６に示すように作業者１がマスタアーム２を操作する方向（図６中の矢印Ａ）とディスプレイ７の画面上でスレーブアーム３が動く方向（図６中の矢印Ｂ）が同じ方向になるように設置する。
【００７２】
なお、ここでは、撮像装置６として２次元撮像を行う撮像装置を主に対象としたが、様々な方向を撮像できるように、３次元撮像装置又は２台の撮像装置を用いる方法なども可能である。
【００７３】
（表示情報取得部１１１）
表示情報取得部１１１には、撮像装置６から、撮像画像情報と、拡大率情報と、撮像装置位置情報と、マスタ入出力ＩＦ１１８に内蔵されたタイマより時間情報とが入力される。表示情報取得部１１１から出力された撮像画像情報は、ディスプレイ７に画像として表示される。
【００７４】
図７に、撮像画像情報以外の表示情報取得部１１１が取得する拡大率情報と、撮像装置位置情報（撮像装置の姿勢情報を含む）と、時間情報との一例を示す。また、撮像画像情報は、ディスプレイ７に映し出された画像そのもののことを表す。ここで、表示情報とは、撮像画像情報と、拡大率情報と、撮像装置位置情報とを表す。拡大率情報は、例えば、組立作業をディスプレイ７に表示するときの、実物に対する、ディスプレイ７での画像の拡大率情報である。
【００７５】
なお、表示情報取得部１１１は、マスタ入出力ＩＦ１１８を介して撮像装置６から撮像画像情報と、拡大率情報と、撮像装置位置情報とを取得することも可能である。
【００７６】
表示情報取得部１１１は、取得した撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とを対象物情報算出部１１３に出力する。
【００７７】
図７では、拡大率が時系列的に変わらない例を示したが、時系列的に拡大率が変わる例も可能である。例えば、微細部品８を把持した状態で広域に移動させる作業の後、コネクタへの組み付け作業を行う場合では、移動させる作業工程においては、広域を移すために拡大率を低くする。組み付け作業を行う作業工程では、組み付け部分がよく見えるように、拡大率を高くする。このように、拡大率が時系列的に変化することも可能である。その場合の拡大率情報の一例を図８に示す。
【００７８】
（マスタ動作情報補正部１１２）
マスタ動作情報補正部１１２は、マスタ動作情報取得部１１０よりマスタアーム２の動作情報（マスタ動作情報）と時間情報とが入力される。取得したマスタアーム２の動作情報を基にサンプリング周期毎のマスタアーム２のハンド４の移動量を算出し、算出した移動量にゲインを掛け、補正マスタ動作情報（移動量指令値）としてスレーブ制御部１１７に出力する。
【００７９】
マスタ動作情報補正部１１２によるマスタアーム２のハンド４の移動量の算出方法について説明する。図３で表されるマスタアーム２の動作情報は、図９の原点Ｏｂを基準としたベース座標系Σｂにおける位置及び姿勢を表している。この動作情報を、ハンド４の原点Ｏｈを基準としたハンド座標系Σｈにおける移動量にマスタ動作情報補正部１１２で変換する。つまり、ベース座標系Σｂにおけるサンプリング周期毎の位置及び姿勢の移動量ｄｂに変換行列ｂＴｈをマスタ動作情報補正部１１２で掛けることによって、ハンド座標系Σｈにおけるサンプリング周期毎の位置及び姿勢の移動量ｄｈをマスタ動作情報補正部１１２で算出する。ここで、移動量ｄとは、時点ｔ０の位置及び姿勢ｐ０から１サンプリング時間経過した時点ｔ１での位置及び姿勢ｐ１との差を表し、ｄ＝Δｐ＝ｐ１−ｐ０である。
【００８０】
次に、マスタ動作情報補正部１１２による移動量指令値の算出方法を説明する。上述したハンド座標系Σｈにおけるサンプリング周期毎の位置及び姿勢の移動量ｄｈの各要素（位置（ｘ，ｙ，ｚ）及び姿勢（ｒｘ，ｒｙ，ｒｚ））に対して、ゲインｋｄ（例えば、０．１）をマスタ動作情報補正部１１２で掛けることによって、補正マスタ動作情報（移動量指令値ｄｍ）をマスタ動作情報補正部１１２で算出する。ゲインｋｄは、スレーブアーム２の移動をマスタアーム２の移動に対して拡大する場合には、１より大きい値にマスタ動作情報補正部１１２で設定し、縮小する場合には、１より小さい値にマスタ動作情報補正部１１２で設定する。ゲインｋｄは、要素毎に定数をマスタ動作情報補正部１１２で設定することができ、マスタ入出力ＩＦ１１８を用いて、作業者１がマスタ動作情報補正部１１２に入力することができる。
【００８１】
図１０に補正マスタ動作情報と、時間情報との一例を示す。
【００８２】
マスタ動作情報補正部１１２は、算出した補正マスタ動作情報と、時間情報とをスレーブ制御部１１７に出力する。
【００８３】
（対象物情報算出部１１３）
対象物情報算出部１１３は、表示情報取得部１１１より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力される。対象物情報算出部１１３は、入力された撮像画像情報を基に画像処理を行い、対象物の色の濃さを算出する。
【００８４】
対象物情報算出部１１３による色の濃さの算出方法の一例を説明する。対象物情報算出部１１３は、取得した撮像画像情報から、対象物の明度を検出し、明度が小さいときを色が濃いとし、明度が大きいときを色が薄いと対象物情報算出部１１３で算出する。具体的には、明度は０〜１０で表され、黒色が０で、白色が１０で表される。数値が小さい方が色が濃い。
【００８５】
図１１に、対象物情報と、時間情報との一例を示す。
【００８６】
対象物情報算出部１１３は、算出した対象物情報と、時間情報とを力情報補正部１１４に出力する。
【００８７】
なお、色の濃さの測定は狭い範囲の測定ではなく、ある領域で最も多く使われている色の測定をすることも可能である。領域の大きさは、作業者１がマスタ入出力ＩＦ１１８を用いて対象物情報算出部１１３に入力することができる。このようにすることで、色が微妙に変化するような対象物においても、正確に色の濃さを対象物情報算出部１１３で測定することができる。
【００８８】
なお、色の濃さの測定は、取得した撮像画像をグレースケールに変換し、色の濃さを測定することも可能である。このようにグレースケールに変換することによって、正確に色の濃さを対象物情報算出部１１３で測定することができる。
【００８９】
（力情報補正部１１４）
力情報補正部１１４は、対象物情報算出部１１３より対象物情報と、時間情報とが入力され、力情報取得部１１６より力情報と、時間情報とが入力される。力情報補正部１１４は、入力された対象物情報を基に力情報を補正して、補正力情報を生成する。力情報補正部１１４による力情報の補正方法については、取得した対象物情報を係数に力情報補正部１１４で変換し、取得した力情報に力情報補正部１１４で掛けることによって、力情報を力情報補正部１１４で補正する。
【００９０】
ここでは、対象物情報が濃ければ濃いほど、力情報を大きくなるように力情報補正部１１４で補正する。このことは、作業者１が対象物を見る場合に、色の濃い対象物の方が、重さが重いと先入観により判断するため、色の濃い対象物が重いとイメージしてしまう。一例を図１２Ａ、図１２Ｂ、及び、図１２Ｃを用いて説明する。図１２Ａ、図１２Ｂ、及び、図１２Ｃの違いは、対象物の別の例としての挿入口９の色が互いに異なる点であり、図１２Ａが白色（明度１０）で色が薄く、図１２Ｂが灰色（明度５）であり、図１２Ｃが黒色（明度０）で色が濃い。このように色の濃さが異なる挿入口９に対して微細部品８を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図１３Ａ、図１３Ｂ、及び、図１３Ｃに示す。図１３Ａが白色の結果であり、図１３Ｂが灰色の結果であり、図１３Ｃが黒色の結果である。白色の場合が平均３．６Ｎであり、灰色の場合が平均４．１Ｎであり、黒色の場合が平均４．７Ｎである。黒色の場合、灰色の場合、白色の場合の順に、加える力が大きい。これは、挿入口９の色が濃い場合の方が、作業者１は対象物が重いと判断し、作業者１が対象物に大きな力を加えるためである。
【００９１】
このように対象物の色の濃さが変わった場合においても、同じ大きさの力を対象物に加えられるように、力情報に対して係数に変換した対象物情報を力情報補正部１１４で乗算した値に、力情報を力情報補正部１１４で補正する。色が濃い場合には、力情報を大きくなるように力情報補正部１１４で補正することによって、対象物に加える力が対象物の色の濃さにかかわらず同じになるように作業者１を誘導する。
【００９２】
力情報補正部１１４による具体的な補正方法について説明する。取得した対象物情報の明度が０〜１０であり、この値を１から上限値までの係数に力情報補正部１１４で変換する。上限値は、作業者１がマスタ入出力ＩＦ１１８を用いて力情報補正部１１４に入力することができる。図１３Ａ、図１３Ｂ、及び、図１３Ｃの例では、黒色（明度０）の場合の力４．７Ｎに対して、白色（明度０）の場合の力３．６Ｎで割った値が１．３であり、この１．３の値を上限値とする。明度が０の場合の係数を上限値１．３とし、明度が１０の場合の係数を１とする。これらの間の値は、力情報補正部１１４において線形補完して求める。このようにして、取得した明度を色が濃くなるにつれて値が大きくなる係数１〜１．３に力情報補正部１１４で変換する。変換して求めた係数を力情報に掛けることによって、補正力情報を力情報補正部１１４で算出する。また、上記の上限値の決定方法に代えて、作業者１がマスタ入出力ＩＦ１１８を用いて任意の上限値を力情報補正部１１４に入力することも可能である。
【００９３】
ここでは、明度が１０（白色）のときの係数を１（基準）として、係数を求めたが、係数の基準値１は、明度のいかなる値も取ることが可能である。例えば、白色のときを係数１とすることによって、対象物が壊れやすく、負荷をかけられない場合に、力を大きくなるように力情報補正部１１４で補正して、力を加えすぎないように防止することができ、大変有効である。また、黒色のときを係数１とすることによって、作業に力が必要な場合に、力を小さく力情報補正部１１４で補正して、大きく力を加えるように作業者１を誘導することができ、有効である。このように、作業又は対象物に応じて、基準を変更することができる。基準値となる明度は、作業者１がマスタ入出力ＩＦ１１８によって力情報補正部１１４に入力することができる。
【００９４】
力情報補正部１１４は、生成した補正力情報と時間情報とを力情報提示部１１５に出力する。
【００９５】
なお、力補正を行う範囲を、閾値で力情報補正部１１４で設定することも可能である。例えば、上限値の閾値を力情報補正部１１４で設定する場合は、力情報補正部１１４で設定した上限値の絶対値（例えば、１０Ｎ）を、補正後の力の絶対値が超えると力情報補正部１１４で判断すると、補正後の力の絶対値を、上限値の絶対値に力情報補正部１１４で修正する。また、下限値の閾値を力情報補正部１１４で設定する場合は、力情報補正部１１４で設定した下限値の絶対値（例えば、１Ｎ）を、補正後の力の絶対値が下回ると力情報補正部１１４で判断すると、補正後の力の絶対値を、補正前の力の絶対値に力情報補正部１１４で修正する。
【００９６】
なお、力補正のタイミングについて、作業開始時から作業終了時まで力補正を力情報補正部１１４で行う。また、対象物情報を基に変換した係数を用いて、力情報補正部１１４で力補正をするかしないかを判断することも可能である。一例として、係数がある範囲（０．９〜１．１）を超えたときに補正を行い、範囲内の場合は補正を行わない。このように範囲を設け力補正するかしないかを判断することによって、対象物情報の誤差などの影響を省くことができ、力の補正が必要な作業時に補正をかけることができる。
【００９７】
なお、前記説明では、力情報補正部１１４により力情報の大きさを補正しているが、力情報の更新の周期を力情報補正部１１４で補正する方法も可能である。上述した説明では、予め決められた一定の周期（例えば、１ｍｓｅｃ）で力情報を、力情報取得部１１５で取得して力情報補正部１１４に入力し、力情報補正部１１４で更新している。それに対して、力情報補正部１１４で、更新の周期を、前記予め決められた周期よりも、速くしたり又は遅くしたり変更することもできる。具体的には、力情報の大きさを大きくしたい場合には、力情報の大きさを変えずに、力情報補正部１１４で力情報の更新周期を、前記予め決められた周期よりも遅くする。より具体的には、力情報の大きさを２倍にしたい場合には、力情報補正部１１４で例えば更新周期を２倍にする。一方、力情報の大きさを小さくしたい場合には、力情報の大きさを変えずに、力情報補正部１１４で力情報の更新周期を、前記予め決められた周期よりも速くする。より具体的には、力情報の大きさを１／２倍にしたい場合には、力情報補正部１１４で例えば更新周期を１／２倍にする。
【００９８】
力情報の更新周期を力情報補正部１１４で変更することが、力情報の大きさを力情報補正部１１４で変更することと同じ効果が得られる理由について、図１４のグラフを用いて説明する。図１４は、横軸が時間情報を表し、縦軸が力情報を表し、力情報の時系列データを表す。横軸の数字は時間情報を表す。力情報における黒丸は更新周期が１ｍｓｅｃのデータを表し、白丸は更新周期が２ｍｓｅｃのデータを表す。力情報をＦｋと表すと、更新周期が１ｍｓｅｃの場合はｋ＝１，２，３，…であり、更新周期が２ｍｓｅｃの場合はｋ＝２，４，６，…である。力情報の更新周期毎の変位をΔＦｋと表す。例えば、時間情報が２のときの力情報の更新周期毎の変位ΔＦ２について、更新周期が１ｍｓｅｃのときはΔＦ２＝Ｆ２−Ｆ１として算出し、更新周期が２ｍｓｅｃのときはΔＦ２＝Ｆ２−Ｆ０として算出する。よって、更新周期が１ｍｓｅｃのΔＦ２と比較して、更新周期が２ｍｓｅｃのΔＦ２は力情報の変位が大きくなる。この例のように、更新周期を遅くすると力情報の変位が大きくなるので、作業者１は力情報が大きくなったように感じる。これは、作業者１が力覚を感じるときに力の変位を感じることに起因する。また、更新周期は、一例として、１〜５００ｍｓｅｃ程度とする。
【００９９】
このように力情報を補正する際に、力情報の大きさを補正するのではなく、力情報の更新周期を補正することも可能である。補正する際に力情報の大きさは変化させないので、力情報を大きく変化させすぎてしまうことがない。また、力情報の大きさを補正することができないシステムの場合においても、力情報の大きさを補正することと同様の効果を得ることができる。
【０１００】
（力情報提示部１１５）
力情報提示部１１５は、力情報補正部１１４より補正力情報と時間情報とが入力される。力情報提示部１１５は、取得した補正力情報を、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介し、さらにマスタアーム２を介して作業者１に提示するために、補正力情報をマスタアーム２が出力できるように指令値を生成する。このとき、マスタアーム２を介して作業者１に提示すると同時に、提示する情報などをディスプレイ７に表示するようにしてもよい。
【０１０１】
指令値の生成方法について説明する。マスタアーム２として力制御可能なアームを使用する場合は、補正力情報をそのまま指令値として力情報提示部１１５で用いる。マスタアーム２として力制御ができず、位置制御が可能なアームを使用する場合は、フックの法則を用いて補正力情報を位置情報に力情報提示部１１５で変換し、変換した位置情報を力情報提示部１１５で指令値とする。
【０１０２】
力情報提示部１１５は、生成したマスタアーム２への指令値をサンプリング周期毎にマスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２に出力する。
【０１０３】
＜スレーブ制御装置本体部の説明＞
スレーブ制御装置本体部１０７は、力情報取得部１１６と、スレーブ制御部１１７とで構成されている。
【０１０４】
（力センサ５）
力センサ５は、図１に示すように、スレーブアーム３のハンド４の手首部に設置され、対象物が被対象物に接触した際に生じる反力を測定する。ここでは、力３軸トルク３軸の計６軸計測することができる力センサを使用する。なお、１軸以上計測可能な力センサなら任意の力センサを使用することができる。また、力センサ５は、例えば、ひずみゲージ式の力覚センサを用いることによって実現する。
【０１０５】
力センサ５で計測した力情報は、スレーブアーム３に外部から加えられた力情報として、力情報取得部１１６に出力する。
【０１０６】
（力情報取得部１１６）
力情報取得部１１６は、力センサ５から力情報と、スレーブ入出力ＩＦ１２０に内蔵されたタイマからの時間情報とが入力される。図１５に、力情報と、時間情報とを示す。
【０１０７】
なお、力情報取得部１１６は、スレーブ入出力ＩＦ１２０を介して力センサ５から力情報を取得することも可能である。
【０１０８】
力情報取得部１１６は、取得した力情報と、時間情報とを力情報補正部１１４に出力する。
【０１０９】
（スレーブ制御部１１７）
スレーブ制御部１１７は、マスタ動作情報補正部１１２から、補正マスタ動作情報と、時間情報とが入力される。スレーブ制御部１１７は、取得した補正マスタ動作情報に従い、スレーブアーム３が移動できるように、指令値を生成する。
【０１１０】
ここで、スレーブ制御部１１７による指令値の生成方法について説明する。スレーブ制御部１１７で取得した補正マスタ動作情報がハンド４の移動量に関する情報であるので、まず、スレーブアーム３のハンド４の座標系において、取得した移動量分移動する位置及び姿勢をスレーブ制御部１１７で算出する。スレーブ制御部１１７で算出したハンド４の座標系における位置及び姿勢について、スレーブアーム３のベース座標系における位置及び姿勢にスレーブ制御部１１７で変換する。次いで、変換したスレーブアーム３のベース座標系における位置及び姿勢に移動するような指令値をスレーブ制御部１１７で生成する。
【０１１１】
スレーブ制御部１１７は、生成したスレーブアーム３への指令値を、サンプリング周期毎に、スレーブ入出力ＩＦ１２０及びスレーブモータドライバ１２１を介して、スレーブアーム３に出力する。
【０１１２】
＜マスタ周辺装置の説明＞
マスタ周辺装置１０８は、マスタ入出力ＩＦ１１８と、マスタモータドライバ１１９とで構成されている。
【０１１３】
（マスタ入出力ＩＦ１１８）
マスタ入出力ＩＦ１１８は、力情報提示部１１５から入力された指令値をマスタモータドライバ１１９に出力する。また、マスタ入出力ＩＦ１１８は、マスタアーム２の各関節軸のエンコーダから入力された値から、マスタアーム２の位置情報及び姿勢情報をエンコーダ内部の演算部（図示せず）で求め、位置情報及び姿勢情報とマスタ入出力ＩＦ１１８に内蔵されたタイマからの時間情報とを、マスタ入出力ＩＦ１１８からマスタ動作情報取得部１１０に出力する。マスタ入出力ＩＦ１１８に内蔵されたタイマからの時間情報を表示情報取得部１１１に出力する。また、マスタ入出力ＩＦ１１８は、図１６に示すように、入力部１１８Ａと出力部１１８Ｂとによって構成される。入力部１１８Ａは、入力ＩＦとなっており、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者１が項目を選択する場合、又は、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者１が数字を入力する場合などに用いられる。出力部１１８Ｂは、出力ＩＦとなっており、取得した情報などを外部に出力する場合又はディスプレイ７などに表示する場合などに用いられる。
【０１１４】
（マスタモータドライバ１１９）
マスタモータドライバ１１９は、マスタ入出力ＩＦ１１８から取得した指令値を基に、マスタアーム２を制御するために、マスタアーム２の各関節軸のモータへの指令値をマスタアーム２に出力する。
【０１１５】
＜スレーブ周辺装置の説明＞
スレーブ周辺装置１０９は、スレーブ入出力ＩＦ１２０と、スレーブモータドライバ１２１とで構成されている。
【０１１６】
（スレーブ入出力ＩＦ１２０）
スレーブ入出力ＩＦ１２０は、スレーブ制御部１１７から入力された指令値をスレーブモータドライバ１２１に出力する。スレーブ入出力ＩＦ１２０に内蔵されたタイマからの時間情報を、力情報取得部１１６に出力する。また、スレーブ入出力ＩＦ１２０は、マスタ入出力ＩＦ１１８と同様に、図１６に示す構成の入力部１２０Ａと出力部１２０Ｂとによって構成される。入力部１２０Ａは、入力ＩＦとなっており、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者１が項目を選択する場合、又は、キーボード又はマウス又はタッチパネル又は音声入力などにより作業者１が数字を入力する場合などに用いられる。出力部１２０Ｂは、出力ＩＦとなっており、取得した情報などを外部に出力する場合又はディスプレイ７などに表示する場合などに用いられる。
【０１１７】
（スレーブモータドライバ１２１）
０スレーブモータドライバ１２１は、スレーブ入出力ＩＦ１２０から取得した指令値を基に、スレーブアーム３を制御するために、スレーブアーム３の各関節軸のモータへの指令値をスレーブアーム３に出力する。
【０１１８】
＜マスタアーム２の説明＞
マスタアーム２において、マスタ入出力ＩＦ１１８に内蔵されたタイマを利用して、ある一定時間毎（例えば、１ｍｓｅｃ毎）に、マスタアーム２の動作情報をマスタアーム２の各エンコーダを用いてエンコーダ内部の演算部で求めて、マスタ入出力ＩＦ１１８に出力する。また、マスタアーム２は、マスタモータドライバ１１９からの指令値に従って制御される。
【０１１９】
マスタアーム２は、各関節にモータとエンコーダとが配置されてあり、所望の位置及び姿勢に制御することができる。ここでは、６関節を有する６自由度の多リンクマニピュレータとする。なお、マスタアーム２の関節数及び自由度は、第１実施形態の数に限られるわけではなく、１以上のいかなる数でも可能である。
【０１２０】
＜スレーブアームの説明＞
スレーブアーム３において、スレーブ入出力ＩＦ１２０に内蔵されたタイマを利用して、ある一定時間毎（例えば、１ｍｓｅｃ毎）に、スレーブアーム３の動作情報をスレーブアーム３の各エンコーダを用いてエンコーダ内部の演算部で求めてスレーブ入出力ＩＦ１２０に出力する。また、スレーブアーム３は、スレーブモータドライバ１２１からの指令値に従って制御される。
【０１２１】
スレーブアーム３は、各関節にモータとエンコーダとがあり、所望の位置及び姿勢に制御することができる。ここでは、スレーブアーム３は、６関節を有する６自由度の多リンクマニピュレータとする。なお、スレーブアーム３の関節数及び自由度は、第１実施形態の数に限られるわけではなく、１以上のいかなる数でも可能である。
【０１２２】
＜フローチャート＞
第１実施形態のマスタスレーブロボット１００の操作手順を、図１７及び図１８のフローチャートを用いて説明する。
【０１２３】
図１７は、第１実施形態のマスタスレーブロボット１００の操作の一例を示す。
【０１２４】
まず、ステップＳ２０１では、作業者１がディスプレイ７に映し出された画像を見ながら、マスタアーム２を把持し、操作し、ステップＳ２０２に進む。
【０１２５】
次に、ステップＳ２０２では、マスタ動作情報補正部１１２において、取得したマスタ動作情報を補正し、スレーブアーム３が移動するための補正マスタ動作情報を生成し、ステップＳ２０３に進む。
【０１２６】
次に、ステップＳ２０３では、スレーブ制御部１１７は、マスタ動作情報補正部１１２から取得した補正マスタ動作情報に従い、スレーブアーム３が移動できるように、指令値を生成する。スレーブ制御部１１７は、生成したスレーブアーム３への指令値を、サンプリング周期毎に、スレーブ入出力ＩＦ１２０及びスレーブモータドライバ１２１を介して、スレーブアーム３に出力して、スレーブアーム３が移動して作業を行い、ステップＳ２０４に進む。
【０１２７】
次に、ステップＳ２０４では、スレーブアーム３の手先に取り付けられた力センサ５で作業時に生じる力情報を検出し、検出した力情報を力情報取得部１１６で取得し、ステップＳ２０５に進む。
【０１２８】
次に、ステップＳ２０５では、力情報取得部１１６で取得した力情報と対象物情報算出部１１３から取得した対象物情報とに基づいて、対象物情報で力情報を力情報補正部１１３で補正して補正力情報を力情報補正部１１３で生成し、ステップＳ２０６に進む。
【０１２９】
次に、ステップＳ２０６では、力情報補正部１１３で生成した補正力情報に従い、力情報提示部１１５では、マスタ入出力ＩＦ１１８を介して、マスタアーム２が力提示を行い、作業者１に力が提示される。
【０１３０】
これで、一連の操作を終了する。
【０１３１】
図１８では、図１７で表されるフローチャートのステップＳ２０４の力情報取得と、ステップＳ２０５の補正力情報生成と、ステップＳ２０６の力提示とについて、詳しく説明する。
【０１３２】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３０２に進む。
【０１３３】
次に、ステップＳ３０２では、対象物情報算出部１１３において、取得した表示情報を基に、明度で表される対象物情報を取得し、ステップＳ３０３に進む。
【０１３４】
次に、ステップＳ３０３では、力情報取得部１１６において、力情報を取得し、ステップＳ３０４に進む。
【０１３５】
次に、ステップＳ３０４では、力情報補正部１１４において、力情報取得部１１６から取得した力情報に対して、対象物情報を基に変換した係数を掛け、対象物情報に合わせて補正した補正力情報を生成し、ステップＳ３０５に進む。
【０１３６】
次に、ステップＳ３０５では、力情報提示部１１５において、力情報補正部１１４から取得した補正力情報に従い、マスタアーム２への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２で力提示を行い、作業者１に力が提示される。
【０１３７】
《第１実施形態の効果》
画面上の対象物の色の濃さに起因して作業者１に現実とは異なる先入観が生じた場合においても、画面上の色の濃さの対象物情報に対応して力情報を力情報補正部１１４で補正し、力情報提示部１１５で力提示を行うことによって、作業者１が作業を正確に行うことができる。すなわち、作業者１が映像を見ながら操作するマスタスレーブロボット１００であって、色の濃さにより画面上での見え方が変化した場合においても、作業者１は効率良く作業ができる。
【０１３８】
（第２実施形態）
第１実施形態では、対象物の色に応じて力情報を補正することによって、画面上の色の濃さの見え方に応じた操作を可能としている。第２実施形態では、対象物の材質に応じて力情報を補正することによって、画面上の材質の見え方に応じた操作を可能とする。
【０１３９】
本発明の第２実施形態における、マスタスレーブロボット１００Ｂの制御装置１０１Ｂを含むマスタスレーブロボット１００Ｂの概要について説明する。図１９は、本発明の第２実施形態における、マスタスレーブロボット１００Ｂのブロック図を示す。本発明の第２実施形態のマスタロボット１０２Ｂにおけるマスタアーム２と、マスタ周辺装置１０８と、マスタ制御装置１０６Ｂのうちのマスタ動作情報取得部１１０と表示情報取得部１１１とマスタ動作情報補正部１１２と力情報提示部１１５と、スレーブロボット１０３とは、第１実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分（対象物情報記憶部１２２と対象物情報算出部１２３と補正力情報記憶部１２４と力情報補正部１２５となど）についてのみ、以下、詳細に説明する。
【０１４０】
（対象物情報記憶部１２２）
対象物情報記憶部１２２は、対象物の材質の参照画像情報と材質情報とを記憶する。図２０に参照画像情報と材質情報との対応関係の一例を示す。記憶する参照画像情報と材質情報とは、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから対象物情報記憶部１２２に入力することができる。対象物情報記憶部１２２は、対象物情報に関する参照画像情報と材質情報とを対象物情報算出部１２３に出力する。
【０１４１】
（対象物情報算出部１２３）
対象物情報算出部１２３は、表示情報取得部１１１より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力され、対象物情報記憶部１２２より参照画像情報と材質情報とが入力される。対象物情報算出部１２３は、入力された撮像画像情報と参照画像情報とを基に画像処理を行い、対象物の材質を算出する。
【０１４２】
対象物情報算出部１２３による対象物の材質の算出方法の一例を説明する。対象物情報算出部１２３は、取得した撮像画像情報を参照画像情報に対して、特徴量を用いた類似画像検索を行う。対象物情報算出部１２３は、検索して一致した参照画像情報の材質情報を、対象物情報とする。一例として、対象物情報算出部１２３は、検索した結果、一致する参照画像情報がなかった場合は、材質情報が１のアルミニウムとする。
【０１４３】
図２１に対象物情報と、時間情報との一例を示す。
【０１４４】
対象物情報算出部１２３は、算出した対象物情報と、時間情報とを力情報補正部１２５に出力する。
【０１４５】
また、対象物情報算出部１２３による対象物の材質の算出方法として、上述した画像判定以外にも、材質の型番号をデータベースに事前に登録しておいて対象物情報算出部１２３で材質を算出する方法、又は、事前に取得できる部品の材質情報により対象物情報算出部１２３で材質を算出する方法、又は、作業と部品とのデータベースを用いて対象物情報算出部１２３で材質を算出する方法などが可能である。例えば、作業と部品とのデータベースを用いて対象物情報算出部１２３で材質を算出する方法では、作業の認識情報は、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから対象物情報算出部１２３に入力する一方、対象物情報算出部１２３には、作業の認識情報と部品と材質との関係情報が予め記憶されているか、又は、対象物情報算出部１２３は、前記関係情報が予め記憶されている他のデータベースから前記関係情報を取得可能とする。よって、入力された作業の認識情報と、関係情報とを基に、対象物情報算出部１２３で材質を算出することができる。
【０１４６】
（補正力情報記憶部１２４）
補正力情報記憶部１２４は、対象物の材質情報と補正情報とを記憶する。図２２に材質情報と補正情報の一例を示す。記憶する材質情報と補正情報とは、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから補正力情報記憶部１２４に入力することができる。補正力情報記憶部１２４は、対象物情報である材質情報と補正情報とを力情報補正部１２５に出力する。
【０１４７】
（力情報補正部１２５）
力情報補正部１２５は、対象物情報算出部１２３より対象物情報と、時間情報とが入力され、補正力情報記憶部１２４より対象物情報と補正情報とが入力され、力情報取得部１１６より力情報と、時間情報とが入力される。力情報補正部１２５は、入力された対象物情報を基に補正情報を算出し、算出した補正情報を力情報に力情報補正部１２５で掛けることによって、力情報を力情報補正部１２５で補正する。
【０１４８】
ここでは、対象物の材質が柔らかければ柔らかく見えるほど、力情報を小さくなるように力情報補正部１２５で補正する。このことは、同じ対象物に対して作業を行う場合において、作業者１が対象物を見る場合に、材質が柔らかく見える対象物の方が、重さが軽いと先入観により判断するため、柔らかく見える対象物が軽いとイメージしてしまう。同じ対象物でも、画面上で見える部分の表面に違う材質のものがある場合は、この例のように作業者１は見え方によって違うイメージを持つ。一例を、図２３Ａ、図２３Ｂ、及び、図２３Ｃを用いて説明する。図２３Ａ、図２３Ｂ、及び、図２３Ｃの違いは、挿入口９の材質の見え方が異なる点であり、図２３Ａがアルミニウムの材質に見え、図２３Ｂがスポンジの材質に見え、図２３Ｃが綿の材質に見える。このように、画面上での材質の見え方が異なる挿入口９に対して微細部品８を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図２４Ａ、図２４Ｂ、及び、図２４Ｃに示す。図２４Ａがアルミニウムの材質に見える結果であり、図２４Ｂがスポンジの材質に見える結果であり、図２４Ｃが綿の材質に見える結果である。アルミニウムの材質に見える場合が平均３．６Ｎであり、スポンジの材質に見える場合が平均１．１Ｎであり、綿の材質に見える場合が平均０．７Ｎである。アルミニウムの材質に見える場合、スポンジの材質に見える場合、綿の材質に見える場合の順に、加える力が大きい。これは、挿入口９の材質の見え方が柔らかく見える材質の場合の方が、作業者１は対象物が軽いと判断し、小さな力しか加えないためである。
【０１４９】
このように対象物の材質の見え方が変わった場合においても、同じ大きさの力を対象物に加えられるように、力情報に対して対象物情報を力情報補正部１２５で乗算した値に、力情報を力情報補正部１２５で補正する。材質が柔らかく見える場合には、力情報を小さくなるように力情報補正部１２５で補正することによって、対象物に加える力が対象物の材質の見え方にかかわらず同じになるように作業者１を誘導する。
【０１５０】
力情報補正部１２５による具体的な補正方法について説明する。対象物情報算出部１２３より取得した対象物情報に対応する補正情報を、補正力情報記憶部１２４より取得した対象物情報と補正情報より、力情報補正部１２５で求める。求めた補正情報を力情報に力情報補正部１２５で掛けることによって、補正力情報を力情報補正部１２５で算出する。
【０１５１】
ここでは、アルミニウムの材質に見えるときの補正情報を１（基準）としているが、補正情報の基準値１は、参照画像情報のいかなる値も取ることが可能である。例えば、アルミニウムの材質に見えるときを補正情報１とすることによって、作業に力が必要な場合に力が小さくなるように力情報補正部１２５で補正して、作業者１が大きく力を加えるように作業者１を誘導することができ、有効である。また、スポンジ又は綿の材質に見えるときを補正情報１とすることによって、対象物が壊れやすく、負荷をかけられない場合に、力を大きくなるように力情報補正部１２５で補正して、力を加えすぎないように防止することができ、大変有効である。このように、作業又は対象物に応じて、力情報補正部１２５では、基準を変更することができる。基準値となる参照画像情報は、作業者１がマスタ入出力ＩＦ１１８によって入力することができる。
【０１５２】
力情報補正部１２５は、生成した補正力情報と時間情報とを力情報提示部１１５に出力する。
【０１５３】
＜フローチャート＞
第２実施形態のマスタスレーブロボット１００Ｂの操作手順を図２５のフローチャートを用いて説明する。
【０１５４】
第２実施形態のマスタスレーブロボット１００Ｂの操作の一例は図１７と同様である。ここでは、図１７で表されるフローチャートのステップＳ２０４の力情報取得、ステップＳ２０５の補正力情報生成、ステップＳ２０６の力提示について図２５を用いて説明する。
【０１５５】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３１１に進む。
【０１５６】
次に、ステップＳ３１１では、対象物情報算出部１２３において、取得した表示情報を基に、材質の見え方の参照画像情報と対応させ、対象物情報を取得し、ステップＳ３０３に進む。
【０１５７】
次に、ステップＳ３０３では、力情報取得部１１６において、力情報を取得し、ステップＳ３１２に進む。
【０１５８】
次に、ステップＳ３１２では、力情報補正部１２５において、力情報取得部１１６から取得した力情報に対して、対象物情報を掛け、対象物情報に合わせて補正した補正力情報を生成し、ステップＳ３０５に進む。
【０１５９】
次に、ステップＳ３０５では、力情報提示部１１５において、力情報補正部１２５から取得した補正力情報に従い、マスタアーム２への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２で力提示を行い、作業者１に力が提示される。
【０１６０】
上記の材質の違いは、画面上で見える材質が異なるが、実際には、スレーブアーム３が作業を行って接触する部分は、互いに同じ材質である対象物の場合にも生じることがある。このような場合には、力フィードバックの力情報を力情報補正部１２５で補正する。一方で、画面上で見える材質が異なり、実際でも、スレーブアーム３が作業を行って接触する部分も、互いに異なる材質である対象物の場合には、力フィードバックの力情報の補正を力情報補正部１２５で行わない。このような、力補正の有無の選択は、スレーブアーム３が接触する部分の材質を、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから力情報補正部１２５に事前に登録することによって、行うことができる。
【０１６１】
《第２実施形態の効果》
画面上の対象物の材質の見え方に起因して作業者１に現実とは異なる先入観が生じた場合においても、画面上の材質の見え方の対象物情報に対応して力情報を力情報補正部１２５で補正し、力情報提示部１１５で力提示を行うことによって、作業者１が作業を正確に行うことができる。すなわち、作業者１が映像を見ながら操作するマスタスレーブロボット１００であって、画面上での材質の見え方が変化した場合においても、作業者１は効率良く作業ができる。
【０１６２】
（第３実施形態）
第１実施形態では、対象物の色の濃さに応じて力情報を補正することによって、画面上の色の見え方に応じた操作を可能としている。第３実施形態では、対象物の組立作業量に応じて力情報を補正することによって、画面上の組立作業量に応じた操作を可能とする。
【０１６３】
本発明の第３実施形態における、マスタスレーブロボット１００Ｃの制御装置１０１Ｃを含むマスタスレーブロボット１００Ｃの概要について説明する。図２６は、本発明の第３実施形態における、マスタスレーブロボット１００Ｃのブロック図を示す。本発明の第３実施形態のマスタロボット１０２Ｃにおけるマスタアーム２と、マスタ周辺装置１０８と、マスタ制御装置１０６Ｃのうちのマスタ動作情報取得部１１０と表示情報取得部１１１とマスタ動作情報補正部１１２と力情報提示部１１５と、スレーブロボット１０３とは、第１実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分（組立作業量情報記憶部１２６と対象物情報算出部１２７と力情報補正部１２８となど）についてのみ、以下、詳細に説明する。
【０１６４】
（組立作業量情報記憶部１２６）
組立作業量情報記憶部１２６は、実際の対象物の組立作業量である実物対象物組立作業量情報を記憶する。ここで、組立作業量について図２７Ａを用いて説明する。図２７Ａに示す対象物において、図２７Ａ中にＡで示す部分がディスプレイ７上に映り、Ｂの部分はディスプレイ７上ではＡで示す部分の後ろに隠れている場合の、Ａで示す部分の高さＬの部分の長さ（例えば、５ｍｍ）を、組立作業量と呼ぶ。また、対象物の長さは、図２７Ａ中のＨの部分の長さである。図２７Ａでの組立作業は、組込む側の対象物を組付ける側の対象物のＢの部分に接触するように載置して組付け作業を行う。また、別の作業として、対象物に対して挿入作業を行う場合は、図２７Ｂに示すように、組込む側の対象物を、組立作業量がある方向（挿入方向）から、組付ける側の対象物に挿入する。ここでは、組立作業量の一例として挿入量を表す。
【０１６５】
組立作業量情報記憶部１２６は、実際の対象物の組立作業量を記憶する。実際の対象物の組立作業量は、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから組立作業量情報記憶部１２６に入力する。組立作業量情報記憶部１２６は、記憶している組立作業量情報を対象物情報算出部１２６に出力する。
【０１６６】
（対象物情報算出部１２７）
対象物情報算出部１２７は、表示情報取得部１１１より撮像画像情報と、拡大率情報と、撮像装置位置情報と、時間情報とが入力され、組立作業量情報記憶部１２６より組立作業量情報が入力される。対象物情報算出部１２７は、入力された組立作業量情報を対象物情報とする。
【０１６７】
図２８に対象物情報と、時間情報との一例を示す。
【０１６８】
対象物情報算出部１２７は、算出した対象物情報と、時間情報とを力情報補正部１２８に出力する。
【０１６９】
また、対象物情報算出部１２７による対象物の組立作業量の算出方法として、上述した画像判定以外にも、部品の型番号をデータベースに事前に登録しておいて対象物情報算出部１２７で組立作業量を算出する方法、又は、事前に取得できる部品の挿入量情報により対象物情報算出部１２７で組立作業量を算出する方法、又は、作業と部品のデータベースを用いて対象物情報算出部１２７で組立作業量を算出する方法などが可能である。例えば、作業と部品とのデータベースを用いて対象物情報算出部１２３で組立作業量を算出する方法では、作業の認識情報は、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから対象物情報算出部１２３に入力する一方、対象物情報算出部１２３には、作業の認識情報と組立作業量との関係情報が予め記憶されているか、又は、対象物情報算出部１２３は、前記関係情報が予め記憶されている他のデータベースから前記関係情報を取得可能とする。よって、入力された作業の認識情報と、関係情報とを基に、対象物情報算出部１２３で組立作業量を算出することができる。
【０１７０】
（力情報補正部１２８）
力情報補正部１２８は、対象物情報算出部１２７より対象物情報と時間情報とが入力され、力情報取得部１１６より力情報と時間情報とが入力される。力情報補正部１２８は、入力された対象物情報を基に補正情報を算出し、算出した補正情報を力情報に力情報補正部１２８で掛けることによって、力情報を力情報補正部１２８で補正する。
【０１７１】
ここでは、対象物の組立作業量が大きければ大きいほど、力情報を小さくなるように力情報補正部１２８で補正する。このことは、同じ対象物に対して作業を行う場合において、対象物の組立作業量が大きいほど対象物に対して埋没するように見え、対象物の重さが軽いと作業者１が判断するため、組立作業量が大きい対象物が軽いとイメージしてしまう。同じ対象物でも組立作業量が異なる場合は、この例のように作業者１は見え方によって違うイメージを持つ。一例を、図２９Ａ、図２９Ｂ、及び、図２９Ｃを用いて説明する。図２９Ａ、図２９Ｂ、及び、図２９Ｃの違いは、挿入口９の組立作業量が異なる点であり、図２９Ａが組立作業量０ｍｍであり、図２９Ｂが組立作業量５ｍｍであり、図２９Ｃが組立作業量１０ｍｍである。このように、画面上での組立作業量が異なる挿入口９に対して微細部品８を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図３０Ａ、図３０Ｂ、及び、図３０Ｃに示す。図３０Ａが組立作業量０ｍｍの結果であり、図３０Ｂが組立作業量５ｍｍの結果であり、図３０Ｃが組立作業量１０ｍｍの結果である。組立作業量０ｍｍの場合が平均３．６Ｎであり、組立作業量５ｍｍの場合が平均２．８Ｎであり、組立作業量１０ｍｍの場合が平均１．９Ｎである。組立作業量が０ｍｍの場合、５ｍｍの場合、１０ｍｍの場合の順に、加える力が大きい。これは、挿入口９の組立作業量が大きい場合の方が、作業者１は対象物が軽いと判断し、小さな力しか加えないためである。
【０１７２】
このように対象物の組立作業量が変わった場合においても、同じ大きさの力を対象物に加えられるように、対象物情報を基に力情報を力情報補正部１２８で補正する。組立作業量が大きい場合に、力情報を小さくなるように力情報補正部１２８で補正することによって、対象物に加える力が対象物の組立作業量にかかわらず同じになるように作業者１を誘導する。
【０１７３】
力情報補正部１２８による力情報の補正方法の一例について説明する。まず、力情報補正部１２８において、入力された組立作業量情報に対して、力情報補正部１２８の内部の記憶部（図示せず）に記憶された対象物の大きさ情報（図２７Ａ中のＨの部分の長さ）と組立作業量との和で、除算する。この大きさ情報は、作業者１がマスタ入出力ＩＦ１１８を用いて入力する。このように、力情報補正部１２８で除算することによって、対象物の組立作業量の割合を力情報補正部１２８で算出する。力情報補正部１２８において、求めた割合を１から引き、ゲインを掛けることによって、補正情報を力情報補正部１２８で算出する。まとめると、次式で表される。組立作業量情報をＬとし、対象物の大きさ情報をＨとし、ゲインをαとし、求める補正情報をａとしている。
【０１７４】
【数１】
2015071220.tif 000003
ゲインαは、作業者１がマスタ入出力ＩＦ１１８を用いて力情報補正部１２８に入力することができる。上記のように力情報補正部１２８で算出した補正情報を力情報に掛けることによって、補正力情報を算出する。
【０１７５】
力情報補正部１２８は、生成した補正力情報と時間情報とを力情報提示部１１５に出力する。
【０１７６】
＜フローチャート＞
第３実施形態のマスタスレーブロボット１００Ｃの操作手順を図３１のフローチャートを用いて説明する。
【０１７７】
第３実施形態のマスタスレーブロボット１００Ｃの操作の一例は図１７と同様である。ここでは、図１７で表されるフローチャートのステップＳ２０４の力情報取得と、ステップＳ２０５の補正力情報生成と、ステップＳ２０６の力提示とについて、図３１を用いて説明する。
【０１７８】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３２１に進む。
【０１７９】
次に、ステップＳ３２１では、対象物情報算出部１２７において、取得した表示情報と組立作業量情報とを基に、対象物情報を算出し、ステップＳ３０３に進む。
【０１８０】
次に、ステップＳ３０３では、力情報取得部１１６において、力情報を取得し、ステップＳ３２２に進む。
【０１８１】
次に、ステップＳ３２２では、力情報補正部１２８において、力情報取得部１１６から取得した力情報に対して、対象物情報を基に補正した補正力情報を生成し、ステップＳ３０５に進む。
【０１８２】
次に、ステップＳ３０５では、力情報提示部１１５において、力情報補正部１２８から取得した補正力情報に従い、マスタアーム２への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２で力提示を行い、作業者１に力が提示される。
【０１８３】
《第３実施形態の効果》
対象物の組立作業量に起因して作業者１に現実とは異なる先入観が生じた場合においても、組立作業量の対象物情報に対応して力情報を力情報補正部１２５で補正し、力情報提示部１１５で力提示を行うことによって、作業者１が作業を正確に行うことができる。すなわち、作業者１が映像を見ながら操作するマスタスレーブロボット１００であって、画面上での見え方（組立作業量）が変化した場合においても、作業者１は効率良く作業ができる。
【０１８４】
（第４実施形態）
第１実施形態〜第３実施形態では、対象物の色の濃さ、材質、組立作業量などの対象物情報（対象物情報の特徴量）に応じて力情報を補正することによって、画面上の見え方に応じた操作を可能としている。第４実施形態では、これらの対象物情報を複数取得した場合に、複数の対象物情報から一つ選択し、力情報を補正する。
【０１８５】
本発明の第４実施形態における、マスタスレーブロボット１００Ｄの制御装置１０１Ｄを含むマスタスレーブロボット１００Ｄの概要について説明する。図３２は、本発明の第４実施形態における、マスタスレーブロボット１００Ｄのブロック図を示す。本発明の第４実施形態のマスタロボット１０２Ｄにおけるマスタアーム２と、マスタ周辺装置１０８と、マスタ制御装置１０６Ｄのうちのマスタ動作情報取得部１１０と表示情報取得部１１１とマスタ動作情報補正部１１２と対象物情報算出部１１３と力情報補正部１１４と力情報提示部１１５と、スレーブロボット１０３とは、第１実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分（対象物情報選択部１２９など）についてのみ、以下、詳細に説明する。
【０１８６】
（対象物情報選択部１２９）
対象物情報選択部１２９は、対象物情報算出部１１３から対象物情報と時間情報とが入力される。対象物情報選択部１２９は、入力された対象物情報が１つの場合は、そのまま対象物情報を力情報補正部１１４に出力する。対象物情報選択部１２９は、入力された対象物情報が複数の場合は、複数の対象物情報の中から１つの対象物情報を選択し、力情報補正部１１４に出力する。
【０１８７】
対象物情報選択部１２９による対象物情報の選択方法を具体的に説明する。対象物情報選択部１２９は、複数の対象物情報の補正情報を算出し、補正情報が最も大きな対象物情報を選択する。このことは、補正情報の大きい対象物情報が最も影響を与えていると考えられるためである。また、作業者１がマスタ入出力ＩＦ１１８を用いて、対象物情報を選択することも可能である。
【０１８８】
また、対象物情報選択部１２９による対象物情報の他の選択方法として、対象物情報選択部１２９により、作業に応じて選択する対象物情報を選択する。例えば、対象物情報選択部１２９において、挿入作業の場合は組立作業量を選択し、スポンジなどの貼り付け作業の場合は材質を選択するなど、作業に適した対象物情報を選択する。この場合は、例えば、マスタ入出力ＩＦ１１８を用いて、作業者１などが、又は、他のデータベースから対象物情報選択部１２９に作業を入力し、入力された作業に関連した対象物情報を対象物情報選択部１２９で選択する。対象物情報選択部１２９には、予め作業と対象物情報との関連情報が記憶されているものとする。さらに他の選択方法としては、作業者１に応じて、影響の出やすい対象物情報を対象物情報選択部１２９に事前に登録して対象物情報選択部１２９で選択する。
【０１８９】
対象物情報選択部１２９は、選択した対象物情報と時間情報とを力情報補正部１１４に出力する。
【０１９０】
＜フローチャート＞
第４実施形態のマスタスレーブロボット１００Ｄの操作手順を図３３のフローチャートを用いて説明する。
【０１９１】
第４実施形態のマスタスレーブロボット１００Ｄの操作の一例は図１７と同様である。ここでは、図１７で表されるフローチャートのステップＳ２０４の力情報取得、ステップＳ２０５の補正力情報生成、ステップＳ２０６の力提示について図３３を用いて説明する。
【０１９２】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３３１に進む。
【０１９３】
次に、ステップＳ３３１では、対象物情報算出部１１３において、取得した表示情報などを基に、複数の対象物情報を算出し、ステップＳ３３２に進む。
【０１９４】
次に、ステップＳ３３２では、対象物情報選択部１２９において、複数の対象物情報から一つの対象物情報を選択する。対象物情報選択部１２９において、色の濃さを選択した場合はステップＳ３３３に進み、材質を選択した場合はステップＳ３３４に進み、組立作業量を選択した場合はステップＳ３３５に進む。
【０１９５】
次に、ステップＳ３３３では、対象物情報選択部１２９において、選択した色情報を対象物情報として力情報補正部１１４に出力し、ステップＳ３０３に進む。
【０１９６】
次に、ステップＳ３３４では、対象物情報選択部１２９において、選択した材質情報を対象物情報として力情報補正部１１４に出力し、ステップＳ３０３に進む。
【０１９７】
次に、ステップＳ３３３では、対象物情報選択部１２９において、選択した組立作業量情報を対象物情報として力情報補正部１１４に出力し、ステップＳ３０３に進む。
【０１９８】
次に、ステップＳ３０３では、力情報取得部１１６において、力情報を取得し、ステップＳ３３６に進む。
【０１９９】
次に、ステップＳ３３６では、力情報補正部１１４において、力情報取得部１１６から取得した力情報に対して、対象物情報を基に補正した補正力情報を生成し、ステップＳ３０５に進む。
【０２００】
次に、ステップＳ３０５では、力情報提示部１１５において、力情報補正部１１４から取得した補正力情報に従い、マスタアーム２への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２で力提示を行い、作業者１に力が提示される。
【０２０１】
《第４実施形態の効果》
複数の対象物情報が対象物情報算出部１１３で算出された場合において、最も影響の大きい対象物情報を対象物情報選択部１２９で選択して力情報を力情報補正部１１４で補正するので、効果の大きい力情報の補正を行い、力情報提示部１１５で力提示を行うことができ、作業者１が作業を正確に行うことができる。
【０２０２】
（第５実施形態）
第１実施形態〜第３実施形態では、対象物の色の濃さ、材質、組立作業量などの対象物情報に応じて力情報を補正することによって、画面上の見え方に応じた操作を可能としている。第４実施形態では、これらの対象物情報を複数取得した場合に複数の対象物情報から一つ選択し、力情報を補正している。第５実施形態では、これらの対象物情報を複数取得した場合に、複数の対象物情報から一つの対象物情報に合成し、力情報を補正する。
【０２０３】
本発明の第５実施形態における、マスタスレーブロボット１００Ｅの制御装置１０１Ｅを含むマスタスレーブロボット１００Ｅの概要について説明する。図３４は、本発明の第５実施形態における、マスタスレーブロボット１００Ｅのブロック図を示す。本発明の第５実施形態のマスタロボット１０２Ｅにおけるマスタアーム２と、マスタ周辺装置１０８と、マスタ制御装置１０６Ｅのうちのマスタ動作情報取得部１１０と表示情報取得部１１１とマスタ動作情報補正部１１２と対象物情報算出部１１３と力情報補正部１１４と力情報提示部１１５と、スレーブロボット１０３とは、第１実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分（対象物情報合成部１３０など）についてのみ、以下、詳細に説明する。
【０２０４】
（対象物情報合成部１３０）
対象物情報合成部１３０は、対象物情報算出部１１３から対象物情報と時間情報とが入力される。入力された対象物情報が１つの場合は、そのまま対象物情報を力情報補正部１１４に出力する。対象物情報合成部１３０は、入力された対象物情報が複数の場合は、複数の対象物情報を１つの対象物情報に合成し、合成した１つの対象物情報を力情報補正部１１４に出力する。
【０２０５】
対象物情報合成部１３０による対象物情報の合成方法を具体的に説明する。対象物情報合成部１３０において、複数の対象物情報の補正情報を算出し、それぞれの補正情報に重みを付けて合成する。色の濃さ情報の補正情報をｃとし、材質情報の補正情報をｍとし、組立作業量情報の補正情報をｈとすると、合成した補正情報ｓは、次式で表される。
【０２０６】
【数２】
2015071220.tif 000004
ゲインα、β、γは、それぞれ、例えば、ｃ、ｍ、ｈの大きさの比率に応じて決定する。また、各ゲインは、どのような値でもとることが可能で、作業者１がマスタ入出力ＩＦ１１８を用いて入力することができる。
【０２０７】
対象物情報合成部１３０は、合成した対象物情報と、補正情報と、時間情報とを力情報補正部１１４に出力する。
【０２０８】
＜フローチャート＞
第５実施形態のマスタスレーブロボット１００Ｅの操作手順を図３５のフローチャートを用いて説明する。
【０２０９】
第５実施形態のマスタスレーブロボット１００Ｅの操作の一例は図１７と同様である。ここでは、図１７で表されるフローチャートのステップＳ２０４の力情報取得、ステップＳ２０５の補正力情報生成、ステップＳ２０６の力提示について図３５を用いて説明する。
【０２１０】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３３１に進む。
【０２１１】
次に、ステップＳ３３１では、対象物情報算出部１１３において、取得した表示情報などを基に、複数の対象物情報を算出し、ステップＳ３４１に進む。
【０２１２】
次に、ステップＳ３４１では、対象物情報合成部１３０において、複数の対象物情報を一つの対象物情報に合成し、ステップＳ３０３に進む。
【０２１３】
次に、ステップＳ３０３では、力情報取得部１１６において、力情報を取得し、ステップＳ３３６に進む。
【０２１４】
次に、ステップＳ３３６では、力情報補正部１１４において、力情報取得部１１６から取得した力情報に対して、対象物情報を基に補正した補正力情報を生成し、ステップＳ３０５に進む。
【０２１５】
次に、ステップＳ３０５では、力情報提示部１１５において、力情報補正部１１４から取得した補正力情報に従い、マスタアーム２への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２で力提示を行い、作業者１に力が提示される。
【０２１６】
《第５実施形態の効果》
複数の対象物情報が対象物情報算出部１１３で算出された場合において、複数の対象物情報を対象物情報合成部１３０で合成したのち力情報を力情報補正部１１４で補正するので、全ての対象物情報の要素を用いて力情報の補正を力情報補正部１１４で行い、力情報提示部１１５で力提示を行うことができ、作業者１が作業を正確に行うことができる。
【０２１７】
（第６実施形態）
第１実施形態〜第３実施形態では、対象物の色の濃さ、材質、組立作業量などの対象物情報に応じて力情報を補正することによって、画面上の見え方に応じた操作を可能としている。第６実施形態では、これらの対象物情報を取得し、拡大率が変更された場合に補正方法を変更し、力情報を補正する。
【０２１８】
本発明の第６実施形態における、マスタスレーブロボット１００Ｆの制御装置１０１Ｆを含むマスタスレーブロボット１００Ｆの概要について説明する。図３６は、本発明の第６実施形態における、マスタスレーブロボット１００Ｆのブロック図を示す。本発明の第６実施形態のマスタロボット１０２Ｆにおけるマスタアーム２と、マスタ周辺装置１０８と、マスタ制御装置１０６Ｆのうちのマスタ動作情報取得部１１０と表示情報取得部１１１とマスタ動作情報補正部１１２と対象物情報算出部１１３と力情報提示部１１５と、スレーブロボット１０３とは、第１実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分（力情報補正部１３１など）についてのみ、以下、詳細に説明する。
【０２１９】
（力情報補正部１３１）
力情報補正部１３１は、第１実施形態の力情報補正部１１４に代えてマスタ制御装置１０６Ｆに備えられ、第１実施形態における力情報補正部１１４の機能に加えて、拡大率情報を基に力情報を補正する機能を有する。
【０２２０】
力情報補正部１３１は、表示情報取得部１１１から拡大率情報と時間情報とが入力される。力情報補正部１３１は、対象物情報を基に力情報を補正することに加えて、取得した拡大率情報を基に力情報を補正する。力情報補正部１３１による拡大率情報を用いた力情報の補正方法は、拡大率情報が大きければ大きいほど、対象物情報を基に算出した補正情報を補正する際の補正量を大きくなるように力情報補正部１３１で補正する。このことは、拡大率情報が大きいと、色、材質、組立作業量などの対象物情報がよく見え、作業者１の対象物情報に起因する先入観が大きくなる。一方で、拡大率情報が小さいと、対象物情報がよく見えず、作業者１の対象物情報に起因する先入観が小さくなる。
【０２２１】
一例として、色の濃さ情報が対象物情報の場合において、拡大率情報を変更した場合の例を図３７Ａ、図３７Ｂ、及び、図３７Ｃを用いて説明する。図３７Ａ、図３７Ｂ、及び、図３７Ｃの違いは、挿入口９の拡大率情報が異なる点であり、図３７Ａが拡大率１．００であり、図３７Ｂが拡大率１．６４であり、図３７Ｃが拡大率０．３４である。このように拡大率が異なる画面を見ながら挿入口９に対して微細部品８を挿入する実験を行った。挿入の際に加えた力を計測した結果を、図３８Ａ、図３８Ｂ、及び、図３８Ｃに示す。図３８Ａが拡大率１．００の結果であり、図３８Ｂが拡大率１．６４の結果であり、図３８Ｃが拡大率０．３４の結果である。拡大率１．００の場合が平均４．７Ｎであり、拡大率１．６４の場合が平均７．５Ｎであり、拡大率０．３４の場合が平均１．４Ｎである。拡大率が１．６４の場合、１．００の場合、０．３４の場合の順に、加える力が大きい。これは、拡大率が大きいほど、色の濃さ情報がよく見え、色の濃さ情報の影響を大きく受け、作業者１が重いと判断し、大きな力を加えたためである。
【０２２２】
このように、拡大率情報が変わった場合においても、同じ大きさの力を対象物に加えられるように、拡大率情報を基に補正力情報の補正量を力情報補正部１３１で変更する。拡大率情報が大きい場合に補正量を力情報補正部１３１で大きくし、拡大率情報が小さい場合に補正量を力情報補正部１３１で小さくすることによって、対象物に加える力が拡大率にかかわらず同じになるように作業者１を誘導する。
【０２２３】
力情報補正部１３１による具体的な補正方法について説明する。力情報補正部１３１において、対象物情報を基に生成した補正情報の補正量を拡大率情報によって、変更する。例えば、力情報補正部１３１による力情報の補正方法として、補正情報を力情報に掛ける場合を用いて説明する。拡大率情報が１より小さい場合は、力情報補正部１３１において、補正情報の値を１に近づける。一方で、力情報補正部１３１において、拡大率情報が１より大きい場合は、補正情報が１より大きいときは補正情報の値を大きくし、補正情報が１以下のときは補正情報の値を小さくする。補正量を変化する大きさは、作業者１がマスタ入出力ＩＦ１１８を用いて力情報補正部１３１に入力する。
【０２２４】
なお、拡大率情報に関して、対象物を撮像した際に、実際の対象物の大きさと画面上での対象物の大きさとが同じ大きさであるように拡大率を調整し、そのときの拡大率を１とする。
【０２２５】
なお、ここでは、実際の対象物の大きさと画面上の対象物の大きさとが同じ大きさになるときを拡大率１と基準としたが、他の拡大のときを拡大率１として基準とすることも可能である。例えば、最も縮小しているときを拡大率１とすることによって、対象物が壊れやすく、負荷をかけられない場合に力を大きく補正して、力を加えすぎないように防止することができ、大変有効である。また、最も拡大しているときを拡大率１とすることによって、作業に力が必要な場合に力を小さく補正して、大きく力を加えるように誘導することができ、有効である。このように、作業又は対象物に応じて、例えば作業者１によるマスタ入出力ＩＦ１１８からの入力に基づき、基準を変更することができる。
【０２２６】
力情報補正部１３１は、生成した補正力情報と時間情報とを力情報提示部１１５に出力する。
【０２２７】
＜フローチャート＞
第６実施形態のマスタスレーブロボット１００Ｆの操作手順を図３９のフローチャートを用いて説明する。
【０２２８】
第６実施形態のマスタスレーブロボット１００Ｆの操作の一例は図１７と同様である。ここでは、図１７で表されるフローチャートのステップＳ２０４の力情報取得と、ステップＳ２０５の補正力情報生成と、ステップＳ２０６の力提示とについて、図３９を用いて説明する。
【０２２９】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３０２に進む。
【０２３０】
次に、ステップＳ３０２では、対象物情報算出部１１３において、取得した表示情報を基に、対象物情報を取得し、ステップＳ３０３に進む。
【０２３１】
次に、ステップＳ３０３では、力情報取得部１１６において、力情報を取得し、ステップＳ３５１に進む。
【０２３２】
次に、ステップＳ３５１では、力情報補正部１３１において、対象物情報を基に、補正情報を生成し、ステップＳ３５２に進む。
【０２３３】
次に、ステップＳ３５２では、力情報補正部１３１において、拡大率情報を取得し、ステップＳ３５３に進む。
【０２３４】
次に、ステップＳ３５３では、力情報補正部１３１において、取得した拡大率情報が１より大きいかどうかを比較する。１より大きい場合はステップＳ３５４に進み、１以下の場合はステップＳ３５５に進む。
【０２３５】
次に、ステップＳ３５４では、力情報補正部１３１において、生成した補正情報が１より大きいかどうかを比較する。１より大きい場合はステップＳ３５６に進み、１以下の場合はステップＳ３５７に進む。
【０２３６】
次に、ステップＳ３５５では、力情報補正部１３１において、拡大率情報を基に、補正情報の値を１に近づけるように、さらに補正し、ステップＳ３５７に進む。
【０２３７】
次に、ステップＳ３５６では、力情報補正部１３１において、拡大率情報を基に、補正情報の値を大きくするように、さらに補正し、ステップＳ３５７に進む。
【０２３８】
次に、ステップＳ３５７では、力情報補正部１３１において、拡大率情報を基に、補正情報の値を小さくするように、さらに補正し、ステップＳ３５８に進む。
【０２３９】
次に、ステップＳ３５８では、力情報補正部１３１において、生成した補正情報を力情報に掛け、補正力情報を生成し、ステップＳ３０５に進む。
【０２４０】
次に、ステップＳ３０５では、力情報提示部１１５において、力情報補正部１３１から取得した補正力情報に従い、マスタアーム２への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してマスタアーム２で力提示を行い、作業者１に力が提示される。
【０２４１】
《第６実施形態の効果》
拡大率情報に応じて力情報を力情報補正部１３１で補正するので、作業者１の実際の見え方に応じて力情報の補正を行うことができ、作業者１が作業を正確に行うことができる。
【０２４２】
（第７実施形態）
第１実施形態〜第６実施形態では、力情報を補正することによって、対象物情報に応じた操作を可能としている。第７実施形態では、力フィードバックにおける力情報の補正に加えて、動作情報を補正することによって、対象物情報に応じた操作を可能とする。
【０２４３】
本発明の第７実施形態における、マスタスレーブロボット１００Ｇの制御装置１０１Ｇを含むマスタスレーブロボット１００Ｇの概要について説明する。図４０は、本発明の第７実施形態における、マスタスレーブロボット１００Ｇのブロック図を示す。本発明の第７実施形態のマスタロボット１０２Ｇにおけるマスタアーム２と、マスタ周辺装置１０８と、マスタ制御装置１０６Ｃのうちのマスタ動作情報取得部１１０と表示情報取得部１１１と力情報補正部１１４と力情報提示部１１５と、スレーブロボット１０３とは、第１実施形態と同様であるので、共通の参照符号を付して共通部分の説明は省略し、異なる部分（対象物情報算出部１３２とマスタ動作情報補正部１３３となど）についてのみ、以下、詳細に説明する。
【０２４４】
力情報補正部１１４における力フィードバックの力情報の補正方法も第１実施形態と同様である。ここでは、追加の補正方法である、動作情報の補正方法について詳細を説明する。
【０２４５】
（対象物情報算出部１３２）
対象物情報算出部１３２は、第１実施形態の対象物情報算出部１１３に代えて制御装置１０４Ｇに備えられ、第１実施形態における対象物情報算出部１１３では算出した対象物情報と時間情報とを力情報補正部１１４に出力していたが、対象物情報算出部１３２ではマスタ動作情報補正部１３３に出力する。
【０２４６】
（マスタ動作情報補正部１３３）
マスタ動作情報補正部１３３は、第１実施形態のマスタ動作情報補正部１１２に代えて制御装置１０４Ｇに備えられ、第１実施形態におけるマスタ動作情報補正部１１２の機能に加えて、対象物情報を基にマスタ動作情報を補正する機能を有する。
【０２４７】
マスタ動作情報補正部１３３は、対象物情報算出部１３２から対象物情報と時間情報とが入力され、マスタ動作情報取得部１１０よりマスタ動作情報と時間情報とが入力される。マスタ動作情報補正部１３３は、取得した対象物情報を基にマスタ動作情報を補正する。
【０２４８】
マスタ動作情報補正部１３３によるマスタ動作情報の補正方法については、色の濃さ情報が濃ければ濃いほど、マスタ動作情報を小さくなるようにマスタ動作情報補正部１３３で補正する。これは、第１実施形態の力情報補正部１１４において、対象物情報が濃ければ濃いほど、力情報を大きく補正することに対応する。つまり、マスタ動作情報を補正する場合は、力情報の補正の場合と逆に補正する。第１実施形態の力情報補正部１１４では、色が濃い場合に、力情報を大きく補正することによって、対象物に加える力が色の濃さ情報にかかわらず同じになるように作業者１を誘導する。マスタ動作情報補正部１３３では、色が濃い場合に、マスタ動作情報を小さくなるようにマスタ動作情報補正部１３３で補正することによって、対象物に加える力が色の濃さ情報にかかわらず同じになるように制御する。同様に、色が薄い場合には、マスタ動作情報を大きくなるようにマスタ動作情報補正部１３３で補正することによって、対象物に加える力が色の濃さ情報にかかわらず同じになるように制御する。他の対象物情報についても、力情報を補正する場合と逆にマスタ動作情報をマスタ動作情報補正部１３３で補正することによって、同様の効果が得られる。
【０２４９】
＜フローチャート＞
第７実施形態のマスタスレーブロボット１００Ｇの操作手順を図４１のフローチャートを用いて説明する。
【０２５０】
第７実施形態のマスタスレーブロボット１００Ｇの操作の一例は図１７と同様である。ここでは、図１７で表されるフローチャートのステップＳ２０１の作業者がマスタアームを操作と、ステップＳ２０２の補正マスタ動作情報生成と、ステップＳ２０３のスレーブアーム移動とについて、図４１を用いて説明する。
【０２５１】
まず、ステップＳ３０１では、表示情報取得部１１１において表示情報を取得し、ステップＳ３０２に進む。
【０２５２】
次に、ステップＳ３０２では、対象物情報算出部１１３において、取得した表示情報を基に、対象物情報を取得し、ステップＳ３６１に進む。
【０２５３】
次に、ステップＳ３６１では、マスタ動作情報取得部１１０において、マスタ動作情報を取得し、ステップＳ３６２に進む。
【０２５４】
次に、ステップＳ３６２では、マスタ動作情報補正部１３３において、取得した対象物情報を基に補正マスタ動作情報を生成し、ステップＳ３６３に進む。
【０２５５】
次に、ステップＳ３６３では、スレーブ制御部１１６において、マスタ動作情報補正部１３３から取得した補正マスタ動作情報に従い、スレーブアーム３への指令値を生成し、マスタ入出力ＩＦ１１８及びマスタモータドライバ１１９を介してスレーブアーム３が移動し作業を行う。
【０２５６】
《第７実施形態の効果》
力フィードバックにおける力情報の補正に加えて、マスタ動作情報をマスタ動作情報補正部１３３で補正するので、力情報を補正できないシステムでも使用することができる。また、スレーブの動作を制御するので、所望の操作を行いやすい。
【０２５７】
なお、本発明の実施形態における制御装置における各構成要素は、マスタロボット１０２とスレーブロボット１０３とのどちらが構成することも可能である。
【０２５８】
なお、本発明を第１〜第７実施形態及び変形例に基づいて説明してきたが、本発明は、前記の第１〜第７実施形態及び変形例に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０２５９】
前記各制御装置の一部又は全部は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２６０】
例えば、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、前記実施形態又は変形例における制御装置を構成する要素の一部又は全部を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、対象物に対して組立作業を行うスレーブアームと、前記スレーブアームを人が遠隔により操作するマスタアームとを備えるマスタスレーブロボットを使用して、撮像装置で撮像されて表示部に表示された前記組立作業の状態を前記人が見ながら、前記組立作業を行う、マスタスレーブロボットの制御プログラムであって、
力情報取得部で、前記スレーブアームに外部から加えられた力情報を取得するステップと、
対象物情報算出部で、前記組立作業を表示する前記表示部における前記組立作業の前記対象物の色の濃さと、前記対象物の材質と、前記対象物に対する組立作業量との少なくとも１つ以上の対象物情報を算出するステップと、
力情報補正部で、前記対象物情報取得部から取得した前記対象物情報を基に、前記力情報取得部から取得した前記力情報を補正する補正力情報を生成するステップと、
力情報提示部で、前記力情報補正部で生成した前記補正力情報をマスタスレーブに提示するステップと、
をコンピュータに実行させるための、マスタスレーブロボットの制御プログラムである。
【０２６１】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスク、磁気ディスク、又は、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
【０２６２】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２６３】
なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
【産業上の利用可能性】
【０２６４】
本発明にかかるマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路は、作業者が見ている画像に応じた力提示を受けることができ、産業用、家庭用、医療用のマスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路として有用である。
【符号の説明】
【０２６５】
１  作業者
２  マスタアーム
３  スレーブアーム
４  ハンド
５  力センサ
６  撮像装置
７  ディスプレイ
８  微細部品
９  挿入口（コネクタ）
１０  機器
１１  作業台
１００、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、１００Ｇ  マスタスレーブロボット
１０１、１０１Ｂ、１０１Ｃ、１０１Ｄ、１０１Ｅ、１０１Ｆ、１０１Ｇ  マスタスレーブロボットの制御装置
１０２、１０２Ｂ、１０２Ｃ、１０２Ｄ、１０２Ｅ、１０２Ｆ、１０２Ｇ  マスタロボット
１０３  スレーブロボット
１０４、１０４Ｂ、１０４Ｃ、１０４Ｄ、１０４Ｅ、１０４Ｆ、１０４Ｇ  マスタアームの制御装置
１０５  スレーブアームの制御装置
１０６、１０６Ｂ、１０６Ｃ、１０６Ｄ、１０６Ｅ、１０６Ｆ、１０６Ｇ  マスタ制御装置
１０７  スレーブ制御装置
１０８  マスタ周辺装置
１０９  スレーブ周辺装置
１１０  マスタ動作情報取得部
１１１  表示情報取得部
１１２、１３３  マスタ動作情報補正部
１１３、１２３、１２７、１３２  対象物情報算出部
１１４、１２５、１２８、１３１  力情報補正部
１１５  力情報提示部
１１６  力情報取得部
１１７  スレーブ制御部
１１８  マスタ入出力ＩＦ
１１９  マスタモータドライバ
１２０  スレーブ入出力ＩＦ
１２１  スレーブモータドライバ
１２２  対象物情報記憶部
１２４  補正力情報記憶部
１２６  組立作業量情報記憶部
１２９  対象物情報選択部
１３０  対象物情報合成部
【図１】
2015071220.tif 000005
【図２】
2015071220.tif 000006
【図３】
2015071220.tif 000007
【図４Ａ】
2015071220.tif 000008
【図４Ｂ】
2015071220.tif 000009
【図４Ｃ】
2015071220.tif 000010
【図４Ｄ】
2015071220.tif 000011
【図５】
2015071220.tif 000012
【図６】
2015071220.tif 000013
【図７】
2015071220.tif 000014
【図８】
2015071220.tif 000015
【図９】
2015071220.tif 000016
【図１０】
2015071220.tif 000017
【図１１】
2015071220.tif 000018
【図１２Ａ】
2015071220.tif 000019
【図１２Ｂ】
2015071220.tif 000020
【図１２Ｃ】
2015071220.tif 000021
【図１３Ａ】
2015071220.tif 000022
【図１３Ｂ】
2015071220.tif 000023
【図１３Ｃ】
2015071220.tif 000024
【図１４】
2015071220.tif 000025
【図１５】
2015071220.tif 000026
【図１６】
2015071220.tif 000027
【図１７】
2015071220.tif 000028
【図１８】
2015071220.tif 000029
【図１９】
2015071220.tif 000030
【図２０】
2015071220.tif 000031
【図２１】
2015071220.tif 000032
【図２２】
2015071220.tif 000033
【図２３Ａ】
2015071220.tif 000034
【図２３Ｂ】
2015071220.tif 000035
【図２３Ｃ】
2015071220.tif 000036
【図２４Ａ】
2015071220.tif 000037
【図２４Ｂ】
2015071220.tif 000038
【図２４Ｃ】
2015071220.tif 000039
【図２５】
2015071220.tif 000040
【図２６】
2015071220.tif 000041
【図２７Ａ】
2015071220.tif 000042
【図２７Ｂ】
2015071220.tif 000043
【図２８】
2015071220.tif 000044
【図２９Ａ】
2015071220.tif 000045
【図２９Ｂ】
2015071220.tif 000046
【図２９Ｃ】
2015071220.tif 000047
【図３０Ａ】
2015071220.tif 000048
【図３０Ｂ】
2015071220.tif 000049
【図３０Ｃ】
2015071220.tif 000050
【図３１】
2015071220.tif 000051
【図３２】
2015071220.tif 000052
【図３３】
2015071220.tif 000053
【図３４】
2015071220.tif 000054
【図３５】
2015071220.tif 000055
【図３６】
2015071220.tif 000056
【図３７Ａ】
2015071220.tif 000057
【図３７Ｂ】
2015071220.tif 000058
【図３７Ｃ】
2015071220.tif 000059
【図３８Ａ】
2015071220.tif 000060
【図３８Ｂ】
2015071220.tif 000061
【図３８Ｃ】
2015071220.tif 000062
【図３９】
2015071220.tif 000063
【図４０】
2015071220.tif 000064
【図４１】
2015071220.tif 000065
【図４２Ａ】
2015071220.tif 000066
【図４２Ｂ】
2015071220.tif 000067