(57)【要約】【課題】マスタスレーブシステムにおいて、観察者が対象物をより直感的に観察することを可能にする。【解決手段】マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部を備える、制御装置が提供される。【選択図】図１４
2020162916.tif 000002
【特許請求の範囲】
【請求項１】
マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、
スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部を備える、
制御装置。
【請求項２】
前記制御部は、前記マスタ側の三次元座標系における、前記第１の点に対する前記観察者の眼の第１の観察方向に関する情報を取得し、
前記スレーブ側の三次元座標系における、前記第２の点に対する前記撮像部の第２の観察方向が、前記第１の観察方向と対応するように前記第２の観察方向を制御する、
請求項１に記載の制御装置。
【請求項３】
前記制御部は、前記第２の観察方向と前記第１の観察方向とが略同一となるように前記第２の観察方向を制御する、
請求項２に記載の制御装置。
【請求項４】
前記制御部は、重力方向に対する前記第１の観察方向の角度と、前記重力方向に対する前記第２の観察方向の角度とが略同一となるように前記第２の観察方向を制御する、
請求項３に記載の制御装置。
【請求項５】
前記制御部は、前記撮像部を支持しているアームを制御することで前記第２の観察方向を制御する、
請求項２に記載の制御装置。
【請求項６】
前記観察者による入力を受けるマスタ部についての三次元座標系から、前記入力に基づいて制御されるスレーブ部についての三次元座標系への変換に用いられる回転行列をＭＳＲ、前記スレーブ部についての三次元座標系から前記撮像部についての三次元座標系への変換に用いられる回転行列をＳＣＲ、前記撮像部についての三次元座標系から前記表示部についての三次元座標系への変換に用いられる回転行列をＣＤＲ、前記表示部についての三次元座標系から前記マスタ部についての三次元座標系への変換に用いられる回転行列をＤＭＲ、単位行列をＩとしたとき、前記制御部はパラメータを制御することで式１を成立させる、
請求項２に記載の制御装置。
【数１】
2020162916.tif 000007
【請求項７】
前記制御部は、パラメータを制御することで前記ＭＳＲ、前記ＳＣＲ、又は前記ＣＤＲを動的に変更する、
請求項６に記載の制御装置。
【請求項８】
前記制御部は、重力方向に対する前記第１の観察方向の角度と、前記重力方向に対する前記第２の観察方向の角度との差異に基づいて前記重力方向の回転成分を前記ＣＤＲに反映させる、
請求項６に記載の制御装置。
【請求項９】
前記第２の点は、スレーブ部における一つの作用点、前記スレーブ部における二つの作用点同士の中心点、前記対象物に含まれる点、前記撮像部の合焦点、及び前記スレーブ部の操作領域に含まれる点のいずれかである、
請求項１に記載の制御装置。
【請求項１０】
前記制御部は、前記第２の点に基づいてスレーブ部を制御する、
請求項１に記載の制御装置。
【請求項１１】
前記表示部は、据え置き型の装置に搭載される、
請求項１に記載の制御装置。
【請求項１２】
前記スレーブ側の空間は、実空間又は仮想空間である、
請求項１に記載の制御装置。
【請求項１３】
スレーブ部と、
前記スレーブ部の操作に用いられるマスタ部と、
マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、
スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部と、を備える、
マスタスレーブシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置及びマスタスレーブシステムに関する。
【背景技術】
【０００２】
近年、内視鏡外科手術等を施す際に用いられる手術システムとして、患者の体を大きく切開することなく患部へのアプローチを可能とするマスタスレーブ方式のシステム（以下、マスタスレーブシステムとも称される）が知られている。係るマスタスレーブシステムでは、医師等の術者（ユーザ）が入力インタフェースを備えたマスタ部を操作し、鉗子、攝子、あるいは内視鏡等の医療用器具を備えたスレーブ部が、術者によるマスタ部の操作に応じて遠隔操作される。スレーブ部は、例えば、先端に術具が保持されるアーム装置として構成され、腹腔内において術具の位置又は姿勢を変化させることができる。
【０００３】
マスタスレーブシステムについては、スレーブ部の直感的な操作を可能とするためのユーザ（観察者）への画像の提示方法が研究されている。例えば、以下の特許文献１には、ユーザが装着したヘッドマウントディスプレイの位置及び姿勢に基づいて、スレーブ側のカメラの位置及び姿勢を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１３６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１をはじめとする各種技術によっては、マスタスレーブシステムにおいて、ユーザ（観察者）が対象物を直感的に観察できない可能性があった。例えば、マスタ側のユーザの顔の向きに応じてスレーブ側のカメラを並進させる技術等によっては、ユーザが、対象物の上下左右の様々な方向から見回すように対象物を観察することができないため、直感性が十分であるとは言えない。
【０００６】
そこで、本開示は、上記事情に鑑みてなされたものであり、マスタスレーブシステムにおいて、ユーザ（観察者）が対象物をより直感的に観察することが可能な、新規かつ改良された制御装置及びマスタスレーブシステムを提供する。
【課題を解決するための手段】
【０００７】
本開示によれば、マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部を備える、制御装置が提供される。
【０００８】
また、本開示によれば、スレーブ部と、前記スレーブ部の操作に用いられるマスタ部と、マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部と、を備える、マスタスレーブシステムが提供される。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係るマスタスレーブシステムの構成例を示すブロック図である。
【図２】本実施形態に係るマスタ部の一例を示す図である。
【図３】本実施形態に係るスレーブ部の一例を示す図である。
【図４】本実施形態に係る表示部による立体表示の一例を示す説明図である。
【図５】本実施形態に係る表示部による立体表示の一例を示す説明図である。
【図６】本実施形態に係る表示部による立体表示の一例を示す説明図である。
【図７】本実施形態に係る表示部による立体表示の一例を示す説明図である。
【図８】ユーザが表示面に表示された対象物を見ている様子を横方向から（Ｘ軸方向の逆向きに）見たときの図である。
【図９】撮像部が対象物を撮像している様子を横方向から（Ｘ’軸方向の逆向きに）見たときの図である。
【図１０】ユーザが表示面に表示された対象物を見ている様子を上方向から（Ｙ軸方向の逆向きに）見たときの図である。
【図１１】撮像部が対象物を撮像している様子を上方向から（Ｙ’軸方向の逆向きに）見たときの図である。
【図１２】重力方向に対する第１の観察方向の角度と、重力方向に対する第２の観察方向の角度とが異なる場合の対処方法を説明するための図である。
【図１３】重力方向に対する第１の観察方向の角度と、重力方向に対する第２の観察方向の角度とが異なる場合の対処方法を説明するための図である。
【図１４】本実施形態に係る制御部の構成例を示すブロック図である。
【図１５】本実施形態に係るマスタスレーブシステムの各構成の処理フロー例を示すフローチャートである。
【図１６】本実施形態に係る制御部のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．背景
２．実施形態
２．１．システム構成例
２．２．制御部による制御例
２．３．制御部の構成例
２．４．各構成の処理フロー例
２．５．制御部のハードウェア構成例
３．むすび
【００１２】
＜１．背景＞
本開示の実施形態について説明する前に、まず、本開示の実施形態が創作されるに至った背景について説明する。
【００１３】
上記のとおり、近年、内視鏡外科手術等の分野でマスタスレーブシステムが用いられている。そして、マスタスレーブシステムについては、上記の特許文献１に記載の技術等のように、スレーブ部の直感的な操作を可能とするためのユーザ（観察者）への画像の提示方法が研究されている。
【００１４】
しかし、特許文献１をはじめとする各種技術によっては、マスタスレーブシステムにおいて、観察者が対象物を直感的に観察できない場合があった。例えば、マスタ側のユーザの顔の向きに応じてスレーブ側のカメラを並進させる技術等によっては、ユーザが、対象物の上下左右の様々な方向から見回すように対象物を観察することができないため、直感性が十分であるとは言えない。
【００１５】
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示の一実施形態に係る制御装置は、マスタ側の三次元座標系における、表示部（例えばディスプレイ）に表示された対象物を観察するユーザ（観察者）の眼と第１の点との第１の位置関係を計算し、スレーブ側の三次元座標系における、対象物を撮像する撮像部（例えばカメラ）と第１の点に対応する第２の点との第２の位置関係が、第１の位置関係と対応するように撮像部を制御する。例えば、本実施形態に係る制御装置は、マスタ側の三次元座標系における、第１の点に対するユーザの眼の第１の観察方向に関する情報を取得し、スレーブ側の三次元座標系における、第２の点に対する撮像部５０の第２の観察方向が、第１の観察方向と対応するように第２の観察方向を制御する。
【００１６】
これにより、ユーザは、眼の位置を変えることによって対象物の上下左右の様々な方向から見回すように対象物を観察することができるため、対象物をより直感的に観察することができる。
【００１７】
また、マスタスレーブシステムにおいて、画像をどのように取得し、ユーザに提供すればより直感的な操作が可能になるかについて研究がなされている。例えば、マスタ部とスレーブ部とが平行に動作するように知覚されると、ユーザは直感的に操作を行うことができる。反対に、マスタ部とスレーブ部とが異なる方向に動作するように知覚されると、ユーザは、マスタ部とスレーブ部の動作方向の関係を考慮しながら操作を行わなければならないため、直感的な操作が困難になる。この事象は「Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎ」と呼ばれる。本実施形態に係る制御装置は、当該Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎを発生させないように制御を行うことで、直感的な操作を実現する。
【００１８】
以降では、本実施形態に係る制御装置による制御について詳細に説明していく。
【００１９】
＜２．実施形態＞
（２．１．システム構成例）
上記では、本実施形態の創作に至った背景について説明した。続いて、本実施形態に係るマスタスレーブシステム１の構成例について説明する。なお、本実施形態に係るマスタスレーブシステム１は、内視鏡外科手術等に用いられる手術システムである場合を想定して説明するところ、マスタスレーブシステム１の種類は特に限定されない。例えば、マスタスレーブシステム１は、遠隔でロボットを制御するロボット制御システムであってもよい。
【００２０】
図１は、本実施形態に係るマスタスレーブシステム１の構成例を示すブロック図である。図１に示すように、マスタスレーブシステム１は、マスタ部１０と、スレーブ部２０と、検出部３０と、アーム４０と、撮像部５０と、表示部６０と、制御部７０と、を備える。なお、本実施形態に係る制御装置は、上記構成のうち少なくとも制御部７０を備えていればよい。
【００２１】
マスタ部１０は、マスタスレーブシステム１におけるマスタ側の装置である。マスタ部１０は、受動関節を含む１又は２以上の関節と、関節に接続されるリンクとを有するマニピュレータ（受動関節を含むリンク機構を有するロボット）であり得、スレーブ部２０の操作に用いられる。
【００２２】
図２は、本実施形態に係るマスタ部１０の一例を示す図である。図２に示す例では、マスタ部１０は、受動関節に接続されるリンクに設けられる操作体１１０と、操作体１１０に印加される力を計測する力センサ１２０とを含む。ここで、本実施形態に係る力センサ１２０としては、例えば、“歪ゲージを用いる方式等の任意の方式の力覚センサ”や、“圧電素子やマイクロフォン等で振動を計測することにより触覚を得る方式等の任意の方式の触覚センサ”等の、操作体１１０に印加される力を計測することが可能な任意のセンサが挙げられる。また、マスタ部１０は、例えば、関節の動きを計測するための動きセンサを、関節それぞれに対応する位置に備える。
【００２３】
本実施形態において、操作体１１０は、マスタ部１０の入力インタフェースであり、ユーザは操作体１１０の位置を移動させる操作により、スレーブ部２０の位置を移動させる（遠隔操作する）ことが可能である。
【００２４】
なお、図２では、マスタ部１０に設けられる操作体１１０が、スタイラス型の操作デバイスである例を示しているが、本実施形態に係る操作体１１０は、図２に示す例に限られない。本実施形態に係る操作体１１０としては、例えば、グローブ型の操作デバイス等の、任意の形状の操作デバイスが挙げられる。また、本実施形態に係る操作体１１０は、ハプティックデバイスに適用することが可能な、任意の操作デバイスであってもよい。また、マスタ部１０は、操作体１１０を交換することが可能な構造を有していてもよい。なお、本実施形態に係るマスタ部１０の構成は、図２に示す例に限定されず、任意の構成であってよい。
【００２５】
スレーブ部２０はマスタスレーブシステム１におけるスレーブ側の装置である。スレーブ部２０は、マスタ部１０への入力操作に対応して動くための、１又は２以上の能動関節と、能動関節に接続されるリンクとを有するマニピュレータ（能動関節を含むリンク機構を有するロボット）であってよい。また、スレーブ部２０は、例えば、能動関節を駆動させるための駆動機構を、能動関節それぞれに対応する位置に備える。上記駆動機構としては、例えば、モータ又はドライバ等が挙げられる。係る駆動機構は、後述する制御部７０により制御され得る。
【００２６】
図３は、本実施形態に係るスレーブ部２０の一例を示す図である。図３に示す例では、スレーブ部２０のアームの先端部分である先端部２１０は、術具が患者と接触する接触部２１１を含み、ユーザはマスタ部１０を操作することにより、接触部２１１の位置を遠隔操作する。なお、図３に示したのは一例であり、本実施形態に係るスレーブ部２０の構成は図３の例に限定されるものではない。また、本実施形態ではスレーブ部２０が実物体（すなわち、スレーブ側の空間が実空間）であることを想定しているところ、必ずしもこれに限定されず、スレーブ部２０は仮想物体（すなわち、スレーブ側の空間が仮想空間）であってもよい。例えば、本開示が手術シミュレータ等に適用され、マスタ部１０の操作により、仮想物体であるスレーブ部２０が制御されてもよい。
【００２７】
検出部３０は、ユーザ（観察者）の眼を検出する構成である。例えば、検出部３０は、撮像機能を有しており、撮像により取得された画像を解析することで、画像に写るユーザの眼を検出することができる。このとき、ユーザの眼を正確に検出できるように、トラッカー（ユーザの眼をトラッキングするための装置）又はマーカ（ユーザの眼を検出するための印）等がユーザの眼の付近に付されてもよい（例えば、トラッカー又はマーカが付された眼鏡型装置がユーザに装着される等）。なお、検出部３０によるユーザの眼の検出方法は必ずしもこれに限定されない。また、検出部３０に検出される対象は眼と同等のもの（例えば、眼の付近の点等）であってもよい。検出部３０は、ユーザの眼を検出した場合、マスタ側の三次元座標系における眼の位置を特定可能な情報（以降、検出情報と称される）を制御部７０に提供する。検出情報は、例えばマスタ側の三次元座標系における眼の位置座標等であり得る。
【００２８】
アーム４０は、撮像部５０を支持しており、撮像部５０の位置及び姿勢を制御可能な構成である。例えば、アーム４０は、能動関節を含む１又は２以上の関節と、能動関節に接続されるリンクとを有するマニピュレータ（能動関節を含むリンク機構を有するロボット）であり得、後述する制御部７０により制御され得る。
【００２９】
撮像部５０は、患部の画像を撮像により取得する構成である。撮像部５０は、立体画像を取得可能なステレオカメラであることを想定しているが、必ずしもこれに限定されず、例えば内視鏡等であってもよい。本実施形態に係る撮像部５０は、ズーム機構を有し、撮像倍率（ズーム倍率）を変更可能であってよい。また上記のとおり、撮像部５０は、アーム４０により支持され、アーム４０の関節の角度等が制御されることで撮像部５０の位置及び姿勢が変更される。撮像部５０による撮像処理は、後述する制御部７０により制御され得る。
【００３０】
表示部６０は、後述する制御部７０による制御に基づいて立体画像を表示する構成である。例えば、表示部６０は、立体画像を表示可能な立体ディスプレイであり得る。また、表示部６０は、据え置き型の装置に搭載されることを想定している（すなわち、ユーザの眼と表示部６０に表示される画像との位置関係は、ユーザの位置や姿勢に応じて変化する）。表示部６０が据え置き型の装置に搭載されることにより、例えば、表示部６０がヘッドマウントディスプレイに搭載された場合等のように、立体画像を複数人で共有することができないという問題や、ディスプレイにより視界が遮られるという問題が解消される。
【００３１】
制御部７０は、マスタスレーブシステム１に含まれる他の各構成を制御する構成である。制御部７０は、マスタスレーブシステム１に含まれる他の各構成と任意の通信方式で接続される。例えば、制御部７０は、マスタ部１０が有するセンサにより計測された情報をマスタ部１０から受信し、受信した情報に基づいてマスタ部１０の指定位置を取得する。そして、制御部７０は、マスタ部１０の指定位置及びオフセット（詳細については後述する）等に基づいてスレーブ部２０の指定位置（例えば、接触部２１１の位置）を制御する。ここで、「マスタ部１０の指定位置」は、マスタ部１０によって定まる位置であり、例えば、ユーザがマスタ部１０へ入力することによって指定される（マスタ部１０の）位置であり得る。また、「スレーブ部２０の指定位置」とは、マスタ部１０の指定位置によって定まる位置であり、例えば、ユーザがマスタ部１０へ入力することによって指定される（スレーブ部２０の）位置であり得る。すなわち、ユーザがマスタ部１０を操作することによってマスタスレーブシステム１上で決定されるスレーブ部２０の位置であり得る。なお、「指定位置」は、必ずしもユーザの意思によって指定される位置に限られない。例えば、「マスタ部１０の指定位置」は、単にマスタ部１０の位置によって定まる位置であってもよい（「スレーブ部２０の指定位置」についても同様である）。
【００３２】
また、本実施形態に係る制御部７０は、ユーザによる直感的な観察及び直感的な操作を実現するための制御を行う。以下、制御部７０による制御について詳細に説明する。
【００３３】
なお、図１に示した構成はあくまで一例であり、本実施形態に係るマスタスレーブシステム１の構成例は必ずしも図１の例に限定されない。例えば、音声取得部（例えばステレオマイク等）がスレーブ側に備えられ、音声取得部により取得されたスレーブ側の音声を出力する音声出力部（例えばスピーカ、又はイヤホン等）がマスタ側に備えられてもよい。また、これらの構成により、スレーブ側の音場がマスタ側に再現されてもよい。
【００３４】
（２．２．制御部による制御例）
上記では、本実施形態に係るマスタスレーブシステム１の構成例について説明した。続いて、本実施形態に係る制御部７０による制御例について説明する。
【００３５】
（対象物の表示制御）
まず、対象物の表示制御について説明する。
【００３６】
本実施形態のように立体表示がユーザに提供される場合において、ユーザが感じる立体感や、対象物が同一空間に存在するかのような感覚（以下、共存感とも称する）を高めるためには、例えば右目に視認される画像及び左目に視認される画像の水平方向のずれによって生じる視差量を大きくすることが望ましい。
【００３７】
図４〜図７は、本実施形態に係る表示部６０による立体表示の一例を示す説明図である。制御部７０は、図４〜図７に示す様々な態様により対象物を表示部６０に表示させることができる。
【００３８】
例えば、図４に示す例では、表示部６０が有する表示面６１０の近傍に立体的な対象物ＯＢが表示されている。図４に示す例では、ユーザが視点Ｅ１１で観察した場合には視野Ｆ１１に対象物ＯＢが含まれ、ユーザが視点Ｅ１２で観察した場合には視野Ｆ１２に対象物ＯＢが含まれる。図５に示す例では、表示部６０が有する表示面６１０の手前側に対象物ＯＢが配置されている。図５に示す例では、ユーザが視点Ｅ２１で観察した場合には視野Ｆ２１に対象物ＯＢが含まれ、ユーザが視点Ｅ２２で観察した場合には視野Ｆ２２に対象物ＯＢの上部が含まれる。図６に示す例では、表示部６０が有する表示面６１０の奥側に対象物ＯＢが配置されている。図６に示す例では、ユーザが視点Ｅ３１で観察した場合には視野Ｆ３１に対象物ＯＢが含まれる。一方、ユーザが視点Ｅ３２で観察した場合には、ユーザの視野は視野Ｆ３２と視野Ｆ３３を合わせた範囲であるにも関わらず、表示面６１０の奥側に対象物ＯＢが表示されたことにより、ユーザが対象物ＯＢを観察するための視野が視野Ｆ３２に制限されている。
【００３９】
図４〜図６に示す例では、表示部６０が有する表示面６１０が実空間における水平面に対して垂直になるように表示部６０が設置されていた。一方、図７に示す例では、表示部６０が有する表示面６１０が実空間における水平面に対して、斜めに（非垂直に）なるように表示部６０が設置される。また、図７に示す例では、対象物ＯＢが、水平面に対して正立しつつ、表示面６１０と交差するように配置される。
【００４０】
係る構成により、ユーザに表示面６１０を感じさせることなく、対象物ＯＢがユーザと同じ空間に存在するような共存感をより与えることが可能である。また、図４〜図６に示した例よりも視差量を抑えつつも、床面や壁面を配置することにより、十分な立体感を与えることが可能であり、ユーザへの負担を抑制することが可能である。また、図７に示すように、ユーザが視点Ｅ１で観察した場合には視野Ｆ１に対象物ＯＢが含まれ、ユーザが視点Ｅ２で観察した場合には視野Ｆ２に対象物ＯＢが含まれるため、ユーザはより広い視点位置から観察可能である。
【００４１】
上記のとおり、制御部７０は、図４〜図７のいずれの態様により対象物ＯＢを表示部６０に表示させてもよいところ、以降では一例として、図７に示したように対象物ＯＢが、水平面に対して正立しつつ、表示面６１０と交差するように配置される場合を一例として説明する。
【００４２】
（直感的な観察のための制御）
続いて、マスタスレーブシステム１における直感的な観察のための制御について説明する。
【００４３】
本実施形態に係る制御部７０は、マスタ側の三次元座標系における、表示部６０に表示された対象物を観察するユーザ（観察者）の眼と第１の点との第１の位置関係を計算し、スレーブ側の三次元座標系における、対象物を撮像する撮像部５０と第１の点に対応する第２の点との第２の位置関係が、第１の位置関係と対応するように撮像部５０を制御する。
【００４４】
例えば、制御部７０は、マスタ側の三次元座標系における、第１の点に対するユーザ（観察者）の眼の第１の観察方向に関する情報を取得し、スレーブ側の三次元座標系における、第２の点に対する撮像部５０の第２の観察方向が、第１の観察方向と対応するように第２の観察方向を制御する。
【００４５】
ここで、「第２の点」とは、スレーブ側の三次元座標系において、撮像部５０の制御の基準となる点であり「ピボット点」とも称される。例えば、第２の点は、スレーブ部２０における一つの作用点（例えば、図３に示した接触部２１１の先端部等）、スレーブ部２０における二つの作用点同士の中心点（例えば、図３に示したスレーブ部２０が二台用いられる場合において、各スレーブ部２０の接触部２１１の中心点等）、対象物に含まれる点（例えば、対象物の中心点等）、撮像部５０の合焦点、及びスレーブ部２０の操作領域に含まれる点（例えば、スレーブ部２０の操作領域の中心点等）のいずれかであり得る。なお、第２の点は必ずしもこれらに限定されない。
【００４６】
「第１の点」は、マスタ側の三次元座標系において、第２の点（ピボット点）に対応する点である。図４〜図７に示すように、第１の点は、ユーザが対象物を観察できる視野内であればマスタ側の三次元座標系において任意の点に設定され得る。例えば、第２の点が対象物の中心点である場合、第１の点は、表示部６０により立体表示された対象物の中心点と一致する。第２の点が対象物の中心点以外である場合も同様である。
【００４７】
図８〜図１１を参照して、制御部７０による撮像部５０の制御例を詳細に説明する。なお、図８〜図１１においては、対象物ＯＢを簡略化し直線で表している点に留意されたい。図８〜図１１では、表示面６１０上に対象物ＯＢと第１の点Ｐが設定された例を示したが、上記の通りこれらはユーザの視野内において任意の位置に設定可能である。
【００４８】
図８は、ユーザが表示面６１０に表示された対象物ＯＢを見ている様子を横方向から（Ｘ軸方向の逆向きに）見たときの図である。図８に示すように、マスタ側の三次元座標系（ＸＹＺ座標系）のＹＺ平面において、ある時刻Ｔ１１でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１１と対象物ＯＢとのなす角度は９０度である。その後の時刻Ｔ１２では、マスタ側の三次元座標系におけるＹＺ平面上でユーザの眼Ｅの位置が変化したとする。具体的には、ＹＺ平面において、時刻Ｔ１２でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１２と対象物ＯＢとのなす角度はθに変化したとする。
【００４９】
時刻Ｔ１１から時刻Ｔ１２への変化に伴い、制御部７０は、スレーブ側の三次元座標系（Ｘ’Ｙ’Ｚ’座標系）における、第２の点に対する撮像部５０の第２の観察方向が、第１の観察方向（第１の点Ｐに対するユーザの眼Ｅの観察方向）と略同一となるように第２の観察方向を制御する。
【００５０】
図９を参照して具体的に説明する。図９は、撮像部５０が対象物ＯＢを撮像している様子を横方向から（Ｘ’軸方向の逆向きに）見たときの図である。図９に示すように、スレーブ側の三次元座標系（Ｘ’Ｙ’Ｚ’座標系）のＹ’Ｚ’平面において、ある時刻Ｔ１１での撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１１と対象物ＯＢとのなす角度は、図８の時刻Ｔ１１でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１１と対象物ＯＢとのなす角度と同じく９０度である。また、時刻Ｔ１１での撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１１の長さは、図８の時刻Ｔ１１でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１１の長さと略同一であってもよい。
【００５１】
その後の時刻Ｔ１２では、Ｙ’Ｚ’平面における撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１２と対象物ＯＢとのなす角度は、図８の時刻Ｔ１２でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１２と対象物ＯＢとのなす角度と同じくθである。また、時刻Ｔ１２での撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１２の長さは、図８の時刻Ｔ１２でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１２の長さと略同一であってもよい。
【００５２】
図８及び図９の場合とは異なる角度から見たときについても同様のことが言える。図１０及び図１１を参照して具体的に説明する。図１０は、ユーザが表示面６１０に表示された対象物ＯＢを見ている様子を上方向から（Ｙ軸方向の逆向きに）見たときの図である。図１０に示すように、マスタ側の三次元座標系（ＸＹＺ座標系）のＸＺ平面において、ある時刻Ｔ１３でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１３と対象物ＯＢとのなす角度は９０度である。その後の時刻Ｔ１４では、マスタ側の三次元座標系におけるＸＺ平面上でユーザの眼Ｅの位置が変化したとする。具体的には、ＸＺ平面において、時刻Ｔ１４でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１４と対象物ＯＢとのなす角度はΦに変化したとする。
【００５３】
図１１は、撮像部５０が対象物ＯＢを撮像している様子を上方向から（Ｙ’軸方向の逆向きに）見たときの図である。図１１に示すように、スレーブ側の三次元座標系（Ｘ’Ｙ’Ｚ’座標系）のＸ’Ｚ’平面において、ある時刻Ｔ１３での撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１３と対象物ＯＢとのなす角度は、図１０の時刻Ｔ１３でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１３と対象物ＯＢとのなす角度と同じく９０度である。また、時刻Ｔ１３での撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１３の長さは、図１０の時刻Ｔ１３でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１３の長さと略同一であってもよい。
【００５４】
その後の時刻Ｔ１４では、Ｘ’Ｚ’平面における撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１４と対象物ＯＢとのなす角度は、図１０の時刻Ｔ１４でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１４と対象物ＯＢとのなす角度と同じくΦである。また、時刻Ｔ１４での撮像部５０及び第２の点Ｐ’を結ぶ線Ｓ１４の長さは、図１０の時刻Ｔ１４でのユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１４の長さと略同一であってもよい。
【００５５】
制御部７０は、例えば、撮像部５０により取得された画像を解析することで、画像に写る第２の点Ｐ’を検出し、スレーブ側の三次元座標系における第２の点Ｐ’の位置座標、及び撮像部５０から第２の点Ｐ’への方向を認識することで、図８〜図１１を参照して説明したような制御を可能にする。これにより、ユーザは、（例えばマスタ部１０の操作のために両手がふさがっている場合等においても）眼Ｅの位置を変えることによって対象物ＯＢの上下左右の様々な方向から見回すように対象物ＯＢを観察することができるため、対象物ＯＢをより直感的に観察することができる。
【００５６】
（直感的な操作のための制御）
続いて、マスタスレーブシステム１における直感的な操作のための制御について説明する。
【００５７】
上記のとおり、直感的な操作を実現するためにはＭｅｎｔａｌ  Ｒｏｔａｔｉｏｎを発生させないような制御が求められる。そこで、以下ではＭｅｎｔａｌ  Ｒｏｔａｔｉｏｎが発生しない条件について説明する。
【００５８】
マスタ側の三次元座標系における基準座標をＯ、マスタ部１０の指定位置座標をＭ、スレーブ側の三次元座標系における基準座標をＯ’、スレーブ部２０の指定位置座標をＳとし、これらを用いて回転行列Ｒを表す。例えば、ＯＭＲは、ＯからＭへの回転行列を表し、Ｏ’ＳＲは、Ｏ’からＳへの回転行列を表し、ＭＳＲは、ＭからＳへの回転行列を表す。これらの回転行列Ｒは、三次元座標系の変換に用いられるオフセットであるとも言える。特に、ＭＳＲは、マスタ部１０についての三次元座標系からスレーブ部２０についての三次元座標系への変換に用いられるオフセットであるとも言える。ユーザがマスタ部１０を用いて入力ＶＭを行った場合、当該入力ＶＭは以下の式１の回転行列に基づいてスレーブ部２０の出力ＶＳに変換される。ＶＭ、ＶＳはそれぞれＯ、Ｏ’を基準としたベクトルである。
【００５９】
【数１】
2020162916.tif 000003
【００６０】
Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎが発生しない条件は、ユーザがマスタ部１０を操作したときのスレーブ部２０の操作方向が、撮像部５０（例えばカメラ）及び表示部６０（例えばディスプレイ）による座標変換を通してマスタ部１０の操作方向と略同一となることである。すなわち、Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎが発生しない条件は、以下の式２が成立することである。
【００６１】
【数２】
2020162916.tif 000004
【００６２】
なお、式２においては、撮像部５０（例えばカメラ）についての三次元座標系における指定位置座標をＣ、表示部６０（例えばディスプレイ）についての三次元座標系における指定位置座標をＤとする。ただし、Ｃ、Ｄは撮像部５０の左右、上下、法線方向と、表示部６０の左右、上下、法線方向が一致するように設定する。また、ＳＣＲは、ＳからＣへの回転行列（スレーブ部２０についての三次元座標系から撮像部５０についての三次元座標系への変換に用いられるオフセット）を表し、ＣＤＲは、ＣからＤへの回転行列（撮像部５０により取得された画像の三次元座標系から表示部６０についての三次元座標系への変換に用いられるオフセット）を表し、ＤＭＲは、ＤからＭへの回転行列（表示部６０についての三次元座標系からマスタ部１０についての三次元座標系への変換に用いられるオフセット）を表す。特に、ＣＤＲは、撮像部５０で取得された画像が変換されて表示部６０に表示される場合の変換を表しており、変換時に画像が回転されない場合（換言すると、画像倍率の変更、又は画像の切り出し等のみが行われる場合）、単位行列となる。
【００６３】
上記の式１を式２に代入すると、Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎが発生しない条件として以下の式３が得られる。ここで、Ｉは単位行列を表す。
【００６４】
【数３】
2020162916.tif 000005
【００６５】
制御部７０は、図８〜図１１を参照して説明した直感的な観察のための制御を行いつつ、パラメータを制御することで上記の式３を成立させる。具体的には、図８〜図１１を参照して説明した直感的な観察のための制御が行われた場合、眼の位置の変化に応じて撮像部５０の位置が変化するためＳＣＲが変化する。制御部７０は、ＳＣＲの変化に伴い、例えばＣＤＲ又はＭＳＲを変化させることで式３を成立させる（換言すると、制御部７０は、パラメータを制御することでＭＳＲ、ＳＣＲ、又はＣＤＲを動的に変更する）。なお、制御部７０が制御するパラメータとは、各オフセットに作用する何らかの情報であればよい。
【００６６】
例えば、ＣＤＲのみが変更された場合（換言すると、ソフトウェア処理により画像が回転した場合）、回転した画像の正面にユーザの眼が位置しないと立体表示された対象物が歪むため、直感的な観察及び直感的な操作が阻害される。特に、表示部６０が据え置き型の装置に搭載される場合、ユーザの眼と表示部６０の位置関係が一定でないため問題となる。そこで、制御部７０は、図８〜図１１を参照して説明した直感的な観察のための制御により、眼の位置の変化に応じて撮像部５０の位置を変化させることで（すなわち、ＳＣＲを変化させることで）、回転した画像とユーザの眼との位置関係を適切なものとする。これにより、制御部７０は、立体表示された対象物を歪みなくユーザに視認させることができるため、直感的な観察及び直感的な操作を実現できる。また、表示部６０（例えばディスプレイ）を物理的に回転させること（すなわち、ＤＭＲを変更すること）は大がかりになるため難易度がより高いところ、制御部７０は、上記のとおり、ＭＳＲ、ＳＣＲ、又はＣＤＲを動的に変更することでより容易に直感的な観察及び直感的な操作を実現することができる。なお、制御部７０が表示部６０（例えばディスプレイ）を物理的に回転させることができる場合、制御部７０は、パラメータを制御することでＤＭＲを動的に変更してもよい。また、マスタ部１０に対して力のフィードバックが行われる場合、ユーザは、スレーブ部２０に加えられる力と同一方向の力を、マスタ部１０を介して知覚することができる。
【００６７】
（重力方向の一致のための制御）
上記の処理によって、Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎの発生が防がれたとしても、重力方向に対する第１の観察方向（第１の点に対するユーザの眼の観察方向）と、重力方向に対する第２の観察方向（第２の点に対する撮像部５０の観察方向）とが異なる場合、表示部６０に表示された対象物ＯＢをユーザが見たときの、見かけの重力方向が実際の重力方向と異なってしまう。
【００６８】
そこで、制御部７０は、重力方向に対する第１の観察方向の角度と、重力方向に対する第２の観察方向の角度とが略同一となるように第２の観察方向を制御してもよい。例えば、図８におけるＹ軸方向の逆向き、及び図９におけるＹ’軸方向の逆向きが重力方向であるとする。このとき、図８及び図９に示したように、重力方向に対する第１の観察方向、及び重力方向に対する第２の観察方向が、時刻Ｔ１１では互いに９０度、時刻Ｔ１２では互いにθとなるように第２の観察方向を制御してもよい。これによって、制御部７０は、表示部６０に表示された対象物ＯＢをユーザが見たときの、見かけの重力方向と実際の重力方向とを略同一にすることができる。また、マスタ部１０に対して力のフィードバックが行われる場合、ユーザは、スレーブ部２０を用いて物体を把持した場合、当該物体にかかる重力を（重力の方向及び大きさ）、マスタ部１０を介して知覚することができる。なお、水平方向のオフセットは適宜変更されてもよい（すなわち、図１０におけるＸＺ軸と、図１１におけるＸ’Ｚ’軸との対応関係は適宜変更されてもよい）。
【００６９】
また、重力方向に対する第１の観察方向の角度と、重力方向に対する第２の観察方向の角度とが異なる場合、制御部７０は、これらの角度の差異に基づいて重力方向の回転成分をＣＤＲに反映させることでソフトウェア処理により画像を回転させてもよい。
【００７０】
図１２及び図１３を参照して説明する。図１２のＡは、撮像部５０が対象物ＯＢを撮像する様子を横方向から（Ｘ’軸方向の逆向きに）見たときの図である。そして、Ｙ’軸方向の逆向きが重力方向であるとする。また、対象物ＯＢは人形であり、第２の点Ｐ’が対象物ＯＢの頭部に設定されているとする。このとき、重力方向に対する第２の観察方向（第２の点に対する撮像部５０の観察方向）の角度がθであるとする。図１２のＢは、図１２のＡの状態で撮像部５０により取得された画像Ｖを示す図である。
【００７１】
図１３のＢは、ユーザが表示面６１０に表示された対象物ＯＢを見ている様子を横方向から（Ｘ軸方向の逆向きに）見たときの図である（表示面６１０は便宜的に省略されている）。そして、Ｙ軸方向の逆向きが重力方向であるとする。また、図１２と同様に対象物ＯＢは人形であり、第２の点Ｐ’に対応する第１の点Ｐが対象物ＯＢの頭部に設定されているとする。このとき、重力方向に対する第１の観察方向（第１の点Ｐに対するユーザの眼Ｅの観察方向）の角度がθとは異なるθ’であるとする。
【００７２】
この場合、制御部７０は、撮像部５０により取得された画像Ｖをソフトウェア処理によりＸ軸周りに回転させる。図１３のＢは、制御部７０の制御により表示面６１０に表示される画像を示す図であるところ、当該処理により、表示面６１０に表示される対象物ＯＢの立体像は、見かけ上、処理前の対象物ＯＢの立体像よりも重力方向に圧縮されたものとなる。このように、立体像に歪が生じるものの、制御部７０は当該処理により、見かけの重力方向と実際の重力方向とを略同一にすることができる。
【００７３】
（２．３．制御部の構成例）
上記では、本実施形態に係る制御部７０による制御例について説明した。続いて、図１４を参照して、本実施形態に係る制御部７０の構成例について説明する。
【００７４】
図１４は、本実施形態に係る制御部７０の構成例を示すブロック図である。図１４に示すように、制御部７０は、角度計算部７１０と、撮像制御部７２０と、表示制御部７３０と、オフセット制御部７４０と、マスタスレーブ制御部７５０と、を備える。
【００７５】
角度計算部７１０は、ユーザの眼及び第１の点を結ぶ線と対象物とのなす角度を計算する構成である。具体的には、検出部３０がユーザの眼を検出した場合、角度計算部７１０は、検出部３０から提供された検出情報に基づいてマスタ側の三次元座標系におけるユーザの眼の位置座標を認識する。そして、角度計算部７１０は、ユーザの眼及び第１の点を結ぶ線と対象物とのなす角度を計算する。例えば、角度計算部７１０は、図８で示したようにマスタ側の三次元座標系（ＸＹＺ座標系）のＹＺ平面においてユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１１、Ｇ１２と対象物ＯＢとのなす角度、及び図１０で示したようにＸＺ平面においてユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１３、Ｇ１４と対象物ＯＢとのなす角度を計算する。そして、角度計算部７１０は、当該角度に関する情報（以降、角度情報と称する）を撮像制御部７２０及び表示制御部７３０に提供する。なお、角度情報は、第１の観察方向に関する情報として用いられ得る点に留意されたい。
【００７６】
撮像制御部７２０は、撮像部５０（例えばカメラ）による撮像を制御する構成である。例えば、撮像制御部７２０は、角度計算部７１０から提供された角度情報に基づいて撮像部５０を支持しているアーム４０を制御することで第２の観察方向を制御する。具体的には、撮像制御部７２０は、図８〜図１１を参照して説明したように、マスタ側の三次元座標系におけるユーザの眼と第１の点との第１の位置関係が、スレーブ側の三次元座標系における撮像部５０と第２の点との第２の位置関係と対応するようにアーム４０を制御する。アーム４０が１又は２以上の関節と、関節に接続されるリンクとを有する場合、撮像制御部７２０は、逆運動学計算等を行うことで各関節角を算出する。撮像制御部７２０は、算出した関節角等に関する情報をアーム４０へ提供することでアーム４０を制御する。アーム４０が制御され第２の観察方向が変化することで、上記で説明したオフセットの一種であるＳＣＲが変化する。
【００７７】
また、後述するオフセット制御部７４０からオフセットに関する情報（以降、オフセット情報と称する）が提供された場合、撮像制御部７２０は、当該オフセット情報に基づいてＳＣＲを制御してもよい。なお、撮像制御部７２０による制御内容はこれらに限定されない。例えば、被写界深度に余裕がある場合、撮像制御部７２０は、対象物に対して前後方向に撮像部５０の位置を変更することで、対象物に近づくと対象物がより大きく見えるといった運動視差を再現してもよい。
【００７８】
表示制御部７３０は、表示部６０の表示内容を制御する構成である。具体的には、表示制御部７３０は、撮像部５０の撮像により取得された画像がユーザの眼の位置から見たときの画像となるように、角度計算部７１０から提供された角度情報に基づいて画像を変換する（例えば、回転変換等）。これにより、上記で説明したオフセットの一種であるＣＤＲが変化する。そして、表示制御部７３０は、変換後の画像を表示部６０に出力する。
【００７９】
また、後述するオフセット制御部７４０からオフセット情報が提供された場合、表示制御部７３０は、当該オフセット情報に基づいてＣＤＲを制御してもよい。なお、表示制御部７３０による制御内容はこれらに限定されない。例えば、撮像部５０が対象物のデプス情報を取得可能な場合、表示制御部７３０は、当該デプス情報を用いて対象物を再構築（シミュレーション）し、再構築後の対象物を含む画像を表示部６０に出力してもよい。これにより、画像の歪が解消され、より直感的な観察が実現される場合がある。また、表示制御部７３０は表示倍率を変更することで、撮像部５０の撮像により取得された画像を適宜拡大、又は縮小してもよい。表示倍率が変更されると立体像に歪が生じるところ、上記で説明した撮像制御部７２０は、表示倍率に応じて撮像部５０と対象物との距離を制御することでこの歪を解消又は軽減してもよい。
【００８０】
オフセット制御部７４０は、各オフセットを制御する構成である。具体的には、オフセット制御部７４０は、ユーザの顔（又は眼）が所定の位置（例えば、表示部６０の真正面等）にあるときに上記の式３を満たすような各オフセット（ＭＳＲ、ＳＣＲ、ＣＤＲ、及びＤＭＲ）についての組合せを２以上保有している。そして、オフセット制御部７４０は、ユーザによる入力等（例えば、フットペダルを用いた入力等）に応じて各オフセットについての組合せを変更する。これによって、ユーザは顔を動かすことなく顔が所定の位置（例えば、表示部６０の真正面等）にある状態で、式３を満たしつつ（すなわち、Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎの発生を防ぎつつ）撮像部５０のアングルを変更することができる。オフセット制御部７４０は、オフセット情報を撮像制御部７２０、表示制御部７３０、及びマスタスレーブ制御部７５０へ提供する。
【００８１】
マスタスレーブ制御部７５０は、ユーザによるマスタ部１０への入力に基づいてスレーブ部２０を制御する構成である。具体的には、マスタスレーブ制御部７５０は、マスタ部１０から通信連携された情報に基づいて特定されるマスタ部１０の指定位置、及びオフセット制御部７４０から提供されるオフセット（ＭＳＲ）に基づいてスレーブ部２０の指定位置を制御する。
【００８２】
ここで、マスタスレーブ制御部７５０は、第２の点（ピボット点）に基づいてスレーブ部２０を制御してもよい。例えば、マスタスレーブ制御部７５０は、第２の点に基づいてスレーブ部２０の指定位置が制限されるようにスレーブ部２０を制御してもよい。具体的には、マスタスレーブ制御部７５０は、第２の点（例えば、スレーブ部２０の操作領域の中心点等）に向かってスレーブ部２０の指定位置が移動するようにスレーブ部２０を制御してもよい。なお、マスタスレーブ制御部７５０は、このようにスレーブ部２０の指定位置を制限する場合（必ずしもこの場合に限定されないが）、マスタ部１０の指定位置も同様に制限してもよい。マスタスレーブ制御部７５０は、第２の点とマスタスレーブ制御情報を組み合わせたバイラテラル制御によりマスタ部１０及びスレーブ部２０を制御してもよい。これによって、マスタ部１０とスレーブ部２０それぞれの指定位置の対応関係が維持されるためユーザは操作を行い易い。その他の内容については、既存のマスタスレーブ方式におけるスレーブ部の制御と同様であってよいため、詳細な説明を省略する。
【００８３】
以上、制御部７０の構成例について説明した。なお、図１４を用いて説明した上記の構成はあくまで一例であり、制御部７０の構成は係る例に限定されない。例えば、制御部７０は、図１４に示す構成の全てを必ずしも備えなくてもよいし、図１４に示していない構成を備えていてもよい。また、制御部７０の構成は、仕様や運用に応じて柔軟に変形可能である。
【００８４】
（２．４．各構成の処理フロー例）
上記では、本実施形態に係る制御部７０の構成例について説明した。続いて、図１５を参照して、本実施形態に係るマスタスレーブシステム１の各構成の処理フロー例について説明する。図１５は、本実施形態に係るマスタスレーブシステム１の各構成の処理フロー例を示すフローチャートである。
【００８５】
ステップＳ１０００では、オフセット制御部７４０が各オフセット（ＭＳＲ、ＳＣＲ、ＣＤＲ、及びＤＭＲ）を設定する。例えば、オフセット制御部７４０は、ユーザによる入力等（例えば、フットペダルを用いた入力等）に応じて、各オフセットについての２以上の組合せの中から１つの組合せを選択し、設定する。
【００８６】
ステップＳ１００４では、検出部３０がユーザの眼を検出する。例えば、検出部３０は、撮像機能を有しており、撮像により取得された画像を解析することで、画像に写るユーザの眼を検出する。
【００８７】
ステップＳ１００８では、角度計算部７１０がユーザの眼及び第１の点を結ぶ線と対象物とのなす角度を計算する。例えば、角度計算部７１０は、図８で示したようにマスタ側の三次元座標系（ＸＹＺ座標系）のＹＺ平面においてユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１１、Ｇ１２と対象物ＯＢとのなす角度、及び図１０で示したようにＸＺ平面においてユーザの眼Ｅ及び第１の点Ｐを結ぶ線Ｇ１３、Ｇ１４と対象物ＯＢとのなす角度を計算する。そして、角度計算部７１０は、計算結果に基づいて角度情報を生成し、撮像制御部７２０へ提供する。
【００８８】
ステップＳ１０１２では、撮像制御部７２０が角度計算部７１０から提供された角度情報に基づいて撮像制御を行う。具体的には、撮像制御部７２０は、図８〜図１１を参照して説明したように、マスタ側の三次元座標系におけるユーザの眼と第１の点との第１の位置関係が、スレーブ側の三次元座標系における撮像部５０と第２の点との第２の位置関係と対応するようにアーム４０を制御することで、撮像部５０の位置及び姿勢を制御する。
【００８９】
ステップＳ１０１６では、表示制御部７３０が表示制御を行う。具体的には、表示制御部７３０は、撮像部５０の撮像により取得された画像を、ユーザの眼の位置から見たときの画像となるように変換し、変換後の画像を表示部６０に出力する。これにより、ユーザの眼の位置から見たときの適切な立体画像が表示部６０に表示される。
【００９０】
仮に、オフセットを更新するための入力（例えば、ユーザによるフットペダルを用いた入力等）が行われた場合（ステップＳ１０２０／Ｙｅｓ）、ステップＳ１０２４にて、オフセット制御部７４０が当該入力に応じてオフセットを更新する。なお、オフセットを更新するための入力が行われない場合（ステップＳ１０２０／Ｎｏ）、ステップＳ１０２４の処理（オフセットの更新処理）は行われない。
【００９１】
そして、ユーザによる操作が継続中である場合（ステップＳ１０２８／Ｙｅｓ）、ステップＳ１００４〜ステップＳ１０２４の処理が繰り返し継続される。ユーザによる操作が継続中でない場合（ステップＳ１０２８／Ｎｏ）、一連の処理が終了する。
【００９２】
なお、上記で説明したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【００９３】
（２．５．制御部のハードウェア構成例）
上記では、本実施形態に係るマスタスレーブシステム１の各構成の処理フロー例について説明した。続いて、図１６を参照して、本実施形態に係るハードウェア構成例について説明する。図１６は、本実施形態に係る制御部７０のハードウェア構成例を示すブロック図である。本実施形態に係る制御部７０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【００９４】
図１６に示すように、制御部７０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、制御部７０は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、及び通信装置９１３を備える。制御部７０は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【００９５】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って制御部７０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
【００９６】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバス等を含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４及び外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【００９７】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、制御部７０の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等を含んでいてもよい。ユーザは、この入力装置９０６を操作することにより、制御部７０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００９８】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、制御部７０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、制御部７０が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【００９９】
ストレージ装置９０８は、制御部７０に備えられ得る記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
【０１００】
ドライブ９０９は、記憶媒体用リーダライタであり、制御部７０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１０１】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等によりデータ伝送可能な外部機器との接続口である。
【０１０２】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１０３】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、又は無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等を含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。
【０１０４】
以上、本実施形態に係る制御部７０の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。したがって、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１０５】
なお、上述のような本実施形態に係る制御部７０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１０６】
＜３．むすび＞
以上で説明してきたように、本実施形態に係る制御装置は、マスタ側の三次元座標系における、表示部６０に表示された対象物を観察するユーザ（観察者）の眼と第１の点との第１の位置関係を計算し、スレーブ側の三次元座標系における、対象物を撮像する撮像部５０と第１の点に対応する第２の点との第２の位置関係が、第１の位置関係と対応するように撮像部５０を制御する。これにより、ユーザは、眼の位置を変えることによって対象物の上下左右の様々な方向から見回すように対象物を観察することができるため、対象物をより直感的に観察することができる。
【０１０７】
また、本実施形態に係る制御装置は、パラメータを制御することで上記の式３を成立させることで、Ｍｅｎｔａｌ  Ｒｏｔａｔｉｏｎの発生を防ぐ。これによりユーザは、直感的な操作を行うことができる。
【０１０８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、
スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部を備える、
制御装置。
（２）
前記制御部は、前記マスタ側の三次元座標系における、前記第１の点に対する前記観察者の眼の第１の観察方向に関する情報を取得し、
前記スレーブ側の三次元座標系における、前記第２の点に対する前記撮像部の第２の観察方向が、前記第１の観察方向と対応するように前記第２の観察方向を制御する、
前記（１）に記載の制御装置。
（３）
前記制御部は、前記第２の観察方向と前記第１の観察方向とが略同一となるように前記第２の観察方向を制御する、
前記（２）に記載の制御装置。
（４）
前記制御部は、重力方向に対する前記第１の観察方向の角度と、前記重力方向に対する前記第２の観察方向の角度とが略同一となるように前記第２の観察方向を制御する、
前記（３）に記載の制御装置。
（５）
前記制御部は、前記撮像部を支持しているアームを制御することで前記第２の観察方向を制御する、
前記（２）から（４）のいずれか１項に記載の制御装置。
（６）
前記観察者による入力を受けるマスタ部についての三次元座標系から、前記入力に基づいて制御されるスレーブ部についての三次元座標系への変換に用いられる回転行列をＭＳＲ、前記スレーブ部についての三次元座標系から前記撮像部についての三次元座標系への変換に用いられる回転行列をＳＣＲ、前記撮像部についての三次元座標系から前記表示部についての三次元座標系への変換に用いられる回転行列をＣＤＲ、前記表示部についての三次元座標系から前記マスタ部についての三次元座標系への変換に用いられる回転行列をＤＭＲ、単位行列をＩとしたとき、前記制御部はパラメータを制御することで式４を成立させる、
前記（２）から（５）のいずれか１項に記載の制御装置。
【数４】
2020162916.tif 000006
（７）
前記制御部は、パラメータを制御することで前記ＭＳＲ、前記ＳＣＲ、又は前記ＣＤＲを動的に変更する、
前記（６）に記載の制御装置。
（８）
前記制御部は、重力方向に対する前記第１の観察方向の角度と、前記重力方向に対する前記第２の観察方向の角度との差異に基づいて前記重力方向の回転成分を前記ＣＤＲに反映させる、
前記（６）又は（７）に記載の制御装置。
（９）
前記第２の点は、スレーブ部における一つの作用点、前記スレーブ部における二つの作用点同士の中心点、前記対象物に含まれる点、前記撮像部の合焦点、及び前記スレーブ部の操作領域に含まれる点のいずれかである、
前記（１）から（８）のいずれか１項に記載の制御装置。
（１０）
前記制御部は、前記第２の点に基づいてスレーブ部を制御する、
前記（１）から（９）のいずれか１項に記載の制御装置。
（１１）
前記表示部は、据え置き型の装置に搭載される、
前記（１）から（１０）のいずれか１項に記載の制御装置。
（１２）
前記スレーブ側の空間は、実空間又は仮想空間である、
前記（１）から（１１）のいずれか１項に記載の制御装置。
（１３）
スレーブ部と、
前記スレーブ部の操作に用いられるマスタ部と、
マスタ側の三次元座標系における、表示部に表示された対象物を観察する観察者の眼と第１の点との第１の位置関係を計算し、
スレーブ側の三次元座標系における、前記対象物を撮像する撮像部と前記第１の点に対応する第２の点との第２の位置関係が、前記第１の位置関係と対応するように前記撮像部を制御する制御部と、を備える、
マスタスレーブシステム。
【符号の説明】
【０１１１】
１    マスタスレーブシステム
１０    マスタ部
２０    スレーブ部
３０    検出部
４０    アーム
５０    撮像部
６０    表示部
６１０    表示面
７０    制御部
７１０    角度計算部
７２０    撮像制御部
７３０    表示制御部
７４０    オフセット制御部
７５０    マスタスレーブ制御部
【図１】
2020162916.tif 000008
【図２】
2020162916.tif 000009
【図３】
2020162916.tif 000010
【図４】
2020162916.tif 000011
【図５】
2020162916.tif 000012
【図６】
2020162916.tif 000013
【図７】
2020162916.tif 000014
【図８】
2020162916.tif 000015
【図９】
2020162916.tif 000016
【図１０】
2020162916.tif 000017
【図１１】
2020162916.tif 000018
【図１２】
2020162916.tif 000019
【図１３】
2020162916.tif 000020
【図１４】
2020162916.tif 000021
【図１５】
2020162916.tif 000022
【図１６】
2020162916.tif 000023