(57)【要約】【課題】術具操作の正確性や安全性を高めることが容易な術具の力覚表示装置および力覚表示方法を提供する。【解決手段】閉じて対象物の把持、および、開いて対象物の剥離が可能な術具に働く力を操作者に知覚可能に表示する装置であって、術具における対象物を把持する力である把持力、および、対象物を剥離する力である剥離力の測定信号が入力される入力部５１と、測定信号に基づいて、把持力に関する情報を把持表示態様として表示し、剥離力に関する情報を把持表示態様とは異なる態様である剥離表示態様として表示する画像情報を作成する画像生成部５３と、画像情報を表示する表示部６０に向けて、作成された画像情報を出力する出力部５４と、が設けられていることを特徴とする。【選択図】  図１
2020146374.tif 000002
【特許請求の範囲】
【請求項１】
閉じて対象物の把持、および、開いて前記対象物の剥離が可能な術具に働く力を操作者に知覚可能に表示する装置であって、
前記術具における前記対象物を把持する力である把持力、および、前記対象物を剥離する力である剥離力の測定信号が入力される入力部と、
前記測定信号に基づいて、前記把持力に関する情報を把持表示態様として表示し、前記剥離力に関する情報を前記把持表示態様とは異なる態様である剥離表示態様として表示する画像情報を作成する画像生成部と、
前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力部と、
が設けられていることを特徴とする力覚表示装置。
【請求項２】
前記把持表示態様および前記剥離表示態様は、前記術具の種類に基づいて色あるいは色彩を異ならせる表示態様であって、
前記画像生成部は、前記把持表示態様を第一の色あるいは色彩を用いた表示態様とし、前記剥離表示態様を前記第一の色あるいは色彩とは異なる第二の色あるいは色彩を用いた表示態様とすることを特徴とする請求項１記載の力覚表示装置。
【請求項３】
前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて長さが変化する表示であって、
前記画像生成部は、前記把持表示態様を、所定の長さを有する基準指標と比較して、表示の長さが短い態様および長い態様の一方とし、前記剥離表示態様を、前記基準指標と比較して、表示の長さが短い態様および長い態様の他方とする前記画像情報を生成することを特徴とする請求項１記載の力覚表示装置。
【請求項４】
前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて長さが変化する棒状または帯状の形状を有する表示態様であることを特徴とする請求項３記載の力覚表示装置。
【請求項５】
前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて色あるいは色彩を変化させる表示態様であることを特徴とする請求項３または４に記載の力覚表示装置。
【請求項６】
前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて所定の形状を有する表示図形の面積が変化する表示であって、
前記画像生成部は、前記把持表示態様を、基準線を含む１つの前記表示図形である態様とし、前記剥離表示態様を、前記基準線を間に挟んで間隔をあけて配置される２つの前記表示図形である態様とする前記画像情報を生成することを特徴とする請求項１に記載の力覚表示装置。
【請求項７】
前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて面積が変化する扇状の形状を有する表示態様であることを特徴とする請求項６記載の力覚表示装置。
【請求項８】
閉じて対象物の把持、および、開いて前記対象物の剥離が可能な術具に働く力を操作者に知覚可能に表示する表示方法であって、
前記術具における前記対象物を把持する力である把持力、および、前記対象物を剥離する力である剥離力の測定信号が入力される入力ステップと、
前記測定信号に基づいて、前記把持力に関する情報を把持表示態様として表示し、前記
剥離力に関する情報を前記把持表示態様とは異なる態様である剥離表示態様として表示する画像情報を作成する画像生成ステップと、
前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力ステップと、
を有することを特徴とする力覚表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鉗子等の術具を把持する医用ロボットシステムに用いて好適な力覚表示装置および力覚表示方法に関する。
【背景技術】
【０００２】
近年、手術支援に用いられる医用ロボットを用いた内視鏡外科手術が普及しつつある。内視鏡外科手術では、医用ロボットに取り付けられた腹腔鏡や内視鏡、鉗子など（以下、「術具」とも表記する。）が用いられる。
【０００３】
医用ロボットは医師による術具の遠隔操作が可能である。また、直観的な操作が可能な医用ロボットも提案されている。さらに、正確性や安全性を高めることを目的として、医用ロボットを操作する医師に対して、術具に作用する外力を伝える力覚提示が可能な医用ロボットも提案されている（例えば、特許文献１および２参照。）。
【０００４】
特許文献１には、医療用具により受けた測定された応力に従って、ハプティックコントロールから触覚フィードバックを受ける内容や、ニードルに受けた応力の感触を有するようにモニター上に測定された応力等を表示する内容が開示されている。
【０００５】
特許文献２には、触覚フィードバックで生成された情報に基づいて３Ｄ（３次元）触覚表現を更新する内容が開示されている。具体的には、外科器具が患者の骨と接触していると判定されるとき、患者の状態の３Ｄ表現、例えば、３Ｄ図示表現及び／または３Ｄ触覚表現を更新する内容が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００５−５１０２８９号公報
【特許文献２】特開２０１８−１５８１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
力覚の提示方法が、操作を行う医師の手への触覚による提示の場合、操作を行っている医師が直感的に力覚を把握できるという利点がある。その一方で、触覚への提示の強さが同じであっても、受け取る医師が異なると強さの感じ方が異なる場合があり、正確性に欠けるおそれがあった。また、操作を行う医師に対してのみ力覚が提示され、他の医師などへの提示がされないため、第三者によるリアルタイムチェックや、客観性の確保が難しいという問題があった。
【０００８】
特許文献１および２に開示されている技術のように、モニター上に測定された応力等（力覚）を表示する方法では、例えば、閉じて対象物を把持したり、開いて剥離したりする術具、例えば鉗子に作用する外力の向きを適切に表示することが難しいという問題があった。言い換えると、表示されている外力が、対象物を把持している際に作用している力なのか、剥離する際に作用している力なのか、容易に区別できる表示が難しいという問題があった。
【０００９】
本発明は、上記の課題を解決するためになされたものであって、術具操作の正確性や安全性を高めることが容易な術具の力覚表示装置および力覚表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、以下の手段を提供する。
本発明の第１の態様に係る力覚表示装置は、閉じて対象物の把持、および、開いて前記対象物の剥離が可能な術具に働く力を操作者に知覚可能に表示する装置であって、前記術具における前記対象物を把持する力である把持力、および、前記対象物を剥離する力である剥離力の測定信号が入力される入力部と、前記測定信号に基づいて、前記把持力に関する情報を把持表示態様として表示し、前記剥離力に関する情報を前記把持表示態様とは異なる態様である剥離表示態様として表示する画像情報を作成する画像生成部と、前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力部と、が設けられていることを特徴とする。
【００１１】
本発明の第２の態様に係る力覚表示方法は、閉じて対象物の把持、および、開いて前記対象物の剥離が可能な術具に働く力を操作者に知覚可能に表示する表示方法であって、前記術具における前記対象物を把持する力である把持力、および、前記対象物を剥離する力である剥離力の測定信号が入力される入力ステップと、前記測定信号に基づいて、前記把持力に関する情報を把持表示態様として表示し、前記剥離力に関する情報を前記把持表示態様とは異なる態様である剥離表示態様として表示する画像情報を作成する画像生成ステップと、前記画像情報を表示する表示部に向けて、作成された前記画像情報を出力する出力ステップと、を有することを特徴とする。
【００１２】
本発明の第１態様に係る力覚表示装置および第２の態様に係る力覚表示方法によれば、把持力に関する情報を把持表示態様として表示し、剥離力に関する情報を把持表示態様とは異なる態様である剥離表示態様として表示できる。そのため、表示されている情報が、把持力に関する情報なのか、剥離力に関する情報なのか、把握しやすくなる。
【００１３】
上記発明の第１の態様において前記把持表示態様および前記剥離表示態様は、前記術具の種類に基づいて色あるいは色彩を異ならせる表示態様であって、前記画像生成部は、前記把持表示態様を第一の色あるいは色彩を用いた表示態様とし、前記剥離表示態様を前記第一の色あるいは色彩とは異なる第二の色あるいは色彩を用いた表示態様とすることが好ましい。
【００１４】
このように術具の種類に基づいて色あるいは色彩を異ならせて表示を行うことにより、情報の視認が行いやすくなる。例えば、把持表示態様や、剥離表示態様により表示されている術具の種類を、表示される色あるいは色彩により確認することが可能となる。また、把持表示態様を第一の色あるいは色彩を用いて表示し、剥離表示態様を第一の色あるいは色彩とは異なる第二の色あるいは色彩を用いて表示することにより、把持表示態様と、剥離表示態様との識別を行いやすくなる。
【００１５】
上記発明の第１の態様において前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて長さが変化する表示であって、前記画像生成部は、前記把持表示態様を、所定の長さを有する基準指標と比較して、表示の長さが短い態様および長い態様の一方とし、前記剥離表示態様を、前記基準指標と比較して、表示の長さが短い態様および長い態様の他方とする前記画像情報を生成することが好ましい。
【００１６】
このように基準指標と比較して表示の長さを変えて、把持力に関する情報なのか、剥離力に関する情報なのかを表示することにより、情報の視認が行いやすくなる。例えば、基準指標と比較して表示の長さを短くすることにより、把持力に関する情報を表示し、基準指標と比較して表示の長さを長くすることにより、剥離力に関する情報を表示することにより、情報の視認が行いやすくなる。
【００１７】
また、表示の長さと、基準指標との差の大きさが把持力の大きさ、または、剥離力の大きさとして表示される。そのため、把持力の大きさや、剥離力の大きさの視認が行いやすい。
【００１８】
上記発明の第１の態様において前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて長さが変化する棒状または帯状の形状を有する表示態様であることが好ましい。
【００１９】
このように術具における力の大きさに基づいて長さが変化する棒状または帯状の形状として表示することにより、基準指標と比較が行いやすくなる。そのため、表示されている情報が、把持力に関する情報なのか、剥離力に関する情報なのか、把握しやすくなる。
【００２０】
上記発明の第１の態様において前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて色あるいは色彩を変化させる表示態様であることが好ましい。
【００２１】
このように術具における力の大きさに基づいて表示の色あるいは色彩を変化させることにより、術具における力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。
【００２２】
上記発明の第１の態様において前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて所定の形状を有する表示図形の面積が変化する表示であって、前記画像生成部は、前記把持表示態様を、基準線を含む１つの前記表示図形である態様とし、前記剥離表示態様を、前記基準線を間に挟んで間隔をあけて配置される２つの前記表示図形である態様とする前記画像情報を生成することが好ましい。
【００２３】
このように表示図形を１つにするか２つにするかにより、把持力に関する情報なのか、剥離力に関する情報なのかを表示することにより、情報の視認が行いやすくなる。さらに、１つの表示図形の場合には基準線を含んで表示図形を表示し、２つの場合には、基準線を間に挟んで間隔をあけて表示図形を表示することにより、更に、情報の視認が行いやすくなる。また、表示図形の面積が把持力の大きさ、または、剥離力の大きさとして表示される。そのため、把持力の大きさや、剥離力の大きさの視認が行いやすい。
【００２４】
上記発明の第１の態様において前記把持表示態様および前記剥離表示態様は、前記術具における力の大きさに基づいて面積が変化する扇状の形状を有する表示態様であることが好ましい。
【００２５】
このように術具における力の大きさに基づいて面積が変化する扇状の形状として表示することにより、把持力の大きさであっても、剥離力の大きさであっても、その大きさを把握しやすくなる。
【発明の効果】
【００２６】
本発明の第１の態様に係る力覚表示装置、および、第２の態様に係る力覚表示方法によれば、把持力に関する情報を把持表示態様として表示し、剥離力に関する情報を把持表示態様とは異なる態様である剥離表示態様として表示するため、術具操作の正確性や安全性を高めることが容易になるという効果を奏する。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態に係る医用ロボットシステムの構成を説明するブロック図である。
【図２】図１のスレーブユニットに設けられるカートリッジの構成を説明する斜視図である。
【図３】図１の制御装置における力覚の表示に関する制御を説明するフローチャートである。
【図４】図４（ａ）は図１の表示装置における表示の態様を説明する模式図であり、図４（ｂ）は他の態様を説明する模式図であり、図４（ｃ）はさらに他の態様を説明する模式図である。
【図５】図１の表示装置における別の表示の態様を説明する模式図である。
【図６】力覚表示部における表示態様を説明する模式図である。
【図７】図７（ａ）は剥離表示態様を説明する図であり、図７（ｂ）は把持表示態様を説明する図であり、図７（ｃ）は力を測定していない場合の表示態様を説明する図である。
【図８】本発明の第１の実施形態の第１変形例に係る医用ロボットシステムの構成を説明するブロック図である。
【図９】図８の表示装置における表示の態様を説明する模式図である。
【図１０】本発明の第１の実施形態の第２変形例に係る医用ロボットシステムの構成を説明するブロック図である。
【図１１】図１１（ａ）は、第１表示装置における表示の態様を説明する模式図であり、図１１（ｂ）は、第２表示装置における表示の態様を説明する模式図である。
【図１２】本発明の第２の実施形態に係る医用ロボットシステムの構成を説明するブロック図である。
【図１３】図１２のスレーブユニットの構成を説明するブロック図である。
【図１４】図１２の表示装置における表示の態様を説明する模式図である。
【図１５】図１４の第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。
【図１６】本発明の第２の実施形態の第１変形例に係る医用ロボットシステムの構成を説明するブロック図である。
【図１７】図１６の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。
【図１８】本発明の第２の実施形態の第２変形例に係る医用ロボットシステムの構成を説明するブロック図である。
【図１９】図１８の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。
【図２０】本発明の第２の実施形態の第３変形例に係る医用ロボットシステムの構成を説明するブロック図である。
【図２１】図２０の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。
【図２２】本発明の第２の実施形態の第４変形例に係る医用ロボットシステムの構成を説明するブロック図である。
【図２３】図２２の表示装置における第１力覚表示部、第２力覚表示部、第３力覚表示部における表示態様を説明する模式図である。
【発明を実施するための形態】
【００２８】
〔第１の実施形態〕
以下、本発明の第１の実施形態に係る医用ロボットシステム１ついて図１から図７を参照しながら説明する。本実施形態の医用ロボットシステム１は、手術支援に用いられるものである。例えば、内視鏡外科手術の支援に用いて好適なものである。
【００２９】
医用ロボットシステム１には、図１に示すように、スレーブユニット１０と、内視鏡ユ
ニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）５０と、表示装置（表示部）６０と、が主に設けられている。
【００３０】
スレーブユニット１０は、図１および図２に示すように、内視鏡外科手術に用いられる鉗子などの術具１４を支持するものであり、操作ユニット３０に入力される操作に従って術具１４の位置および姿勢の少なくとも一方を制御するものである。また、術具１４が鉗子である場合には鉗子を開閉駆動するものである。
【００３１】
本実施形態では、スレーブユニット１０が、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂを有している例に適用して説明する。なお、スレーブユニット１０が有しているスレーブ装置の数は、２つよりも多くてもよいし、少なくてもよい。
【００３２】
本実施形態では、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂがロボットアームである例に適用して説明する。さらに第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂは同じ構成を有し、同種の術具１４を支持するものである例に適用して説明する。
【００３３】
なお、第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂは術具１４の位置および姿勢の少なくとも一方を制御するもの、または、術具１４としての鉗子の開閉駆動できるものであればよく、アーム状の構成を有していなくてもよい。
【００３４】
第１スレーブ装置１０Ａ、および、第２スレーブ装置１０Ｂには、図２に示すように、カートリッジ１１と、シャフト１２と、関節部１３と、が少なくとも設けられている。なお、カートリッジ１１、シャフト１２、および、関節部１３において第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する必要がない場合には、カートリッジ１１、シャフト１２、および、関節部１３と表記する。第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する場合には、それぞれ、カートリッジ１１Ａ、シャフト１２Ａおよび関節部１３Ａと、カートリッジ１１Ｂ、シャフト１２Ｂおよび関節部１３Ｂと表記する。
【００３５】
カートリッジ１１は、シャフト１２、関節部１３、および、術具１４を支持するものである。本実施形態では、カートリッジ１１が立方体状の形状を有している例に適用して説明する。
【００３６】
カートリッジ１１には、シャフト１２、関節部１３、および、術具１４の少なくとも１つを駆動する空気圧アクチュエータなどの駆動源が収納されていてもよい。また、シャフト１２に加わる外力を測定するシャフトセンサ１５、関節部１３に加わる外力を測定する関節センサ１６、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７の少なくとも１つが収納されていてもよい。
【００３７】
なお、シャフトセンサ１５、関節センサ１６および術具センサ１７において第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する必要がない場合には、シャフトセンサ１５、関節センサ１６および術具センサ１７と表記する。第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか区別する場合には、それぞれ、シャフトセンサ１５Ａ、関節センサ１６Ａおよび術具センサ１７Ａと、シャフトセンサ１５Ｂ、関節センサ１６Ｂおよび術具センサ１７Ｂと表記する。
【００３８】
シャフト１２は、カートリッジ１１から延びる円筒状または円柱状に形成された部材である。シャフト１２は、カートリッジ１１に対して自身の中心軸線まわりに回転可能に配
置されている。なお、シャフト１２は、円筒状または円柱状に形成されてもよいし、角柱状に形成されてもよい。
【００３９】
関節部１３は、術具１４を支持するとともに、屈曲することにより術具１４の位置や姿勢を制御するものである。関節部１３は、シャフト１２と術具１４との間に位置するものである。言い換えると、関節部１３の一方の端部は、シャフト１２におけるカートリッジ１１から離れた側の端部と隣接し、他方の端部は術具１４と隣接している。なお、関節部１３の構成としては、屈曲を可能とする公知の構成を用いることができ、具体的な構成を限定するものではない。
【００４０】
内視鏡ユニット２０は、図１に示すように、内視鏡外科手術を行う際に用いられる映像または画像を取得するものである。具体的には、患者の体腔内であって手術の対象である領域の映像または画像を取得するものである。取得した映像または画像の情報は、制御装置５０へ出力される。なお、内視鏡ユニット２０としては、映像または画像の情報を出力できるものであればよく、その構成を限定するものではない。
【００４１】
操作ユニット３０は、スレーブユニット１０の制御に用いられるものである。具体的には、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂを操作して内視鏡外科手術を行う際に用いられるものである。
【００４２】
操作ユニット３０には、ハンド操作部３１およびフット操作部３５が主に設けられている。ハンド操作部３１は、医用ロボットシステム１の操作者（例えば、内視鏡外科手術の術者）が手を用いてスレーブユニット１０の動きを入力する際に用いるものである。
【００４３】
ハンド操作部３１には、操作者の右手に対応する右手用操作部３２と、左手に対応する左手用操作部３３と、が主に設けられている。右手用操作部３２および左手用操作部３３は、操作者から入力された情報を信号に変換して制御部５２へ出力するものである。また、右手用操作部３２および左手用操作部３３は、制御部５２から入力された制御信号に基づいて、操作者に対して力覚を提示するものである。
【００４４】
なお、右手用操作部３２および左手用操作部３３としては、公知の構成および方式のものを用いることができ、構成および方式を限定するものではない。また、ハンド操作部３１は、上述のように右手用操作部３２および左手用操作部３３の両者を有していてもよいし、右手用操作部３２および左手用操作部３３の一方のみを有してもよい。
【００４５】
フット操作部３５は、操作者が足を用いてスレーブユニット１０の動きや機能を操作する際に用いるものである。フット操作部３５には、第１フットスイッチ３６と、第２フットスイッチ３７と、第３フットスイッチ３８とが主に設けられている。第１フットスイッチ３６、第２フットスイッチ３７、第３フットスイッチ３８は、操作者が足で踏むことにより操作されるスイッチである。
【００４６】
例えば、術具１４へ高周波電流の供給および停止や、スレーブユニット１０の制御モードの切り替えなど、を例示することができる。なお、フット操作部３５による操作の種類や内容は、公知の種類や内容であればよく、種類や内容を限定するものではない。またフット操作部３５は、上述のように３つのフットスイッチを有していてもよいし、３つよりも少ないフットスイッチを有していてもよいし、３つよりも多いフットスイッチを有していてもよい。
【００４７】
発音装置４０は、操作者を含む内視鏡外科手術に関与する関係者の少なくとも一部に対して、制御装置５０から入力される制御信号に基づいて音を発するものである。音を発生
させる構成等は、公知の構成等を用いることができ、特に限定するものではない。
【００４８】
制御装置５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【００４９】
制御装置５０は、図１に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部５３、および、出力部５４として機能させるものである。
【００５０】
入力部５１は、外部から信号が入力されるものである。具体的には、入力部５１は、操作ユニット３０と操作内容に関する信号が入力可能に接続され、内視鏡ユニット２０と映像や画像の信号が入力可能に接続されている。
【００５１】
さらに、入力部５１は、シャフト１２に加わる外力を測定するシャフトセンサ１５、関節部１３に加わる外力を測定する関節センサ１６、および、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７と、測定信号が入力可能に接続されている。
【００５２】
なお、シャフトセンサ１５、関節センサ１６、および、術具センサ１７が配置されている位置は、それぞれの測定対象の外力が測定できる位置であればよく、その位置を限定するものではない。また、シャフトセンサ１５、関節センサ１６、および、術具センサ１７により外力を測定する方式は、公知の方式を用いることができ、特に限定するものではない。
【００５３】
制御部５２は、スレーブユニット１０および術具１４の動作や、機能の発揮を制御する信号を生成するものである。制御信号は、操作ユニット３０から入力される操作に関する信号に基づいて生成されるものである。
【００５４】
画像生成部５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。
【００５５】
出力部５４は、制御部５２において生成された制御信号および画像生成部５３において生成された画像情報を出力するものである。出力部５４は、スレーブユニット１０および術具１４と制御信号の出力が可能に接続され、表示装置６０と画像情報が出力可能に接続されている。
【００５６】
表示装置６０は、制御装置５０から出力された画像情報に基づいて、映像や画像を表示するものである。表示装置６０は、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行うものである。表示装置６０としては、映像や画像を表示する公知の方式や構成を用いることができ、方式や構成を限定するものではない。
【００５７】
次に、上記の構成からなる医用ロボットシステム１における制御、具体的には力覚の表示に関する制御について説明する。まず、制御装置５０における演算処理の流れを、図３を参照しながら説明し、その後に表示する内容について説明する。
【００５８】
制御装置５０に電力が供給されると、図３に示すように、制御装置５０は、タイマカウンタが所定時間に達したか否かを判定する処理を行う（Ｓ１１）。本実施形態では、所定時間が２００ｍｓである例に適用して説明する。なお所定時間は、上述のように２００ｍｓであってもよいし、２００ｍｓよりも長くても、短くてもよい。
【００５９】
タイマカウンタが所定時間に達していないと判定された場合（ＮＯの場合）には、制御装置５０は、再びＳ１１の判定処理を行う。
タイマカウンタが所定時間に達したと判定された場合（ＹＥＳの場合）には、制御装置５０は、シャフト１２に働く外力を検出したか否かを判定する処理を行う（Ｓ１２：入力ステップ）。言い換えると、入力部５１にシャフトセンサ１５から力の測定信号であるアーム測定信号が入力しているか否かを判定する処理を行う。
【００６０】
シャフト１２に働く外力を検出したと判定された場合（ＹＥＳの場合）には、制御装置５０は、検知した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１３）。検出した外力は、シャフトセンサ１５により測定された力の大きさである。検出された外力は、シャフトセンサ１５から出力される測定信号に基づいて推定される。
【００６１】
具体的には、測定信号を出力したシャフトセンサ１５が設けられたスレーブ装置に対応するハンド操作部３１に、検出した外力を力覚として提示させる処理を行う。例えば、測定信号を出力したシャフトセンサ１５が、第１スレーブ装置１０Ａのシャフト１２に作用する力を測定するものである場合には、第１スレーブ装置１０Ａの操作に用いられるハンド操作部３１（右手用操作部３２または左手用操作部３３）に、検出した外力を力覚として提示させる処理を行う。
【００６２】
さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、シャフトセンサ１５に作用する力に応じた力覚を操作者に提示する。
【００６３】
Ｓ１３の処理が終了すると、制御装置５０は検知した外力（外力に関する情報）を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ１４：画像生成ステップ、出力ステップ）。具体的には、測定信号を出力したシャフトセンサ１５が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。
【００６４】
Ｓ１４の処理が終了すると、または、Ｓ１２においてシャフト１２に働く外力が検出されない判定がされた場合（ＮＯの場合）には、制御装置５０は、関節部１３に働く外力を検出したか否かを判定する処理を行う（Ｓ１５：入力ステップ）。言い換えると、入力部５１に関節センサ１６から力の測定信号である関節測定信号が入力しているか否かを判定する処理を行う。
【００６５】
関節部１３に働く外力を検出したと判定された場合（ＹＥＳの場合）には、制御装置５０は、検知した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１６）。検出した外力は、関節センサ１６により測定された力の大きさである。検出された外力は、関節センサ１６から出力される測定信号に基づいて推定される。
【００６６】
具体的には、測定信号を出力した関節センサ１６が設けられたスレーブ装置に対応するハンド操作部３１に、検出した外力を力覚として提示させる処理を行う。さらに、入力さ
れた測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、関節センサ１６に作用する力に応じた力覚を操作者に提示する。
【００６７】
Ｓ１６の処理が終了すると、制御装置５０は検知した外力（力に関する情報）を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ１７：画像生成ステップ、出力ステップ）。具体的には、測定信号を出力した関節センサ１６が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。
【００６８】
Ｓ１７の処理が終了すると、または、Ｓ１５において関節部１３に働く外力が検出されない判定がされた場合（ＮＯの場合）には、制御装置５０は、術具１４に働く外力を検出したか否かを判定する処理を行う（Ｓ１８：入力ステップ）。言い換えると、入力部５１に術具センサ１７から力の測定信号である術具測定信号が入力しているか否かを判定する処理を行う。
【００６９】
術具１４に働く外力を検出したと判定された場合（ＹＥＳの場合）には、制御装置５０は、検知した外力を力覚として提示する制御信号を生成する処理を行う（Ｓ１９）。検出した外力は、術具センサ１７により測定された力（具体的には、鉗子が把持する力、または、剥離する力）の大きさである。検出された外力は、術具センサ１７から出力される測定信号に基づいて推定される。
【００７０】
具体的には、測定信号を出力した術具センサ１７が設けられたスレーブ装置に対応するハンド操作部３１に、検出した外力を力覚として提示させる処理を行う。さらに、入力された測定信号に基づいて推定される力の大きさに応じて、提示する力覚の強さを設定する処理を行う。対応するハンド操作部３１は、制御装置５０から出力される制御信号に基づいて、術具センサ１７に作用する力に応じた力覚を操作者に提示する。
【００７１】
Ｓ１９の処理が終了すると、制御装置５０は検知した外力（術具に作用する力に関する情報）を、視覚を用いて把握できる情報として提示する処理を行う（Ｓ２０：画像生成ステップ、出力ステップ）。具体的には、測定信号を出力した術具センサ１７が設けられたスレーブ装置に対応するとともに、入力された測定信号に基づいて推定される力の大きさに応じた映像や画像を表示させる画像情報を生成する処理を行う。画像情報を生成する処理の内容については後述する。生成された画像情報は表示装置６０へ出力される。表示装置６０は入力された画像情報に基づいて映像や画像を表示する。
【００７２】
Ｓ２０の処理が終了すると、制御装置５０はタイマカウンタを０にリセットする処理を行う（Ｓ２１）。リセットの処理が終了すると、制御装置５０はＳ１１に戻り、上述の処理を繰り返し行う。例えば、少なくとも、医用ロボットシステム１による内視鏡外科手術の支援が行われている期間は、上述の処理の繰り返しが行われる。
【００７３】
次に画像生成部５３において生成される画像情報について説明する。具体的には、表示装置６０における表示の態様について説明する。図４（ａ）は、本実施形態の画像生成部５３により生成された画像情報に基づいて、表示装置６０が表示する態様を説明する模式図である。
【００７４】
画像生成部５３は、図４（ａ）に示すように、表示装置６０における表示面に、左右方向の中央である内視鏡画像表示部６１を設定するとともに、内視鏡画像表示部６１の左下
に第１力覚表示部６２と、右上に第２力覚表示部６３とを設定する。
【００７５】
内視鏡画像表示部６１は、第１力覚表示部６２および第２力覚表示部６３よりも広い面積を有する領域である。画像生成部５３は、内視鏡ユニット２０から入力された映像または画像の情報を内視鏡画像表示部６１に表示させる画像情報を生成する。
【００７６】
第１力覚表示部６２および第２力覚表示部６３は、内視鏡画像表示部６１よりも狭い面積を有する領域である。画像生成部５３は、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。
【００７７】
第１力覚表示部６２および第２力覚表示部６３は、枠により他の領域と区画されるものであり、区画された内部にシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づく表示が行われる。本実施形態の第１力覚表示部６２および第２力覚表示部６３は、同じ矩形状に形成された同色の枠を有している。第１力覚表示部６２および第２力覚表示部６３における表示態様については後述する。
【００７８】
本実施形態では、第１力覚表示部６２は、第１スレーブ装置１０Ａに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第２力覚表示部６３は、第２スレーブ装置１０Ｂに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域である例に適用して説明する。
【００７９】
なお、第１力覚表示部６２が第２スレーブ装置１０Ｂに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第２力覚表示部６３が第１スレーブ装置１０Ａに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であってもよい。
【００８０】
なお、本実施形態では、第１力覚表示部６２が表示装置６０における表示面の左下に位置し、第２力覚表示部６３が右上に位置する例に適用して説明するが、図４（ｂ）に示すように、第１力覚表示部６２が表示面の左上に位置し、第２力覚表示部６３が右下に位置してもよいし、図４（ｃ）に示すように、第１力覚表示部６２が表示面の左側中央のやや上に位置し、第２力覚表示部６３が右側中央のやや下に位置してもよい。
【００８１】
また、本実施形態では第１力覚表示部６２および第２力覚表示部６３が、同じ矩形状に形成された同色の枠を有している例に適用して説明したが、第１力覚表示部６２および第２力覚表示部６３が異なる形状に形成された枠を有していてもよい。例えば、図５に示すように、第１力覚表示部６２が矩形状に形成された枠を有し、第２力覚表示部６３が楕円状に形成された枠を有していてもよい。
【００８２】
さらに本実施形態では第１力覚表示部６２および第２力覚表示部６３が、同じ色の枠を有している例に適用して説明したが、第１力覚表示部６２および第２力覚表示部６３が異なる色の枠を有していてもよい。
【００８３】
次に第１力覚表示部６２および第２力覚表示部６３における表示態様について説明する。なお、第１力覚表示部６２および第２力覚表示部６３における表示態様は同じであるため、代表して第１力覚表示部６２における表示態様について説明し、第２力覚表示部６３における表示態様の説明は省略する。また、第１力覚表示部６２および第２力覚表示部６３は、互いに区別が容易になるように第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂの名称が表示されてもよい。
【００８４】
第１力覚表示部６２の表示態様は、図６に示す通りである。つまり、第１力覚表示部６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。
【００８５】
なお、３次元モデルにおける術具１４ｍの形状は、入力部５１を介して入力される術具１４の種類を表す種類情報に基づいて決められる。制御装置５０には、術具１４の種類を表す種類情報と、表示される３次元モデルにおける術具１４ｍの形状と、が対応付けして記憶されている。画像生成部５３は、入力された種類情報に対応付けされた術具１４ｍの形状の情報を取得し、３次元モデルを表示する画像情報を生成する。
【００８６】
なお、入力部５１を介して入力される種類情報は、医用ロボットシステム１のセッティングを行う作業者や、内視鏡外科手術を行う術者などが入力する情報であってもよいし、取付けられた術具１４の種類を検知するセンサから出力される検知信号であってもよい。
【００８７】
３次元モデルにおけるシャフト１２ｍの部分には、シャフトセンサ１５から入力される信号に基づいて、力の大きさ、および、力の向きを示す円錐状の図形１５ｆが表示される。また、３次元モデルにおける関節部１３ｍの部分には、関節センサ１６から入力される信号に基づいて、力の大きさ、および、力の向きを示す円錐状の図形１６ｆが表示される。
【００８８】
本実施形態では、円錐状の図形の底面から頂点までの距離が力の大きさに対応する例に適用して説明する。また、力の大きさに応じて円錐状の図形を表示する色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。さらに、本実施形態では、円錐状の図形の底面から頂点に向かう方向が力の向きを表す例に適用して説明する。
【００８９】
３次元モデルにおける術具１４に隣接する領域、例えば術具１４の先端側に隣接する領域には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す帯状の図形が表示される。
【００９０】
本実施形態では、図７（ａ）に示すように、帯状図形１４ｆの長さが予め定められた基準指標１４ｓよりも長くする剥離表示態様で表示することで、術具１４である鉗子が開く力を表現する。また、図７（ｂ）に示すように、基準指標１４ｓよりも帯状図形１４ｆの長さを短くする把持表示態様で表示することで術具１４が閉じる力を表現する例に適用して説明する。
【００９１】
また、力の大きさに応じて帯状図形１４ｆと基準指標１４ｓの長さの差を変化させ、当該長さの差により力の大きさを表示する。例えば、力が大きくなると当該長さの差を大きく表示し、力が小さくなると当該長さの差が小さく表示される。
【００９２】
または、力の大きさに応じて帯状図形１４ｆの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ１７が力を測定していない場合には、図７（ｃ）に示すように、帯状図形１４ｆは基準指標１４ｓと同じ長さで表示され、かつ、白色で表示される。
【００９３】
上記の構成の制御装置５０によれば、把持力に関する情報を把持表示態様として表示し、剥離力に関する情報を把持表示態様とは異なる態様である剥離表示態様として表示できる。そのため、表示されている情報が、把持力に関する情報なのか、剥離力に関する情報
なのか、把握しやすくなる。
【００９４】
基準指標１４ｓと比較して帯状図形１４ｆの長さを変えて、把持力に関する情報なのか、剥離力に関する情報なのかを表示することにより、情報の視認が行いやすくなる。また、帯状図形１４ｆの長さと、基準指標１４ｓとの差の大きさを把持力の大きさ、または、剥離力の大きさとして表示することにより、把持力の大きさや、剥離力の大きさの視認が行いやすくなる。
【００９５】
術具センサ１７が測定する力の大きさに基づいて長さが変化する帯状図形１４ｆとして表示することにより、基準指標１４ｓと比較が行いやすくなる。そのため、表示されている情報が、把持力に関する情報なのか、剥離力に関する情報なのか、把握しやすくなる。
【００９６】
術具センサ１７が測定する力の大きさに基づいて帯状図形１４ｆの色あるいは色彩を変化させることにより、術具１４における力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。
【００９７】
外力が測定された箇所と関連を付けて当該外力の情報を画像として表示する画像情報を作成し、表示装置６０に画像情報を表示させることができる。言い換えると、表示されている外力の情報が、どの箇所で測定されたか識別可能な態様で表示することができる。
【００９８】
また、内視鏡画像表示部６１とは異なる第１力覚表示部６２と第２力覚表示部６３に外力の情報を画像として表示するため、内視鏡画像表示部６１に重ねて外力の情報を表示する場合と比較して、表示されている外力の情報を把握しやすくなる。また、内視鏡画像表示部６１に表示されるシャフト１２や、関節部１３や、術具１４に働く力の視認を妨げにくくなる。
【００９９】
外力の値の大きさを色、形状、及び面積の少なくとも１つを用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
【０１００】
関節部１３に作用する力と、第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂにおける関節部１３以外の箇所であるシャフト１２に作用する外力に関する情報を表示することにより、１箇所（例えば関節部１３のみ）に作用する外力などを表示する場合と比較して、操作している第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂの状況を把握しやすくなる。
【０１０１】
例えば、第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂとが接触した場合には、第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂとにおける関節部１３以外の箇所（例えばシャフト１２）に接触による外力が作用する。この外力に関する情報が表示されるため、操作者は第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂとが接触したことを把握することができる。
【０１０２】
術具１４に作用する力に関する情報として、鉗子が開く力（剥離する力）の情報と、鉗子が閉じる力（把持する力）の情報を表示することにより、術具１４の操作状況を把握しやすくなる。
【０１０３】
第１スレーブ装置１０Ａと第２スレーブ装置１０Ｂに把持されている術具１４の形状を表す画像を表示することにより、表示されている外力の情報が、第１スレーブ装置１０Ａで測定された外力の情報か、第２スレーブ装置１０Ｂで測定された外力の情報かを把握しやすくなる。
【０１０４】
〔第１の実施形態の第１変形例〕
次に、本発明の第１の実施形態の第１変形例に係る医用ロボットシステムについて図８および図９を参照しながら説明する。本変形例の医用ロボットシステムの基本構成は、第１の実施形態と同様であるが、第１の実施形態とは、内視鏡ユニットが設けられていない点が異なっている。よって、本変形例においては、図８および図９を用いて力覚の表示に関連するものについて説明し、その他の説明を省略する。
【０１０５】
本変形例の医用ロボットシステム１０１には、図８に示すように、スレーブユニット１０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）１５０と、表示装置６０と、が主に設けられている。
【０１０６】
制御装置１５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０１０７】
制御装置１５０は、図８に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部１５３、および、出力部５４として機能させるものである。
【０１０８】
画像生成部１５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて画像情報を生成するものである。第１の実施形態の画像生成部５３とは、内視鏡ユニット２０から入力される映像や画像の信号に基づく画像情報を生成しない点が異なる。
【０１０９】
次に、上記の構成からなる医用ロボットシステム１０１における制御について説明する。なお、制御装置１５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。
【０１１０】
次に画像生成部１５３において生成される画像情報について説明する。具体的には、表示装置６０における表示の態様について説明する。図９は、本変形例の画像生成部１５３により生成された画像信号に基づいて、表示装置６０が表示する態様を説明する模式図である。
【０１１１】
画像生成部１５３は、図９に示すように、表示装置６０における表示面を左右に分割した左側に第１力覚表示部１６２を設定し、右側に第２力覚表示部１６３を設定する。言い換えると、第１の実施形態と比較すると、表示装置６０の表示面に内視鏡画像表示部６１が設定されていない点が異なる。
【０１１２】
なお、本変形例では、表示面を左右に分割する例に適用して説明したが、上下に分割してもよく、分割する態様を限定するものではない。また、本変形例では第１力覚表示部１６２の表示面積と、第２力覚表示部１６３の表示面積が等しい例に適用して説明するが、第１力覚表示部１６２の表示面積が第２力覚表示部１６３の表示面積よりも小さくてもよいし、大きくてもよい。
【０１１３】
さらに、本変形例では第１力覚表示部１６２および第２力覚表示部１６３が共に同じ矩形状の枠で囲われている例に適用して説明するが、第１力覚表示部１６２および第２力覚
表示部１６３の枠が異なる形状であってもよいし、矩形状以外の形状であってもよく、特に限定するものではない。また、第１力覚表示部１６２および第２力覚表示部１６３の枠の色が同じ色であってもよいし、異なる色であってもよい。
【０１１４】
本変形例の第１力覚表示部１６２および第２力覚表示部１６３における表示態様は、第１の実施形態の第１力覚表示部６２および第２力覚表示部６３における表示態様と同様であるため、その説明を省略する。
【０１１５】
上記の制御装置１５０によれば、内視鏡ユニット２０が必須の構成ではないため、第１の実施形態の医用ロボットシステム１と比較して、内視鏡ユニット２０を用いない手術にも医用ロボットシステム１０１を用いやすくなる。
【０１１６】
〔第１の実施形態の第２変形例〕
次に、本発明の第１の実施形態の第２変形例に係る医用ロボットシステムについて図１０および図１１を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第１の実施形態と同様であるが、第１の実施形態とは、設けられている表示装置の数が異なっている。よって、本変形例においては、図１０および図１１を用いて力覚の表示に関連するものについて説明し、その他の説明を省略する。
【０１１７】
本変形例の医用ロボットシステム２０１には、図１０に示すように、スレーブユニット１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）２５０と、第１表示装置（表示部）２６０Ａおよび第２表示装置（表示部）２６０Ｂと、が主に設けられている。
【０１１８】
制御装置２５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、第１表示装置２６０Ａおよび第２表示装置２６０Ｂに表示される内容や表示される態様を制御するものである。
【０１１９】
制御装置２５０は、図１０に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部２５３、および、出力部５４として機能させるものである。
【０１２０】
制御装置２５０は、スレーブユニット１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０１２１】
画像生成部２５３は、第１表示装置２６０Ａおよび第２表示装置２６０Ｂに表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号に基づいて第１表示装置２６０Ａへ出力する画像情報を生成し、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、第２表示装置２６０Ｂへ出力する画像情報を生成するものである。画像情報の内容については後述する。
【０１２２】
第１表示装置２６０Ａおよび第２表示装置２６０Ｂは、制御装置２５０から出力された画像情報に基づいて、映像や画像を表示するものである。第１表示装置２６０Ａおよび第２表示装置２６０Ｂは、内視鏡外科手術の術者を含めた手術の関係者に対して表示を行うものである。第１表示装置２６０Ａおよび第２表示装置２６０Ｂとしては、映像や画像を表示する公知の方式や構成を用いることができ、方式や構成を限定するものではない。
【０１２３】
なお第１表示装置２６０Ａおよび第２表示装置２６０Ｂは、同じ大きさの表示面を有する者であってもよいし、一方が他方よりも大きな表示面を有する者であってもよい。また、映像や画像を表示する方式や構成が同じであってもよいし、異なっていてもよい。
【０１２４】
次に、上記の構成からなる医用ロボットシステム２０１における制御について説明する。なお、制御装置２５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。
【０１２５】
次に画像生成部２５３において生成される画像情報について説明する。具体的には、第１表示装置２６０Ａおよび第２表示装置２６０Ｂにおける表示の態様について説明する。図１１は、本変形例の画像生成部２５３により生成された画像信号に基づいて、第１表示装置２６０Ａおよび第２表示装置２６０Ｂが表示する態様を説明する模式図である。
【０１２６】
画像生成部２５３は、図１０（ａ）に示すように、第１表示装置２６０Ａにおける表示面に内視鏡画像表示部２６１を設定する。また、第２表示装置２６０Ｂを左右に分割した左側に第１力覚表示部２６２を設定し、右側に第２力覚表示部２６３を設定する。
【０１２７】
なお本変形例では、第１表示装置２６０Ａに内視鏡画像表示部２６１を設定し、第２表示装置２６０Ｂに第１力覚表示部２６２および第２力覚表示部２６３を設定する例に適用して説明するが、第１表示装置２６０Ａに第１力覚表示部２６２および第２力覚表示部２６３を設定し、第２表示装置２６０Ｂに内視鏡画像表示部２６１を設定してもよい。
【０１２８】
上記の制御装置２５０によれば、内視鏡画像表示部２６１が設定される表示装置と、第１力覚表示部２６２および第２力覚表示部２６３が設定される表示装置とが異なるため、内視鏡画像の視認性や、力覚表示の視認性を向上させやすい。
【０１２９】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る医用ロボットシステムおよび力覚表示装置ついて図１２から図１５を参照しながら説明する。本実施形態の医用ロボットシステムおよび力覚表示装置の基本構成は、第１の実施形態と同様であるが、第１の実施形態とは、スレーブユニットの構成および力覚表示の態様が異なっている。よって、本実施形態においては、図１２から図１５を用いてスレーブユニットの構成および力覚表示の態様について説明し、その他の説明を省略する。
【０１３０】
本実施形態の医用ロボットシステム３０１には、図１２に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）３５０と、表示装置６０と、が主に設けられている。
【０１３１】
スレーブユニット３１０は、第１の実施形態のスレーブユニット１０と同様に、内視鏡外科手術に用いられる鉗子などの術具１４を支持するものであり、操作ユニット３０に入力される操作に従って術具１４の位置および姿勢の少なくとも一方を制御するものである。また、術具１４が鉗子である場合には鉗子を開閉駆動するものである。
【０１３２】
本実施形態では、スレーブユニット３１０が、第１スレーブ装置１０Ａと、および、第２スレーブ装置１０Ｂと、第３スレーブ装置１０Ｃと、を有している例に適用して説明する。
【０１３３】
本実施形態では、第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃがロボットアームである例に適用して説明する。さらに第３スレーブ装
置１０Ｃが、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同じ構成を有し、同種の術具１４を支持するものである例に適用して説明する。
【０１３４】
なお、第３スレーブ装置１０Ｃは、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同様に、術具１４の位置および姿勢の少なくとも一方を制御するもの、または、術具１４としての鉗子の開閉駆動できるものであればよく、アーム状の構成を有していなくてもよい。
【０１３５】
第３スレーブ装置１０Ｃには、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同様に、カートリッジ１１と、シャフト１２と、関節部１３と、が少なくとも設けられている（図２参照。）。なお、カートリッジ１１、シャフト１２、および、関節部１３において第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのいずれかに設けられたものか区別する必要がない場合には、カートリッジ１１、シャフト１２、および、関節部１３と表記する。
【０１３６】
第１スレーブ装置１０Ａに設けられたものか、第２スレーブ装置１０Ｂに設けられたものか、第３スレーブ装置１０Ｃに設けられたものか区別する場合には、それぞれ、カートリッジ１１Ａ、シャフト１２Ａおよび関節部１３Ａと、カートリッジ１１Ｂ、シャフト１２Ｂおよび関節部１３Ｂと、カートリッジ１１Ｃ、シャフト１２Ｃおよび関節部１３Ｃと表記する。
【０１３７】
さらに図１３に示すように、第３スレーブ装置１０Ｃには、第１スレーブ装置１０Ａおよび第２スレーブ装置１０Ｂと同様に、シャフト１２に加わる外力を測定するシャフトセンサ１５、関節部１３に加わる外力を測定する関節センサ１６、術具１４である鉗子により外部へ加えられる開閉の力を測定する術具センサ１７が設けられている。
【０１３８】
なお、シャフトセンサ１５、関節センサ１６および術具センサ１７において第３スレーブ装置１０Ｃに設けられたものを区別する場合には、シャフトセンサ１５Ｃ、関節センサ１６Ｃおよび術具センサ１７Ｃと表記する。
【０１３９】
制御装置３５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０１４０】
制御装置３５０は、図１２に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部３５３、および、出力部５４として機能させるものである。
【０１４１】
画像生成部３５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。
【０１４２】
次に、上記の構成からなる医用ロボットシステム３０１における制御について説明する。なお、制御装置３５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。
【０１４３】
次に画像生成部３５３において生成される画像情報について説明する。具体的には、表
示装置６０における表示の態様について説明する。図１４は、本変形例の画像生成部３５３により生成された画像信号に基づいて、表示装置６０が表示する態様を説明する模式図である。
【０１４４】
画像生成部３５３は、図１４に示すように、表示装置６０における表示面に、左右方向の左側に内視鏡画像表示部３６１を設定するとともに、右側に力覚表示部３６５を設定する。力覚表示部３６５の内部には、左側から右側に向かって順に第１力覚表示部３６２、第２力覚表示部３６３、および、第３力覚表示部３６４を設定する。
【０１４５】
内視鏡画像表示部３６１は、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４よりも広い面積を有する領域である。画像生成部３５３は、内視鏡ユニット２０から入力された映像または画像の情報を内視鏡画像表示部３６１に表示させる画像情報を生成する。
【０１４６】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４は、力覚表示部３６５の内部に設定される領域である。また、内視鏡画像表示部３６１よりも狭い面積を有する領域である。画像生成部３５３は、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。
【０１４７】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４は、枠により他の領域と区画されるものであり、区画された内部にシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づく表示が行われる。本実施形態の第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４は、同じ矩形状に形成された枠を有している。また、第１力覚表示部３６２および第２力覚表示部３６３は同色の枠を有し、第３力覚表示部３６４は第１力覚表示部３６２および第２力覚表示部３６３と異なる色の枠を有している例に適用して説明する。第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様については後述する。
【０１４８】
本実施形態では、第１力覚表示部３６２は、第１スレーブ装置１０Ａに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第２力覚表示部３６３は、第２スレーブ装置１０Ｂに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域であり、第３力覚表示部３６４は、第３スレーブ装置１０Ｃに対応するシャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて表示が行われる領域である例に適用して説明する。
【０１４９】
次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。
【０１５０】
本実施形態では第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の区別を容易にするために、第１力覚表示部３６２にＬｅｆｔ  Ａｒｍ、第２力覚表示部３６３にＲｉｇｈｔ  Ａｒｍ、第３力覚表示部３６４にＴｈｉｒｄ  Ａｒｍとの名称が表示される例に適用して説明する。
【０１５１】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図１５に示す通りである。第１力覚表示部３６２には、第１スレーブ装置１０Ａのシ
ャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。
【０１５２】
第２力覚表示部３６３および第３力覚表示部３６４にも同様に、それぞれ第２スレーブ装置１０Ｂおよび第３スレーブ装置１０Ｃのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。
【０１５３】
なお、３次元モデルにおける術具１４ｍの形状は、入力部５１を介して入力される術具１４の種類を表す種類情報に基づいて決められる。制御装置３５０には、術具１４の種類を表す種類情報と、表示される３次元モデルにおける術具１４ｍの形状と、が対応付けして記憶されている。画像生成部３５３は、入力された種類情報に対応付けされた術具１４ｍの形状の情報を取得し、３次元モデルを表示する画像情報を生成する。
【０１５４】
なお、入力部５１を介して入力される種類情報は、医用ロボットシステム３０１のセッティングを行う作業者や、内視鏡外科手術を行う術者などが入力する情報であってもよいし、取付けられた術具１４の種類を検知するセンサから出力される検知信号であってもよい。
【０１５５】
３次元モデルにおけるシャフト１２ｍに隣接する位置には、シャフトセンサ１５から入力される信号に基づいて力の大きさを表す棒グラフ３１５ｆが表示される。本実施形態では、棒グラフ３１５ｆを表示する位置にＦｏｒｃｅ（Ｓｈａｆｔ）と表示され、かつ、棒グラフ３１５ｆの基準線（ｂａｓｅ）が表示される例に適用して説明する。
【０１５６】
また、３次元モデルにおける関節部１３ｍに隣接する位置には、関節センサ１６から入力される信号に基づいて力の大きさを表す棒グラフ３１６ｆが表示される。本実施形態では、棒グラフ３１６ｆを表示する位置にＦｏｒｃｅ（Ｗｒｉｓｔ）と表示され、かつ、棒グラフ３１６ｆの基準線（ｂａｓｅ）が表示される例に適用して説明する。
【０１５７】
本実施形態では、棒グラフ３１５ｆおよび棒グラフ３１６ｆが横方向へ延びるグラフであって、棒グラフ３１５ｆおよび棒グラフ３１６ｆの長さが力の大きさに対応する例に適用して説明する。また、力の大きさに応じて棒グラフ３１５ｆおよび棒グラフ３１６ｆの色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。
【０１５８】
３次元モデルにおける術具１４に隣接する位置には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状の図形３１４ｆが表示される。
【０１５９】
本実施形態では、半円形の枠の中に扇状図形３１４ｆが表示される。半円形の枠は、水平方向に直線状に延びる枠と、上方向に凸な円弧状の枠とから構成されている。また、水平方向に延びる枠の中央から上方へ延びる基準線（ｂａｓｅ）が設けられている。
【０１６０】
本実施形態では、術具１４が閉じる力は、基準線（ｂａｓｅ）から左側に扇状図形３１４ｆを表示する把持表示態様で表現される。また、術具１４である鉗子が開く力は、基準線（ｂａｓｅ）から右側に扇状図形３１４ｆを表示する剥離表示態様で表現される。なお、術具１４が閉じる力は、基準線（ｂａｓｅ）から右側に扇状図形３１４ｆを表示して表現してもよいし、術具１４である鉗子が開く力は、基準線（ｂａｓｅ）から左側に扇状図形３１４ｆを表示して表現してもよい。
【０１６１】
力の大きさは、扇状図形３１４ｆの面積により表現される。言い換えると、基準線（ｂａｓｅ）からの開き角度の大きさにより表現される。例えば、力が大きくなると扇状図形３１４ｆの面積が大きくなり、力が小さくなると扇状図形３１４ｆの面積が小さくなる。
【０１６２】
または、力の大きさに応じて扇状図形３１４ｆの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ１７が力を測定していない場合には、半円形の枠および基準線（ｂａｓｅ）のみが表示され、扇状図形３１４ｆは表示されない。
【０１６３】
上記の制御装置３５０によれば、第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのそれぞれに対応して設けられた第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の内側に、当該スレーブ装置で測定された外力を表示することにより、複数のスレーブ装置が設けられている場合であっても、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。
【０１６４】
第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのそれぞれに対応して第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の形状、および、少なくとも一部の色彩を異ならせることにより、表示されている外力の情報が、どのスレーブ装置で測定された外力の情報か把握しやすくなる。
【０１６５】
第１スレーブ装置１０Ａ、第２スレーブ装置１０Ｂ、および、第３スレーブ装置１０Ｃのそれぞれに把持されている術具１４の形状を表す画像を、対応する第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４に表示することにより、表示されている外力の情報が、どの術具１４を把持しているスレーブ装置で測定された外力の情報か把握しやすくなる。
【０１６６】
〔第２の実施形態の第１変形例〕
次に、本発明の第２の実施形態の第１変形例に係る医用ロボットシステムについて図１６および図１７を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図１６および図１７を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
【０１６７】
本実施形態の医用ロボットシステム４０１には、図１６に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）４５０と、表示装置６０と、が主に設けられている。
【０１６８】
制御装置４５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０１６９】
制御装置４５０は、図１６に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部４５３、および、出力部５４として機能させるものである。
【０１７０】
画像生成部４５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、
および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。
【０１７１】
次に、上記の構成からなる医用ロボットシステム４０１における制御について説明する。なお、制御装置４５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。
【０１７２】
次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。
【０１７３】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図１７に示す通りである。第１力覚表示部３６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。
【０１７４】
第２力覚表示部３６３および第３力覚表示部３６４にも同様に、それぞれ第２スレーブ装置１０Ｂおよび第３スレーブ装置１０Ｃのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。
【０１７５】
３次元モデルにおけるシャフト１２ｍには、シャフトセンサ１５から入力される信号に基づいて力の大きさ、および、力の方向を表す先端が円錐形状を有する円柱グラフ４１５ｆが表示される。
【０１７６】
また、３次元モデルにおける関節部１３ｍには、関節センサ１６から入力される信号に基づいて力の大きさ、および、力の方向を表す先端が円錐形状を有する円柱グラフ４１６ｆが表示される。
【０１７７】
本実施形態では、円柱グラフ４１５ｆおよび円柱グラフ４１６ｆの長さが力の大きさに対応し、円柱グラフ４１５ｆおよび円柱グラフ４１６ｆの延びる方向が力の方向に対応する例に適用して説明する。また、力の大きさに応じて円柱グラフ４１５ｆおよび円柱グラフ４１６ｆの色が変化してもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化してもよい。
【０１７８】
３次元モデルにおける術具１４に隣接する位置には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状の図形４１４ｆが表示される。
【０１７９】
本実施形態では、術具１４が閉じる力は、１つの扇状図形４１４ｆを表示する把持表示態様で表現される。また、術具１４である鉗子が開く力は、２つに分裂した扇状図形４１４ｆを表示する剥離表示態様で表現される。
【０１８０】
さらに、１つの扇状図形４１４ｆを表示する場合には基準線を含んで扇状図形４１４ｆを表示し、２つの場合には、基準線を間に挟んで間隔をあけて扇状図形４１４ｆを表示してもよい。
【０１８１】
力の大きさは、扇状図形４１４ｆの面積により表現される。例えば、力が大きくなると扇状図形４１４ｆの面積が大きくなり、力が小さくなると扇状図形４１４ｆの面積が小さくなる。
【０１８２】
または、力の大きさに応じて扇状図形４１４ｆの色を変化させてもよい。例えば、力が大きくなるに伴い、緑、黄および赤に変化する。術具センサ１７が力を測定していない場合には、扇状図形４１４ｆは表示されない。
【０１８３】
上記の制御装置４５０によれば、扇状図形４１４ｆを１つにするか２つにするかにより、把持力に関する情報なのか、剥離力に関する情報なのかを表示され、情報の視認が行いやすくなる。また、扇状図形４１４ｆの面積が把持力の大きさ、または、剥離力の大きさとして表示することにより、把持力の大きさや、剥離力の大きさの視認が行いやすい。
【０１８４】
さらに、１つの扇状図形４１４ｆを表示する場合には基準線を含んで扇状図形４１４ｆを表示し、２つの場合には、基準線を間に挟んで間隔をあけて扇状図形４１４ｆを表示することにより、更に、情報の視認が行いやすくなる。
【０１８５】
〔第２の実施形態の第２変形例〕
次に、本発明の第２の実施形態の第２変形例に係る医用ロボットシステムについて図１８および図１９を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図１８および図１９を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
【０１８６】
本実施形態の医用ロボットシステム５０１には、図１８に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）５５０と、表示装置６０と、が主に設けられている。
【０１８７】
制御装置５５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０１８８】
制御装置５５０は、図１８に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部５５３、および、出力部５４として機能させるものである。
【０１８９】
画像生成部５５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。
【０１９０】
次に、上記の構成からなる医用ロボットシステム５０１における制御について説明する。なお、制御装置５５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。
【０１９１】
次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４におけ
る表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。
【０１９２】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図１９に示す通りである。第１力覚表示部３６２には、第１スレーブ装置１０Ａのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。つまり、３次元モデルのシャフト１２ｍ、３次元モデルの関節部１３ｍおよび３次元モデルの術具１４ｍが表示される。３次元モデルは、実際のシャフト１２の姿勢や、関節部１３の屈曲状態が反映して表示されるものである。
【０１９３】
第２力覚表示部３６３および第３力覚表示部３６４にも同様に、それぞれ第２スレーブ装置１０Ｂおよび第３スレーブ装置１０Ｃのシャフト１２、関節部１３および術具１４の３次元モデルが表示される。
【０１９４】
３次元モデルにおけるシャフト１２ｍには、シャフトセンサ１５から入力される信号に基づいて力の大きさ、および、力の方向を表す円環状のグラフ５１５ｆが表示される。
【０１９５】
また、３次元モデルにおける関節部１３ｍには、関節センサ１６から入力される信号に基づいて力の大きさ、および、力の方向を表す円環状のグラフ５１６ｆが表示される。本実施形態では、円環状グラフ５１５ｆおよび円環状のグラフ５１６ｆは、一部が切り欠いた形状である例に適用して説明するが、切欠きがない形状であってもよい。
【０１９６】
また本実施形態では、円環状グラフ５１５ｆおよび円環状のグラフ５１６ｆに表示される色が力の大きさに対応するとともに、力が働く方向に対応する例に適用して説明する。具体的には、円環状グラフ５１５ｆおよび円環状のグラフ５１６ｆのうち、力が働く方向に対応する領域の色を変化させることにより、力が働く方向が表示される例に適用して説明する。さらに、力が大きくなるに伴い、力が働く方向に対応する領域の色を緑、黄および赤に変化する例に適用して説明する。
【０１９７】
３次元モデルにおける術具１４に隣接する位置には、術具センサ１７から入力される信号に基づいて、術具１４である鉗子が閉じる力の大きさ、または、開く力の大きさを示す扇状の図形５１４ｆが表示される。
【０１９８】
本実施形態では、術具１４が閉じる力は、扇状図形５１４ｆを赤色で表示する把持表示態様で表現される。また、術具１４である鉗子が開く力は、扇状図形５１４ｆを青色で表示する剥離表示態様で表現される。
【０１９９】
力の大きさは、扇状図形５１４ｆの面積により表現される。例えば、力が大きくなると扇状図形５１４ｆの面積が大きくなり、力が小さくなると扇状図形５１４ｆの面積が小さくなる。
【０２００】
または、力の大きさに応じて扇状図形５１４ｆの色の濃淡を変化させてもよい。例えば、力が大きくなるに伴い濃い色に変化し、力が小さくなるに伴い薄い色に変化する例に適用して説明する。術具センサ１７が力を測定していない場合には、扇状図形５１４ｆは表示されない。
【０２０１】
上記の制御装置５５０によれば、扇状図形５１４ｆの色あるいは色彩を異ならせて表示を行うことにより、情報の視認が行いやすくなる。例えば、把持表示態様や、剥離表示態
様により表示されている扇状図形５１４ｆを、表示される色あるいは色彩により確認することが可能となる。
【０２０２】
扇状図形５１４ｆにおける力の大きさに基づいて表示の色あるいは色彩の濃淡を変化させることにより、扇状図形５１４ｆにおける力の大きさを把握しやすくなる。そのため、表示されている把持力や、剥離力の大きさを把握しやすくなる。
【０２０３】
なお、扇状図形５１４ｆにおける色あるいは色彩を、術具１４の種類に基づいて定めてもよい。このようにすることで、情報の視認が行いやすくなる。術具１４の種類は、第２の実施形態と同様に、入力部５１を介して入力される術具１４の種類を表す種類情報を用いることができる。
【０２０４】
〔第２の実施形態の第３変形例〕
次に、本発明の第２の実施形態の第３変形例に係る医用ロボットシステムについて図２０および図２１を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図２０および図２１を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
【０２０５】
本実施形態の医用ロボットシステム６０１には、図２０に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）６５０と、表示装置６０と、が主に設けられている。
【０２０６】
制御装置６５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０２０７】
制御装置６５０は、図２０に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部６５３、および、出力部５４として機能させるものである。
【０２０８】
画像生成部６５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。
【０２０９】
次に、上記の構成からなる医用ロボットシステム６０１における制御について説明する。なお、制御装置６５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。
【０２１０】
次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。
【０２１１】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様
は、図２１に示す通りである。第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の下段には、シャフトセンサ１５から入力される信号に基づいて力の大きさを表す円図形６１５ｆが表示される。本実施形態では、円図形６１５ｆを表示する位置にＦｏｒｃｅ（Ｓｈａｆｔ）と表示される例に適用して説明する。
【０２１２】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の中段には、関節センサ１６から入力される信号に基づいて力の大きさを表す円図形６１６ｆが表示される。本実施形態では、円図形６１６ｆを表示する位置にＦｏｒｃｅ（Ｗｒｉｓｔ）と表示される例に適用して説明する。
【０２１３】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の上段には、術具センサ１７から入力される信号に基づいて力の大きさを表す円図形６１４ｆが表示される。本実施形態では、円図形６１４ｆを表示する位置にＧｒｉｐと表示される例に適用して説明する。
【０２１４】
本実施形態では、力の大きさに応じて円図形６１５ｆ、円図形６１６ｆおよび円図形６１４ｆの色が変化する。例えば、力が大きくなるに伴い、緑、黄および赤（または橙）に変化する。
【０２１５】
上記の制御装置６５０によれば、外力の値の大きさを、色を用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
【０２１６】
〔第２の実施形態の第４変形例〕
次に、本発明の第２の実施形態の第４変形例に係る医用ロボットシステムについて図２２および図２３を参照しながら説明する。本変形例の医用ロボットシステムおよび力覚表示装置の基本構成は、第２の実施形態と同様であるが、第２の実施形態とは、力覚表示部における表示の態様が異なっている。よって、本変形例においては、図２２および図２３を用いて力覚表示部における表示の態様について説明し、その他の説明を省略する。
【０２１７】
本実施形態の医用ロボットシステム７０１には、図２２に示すように、スレーブユニット３１０と、内視鏡ユニット２０と、操作ユニット３０と、発音装置４０と、制御装置（力覚表示装置）７５０と、表示装置６０と、が主に設けられている。
【０２１８】
制御装置７５０は、スレーブユニット３１０の動作等や、発音装置４０における発音を制御するものであり、表示装置６０に表示される内容や表示される態様を制御するものである。
【０２１９】
制御装置７５０は、図２２に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するコンピュータ等の情報処理装置である。上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも入力部５１、制御部５２、画像生成部７５３、および、出力部５４として機能させるものである。
【０２２０】
画像生成部７５３は、表示装置６０に表示される映像や画像の情報である画像情報を生成するものである。具体的には、内視鏡ユニット２０から入力される映像や画像の信号、および、シャフトセンサ１５、関節センサ１６、および、術具センサ１７から入力される信号に基づいて、画像情報を生成するものである。画像情報の内容については後述する。
【０２２１】
次に、上記の構成からなる医用ロボットシステム７０１における制御について説明する
。なお、制御装置７５０における力覚の表示に関する制御については第１の実施形態と同様であるため、その説明を省略する。また、表示装置６０における表示の態様は第２の実施形態と同様であるため、その説明を省略する。
【０２２２】
次に第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様について説明する。なお、第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４における表示態様は同じであるため、代表して第１力覚表示部３６２における表示態様について説明し、第２力覚表示部３６３および第３力覚表示部３６４における表示態様の説明は省略する。
【０２２３】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の表示態様は、図２３に示す通りである。第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の下段には、シャフトセンサ１５から入力される信号に基づいて力の大きさを表す円グラフ７１５ｆが表示される。本実施形態では、円グラフ７１５ｆを表示する位置にＦｏｒｃｅ（Ｓｈａｆｔ）と表示される例に適用して説明する。
【０２２４】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の中段には、関節センサ１６から入力される信号に基づいて力の大きさを表す円グラフ７１６ｆが表示される。本実施形態では、円グラフ７１６ｆを表示する位置にＦｏｒｃｅ（Ｗｒｉｓｔ）と表示される例に適用して説明する。
【０２２５】
第１力覚表示部３６２、第２力覚表示部３６３および第３力覚表示部３６４の上段には、術具センサ１７から入力される信号に基づいて力の大きさを表す円グラフ７１４ｆが表示される。本実施形態では、円グラフ７１４ｆを表示する位置にＧｒｉｐと表示される例に適用して説明する。
【０２２６】
本実施形態では、力の大きさに応じて円グラフ７１５ｆ、円グラフ７１６ｆおよび円グラフ７１４ｆの面積が変化すると共に色が変化する。例えば、力が大きくなるに伴い、円グラフの面積が大きくなると共に、緑、黄および赤（または橙）に変化する。
【０２２７】
上記の制御装置７５０によれば、外力の値の大きさを色、形状、及び面積を用いて表現することにより、数値で外力の値の大きさを表現する場合と比較して、外力の値の大きさを直感的に把握しやすくなる。
【０２２８】
なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、本発明を上記の実施形態や変形例に適用したものに限られることなく、これらの実施形態や変形例を適宜組み合わせた実施形態に適用してもよく、特に限定するものではない。
【符号の説明】
【０２２９】
１，１０１，２０１，３０１，４０１，５０１，６０１，７０１…医用ロボットシステム、  １４…術具、  １４ｓ…基準指標、  ５０，１５０，２５０，３５０，４５０，５５０，６５０，７５０…制御装置（力覚表示装置）、  ５１…入力部、  ５３，１５３，２５３，３５３，４５３，５５３，６５３，７５３…画像生成部、  ５４…出力部、  ６０…表示装置（表示部）、  ２６０Ａ…第１表示装置（表示部）、  ２６０Ｂ…第２表示装置（表示部）、  Ｓ１２，Ｓ１５，Ｓ１８…入力ステップ、  Ｓ１４，Ｓ１７，Ｓ２０…画像生成ステップ、出力ステップ
【図１】
2020146374.tif 000003
【図２】
2020146374.tif 000004
【図３】
2020146374.tif 000005
【図４】
2020146374.tif 000006
【図５】
2020146374.tif 000007
【図６】
2020146374.tif 000008
【図７】
2020146374.tif 000009
【図８】
2020146374.tif 000010
【図９】
2020146374.tif 000011
【図１０】
2020146374.tif 000012
【図１１】
2020146374.tif 000013
【図１２】
2020146374.tif 000014
【図１３】
2020146374.tif 000015
【図１４】
2020146374.tif 000016
【図１５】
2020146374.tif 000017
【図１６】
2020146374.tif 000018
【図１７】
2020146374.tif 000019
【図１８】
2020146374.tif 000020
【図１９】
2020146374.tif 000021
【図２０】
2020146374.tif 000022
【図２１】
2020146374.tif 000023
【図２２】
2020146374.tif 000024
【図２３】
2020146374.tif 000025