(57)【要約】【課題】医療ミスをできるだけ無くし、患者が安心して治療を受けられるようにする等の安全性の高い医療用ロボット技術を提供すること。【解決手段】歯科補助ロボットシステム１は、患者の治療部位を少なくとも含む治療対象領域を撮影可能なカメラ５と、カメラ５により撮影された画像を記憶するデータベース４０と、カメラ５により現在撮影されている患者の治療対象領域の現在画像を表示するための第一表示部１１と、過去に撮影された、同一患者の過去画像をデータベース４０から取得し現在画像と対比して表示するための第二表示部１２とを含む。これにより、医師は、思い込みや曖昧な記憶に頼らずに正確で客観的な経過観察に基づく診断や治療を行うことができる。【選択図】図１
2019213706.tif 000002
【特許請求の範囲】
【請求項１】
患者の治療部位を少なくとも含む治療対象領域を撮影可能な撮影手段と、
前記撮影手段により撮影された画像を記憶するデータベースと、
前記撮影手段により現在撮影された、患者の前記治療対象領域の現在画像を表示するための第一の表示手段と、
前記撮影手段により過去に撮影された、同一患者の前記治療対象領域の過去画像を前記データベースから取得し前記第一の表示手段に対比して表示するための第二の表示手段と
を含む、医療用ロボット。
【請求項２】
前記治療対象領域と前記撮影手段との間の相対的な撮影方向を検出可能な撮影方向検出手段を更に含み、
前記第二の表示手段には、前記撮影方向検出手段により検出された前記現在画像の撮影方向と同一方向で撮影された過去画像が、当該現在画像に対比して表示される、請求項１に記載の医療用ロボット。
【請求項３】
前記撮影手段により多角的に撮影された複数の画像に基づいて三次元画像モデルを構築する三次元画像モデル化手段を更に含み、
前記三次元画像モデル化手段が、同一患者の前記治療対象領域を撮影した複数の過去画像に基づいて三次元過去画像モデルを構築し、
前記第二の表示手段には、前記撮影方向検出手段により検出された前記現在画像の撮影方向と同一方向から見た画像が前記三次元過去画像モデルから再現され当該現在画像に対比して表示される、請求項２に記載の医療用ロボット。
【請求項４】
前記三次元画像モデル化手段が、多角的に撮影された複数の画像の中で異物と判断した部位データを除去するフィルタリング処理を行うとともに、除去された部位データを他の複数の画像の対応部位データで補完する補完処理を行う、請求項３に記載の医療用ロボット。
【請求項５】
患者のバイタル情報を取得可能なバイタルセンサを更に含み、
前記第一の表示手段には、前記撮影手段による現在画像の撮影と同時刻に前記バイタルセンサにより取得されたバイタル情報が、当該撮影された現在画像とともに同時に表示される、請求項１〜４の何れか１項に記載の医療用ロボット。
【請求項６】
歯科又は口腔外科の治療の用に供される、請求項１〜５の何れか１項に記載の医療用ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば歯科又は口腔外科における診察、治療及び施術などを補助するためのロボット技術に関し、特に患者の安全性に配慮した医療用ロボットに関する。
【背景技術】
【０００２】
歯科医が行う虫歯の治療やインプラント施術などにおいては、歯科助手や歯科衛生士が、治療器具の洗浄やセッティング、排唾器（いわゆるバキューム）の操作、施術個所へのライトの照射、印象材セメントの練和など様々な補助業務を行っている。従来、このような歯科治療施術をサポートするための様々な歯科医療器具が提案され又は実用化されている。そのなかでも、例えば特許文献１には、従来医師が鏡などを使って治療部位を目視していた負担を軽減するために、撮影手段及び該撮影手段で撮影した画像を表示する表示手段を備えた歯科医療用ハンドピースが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８１８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の歯科医療器具に備えられる撮影手段は、例えば患者の奥歯の裏側など、従来見え難かった口腔内の患部のみを画像表示することで、歯科医の負担を軽減することを目的とするものである。しかし、医師が、表示手段が表示する限定された画像のみを注視して治療を行うと、例えば口腔内での誤操作による異物誤嚥等の医療ミスを見過ごしてしまうという虞があった。また、多くの患者の治療を日常的に行っている歯科医にとって、ある患者の前回治療時から今回治療時までの経過を常に的確に把握して診断することは困難であり、思い込みによる診察で過剰な治療を行ったり、逆に必要な治療を行わなかったりするケースも完全には排除することはできなかった。
【０００５】
本発明は、このような従来の課題に鑑みてなされたものであり、医療ミスをできるだけ無くし、患者が安心して治療を受けられるようにする等の安全性の高い医療用ロボット技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明は、患者の治療部位を少なくとも含む治療対象領域を撮影可能な撮影手段と、前記撮影手段により撮影された画像を記憶するデータベースと、前記撮影手段により現在撮影された、患者の前記治療対象領域の現在画像を表示するための第一の表示手段と、前記撮影手段により過去に撮影された、同一患者の前記治療対象領域の過去画像を前記データベースから取得し前記第一の表示手段に対比して表示するための第二の表示手段とを含む、医療用ロボットである。
【０００７】
医療用ロボットは、前記治療対象領域と前記撮影手段との間の相対的な撮影方向を検出可能な撮影方向検出手段を更に含み、前記第二の表示手段には、前記撮影方向検出手段により検出された前記現在画像の撮影方向と同一方向で撮影された過去画像が、当該現在画像に対比して表示されることが好ましい。
【０００８】
また、医療用ロボットは、前記撮影手段により多角的に撮影された複数の画像に基づいて三次元画像モデルを構築する三次元画像モデル化手段を更に含み、前記三次元画像モデル化手段が、同一患者の前記治療対象領域を撮影した複数の過去画像に基づいて三次元過去画像モデルを構築し、前記第二の表示手段には、前記撮影方向検出手段により検出された前記現在画像の撮影方向と同一方向から見た画像が前記三次元過去画像モデルから再現され当該現在画像に対比して表示されることが好ましい。
【０００９】
また、医療用ロボットは、前記三次元画像モデル化手段が、多角的に撮影された複数の画像の中で異物と判断した部位データを除去するフィルタリング処理を行うとともに、除去された部位データを他の複数の画像の対応部位データで補完する補完処理を行うことが好ましい。
【００１０】
また、医療用ロボットは、患者のバイタル情報を取得可能なバイタルセンサを更に含み、前記第一の表示手段には、前記撮影手段による現在画像の撮影と同時刻に前記バイタルセンサにより取得されたバイタル情報が、当該撮影された現在画像とともに同時に表示されることが好ましい。
【００１１】
また、医療用ロボットは、歯科又は口腔外科の治療の用に供されるものでもよい。
【発明の効果】
【００１２】
本発明によれば、例えば、医師にとっては思い込みや曖昧な記憶に頼らずに正確で客観的な経過観察に基づく診断や治療を行うことができ、また患者にとっては対比された画像に基づく説明を受けながら安心して治療を受けることができるなど、安全性の高い医療用ロボット技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による歯科補助ロボットシステムを用いた歯科治療の態様を例示する図である。
【図２】図１の歯科補助ロボットシステムの構成を例示するブロック図である。
【図３】カメラの相対的な撮影方向を検出する方法を説明するための図である。
【図４】現在画像と過去画像とを対比して表示した一例を示す図である。
【図５】患者の治療対象領域の撮影画像から構築された三次元画像モデルの一例を示す図である。
【図６】三次元画像モデル化処理のステップを例示するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明に係る医療用ロボットの一例として、歯科治療を補助する歯科補助ロボットシステム１を説明する。図１は、歯科補助ロボットシステム１を用いた歯科治療の態様を例示する図である。図２は、歯科補助ロボットシステム１の構成を例示するブロック図である。これらの図に示されるように、歯科補助ロボットシステム１は、多関節アーム２を備えたロボット本体３と、多関節アーム２の先端部に設けた歯科器具４、カメラ５及びペン型ライト６などを備えている。また、歯科補助ロボットシステム１は、診断のための画像表示装置１０や、患者のバイタル情報（例えば脈拍、血圧、酸素濃度等）を取得するためのバイタルセンサ７なども備えることができる。これらロボットの駆動系及びセンサ系機器類は、ロボット本体３に設けた制御装置３０により制御可能となるように電気的に接続されている。
【００１５】
多関節アーム２に取り付けられる歯科器具４としては、例えば指先の複雑な動きを再現可能な小型マニピュレータ、患者の口角を開けた状態に押さえるためのリトラクター、患者の舌を治療の邪魔にならない位置に押さえるための圧排へら、又は患者の口の中に溜まる唾液を吸引するための排唾器などである。ただし、これらに限定されるものではなく、目的や用途に応じて様々な医療器具４を適宜交換して用いることができる。
【００１６】
カメラ５は、患者の治療部位を少なくとも含む治療対象領域を撮影可能な撮影手段である。本実施形態において、カメラ５は、歯科器具４と位置連動するように多関節アーム２に設けられ、歯科器具４の後方又は若干斜め上方の位置から該歯科器具４の作業領域（具体的には例えば患者の口腔内の治療対象領域）を撮影できるようその光軸（撮影方向）が向けられている。また、歯科器具４の向きに連動してカメラ５の向きの自動調整が可能であること、また歯科医の操作によりカメラ５の向きが任意に変更される構成であってもよい。
【００１７】
なお、カメラ５の絶対的な位置座標及びそこを基点とする光軸の角度は、多関節アーム２の関節部等に設けた複数の角度センサの測定値に基づいて、ロボット本体３の制御装置３０に備えられる撮影方向検出手段３１により検出される。また、撮影方向検出手段３１は、カメラ５が撮影した画像を解析することにより、患者の治療部位（患部）を少なくとも含む治療対象領域との関係で相対的な撮影方向を検出することもできる。
【００１８】
具体的には、例えば図３に示すように、カメラ５が治療対象領域を撮影した画像において解剖学的に知られた特徴点Ｐ（例えばノドボトケの先端）を検出し、例えば画像の中心から計測される特徴点Ｐの方向及び変位と、カメラ５と治療対象領域との距離Ｄから、相対的な撮影方向Φを幾何学的に求めることができる。
【００１９】
カメラ５により撮影された画像（動画像を含む）は、画像表示装置１０（第一表示部１１）にリアルタイムに表示されるとともに、その画像データがデータベース４０に記憶される。ここで、データベース４０は、ロボット本体３の内部装置又は外付け装置として設けてもよいが、当該患者に関する他の医療データとリンクさせるために、例えば病院の電子カルテシステムの一部として構成されてもよいし、そのような電子カルテシステムと連携して動作するネットワーク上のデータストレージであってもよい。
【００２０】
また、歯科補助ロボットシステム１がバイタルセンサ７を備える場合には、カメラ５により撮影された現在の画像とともに、それと同時刻にバイタルセンサ７により取得されたバイタル情報も、当該画像に重畳して第一表示部１１に同時に表示されることが好ましい。
【００２１】
なお、カメラ５による撮影と同時刻にバイタルセンサ７により取得されたバイタルデータは、当該カメラ５により撮影された動画像の画像データに多重化してデータベース４０に記憶されることが好ましい。そうすれば、データベース４０に記憶した過去の画像データに基づき、動画像を画像表示装置１０（第二表示部１２）に再生して表示する際に、当該動画像の撮影と同時に取得されたバイタル情報も画像表示装置１０の画面上に画像と同時進行で表示することができる。
【００２２】
このように、本実施形態による歯科補助ロボットシステム１によれば、例えば図４に示すように、カメラ５により撮影された患者の現在の治療対象領域の画像（これを「現在画像」という。）が画像表示装置１０の第一表示部１１に表示され、同一患者が過去に治療を受けたときにカメラ５により撮影された画像（これを「過去画像」という。）が画像表示装置１０の第二表示部１２に対比して表示される。特に、第二表示部１２には、撮影方向検出手段３１により検出された現在画像の撮影方向と同一方向で撮影された過去画像が、当該現在画像と同時に対比して表示される。ここで「同一方向」又は「方向が一致する」とは、カメラ５が治療対象領域を撮影する相対的な撮影方向Φが現在画像と過去画像との間で完全に一致することまでを要求するのではなく、現在画像の撮影方向Φ’と現在画像の撮影方向Φ’’との角度差が許容可能な所定角度内（例えば１０°以下）であれば、実質的に同一方向とみなすことができる。
【００２３】
このような対比表示を行うことにより、歯科医は、治療前と治療後の状況を客観的かつ即座に比較でき、思い込みや曖昧な記憶に頼らず、正確な診断及び経過観察を行うことができる。また、過去の画像との比較により異常部位が発見しやすくなり、疾患の早期発見や早期治療につなげることができる。また、新たに疾患部位を発見した場合にそれがいつごろからその兆候が生じていたのか、或いは前回の診察時に見落としてしまったものなのか、客観的な記録データに基づく診断や治療方針の決定にも貢献することができる。
【００２４】
なお、第一表示部１１及び第二表示部１２は、医師が「現在画像」と「過去画像」とが対比可能な状態で目視できるのであれば、それぞれが別々の画像表示装置により構成されるものでもよい。また、１つの画像表示装置１０の表示領域を２つにフレーム分けして、各フレーム領域に第一表示部１１及び第二表示部１２をそれぞれ割り当ててもよい。更には、医師が「現在画像」と「過去画像」とを混同しないようにするために、例えば第一表示部１１の表示サイズを第二表示部１２のそれよりも大きくすること、又は第一表示部１１には動画像を表示する一方、第二表示部１２には同方向から撮影した静止画像を表示する等の表示態様を変えることにより、これらを区別する工夫をしてもよい。
【００２５】
また、歯科補助ロボットシステム１は、多角的に撮影された複数の画像に基づいて、三次元画像モデルを構築する三次元画像モデル化手段３２を更に備えることが好ましい。ここで「多角的に撮影された複数の画像」は、例えば歯科治療の施術中に多関節アーム２を動かしながらカメラ５の位置や向きを変えて、ある１つの治療対象領域を多方向から撮影した複数の写真や、同様にカメラ５を移動させ異なる位置から連続的に撮影した動画像などが該当する。
【００２６】
歯科治療の施術中に撮影された画像の多くには、医師の指や歯科器具４などの異物（患者の生体に由来しないもの）も同時に写し込まれている。そのため、治療対象領域を三次元画像モデル化する際には、画像データからこれら異物の部位データを除去することが好ましい。本実施形態では、図６のフローチャートにおいて、ステップＳ３で、複数の撮影画像の中で異物と判断した部位データを除去するフィルタリング処理を行い、ステップＳ４で、除去された部位データを、異物が写し込まれていない他の複数の画像の対応部位データで補完する補完処理を行っている。ここで、異物か否かの判断は、例えば複数の画像間で写っていたり写っていなかったりする領域を、例えば機械学習（ディープラーニング）により一定形状が特定できるかどうかを基準とすればよい。
【００２７】
このように同一患者の治療対象領域を撮影した複数の過去画像に基づいて構築される三次元画像モデル（これを「三次元過去画像モデル」という。）は、大きさが正規化されるとともに、三次元のあらゆる方向から見た過去画像の情報を包含している。そのため、現在画像の撮影方向と同一方向で撮影した過去画像のデータがデータベース４０に実際には記憶されていなくても、三次元過去画像モデルから方向及び大きさを完全に一致させた過去画像を再現することができ、当該現在画像に対比して第二表示部１２に表示することができる。
【００２８】
以上説明した歯科補助ロボットシステム１によれば、同一患者において現在治療中又はこれから治療を行おうとする治療対象領域を撮影した現在画像と、過去の治療時に撮影した過去画像とを対比可能な状態で表示するようにした。これにより、医師にとっては思い込みや曖昧な記憶に頼らずに正確で客観的な経過観察に基づく治療方針を決めることができる。また患者にとっては対比された画像に基づく説明を受けながら安心して治療を受けることができる。
【００２９】
なお、本明細書においては、歯科又は口腔外科の治療の用に供される歯科補助ロボットシステム１を詳細に説明したが、本発明に係る医療用ロボットは、外科治療など他の様々な医療現場での活躍が期待できる。
【符号の説明】
【００３０】
１  歯科補助ロボットシステム
２  多関節アーム                                  ３  ロボット本体
４  歯科器具                                      ５  カメラ
７  バイタルセンサ                                １０  画像表示装置
１１  第一表示部                                  １２  第二表示部
３０  制御装置                                    ３１  撮影方向検出手段
３２  三次元画像モデル化手段                      ４０  データベース
【図１】
2019213706.tif 000003
【図２】
2019213706.tif 000004
【図３】
2019213706.tif 000005
【図４】
2019213706.tif 000006
【図５】
2019213706.tif 000007
【図６】
2019213706.tif 000008