(57)【要約】【課題】医療機器又は器具を取り扱うオペレータの作業ミスを防止することができる医療機器管理システムを提供する。【解決手段】オペレータの頭部に装着された頭部装着型のカメラ部１１により、内視鏡３０を取り扱うオペレータの作業を撮影する。この撮影された撮影画像と、予め管理サーバ２０側に記憶されている標準画像（模範的な作業時に撮影された各作業ステップの画像等）とを比較し、管理サーバ２０で両画像の類似度により所要の作業が標準的に行われているか否かを判別する。そして、所要の作業が標準的に行われていないこと（作業ミス、作業手順のミス等）が判別されると、その判別結果に基づきヘッドマウントディスプレイ（表示部１２）や音声発生部１３を通じて警告又は指示をオペレータに通知し、これによりオペレータの作業ミスを防止し、又は作業ミスを回復可能にする。【選択図】  図１
2009279193.tif 000002
【特許請求の範囲】
【請求項１】
医療機器又は器具を取り扱うオペレータの視野範囲を撮影する頭部装着型カメラと、
前記医療機器又は器具を取り扱う際の模範的な作業時に撮影されたオペレータの視野範囲の画像を標準画像として記憶する記憶手段と、
前記カメラによる撮影画像と前記記憶手段から読み出した標準画像とを比較し、両画像の類似度により所定の作業が標準的に行われているか否かを判別する第１の判別手段と、
前記判別手段による判別結果に基づき警告又は指示を示す情報を出力する情報出力手段と、
前記警告又は指示を示す情報に基づいてオペレータに警告又は指示を行う出力手段と、
を備えたことを特徴とする医療機器管理システム。
【請求項２】
前記出力手段は、前記警告又は指示を表示するヘッドマウントディスプレイ、又は音声を発生する音声発生手段であることを特徴とする請求項１に記載の医療機器管理システム。
【請求項３】
前記記憶手段は、前記医療機器又は器具を取り扱う複数の手順に対応づけて前記標準画像を記憶し、
前記第１の判別手段は、前記撮影画像と前記標準画像とを比較し、前記複数の手順のうちのいずれの作業が行われたかを判別し、
前記情報出力手段は、前記第１の判別手段によって前記複数の手順のうちのいずれかの作業が行われたことが確認されると、前記確認された作業の次の作業を指示する情報を出力することを特徴とする請求項１又は２に記載の医療機器管理システム。
【請求項４】
前記記憶手段は、前記医療機器又は器具を取り扱う複数の手順に対応づけて前記標準画像を記憶し、
前記第１の判別手段は、前記撮影画像と前記標準画像とを比較し、前記複数の手順のうちのいずれの作業が行われたかを判別し、
前記情報出力手段は、前記第１の判別手段によって前記複数の手順のうちのいずれかの作業が行われたことが確認され、かつ確認された作業が前記複数の手順の本来の作業順と異なる場合には、手順ミスと見なして警告情報を出力することを特徴とする請求項１から３のいずれかに記載の医療機器管理システム。
【請求項５】
前記記憶手段は、前記オペレータの移動経路に対応づけて前記標準画像を記憶し、
前記第１の判別手段は、前記受信した撮影画像と前記標準画像とを比較し、前記オペレータが前記移動経路に沿って移動しているか否かを判別し、
前記情報出力手段は、前記第１の判別手段によって前記オペレータが前記移動経路と異なる移動経路に移動する場合には、警告又は正規の移動経路を示す情報を出力することを特徴とする請求項１から４のいずれかに記載の医療機器管理システム。
【請求項６】
前記医療機器は内視鏡であり、
前記撮影画像に基づいて画像中の内視鏡の移動速度を検出する移動速度検出手段を備え、
前記情報出力手段は、前記検出された内視鏡の移動速度が所定の速度以上の場合には、警告を出力することを特徴とする請求項１から５のいずれかに記載の医療機器管理システム。
【請求項７】
前記医療機器は内視鏡であり、
前記撮影画像に基づいて画像中の内視鏡の一部が、撮影画像の範囲外にあるか否かを判別する第２の判別手段を備え、
前記情報出力手段は、前記内視鏡の一部が撮影画像の範囲外にあることが判別されると、警告を出力することを特徴とする請求項１から６のいずれかに記載の医療機器管理システム。
【請求項８】
前記医療機器又は器具の固有の識別情報を取得する識別情報取得手段を備え、
前記記憶手段は、前記医療機器又は器具の固有の識別情報に応じて複数の標準画面を記憶し、
前記第１の判別手段は、前記記憶手段から前記識別情報取得手段によって取得された識別情報に基づいて特定される医療機器又は器具に対応する標準画像を読み出すことを特徴とする請求項１から７のいずれかに記載の医療機器管理システム。
【請求項９】
前記識別情報取得手段は、前記撮影画像に基づいて画像中の医療機器又は器具の固有の識別情報を画像認識により取得することを特徴とする請求項８に記載の医療機器管理システム。
【請求項１０】
オペレータの視線を検出する頭部装着型の視線検出手段と、
前記視線検出手段の視線検出に基づいて操作部のスイッチ操作を行う視線操作手段と、
を備えたことを特徴とする請求項１から９のいずれかに記載の医療機器管理システム。
【請求項１１】
前記撮影画像と前記視線検出手段によって検出された視線の軌跡とに基づいて前記操作部のスイッチ操作が適正に行われたか否かを判別する第３の判別手段と、を備え、
前記情報出力手段は、前記判別された判別結果に基づき警告又は指示を示す情報を出力することを特徴とする請求項１０に記載の医療機器管理システム。
【請求項１２】
前記出力手段は、前記警告又は指示を表示するヘッドマウントディスプレイであって、仮想キーボードを表示する機能を有するヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイに表示された仮想キーボードに対応して操作された指操作の画像を前記カメラから入力し、該画像に基づいてキーボード出力を行うキーボード操作手段を備えたことを特徴とする請求項１から１１のいずれかに記載の医療機器管理システム。
【請求項１３】
オペレータの視線を検出する頭部装着型の視線検出手段と、
前記カメラによる撮影画像から前記医療機器又は器具を取り扱うオペレータの手先の位置を検出する手先位置検出手段と、
前記情報出力手段は、前記検出された視線の位置と手先の位置とが所定距離以上、又は所定距離以上かつ所定時間以上離れた場合に警告を出力することを特徴とする請求項１から１２のいずれかに記載の医療機器管理システム。
【請求項１４】
オペレータの視線を検出する頭部装着型の視線検出手段と、
前記カメラによる撮影画像から前記医療機器又は器具の位置を検出する位置検出手段と、
前記情報出力手段は、前記検出された視線の位置と前記医療機器又は器具の位置とが所定距離以上、又は所定距離以上かつ所定時間以上離れた場合に警告を出力することを特徴とする請求項１から１３のいずれかに記載の医療機器管理システム。
【請求項１５】
頭部装着型の小型プロジェクタを備え、
前記情報出力手段は、前記小型プロジェクタに警告又は指示を示す情報を出力することを特徴とする請求項１から１４のいずれかに記載の医療機器管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は医療機器管理システムに係り、特に使用済みの汚染された内視鏡等の医療機器やメス、鉗子等の器具を取り扱うオペレータを支援する医療機器管理システムに関する。
【背景技術】
【０００２】
従来、内視鏡毎の固有の識別情報をキーとして、内視鏡の現在の使用状況、過去の使用来歴、修理来歴、洗浄来歴等を一元管理するようにした内視鏡用データファイリングシステムが提案されている（特許文献１）。
【０００３】
また、内視鏡画像を記録する内視鏡画像ファイリングシステムにおいて、内視鏡の洗浄装置から内視鏡の固有の識別情報と関連づけた洗浄情報を院内ＬＡＮを介して受信し、前記洗浄装置により洗浄された内視鏡に係る洗浄情報と当該内視鏡の固有の識別情報とを関連づけた洗浄管理データを生成し、又は洗浄管理データを更新し、これにより予約時に内視鏡検査に使用する内視鏡が滅菌・洗浄されているか否か等を確認でき、検査を効率的に行うことができる内視鏡画像ファイリングシステムが提案されている（特許文献２）。
【特許文献１】特許第３３９４７４２号公報
【特許文献２】特許第３７９１８９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１、２に記載のシステムによれば、内視鏡検査に使用する内視鏡の使用状況、洗浄の有無等を確認することができるが、使用済みの汚染された内視鏡等の医療機器やメス、鉗子等の器具を取り扱うオペレータの作業ミスを防止することはできない。
【０００５】
例えば、オペレータが使用済みの内視鏡を検査・処置室から洗浄室に搬入し、ここで、予備洗浄（手洗いを含む）、洗浄装置での洗浄を経て内視鏡を保管庫に保管するまでの標準作業に対して作業ミスが発生すると、正しく滅菌・洗浄された内視鏡が得られないばかりでなく、汚染された内視鏡等により院内が汚染されるおそれがある。
【０００６】
また、特許文献１、２に記載のシステムでは、洗浄装置側から内視鏡の滅菌・洗浄に関する情報を画像ファイリング装置に送信する必要があり、院内ＬＡＮに接続可能な特殊な洗浄装置を設置する必要がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、医療機器又は器具を取り扱うオペレータの作業ミスを防止することができる医療機器管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために請求項１に係る医療機器管理システムは、医療機器又は器具を取り扱うオペレータの視野範囲を撮影する頭部装着型カメラと、前記医療機器又は器具を取り扱う際の模範的な作業時に撮影されたオペレータの視野範囲の画像を標準画像として記憶する記憶手段と、前記カメラによる撮影画像と前記記憶手段から読み出した標準画像とを比較し、両画像の類似度により所定の作業が標準的に行われているか否かを判別する第１の判別手段と、前記判別手段による判別結果に基づき警告又は指示を示す情報を出力する情報出力手段と、前記警告又は指示を示す情報に基づいてオペレータに警告又は指示を行う出力手段と、を備えたことを特徴としている。
【０００９】
即ち、オペレータの頭部に装着された頭部装着型カメラにより、医療機器又は器具を取り扱うオペレータの作業を撮影する。この撮影された撮影画像と、予め記憶されている標準画像（模範的な作業時に撮影された複数の静止画又は動画）とを比較し、両画像の類似度により、所要の作業が標準的に行われているか否かを判別する。そして、所要の作業が標準的に行われていないこと（作業ミス、作業手順のミス等）が判別されると、その判別結果に基づき警告又は指示をオペレータに通知し、これによりオペレータの作業ミスを防止し、又は作業ミスを回復させることができる。
【００１０】
請求項２に示すように請求項１に記載の医療機器管理システムにおいて、前記出力手段は、前記警告又は指示を表示するヘッドマウントディスプレイ、又は音声を発生する音声発生手段であることを特徴としている。これにより、作業中のオペレータに対して警告又は指示を伝達することができる。
【００１１】
請求項３に示すように請求項１又は２に記載の医療機器管理システムにおいて、前記記憶手段は、前記医療機器又は器具を取り扱う複数の手順に対応づけて前記標準画像を記憶し、前記第１の判別手段は、前記撮影画像と前記標準画像とを比較し、前記複数の手順のうちのいずれの作業が行われたかを判別し、前記情報出力手段は、前記第１の判別手段によって前記複数の手順のうちのいずれかの作業が行われたことが確認されると、前記確認された作業の次の作業を指示する情報を出力することを特徴としている。複数の手順の作業のうちのある作業が確認されると、次の作業をオペレータに指示するようにしたため、規定通りの作業が実施されるようにオペレータを誘導することができる。これにより、作業の手順ミスも防止することができる。
【００１２】
請求項４に示すように請求項１から３のいずれかに記載の医療機器管理システムにおいて、前記記憶手段は、前記医療機器又は器具を取り扱う複数の手順に対応づけて前記標準画像を記憶し、前記第１の判別手段は、前記撮影画像と前記標準画像とを比較し、前記複数の手順のうちのいずれの作業が行われたかを判別し、前記情報出力手段は、前記第１の判別手段によって前記複数の手順のうちのいずれかの作業が行われたことが確認され、かつ確認された作業が前記複数の手順の本来の作業順と異なる場合には、手順ミスと見なして警告情報を出力することを特徴としている。これによれば、複数の手順からなる作業において、手順ミスをチェックすることができる。
【００１３】
請求項５に示すように請求項１から４のいずれかに記載の医療機器管理システムにおいて、前記記憶手段は、前記オペレータの移動経路に対応づけて前記標準画像を記憶し、前記第１の判別手段は、前記受信した撮影画像と前記標準画像とを比較し、前記オペレータが前記移動経路に沿って移動しているか否かを判別し、前記情報出力手段は、前記第１の判別手段によって前記オペレータが前記移動経路と異なる移動経路に移動する場合には、警告又は正規の移動経路を示す情報を出力することを特徴としている。
【００１４】
これによれば、予め規定された経路に沿って移動するようにオペレータを誘導することができる。また、撮影画像を記録するようにすれば、オペレータの移動履歴を確認することができる。
【００１５】
請求項６に示すように請求項１から５のいずれかに記載の医療機器管理システムにおいて、前記医療機器は内視鏡であり、前記撮影画像に基づいて画像中の内視鏡の移動速度を検出する移動速度検出手段を備え、前記情報出力手段は、前記検出された内視鏡の移動速度が所定の速度以上の場合には、警告を出力することを特徴としている。例えば、内視鏡の先端部等の移動速度が速い場合には、内視鏡が振り回されていたり、内視鏡の取り扱いが雑であることが予想できる。従って、このような場合には、内視鏡の挿入部付着物の他の機器への接触、飛散の可能性等を警告や、内視鏡を丁寧に取り扱う旨の注意を行う。尚、撮影画像から内視鏡の挿入部付着物の他の機器への接触、飛散の可能性がある部分を推定し、その部分の消毒を指示することも可能である。
【００１６】
請求項７に示すように請求項１から６のいずれかに記載の医療機器管理システムにおいて、前記医療機器は内視鏡であり、前記撮影画像に基づいて画像中の内視鏡の一部が、撮影画像の範囲外にあるか否かを判別する第２の判別手段を備え、前記情報出力手段は、前記内視鏡の一部が撮影画像の範囲外にあることが判別されると、警告を出力することを特徴としている。内視鏡の一部が撮影画像の範囲外にある場合には、内視鏡の一部が他の機器等に接触してもそれを撮影画像から確認することができず、また、オペレータがよそ見をしている可能性があるため、注意を喚起するようにしている。
【００１７】
請求項８に示すように請求項１から７のいずれかに記載の医療機器管理システムにおいて、前記医療機器又は器具の固有の識別情報を取得する識別情報取得手段を備え、前記記憶手段は、前記医療機器又は器具の固有の識別情報に応じて複数の標準画面を記憶し、前記第１の判別手段は、前記記憶手段から前記識別情報取得手段によって取得された識別情報に基づいて特定される医療機器又は器具に対応する標準画像を読み出すことを特徴としている。医療機器等の種類によっては、オペレータの作業内容が異なるため、医療機器等に付されている固有の識別情報（例えば、ＲＦＩＤタグ、バーコードに記録された情報）を取得することにより医療機器等の種類を特定し、その特定した医療機器等に対応する標準画像を、標準作業の確認用画像として読み出すようにしている。
【００１８】
請求項９に示すように請求項８に記載の医療機器管理システムにおいて、前記識別情報取得手段は、前記撮影画像に基づいて画像中の医療機器又は器具の固有の識別情報を画像認識により取得することを特徴としている。撮影画像中の医療機器等の画像を解析することで、機器そのものを画像認識するようにしてもよいし、タグの色（機器の種類によってタグが色分けされている場合）や、バーコードを読み取ることにより機器を認識するようにしてもよい。更に、請求項８に示した識別情報取得手段によって取得した識別情報も利用することにより、機器をダブルチェックすることができる。
【００１９】
請求項１０に示すように請求項１から９のいずれかに記載の医療機器管理システムにおいて、オペレータの視線を検出する頭部装着型の視線検出手段と、前記視線検出手段の視線検出に基づいて操作部のスイッチ操作を行う視線操作手段と、を備えたことを特徴としている。視線によってスイッチ操作を行うことができ、両手が塞がっている場合や手が汚染されている場合に有効である。
【００２０】
請求項１１に示すように請求項１０に記載の医療機器管理システムにおいて、前記撮影画像と前記視線検出手段によって検出された視線の軌跡とに基づいて前記操作部のスイッチ操作が適正に行われたか否かを判別する第３の判別手段と、を備え、前記情報出力手段は、前記判別された判別結果に基づき警告又は指示を示す情報を出力することを特徴としている。スイッチ操作を視線によって行う場合、その視線の軌跡からスイッチ操作が適正に行われたか否かを判別することができ、これにより、適正な操作が行われていない場合には、警告又はスイッチ操作を誘導する指示を行うことができる。
【００２１】
請求項１２に示すように請求項１から１１のいずれかに記載の医療機器管理システムにおいて、前記出力手段は、前記警告又は指示を表示するヘッドマウントディスプレイであって、仮想キーボードを表示する機能を有するヘッドマウントディスプレイであり、前記ヘッドマウントディスプレイに表示された仮想キーボードに対応して操作された指操作の画像を前記カメラから入力し、該画像に基づいてキーボード出力を行うキーボード操作手段を備えたことを特徴としている。これにより、汚染された手で実機（キーボード）に触るリスクを回避することができる。
【００２２】
請求項１３に示すように請求項１から１２のいずれかに記載の医療機器管理システムにおいて、オペレータの視線を検出する頭部装着型の視線検出手段と、前記カメラによる撮影画像から前記医療機器又は器具を取り扱うオペレータの手先の位置を検出する手先位置検出手段と、前記情報出力手段は、前記検出された視線の位置と手先の位置とが所定距離以上、又は所定距離以上かつ所定時間以上離れた場合に警告を出力することを特徴としている。視線がオペレータの手先（手／指先）から所定距離以上、又は所定距離以上かつ所定時間以上離れている場合には、オペレータがよそ見をしていると考えられるため、警告を発生し、オペレータに注意を促すようにしている。
【００２３】
請求項１４に示すように請求項１から１３のいずれかに記載の医療機器管理システムにおいて、オペレータの視線を検出する頭部装着型の視線検出手段と、前記カメラによる撮影画像から前記医療機器又は器具の位置を検出する位置検出手段と、前記情報出力手段は、前記検出された視線の位置と前記医療機器又は器具の位置とが所定距離以上、又は所定距離以上かつ所定時間以上離れた場合に警告を出力することを特徴としている。視線が対象機器（医療機器又は器具）から所定距離以上、又は所定距離以上かつ所定時間以上離れている場合には、オペレータがよそ見をしていると考えられるため、警告を発生し、オペレータに注意を促すようにしている。
【００２４】
請求項１５に示すように請求項１から１４のいずれかに記載の医療機器管理システムにおいて、頭部装着型の小型プロジェクタを備え、前記情報出力手段は、前記小型プロジェクタに警告又は指示を示す情報を出力することを特徴としている。機器そのものに向けて、注意を喚起する箇所にポイントをマーキングしたり、絵柄込みの説明画面を表示することができ、また、汚染されたエリアや機器の部位に対し、警告色を投射したり、他の作業者にも認識させることができる。
【発明の効果】
【００２５】
本発明によれば、頭部装着型カメラにより撮影された撮影画像と、予め記憶されている標準画像とを比較して、医療機器又は器具を取り扱うオペレータが、所要の作業を適正に行っていないことが判別されると、その判別結果に基づき警告又は指示をオペレータに通知するようにしたため、オペレータの作業ミスを防止し、又は作業ミスを回復させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、添付図面に従って本発明に係る医療機器管理システムの好ましい実施の形態について説明する。
＜システム構成＞
図１は本発明に係る医療機器管理システムの実施の形態を示す概略図であり、内視鏡検査や内視鏡手術等に使用された内視鏡３０（医療機器）を取り扱う場合に適用される医療機器管理システムに関して示している。また、図２は医療機器管理システムの実施の形態を示すブロック図である。
【００２７】
図１及び図２に示すように、この医療機器管理システムは、カメラ付きヘッドマウントディスプレイ（カメラ付きＨＭＤ）１０と、携帯端末型の管理サーバ２０とから構成されている。
［カメラ付きＨＭＤ１０］
図２に示すようにカメラ付きＨＭＤ１０は、頭部装着型のカメラ部１１、表示部（ＨＭＤ）１２、音声発生部１３、視線検出部１４、通信インターフェース（通信Ｉ／Ｆ）１５、カメラ付きＨＭＤ側の中央処理装置（ＣＰＵ）１６、主メモリ１７、ＲＦＩＤタグ・リーダ１８、及びアンテナ部１９から構成されている。なお、ＲＦＩＤタグ・リーダ１８はＨＭＤ側ではなく、携帯端末型の管理サーバ２０へ組み込むことでもよい。
【００２８】
カメラ部１１は、図１に示すようにオペレータの視野範囲（オペレータが前方を向いているときの視野範囲）を撮影する。このカメラ部１１によって撮影された画像（動画、又はコマ送り画像）は、リアルタイムに通信Ｉ／Ｆ１５を介して管理サーバ２０に伝送される。このとき、撮影画像とともに、オペレータ識別情報（オペレータＩＤ）、及び対象機器（この実施の形態では、内視鏡３０）の機器ＩＤを伝送する。
【００２９】
ＨＭＤ１２は、例えばハーフミラーを介して実際に目の前にあるものを透過して見ることができるとともに、液晶モニタ等の表示画面を見ることができる公知のものである。音声発生部１３は、例えばイヤホーン又はヘッドフォンである。これらのＨＭＤ１２、及び音声発生部１３は、後述するようにオペレータに対して視覚、又は音声を通じて各種の警告や指示等を通知する。
【００３０】
視線検出部１４は、例えば、ハーフミラーを介して眼球を正面から撮影する頭部装着型の小型カメラ等を含み、眼球の瞳孔の位置を追跡することにより視線方向を逐次検出する。この視線検出部１４によって検出されたオペレータの視線方向の情報もリアルタイムに通信Ｉ／Ｆ１５を介して管理サーバ２０に伝送される。
【００３１】
ＣＰＵ１６は、カメラ付きＨＭＤ１０の各部を統括制御するとともに、送受信用のデータを生成する。また、ＣＰＵ１６は、仮想キーボードをＨＭＤ１２を表示させ、カメラ部１１で撮影された撮影画像を解析し、画像中の手指の位置、動作等から仮想キーボードでの操作入力を生成する手段、撮影画像から実機上のボタンに指をかざすボタン操作を生成する手段、及び撮影画像と視線とに基づいて実機上のボタン操作入力を生成する手段（入力手段の一部）として機能する。尚、洗浄装置４０等の実機のボタン操作入力を生成する場合には、実機の画像と、該画像中のボタンの画像、及び各ボタンの機能等は予め記憶保持しておく必要がある。
【００３２】
主メモリ１７は、ＨＭＤ１２に表示する情報を一時的に記憶するＶＲＡＭとして機能したり、ＣＰＵ１６での処理時の作業領域として機能する。
【００３３】
ＲＦＩＤタグ・リーダ１８は、内視鏡３０の手元操作部に埋め込まれたＲＦＩＤタグ３１（図１参照）に記録された機器ＩＤを非接触で読み取るもので、例えば、オペレータが内視鏡３０を持ったときの距離範囲内でＲＦＩＤタグ３１と通信できるものが好ましい。
［管理サーバ２０］
図２に示すように管理サーバ２０は、上記カメラ付きＨＭＤ１０と通信し、オペレータに警告、指示等の各種の情報を提供するもので、主として各構成要素の動作を制御する管理サーバ側のＣＰＵ２１、プログラム実行時の作業領域となる主メモリ２２、後述する基準画像と撮影画像との比較等を行う画像処理部２３、基準画像、本発明に係る処理プログラム等が格納され、また撮影画像が保存されるハードディスク装置２４、通信Ｉ／Ｆ２５、及びアンテナ部１９から構成されている。
【００３４】
上記ハードディスク装置２４には、使用済みの内視鏡３０を洗浄し、内視鏡保管庫に収納するまでの模範的な作業が行われたときのオペレータの視野範囲が撮影されたコマ送り画像、又は動画を標準画像として記憶されている。即ち、検査室又は処置室で使用された使用済みの内視鏡３０は、内視鏡プロセッサから取り外され、密閉容器に入れられて、周囲が汚染されないように（院内感染が生じないように）洗浄消毒室まで搬送される。洗浄消毒室では、ブラシによる内視鏡３０の予備洗浄が行われたのち、洗浄装置４０に入れられ、ここで自動洗浄及び消毒が行われる。その後、洗浄消毒済の内視鏡３０は、洗浄装置４０から取り出され、内視鏡保管庫に保管される。前記標準画像は、例えば、熟練したオペレータが、一連の標準作業（複数ステップ）を実施したときの該オペレータの視野範囲が撮影されたものである。
【００３５】
尚、内視鏡の種類に応じて作業内容等が異なるため、ハードディスク装置２４には、内視鏡毎にその機器ＩＤに関連付けられて標準画像が記憶されている。また、ハードディスク装置２４には、オペレータＩＤによってオペレータ情報（オペレータの個人情報、作業履歴等）が保存管理されている。
【００３６】
カメラ付きＨＭＤ１０からは、カメラ部１１で撮影された画像が管理サーバ２０に送信される。尚、撮影画像とセットで、オペレータＩＤ及び機器ＩＤも送信される。
【００３７】
画像処理部２３は、受信した機器ＩＤに対応する標準画像をハードディスク装置２４から読み出し、この標準画像と撮影画像とのパターンマッチングを行い、両画像の類似度を示す情報をＣＰＵ２１に出力する。
【００３８】
以下、本発明に係る医療機器管理システムの作用について説明する。
【００３９】
＜第１実施形態＞
オペレータは、内視鏡３０を取り扱うときには常にカメラ付きＨＭＤ１０を装着し、カメラ付きＨＭＤ１０を動作させる。
【００４０】
オペレータは、前述したように使用済みの内視鏡３０の内視鏡プロセッサからの取外しから内視鏡保管庫への収納するまで所定のスケジュールにより作業を行う。このとき、カメラ付きＨＭＤ１０のカメラ部１１は、オペレータの前方の視野範囲を撮影し、この撮影された撮影画像（オペレータＩＤ及び機器ＩＤ付きの撮影画像）は、リアルタイムで管理サーバ２０に伝送される。
【００４１】
管理サーバ２０に伝送された所定の作業STEP(n)における作業画像は、画像処理部２３によりオペレータが取り扱っている内視鏡用に準備されている所定の作業STEP(n)における標準画像とパターンマッチングされ、両画像の類似度を示す情報がＣＰＵ２１に出力される。
【００４２】
ＣＰＵ２１は、上記類似度を示す情報に基づいて、両画像が基準以上の類似度をもった場合には、所定の作業STEP(n)の作業が適正に行われていると判別し、カメラ付きＨＭＤ１０のＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに作業STEP(n)のＯＫ確認情報を通知し、次の作業STEP(n+1)に進む様に指示する。
【００４３】
また、所定時間以上、基準の類似度に達しない場合（ＯＫとならない場合）には、作業STEP(n)の標準画像をＨＭＤ１２に表示させ、又は指示内容を通知する。この場合、オペレータの立ち位置、姿勢、内視鏡の持ち方等の修正指示を行うことができる。
【００４４】
＜第２実施形態＞
ＣＰＵ２１は、オペレータが行うべき作業が作業STEP(n)のときに、その作業画像と基準画像との類似度が、所定時間以上、基準の類似度に達しない場合（ＯＫとならない場合）には、画像処理部２３にて作業画像と作業STEP(k)（k≠n)の標準画像とのパターンマッチングを行わせる。そして、作業画像と作業STEP(k)の標準画像との類似度が所定以上であれば、手順ミスとみなし、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに手順ミスの警告を通知する。更に、作業STEP(n)の標準画像をＨＭＤ１２に表示させ、又は指示内容を通知する。
【００４５】
＜第３実施形態＞
作業STEPとして、オペレータの部屋（検査室又は処置室）から部屋（洗浄消毒室）への移動経路の移動を組み入れ、その移動経路に対応づけて標準画像も記録しておく。ＣＰＵ２１は、オペレータの実際の移動中に撮影された撮影画像と移動経路上の標準画像とのパターンマッチングにより、オペレータが所定の移動経路に沿って移動しているか否かを判別し、オペレータが前記移動経路と異なる移動経路に移動する場合には、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに警告し、又は正規の移動経路を通知して正規の移動経路に誘導する。更に、オペレータの移動履歴も記録することで、適正な作業STEPが行われたか否かを検証することができる。
【００４６】
＜第４実施形態＞
画像処理部２３は、撮影画像中の内視鏡３０を抽出し、該内視鏡３０の移動速度（フレーム間での内視鏡３０の移動量）を検出し、これをＣＰＵ２１に出力する。ＣＰＵ２１は、画像処理部２３によって検出された内視鏡３０の移動速度が所定の速度以上の場合には、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに警告する。
【００４７】
例えば、内視鏡３０の先端部等の移動速度が速い場合には、内視鏡３０が振り回されていたり、内視鏡３０の取り扱いが雑であることが予想できる。従って、このような場合には、内視鏡３０の挿入部付着物の他の機器への接触、飛散の可能性等を警告や、内視鏡を丁寧に取り扱う旨の注意を行う。
【００４８】
また、画像処理部２３は、撮影画像中の内視鏡３０を抽出し、該内視鏡３０の一部が視野（撮影範囲）外にあるか否かを判別し、その判別結果をＣＰＵ２１に出力する。ＣＰＵ２１は、画像処理部２３によって内視鏡３０の一部が視野外にあることが判別されると、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに警告する。即ち、内視鏡３０の一部が撮影画像の範囲外にある場合には、内視鏡の一部が他の機器等に接触してもそれを撮影画像から確認することができず、また、オペレータがよそ見をしている可能性があるため、注意を喚起するようにしている。
【００４９】
尚、内視鏡３０の先端部等の所定ポイント（複数）に目印を付けておくことが好ましく、これによれば、目印を撮影画像から抽出することで、内視鏡３０の各ポイントの移動速度や、内視鏡３０が視野内にあるか否かを容易に検出することができる。また、撮影画像から内視鏡の挿入部付着物の他の機器への接触、飛散の可能性がある部分を推定し、その部分の消毒を指示することも可能である。
【００５０】
＜第５実施形態＞
カメラ付きＨＭＤ１０のＲＦＩＤタグ・リーダ１８は、内視鏡３０の手元操作部に埋め込まれているＲＦＩＤタグから機器ＩＤを読み取り、これをＣＰＵ１６に出力し、ＣＰＵ１６は、ＲＦＩＤタグ・リーダ１８から受け取った機器ＩＤを、撮影画像とともに管理サーバ２０に送信する。
【００５１】
管理サーバ２０の画像処理部２３は、受信した撮影画像中から機器（内視鏡）そのものを画像認識し、その形状や特徴量等に基づいて内視鏡の種類を識別する。尚、ハードディスク装置２４には、予め内視鏡毎に内視鏡画像又は内視鏡画像の特徴量が記憶され、画像処理部２３で、機器を画像認識する際に適宜読み出されるようになっている。
【００５２】
また、画像処理部２３は、機器毎に色分けされ、あるいは形状が異なるタグが付されている場合には、そのタグの色や形状等を画像認識し、機器を識別するようにしてもよい。更に、機器にバーコードが付されている場合には、画像認識によってバーコードを読み取り、機器を識別するようにしてもよい。
【００５３】
この画像処理によって機器を識別する機能を付加することにより、ＲＦＩＤタグが付されていない機器であっても、その機器を特定することができる。また、ＲＦＩＤタグが付されている機器に対しては、上記画像認識とのダブルチェックを行うことができる。
【００５４】
＜第６実施形態＞
カメラ付きＨＭＤ１０の視線検出部１４は、オペレータの視線方向を逐次検出し、オペレータの視線方向の情報（例えば、カメラ部１１で撮影されている作業画像中の視線方向によって特定される座標情報）をＣＰＵ１６に出力し、ＣＰＵ１６は、視線検出部１４から受け取った視線方向の情報を、操作画像とともに管理サーバ２０に送信する。
【００５５】
管理サーバ２０の画像処理部２３は、受信した操作画像と、オペレータの視線方向の情報とに基づいて、図３（Ａ）に示すように操作画像中の操作対象機器（例えば、洗浄装置４０）の操作スイッチ４１Ａ，４１Ｂ，４１Ｃを画像認識し、画像認識した操作スイッチ４１Ａ，４１Ｂ，４１Ｃの位置に視線が一致している場合に、視線が一致している操作スイッチの情報をＣＰＵ２１に出力する。
【００５６】
ＣＰＵ２１は、画像処理部２３から視線が一致している操作スイッチの情報を受け取ると、通信Ｉ／Ｆ２５を介して洗浄装置４０の操作スイッチ４１Ａ，４１Ｂ又は４１ＣをＯＮ／ＯＦＦさせる操作指令を出力する。
【００５７】
尚、ハードディスク装置２４には、予め操作対象機器の画像、該操作対象機器の操作スイッチの画像、及び各操作スイッチの種類等が登録されており、画像処理部２３は、ハードディスク装置２４に登録されている操作対象機器の画像等に基づいてオペレータの視線が、どの操作対象機器のどの操作スイッチに向けられているかを認識できるようになっている。
【００５８】
また、スイッチ操作が行われたか否かの判別は、視線が操作対象機器の操作スイッチ上で一定時間以上停止した場合にスイッチ操作がされたと判別するようにしてもよいし、こめかみスイッチ（歯をくいしばる動作によるこめかみ部の動きを検出するスイッチ、あるいは、まばたき等を検出するスイッチ）をカメラ付きＨＭＤ１０に設け、視線の情報とともに、こめかみスイッチの情報を管理サーバ２０に伝送し、画像処理部２３（又はＣＰＵ２１）は、こめかみスイッチがＯＮされたときに、視線が示す操作スイッチが操作されたと判別するようにしてもよい。
【００５９】
更に、管理サーバ２０と各種の操作対象機器とは、図示しない院内ＬＡＮ等によって無線通信できるように構成されており、管理サーバ２０から各操作対象機器に対して操作指示を送信できるようになっている。
【００６０】
また、ハードディスク装置２４には、予め各操作対象機器の操作スイッチの操作手順や、操作内容が登録されており、ＣＰＵ２１は、操作対象機器に対して登録されたスイッチ操作がなされていないことを判別すると、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに警告し、又はスイッチ操作を誘導する指示を行う。例えば、図３（Ｂ）に示すように、操作スイッチ４１Ａ，４１Ｂが視線チェックにより確認され、操作スイッチ４１Ｃの操作が確認できない場合（操作スイッチ４１Ａ〜４１Ｃの全てが操作されることになっている場合）には、操作スイッチ４１Ｃを操作する旨の指示を、ＨＭＤ１２における指示画像で通知する。
【００６１】
このように、視線によってスイッチ操作を行うことができ、両手が塞がっている場合や手が汚染されている場合に利用することができる。
【００６２】
＜第７実施形態＞
カメラ付きＨＭＤ１０のＨＭＤ１２は、図４に示すように仮想キーボード４２を表示できるようになっている。カメラ部１１は、オペレータの指の実写画像を含む視野範囲の画像を撮影し、管理サーバ２０に伝送する。
【００６３】
管理サーバ２０の画像処理部２３は、操作画像からオペレータの指画像を抽出して指の位置を検出し、この検出した指の位置と、予め登録されている仮想キーボード４２の各キーの位置とに基づいて、仮想キーボード４２のいずれのキーが操作されたかを識別できるようになっている。ＣＰＵ２１は、画像処理部２３によって識別された仮想キーボード４２のキー操作に基づく処理を実行する。
【００６４】
これにより、汚染された手で実機（キーボード）に触るリスクを回避することができる。尚、仮想キーボード４２の代わりに、実機上のボタンやキーに指をかざす操作画面を撮影し、画像処理部２３にて画像解析することにより、実機上の所要の入力を受け付けるようにしてもよい。また、管理サーバ２０側で仮想キーボード４２又は実機上での操作入力の受け付けを行う画像処理等を行う場合に限らず、カメラ付きＨＭＤ１０側で、上記の画像処理等を行い、その処理により受け付けた操作入力を管理サーバ２０に伝送するようにしてもよい。
【００６５】
＜第８実施形態＞
カメラ付きＨＭＤ１０の視線検出部１４は、オペレータの視線方向を逐次検出し、オペレータの視線方向の情報をＣＰＵ１６に出力し、ＣＰＵ１６は、視線検出部１４から受け取った視線方向の情報を、操作画像とともに管理サーバ２０に送信する。
【００６６】
管理サーバ２０の画像処理部２３は、受信した操作画像からオペレータの手先（手／指先）を画像認識し、オペレータの手先の位置と視線の位置とに基づいて、操作画像上でのオペレータの手先の位置と視線の位置との距離を算出し、その算出した距離情報をＣＰＵ２１に出力する。
【００６７】
ＣＰＵ２１は、画像処理部２３から受け取ったオペレータの手先の位置と視線の位置との距離が所定距離以上、又は所定距離以上かつ所定時間以上離れた場合には、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに警告する。即ち、オペレータの手先の位置と視線の位置との距離が所定距離以上離れた場合には、オペレータがよそ見をしていると考えられるため、警告を発生し、オペレータに注意を促すようにしている。
【００６８】
同様に、画像処理部２３は、ＲＦＩＤタグで認識した作業対象物（内視鏡３０等）に該当する参照画像を用いて撮影画像中の作業対象物を追跡し、この追跡した作業対象物の位置と、視線位置との距離を算出し、その算出した距離情報をＣＰＵ２１に出力する。
【００６９】
ＣＰＵ２１は、画像処理部２３から受け取った作業対象物の位置と視線位置との距離が所定距離以上、又は所定距離以上かつ所定時間以上離れた場合には、ＨＭＤ１２及び／又は音声発生部１３を経由してオペレータに警告する。
【００７０】
即ち、オペレータの手先の位置と視線の位置との距離が所定距離以上離れた場合、あるいは作業対象物の位置と視線位置との距離が所定距離以上離れた場合には、オペレータがよそ見をしていると考えられるため、警告を発生し、オペレータに注意を促すようにしている。
【００７１】
＜第９実施形態＞
第９実施形態では、図１、図２に示したカメラ付きＨＭＤ１０のＨＭＤ１２の代わりに、図５に示すように頭部装着型の小型プロジェクタ５０が設けられている。
【００７２】
そして、第１実施形態から第８実施形態に示したＨＭＤ１２に表示した警告又は指示は、管理サーバ２０から小型プロジェクタ５０に出力される。これにより、警告又は指示内容がオペレータの正面に投影表示され、図示しない管理サーバ２０のモニタ画面の大写し、機器そのものに向けて着目箇所にポイントをマーキングすることができる。
【００７３】
例えば、レーザポインタ風に絵柄込みの説明画面を投影したり、図３（Ｂ）に示した情報（「矢印」＋「コメント」）を実機上に投影することができる。
【００７４】
また、標準作業ステップに基づいて、汚染されたエリアや機器の部位に対し、警告色を投射することが可能である。更に、出力手段として小型プロジェクタ５０を使用することにより、他の作業者（ＨＭＤなし）にも管理サーバ２０からの情報を通知することができる。
【００７５】
＜第１０実施形態＞
図５に示した頭部装着型の小型プロジェクタ５０を使用することにより、仮想キーボード等の入力用画面を床に投射し、足でスイッチを踏むことによりスイッチ操作を行うことができる。
【００７６】
即ち、カメラ部１１により上記入力用画面及び足先を撮影し、その撮影画像を管理サーバ２０に伝送し、管理サーバ２０の画像処理部２３は、撮影画像からオペレータの足先画像を抽出して足先の位置を検出し、この検出した足先の位置と、入力用画面内のスイッチの位置とに基づいて、入力用画像内のいずれのスイッチが足で操作されたかを識別できるようになっている。ＣＰＵ２１は、画像処理部２３によって識別された入力用画面での足によるスイッチ操作に基づく処理を実行する。
【００７７】
このように小型プロジェクタ５０と足による入力手段を備えることにより、両手が塞がっている場合、手が汚染されている場合、入力・操作内容を他の作業者とともに確認する場合、及び標準作業ステップでモニタ確認が推奨される場合に有効であり、これらの場合には、自動的に小型プロジェクタ５０をＯＮにすることが好ましい。尚、小型プロジェクタ５０とともに、ＨＭＤ１２を備えるようにしてもよい。
【００７８】
＜他の実施形態＞
上記実施形態では、カメラ付きＨＭＤ１０と管理サーバ２０とが無線通信できるように構成されているが、有線で接続されていてもよい。また、管理サーバ２０は、携帯端末型のものに限らず、固定型のものでもよく、更に、１台の管理サーバが、複数のカメラ付きＨＭＤと無線通信できるようにしてもよい。この場合、各カメラ付きＨＭＤから送信されるオペレータＩＤに応じて各カメラ付きＨＭＤ毎に通信経路を確立するようにする。
【００７９】
更に、カメラ付きＨＭＤ側の入力手段としては、マイクによる音声入力手段を設けるようにしてもよい。
【００８０】
更にまた、この実施形態では、操作対象物として使用済みの内視鏡の場合について説明したが、これに限らず、例えば、洗浄消毒済み内視鏡を保管庫へ移動する作業時における汚染されていない内視鏡も操作対象物であり、更に、他の医療機器、手術に使用されるメス、鉗子等の器具を取り扱う場合にも本発明は適用できる。また、上記実施形態は、適宜組み合わせてもよい。また、洗浄装置の代わりに、オートクレーブ装置でもよい。
【００８１】
更に、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。
【図面の簡単な説明】
【００８２】
【図１】図１は本発明に係る医療機器管理システムの実施の形態を示す概略図である。
【図２】図２は上記医療機器管理システムの実施の形態を示すブロック図である。
【図３】図３は視線によるスイッチ操作を説明するために使用した図である。
【図４】図４は仮想キーボードによる操作入力を説明するために使用した図である。
【図５】図５は本発明に係る医療機器管理システムに適用されるヘッドマウントディスプレイの他の例を説明するために用いた図である。
【符号の説明】
【００８３】
１０…カメラ付きヘッドマウントディスプレイ（カメラ付きＨＭＤ）、１１…カメラ部、１２…表示部（ＨＭＤ）、１３…音声発生部、１４…視線検出部、１５、２５…通信インターフェース（通信Ｉ／Ｆ）、１６、２１…中央処理装置（ＣＰＵ）、１８…ＲＦＩＤタグ・リーダ、２０…管理サーバ、２３…画像処理部、２４…ハードディスク装置、３０…内視鏡、４０…洗浄装置、５０…小型プロジェクタ
【図１】
2009279193.tif 000003
【図２】
2009279193.tif 000004
【図３】
2009279193.tif 000005
【図４】
2009279193.tif 000006
【図５】
2009279193.tif 000007