(57)【要約】【課題】医療行為後に、できる限りユーザの手間をかけず医療行為の動画像の編集が行え、医療行為の動画像を扱い易い状態にすること。【解決手段】医療現場における術者の医療行為を記録する医療行為記録システムを、医療行為を行う術者１の処置を撮影するカメラ１１と、上記カメラ１１で撮影された医療行為の動画像と共に、外部からの指示に応じて所定の補助情報を記録するよう構成された記録部１２と、術者１と該術者を補助する補助者２との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出部１３と、上記検出部１３の検出した結果に基づいて上記補助情報を作成し、その補助情報の記録を上記記録部１２に指示する制御部１４とから構成する。【選択図】      図１
2005348797.tif 000002
【特許請求の範囲】
【請求項１】
医療現場における術者の医療行為を記録する医療行為記録システムにおいて、
医療行為を行う術者の処置を撮影するカメラと、
上記カメラで撮影された医療行為の時系列画像群と共に、外部からの指示に応じて所定の補助情報を記録するよう構成された記録手段と、
術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、
上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報の記録を上記記録手段に指示する制御手段と、
を具備することを特徴とする医療行為記録システム。
【請求項２】
上記医療現場における医療行為は、手術室における手術作業であることを特徴とする請求項１に記載の医療行為記録システム。
【請求項３】
上記検出手段は、上記術者の処置を撮影するカメラとは別の少なくとも１台のカメラを含むことを特徴とする請求項１に記載の医療行為記録システム。
【請求項４】
上記検出手段は、術者が医療行為に使用する医療器具に関わる状態の変化を検出することを特徴とする請求項１に記載の医療行為記録システム。
【請求項５】
上記検出手段は、術者と補助者との間の術者又は補助者の手の動きに関わる状態の変化を検出することを特徴とする請求項１に記載の医療行為記録システム。
【請求項６】
上記検出手段は、術者が医療行為に使用する医療器具に関わる状態の変化、及び、術者と補助者との間の術者又は補助者の手の動きに関わる状態の変化を検出することを特徴とする請求項１に記載の医療行為記録システム。
【請求項７】
上記制御手段は、
上記検出手段の検出した結果に基づいて、術者の行った処置の種類を判定する判断手段と、
上記判断手段の判断結果に基づいて補助情報を作成し、その補助情報の記録を上記記録手段に指示する主制御手段と、
を有することを特徴とする請求項１に記載の医療行為記録システム。
【請求項８】
上記判断手段は、術者あるいは補助者が行った医療行為の種類を予測して危険性を判断する危険性判断手段を有することを特徴とする請求項７に記載の医療行為記録システム。
【請求項９】
医療現場における術者の医療行為を記録する医療行為記録装置において、
医療行為を行う術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、
上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報を、上記術者の処置を撮影して得られた時系列画像群に関連付けて記録する記録手段と、
を具備することを特徴とする医療行為記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療現場における術者の医療行為を記録する医療行為記録システム及び医療行為記録装置に関する。
【背景技術】
【０００２】
近年、医療分野において、画像が利用される機会が増加している。例えば、手術室の中では、顕微鏡画像や内視鏡画像が記録され、手術後の検討、教育などに使用されている。あるいは、手術室で患部を処置している動画像（映像）をビデオレコーダで全て記録する試みも始まっている。
【０００３】
具体的には、非特許文献１では、鉗子等の手術処置具にセンサを取り付けて手術時の処置具の位置姿勢を測定し、その位置姿勢情報も術野の画像、音声と共に記録している。
【０００４】
また、非特許文献２に開示されているように、モニタリング情報、術野映像などを同一時間軸で統合して記録する試みがなされている。
【０００５】
手術時に記録された動画像は、術後に編集を加えられ、手術記録として医師の症例検討などでも必須のものとなっている。また、近年増加する医療過誤に関する問題に関連して、手術を受けた患者に対し、医師による処置が妥当であったことを証明するため、希望により公開する病院も増えつつある。あるいは、経験の浅い医師が術式を学び、手術手技を向上させるための資料としても非常に有用である。
【非特許文献１】「サージェリーレコーディングシステムの提案と試作」、生田幸士他、J JSCAS、vol.4、no.2、2002
【非特許文献２】「手術イベントレコーダの開発」、苗村潔他、J JSCAS、vol.3、no.3、2001
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように動画像を撮影後に利用するためには、その長時間にわたる動画像の編集を行わなければならない。しかしながら、現状ではこの作業を手作業で、つまり、執刀した医師（術者）を含む手術に関わるスタッフ（補助者）が、編集装置により一々動画像をチェックしながら行っており、多大な時間とコストがかかっている。そのため、手術中に手術スタッフにより、動画像の重要部分にタグ付けして利用時の手間を省く方法が考えられているが、手動によるタグ付け時に手間がかかり煩雑である。
【０００７】
同時に、医療行為の記録という観点から、医療処置、例えば手術室内における医師の医療行為の記録は、人手により行われている。これらの記録を自動化したいという要求がある。
【０００８】
また、上述のようにビデオ画像に対する知的処理の研究が進んでいる。
【０００９】
上記非特許文献２では、手術室内に分散しているモニタ、映像情報を一箇所に集めることで、手術関連情報のデータ集約、時系列を統一して記録している。しかしながら、情報が時系列に沿って統合されているのみであり、術者がどの時点でどのような処置を行ったかはわからない。このため、術後に利用する場合にも、重要な部分の判別に時間がかかる。
【００１０】
また、上記非特許文献１では、画像を記録する際に、鉗子等の手術処置具の位置姿勢情報を時系列で記録することで、その処置具操作の技量をデータ化し、さらに術者の視覚情報と音声情報からのコメントを追加して記録するようにしている。しかしながら、この方法によった場合、術者のみの行為である処置具操作の位置姿勢情報だけが、その術者の行為を検出する手段になっており、情報量が限られ、複雑な特徴は抽出できない。また、術者が行っている、まさにその時点での位置姿勢情報が記録されているため、ある時点までの鉗子の移動記録に基づき、次の時点での危険性をリアルタイムに予測するなどの処理は不可能である。
【００１１】
本発明は、上記の点に鑑みてなされたもので、医療行為後に、できる限りユーザの手間をかけず医療行為の動画像の編集が行え、医療行為の動画像を扱い易い状態にする医療行為記録システム及び医療行為記録装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の医療行為記録システムの一態様は、医療現場における術者の医療行為を記録する医療行為記録システムにおいて、
医療行為を行う術者の処置を撮影するカメラと、
上記カメラで撮影された医療行為の時系列画像群（動画像）と共に、外部からの指示に応じて所定の補助情報を記録するよう構成された記録手段と、
術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、
上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報の記録を上記記録手段に指示する制御手段と、
を具備することを特徴とする。
【００１３】
また、本発明の医療行為記録装置の一の態様は、医療現場における術者の医療行為を記録する医療行為記録装置において、
医療行為を行う術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、
上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報を、上記術者の処置を撮影して得られた時系列画像群に関連付けて記録する記録手段と、
を具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、医療行為後に、できる限りユーザの手間をかけず医療行為の時系列画像群の編集が行えるように、術者と補助者を含む領域内の状態変化に基づいて補助情報を作成し、それをインデックスとして医療行為の時系列画像群に対し半自動的にタグ付けすることにより、医療行為の時系列画像群を扱い易い状態にすることが可能な医療行為記録システム及び医療行為記録装置を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１６】
［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る医療行為記録システムの構成を示す図である。
【００１７】
本実施形態に係る医療行為記録システムは、医療現場における術者の医療行為、例えば手術室における手術作業を記録するものである。この医療行為記録システムは、医療行為を行う術者１（医師）の処置を撮影するカメラ１１と、このカメラ１１で撮影された医療行為の動画像と共に、外部からの指示に応じて所定の補助情報を記録するよう構成された記録部１２（ビデオテープレコーダ，ハードディスクレコーダ，又はＤＶＤレコーダ）と、上記術者１と該術者を補助する補助者２（看護師等の手術スタッフ）との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出部１３と、この検出部１３の検出した結果に基づいて上記補助情報を作成し、その補助情報の記録を上記記録部１２に指示する制御部１４と、から構成される。
【００１８】
なおここで、カメラ１１で撮影された動画像は、時系列に取得された画像間の間隔がより疎である、あるいは不定期であるような時系列画像群であっても良い。
【００１９】
このような医療行為記録システムでは、図２（Ａ）に示された処理手続きに従い処理が行われる。
【００２０】
即ち、まず、医療行為を行う術者１の処置を撮影するカメラ１１により、術者１が行う医療行為が撮影され、その撮影された動画像が記録部１２に送信されて記録される（ステップＳ１０）。また、特に図示はしていないが、手術用顕微鏡で得られた画像も記録しても良い。この場合、カメラ動画像と手術用顕微鏡画像とは同一のタイムチャートにより記録部１２に記録されるが、トリガとなる同期信号をそれぞれの情報に付加すれば、時間の記録が付いていなくても構わない。
【００２１】
次に、術者１と補助者２との間を検出領域に含み当該領域内の状態の変化を検出する検出部１３により、術者１と補助者２との間の状態の変化３が検出され、その検出結果が検出情報として制御部１４に送信される（ステップＳ２０）。
【００２２】
制御部１４は、この検出情報を受信し、その検出情報に基づいて、検出可能な補助情報を作成する（ステップＳ３０）。そして、その作成した補助情報の記録を記録部１２に指示する（ステップＳ４０）。
【００２３】
以下、具体的な実現方法について説明する。
【００２４】
手術一般を考えた場合、術中の患者４への処置は、主に術者１が行い、その際には処置具５を用いる。手術室内の滅菌環境の関係から、図２（Ｂ）に示すように、通常、術者１及び補助者２は滅菌された手術着６及び手袋７を着用し、また処置具５は滅菌された布ドレープ（処置具置き場８）の上に置かれている。通常、これら手術着６，手袋７，及び処置具置き場８はそれぞれ所定の色（手術着６は青色、手袋７は肌色、処置具置き場８は緑色、等）をしており、そのため、後述の色情報による画像抽出処理などを容易に行うことができる。
【００２５】
処置具５は術者１が直接、処置具置き場８より選択するか、あるいは術者１が補助者２に指示を出し、補助者２より術者１に受け渡される。本実施形態では、この点に注目し、処置具５及び処置具を取り巻く処置具置き場８、術者１及び処置具出しを行う補助者２の手の動きに注目し、画像で記録した術者１と補助者２との間の領域から画像処理により、手の動き及び処置具５に関する状態の変化３を検出するようにしている。
【００２６】
即ち、処置具５は処置具置き場８に整列されているものとしたとき、処置具５をめぐり術者１及び補助者２が行う手順は、例外は考えられるが、次の手順が大きな割合を占める。
【００２７】
手順１．術者１が必要な処置具５を口頭で指示する。
【００２８】
手順２．補助者２が適切な処置具５を処置具置き場８から選択する。
【００２９】
手順３．補助者２が術者１に処置具５を渡す。
【００３０】
手順４．渡された処置具５で術者１が処置を行う。
【００３１】
手順５．処置具５を補助者２に返却し、１．に戻る。
【００３２】
術者１と補助者２の間を記録した画像から術者１の処置を推定するには、これら手順１．〜手順５．の流れの中で、上記手順３．〜手順５．の間に術者１が処置具５を持っている、即ち術者１による処置が行われていることを特定すれば良い。処置が行われていることを判定するには上記手順３．及び手順５．が行われたことを判定すれば良い。
【００３３】
これらの判定のために、本医療行為記録システムでは、検出部１３をカメラ１３１及び状態変化検出装置１３２で構成し、まず、カメラ１３１によって、術者１と補助者２との間の検出領域を撮影する。状態変化検出装置１３２では、そのカメラ１３１によって撮影された検出領域の動画像から、処置具５、術者１及び補助者２の手、処置具置き場８などの状態の変化３を検出し、検出情報を制御部１４に送信する。そして、制御部１４は、その検出情報から、処置具５が上記手順１．から手順５．の何れの状況にあるかを推定し、処置が行われたとき、つまり上記手順３．又は手順５．が行われたときに、検出可能な補助情報を作成する。
【００３４】
本実施形態では、検出可能な補助情報を上記のような手続きにより作成している。以下、これらのアルゴリズムの詳細を説明する。
【００３５】
上記ステップＳ２０では、具体的には、図３に示すようなアルゴリズムに基づき、状態の変化が検出される。
【００３６】
即ち、まず、検出部１３のカメラ１３１により術者１と補助者２の間が撮影され、この撮影した動画像が状態変化検出装置１３２に入力される（ステップＳ２０１）。
【００３７】
状態変化検出装置１３２は、入力された現フレーム画像に対し、ステップＳ２０２〜Ｓ２０５において手が存在すると思われる領域（以下、手領域と称する）の重心位置の抽出を、またステップＳ２０６〜Ｓ２０９において処置具置き場領域の抽出を行う。なおここで、状態変化検出装置１３２は、複数のプロセッサを備え、これらステップＳ２０２〜Ｓ２０５の処理とステップＳ２０６〜Ｓ２０９の処理とを並列に実行することが、処理の高速化の上では好ましい。なお、当然、ステップＳ２０２〜Ｓ２０５の処理とステップＳ２０６〜Ｓ２０９の処理は、並列でなく逐次処理しても構わない。
【００３８】
また、検出部１３の構成要素としてのカメラ１３１は１台ではなく、複数台あっても良い。複数のカメラを備える場合には、遮蔽による検出率の低下を抑え、より的確に検出を行うことができる。
【００３９】
手領域の重心位置の検出処理においては、入力画像に対するエッジ情報に基づくセグメンテーション（ステップＳ２０２）をベースとして、色情報により判別する処理（ステップＳ２０３）を行うことにより、まず、手領域の判別を行う。具体的には、次の手順による。
【００４０】
即ち、ステップＳ２０３のセグメンテーションにおいては、例えば、入力された現フレーム画像に、図２（Ｃ）に示すような縦方向の直線あるいは曲線に感度のあるエッジ抽出フィルタをかけ、また、図２（Ｄ）に示すような横方向の直線あるいは曲線に感度のあるエッジ抽出フィルタをかけ、それぞれで得られたエッジを統合して領域の境界線を構成し、それらの境界線で囲まれる領域に分割する方法で、領域分割すれば良い。
【００４１】
このようなセグメンテーションの後、ステップＳ２０３において、現フレーム画像に対して色情報に基づく判別のためのヒストグラムを作成する。まず、取得した現フレーム画像に対し、ＲＧＢから以下の変換式によりｒ−ｇ空間への変換を行う。
【００４２】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ），  ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）
この変換により、手術室内での照明変化により明度の変化がおきた場合にも対応可能となっている。
【００４３】
そして、変換されたｒとｇに関して２次元のｒ−ｇヒストグラムを作成し、処置を行う術者１の手（着用した手袋７）の色を指定し、その色（この場合は肌色）を持つオブジェクトのみ抽出する。例えば、図４（Ａ）に示すように、ｒ−ｇ平面をいくつかに分割し、あらかじめ指定された手領域７１のみを残し、その他は画素値を持たない画像を作成すれば、手（手袋７）のみをオブジェクトとして抽出した画像が作成される。あるいは、一般的に知られているｋ−ＮＮ（k nearest neighbor）法を用いて、図４（Ｂ）のように手領域７２を規定しても良い。
【００４４】
こうしてセグメンテーションを行った画像に対し色ヒストグラム処理を行った結果を使用して、分割された領域のうち指定色が一定以上の画素を占める領域を判定することで、指定色の領域を確定する（ステップＳ２０４）。
【００４５】
次に、その確定した手領域に対して重心を求め、それら重心位置を現フレーム手領域情報として、該状態変化検出装置１３２内に設けた不図示の記録装置に記録しておく（ステップＳ２０５）。なお、手領域の重心の計算には、各画素の座標値に対して加重平均を用いれば良い。
【００４６】
同様に、処置具置き場８の重心位置の検出処理においても、入力画像に対するエッジ情報に基づくセグメンテーション（ステップＳ２０６）をベースとして、色情報により判別する処理（ステップＳ２０７）を行うことにより、まず、処置具置き場領域の判別を行う。但し、色情報により判別する処理では、背景色として大きな位置を占めるドレープ・布ドレープ（処置具置き場８）の色を指定し、その色（緑色）を持つオブジェクトのみ抽出することとなる。例えば、図４（Ａ）に示すように、ｒ−ｇ平面をいくつかに分割し、あらかじめ指定された処置具置き場８に対応する色の領域（処置具置き場領域８１）のみ残し、その他は画素値を持たない画像を作成すれば、処置具置き場８のみをオブジェクトとして抽出した画像が作成される。あるいは、ｋ−ＮＮ法を用いて、図４（Ｂ）のように処置具置き場領域８２を規定しても良い。
【００４７】
こうしてセグメンテーションを行った画像に対し色ヒストグラム処理を行った結果を使用して、分割された領域のうち指定色が一定以上の画素を占める領域を判定することで、指定色の領域を確定する（ステップＳ２０８）。そして、この確定した処置具置き場領域に対して位置情報を計算し、これを現フレーム処置具置き場領域情報として、不図示の記録装置に記録しておく（ステップＳ２０９）。
【００４８】
次に、これまで計算し不図示の記録装置に記録してある現フレーム及び前フレームの手領域情報及び処置具置き場領域情報を使用して、現フレームの手領域情報及び処置具置き場領域情報を前フレームの手領域情報及び処置具置き場領域情報と比較し、「処置具置き場領域に前フレームからの変化があり、かつ、処置具置き場領域に手領域重心の出入りがあり、かつ、手領域重心が一定量以上変化」したか否かを判定する（ステップＳ２１０）。ここで、処置具置き場領域に変化があり、かつ、処置具置き場領域に前フレームからの変化があり、かつ術者１及び補助者２の手が一定量以上動いていると判定されれば、補助者２が処置具置き場から処置具５を手に取って術者１に渡す動作を開始した可能性が高い。つまり、この動作から一定時刻後に術者１が処置を行うことを推定するきっかけが検出可能となる。この場合には、処置が行われると推定し、状態変化検出装置１３２は、検出情報を制御部１４に送信する。
【００４９】
上記ステップＳ３０において上記検出情報を受信した制御部１４が行う処理手続きを図４（Ｃ）に示す。
【００５０】
即ち、制御部１４は、上記検出部１３の状態変化検出装置１３２より検出情報を受信し（ステップＳ３０１）、その受信した検出情報に基づき、検出可能な補助情報を作成する（ステップＳ３０２）。その後、上記記録部１２に対し、記録されたカメラ動画像及び／又は手術用顕微鏡画像にその作成した検出可能な補助情報を付与することを指示する（ステップＳ３０３）。
【００５１】
あるいは、制御部１４は、図４（Ｄ）に示すような処理手続きを実行しても良い。
【００５２】
即ち、上記検出部１３の状態変化検出装置１３２より検出情報を受信し（ステップＳ３０１）、その受信した検出情報に基づき、検出可能な補助情報を作成する（ステップＳ３０２）。そしてその後、上記記録部１２に対し、カメラ動画像及び／又は手術用顕微鏡画像と対応が付いた検出可能な補助情報テーブル作成を指示する（ステップＳ３０４）。
【００５３】
上記のようにして、制御部１４が記録部１２に記録されたカメラ動画像及び／又は手術用顕微鏡画像と関連した検出可能な補助情報の記録を指示する。これにより、図１（Ｂ）に示すように、手術中に、補助情報の記録が行われていく。即ち、インデックスとしてタグ付けされる。
【００５４】
そして、最終的に、手術終了後に、図１（Ｂ）に示すように、記録部１２中に記録された情報の中から、上記補助情報を付与されたフレーム付近の複数フレームを抽出して、補助情報と共にユーザに呈示すれば、長時間の手術記録画像から処置を行った付近の重要部分のみをユーザに呈示でき、ユーザが膨大な手術記録画像中から重要部分を検索する手間を省くことが可能となる。なお、同図において、画像Ａ，Ｂ，Ｃはそれぞれ処置内容の異なる画像であることを表している。例えば、Ａは骨の破砕処置を行っている画像、Ｂは切開処置を行っている画像、Ｃは腫瘍摘出処置を行っている画像である。
【００５５】
さらに、長時間の手術記録画像を、処置を行った付近の重要部分のみ圧縮率を低く、その他の重要度の低い部分は圧縮率を高くして、圧縮記録すれば、長時間記録された画像情報に対し、意味内容の上から記録情報の圧縮が可能となる。
【００５６】
以上のように、本実施形態によれば、手術中にいつ処置動作を行ったかが、術者１と補助者２の間を撮影した動画像に対する画像処理技術により自動的に記録でき、手術時に撮影したカメラ動画像（及び／又は手術用顕微鏡画像）の取り扱いが容易になる。なお、本実施形態は、処置の内容判別は行っていないが、ユーザは、図１（Ｂ）に示すように呈示された画像から、その処置内容を容易に知ることができる。
【００５７】
［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態は、必要により処置の内容判別も行って、補助情報としてその処置内容を示す情報も記録するものである。
【００５８】
そのため、本実施形態に係る医療行為記録システムにおいては、図５に示すように、制御部１４を、主制御部１４１と判断部１４２から構成する。ここで、判断部１４２は、上記検出部１３の検出した結果に基づいて術者１の行った処置の種類を判定するものであり、主制御部１４１は、この判断部１４２の判断結果に基づいて補助情報を作成し、その補助情報の記録を記録部１２に指示するものである。
【００５９】
なお、本実施形態においては、検出部１３の状態変化検出装置１３２からは、検出情報として、状態の変化３の検出結果に加えて、上記判断を実行するのに必要な情報、つまりカメラ１３１で撮影した画像（又はそれを加工した情報）を含むものとする。
【００６０】
本実施形態における全体の処理手続きを図６に示す。
【００６１】
即ち、まず、医療行為を行う術者１の処置を撮影するカメラ１１により、術者１が行う医療行為が撮影され、その撮影された動画像が記録部１２に送信されて記録される（ステップＳ１０）。また、特に図示はしていないが、手術用顕微鏡で得られた画像も記録しても良い。
【００６２】
なおここで、カメラ１１で撮影された動画像は、時系列に取得された画像間の間隔がより疎である、あるいは不定期であるような時系列画像群であっても良い。
【００６３】
次に、術者１と補助者２との間を検出領域に含み当該領域内の状態の変化を検出する検出部１３により、術者１と補助者２との間の状態の変化３が検出され、その検出結果とカメラ１３１の撮影画像とが検出情報として制御部１４に送信される（ステップＳ２１）。
【００６４】
制御部１４中の主制御部１４１は、この検出情報を受信する（ステップＳ３１）。そして、術者１の処置に関するより詳細な判断が必要か否かの判定を行う（ステップＳ３２）。これは、例えば、ユーザのモード選択による。
【００６５】
ここで、より詳細な判断が不要と判定した場合には、上記第１実施形態と同様に、主制御部１４１は、検出情報（状態の変化３の検出結果）に基づいた検出可能な補助情報を作成し（ステップＳ３３）、その作成した検出可能な補助情報の記録を記録部１２に指示する（ステップＳ４１）。
【００６６】
これに対して、より詳細な判断が必要と判定された場合には、まず、主制御部１４１は、上記受信した検出情報を判断部１４２に送信する（ステップＳ３４）。判断部１４２は、この主制御部１４１より受け取った検出情報に基づき、処置に関してより詳細な判断を行い（ステップＳ３５）、その判断結果を主制御部１４１に送信する（ステップＳ３６）。そして、主制御部１４１は、受け取った判断結果に基づき検出可能な補助情報を作成して（ステップＳ３７）、その作成した検出可能な補助情報の記録を上記記録部１２に指示する（ステップＳ４１）。
【００６７】
上記判断部１４２は、処置に関して、上記検出部１３の状態変化検出装置１３２よりも複雑な判断を行う。具体的には、例えば、図７（Ａ）に示すような手続きでも良い。
【００６８】
即ち、判断部１４２は、主制御部１４１より検出情報を受信し（ステップＳ３５１）、検出情報である術者１及び補助者２の手の動き及び処置具５の特徴により、処置の種類を判定する（ステップＳ３５２）。ここで、処置具５を扱う際の手の動きは処置具５毎に異なっており、処置具５に固有の手の動きを判断すれば、扱っている処置具５が推定可能となる。
【００６９】
処置具５毎に手の動きが異なっている様子を図８（Ａ）及び図８（Ｂ）に示す。図８（Ａ）は、骨を破壊するため手術で用いられる処置具５（手術用ドリル５１）の受け渡しを行っている様子を撮影したカメラ画像であり、図８（Ｂ）は、組織を凝固させるためのピンセット状の形状をした処置具５（凝固用ピンセット状器具５２）の受け渡しを行っている様子を撮影したカメラ画像である。
【００７０】
これによれば、手術用ドリル５１を持つ場合には、補助者２は左右両方の手で持ち、また、補助者２が術者１に凝固用ピンセット状器具５２を渡す場合には、補助者２が左手で持ち上げた器具を右手に持ち替え、更に術者１に渡すという方法を取っている。これらの動きは選択する処置具５により異なっている。また、一つの処置具５で行える処置は１〜数種類に限定されている場合が多く、このことから手の動きを特定することにより、補助者２が選択しようとしている処置具５が高い精度で推定できる。よって、処置具５が推定できることにより、術者１が次に行うであろう、切開、骨の除去、腫瘍の摘出、縫合などの医療行為が高い確率で推定できる。
【００７１】
判断部１４２が判断したこれら処置に関する詳細な情報を、第１実施形態で述べた検出可能な補助情報にさらに加えて付加すれば、図７（Ｂ）に示すように、長時間にわたり記録された手術処置画像の中から、特定の処置が行われた部分のみを指定することが可能となり、よりユーザのニーズを満たす情報の呈示が可能となる。
【００７２】
また、手術中に検出部１３によりリアルタイムに術者１と補助者２の間の状態の変化を検出すれば、処置具５の種類がより詳細に判別した後、術者１・補助者２間で受け渡しが行われ次に術者１が医療行為に用いる処置具５に関する危険情報を判断部１４２が判断し、この判断結果を制御部１４に送りさらに記録部１２或いは別途設けられた警告装置（図示せず）上に呈示することにより、使用する処置具５や医療行為に関する危険性をユーザに知らせることが可能となる。このような危険性の予測により、術者１はより安全な手術を行うことが可能となり、ひいては患者４にとってもより安全な手術を受けることが可能になる、という大きなメリットがある。
【００７３】
以上のように、本実施形態によれば、手術中に、いつ、どのような処置動作を行ったかが、術者１と補助者２の間を撮影した動画像に対する画像処理技術により自動的に記録でき、手術時に撮影したカメラ動画像（及び／又は手術用顕微鏡画像）の取り扱いが容易になる。
【００７４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７５】
例えば、上記実施形態では、カメラ１１で撮影した手術処置画像と補助情報とを同時に記録部１２に記録しているが、それに限定するものではない。即ち、手術中に、カメラ１１で撮影した手術処置画像と検出部１３中のカメラ１３１で撮影した検出領域の画像とを記録部１２に記録しておき、手術後に、制御部１４（主制御部１４１及び判断部１４２）及び検出部１３の状態変化検出装置１３２により、記録部１２に記録された上記検出領域の画像から上記のような補助情報を作成して、記録部１２に記録されている手術処置画像の対応位置に追記する、あるいは対応付けを記録したテーブルを記録させるようにしても構わない。
【００７６】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００７７】
（１）  医療現場における術者の医療行為を記録する医療行為記録システムにおいて、
医療行為を行う術者の処置を撮影するカメラと、
上記カメラで撮影された医療行為の時系列画像群と共に、外部からの指示に応じて所定の補助情報を記録するよう構成された記録手段と、
術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、
上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報の記録を上記記録手段に指示する制御手段と、
を具備することを特徴とする医療行為記録システム。
【００７８】
（対応する実施形態）
この（１）に記載の医療行為記録システムに関する実施形態は、第１及び第２実施形態が対応する。ここで、上記カメラはそれら第１及び第２実施形態ではカメラ１１が対応し、上記記録手段はそれら第１及び第２実施形態では記録部１２が対応し、上記検出手段はそれら第１及び第２実施形態では検出部１３が対応し、上記制御手段はそれら第１及び第２実施形態では制御部１４が対応する。
【００７９】
（作用効果）
この（１）に記載の医療行為記録システムによれば、長時間にわたる医療行為時の時系列画像群（動画像）に自動的にタグ付けが可能となり、医療行為後の画像の利用が非常に簡便になる。
【００８０】
（２）  上記医療現場における医療行為は、手術室における手術作業であることを特徴とする（１）に記載の医療行為記録システム。
【００８１】
（対応する実施形態）
この（２）に記載の医療行為記録システムに関する実施形態は、第１及び第２実施形態が対応する。
【００８２】
（作用効果）
この（２）に記載の医療行為記録システムによれば、特に長時間の記録が行われる可能性の高い手術室で使用した場合に、術後の時系列画像群（動画像）の管理が非常に簡便になり、大きな効果をもたらす。
【００８３】
（３）  上記検出手段は、上記術者の処置を撮影するカメラとは別の少なくとも１台のカメラを含むことを特徴とする（１）に記載の医療行為記録システム。
【００８４】
（対応する実施形態）
この（３）に記載の医療行為記録システムに関する実施形態は、第１及び第２実施形態が対応する。ここで、上記少なくとも１台のカメラはそれら第１及び第２実施形態ではカメラ１３１が対応する。
【００８５】
（作用効果）
この（３）に記載の医療行為記録システムによれば、検出手段としてカメラを用いるので、画像処理により状況に最適な情報をインデックスとしてタグ付けが可能となる。
【００８６】
複数のカメラを使用すれば、あるカメラで遮蔽が起こった部分にも他のカメラで対応が可能となる。また、複数のカメラによるチェックで、より多くの情報をタグ付け可能となり、更には、より精密なタグ付けが可能となる。
【００８７】
（４）  上記検出手段は、術者が医療行為に使用する医療器具に関わる状態の変化を検出することを特徴とする（１）に記載の医療行為記録システム。
【００８８】
（対応する実施形態）
この（４）に記載の医療行為記録システムに関する実施形態は、第１及び第２実施形態が対応する。ここで、上記医療器具はそれら第１及び第２実施形態では処置具５が対応する。
【００８９】
（作用効果）
この（４）に記載の医療行為記録システムによれば、処置具に関する状況の変化に着目することで、より多くの情報を画像処理により得られ、結果としてより詳細に、しかも確実に処置を推定可能となる。
【００９０】
（５）  上記検出手段は、術者と補助者との間の術者又は補助者の手の動きに関わる状態の変化を検出することを特徴とする（１）に記載の医療行為記録システム。
【００９１】
（対応する実施形態）
この（５）に記載の医療行為記録システムに関する実施形態は、第１及び第２実施形態が対応する。
【００９２】
（作用効果）
この（５）に記載の医療行為記録システムによれば、処置具ではなく手の動きに着目することで、処置具が抽出できない時に対応可能となる。また、より詳細で確実な推定ができる。
【００９３】
（６）  上記検出手段は、術者が医療行為に使用する医療器具に関わる状態の変化、及び、術者と補助者との間の術者又は補助者の手の動きに関わる状態の変化を検出することを特徴とする（１）に記載の医療行為記録システム。
【００９４】
（対応する実施形態）
この（６）に記載の医療行為記録システムに関する実施形態は、第１及び第２実施形態が対応する。
【００９５】
（作用効果）
この（６）に記載の医療行為記録システムによれば、処置具、手の動き双方を使用することにより情報量が増加し、より正確な推定が可能となる。
【００９６】
（７）  上記制御手段は、
上記検出手段の検出した結果に基づいて、術者の行った処置の種類を判定する判断手段と、
上記判断手段の判断結果に基づいて補助情報を作成し、その補助情報の記録を上記記録手段に指示する主制御手段と、
を有することを特徴とする（１）に記載の医療行為記録システム。
【００９７】
（対応する実施形態）
この（７）に記載の医療行為記録システムに関する実施形態は、第２実施形態が対応する。ここで、上記判断手段はその第２実施形態では判断部１４２が対応し、上記主制御手段はその第２実施形態では主制御部１４１が対応する。
【００９８】
（作用効果）
この（７）に記載の医療行為記録システムによれば、判断手段を持つことで、より高度な医療行為の判断が行える。
【００９９】
（８）  上記判断手段は、術者あるいは補助者が行った医療行為の種類を予測して危険性を判断する危険性判断手段を有することを特徴とする（７）に記載の医療行為記録システム。
【０１００】
（対応する実施形態）
この（８）に記載の医療行為記録システムに関する実施形態は、第２実施形態が対応する。
【０１０１】
（作用効果）
この（８）に記載の医療行為記録システムによれば、使用する処置具や医療行為に関する危険性をユーザに知らせることが可能となる。このような危険性の予測により、術者はより安全な手術を行うことが可能となり、ひいては患者にとってもより安全な手術を受けることが可能になる。
【０１０２】
（９）  医療現場における術者の医療行為を記録する医療行為記録装置において、
医療行為を行う術者と該術者を補助する補助者との間を検出領域に含み、当該検出領域内の状態の変化を検出する検出手段と、
上記検出手段の検出した結果に基づいて上記補助情報を作成し、その補助情報を、上記術者の処置を撮影して得られた時系列画像群に関連付けて記録する記録手段と、
を具備することを特徴とする医療行為記録装置。
【０１０３】
（対応する実施形態）
この（９）に記載の医療行為記録装置に関する実施形態は、第第１及び第２実施形態が対応する。ここで、上記検出手段はそれら第１及び第２実施形態では検出部１３が対応し、上記記録手段はそれら第１及び第２実施形態では記録部１２及び制御部１４が対応する。
【０１０４】
（作用効果）
この（９）に記載の医療行為記録装置によれば、長時間にわたる医療行為時の時系列画像群（動画像）に自動的にタグ付けが可能となり、医療行為後の画像の利用が非常に簡便になる。
【図面の簡単な説明】
【０１０５】
【図１】（Ａ）は本発明の第１実施形態に係る医療行為記録システムの構成を示す図であり、（Ｂ）は時間軸上の補助情報の記録位置を示す図である。
【図２】（Ａ）は第１実施形態に係る医療行為記録システム全体の処理動作のフローチャートを示す図、（Ｂ）は検出部のカメラが撮影した画像の例を示す図であり、（Ｃ）及び（Ｄ）はそれぞれセグメンテーション処理に用いられるエッジ抽出フィルタを示す図である。
【図３】検出部の状態変化検出装置の動作フローチャートを示す図である。
【図４】（Ａ）及び（Ｂ）はそれぞれｒ−ｇ平面での手領域の色と処置具置き場の色を示す図であり、（Ｃ）及び（Ｄ）はそれぞれ制御部の動作フローチャートを示す図である。
【図５】本発明の第２実施形態に係る医療行為記録システムの構成を示す図である。
【図６】第２実施形態に係る医療行為記録システム全体の処理動作のフローチャートを示す図である。
【図７】（Ａ）は判断部の動作フローチャートを示す図であり、（Ｂ）は時間軸上の補助情報の記録位置とそのときの処置内容とを示す図である。
【図８】（Ａ）は手術用ドリルの受け渡しを行っている様子を撮影した一連のカメラ画像を示す図であり、（Ｂ）は凝固用ピンセット状器具の受け渡しを行っている様子を撮影した一連のカメラ画像を示す図である。
【符号の説明】
【０１０６】
１…術者、  ２…補助者、  ３…状態の変化、  ４…患者、  ５…処置具、  ６…手術着、  ７…手袋、  ８…処置具置き場、  １１，１３１…カメラ、  １２…記録部、  １３…検出部、  １４…制御部、  ５１…手術用ドリル、  ５２…凝固用ピンセット状器具、  ７１，７２…手領域、  ８１，８２…処置具置き場領域、  １３２…状態変化検出装置、  １４１…主制御部、  １４２…判断部。
【図１】
2005348797.tif 000003
【図２】
2005348797.tif 000004
【図３】
2005348797.tif 000005
【図４】
2005348797.tif 000006
【図５】
2005348797.tif 000007
【図６】
2005348797.tif 000008
【図７】
2005348797.tif 000009
【図８】
2005348797.tif 000010