(57)【要約】【課題】  医療現場を撮影して得た映像に映るスタッフを誰であるか識別でき、以て誰がどのような行為をしていたのか視覚的に把握することのできる技術を提供する。【解決手段】  医療現場内のスタッフに予め装着させておいた信号発信体が発信する信号に基づき、この信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別し、前記計測された前記信号発信体の位置に基づき、前記信号発信体の映像上での位置を計算し、前記計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて表示させる。【選択図】      図１
2008269238.tif 000002
【特許請求の範囲】
【請求項１】
医療現場を撮影する撮影手段と、
前記撮影手段で撮影された映像を表示する表示手段と、
医療現場内のスタッフに装着される信号発信体と、
前記信号発信体が発信する信号に基づき、前記信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別する発信体計測手段と、
前記発信体計測手段で計測された前記信号発信体の位置に基づき、前記信号発信体の前記映像上での位置を計算する映像上位置計算手段と、
前記映像上位置計算手段で計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて前記表示手段に表示させる識別表示制御手段と、
を備えること、
を特徴とする医療現場表示システム。
【請求項２】
前記信号発信体は、
装着しているスタッフの識別符号を記憶し、記憶している識別符号を発信し、
前記発信体計測手段は、
前記信号発信体から発信された前記識別符号を受信することによりその信号発信体を装着しているスタッフを識別すること、
を特徴とする請求項１記載の医療現場表示システム。
【請求項３】
前記信号発信体は、
記憶している識別符号と同一の符号を受信したときに信号を発信し、
前記発信体計測手段は、
前記識別符号を発信して、一の信号発信体がこの識別符号に呼応して発信した信号を受信することによりその信号発信体を識別しつつその位置を計測すること、
を特徴とする請求項２記載の医療現場表示システム。
【請求項４】
前記撮影手段に映るように医療現場に設置され、前記発信体計測手段で位置の計測が可能なマーカをさらに備え、
前記映像上位置計算手段は、
前記マーカの前記発信体計測手段により計測された位置と前記映像内の位置との関係に基づき、前記信号発信体の位置を前記発信体計測手段の計測座標系から前記映像の映像座標系に変換する計算を行うこと、
を特徴とする請求項１記載の医療現場表示システム。
【請求項５】
前記識別表示制御手段は、
前記信号発信体が発信した前記スタッフの識別符号を含む、前記信号発信体が装着されたスタッフを識別する情報を記憶するスタッフデータベースを含むこと、
を特徴とする請求項１記載の医療現場表示システム。
【請求項６】
医療現場を撮影した映像、医療現場に存在したスタッフを識別する情報、及びそのスタッフの映像内での位置を特定する情報を、時系列で記憶する医療現場情報記憶手段と、
前記映像と前記スタッフの映像内での位置に基づき、前記スタッフの画像を抽出し、抽出した画像の形状変化から前記スタッフの個々の動き量を時系列で計測する動き量計測手段と、
を備えること、
を特徴とする医療現場分析システム。
【請求項７】
前記動き量計測手段は、
前記映像内に関心領域を設定する関心領域設定手段を含み、
前記関心領域内に前記信号発信体が含まれている間の前記スタッフの動き量を計測すること、
を特徴とする請求項６記載の医療現場分析システム。
【請求項８】
前記動き量の閾値を予め記憶する閾値記憶手段と、
前記計測手段が計測した前記動き量と前記閾値とを比較する閾値比較手段と、
前記比較手段の比較により、前記動き量が前記閾値を上回ると、その上回った動き量が計測された時刻を記憶するキューインデックス記憶手段と、
をさらに備えること、
を特徴とする請求項６記載の医療現場分析システム。
【請求項９】
医療現場内のスタッフ毎に前記動き量が前記閾値を上回った時刻に対応してキューマークを表示させ、オペレータにより指定されたキューマークに対応する時刻から前記映像を表示させる頭出し表示制御手段をさらに備えること、
を特徴とする請求項８記載の医療現場分析システム。
【請求項１０】
前記頭出し表示制御手段は、
各スタッフの動き量の合算を時系列的にさらに表示させること、
を特徴とする請求項９記載の医療現場分析システム。
【請求項１１】
撮影手段で医療現場を撮影した映像を記録し、表示手段に表示する医療現場表示方法であって、
医療現場内のスタッフに予め装着させておいた信号発信体が発信する信号に基づき、この信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別し、
前記計測された前記信号発信体の位置に基づき、前記信号発信体の前記映像上での位置を計算し、
前記計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて表示させること、
を特徴とする医療現場表示方法。
【請求項１２】
前記信号発信体は、装着しているスタッフの識別符号を記憶し、記憶している識別符号を発信し、
前記計測では、前記信号発信体から発信された前記識別符号を受信することによりその信号発信体を装着しているスタッフを識別すること、
を特徴とする請求項１１記載の医療現場表示方法。
【請求項１３】
前記信号発信体は、記憶している識別符号と同一の符号を受信したときに信号を発信し、
前記計測では、識別符号を発信して、一の信号発信体がこの識別符号に呼応して発信した信号を受信することによりその信号発信体を識別しつつその位置を計測すること、
を特徴とする請求項１２記載の医療現場表示方法。
【請求項１４】
位置の計測が可能なマーカを前記撮影手段に映るように医療現場に設置しておき、
前記計算では、前記マーカの前記計測された位置と映像内の位置との関係に基づき、前記信号発信体の位置を計測座標系から映像の映像座標系に変換する計算を行うこと、
を特徴とする請求項１１記載の医療現場表示方法。
【請求項１５】
前記信号発信体が発信した前記スタッフの識別符号を含む、前記信号発信体が装着されたスタッフを識別する情報を記憶するスタッフデータベースを参照して、前記スタッフを識別する情報を重ね合わせ表示すること、
を特徴とする請求項１１記載の医療現場表示方法。
【請求項１６】
医療現場を撮影した映像、医療現場に存在したスタッフを識別する情報、及びそのスタッフの映像内での位置を特定する情報を、時系列で記憶した分析システムの医療現場分析方法であって、
前記映像と前記スタッフの映像内での位置に基づき、前記スタッフの画像を抽出し、抽出した画像の形状変化から前記スタッフの個々の動き量を時系列で計測すること、
を特徴とする医療現場分析方法。
【請求項１７】
前記動き量の計測では、
前記映像内に関心領域が設定され、
前記関心領域内に前記信号発信体が含まれている間の前記スタッフの動き量を計測すること、
を特徴とする請求項１６記載の医療現場分析方法。
【請求項１８】
前記動き量の閾値を予め記憶しておき、
計測した前記動き量と前記閾値とを比較し、前記動き量が前記閾値を上回ると、その上回った動き量が計測された時刻を記憶しておくこと、
を特徴とする請求項１６記載の医療現場分析方法。
【請求項１９】
医療現場内のスタッフ毎に前記動き量が前記閾値を上回った時刻に対応してキューマークを表示させ、
キューマークの指定を受け付けると、指定されたキューマークに対応する時刻から前記映像を表示させること、
を特徴とする請求項１８記載の医療現場分析方法。
【請求項２０】
各スタッフの動き量の合算を時系列上にさらに表示させること、
を特徴とする請求項１９記載の医療現場分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療現場を記録して映像表示する技術に関する。
【背景技術】
【０００２】
一般に、医療行為全体を事後に確認・検証し、最適な手順を構築するために、医療現場をビデオカメラで撮影しておくことが多い。医療行為の確認・検証では、この医療現場の映像を閲覧して医療事故に繋がる事象の発生を確認し、その事故に繋がりかねない行為を行った者の詳細な手術記録を検証する。
【０００３】
しかし、医療現場では各スタッフが統一的な服装をし、マスクやゴーグルで顔を覆っているため、事象の発生及びスタッフの動きの詳細を確認及び検証することはできても、その動きを行っているものが誰であるか分かりづらいといった面があった。医療事故に繋がりうる危険性を孕んだ行為は個人の些細な行動であることが多く、医療現場をやみくもに撮影してもスタッフを識別し、それぞれの行為を分析しなければ見落としてしまう。
【０００４】
そのため、例えば、個々のスタッフの動きを加速度センサ等を用いて記録しておくという技術も提示されている（例えば「特許文献１参照」。）。この動きの量を追っていくことで何らの事象が発生したことを確認することはできても、その動きがどのような行為を意味しているのかを把握しづらく、その事象に繋がる行為やその事象への対処の具体的な様子は映像に頼らざるを得ない。
【０００５】
【特許文献１】特開２００４−２８０４５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、医療現場を撮影して得た映像に映るスタッフを誰であるか識別でき、以て誰がどのような行為をしていたのか視覚的に把握することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するための請求項１記載の本発明は、医療現場を撮影する撮影手段と、前記撮影手段で撮影された映像を表示する表示手段と、医療現場内のスタッフに装着される信号発信体と、前記信号発信体が発信する信号に基づき、前記信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別する発信体計測手段と、前記発信体計測手段で計測された前記信号発信体の位置に基づき、前記信号発信体の前記映像上での位置を計算する映像上位置計算手段と、前記映像上位置計算手段で計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて前記表示手段に表示させる識別表示制御手段と、を備えること、を特徴とする。
【０００８】
上記課題を解決するための請求項６記載の本発明は、医療現場を撮影した映像、医療現場に存在したスタッフを識別する情報、及びそのスタッフの映像内での位置を特定する情報を、時系列で記憶する医療現場情報記憶手段と、前記映像と前記スタッフの映像内での位置に基づき、前記スタッフの画像を抽出し、抽出した画像の形状変化から前記スタッフの個々の動き量を時系列で計測する動き量計測手段と、を備えること、を特徴とする。
【０００９】
上記課題を解決するための請求項１１記載の本発明は、撮影手段で撮影した医療現場を記録して表示手段に表示する医療現場表示方法であって、医療現場内のスタッフに予め装着させておいた信号発信体が発信する信号に基づき、この信号発信体の位置を計測すると共にその信号発信体を装着したスタッフを識別し、前記計測された前記信号発信体の位置に基づき、前記信号発信体の映像上での位置を計算し、前記計算された位置に対応させて前記信号発信体が装着された前記スタッフを識別する情報を前記映像に重ね合わせて表示させること、を特徴とする。
【００１０】
上記課題を解決するための請求項１６記載の本発明は、医療現場を撮影した映像、医療現場に存在したスタッフを識別する情報、及びそのスタッフの映像内での位置を特定する情報を、時系列で記憶した分析システムの医療現場分析方法であって、前記映像と前記スタッフの映像内での位置に基づき、前記スタッフの画像を抽出し、抽出した画像の形状変化から前記スタッフの個々の動き量を時系列で計測すること、を特徴とする。
【００１１】
請求項１及び請求項１１の発明では、この前記信号発信体は、個体毎に予め識別符号を記憶し、記憶している識別符号と同一の符号を受信したときに信号を発信し、前記計測では、識別符号を発信して、一の信号発信体がこの識別符号に呼応して発信した信号を受信することによりその信号発信体を識別しつつその位置を計測するようにしてもよい。
【００１２】
請求項６及び請求項１６の発明では、前記動き量の計測では、前記映像内に関心領域が設定され、前記関心領域内に前記信号発信体が含まれている間の前記スタッフの動き量を計測するようにしてもよい。
【発明の効果】
【００１３】
請求項１及び請求項１１の発明によれば、映像上でスタッフを個々に識別することができ、スタッフ毎にそのスタッフが誰でどのような行為をしたのかの映像分析を行い易くなる。
【００１４】
請求項６及び請求項１６の発明によれば、医療現場で事故に繋がりうる何らかの事象が発生した場合、緊急の対処を行うためにスタッフの動きは激しくなるため、映像記録の中から動きの量を計測することで、映像上のどの時間帯を重点的に検証すればよいか把握しやすくなり、効率的に映像分析を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る医療現場表示及び医療現場分析の好適な各実施形態について、図面を参照しながら具体的に説明する。
【００１６】
図１は、医療現場を記録して表示する医療現場表示システム１の機能構成を示す図である。
【００１７】
医療現場表示システム１は、手術室等の医療現場を映像によって記録するとともに、医療現場のスタッフが誰であるかをその存在位置と共に識別し、記録した映像上で医療現場内のスタッフを識別表示するシステムである。医療現場を映像によって再現して医療の質及び安全向上に関わる分析等を行うために用いられる。
【００１８】
この医療現場表示システム１は、撮影装置２と、識別部３と、位置計測部４と、映像加工装置５と、表示装置６と、入力装置７とにより構成されている。撮影装置２と識別部３と位置計測部４と入力装置７は、映像加工装置５に対して信号入力が可能に接続されている。映像加工装置５は、表示装置６に対しては信号入力が可能に接続されている。
【００１９】
撮影装置２は、医療現場に設置されており、医療現場の映像を撮影する。撮影装置２は、複数台設置される場合もある。この撮影装置２は、例えばビデオカメラである。識別部３は、医療現場内に存在するスタッフが誰であるかを識別する。位置計測部４は、識別部３でその存在が確認されたスタッフの位置座標を識別部３の設置位置を原点とした計測系で計測する。映像加工装置５は、位置計測部４で計測された位置が映像上のどの画素に対応するか計算し、識別部３で識別されたスタッフのスタッフ識別情報をこの計算された画素に対応させて重ね合わせた映像を生成して表示装置６に表示させる。表示装置６は、液晶ディスプレイやＣＲＴディスプレイ等のモニタである。入力装置７は、映像加工装置５に対して操作信号を入力するキーボードやマウスである。
【００２０】
図２は、識別部３と位置計測部４の構成の具体例を示すブロック図である。
【００２１】
識別部３は、ＲＦタグ２１と無線送受信部２２とから構成される。位置計測部４は、超音波発振器３１と超音波センサ３２と計測系位置計算部３３とから構成される。
【００２２】
ＲＦタグ２１と超音波発信器３１とは、信号発信体８１に内蔵されている。信号発信体８１は、スタッフに装着されている。無線送受信部２２と超音波センサ３２と計測系位置計算部３３は、発信体計測装置８２に内蔵される。この発信体計測装置８２は、さらに制御信号発信部８３を備える。発信体計測装置８２は、医療現場内に設置される。
【００２３】
ＲＦタグ２１は、ＩＣチップとアンテナを含み構成される。ＩＣチップには、信号発信体８１を装着しているスタッフの識別符号が予め記憶されている。スタッフの識別符号は、スタッフ毎に一意に割り当てられたＩＤであり、スタッフ識別情報の一種である。ＲＦタグ２１は、外部から発せられた電波をアンテナで受信する。外部から電波を受信すると共振作用によってＩＣチップに供給される起電力が生じ、ＲＦタグ２１は、ＩＣチップが記憶しているスタッフの識別符号をアンテナを介して送信する。
【００２４】
また、ＲＦタグ２１は、外部からスタッフの識別符号が含まれた制御信号を受信し、受信したスタッフの識別符号がＩＣチップ内に記憶されていると、超音波発信器３１にトリガ信号を出力する。
【００２５】
無線送受信部２２は、アンテナを含み構成される。無線送受信部２２は、ＲＦタグ２１に起電力を生じさせる電波を発信し、またＲＦタグ２１から送信されたスタッフの識別符号を受信する。
【００２６】
識別部３では、ＲＦタグ２１から無線送受信部２２にスタッフの識別符号が送信されることにより、その識別符号で表されるスタッフが特定される。
【００２７】
制御信号発信部８３は、信号発信体８１に対して制御信号を送信する。制御信号には、位置計測するスタッフの識別符号が含まれる。制御信号発信部８３は、無線送受信部２２がスタッフの識別符号を受信すると、その受信を契機にこの受信したスタッフの識別符号を制御信号に含めて送信する。複数のスタッフの識別符号を受信していると、混信をさけるために所定間隔おいて順次制御信号に含めて送信する。
【００２８】
超音波発振器３１は、ＲＦタグ２１からのトリガ信号の入力を契機に超音波信号を外部へ発振する。
【００２９】
超音波センサ３２は、超音波発振器３１が発振した超音波信号を受信する。この超音波センサ３２は、所定距離離間して複数個が医療現場に設置されている。各超音波センサ３２は、設置された位置と信号発信体８１との距離関係によって位相差が異なった超音波を受信する。
【００３０】
計測系位置計算部３３は、各超音波センサ３２が受信した超音波の位相差から、超音波センサ３２を原点とした計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）で表された信号発信体８１の計測系位置情報を算出する。
【００３１】
位置計測部４は、存在が確認されたスタッフが装着している信号発信体８１にそれが記憶しているスタッフの識別符号を送信することで、その信号発信体８１のみを呼応させて超音波を発振させ、受信した超音波からその信号発信体８１の位置を計算することで、位置計算された信号発信体８１を装着しているスタッフの位置を計測系座標において取得する。
【００３２】
発信体計測装置８２は、識別部３が取得したスタッフを識別する識別符号と、計測系位置計算部３３が取得したスタッフの計測系位置情報とを対にして映像加工装置５に出力する。
【００３３】
図３は、映像加工装置５の構成の具体例を示すブロック図である。
【００３４】
映像加工装置５は、映像記録部５１と位置記憶部５２と映像系位置計算部５３と映像系位置記憶部５４と表示制御部５５とスタッフデータベース５６とにより構成される。
【００３５】
映像記録部５１は、例えばＨＤＤ等の磁気記憶回路やフラッシュメモリ等を含み構成される。この映像記録部５１は、撮影装置２から出力された映像信号を映像フレーム毎に記憶しておく。映像信号の記録の際には、その映像フレームが撮影された時刻を表す時刻情報を映像フレーム毎に付して記憶しておく。
【００３６】
位置記憶部５２は、例えばＲＡＭ等の半導体記憶回路を含み構成される。図４に示すように、位置記憶部５２は、発信体計測装置８２から出力されたスタッフの識別符号とそのスタッフの計測系位置情報との対を記憶しておく。このスタッフの識別符号とそのスタッフの計測系位置情報の対には、計測された時刻を表す時刻情報が付されて記憶される。
【００３７】
映像系位置計算部５３は、発信体計測装置８２から出力された計測系位置情報から、信号発信体８１、即ち信号発信体８１を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報を計算する。映像系位置計算部５３は、まず発信体計測装置８２から出力されたスタッフの計測系位置情報を撮影装置２を原点とした撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）に変換し、さらにその撮影系座標で表される空間が投影される画素（Ｘｎ，Ｙｎ）を算出することで、映像系位置情報を取得する。
【００３８】
映像系位置記憶部５４は、例えばＨＤＤ等の磁気記憶回路やフラッシュメモリ等を含み構成される。映像系位置記憶部５４は、図５に示すように、映像系位置計算部５３で計算して得られた映像系位置情報を記憶する。また、映像系位置記憶部５４は、映像系位置情報の記憶に際し、算出元となった計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を算出先の映像系位置情報に関連づけて記憶する。尚、生データとして算出元となった計測系位置情報も関連づけて記憶するようにしてもよい。
【００３９】
表示制御部５５は、映像系位置計算部５３で計算された映像系位置情報に対応させて、位置記憶部５２に記憶されたスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重ね合わせた映像を生成し、表示装置６に表示させる。
【００４０】
図６は、この医療現場表示システム１の動作を示すフローチャートである。
【００４１】
撮影装置２は、医療現場を撮影し（Ｓ０１）、医療現場の映像を映像加工装置５に出力する（Ｓ０２）。映像加工装置５では、撮影装置２から出力された映像に対して映像フレーム毎に時刻情報を付していき（Ｓ０３）、映像を映像フレーム毎に時系列で映像記録部５１に記憶する（Ｓ０４）。
【００４２】
この撮影装置２の医療現場の撮影と並行して、発信体計測装置８２では、無線送受信部２２が医療現場内に存在する信号発信体８１に起電力を生じさせる電波を発信する（Ｓ０５）。この電波発信は一定間隔毎に行う。
【００４３】
発信体計測装置８２から電波が発せられると、信号発信体８１では、ＲＦタグ２１がその電波を受信して共振作用によってＩＣチップに起電力を供給し、ＩＣチップに予め記憶されているスタッフの識別符号を読み出して信号として送信する（Ｓ０６）。
【００４４】
発信体計測装置８２では、無線送受信部２２がスタッフの識別符号が含まれた信号を受信すると、この受信したスタッフの識別符号を一時記憶しておく（Ｓ０７）。発信体計測装置８２では、スタッフの識別符号を取得すると、制御信号発信部８３がこの受信したスタッフの識別符号を含んだ制御信号を医療現場内に発信する（Ｓ０８）。
【００４５】
信号発信体８１では、ＲＦタグ２１により、この制御信号に含まれるスタッフの識別符号が予め記憶しているスタッフの識別符号と同一か否かが判断され（Ｓ０９）、受信した制御信号に含まれるスタッフの識別符号をＩＣチップに記憶していなければ（Ｓ０９，Ｎｏ）、この制御信号を破棄して処理を終了する。発信体計測装置８２による電波の発信は所定間隔毎に繰り返し行われ、その度にこのＳ０５からＳ０９の処理が繰り返される。
【００４６】
一方、受信した制御信号に含まれるスタッフの識別符号をＩＣチップに記憶していれば（Ｓ０９，Ｙｅｓ）、ＲＦタグ２１は、超音波発振器３１にトリガ信号を出力する（Ｓ１０）。超音波発振器３１は、トリガ信号の入力を契機として超音波信号を発振する（Ｓ１１）。即ち、信号発信体８１によるスタッフの識別符号の送信によってスタッフの存在が識別され、このスタッフの識別符号を制御信号として用いることで、存在が識別されたスタッフの信号発信体８１のみが呼応して位置計測のための超音波信号を発振する。
【００４７】
発信体計測装置８２では、信号発信体８１から発せられた超音波信号を超音波センサ３２が受信すると、計測系位置計算部３３がこの受信した超音波の位相差から信号発信体８１を装着したスタッフの計測系位置情報を算出する（Ｓ１２）。
【００４８】
そして、発信体計測装置８２では、一時記憶しておいたスタッフの識別符号と計測系位置情報とを対にして映像加工装置５に出力する（Ｓ１３）。
【００４９】
映像加工装置５では、入力されたスタッフの識別符号と計測系位置情報の対に時刻情報を付していき（Ｓ１４）、時系列で位置記憶部５２に記憶させていく（Ｓ１５）。
【００５０】
映像加工装置５では、映像系位置計算部５３が計測系位置情報を位置記憶部５２から読み出して、読み出した計測系位置情報を、信号発信体８１を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報に変換する（Ｓ１６）。そして、映像系位置計算部５３は、変換元の計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を、映像系位置情報に関連づけつつ、この映像系位置情報を映像系位置記憶部５４に記憶させる（Ｓ１７）。
【００５１】
映像系位置情報を取得すると、映像加工装置５では、表示制御部５５が、映像記録部５１から映像フレームを順次読み出し、映像系位置記憶部５４から映像フレームと同時刻の映像系位置情報とスタッフの識別情報を読み出し、映像系位置情報が表す画素に対応させてスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重畳させた映像を生成する（Ｓ１８）。表示制御部５５は、この生成した映像を表示装置６に出力し表示装置６に表示させる（Ｓ１９）。
【００５２】
以上の動作が撮影装置２で映像を撮影し、信号発信体８１及び信号受信体８２でスタッフの識別及び位置計測を行っている間、順次繰り返される。尚、映像記録部５１と映像系位置記憶部５４に記憶された両データは、この医療現場表示システム１でいつでも再生が可能となるように、対にしてＨＤＤ等の不揮発性メモリに記憶され、又は対にしてＤＶＤやＨＤ  ＤＶＤ等の可搬記憶媒体に記憶される。
【００５３】
映像系位置計算部５３による計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）で表現された計測系位置情報から映像系座標（Ｘｎ，Ｙｎ）で表現された映像系位置情報への変換についてさらに詳細に説明する。
【００５４】
図７は、撮影装置２と位置計測部４の受信側である超音波センサ３２の設置状態を示す模式図である。
【００５５】
撮影装置２と超音波センサ３２とは物理的な都合上別箇所に設置されているため、撮影装置２が撮影した空間の撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）と位置計測部４が計測したスタッフの計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）とは、座標系が一致していない。
【００５６】
位置計測部４で測定したスタッフの位置が、撮影装置２で撮影した映像上のどの画素に対応するかを算出するためには、計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）との関係、及び撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）と撮影装置２の撮像素子面の映像系座標（Ｘｎ，Ｙｎ）との関係が既知でなければならない。
【００５７】
まず、計測系座標ｓ＝（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とは、平行移動と、Ｘ軸とＹ軸とＺ軸を中心とする回転で関係付けられ、それぞれ以下の行列で表すことができる。
【００５８】
【数１】
2008269238.tif 000003
ここで、ｘ０，ｙ０，ｚ０は平行移動量。
【００５９】
【数２】
2008269238.tif 000004
ここで、θｘはＸ軸まわりの回転角。
【００６０】
【数３】
2008269238.tif 000005
ここで、θｙはＹ軸まわりの回転角。
【００６１】
【数４】
2008269238.tif 000006
ここで、θｚはＺ軸まわりの回転角。
【００６２】
上記の（数１）〜（数４）により、計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）と撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）との関係は、以下の（数５）のように表すことができる。
【００６３】
【数５】
2008269238.tif 000007
【００６４】
（数５）式中のｘ０、ｙ０、ｚ０、θｘ、θｙ、θｚが未知数であり、これらの値が分かれば、計測系と撮影系が完全に対応付けられる。
【００６５】
さらに、撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とその映像系座標（Ｘｎ，Ｙｎ）との関係は、図８のように示され、撮影装置２のピンホールを撮影系の原点とし、ピンホールと撮影装置２の撮像素子表面との距離をＺ０とした場合、撮影系座標（Ｘｖ，Ｙｖ，Ｚｖ）とその映像系座標（Ｘｎ，Ｙｎ）とは以下（数６）及び（数７）により表される。
【００６６】
【数６】
2008269238.tif 000008
【００６７】
【数７】
2008269238.tif 000009
【００６８】
尚、ここでは簡単のためにピンホールカメラの例を挙げたが、複数のレンズを組み合わせたより複雑なビデオカメラの場合であってもレンズ系に応じて焦点距離等を加味して計算する。
【００６９】
映像系位置計算部５３は、予め（数５）、（数６）、（数７）、及び距離Ｚ０とから得られる映像系座標（Ｘｎ，Ｙｎ）と未知数ｘ０、ｙ０、ｚ０、θｘ、θｙ、θｚとの関係式Ｅ１を記憶している。
【００７０】
医療現場表示システム１の設置時には、医療現場内にマーカが置かれて位置計測及び撮影されることによってマーカの計測系座標と映像系座標とを取得しておく。映像系位置計算部５３は、このマーカの計測系座標と映像系座標との関係から、未知数ｘ０、ｙ０、ｚ０、θｘ、θｙ、θｚの具体的値をこの予め記憶している関係式Ｅ１を用いて計算し、映像系座標（Ｘｎ，Ｙｎ）と計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）との関係式Ｅ２を取得する。そして、この投影系座標（Ｘｎ，Ｙｎ）と計測系座標（Ｘｓ，Ｙｓ，Ｚｓ）との関係式Ｅ２と、位置計測部４で測定して得たスタッフの計測系位置情報が表す計測系の具体的な座標（Ｘｓ，Ｙｓ，Ｚｓ）とを用いて、映像画面上でのスタッフの位置情報を計算する。尚、１点のマーカを測定することにより、2つの式が得られる(Ｘｎ=・・・、Ｙｎ=・・・)ため、マーカは３点に置かれ、それぞれ測定される。
【００７１】
この医療現場表示システム１で表示される映像を図９に示す。
【００７２】
表示制御部５５は、映像記録部５１から表示装置６に表示させる映像フレームを読み出したとき、その映像フレームと対になっている時刻情報も読み出す。そして、読み出した時刻情報と同一の時刻情報を映像系位置記憶部５４から検索し、該当する時刻情報と関連づけられている映像系位置情報及びスタッフの識別符号を読み出す。映像系位置情報及びスタッフの識別符号を読み出すと、表示制御部５５は、読み出した映像系位置情報に該当する映像フレーム上の画素を例えば黒色等の識別色で塗り潰し、読み出したスタッフの識別符号を表す文字列をこの塗り潰した画素を指し示して重畳表示させる。
【００７３】
表示制御部５５は、次の映像フレームを表示装置６に表示させる度に、このスタッフの識別符号の表示処理を行う。このスタッフ識別符号の表示は、新たな映像フレームを表示させる毎に更新していく。ある信号発信体８１において、表示させる映像フレームと対になった時刻情報に関連づけられた新たな映像系位置情報がない場合は、塗り潰す画素をそのまま維持しておく。そして、新たな映像系位置情報があれば、新たな映像フレームを表示させるときに、その映像系位置情報に対応する新たな画素を塗り潰してその画素を指し示すスタッフの識別符号を重畳表示し、前の映像フレームまでに塗り潰していた画素の塗りつぶしを解除させる。
【００７４】
図１０にこの医療現場表示システム１で表示される映像の変形例を示す。また、図１１は、スタッフデータベース５６のデータ構造を表す図である。
【００７５】
表示制御部５５は、図１０に示すように、スタッフ識別符号の他、このスタッフ識別符号で表されるスタッフの他の識別情報を表示させるようにしてもよい。
【００７６】
図１１に示すように、スタッフデータベース５６には、スタッフの識別符号に対応付けて、スタッフの氏名、年齢、所属、職務、現職経験年数等のスタッフの他の識別情報が記憶されている。表示制御部５５は、映像系位置記憶部５４から読み出したスタッフの識別符号でスタッフデータベース５６を検索し、読み出したスタッフの識別符号に対応付けられているスタッフの他の識別情報を取得する。そして、表示制御部５５は、スタッフの識別符号とともにこの取得したスタッフの他の識別情報を表示装置６に重畳表示させる。
【００７７】
スタッフデータベース５６から取得するスタッフの他の識別情報は、入力装置７から入力された操作信号に依る。入力装置７を用いて映像上に表示させるスタッフ識別情報を選択する操作が行われると、表示制御部５５は、選択されたスタッフの他の識別情報をスタッフデータベース５６から読み出して重畳表示させる。何れの識別情報も選択されなければ、スタッフの識別符号のみが重畳表示される。また、入力装置７を用いてスタッフの識別符号を表示させない操作が行われると、表示制御部５５は、映像フレームを映像記録部５１から順次読み出して表示装置６に表示させる処理のみを行う。
【００７８】
このように、この医療現場表示システム１では、医療現場に存在するスタッフを存在位置と共に識別し、その存在位置を医療現場を撮影して得た映像上にプロットし、プロットした画素に対応付けてスタッフを識別するＩＤや氏名等の識別情報を表示するようにした。これにより、映像上でスタッフを個々に識別することができ、スタッフ毎にそのスタッフが誰でどのような行為をしたのかの映像分析を行い易くなる。
【００７９】
また、スタッフの識別符号でスタッフを識別してその存在位置を計測するようにしたため、超音波信号を発振させた信号発信体８１を誰が装着しているか判断する必要もなく、管理がシンプルになる。
【００８０】
次に、この医療現場表示システム１で取得したスタッフを識別表示した映像を用いた映像分析を支援する医療現場分析システム９について説明する。図１２は、医療現場表示システム１で記録した映像の分析を支援する医療現場分析システム９の構成を示す図である。
【００８１】
医療現場分析システム９は、映像加工装置５から、医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組みとを取得し、スタッフの動き量を算出する。この医療現場分析システム９は、医療現場情報記憶部９１、ＲＯＩ設定部９２、動き量計測部９３、動き量記憶部９４、キュー設定部９５、キューインデックス記憶部９６、及び頭出し制御部９７により構成される。
【００８２】
医療現場情報記憶部９１は、医療現場表示システム１で記録された医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組み合わせとを記憶する。医療現場表示システム１と医療現場分析システム９は、ネットワークで接続された一体のシステムとして構成されていても、それぞれが独立したシステムとして構成されていてもよい。
【００８３】
ＲＯＩ設定部９２は、主にＣＰＵを含み構成される。このＲＯＩ設定部９２は、入力装置７を用いて表示装置６に表示されている画面上に関心領域が指定されると、その関心領域を記憶しておく。
【００８４】
動き量計測部９３は、主にＣＰＵを含み構成される。この動き量計測部９３は、映像上のスタッフ画像の形状変化から映像に映る各スタッフの動き量を個々に算出する。動き量計測部９３は、ＲＯＩ設定部９２で関心領域が設定されているときは、映像上、関心領域内にスタッフが存在するか否かを判断し、関心領域内にスタッフが存在するときに限って動き量を算出する。
【００８５】
動き量記憶部９４は、主にＲＡＭ等の半導体記憶回路を含み構成される。動き量記憶部９４は、動き量計測部９３で計測された各スタッフの動き量を時系列で記憶する。
【００８６】
キュー設定部９５は、主にＣＰＵを含み構成される。このキュー設定部９５は、スタッフの動き量の時系列のうち、特に動きが激しいことを示す動き量が検出された時刻をキューインデックス記憶部９６に記憶させる。
【００８７】
キューインデックス記憶部９６は、キュー設定部９５で検出された時刻を表す時刻情報の集合を時系列順にインデックス化してスタッフ毎のキューインデックスとして記憶しておく。また、関心領域が設定されているときには、動き量計測部９３の判断結果である関心領域内にスタッフが存在する期間も関心領域内情報としてキューインデックスに含めて記憶しておく。
【００８８】
頭出し制御部９７は、キューインデックスをグラフ化して表示装置６に表示させる。そして、入力装置７を用いてキューインデックス中のキューマークが指定されると、指定されたキューマークに対応する時刻情報を表示制御部５５に出力し、この時刻情報と対になった映像フレームを医療現場情報記憶部９１から検索させ、該当する映像フレームから頭出し再生させる。キューマークは、キュー設定部９５で検出された動き量が激しい時刻を示すマークである。
【００８９】
図１３は、この医療現場分析システム９の動き量計測及びキュー設定の動作を示すフローチャートである。
【００９０】
まず、ＲＯＩ設定部９２は、入力装置７を用いて映像内に関心領域を指定する操作がなされた場合（Ｓ３１，Ｙｅｓ）、指定された関心領域を記憶しておく（Ｓ３２）。
【００９１】
動き量計測部９３は、順番に映像フレームを読み出し（Ｓ３３）、関心領域が記憶されていれば（Ｓ３４，Ｙｅｓ）、読み出した映像フレームに映るスタッフの画像領域が関心領域内に含まれているか否かを判断する（Ｓ３５）。
【００９２】
関心領域内にスタッフの画像領域が含まれていない場合は（Ｓ３５，Ｎｏ）、読み出した映像フレーム及び関心領域に含まれていないスタッフについての動き量計測を終了する（Ｓ３６）。
【００９３】
一方、関心領域内にスタッフの画像領域が含まれている場合は（Ｓ３５，Ｙｅｓ）、読み出した映像フレームとその前又は後の映像フレームとに含まれているスタッフの画像領域のサブストラクションを行う（Ｓ３７）。そして、動き量として、読み出した映像フレームにおいて前又は後の映像フレームと重ならないスタッフの画像領域の画素数をカウントする（Ｓ３８）。動き量を計測すると、この動き量をスタッフ毎に時系列で動き量記憶部９４に記憶させる（Ｓ３９）。
【００９４】
読み出した映像フレームについて映像に映る全てのスタッフの動き量を計測し（Ｓ４０，Ｙｅｓ）、かつ全映像フレームについて動き量を計測すると（Ｓ４１，Ｙｅｓ）、動き量計測の処理は終了する（Ｓ４２）。全てのスタッフの動き量を算出していなければ（Ｓ４０，Ｎｏ）、Ｓ３４〜Ｓ３９を全てのスタッフについて繰り返す。前衛増フレームについて動き量の計測が完了していなければ（Ｓ４１，Ｎｏ）、次の映像フレームについてＳ３３〜Ｓ３９を繰り返す。
【００９５】
スタッフ毎の動き量が時系列的に計測されると、キュー設定部９５は、動き量記憶部９４に記憶された動き量のうち、所定以上の動きの激しさを表す動き量を検索し（Ｓ４３）、該当する動き量に対応するスタッフとその動きがあった時刻とを動き量記憶部９４から読み出してキューインデックス記憶部９６に記憶させる（Ｓ４４）。
【００９６】
図１４及び図１５は、Ｓ３１〜３２におけるＲＯＩ設定部９２による関心領域の設定を示す模式図である。図１４は、関心領域を表示画面上に表示した態様を示す模式図である。図１５は、表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。
【００９７】
図１４に示すように、表示装置６の表示画面には、医療現場を撮影して得た映像が表示されている。オペレータが入力装置７を用いて表示画面上に一本の対角線を描くようにカーソルを操作すると、ＲＯＩ設定部９２は、その対角線を有する四角形状の関心領域を表示画面上に表示する。複数箇所に一本の対角線を描くことにより、それぞれの対角線を有する複数の関心領域が表示される。そして、ＲＯＩ設定部９２は、図１５に示すように、表示した関心領域内に含まれる各画素に対応する描画メモリ上のアドレスを記憶しておく。この関心領域を構成する各画素に対応する描画メモリ上のアドレスが、映像上における関心領域の範囲を示す。
【００９８】
図１６及び図１７は、Ｓ３３〜Ｓ３９における動き量計測部９３による動き量計測を示す模式図である。図１６は、動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。図１７は、抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。
【００９９】
図１６の（ａ）に示すように、各映像フレームには、動き量を分析する対象となるスタッフの画像領域が含まれており、この画像領域内には、信号発信体８１の所在として映像系位置情報で表される画素が含まれている。動き量計測部９３は、読み出した映像フレームに付帯する時刻に最も近く、かつこの時刻以前を表す時刻情報と対になった映像系位置情報を医療現場情報記憶部９１から読み出す。読み出した映像フレームに付帯する時刻と同一の時刻情報と対になった映像系位置情報が存在すれば、その映像系位置情報を読み出す。この映像系位置情報の読み出しは、医療現場情報記憶部９１に記憶されているスタッフの識別符号別に行う。
【０１００】
そして、動き量計測部９３は、図１６の（ｂ）に示すように、読み出した映像系位置情報が表す画素が含まれる領域の輪郭を抽出する。輪郭抽出は、エッジ抽出法によって抽出したエッジのうち、映像系位置情報で表される画素が含まれているエッジ領域を抽出する。または、映像上位置情報で表される画素から領域拡張法により抽出する。この抽出された領域がスタッフの画像領域に相当する。
【０１０１】
スタッフの画像領域の輪郭が抽出されると、動き量計測部９３は、ＲＯＩ設定部９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれるか否かを判断する。関心領域の範囲にスタッフの画像領域の全てが存在することを以て含まれると判断しても良いし、関心領域の範囲にスタッフの画像領域の一部が存在することを以て含まれると判断しても良い。
【０１０２】
ＲＯＩ設定部９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、このスタッフの画像領域を抽出した映像フレームに付帯している時刻情報と、関心領域に含まれているスタッフの画像領域に含まれる映像系位置情報と対になっているスタッフの識別情報とを対応付けて、関心領域内情報として保持しておく。即ち、関心領域内情報は、誰がいつ関心領域内にいたかを示す。
【０１０３】
ＲＯＩ設定部９２が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、図１６の（ｃ）に示すように、輪郭抽出したスタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。
【０１０４】
動き量計測部９３は、図１７の（ａ）に示すように、このスタッフの画像領域の抽出を動き量の計測対象となった映像フレームの前又は後の映像フレームについても行い、前又は後の映像フレームについても、スタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。
【０１０５】
動き量の計測対象となった映像フレームとその前又は後の映像フレームについてスタッフの画像領域を特定すると、図１７の（ｂ）に示すように、動き量計測部９３は、この２枚の映像フレームにおけるスタッフの画像領域のサブストラクションを行う。この２枚の映像フレームを重ね合わせ、動き量の計測対象の映像フレームのスタッフの画像領域のうち、その前又は後の映像フレームで抽出されたスタッフの画像領域と重なっていない領域の画素数をカウントする。即ち、２枚の映像フレームにおいて記憶したスタッフの画像領域を示すアドレスを比較し、前又は後の映像フレームにはないアドレスの数をカウントする。フレームレートの関係上、２枚の映像フレームでスタッフの画像領域が全く重ならない場合は、動きの計測対象となった映像フレームのスタッフの画像領域の全ての画素数をカウントする。このカウントされた画素数が動き量に相当する。
【０１０６】
動き量計測部９３は、このカウントされた画素数を動き量として動き量記憶部９４に記憶させる。このとき、動き量の計測対象となったスタッフの画像領域に対応するスタッフの識別符号と、動き量の計測対象となった映像フレームに付帯した時刻情報とを、この動き量と対応付けておく。また、動き量計測部９３は、関心領域内情報も動き量記憶部９４に記憶しておく。
【０１０７】
動き量計測部９３は、各映像フレームについて、かつ医療現場に存在すると識別された各スタッフについて、この動き量を算出し、動き量記憶部９４に記憶させる。
【０１０８】
図１８は、Ｓ３９において動き量記憶部９４に記憶させた動き量を表すデータ構成の模式図である。
【０１０９】
動き量記憶部９４には、図１８の（ａ）に示すように、スタッフの識別符号と時刻情報と動き量とが組になって記憶されている。即ち、識別符号で表されるスタッフの各時刻の動き量が記憶されている。尚、医療現場内に複数の撮影装置２が設置されている場合には、映像が複数種類存在することになり、動き量計測部９３は、各撮影装置２で撮影されて得られたそれぞれの映像フレームについてスタッフの動き量を計測し、それぞれ動き量記憶部９４に記憶させる。
【０１１０】
また、図１８の（ｂ）に示すように、関心領域内情報としてスタッフの識別符号と関心領域内にいた時間帯とが組みになって記憶されている。
【０１１１】
図１９は、動き量計測部９３による動き量計測の変形例を示す模式図である。
【０１１２】
図１９の（ａ）に示すように、スタッフの画像領域は、領域拡張法やエッジ抽出法等によって厳密に抽出するほか、確実にスタッフが存在するとわかる信号発信体８１の存在箇所、即ち計測系位置情報が表す画素から所定範囲の領域をスタッフの画像領域とみなして抽出しても良い。動き量計測部９３は、予めこの所定範囲を表す情報を記憶し、計測系位置情報が表す画素を中心にこの所定範囲を表す情報を適用し、スタッフの画像領域とみなして抽出する。
【０１１３】
そして、図１９の（ｂ）に示すように、動き量の計測対象となっている映像フレームとその前の映像フレームを重ね合わせ、スタッフの画像領域が重複していない部分の画素数をカウントして動き量とする。
【０１１４】
図２０は、Ｓ４３〜Ｓ４４においてキュー設定部９５が動きの激しい時刻を記憶させる態様を示すグラフである。
【０１１５】
図２０に示すように、動き量計測部９３によって、医療現場に存在する各スタッフの動き量が時系列順に計測される。キュー設定部９５は、予め動き量の閾値を記憶しており、この閾値と各時刻の動き量とを比較する。そして、キュー設定部９５は、閾値を超えた動き量を検出すると、その動き量に対応する時刻情報とスタッフの識別符号とを動き量記憶部９４から読み出し、読み出した時刻情報とスタッフの識別符号との対をキューインデックス記憶部９６に記憶させておく。
【０１１６】
図２１は、キューインデックス記憶部９６に記憶されたキューインデックスを示すデータ構造図である。
【０１１７】
図２１に示すように、キュー設定部９５は、キューインデックス記憶部９６として確保された記憶領域内に記憶されているキューインデックスに時刻情報を記憶させる。このとき、キュー設定部９５は、動き量記憶部９４から時刻情報を読み出すときにこの時刻情報と対になっているスタッフの識別符号も読み出し、対応付けてキューインデックスに記憶させる。
【０１１８】
尚、キューインデックスには、この時刻情報とスタッフの識別符号の他、動き量、及び算出元となった映像フレームの出所、即ち撮影した撮影装置２の識別情報や閾値の種類等を含むプロパティを一つのフラグに記憶させるようにしてもよい。
【０１１９】
図２２は、Ｓ４３〜Ｓ４４においてキュー設定部９５が動きの激しい時刻を記憶させる態様の変形例を示すグラフである。
【０１２０】
図２２に示すように、閾値は、入力装置７を用いたオペレータの操作に応じて生成されるようにしてもよい。入力装置７からは、閾値を設定する時間軸上の範囲と倍率を指定する操作信号が入力される。キュー設定部９５は、指定された時間軸上の範囲における動き量の平均値を算出し、平均値にこの指定された倍率を掛けて閾値を生成する。キュー設定部９５は、指定された時間軸上の範囲においてこの生成した閾値を用いる。時間軸上の範囲が複数指定された場合には、それぞれの範囲について指定された倍率を用いて、それぞれの範囲について閾値を生成する。
【０１２１】
この変形例では、キュー設定部９５は、動き量を順次読み出す際に時刻情報も読み出し、読み出した時刻情報が含まれる時間軸上の範囲に対応する閾値を用いて、読み出した動き量と閾値とを比較する。
【０１２２】
図２３は、この医療現場分析システム９で行われた動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。
【０１２３】
頭出し制御部９７は、入力装置７を用いて映像を再生する操作がなされると（Ｓ５１）、キューインデックス記憶部９６からキューインデックスを読み出し（Ｓ５２）、このキューインデックスに含まれている時刻情報とスタッフの識別情報とに対応する箇所にキューマークを付したグラフを生成し（Ｓ５３）、このグラフを表示制御部５５に表示させる（Ｓ５４）。
【０１２４】
頭出し制御部９７は、グラフ上のキューマークが入力装置７を用いて指定されると（Ｓ５５）、指定されたキューマークに対応する時刻情報をキューインデックス記憶部９６から読み出し（Ｓ５６）、表示制御部５５に出力する。表示制御部５５は、入力された時刻情報が対応付けられた映像フレームを読み出し（Ｓ５７）、その映像フレームからスタッフを識別表示した映像をスタートさせる（Ｓ５８）。
【０１２５】
図２４は、頭出し制御部９７が表示制御部５５に表示させたキューインデックスの表示態様を示す模式図である。
【０１２６】
図２４に示すように、頭出し制御部９７は、キューインデックス記憶部９６に記憶させたキューインデックスＱｉから、横軸を時間軸とし縦軸を各スタッフの識別符号としたグラフを生成し、グラフ形式で表示装置６に表示させる。キューインデックスＱは、例えば表示されている映像の下側に並べて表示される。
【０１２７】
頭出し制御部９７は、キューインデックス記憶部９６に記憶されたスタッフの識別符号と時刻情報との対を読み出し、この読み出したスタッフの識別符号と時刻情報とに対応する箇所にキューマークＱｍを表示させる。また、頭出し制御部９７は、関心領域内情報を読み出し、関心領域内情報に含まれるスタッフの識別符号と時刻情報の分布範囲とに対応する箇所に太線矢印Ａｒを引き、関心領域内に存在したことを識別表示させる。
【０１２８】
また、頭出し制御部９７は、キューインデックスＱｉに動き量も記憶されている場合には、所定時間間隔毎に全てのスタッフの動き量や関心領域内にいるスタッフの動き量を合算し、合算した動き量を時間軸にプロットした全体量グラフＧも表示させる。
【０１２９】
この表示装置６に表示された表示画面によって、例えば、時刻Ａでカメラ助手の太線矢印Ａｒが途切れていることから、カメラ助手がこの時刻Ａで関心領域から外れた、すなわち持ち場を離れたことがわかる。また、時刻Ｂで全体量グラフＧが激しい波形を描き、各スタッフにキューマークＱｍが表示され、かつ外科医が新たに加わっていることから、この時刻Ｂで医療事故につながりうる何らかの事象が起き、外科医が応援に駆け付けたことが推定できる。また、時刻Ｃで執刀医の太線矢印Ａｒが途切れて、そのごの太線矢印Ａｒが存在しないことから、執刀医が時刻Ｃで医療現場を離れたことがわかり、手術がおおかた完了したことが推測される。
【０１３０】
従って、この時刻Ｂ上のキューマークＱｍを指定し、この時刻Ｂから映像を頭出し再生することにより、何らかの事象について検証することが可能となる。また、このとき、映像上で執刀医や外科医の動きを観察する場合、執刀医や外科医を表す識別情報が指し示している画素を含むスタッフが執刀医や外科医であることを映像上で即座に認識することができる。
【０１３１】
このように、医療現場で事故に繋がりうる何らかの事象が発生した場合、緊急の対処を行うためにスタッフの動きは激しくなる。例えば手術中に大きな出血が起きた場合、外科医は急いで吸引(場合によっては洗浄)し、出血箇所を特定し止血を行う。その際、必要となる余分なガーゼなどは器械台看護師から手渡しで受け取る。また、麻酔医は血圧低下が起きているかどうかを確認し、また、直接患者に触れて診断の上、薬剤カートから昇圧剤を取り出し、必要に応じて調剤の上、チューブ操作を行って投与する。こうした作業は、緊急を要することが多いために通常作業時に比べてスタッフの動きが多くなる。よって、この実施形態に係る医療現場分析システム９によると、映像記録の中からスタッフの動きの量を計測するため、その動きに量から映像上のどの時間帯を重点的に検証すればよいか把握しやすくなり、効率的に映像分析を行うことができる。
【図面の簡単な説明】
【０１３２】
【図１】医療現場を記録して表示する医療現場表示システムの機能構成を示す図である。
【図２】識別部と位置計測部の構成の具体例を示すブロック図である。
【図３】映像加工装置の構成の具体例を示すブロック図である。
【図４】計測により得たスタッフの識別及び存在位置の情報を示す図である。
【図５】座標変換により得たスタッフの映像上の位置を表す情報を示す図である。
【図６】医療現場表示システムの動作を示すフローチャートである。
【図７】撮影装置と位置計測部の受信側である超音波センサの設置状態を示す模式図である。
【図８】撮影系座標とその映像系座標との関係を示す図である。
【図９】医療現場表示システムで表示される映像を示す図である。
【図１０】医療現場表示システムで表示される映像の変形例を示す図である。
【図１１】スタッフデータベースのデータ構造を表す図である。
【図１２】医療現場分析システムの構成を示す図である。
【図１３】医療現場分析システムの動き量計測及びキュー設定の動作を示すフローチャートである。
【図１４】関心領域を表示画面上に表示した態様を示す模式図である。
【図１５】表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。
【図１６】動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。
【図１７】抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。
【図１８】動き量記憶部に記憶させた動き量を表すデータ構成の模式図である。
【図１９】動き量計測部による動き量計測の変形例を示す模式図である。
【図２０】動きの激しい時刻を記憶する態様を示すグラフである。
【図２１】キューインデックスを示すデータ構造図である。
【図２２】動きの激しい時刻を記憶する態様の変形例を示すグラフである。
【図２３】動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。
【図２４】キューインデックスの表示態様を示す模式図である。
【符号の説明】
【０１３３】
１    医療現場表示システム
２    撮影装置
２１  ＲＦタグ
２２  無線送受信部
３    識別部
３１  超音波発振器
３２  超音波センサ
３３  計測系位置計算部
４    位置計測部
５    映像加工装置
５１  映像記録部
５２  位置記憶部
５３  映像系位置計算部
５４  映像系位置記憶部
５５  表示制御部
５６  スタッフデータベース
６    表示装置
７    入力装置
８１  信号発信体
８２  発信体計測装置
８３  制御信号発信部
９    医療現場分析システム
９１  医療現場情報記憶部
９２  ＲＯＩ設定部
９３  動き量計測部
９４  動き量記憶部
９５  キュー設定部
９６  キューインデックス記憶部
９７  頭出し制御部
【図１】
2008269238.tif 000010
【図２】
2008269238.tif 000011
【図３】
2008269238.tif 000012
【図４】
2008269238.tif 000013
【図５】
2008269238.tif 000014
【図６】
2008269238.tif 000015
【図７】
2008269238.tif 000016
【図８】
2008269238.tif 000017
【図１１】
2008269238.tif 000018
【図１２】
2008269238.tif 000019
【図１３】
2008269238.tif 000020
【図１８】
2008269238.tif 000021
【図２０】
2008269238.tif 000022
【図２１】
2008269238.tif 000023
【図２２】
2008269238.tif 000024
【図２３】
2008269238.tif 000025
【図９】
2008269238.tif 000026
【図１０】
2008269238.tif 000027
【図１４】
2008269238.tif 000028
【図１５】
2008269238.tif 000029
【図１６】
2008269238.tif 000030
【図１７】
2008269238.tif 000031
【図１９】
2008269238.tif 000032
【図２４】
2008269238.tif 000033