(57)【要約】【課題】特別な器具や標準的治療プログラムによらず、治療行為に関する映像の確認や編集を容易にする情報を提供することを課題とする。【解決手段】映像、音声、機器信号、および、治療行為の詳細が書かれた治療工程表から治療工程を推定する工程推定部１５を、確定的に推定できる治療工程を決定する確定可能治療工程決定部１５１と、上記治療工程に基づき補助情報を取得する特徴抽出補助情報取得部１５２と、上記補助情報を利用し特徴情報を抽出する特徴情報抽出部１５３と、特徴情報に基づき治療工程を推定する治療工程推定部１５４とから構成する。【選択図】図１
2018200493.tif 000002
【特許請求の範囲】
【請求項１】
一つ以上の治療工程に関わる工程情報を決定する治療工程推定装置であって、
前記治療工程に関する一つ以上のメディアデータを取得するメディアデータ取得部と、
前記治療工程を示す治療工程表を取得する治療工程表取得部と、
少なくとも前記メディアデータと前記治療工程表に基づき、確定可能な治療工程に関する工程情報を決定する確定可能治療工程決定部と、
少なくとも前記確定可能な治療工程に関する工程情報、前記メディアデータおよび前記治療工程表に基づき、補助情報を取得する補助情報取得部と、
少なくとも前記確定可能な治療工程に関する工程情報、前記メディアデータ、前記治療工程表および前記補助情報に基づき、前記工程情報を推定する治療工程推定部と
を備えることを特徴とする治療工程推定装置。
【請求項２】
前記補助情報は、サンプル情報であることを特徴とする請求項１に記載の治療工程推定装置。
【請求項３】
前記補助情報は、処理設定情報であることを特徴とする請求項１に記載の治療工程推定装置。
【請求項４】
前記サンプル情報は、少なくとも前記確定可能な治療工程に関する工程情報と前記治療工程表に基づき、術部の映像から取得可能な情報であることを特徴とする請求項２に記載の治療工程推定装置。
【請求項５】
前記サンプル情報は、少なくとも前記確定可能な治療工程に関する工程情報と前記治療工程表に基づき、治療中の指示を記録した音声情報から取得可能な情報であることを特徴とする請求項２に記載の治療工程推定装置。
【請求項６】
前記治療工程推定部は、少なくとも前記処理設定情報に基づく直線検出処理の結果と映像中に使用される医療器具を識別した識別結果に基づき、前記工程情報を推定することを特徴とする請求項３に記載の治療工程推定装置。
【請求項７】
前記確定可能治療工程決定部は、前記治療工程を構成する各作業の前記工程情報を決定し、
前記治療工程推定部は、前記治療工程を構成する各作業の前記工程情報を推定することを特徴とする請求項１に記載の治療工程推定装置。
【請求項８】
前記治療工程推定部は、少なくとも前記治療工程表と、前記確定可能な治療工程に関する工程情報とを用いて、前記工程情報が未推定の時刻について、検出される医療器具の種類と数を含む情報を推定し、当該情報に基づき、前記工程情報を推定することを特徴とする請求項１に記載の治療工程推定装置。
【請求項９】
前記治療工程推定部は、未推定の治療工程の前後の治療工程の前記工程情報が、推定または決定されている場合、
少なくとも前記治療工程表と、前記確定可能な治療工程に関する工程情報と、推定された前記工程情報とに基づき、未推定の治療工程の情報を推定することを特徴とする請求項１に記載の治療工程推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得した治療行為に関わる映像、音声および機器情報を用いて、治療行為中の各時刻における治療工程を検出する治療工程推定装置に関する。
【背景技術】
【０００２】
近年、医療分野において、映像が利用される機会が増加している。例えば、手術中の術部や手術室の様子を撮影した映像が、手術内容の検討や医療従事者の教育に利用されている。その際、映像をそのまま利用するのではなく、手術内容の検討や医療従事者の教育に合わせた編集が施される。そのためには、撮影した映像を確認して編集する必要があり、特に、映像が長時間に渡る場合や、一つの治療行為について複数の映像が記録されている場合などには、映像の確認と編集作業に多大な時間と労力が掛かるという課題があった。
【０００３】
これを解決するため、特許文献１では、治療行為の映像の重要部分にタグ付けし、同映像の確認を簡易化する技術が提案されている。例えば、手術器具や医師に取り付けられたＩＣタグの位置情報に基づき治療工程を推定し、推定した治療工程毎に、映像を再生する技術が記載されている。
【０００４】
また、特許文献２では、治療工程の具体的な内容や遷移条件が規定された標準的治療プログラム（ＡＣＬＳやＪＡＴＥＣ等）に則り、治療工程の遷移を追うことで各時刻の治療工程を推定し、その推定情報を元に、治療工程ごとに映像を再生する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１６４２５１号公報
【特許文献２】特開２００６−２５２２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１および特許文献２に記載の技術は、特定の条件を満たした治療行為についてのみ、治療工程の推定が可能となる。特許文献１に記載のように、治療工程の推定にＩＣタグを利用する場合、ＩＣタグの取りつけられた特別な器具およびＩＣタグリーダが必要となるため、当該器具が使用されていない治療行為の映像について、治療工程の推定ができないという課題がある。また、特許文献２に記載のように、標準的治療プログラムに則り治療行為を推定する場合、標準的治療プログラムに対応しない治療行為の映像について、治療工程の推定ができないという課題がある。
【０００７】
本発明は、上記の事情を鑑みてなされたものであり、その目的は、ＩＣタグなどの特殊な器具や標準的治療プログラムを使うことなく治療工程推定が可能な医療情報処理装置を実現することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にかかる治療工程推定装置は、一つ以上の治療工程に関わる工程情報を決定する治療工程推定装置であって、前記治療工程に関する一つ以上のメディアデータを取得するメディアデータ取得部と、前記治療工程を示す治療工程表を取得する治療工程表取得部と、少なくとも前記メディアデータと前記治療工程表に基づき、確定可能な治療工程に関する工程情報を決定する確定可能治療工程決定部と、少なくと
も前記確定可能な治療工程に関する工程情報、前記メディアデータおよび前記治療工程表に基づき、補助情報を取得する補助情報取得部と、少なくとも前記確定可能な治療工程に関する工程情報、前記メディアデータ、前記治療工程表および前記補助情報に基づき、前記工程情報を推定する治療工程推定部とを備える。
【０００９】
また、前記補助情報は、サンプル情報であることを特徴とする。
【００１０】
また、前記補助情報は、処理設定情報であることを特徴とする。
【００１１】
また、前記サンプル情報は、少なくとも前記確定可能な治療工程に関する工程情報と前記治療工程表に基づき、術部の映像から取得可能な情報であることを特徴とする。
【００１２】
また、前記サンプル情報は、少なくとも前記確定可能な治療工程に関する工程情報と前記治療工程表に基づき、治療中の指示を記録した音声情報から取得可能な情報であることを特徴とする。
【００１３】
また、前記治療工程推定部は、少なくとも前記処理設定情報に基づく直線検出処理の結果と映像中に使用される医療器具を識別した識別結果に基づき、前記工程情報を推定することを特徴とする。
【００１４】
また、前記確定可能治療工程決定部は、前記治療工程を構成する各作業の前記工程情報を決定し、前記治療工程推定部は、前記治療工程を構成する各作業の前記工程情報を推定することを特徴とする。
【００１５】
また、前記治療工程推定部は、少なくとも前記治療工程表と、前記確定可能な治療工程に関する工程情報とを用いて、前記工程情報が未推定の時刻について、検出される医療器具の種類と数を含む情報を推定し、当該情報に基づき、前記工程情報を推定することを特徴とする。
【００１６】
また、前記治療工程推定部は、未推定の治療工程の前後の治療工程の前記工程情報が、推定または決定されている場合、少なくとも前記治療工程表と、前記確定可能な治療工程に関する工程情報と、推定された前記工程情報とに基づき、未推定の治療工程の情報を推定することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、入力された治療工程表と映像、音声、機器信号より、確定的に決定できる治療工程を判別し、そこから、サンプル情報と処理設定情報からなる補助情報(特徴
抽出補助情報とも言う)を取り出し、その情報を利用して入力された映像、音声、機器信
号より特徴情報抽出を行い、当該特徴情報を用いて治療工程推定を行う機能を提供できる。
【００１８】
特徴情報抽出にサンプル情報を利用することで、抽出した特徴情報が何を意味するのか、またその判断基準は何かを、実際の治療を記録した情報から取り出せるため、これらを予め設定する必要のある従来技術に比べ、特徴情報をより有効に利用できる。
【００１９】
特徴情報抽出に処理設定情報を利用することで、特徴情報抽出の制御設定を予め設定する必要がある従来技術に比べ、最適な制御設定を使用できるため、より有効な特徴情報抽出が可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態における治療工程推定装置に含まれる、工程情報推定部の構成例を示す図である。
【図２】同治療工程推定装置の構成例を示すブロック図である。
【図３】同治療工程推定装置の動作を説明するための、治療工程表の一例を示す図である。
【図４】同治療工程推定装置の動作を説明するための、工程推定部と、工程推定部の各構成要素から出力される工程情報の一例を示す図である。
【図５】同治療工程推定装置の動作を説明するための、特徴抽出補助情報取得のフローチャートの一例を示す図である。
【図６】同治療工程推定装置の動作を説明するための、特徴情報抽出部の構成例を示す図である。
【図７】同治療工程推定装置の動作を説明するための、工程情報推定部の変形例を示す図である。
【発明を実施するための形態】
【００２１】
図２は本実施形態における治療工程推定装置１の構成例を示すブロック図である。図２に示すように、治療工程推定装置１は、概略的には、治療工程表、および、メディアデータ（映像、音声、機器信号）に基づいて工程情報を導出して記録する装置である。各構成要素の説明を行う前に、以下では、まず、本実施形態における治療工程表、および、映像、音声、機器信号の詳細を説明する。
【００２２】
［治療工程表]
治療工程表とは、治療処置の開始から終了までに実行される複数の治療工程について、治療工程の順序、および、各治療工程の詳細情報を含む表である。治療工程の詳細情報には、治療工程名、治療工程における使用器具の情報（例えば、使用順序や種類）、治療工程における電子機器の情報（例えば、使用順序や種類）を含んでいる。
【００２３】
以下、本実施形態の説明に用いる治療工程表の例について図３を参照して説明する。図３は心臓癒着切除手術の治療工程表の一例である。治療工程表には、治療工程名、使用器具、電子機器の列が含まれている。治療工程名は各治療工程の名称を表す。図３に示すように、治療工程表には、治療工程名として、「処置開始」、「麻酔」、「消毒」、「肌切開」、「胸骨切開」、「心膜切開」、「人工心肺稼働」、「心臓癒着部切除」、「人工心肺停止」、「心膜縫合」、「胸骨縫合」、「肌縫合」、「処置終了」が順に記載されており、この記載順序が治療工程の順序と一致する。使用器具の列にはメスやピンセットなど治療工程で用いられる医療器具の名称と使用順序を表し、電子機器の列には治療工程で用いられる電子機器の名称と使用順序を表している。使用器具、電子機器の使用は、表中で上にある項目から順に行われる。なお、一つの治療工程内での使用器具または電子機器の使用順序は、使用器具と電子機器を問わず治療工程表の上から記載の順となる。例えば、「肌切開」の治療工程であれば、その工程内の使用順序は、メス、ピンセット、電気メス切断モード、電気メス止血モードの順となる。「麻酔」の治療工程については、電子機器による麻酔注入操作が示されている。「消毒」の治療工程については、ピンセットを使用した作業が示されている。「肌切開」の治療工程については、メスとピンセットの二種類の器具と、電気メスを使用した作業の順序が示されている。図３は治療工程表の一例であり、各治療工程の詳細情報として、作業予定時刻、作業担当者、患者の状態などの項目が追加されていてもよい。
【００２４】
なお、本実施形態の治療工程推定装置１の入力として利用可能な治療工程表は、必ずしも図３に示したような表の形式である必要はなく、上述の治療工程の順序、および、治療工程の詳細情報を導出できれば別の形式であってもよい。例えば、治療工程の順序を示すデータと、各治療工程の詳細情報を読み出すデータをそれぞれ読み込んで組み合わせて利
用してもよい。
【００２５】
［映像・音声・機器信号]
映像、音声、機器信号とは、治療に関わる映像、音声、機器制御情報について、各種機器から送出される信号である。
【００２６】
映像は、時刻に関連付けられた複数のフレームで構成される。関連付けには、例えば、フレーム毎に付与されるタイムスタンプが用いられる。ある時刻ｔの映像として、その時刻ｔに最も近いタイムスタンプを持つフレームを利用できる。
【００２７】
映像には映像付帯情報が付帯している。映像付帯情報には撮影対象に応じた映像分類を示す分類情報が含まれる。分類情報は、例えば、以下の映像を識別する情報である。（１）患者の術部を撮影した映像、（２）医療器具の置き場を撮影した映像、（３）治療室内全体もしくは一部を撮影した映像、（４）医師を補助する医療スタッフの動作や手元の器具の様子を撮影した映像、（５）医師の表情や目線を撮影した映像、医師が身につけるカメラにより医師の目線で撮影された映像、（６）治療に関わる生体モニタなど医療機器の出力画面を撮影した映像、（７）人工心肺等の医療機器の動作の様子や機器の操作パネルを撮影した映像、（８）内視鏡カメラや顕微鏡の映像、（９）患者から切除された人体組織やその置き場を撮影した映像。
【００２８】
音声は、時刻に関連付けられた複数のフレームで構成される。関連付けには、例えば、フレーム毎に付与されるタイムスタンプが用いられる。ある時刻ｔの音声として、その時刻ｔに音声信号が検出されている場合、当該音声信号が検出され始めたフレームから、検出されなくなるフレームまでの、音声信号を利用できる。音声には音声付帯情報が付帯している。音声付帯情報には記録対象に応じた音声分類を示す分類情報が含まれる。音声分類は、例えば、以下の音声を識別する情報である。（１）医師の発声を記録した音声、患者の発声を記録した音声、（２）医師と医療スタッフの会話を記録した音声、（３）治療室内全体の音声を記録した音声、（４）医療機器のアラーム音を記録した音声。
【００２９】
機器信号とは、時刻に関連付けられた医療電子機器の入出力信号である。関連付けには、例えば、信号に付与されるタイムスタンプが用いられる。ある時刻ｔの機器信号として、その時刻ｔに最も近いタイムスタンプを持つ信号を利用できる。医療電子機器とは、例えば生体モニタ、人工心肺装置、電気メスである。人工心肺装置の機器信号には、血液ポンプの稼働状況を示す信号、ヒータの稼働状況を示す信号、ヒータの温度設定を示す信号、人工心肺装置の稼働状況を示す信号、人工心肺装置の心拍数を示す信号、心臓保護液注入装置の稼働状況を示す信号が含まれる。また、電気メスの機器信号には、稼働状況を示す信号、メスに流れる電流量を示す信号、電気メスに流れる電流量を示す信号、使用中の動作モードを示す信号（例えば切開モード、または、止血モードのいずれのモードを使用しているか示す信号）がある。また生体モニタの機器信号には、生体モニタで計測される各種生体数値を示す信号（例えば、脈拍数を示す信号や心電図波形を示す信号）がある。
【００３０】
機器信号には、機器信号付帯情報が付帯している。機器信号付帯情報にはその機器信号が何の機器の信号なのか、何を意味する信号なのかを示す情報が含まれる。例えば、人工心肺装置の稼働状況を示す信号には、この信号は人工心肺装置の稼働状況を示す信号だと示す情報が含まれる。機器信号付帯情報は、機器の入出力信号に初めから含まれていても良いし、後述の機器信号取得部で加えられても良い。
【００３１】
以下の説明では、上記の例にあるような、各機器/機能の稼働状況を二値で表現する信
号を機器稼働信号と呼ぶ。機器稼働信号は後述の確定可能治療工程決定部１５１で利用される。機器稼働信号とは、例えば、人工心肺装置の稼働状況を示す信号、血液ポンプの稼
働状況を表す信号、ヒータの稼働状況を表す信号、心臓保護液注入装置の稼働状況を示す信号、電気メスの稼働状況を示す信号を示す信号である。また、各機器の出力設定/制御
情報を示す信号を機器設定信号と呼ぶ。機器設定信号は後述の特徴情報抽出部１５３で利用される。機器設定信号とは、例えば、ヒータの温度設定を示す信号、人工心肺の心拍数を示す信号、電気メスの動作モードを示す信号、電気メスに流れる電流量を示す信号または／および生体モニタで計測される各種生体数値を表す信号である。
【００３２】
映像、音声、機器信号それぞれのタイムスタンプは、治療中の実際の時刻と同期されていることとする。
【００３３】
（治療工程推定装置の構成）
図２は治療工程推定装置１の構成例を示すブロック図である。図２に示すように、治療工程推定装置１は、映像取得部１１、音声取得部１２、機器信号取得部１３、治療工程表取得部１４、工程情報推定部１５、工程情報蓄積部１６を備える。
【００３４】
映像取得部１１は、治療工程推定の対象となる治療に関わる映像を一つ以上取得し、工程情報推定部１５に供給する。治療に関わる映像として、少なくとも、分類情報が示す分類が患者の術部を撮影した映像と、医療器具の置き場を撮影した映像を取得する必要がある。さらに、必要に応じ、上記以外の治療に関わる映像を取得しても良い。
【００３５】
音声取得部１２は、治療工程推定の対象となる治療に関わる音声を一つ以上取得し、工程情報推定部１５に供給する。治療に関わる音声として、少なくとも、分類情報が示す分類が医師の発声を記録した音声を取得する必要がある。さらに、必要に応じ、上記以外の音声を取得しても良い。
【００３６】
機器信号取得部１３は、治療工程推定の対象となる治療に関わる医療電子機器の機器信号を一つ以上取得し、工程情報推定部１５に供給する。機器信号取得部１３では、取得した機器信号に前述の機器信号付帯情報が含まれていない場合、この信号は何の機器の信号であり、何を意味するのかを示す機器信号付帯情報を付随する。
【００３７】
治療工程表取得部１４は、推定対象の治療の治療工程表を一つ取得し、工程情報推定部１５に供給する。治療工程表には、少なくとも、治療工程名、治療工程における使用器具の情報、治療工程における電子機器の情報を含むものとする。治療工程表は、キーボードやタッチパネルにより治療工程推定装置１に直接入力されたものを、治療工程取得部１４で取得しても良い。また、別の装置に入力された治療工程表の情報を、治療工程取得部１４で取得しても良い。治療工程表の取得は、治療行為が実際行われるよりも先に行われても良いし、後で行われても良い。
【００３８】
工程情報推定部１５は、入力される映像、音声、機器信号、治療工程表より、工程情報を推定し、工程情報蓄積部１６に供給する。ここで、工程情報とは、治療工程表に記された各治療工程について、その治療工程の開始時刻と終了時刻、および、治療工程名を含む情報である。工程情報推定部１５の詳細は後述する。
【００３９】
工程情報蓄積部１６は、工程情報推定部１５で推定された工程情報を蓄積する。工程情報蓄積部１６は、ハードディスク、光ディスク、フラッシュメモリなどの記憶媒体で構成される。工程情報蓄積部１６は、ネットワークで接続されていても良い。工程情報蓄積部１６に記録される工程情報は、治療行為に関わる映像を閲覧する際に、頭出しや、映像検索を行うためのインデックス情報として扱われても良い。ここで、映像検索とは治療工程名による検索であっても良いし、時刻による検索であっても良い。
【００４０】
（工程情報推定部の構成）
次に、治療工程推定装置１に含まれる工程情報推定部１５について説明する。工程情報推定部１５は入力される治療工程表と映像、音声、機器信号から工程情報を推定し、出力する。工程情報の推定においては、必ずしも映像、音声、機器信号全ての情報が揃っている必要はない。
【００４１】
図１を用いて工程情報推定部１５の詳細構成を説明する。図１は工程情報推定部１５の構成例を示した機能ブロック図である。図１に示すように、工程情報推定部１５は、確定可能治療工程決定部１５１、特徴抽出補助情報取得部１５２、特徴情報抽出部１５３、治療工程推定部１５４を備える。
【００４２】
［確定可能治療工程決定部１５１］
確定可能治療工程決定部１５１は、入力される治療工程表、および、映像、音声、機器信号から、確定的に決定できる治療工程（確定可能治療工程）の開始時刻と終了時刻、すなわち工程情報を決定し、決定した１以上の工程情報を、特徴抽出補助情報取得部１５２、特徴情報抽出部１５３、および、治療工程推定部１５４に供給する。確定可能治療工程とは、機器稼働信号のみで決定できる治療工程である。具体的には、最初と最後の作業がそれぞれ電子機器の操作となっている治療工程である。図３の治療工程表を参照し、確定可能治療工程の具体例を説明する。図３にある治療工程のうち、「麻酔」、「心膜切開」、「人工心肺稼働」、「心臓癒着部切除」および「人工心肺停止」の治療工程は、その治療工程で行われる最初と最後の作業が、共に電子機器の操作となっている。このため、上記作業が行われた時刻は、機器稼働信号より取り出せる。各治療工程の最初と最後の作業が行われる時刻を取り出せるため、当該治療工程の開始時刻と終了時刻は確定できる。
【００４３】
図３の治療工程表のうち、「肌切開」、「心膜切開」および「心臓癒着部切除」の治療工程では、電気メス切断モード、電気メス止血モードの順で電子機器が使用される。この場合、上記順序の機器信号が検出されたとしても、機器信号だけでは、三つの治療工程の順序が確定しない。そこで、治療工程表と、機器信号に含まれる時刻情報より、上記の治療工程が行われる順序を判断する。すなわち、上記の順で機器信号が検出された場合、図３の治療工程表に記載された治療工程の順序と、機器信号の時刻情報を参照し、一番早い時刻は「肌切開」、次の時刻は「心膜切開」、その次の時刻は「心臓癒着部切除」の治療工程だと判断してよい。なお、「肌切開」の治療工程は、最初の作業が電子機器の操作ではないため、確定可能治療工程ではない。
【００４４】
上述の確定可能治療工程決定部１５１の動作は、次のように表現することもできる。すなわち、確定可能治療工程決定部１５１は、まず、治療工程表に基づいて、治療工程表に含まれる治療工程の中から、確定可能治療工程を決定する。続いて、それぞれに確定可能治療工程について開始時刻と終了時刻、および、治療工程名を含む情報を導出して工程情報として出力する。
【００４５】
［特徴抽出補助情報取得部１５２］
特徴抽出補助情報取得部１５２は、入力される確定可能治療工程の工程情報と、治療工程表に基づき、入力される映像、音声、機器信号から特徴抽出補助情報を取り出し、特徴情報抽出部１５３に供給する。特徴抽出補助情報は、特徴情報抽出部１５３において映像、音声、機器信号から特徴抽出を行う際、補助情報として用いられる。特徴抽出補助情報の内容および導出処理の詳細は後述する。
【００４６】
［特徴情報抽出部１５３］
特徴情報抽出部１５３は、入力される特徴抽出補助情報と映像、音声、機器信号、治療工程表、および、確定可能治療工程の工程情報に基づき、治療工程を推定するための手掛
かりとなる特徴情報を取り出し、治療工程推定部１５４に供給する。特徴情報抽出処理の詳細は後述する。
【００４７】
［治療工程推定部１５４］
治療工程推定部１５４は、入力される特徴情報と治療工程表、確定可能治療工程決定部で決定された工程情報に基づき、確定可能治療工程以外の治療工程の工程情報を推定し、その工程情報を確定可能治療工程決定部１５１で決定された工程情報と足し合わせ、工程情報推定部１５から出力する。ここで、確定可能治療工程以外の治療工程とは、治療工程表に記載の治療工程の内、確定可能治療工程決定部１５１で決定されていない治療工程を指す。すなわち、治療工程推定部１５４では、治療工程表に記載の治療工程から、確定可能治療工程決定部１５１で既に決定された治療工程を除いた残りの治療工程について、工程情報を推定する。
【００４８】
治療工程推定部１５４では、確定可能治療工程決定部１５１で決定された工程情報に基づき、工程情報が決定されていない時刻について、治療工程を推定する。すなわち、確定可能治療工程決定部１５１において、確定可能治療工程が行われていると判断された時刻について、工程情報の推定を行う必要はない。図４を参照して具体的に言うと、確定可能治療工程である「麻酔」の治療工程が行われていた１４：００から１４：３０までの時刻と、同じく確定可能治療工程である「心膜切開」から「人工心肺停止」の治療工程が行われていた１４：５５から１６：５０までの時刻については、治療工程推定部１５４では治療工程の推定を行う必要はない。
【００４９】
図３の治療工程の内、「肌切開」の治療工程について、具体的な工程推定の順序を説明する。「肌切開」の治療工程では、メス、ピンセット、電気メス切断モード、電気メス止血モードの順序で、器具が使用される。このため、上記の器具が上記の順序で使用されていると、特徴情報から判断できれば、「肌切開」の治療工程を推定できる。すなわち、順に、執刀医の指示音声や術部の映像よりメスが使用されていると検出され、同様にピンセットが使用されていると検出され、機器信号より電気メスが切断モードで使用されていると検出され、同様に電気メスが止血モードで使用されていると検出された場合、「肌切開」の治療工程が行われたと推定する。この場合、メスが使用され始めた時刻から、止血モードの電気メスの使用が終了した時刻まで、「肌切開」の治療工程が行われたとする。なお、必ずしも一つの治療工程内の全ての器具が検出される必要はない。上記で言えば、例えば、ピンセットの使用が検出されずとも、「肌切開」の治療工程が行われたと判断してもよい。
【００５０】
また、既に確定可能治療工程決定部１５１で決定された工程情報、および、治療工程推定部１５４で推定された治療工程、治療工程表より、ある時刻に存在しうる特徴情報が限定される場合、特徴情報の抽出において、抽出され得ない結果を排除しても良い。例えば、図３の治療工程表で言うと、「人工心肺稼働」の治療工程の終了時刻と、「人工心肺停止」の治療工程の開始時刻が既に決定されている場合、それらの時刻の間に使用される器具はハサミ、ピンセット、電気メスのみとなる。使用される器具名を特徴情報とする場合、上記時刻において、上記の器具名のみが、使用される器具名を示す特徴情報になり得るとして、上記以外の器具名を特徴情報として扱わなくても良い。同様に、医師の発声内容を特徴情報とする場合に、医師が発声し得る音声が限定されるならば、それ以外の音声を特徴情報として扱わないものとしても良い。
【００５１】
また、治療工程の推定にあたり、既に確定可能治療工程決定部１５１で決定された工程情報、および、治療工程推定部１５４で推定された工程情報、治療工程表より、治療工程を推定してよい。例えば、図３の治療工程表で言うと、「人工心肺稼働」の治療工程の終了時刻と、「人工心肺停止」の治療工程の開始時刻が既に決定されている場合、それらの
時刻の間に「心臓癒着部切除」の治療工程が行われたと判断してもよい。
【００５２】
また、同様の順序で器具を使用する治療工程が二つ以上ある場合、それらの治療工程の順序は、治療工程表に記載の治療順序に則ってよい。例えば、図３の治療工程表で言うと、「心膜縫合」と「肌縫合」の治療工程では、同様の順序で器具が使用されるが、両者が検出された場合、時刻の早い方を「心膜縫合」、遅い方を「肌縫合」だと判断してもよい。
【００５３】
なお、ここで例に挙げて説明はしないが、確定可能治療工程決定部１５１で決定された工程情報を治療工程推定部１５４に供給せず、治療工程推定部１５４で、確定可能治療工程の工程情報を決定し、残りの治療工程について工程情報を推定し、出力しても良い。この場合、確定可能治療工程決定部１５１で決定された工程情報と、治療工程推定部１５４で推定された工程情報を足し合わせる必要はなく、治療工程推定部１５４で決定、および、推定された工程情報を、工程情報推定部１５の出力として良い。
【００５４】
（工程情報推定部の動作フロー）
工程情報推定部１５では以下の手順により工程情報を推定する。まず、確定可能治療工程決定部１５１において、入力される機器稼働信号と治療工程表より
、確定可能治療工程の工程情報を決定し、特徴抽出補助情報取得部１５２、特徴情報抽出部１５３、治療工程推定部１５４に供給する。
【００５５】
次に特徴抽出補助情報取得部１５２において、入力される工程情報と治療工程表、および、映像、音声、機器信号から特徴抽出補助情報を取り出し、特徴情報抽出部１５３に供給する。
【００５６】
次に特徴情報抽出部１５３において、入力される特徴抽出補助情報、治療工程表、および、確定可能治療工程の工程情報に基づき、入力される映像、音声、機器信号の特徴情報を取り出し、治療工程推定部１５４に供給する。
【００５７】
次に治療工程推定部１５４において、入力される特徴情報と治療工程表、確定可能治療工程決定部１５１で決定された工程情報に基づき、確定可能治療工程決定部１５１で決定されていない工程情報を推定し、出力する。
【００５８】
最後に、確定可能治療工程決定部１５１で決定された工程情報と、治療工程推定部１５４の工程情報を足し合わせた工程情報を、工程推定部１５から出力し、工程情報推定を終了する。
【００５９】
図４を参照し、工程情報推定部１５における治療工程推定のフローを具体的に説明する。図４は、図３の治療工程表が工程情報推定部１５に入力された場合に、各構成要素から出力される工程情報を示した図である。図４において、確定可能治療工程決定部の列は、確定可能治療工程決定部１５１から出力される工程情報を示す。治療工程推定部の列、工程推定部の列も同様である。また、それぞれの列に含まれる工程名の列と時刻の列は、その構成要素から出力される工程情報に含まれる治療工程名、および、治療工程の開始時刻と終了時刻を示す。
【００６０】
工程情報推定部１５では、まず、確定可能治療工程決定部１５１において、機器稼働信号で決定できる確定可能治療工程の工程情報が決定される。すなわち、図４の確定可能治療工程決定部の列に示すように、「麻酔」、「心膜切開」、「人工心肺稼働」、「心臓癒着部切除」、「人工心肺停止」の治療工程名と、治療工程の開始時刻と終了時刻が決定され、工程情報として出力される。次に、上記で決定された工程情報について、特徴抽出補
助情報取得部１５２で特徴抽出補助情報が検出される。次に、その特徴抽出補助情報と治療工程表、および、確定可能治療工程の工程情報に基づき、特徴情報抽出部１５３で特徴情報が抽出される。次に、特徴情報と治療工程表、および、確定可能治療工程決定部１５１で決定された工程情報に基づき、確定可能治療工程決定部１５１で決定されていない治療工程の工程情報が推定される。すなわち、図４の治療工程推定部の列に示すように、「消毒」、「肌切開」、「胸骨切開」、「心膜縫合」、「胸骨縫合」、「肌縫合」の治療工程名と、治療工程の開始時刻と終了時刻が推定され、工程情報として出力される。なお、前述の通り、治療工程推定部１５４における治療工程推定では、確定可能治療工程決定部１５１で決定された治療工程が行われる時刻については工程情報の推定を行う必要はない。最後に、図４の工程推定部の列に示すように、確定可能治療工程決定部１５１で決定された工程情報と、治療工程推定部１５４で推定された工程情報を足し合わせた、全ての治療工程についての工程情報が、工程推定部１５から出力される。なお、図４では治療工程の開始時刻と終了時刻を、分単位までの表記で示しているが、時刻が分単位までと制限されることはない。
【００６１】
（特徴抽出補助情報取得部１５２の詳細）
続いて、特徴抽出補助情報取得部１５２の詳細を説明する。前述の通り、特徴抽出補助情報取得部１５２は、入力される工程情報と治療工程表に基づき、入力される映像、音声、機器信号から特徴抽出補助情報を取り出し、特徴情報抽出部１５３に供給する。
【００６２】
（特徴抽出補助情報取得のフロー）
図５を参照して、特徴抽出補助情報取得のフローを説明する。図５は、特徴抽出補助情報取得部１５２の動作フローの一例を示す図である。特徴抽出補助情報取得は、以下のＳ１５１〜Ｓ１５５の手順で順次実行される。
【００６３】
(Ｓ１５１)確定可能治療工程決定部１５１で決定された工程情報の中から、特徴抽出補助情報が未検出の治療工程を一つ選択して対象治療工程に設定する。次にＳ１５２を実行する。
【００６４】
(Ｓ１５２)特徴抽出補助情報部１５２に入力された映像、音声、機器信号の情報から、特徴抽出補助情報が未検出の情報を一つ選択して対象情報に設定する。次にＳ１５３を実行する。
【００６５】
(Ｓ１５３)上記対象治療工程と対象情報について、特徴抽出補助情報を取得する。特徴抽出補助情報には、サンプル情報と処理設定情報が含まれる。以下に、サンプル情報取得と処理設定情報取得の方法を順に説明する。なお、サンプル情報の取得と処理設定情報の取得は並行して行われても良いし、順に行われても良い。また、順に行われる場合、どちらを先に行っても良い。また、どちらか一方のみが行われても良い。次にＳ１５４を実行する。
【００６６】
［サンプル情報取得］
上記対象治療工程と対象情報について、サンプル情報を取得し、特徴抽出補助情報とする。サンプル情報は、特定時刻、もしくは、特定期間に対応するメディアデータ（映像、音声、機器信号）のサンプル値の一部から構成される情報である。工程情報推定部１５で扱うサンプル情報とは、確定可能治療工程決定部１５１において決定された治療工程について、その治療工程が行われた時刻もしくはその近傍の時刻における、特徴抽出補助情報取得部１５２に入力された治療工程表、および、映像、音声、機器信号のサンプル値を集めたものであり、特徴情報抽出部１５３で参照される。サンプル情報は、特定の時刻の周囲状況を表す情報として利用できる。周囲状況とは、例えば、医師が出す指示の音声や、未使用の器具の数などである。異なる治療工程であっても、特定の周囲状況が一致する状
況が生じ得る。そのような場合に、確定的に決定できる治療工程において観察された周囲状況とサンプル情報の対応関係は、同一の周囲状況で発生する別の治療工程の推定時に活用できる。工程情報推定部１５の場合、特徴情報抽出部１５３において、特定の周囲状況を表すサンプル情報と同一もしくは近いサンプル値が検出された場合、同じ周囲状況が発生していると判断する。これにより、特徴抽出の精度を向上できる。サンプル情報取得の具体例を以下に示す。
【００６７】
［サンプル情報の具体例］
１．術部映像の色情報
サンプル情報の例としては、術部映像の色情報がある。図３の治療工程表にある「人工心肺稼働」の治療工程を例に説明する。人工心肺は切開された術部にとりつけられるため、「人工心肺稼働」の治療工程が行われている時は、術部は切開されている。このため、上記治療工程が行われている時の術部映像には、切開された術部が記録されている。ここから、「人工心肺稼働」の治療工程が対象工程となっている場合、術部映像を対象情報と設定し、その色情報をサンプル情報として取り出す。このサンプル情報は、術部が切開されているという周囲状況を表す。この情報に基づき、特徴情報抽出部１５３では、術部映像において、当該サンプル情報と一致もしくは類似した色情報が検出された場合、その時刻は術部が切開されている周囲状況が発生していると判断する。同様に、「麻酔」の治療工程が行われている時は、術部は閉じられている。このため、上記治療工程が行われている時の術部映像の色情報を、術部が閉じられている周囲状況を示すサンプル情報とする。この情報に基づき、特徴情報抽出部１５３では、術部映像において、当該サンプル情報と一致もしくは類似した色情報が検出された場合、その時刻は術部が閉じられている周囲状況が発生していると判断する。
【００６８】
また、この時、手術開始直後の切開されていない術部映像の色情報と、上記サンプル情報を比較することで、術部の領域を判断できる。両画像間で色情報に大きく差がある領域は、切開され体内が露出している領域だと言える。特徴情報抽出部１５３において、術部映像を処理する場合、処理範囲を当該領域に絞ることで、処理対象を術部のみに制限し、それ以外の領域を処理対象から除外することで誤検出を抑止しても構わない。上記説明は、次のようにも表現できる。すなわち、２つの異なる時刻において特定の周囲状況（前述の説明においては術部の切開状況）が変化する場合、両時刻のサンプル情報を比較し、一定以上の差分が発生する領域を比較することで、周囲状況の変化により影響を受けるサンプル情報の部分集合を特定できる。
【００６９】
２．医師の指示音声
また、例えば、医師のピンセットを要求する指示音声をサンプル情報とする。つまり、医師がピンセットを要求している周囲状況を示すサンプル情報として音声のサンプル情報を用いる。図３の治療工程表に記載の「人工心肺停止」の治療工程は、確定可能治療工程決定部１５１で決定される治療工程である。治療工程表より、「人工心肺停止」の治療工程の直後に、「心膜縫合」の治療行為でピンセットが使用されることが分かる。従って、「人工心肺停止」の終了時刻より後に、一番初めに記録される音声は、医師がピンセットを要求する音声だと判断できる。ここから、「人工心肺停止」が対象工程である場合、医師の指示音声を記録した音声を対象情報とし、その音声情報の中で、対象工程が終了した時刻より後に、一番初めに検出される音声パターンをサンプル情報とする。当該サンプル情報は、上記した医師の指示音声を表している。すなわち、医師がピンセットを要求する音声パターンを表しているので、特徴情報抽出部１５３において、当該サンプル情報と一致もしくは類似した音声パターンが検出された場合、医師がピンセットを要求する周囲状況が発生していると判断する。
【００７０】
［処理設定情報取得］
対象治療工程に関する上記対象情報について、処理設定情報を取得し、特徴抽出補助情報とする。処理設定情報とは、特徴情報抽出部１５３において、映像、音声、機器信号の情報から特徴情報を抽出する特徴情報抽出処理の制御情報である。特徴情報抽出処理の制御情報には画像処理のパラメータが含まれる。画像処理のパラメータには、例えば画像の二値化処理における閾値がある。特徴情報抽出処理の結果は、その制御情報の設定により異なる。工程推定の精度を高めるためには、有効な特徴抽出を行う必要があり、すなわち、有効な特徴を抽出できる制御情報の設定が必要となるが、全ての制御情報について手動で設定を行うのは困難であり、また、適当な値に制御情報を設定したとして、有効な特徴抽出ができるとは限らない。
【００７１】
そこで、治療工程表と上記対象治療工程を使用し、最適な制御情報の設定を検出する。治療工程表より、対象治療工程が行われた瞬間もしくはその近傍の時刻の周囲の状況は判断できる。上記時刻の対象情報について、特徴情報抽出部１５３と同様の特徴情報抽出処理を、制御情報の設定を変更しながら繰り返し行う。これにより得た複数の特徴情報について、治療工程表から判断される周囲の状況と、最も近しい特徴情報を抽出した制御情報を、処理設定情報として取得する。これにより得た処理設定情報を用いることで、より実際に近い特徴の抽出が行えるため、特徴抽出の精度を向上できる。
【００７２】
上記の処理設定情報取得について、具体例を挙げて説明する。対象治療行為において、その治療行為もしくは前後の治療行為で、手術器具が使用されると治療工程表に記載されている場合、当該治療行為の瞬間もしくはその近傍の時刻の術部映像に特徴情報検出処理を加え、その医療器具が使用されたと判断する制御情報の設定を取り出す。
【００７３】
例えば、図３の治療工程表では、「人工心肺稼働」の治療工程の直後に使用される器具はハサミとされている。従って、「人工心肺稼働」の治療工程が終了時刻以降で、一番早い時刻に検出される器具はハサミになると判断できる。ここから、「人工心肺稼働」の治療工程の終了時刻以降の時刻について、制御設定を変更しながら繰り返し画像処理と器具の検出を行い、その時刻で使用されている器具がハサミである可能性を、最も高く検出した制御設定を取り出し、ハサミ検出に用いる処理設定情報とする。以下に処理設定情報取得の一例を示す。
【００７４】
［処理設定情報取得の具体例］
１．直線検出の処理設定情報取得
手術器具の判別は様々な方法で行えるが、ここでは、特徴抽出補助情報取得部１５２に入力される術部映像から手術器具を識別する方法を考える。術部映像に映るものは、主に患者の体、医師の手、手術器具である。この内、直線的な形状をしているのは手術器具のみである。従って、術部映像に直線が存在するか否かを判別することで、手術器具が使用されているかどうかを検出できる。また、手術においてよく使用されるメス、ハサミ、ピンセットは全て二つの直線で構成されており、その構成は、それぞれ並行、交差、広がりとなっている。従って、二本の直線の相対位置を検出することで、手術器具の種類を識別できる。なお、開胸器など術部に長時間設置される器具も直線として検出されるが、長時間移動しない直線を処理対象から除外することで誤検出を抑止できる。
【００７５】
直線検出には、例えばハフ変換が用いられる。術部映像にハフ変換を行うには、術部映像に二値化処理を施す必要がある。特徴情報抽出部１５３でも同様である。この場合、処理情報の設定としては、二値化処理では二値の閾値、ハフ変換では直線だと判断する閾値、変換画素ピッチがある。これらの設定によっては、手術器具を正しく識別できない可能性がある。そこで、上記処理情報の設定を変化させながら繰り返しハフ変換を行い、使用されている器具を識別する。全ての結果を比較し、治療工程表に記載されている使用器具と一致もしくは最も近い結果を出した処理情報の設定値を、処理設定情報として取り出す
。この処理設定情報を特徴情報抽出部１５３において利用することで、より実際に近い検出結果を得られる。
【００７６】
(Ｓ１５４)特徴抽出補助情報取得部１５２に入力された全ての映像、音声、機器信号情報について、特徴抽出補助情報取得が完了しているかを判定する。完了している場合（Ｓ１５４yes）、Ｓ１５５を実行する。完了していない場合（Ｓ１５４no）、特徴抽出補助
情報が未検出の映像、音声、機器信号の情報について対象情報選択Ｓ１５２から処理を行う。
【００７７】
(Ｓ１５５)確定可能治療工程決定部１５１で決定された全ての治療工程について、特徴抽出補助情報の検出が完了しているかを判定する。完了している場合（Ｓ１５５yes）、
特徴抽出補助情報取得を終了する。完了していない場合（Ｓ１５５no）、特徴抽出補助情報が未検出の治療工程について対象工程選択Ｓ１５１から処理を行う。
【００７８】
（特徴情報抽出部１５３の詳細）
続いて、特徴情報抽出部１５３の詳細を説明する。前述の通り、特徴情報抽出部は、入力される特徴抽出補助情報と映像、音声、機器信号、治療工程表、および、確定可能治療工程の工程情報に基づき、特徴情報を抽出し、治療工程推定部１５４に供給する。ここで、特徴情報とは、映像、音声、機器信号からから特徴を抽出した情報であり、治療工程推定部１５４において治療工程の推定のために利用される。特徴情報は、あらかじめ設定された特徴抽出時刻ごとに抽出される。ただし、映像、音声、機器信号のサンプルが存在する全ての時刻において、特徴情報の抽出をする必要はない。例えば、特徴抽出時刻を映像のフレーム毎の時刻に設定しても良いし、２秒に一度など、既定の間隔に設定しても良い。また、特徴情報の抽出において、必ずしも全ての特徴情報を抽出する必要はない。例えば、音声が記録されていない時刻について特徴情報を抽出する場合、音声から抽出される特徴情報（例えば後述する医師の指示音声）を抽出しなくとも良い。映像、機器信号でも同様である。以下では、特定の特徴抽出時刻における特徴抽出処理の説明を行う場合、その特徴抽出時刻のことを特徴抽出対象時刻と呼ぶ。
【００７９】
特徴情報抽出部１５３では、各特徴抽出対象時刻で特徴情報を抽出し、治療工程推定部１５４に供給する。特徴情報抽出部１５３では、特徴情報の抽出に特徴抽出補助情報を利用する。ただし、必ずしも特徴情報の抽出に特徴抽出補助情報を利用する必要はない。特徴情報の例を以下に示す。
【００８０】
＜特徴情報１：術部の切開状況＞
特徴情報としては、例えば、手術における術部の切開状況がある。すなわち、術部を撮影した映像の色情報より、術部に肌色成分が多ければ術部は非切開であり、赤色が多ければ術部は切開されていると判断し、その切開／非切開の情報を特徴情報とする。
【００８１】
上記判断において、特徴抽出補助情報に含まれる術部映像の色情報のサンプル情報を利用する。このサンプル情報には、切開された術部の周囲状況を示すサンプル情報と、閉じられた術部の周囲状況を示すサンプル情報が含まれる。特徴抽出対象時刻における術部を撮影した映像の色情報が、切開された術部を示すサンプル情報と一致もしくは類似している場合、術部は切開されていると判断する。閉じられた術部を示すサンプル情報と一致もしくは類似した場合も同様である。
【００８２】
＜特徴情報２：医師の指示内容＞
また、例えば、医師の発声を記録した音声に基づき検出された指示内容を特徴情報とする。すなわち、執刀医がメスなどの器具を渡すように助手に指示した場合、その器具名を特徴情報とする。この特徴情報より、執刀医は指示後に当該器具を使用すると推測できる
。
【００８３】
上記の推測において、特徴抽出補助情報に含まれる医師の指示音声のサンプル情報を利用する。このサンプル情報は、医師が器具を要求する周囲状況を示す。特徴抽出対象時刻における医師の発声を記録した音声から、上記サンプル情報と一致もしくは類似した音声パターンが検出された場合、上記サンプル情報が示す周囲状況が発生していると判断する。すなわち、その周囲状況が示す器具が要求されたと判断する。
【００８４】
上記特徴情報１と特徴情報２は、まとめて次のようにも表現できる。すなわち、特徴抽出補助情報に特定の周囲状況を表すサンプル情報が含まれている場合に、特徴抽出対象時刻におけるサンプル情報と、前記周囲状況を表すサンプル情報を比較して一致性または類似性を評価することで、特徴抽出対象時刻においてある周囲状況が発生しているか否かを判定できる。
【００８５】
＜特徴情報３：医療器具置き場の状況＞
また、例えば、医療器具の置き場を撮影した映像から推定される使用器具名を特徴情報とする。すなわち、医療器具の置き場を撮影した映像より、残りの器具の数、減った器具の個数を判別し、その時刻に使用されている器具を推定し、その器具名を特徴情報とする。上記器具の判別は、パターン認識による形状識別により行われても良いし、別の方法でもよい。治療工程表には、各治療行為について、使用されるメス等の手術器具の種類と順序が記載されている。このため、何の手術器具が使用されているのか、手術開始から順に追うことができれば、使用中の手術器具の種類、それまでに使用された手術器具の数から、現在の治療工程を推定できる。このため、器具置き場に置かれた残りの器具の個数を調べることで、今まで何の器具がどれだけ使用されたか判断できる。この情報からその時刻に使用されている器具の種類を推測し、その器具名を特徴情報とする。
【００８６】
＜特徴情報４：術部で使用されている器具＞
また、例えば、術部を撮影した映像から推定される使用器具名を特徴情報とする。すなわち、術部を撮影した映像より、各時刻に術部で使用されている器具を推定し、その器具名を特徴情報とする。上記使用されている器具の識別は、パターン認識による形状識別で行われても良いし、直線認識による識別でも良い。
【００８７】
直線認識による器具の識別において、特徴抽出補助情報に含まれる直線検出の処理設定情報を利用する。この処理設定情報には、直線検出による器具の識別を、好適に行える設定情報が含まれている。このため、特徴抽出対象時刻における術部を撮影した映像に対して、この処理設定情報に基づいた直線検出を適用することで、処理設定情報を使わない場合に比べ、より正確な器具の識別が可能となる。
【００８８】
＜特徴情報５：電子機器の使用状況＞
また、例えば、各種電子機器の使用状況を特徴情報とする。すなわち、機器設定信号を特徴情報とする。例えば、心肺停止でない場合に、生体モニタに表示される心拍数の波形形状のような、判断基準が一意に定まらない機器設定信号を特徴情報とする。ただし、治療工程表に当該波形を取り出す指示があった場合に限る。
【００８９】
上記で例に挙げた特徴情報はあくまで特徴情報の一例であり、上記以外の特徴情報が使用されても構わない。
【００９０】
特徴情報抽出部１５３では、確定可能治療工程決定部１５１で決定された工程情報に基づき、工程情報が決定されていない時刻についてのみ特徴情報を抽出しても良い。すなわち、確定可能治療工程決定部１５１において、確定可能治療工程が行われていると決定さ
れた時刻では、特徴情報の抽出を行う必要はない。それにより特徴情報抽出処理の処理量を低減できる。図４を参照して具体的に言うと、確定可能治療工程である「麻酔」の治療工程が行われていた１４：００から１４：３０までの時刻と、同じく確定可能治療工程である「心膜切開」から「人工心肺停止」の治療工程が行われていた１４：５５から１６：５０までの時刻については、特徴抽出対象時刻から除外しても良い。
【００９１】
また、確定可能治療工程決定部１５１で決定された治療工程と治療工程表より、ある時刻に抽出され得る特徴情報が限定される場合、特徴情報の抽出において、抽出され得ない結果を排除しても良い。抽出対象を絞り込むことで、より正確に特徴情報を抽出できる。例えば、図３の治療工程表で言うと、「人工心肺稼働」の治療工程の終了時刻と、「人工心肺停止」の治療工程の開始時刻が既に決定されている場合、それらの時刻の間に使用される器具はハサミ、ピンセット、電気メスのみとなる。使用される器具名を特徴情報とする場合、上記時刻において、上記の器具名のみが、使用される器具名を示す特徴情報になり得るとして、上記以外の器具名を特徴情報として扱わなくても良い。
【００９２】
上記のように、時刻毎に抽出され得る特徴情報を示す情報を、特徴抽出制限情報とする。特徴抽出制限情報は、映像、音声、機器信号のサンプルが存在する全ての時刻において検出されても良いし、映像のフレーム毎の時刻に検出されても良いし、２秒に一度など、既定の間隔で検出されても良い。また、特徴抽出対象時刻に従って検出されても良い。
【００９３】
なお、ここで例に挙げて説明はしないが、確定可能治療工程決定部１５１で決定された工程情報を、特徴情報抽出部１５３に供給せず、特徴情報抽出部１５３において機器稼働信号を判別し、確定可能治療工程と、確定可能治療工程が行われていると判断された時刻を検出しても良い。
【００９４】
（工程情報推定部の効果）
以上説明した工程情報推定部１５は、入力された治療工程表と映像、音声、機器信号より、確定可能治療工程を判別し、そこから、サンプル情報と処理設定情報からなる特徴抽出補助情報を取り出し、その情報を利用して入力された映像、音声、機器信号より特徴情報抽出を行い、当該特徴情報を用いて治療工程推定を行う機能を備えている。
【００９５】
特徴情報抽出にサンプル情報を利用することで、抽出した特徴情報が何を意味するのか、またその判断基準は何かを、実際の治療を記録した情報から取り出せるため、これらを予め設定する必要のある従来技術に比べ、特徴情報をより有効に利用できる。
【００９６】
特徴情報抽出に処理設定情報を利用することで、特徴情報抽出の制御設定を予め設定する必要がある従来技術に比べ、より好適な制御設定を使用できるため、より有効な特徴情報抽出が可能となる。
【００９７】
このため、従来の映像、音声、機器信号から特徴情報抽出を行い、治療工程推定を行う技術に比べ、特徴情報抽出に特徴抽出補助情報を利用することで、より有効な特徴情報抽出が行える。従って、より精度の高い治療工程推定が可能となる。
【００９８】
〔付記事項１〕
前述の治療工程推定装置１の説明では治療行為で定義された全ての治療工程を導出するとして装置の説明をしたが、必ずしも全ての治療工程を導出する必要はなく、一部の治療工程のみを導出する装置であってもよい。
【００９９】
〔付記事項２〕
前述の治療工程推定装置１の説明では、予め記録の完了した、治療行為に関するメディ
アデータについて、当該治療行為の工程情報を推定するとして装置の説明をしたが、必ずしも予め記録の完了したメディアデータを扱う必要はなく、治療行為に関するメディアデータの記録と並行して、当該治療行為の工程情報を推定する装置であっても良い。
【０１００】
この場合、ある時刻に、工程情報推定部１５において、工程情報を推定する場合、その時刻より先の時刻のメディアデータを参照しないものとする。すなわち、工程情報の推定に未来の時刻のメディアデータを扱わない。具体的には、特徴抽出補助情報部１５２において、特徴抽出補助情報を取得する際、現在の時刻よりも過去の時刻のメディアデータのみを参照する。この場合、特徴抽出補助情報は、任意のタイミングで取得され直しても良い。
【０１０１】
また、ある時刻に、治療工程推定部１５４において工程情報を推定する場合、その時刻よりも未来の時刻のメディアデータは参照しないものとする。この場合、前述の治療工程推定装置１の説明と異なり、現在行われていると推定される治療工程に限り、その治療工程の終了時刻を推定する必要はなく、かつ工程情報にその治療工程の終了時刻を含めなくとも良い。確定可能治療工程決定部１５１における、確定可能治療工程の工程情報の決定についても同様である。ただし、終了時刻が確定していない治療工程は、治療工程を確定的に決定できない可能性があるため、確定可能治療工程として扱わないものとする。図４の工程情報を参照して具体的に説明する。1４：４６に、治療工程推定部１５４において
、治療工程の推定を行う際、「消毒」の治療工程の終了時刻が推定されていれば、治療工程表より、次に行われる治療工程は「肌切開」の治療工程だと判断できる。そして、特徴情報よりメスの使用が検知されれば、「肌切開」の治療工程が行われていると推定する。
【０１０２】
治療行為に関するメディアデータの記録と並行して、当該治療行為の工程情報を推定する場合、現在行われていると推定される治療工程の名称と詳細（名称、使用器具の順序など）や、次に行われると治療工程表に記載されている治療工程の名称や詳細を、映像や音声を用い、医師や医療スタッフに提示しても良い。なお、上記の説明では、現在の治療工程を推定するとして説明したが、必ずしも現在の治療工程について、工程情報を推定する必要はなく、治療工程の開始時刻と終了時刻を推定できる治療工程についてのみ、工程情報を推定しても良い。
【０１０３】
治療行為に関するメディアデータの記録と並行して、当該治療行為の工程情報を推定することで、治療行為の完了と同時に、当該治療行為の工程情報推定を完了できる。すなわち、治療行為の記録完了後に治療工程推定を行う場合に比べ、より早い時刻に工程情報を出力できる。また、医師や医療スタッフに、現在の治療工程を提示することで、治療の進捗状況を確認できる。同様に、次に行われる治療工程の情報を提示することで、治療工程表が手元になくとも、次に行われる治療行為を確認できる。
【０１０４】
〔付記事項３〕
前述の治療工程推定装置１の説明では、治療行為の工程情報を推定するとして説明しているが、工程推定の対象は必ずしも治療行為に制限されない。すなわち、治療行為でない行為について、工程情報を推定する装置であっても良い。具体的には、治療行為ではないある行為について、当該行為に関するメディアデータ、および、治療工程表と同等の情報を持つ、当該工程に関する工程表（工程名、工程における使用器具の詳細、工程における電子機器の詳細）がある場合、治療行為の工程情報の推定と同様に、当該行為に関する工程情報の推定を行っても良い。以下に治療行為でない行為の一例を示す。
【０１０５】
治療行為ではない行為とは、例えば、演劇や音楽ライブ等のステージである。上記ステージは、一般に、予め工程の順序と詳細が定められた工程表が作成される。また、当該工程表には電子機器（スピーカ、照明など）の使用の詳細も記載されるため、治療行為の工
程情報の推定と同様に、工程情報の推定が可能である。上記ステージについて推定した工程情報を利用することで、上記ステージを撮影した映像の閲覧が容易になる。これにより、例えば、上記ステージを撮影した映像を、工程（シーン）毎に分類し、任意のシーンにシークできる。
【０１０６】
また、例えば、製品の組み立てである。ただし、電子機器を利用するものに限る。一般に、製品の組み立ては、組み立て工程の順序と詳細が定められているため、治療行為の工程情報の推定と同様に、工程情報の推定が可能である。上記製品組み立てについて推定した工程情報を利用することで、上記製品組み立てを撮影した映像の閲覧が容易になる。これにより、例えば、上記製品組み立てを撮影した映像に、各時刻で行われている作業の名称を加えることで、教育用の映像として活用できる。また、各工程の作業時間を計測できる。
【０１０７】
〔付記事項４〕
前述の治療工程推定装置１の説明では、工程情報を、治療工程の開始時刻と終了時刻、および、治療工程名を含む情報であるとして装置の説明をしたが、さらに、工程情報に重要度の情報を含む装置であっても良い。ここで、重要度の情報とは、工程情報を推定する各時刻において、その時刻におけるメディアデータの重要度を示す情報である。重要度の情報は、工程情報を推定する時刻毎に設定されても良いし、治療工程内の作業毎に設定されても良いし、治療工程ごとに設定されても良い。
【０１０８】
重要度の情報は、予め治療工程表に記載されていれば、その情報を参照して決定しても良いし、メディアデータから導出されても良い。例えば、図３の治療工程表で言うと、機器稼働信号より、人工心肺が稼働完了してから停止作業に入るまでの時刻(「人工心肺稼
働」の治療工程の終了時刻から「人工心肺停止」の治療工程が開始される時刻まで)は、
術部を撮影した映像に重要なシーンが映っていると判断し、その時刻の重要度を高く設定する。また、治療工程の推定結果から導出されても良い。例えば、作業時間の長い治療工程は、重要であると設定する。
【０１０９】
工程情報に重要度の情報が含まれる場合、工程情報蓄積部１６に蓄積される工程情報は、重要度による映像検索を行うためのインデックスであっても良い。なお、必ずしも全ての時刻、または作業、または治療工程の工程情報に、重要度の情報が含まれる必要はなく、一部の上記工程情報にのみ、重要度の情報が含まれても良い。また、メディアデータごとに個別の重要度の情報を設定しても良いし、全てのメディアデータで共通の重要度の情報を設定しても良い。
【０１１０】
工程情報に重要度の情報を含むことで、重要度による映像検索が可能となり、映像の確認を、より簡易にできる。
【０１１１】
〔付記事項５〕
前述の治療工程推定装置１の説明では、治療工程について工程情報を推定するとして説明しているが、治療工程を構成する作業（器具の使用、電子機器の使用）について工程情報を推定する装置であっても良い。すなわち、治療工程を構成する作業毎に、開始時刻と終了時刻を推定し、作業名の情報と合わせ、工程情報としても良い。
【０１１２】
作業の工程情報の推定は、治療工程の工程情報の推定と同様に、工程情報推定部１５において行われる。治療工程を構成する作業は、治療工程と同様に、確定的に決定できる作業（確定可能作業）を含む。ここで、確定可能作業とは、電子機器を使用する作業であり、機器稼働信号によって工程情報を決定できる作業である。例えば、図３の治療工程表で言うと、「肌切開」の治療工程を構成する作業はメス、ピンセット（ガーゼ）、電気メス
切断モード、電気メス止血モードである。この内、電気メス切断モード、電気メス止血モードの作業は、電子機器を使用する作業であり、機器稼働信号により作業の開始時刻と終了時刻を確定的に決定できるため、確定可能作業となる。以下で作業の工程情報の推定について説明する。
【０１１３】
作業の工程情報を推定する場合、まず確定可能治療工程決定部１５１において、確定可能作業の工程情報を決定する。すなわち機器稼働信号より工程情報を決定できる作業について、工程情報を決定する。なお、この際、確定可能治療工程でない治療工程を構成する作業であっても、確定可能作業であれば工程情報を決定する。例えば、図３の治療工程表で言うと、「肌切開」の治療工程は確定可能治療工程ではないが、この治療工程に含まれる確定可能作業（電気メス切断モード、電気メス止血モード）について工程情報を決定する。
【０１１４】
次に、治療工程推定部１５４において、特徴情報抽出部１５３で抽出された特徴情報に基づき、工程情報が決定されていない作業の工程情報を推定する。すなわち、確定可能作業ではない作業の工程情報を推定する。この時、治療工程の工程情報の推定と同様に、確定可能治療工程決定部１５１において、確定可能作業が行われていると判断された時刻について、作業の工程情報を推定する必要はない。また、治療工程の工程情報の推定と同様に、既に決定もしくは推定された作業の工程情報と治療工程表より、作業の工程情報を推定して良い。
【０１１５】
作業の工程情報を推定する場合、工程情報蓄積部１６に蓄積される工程情報は、作業名による映像検索を行うためのインデックスであっても良い。なお、必ずしも全ての作業の工程情報を導出する必要はなく、一部の作業の工程情報のみを導出しても良い。
【０１１６】
工程情報に作業に関する工程情報を含むことで、作業名による映像検索が可能となり、映像の確認を、より簡易にできる。
【０１１７】
〔変形例１〕
前述の治療工程推定装置１の説明では、工程情報の推定の対象となる治療行為(推定対
象治療行為)に関する情報のみを使用して、治療行為の工程情報を推定するとして説明し
ているが、当該治療行為以外の治療行為（非推定対象治療行為）の情報を利用して治療行為の工程情報を推定する装置であっても良い。すなわち、推定対象治療行為の治療工程情報の推定において、１つ以上の非推定対象治療行為に関する特徴情報抽出補助情報を、推定対象治療行為の特徴抽出を行う際に参照し、特徴情報を抽出する。そして、その特徴情報を用い、治療工程推定を行っても良い。なお、非推定対象治療行為とは、例えば、過去に行われた治療行為である。その場合、工程情報推定部１５には、推定済みの工程情報と、その導出時に用いた特徴抽出補助情報を記録する記録部を追加で備える。また、例えば、推定対象治療行為と並行して行われる治療行為である。
【０１１８】
非推定対象治療行為の特徴抽出補助情報は、過去に当該非推定対象治療行為の工程情報を推定した際に取得され、蓄積された情報であっても良いし、推定対象治療行為の特徴抽出補助情報を取得する際に、非推定対象治療行為に関する治療工程表とメディアデータから取得されても良い。
【０１１９】
推定対象治療行為に関するメディアデータに機器稼働信号が含まれない場合など、特徴抽出補助情報が取得できない、もしくは取得が難しい場合であっても、上記のように、非推定対象治療行為の特徴抽出補助情報を利用することで、より有効な特徴情報抽出が行える。従って、より精度の高い治療工程推定が可能となる。
【０１２０】
〔変形例２〕
前述の治療工程推定装置１の説明では、推定した工程情報を工程情報蓄積部１６に蓄積するとして説明しているが、必ずしも工程情報を工程情報蓄積部１６に蓄積する必要はなく、工程情報を治療工程推定装置１から出力する装置であっても良い。
【０１２１】
この場合、治療工程推定装置１には、工程情報蓄積部１６を構成する記憶媒体が必ずしも必要でなくなる。また、推定した工程情報を、工程情報蓄積部１６を経由せず、出力することが可能となる。
【０１２２】
〔変形例３〕
図６を用いて特徴情報抽出部１５３の詳細構成を説明する。図６は特徴情報抽出部１５３の構成例を示した機能ブロック図である。図６に示すように、特徴情報抽出部１５３は、特徴抽出対象時刻設定部１５３１、特徴抽出制限情報設定部１５３２、メディアデータ処理部１５３３、メディアデータ比較部１５３４、特徴情報取得部１５３５を備える。
【０１２３】
特徴抽出対象時刻設定部１５３１は、入力される確定可能治療工程の工程情報と治療工程表に基づき、前述した特徴抽出対象時刻を設定し、その情報をメディアデータ処理部１５３３、および、メディアデータ比較部１５３４に供給する。
【０１２４】
特徴抽出制限情報設定部１５３２は、入力される確定可能治療工程の工程情報と治療工程表に基づき、前述した特徴抽出制限情報を設定し、その情報をメディアデータ処理部１５３３、および、メディアデータ比較部１５３４に供給する。
【０１２５】
メディアデータ処理部１５３３は、入力される処理設定情報を含む特徴抽出補助情報、特徴抽出対象時刻情報に基づき、入力される映像、音声、機器信号に、画像処理などの処理を加え、その処理結果を特徴情報取得部１５３５に供給する。ここで、画像処理などの処理とは、特徴情報を抽出するためにメディアデータに対して行われる処理であり、例えば、術部を撮影した映像のフレームに対する二値化、ハフ変換、パターン認識、また、器具置き場を撮影した映像のフレームに対する二値化、パターン認識である。上記はあくまで一例であり、映像だけでなく、音声、機器信号に処理を行い、処理結果を取り出しても構わない。上記した各種処理の設定およびパラメータは、治療工程推定が行われる前に、予め設定される。ただし、メディアデータ処理部１５３３に入力される特徴抽出補助情報に、前述の処理設定情報が含まれる場合、当該処理設定情報を、各処理の設定、および、パラメータに反映する。なお、必ずしも全ての処理設定情報を反映する必要はない。処理結果には、その処理の対象となったメディアデータの時刻情報が付随される。
【０１２６】
メディアデータ比較部１５３４は、入力されるサンプル情報を含む特徴抽出補助情報、特徴抽出対象時刻情報に基づき、入力される映像、音声、機器信号の情報を、基準サンプル情報と比較し、その比較結果を特徴情報取得部１５３５に供給する。基準サンプル情報とは、例えば、術部を撮影した映像に関しては、術部が切開されている時の術部の色情報である。この基準サンプル情報の色情報と、メディアデータに含まれる、術部を撮影した映像の色情報を比較し、どれだけ類似しているのかを数値で示したものを比較結果とし、その比較結果に基づき、特徴情報が決定される。この場合、特徴情報取得部１５３５において、上記比較結果が類似していれば、術部が切開されているとして特徴情報を設定する。類似していなければ、術部は閉じられているとして特徴情報を設定する、もしくは、基準サンプル情報と類似していないとして、特徴情報を設定しなくとも良い。上記した基準サンプル情報は、治療工程推定が行われる前に、予め設定される。ただし、メディアデータ処理部１５３３に入力される特徴抽出補助情報に、前述のサンプル情報が含まれる場合、当該サンプル情報を基準サンプル情報に設定し、そうでない場合は、規定値を基準サンプル情報と設定する。なお、必ずしも全ての基準サンプル情報を反映する必要はない。比
較結果には、その比較の対象となったメディアデータの時刻情報が付随される。
【０１２７】
特徴情報取得部１５３５は、入力される特徴抽出制限情報、処理結果、比較結果に基づき特徴情報を決定し、特徴情報抽出部１５３から出力する。
【０１２８】
なお、特徴抽出補助情報に処理設定情報のみを含む場合は、メディアデータ比較部１５３４で特徴抽出補助情報を受け取らず、基準サンプル情報に規定値を入れても良い。また、特徴抽出補助情報にサンプル情報のみを含む場合は、メディアデータ処理部１５３３で特徴抽出補助情報を受け取らず、処理の設定を規定値としても良い。
【０１２９】
〔変形例４〕
前述の治療工程推定装置１の説明では、工程情報推定部１５を、確定可能治療工程推定部１５１、特徴抽出補助情報取得部１５２、特徴情報抽出部１５３、治療工程推定部１５４で構成するとして説明しているが、必ずしもこの構成である必要はなく、特徴情報抽出部１５３と治療工程推定部１５４を、それらの機能を統合した治療工程推定部１５３aに
置き換えて、工程情報推定部１５を構成する装置であっても良い。
【０１３０】
図７を用いて治療工程推定部１５３aの機能を説明する。図７は工程情報推定部１５の
変形例を示した図である。図７に示すように、工程情報推定部１５は確定可能治療工程推定部１５１、特徴抽出補助情報取得部１５２、治療工程推定部１５３aより構成されても
良い。確定可能治療工程推定部１５１と特徴抽出補助情報取得部１５２の機能は前述のとおりである。治療工程推定部１５３aは、入力される特徴抽出補助情報と映像、音声、機
器信号、治療工程表、および、確定可能治療工程の工程情報に基づき、特徴情報を取り出す。さらに、上記特徴情報と治療工程表、確定可能治療工程の工程情報に基づき、確定可能治療工程以外の治療工程の工程情報を推定し、その工程情報を確定可能治療工程決定部１５１で決定された工程情報と足し合わせ、工程情報推定部１５から出力する。治療工程推定部１５３aにおける特徴情報の抽出は、上述した特徴情報抽出部１５３における特徴
情報の抽出と同様に行われる。また、治療工程推定部１５３aにおける治療工程の推定は
、上述した治療工程推定部１５４と同様に行われる。
【０１３１】
なお、前述の治療工程推定装置１の説明では、全ての特徴抽出対象時刻について特徴情報を抽出した後で、工程情報を推定するとして説明しているが、この構成の場合、必ずしも上記の順序に則る必要はなく、特徴情報の抽出と、工程情報の推定を並行して行っても良い。
【産業上の利用可能性】
【０１３２】
〔ソフトウェアによる実現例〕
治療工程推定装置１（特に工程情報推定部１５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現しても良いし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現しても良い。
【０１３３】
後者の場合、治療工程推定装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ，上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読みとって実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピ
ュータに供給されても良い。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【符号の説明】
【０１３４】
１            治療工程推定装置
１１          映像取得部
１２          音声取得部
１３          機器信号取得部
１４          治療工程表取得部
１５          工程情報推定部
１５１        確定可能治療工程決定部
１５２        特徴抽出補助情報取得部
１５３        特徴情報抽出部
１５３a       治療工程推定部
１５３１      特徴抽出対象時刻設定部
１５３２      特徴抽出制限情報設定部
１５３３      メディアデータ処理部
１５３４      メディアデータ比較部
１５３５      特徴情報取得部
１５４        治療工程推定部
１６          工程情報蓄積部
【図１】
2018200493.tif 000003
【図２】
2018200493.tif 000004
【図３】
2018200493.tif 000005
【図４】
2018200493.tif 000006
【図５】
2018200493.tif 000007
【図６】
2018200493.tif 000008
【図７】
2018200493.tif 000009