(57)【要約】【課題】検査の実施内容を理解しやすく編集した記録文書を作成する技術を提供する。【解決手段】検査データ保持部２３２は、内視鏡検査において使用した照射光の種別を示す照射光種別データおよび／または内視鏡検査において患者の体内で散布した薬剤の散布状態を示す薬剤散布データおよび／または内視鏡検査において実施された処置の実施状況を示す処置実施データを含む内視鏡検査の実施記録情報を、時間情報とともに記録している。文生成部２２７は、検査データ保持部２３２に記録した実施記録情報に含まれるデータ要素から、実施記録に関する文を生成する。文書生成部２２８は、文生成部２２７が生成した文を、時間情報に関連づけた文書を生成する。【選択図】図３３
2017086685.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡検査において使用した照射光の種別を示す照射光種別データおよび／または内視鏡検査において患者の体内で散布した薬剤の散布状態を示す薬剤散布データおよび／または内視鏡検査において実施された処置の実施状況を示す処置実施データを含む内視鏡検査の実施記録情報を、時間情報とともに記録した検査データ保持部と、
前記検査データ保持部に記録した実施記録情報に含まれるデータ要素から、実施記録に関する文を生成する文生成部と、
前記文生成部が生成した文を、時間情報に関連づけた文書を生成する文書生成部と、
を備えたことを特徴とする内視鏡業務支援システム。
【請求項２】
内視鏡検査に関して作成された検査レポートの所見および／または診断のデータ要素を記録するレポートデータ保持部を、さらに備え、
前記文生成部は、検査レポートのデータ要素から、所見および／または診断に関する文を生成し、
前記文書生成部は、所見および／または診断に関する文を、実施記録に関する文に関連づけた文書を生成する、
ことを特徴とする請求項１に記載の内視鏡業務支援システム。
【請求項３】
検査レポートの所見および／または診断のデータ要素に関し、文の生成可否を設定する設定部を、さらに備えることを特徴とする請求項２に記載の内視鏡業務支援システム。
【請求項４】
内視鏡検査を実施した患者のデータを取得する患者データ取得部と、
内視鏡検査で撮像された画像データを取得する画像取得部と、をさらに備え、
前記文書生成部は、患者データおよび／または画像データを含めた文書を生成する、
ことを特徴とする請求項３に記載の内視鏡業務支援システム。
【請求項５】
前記文書生成部は、文を、時間順に並べて文書を生成する、ことを特徴とする請求項１から４のいずれかに記載の内視鏡業務支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡業務を支援するシステムに関する。
【背景技術】
【０００２】
現在、内視鏡検査に関して記録されるデータは主として静止画像、動画像および検査後に医師が作成するレポート情報である。また、レポート情報と併せて検査に要した全体的な時間のようなごく一般的な数値情報を記録することが可能である。
【０００３】
近年、機器からの出力情報やセンシング技術等を用いて現実世界における多種多様な事象をビッグデータ化することで新たな知識・知見を得たり、様々な改善や効率化を実現しようという試みが数多くなされている。もし内視鏡医療においても同様のことを実施しようとするならば、例えば内視鏡検査をどのように施行することが病変の発見に有効か、熟練医と非熟練医との違いはどのようなところに現れるか、いわゆるルーチン検査の標準やプロトコルに対して確実に準拠しているか、さらには標準やプロトコルをどのように改善すればよいかといった様々な知識・知見の発見が期待されると考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２０９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した現在記録されている各種のデータでは、内視鏡検査に対する定量的・客観的な評価や比較をすることが難しい。すなわち、どのような手順や時間配分で検査を実施し、どのような観察や機器操作をどのくらい（時間・回数）実施したかを容易に把握することができない。また、いわゆるルーチン検査においてプロトコルにしたがい正しい手順で検査を実施したか否かといった評価や比較を容易に実施することができない。また、例えば病変を数多く発見する医師や病院と、そうでない医師や病院の検査手順の違い等を分析することも手間がかかる。例えばサンプルとしていくつかの検査を記録した動画像を見ながらの比較等を実施することが必要になるが、時間を要し、限られた検査例だけとなる等の問題がある。そこで、内視鏡検査を定量的・客観的に分析するためのデータを効率的に記録する技術の開発が望まれている。
【０００６】
内視鏡検査が終了すると、医師は検査レポートを作成する。検査レポートは所見内容や診断内容などを記録するためのものであり、患者に提示されて患者が読むことを目的として作成されるものではない。たとえば将来、患者に対して検査の実施内容を説明することが求められた場合に、患者に検査レポートを提示しても十分とは言えず、また仮に患者が検査レポートを読んだとしても容易に理解できるものでもない。そのため患者が読んでも検査の実施内容が理解できるような形式の記録文書を作成する技術の開発が望まれている。
【０００７】
本発明はこうした状況に鑑みなされたものであり、その目的は、検査の実施内容を理解しやすく編集した記録文書を作成する技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の内視鏡業務支援システムは、内視鏡検査において使用した照射光の種別を示す照射光種別データおよび／または内視鏡検査において患者の体内で散布した薬剤の散布状態を示す薬剤散布データおよび／または内視鏡検査において実施された処置の実施状況を示す処置実施データを含む内視鏡検査の実施記録情報を、時間情報とともに記録した検査データ保持部と、検査データ保持部に記録した実施記録情報に含まれるデータ要素から、実施記録に関する文を生成する文生成部と、文生成部が生成した文を、時間情報に関連づけた文書を生成する文書生成部と、を備える。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、検査の実施記録情報を編集した記録文書を作成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る内視鏡業務支援システムの構成を示す図である。
【図２】実施の形態１に係る内視鏡システムの構成を示す図である。
【図３】実施の形態１に係る内視鏡検査データ記録装置の構成を示す図である。
【図４】実施の形態１に係る端末装置の構成を示す図である。
【図５】生検鉗子を含む内視鏡画像の一例を示す図である。
【図６】図６（ａ）−（ｃ）は、マスタ情報保持部に保持されるマスタ情報テーブルの例を示す図である。
【図７】検査データ保持部に記録される検査データの一例を示す図である。
【図８】検査データ保持部に記録される検査データの別の例を示す図である。
【図９】実施の形態１に係る内視鏡システムの動作例を説明するためのフローチャートである。
【図１０】実施の形態１に係る内視鏡検査データ記録装置の動作例を説明するためのフローチャートである。
【図１１】実施の形態２に係る内視鏡システムの構成を示す図である。
【図１２】実施の形態２に係る内視鏡検査データ記録装置の構成を示す図である。
【図１３】図１３（ａ）−（ｂ）は、マスタ情報保持部に保持される撮像距離マスタテーブルの一例と、検査データ保持部に記録される検査データの一例を示す図である。
【図１４】実施の形態３に係る内視鏡システムの構成を示す図である。
【図１５】実施の形態３に係る内視鏡検査データ記録装置の構成を示す図である。
【図１６】マスタ情報保持部に保持される撮像状態マスタテーブルの一例を示す図である。
【図１７】検査データ保持部に記録される検査データの一例を示す図である。
【図１８】マスタ情報保持部に保持される変化評価値・撮像状態マスタテーブルの一例を示す図である。
【図１９】検査データ保持部に記録される検査データの一例を示す図である。
【図２０】実施の形態３の応用例に係る内視鏡システムの動作例を説明するためのフローチャートである。
【図２１】実施の形態４に係る内視鏡検査データ記録装置の構成を示す図である。
【図２２】統計データ保持部に記録される統計データの一例を示す図である。
【図２３】実施の形態４に係る内視鏡検査データ記録装置の動作例を説明するためのフローチャートである。
【図２４】実施の形態５に係る内視鏡検査データ記録装置の構成を示す図である。
【図２５】図２５（ａ）−（ｂ）は、内視鏡画像に撮影順に部位情報を付与するための部位特定画面の一例を示す図である。
【図２６】実施の形態５に係る内視鏡検査データ記録装置の動作例を説明するためのフローチャートである。
【図２７】内視鏡検査における２地点の指定画面の一例を示す図である。
【図２８】内視鏡検査における部位間選択画面の一例を示す図である。
【図２９】内視鏡検査の推移をデータで表した画面例の第１状態（検査開始直後）を示す図である。
【図３０】内視鏡検査の推移をデータで表した画面例の第２状態（検査開始から５分経過時）を示す図である。
【図３１】内視鏡検査の推移をデータで表した画面例の第３状態（検査開始から１１分経過時）を示す図である。
【図３２】内視鏡検査の推移をデータで表した画面例の第４状態（検査終了時）を示す図である。
【図３３】実施の形態８に係る内視鏡検査データ記録装置の構成を示す図である。
【図３４】検査データ保持部に記録される検査データの一例を示す図である。
【図３５】テンプレート保持部が保持するテンプレートの一例を示す図である。
【図３６】文書生成部が生成する検査実施記録文書の一例を示す図である。
【図３７】文書生成部が生成する検査実施記録文書の別の例を示す図である。
【図３８】文書生成部が生成する検査実施記録文書の別の例を示す図である。
【図３９】実施の形態９に係る内視鏡業務支援システムの構成を示す図である。
【図４０】内視鏡検査のレポート入力画面の一例を示す図である。
【図４１】検査推移画面の一例を示す図である。
【図４２】内視鏡画像に関連づけて所見を入力した例を示す図である。
【図４３】実施の形態９に係る内視鏡検査データ記録装置の構成を示す図である。
【図４４】テンプレート保持部が保持するテンプレートの一例を示す図である。
【図４５】文書生成部が生成する検査実施記録文書の例を示す図である。
【発明を実施するための形態】
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係る内視鏡業務支援システム１の構成を示す図である。実施の形態１において内視鏡業務支援システム１は、内視鏡部門に設置される内視鏡検査データ記録システムであって、図示しない業務支援システムと連携して動作する。内視鏡業務支援システム１は内視鏡システム１０、内視鏡検査データ記録装置２０、端末装置３０を備え、それらはＬＡＮなどのネットワーク２によって相互接続される。
【００１３】
内視鏡業務支援システム１は医療施設内の別のシステムと連携が可能である。例えばネットワーク２にゲートウェイ装置（不図示）が接続され、このゲートウェイ装置を介して内視鏡業務支援システム１は、オーダリングシステム、電子カルテシステム、医事会計システム等と連携可能である。
【００１４】
図２は、実施の形態１に係る内視鏡システム１０の構成を示す図である。内視鏡システム１０は内視鏡１１、内視鏡処理装置（カメラコントロールユニットともいう）１２、表示装置１３および光源装置１４を備える。内視鏡１１は患者の体内に挿入され、患者の体内を撮影する。内視鏡１１は撮像素子１１１、鉗子チャンネル１１２および操作部１１３を含む。
【００１５】
撮像素子１１１はＣＣＤイメージセンサ、ＣＭＤイメージセンサまたはＣＭＯＳイメージセンサを備え、入射光を光電変換する。光電変換により生成された画像信号は、図示しない信号処理回路によりＡ／Ｄ変換、ノイズ除去などの信号処理が施され、内視鏡処理装置１２に出力される。鉗子チャンネル１１２は、鉗子などの処置具を通すためのチャンネルである。操作部１１３にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられる。
【００１６】
表示装置１３は、内視鏡処理装置１２から入力される画像を表示する。例えば、内視鏡１１により撮像されている患者の体内の画像をリアルタイムに表示する。光源装置１４はキセノンランプ等の光源を備え、内視鏡１１の先端に光を送る。光源装置１４は内視鏡１１に複数種類の観察光を照射できる。例えば白色光、狭帯域光（Narrow Band Imaging：ＮＢＩ）、蛍光、近赤外光を照射できる。
【００１７】
内視鏡処理装置１２は内視鏡システム１０全体を制御する。内視鏡処理装置１２は制御部１２１、および通信部１２６を備える。制御部１２１は照射光切替制御部１２２、および画像認識部１２３を含む。画像認識部１２３は薬剤散布検知部１２３ａ、および処置実施検知部１２３ｂを含む。図２の制御部１２１には、実施の形態１の処理に関連する機能ブロックのみを描いている。
【００１８】
制御部１２１の機能は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。例えば、画像認識部１２３はＦＰＧＡにより構成されてもよい。
【００１９】
図３は、実施の形態１に係る内視鏡検査データ記録装置２０の構成を示す図である。内視鏡検査データ記録装置２０は例えばサーバ、またはＰＣで構成される。内視鏡検査データ記録装置２０は通信部２１、制御部２２、記憶部２３、およびコンソール部２４を備える。制御部２２はデータ取得部２２１、操作受付部２２２、表示制御部２２３、データ算出部２２４およびデータ記録部２２５を含む。データ取得部２２１は照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、および処置実施データ取得部２２１ｃを含む。図３の制御部２２にも、実施の形態１の処理に関連する機能ブロックのみを描いている。制御部２２の機能も、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。
【００２０】
記憶部２３はＨＤＤ、ＳＳＤ等の記録媒体を備え、マスタ情報保持部２３１、および検査データ保持部２３２を含む。図３の記憶部２３にも、実施の形態１の処理に関連する機能ブロックのみを描いている。
【００２１】
図４は、実施の形態１に係る端末装置３０の構成を示す図である。端末装置３０は医師、看護師など医療機関に従事する医療従事者が使用する端末装置であり、例えばＰＣ、タブレット、ＰＤＡなどで構成される。タブレット、ＰＤＡなどの携帯端末装置が使用される場合、ネットワーク２にアクセスポイント（不図示）が設置され、無線ＬＡＮによりネットワーク２に接続される。端末装置３０は通信部３１、制御部３２、記憶部３３、表示部３４、および操作入力部３５を備える。以下、図２〜図４を参照しながら具体的に説明する。
【００２２】
内視鏡１１で患者の体内を撮影した内視鏡画像は動画像として、内視鏡処理装置１２に入力される。例えば３０Ｈｚのフレームレートで入力される。内視鏡処理装置１２の表示制御部（不図示）は、入力された内視鏡動画像を表示装置１３に表示させる。内視鏡処理装置１２の操作受付部（不図示）は内視鏡１１の操作部１１３に対してなされた医師の操作を受け付ける。例えば医師によるレリーズボタンの押下を受け付ける。内視鏡処理装置１２の画像抽出部（不図示）は、レリーズボタンが押下されたタイミングで内視鏡動画像から静止画を抽出する。抽出された静止画は内視鏡システム１０の記憶装置（不図示）に保存されるか、ネットワーク２を介して内視鏡画像記録装置（不図示）に転送されて保存される。なお内視鏡検査データ記録装置２０に転送して保存してもよいし、ＰＡＣＳ（Picture Archiving and Communication System）（不図示）に転送して保存してもよい。
【００２３】
照射光切替制御部１２２は、内視鏡処理装置１２の操作部（不図示）に対して医師によりなされた観察光の切替操作を受け付け、当該切替操作により指示された種別の観察光を発光するよう光源装置１４を制御する。光源装置１４で発光された観察光は、内視鏡１１を通じて患者の体腔に誘導され、体腔内を照射する。
【００２４】
薬剤散布検知部１２３ａは内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用された薬剤を画像認識により検出する。薬剤散布検知部１２３ａはフレーム画像内から画像認識により薬剤を定期的に所定の時間間隔で探索する。例えば、Ｎ秒またはＮフレームおきに探索を実行する。例えば１秒おき、または５秒おきに探索する。
【００２５】
探索対象の薬剤は患者の体内に散布された色素剤・染色剤である。色素剤は生体粘膜に吸収されず表面に貯留することで形状や凹凸を観察するために使用される。染色剤は組織による吸収有無や反応の違いにより粘膜表面性状や細胞構造の違いを観察するために使用される。
【００２６】
代表的な色素・染色剤として、インジゴカルミン、ルゴール（ヨード）、ピオクタニン（クリスタルバイオレット）、メチレンブルー、酢酸、墨汁が挙げられる。インジゴカルミンの主な散布臓器は胃、大腸であり、腫瘍性病変（癌、腺腫等）および非腫瘍性病変（過形成性ポリープ）等の鑑別診断および範囲診断に用いられる。ルゴールの主な散布臓器は食道であり、 食道癌の鑑別診断および範囲診断に用いられる。ピオクタニンの主な散布臓器は大腸であり、大腸癌を含む腫瘍性・非腫瘍性病変の鑑別診断および深達度診断に用いられる。メチレンブルーの主な散布臓器は胃、大腸であり、胃の腸上皮化生の診断に用いられてる。近年は超拡大内視鏡(endocytoscopy：ＥＣ)観察の核染色にも使用される。なお、この用途でピオクタニンを使用する場合もある。酢酸の主な散布臓器は胃、大腸であり、腫瘍性病変（癌、腺腫等）および非腫瘍性病変（過形成性ポリープ）等の鑑別診断および範囲診断に用いられる。インジゴカルミンと併用され、範囲診断の精度を高めるために使用される。
【００２７】
薬剤散布検知部１２３ａは内視鏡画像内から薬剤（例えば、インジゴカルミン（青色〜緑青色）、ルゴール（褐色〜黄褐色）、ピオクタニン（紫色〜青紫色）、メチレンブルー（青色）、酢酸（白色））を色調特徴量に基づき検出する。色調特徴量に基づく検出方法として例えば、特願平７−１１６１３８号、特願２０１４−１９１７８１号に記載した方法を使用することができる。
【００２８】
薬剤散布検知部１２３ａは探索対象の内視鏡画像ごとに色調特徴量を算出し、探索対象の各内視鏡画像内における薬剤散布の有無を検知する。薬剤が散布されている場合、その薬剤の種別を特定する。薬剤散布検知部１２３ａはＮ秒またはＮフレームおきに、患者の体内における薬剤の散布状態を示す薬剤散布データをデータ送出部１２５に渡す。
【００２９】
処置実施検知部１２３ｂは内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用される処置具を画像認識により検出し、検出した処置具をもとに実施されている処置を検知する。処置実施検知部１２３ｂはフレーム画像内から画像認識により処置具を定期的に探索する。通常、薬剤散布検知部１２３ａによる薬剤の画像認識処理と同期して処理される。
【００３０】
処置具には鉗子が含まれる。鉗子には生検鉗子、把持鉗子、ホットバイオプシー鉗子などがある。ホットバイオプシー鉗子は高周波通電ができ、異物をつまんで切除し回収できる鉗子である。また処置具には注射針が含まれる。注射針には生検針、生理食塩水を局注するための局注針などがある。また処置具には高周波処置具が含まれる。高周波処置具にはスネア、切開鉗子、ナイフ、止血鉗子などがある。高周波スネアはＥＭＲ（Endoscopic Mucosal Resection）に使用される。高周波ナイフはＥＳＤ（Endoscopic Submucosal Dissection）に使用される。
【００３１】
また処置具には、止血に使用されるクリップが含まれる。また処置具には、消化管内のポリープを結さつするための結紮装置が含まれる。また処置具には十二指腸スコープ用処置具が含まれる。十二指腸スコープ用処置具には、カニューラ、造影チューブ、砕石具などが含まれる。カニューラはＥＲＣＰ（Endoscopic Retrograde Cholangiopancreatography）に使用される。
【００３２】
また処置具には、ガイドワイヤ、ブラシ、バスケット、チューブ、ステント、バルーン、カテーテル等が含まれる。ガイドワイヤ、カテーテルはＥＲＣＰに使用される。ブラシは細胞診に使用される。バスケットは採石、異物回収に使用される。チューブは色素散布に使用される。ステントは留置術に使用される。バルーンは拡張術に使用される。
【００３３】
以下、処置具の具体的な検出方法について説明する。内視鏡１１は機種によって処置具の鉗子チャンネル１１２の位置が決まっている。鉗子チャンネル１１２が２チャンネルの機種もある。各処置具を鉗子チャンネル１１２に挿通した際の内視鏡画像をテンプレート画像とし、検査時の内視鏡画像と照合することにより、いずれの処置具が使用されたかを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。
【００３４】
内視鏡画像から処置具を検出するために、まず内視鏡画像からエッジを検出する。エッジ検出用の画像には赤色（Ｒ）画像または緑色（Ｇ）画像を用いる。処置具シースが赤い場合は緑色（Ｇ）画像を用いるとよい。次にエッジ画像内からテンプレートマッチング、Hough変換などを用いて線分形状を検出する。次に、検出した線分形状とテンプレート画像を照合し、一致度を算出する。一致度が最も高いテンプレート画像の処置具を検出結果とする。
【００３５】
図５は、生検鉗子４１を含む内視鏡画像４０の一例を示す図である。処置具は、図５に示すように基本的に、４〜８時の方向からフレームインする。従って処置具のテンプレート画像は、４〜８時の方向からフレームインする向きのテンプレート画像のみを用意すればよい。これによりテンプレート画像の数、照合に必要な演算量を低減できる。
【００３６】
なお処置具の検出において、シースの色情報を考慮することも可能である。また近年パターン検出等で利用されているＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ(Speeded Up Robust Features)等の特徴量を用いたアルゴリズムを用いてもよい。
【００３７】
処置実施検知部１２３ｂは画像認識により検出した処置具をもとに、実施されている処置を検知する。例えば生検鉗子が検出された場合、生検が実施されていると判定する。処置実施検知部１２３ｂはＮ秒またはＮフレームおきに、医師により実施される処置の実施状況を示す処置実施データをデータ送出部１２５に渡す。
【００３８】
照射光切替制御部１２２は、薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂによる薬剤散布および処置実施の検知タイミングに同期して、Ｎ秒またはＮフレームおきに光源装置１４で使用されている観察光の種別を示す照射光種別データをデータ送出部１２５に渡す。
【００３９】
データ送出部１２５は、照射光切替制御部１２２から渡された照射光種別データ、薬剤散布検知部１２３ａから渡された薬剤散布データ、および処置実施検知部１２３ｂから渡された処置実施データを、ネットワーク２を介して内視鏡検査データ記録装置２０に送出する。データ送出部１２５は、所定の時間間隔で渡される照射光種別データ、薬剤散布データ、および処置実施データをその都度、送信してもよいし、バッファ（不図示）にデータを一時蓄積してからまとめて送信してもよい。例えば、内視鏡検査終了後にその内視鏡検査の照射光種別データ、薬剤散布データ、および処置実施データを一括送信してもよい。またバッファ（不図示）の容量が小さく設計されている場合、バッファ（不図示）の空き容量がなくなった段階で蓄積したデータを一括送信してもよい。
【００４０】
内視鏡検査データ記録装置２０の照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、および処置実施データ取得部２２１ｃは、照射光種別データ、薬剤散布データ、および処置実施データを内視鏡システム１０からそれぞれ取得する。データ記録部２２５は、照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、および処置実施データ取得部２２ｃによりそれぞれ取得されるデータの推移を検査データ保持部２３２に記録する。
【００４１】
本実施の形態では照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、および処置実施データ取得部２２１ｃは、照射光種別データ、薬剤散布データ、および処置実施データの時系列データをそれぞれ取得する。データ記録部２２５は、それぞれ取得される時系列データをそのまま、または加工して検査データ保持部２３２に記録する。
【００４２】
図６（ａ）−（ｃ）は、マスタ情報保持部２３１に保持されるマスタ情報テーブルの例を示す図である。図６（ａ）は観察光種別マスタテーブル２１３ａの一例を示し、図６（ｂ）は薬剤種別マスタテーブル２１３ｂの一例を示し、図６（ｃ）は処置種別マスタテーブル２１３ｃの一例を示している。
【００４３】
図６（ａ）に示す観察光種別マスタテーブル２１３ａには観察光種別として、白色光＝１、狭帯域光＝２、蛍光＝３、近赤外光＝４の４種類が規定されている。図６（ｂ）に示す薬剤種別マスタテーブル２１３ｂには薬剤種別として、インジゴカルミン＝１、ルゴール＝２、ビオクタニン＝３、メチレンブルー＝４、酢酸＝５の５種類が規定されている。なお番号０は薬剤検出なしを示している。図６（ｃ）に示す処置種別マスタテーブル２１３ｃには処置種別として、生検＝１、ポリペクトミー＝２、局注＝３、・・・、ステント＝９の９種類が規定されている。なお番号０は処置検出なしを示している。また図示しないが、各処置と各処置で使用される処置具が紐付けられた処置具マスタテーブルが設けられ、画像認識により検出された処置具に基づき処置種別が特定される。
【００４４】
観察光種別マスタテーブル２１３ａと同じテーブルが内視鏡システム１０の照射光切替制御部１２２にも設けられる。また薬剤種別マスタテーブル２１３ｂと同じテーブルが内視鏡システム１０の薬剤散布検知部１２３ａにも設けられる。また処置種別マスタテーブル２１３ｃおよび処置具マスタテーブルと同じテーブルが内視鏡システム１０の処置実施検知部１２３ｂにも設けられる。
【００４５】
照射光切替制御部１２２は所定の時間間隔で観察光の種別を確認し、確認した観察光の種別を観察光種別マスタテーブルを参照して番号に変換し、データ送出部１２５に渡す。薬剤散布検知部１２３ａは所定の時間間隔で内視鏡画像内において薬剤を探索し、探索結果を薬剤種別マスタテーブルを参照して番号に変換し、データ送出部１２５に渡す。処置実施検知部１２３ｂは所定の時間間隔で内視鏡画像内において処置具を探索し、その探索結果を処置具マスタテーブルおよび処置種別マスタテーブルを参照して番号に変換し、データ送出部１２５に渡す。
【００４６】
図７は、検査データ保持部２３２に記録される検査データ２３２ａの一例を示す図である。図７に示す例はデータ記録部２２５が、照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、および処置実施データ取得部２２１ｃにより取得された照射光種別データ、薬剤散布データ、および処置実施データの時系列データをそのまま検査データ保持部２３２に記録した例である。
【００４７】
この例では検査開始から検査終了まで１秒単位で観察光、薬剤散布、処置に関するデータが時系列に記録される。なお時系列データは時間単位のデータではなく、フレーム単位のデータであってもよい。図７に示す例では検査開始から２秒経過時点で観察光が白色光から狭帯域光に切り替えられている。また検査開始から１００秒経過時点で生検が開始されている。また検査開始から１０００秒経過時点でルゴールが散布されている。
【００４８】
より正確に内視鏡検査を記録するためには、内視鏡検査の開始時刻および終了時刻に加え、内視鏡１１が体腔内に挿入された時刻、体腔外に抜去された時刻を記録することが望まれる。
【００４９】
内視鏡システム１０の検査開始・終了検知部（不図示）は、医師により検査開始ボタンが押下されると内視鏡検査の開始を検知し、その検知時刻を含む検査開始検知データをデータ送出部１２５に渡す。なお検査開始は光源装置１４への内視鏡１１の装着、または光源装置１４の電源オンに起因して検知してもよい。また検査開始・終了検知部（不図示）は、医師により検査終了ボタンが押下されると内視鏡検査の終了を検知し、その検知時刻を含む検査終了検知データをデータ送出部１２５に渡す。なお検査終了は光源装置１４からの内視鏡１１の抜き取り、または光源装置１４の電源オフに起因して検知してもよい。
【００５０】
内視鏡システム１０の体腔内挿入状態検知部（不図示）は、内視鏡１１が体腔内に挿入されたことを検知すると、その検知時刻を含む内視鏡挿入検知データをデータ送出部１２５に渡す。内視鏡１１が体腔内に挿入されたことおよび体腔外に抜去されたことは、特願平７−１１６１３８号に記載した方法により検知することができる。また、体腔内挿入状態検知部（不図示）は例えば、内視鏡画像の赤色（Ｒ）成分の増加率にもとづき内視鏡１１が体腔内に挿入されたことを検知してもよい。また患者のマウスピースに装着されたセンサの検知信号にもとづき、内視鏡１１がマウスピースを通過し、体腔内に挿入されたことを検知してもよい。
【００５１】
また体腔内挿入状態検知部（不図示）は、内視鏡１１が体腔外に抜去されたことを検知すると、その検知時刻を含む内視鏡抜去検知データをデータ送出部１２５に渡す。体腔内挿入状態検知部（不図示）は例えば、内視鏡画像の赤色（Ｒ）成分の減少率にもとづき内視鏡１１が体腔外に抜去されたことを検知してもよい。また患者のマウスピースに装着されたセンサの検知信号にもとづき、内視鏡１１がマウスピースを通過し、体腔外に抜去されたことを検知してもよい。
【００５２】
データ送出部１２５は、検査開始・終了検知部（不図示）から渡された検査開始検知データおよび検査終了検知データ、ならびに体腔内挿入状態検知部（不図示）から渡された内視鏡挿入検知データおよび内視鏡抜去検知データを、ネットワーク２を介して内視鏡検査データ記録装置２０に送出する。
【００５３】
内視鏡検査データ記録装置２０の検査開始・終了データ取得部（不図示）および体腔内挿入状態検知データ取得部（不図示）は、検査開始検知データ、検査終了検知データ、内視鏡挿入検知データ、および内視鏡抜去検知データを取得する。データ記録部２２５は、検査開始検知データ、検査終了検知データ、内視鏡挿入検知データ、および内視鏡抜去検知データを検査データ保持部２３２に記録する。
【００５４】
内視鏡検査データ記録装置２０のデータ算出部２２４は、照射光種別データ取得部２２１ａにより取得された照射光種別データの時系列データをもとに内視鏡検査における各観察光の使用時間、および／または各観察光の使用回数を算出する。観察光の使用時間は、観察光の照射が連続している時間から算出できる。また詳細は後述するが、内視鏡１１で撮像された動画像または静止画の付帯情報に含まれる照射光情報、若しくはユーザにより手動で入力された、特定の観察光を使用しての観察開始時刻と観察終了時刻との時間差から算出できる。
【００５５】
またデータ算出部２２４は、薬剤散布データ取得部２２１ｂにより取得された薬剤散布データの時系列データをもとに内視鏡検査における各薬剤を使用しての観察時間、および／または各薬剤の使用回数を算出する。薬剤を使用しての観察時間は、薬剤が動画像にフレームインしている時間から算出できる。また詳細は後述するが、ユーザにより手動で入力された、特定の薬剤を使用しての観察開始時刻と観察終了時刻との時間差から算出できる。
【００５６】
またデータ算出部２２４は、処置実施データ取得部２２１ｃにより取得された処置実施データの時系列データをもとに内視鏡検査における各処置の実施時間、および／または各処置の実施回数を算出する。処置の実施時間は、処置具が動画像にフレームインしている時間から算出できる。また詳細は後述するが、ユーザにより手動で入力された、処置開始時刻と処置終了時刻との時間差から算出できる。
【００５７】
データ記録部２２５は、データ算出部２２４により算出された各観察光の使用時間、各観察光の使用回数、各薬剤を使用しての観察時間、各薬剤の使用回数、各処置の実施時間、および各処置の実施回数の少なくとも１つを検査データ保持部２３２に記録する。
【００５８】
図８は、検査データ保持部２３２に記録される検査データ２３２ｂの別の例を示す図である。図８に示す例はデータ記録部２２５が、データ算出部２２４により算出された内視鏡検査における、各観察光の使用時間、各観察光の使用回数、各薬剤を使用しての観察時間、各薬剤の使用回数、各処置の実施時間、および各処置の実施回数を検査データ保持部２３２に記録した例である。図８に示す検査データ２３２ｂは、図７に示した素の検査データ２３２ａを加工して生成したデータである。
【００５９】
図８に示す例において、検知情報種別欄の「内視鏡」は番号０が体腔内への挿入を、番号１が体腔外への抜去を示している。「観察光」は検査開始から０〜１秒が白色光、検査開始から２〜９８秒が狭帯域光、検査開始から９９〜２０００秒が白色光（２回目）である。処置として検査開始から１００〜６００秒の期間に生検が実施されている。薬剤散布として検査開始から１０００〜１５００秒の期間にルゴールが散布されている。
【００６０】
このように内視鏡検査の推移を示す素の時系列データを、内視鏡検査で起こったイベントの種別、開始時刻、終了時刻、回数に加工して記録することができる。なお加工データを生成した場合、素の時系列データを消去してデータ量を圧縮してもよい。また素の時系列データの加工方法は、素の時系列データを復元できればよく、その加工方法および記録方法は問わない。
【００６１】
以上の説明においては薬剤散布や処置実施を画像認識により検出する例を挙げた。この点、薬剤散布や処置実施をユーザが手動で入力してもよい。例えば、医師や看護師が内視鏡検査中もしくは検査後に、内視鏡システム１０の表示装置１３または端末装置３０の表示部３４に表示された内視鏡画像を見て、薬剤散布および／または処置実施に関する情報を入力してもよい。
【００６２】
具体的には散布された薬剤名を入力し、薬剤散布状態での観察開始時点および観察終了時点のフレーム画像を指定する。また実施された処置名を入力し、処置開始時点および処置終了時点のフレーム画像を指定する。内視鏡検査データ記録装置２０の操作受付部２２２は、医師または看護師により入力された薬剤散布および／または処置実施に関する情報を受け付け、データ記録部２２５およびデータ算出部２２４に渡す。体腔内の部位によっては画像認識の精度が下がる部位があり、画像認識により誤ったデータが検出された場合、医師または看護師により手動で修正される。
【００６３】
なお観察光の種別についても、医師または看護師が、観察光の切替時点および切替後の観察光の種別を手動で入力することができる。また、内視鏡１１で撮像された動画像またはフレーム画像の付帯情報から観察光の種別と切替時点を特定できる場合もある。
【００６４】
図９は、実施の形態１に係る内視鏡システム１０の動作例を説明するためのフローチャートである。内視鏡システム１０の検査開始・終了検知部（不図示）が内視鏡検査の開始を検知すると（Ｓ１０のＹ）、その検知時刻をデータ送出部１２５に通知する。その後、体腔内挿入状態検知部（不図示）が内視鏡１１の体腔内への挿入を検知すると（Ｓ１１のＹ）、その検知時刻をデータ送出部１２５に渡す。
【００６５】
画像認識部１２３は内視鏡１１で撮像された内視鏡画像を取得する（Ｓ１２）。薬剤散布検知部１２３ａは取得された内視鏡画像内において薬剤を探索し、処置実施検知部１２３ｂは取得された内視鏡画像内において処置具を探索する（Ｓ１３）。薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂは探索結果をデータ送出部１２５に渡す。照射光切替制御部１２２は観察光の種別を確認する（Ｓ１４）。照射光切替制御部１２２は確認結果をデータ送出部１２５に渡す。データ送出部１２５は、観察光、薬剤、処置に関するデータをバッファ（不図示）に一時保持する（Ｓ１５）。
【００６６】
体腔内挿入状態検知部（不図示）が内視鏡１１の体腔外への抜去を検知せずに（Ｓ１６のＮ）、内視鏡画像の取得からＮ秒が経過すると（Ｓ１７のＹ）、ステップＳ１２に戻り、新たな内視鏡画像を取得する（Ｓ１２）。体腔内挿入状態検知部（不図示）が内視鏡１１の体腔外への抜去を検知すると（Ｓ１６のＹ）、その検知時刻をデータ送出部１２５に渡す。その後、検査開始・終了検知部（不図示）が内視鏡検査の終了を検知すると（Ｓ１８のＹ）、その検知時刻をデータ送出部１２５に通知する。データ送出部１２５は、バッファ（不図示）に蓄積されたデータを時系列データとして内視鏡検査データ記録装置２０に送出する（Ｓ１９）。
【００６７】
図１０は、実施の形態１に係る内視鏡検査データ記録装置２０の動作例を説明するためのフローチャートである。内視鏡検査データ記録装置２０のデータ取得部２２１は、内視鏡システム１０から各種の時系列データを取得する（Ｓ２０）。データ算出部２２４は、取得された観察光に関する時系列データをもとに観察光の使用時間と使用回数を種類別に算出する（Ｓ２１）。またデータ算出部２２４は、取得された薬剤散布に関する時系列データをもとに薬剤を使用しての観察時間と薬剤の使用回数を種類別に算出する（Ｓ２２）。またデータ算出部２２４は、取得された処置実施に関する時系列データをもとに処置の実施時間と実施回数を種類別に算出する（Ｓ２３）。データ記録部２２５は、取得された時系列データと算出された加工データを検査データ保持部２３２に記録する（Ｓ２４）。
【００６８】
以上説明したように実施の形態１によれば、内視鏡検査において使用した観察光の種別、各種の薬剤散布による精密診断、生検等の各種処置実施を各時点におけるデータとして記録できる。従って薬剤散布や処置実施に要した時間や回数を把握するとともに、その出現順序の把握、平均値算出等の定量評価、他の検査との比較を行うことが可能となり、内視鏡検査の品質を正確かつ客観的に評価することが可能となる。なお、本実施の形態においては観察光、薬剤散布および処置実施に関して取得された時系列データと算出された加工データを記録する内視鏡業務支援システムについて説明したが、これらの各データのいずれかを選択的に取得あるいは記録するように構成することももちろん可能であり、データの利用目的や使用可能な計算資源等に応じて適宜選択的に取得および記録してもよい。
【００６９】
従来、内視鏡検査中の観察光切替、薬剤散布、処置実施に関する情報は、医師や看護師の記憶に基づき医師や看護師により事後的に手作業で記録されてきた。しかしながら、記録する情報が多岐に渡るため、記録の精度や粒度が記録者毎にばらばらになる傾向があり、統一的なデータ記録が実現できていなかった。また医師や看護師による手作業による記録は煩雑な作業である。これに対して実施の形態１によれば、内視鏡検査中の内視鏡画像から画像認識により検出した情報等をもとに、内視鏡検査の軌跡を時系列に自動的に記録できる。従って医師や看護師の作業負担を軽減でき、統一的なデータ記録が可能になる。
【００７０】
また薬剤散布等の各イベントの検知順序をもとに内視鏡検査において使用された手技も特定できる。例えば、局注針が検出された後、高周波スネアが検出された場合、ＥＭＲが実施されたと推定できる。また狭帯域光（ＮＢＩ）を使用中に拡大観察を行うと診療報酬が加算となるが、本実施の形態によれば観察光の切替時刻、処置の実施時刻が記録されるため、自動的に診療報酬の加算を計算することも可能である。
【００７１】
また、内視鏡検査は国内外を問わず日常的に膨大な例数が実施されており、これらのデータを集積することによりビッグデータを生成できる。集積したビックデータは、各種の統計的な分析やデータマイニング等に利用できる。
【００７２】
（実施の形態２）
実施の形態１では、観察光切替、薬剤散布、処置実施に関するデータを時系列的に記録する例を説明した。実施の形態２ではそれらに加えて、患者の体内の臓器表面と内視鏡１１との距離を示すデータ、および／または内視鏡１１の拡大倍率を示すデータを時系列的に記録する例を説明する。
【００７３】
図１１は、実施の形態２に係る内視鏡システム１０の構成を示す図である。実施の形態２に係る内視鏡システム１０は、図２に示した実施の形態１に係る内視鏡システム１０に撮像距離推定部１２３ｃおよび倍率制御部１２４が追加された構成である。以下、実施の形態１との相違点を説明する。
【００７４】
撮像距離推定部１２３ｃは、内視鏡動画像に含まれるフレーム画像から、患者の体内の臓器表面と内視鏡１１の先端との間の撮像距離を推定する。撮像距離推定部１２３ｃは例えば特許５０２８１３８号に記載した方法を用いて撮像距離を推定する。本実施の形態では推定した撮像距離を「遠」、「中」、「近」に分類する。なお３カテゴリに限らず、２カテゴリまたは４カテゴリ以上に分類してもよい。
【００７５】
撮像距離推定部１２３ｃは、薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂによる薬剤および処置具の画像認識処理と同期して、Ｎ秒またはＮフレームおきに撮像距離を推定し、推定結果をデータ送出部１２５に渡す。撮像距離の推定開始タイミングには、内視鏡動画像の記録開始のタイミング、画像記録装置でのストップウォッチ計測開始のタイミング、および初回レリーズのタイミングのいずれかを用いることができる。また撮像距離の推定終了タイミングには、内視鏡動画像の記録終了のタイミング、画像記録装置でのストップウォッチ計測終了のタイミング、および検査終了ボタン押下のタイミングのいずれかを用いることができる。
【００７６】
倍率制御部１２４は、拡大観察機能を有する拡大内視鏡が光源装置１４に装着されている場合において、操作部１１３に対する医師の操作に従い拡大内視鏡の倍率を制御する。倍率制御部１２４は、Ｎ秒またはＮフレームおきに拡大内視鏡の倍率を確認し、確認結果をデータ送出部１２５に渡す。倍率制御部１２４は、ズーム倍率をそのままの数値で渡してもよいし、最大広角時を０％、最大望遠時を１００％とするパーセント数値で渡してもよい。なお、拡大内視鏡からズーム倍率を取得する代わりに、画像認識により広角観察か近接拡大観察かを検出してもよい。
【００７７】
データ送出部１２５は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像距離推定部１２３ｃから渡された撮像距離を示す撮像距離データ、および倍率制御部１２４から渡された拡大内視鏡の倍率を示す倍率データを、ネットワーク２を介して内視鏡検査データ記録装置２０に送出する。
【００７８】
図１２は、実施の形態２に係る内視鏡検査データ記録装置２０の構成を示す図である。実施の形態２に係る内視鏡検査データ記録装置２０は、図３に示した実施の形態１に係る内視鏡検査データ記録装置２０に撮像距離データ取得部２２１ｄおよび倍率データ取得部２２１ｅが追加された構成である。以下、実施の形態１との相違点を説明する。
【００７９】
撮像距離データ取得部２２１ｄおよび倍率データ取得部２２１ｅは、撮像距離データおよび倍率データを内視鏡システム１０からそれぞれ取得する。データ記録部２２５は、撮像距離データ取得部２２１ｄおよび倍率データ取得部２２１ｅによりそれぞれ取得されるデータの推移を検査データ保持部２３２に記録する。本実施の形態では撮像距離データ取得部２２１ｄおよび倍率データ取得部２２１ｅは、撮像距離データおよび倍率データの時系列データを取得し、データ記録部２２５は、それぞれ取得される時系列データをそのまま、または加工して検査データ保持部２３２に記録する。
【００８０】
図１３（ａ）−（ｂ）は、マスタ情報保持部２３１に保持される撮像距離マスタテーブル２３１ｄの一例と、検査データ保持部２３２に記録される検査データ２３２ｃの一例を示す図である。  図１３（ａ）に示す撮像距離マスタテーブル２３１ｄには、撮像距離分類として、遠＝１、中＝２、近＝３の３カテゴリが規定されている。
【００８１】
撮像距離マスタテーブル２３１ｄと同じテーブルが内視鏡システム１０の撮像距離推定部１２３ｃにも設けられる。撮像距離推定部１２３ｃは所定の時間間隔で内視鏡画像から撮像距離を推定し、推定結果を撮像距離マスタテーブルを参照して番号に変換し、データ送出部１２５に渡す。
【００８２】
図１３（ｂ）に示す例はデータ記録部２２５が、照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、処置実施データ取得部２２１ｃ、撮像距離データ取得部２２１ｄ、および倍率データ取得部２２１ｅにより取得された照射光種別データ、薬剤散布データ、処置実施データ、撮像距離データ、および倍率データの時系列データをそのまま検査データ保持部２３２に記録した例である。
【００８３】
この例では検査開始から検査終了まで１秒単位で観察光、薬剤散布、処置、撮像距離、倍率に関するデータが時系列的に記録される。図１３（ｂ）に示す例では検査開始から２秒経過時点で撮像距離が「遠」から「中」になり（即ち、内視鏡１１が臓器表面に近づき）、１００秒経過時点で撮像距離が「中」から「近」になっている（即ち、内視鏡１１が臓器表面により近づいている）。また検査開始から１００秒経過時点で生検が開始されたとき、拡大内視鏡の倍率が８０％になっている。
【００８４】
以上説明したように実施の形態２によれば、実施の形態１の効果に加えて以下の効果を奏する。臓器表面までの撮像距離や拡大内視鏡使用時の拡大倍率を定量的かつ客観的に扱える状態で記録することにより、範囲診断や鑑別診断等の精査に関する評価および比較が可能となる。
【００８５】
一般的に病変発見のための観察では遠景で観察され、病変発見後の詳細な観察では近景で観察される傾向にある。従って撮像距離データをもとに、病変発見のための観察を行っているのか、詳細な観察を行っているのかを推定することができる。また薬剤散布時、各処置実施時、狭帯域光使用時の撮像距離データを蓄積することにより、それらを行う際の内視鏡１１の位置をデータベース化して傾向を導き出すことができる。
【００８６】
拡大内視鏡を使用した検査において、一般的に病変発見のための観察では広角で観察され、病変発見後の詳細な観察では拡大された状態で観察される傾向にある。従って拡大内視鏡の倍率データをもとに、病変発見のための観察を行っているのか、詳細な観察を行っているのかを推定することができる。また、近年はボタン操作により焦点を切り替える二焦点切り替え式の拡大内視鏡も実用化されており、そのような機種を使用する場合は連続的な倍率変化ではなく広角または拡大のいずれかの状態での観察となる。また薬剤散布時、各処置実施時、狭帯域光使用時の拡大内視鏡の倍率データを蓄積することにより、それらを行う際の拡大内視鏡の倍率をデータベース化して傾向を導き出すことができる。
【００８７】
（実施の形態３）
実施の形態１では、観察光切替、薬剤散布、処置実施に関するデータを時系列的に記録する例を説明した。実施の形態３ではそれらに加えて、内視鏡１１により撮像された画像の撮像状態を示すデータを時系列的に記録する例を説明する。
【００８８】
図１４は、実施の形態３に係る内視鏡システム１０の構成を示す図である。実施の形態３に係る内視鏡システム１０は、図２に示した実施の形態１に係る内視鏡システム１０に撮像状態分類部１２３ｄが追加された構成である。以下、実施の形態１との相違点を説明する。
【００８９】
撮像状態分類部１２３ｄは、内視鏡１１により時系列的に撮像される各内視鏡画像の撮像状態を分類する。具体的には患者の体腔内の臓器表面を適切に撮像している状態の内視鏡画像であるか否かを分類する。即ち体腔内の臓器を十分に観察できる画像と、体腔内の臓器を十分に観察できない画像とに分類する。以下、前者を分類Ａ、後者を分類Ｂとする。分類Ｂの画像には、ハレーション、色ずれ、赤玉（大腸過近接）、多量の泡、残渣、液体、焦点外れ（ボケ）、ぶれ、送水等が含まれる画像が含まれる。内視鏡画像の撮像状態を分類する方法として例えば、特許４６１５９６３号、特許４６２４８４１号、特許５５３０４０６号に記載した方法を使用することができる。これらの方法を用いて分類Ｂに該当する内視鏡画像を検出し、分類Ｂに該当しない内視鏡画像を分類Ａに分類する。
【００９０】
撮像状態分類部１２３ｄは、薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂによる薬剤および処置具の画像認識処理と同期して、Ｎ秒またはＮフレームおきに内視鏡画像の撮像状態を分類し、分類結果をデータ送出部１２５に渡す。
【００９１】
データ送出部１２５は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像状態分類部１２３ｄから渡された撮像状態データを、ネットワーク２を介して内視鏡検査データ記録装置２０に送出する。
【００９２】
図１５は、実施の形態３に係る内視鏡検査データ記録装置２０の構成を示す図である。実施の形態３に係る内視鏡検査データ記録装置２０は、図３に示した実施の形態１に係る内視鏡検査データ記録装置２０に撮像状態データ取得部２２１ｆが追加された構成である。以下、実施の形態１との相違点を説明する。
【００９３】
撮像状態データ取得部２２１ｆは、撮像状態データを内視鏡システム１０から取得する。データ記録部２２５は、撮像状態データ取得部２２１ｆにより取得される撮像状態データの推移を検査データ保持部２３２に記録する。本実施の形態では撮像状態データ取得部２２１ｆは撮像状態データの時系列データを取得し、データ記録部２２５は取得される時系列データをそのまま、または加工して検査データ保持部２３２に記録する。
【００９４】
図１６は、マスタ情報保持部２３１に保持される撮像状態マスタテーブル２３１ｆの一例を示す図である。図１６に示す例では、分類Ａの「体腔内臓器を十分に観察できる画像」をさらに、観察良好＝０と、観察可能＝１の２種類に細分類している。また分類Ｂの「体腔内臓器を十分に観察できない画像」をさらに、残渣、液体、送水＝２、ハレーション＝３、色ずれ＝４、焦点外れ（ボケ）、ぶれ＝５、判定不能＝６の５種類に細分類している。従って撮像状態が合計７つのカテゴリに分類される。なお、残渣は腸管洗浄等の前処置の成功の程度を反映し、下部内視鏡検査の質の評価において重要視されることもあるため、残渣＝７として独立したカテゴリとして合計８つのカテゴリに分類してもよい。
【００９５】
撮像状態マスタテーブル２３１ｆと同じテーブルが内視鏡システム１０の撮像状態分類部１２３ｄにも設けられる。撮像状態分類部１２３ｄは所定の時間間隔で内視鏡画像の撮像状態を検出し、検出結果を撮像状態マスタテーブルを参照して番号に変換し、データ送出部１２５に渡す。
【００９６】
図１７は、検査データ保持部２３２に記録される検査データ２３２ｃの一例を示す図である。図１７に示す例はデータ記録部２２５が、照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、処置実施データ取得部２２１ｃ、および撮像状態データ取得部２２１ｆにより取得された照射光種別データ、薬剤散布データ、処置実施データ、および撮像状態データの時系列データをそのまま検査データ保持部２３２に記録した例である。
【００９７】
この例では検査開始から検査終了まで１秒単位で観察光、薬剤散布、処置、撮像状態に関するデータが時系列的に記録される。図１７に示す例では検査開始時点で焦点外れ、またはぶれが検出され、検査開始から１秒経過時点で色ずれが検出され、検査開始から２秒経過時点で観察良好な状態になっている。検査開始直後の内視鏡１１が口から食道に移動する間は、撮像される画像がブレやすくなる。また検査開始から７００秒経過時点で送水がなされており、十分な観察ができない撮像状態になっている。
【００９８】
（実施の形態３の応用例）
実施の形態３に係る以上の説明では、撮像状態分類部１２３ｄは、フレーム画像単体から静的な撮像状態を検出して撮像状態を分類した。以下に説明する応用例ではフレーム画像間の変化にもとづき動的な撮像状態を検出して撮像状態を分類する。
【００９９】
撮像状態分類部１２３ｄは、時系列的に撮像される内視鏡画像においてフレーム画像間の変化に基づく評価値を算出する。フレーム画像間の変化に基づく評価値は例えば、特許５１４７３０８号に記載した方法により算出できる。以下、算出した評価値を変化評価値Ｐとする。
【０１００】
変化評価値Ｐの算出は、薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂによる薬剤および処置具の画像認識処理と同期して、Ｎ秒またはＮフレームおきに実行する。その際、現在のフレーム画像と、Ｎ秒またはＮフレーム過去のフレーム画像との変化に基づき変化評価値Ｐを算出してもよいし、現在のフレーム画像と直前のフレーム画像との変化に基づき変化評価値Ｐを算出してもよい。撮像状態分類部１２３ｄは、算出した変化評価値Ｐをもとに動的な撮像状態を検出して分類する。
【０１０１】
変化評価値Ｐはフレーム画像間の変化が小さいほど小さな値をとり、内視鏡１１の動きが小さいことを示している。医師が内視鏡１１の動きを止めて特定の部位を観察している場合、変化評価値Ｐは０に近い値をとる。
【０１０２】
撮像状態分類部１２３ｄは、薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂによる薬剤および処置具の画像認識処理と同期して、Ｎ秒またはＮフレームおきに内視鏡画像の静的および動的な撮像状態を検出してそれぞれカテゴリ分類し、分類結果をデータ送出部１２５に渡す。データ送出部１２５は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像状態分類部１２３ｄから渡された静的撮像状態データおよび動的撮像状態データを、ネットワーク２を介して内視鏡検査データ記録装置２０に送出する。
【０１０３】
撮像状態データ取得部２２１ｆは、静的撮像状態データおよび動的撮像状態データを内視鏡システム１０から取得する。データ記録部２２５は、撮像状態データ取得部２２１ｆにより取得される静的撮像状態データおよび撮像状態データの推移を検査データ保持部２３２に記録する。本実施の形態では撮像状態データ取得部２２１ｆは、静的撮像状態データおよび動的撮像状態データの時系列データを取得し、データ記録部２２５は取得される時系列データをそのまま、または加工して検査データ保持部２３２に記録する。
【０１０４】
図１８は、マスタ情報保持部２３１に保持される変化評価値・撮像状態マスタテーブル２３１ｇの一例を示す図である。図１８に示す例では、上述の静的な撮像状態の分類処理において分類Ａに分類された画像が動的な撮像状態の分類処理の対象となり、静的な撮像状態の分類処理において分類Ｂに分類された画像は動的な撮像状態の分類処理の対象とならない。
【０１０５】
分類Ａに分類された「体腔内臓器を十分に観察できる画像」の内、画像評価値Ｐが０．０≦Ｐ＜０．３の範囲の画像（分類Ａａ）は、動的な撮像状態が観察良好＝０に分類される。画像評価値Ｐが０．３≦Ｐ＜０．８の範囲の画像（分類Ａｂ）は、動的な撮像状態が観察可能＝１に分類される。画像評価値Ｐが０．８≦Ｐ≦１．０の範囲の画像（分類Ａｃ）は、動的な撮像状態が観察不適＝２に分類される。
【０１０６】
変化評価値・撮像状態マスタテーブル２３１ｇと同じテーブルが内視鏡システム１０の撮像状態分類部１２３ｄにも設けられる。撮像状態分類部１２３ｄは所定の時間間隔で内視鏡画像間の変化評価値Ｐを算出し、変化評価値・撮像状態マスタテーブルを参照して番号に変換し、データ送出部１２５に渡す。なお静的な撮像状態を分類Ａに分類した内視鏡画像については、変化評価値Ｐの算出をスキップしてもよい。
【０１０７】
図１９は、検査データ保持部２３２に記録される検査データ２３２ｄの一例を示す図である。図１９に示す例はデータ記録部２２５が、照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、処置実施データ取得部２２１ｃ、および撮像状態データ取得部２２１ｆにより取得された照射光種別データ、薬剤散布データ、処置実施データ、静的撮像状態データ、変化評価値Ｐ、および動的撮像状態データの時系列データをそのまま検査データ保持部２３２に記録した例である。なお、この例では静的な撮像状態が分類Ｂに分類された内視鏡画像については、変化評価値Ｐおよび動的撮像状態データが記録されない例であるが、分類Ｂに分類された内視鏡画像についても変化評価値Ｐおよび動的撮像状態データを算出・分類して記録してもよい。
【０１０８】
図１９に示す例では検査開始から検査終了まで１秒単位で観察光、薬剤散布、処置、静的な撮像状態、変化評価値、および動的な撮像状態に関するデータが時系列的に記録される。図１９に示す例では検査開始から４秒経過時点と１３００秒経過時点で内視鏡１１が移動されており、観察不適な状態になっている。
【０１０９】
図２０は、実施の形態３の応用例に係る内視鏡システム１０の動作例を説明するためのフローチャートである。内視鏡システム１０の検査開始・終了検知部（不図示）が内視鏡検査の開始を検知すると（Ｓ１０のＹ）、その検知時刻をデータ送出部１２５に通知する。その後、体腔内挿入状態検知部（不図示）が内視鏡１１の体腔内への挿入を検知すると（Ｓ１１のＹ）、その検知時刻をデータ送出部１２５に渡す。
【０１１０】
画像認識部１２３は内視鏡１１で撮像された内視鏡画像を取得する（Ｓ１２）。撮像状態分類部１２３ｄは、取得された内視鏡画像の静的な撮像状態を検出して分類し、分類結果をデータ送出部１２５に渡す（Ｓ１２１）。撮像状態分類部１２３ｄは、今回取得された内視鏡画像と前回取得された内視鏡画像との差分をもとに変化評価値Ｐを算出し、変化評価値Ｐをデータ送出部１２５に渡す（Ｓ１２２）。撮像状態分類部１２３ｄは、算出した変化評価値Ｐをもとに今回取得された内視鏡画像の動的な撮像状態を検出して分類し、分類結果をデータ送出部１２５に渡す（Ｓ１２３）。
【０１１１】
薬剤散布検知部１２３ａは今回取得された内視鏡画像内において薬剤を探索し、処置実施検知部１２３ｂは今回取得された内視鏡画像内において処置具を探索する（Ｓ１３）。薬剤散布検知部１２３ａおよび処置実施検知部１２３ｂは探索結果をデータ送出部１２５に渡す。照射光切替制御部１２２は観察光の種別を確認する（Ｓ１４）。照射光切替制御部１２２は確認結果をデータ送出部１２５に渡す。データ送出部１２５は、観察光、薬剤、処置、静的な撮像状態、変化評価値Ｐ、および動的な撮像状態に関するデータをバッファ（不図示）に一時保持する（Ｓ１５）。
【０１１２】
体腔内挿入状態検知部（不図示）が内視鏡１１の体腔外への抜去を検知せずに（Ｓ１６のＮ）、今回の内視鏡画像の取得からＮ秒が経過すると（Ｓ１７のＹ）、ステップＳ１２に戻り、新たな内視鏡画像を取得する（Ｓ１２）。体腔内挿入状態検知部（不図示）が内視鏡１１の体腔外への抜去を検知すると（Ｓ１６のＹ）、その検知時刻をデータ送出部１２５に渡す。その後、検査開始・終了検知部（不図示）が内視鏡検査の終了を検知すると（Ｓ１８のＹ）、その検知時刻をデータ送出部１２５に通知する。データ送出部１２５は、バッファ（不図示）に蓄積された時系列データを内視鏡検査データ記録装置２０に送出する（Ｓ１９）。
【０１１３】
なおステップＳ１２２およびＳ１２３の処理は、ステップＳ１２１における静的な撮像状態の分類処理において、今回取得された内視鏡画像が分類Ｂに分類された場合、スキップ可能である。
【０１１４】
また分類Ｂに分類された内視鏡画像について変化評価値Ｐと動的撮像状態データが生成された場合であっても、ステップＳ１９における時系列データの送出処理において送出対象から除外してもよい。
【０１１５】
以上説明したように実施の形態３によれば、実施の形態１の効果に加えて以下の効果を奏する。時系列的に撮像された複数の内視鏡画像のそれぞれの撮像状態を分類して記録することにより、臓器表面等を適切に撮像しているか否か（即ち、臓器表面を十分に観察可能であるか否か）等の状態情報を定量的かつ客観的に記録できる。さらに、隣接するフレーム画像間の変化評価値を算出して記録することにより、内視鏡１１の動きを記録することができる。例えば、変化評価値の推移から内視鏡１１が挿入操作（移動）中であること、医師が臓器表面を観察している状態にあること等を推測できる。
【０１１６】
撮像状態の記録は内視鏡画像の保存を前提とするものではなく、保存されない内視鏡動画像区間、破棄される内視鏡画像についての撮像状態も記録される。撮像状態の時系列データの記録は、内視鏡検査中の医師による内視鏡１１の取り扱いを時系列的に記録することを主目的とするものであり、保存される内視鏡画像の品質を記録することを主目的とするものではない。
【０１１７】
（実施の形態４）
実施の形態４では、内視鏡検査データ記録装置２０に蓄積した内視鏡検査データの利用方法の一例を説明する。
【０１１８】
図２１は、実施の形態４に係る内視鏡検査データ記録装置２０の構成を示す図である。実施の形態４に係る内視鏡検査データ記録装置２０は、図１５に示した実施の形態３に係る内視鏡検査データ記録装置２０にデータ解析部２２４ａおよび統計データ保持部２３３が追加された構成である。以下、実施の形態４に係る処理について説明する。
【０１１９】
内視鏡検査における１検査あたりの（ａ）検査時間は、（ｂ）検査開始から患者の体腔内へ内視鏡１１が挿入されるまでの時間、（ｃ）非観察時間、（ｄ）通常観察時間、（ｅ）詳細観察時間、（ｆ）処置時間、（ｇ）患者の体腔外へ内視鏡１１を抜去してから検査終了までの時間の合計で定義できる。
【０１２０】
（ｃ）非観察時間とは、患者の臓器の拍動、呼気や観察部位の収縮による画像の乱れ（ハレーション等）、等により医師が十分な観察をできない時間をいう。（ｄ）通常観察時間とは、観察部位を比較的ゆっくりと移動しながら、あるいはスコープの移動を止めた状態で比較的遠めの観察距離から病変の有無を観察する時間をいう（詳細観察時間に分類される時間を除く）。（ｅ）詳細観察時間とは、近接観察、ＮＢＩ観察、拡大観察、薬剤散布など病変を発見した場合に注意して観察する時間をいう。（ｆ）処置時間とは、生検、ステント留置・抜去、ＥＭＲなどの各種処置を実施する時間をいう。
【０１２１】
データ算出部２２４は検査時間（ａ）を、検査データ保持部２３２に保持される対象となる内視鏡検査の検査開始時刻と検査終了時刻から算出する。またデータ算出部２２４は（ｂ）検査開始から患者の体腔内へ内視鏡１１が挿入されるまでの時間を、検査データ保持部２３２に保持される当該内視鏡検査の検査開始時刻と内視鏡挿入時刻から算出する。
【０１２２】
またデータ算出部２２４は（ｃ）非観察時間を、検査データ保持部２３２に保持される当該内視鏡検査の撮像状態データをもとに算出する。例えば、静的な撮像状態の分類処理において「体腔内臓器を十分に観察できない画像」＝分類Ｂに分類された内視鏡画像、および動的な撮像状態の分類処理において観察不適に分類された内視鏡画像が撮像されている区間の合計時間を（ｃ）非観察時間とする。
【０１２３】
またデータ算出部２２４は（ｅ）詳細観察時間を、検査データ保持部２３２に保持される当該内視鏡検査における特殊光の照射時間、拡大内視鏡を使用した拡大観察時間、薬剤を使用しての観察時間等をもとに算出する。またデータ算出部２２４は（ｆ）処置時間を、検査データ保持部２３２に保持される当該内視鏡検査で実施された処置の実施時間をもとに算出する。またデータ算出部２２４は（ｇ）患者の体腔外へ内視鏡１１を抜去してから検査終了までの時間を、検査データ保持部２３２に保持される当該内視鏡検査の内視鏡抜去時刻と検査終了時刻から算出する。
【０１２４】
またデータ算出部２２４は（ｄ）通常観察時間を、（ａ）検査時間から、（ｂ）検査開始から患者の体腔内へ内視鏡１１が挿入されるまでの時間、（ｃ）非観察時間、（ｄ）通常観察時間、（ｅ）詳細観察時間、（ｆ）処置時間、（ｇ）患者の体腔外へ内視鏡１１を抜去してから検査終了までの時間の合計を減算することにより算出する。
【０１２５】
データ算出部２２４は、算出した（ａ）検査時間、（ｂ）検査開始から患者の体腔内へ内視鏡１１が挿入されるまでの時間、（ｃ）非観察時間、（ｄ）通常観察時間、（ｅ）詳細観察時間、（ｆ）処置時間、（ｇ）患者の体腔外へ内視鏡１１を抜去してから検査終了までの時間を検査データ保持部２３２に記録する。
【０１２６】
データ解析部２２４ａは、検査データ保持部２３２に記録されたデータをもとに統計解析を実行し、生成した統計データを統計データ保持部２３３に記録する。
【０１２７】
図２２は、統計データ保持部２３３に記録される統計データ２３３ａの一例を示す図である。この例ではデータ解析部２２４ａは、検査項目、部位、および病変種で内視鏡検査の検査データを分類し、分類ごとに（ｃ）非観察時間、（ｄ）通常観察時間、（ｅ）詳細観察時間、（ｆ）処置時間のそれぞれの平均値を算出している。
【０１２８】
図２２に示す例では、検査項目＝上部内視鏡検査、観察部位＝胃、病変＝ポリープに分類される内視鏡検査の（ｃ）非観察時間、（ｄ）通常観察時間、（ｅ）詳細観察時間、（ｆ）処置時間の平均時間と、検査項目＝下部内視鏡検査、観察部位＝Ｓ字状結腸、病変＝腺腫に分類される内視鏡検査の（ｃ）非観察時間、（ｄ）通常観察時間、（ｅ）詳細観察時間、（ｆ）処置時間の平均時間がそれぞれ算出されている。さらに検査項目＝上部内視鏡検査、観察部位＝胃、病変＝ポリープに分類される内視鏡検査の病変発見率と、検査項目＝下部内視鏡検査、観察部位＝Ｓ字状結腸、病変＝腺腫に分類される内視鏡検査の病変発見率がそれぞれ算出されている。
【０１２９】
このような統計データを生成することにより、内視鏡検査の分類ごとに内視鏡検査の特徴を調査することができる。また内視鏡検査の分類ごとに、内視鏡１１の操作・手技の難易度を定量化でき、検査プロトコルの作成や手技の改良に活用することができる。また、どの時間を多くかけることが病変の発見に大きく寄与するかを検討・調査することも可能となる。
【０１３０】
図２３は、実施の形態４に係る内視鏡検査データ記録装置２０の動作例を説明するためのフローチャートである。データ算出部２２４は、検査データ保持部２３２から内視鏡検査の各種データを読み込む（Ｓ２２４０）。データ算出部２２４は、読み込んだ各種データをもとに各種所要時間（（ａ）検査時間、（ｂ）検査開始から患者の体腔内へ内視鏡１１が挿入されるまでの時間、（ｃ）非観察時間、（ｅ）詳細観察時間、（ｆ）処置時間、（ｇ）患者の体腔外へ内視鏡１１を抜去してから検査終了までの時間）を算出する（Ｓ２２４１）。
【０１３１】
データ算出部２２４は、（ａ）検査時間−｛（ｂ）検査開始から患者の体腔内へ内視鏡１１が挿入されるまでの時間＋（ｃ）非観察時間＋（ｅ）詳細観察時間＋（ｆ）処置時間、（ｇ）患者の体腔外へ内視鏡１１を抜去してから検査終了までの時間｝を計算して、（ｄ）通常観察時間を算出する（Ｓ２２４２）。データ算出部２２４は、算出された各種所要時間を検査データ保持部２３２に保存する（Ｓ２２４３）。データ算出部２２４は、以上の処理を原則的に全ての内視鏡検査の検査データについて実行する。
【０１３２】
データ解析部２２４ａは内視鏡検査の分類ごとに、検査データ保持部２３２から各種所要時間を読み込む（Ｓ２２４４）。データ算出部２２４は、読み込んだ各種所要時間の統計値（例えば、平均値、中央値）を算出する（Ｓ２２４５）。データ解析部２２４ａは、算出した各種所要時間の統計値を統計データ保持部２３３に保存する（Ｓ２２４６）。データ解析部２２４ａは以上の処理を、指定された内視鏡検査の分類について実行する。
【０１３３】
以上説明したように実施の形態４によれば、内視鏡検査における各時点の状態を示すデータが時系列的に記録されているため、内視鏡検査における各種所要時間を正確に算出できる。従って内視鏡検査の過程を客観的に評価でき、医師の癖や改善点の発見等に活用できる。また複数の内視鏡検査において同じ仕様のデータが収集されるため内視鏡検査における客観的な統計データを算出することができる。従って検査プロトコルの作成や改善に活用できる。また学術データとしても活用できる。
【０１３４】
（実施の形態５）
実施の形態５では、内視鏡１１により撮像された内視鏡画像に部位情報を付与する方法を説明する。
【０１３５】
図２４は、実施の形態５に係る内視鏡検査データ記録装置２０の構成を示す図である。実施の形態５に係る内視鏡検査データ記録装置２０は、図３に示した実施の形態１に係る内視鏡検査データ記録装置２０に画像取得部２２１ｇおよび部位情報付与部２２６が追加された構成である。以下、実施の形態５に係る処理について説明する。
【０１３６】
実施の形態１−４では内視鏡１１により撮像された内視鏡画像を、内視鏡システム１０から内視鏡検査データ記録装置２０に転送する処理を必須としなかったが、実施の形態５では内視鏡画像の転送を必須とする。転送対象となる内視鏡画像は医師によりレリーズ、またはフットスイッチの操作によりシャッターが切られて撮像された静止画像である。当該静止画像は保存用の画像であり、それらの画像の内、医師により選択された画像はレポートに添付される。なお、内視鏡動画像の内視鏡システム１０から内視鏡検査データ記録装置２０への転送は必須ではない。
【０１３７】
画像取得部２２１ｇは、医師の操作により内視鏡１１で撮像された複数の内視鏡画像を内視鏡システム１０から取得する。部位情報付与部２２６は、取得された内視鏡画像に部位情報（例えば十二指腸、胃、食道）を付与する。部位情報は例えば、以下の方法により付与することができる。
【０１３８】
部位情報付与部２２６は、医師または看護師により手動で入力された部位情報を付与する。具体的には表示制御部２２３は、画像取得部２２１ｇにより取得された内視鏡画像を検査中または検査後に、内視鏡システム１０の表示装置１３または端末装置３０の表示部３４に表示させる。医師または看護師は表示された内視鏡画像に、その内視鏡画像がどの部位の画像であるかを手動で入力する。内視鏡検査データ記録装置２０の操作受付部２２２は、医師または看護師により入力された部位情報を受け付け、部位情報付与部２２６に渡す。
【０１３９】
また部位情報付与部２２６は、内視鏡画像から画像認識により部位を特定することもできる。例えば取得した内視鏡画像と、各部位のパターンデータをマッチングして部位を特定する。なお画像認識により部位を特定できなかった内視鏡画像については医師または看護師が手動で入力する。
【０１４０】
また部位情報付与部２２６は、検査プロトコルに規定された部位の撮影順に従い、内視鏡画像に部位情報を付与することもできる。検査プロトコルとは、観察する部位、観察時の注意事項、記録すべき静止画の条件等を順序立てて手順化したものであり、ルーチン検査を実施する場合に使用される。例えば、上部内視鏡検査では内視鏡１１を最初に十二指腸まで挿入し、食道の方向に内視鏡１１を戻してくるように観察する手順が用いられている。
【０１４１】
図２５（ａ）−（ｂ）は、内視鏡画像に撮影順に部位情報を付与するための部位特定画面５０の一例を示す図である。内視鏡検査データ記録装置２０の表示制御部２２３は部位特定画面５０を内視鏡システム１０の表示装置１３または端末装置３０の表示部３４に表示させる。図２５（ａ）に示す部位特定画面５０は、内視鏡画像に部位情報が付与される前の画面である。この例に示す上部内視鏡検査の検査プロトコルでは、（１）十二指腸、（２）十二指腸、（３）胃（幽門）、（４）胃（胃体部）、（５）胃（胃角部）、（６）胃（噴門）、（７）食道（下部）、（８）食道（中部）、（９）食道（上部）、（１０）咽喉部の順番に１０枚の内視鏡画像を撮影することが規定されている。
【０１４２】
１枚目の内視鏡画像欄５１の部位情報欄５１ａに十二指腸が設定され、・・・、４枚目の内視鏡画像欄５４の部位情報欄５４ａに胃（胃体部）が設定され、・・・、１０枚目の内視鏡画像欄５１０の部位情報欄５１０ａに咽喉部が設定される。
【０１４３】
医師は、上部内視鏡検査の検査プロトコルに従い内視鏡１１を十二指腸の奥まで挿入し、規定された部位の画像を順番に撮影していく。図２５（ｂ）に示すように１番目に撮影された画像は１枚目の内視鏡画像欄５１に割り当てられる。医師がＯＫボタン５０ａを押下すると画像の割り当てが確定する。割り当てられた内視鏡画像に写っている部位と、割り当てられた欄の部位情報が一致しない場合、キャンセルボタン５０ｂを押下することにより割り当てをキャンセルできる。
【０１４４】
図２５（ｂ）に示す例では、医師は胃（胃角部）の撮影をスキップしている。例えば、３枚目の胃（幽門）の内視鏡画像が割り当てられた段階（４枚目の胃（胃角部）の内視鏡画像の割り当てを待っている段階）で、ＯＫボタン５０ａを押下すると胃（胃角部）の内視鏡画像の割り当てをスキップできる。以上に説明した検査プロトコルに規定された部位の撮影順序に従い、内視鏡１１で撮影された内視鏡画像に部位情報を付与する処理は、内視鏡検査中に同時並行で行ってもよいし、検査後に行ってもよい。
【０１４５】
図２６は、実施の形態５に係る内視鏡検査データ記録装置２０の動作例を説明するためのフローチャートである。この動作例は、検査プロトコルで規定された部位の撮影順に従い実際に撮影された内視鏡画像に部位情報を付与する例である。画像取得部２２１ｇは、内視鏡検査において撮影された内視鏡画像を内視鏡システム１０から撮影順に取得する（Ｓ２２６０）。部位情報付与部２２６は、検査プロトコルで規定された部位の撮影順に従い、内視鏡システム１０から取得された内視鏡画像に部位情報を付与する（Ｓ２２６１）。部位情報付与部２２６は、部位情報が付与された内視鏡画像を、ネットワーク２を介して画像記録装置（不図示）に転送する（Ｓ２２６２）。なお内視鏡検査データ記録装置２０に内視鏡画像も保存する場合は、記憶部２３内の画像保持部（不図示）に保存する。
【０１４６】
以上説明したように実施の形態５によれば、内視鏡検査において撮像された保存用の内視鏡画像に対して簡単に部位情報を付与することができる。特に検査プロトコルで規定された部位の撮影順に従い内視鏡画像に部位情報を付与する方法では、医師が意識的に検査プロトコルを順守する動機付けにもなる。手動で部位情報を入力する必要がないため医師や看護師による煩雑な作業が不要となる。また画像認識処理により内視鏡画像から部位を検出する方法は部位を誤認識する可能性があるが、撮影順に従い内視鏡画像に部位情報を付与する方法では、医師が撮影順を順守していれば誤った部位情報が付与されることがない。
【０１４７】
（実施の形態６）
実施の形態１に係る内視鏡検査データ記録装置２０のデータ算出部２２４は、各種時系列データをもとに、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、および各処置の実施回数を算出した。この算出の基礎として使用される時系列データは、対象となる内視鏡検査の全期間（検査開始時刻から検査終了時刻までの期間）のデータである。
【０１４８】
実施の形態５ではデータ算出部２２４は、内視鏡検査における指定された２地点間の、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、および各処置の実施回数の少なくとも１つを算出する。内視鏡検査における２地点は、時刻、検知情報、撮像画像などで指定できる。
【０１４９】
図２７は、内視鏡検査における２地点の指定画面６０の一例を示す図である。内視鏡検査データ記録装置２０の表示制御部２２３は、２地点の指定画面６０を内視鏡システム１０の表示装置１３または端末装置３０の表示部３４に表示させる。指定画面６０は任意ボタン６１  観察光ボタン６２、薬剤ボタン６３、処置ボタン６４を含む。
【０１５０】
任意ボタン６１は２地点を時刻で指定するためのボタンである。観察光ボタン６２は観察光の種別を選択し、選択された観察光の使用開始時刻と使用終了時刻を２地点として指定するためのボタンである。薬剤ボタン６３は薬剤の種別を選択し、選択された薬剤を使用した観察開始時刻と観察終了時刻を２地点として指定するためのボタンである。処置ボタン６４は処置の種別を選択し、選択された処置の実施開始時刻と実施終了時刻を２地点として指定するためのボタンである。
【０１５１】
図２７は、医師または看護師により薬剤ボタン６３が押下され、薬剤の選択ウインドウ６３ａが表示された状態を描いている。例えばルゴールが選択されると、ルゴールを散布した状態での観察開始時刻と観察終了時刻が２地点として指定される。
【０１５２】
内視鏡検査における２地点は、２つの部位情報を選択することによっても指定できる。実施の形態５で説明したように内視鏡画像に部位情報が付与されている場合、部位情報が付与された２枚の内視鏡画像を選択することによっても、２地点を指定できる。
【０１５３】
図２８は、内視鏡検査における部位間選択画面７０の一例を示す図である。内視鏡検査データ記録装置２０の表示制御部２２３は、部位間選択画面７０を内視鏡システム１０の表示装置１３または端末装置３０の表示部３４に表示させる。部位間選択画面７０は、第１エリア７１、第２エリア７２を有する。
【０１５４】
第１エリア７１は、２つの部位名を選択して部位間を選択するエリアである。図２８は第１選択欄７１ａのプルダウンメニューから胃（幽門）が選択され、第２選択欄７１ｂのプルダウンメニューから胃（噴門）が選択された例を描いている。
【０１５５】
第２エリア７２は、部位情報が付加されている複数の内視鏡画像から２つの内視鏡画像を選択して２つの部位を選択し、部位間を選択するエリアである。図２８は、３番目に撮影された胃（幽門）の内視鏡画像７２ａと、６番目に撮影された胃（噴門）の内視鏡画像７２ｂが選択された例を描いている。
【０１５６】
以上説明したように実施の形態６によれば、内視鏡検査における任意の２つの地点間における観察時間等を算出できるため、内視鏡検査のきめ細かな分析や評価が可能となる。例えば胃の観察において噴門、胃体部、胃角部、等の部位ごとの観察時間を算出できるため、きめ細かな分析や評価が可能となる。例えば、観察手順が検査プロトコルに沿って、標準時間通りに行われているか分析できる。
【０１５７】
（実施の形態７）
経験が浅い非熟練医師が内視鏡検査を行った場合、検査後に熟練医師が指導を兼ね、所見の見落としが無いか、診断の誤りが無いか、撮影／検査が正しく行われているか等のチェック（ダブルチェック）を行うことが一般的である。そのためには非熟練医師の検査に熟練医師が立ち会う必要があるが、実際の医療現場では、常に熟練医師が立ち会うことは難しく効率的でもない。そのため、モニタ室等で全検査室の検査状況を一括表示することが行われている。この場合、内視鏡１１で撮像された動画像をリアルタイムに表示することが多い。複数の検査室の情報が並行して表示されても、全ての情報を詳細に把握することは困難である。また、非熟練医師の内視鏡検査のスキルアップの面からも検査中のプロセスを評価することが重要である。
【０１５８】
そこで実施の形態７では、内視鏡検査の各時点の状態を示すデータを記録するとともにリアルタイムにモニタに表示させる。これにより非熟練医師の評価（ダブルチェック）や指導を効率的に支援することができ、非熟練医師のスキルアップにも寄与する。
【０１５９】
実施の形態７では内視鏡システム１０のデータ送出部１２５は、照射光切替制御部１２２から渡された照射光種別データ、薬剤散布検知部１２３ａから渡された薬剤散布データ、および処置実施検知部１２３ｂから渡された処置実施データをリアルタイムに、ネットワーク２を介して内視鏡検査データ記録装置２０に送出する。即ちバッファ（不図示）にデータを蓄積せずに、渡されたデータを逐次送出する。
【０１６０】
上述したように内視鏡検査データ記録装置２０の照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、および処置実施データ取得部２２１ｃによりそれぞれ取得されるデータの推移は、データ記録部２２５により検査データ保持部２３２に記録される。それと共に当該データの推移は、表示制御部２２３により端末装置３０に転送され、表示部３４の画面に表示される。表示制御部２２３は当該画面に内視鏡検査の各時点の状態を示すデータの推移とともに、当該内視鏡検査で撮像された画像を併せて表示させてもよい。内視鏡動画像をリアルタイムに表示し続けてもよいし、医師の操作により撮影された静止画像を表示させてもよい。なお、当該画面と同じ画面を内視鏡システム１０の表示装置１３に表示させてもよい。その場合、検査を実施している医師本人が当該画面を見ることができる。
【０１６１】
図２９は、内視鏡検査の推移をデータで表した画面例の第１状態（検査開始直後）を示す図である。図３０は、内視鏡検査の推移をデータで表した画面例の第２状態（検査開始から５分経過時）を示す図である。図３１は、内視鏡検査の推移をデータで表した画面例の第３状態（検査開始から１１分経過時）を示す図である。図３２は、内視鏡検査の推移をデータで表した画面例の第４状態（検査終了時）を示す図である。
【０１６２】
図２９−図３２に示す画面３４ａ−３４ｄでは、使用中の観察光の種別が模様で表現されている。なお観察光の種別を色分けで表現してもよい。またレリーズが切られたタイミング、薬剤が散布されたタイミング等のイベント発生時に、イベント内容と時刻情報が表示される。またレリーズが切られて撮像された内視鏡画像が、そのレリーズが切られた時点に対応する位置に表示される。以上のような内視鏡検査の各時点の状態を示すデータが内視鏡検査の進行とともに画面内に追加されていく。
【０１６３】
なお画面３４ａ−３４ｄに検査プロトコル(挿入方法、観察部位、観察方法、撮影タイミング等)を表示させ、検査プロトコル通りに内視鏡検査が実施されているかを確認できるようにしてもよい。
【０１６４】
なお複数の検査室で内視鏡検査が同時並行で行われている場合、各内視鏡検査の推移を示すデータを、画面分割で表示してもよい。また複数のモニタを用意し、それぞれのモニタに表示してもよい。
【０１６５】
以上説明したように実施の形態７によれば、内視鏡検査の推移を示す時系列データを記録するだけでなく、そのデータをリアルタイムに経時的にモニタに表示させることにより、検査がどのように進んでいるかをモニタリングすることができ、検査プロトコルへの準拠状態や時間的な進行度合い等を確認することができる。従ってミスの防止や検査の進行状況・効率を把握することが可能となる。また内視鏡システム１０の表示装置１３に表示した場合、検査を実施している医師がプロセスの確認ができ、自己評価もできる。
【０１６６】
（実施の形態８）
実施の形態１〜７において、検査データ保持部２３２は、様々な実施記録情報を、時間情報（時刻情報）とともに記録することを説明した。一例として検査データ保持部２３２は、内視鏡検査において使用した照射光の種別を示す照射光種別データ、内視鏡検査において患者の体内で散布した薬剤の散布状態を示す薬剤散布データ、内視鏡検査において実施された処置の実施状況を示す処置実施データを含む内視鏡検査の実施記録情報を、時間情報（時刻情報）とともに記録している。
【０１６７】
実施の形態８では、検査データ保持部２３２に記録されたデータを利用して、患者が理解しやすいように、検査の実施記録を文の形式に編集した検査実施記録文書を作成する。検査データ保持部２３２に記録されたデータは、そのまま患者に見せても理解できるものでないため、実施記録を文の形式に編集した文書を作成することで、患者は、その文書を読んで、どのように検査が実施されたかを理解できる。
【０１６８】
実施の形態８では、検査データ保持部２３２が、照射光種別データ、薬剤散布データ、処置実施データのうちの少なくとも１つを記録していればよいものとする。つまり検査データ保持部２３２は、照射光種別データおよび／または薬剤散布データおよび／または処置実施データを含む内視鏡検査の実施記録情報を、時間情報とともに記録していることを前提とする。
【０１６９】
図３３は、実施の形態８に係る内視鏡検査データ記録装置２０の構成を示す図である。実施の形態８に係る内視鏡検査データ記録装置２０において、制御部２２は、患者データ取得部２２１ｈおよび画像取得部２２１ｉを有するデータ取得部２２１、操作受付部２２２、文生成部２２７、文書生成部２２８を備えて構成される。記憶部２３は、検査データ保持部２３２およびテンプレート保持部２３５を備える。
【０１７０】
上記したように検査データ保持部２３２は、時間情報とともに取得される照射光種別データ、薬剤散布データ、処置実施データの実施記録情報のうち、少なくとも１種類のデータを記録している。取得される照射光種別データ、薬剤散布データ、処置実施データについては、実施の形態１〜７で説明したとおりである。以下、時間情報とともに記録されている個々のデータを「データ要素」と呼ぶ。
【０１７１】
文生成部２２７は、検査データ保持部２３２に記録した実施記録情報に含まれるデータ要素から、実施記録に関する文を生成する。文書生成部２２８は、文生成部２２７が生成した文を、時間情報に関連づけた文書を生成する。
【０１７２】
図３４は、検査データ保持部２３２に記録される検査データ２３２ｅの一例を示す図である。図３４に示す例は、データ記録部２２５が、照射光種別データ取得部２２１ａ、薬剤散布データ取得部２２１ｂ、処置実施データ取得部２２１ｃ、撮像距離データ取得部２２１ｄのそれぞれより取得された照射光種別データ、薬剤散布データ、処置実施データ、撮像距離データをそのまま検査データ保持部２３２に記録した例である。また、この例では、実施の形態５における画像取得部２２１ｇが内視鏡画像を取得する際、データ記録部２２５が、内視鏡画像の撮影タイミングを、検査データとして画像番号とともに検査データ保持部２３２に記録している。なお内視鏡画像には、撮影時刻を示す時間情報がメタデータとして付加されており、画像取得部２２１ｇが内視鏡画像を取得したときに、メタデータである時間情報および画像番号を読み取り、データ記録部２２５が、撮影実施情報として、撮影時刻および画像番号を、検査データ保持部２３２に記録してもよい。
【０１７３】
検査データ２３２ｅについて説明する。実施の形態１〜７で検査データに関して説明したように、検査データは、検査開始から検査終了まで、たとえば１秒ごとの状態値として時系列的に記録されているが、図３４では、説明の便宜上、各データの状態値に変化が生じた場合の実施記録のみを、理解しやすい形式で示している。なお１秒ごとに各データが記録されている場合、記録されている各データが「データ要素」である。
【０１７４】
図３４に示す検査データ２３２ｅにおいて、最上段は、時間（分：秒）と、イベント名を表現している。ここでは各データの状態値の変化を「イベント」と称している。図６（ａ）に示す観察光種別マスタテーブル２１３ａを参照すると、観察光種別として白色光＝１、狭帯域光＝２、蛍光＝３、近赤外光＝４の４種類が規定されている。観察光種別の状態値“１”が、状態値“２”に変化すると、観察光が白色光から狭帯域光に切り替えられたことを意味するが、図３４においては、この変化を「観察光切替」イベントと呼んでいる。
【０１７５】
２段目の「撮影」は、状態値０が、そのタイミングで撮影されていないことを示し、画像Ｎは、Ｎ番目に画像が撮影されたことを示す。３段目の「観察光」は、観察光種別を示す。なお「観察光」の状態値０は、観察光のスイッチがオフされていることを示す。４段目の「薬剤散布」は、薬剤種別を示し、この例では状態値がすべて０となっており、検査中に薬剤が散布されていないことを示す。５段目の「処置」は、処置種別を示し、６段目の「距離分類」は、距離カテゴリを示す。
【０１７６】
検査終了後、医師が、患者に対して内視鏡検査の実施状況を説明する必要が生じた場合に、端末装置３０から記録文書の生成要求を内視鏡検査データ記録装置２０に送信する。内視鏡検査データ記録装置２０において操作受付部２２２は、記録文書の生成要求を受け付けると、文生成部２２７および文書生成部２２８を起動して、記録文書の作成を指示する。なお文生成部２２７および文書生成部２２８は、文書作成アプリケーションの機能として構成されてよい。
【０１７７】
文生成部２２７は、検査データ保持部２３２に記録されているデータ要素のうち、データ要素の状態値の変化を検出して、その変化があったデータ要素から、実施記録に関する文を生成する。図３４に示す検査データ２３２ｅにおいては、データ要素の変化を「イベント」として表現しており、文生成部２２７は、イベントのデータ要素を、文章に変換する。なお、検査開始、検査終了、挿入開始、抜去のイベントに関しては、検査データ保持部２３２に、時間情報とともに、検査データ２３２ｅとして記録されている。
【０１７８】
テンプレート保持部２３５は、イベントと文テンプレートとを対応付けて保持する。
図３５は、テンプレート保持部２３５が保持するテンプレート２３５ａの一例を示す。テンプレート保持部２３５には、実施記録におけるイベントに対応付けて、文テンプレートが保持されている。文生成部２２７は、検査データ２３２ｅに含まれるイベントを抽出して、イベントのデータ要素をテンプレート２３５ａを用いて文に変換する。
【０１７９】
以下、文生成部２２７が、各種のデータにつき、イベントを変換した文を示す。なお以下に示す例は、文生成部２２７が、図３４に示す検査データ２３２ｅにおいて、検査開始終了に関するイベント、内視鏡の挿入・抜去に関するイベント、撮影に関するレリーズオンイベント、観察光に関する切替イベント、薬剤散布に関する散布イベント、処置に関する実施イベント、距離分類に関する近接イベントの順に、文に変換した例である。この場合、以下のような文が生成される。
【０１８０】
・検査を開始しました。
・検査を終了しました。
・内視鏡を挿入しました。
・内視鏡を抜去しました。
・検査を開始しました。
・画像１を撮影しました。
・画像２を撮影しました。
・画像３を撮影しました。
・画像４を撮影しました。
・画像５を撮影しました。
・画像６を撮影しました。
・画像７を撮影しました。
・画像８を撮影しました。
・画像９を撮影しました。
・画像１０を撮影しました。
・白色光で観察。
・狭帯域光で観察。
・白色光で観察。
・狭帯域光で観察。
・白色光で観察。
・近接観察を開始しました。
・近接観察を終了しました。
・生検を実施しました。
【０１８１】
文生成部２２７は、テンプレート２３５ａを用いてイベントのデータ要素を文に変換するが、上記した文の羅列には時間に関する情報が含まれていないため、この文の羅列を印刷しても、患者に提供する実施記録文書としては適切ではない。そこで文書生成部２２８は、文生成部２２７が生成した文を、時間情報に関連づけた文書を生成する。
【０１８２】
図３６は、文書生成部２２８が生成する検査実施記録文書の一例を示す。この例では、文書生成部２２８が、各文を生成する際の元となるイベントの時間情報を参照して、各文を時間順に並べている。この例では、文生成部２２７が生成した各文を時間順に並べることで、各文を、時間情報に関連づけている。文書生成部２２８が、検査実施記録文書を生成すると、医師は端末装置３０から検査実施記録文書を印刷して、患者に手渡せるようになる。検査実施記録文書では、実施記録が時間順に並べられているため、患者は、どのような手順で検査が実施されたか理解できる。
【０１８３】
図３７は、文書生成部２２８が生成する検査実施記録文書の別の例を示す。この例では、文書生成部２２８が、各文を生成する際の元となるイベントの時間情報を参照して、各文を、時間順に並べるとともに、各文の末尾に、イベントの時間情報を付加している。なお、付加する時間情報は、検査開始を起点（0:00）とした時間に限らず、検査開始時刻（13:00）からの時刻情報であってもよい。このように各文に、時間情報を関連づけることで、内視鏡検査の実施状況をより理解しやすくなる。
【０１８４】
図３３に戻り、データ取得部２２１において、患者データ取得部２２１ｈは、内視鏡検査を実施した患者のデータを取得する。患者データは、内視鏡検査における患者の既往歴、アレルギー情報、禁忌薬剤、身体情報などの患者情報を含んでよい。たとえば内視鏡業務支援システム１において、検査のオーダ情報や患者データなどを管理する管理サーバが設けられ、患者データ取得部２２１ｈは、管理サーバから患者データを取得してよい。
【０１８５】
画像取得部２２１ｉは、内視鏡検査で撮像された画像データを取得する。たとえば内視鏡業務支援システム１において、内視鏡画像を記録する画像記録装置が設けられ、画像取得部２２１ｉは、画像記録装置から、内視鏡検査で撮影した画像データを取得する。患者データおよび画像データは、検査実施記録として有用な情報を含んでいる。
【０１８６】
文書生成部２２８は、患者データおよび／または画像データを含めた文書を作成してよい。
図３８は、文書生成部２２８が生成する検査実施記録文書の別の例を示す。この例では文書生成部２２８が、各文を生成する際の元となるイベントの時間情報を参照して、各文を時系列に沿って並べるとともに、各文の末尾に、イベントの時間情報を付加し、さらに検査で取得した画像および患者情報を文書に含ませている。このように検査実施記録文書に、検査で取得した内視鏡画像や、患者の情報を含めることで、患者は内視鏡検査の実施状況をより理解しやすくなる。
【０１８７】
（実施の形態９）
実施の形態９では、実施の形態８で説明した内容に加えて、内視鏡検査におけるレポートの所見、診断情報などを、検査実施記録文書に含めることについて説明する。実施記録情報に加えて、医師による所見、診断情報などを検査実施記録文書に含めることで、患者にとって、より検査の実施状況を理解しやすい文書を作成できるようになる。
【０１８８】
図３９は、本発明の実施の形態９に係る内視鏡業務支援システム１の構成を示す図である。実施の形態９において、内視鏡業務支援システム１は、医師によるレポート作成のために、図１に示す構成に加えて、画像記録装置４２および管理サーバ９０をさらに備える。画像記録装置４２は、内視鏡画像を記録する装置であり、実施の形態５において部位情報を付加された内視鏡画像が記録される。なお内視鏡画像には、メタデータとして、撮影時刻を示す時間情報、画像番号がメタデータとして含まれている。
【０１８９】
管理サーバ９０は、内視鏡検査のオーダ情報やレポートデータを管理する。管理サーバ９０は、患者の検査オーダを記憶するオーダ情報保持部９１、医師により作成された検査レポートのレポートデータを記憶するレポートデータ保持部９２とを備える。
【０１９０】
端末装置３０において、制御部３２は、レポート入力画面生成部３２１、画像取得部３２２、検査推移画面生成部３２３、入力受付部３２４、登録処理部３２５を備える。実施の形態９において、端末装置３０は、画像記録装置４２にアクセスして、記録された内視鏡画像を表示部３４に表示できる。医師が検査レポートを作成する際には、内視鏡検査の検査ＩＤに紐づけられて画像記録装置４２に保持されている全ての内視鏡画像のサムネイルが端末装置３０に読み出され、医師が検査レポートに添付する内視鏡画像を選択できるように、サムネイル一覧が表示部３４に表示される。レポート入力画面生成部３２１は、医師がレポートを作成するための入力画面を生成して表示部３４に表示する機能をもつ。医師は内視鏡検査を終了すると、端末装置３０でユーザインタフェースを操作して検査レポートを作成する。
【０１９１】
図４０は、内視鏡検査のレポート入力画面の一例を示す。レポート入力画面生成部３２１が、管理サーバ９０のオーダ情報保持部９１からオーダ情報を取得し、また画像記録装置４２から内視鏡画像のサムネイルを取得して、レポート入力画面を生成する。
【０１９２】
レポート入力画面の左欄には、患者情報および内視鏡画像のサムネイルが表示される。レポート入力画面生成部３２１は、画像記録装置４２から取得した内視鏡画像のサムネイルを一覧領域８０に並べて表示する。なお一覧領域８０の右側にはスクロールバー８１が設けられ、医師はスクロールバー８１をスクロールして、内視鏡画像の全てのサムネイルを閲覧できる。内視鏡画像には検査ＩＤがメタデータとして付加されており、さらに実施の形態５において説明したように、部位情報もメタデータとして付加されている。
【０１９３】
レポート入力画面の右欄には、レポート入力すべき項目が表示される。図４０に示す例では項目として「観察範囲」、「総合診断」、「検査後指示／合併症」および「各種コメント／使用スコープ／追加項目」が表示される。「観察範囲」は、人体の部位ごとに所見内容、診断内容、処置内容を入力する項目である。「総合診断」は、総合診断の内容を入力する項目である。「検査後指示／合併症」は、検査後の医師からの指示内容および合併症の有無を入力する項目である。「各種コメント／使用スコープ／追加項目」は、上記に記載した以外のコメントおよび検査に使用したスコープの種別を入力する項目である。
【０１９４】
ここでは観察範囲が「食道」、「胃」であり、医師は「観察範囲」の項目に、検査した部位の所見内容、診断内容、処置内容を入力する。医師はキーボードなどのユーザインタフェースから各内容を入力し、入力受付部３２４が、レポート入力を受け付ける。
【０１９５】
実施の形態９において、レポート入力画面に、検査推移画面を表示するための検査推移画面表示ボタン８３が設けられる。検査推移画面表示ボタン８３が操作されると、検査推移画面生成部３２３が、レポート入力のためのグラフィカルユーザインタフェース（ＧＵＩ）として利用される検査推移画面を表示部３４に表示する。
【０１９６】
図４１は、検査推移画面の一例を示す。検査推移画面生成部３２３は、内視鏡検査データ記録装置２０の検査データ保持部２３２から検査データを読み出して、時系列にイベントを配置した検査推移画面を生成する。ここでのイベントは、実施の形態８に関して説明した図３４の検査データ２３２ｅの状態値の変化により抽出されたものである。検査推移画面生成部３２３は、イベントを、その発生時間とともに時間軸上に配置する。なおレリーズオンのイベントに対して、内視鏡画像のサムネイル８４ａ〜８４ｊが添付されている。医師は、マウスなどのユーザインタフェースを用いて、サムネイル８４を選択して拡大表示し、たとえばレポートの添付画像として選択することも可能である。
【０１９７】
医師は、検査推移画面において、所見内容、診断内容、処置内容などを入力できる。たとえば医師は、検査推移画面の時間軸の任意の点を指定することで、その指定点に対応する時間情報に関連づけて、所見内容や診断内容などを入力できる。また医師は、検査推移画面においてサムネイル８４を選択して、サムネイル８４に対応付けて所見内容や診断内容を入力できる。内視鏡画像には、撮影時刻を示す時間情報がメタデータとして記録されており、したがってサムネイル８４に対応付けて所見内容や診断内容を入力すると、かかる所見内容や診断内容は、内視鏡画像の時間情報に関連付けることが可能となる。
【０１９８】
図４２は、内視鏡画像に関連づけて所見を入力した例を示す。マウスのポインタをサムネイル８４に当てると、所見等を入力するための入力ボックス８５が表示され、医師は入力ボックス８５に、所見等を入力できる。たとえば入力ボックス８５ａには、サムネイル８４ｃに関連づけて入力された所見内容が入力されている。ここで入力受付部３２４は、サムネイル８４ｃの内視鏡画像に付加されている部位情報を参照し、入力ボックス８５ａに入力された所見内容を、当該部位に関する所見内容として受け付ける。検査推移画面において入力された内容は、図４０に示すレポート入力画面の入力として反映される。このとき、サムネイル８４に関連づけて所見等を入力することで、入力受付部３２４は、サムネイル８４の部位と同じレポート入力画面における部位（観察範囲）に、所見等を入力する。
【０１９９】
この例では、サムネイル８４ｃに関連づけて入力ボックス８５ａに「異常なし」の所見内容が、サムネイル８４ｅに関連づけて入力ボックス８５ｂに「微小発赤」の所見内容が、サムネイル８４ｉに関連づけて入力ボックス８５ｃに「胃食道逆流症」の所見内容がそれぞれ入力されている。なお上記したように、医師は、時間軸上の任意の点を指定して、その時間に関連して所見内容を入力することもできる。医師は、検査推移画面において所見等を入力することで、入力した所見内容、診断内容等を、時間情報に関連づけることが可能となる。
【０２００】
このように実施の形態９では、内視鏡検査の各時点の状態を示すデータ要素を、検査終了後に表示部３４に表示させて、実施記録を入力するためのグラフィカルユーザインタフェース（ＧＵＩ）として利用する。すなわち実施の形態９では、検査開始から検査終了までの内視鏡検査の推移を表した画面から、医師などの医療従事者が、所望のレポート入力を行えるようになる。医師がレポート入力を終了し、登録ボタン８２を操作すると（図４０参照）、レポートデータが登録される。具体的には登録処理部３２５が、入力されたレポートデータを管理サーバ９０のレポートデータ保持部９２に記録する。
【０２０１】
レポートデータ保持部９２は、内視鏡検査に関して作成された検査レポートの所見および／または診断のデータ要素を記録する。ここでデータ要素は、医師により入力された所見データ、診断データなどであり、時間情報を含んで構成されている。
【０２０２】
図４３は、実施の形態９に係る内視鏡検査データ記録装置２０の構成を示す図である。実施の形態９に係る内視鏡検査データ記録装置２０において、制御部２２は、患者データ取得部２２１ｈ、画像取得部２２１ｉおよびレポートデータ取得部２２１ｊを有するデータ取得部２２１、操作受付部２２２、文生成部２２７、文書生成部２２８、設定部２２９を備えて構成される。記憶部２３は、検査データ保持部２３２およびテンプレート保持部２３５を備える。
【０２０３】
実施の形態８に関して示した内視鏡検査データ記録装置２０（図３３参照）との相違点について説明する。実施の形態９では、レポートデータ取得部２２１ｊが、管理サーバ９０のレポートデータ保持部９２から、レポートデータを取得する。ここでレポートデータは、時間情報を含む複数のデータ要素で構成されている。
【０２０４】
文生成部２２７は、画像取得部２２１ｉが取得した検査レポートのデータ要素から、所見および／または診断に関する文を生成する。文書生成部２２８は、所見および／または診断に関する文を、実施の形態８で説明した実施記録に関する文に関連づけた文書を生成する。
【０２０５】
実施の形態９において、テンプレート保持部２３５は、検査レポートにおけるデータ要素と文テンプレートとを対応付けて保持する。
図４４は、テンプレート保持部２３５が保持するテンプレート２３５ｂの一例を示す。テンプレート保持部２３５には、検査レポートにおけるデータ要素の種類に対応付けて、文テンプレートが保持されている。文生成部２２７は、レポートデータのデータ要素をテンプレート２３５ｂを用いて文に変換する。
【０２０６】
たとえば、所見に関するデータ要素が「微小発赤」である場合、文生成部２２７は、テンプレート２３５ｂから、「微小発赤を発見しました。」とする文を作成する。また、たとえば診断に関するデータ要素が「早期胃癌」である場合、文生成部２２７は、テンプレート２３５ｂから「早期胃癌の可能性があります。」とする文を作成する。なお文生成部２２７は、部位に関して所見データが存在しない場合に、その部位に関して「異常ありませんでした。」とする文を作成してもよい。これは異常がない場合に、医師が「異常なし」とする所見をレポート入力しないこともあるためである。
【０２０７】
文書生成部２２８は、文生成部２２７が所見および／または診断に関する文を、実施記録に関する文に関連づけた文書を生成する。
図４５は、文書生成部２２８が生成する検査実施記録文書の例を示す。この例では文書生成部２２８が、各文を生成する際の元となるイベントの時間情報を参照して、左欄において各文を時系列に沿って並べるとともに、各文の末尾に、イベントの時間情報を付加した文書を生成する。さらに文書生成部２２８は、右欄において所見および／または診断に関する文を、左欄の実施記録に関する文に関連づけている。具体的に、この関連づけは、時間情報にしたがって実施される。図４５の右欄に示す３つの文は、それぞれ内視鏡画像に関連づけて入力された所見内容にもとづいて生成されたものであり、したがって、各内視鏡画像の撮影イベントに関する実施記録の近傍（横）に、コメント文が配置されている。
【０２０８】
このように検査実施記録文書に、実施記録情報のみならず、所見および／または診断に関する情報を含めることで、内視鏡検査の実施状況をより理解しやすくなる。なお図３８に示すように、文書生成部２２８は、内視鏡画像や患者情報を、文書に含めてもよい。たとえばレポートデータに、検査の前処置の記録や、使用した麻酔情報、フォローアップに関する情報などが含まれている場合には、文書生成部２２８が、それらの情報を記録文書に含めてもよい。
【０２０９】
また内視鏡画像には、部位情報が記録されている。そこで文生成部２２７は、「画像１を撮影しました。」とする文を生成する際に、画像１の部位情報を参照して、文に含めるようにしてもよい。たとえば文生成部２２７は、「胃体中部の画像１を撮影しました。」とする文を生成してもよい。文に部位情報も含めることで、より理解しやすい記録文書を作成できるようになる。
【０２１０】
なお検査実施記録文書は、患者に提示するものであるため、たとえば患者にとって好ましくない、または提示するには慎重を期すべき情報は、文書に含めないことが好ましい。たとえば検査レポートの診断内容に「早期胃癌」というデータ要素があった場合、検査実施記録文書に、単純に「早期胃癌の可能性があります。」と記載してよいものではない。設定部２２９は、検査レポートの所見および／または診断のデータ要素に関し、文の生成可否を設定する。文の生成可否とは、データ要素を変換した文を文書に含めてよいか否かを定めるものである。
【０２１１】
たとえば設定部２２９は、検査レポートの以下の項目に対して、それぞれ検査実施記録文書に含めるか否かをユーザにより設定できるようにする。
・所見データ
・診断データ
・前処置データ
・使用器材データ
・実施医
【０２１２】
たとえば診断データを、文書に含めないようにユーザが設定していれば、文書生成部２２８は、「早期胃癌」という診断データを変換した文を、文書に含めない。または文生成部２２７が、そもそも診断データを文に変換しない。なお設定部２２９は、上記のような項目の単位で、文書に含めるか否かを設定できるようにしてもよいが、特定の単語、たとえば「癌」「がん」「ガン」といった単語を、文書に含めないように設定できてもよい。なお設定部２２９は、イベントに関しても、検査実施記録文書に含めるか否かをユーザにより設定できるようにしてもよい。設定情報保持部２３４は、設定部２２９により設定された情報を保持する。これにより文生成部２２７および文書生成部２２８は、設定情報にしたがって、文を生成し、または文書を生成する。
【０２１３】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施の形態１−７において説明した手法は様々な組み合わせが可能であり、図１−図３２に例示した組み合わせに限らない。
【０２１４】
上述の実施の形態１−７において画像認識部１２３が内視鏡処理装置１２に設けられる構成を説明したが、画像認識部１２３は内視鏡検査データ記録装置２０に設けられてもよいし、内視鏡処理装置１２および内視鏡検査データ記録装置２０以外の別の装置内に設けられてもよい。
【０２１５】
上述の実施の形態１−７では、光源装置１４や内視鏡画像からＮ秒またはＮフレームおきに各種のデータを検知し、内視鏡検査データ記録装置２０に送信した。この点、データの種別によってはイベント発生時のデータのみを検知し、内視鏡検査データ記録装置２０に送信してもよい。例えば、薬剤散布データについて薬剤が散布されていない期間のデータは、内視鏡検査データ記録装置２０に送信しない設定も可能である。
【符号の説明】
【０２１６】
１・・・内視鏡業務支援システム、１０・・・内視鏡システム、１１・・・内視鏡、１２・・・内視鏡処理装置、１３・・・表示装置、１４・・・光源装置、２０・・・内視鏡検査データ記録装置、２１・・・通信部、２２・・・制御部、２３・・・記憶部、２４・・・コンソール部、３０・・・端末装置、３１・・・通信部、３２・・・制御部、３３・・・記憶部、３４・・・表示部、３５・・・操作入力部、４２・・・画像記録装置、８０・・・一覧領域、８１・・・スクロールバー、８２・・・登録ボタン、８３・・・検査推移画面表示ボタン、８４・・・サムネイル、８５・・・入力ボックス、９０・・・管理サーバ、９１・・・オーダ情報保持部、９２・・・レポートデータ保持部、１１１・・・撮像素子、１１２・・・鉗子チャンネル、１１３・・・操作部、１２１・・・制御部、１２２・・・照射光切替制御部、１２３・・・画像認識部、１２３ａ・・・薬剤散布検知部、１２３ｂ・・・処置実施検知部、１２３ｃ・・・撮像距離推定部、１２３ｄ・・・撮像状態分類部、１２４・・・倍率制御部、１２５・・・データ送出部、１２６・・・通信部、２２１・・・データ取得部、２２１ａ・・・照射光種別データ取得部、２２１ｂ・・・薬剤散布データ取得部、２２１ｃ・・・処置実施データ取得部、２２１ｄ・・・撮像距離データ取得部、２２１ｅ・・・倍率データ取得部、２２１ｆ・・・撮像状態データ取得部、２２１ｇ・・・画像取得部、２２１ｈ・・・患者データ取得部、２２１ｉ・・・画像取得部、２２１ｊ・・・レポートデータ取得部、２２２・・・操作受付部、２２３・・・表示制御部、２２４・・・データ算出部、２２４ａ・・・データ解析部、２２５・・・データ記録部、２２６・・・部位情報付与部、２２７・・・文生成部、２２８・・・文書生成部、２２９・・・設定部、２３１・・・マスタ情報保持部、２３２・・・検査データ保持部、２３３・・・統計データ保持部、２３４・・・設定情報保持部、２３５・・・テンプレート保持部、３２１・・・レポート入力画面生成部、３２２・・・画像取得部、３２３・・・検査推移画面生成部、３２４・・・入力受付部、３２５・・・登録処理部。
【図１】
2017086685.tif 000003
【図２】
2017086685.tif 000004
【図３】
2017086685.tif 000005
【図４】
2017086685.tif 000006
【図５】
2017086685.tif 000007
【図６】
2017086685.tif 000008
【図７】
2017086685.tif 000009
【図８】
2017086685.tif 000010
【図９】
2017086685.tif 000011
【図１０】
2017086685.tif 000012
【図１１】
2017086685.tif 000013
【図１２】
2017086685.tif 000014
【図１３】
2017086685.tif 000015
【図１４】
2017086685.tif 000016
【図１５】
2017086685.tif 000017
【図１６】
2017086685.tif 000018
【図１７】
2017086685.tif 000019
【図１８】
2017086685.tif 000020
【図１９】
2017086685.tif 000021
【図２０】
2017086685.tif 000022
【図２１】
2017086685.tif 000023
【図２２】
2017086685.tif 000024
【図２３】
2017086685.tif 000025
【図２４】
2017086685.tif 000026
【図２５】
2017086685.tif 000027
【図２６】
2017086685.tif 000028
【図２７】
2017086685.tif 000029
【図２８】
2017086685.tif 000030
【図２９】
2017086685.tif 000031
【図３０】
2017086685.tif 000032
【図３１】
2017086685.tif 000033
【図３２】
2017086685.tif 000034
【図３３】
2017086685.tif 000035
【図３４】
2017086685.tif 000036
【図３５】
2017086685.tif 000037
【図３６】
2017086685.tif 000038
【図３７】
2017086685.tif 000039
【図３８】
2017086685.tif 000040
【図３９】
2017086685.tif 000041
【図４０】
2017086685.tif 000042
【図４１】
2017086685.tif 000043
【図４２】
2017086685.tif 000044
【図４３】
2017086685.tif 000045
【図４４】
2017086685.tif 000046
【図４５】
2017086685.tif 000047