(57)【要約】【課題】内視鏡画像の読影をサポートするための技術を提供する。【解決手段】表示処理部６２は、内視鏡画像を読影画面に再生表示する。観察内容記録部９０は、過去の所見情報と、所見情報に対応付けられた所見画像とを記録する。進行率取得部５８は、所見画像が撮影された所定区間における位置を示す進行率を取得する。分布導出部６０は、取得した進行率をもとに、過去の所見情報の分布状態を導出する。表示処理部６２は、過去の所見情報の分布状態を読影画面に表示する。【選択図】図２
2019088553.tif 000002
【特許請求の範囲】
【請求項１】
カプセル内視鏡が被検体内を撮影した複数の内視鏡画像の観察を支援する観察支援システムであって、
内視鏡画像を読影画面に再生表示する表示処理部と、
過去の所見情報と、所見情報に対応付けられた所見画像とを記録する観察内容記録部と、
所見画像が撮影された所定区間における位置を示す進行率を取得する進行率取得部と、
取得した進行率をもとに、過去の所見情報の分布状態を導出する分布導出部と、を備え、
前記表示処理部は、過去の所見情報の分布状態を読影画面に表示する、
ことを特徴とする内視鏡画像観察支援システム。
【請求項２】
所定区間は、小腸区間である、
ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
【請求項３】
前記進行率取得部は、所見画像に付加された撮影時刻情報を用いて、所定区間における位置を示す進行率を算出する、
ことを特徴とする請求項１または２に記載の内視鏡画像観察支援システム。
【請求項４】
一端を撮影開始時刻、他端を撮影終了時刻とするタイムバーを表示する画面生成部をさらに備え、
前記表示処理部は、タイムバーにおける所定区間にあわせて、過去の所見情報の分布状態を表示する、
ことを特徴とする請求項１から３のいずれかに記載の内視鏡画像観察支援システム。
【請求項５】
前記分布導出部は、所見の種類ごとに、過去の所見情報の分布状態を導出する、
ことを特徴とする請求項１から４のいずれかに記載の内視鏡画像観察支援システム。
【請求項６】
前記表示処理部は、所定区間における進行率が指定されると、当該進行率に対応する所見画像を表示する、
ことを特徴とする請求項１から５のいずれかに記載の内視鏡画像観察支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。
【背景技術】
【０００２】
特許文献１は、今回の検査の画像群から取得された撮像時間又は特徴量と、過去の検査の画像群から取得された撮像時間又は特徴量とを比較し、両者の差が基準値以上である場合に、今回の検査の画像群に対して比較の結果に基づく表示制御を行う画像処理装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／０６１５５３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カプセル内視鏡検査では数万枚〜十数万枚の画像が撮像されるため、他の種類の読影と比べて読影者にかかる負担が非常に大きい。見落としの可能性を低減するために、２人の読影医師による二重読影が実施されることがあるが、近年では、技師が画像診断の補助を行いつつ、医師が読影レポートを完成させる二重読影の実施も提唱されている。
【０００５】
しかしながら全ての医師や技師が読影に慣れているわけではなく、二重読影を行う場合であっても、所見見落としの可能性は存在する。そのため特に不慣れな医師や技師に対して、読影をサポートできる仕組みを提供することが好ましい。なお二重読影ではなく、一人の読影者が読影する場合においても、やはり読影をサポートできる仕組みが構築されていることが好ましい。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、内視鏡画像の読影をサポートするための技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡が被検体内を撮影した複数の内視鏡画像の観察を支援する観察支援システムであって、内視鏡画像を読影画面に再生表示する表示処理部と、過去の所見情報と、所見情報に対応付けられた所見画像とを記録する観察内容記録部と、所見画像が撮影された所定区間における位置を示す進行率を取得する進行率取得部と、取得した進行率をもとに、過去の所見情報の分布状態を導出する分布導出部とを備える。表示処理部は、過去の所見情報の分布状態を読影画面に表示する。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、内視鏡画像の読影をサポートするための技術を提供できる。
【図面の簡単な説明】
【００１０】
【図１】画像観察支援システムの概要を説明するための図である。
【図２】管理サーバおよび記録装置の構成を示す図である。
【図３】読影画面の例を示す図である。
【図４】オーバービュー画面の例を示す図である。
【図５】読影画面に表示された所見画像を示す図である。
【発明を実施するための形態】
【００１１】
図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。
【００１２】
カプセル内視鏡検査において、患者（被検体）は腹部に複数の受信アンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は、超小型カメラである撮像部、被検体内を照明する照明部、撮像部から出力される撮像信号をＡ／Ｄ変換して、画像ＩＤおよび撮影時刻情報を付加した画像データを生成する信号処理部、画像データを一時記憶するメモリ、メモリに記憶された画像データを送信する通信モジュール、各部に電力を供給するバッテリとを備える。カプセル内視鏡３は消化管を移動しながら静止画像を周期的に撮影して、画像データをアンテナ経由で受信装置４に送信する。
【００１３】
受信装置４には、記録媒体５が内蔵されており、受信装置４は各受信アンテナで受信した画像データに、各受信アンテナにおける受信時の電波強度情報を含む関連情報を付加して、記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像データが記録媒体５に記録される。
【００１４】
画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により関連情報として撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤ、撮影時刻情報および受信電波強度などの関連情報を対応付けられて記録媒体５に記録される。
【００１５】
患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像データおよび関連情報を読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像データおよび関連情報を読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像データおよび関連情報を読み出されてもよい。
【００１６】
管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよく、記録装置１２は、端末装置２０に設けられてもよい。
【００１７】
複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０は医師や技師などの読影者（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。
【００１８】
管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。
【００１９】
カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。
【００２０】
また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。
【００２１】
画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。
【００２２】
管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。
【００２３】
実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。
【００２４】
（第２再生モード）
第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。
【００２５】
（第３再生モード）
第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。
【００２６】
（第４再生モード）
第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。
【００２７】
第１〜第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。
【００２８】
端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。
【００２９】
図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、取得部３０、画像処理部４０、画面生成部５０、操作受付部５２、区間設定部５４、軌跡処理部５６、進行率取得部５８、分布導出部６０および表示処理部６２を備える。取得部３０は、ＲＡＷ画像取得部３２および関連情報取得部３４を有する。画像処理部４０は、赤み判定部４２、画像要約処理部４４および圧縮処理部４６を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。
【００３０】
記録装置１２は、内視鏡画像記録部８０、関連情報記録部８２、位置情報記録部８４、軌跡画像記録部８６、検査情報記録部８８および観察内容記録部９０を備える。内視鏡画像記録部８０は、画像処理部４０により画像処理を施された内視鏡画像を記録する。検査情報記録部８８は、内視鏡検査に関する情報を記録する。観察内容記録部９０は、過去のカプセル内視鏡の検査に関して登録された観察内容、たとえば所見情報、所見情報に対応付けられた所見画像などを記録する。
【００３１】
管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３２】
ＲＡＷ画像取得部３２は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶させる。関連情報取得部３４は、データ読出装置から送信される関連情報を取得し、関連情報記録部８２に記録する。画像処理部４０は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。なお内視鏡ＲＡＷ画像データには、画像ＩＤが対応付けられている。
【００３３】
＜赤み画像の特定＞
赤み判定部４２は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部４２は、特定した赤み画像の画像ＩＤを、圧縮処理部４６に提供する。
【００３４】
＜画像要約処理＞
画像要約処理部４４は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部４４は、最初に撮影された画像を基準画像として設定する。画像要約処理部４４は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部４４は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。
【００３５】
画像要約処理部４４は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部４４は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。
【００３６】
一方で、画像要約処理部４４は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部４４は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部４４は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。
【００３７】
基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部４４は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部４６に提供する。
【００３８】
＜内視鏡ＲＡＷ画像の圧縮処理＞
赤み判定部４２および画像要約処理部４４による画像解析処理は、圧縮処理部４６による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部４６は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部８０に記録する。たとえば圧縮処理部４６は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。
【００３９】
圧縮処理部４６は、圧縮した画像ファイルに、赤み判定部４２および画像要約処理部４４から提供された解析結果を示す情報を付加する。具体的に圧縮処理部４６は、赤み判定部４２から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部４６は、画像要約処理部４４による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。
【００４０】
実施例では、赤み判定部４２および画像要約処理部４４が、圧縮処理部４６による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部４２および画像要約処理部４４が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部８０には、画像処理部４０により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部８０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。
【００４１】
＜カプセル内視鏡の軌跡処理＞
関連情報取得部３４は、データ読出装置から送信される関連情報を取得し、関連情報記録部８２に記録する。軌跡処理部５６は、関連情報記録部８２に記録された受信強度情報から、カプセル内視鏡３の移動軌跡を特定する処理を実施する。
【００４２】
軌跡処理部５６は、画像データの関連情報のうち、複数の受信アンテナが画像データを受信した際の受信強度情報に基づいて、内視鏡画像を撮影したときのカプセル内視鏡３の位置を表す位置情報を取得する。この位置は、被検体内の３次元位置であって、カプセル内視鏡３が画像を撮影したときの位置を表す。なおカプセル内視鏡３の撮影位置の検出方法は、無線信号の受信強度にもとづく方法に限定されず、磁界を用いる方法や、その他の公知の方法を用いてよい。たとえば軌跡処理部５６は、内視鏡画像の前後に撮影された内視鏡画像との差分から、被検体内における移動量および移動方向を導出し、複数の受信アンテナにおける受信強度情報とあわせて、撮影時のカプセル内視鏡３の位置を表す位置情報を導出してよい。この位置情報は、３次元空間における位置座標であってよい。軌跡処理部５６は、取得した位置情報を、画像ＩＤに対応付けて、位置情報記録部８４に記録する。
【００４３】
軌跡処理部５６は、位置情報記録部８４に記録された位置情報にもとづいて、被検体内におけるカプセル内視鏡３の移動軌跡を表す軌跡画像データを生成する。軌跡処理部５６は、位置情報記録部８４に記録された位置情報を画像ＩＤ順に連結することで、３次元の軌跡画像データを生成してよい。なお連結する際には、連結線分同士が滑らかに接続するように軌跡画像データを生成してよい。軌跡処理部５６は、生成した軌跡画像データを、軌跡画像記録部８６に記録する。
【００４４】
以下、読影時に表示装置２２に表示される画面について説明する。
ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部８８に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、画面生成部５０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。
【００４５】
図３は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部５０は、図４に示すオーバービュー画面を生成して、表示装置２２に表示させる。
【００４６】
再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図３には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。
【００４７】
再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。
【００４８】
ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。再生速度調節部１０６は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。
【００４９】
表示処理部６２は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度（表示フレームレート）にしたがって、再生領域１００に内視鏡画像を再生表示する。再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、表示処理部６２は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、表示処理部６２は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、表示処理部６２が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。
【００５０】
ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、５枚のキャプチャ画像１２８ａ〜１２８ｅが選択されている様子が示される。
【００５１】
画面生成部５０は、一端を撮影開始時刻、他端を撮影終了時刻とするマーク表示領域１２０を再生領域１００の下方に表示する。実施例においてマーク表示領域１２０は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてマーク表示領域１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。
【００５２】
赤色画像表示ボタン１２６は、マーク表示領域１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、表示処理部６２は、赤み画像の撮影時刻に、赤色マークを表示する。マーク表示領域１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。
【００５３】
拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。
【００５４】
ユーザはマーク表示領域１２０に、部位の開始位置を示すためのマークを付加できる。ユーザは、再生領域１００で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されるとマーキングボタン（図示せず）を操作して、各部位の開始位置をマーク表示領域１２０上にマーキングする。区間設定部５４は、マーキング操作を受け付けて、各部位の区間を設定する。このマーキング処理を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。特に、医師Ｂとは異なるユーザが内視鏡画像を観察する際、マーキング処理を行われていることで部位の開始位置を容易に認識でき、円滑に画像観察を行えるようになる。マーキングは、胃、小腸、大腸の入口を撮影した画像に対して行われることが一般的である。マーキングボタンの操作時に再生領域１００に表示されていた内視鏡画像には、マーキング情報が付加される。
【００５５】
表示処理部６２は、マーク表示領域１２０を上段と下段に分割し、下段に部位マークを付加する。ここで胃開始マーク１３４ａが胃開始位置を、小腸開始マーク１３４ｂが小腸開始位置を、大腸開始マーク１３４ｃが大腸開始位置を示している。表示処理部６２は、胃開始マーク１３４ａと小腸開始マーク１３４ｂの間の胃区間、小腸開始マーク１３４ｂと大腸開始マーク１３４ｃの間の小腸区間、大腸開始マーク１３４ｃ以降の大腸区間のそれぞれを、異なる色をつけて表示してよい。これによりユーザは、一目で各部位区間を確認できる。マーキングした内視鏡画像は、キャプチャ画像などとともに、観察内容記録部９０に記録される。
【００５６】
表示処理部６２は、軌跡表示領域１５０に軌跡画像を表示する。軌跡表示領域１５０はウィンドウとして表示され、表示処理部６２は、軌跡表示領域１５０をユーザ操作により拡大し、また任意の位置に移動できる。表示処理部６２は、軌跡画像記録部８６に記録された軌跡画像データを用いて、３次元で構成された軌跡画像を軌跡表示領域１５０に表示する。ユーザは軌跡表示領域１５０におけるマウス操作により、軌跡画像を回転させたりすることができる。
【００５７】
画面左上隅にあるオーバービューモード選択ボタン１０２ｂが選択されると、画面生成部５０は、オーバービュー画面を生成して、表示装置２２に表示させる。オーバービュー画面では、画像要約処理により特定された複数の基準画像から抽出された画像が表示される。
【００５８】
図４は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域１３２には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約６万枚の内視鏡画像から約２万枚の基準画像が特定されているとき、表示処理部６２は、約２万枚の基準画像の中から所定の間隔で抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、２千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をＮ枚、オーバービュー画面に含める画像枚数をＭ枚とすると、表示処理部６２は、時系列に並べた基準画像を（Ｎ／Ｍ）枚ごとに１枚の画像を抽出する。たとえばＮ＝２万枚、Ｍ＝２千枚であるとき、表示処理部６２は、撮影時刻順に基準画像を１０枚ごとに１枚を抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域１３２において格子状に配列され、ユーザはページ送りボタン１４０ａ、１４０ｂを操作して、画像を切り替えることができる。
【００５９】
オーバービュー画面に表示される内視鏡画像は基準画像であり、互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。またオーバービュー画面は検査全体を俯瞰的に示すため、各部位の開始位置の特定、つまりマーキング処理を行う際に使い勝手がよい。オーバービュー画面では、ユーザが一つの画像を選択して所定の操作を行うと、その画像に時間的に前後する複数枚の静止画像が表示される機能が設定されている。そのためユーザは、各部位の入口近傍の画像を選択して、その前後画像を表示させることで、各部位の開始位置を示す画像を特定して、効率よくマーキング処理を行うことができる。ユーザは、まず図４に示すオーバービュー画面でマーキング処理を行ってから、図３に示す読影画面で画像観察を行ってもよい。
【００６０】
図３に示す読影画面に戻る。実施例の読影画面では、表示処理部６２が、内視鏡画像の読影をサポートするために、過去のカプセル内視鏡検査において発見された所見に関する情報を提示する。カプセル内視鏡検査は小腸疾患を発見することを一つの目的としているため、以下の実施例では、小腸の所見情報を対象として説明するが、小腸に限定する趣旨ではない。
【００６１】
観察内容記録部９０は、医師により入力された過去の観察内容を記録し、少なくとも検査における所見情報と、所見情報に対応付けられた所見画像とを記録している。医師は読影レポートの作成時に、内視鏡画像を観察して見つけた病変に関し、所見情報とともに、その病変が撮影された内視鏡画像を対応付けて観察内容記録部９０に登録する。ここでは、所見情報に対応付けられた内視鏡画像を「所見画像」と呼んでいる。実施例の観察内容記録部９０は、各検査に関して、カプセル内視鏡３による撮影開始時刻、撮影終了時刻などの検査内容を示す情報や、部位マーキングした内視鏡画像、キャプチャ画像など、読影画面において登録された情報も記録している。
【００６２】
ユーザが小腸区間の読影を行うに際し、実施例の表示処理部６２は、過去の検査において小腸区間で発見された所見情報の、小腸区間における分布状態を読影画面に表示する。これにより小腸区間で、病変が生じやすい位置が統計的に表現されるようになる。たとえば表示された分布状態によって、小腸区間の入口付近と出口付近に病変が見つかりやすいという傾向が明らかになれば、ユーザは、少なくとも小腸区間の入口付近と出口付近の内視鏡画像を、より慎重に観察するようになる。以下、具体例を示す。
【００６３】
進行率取得部５８は、過去の観察内容を記録した観察内容記録部９０を参照して、過去の検査において、所見画像が撮影された小腸区間における位置を示す進行率を取得する。ここで小腸区間は、過去の検査で指定された小腸開始位置と大腸開始位置の間の区間として定められ、進行率取得部５８は、小腸開始位置と大腸開始位置のそれぞれの画像に付加された撮影時刻情報と、所見画像に付加された撮影時刻情報とを用いて、所見画像が撮影された小腸区間における位置を示す進行率を算出する。
【００６４】
ある過去のカプセル内視鏡検査において、小腸開始位置の内視鏡画像の撮影時刻が“１：００”、大腸開始位置の内視鏡画像の撮影時刻が“６：００”であったとする。この場合、小腸区間の撮影時間は５時間である。小腸区間において、２つの所見のそれぞれに所見画像が対応付けられており、１つの所見画像の撮影時刻が“２：００”、別の所見画像の撮影時刻が“３：３０”であったとする。進行率取得部５８は、小腸開始位置の撮影時刻からの進行率を、以下の式で算出する。
（進行率）＝100×（Ｔ−Ａ）／（Ｂ−Ａ）
Ｔ：所見画像撮影時刻
Ａ：小腸開始画像撮影時刻
Ｂ：大腸開始画像撮影時刻（小腸終了画像撮影時刻）
この式で、（Ｂ−Ａ）は、小腸を撮影した総時間であり、（Ｔ−Ａ）は、小腸の撮影開始から所見画像の撮影までの経過時間である。したがって進行率は、小腸撮影総時間に占める、小腸撮影開始から所見画像撮影までの経過時間の割合で表現される。
【００６５】
このように進行率取得部５８は、過去の小腸所見画像が撮影された小腸区間における進行率を算出する。なお既に各小腸所見画像の小腸区間における進行率が観察内容記録部９０に記録されている場合には、進行率取得部５８は、観察内容記録部９０から、小腸所見画像の進行率を取得する。分布導出部６０は、進行率取得部５８が取得した進行率をもとに、過去の所見情報の分布状態を導出する。
【００６６】
表示処理部６２は、過去の所見情報の分布状態を読影画面に表示する。図３に示す読影画面において、マーク表示領域１２０の上方に分布状態表示領域１６０が設けられ、表示処理部６２は、過去の所見情報の分布状態を、進行率と度数の関係を示す分布曲線１６２として表示する。ここで表示処理部６２は、マーク表示領域１２０のタイムバーにおける小腸区間にあわせて、過去の所見情報の分布曲線１６２を表示する。したがって分布状態表示領域１６０における横軸は、小腸区間における進行率を表現し、小腸開始マーク１３４ｂに対応する位置は進行率が“０”、大腸開始マーク１３４ｃに対応する位置は進行率が“１００”を示す。
【００６７】
分布状態表示領域１６０における縦軸は、各進行率における度数を表現し、高さ方向に高いほど、過去の所見情報が多いことを示す。したがって図３に示す分布曲線１６２によれば、過去のカプセル内視鏡検査の実績では、小腸区間の開始直後と、小腸区間の終了直前に病変が発見されやすいことが示され、その間の区間では、それほど病変が発見されていないことが示される。
【００６８】
ユーザは分布曲線１６２を見ることで過去の実績傾向を理解し、スライダ１２２の位置で現在の再生表示位置を確認することで、小腸区間において、病変が見つかりやすい領域か、またはそうでないかを認識できる。
【００６９】
ユーザは、分布曲線１６２における任意の点をマウスポインタで指定できる。この指定は、小腸区間における進行率の指定に相当し、表示処理部６２は、小腸区間における進行率が指定されると、当該進行率に対応する所見画像を読影画面に表示する。
【００７０】
図５は、読影画面に表示された所見画像１６８を示す。この例では、マウスポインタ１６４により進行率“７０”が指定されて、当該進行率に対応する複数の所見画像１６８が表示されている。なお進行率に対応する所見画像１６８とは、当該進行率で発見された所見に対応付けられた内視鏡画像である。
【００７１】
ここで表示処理部６２は、所見の種類ごとに所見画像１６８を表示してよい。たとえば小腸所見の種類には、「潰瘍」、「びらん」、「発赤」、「出血」、「粘膜下腫瘍様の隆起性病変」、「ポリープ」、「憩室」など様々あるが、指定された進行率において、過去に１０種類の所見が見つけられている場合、表示処理部６２は、各所見の所見画像１６８を表示する。この所見画像１６８は、直近の検査で取得された画像であってもよいし、各所見を代表する所見画像として登録されたものであってもよい。なお表示処理部６２は、各所見画像１６８に、それぞれの所見の種類をテキストで付加して表示することが好ましい。これによりユーザは、指定した進行率において、どのような種類の所見が過去見つけられたか、またどのような画像として撮影されたかを確認できる。
【００７２】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえば分布状態表示領域１６０は、所定のボタン（図示せず）を操作することで、読影画面に表示されるようにしてよい。
【００７３】
実施例では小腸区間における過去の所見情報の分布状態を表示することについて説明したが、小腸区間に限らず、別の区間や、また消化管全体を対象としてもよい。
【００７４】
分布導出部６０は、所見の種類ごとに、過去の所見情報の分布状態を導出してもよい。たとえばユーザが「潰瘍」、「びらん」、「発赤」、「出血」、「粘膜下腫瘍様の隆起性病変」、「ポリープ」、「憩室」のいずれかを選択すると、分布導出部６０は、選択された所見種類に関する分布状態を導出する。これにより、たとえばユーザが特定の所見の有無を観察している場合に、観察対象となる所見を選択することで、小腸区間のどの辺りで当該所見が出やすいかを一目で確認できるようになる。
【符号の説明】
【００７５】
１・・・内視鏡画像観察支援システム、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３０・・・取得部、３２・・・ＲＡＷ画像取得部、３４・・・関連情報取得部、４０・・・画像処理部、４２・・・赤み判定部、４４・・・画像要約処理部、４６・・・圧縮処理部、５０・・・画面生成部、５２・・・操作受付部、５４・・・区間設定部、５６・・・軌跡処理部、５８・・・進行率取得部、６０・・・分布導出部、６２・・・表示処理部、８０・・・内視鏡画像記録部、８２・・・関連情報記録部、８４・・・位置情報記録部、８６・・・軌跡画像記録部、８８・・・検査情報記録部、９０・・・観察内容記録部。
【図１】
2019088553.tif 000003
【図２】
2019088553.tif 000004
【図３】
2019088553.tif 000005
【図４】
2019088553.tif 000006
【図５】
2019088553.tif 000007