(57)【要約】【課題】読影者による画像観察を効率的に実施させるための技術を提供する。【解決手段】再生制御部４４は、内視鏡画像の再生表示を制御する。操作受付部４２は、マウス操作を受け付ける。対応保持部６６は、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持する。操作受付部４２が、所定の動きとなるマウス操作を受け付けると、表示処理部４０が、対応保持部６６において所定の動きに対応付けられたユーザインタフェースを表示する。操作受付部４２が、表示されたユーザインタフェースに対するマウス操作を受け付けると、再生制御部４４は、表示されたユーザインタフェースに応じた再生表示を実行する。【選択図】図２
2019041880.tif 000002
【特許請求の範囲】
【請求項１】
カプセル内視鏡により撮影された複数の内視鏡画像の観察を支援する観察支援システムであって、
内視鏡画像の再生表示を制御する再生制御部と、
マウス操作を受け付ける操作受付部と、
マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持する対応保持部と、
ユーザインタフェースを表示する表示処理部と、を備え、
前記操作受付部が、所定の動きとなるマウス操作を受け付けると、前記表示処理部が、前記対応保持部において所定の動きに対応付けられたユーザインタフェースを表示する、
ことを特徴とする内視鏡画像観察支援システム。
【請求項２】
前記操作受付部が、表示されたユーザインタフェースに対するマウス操作を受け付けると、前記再生制御部は、表示されたユーザインタフェースに応じた再生表示を実行する、
ことを特徴とする請求項１に記載の内視鏡画像観察支援システム。
【請求項３】
前記対応保持部は、移動量が所定量以下であって、且つ移動中に速度が所定速度を超えた横方向のマウスの動きに対して、再生ボタン、逆再生ボタンまたは一時停止ボタンを対応付けて保持する、
ことを特徴とする請求項１または２に記載の内視鏡画像観察支援システム。
【請求項４】
前記対応保持部は、円となるマウスの動きに対して、再生ボタンおよび逆再生ボタンを含む複数の操作ボタンを対応付けて保持する、
ことを特徴とする請求項１から３のいずれかに記載の内視鏡画像観察支援システム。
【請求項５】
前記対応保持部は、マウスのボタン操作自体と、再生表示の制御態様を対応付けて保持する、
ことを特徴とする請求項１から４のいずれかに記載の内視鏡画像観察支援システム。
【請求項６】
前記操作受付部が、内視鏡画像の順方向再生表示中に、所定のマウス操作を受け付けると、前記再生制御部は、内視鏡画像の逆方向再生表示を行う、
ことを特徴とする請求項５に記載の内視鏡画像観察支援システム。
【請求項７】
前記再生制御部は、逆方向再生表示の再生速度を、順方向再生表示の再生速度よりも下げる、
ことを特徴とする請求項６に記載の内視鏡画像観察支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。
【背景技術】
【０００２】
特許文献１は、カプセル内視鏡により撮影された画像の表示操作を、入力部のボタン操作によって行うボタン操作モードを開示する。ボタン操作モードでは、マウスの右クリック操作が再生状態へのモード移行を、マウスの右ダブルクリック操作が早再生状態へのモード移行を、マウスの左クリック操作が逆再生状態へのモード移行を、マウスの左ダブルクリック操作が逆早再生状態へのモード移行が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８８６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された複数の内視鏡画像の観察を支援する観察支援システムであって、内視鏡画像の再生表示を制御する再生制御部と、マウス操作を受け付ける操作受付部と、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持する対応保持部と、ユーザインタフェースを表示する表示処理部と、を備える。操作受付部が、所定の動きとなるマウス操作を受け付けると、表示処理部が、対応保持部において所定の動きに対応付けられたユーザインタフェースを表示する。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、読影者による画像観察を効率的に実施させるための支援技術を提供できる。
【図面の簡単な説明】
【０００９】
【図１】カプセル内視鏡の画像観察支援システムの概要を説明するための図である。
【図２】管理サーバおよび記録装置の構成を示す図である。
【図３】内視鏡画像の読影画面の例を示す図である。
【図４】再生領域の右横の空き領域に配置されたマウスポインタを示す図である。
【図５】マウスポインタの移動の例を説明するための図である。
【図６】マウスポインタに関連づけて表示された再生ボタンの例を示す図である。
【図７】マウスポインタの移動の別の例を説明するための図である。
【図８】表示するユーザインタフェースの別の例を示す図である。
【発明を実施するための形態】
【００１０】
図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。
【００１１】
カプセル内視鏡検査において、患者は腹部に複数のアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像ＩＤおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置４に送信する。なおカプセル内視鏡３は、撮影フレームレートの可変機能を有し、たとえば移動速度が大きくなると撮影フレームレートを高くして、撮影を行ってもよい。
【００１２】
受信装置４には、記録媒体５が内蔵されており、受信装置４は受信した画像ファイルを記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像ファイルが記録媒体５に記録される。
【００１３】
画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤおよび撮影時刻情報を対応付けられて記録媒体５に記録される。
【００１４】
患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像ファイルを読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。
【００１５】
管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよく、記録装置１２は、端末装置２０に設けられてもよい。
【００１６】
複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。
【００１７】
管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。
【００１８】
カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。
【００１９】
また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。
【００２０】
画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。
【００２１】
管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。
【００２２】
実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。
【００２３】
（第２再生モード）
第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。
【００２４】
（第３再生モード）
第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。
【００２５】
（第４再生モード）
第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。
【００２６】
第１〜第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。
【００２７】
端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。
【００２８】
図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、表示処理部４０、操作受付部４２および再生制御部４４を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６および圧縮処理部３８を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。
【００２９】
記録装置１２は、内視鏡画像記録部６０、検査情報記録部６２、観察内容記録部６４および対応保持部６６を備える。内視鏡画像記録部６０は、画像処理部３２により画像処理を施された内視鏡画像を記録する。検査情報記録部６２は、内視鏡検査に関する情報を記録する。観察内容記録部６４は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。
【００３０】
管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３１】
ＲＡＷ画像取得部３０は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶させる。画像処理部３２は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。
【００３２】
＜赤み画像の特定＞
赤み判定部３４は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部３４は、特定した赤み画像の画像ＩＤを、圧縮処理部３８に提供する。
【００３３】
＜画像要約処理＞
画像要約処理部３６は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部３６は、最初に撮影された画像を基準画像として設定する。画像要約処理部３６は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部３６は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。
【００３４】
画像要約処理部３６は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部３６は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。
【００３５】
一方で、画像要約処理部３６は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部３６は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部３６は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。
【００３６】
基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部３６は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部３８に提供する。
【００３７】
＜内視鏡ＲＡＷ画像の圧縮処理＞
赤み判定部３４および画像要約処理部３６による画像解析処理は、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部３８は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部６０に記録する。たとえば圧縮処理部３８は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。
【００３８】
圧縮処理部３８は、圧縮した画像ファイルに、赤み判定部３４および画像要約処理部３６から提供された解析結果を示す情報を付加する。具体的に圧縮処理部３８は、赤み判定部３４から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部３８は、画像要約処理部３６による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。
【００３９】
実施例では、赤み判定部３４および画像要約処理部３６が、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部３４および画像要約処理部３６が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部６０には、画像処理部３２により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部６０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。
【００４０】
以下、読影時に表示装置２２に表示される画面について説明する。
ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部６２に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、表示処理部４０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。
【００４１】
図３は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、表示処理部４０は、複数の基準画像から抽出した画像を格子状に並べたオーバービュー画面を生成して、表示装置２２に表示させる。
【００４２】
再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図３には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。
【００４３】
再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。
【００４４】
ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。再生速度調節部１０６は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。
【００４５】
再生制御部４４は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度（表示フレームレート）にしたがって、再生領域１００に内視鏡画像の再生表示を制御する。ユーザのマウス操作により再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、再生制御部４４は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生制御部４４は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生制御部４４が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。
【００４６】
ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、５枚のキャプチャ画像１２８ａ〜１２８ｅが選択されている様子が示される。
【００４７】
表示処理部４０は、一端を撮影開始時刻、他端を撮影終了時刻とするマーク表示領域１２０を再生領域１００の下方に表示する。実施例においてマーク表示領域１２０は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてマーク表示領域１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。
【００４８】
赤色画像表示ボタン１２６は、マーク表示領域１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、表示処理部４０は、赤み画像の撮影時刻に、赤色マークを表示する。マーク表示領域１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。
【００４９】
拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。
【００５０】
ユーザはマウスを用いて、第２〜第４再生モードのいずれかを選択し、再生ボタン１０４ａを操作する。操作受付部４２が、再生ボタン１０４ａのユーザ操作を受け付けると、再生制御部４４が、設定された再生モードで内視鏡画像の再生表示を実行する。
【００５１】
ユーザは再生領域１００に表示される内視鏡画像を観察するが、その際、順再生、逆再生を切り替えて、病変を鮮明に撮影した画像を探し出す。ユーザは内視鏡画像を順再生、逆再生させるために、マウスポインタを再生ボタン１０４ａ、逆再生ボタン１０４ｂに配置して左クリックするが、再生領域１００に表示された画像を確認してからマウス操作を行うと、そこでタイムラグが発生してしまい、スムーズな読影ができない。一方で、ユーザがマウス操作に集中しすぎると、意識が内視鏡画像から離れることで、見落としの可能性が生じる。そこで実施例では、内視鏡画像の再生表示に関する新たな操作手段を提供する。
【００５２】
図２に戻って、対応保持部６６は、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持する。ここで対応保持部６６は、移動量が所定量以下であって、且つ移動中に速度が所定速度を超えた横方向のマウスの動きに対して、表示するユーザインタフェースとして再生ボタン、逆再生ボタンまたは一時停止ボタンを対応付けて保持している。
【００５３】
図４は、再生領域１００の右横の空き領域に配置されたマウスポインタ２００を示す。なおマウスポインタ２００の位置は、再生領域１００の右横である必要はなく、どこであってもよいが、実施例では図４に示すマウスポインタ２００の位置を、マウス移動を行う前の初期位置とする。
【００５４】
図５は、マウスポインタ２００の移動の例を説明するための図である。点線のマウスポインタは、移動前の初期位置にある状態を表現し、実線のマウスポインタは移動後の状態を表現している。これは、ユーザが右方向にマウスを動かした例である。
【００５５】
操作受付部４２は、マウス操作を受け付ける。具体的に操作受付部４２は、マウスから周期的に座標値を受け付け、マウスの移動方向、移動速度、移動量を検出する。操作受付部４２は、マウスの移動開始から移動終了までの間の移動方向、移動速度、移動量を検出して、検出値が、対応保持部６６に保持されているマウスの動きに該当するか判定する。
【００５６】
対応保持部６６は、以下の（ａ１）〜（ｃ１）の要件で定義されるマウスの動きを保持している。
（ａ１）移動方向が右方向であること
（ｂ１）移動開始から移動終了までの移動量が所定量以下であること
（ｃ１）移動中に速度が所定速度を超えたこと
要約すると、（ａ１）〜（ｃ１）の要件を満たすマウス操作は、マウスを右方向に僅かな距離だけ素早く動かして止める操作となる。
ここで対応保持部６６は、（ａ１）〜（ｃ１）で定義されるマウスの動きと、再生ボタンであるユーザインタフェースとを対応付けて保持している。
【００５７】
図５に示すマウスポインタ２００の移動が、（ａ１）〜（ｃ１）で定義されるマウスの動きにより実現された場合、つまり操作受付部４２が、対応保持部６６に保持されている動きとなるマウス操作を受け付けると、（ａ１）〜（ｃ１）で定義されるマウスの動きを受け付けた旨を表示処理部４０に通知する。表示処理部４０は、対応保持部６６において当該動きに対応付けられたユーザインタフェース、ここでは再生ボタンを、マウスポインタ２００の表示位置に関連づけて表示する。
【００５８】
図６は、マウスポインタ２００に関連づけて表示された再生ボタン２０２の例を示す。この例で表示処理部４０は、マウスポインタ２００の下方に再生ボタン２０２を表示している。表示処理部４０は、再生ボタン２０２の表示位置を固定し、所定時間（たとえば３秒）後には非表示としてよい。表示処理部４０がマウスポインタ２００の下方に一時的に再生ボタン２０２を表示することで、ユーザはマウスを左クリックするだけで、再生ボタン２０２を操作できるようになる。これによりユーザは、マウスポインタ２００を再生ボタン１０４ａまで動かすことなく、内視鏡画像の再生を指示できる。
【００５９】
なお表示処理部４０は、内視鏡画像が順方向再生表示されていない状態、つまり一時停止状態または逆方向再生表示状態にある場合に、再生ボタン２０２を表示してもよい。また対応保持部６６は、（ａ１）〜（ｃ１）で定義されるマウスの動きに対して、一時停止ボタンを対応付けて保持し、表示処理部４０は、一時停止ボタンを、マウスポインタ２００の表示位置に関連づけて表示してもよい。
【００６０】
操作受付部４２が、表示されたユーザインタフェースに対するマウス操作を受け付けると、再生制御部４４は、表示されたユーザインタフェースに応じた再生表示を実行する。この例では操作受付部４２が、表示された再生ボタン２０２に対する左クリック操作を受け付けると、再生制御部４４が、再生ボタン２０２に応じて内視鏡画像の再生表示を実行する。なお操作受付部４２が再生ボタン２０２に対する左クリック操作を受け付けると、表示処理部４０は、再生ボタン２０２を非表示とする。
【００６１】
図７は、マウスポインタ２００の移動の別の例を説明するための図である。点線のマウスポインタは、移動前の初期位置にある状態を表現し、実線のマウスポインタは移動後の状態を表現している。これは、ユーザが左方向にマウスを動かした例である。
【００６２】
操作受付部４２は、マウスから周期的に座標値を受け付け、マウスの移動方向、移動速度、移動量を検出する。操作受付部４２は、マウスの移動開始から移動終了までの間の移動方向、移動速度、移動量を検出して、検出値が、対応保持部６６に保持されているマウスの動きに該当するか判定する。
【００６３】
対応保持部６６は、以下の（ａ２）〜（ｃ２）の要件で定義されるマウスの動きを保持している。
（ａ２）移動方向が左方向であること
（ｂ２）移動開始から移動終了までの移動量が所定量以下であること
（ｃ２）移動中に速度が所定速度を超えたこと
要約すると、（ａ２）〜（ｃ２）の要件を満たすマウス操作は、マウスを左方向に僅かな距離だけ素早く動かして止める操作となる。
ここで対応保持部６６は、（ａ２）〜（ｃ２）で定義されるマウスの動きと、逆再生ボタンであるユーザインタフェースとを対応付けて保持している。
【００６４】
図７に示すマウスポインタ２００の移動が、（ａ２）〜（ｃ２）で定義されるマウスの動きにより実現された場合、つまり操作受付部４２が、対応保持部６６に保持されている動きとなるマウス操作を受け付けると、（ａ２）〜（ｃ２）で定義されるマウスの動きを受け付けた旨を表示処理部４０に通知する。表示処理部４０は、対応保持部６６において当該動きに対応付けられたユーザインタフェース、ここでは逆再生ボタン２０４を、マウスポインタ２００の表示位置に関連づけて表示する。表示処理部４０は、内視鏡画像が逆方向再生表示されていない状態、つまり一時停止状態または順方向再生表示状態にある場合に、逆再生ボタン２０４を表示してもよい。また対応保持部６６は、（ａ２）〜（ｃ２）で定義されるマウスの動きに対して、一時停止ボタンを対応付けて保持し、表示処理部４０は、一時停止ボタンを、マウスポインタ２００の表示位置に関連づけて表示してもよい。
【００６５】
操作受付部４２は、マウスの横方向操作を判定する場合に、水平軸（ｘ軸）に対して±３０度の範囲を、右方向操作として受け付けるようにしてよい。また操作受付部４２は、ユーザごとのマウス操作の傾向を蓄積して、ユーザごとにマウス操作の検出基準を設定してもよい。
【００６６】
対応保持部６６は、円となるマウスの動きと、再生ボタンおよび逆再生ボタンを含む複数の操作ボタンとを対応付けて保持してもよい。
図８は、表示するユーザインタフェースの別の例を示す図である。操作受付部４２が、円となる動きのマウス操作を受け付けると、表示処理部４０が、対応保持部６６において円となるマウスの動きに対応付けられたメニューＵＩ２０６を、マウスポインタ２００の位置に関連づけて表示する。ここでメニューＵＩ２０６は、再生ボタン、逆再生ボタン、再生速度調節ボタン、サイズ変更ボタンを含み、ユーザは、マウスを円を描くように動かすことで、マウスポインタ２００の近傍に、複数の操作ボタンを含むメニューＵＩ２０６を一時的に表示させることができる。
【００６７】
上記した例は、対応保持部６６が、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持している。別の例として、対応保持部６６は、マウスのボタン操作自体と、再生表示の制御態様を対応付けて保持してもよい。
【００６８】
たとえば対応保持部６６は、マウスの右ボタンの長押し操作に、再生速度を高めて表示する制御態様を対応付けて保持してよい。これによりユーザがマウスの右ボタンを長押しして、操作受付部４２が、右ボタンの長押し操作を受け付けると、再生制御部４４は、再生領域１００における内視鏡画像の再生速度を徐々に上げていくように再生表示を制御する。これにより再生表示に関する操作性を向上できる。
【００６９】
また、対応保持部６６は、マウスの左ボタンの長押し操作に、再生方向を逆転させる制御態様を対応付けて保持してよい。これによりユーザがマウスの左ボタンを長押しして、操作受付部４２が左ボタンの長押し操作を受け付けると、再生制御部４４が、内視鏡画像の再生方向を逆転させる。たとえば内視鏡画像の順方向再生表示中に、操作受付部４２が左ボタンの長押し操作を受け付けると、再生制御部４４は、内視鏡画像の逆方向再生表示を行ってよい。一方、内視鏡画像の逆方向再生表示中に、操作受付部４２が左ボタンの長押し操作を受け付けると、再生制御部４４は、内視鏡画像の順方向再生表示を行ってよい。このようにユーザは、マウス左ボタンの長押し操作を行うだけで、再生方向を逆転させられるため、効率的な画像観察が実現される。なお長押し操作を解除すると、再生制御部４４は、長押し操作前の再生状態に戻してよい。
【００７０】
なお再生制御部４４は、再生方向を逆転させるときに、再生速度を下げてもよい。再生方向を逆転させるときは、ユーザが再生済画像を確認したいことが多いと考えられるため、再生速度を自動的に下げることで、ユーザの効率的な画像観察に寄与する。なお再生制御部４４が再生方向を逆転させるとき、表示処理部４０は、再生方向を逆転していることを示すマークをマウスポインタ２００の近傍に表示することが好ましい。
【００７１】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例ではマウス操作に関して説明したが、表示装置２２がタッチ操作を入力可能なタッチパネルで構成されている場合には、ユーザが画面をタップすると、表示処理部４０が、再生速度メータを表示するようにしてもよい。再生速度メータが表示された状態で、操作受付部４２が、ユーザのタップ操作を受け付けると、再生制御部４４が、再生速度を上げるように再生表示を制御してよい。
【符号の説明】
【００７２】
１・・・内視鏡画像観察支援システム、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３０・・・ＲＡＷ画像取得部、３２・・・画像処理部、３４・・・赤み判定部、３６・・・画像要約処理部、３８・・・圧縮処理部、４０・・・表示処理部、４２・・・操作受付部、４４・・・再生制御部、６０・・・内視鏡画像記録部、６２・・・検査情報記録部、６４・・・観察内容記録部、６６・・・対応保持部。
【図１】
2019041880.tif 000003
【図２】
2019041880.tif 000004
【図３】
2019041880.tif 000005
【図４】
2019041880.tif 000006
【図５】
2019041880.tif 000007
【図６】
2019041880.tif 000008
【図７】
2019041880.tif 000009
【図８】
2019041880.tif 000010