(57)【要約】【課題】撮影漏れを的確に評価可能な画像表示装置及び画像表示方法並びにプログラムを提供する。【解決手段】プログラムに従って画像表示方法を実行するコンピュータ２２は、撮影対象臓器の内視鏡画像を記憶する記憶部５３と、複数の内視鏡画像の相互の接続関係を設定する接続関係設定部６０と、複数の内視鏡画像のうち撮影対象臓器に対応した解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出部６１と、ランドマーク画像を撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、ランドマーク画像を基点とし、相互の接続関係を利用して複数の内視鏡画像を仮想モデルの対応部分にそれぞれ割り当てるマッピング部６２と、複数の内視鏡画像が各部に割り当てられた仮想モデルに基づき、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成部６３と、マップ画像をモニタに表示させる表示制御部６４と、を備える。【選択図】図４
2018050890.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象臓器の内視鏡画像を含む撮影情報を記憶する記憶部と、
前記記憶部に記憶された複数の内視鏡画像の相互の接続関係を前記撮影情報に基づいて設定する接続関係設定部と、
前記記憶部に記憶された前記複数の内視鏡画像のうち前記撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出部と、
前記ランドマーク画像検出部によって検出された前記ランドマーク画像を、前記撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、前記ランドマーク画像を基点とし、前記接続関係設定部によって設定された相互の接続関係を利用して前記記憶部に記憶された前記複数の内視鏡画像を前記仮想モデルの対応部分にそれぞれ割り当てるマッピング部と、
前記マッピング部によって前記複数の内視鏡画像が各部に割り当てられた前記仮想モデルに基づき、前記撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成部と、
前記マップ画像生成部によって生成された前記マップ画像をモニタに表示させる表示制御部と、
を備える画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
前記撮影情報は、前記複数の内視鏡画像の撮影順序を含み、
前記接続関係設定部は、前記撮影順序に基づいて、前記複数の内視鏡画像の相互の接続関係を設定する画像表示装置。
【請求項３】
請求項１又は２記載の画像表示装置であって、
前記接続関係設定部は、前記複数の内視鏡画像それぞれの特徴パターンを抽出し、抽出した前記特徴パターンに基づいて、前記複数の内視鏡画像の相互の接続関係を設定する画像表示装置。
【請求項４】
請求項３記載の画像表示装置であって、
前記接続関係設定部は、共通の前記特徴パターンを含む画像群を変形させて該画像群の間で前記特徴パターンを一致させることにより、前記複数の内視鏡画像の相互の接続関係を設定する画像表示装置。
【請求項５】
請求項１から４のいずれか一項記載の画像表示装置であって、
前記撮影情報は、前記複数の内視鏡画像それぞれの撮影時における内視鏡の位置、姿勢、及び被写体距離の少なくとも一つの撮影条件を含み、
前記接続関係設定部は、前記撮影条件に基づいて、前記複数の内視鏡画像の相互の接続関係を設定する画像表示装置。
【請求項６】
請求項１から５のいずれか一項記載の画像表示装置であって、
前記表示制御部は、前記マップ画像生成部によって生成された前記マップ画像の前記未撮影領域の少なくとも一部が前記撮影対象臓器に対応した所定の必須撮影領域に重畳している場合に、重畳領域を通知する通知表示をモニタに表示させる画像表示装置。
【請求項７】
請求項６記載の画像表示装置であって、
前記表示制御部は、前記重畳領域の表示態様と前記重畳領域を除く前記未撮影領域の表示態様とを互いに異ならせる画像表示装置。
【請求項８】
請求項１から６のいずれか一項記載の画像表示装置であって、
前記複数の内視鏡画像は、間欠的に撮影される静止画像、又は動画像から間欠的に抽出される静止画像であって、
前記記憶部は、前記静止画像を逐次記憶し、
前記マップ画像生成部は、所定枚数の新たな前記静止画像が前記記憶部に記憶される毎に前記マップ画像を生成し、
前記表示制御部は、前記マップ画像生成部によって前記マップ画像が生成される都度、前記マップ画像によってモニタの表示を変更する画像表示装置。
【請求項９】
請求項８記載の画像表示装置であって、
前記所定枚数は一枚である画像表示装置。
【請求項１０】
コンピュータが実行する、
撮影対象臓器の内視鏡画像を含む撮影情報を記憶部に記憶する記憶ステップと、
前記記憶部に記憶された複数の内視鏡画像の相互の接続関係を前記撮影情報に基づいて設定する接続関係設定ステップと、
前記記憶部に記憶された前記複数の内視鏡画像のうち前記撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出ステップと、
検出した前記ランドマーク画像を、前記撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、前記ランドマーク画像を基点とし、前記接続関係設定ステップによって設定された相互の接続関係を利用して前記記憶部に記憶された前記複数の内視鏡画像を前記仮想モデルの対応部分にそれぞれ割り当てるマッピングステップと、
前記複数の内視鏡画像が各部に割り当てられた前記仮想モデルに基づき、前記撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成ステップと、
生成した前記マップ画像をモニタに表示させる表示ステップと、
を備える画像表示方法。
【請求項１１】
請求項１０記載の画像表示方法であって、
前記複数の内視鏡画像は、間欠的に撮影される静止画像、又は動画像から間欠的に抽出される静止画像であって、
前記記憶ステップは、前記静止画像を前記記憶部に逐次記憶し、
前記マップ画像生成ステップは、所定枚数の新たな前記静止画像が前記記憶部に記憶される毎に前記マップ画像を生成し、
前記表示ステップは、前記マップ画像生成ステップによって前記マップ画像が生成される都度、前記マップ画像によってモニタの表示を変更する画像表示方法。
【請求項１２】
請求項１０又は請求項１１に記載の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡画像を用いた画像表示装置及び画像表示方法並びにプログラムに関する。
【背景技術】
【０００２】
特許文献１に記載されたカプセル内視鏡システムでは、カプセル内視鏡によって撮影された複数の内視鏡画像が、画像に表れる臓器の血管パターン及び表層組織パターン、並びに内視鏡画像それぞれの撮影位置に基づいて接続される。そして、複数の内視鏡画像が接続されることによって生成されたモザイク画像は、臓器との対応関係の理解を容易とするために、臓器の解剖学的な輪郭図と重ね合わされた状態でモニタに表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２３６７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、モザイク画像と臓器の輪郭図とを重ね合わせる方法については記載されていない。例えば、モザイク画像を構成する内視鏡画像の撮影位置及びモザイク画像の輪郭形状に基づいて、モザイク画像と臓器の輪郭図とを大まかに位置合わせすることはできるが、この場合、臓器の輪郭図上におけるモザイク画像の各部の位置はあくまでも便宜的なものである。このため、例えば検査種別に応じて必須の撮影部位が臓器に設定される場合に、必須の撮影部位に対応する臓器の輪郭図上の領域がモザイク画像によって埋められていても、必須の撮影部位が実際に撮影されているかわからず、撮影漏れを的確に評価することができない。
【０００５】
本発明は、上述した事情に鑑みなされたものであり、撮影漏れを的確に評価可能な画像表示装置及び画像表示方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様の画像表示装置は、撮影対象臓器の内視鏡画像を含む撮影情報を記憶する記憶部と、上記記憶部に記憶された複数の内視鏡画像の相互の接続関係を上記撮影情報に基づいて設定する接続関係設定部と、上記記憶部に記憶された上記複数の内視鏡画像のうち上記撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出部と、上記ランドマーク画像検出部によって検出された上記ランドマーク画像を、上記撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、上記ランドマーク画像を基点とし、上記接続関係設定部によって設定された相互の接続関係を利用して上記記憶部に記憶された上記複数の内視鏡画像を上記仮想モデルの対応部分にそれぞれ割り当てるマッピング部と、上記マッピング部によって上記複数の内視鏡画像が各部に割り当てられた上記仮想モデルに基づき、上記撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成部と、上記マップ画像生成部によって生成された上記マップ画像をモニタに表示させる表示制御部と、を備える。
【０００７】
また、本発明の一態様の画像表示方法は、コンピュータが実行する、撮影対象臓器の内視鏡画像を含む撮影情報を記憶部に記憶する記憶ステップと、上記記憶部に記憶された複数の内視鏡画像の相互の接続関係を上記撮影情報に基づいて設定する接続関係設定ステップと、上記記憶部に記憶された上記複数の内視鏡画像のうち上記撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出ステップと、検出した上記ランドマーク画像を、上記撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、上記ランドマーク画像を基点とし、上記接続関係設定ステップによって設定された相互の接続関係を利用して上記記憶部に記憶された上記複数の内視鏡画像を上記仮想モデルの対応部分にそれぞれ割り当てるマッピングステップと、上記複数の内視鏡画像が各部に割り当てられた上記仮想モデルに基づき、上記撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成ステップと、生成した上記マップ画像をモニタに表示させる表示ステップと、を備える。
【０００８】
また、本発明の一態様のプログラムは、上記各ステップをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、撮影漏れを的確に評価可能な画像表示装置及び画像表示方法並びにプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態を説明するための、医用システムの一例のブロック図である。
【図２】図１の医用システムの内視鏡部門システムの一例のブロック図である。
【図３】図２の内視鏡部門システムに含まれる内視鏡装置のブロック図である。
【図４】図２の内視鏡部門システムに含まれる画像表示装置としてのコンピュータの一例のブロック図である。
【図５】図４のコンピュータが実行する処理の一例のフローチャートである。
【図６】図５の処理を説明するための模式図である。
【図７】図５の処理を説明するための模式図である。
【図８】図５の処理を説明するための模式図である。
【図９】図４のコンピュータによって生成されるマップ画像及びその表示例の模式図である。
【図１０】図４のコンピュータが実行する処理の他の例のメインルーチンのフローチャートである。
【図１１】図１０の処理のサブルーチンのフローチャートである。
【図１２】図９のマップ画像の他の表示例の模式図である。
【図１３】図２の内視鏡部門システムに含まれる画像表示装置としてのコンピュータの他の例のブロック図である。
【図１４】図１３のコンピュータが実行する処理の一例のフローチャートである。
【図１５】図１３のコンピュータが実行する処理の他の例のフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態を説明するための、医療システムの一構成例を示す。
【００１２】
図１に示す医用システムは、病院情報システム（ＨＩＳ：Hospital Information System）１と、内視鏡部門システム２と、放射線部門システム等の他診療部門システム３と、医用画像保管システム（ＰＡＣＳ：Picture Archiving and Communication System）４を備える。ＨＩＳ１、内視鏡部門システム２、他診療部門システム３、及びＰＡＣＳ４は、院内ＬＡＮ（Local Area Network）５を介して相互に連携可能である。
【００１３】
ＨＩＳ１は、患者の診療情報を記録した電子カルテを保管する電子カルテシステム、及び内視鏡検査依頼等の種々のオーダ情報を管理するオーダリングシステムを含む包括的なシステムである。例えば他診療部門から内視鏡部門に対して検査依頼が行われる場合の内視鏡検査依頼に関するオーダ情報が発行されると、発行されたオーダ情報はＨＩＳ１を介して内視鏡部門システム２に送信される。オーダ情報には、例えば患者氏名、患者ＩＤ、等の患者情報、及び胃内視鏡検査、食道内視鏡検査、十二指腸内視鏡検査、等の検査種別が含まれる。
【００１４】
ＰＡＣＳ４は、内視鏡装置等によって撮影される医用画像を電子的に保存、検索、及び解析するシステムである。
【００１５】
図２は、内視鏡部門システム２の一例を示す。
【００１６】
内視鏡部門には、複数の内視鏡検査室Ｒｏｏｍ１と、カンファレンス室Ｒｏｏｍ２とが設けられており、内視鏡検査室Ｒｏｏｍ１それぞれには内視鏡装置２１及びコンピュータ２２が設置されており、カンファレンス室Ｒｏｏｍ２にはコンピュータ２３が設置されている。
【００１７】
図２に示す内視鏡部門システム２は、サーバーコンピュータ２０と、内視鏡検査室Ｒｏｏｍ１それぞれに設置された内視鏡装置２１及びコンピュータ２２と、カンファレンス室Ｒｏｏｍ２に設置されたコンピュータ２３とを備える。サーバーコンピュータ２０、内視鏡装置２１、コンピュータ２２、及びコンピュータ２３は、部門内ＬＡＮ２４にそれぞれ接続されており、部門内ＬＡＮ２４は院内ＬＡＮ５に接続されている。
【００１８】
サーバーコンピュータ２０には、データベースＤＢが内蔵されており、このデータベースＤＢにはオーダ情報を含む種々の情報が保存される。サーバーコンピュータ２０は、データベースＤＢに保存されたオーダ情報に基づいて内視鏡検査室Ｒｏｏｍ１それぞれに対する内視鏡検査の割り振りを決定し、決定した割り振りに基づいて内視鏡検査室Ｒｏｏｍ１それぞれの内視鏡装置２１にオーダ情報を送信する。
【００１９】
内視鏡検査室Ｒｏｏｍ１では、サーバーコンピュータ２０から内視鏡装置２１に送信されたオーダ情報に対応した内視鏡検査が実施され、検査の対象となる臓器の画像が内視鏡装置２１によって撮影される。内視鏡装置２１によって撮影された画像は、オーダ情報と関連付けられてサーバーコンピュータ２０に送信され、サーバーコンピュータ２０に保存される。さらに、サーバーコンピュータ２０に保存された画像は、適宜なタイミングでＰＡＣＳ４に送信され、ＰＡＣＳ４に保存される。また、内視鏡装置２１によって撮影された画像は、この内視鏡装置２１と同じ内視鏡検査室Ｒｏｏｍ１に設置されているコンピュータ２２にも送信される。
【００２０】
サーバーコンピュータ２０又はＰＡＣＳ４に保存された画像は、例えば関連付けられたオーダ情報に含まれる患者氏名、患者ＩＤ、等の患者情報を検索キーとし、カンファレンス室Ｒｏｏｍ２に設置されたコンピュータ２３から検索及び利用可能である。
【００２１】
内視鏡検査室Ｒｏｏｍ１に設置されているコンピュータ２２、及びカンファレンス室Ｒｏｏｍ２に設置されているコンピュータ２３は、これらのコンピュータにインストールされているプログラムに従って動作することにより、内視鏡装置２１によって撮影された画像から撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成し、且つ生成したマップ画像を表示する画像表示装置として機能する。
【００２２】
図３は、内視鏡装置２１の一構成例を示す。
【００２３】
図３に示すように、内視鏡装置２１は、内視鏡本体３０と、光源ユニット３１と、プロセッサユニット３２と、モニタ３３とを備える。
【００２４】
内視鏡本体３０は、撮像素子を含む撮像部４０を有する。撮像部４０は、患者の体内に挿入される挿入部の先端部に設けられており、患者の検査対象臓器を撮像する。
【００２５】
さらに本例では、内視鏡本体３０は、撮像部４０が設けられている挿入部の先端部の位置、姿勢、及び被写体距離の少なくとも一つの撮影条件を検出する検出部４１を有する。
【００２６】
挿入部の先端部の位置は、例えば加速度センサを用い、加速度を二回積分することによって得られる移動距離として検出することができる。また、挿入部の先端部の姿勢は、例えば角速度センサを用い、角速度を一回積分することによって得られる回転角として検出することができる。また、被写体距離は、例えば赤外線距離センサ等の距離センサを用いて検出することができる。検出部４１は、検出する撮影条件に対応した上記のセンサを含み、挿入部の先端部に設けられている。
【００２７】
光源ユニット３１は、内視鏡本体３０の撮像部４０によって撮像される検査対象臓器を照明するための照明光を生成する。光源ユニット３１によって生成された照明光は、ライトガイドを通して、内視鏡本体３０の挿入部の先端部に導かれ、先端部から被写体に向けて照射される。
【００２８】
プロセッサユニット３２は、各種の操作入力を受け付けるための操作部４２と、信号入出力部４３と、画像処理部４４と、記憶部４５と、送受信部４６と、これら操作部４２、信号入出力部４３、画像処理部４４、記憶部４５、及び送受信部４６を制御する制御部４７とを備える。
【００２９】
信号入出力部４３には、内視鏡本体３０の撮像部４０から出力される撮像信号、及び内視鏡本体３０の検出部４１から出力される検出信号が入力される。信号入出力部４３に入力された撮像信号は画像処理部４４に送られ、画像処理部４４は、撮像信号に対して種々の信号処理を施し、撮像信号を画像データに変換する。画像処理部４４によって変換された画像データは、信号入出力部４３からモニタ３３に向けて出力され、リアルタイム観察画像としてモニタ３３に表示される。
【００３０】
さらに、画像処理部４４によって変換された画像データは、静止画像又は動画像として記憶部４５に記憶される。静止画像として記憶されるか、又は動画像として記憶されるかは、操作者の操作部４２に対する操作入力に基づいて選択される。
【００３１】
画像データが静止画像として記憶される場合に、操作者の撮影指示が内視鏡本体３０に入力されたタイミングで撮影される静止画像に加えて、制御部４７によって所定の時間間隔で自動的に撮影される複数の静止画像も併せて記憶部４５に記憶される。間欠的に撮影される上記の静止画像を、以下ではインターバル画像というものとする。なお、インターバル画像の撮影間隔は、操作者の操作部４２に対する操作入力に基づいて適宜設定可能である。
【００３２】
インターバル画像は、撮影順序と関連付けられた状態で記憶部４５に記憶される。撮影順序は、例えば撮影時刻によって表される。さらに本例では、内視鏡本体３０の検出部４１によって検出される挿入部の先端部の位置、姿勢、及び被写体距離の少なくとも一つの撮影条件が検出信号として信号入出力部４３に入力されており、インターバル画像は、撮影時の撮影条件と関連付けられた状態で記憶部４５に記憶される。
【００３３】
記憶部４５に記憶された複数のインターバル画像と、これらのインターバル画像それぞれに関連付けられた撮影順序及び撮影条件とは、撮影情報として、例えば検査が終了したタイミングで送受信部４６からサーバーコンピュータ２０に送信される。また、インターバル画像が撮影される都度、インターバル画像と、このインターバル画像に関連付けられる撮影順序及び撮影条件とは、撮影情報として、送受信部４６から内視鏡装置２１と同室に設置されているコンピュータ２２に逐次送信される。
【００３４】
また、画像データが動画像として記憶される場合に、動画像は、この動画像を構成するフレーム画像（静止画像）それぞれに撮影順序が関連付けられた状態で記憶部４５に記憶される。撮影順序は、例えば動画像におけるフレーム画像それぞれの位置を示すタイムコードによって表される。さらに本例では、動画像は、フレーム画像それぞれに撮影時の撮影条件が関連付けられた状態で記憶部４５に記憶される。
【００３５】
記憶部４５に記憶された動画像と、この動画像を構成するフレーム画像それぞれに関連付けられた撮影順序及び撮影条件とは、撮影情報として、例えば検査が終了したタイミングで送受信部４６からサーバーコンピュータ２０に送信される。また、動画像にフレーム画像が追加される都度、フレーム画像と、このフレーム画像に関連付けられる撮影順序及び撮影条件とは、撮影情報として、送受信部４６から内視鏡装置２１と同室に設置されているコンピュータ２２に逐次送信される。
【００３６】
図４は、コンピュータ２２の一構成例を示す。
【００３７】
図４に示すように、コンピュータ２２は、画像等を表示するためのモニタ５０と、各種の操作入力を受け付けるための操作部５１と、内視鏡装置２１から逐次送信される撮影情報を受信する送受信部５２と、記憶部５３と、これらモニタ５０、操作部５１、送受信部５２、及び記憶部５３を制御する制御部５４とを備える。
【００３８】
記憶部５３は、ハードディスク等の記憶媒体を含んで構成されており、制御部５４によって実行されるプログラムが記憶されている。制御部５４は、プログラムを実行する一つ以上のプロセッサと、プログラムを実行するときのワークエリアを構成するメモリとを含んで構成されており、プログラムを実行した制御部５４によって以下の機能が提供される。
【００３９】
まず、制御部５４は、送受信部５２にて受信された撮影情報を記憶部５３に記憶させる。
【００４０】
ここで、内視鏡装置２１において画像データが静止画像として記録される場合には、インターバル画像と、このインターバル画像に関連付けられる撮影順序及び撮影条件とが、撮影情報としてコンピュータ２２に逐次送信される。この場合に、送受信部５２にて受信されたインターバル画像は、マップ画像生成用の内視鏡画像として、撮影順序及び撮影条件と関連付けられた状態で記憶部５３に記憶される。
【００４１】
一方、内視鏡装置２１において画像データが動画像として記録される場合には、フレーム画像と、このフレーム画像に関連付けられる撮影順序及び撮影条件とが、撮影情報としてコンピュータ２２に逐次送信される。この場合に、送受信部５２にて受信されるフレーム画像のうち所定の時間間隔で規定されるタイミングで受信されたフレーム画像が一静止画像として抽出される。そして、抽出されたフレーム画像は、マップ画像生成用の内視鏡画像として、撮影順序及び撮影条件と関連付けられた状態で記憶部５３に記憶される。なお、フレーム画像が抽出される時間間隔は、操作者の操作部５１に対する操作入力に基づいて適宜設定可能である。
【００４２】
さらに、制御部５４は、接続関係設定部６０、ランドマーク画像検出部６１、マッピング部６２、マップ画像生成部６３、及び表示制御部６４として機能する。
【００４３】
接続関係設定部６０は、記憶部５３に記憶された複数の内視鏡画像の相互の接続関係を設定する。内視鏡画像の接続関係は、例えば内視鏡画像に関連付けられている撮影順序を利用して設定することができる。内視鏡画像とされるインターバル画像及びフレーム画像は、所定の時間間隔で撮影され又は動画像から所定の時間間隔で抽出されたものであるから、撮影順序において前後の関係にある内視鏡画像の撮影範囲は少なくとも近接している。したがって、撮影順序において前後の関係にある内視鏡画像は互いに接続可能である。
【００４４】
また、内視鏡画像の接続関係は、画像に表れる特徴パターンを利用して設定することができる。特徴パターンとしては、血管、発赤等の色調的なパターン、及び皺、発疹等の構造的なパターンを例示することができ、共通の特徴パターンを有する内視鏡画像は互いに接続可能である。なお、特徴パターンは、例えば色抽出、エッジ抽出等の画像解析手法を用いて内視鏡画像から抽出することができ、共通の特徴パターンは、例えば特徴ベースマッチング、領域ベースマッチング等の公知の画像マッチング手法を用いて検出することができる。
【００４５】
また、内視鏡画像の接続関係は、内視鏡画像に関連付けられている撮影条件（位置、姿勢、及び被写体距離）を利用して設定することができる。撮像部４０が設けられている内視鏡本体３０の挿入部の先端部の位置、姿勢、及び被写体距離に基づいて内視鏡画像それぞれの撮影範囲が分かり、撮影範囲が重複又は隣接している内視鏡画像は互いに接続可能である。
【００４６】
上記の撮影順序、特徴パターン、及び撮影条件のうち複数を組み合わせて内視鏡画像の接続関係を設定するようにすれば、より正確に且つ効率的に接続関係を設定することが可能となる。例えば共通の特徴パターンを有する内視鏡画像を接続する際には、これらの内視鏡画像を変形させて共通の特徴パターンを一致させることが好ましく、位置、姿勢、及び被写体距離の少なくとも一つの撮影条件に基づいて内視鏡画像を変形させるようにすれば、共通の特徴パターンが一致する内視鏡画像の変形量を効率的に探索できる。そして、共通の特徴パターンを一致させることにより、より正確に接続関係を設定できる。
【００４７】
ランドマーク画像検出部６１は、記憶部５３に記憶された複数の内視鏡画像のうち撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出する。
【００４８】
ここで、解剖学的ランドマークとは、撮影対象臓器に必ず存在しており、且つ特徴的な形状を呈している部位を言い、胃であれば噴門、幽門、及び胃角を例示でき、食道であれば咽頭及び噴門を例示でき、十二指腸であれば球頭及び乳頭を例示することができる。解剖学的ランドマークは、例えば特徴ベースマッチング、領域ベースマッチング等の公知の画像マッチング手法を用いて検出することができる。
【００４９】
マッピング部６２は、ランドマーク画像検出部６１によって検出されたランドマーク画像を、撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当てる。さらに、マッピング部６２は、ランドマーク部分に割り当てたランドマーク画像を基点とし、接続関係設定部６０によって設定された接続関係を利用して記憶部５３に記憶された複数の内視鏡画像を仮想モデルの対応部分にそれぞれ割り当てる。仮想モデルは、撮影対象臓器の３次元モデルであってもよいし、３次元モデルを平面状に展開した２次元モデルであってもよい。
【００５０】
マップ画像生成部６３は、マッピング部６２によって複数の内視鏡画像が各部に割り当てられた仮想モデルに基づき、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する。
【００５１】
表示制御部６４は、マップ画像生成部６３によって生成されたマップ画像をモニタ５０に表示させる。
【００５２】
なお、撮影対象臓器及び撮影対象臓器に対応した仮想モデルは、例えば操作者の操作部５１に対する操作入力に基づいて特定される。また、サーバーコンピュータ２０からコンピュータ２２にオーダ情報が送信され、又は内視鏡装置２１からコンピュータ２２にオーダ情報が送信されるように構成し、オーダ情報に含まれる検査種別に基づいてき、制御部５４によって自動的に特定されるようにしてもよい。
【００５３】
以下、胃内視鏡検査を例にして、コンピュータ２２の処理を説明する。なお、胃内視鏡検査では、典型的には、内視鏡本体３０の挿入部の先端部が胃の幽門付近に配置されるまで挿入部が患者の体内に挿入され、その後に挿入部が徐々に引き抜かれる。そして、挿入部が徐々に引き抜かれる過程で、挿入部の先端部の姿勢が種々に変更され、胃の各部が撮影される。胃の解剖学的ランドマークとしては、噴門、幽門、及び胃角を例示できるが、以上の検査手法によれば、検査開始から比較的初期の段階で幽門を含む画像が内視鏡装置２１によって撮影される。そこで、本例では、幽門が解剖学的ランドマークに設定されているものとする。
【００５４】
図５は、コンピュータ２２の処理の一例を示す。
【００５５】
図５は、内視鏡装置２１において画像データが静止画像として記録される場合のコンピュータ２２の処理を示している。
【００５６】
まず、コンピュータ２２の制御部５４は、インターバル画像の受信待機状態にあり（ステップＳ１）、送受信部５２にてインターバル画像を受信すると（ステップＳ２−Ｙｅｓ）、受信したインターバル画像を、マップ画像生成用の内視鏡画像として記憶部５３に記憶させる（ステップＳ３）。
【００５７】
次に、制御部５４（接続関係設定部６０）は、ステップＳ３にて記憶部５３に記憶された内視鏡画像と、既に記憶部５３に記憶されている内視鏡画像との接続関係を設定する（ステップＳ４）。
【００５８】
次に、制御部５４は、一つ以上の内視鏡画像が仮想モデルに既に割り当てられているか否かを判定する（ステップＳ５）。
【００５９】
内視鏡画像が仮想モデルに割り当てられていない場合に（ステップＳ５−Ｎｏ）、制御部５４（ランドマーク画像検出部６１）は、ステップＳ３にて記憶部５３に記憶された内視鏡画像に解剖学的ランドマークが含まれているか否かを判定する（ステップＳ６）。
【００６０】
内視鏡画像に解剖学的ランドマークが含まれていない場合には（ステップＳ６−Ｎｏ）、制御部５４は、この内視鏡画像の仮想モデルへの割り当てを保留し（ステップＳ７）、ステップＳ１に戻る。
【００６１】
一方、内視鏡画像に解剖学的ランドマークが含まれている場合には（ステップＳ６−Ｙｅｓ）、制御部５４（マッピング部６２）は、この内視鏡画像（ランドマーク画像）を仮想モデルのランドマーク部分に割り当てる（ステップＳ８）。
【００６２】
そして、制御部５４は、ステップＳ７にて仮想モデルへの割り当てが保留された内視鏡画像があるか否かを判定し（ステップＳ９）、保留された内視鏡画像がある場合に（ステップＳ９−Ｙｅｓ）、制御部５４（マッピング部６２）は、ランドマーク部分に割り当てられたランドマーク画像を基点とし、ステップＳ４にて設定された接続関係を利用して、保留された内視鏡画像を仮想モデルの対応部分に割り当てる（ステップＳ１０）。
【００６３】
図６から図８は、ステップＳ１からステップＳ１０までの処理を模式的に示す。
【００６４】
まず、図６に示すように、記憶部５３に内視鏡画像ＩＭＧ１及び内視鏡画像ＩＭＧ２が記憶されている。なお、内視鏡画像に付された符号「ＩＭＧ」に続く連番の数字は、内視鏡画像の撮影順序を示している。内視鏡画像ＩＭＧ１及び内視鏡画像ＩＭＧ２には解剖学的ランドマークとしての幽門が含まれておらず、内視鏡画像ＩＭＧ１及び内視鏡画像ＩＭＧ２の仮想モデルへの割り当ては保留されている。
【００６５】
次に、図７に示すように、内視鏡画像ＩＭＧ３が記憶部５３に記憶される。内視鏡画像ＩＭＧ３には幽門ＬＭが含まれおり、内視鏡画像ＩＭＧ３がランドマーク画像として検出される。
【００６６】
次に、図８に示すように、ランドマーク画像として検出された内視鏡画像ＩＭＧ３は、仮想モデルのランドマーク部分である幽門部分に割り当てられる。続いて、幽門部分に割り当てられた内視鏡画像ＩＭＧ３を基点として、この内視鏡画像ＩＭＧ３が割り当てられた幽門部分に隣接した部分に、内視鏡画像ＩＭＧ３の直前に撮影された内視鏡画像ＩＭＧ２が割り当てられる。そして、内視鏡画像ＩＭＧ２が割り当てられている部分に隣接した部分に、内視鏡画像ＩＭＧ２の直前に撮影された内視鏡画像ＩＭＧ１が割り当てられる。
【００６７】
再び図５を参照し、ランドマーク画像及び保留された内視鏡画像の仮想モデルの対応部分への割り当てが済んだ後、制御部５４（マップ画像生成部６３）は、その時点で内視鏡画像が各部に割り当てられている仮想モデルに基づき、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する（ステップＳ１２）。そして、制御部５４（表示制御部６４）は、ステップＳ１２で生成されたマップ画像をモニタ５０に表示させる（ステップＳ１３）。
【００６８】
図９は、マップ画像の一例を示す。
【００６９】
図９に示すマップ画像は、図８に示した内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ３が各部に割り当てられた仮想モデルに基づいて生成されたものである。マップ画像は、撮影対象臓器である胃を平面状に展開した輪郭図上において既撮影領域及び未撮影領域が識別可能な態様で表示されることによって構成されている。
【００７０】
既撮影領域Ｒ１は、仮想モデルにおいて内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ３が割り当てられている領域であり、図示の例では斜線が施された状態で表示されている。一方、未撮影領域Ｒ２は、仮想モデルにおいて内視鏡画像が割り当てられていない領域であり、図示の例では空白、即ちモニタ５０の表示画面の背景色のまま表示されている。
【００７１】
なお、上記の既撮影領域Ｒ１及び未撮影領域Ｒ２それぞれの表示態様は一例であり、識別可能である限り特に限定されない。例えば、既撮影領域Ｒ１は、内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ３がテクスチャとして貼り込まれることによって表示されてもよい。
【００７２】
再び図５を参照し、内視鏡検査が継続されるものとして、コンピュータ２２の以降の処理を説明する。
【００７３】
内視鏡画像ＩＭＧ１〜ＩＭＧ３が各部に割り当てられた仮想モデルに基づいて生成されたマップ画像がモニタ５０に表示された後、制御部５４は、ステップＳ１に戻ってインターバル画像の受信待機状態に移行し（ステップＳ１）、送受信部５２にてインターバル画像を受信すると（ステップＳ２−Ｙｅｓ）、受信したインターバル画像を、マップ画像生成用の内視鏡画像ＩＭＧ４として記憶部５３に記憶させ（ステップＳ３）、内視鏡画像ＩＭＧ４と既に記憶部５３に記憶されている内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ３との接続関係を設定する（ステップＳ４）。
【００７４】
次に、制御部５４は、一つ以上の内視鏡画像が仮想モデルに既に割り当てられているか否かを判定する（ステップＳ５）。ここでは、仮想モデルの各部に内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ３が既に割り当てられていることから、制御部５４（マッピング部６２）は、内視鏡画像ＩＭＧ４を、ステップＳ４にて設定された接続関係を利用して仮想モデルの対応部分に割り当てる（ステップＳ１１）。
【００７５】
そして、制御部５４（マップ画像生成部６３）は、内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ４が各部に割り当てられている仮想モデルに基づき新たなマップ画像を生成する（ステップＳ１２）。そして、制御部５４（表示制御部６４）は、ステップＳ１２で生成された新たなマップ画像をモニタ５０に表示させる（ステップＳ１３）。
【００７６】
以後、制御部５４は、内視鏡検査が終了するまでステップＳ１〜ステップＳ５、及びステップＳ１１〜ステップＳ１３の処理を繰り返し、内視鏡装置２１から逐次送信されるインターバル画像を送受信部５２にて受信する都度、インターバル画像を内視鏡画像として記憶部５３に記憶させ、内視鏡画像が記憶部５３に記憶される都度、マップ画像を生成し、そして、マップ画像が生成される都度、生成されたマップ画像をモニタ５０に表示させる。これにより、内視鏡検査の進行にあわせてモニタ５０に表示されるマップ画像が変更される。
【００７７】
なお、図５に示した例では、ランドマーク画像が検出され、ひとたびマップ画像が生成された後は、新たな内視鏡画像が記憶部５３に記憶される都度、つまりは一枚の新たな内視鏡画像が記憶部５３に記憶される毎に新たなマップ画像が生成されるものとして説明したが、複数枚（例えば二枚）の新たな静止画像が記憶部５３に記憶される毎に新たなマップ画像が生成されるように構成することもできる。マップ画像の生成が実行されるまでの新たな静止画像の記憶枚数は、固定であってもよいし、例えば操作者の操作部５１に対する操作入力に基づいて変更可能であってもよい。
【００７８】
次に、図１０及び図１１を参照して、内視鏡装置２１において画像データが動画像として記録される場合のコンピュータ２２の処理を説明する。
【００７９】
まず、図１０に示すように、コンピュータ２２の制御部５４は、動画像を構成するフレーム画像の受信待機状態にあり（ステップＳ２１）、送受信部５２にてフレーム画像を受信し（ステップＳ２２−Ｙｅｓ）、且つ所定の時間間隔によって規定されるタイミングである場合に（ステップＳ２３−Ｙｅｓ）、受信したフレーム画像を一静止画像として抽出し、抽出したフレーム画像を、マップ画像生成用の内視鏡画像として記憶部５３に記憶させる（ステップＳ２４）。そして、制御部５４は、サブルーチンとしてのマップ画像の生成及び表示処理に移行する。
【００８０】
図１１に示すように、マップ画像の生成及び表示処理に移行した制御部５４（接続関係設定部６０）は、ステップＳ２４にて記憶部５３に記憶された内視鏡画像と、既に記憶部５３に記憶されている内視鏡画像との接続関係を設定する（ステップＳ３１）。
【００８１】
次に、制御部５４は、一つ以上の内視鏡画像が仮想モデルに既に割り当てられているか否かを判定する（ステップＳ３２）。
【００８２】
内視鏡画像が仮想モデルに割り当てられていない場合に（ステップＳ３２−Ｎｏ）、制御部５４（ランドマーク画像検出部６１）は、ステップＳ２４にて記憶部５３に記憶された内視鏡画像に解剖学的ランドマークが含まれているか否かを判定する（ステップＳ３３）。
【００８３】
内視鏡画像に解剖学的ランドマークが含まれていない場合には（ステップＳ３３−Ｎｏ）、制御部５４（マッピング部６２）は、この内視鏡画像の仮想モデルへの割り当てを保留し（ステップＳ３４）、図１０に示したメインルーチンに戻る。
【００８４】
一方、内視鏡画像に解剖学的ランドマークが含まれている場合には（ステップＳ３３−Ｙｅｓ）、制御部５４（マッピング部６２）は、この内視鏡画像（ランドマーク画像）を仮想モデルのランドマーク部分に割り当てる（ステップＳ３５）。
【００８５】
そして、制御部５４は、ステップＳ３４にて仮想モデルへの割り当てが保留された内視鏡画像があるか否かを判定し（ステップＳ３６）、保留された内視鏡画像がある場合に（ステップＳ３６−Ｙｅｓ）、制御部５４（マッピング部６２）は、ランドマーク部分に割り当てられたランドマーク画像を基点とし、ステップＳ３１にて設定された接続関係を利用して、保留された内視鏡画像を仮想モデルの対応部分に割り当てる（ステップＳ３７）。
【００８６】
ランドマーク画像及び保留された内視鏡画像の仮想モデルの対応部分への割り当てが済んだ後、制御部５４（マップ画像生成部６３）は、その時点で内視鏡画像が各部に割り当てられている仮想モデルに基づき、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する（ステップＳ３９）。そして、制御部５４（表示制御部６４）は、ステップＳ３９で生成されたマップ画像をモニタ５０に表示させ（ステップＳ４０）、図１０に示したメインルーチンに戻る。
【００８７】
一方、ステップＳ３２の判定において、一つ以上の内視鏡画像が仮想モデルに既に割り当てられている場合には（ステップＳ３２−Ｙｅｓ）、制御部５４（マッピング部６２）は、ステップＳ２４にて記憶部５３に記憶された内視鏡画像を、ステップＳ３１にて設定された接続関係を利用して仮想モデルの対応部分に割り当てる（ステップＳ３８）。
【００８８】
次いで、制御部５４（マップ画像生成部６３）は、内視鏡画像が各部に割り当てられている仮想モデルに基づきマップ画像を生成する（ステップＳ３９）。そして、制御部５４（表示制御部６４）は、ステップＳ３９で生成されたマップ画像をモニタ５０に表示させ（ステップＳ４０）、図１０に示したメインルーチンに戻る。
【００８９】
このように、制御部５４は、抽出タイミングが到来する都度、動画像からフレーム画像を抽出し、抽出したフレーム画像を内視鏡画像として記憶部５３に記憶させ、内視鏡画像が記憶部５３に記憶される都度、マップ画像を生成し、そして、マップ画像が生成される都度、生成されたマップ画像をモニタ５０に表示させる。これにより、内視鏡検査の進行にあわせてモニタ５０に表示されるマップ画像が変更される。
【００９０】
なお、マップ画像生成用の内視鏡画像が動画像から間欠的に抽出される場合にも、ランドマーク画像が検出され、ひとたびマップ画像が生成された後は、上述のとおり一枚の新たな内視鏡画像が記憶部５３に記憶される毎に新たなマップ画像が生成されるように構成することもでき、又は複数枚の新たな内視鏡画像が記憶部５３に記憶される毎に新たなマップ画像が生成されるように構成することもできる。
【００９１】
上述した画像表示装置としてのコンピュータ２２、及びコンピュータ２２によって実行される画像表示方法によれば、仮想モデルのランドマーク部分に割り当てられた解剖学的ランドマークを含むランドマーク画像を基点として他の内視鏡画像が仮想モデルの対応部分に割り当てられるので、仮想モデル上における内視鏡画像それぞれの位置の正確性が高まる。したがって、複数の内視鏡画像が各部に割り当てられた仮想モデルから生成されるマップ画像上の既撮影領域及び未撮影領域それぞれの領域指示の正確性も高まる。これにより、撮影漏れを的確に評価することが可能となる。
【００９２】
さらに、上述した画像表示装置としてのコンピュータ２２、及びコンピュータ２２によって実行される画像表示方法によれば、内視鏡検査の進行にあわせてモニタ５０に表示されるマップ画像が変更されるので、操作者は、検査を進めながら撮影漏れの有無を確認することができる。これにより、内視鏡検査の効率化を図ることができる。
【００９３】
図１２は、マップ画像の他の表示例を示す。
【００９４】
図１２に示す例は、検査対象臓器に対して必須の撮影部位が設定されている場合のマップ画像の表示例である。なお、検査対象臓器は胃であり、必須の撮影部位として幽門、胃角、噴門、及び胃底部の四つの部位が設定されているものとする。
【００９５】
コンピュータ２２の制御部５４（表示制御部６４）によって、図９に示したマップ画像がモニタ５０に表示されている。仮想モデルにおいて内視鏡画像ＩＭＧ１〜内視鏡画像ＩＭＧ３が割り当てられている既撮影領域Ｒ１は、マップ画像上で斜線が施された状態で表示されており、仮想モデルにおいて内視鏡画像が割り当てられていない未撮影領域Ｒ２は、マップ画像上で空白のまま表示されている。
【００９６】
そして、上記四つの必須の撮影部位それぞれのマップ画像上の領域（以下、必須撮影領域という）のうち、胃角に対応する必須撮影領域Ｒ３−１、噴門に対応する必須撮影領域Ｒ３−２、及び胃底部に対応する必須撮影領域Ｒ３−３が未撮影領域Ｒ２に重畳している。
【００９７】
コンピュータ２２の制御部５４（表示制御部６４）は、必須撮影領域のうち未撮影領域Ｒ２に重畳している重畳領域を通知する通知表示を生成し、生成した通知表示をモニタ５０に併せて表示する。図１２に示す例では、通知表示は、マップ画像にオーバーレイ表示されており、重畳領域である必須撮影領域Ｒ３−１〜必須撮影領域Ｒ３−３にのみ施されたハイライトによって構成されている。なお、マップ画像にオーバーレイ表示される通知表示は、重畳領域を除く未撮影領域Ｒ２の表示態様と異なる限りにおいて特に限定されない。また、通知表示は、マップ画像にオーバーレイ表示されるものに限られず、マップ画像の周囲に表示されるテキストなどであってもよい。
【００９８】
このように、検査対象臓器に対して必須の撮影部位が設定されている場合であって、必須の撮影部位に対応する必須撮影領域と未撮影領域との重畳領域を通知する通知表示をモニタ５０に表示することによって、操作者は、検査を進めながら必須の撮影部位の撮影漏れの有無を確認することができる。これにより、内視鏡検査のさらなる効率化を図ることができる。
【００９９】
ここまで、内視鏡検査室Ｒｏｏｍ１に設置された画像表示装置としてのコンピュータ２２について説明したが、以下、カンファレンス室Ｒｏｏｍ２に設置された画像表示装置としてのコンピュータ２３について説明する。
【０１００】
図１３に示すように、コンピュータ２３の基本構成はコンピュータ２２と同一である。ただし、コンピュータ２３は、検査を通じて内視鏡装置２１によって撮影された複数のインターバル画像、及びこれらのインターバル画像それぞれに関連付けられた撮影順序及び撮影条件を含む撮影情報の一切を、又は検査を通じて内視鏡装置２１によって撮影された動画像、及びこの動画像を構成するフレーム画像それぞれに関連付けられた撮影順序及び撮影条件を含む撮影情報の一切を、検査終了後にサーバーコンピュータ２０又はＰＡＣＳ４から一括して取得する。
【０１０１】
撮影情報が、複数のインターバル画像、及びこれらのインターバル画像それぞれに関連付けられた撮影順序及び撮影条件を含むものである場合に、送受信部５２にて受信された複数のインターバル画像それぞれは、マップ画像生成用の内視鏡画像として、撮影順序及び撮影条件と関連付けられた状態で記憶部５３に記憶される。
【０１０２】
一方、撮影情報が、動画像、及びこの動画像を構成するフレーム画像それぞれに関連付けられた撮影順序及び撮影条件を含むものである場合に、動画像から複数のフレーム画像が間欠的に抽出され、抽出されたフレーム画像それぞれは、マップ画像生成用の内視鏡画像として、撮影順序及び撮影条件と関連付けられた状態で記憶部５３に記憶される。
【０１０３】
そして、制御部５４は、接続関係設定部７０、ランドマーク画像検出部７１、マッピング部７２、マップ画像生成部７３、及び表示制御部７４として機能する。
【０１０４】
図１４及び図１５は、コンピュータ２３の処理の一例を示す。
【０１０５】
図１４は、撮影情報が、複数のインターバル画像、及びこれらのインターバル画像それぞれに関連付けられた撮影順序及び撮影条件を含むものである場合のコンピュータ２３の処理を示している。
【０１０６】
まず、コンピュータ２３の制御部５４は、サーバーコンピュータ２０又はＰＡＣＳ４から複数のインターバル画像を含む撮影情報を受信し（ステップＳ５１）、受信した複数のインターバル画像それぞれを、マップ画像生成用の内視鏡画像として記憶部５３に記憶させる（ステップＳ５２）。
【０１０７】
次に、制御部５４（接続関係設定部７０）は、ステップＳ５２にて記憶部５３に記憶された複数の内視鏡画像の接続関係を設定する（ステップＳ５３）。内視鏡画像の接続関係は、内視鏡画像に関連付けられている撮影順序、画像に表れる特徴パターン、及び内視鏡画像に関連付けられている撮影条件（位置、姿勢、及び被写体距離）を利用して設定することができる。
【０１０８】
次に、制御部５４（ランドマーク画像検出部７１）は、ステップＳ５２にて記憶部５３に記憶された複数の内視鏡画像のうち解剖学的ランドマークを含むランドマーク画像を検出する（ステップＳ５４）。解剖学的ランドマークは、例えば特徴ベースマッチング、領域ベースマッチング等の公知の画像マッチング手法を用いて検出することができる。
【０１０９】
複数の内視鏡画像に解剖学的ランドマークが含まれる場合には、例えば解剖学的ランドマークが画像に占める領域の割合が最も大きい内視鏡画像をランドマーク画像として検出すればよい。
【０１１０】
次に、制御部５４（マッピング部７２）は、ランドマーク画像を仮想モデルのランドマーク部分に割り当て（ステップＳ５５）、続いてランドマーク部分に割り当てられたランドマーク画像を基点とし、ステップＳ５３にて設定された接続関係を利用して、ランドマーク画像を除く他の全ての内視鏡画像を仮想モデルの対応部分に割り当てる（ステップＳ５６）。
【０１１１】
次に、制御部５４（マップ画像生成部７３）は、全ての内視鏡画像が各部に割り当てられた仮想モデルに基づき、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する（ステップＳ５７）。そして、制御部５４（表示制御部７４）は、ステップＳ５７で生成されたマップ画像をモニタ５０に表示させる（ステップＳ５８）。マップ画像及びマップ画像の表示方法は、図９及び図１２に示したものが適用可能である。
【０１１２】
図１５は、撮影情報が、動画像、及びこの動画像を構成するフレーム画像それぞれに関連付けられた撮影順序及び撮影条件を含むものである場合のコンピュータ２３の処理を示している。
【０１１３】
まず、コンピュータ２３の制御部５４は、動画像を含む撮影情報を受信し（ステップＳ６１）、受信した動画像を記憶部５３に記憶させる（ステップＳ６２）。
【０１１４】
次に、制御部５４は、記憶部５３に記憶された動画像から複数のフレーム画像を設定された時間間隔で抽出し（ステップＳ６３）、ステップＳ６３で抽出した複数のフレーム画像を、マップ画像生成用の内視鏡画像として記憶部５３に記憶させる（ステップＳ６４）。
【０１１５】
次に、制御部５４（ランドマーク画像検出部７１）は、ステップＳ６４にて記憶部５３に記憶された複数の内視鏡画像のうち解剖学的ランドマークを含むランドマーク画像を検出する（ステップＳ６５）。
【０１１６】
ここで、記憶部５３に記憶された複数の内視鏡画像にランドマーク画像が検出されない場合には（ステップＳ６６−Ｎｏ）、制御部５４は、動画像から複数のフレーム画像を抽出する際の時間間隔を狭めるなどして調整し（ステップＳ６７）、記憶部５３に記憶されている複数の内視鏡画像を破棄したうえで、動画像から複数のフレーム画像を調整された時間間隔で再び抽出し（ステップＳ６３）、抽出した複数のフレーム画像を、マップ画像生成用の内視鏡画像として記憶部５３に記憶させる（ステップＳ６４）。
【０１１７】
記憶部５３に記憶された複数の内視鏡画像にランドマーク画像が検出されると（ステップＳ６６−Ｙｅｓ）、制御部５４（接続関係設定部７０）は、記憶部５３に記憶された複数の内視鏡画像の接続関係を設定する（ステップＳ６８）。
【０１１８】
ここで、他の内視鏡画像と接続されずに孤立する内視鏡画像が存在する場合に（ステップＳ６９−Ｙｅｓ）、制御部５４は、動画像から複数のフレーム画像を抽出する際の時間間隔を狭めるなどして調整し（ステップＳ６７）、記憶部５３に記憶されている複数の内視鏡画像を破棄したうえで、動画像から複数のフレーム画像を調整された時間間隔で再び抽出し（ステップＳ６３）、抽出した複数のフレーム画像を、マップ画像生成用の内視鏡画像として記憶部５３に記憶させる（ステップＳ６４）。
【０１１９】
他の内視鏡画像と接続されずに孤立する内視鏡画像が存在しない場合には（ステップＳ６９−Ｎｏ）、制御部５４（マッピング部７２）は、ランドマーク画像を仮想モデルのランドマーク部分に割り当て（ステップＳ７０）、続いてランドマーク部分に割り当てられたランドマーク画像を基点とし、ステップＳ６８にて設定された接続関係を利用して、ランドマーク画像を除く他の全ての内視鏡画像を仮想モデルの対応部分に割り当てる（ステップＳ７１）。
【０１２０】
次に、制御部５４（マップ画像生成部７３）は、全ての内視鏡画像が各部に割り当てられた仮想モデルに基づき、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する（ステップＳ７２）。そして、制御部５４（表示制御部７４）は、ステップＳ７１で生成されたマップ画像をモニタ５０に表示させる（ステップＳ７３）。マップ画像及びマップ画像の表示方法は、図９及び図１２に示したものが適用可能である。
【０１２１】
上述した画像表示装置としてのコンピュータ２３、及びコンピュータ２３によって実行される画像表示方法によれば、上述したコンピュータ２２の場合と同様に撮影漏れを的確に評価することが可能となり、検査終了後の事後的な評価に有用である。
【０１２２】
以上、説明したとおり、本明細書に開示された画像表示装置は、撮影対象臓器の内視鏡画像を含む撮影情報を記憶する記憶部と、上記記憶部に記憶された複数の内視鏡画像の相互の接続関係を上記撮影情報に基づいて設定する接続関係設定部と、上記記憶部に記憶された上記複数の内視鏡画像のうち上記撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出部と、上記ランドマーク画像検出部によって検出された上記ランドマーク画像を、上記撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、上記ランドマーク画像を基点とし、上記接続関係設定部によって設定された相互の接続関係を利用して上記記憶部に記憶された上記複数の内視鏡画像を上記仮想モデルの対応部分にそれぞれ割り当てるマッピング部と、上記マッピング部によって上記複数の内視鏡画像が各部に割り当てられた上記仮想モデルに基づき、上記撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成部と、上記マップ画像生成部によって生成された上記マップ画像をモニタに表示させる表示制御部と、を備える。
【０１２３】
また、本明細書に開示された画像表示装置は、上記撮影情報は、上記複数の内視鏡画像の撮影順序を含み、上記接続関係設定部は、上記撮影順序に基づいて、上記複数の内視鏡画像の相互の接続関係を設定する。
【０１２４】
また、本明細書に開示された画像表示装置は、上記接続関係設定部は、上記複数の内視鏡画像それぞれの特徴パターンを抽出し、抽出した上記特徴パターンに基づいて、上記複数の内視鏡画像の相互の接続関係を設定する。
【０１２５】
また、本明細書に開示された画像表示装置は、上記接続関係設定部は、共通の上記特徴パターンを含む画像群を変形させて、この画像群の間で上記特徴パターンを一致させることにより、上記複数の内視鏡画像の相互の接続関係を設定する。
【０１２６】
また、本明細書に開示された画像表示装置は、上記撮影情報は、上記複数の内視鏡画像それぞれの撮影時における内視鏡の位置、姿勢、及び被写体距離の少なくとも一つの撮影条件を含み、上記接続関係設定部は、上記撮影条件に基づいて、上記複数の内視鏡画像の相互の接続関係を設定する。
【０１２７】
また、本明細書に開示された画像表示装置は、上記表示制御部は、上記マップ画像生成部によって生成された上記マップ画像の上記未撮影領域の少なくとも一部が上記撮影対象臓器に対応した所定の必須撮影領域に重畳している場合に、重畳領域を通知する通知表示をモニタに表示させる。
【０１２８】
また、本明細書に開示された画像表示装置は、上記表示制御部は、上記重畳領域の表示態様と上記重畳領域を除く上記未撮影領域の表示態様とを互いに異ならせる。
【０１２９】
また、本明細書に開示された画像表示装置は、上記複数の内視鏡画像は、間欠的に撮影される静止画像、又は動画像から間欠的に抽出される静止画像であって、上記記憶部は、上記静止画像を逐次記憶し、上記マップ画像生成部は、所定枚数の新たな上記静止画像が上記記憶部に記憶される毎に上記マップ画像を生成し、上記表示制御部は、上記マップ画像生成部によって上記マップ画像が生成される都度、上記マップ画像によってモニタの表示を変更する。
【０１３０】
また、本明細書に開示された画像表示装置は、上記所定枚数は一枚である。
【０１３１】
また、本明細書に開示された画像表示方法は、コンピュータが実行する、撮影対象臓器の内視鏡画像を含む撮影情報を記憶部に記憶する記憶ステップと、上記記憶部に記憶された複数の内視鏡画像の相互の接続関係を上記撮影情報に基づいて設定する接続関係設定ステップと、上記記憶部に記憶された上記複数の内視鏡画像のうち上記撮影対象臓器に対応した所定の解剖学的ランドマークを含むランドマーク画像を検出するランドマーク画像検出ステップと、検出した上記ランドマーク画像を、上記撮影対象臓器に対応した仮想モデルのランドマーク部分に割り当て、且つ、上記ランドマーク画像を基点とし、上記接続関係設定ステップによって設定された相互の接続関係を利用して上記記憶部に記憶された上記複数の内視鏡画像を上記仮想モデルの対応部分にそれぞれ割り当てるマッピングステップと、上記複数の内視鏡画像が各部に割り当てられた上記仮想モデルに基づき、上記撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成するマップ画像生成ステップと、生成した上記マップ画像をモニタに表示させる表示ステップと、を備える。
【０１３２】
また、本明細書に開示された画像表示方法は、上記複数の内視鏡画像は、間欠的に撮影される静止画像、又は動画像から間欠的に抽出される静止画像であって、上記記憶ステップは、上記静止画像を上記記憶部に逐次記憶し、上記マップ画像生成ステップは、所定枚数の新たな上記静止画像が上記記憶部に記憶される毎に上記マップ画像を生成し、上記表示ステップは、上記マップ画像生成ステップによって上記マップ画像が生成される都度、上記マップ画像によってモニタの表示を変更する。
【０１３３】
また、本明細書に開示されたプログラムは、上記各ステップをコンピュータに実行させる。なお、このプログラムは、コンピュータが読取可能な一時的でない（non-transitory）記録媒体に記録して提供可能である。「コンピュータが読取可能な記録媒体」は、例えばＣＤ−ＲＯＭ（Compact Disc-ROM）等の光学媒体、及びメモリカード等の磁気記録媒体を含む。また、このプログラムを、ネットワークを介したダウンロードによって提供することもできる。
【符号の説明】
【０１３４】
１  病院情報システム
２  内視鏡部門システム
３  他診療部門システム
４  医用画像保管システム
５  院内ＬＡＮ
２０  サーバーコンピュータ
２１  内視鏡装置
２２  コンピュータ
２３  コンピュータ
２４  部門内ＬＡＮ
３０  内視鏡本体
３１  光源ユニット
３２  プロセッサユニット
３３  モニタ
４０  撮像部
４１  検出部
４２  操作部
４３  信号入力部
４４  画像処理部
４５  記憶部
４６  送受信部
４７  制御部
５０  モニタ
５１  操作部
５２  送受信部
５３  記憶部
５４  制御部
６０  接続関係設定部
６１  ランドマーク画像検出部
６２  マッピング部
６３  マップ画像生成部
６４  表示制御部
７０  接続関係設定部
７１  ランドマーク画像検出部
７２  マッピング部
７３  マップ画像生成部
７４  表示制御部
ＤＢ  データベース
ＩＭＧ１  内視鏡画像
ＩＭＧ２  内視鏡画像
ＩＭＧ３  内視鏡画像
ＩＭＧ４  内視鏡画像
ＬＭ  幽門（解剖学的ランドマーク）
Ｒ１  既撮影領域
Ｒ２  未撮影領域
Ｒ３−１  必須撮影領域
Ｒ３−２  必須撮影領域
Ｒ３−３  必須撮影領域
Ｒｏｏｍ１  内視鏡検査室
Ｒｏｏｍ２  カンファレンス室
【図１】
2018050890.tif 000003
【図２】
2018050890.tif 000004
【図３】
2018050890.tif 000005
【図４】
2018050890.tif 000006
【図５】
2018050890.tif 000007
【図６】
2018050890.tif 000008
【図７】
2018050890.tif 000009
【図８】
2018050890.tif 000010
【図９】
2018050890.tif 000011
【図１０】
2018050890.tif 000012
【図１１】
2018050890.tif 000013
【図１２】
2018050890.tif 000014
【図１３】
2018050890.tif 000015
【図１４】
2018050890.tif 000016
【図１５】
2018050890.tif 000017