(57)【要約】  内視鏡検査の時系列画像を取得する取得部５１と、前記取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。
2020165978.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡検査の時系列画像を取得する取得部と、
前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、
前記病変出現特定部において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部と、
を有することを特徴とする画像記録装置。
【請求項２】
少なくとも、前記病変出現特定部において前記病変の出現が特定された時点に対して所定時間遡った時間から前記時系列画像の記録を開始するバッファ記録部をさらに有する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記バッファ記録部は、内視鏡検査のすべての前記時系列画像を記録可能とし、
前記病変出現特定部は、前記バッファ記録部に記録された前記時系列画像を取得すると共に、当該取得された前記時系列画像から病変の出現を特定し、
前記記録部は、当該内視鏡検査が終了した後に前記病変出現特定部によって特定された前記病変の出現に応じて前記バッファ記録部に記録された前記時系列画像のうち所定の画像を記録する
ことを特徴とする請求項２に記載の画像記録装置。
【請求項４】
前記病変出現特定部は、外部からの情報に基づいて病変を発見する動作を検知する病変発見動作判定部を備える
ことを特徴とする請求項１に記載の画像記録装置。
【請求項５】
前記病変発見動作判定部は、操作者の病変発見動作に係る通知情報に基づいて病変の発見を検知する操作者通知情報受信部を備える
ことを特徴とする請求項４に記載の画像記録装置。
【請求項６】
前記操作者通知情報受信部は、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する
ことを特徴とする請求項５に記載の画像記録装置。
【請求項７】
前記病変発見動作判定部は、内視鏡の動作に係る情報に基づいて病変の発見を検知する内視鏡動作情報受信部を備える
ことを特徴とする請求項４に記載の画像記録装置。
【請求項８】
前記内視鏡動作情報受信部は、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する
ことを特徴とする請求項７に記載の画像記録装置。
【請求項９】
前記病変出現特定部は、前記取得された前記時系列画像に基づいて病変を検出する病変検出部を有する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項１０】
前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変に係る情報を算出する病変情報算出部を有する
ことを特徴とする請求項９に記載の画像記録装置。
【請求項１１】
前記病変情報算出部は、前記病変検出部において検出した病変に係る時系列情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１２】
前記病変情報算出部は、前記病変検出部において検出した病変に係る位置情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１３】
前記病変情報算出部は、前記病変検出部において検出した病変に係る距離情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１４】
前記病変情報算出部は、前記病変検出部において検出した病変に係る大きさの情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１５】
前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変のマッチング処理を行う病変マッチング部を有する
ことを特徴とする請求項９に記載の画像記録装置。
【請求項１６】
前記病変出現特定部は、さらに、前記病変の出現タイミングを判定する出現タイミング判定部を有する
ことを特徴とする請求項４〜１５のいずれか１項に記載の画像記録装置。
【請求項１７】
前記病変出現特定部によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて機械学習用の教師データを作成する教師データ作成部と、
前記教師データ作成部において作成された前記教師データに基づいて認識用の学習モデルを作成する学習モデル作成部と、
を有することを特徴とする請求項１に記載の画像記録装置。
【請求項１８】
前記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部をさらに備える
ことを特徴とする請求項１７に記載の画像記録装置。
【請求項１９】
内視鏡検査の時系列画像を取得する取得ステップと、
前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、
を有することを特徴とする画像記録方法。
【請求項２０】
コンピュータに、
内視鏡検査の時系列画像を取得する取得ステップと、
前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、
を実行させるための画像記録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録装置、画像記録方法および画像記録プログラムに関する。
【背景技術】
【０００２】
医療分野における画像診断においては、病状を分類及び評価するため、個々の患者に係る種々の解剖学的構造の医用画像を撮影する種々のシステムが開発されている。これらの撮影システムとして、例えば、ＣＴ（コンピュータ断層撮影）システム、ＭＲＩ（磁気共鳴撮影）システム、Ｘ線システム、超音波システム、ＰＥＴ（陽電子放出断層撮影）システム等が知られている。【０００３】
また、日本国特表２００７−５２８７４６号公報においては、医者等の医療関係者によるアノテーションデータを機械学習することにより、いわゆるコンピュータ検出／診断支援であるＣＡＤｅ（Computer-Aided Detection/Diagnosis）による病変検出機能を実現する方法が開示されている。【０００４】
ところで、内視鏡を用いた検査において、上述したコンピュータ検出／診断支援（ＣＡＤｅ）を用いて病変検出を行う場合、医師等の医療関係者によるアノテーションデータは、必ずしも重要な病変が出現し始めたタイミングを含んでいるとは限らない。【０００５】
また、従来の手法では、内視鏡の検査画像中に病変が出現し始めたタイミングを確実に含むように記録するためには、当該検査中の全ての画像データを記録する必要があり、非常に大きなデータ記録装置を確保する必要があるという問題があった。【０００６】
本発明は上述した事情に鑑みてなされたものであり、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出を行う際、時系列の検査画像中に病変が出現し始めたタイミングのアノテーションデータを確実かつ容易に作成することができる画像記録装置、画像記録方法および画像記録プログラムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明の一態様の画像記録装置は、内視鏡検査の時系列画像を取得する取得部と、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、前記病変出現特定部において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部と、を有する。【０００８】
本発明の一態様の画像記録方法は、内視鏡検査の時系列画像を取得する取得ステップと、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、を有する。【０００９】
本発明の一態様の画像記録プログラムは、コンピュータに、内視鏡検査の時系列画像を取得する取得ステップと、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、前記病変出現特定ステップにおいて前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録ステップと、を実行させる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の第１の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。
【図２】図２は、第１の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
【図３】図３は、第１の実施形態の画像記録装置における記録部の構成を説明するブロック図である。
【図４】図４は、第１の実施形態の画像記録装置のより具体的な構成を示したブロック図である。
【図５】図５は、本発明の第２の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
【図６】図６は、本発明の第３の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
【図７】図７は、本発明の第４の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。
【図８】図８は、第４の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を用いて説明する。【００１２】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図である。【００１３】
図１に示すように本実施形態に係る内視鏡システム１は、例えば、内視鏡１０と、光源装置２０と、ビデオプロセッサ３０と、挿入形状検出装置４０と、画像記録装置５０と、表示装置６０と、入力装置７０と、を有して構成されている。【００１４】
内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２と、操作部１２から延設されたユニバーサルコード１３と、を有して構成されている。また、内視鏡１０は、ユニバーサルコード１３の端部に設けられているスコープコネクタ１３Ａを介し、光源装置２０に対して着脱自在に接続されるように構成されている。【００１５】
さらに内視鏡１０は、スコープコネクタ１３Ａから延出した電気ケーブル１４の端部に設けられている電気コネクタ１４Ａを介し、ビデオプロセッサ３０に対して着脱自在に接続されるように構成されている。また、挿入部１１、操作部１２及びユニバーサルコード１３の内部には、光源装置２０から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。【００１６】
挿入部１１は、可撓性及び細長形状を有して構成されている。また、挿入部１１は、硬質の先端部１１Ａと、湾曲自在に形成された湾曲部１１Ｂと、可撓性を有する長尺な可撓管部１１Ｃと、を先端側から順に設けて構成されている。【００１７】
先端部１１Ａには、挿入部１１の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部１１Ａには、ビデオプロセッサ３０から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部が設けられている。撮像部は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等のイメージセンサを有して構成されている。【００１８】
操作部１２は、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部１２には、挿入部１１の長手軸に対して交差する上下左右（ＵＤＬＲ）の４方向に湾曲部１１Ｂを湾曲させるための操作を行うことができるように構成されたアングルノブ１２１が設けられている。また、操作部１２には、操作者（ユーザ）の入力操作、例えば、レリーズ操作等に応じた指示を行うことが可能な１つ以上のスコープスイッチ１２２が設けられている。【００１９】
ここで操作部１２における当該アングルノブ１２１、スコープスイッチ１２２は、外部情報の入力装置としての機能を果たす。【００２０】
光源装置２０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源装置２０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源装置２０は、ビデオプロセッサ３０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。【００２１】
入力装置７０は、ケーブル１６を介し、ビデオプロセッサ３０に対して着脱自在に接続され、例えば、マウス、キーボードまたはタッチパネル等のような、操作者（ユーザ）により操作される１つ以上の入力インターフェースを有して構成されている。【００２２】
また入力装置７０は、操作者が発する所定の音声を入力する外部情報の入力装置としての機能も果たす。そして入力装置７０は、操作者（ユーザ）の操作または音声入力に応じた指示をビデオプロセッサ３０へ出力するように構成されている。【００２３】
挿入形状検出装置４０は、ケーブル１５を介し、ビデオプロセッサ３０に対して着脱自在に接続されるように構成されている。また本実施形態において挿入形状検出装置４０は、挿入部１１に設けられた、例えばソースコイル群から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいてソースコイル群に含まれる複数のソースコイル各々の位置を取得するように構成されている。【００２４】
また、挿入形状検出装置４０は、前述のように取得した複数のソースコイル各々の位置に基づいて挿入部１１の挿入形状を算出するとともに、当該算出した挿入形状を示す挿入形状情報を生成してビデオプロセッサ３０へ出力するように構成されている。【００２５】
なお、本実施形態においては、挿入形状検出装置４０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置４０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【００２６】
表示装置（モニタ）６０は、ケーブル１７を介してビデオプロセッサ３０に対して着脱自在に接続され、例えば、液晶モニタ等を有して構成される。また表示装置６０は、ビデオプロセッサ３０から出力される内視鏡画像等を画面上に表示することができるように構成されている。【００２７】
画像記録装置５０は、ケーブル１８を介してビデオプロセッサ３０に対して着脱自在に接続される。また画像記録装置５０は、ビデオプロセッサ３０において適宜処理された時系列の内視鏡検査画像を取得する画像取得部を備えると共に、当該時系列の内視鏡画像を記録する記録部と、当該取得した時系列の内視鏡画像から病変の出現を特定する病変出現特定部と、を有するが、当該画像記録装置５０については、後に詳述する。【００２８】
ビデオプロセッサ３０は、内視鏡１０から出力される撮像信号を取得し、所定の画像処理を施して時系列の内視鏡画像を生成する画像処理部を備える。またビデオプロセッサ３０は当該生成した内視鏡画像を表示装置６０に表示させるための所定の動作を行うように構成されている。さらに、ビデオプロセッサ３０は、内視鏡１０、光源装置２０、画像記録装置５０等の動作を制御するための様々な制御信号を生成して出力するように構成されている。【００２９】
また、ビデオプロセッサ３０は、上述したように、入力装置７０及び操作部１２のスコープスイッチ１１２からの指示に応じた動作、すなわち外部情報に基づく動作を行うように構成されている。【００３０】
例えば、ビデオプロセッサ３０は、上述したように入力装置７０において操作者が発する所定の音声（病変の発見等）を入力した際、当該操作者の音声入力に応じた情報を、操作者の病変発見動作に係る通知情報として、画像記録装置５０における病変出現特定部５２に向けて送出する。なお、詳細については後述する。【００３１】
さらにビデオプロセッサ３０は、例えば、操作部１２のスコープスイッチ１１２からのレリーズ操作情報、またはフリーズ操作情報を受信すると、上記同様に、当該操作者の操作に応じて操作者の病変発見動作に係る通知情報として、画像記録装置５０における病変出現特定部５２に向けて送出する。詳細については後述する。【００３２】
さらにビデオプロセッサ３０は、挿入形状検出装置４０から出力される挿入形状情報等に基づき、挿入部１１の駆動状態を制御するように構成されている。【００３３】
また、本実施形態においてビデオプロセッサ３０は、挿入形状検出装置４０から出力される挿入形状情報等に基づき当該挿入部１１の状態を把握し、例えば、挿入部１１の移動速度および移動方向（例えば、挿入部の抜去速度等）を検出し、当該挿入部１１の動作停止、動作変化、または、当該内視鏡の処置動作の判定を行うこともできるようになっている。【００３４】
さらにビデオプロセッサ３０は、挿入形状検出装置４０からの挿入形状情報等に基づき上述した内視鏡挿入部の動作を判定し、当該判定結果を、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報として、画像記録装置５０における病変出現特定部（病変発見動作判定部５２Ａ）に向けて送出するようになっている。【００３５】
なお本実施形態においてビデオプロセッサ３０の各部は、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、ビデオプロセッサ３０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【００３６】
＜第１の実施形態における画像記録装置５０の内部構成＞
次に、本実施形態の画像記録装置５０の構成について詳しく説明する。【００３７】
図２は、第１の実施形態の画像記録装置および周辺部の構成を説明するブロック図、図３は、第１の実施形態の画像記録装置における記録部の構成を説明するブロック図、図４は、第１の実施形態の画像記録装置のより具体的な構成を示したブロック図である。【００３８】
なお、本実施形態においては、画像記録装置５０の各部についても、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【００３９】
図２に示すように、本第１の実施形態における画像記録装置５０は、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。【００４０】
画像取得部５１は、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に向けて送出するようになっている。【００４１】
病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。【００４２】
記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病原出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。【００４３】
このように本実施形態において記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録をする。還元すれば、本実施形態の画像記録装置によると、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。【００４４】
また記録部５３は、病変出現特定部５２によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて、機械学習用の教師データを作成する教師データ作成部を有する。また記録部５３は、当該教師データ作成部において作成された教師データに基づいて認識用の学習モデルを作成する学習モデル作成部を有する。【００４５】
ここで学習モデルとは、作成された教師データに基づいて、病変と推定される内視鏡画像上の特徴部の境界線を識別する識別機としての機能を果たす。【００４６】
さらに、記録部５３は、上記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部を有する。より具体的に記録部５３は、上記認識部において、認識処理のアルゴリズムを、例えば、いわゆるディープラーニング等の手法により作成する。そして、その認識アルゴリズムを用いて、適宜、認識処理を実行する。【００４７】
なお、本第１の実施形態において記録部５３は、図３に示すようにバッファ記録部５４を含む。また記録部５３は、上述した病変出現特定部５２からのタイミング情報に応じた時系列画像の記録と並行して、画像取得部５１からの時系列画像を適宜記録する。【００４８】
バッファ記録部５４は、画像取得部５１から出力された、内視鏡検査に係るすべての前記時系列画像を記録可能とするものであり、さらに本実施形態においては、少なくとも、当該病変出現特定部５２において「病変の出現が特定された時点」に対して所定時間遡った時間から当該時系列画像の記録を開始可能とする。【００４９】
なお病変出現特定部５２は、当該バッファ記録部５４に記録された前記時系列画像を取得すると共に、当該取得された前記時系列画像から「病変の出現」を特定することもできる。【００５０】
このとき記録部５３は、例えば、内視鏡検査が終了した後に前記病変出現特定部５２によって特定された前記病変の出現タイミングに応じて前記バッファ記録部５４に記録された前記時系列画像のうち所定の画像、例えば、前記取得した画像において病変が出現した直後を含む区間（病変区間）を記録する可能とする。【００５１】
次に、図４を参照して、本第１の実施形態の画像記録装置５０における病変出現特定部５２の具体的な構成について説明する。【００５２】
なお、図４において記録部５３は、特段図示はしないが、上述したようにバッファ記録部５４を含む。さらに、記録部５３は、上述した教師データ作成部、学習モデル作成部、および、認識部を含む。【００５３】
図４に示すように、本第１の実施形態における病変出現特定部５２は、病変発見動作判定５２Ａと、病変の出現のタイミングを判定する出現タイミング判定部５２Ｄとを有する。【００５４】
病変発見動作判定部５２Ａは、外部からの情報に基づいて病変を発見する動作を検知する。すなわち病変発見動作判定部５２Ａは、ビデオプロセッサ３０から出力される操作者の病変発見動作に係る通知情報を受け取り、当該通知情報に基づいて病変の発見を検知する操作者通知情報受信部としての役目を果たす。【００５５】
具体的に病変発見動作判定部５２Ａは、ビデオプロセッサ３０から送信される、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する。【００５６】
これら操作者の発声情報、レリーズ操作情報等は、上述したように、例えば入力装置７０または操作部１２のスコープスイッチ１１２からの外部情報を受けたビデオプロセッサ３０から病変発見動作判定部５２Ａに送信される情報である。【００５７】
一方、病変発見動作判定部５２Ａは、ビデオプロセッサ３０から送信される、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する。【００５８】
これらの内視鏡に係る動作情報は、上述したように、例えば、挿入形状検出装置４０からの挿入形状情報等に基づきビデオプロセッサ３０において判定された当該内視鏡挿入部に係る動作情報である。【００５９】
出現タイミング判定部５２Ｄは、本実施形態においては、病変発見動作判定部５２Ａにおいて病変を発見する動作を検知した際、当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。【００６０】
具体的には、出現タイミング判定部５２Ｄは、操作者によって病変が発見された動作（操作者の音声、レリーズ操作、内視鏡挿入部の動作等）を検知した際、当該検知直後のタイミング、または、当該検知時より所定の時間遡ったタイミングから前記時系列の内視鏡画像を記録するよう、当該タイミング情報を記録部５３に送信する。【００６１】
一方で記録部５３は、上述したように画像取得部５１からの時系列画像を一時的に適宜バッファ記録すると共に、病変出現特定部５２からのタイミング情報に応じた時系列画像を記録する。【００６２】
＜第１の実施形態の作用＞
次に、本第１の実施形態の画像記録装置の作用について説明する。【００６３】
まず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得する。そして、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に送出する。【００６４】
記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。【００６５】
一方、病変出現特定部５２では、時系列画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを、上述した病変発見動作判定部５２Ａおよび出現タイミング判定部５２Ｄによって特定し、このタイミングの情報を記録部５３に向けて送出する。【００６６】
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病原出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。【００６７】
すなわち記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録し、還元すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。【００６８】
この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。【００６９】
さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。【００７０】
＜第１の実施形態の効果＞
本第１の実施形態における画像記録装置においては、内視鏡検査を行う際に、コンピュータによる病変の検出結果と病変の鑑別結果の通知がリアルタイムに行われるので、経験の浅い医師でも、ベテラン医師に劣らない品質で検査を行うことができる。【００７１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。【００７２】
本第２の実施形態の画像記録装置は、第１の実施形態に比して、病変出現特定部５２の構成を異にする。第１の実施形態の画像記録装置は、病変出現特定部５２として、操作者による病変発見動作または内視鏡挿入部の動作に応じて記録部５３が記録するタイミング情報を特定した。すなわち第１の実施形態は、操作者の動作に応じて上記タイミング情報を特定した。【００７３】
これに対して第２の実施形態は、内視鏡検査画像の画像信号から自動的に病変の関心領域を検出し、当該関心領域の検出に応じて病変を算出すると共に当該算出した病変情報に応じた所定のタイミング情報を特定し、なおかつ当該タイミング情報に基づいて記録部５３に自動的に所定の時系列画像を記録することを特徴とする。【００７４】
その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【００７５】
＜第２の実施形態における画像記録装置５０の内部構成＞
次に、本第２の実施形態の画像記録装置５０の構成について詳しく説明する。【００７６】
図５は、本発明の第２の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。【００７７】
なお、図５においても記録部５３は、特段図示はしないが、上述したようにバッファ記録部５４を含む。さらに、記録部５３は、上述した教師データ作成部、学習モデル作成部、および、認識部を含む。【００７８】
また、本第２の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【００７９】
図５に示すように、本第２の実施形態における画像記録装置５０は、第１の実施形態と同様に、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。【００８０】
第２の実施形態においても画像取得部５１は、第１の実施形態と同様に、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に向けて送出するようになっている。【００８１】
さらに病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。また、記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病原出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。【００８２】
このように本第２の実施形態においても、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。【００８３】
さらに第２の実施形態においても記録部５３は、第１の実施形態と同様の教師データ作成部、学習モデル作成部、認識部を有し、いわゆるディープラーニング等の手法により作成した認識アルゴリズムを用いて、適宜、認識処理を実行する。【００８４】
なお、本第２の実施形態においても記録部５３は、図３に示すようなバッファ記録部５４を含み、病変出現特定部５２からのタイミング情報に応じた時系列画像の記録と並行して、画像取得部５１からの時系列画像を適宜記録する。【００８５】
図５に示すように本第２の実施形態においては、病変出現特定部５２は、病変検出部５２Ｂと、病変情報算出部５２Ｃと、出現タイミング判定部５２Ｄとを有する。【００８６】
病変検出部５２Ｂは、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出するようになっている。【００８７】
病変情報算出部５２Ｃは、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）の画像データに基づいて当該「病変」に係る関心領域（ＲＯＩ）情報を算出するようになっている。【００８８】
この「病変」に係る情報は、例えば、当該病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）に係る時系列情報、当該関心領域（ＲＯＩ）に係る位置情報、当該関心領域（ＲＯＩ）に係る距離情報、または、当該関心領域（ＲＯＩ）に係る大きさ情報である。【００８９】
具体的には、病変情報算出部５２Ｃは、病変検出部５２Ｂにおいて検出した「病変」に係る関心領域（ＲＯＩ）の時系列的な変化、位置、距離、または、大きさの情報と予め求められた情報とを比較し、所定の場合には、「病変」であると判断する。【００９０】
出現タイミング判定部５２Ｄは、本第２の実施形態においては、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変情報算出部５２Ｃにおいて算出した「病変」に係る情報に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。【００９１】
＜第２の実施形態の作用＞
次に、本第２の実施形態の画像記録装置の作用について説明する。【００９２】
第２の実施形態においてもまず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得し、当該時系列の画像信号を記録部５３に送出すると共に、病変出現特定部５２に送出する。【００９３】
記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。【００９４】
一方、病変検出部５２Ｂが、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出する。【００９５】
この後、病変情報算出部５２Ｃは、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）の画像データに基づいて当該「病変」を算出する。【００９６】
出現タイミング判定部５２Ｄは、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変情報算出部５２Ｃにおいて算出した「病変」に係る情報に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。【００９７】
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病原出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。【００９８】
本第２の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、還元すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。【００９９】
この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。【０１００】
さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。【０１０１】
＜第２の実施形態の効果＞
本第２の実施形態における画像記録装置においては、内視鏡検査画像の画像信号から自動的に病変の関心領域を検出し、当該関心領域の検出に応じて病変を算出すると共に当該算出した病変情報に応じた所定のタイミング情報を特定し、なおかつ当該タイミング情報に基づいて記録部に自動的に所定の時系列画像を記録するので、より高品質な検査を行うことができる。【０１０２】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。【０１０３】
本第３の実施形態の画像記録装置は、病変検出部において病変に係る関心領域を検出した際、記録部５３におけるバッファ記録部５４にバッファしている時系列の内視鏡検査画像の画像信号に対して所定の病変マッチング処理を行い、このマッチングの結果に応じて所定のタイミング情報を特定することを特徴とする。【０１０４】
その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【０１０５】
＜第３の実施形態における画像記録装置５０の内部構成＞
次に、本第３の実施形態の画像記録装置５０の構成について詳しく説明する。【０１０６】
図６は、本発明の第３の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。【０１０７】
また、本第３の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【０１０８】
図６に示すように、本第３の実施形態における画像記録装置５０は、第１の実施形態と同様に、ビデオプロセッサ３０に接続され、内視鏡検査の時系列画像を取得する画像取得部５１と、この画像取得部５１において取得された前記時系列画像から病変の出現を特定する病変出現特定部５２と、前記病変出現特定部５２において前記病変の出現が特定された時点から前記時系列画像の記録を開始する記録部５３と、を有する。【０１０９】
また、図６に示すように本第３の実施形態においては、病変出現特定部５２は、病変検出部５２Ｂと、病変マッチング部５２Ｅと、出現タイミング判定部５２Ｄとを有する。【０１１０】
第３の実施形態において画像取得部５１は、第１の実施形態と同様に、ビデオプロセッサ３０における画像処理部において所定の画像処理が施された内視鏡１０からの出力される撮像信号（画像信号）を取得し、当該時系列の画像信号を記録部５３（バッファ記録部５４）に送出すると共に、病変出現特定部５２における病変検出部５２Ｂに向けて送出する。【０１１１】
また、記録部５３におけるバッファ記録部５４は、画像取得部５１から受信した当該時系列の内視鏡検査画像信号をバッファとして格納する。【０１１２】
病変検出部５２Ｂは、第２の実施形態と同様に、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出するようになっている。【０１１３】
病変マッチング部５２Ｅは、前記病変検出部５２Ｂにおいて関心領域（ＲＯＩ）を検出した際、記録部５３のバッファ記録部５４にバッファされている当該内視鏡検査画像を取得し、当該取得した画像と、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）とのマッチングを実施するようになっている。【０１１４】
出現タイミング判定部５２Ｄは、本第３の実施形態においては、病変検出部５２Ｂにおいて所定の関心領域（ＲＯＩ）を検出した際、前記病変マッチング部５２Ｅにおけるマッチング結果に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信するようになっている。【０１１５】
＜第３の実施形態の作用＞
次に、本第３の実施形態の画像記録装置の作用について説明する。【０１１６】
第３の実施形態においてもまず画像取得部５１は、ビデオプロセッサ３０から送信される内視鏡検査に係る時系列画像を取得し、当該時系列の画像信号を記録部５３のバッファ記録部５４に送出すると共に、病変出現特定部５２（病変検出部５２Ｂ）に送出する。【０１１７】
記録部５３では、画像取得部５１から受信した前記時系列画像をバッファ記録部５４に適宜記録する一方で、病変出現特定部５２からのタイミング情報の受信を待つ。【０１１８】
一方、病変検出部５２Ｂが、画像取得部５１において取得した時系列画像である内視鏡検査画像信号を受信し、当該画像信号に対して公知の画像処理を施すことにより、「病変」としての関心領域（ＲＯＩ）を検出する。【０１１９】
また病変マッチング部５２Ｅは、病変検出部５２Ｂにおいて関心領域（ＲＯＩ）を検出すると、バッファ記録部５４にバッファされている当該内視鏡検査画像を取得し、当該取得した画像と、前記病変検出部５２Ｂにおいて検出した関心領域（ＲＯＩ）とのマッチングを実施する。【０１２０】
この後、出現タイミング判定部５２Ｄは、前記病変マッチング部５２Ｅにおけるマッチング結果に応じて当該病変出現のタイミングを判定し、当該タイミングに基づくタイミング情報を記録部５３に送信する。【０１２１】
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病原出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。【０１２２】
本第３の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、還元すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。【０１２３】
この後、記録部５３は、作成したアノテーションデータに基づいて、機械学習用の教師データを作成し、さらに当該教師データに基づいて認識用の学習モデルを作成する。【０１２４】
さらに記録部５３は、作成した前記学習モデルに基づいて、いわゆるディープラーニング等の手法により認識処理のアルゴリズムを作成し、適宜、認識処理を実行する。【０１２５】
＜第３の実施形態の効果＞
本第３の実施形態における画像記録装置においては、病変検出部において病変に係る関心領域を検出した際、記録部５３におけるバッファ記録部５４にバッファしている時系列の内視鏡検査画像の画像信号に対して所定の病変マッチング処理を行い、このマッチングの結果に応じて所定のタイミング情報を特定するので、より高品質な検査を行うことができる。【０１２６】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。【０１２７】
第１〜第３の実施形態は、画像記録装置５０はビデオプロセッサ３０に対して別体に設けていたが、第４の実施形態においては、ビデオプロセッサに当該画像記録装置５０の機能を内設したことを特徴とする。【０１２８】
その他の構成は第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。【０１２９】
図７は、本発明の第４の実施形態に係る画像記録装置を含む内視鏡システムの構成を示すブロック図であり、図８は、第４の実施形態の画像記録装置および周辺部の構成を説明するブロック図である。【０１３０】
図７に示すように、第４の実施形態においては、第１の実施形態におけるビデオプロセッサ３０と同様の画像処理等を行う画像処理部３１を有するビデオプロセッサ１３０に、第１の実施形態における画像記録装置５０と同等の構成を成す画像記録装置５０を内設したことを特徴とする。【０１３１】
本第４の実施形態における画像記録装置５０は、ビデオプロセッサに一体化されているほかは第１の実施形態と同様であり、その作用効果も第１の実施形態と同様である。【０１３２】
なお、本第４の実施形態においても画像記録装置５０の各部については、電子回路として構成されるものであってもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、画像記録装置５０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。【０１３３】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図１】
2020165978.tif 000003
【図２】
2020165978.tif 000004
【図３】
2020165978.tif 000005
【図４】
2020165978.tif 000006
【図５】
2020165978.tif 000007
【図６】
2020165978.tif 000008
【図７】
2020165978.tif 000009
【図８】
2020165978.tif 000010
【手続補正書】
【提出日】令和3年7月27日(2021.7.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一態様の画像記録装置は、内視鏡検査の時系列画像を取得する取得部と、前記内視鏡検査のすべての前記時系列画像を一時的に記録可能なバッファ記録部と、前記バッファ記録部に一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、前記病変出現特定部によって特定された前記病変の出現に応じて、前記バッファ記録部に一時的に記録された前記時系列画像のうち所定の画像を記録する記録部と、を有する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の一態様の画像記録方法は、内視鏡検査の時系列画像を取得する取得ステップと、前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の一態様の画像記録プログラムは、コンピュータに、内視鏡検査の時系列画像を取得する取得ステップと、前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、前記病変出現特定ステップにおいて特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、を実行させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病変出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
このように本実施形態において記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録をする。換言すれば、本実施形態の画像記録装置によると、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを容易に作成することが可能となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病変出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
すなわち記録部５３は、病変出現特定部５２からの前記タイミング情報に応じた時系列画像の記録し、換言すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
さらに病変出現特定部５２では、前記時系列の画像信号を受信した後、当該時系列画像に基づいて病変の出現タイミングを特定し、このタイミングの情報を記録部５３に向けて送出する。また、記録部５３は、画像取得部５１から前記時系列画像を受信する一方で、病変出現特定部５２からの病変出現タイミング情報を受信し、このタイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病変出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
本第２の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、換言すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
記録部５３は、画像取得部５１から前記時系列画像を受信しバッファ記録部５４にバッファする一方で、病変出現特定部５２からの病変出現タイミング情報を受信すると、当該タイミング情報に応じた前記時系列画像の記録、例えば、内視鏡検査の時系列画像に係る病変が出現した直後を含む病変区間の記録を開始する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
本第３の実施形態においても記録部５３は、病変出現特定部５２（出現タイミング判定部５２Ｄ）からの前記タイミング情報に応じた時系列画像の記録し、換言すれば、コンピュータ検出／診断支援（ＣＡＤｅ）を用いた病変検出において重要な画像中に病変が出現し始めたタイミングのアノテーションデータを作成する。
【手続補正１３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
内視鏡検査の時系列画像を取得する取得部と、
前記内視鏡検査のすべての前記時系列画像を一時的に記録可能なバッファ記録部と、
前記バッファ記録部に一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定部と、
前記病変出現特定部によって特定された前記病変の出現に応じて、前記バッファ記録部に一時的に記録された前記時系列画像のうち所定の画像を記録する記録部と、
を有することを特徴とする画像記録装置。
【請求項２】
前記記録部は、前記バッファ記録部に一時的に記録された前記時系列画像のうち、前記病変が出現した直後を含む区間を記録する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記病変出現特定部は、外部からの情報に基づいて病変を発見する動作を検知する病変発見動作判定部を備える
ことを特徴とする請求項１に記載の画像記録装置。
【請求項４】
前記病変出現特定部は、前記病変発見動作判定部による前記病変の発見をする動作の検知時より所定時間遡ったタイミングから前記時系列の内視鏡画像を記録するよう前記記録部にタイミング情報を送信し、
前記記録部は、前記タイミング情報に応じた時系列画像を記録する
ことを特徴とする請求項３に記載の画像記録装置。
【請求項５】
前記病変発見動作判定部は、操作者の病変発見動作に係る通知情報に基づいて病変の発見を検知する操作者通知情報受信部を備える
ことを特徴とする請求項３に記載の画像記録装置。
【請求項６】
前記操作者通知情報受信部は、操作者の発声情報、操作者に係る所定のレリーズ操作情報、または、操作者に係る所定のフリーズ操作情報に基づいて病変の発見を検知する
ことを特徴とする請求項５に記載の画像記録装置。
【請求項７】
前記病変発見動作判定部は、内視鏡の動作に係る情報に基づいて病変の発見を検知する内視鏡動作情報受信部を備える
ことを特徴とする請求項３に記載の画像記録装置。
【請求項８】
前記内視鏡動作情報受信部は、内視鏡挿入部の動作停止情報もしくは動作変化情報、または内視鏡処置に係る動作情報に基づいて病変の発見を検知する
ことを特徴とする請求項７に記載の画像記録装置。
【請求項９】
前記病変出現特定部は、前記取得された前記時系列画像に基づいて病変を検出する病変検出部を有する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項１０】
前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変に係る情報を算出する病変情報算出部を有する
ことを特徴とする請求項９に記載の画像記録装置。
【請求項１１】
前記病変情報算出部は、前記病変検出部において検出した病変に係る時系列情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１２】
前記病変情報算出部は、前記病変検出部において検出した病変に係る位置情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１３】
前記病変情報算出部は、前記病変検出部において検出した病変に係る距離情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１４】
前記病変情報算出部は、前記病変検出部において検出した病変に係る大きさの情報を算出する
ことを特徴とする請求項１０に記載の画像記録装置。
【請求項１５】
前記病変出現特定部は、さらに、前記病変検出部において検出した病変に基づいて当該病変のマッチング処理を行う病変マッチング部を有する
ことを特徴とする請求項９に記載の画像記録装置。
【請求項１６】
前記病変出現特定部は、さらに、前記病変の出現タイミングを判定する出現タイミング判定部を有する
ことを特徴とする請求項３に記載の画像記録装置。
【請求項１７】
前記病変出現特定部によって出現が特定された病変に係る前記時系列画像に対応するアノテーションデータに基づいて機械学習用の教師データを作成する教師データ作成部と、
前記教師データ作成部において作成された前記教師データに基づいて認識用の学習モデルを作成する学習モデル作成部と、
を有することを特徴とする請求項１に記載の画像記録装置。
【請求項１８】
前記学習モデル作成部において作成された前記学習モデルに基づいて所定の認識処理を行う認識部をさらに備える
ことを特徴とする請求項１７に記載の画像記録装置。
【請求項１９】
内視鏡検査の時系列画像を取得する取得ステップと、
前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、
一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、
を有することを特徴とする画像記録方法。
【請求項２０】
コンピュータに、
内視鏡検査の時系列画像を取得する取得ステップと、
前記内視鏡検査のすべての前記時系列画像を一時的に記録するステップと、
一時的に記録された前記時系列画像を取得すると共に、前記取得された前記時系列画像に係る病変の出現を特定する病変出現特定ステップと、
前記病変出現特定ステップにおいて特定された前記病変の出現に応じて、一時的に記録された前記時系列画像のうち所定の画像を記録する記録ステップと、
を実行させるための画像記録プログラム。
【国際調査報告】
2020165978.tif 000011
2020165978.tif 000012