(57)【要約】  安定した支援情報（表示・音）を施術者に提示することにより、施術の精度を向上させる施術支援装置１は、内視鏡４２を用いて撮像した生体内部画像２１から、対象部位に対応する対象部位画像２２の領域を表す領域情報と、対象部位画像２２が対象部位である確度を表す確度情報とを算出する、算出部２と、領域情報の変化、又は確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成部３とを有する。
2020166528.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出手段と、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成手段と
を有することを特徴とする施術支援装置。
【請求項２】
請求項１に記載の施術支援装置であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とする施術支援装置。
【請求項３】
請求項２に記載の施術支援装置であって、
前記生成手段は、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて、前記支援情報を生成する
ことを特徴とする施術支援装置。
【請求項４】
請求項２又は３に記載の施術支援装置であって、
前記生成手段は、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【請求項５】
請求項１から４のいずれか一つに記載の施術支援装置であって、
前記生成手段は、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【請求項６】
請求項５に記載の施術支援装置であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とする施術支援装置。
【請求項７】
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出し、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する
を有することを特徴とする施術支援方法。
【請求項８】
請求項７に記載の施術支援方法であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とする施術支援方法。
【請求項９】
請求項８に記載の施術支援方法であって、
前記支援情報は、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて生成する
ことを特徴とする施術支援方法。
【請求項１０】
請求項８又は９に記載の施術支援方法であって、
前記支援情報は、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて生成する
ことを特徴とする施術支援方法。
【請求項１１】
請求項８から１０のいずれか一つに記載の施術支援方法であって、
前記支援情報は、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて生成する
ことを特徴とする施術支援方法。
【請求項１２】
請求項１１に記載の施術支援方法であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とする施術支援方法。
【請求項１３】
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出させ、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成させる
命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１４】
請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１５】
請求項１４に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出させ、算出させた前記確度の数に応じて、前記支援情報を生成させる
命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１６】
請求項１４又は１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出させ、算出させた類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて、前記支援情報を生成させる
命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１７】
請求項１４から１６のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
前記生体内部画像の撮像状態を抽出させ、抽出させた前記撮像状態に応じて、前記支援情報を生成させる
命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１８】
請求項１７に記載のコンピュータ読み取り可能な記録媒体であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムを記録したしているコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
内視鏡を用いて撮像した画像から対象とする人体部位画像を抽出した旨を施術者に通知することで、施術者の施術を支援する施術支援装置が知られている。例えば、通知する手法として、内視鏡を用いて撮像した画像から、癌化する可能性が高い腫瘍に対応する人体部位画像を抽出した場合、その人体部位画像に対して強調表示をしたり、音を鳴らしたりして、対象とする人体部位画像が抽出されたことを施術者に通知する。【０００３】
ここで、強調表示とは、人体部位画像の領域を施術者に分かり易くする図形、色などを利用した表示、人体部位画像に関する情報を表す表示などである。また、音を鳴らす方法は、音の高低、音量の大小、音声ガイダンスにより、施術者の聴覚を通じて、施術者に通知する方法がある。【０００４】
このように、上述した施術支援装置によれば、対象とする人体部位画像が抽出された旨を通知することにより、施術者の人体部位画像の見落としを抑止できる。そのため、施術の精度を向上させることができる。【０００５】
また、関連する技術として、特許文献１には、人体部位画像を抽出したことを表す報知表示と、人体部位画像の誤検出の確率を表す確率表示とを施術者に提示する、内視鏡画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許６３１５８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１などに開示された技術では、撮像された人体部位画像の撮像状態は、内視鏡の操作などの影響により、フレームごとに変化する。これにともない、施術者への報知表示も極端な変化をする。すなわち、施術者の支援をするはずの報知表示が極端に変化をして、施術を阻害する。例えば、施術者にとって人体部位画像が見にくい状態となる。そのため、施術の精度が低下する。【０００８】
極端な変化とは、例えば、内視鏡の操作、周辺環境の影響などにより発生するボケ、ブレなどが頻発した場合に、強調表示に用いる図形がちらついたり、色が点滅するように変化したりすることなどである。また、音を鳴らす場合には、音の高低、音量の大小、音声ガイダンスが頻繁に変化し、耳障りとなることである。【０００９】
本発明の目的の一例は、安定した支援情報（表示・音）を施術者に提示することにより、施術の精度を向上させる、施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一側面における施術支援装置は、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出部と、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成部と
を有することを特徴とする。【００１１】
また、上記目的を達成するため、本発明の一側面における施術支援方法は、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出ステップと、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成ステップと
を有することを特徴とする。【００１２】
さらに、上記目的を達成するため、本発明の一側面におけるプログラムを記録したコンピュータ読み取り可能な記録媒体は、
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出ステップと、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成ステップと
を実行させる命令を含むプログラムを記録していることを特徴とする。
【発明の効果】
【００１３】
以上のように本発明によれば、安定した支援情報（表示・音）を施術者に提示することにより、施術の精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、施術支援装置の一例を示す図である。
【図２】図２は、従来における強調表示と、確度表示の一例を示す図である。
【図３】図３は、本実施の形態における強調表示と、確度表示の一例を示す図である。
【図４】図４は、施術支援装置を有するシステムの一例を示す図である。
【図５】図５は、生体内部画像及び特徴量ｆを表す画像の一例を示す図である
【図６】図６は、特徴量ｒの算出を説明するための図である。
【図７】図７は、特徴量ｒの算出を説明するための図である。
【図８】図８は、特徴量情報のデータ構造の一例を示す図である。
【図９】図９は、強調表示情報の生成を説明するための図である。
【図１０】図１０は、強調表示情報の生成を説明するための図である。
【図１１】図１１は、施術支援装置の動作の一例を示す図である。
【図１２】図１２は、施術支援装置を実現するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１５】
（実施の形態）
以下、本発明の実施の形態について、図１から図１２を参照しながら説明する。
【００１６】
［装置構成］
最初に、図１を用いて、本実施の形態における施術支援装置１の構成について説明する。図１は、施術支援装置１の一例を示す図である。
【００１７】
図１に示す施術支援装置は、安定した表示を施術者に提示することにより、施術の精度を向上させる装置である。また、図１に示すように、施術支援装置１は、算出部２と、生成部３とを有する。
【００１８】
このうち、算出部２は、内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、対象部位画像が対象部位である確度を表す確度情報とを算出する。生成部３は、領域情報の変化、又は確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する。
【００１９】
なお、支援情報は、領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は対象部位を抽出した旨を音で通知する音情報、又はそれら二つ以上の情報を有する。
【００２０】
このように、本実施の形態においては、対象部位画像の領域の変化、又は確度の変化、又はそれら二つの変化に応じて、支援情報（強調表示情報、又は確度表示情報、又は音情報、又はそれら二つ以上の情報）を生成させる。そのため、撮像された対象部位画像の撮像状態が、内視鏡の操作などの影響により、フレームごとに変化して、対象部位画像の撮像状態が、極端に変化した場合でも、支援情報の極端な変化を抑制できる。これにより支援情報が施術を阻害することなく、施術者にとって対象部位画像が見にくい状態にならないようにできる。従って、施術の精度を向上させることができる。
【００２１】
図２、図３を用いて具体的に説明をする。図２は、従来における強調表示と、確度表示の一例を示す図である。図３は、本実施の形態における強調表示と、確度表示の一例を示す図である。なお、図２、図３における対象部位画像２２は、例えば、腫瘍に対応する画像である。
【００２２】
また、対象部位画像２２を抽出した旨を、音情報として音の高低、音量の大小、音声ガイダンスなどにより、施術者に通知している。
【００２３】
図２の例では、時刻ｔ１における対象部位画像２２ａの確度が、あらかじめ設定された閾値０．６以上の確度０．７であるので、強調表示２３ａとして白色実線楕円が表示される。続いて、時刻ｔ２において、対象部位画像２２ｂの確度が、閾値０．６より小さい確度０．２であるので、強調表示２３ｂとして白色破線楕円が表示される。続いて、時刻ｔ３において、対象部位画像２２ｃの確度が、閾値０．６以上の確度０．９であるので、強調表示２３ｃとして白色破線楕円が表示される。なお、閾値は、強調表示を切り替えるために用いる値である。
【００２４】
しかし、上述したような極端な確度の変化が続くと、白色実線楕円と白色破線楕円とが交互に表示されるため、施術者を支援するために表示されているはずの強調表示が、逆に施術者の施術の妨げになる。
【００２５】
また、図２の例では、画像２１ａ、２１ｂ、２１ｃごとに、異なる確度表示２４が表示されるため、確度表示２４が落ち着いて表示されない。そのため、確度表示が施術者の施術の妨げになる。さらに、確度の変化により強調表示と確度表示の色を変化させるような場合には、施術者にとってより一層施術の妨げとなる。
【００２６】
また、図２の例では、画像２１ａ、２１ｂ、２１ｃごとに、異なる確度表示２４が表示される、すなわち対象部位画像２２が検知されたりされなかったりするので、音が落ち着いて出力されない。そのため、音が施術者の施術の妨げになる。さらに、確度の変化により強調表示と確度表示の色に加え、音の高低、音量の大小、音声ガイダンスなどを変化させるような場合には、施術者にとってより一層施術の妨げとなる。
【００２７】
そこで、本実施の形態によれば、図３に示すような強調表示と確度表示とを行う。図３の例では、図２の時刻ｔ２において対象部位画像２２ｂの確度が０．２でも、強調表示２３ｂを白色破線楕円とせず、強調表示２３ｂ′に示すように白色実線楕円で表示させる。すなわち、上述したような確度が急激に変化（極端に変化）しても、時刻ｔ１からｔ３までの間、強調表示２３を同じ白色実線楕円で表示する（ちらつかないように表示する）ことで、施術者の施術の妨げにならないようにする。
【００２８】
また、図３の例では、図２の時刻ｔ２では対象部位画像２２ｂの確度が０．２でも、確度表示２４ｂを０．２とせず、時刻ｔ１の確度表示２４ａ又はｔ３の確度表示２４ｃと同じ確度表示２４ｂ′として０．７又は０．９を表示させる。そうすることで、確度表示についても、確度表示が極端に変化しにくくする（ちらつかないようにする）。従って、施術者の施術の妨げにならないように確度表示をするので、施術の精度を向上させることができる。なお、時刻ｔ１と時刻ｔ３との確度の平均０．８を、時刻ｔ２の確度表示２４としてもよい。
【００２９】
また、図３の例では、図２の時刻ｔ２では対象部位画像２２ｂの確度が０．２でも、音情報を０．２に対応する音の高さ、音量の大きさにせず、時刻ｔ１の確度表示２４ａ又はｔ３の確度表示２４ｃと同じ音を出力させる。そうすることで、音情報についても、音が極端に変化しにくくする（耳障りにならないようにする）。従って、施術者の施術の妨げにならないように音を出力するので、施術の精度を向上させることができる。
【００３０】
［システム構成］
続いて、図４を用いて、本実施の形態における施術支援装置１の構成をより具体的に説明する。図４は、施術支援装置を有するシステムの一例を示す図である。
【００３１】
図４に示すように、本実施の形態におけるシステム４０は、施術支援装置１に加え、制御部４１と、内視鏡４２と、出力装置４３とを有する。また、生成部３は、強調表示生成部４４と、確度表示生成部４５と、音情報生成部４６とを有する。
【００３２】
制御部４１は、入力された画像に対して画像処理などを実行する、例えば、ビデオプロセッサなどである。具体的には、制御部４１は、内視鏡４２から撮像信号を取得して、撮像信号に対して画像調整などを行い、生体内部画像２１を生成して施術支援装置１へ出力する。
【００３３】
内視鏡４２は、人体などの生体内部を撮像した生体内部画像２１を、内視鏡４２と接続されている制御部４１へ送信する。内視鏡４２は、例えば、生体内部に挿入する挿入部と、挿入部の先端側に設けられている撮像部と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡４２と施術支援装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像部以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。
【００３４】
出力装置４３は、生成部３から出力可能な形式に変換された後述する出力情報を取得し、その出力情報に基づいて生成した画像及び音声などを出力する。なお、出力装置４３は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置４３は、プリンタなどの印刷装置でもよい。
【００３５】
施術支援装置について具体的に説明する。
算出部２は、内視鏡４２を用いて時系列に撮像された複数の生体内部画像２１ごとに、対象部位に対応する対象部位画像２２を表す領域情報と、対象部位画像２２が対象部位である確度を表す確度情報とを算出する。
【００３６】
具体的には、まず、算出部２は、内視鏡４２から制御部４１を介して生体内部画像２１を取得する。続いて、算出部２は、生体内部画像２１から特徴量ｆを抽出する。
【００３７】
生体内部画像２１から特徴量ｆを抽出する方法としては、例えば、ＬＢＰ（Local Binary Pattrn）がある。ＬＢＰについては、例えば、文献「T. Ojala, M. Pietikainen, and D. Harwood, “Performance evaluation of texture measures with classification based onkullback discrimination of distributions,” inProc. IEEE Int.Conf. Patt. Recogn., 1994.」などに記載されている。なお、特徴量ｆを抽出する方法は、ＬＢＰに限らず、生体内部画像２１から特徴量ｆを抽出できる方法であればよい。
【００３８】
図５は、生体内部画像及び特徴量ｆを表す画像の一例を示す図である。図５に示す生体内部画像５１は、大腸内を撮像した画像で、対象部位画像５３は腫瘍を撮像した画像である。また、図５に、生体内部画像５１それぞれから、抽出した特徴量ｆを表す画像として画像５２が示されている。なお、図５の画像５２においては、対象部位の特徴は白色及び白色に近い色の領域で示され、それ以外は黒色の領域で示されている。
【００３９】
続いて、算出部２は、生体内部画像２１から生成した特徴量ｆに対応する画像に対して、スライディングウィンドウなどの対象部位画像２２を検出するための処理を適用し、生体内部画像２１ごとに特徴量ｒを算出する。特徴量ｒは、例えば、ウィンドウ６１、６１′内の特徴を用いて算出される。
【００４０】
図６、図７は、特徴量ｒの算出を説明するための図である。算出部２は、特徴量ｆに対応する画像５２に対して、例えば、図６に示す白色の矢印の方向（所定順）にウィンドウ６１（窓領域）をずらし、ウィンドウ６１をずらすごと（所定距離移動させるごと）に、特徴量を算出する。また、算出部２は、ウィンドウ６１の大きさを変更し、異なる大きさのウィンドウ６１′を用いて、当該ウィンドウ６１′を所定順にずらし、ウィンドウ６１′をずらすごとに、特徴量を算出する。なお、所定順は、図６に示す白色の矢印の方向（水平方向）に限定されるものではない。
【００４１】
ウィンドウ６１、６１′について説明する。ウィンドウ６１、６１′の位置を示す位置情報は、画像５２を二次元座標系と考えた場合、ウィンドウ６１内のいずれかの座標により示される。例えば、ウィンドウ６１内のいずれかの座標として、図６に示すような中心座標（Ｘ，Ｙ）がある。ウィンドウ６１の大きさを表すサイズ情報は、画像５２を二次元座標系と考えた場合、図６に示すようなウィンドウ６１の幅（Ｗ）と高さ（Ｈ）とにより示される。
【００４２】
特徴量ｒについて説明する。特徴量ｒの領域情報は、図７の領域６２に示すように、対象部位に外接する矩形の中心座標（Ｘｒ，Ｙｒ）と、その矩形の大きさを表すサイズ情報（矩形の幅（Ｗｒ）と高さ（Ｈｒ））とにより表される。
【００４３】
なお、対象部位を外接する矩形の中心座標は、ウィンドウ６１に対する相対位置、すなわち（Ｘｒ’＝Ｘｒ−Ｘ，Ｙｒ’＝Ｙｒ−Ｙ）としてもよい。確度情報は、ウィンドウ６１内の特徴を用いて算出される、検出対象部位の領域が対象部位に相当する確度（ｃｏｎｆ）を示す情報である。
【００４４】
なお、特徴量ｒは、例えば、特徴ベクトルｒ＝（Ｘｒ’，Ｙｒ’，Ｗｒ，Ｈｒ，ｃｏｎｆ）のように表してもよい。また、特徴量ｒの領域情報の形状は、矩形でなくてもよい。例えば、円形、楕円形などでもよい。
【００４５】
なお、算出部２は、生体内部画像５１と上述した特徴量ｆ、ｒとを関連付けて、不図示の記憶装置に記憶する。図８は、特徴量情報のデータ構造の一例を示す図である。図８においては、特徴量ｆ、ｒを示す特徴量情報８１は、生体内部画像に対応する特徴量ｆと、特徴量ｒ（ｒ１、ｒ２、ｒ３、ｒ４）とが関連付けられている。なお、記憶装置は、制御部４１の内部に設けてもよいし、外部に設けてもよい。
【００４６】
生成部３は、出力装置４３に画像を出力させるために用いる出力情報を生成する。出力情報とは、例えば、生体内部画像２１、対象部位画像２２、強調表示２３、確度表示２４、音情報などを出力装置４３に出力させるために用いる情報である。
【００４７】
生成部３について具体的に説明する。
強調表示生成部４４は、対象とする生体内部画像２１の前後に撮像された複数の生体内部画像２１それぞれの確度を用いて、閾値以上の確度の数と閾値より小さい確度の数とを算出し、算出した確度の数に応じて、強調表示情報を生成する。具体的には、強調表示生成部４４は、閾値以上の確度の数と閾値より小さい確度の数とを用いて多数決をし、多数決の結果に応じて強調表示情報を生成する。
【００４８】
前後の一つのフレームを用いる場合について説明する。
対象とする生体内部画像２１の前後に撮像した生体内部画像２１を一つずつ用いて多数決をする場合、強調表示生成部４４は、前後に撮像した生体内部画像２１それぞれの確度が共に閾値以上であれば、対象とする生体内部画像２１の確度が閾値より小さくても、前後と同じ強調表示２３を表示するために用いる強調表示情報を生成する。
【００４９】
図９は、強調表示情報の生成を説明するための図である。図９のＡは、図２に示した生体内部画像２１ａ、２１ｂ、２１ｃと、それらに対応する確度との関係を示す図である。生体内部画像２１ａにおける対象部位画像の確度０．７と、生体内部画像２１ｂにおける対象部位画像の確度０．２と、生体内部画像２１ｃの確度０．９とが示されている。このような場合、強調表示生成部４４は、図３に示すように、前後と同じ強調表示２３である白色実線楕円を強調表示として表示するために用いる強調表示情報を生成する。
【００５０】
逆に、前後に撮像した生体内部画像２１それぞれの確度が共に閾値より小さい場合、強調表示生成部４４は、対象とする生体内部画像２１の確度が閾値以上でも、前後と同じ強調表示２３を表示するために用いる強調表示情報を生成する。
【００５１】
例えば、図９のＢに示すよう、生体内部画像２１ａにおける対象部位画像の確度が０．２、生体内部画像２１ｂにおける対象部位画像の確度が０．９、生体内部画像２１ｃの確度が０．３である場合には、強調表示２３ｂの前後の強調表示２３ａ、２３ｃの強調表示が白色破線楕円であるなら、強調表示生成部４４は、強調表示２３ｂとして前後の強調表示２３ａ、２３ｃと同じ白色実線楕円を表示させるために用いる強調表示情報を生成する。
【００５２】
前後数フレームを用いる場合について説明する。
対象とする生体内部画像２１の前後において撮像した複数の生体内部画像２１を用いて多数決をする場合、強調表示生成部４４は、前後に撮像された生体内部画像２１それぞれの確度について閾値以上であるか否かを判定し、確度が閾値以上の生体内部画像２１の数と、確度が閾値より小さい生体内部画像２１の数を算出する。
【００５３】
そして、確度が閾値以上の生体内部画像２１の数が多い場合には、強調表示生成部４４は、確度が閾値以上の場合に用いる強調表示２３を表示させるための強調表示情報を生成する。強調表示生成部４４は、例えば、上述した白色実線楕円を用いて強調表示２３をする。
【００５４】
対して、確度が閾値より小さい生体内部画像２１の数が多い場合には、強調表示生成部４４は、確度が閾値より小さい場合に用いる強調表示２３を表示させるための強調表示情報を生成する。強調表示生成部４４は、例えば、上述した白色破線楕円を用いて、強調表示２３をする。
【００５５】
類似度を考慮する場合について説明する。
図１０は、強調表示情報の生成を説明するための図である。図１０に示すように、生体内部画像２１ａにおいて二つの対象部位画像２２ａ、２２ａ′が存在し、生体内部画像２１ｂにおいて二つの対象部位画像２２ｂ、２２ｂ′が存在する場合、例えば、対象部位画像２２の同定ができず、対象部位画像２２ａに対応する強調表示２３ａが対象部位画像２２ｂではなく、対象部位画像２２ｂ′に表示されることが考えられる。そこで、対象部位画像２２間の類似度を考慮して、強調表示２３を表示する。
【００５６】
強調表示生成部４４は、対象とする生体内部画像２１の対象部位画像２２に対応する領域と、対象とする生体内部画像２１の前後に撮像された複数の生体内部画像２１の対象部位画像２２に対応するそれぞれの領域との類似度を算出する。
【００５７】
具体的には、強調表示生成部４４は、異なる生体内部画像２１間における特徴量ｆ、特徴量ｒを用いて類似度を算出する。生体内部画像２１間における類似度の算出は、特徴量ｆの特徴ベクトル、特徴量ｒの特徴ベクトルを用いて、特徴ベクトル間の距離を算出する。又は、類似度は、線形和を用いて表してもよい。
【００５８】
そして、強調表示生成部４４は、算出した類似度が類似度閾値以上の領域それぞれについて、閾値以上の確度の数と閾値より小さい確度の数とに応じて強調表示情報を生成する。類似度閾値は、例えば、異なる対象部位画像が類似しているか否かを判定するために用いる値である。
【００５９】
類似度と領域の位置を用いた場合について説明する。
具体的には、強調表示生成部４４は、対象となる生体内部画像２１の対象部位画像２２に対応する領域の位置として、領域情報の中心座標を取得する。また、強調表示生成部４４は、対象とする生体内部画像２１の前後に撮像された複数の生体内部画像２１の対象部位画像２２に対応するそれぞれの領域の位置として、領域情報の中心座標を取得する。
【００６０】
続いて、強調表示生成部４４は、対象となる生体内部画像２１の対象部位画像２２に対応する領域の中心座標と、対象とする生体内部画像２１の前後に撮像された複数の生体内部画像２１の対象部位画像２２に対応するそれぞれの領域の中心座標とのずれ量を算出する。そして、強調表示生成部４４は、算出したずれ量それぞれのうち位置閾値以下のずれ量に対応する生体内部画像２１を選択する。位置閾値は、例えば、異なる対象部位画像が位置ずれをしているか否かを判定するために用いる値である。
【００６１】
続いて、強調表示生成部４４は、選択した生体内部画像２１を用いて、閾値以上の確度の数と閾値より小さい確度の数とを算出する。その後、強調表示生成部４４は、閾値以上の確度の数と閾値より小さい確度の数とを用いて多数決をして、多数決の結果に応じて、上述したように、対象となる生体内部画像２１の対象部位画像２２に対応する強調表示情報を生成する。
【００６２】
このように、類似度を考慮することで、複数の対象部位画像が存在しても、同一の対象部位画像２２に対して精度よく強調表示ができる。すなわち、異なる対象部位画像に対する強調表示がされないので、強調表示が施術者の施術の妨げにならないようにできる。そのため、施術の精度が向上する。
【００６３】
確度表示生成部４５は、生体内部画像２１の撮像状態を抽出し、抽出した撮像状態に応じて確度表示情報を生成する。撮像状態は、対象部位画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である。
【００６４】
撮像状態については、例えば、文献「Yan Ke, Xiaoou Tang, Feng Jing, “The Design of High-Level Features for Photo Quality Assessment” School of Computer Science, Carnegie Mellon; Microsoft Research Asia CVPR2006. https://www.cs.cmu.edu/~yke/photoqual/cvpr06photo.pdf」などに記載されている。なお、撮像状態を抽出する方法は、上述した方法に限らず、生体内部画像から撮像状態を抽出できる方法であればよい。
【００６５】
具体的には、確度表示生成部４５は、確度情報を算出部２から取得し、取得した確度情報Ｃｉを、数１を用いて補正して確度Ｃｉ′を生成する。
【００６６】
【数１】
2020166528.tif 000003
【００６７】
また、数２に基づいて対象とする生体内部画像２１より前に撮像されたｍ枚の生体内部画像２１の補正済確度Ｃｉ′を利用してもよい。
【００６８】
【数２】
2020166528.tif 000004
【００６９】
このように、確度を補正することにより、確度の極端な変化を抑制できるため、確度表示２４においても極端な変化をしないので、施術者の施術の妨げにならないようにできる。そのため、施術の精度が向上する。
【００７０】
音情報生成部４６は、生体内部画像２１の撮像状態を抽出し、抽出した撮像状態に応じて音情報を生成する。具体的には、音情報生成部４６は、確度表示生成部４５から補正した確度を取得し、補正した確度に対応する音の高さ、音量の大きさで、出力装置４３から音を出力させる。
【００７１】
例えば、音情報生成部４６は、取得した確度を用いて、確度と、確度に対応する音情報（少なくとも音の高低、音量の大小、音声ガイダンスのいずれかの情報を含む情報）とが関連付けられている情報を参照して、出力装置４３へ出力する音情報を生成する。
【００７２】
［装置動作］
次に、本発明の実施の形態における施術支援装置の動作について図１１を用いて説明する。図１１は、施術支援装置の動作の一例を示す図である。以下の説明においては、適宜図２から１０を参照する。また、本実施の形態では、施術支援装置１を動作させることによって、施術支援方法が実施される。よって、本実施の形態における施術支援方法の説明は、以下の施術支援装置の動作説明に代える。
【００７３】
図１１に示すように、最初に、制御部４１は、内視鏡４２から撮像信号を取得して、撮像信号に対して画像調整を行い、生体内部画像２１を生成して施術支援装置１へ出力する（ステップＡ１）。
【００７４】
次に、算出部２は、生体内部画像２１から対象部位に対応する対象部位画像２２を表す領域情報と、対象部位画像が対象部位である確度を表す確度情報とを算出する（ステップＡ２）。具体的には、ステップＡ２において、算出部２は、まず、生体内部画像２１から、対象部位画像に対応する特徴量ｆを抽出する。続いて、ステップＡ２において、算出部２は、生体内部画像２１から生成した特徴量ｆに対応する画像に対して、スライディングウィンドウなどの対象部位画像２２を検出するための処理を適用し、生体内部画像２１ごとに特徴量ｒを算出する。
【００７５】
続いて、生成部３は、出力装置４３に画像を出力させるために用いる出力情報を生成し、生成した出力情報を出力装置４３に出力する（ステップＡ３、Ａ４）。出力情報とは、例えば、生体内部画像２１、対象部位画像２２、強調表示２３、確度表示２４などを出力装置４３にさせるために用いる情報である。
【００７６】
具体的には、強調表示生成部４４は、対象とする生体内部画像２１の前後に撮像された複数の生体内部画像２１それぞれの確度を用いて、閾値以上の確度の数と閾値より小さい確度の数とを算出し、算出した確度の数に応じて、強調表示情報を生成する（ステップＡ３）。具体的には、ステップＡ３において、強調表示生成部４４は、閾値以上の確度の数と閾値より小さい確度の数とを用いて多数決をし、多数決の結果に応じて強調表示情報を生成する。
【００７７】
前後１フレームを用いる場合について説明する。
ステップＡ３において、対象とする生体内部画像２１の前後に撮像した生体内部画像２１を一つずつ用いて多数決をする場合、強調表示生成部４４は、前後に撮像した生体内部画像２１それぞれの確度が共に閾値以上であれば、対象とする生体内部画像２１の確度が閾値より小さくても、前後と同じ強調表示２３を表示するために用いる強調表示情報を生成する。
【００７８】
逆に、ステップＡ３において、前後に撮像した生体内部画像２１それぞれの確度が共に閾値より小さい場合、強調表示生成部４４は、対象とする生体内部画像２１の確度が閾値以上でも、前後と同じ強調表示２３を表示するために用いる強調表示情報を生成する。
【００７９】
前後数フレームを用いる場合について説明する。
ステップＡ３において、対象とする生体内部画像２１の前後において撮像した複数の生体内部画像２１を用いて多数決をする場合、強調表示生成部４４は、前後に撮像された生体内部画像２１それぞれの確度について閾値以上であるか否かを判定し、確度が閾値以上の生体内部画像２１の数と、確度が閾値より小さい生体内部画像２１の数を算出する。
【００８０】
そして、ステップＡ３において、確度が閾値以上の生体内部画像２１の数が多い場合には、強調表示生成部４４は、確度が閾値以上の場合に用いる、強調表示２３を表示させるための強調表示情報を生成する。対して、ステップＡ３において、確度が閾値より小さい生体内部画像２１の数が多い場合には、強調表示生成部４４は、確度が閾値より小さい場合に用いる強調表示２３を表示させるための強調表示情報を生成する。
【００８１】
類似度を考慮する場合について説明する。
ステップＡ３において、強調表示生成部４４は、対象とする生体内部画像２１の対象部位画像２２に対応する領域と、対象とする生体内部画像２１の前後に撮像された複数の生体内部画像２１の対象部位画像２２に対応するそれぞれの領域との類似度を算出する。
【００８２】
具体的には、ステップＡ３において、強調表示生成部４４は、異なる生体内部画像２１間における特徴量ｆ、特徴量ｒを用いて類似度を算出する。生体内部画像２１間における類似度の算出は、特徴量ｆの特徴ベクトル、特徴量ｒの特徴ベクトルを用いて、特徴ベクトル間の距離を算出する。又は、類似度は、線形和を用いて表してもよい。
【００８３】
そして、ステップＡ３において、強調表示生成部４４は、算出した類似度が類似度閾値以上の領域それぞれについて、閾値以上の確度の数と閾値より小さい確度の数とに応じて強調表示情報を生成する。類似度閾値は、例えば、異なる対象部位画像を判定するために用いる。
【００８４】
次に、確度表示生成部４５は、生体内部画像２１の撮像状態を抽出し、抽出した撮像状態に応じて確度表示情報を生成する（ステップＡ４）。撮像状態は、対象部位画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である。
【００８５】
具体的には、ステップＡ４において、確度表示生成部４５は、確度情報を算出部２から取得し、取得した確度情報Ｃｉを、数１を用いて補正して確度Ｃｉ′を生成する。また、数２に基づいて、対象とする生体内部画像２１より前に撮像されたｍ枚の生体内部画像２１の補正済確度を利用してもよい。
【００８６】
続いて、音情報生成部４６は、生体内部画像２１の撮像状態を抽出し、抽出した撮像状態に応じて音情報を生成する（ステップＡ５）。具体的には、ステップＡ５において、音情報生成部４６は、確度表示生成部４５から補正した確度を取得し、確度に対応する音の高さ、音量の大きさの音情報を生成する。
【００８７】
例えば、音情報生成部４６は、取得した確度を用いて、確度と、確度に対応する音情報（少なくとも音の高低、音量の大小、音声ガイダンスのいずれかの情報を含む情報）とが関連付けられている情報を参照して、出力装置４３へ出力する音情報を生成する。
【００８８】
次に、出力装置４３は、生成部３から出力可能な形式に変換された出力情報を取得し、その出力情報に基づいて、図３に示すような画像などを出力する（ステップＡ６）。
【００８９】
ステップＡ７において、施術支援装置１は、ステップＡ１からＡ６に示した処理を終了する指示を取得した場合（ステップＡ７：Ｙｅｓ）処理を終了する。ステップＡ１からＡ６に示した処理を継続する場合（ステップＡ７：Ｎｏ）、施術支援装置１はステップＡ１の処理に移行する。
【００９０】
［本実施の形態の効果］
以上のように本実施の形態によれば、対象部位画像を表す領域の変化、又は確度の変化、又はそれら二つの変化に応じて、支援情報（強調表示情報、又は確度表示情報、又は音情報、又はそれら二つの情報）を、施術支援装置１は生成する。そのため、撮像された対象部位画像の撮像状態が、内視鏡の操作などの影響により、フレームごとに変化して、対象部位画像の撮像状態が極端に変化した場合でも、支援情報の極端な変化を抑制できる。これにより支援情報が施術を阻害することなく、施術者にとって人体部位画像が見にくい状態にならないようにできる。従って、施術の精度を向上させることができる。
【００９１】
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図１１に示すステップＡ１からＡ６を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における施術支援装置と施術支援方法とを実現することができる。この場合、コンピュータのプロセッサは、算出部２、生成部３（強調表示生成部４４、確度表示生成部４５、音情報生成部４６）として機能し、処理を行なう。
【００９２】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、算出部２、生成部３（強調表示生成部４４、確度表示生成部４５、音情報生成部４６）のいずれかとして機能してもよい。
【００９３】
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、施術支援装置を実現するコンピュータについて図１２を用いて説明する。図１２は、本発明の実施の形態における施術支援装置を実現するコンピュータの一例を示すブロック図である。
【００９４】
図１２に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
【００９５】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
【００９６】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００９７】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００９８】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
【００９９】
［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１８）により表現することができるが、以下の記載に限定されるものではない。
【０１００】
（付記１）
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出部と、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成部と
を有することを特徴とする施術支援装置。
【０１０１】
（付記２）
付記１に記載の施術支援装置であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とする施術支援装置。
【０１０２】
（付記３）
付記２に記載の施術支援装置であって、
前記生成部は、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【０１０３】
（付記４）
付記２又は３に記載の施術支援装置であって、
前記生成部は、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【０１０４】
（付記５）
付記１から４のいずれか一つに記載の施術支援装置であって、
前記生成部は、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【０１０５】
（付記６）
付記５に記載の施術支援装置であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とする施術支援装置。
【０１０６】
（付記７）
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出ステップと、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成ステップと
を有することを特徴とする施術支援方法。
【０１０７】
（付記８）
付記７に記載の施術支援方法であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とする施術支援方法。
【０１０８】
（付記９）
付記８に記載の施術支援方法であって、
前記生成ステップにおいて、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて前記支援情報を生成する
ことを特徴とする施術支援方法。
【０１０９】
（付記１０）
付記８又は９に記載の施術支援方法であって、
前記生成ステップにおいて、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて前記支援情報を生成する
ことを特徴とする施術支援方法。
【０１１０】
（付記１１）
付記８から１０のいずれか一つに記載の施術支援方法であって、
前記生成ステップにおいて、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて前記支援情報を生成する
ことを特徴とする施術支援方法。
【０１１１】
（付記１２）
付記１１に記載の施術支援方法であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とする施術支援方法。
【０１１２】
（付記１３）
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出ステップと、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成ステップと
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【０１１３】
（付記１４）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１１４】
（付記１５）
付記１４に記載のコンピュータ読み取り可能な記録媒体であって、
前記生成ステップにおいて、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて、前記支援情報を生成する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１１５】
（付記１６）
付記１４又は１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記生成ステップにおいて、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて前記支援情報を生成する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１１６】
（付記１７）
付記１４から１６のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
前記生成ステップにおいて、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて前記支援情報を生成する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１１７】
（付記１８）
付記１７に記載のコンピュータ読み取り可能な記録媒体であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１１８】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１１９】
この出願は、２０１９年２月１３日に出願された日本出願特願２０１９−０２４０２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１２０】
以上のように本発明によれば、安定した支援情報（表示・音）を施術者に提示することにより、施術の精度を向上させることができる。本発明は、内視鏡を用いて施術を必要とする分野において有用である。
【符号の説明】
【０１２１】
１  施術支援装置
２  算出部
３  生成部
２１、２１ａ、２１ｂ、２１ｃ、５１  生体内部画像
２２、２２ａ、２２ｂ、２２ｃ、５３  対象部位画像
２３、２３ａ、２３ｂ、２３ｃ  強調表示情報
４１  制御部
４２  内視鏡
４３  出力装置
４４  強調表示生成部
４５  確度表示生成部
４６  音情報生成部
５２  画像
６１  ウィンドウ
６２  領域
８１  特徴量情報
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2020166528.tif 000005
【図２】
2020166528.tif 000006
【図３】
2020166528.tif 000007
【図４】
2020166528.tif 000008
【図５】
2020166528.tif 000009
【図６】
2020166528.tif 000010
【図７】
2020166528.tif 000011
【図８】
2020166528.tif 000012
【図９】
2020166528.tif 000013
【図１０】
2020166528.tif 000014
【図１１】
2020166528.tif 000015
【図１２】
2020166528.tif 000016
【手続補正書】
【提出日】令和3年8月3日(2021.8.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出手段と、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成手段と
を有することを特徴とする施術支援装置。
【請求項２】
請求項１に記載の施術支援装置であって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とする施術支援装置。
【請求項３】
請求項２に記載の施術支援装置であって、
前記生成手段は、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて、前記支援情報を生成する
ことを特徴とする施術支援装置。
【請求項４】
請求項２又は３に記載の施術支援装置であって、
前記生成手段は、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【請求項５】
請求項１から４のいずれか一つに記載の施術支援装置であって、
前記生成手段は、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて前記支援情報を生成する
ことを特徴とする施術支援装置。
【請求項６】
請求項５に記載の施術支援装置であって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とする施術支援装置。
【請求項７】
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出し、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する
を有することを特徴とする施術支援方法。
【請求項８】
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出させ、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成させる
命令を含むプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の目的の一例は、安定した支援情報（表示・音）を施術者に提示することにより、施術の精度を向上させる、施術支援装置、施術支援方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
さらに、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出ステップと、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成ステップと
を実行させることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
なお、支援情報は、領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は対象部位画像を抽出した旨を音で通知する音情報、又はそれら二つ以上の情報を有する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図２の例では、時刻ｔ１における対象部位画像２２ａの確度が、あらかじめ設定された閾値０．６以上の確度０．７であるので、強調表示２３ａとして白色実線楕円が表示される。続いて、時刻ｔ２において、対象部位画像２２ｂの確度が、閾値０．６より小さい確度０．２であるので、強調表示２３ｂとして白色破線楕円が表示される。続いて、時刻ｔ３において、対象部位画像２２ｃの確度が、閾値０．６以上の確度０．９であるので、強調表示２３ｃとして白色実線楕円が表示される。なお、閾値は、強調表示を切り替えるために用いる値である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
［本実施の形態の効果］
以上のように本実施の形態によれば、対象部位画像を表す領域の変化、又は確度の変化、又はそれら二つの変化に応じて、支援情報（強調表示情報、又は確度表示情報、又は音情報、又はそれら二つ以上の情報）を、施術支援装置１は生成する。そのため、撮像された対象部位画像の撮像状態が、内視鏡の操作などの影響により、フレームごとに変化して、対象部位画像の撮像状態が極端に変化した場合でも、支援情報の極端な変化を抑制できる。これにより支援情報が施術を阻害することなく、施術者にとって人体部位画像が見にくい状態にならないようにできる。従って、施術の精度を向上させることができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
（付記１３）
コンピュータに、
内視鏡を用いて撮像した生体内部画像から、対象部位に対応する対象部位画像の領域を表す領域情報と、前記対象部位画像が前記対象部位である確度を表す確度情報とを算出する、算出ステップと、
前記領域情報の変化、又は前記確度情報の変化、又はそれら二つの情報の変化が極端である場合、極端に変化しないように、施術を支援する支援情報を生成する、生成ステップと
を実行させる命令を含むプログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
（付記１４）
付記１３に記載のプログラムであって、
前記支援情報は、前記領域に強調表示するために用いる強調表示情報、又は確度表示するために用いる確度表示情報、又は前記対象部位を検知した旨を音で通知する音情報、又はそれら二つ以上の情報を有する
ことを特徴とするプログラム。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
（付記１５）
付記１４に記載のプログラムであって、
前記生成ステップにおいて、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記確度を用いて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とを算出し、算出した前記確度の数に応じて、前記支援情報を生成する
ことを特徴とするプログラム。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
（付記１６）
付記１４又は１５に記載のプログラムであって、
前記生成ステップにおいて、対象とする前記生体内部画像の前記領域と、対象とする前記生体内部画像の前後に撮像された複数の前記生体内部画像それぞれの前記領域との類似度を算出し、算出した類似度が類似度閾値以上の前記領域それぞれについて、閾値以上の前記確度の数と前記閾値より小さい前記確度の数とに応じて前記支援情報を生成する
ことを特徴とするプログラム。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
（付記１７）
付記１４から１６のいずれか一つに記載のプログラムであって、
前記生成ステップにおいて、前記生体内部画像の撮像状態を抽出し、抽出した前記撮像状態に応じて前記支援情報を生成する
ことを特徴とするプログラム。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
（付記１８）
付記１７に記載のプログラムであって、
前記撮像状態は、前記生体内部画像のボケの状態、又はブレの状態、又は色調分布の状態、又は色合いの状態、又はコントラストの状態、又はそれらのうちの二つ以上を組み合わせた状態である
ことを特徴とするプログラム。
【国際調査報告】
2020166528.tif 000017
2020166528.tif 000018
2020166528.tif 000019
2020166528.tif 000020
2020166528.tif 000021