(57)【要約】【課題】対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させる施術支援装置、施術支援方法、施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。【解決手段】内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出手段２と、異なる人体内部画像間における特徴量の類似度を算出する、類似度算出手段３と、類似度が所定値以上である場合、異なる人体内部画像それぞれの対象部位画像を同定する、同定手段４と、を有する施術支援装置１である。
2020012530.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出手段と、
異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出手段と、
前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定手段と、
を有することを特徴とする施術支援装置。
【請求項２】
請求項１に記載の施術支援装置であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援装置。
【請求項３】
請求項２に記載の施術支援装置であって、
前記類似度算出手段は、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援装置。
【請求項４】
請求項２又は３に記載の施術支援装置であって、
前記類似度算出手段は、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
同定手段は、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援装置。
【請求項５】
請求項１から４のいずれか一つに記載の施術支援装置であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援装置。
【請求項６】
請求項１から５のいずれか一つに記載の施術支援装置であって、
施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、出力装置を有する、
ことを特徴とする施術支援装置。
【請求項７】
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を有することを特徴とする施術支援方法。
【請求項８】
請求項７に記載の施術支援方法であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援方法。
【請求項９】
請求項８に記載の施術支援方法であって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援方法。
【請求項１０】
請求項８又は９に記載の施術支援方法であって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援方法。
【請求項１１】
請求項７から１０のいずれか一つに記載の施術支援方法であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援方法。
【請求項１２】
請求項７から１１のいずれか一つに記載の施術支援方法であって、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に有する、
ことを特徴とする施術支援方法。
【請求項１３】
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
請求項１３に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１５】
請求項１４に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１６】
請求項１４又は１５に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１７】
請求項１３から１６のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１８】
請求項１３から１７のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記施術支援プログラムが、前記コンピュータに、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に実行させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
内視鏡を用いて人体内部を撮像した画像から対象部位に対応する対象部位画像を抽出し、抽出した対象部位画像を用いて、観察者の施術を支援する施術支援装置が知られている。このような装置によれば、例えば、内視鏡を用いて大腸内部などの画像を撮像し、撮像した画像から癌化する可能性が高い腫瘍を検出し、観察者に通知することにより、施術の精度を向上させている。【０００３】
関連する技術として、特許文献１には、内視鏡を用いて人体内部を撮像した画像から患部（対象部位）に対応する患部画像（対象部位画像）を抽出し、抽出した患部画像と学習用画像との特徴量マッチング処理の結果に基づいて、患部の病理タイプを識別する装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／１１８８５０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した施術支援装置、及び、特許文献１に開示された装置を用いても、対象部位画像を追跡することはできない。更に、従来の追跡技術（例えば、オプティカルフローなど）を用いても、内視鏡を用いて施術を行う場合、対象部位画像を追跡することは困難である。【０００６】
例えば、内視鏡を用いて施術を行う場合、対象部位画像のフレームアウト、又は内視鏡の抜差しにともなう内視鏡の撮像部と対象部位との撮像距離及び角度などの変化による対象部位画像の変化などにより、対象部位画像を追跡することは困難である。【０００７】
また、対象部位以外の人体部位による対象部位の隠蔽（例えば、腸のヒダ、腸内の粘液などによる対象の隠蔽）、又は内視鏡から噴射される水などによる対象部位の隠蔽が頻発するため、対象部位画像の動きを追跡することが困難である。【０００８】
更に、人体内部及び対象部位は非剛体（形状が不定形）であるため、形状、又は色に基づいて、対象部位画像を追跡することは困難である。【０００９】
本発明の目的の一例は、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させる施術支援装置、施術支援方法、施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一側面における施術支援装置は、
内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出部と、
異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出部と、
前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定部と、
を有することを特徴とする。【００１１】
また、上記目的を達成するため、本発明の一側面における施術支援方法は、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を有することを特徴とする。【００１２】
更に、上記目的を達成するため、本発明の一側面における施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする。
【発明の効果】
【００１３】
以上のように本発明によれば、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、施術支援装置の一例を示す図である。
【図２】図２は、施術支援装置と、施術支援装置を有するシステムの一例を示す図である。
【図３】図３は、人体内部画像及び特徴量を示す画像の一例を示す図である。
【図４】図４は、検出結果情報の算出を説明するための図である。
【図５】図５は、検出結果情報の算出を説明するための図である。
【図６】図６は、ヒートマップ情報の算出を説明するための図である。
【図７】図７は、特徴量のデータ構造の一例を示す図である。
【図８】図８は、対象部位画像を同定した表示の一例を示す図である。
【図９】図９は、施術支援装置の動作の一例を示す図である。
【図１０】図１０は、施術支援装置を実現するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１５】
（実施の形態）
以下、本発明の実施の形態について、図１から図１０を参照しながら説明する。
【００１６】
［装置構成］
最初に、図１を用いて、本実施の形態における施術支援装置の構成について説明する。図１は、施術支援装置の一例を示す図である。
【００１７】
図１に示す本実施の形態における施術支援装置１は、画像処理を用いて、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させるための装置である。図１に示すように、施術支援装置１は、特徴量算出部２と、類似度算出部３と、同定部４とを有する。
【００１８】
このうち、特徴量算出部２は、内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する。類似度算出部３は、異なる人体内部画像間における特徴量の類似度を算出する。同定部４は、類似度が所定値以上である場合、異なる人体内部画像それぞれの対象部位画像を同定する。
【００１９】
このように、本実施の形態では、内視鏡を用いて撮像した、異なる人体内部画像それぞれの特徴量の類似度が所定値以上である場合、異なる人体内部画像それぞれの対象部位画像を同定する。そのため、対象部位画像を追跡できるので、内視鏡を用いた施術の精度を向上させることができる。
【００２０】
具体的には、従来において、観察者は、対象部位画像を目視で追跡しているため、観察者が対象部位画像を見失った場合、再度当該対象部位画像を見つけることができないことがある。その場合、癌化する可能性が高い施術が必要な対象部位などを見逃す虞がある。しかし、本実施の形態における施術支援装置を用いることで、対象部位画像を同定できるので、観察者の技量などに係らず、対象部位を見逃すことが削減できるので、施術の精度を向上させることができる。
【００２１】
例えば、内視鏡を用いて撮像した対象部位画像がフレームアウト、内視鏡の抜差しにより対象部位画像が変化（対象部位の大きさの変化、撮像範囲の変化、画像の回転など）が生じても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
【００２２】
また、対象部位以外の人体部位による対象部位の隠蔽（例えば、腸のヒダ、腸内の粘液などによる対象の隠蔽）、又は内視鏡から噴射される水などによる対象部位の隠蔽が頻発しても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
【００２３】
更に、人体内部及び対象部位のような非剛体（形状が不定形）でも、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
【００２４】
［システム構成］
続いて、図２を用いて、本実施の形態における施術支援装置１の構成をより具体的に説明する。図２は、施術支援装置と、施術支援装置を有するシステムの一例を示す図である。
【００２５】
図２に示すように、本実施の形態におけるシステムは、画像処理を実行する施術支援装置１と、内視鏡２０と、出力装置２１とを有する。施術支援装置１は、特徴量算出部２と、類似度算出部３と、同定部４とに加えて、出力情報生成部２２を有する。
【００２６】
内視鏡２０は、人体内部を撮像した人体内部画像を、内視鏡２０と接続されている施術支援装置１へ送信する。内視鏡２０は、例えば、人体内部に挿入する挿入部と、挿入部の先端側に設けられている撮像部と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡２０と施術支援装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像部以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。
【００２７】
出力装置２１は、出力情報生成部２２から出力可能な形式に変換された出力情報を取得し、その出力情報に基づいて生成した画像及び音声などを出力する。出力装置２１は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２１は、プリンタなどの印刷装置でもよい。
【００２８】
特徴量算出部２は、内視鏡２０が時系列に撮像した、複数の人体内部画像を取得し、人体内部画像から対象部位に対応する対象部位画像の特徴量を抽出する。また、特徴量算出部２は、特徴量を抽出する、特徴抽出部２３と、検出結果算出部２４と、ヒートマップ算出部２５とを有する。
【００２９】
特徴抽出部２３は、人体内部画像から対象部位画像の特徴を示す特徴抽出情報（特徴量ｆ：特徴ベクトル）を抽出する。具体的には、画像の局所的な特徴を抽出する方法としてＬＢＰ（Local Binary Pattrn）があり、その抽出方法は、例えば、文献「T.Ojala, M. Pietikainen, and D. Harwood,  “Performanceevaluation of texturemeasures with classification based onkullback discrimination ofdistributions,”  inProc. IEEE Int.Conf. Patt. Recogn., 1994.」に記載されている。
【００３０】
図３は、人体内部画像及び特徴量を示す画像の一例を示す図である。図３に示す人体内部画像３１（３１ａ、３１ｂ、３１ｃ）は、大腸内を時系列に撮像した画像で、対象部位画像３３（３３ａ、３３ｃ）は腫瘍を撮像した画像である。なお、図３においては、人体内部画像３１ａ、３１ｃには対象部位画像３３ａ、３３ｃが撮像されているが、人体内部画像３１ｂには、対象部位がフレームアウトしたため撮像されていない。
【００３１】
図３においては、特徴抽出部２３は、時系列に撮像された複数の人体内部画像を３１ａ、３１ｂ、３１ｃの順に取得する。なお、人体内部画像は、動画の人体内部画像を撮像した順に連続して取得してもよい。
【００３２】
続いて、特徴抽出部２３は、取得した人体内部画像３１それぞれに対して、対象部位に対応する対象部位画像３３の特徴抽出情報を抽出する。図３においては、人体内部画像３１（３１ａ、３１ｂ、３１ｃ）それぞれから、抽出した特徴抽出情報を示す画像として画像３２（３２ａ、３２ｂ、３２ｃ）が示されている。なお、図３の画像３２においては、対象部位の特徴は白色及び白色に近い色の領域で示され、それ以外は黒色の領域で示されている。
【００３３】
検出結果算出部２４は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、検出結果情報（特徴量ｒ：特徴ベクトル）を算出する。具体的には、検出結果算出部２４は、特徴抽出情報に対応する画像３２に対して、スライディングウィンドウなどの対象部位画像３３を検出する処理を適用し、人体内部画像３１ごとに、検出結果情報を算出する。
【００３４】
図４、図５は、検出結果情報の算出を説明するための図である。検出結果算出部２４は、特徴抽出情報に対応する画像３２に対して、例えば、図４に示す白色の矢印の方向（所定順）にウィンドウ４１（窓領域）をずらし、ウィンドウ４１をずらすごと（所定距離移動させるごと）に、検出結果情報を算出する。また、検出結果算出部２４は、ウィンドウ４１の大きさを変更し、異なる大きさのウィンドウ４１′を用いて、当該ウィンドウ４１′を所定順にずらし、ウィンドウ４１′をずらすごとに、検出結果情報を算出する。なお、所定順は、図４に示す白色の矢印の方向（水平方向）に限定されるものではない。
【００３５】
検出結果情報は、例えば、ウィンドウ４１、４１′（以降、ウィンドウ４１′もウィンドウ４１と呼ぶ）内の特徴を用いて算出する、検出対象部位の位置と大きさを示す領域情報、及びその領域が対象部位に相当する確率を示す信頼度情報を有する。領域情報は、例えば、対象部位を外接する矩形の位置を示す位置情報と、その外接する矩形の大きさを示すサイズ情報を有する。
【００３６】
ウィンドウ４１の位置を示す位置情報は、画像３２を二次元座標系と考えた場合、ウィンドウ４１内のいずれかの座標により示される。例えば、ウィンドウ４１内のいずれかの座標として、図４に示すような中心座標（Ｘ，Ｙ）がある。ウィンドウ４１の大きさを示すサイズ情報は、画像３２を二次元座標系と考えた場合、図４に示すようなウィンドウ４１の幅（Ｗ）と高さ（Ｈ）とにより示される。
【００３７】
ウィンドウ４１の領域情報と同様に、検出結果情報の領域情報は、図５に示すように、対象部位に外接する矩形の中心座標（Ｘｒ，Ｙｒ）と、その矩形の大きさを示すサイズ情報（矩形の幅（Ｗｒ）と高さ（Ｈｒ））とにより示される。なお、対象部位を外接する矩形の中心座標は、ウィンドウ４１に対する相対位置、すなわち（Ｘｒ’＝Ｘｒ−Ｘ，Ｙｒ’＝Ｙｒ−Ｙ）としてもよい。信頼度情報は、ウィンドウ４１内の特徴を用いて算出する、検出対象部位の領域が対象部位に相当する確率（ｃｏｎｆ）を示す情報である。
【００３８】
なお、検出結果情報は、例えば、特徴ベクトルｒ＝（Ｘｒ’，Ｙｒ’，Ｗｒ，Ｈｒ，ｃｏｎｆ）のように表してもよい。また、検出結果情報の領域情報の形状は、矩形でなくてもよい。例えば、円形、楕円形などでもよい。
【００３９】
ヒートマップ算出部２５は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、ヒートマップ情報（特徴量ｈ：特徴ベクトル）を算出する。具体的には、ヒートマップ算出部２５は、特徴抽出情報に対応する画像３２に対して、例えば、セマンティックセグメンテーション技術を適用して、ヒートマップ情報を算出する。
【００４０】
図６は、ヒートマップ情報の算出を説明するための図である。ヒートマップ算出部２５は、特徴抽出情報に対応する画像３２に対して、セマンティックセグメンテーションを適用して、対象部位画像３３に相当する座標と、対象部位画像３３以外の座標とを異なる値で表す。すなわち、ヒートマップ算出部２５は、ヒートマップ情報を示すための画像５１（５１ａ、５１ｂ、５１ｃ）を算出する。なお、図６の画像５１においては、対象部位は白の領域で示され、対象部位以外は黒の領域で示されている。なお、座標はピクセルを用いて表してもよい。
【００４１】
更に、特徴抽出部２３は、ウィンドウ４１ごとに特徴抽出情報（特徴量ｆ′：特徴ベクトル）及び検出結果情報（ｒ）を算出してもよい。また、ヒートマップ算出部２５は、ウィンドウ４１ごとにヒートマップ情報（特徴量ｈ′：特徴ベクトル）を算出してもよい。
【００４２】
なお、特徴量算出部２は、人体内部画像３１と上述した特徴量ｆ、ｒ、ｈとを関連付けて記憶する。図７は、特徴量のデータ構造の一例を示す図である。図７においては、特徴量を示す情報６１ａは、人体内部画像３１ａに対応する特徴抽出情報（特徴量ｆａ）と、検出結果情報（特徴量ｒ１ａ、ｒ２ａ、ｒ３ａ、ｒ４ａ）と、ヒートマップ情報（特徴量ｈａ）とが関連付けられている。情報６１ｂは、人体内部画像３１ｂに対応する特徴抽出情報（特徴量ｆｂ）と、検出結果情報（特徴量ｒ１ｂ、ｒ２ｂ、ｒ３ｂ、ｒ４ｂ）と、ヒートマップ情報（特徴量ｈｂ）とが関連付けられている。情報６１ｃは、人体内部画像３１ｃに対応する特徴抽出情報（特徴量ｆｃ）と、検出結果情報（特徴量ｒ１ｃ、ｒ２ｃ、ｒ３ｃ、ｒ４ｃ）と、ヒートマップ情報（特徴量ｈｃ）とが関連付けられている。
【００４３】
類似度算出部３は、異なる人体内部画像３１間における、特徴抽出情報（特徴量ｆ）、検出結果情報（特徴情報ｒ）、ヒートマップ情報（特徴量ｈ）を用いて類似度を算出する。具体的には、人体内部画像３１間における類似度の算出は、特徴抽出情報の特徴ベクトル（特徴量ｆ）、検出結果情報の特徴ベクトル（特徴情報ｒ）、ヒートマップ情報の特徴ベクトル（特徴量ｈ）を用いて、特徴ベクトル間の距離（類似度）を算出する。又は、類似度は、線形和で表してもよい。類似度算出部３は、（１）から（５）に示す方法により類似度を算出する。
【００４４】
（１）類似度算出部３は、検出結果情報（ｒ）の類似度、特徴抽出情報（ｆ）間の類似度、又は、ヒートマップ情報（ｈ）間の類似度を算出する。
【００４５】
（２）類似度算出部３は、ウィンドウそれぞれにおける検出結果情報の領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、又は、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、又は、信頼度情報（ｃｏｎｆ）間の類似度、又は、特徴抽出情報（ｆ′）の類似度、又は、ヒートマップ情報（ｈ′）の類似度を算出する。
【００４６】
（３）類似度算出部３は、（１）（２）に示した二つ以上の類似度を組み合わせ、それらの総和を類似度とする。すなわち、検出結果情報（ｒ）間の類似度、特徴抽出情報（ｆ）間の類似度、ヒートマップ情報（ｈ）間の類似度、領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、信頼度情報（ｃｏｎｆ）間の類似度、特徴抽出情報（ｆ′）間の類似度、ヒートマップ情報（ｈ′）間の類似度のうち、二つ以上の類似度の総和を、類似度とする。
【００４７】
（４）類似度算出部３は、信頼度情報（ｃｏｎｆ）間の類似度を算出し、算出した類似度が予め設定した信頼所定値以上である場合、異なる人体内部画像３１間における特徴量の類似度（上述した（１）（２）に示した類似度）を算出する。信頼所定値は、実験、シミュレーション、機械学習などにより求めた判定値で、施術支援装置又はそれ以外に設けられている記憶部に記憶する。又は、信頼所定値は、過去に取得した複数の人体内部画像３１から算出した信頼度情報の最大値としてもよい。このようにすることで、連続して人体内部画像３１に同一の対象部位画像３３が撮像されている場合、類似度の算出が不要となる。
【００４８】
（５）類似度算出部３は、信頼度情報（ｃｏｎｆ）間の類似度を算出し、算出した類似度が信頼所定値以上である場合、領域情報（Ｘ，Ｙ，Ｗ，Ｈ）間の類似度を算出する。続いて、類似度算出部３は、領域情報間の類似度が領域所定値以上である場合、特徴抽出情報（ｆ）間の類似度を算出する。続いて、類似度算出部３は、特徴抽出情報間の類似度が特徴抽出所定値以上である場合、ヒートマップ情報（ｈ）間の類似度を算出する。
【００４９】
なお、領域所定値、特徴抽出所定値それぞれは、実験、シミュレーション、機械学習などにより求めた判定値で、施術支援装置又はそれ以外に設けられている記憶部に記憶する。このようにすることで、連続して人体内部画像３１に同一の対象部位画像３３が撮像されている場合、類似度の算出が不要となるとともに、人体内部画像３１間の類似度の精度を向上させることができる。
【００５０】
更に、（５）における、領域情報間の類似度の算出は、領域情報のうち位置情報（Ｘ，Ｙ）、サイズ情報（Ｗ，Ｈ）のいずれか一つを用いて類似度を算出してもよい。
【００５１】
同定部４は、類似度が所定値以上である場合、異なる人体内部画像３１それぞれの対象部位画像を同定する。具体的には、同定部４は、（１）から（５）のいずれかにより算出した類似度が所定値以上である場合、人体内部画像３１それぞれの対象部位画像３３同士を関連付け、記憶部に記憶する。同定部４は、（１′）から（５′）に示す方法により同定する。
【００５２】
（１′）同定部４は、検出結果情報（ｒ）間の類似度が検出結果所定値以上、又はヒートマップ情報（ｈ）間の類似度がヒートマップ所定値以上、又は特徴抽出情報（ｆ）間の類似度が特徴抽出所定値以上である場合、対象部位画像３３同士を同定する。ヒートマップ所定値は、実験、シミュレーション、機械学習などにより求めた判定値で、施術支援装置１又はそれ以外に設けられている記憶部に記憶する。
【００５３】
（２′）同定部４は、領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、信頼度情報（ｃｏｎｆ）間の類似度、特徴抽出情報（ｆ′）の類似度、特徴抽出情報（ｈ′）の類似度がすべて、それぞれの類似度に対して設定された所定値以上である場合、対象部位画像３３同士を同定する。又は、同定部４は、類似度のうちいずれかが所定値以上である場合、対象部位画像３３同士を同定してもよい。
【００５４】
（３′）同定部４は、（１）（２）に示した二つ以上の類似度を組み合わせた総和を類似度とし、組み合わせごとに設定された所定値以上である場合、対象部位画像３３同士を同定する。
【００５５】
（４′）同定部４は、信頼度情報（ｃｏｎｆ）間の類似度が信頼所定値以上である場合、上述した（１′）（２′）（３′）に示した同定を実施する。
【００５６】
（５′）同定部４は、（５）に示したヒートマップ情報（ｈ）間の類似度がヒートマップ所定値以上である場合、異なる人体内部画像３１それぞれの対象部位画像３３が同一であると同定する。
【００５７】
このようにすることで、例えば、人体内部画像３１ｃと人体内部画像３１ａとの間に対象部位画像が撮像されていない人体内部画像３１ｂが間に存在しても、すなわち観察者が対象部位画像３３を見失っても、最新の人体内部画像３１ｃに撮像された対象部位画像３３ｃと、過去に撮像された人体内部画像３１ａの対象部位画像３３ａとが関連付けられる。
【００５８】
出力情報生成部２２は、施術中に対象部位画像３３を同定した場合、対象部位画像３３を同定したことを示す出力情報を生成し、生成した出力情報を出力装置２１に送信する。出力装置２１は、出力情報を取得した後、出力情報に基づいて、対象部位画像３３同士の同定を表す画面、又は音声、又はそれら両方を出力する。
【００５９】
図８は、対象部位画像を同定した表示の一例を示す図である。図８においては、人体内部画像３１ａ、３１ｃそれぞれの同定された対象部位画像３３の部分に対して、着色などをするとともに同一の腫瘍である旨を表示させている。なお、人体内部画像３１ｂには同定された対象部位画像がないので、同定された旨を表示しない。図８では、対象部位画像３３を着色（網掛け範囲）し、「腫瘍Ａ」である旨を表示している。なお、図８に示した表示方法に限定されるものではない。
【００６０】
［装置動作］
次に、本発明の実施の形態における施術支援装置の動作について図９を用いて説明する。図９は、施術支援装置の動作の一例を示す図である。以下の説明においては、適宜図２から図８を参酌する。また、本実施の形態では、施術支援装置を動作させることにより、施術支援方法が実施される。よって、本実施の形態における施術支援方法の説明は、以下の施術支援装置の動作説明に代える。
【００６１】
ステップＡ１において、特徴量算出部２は、内視鏡２０が時系列に撮像した、人体内部画像３１を取得する。続いて、ステップＡ２において、特徴量算出部２は、内視鏡２０を用いて撮像した人体内部画像３１から、対象部位に対応する対象部位画像３３の特徴量を算出する。図３を参照。
【００６２】
具体的には、特徴量算出部２（特徴抽出部２３）は、人体内部画像３１から対象部位画像３３の特徴を示す特徴抽出情報（特徴量ｆ：特徴ベクトル）を抽出する。続いて、特徴量算出部２（検出結果算出部２４）は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、検出結果情報（特徴量ｒ：特徴ベクトル）を算出する。例えば、特徴抽出情報に対応する画像３２に対して、スライディングウィンドウなどの対象部位画像３３を検出する処理を適用し、人体内部画像３１ごとに、検出結果情報を算出する。図４、図５を参照。
【００６３】
又は、特徴量算出部２（ヒートマップ算出部２５）は、人体内部画像３１ごとに抽出した特徴抽出情報（特徴量ｆ：特徴ベクトル）を用いて、ヒートマップ情報（特徴量ｈ：特徴ベクトル）を算出する。例えば、特徴抽出情報に対応する画像３２に対して、セマンティックセグメンテーションを適用して、ヒートマップ情報を算出する。図６を参照。
【００６４】
なお、特徴量算出部２は、人体内部画像３１と上述した特徴量ｆ、ｒ、ｈとを関連付けて記憶する。図７を参照。
【００６５】
ステップＡ３において、類似度算出部３は、最新の人体内部画像３１と、最新の人体内部画像３１より前に撮像した人体内部画像３１との間における、特徴抽出情報（特徴量ｆ）、検出結果情報（特徴情報ｒ）、ヒートマップ情報（特徴量ｈ）を用いて類似度を算出する。具体的には、人体内部画像３１間における類似度の算出は、特徴抽出情報の特徴ベクトル（特徴量ｆ）、検出結果情報の特徴ベクトル（特徴情報ｒ）、ヒートマップ情報の特徴ベクトル（特徴量ｈ）を用いて、特徴ベクトル間の距離（類似度）を算出する。又は、類似度は、線形和で表してもよい。類似度算出部３は、（１）から（５）に示す方法により類似度を算出する。
【００６６】
例えば、類似度算出部３は、最新の人体内部画像３１ｃと、最新の人体内部画像３１ｃより前に撮像した人体内部画像３１ａ、又は、３１ｂとの間で類似度を算出する。
【００６７】
ステップＡ４において、同定部４は、類似度が所定値以上である場合、最新の人体内部画像３１の対象部位画像３３と、最新の人体内部画像３１より前に撮像した人体内部画像３１の対象部位画像３３とを同定する。具体的には、同定部４は、（１）から（５）のいずれかにより算出した類似度が所定値以上である場合、人体内部画像３１それぞれの対象部位画像３３同士を関連付け、記憶部に記憶する。同定部４は、（１′）から（５′）に示す方法により同定する。
【００６８】
ステップＡ５において、出力情報生成部２２は、施術中に対象部位画像３３を同定した場合、対象部位画像３３を同定したことを示す出力情報を生成し、生成した出力情報を出力装置２１に送信する。
【００６９】
ステップＡ６において、出力装置２１は、出力情報を取得した後、出力情報に基づいて、対象部位画像３３同士の同定を表す画面、又は音声、又はそれら両方を出力する。図８を参照。
【００７０】
ステップＡ７において、施術支援装置１は、ステップＡ１からＡ７に示した同定処理を終了する指示を取得した場合（Ｙｅｓ）、同定処理を終了する。ステップＡ１からＡ７に示した同定処理を継続する場合（Ｎｏ）、施術支援装置１はステップＡ１の処理に移行する。
【００７１】
［本実施の形態の効果］
以上のように、本実施の形態によれば、内視鏡２０を用いて撮像した、異なる人体内部画像３１それぞれの特徴量の類似度が所定値以上である場合、異なる人体内部画像３１それぞれの対象部位画像３３を同定する。そのため、対象部位画像３３を同定できるので、観察者の技量などに係らず、対象部位を見逃すことが削減できるので、施術の精度を向上させることができる。
【００７２】
例えば、内視鏡を用いて撮像した対象部位画像がフレームアウトしたり、内視鏡の抜差しにより対象部位画像が変化したりしても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
【００７３】
また、対象部位以外の人体部位による対象部位の隠蔽（例えば、腸のヒダ、腸内の粘液などによる対象の隠蔽）、又は内視鏡から噴射される水などによる対象部位の隠蔽が頻発しても、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
【００７４】
更に、人体内部及び対象部位のような非剛体（形状が不定形）でも、対象部位画像を同定できるので、観察者が対象部位画像を見失うことを削減できる。従って、内視鏡を用いた施術の精度を向上させることができる。
【００７５】
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ１からステップＡ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における施術支援装置と施術支援方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴量算出部２、類似度算出部３、同定部４、出力情報生成部２２として機能し、処理を行なう。
【００７６】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、特徴量算出部２、類似度算出部３、同定部４、出力情報生成部２２のいずれかとして機能してもよい。
【００７７】
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、施術支援装置を実現するコンピュータについて図１０を用いて説明する。図１０は、施術支援装置を実現するコンピュータの一例を示す図である。
【００７８】
図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
【００７９】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
【００８０】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００８１】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００８２】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
【００８３】
［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１８）により表現することができるが、以下の記載に限定されるものではない。
【００８４】
（付記１）
内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出部と、
異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出部と、
前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定部と、
を有することを特徴とする施術支援装置。
【００８５】
（付記２）
付記１に記載の施術支援装置であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援装置。
【００８６】
（付記３）
付記２に記載の施術支援装置であって、
前記類似度算出部は、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援装置。
【００８７】
（付記４）
付記２又は３に記載の施術支援装置であって、
前記類似度算出部は、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
同定部は、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援装置。
【００８８】
（付記５）
付記１から４のいずれか一つに記載の施術支援装置であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援装置。
【００８９】
（付記６）
付記１から５のいずれか一つに記載の施術支援装置であって、
施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、出力装置を有する、
ことを特徴とする施術支援装置。
【００９０】
（付記７）
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を有することを特徴とする施術支援方法。
【００９１】
（付記８）
付記７に記載の施術支援方法であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援方法。
【００９２】
（付記９）
付記８に記載の施術支援方法であって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援方法。
【００９３】
（付記１０）
付記８又は９に記載の施術支援方法であって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援方法。
【００９４】
（付記１１）
付記７から１０のいずれか一つに記載の施術支援方法であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援方法。
【００９５】
（付記１２）
付記７から１１のいずれか一つに記載の施術支援方法であって、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを有する、
ことを特徴とする施術支援方法。
【００９６】
（付記１３）
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００９７】
（付記１４）
付記１３に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９８】
（付記１５）
付記１４に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９９】
（付記１６）
付記１４又は１５に記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１００】
（付記１７）
付記１３から１６のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１０１】
（付記１８）
付記１３から１７のいずれか一つに記載の施術支援プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記施術支援プログラムは、前記コンピュータに、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に実行させる、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【０１０２】
以上のように本発明によれば、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させることができる。本発明は、内視鏡を用いて施術を必要とする分野において有用である。
【符号の説明】
【０１０３】
１  施術支援装置
２  特徴量算出部
３  類似度算出部
４  同定部
２０  内視鏡
２１  出力装置
２２  出力情報生成部
２３  特徴抽出部
２４  検出結果算出部
２５  ヒートマップ算出部
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2020012530.tif 000003
【図２】
2020012530.tif 000004
【図３】
2020012530.tif 000005
【図４】
2020012530.tif 000006
【図５】
2020012530.tif 000007
【図６】
2020012530.tif 000008
【図７】
2020012530.tif 000009
【図８】
2020012530.tif 000010
【図９】
2020012530.tif 000011
【図１０】
2020012530.tif 000012
【手続補正書】
【提出日】令和2年12月21日(2020.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、特徴量算出手段と、
異なる前記人体内部画像間における前記特徴量の類似度を算出する、類似度算出手段と、
前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、同定手段と、
を有することを特徴とする施術支援装置。
【請求項２】
請求項１に記載の施術支援装置であって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とする施術支援装置。
【請求項３】
請求項２に記載の施術支援装置であって、
前記類似度算出手段は、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とする施術支援装置。
【請求項４】
請求項２又は３に記載の施術支援装置であって、
前記類似度算出手段は、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
同定手段は、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とする施術支援装置。
【請求項５】
請求項１から４のいずれか一つに記載の施術支援装置であって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とする施術支援装置。
【請求項６】
請求項１から５のいずれか一つに記載の施術支援装置であって、
施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、出力装置を有する、
ことを特徴とする施術支援装置。
【請求項７】
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を有することを特徴とする施術支援方法。
【請求項８】
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とするプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、内視鏡を用いた施術を支援する施術支援装置、施術支援方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の目的の一例は、対象部位画像を同定することにより、内視鏡を用いた施術の精度を向上させる施術支援装置、施術支援方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
ウィンドウ４１の領域情報と同様に、検出結果情報の領域情報は、図５に示すように、対象部位に外接する矩形４２の中心座標（Ｘｒ，Ｙｒ）と、その矩形４２の大きさを示すサイズ情報（矩形の幅（Ｗｒ）と高さ（Ｈｒ））とにより示される。なお、対象部位を外接する矩形４２の中心座標は、ウィンドウ４１に対する相対位置、すなわち（Ｘｒ’＝Ｘｒ−Ｘ，Ｙｒ’＝Ｙｒ−Ｙ）としてもよい。信頼度情報は、ウィンドウ４１内の特徴を用いて算出する、検出対象部位の領域が対象部位に相当する確率（ｃｏｎｆ）を示す情報である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
（２′）同定部４は、領域情報に含まれる位置情報（Ｘ，Ｙ）間の類似度、領域情報に含まれるサイズ情報（Ｗ，Ｈ）間の類似度、信頼度情報（ｃｏｎｆ）間の類似度、特徴抽出情報（ｆ′）の類似度、ヒートマップ情報（ｈ′）の類似度がすべて、それぞれの類似度に対して設定された所定値以上である場合、対象部位画像３３同士を同定する。又は、同定部４は、類似度のうちいずれかが所定値以上である場合、対象部位画像３３同士を同定してもよい。

【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
（付記１３）
コンピュータに、
（ａ）内視鏡を用いて撮像した人体内部画像から、対象部位に対応する対象部位画像の特徴量を算出する、ステップと、
（ｂ）異なる前記人体内部画像間における前記特徴量の類似度を算出する、ステップと、
（ｃ）前記類似度が所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像を同定する、ステップと、
を実行させることを特徴とするプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
（付記１４）
付記１３に記載のプログラムであって、
前記特徴量は、前記人体内部画像から抽出した前記対象部位画像の特徴を示す特徴抽出情報、又は、前記特徴抽出情報から前記対象部位に相当する画像の一部又は全部を検出した窓領域の位置と大きさを示す領域情報、又は、前記窓領域の画像が前記対象部位に相当する画像である確率を示す信頼度情報、又は、前記特徴抽出情報を用いて算出したヒートマップ情報、又は、それらのうちの二つ以上を組み合わせた情報を有する、
ことを特徴とするプログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
（付記１５）
付記１４に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記信頼度情報が信頼所定値以上である場合、異なる前記人体内部画像間における前記特徴量の類似度を算出する、
ことを特徴とするプログラム。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
（付記１６）
付記１４又は１５に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記信頼度情報間の類似度が信頼所定値以上である場合、前記領域情報間の類似度を算出し、前記領域情報間の類似度が領域所定値以上である場合、前記特徴抽出情報間の類似度を算出し、前記特徴抽出情報間の類似度が特徴抽出所定値以上である場合、前記ヒートマップ情報間の類似度を算出し、
前記（ｃ）のステップにおいて、当該ヒートマップ情報間の類似度がヒートマップ所定値以上である場合、異なる前記人体内部画像それぞれの前記対象部位画像が同一であると同定する、
ことを特徴とするプログラム。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
（付記１７）
付記１３から１６のいずれか一つに記載のプログラムであって、
前記対象部位は腫瘍であり、前記対象部位画像は前記腫瘍を撮像した画像である、
ことを特徴とするプログラム。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
（付記１８）
付記１３から１７のいずれか一つに記載のプログラムであって、
前記施術支援プログラムは、前記コンピュータに、
（ｄ）施術中に前記対象部位画像を同定した場合、前記対象部位画像を同定したことを示す情報を、施術中に観察者に出力する、ステップを更に実行させる、
ことを特徴とするプログラム。
【国際調査報告】
2020012530.tif 000013
2020012530.tif 000014
2020012530.tif 000015
2020012530.tif 000016