(57)【要約】【課題】画像検索に要求される仕様を満足する診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供する。【解決手段】撮影画像から病変を診断するための診断支援装置１であって、病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブック（ビジュアルワード辞書１６０）を備え、コードブック生成部が、第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化する。【選択図】図１
2018050671.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から病変を診断するための診断支援装置であって、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブックを生成するコードブック生成部を備え、
前記コードブック生成部が、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする診断支援装置。
【請求項２】
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する処理部をさらに備え、
前記処理部が、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１に記載の診断支援装置。
【請求項３】
前記正方形領域がクロップされることを特徴とする請求項１又は２に記載の診断支援装置。
【請求項４】
前記正方形領域が、円又は楕円で囲まれて設定された特徴抽出有効領域の中心を中心としてクロップされることを特徴とする請求項３に記載の診断支援装置。
【請求項５】
前記局所特徴ベクトルの特徴量が、ベクトル量子化された複数の値の統計処理を行った統計量ベクトルによって得られることを特徴とする請求項１から４のいずれか１項に記載の診断支援装置。
【請求項６】
前記コードブックが、入力された前記第１撮像画像を正方形にクロップして所定のサイズにリサイズし、リサイズされた正方形画像から色空間画素値及び局所勾配特徴量を一定画素間隔で取得してクラスタリング対象のデータ群に登録し、保持している全ての前記第１撮影画像についてクラスタリング対象のデータ群とし、登録された全ての局所特徴ベクトルをクラスタリングし、得られた各クラスタの中心値を前記コードブックに登録し、色空間画素値及び局所勾配特徴量の作成が終わるまで繰り返すことによって得られることを特徴とする請求項１に記載の診断支援装置。
【請求項７】
前記局所特徴ベクトルが５つの局所特徴に係るベクトルを含み、前記特徴抽出有効領域を中央と全体に区分したとき、第１局所特徴が色中央特徴、第２局所特徴が色全体特徴、第３局所特徴が形状中央特徴、第４局所特徴が形状全体特徴、及び第５局所特徴が全体構図特徴であることを特徴とする請求項１又は６に記載の診断支援装置。
【請求項８】
前記局所特徴ベクトルが、局所特徴ベクトル群を抽出し、前記コードブックにしたがい抽出した前記局所特徴ベクトル群をベクトル数分量子化後、量子化した複数の値をヒストグラム積算処理したものであることを特徴とする請求項１、６及び７のいずれか１項に記載の診断支援装置。
【請求項９】
前記第１撮像画像と前記第２撮像画像の類似画像検索を行うベクトル間距離算出部を含む検索手段をさらに備え、前記ベクトル間距離算出部が、前記第１撮像画像の局所特徴ベクトルと前記第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離を求め、ヒストグラム間の類似度を判定することを特徴とする請求項８に記載の診断支援装置。
【請求項１０】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成するステップ（Ａ）を備え、
前記ステップ（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする画像処理方法。
【請求項１１】
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出するステップ（Ｂ）をさらに備え、
前記ステップ（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
撮影画像から病変を診断するための診断支援装置における画像処理方法のプログラムであって、
コンンピュータに、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成する処理（Ａ）を備え、
前記処理（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化する処理を含むことを特徴とするプログラム。
【請求項１３】
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する処理（Ｂ）をさらに備え、
前記処理（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることができる。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われているが、画像の観察による症例の識別は医師のスキルに依存しているのが現状である。
【０００３】
このため、例えば、特許文献１に、撮影され保存された患者の撮影画像からＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｉｎｇ）変換したハイダイナミックレンジ合成画像を生成して比較可能な医用撮影装置の技術が記載されている。特許文献１に記載された技術によれば、診断スキルの有無に依存することなく容易にダーモスコピー画像の所見を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１６４５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ダーモスコピー画像の所見を得るために画像検索が行われるが、その際に、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易で、かつ、高速画像検索のための計算コストの低減が要求仕様として求められる。また、抽出領域サイズの安定性（撮像回転に対する不変性）等についても要求され、これら要求に対し、従来の一般的な画像特徴量表現をそのまま適用した場合、その要求仕様が得られない課題がある。   
【０００６】
本発明は上記した課題を解決するためになされたものであり、画像検索時に要求される仕様を満足する、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために本発明は、撮影画像から病変を診断するための診断支援装置であって、病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブックを生成するコードブック生成部を備え、前記コードブック生成部が、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
【発明の効果】
【０００８】
本発明によれば、画像検索に要求される仕様を満足する、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る診断支援装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る診断支援装置のコードブック生成処理動作を示すフローチャートである。
【図３】本発明の実施の形態に係る診断支援装置のＢｏＦ特徴ベクトル抽出処理動作を示すフローチャートである。
【図４】撮影画像の一例を示す図である。
【図５】楕円領域手動選択により切出される画像を説明するために引用した図である。
【図６】楕円領域手動選択により作成される楕円領域重みマップを示す図である。
【図７】局所特徴毎に設定される特徴抽出有効領域を示す図である。
【図８】楕円領域重みマップと特徴抽出有効領域により作成される特徴抽出重みマップを示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
【００１１】
（実施形態の構成）
図１は、本実施形態に係る診断支援装置１の構成を示すブロック図である。図１に示すように、本実施態に係る診断支援装置１には、ダーモスコープ付撮影装置２０が接続されている。
【００１２】
ダーモスコープ付撮影装置２０は、診断支援装置１の装置本体１０からの指示により撮影を行い、撮影画像（ダーモスコピー画像）を画像記憶部１５に記憶すると共に、表示装置４０上に表示する。また、撮影画像は、装置本体１０により画像処理が施されて画像記憶部１５に記憶すると共に、表示装置４０上に表示される。
【００１３】
入力装置３０は、ダーモスコピー画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０は、マウス等により構成されている。
【００１４】
装置本体１０は、撮影画像取得部１１と、コードブック生成部１２、処理部１３と、検索手段１４と、画像記憶部１５と、辞書記憶部１６と、を含む。
【００１５】
撮影画像取得部１１は、ダーモスコープ付撮影装置２０により撮影されたダーモスコピー画像（第１撮影画像）を取り込み、画像記憶部１５に記憶すると共に、コードブック生成部１２と処理部１３に出力する。コードブック生成部１２は、撮影画像取得部１１により取り込まれた、病変に係る既知のダーモスコピー画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成し、辞書記憶部１６の一部領域に割り当てられ記憶されるビジュアルワード（Ｖｉｓｕａｌ  Ｗｏｒｄ）辞書１６０に登録する。
【００１６】
このため、コードブック生成部１２は、ＲＧＢ画素値／局所勾配特徴量取得部１２１と、クラスタリング処理部１２２と、コードブック登録部１２３とを含み、構成される。なお、本実施形態では色空間としてＲＧＢ色空間を取り上げて説明するが、本実施形態の適用にあたっては、そのほかにも、例えばＹＵＶ色空間やＨＳＶ色空間であってもよい。
【００１７】
ＲＧＢ画素値／ＢｏＦ特徴量取得部１２１は、入力されるターモスコピー画像を正方形にクロップして所定のサイズにリサイズし、リサイズされた正方形画像から、ＲＧＢ画素値、又はＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を一定画素間隔で取得して、クラスタリング対象のデータ群として登録する。なお、本実施形態では局所勾配特徴量としてＳＩＦＴ特徴量を取り上げて説明するが、本実施形態の適用にあたっては、例えばＲＩＦＦ（Ｒｏｔａｔｉｏｎ−Ｉｎｖａｒｉａｎｔ，Ｆａｓｔ  Ｆｅａｔｕｒｅ）特徴量などのＳＩＦＴ特徴量以外の局所勾配特徴量であってもよい。
【００１８】
クラスタリング処理部１２２は、画像記憶部１５に保持された全てのダーモスコピー画像についてクラスタリング対象のデータ群とし、登録された全ての局所特徴ベクトルをクラスタリングし、得られた各クラスタの中心値をコードブックに登録し、ＲＧＢ画素値及びＳＩＦＴ特徴量の作成が終わるまで繰り返すことによって得られるコードブックを、コードブック登録部１２３を介して辞書記憶部１６のビジュアルワード辞書１６０に登録する。
【００１９】
処理部１３は、病変に係る未知のダーモスコピー画像（第２撮影画像）に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する。処理部１３は、第２撮影画像の局所特徴ベクトルの特徴量表現において円又は楕円で囲まれた特徴抽出有効領域を設定し、特徴抽出有効領域の中心を中心としてクロップされた正方形領域から複数の局所特徴ベクトル群をベクトル量子化し、量子化した複数の値の統計処理を行った統計量ベクトルを得て検索手段１４へ出力する。
【００２０】
より具体的には、局所特徴ベクトルは、局所特徴ベクトル群を抽出し、コードブックにしたがい抽出した局所特徴ベクトル群をベクトル数分量子化後、量子化した複数の値をヒストグラム積算処理したものである。ここでは、ＢｏＦ（Ｂａｇ  ｏｆ  Ｆｅａｔｕｒｅ）特徴ベクトルとする。ここで、ＢｏＦとは、画像を局所特徴の集合として捉えた画像の表現方法であり、基本的な考え方は、ｂａｇ−ｏｆ−ｗｏｒｄと称されるテキスト検索のモデルであり、文章中に出現する単語のコードブックをもとに語順に関係なく文章を単語の出現頻度で表現する方法である。
【００２１】
ＢｏＦは、単語の代わりにベクトル量子化された局所特徴を用いることで画像を局所特徴の集合として捉える。このため、撮影画像から局所特徴を抽出し、全ての局所特徴をクラスタリングすることでビジュアルワードと称される複数の類似画像を作成する。これら特徴ベクトルをまとめたものをコードブックと称している。ＢｏＦは、撮影画像ごとに得られる局所特徴を、コードブックの特徴ベクトルのうち最も近い特徴ベクトルに投票することで出現回数のヒストグラムで表現することができる。その画像の局所特徴の総数でヒストグラムのｂｉｎを割ることで作成される、正規化されたヒストグラムがその画像に対するＢｏＦ表現になる。
【００２２】
局所特徴ベクトルは、５つの局所特徴に係るベクトルを含み、処理部１３が、特徴抽出有効領域を中央と全体に区分したとき、局所特徴＃１（第１局所特徴）が色中央特徴、局所特徴＃２（第２局所特徴）が色全体特徴、局所特徴＃３（第３局所特徴）が形状中央特徴、局所特徴＃４（第４局所特徴）が形状全体特徴、局所特徴＃５（第５局所特徴）が全体構図特徴である。このため、処理部１３は、ＢｏＦ特徴量ベクトル抽出部１３１と、ＢｏＦ特徴ベクトル連結部１３２と、を含み、ＢｏＦ特徴量ベクトル抽出部１３１が、コードブック生成部１２により生成されたビジュアルワード辞書１６０を用いて５つの局所特徴ベクトル（＃１〜＃５）を抽出する機能を有し、ＢｏＦ特徴ベクトル連結部１３２は、５つの局所特徴＃１〜＃５のそれぞれを連結して検索手段１４へ出力する機能を有する。
【００２３】
検索手段１４は、生成されたビジュアルワード辞書１６０（コードブック）を用いてＢｏＦ特徴ベクトル抽出による類似画像検索を行い表示装置４０へ出力する。類似画像検索にあたっては、ベクトル間距離算出部１４１において、第１撮像画像の局所特徴ベクトルと第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離（ヒストグラムインタセクション）を求め、ヒストグラム間の類似度を判定する。
【００２４】
画像記憶部１５は、ダーモスコープ付撮影装置２０により撮影される患部のダーモスコピー画像を記憶する他に、本実施形態に係るプログラムの実行途中で生成される画像他、各種データを記憶する。辞書記憶部１６は、コードブック生成部１２により生成されるビジュアルワード辞書（コードブック）を記憶する。画像記憶部１５、辞書記憶部１６共に、半導体、磁気、光等のうち、いずれかの記憶素子が実装されている。
【００２５】
（実施形態の動作）
以下、図２，図３のフローチャートを参照して図１に示す本実施形態に係る診断支援装置１の処理動作について詳細に説明する。
【００２６】
まず、図２のフローチャートを参照しながら本実施形態に係る診断支援装置１のコードブック生成処理動作から説明する。
【００２７】
まず、医師が入力装置３０を操作することによる指示の下、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が撮影後のダーモスコピー画像を取り込み、画像記憶部１５へ記憶すると共に、コードブック生成部１２へ出力する（ステップＳ２０１）。図４にダーモスコピー撮影画像の一例が示されている。
【００２８】
コードブック生成部１２は、ＲＧＢ画素値／ＢｏＦ特徴量取得部１２１が、長方形状のダーモスコピー画像の両側をカットして正方形状の画像を切り出し、１２８×１２８画素等、所定のサイズにリサイズする（ステップＳ２０２）。そしてリサイズされた正方形画像から、ＲＧＢ画素値又はＳＩＦＴ特徴量を一定画素間隔で取得してクラスタリング対象のデータ群として画像記憶部１５へ登録する（ステップＳ２０３）。
【００２９】
ＲＧＢ画素値／ＢｏＦ特徴量取得部１２１は、画像記憶部１５に記憶されている全ての画像について上記したステップＳ２０１〜Ｓ２０３の処理を繰り返し実行し（ステップＳ２０４“ＹＥＳ”）、クラスタリング対象のデータ群としてクラスタリング処理部１２２へ出力する。
【００３０】
なお、ＲＧＢ特徴量は、画像中の濃淡変化が大きい特徴点を抽出し、その特徴点周りの領域をＲＧＢ画素値により特徴ベクトルとしたものであり、また、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量は、特徴点周りの局所画像パターンを１２８次元特徴ベクトルで表現したもので、回転、スケール変化、照明変化に対して耐性のある特徴である。
【００３１】
クラスタリング処理部１２２は、ステップＳ２０１〜Ｓ２０４の手順にしたがい登録された全局所特徴ベクトルを、ｋ−ｍｅａｎｓ法等、最適分割化手法によりクラスタリングを行い（ステップＳ２０５）、コードブック登録部１２３を介し、得られた各クラスタ中心値をビジュアルワードとし（ステップＳ２０６）、辞書記憶部１６のビジュアルワード辞書１６０に登録する。クラスタリング処理部１２２は、ＲＧＢ画素値（３次元）、ＳＩＦＴ特徴量（１２８次元）の２種類のビジュアルワード生成が終了するまで（ステップＳ２０７“ＹＥＳ”）、繰り返し実行する。
【００３２】
次に、図３のフローチャートを参照しながら本実施形態に係る診断支援装置１のＢｏＦ特徴ベクトル抽出処理動作について説明する。
【００３３】
ここでは、処理部１３が、コードブック生成部１２により生成されたビジュアルワード辞書１６０（コードブック）を用いて、ＢｏＦ特徴ベクトルの抽出を行う。ＢｏＦ特徴ベクトルは、５つの局所特徴に係るベクトル（局所特徴＃１〜＃５）を含み、特徴抽出有効領域を中央と全体に区分したとき、局所特徴＃１が色中央特徴（ＲＧＢヒストグラム）、局所特徴＃２が色全体特徴（ＲＧＢヒストグラム）、局所特徴＃３が形状中央特徴（ＤｅｎｓｅＳＩＦＴとＢｏＦ（１／８×１／８パッチのヒストグラム））、局所特徴＃４が形状全体特徴（ＤｅｎｓｅＳＩＦＴとＢｏＦ（１／８×１／８パッチのヒストグラム））、局所特徴＃５が全体構図特徴（ＤｅｎｓｅＳＩＦＴとＢｏＦ（３／８×３／８パッチのヒストグラム））であり、それぞれについて特徴ベクトル抽出後、各ＢｏＦ特徴ベクトル＃１〜＃５を連結する。詳細は後述する。
【００３４】
このため、まず、医師が入力装置３０を操作することによる指示の下、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１がクエリ画像（ダーモスコピー画像）を取り込み、処理部１３へ出力する（ステップＳ３０１）。これを受けて処理部１３は、ＢｏＦ特徴量ベクトル抽出部１３１が、まず、クエリ画像の外挿処理を行う（ステップＳ３０２）。これは、中心位置からずれたクロップ処理によるデータの連続性を確保するため（画像端がエッジとして扱われないようにするため）の措置である。
【００３５】
続いて、医師が、検索時に重視する箇所をＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）により円又は楕円の領域選択を行う。具体的に、医師は、表示装置４０に表示された外挿画像のうち、入力装置３０を操作することによって、検索時に重視する箇所の円又は楕円領域を手動で選択（図５にＧＵＩ選択楕円として示す楕円とする）する（ステップＳ３０３）。これを受けてＢｏＦ特徴量ベクトル抽出部１３１は、選択した楕円中心を中心とする正方形領域をクロップし、例えば、１２８×１２８画素の所定のサイズにリサイズした切出し画像を得る（ステップＳ３０４）。
【００３６】
次に、ＢｏＦ特徴量ベクトル抽出部１３１は、ステップＳ３０４でリサイズされた正方形画像において、指定領域で、ＲＧＢ画素値（局所特徴＃１〜＃２）、又はＳＩＦＴ特徴量（局所特徴＃３〜＃５）を一定画素間隔でサンプリングすることにより取得する（ステップＳ３０５）。続いて、ＢｏＦ特徴量ベクトル抽出部１３１は、ステップＳ３０３で手動選択した楕円領域に対応する楕円領域重み付けマップを作成する（ステップＳ３０６）。図６に楕円領域重み付けマップの一例が示されている。
【００３７】
次に、ＢｏＦ特徴量ベクトル抽出部１３１は、例えば、図７に示すような特徴抽出有効領域を設定する。具体的に、局所特徴＃１〜＃２については、特徴抽出有効領域を「中央」部、局所特徴＃３〜＃５については特徴抽出有効領域を「全体」部に設定する。続いて、ＢｏＦ特徴量ベクトル抽出部１３１は、ステップＳ３０６で作成した楕円領域重みマップと、ステップＳ３０７で設定した特徴抽出有効領域の畳み込み演算を行い、例えば、図８に示す最終的な楕円領域重み付けマップを作成する。図８（ａ）は「中央」部、図８（ｂ）は「全体」部を特徴抽出有効領域に設定した場合の特徴抽出重みマップであり、いずれもハッチングした部分が該当する。
【００３８】
次に、ＢｏＦ特徴量ベクトル抽出部１３１は、各種局所特徴ベクトルについてベクトル量子化し、重み付けマップに基づいて積算することにより、ビジュアルワードヒストグラムを作成するが（ステップＳ３０９）、ヒストグラム投票の際、ＢｏＦ特徴の抽出座標によって、ステップＳ３０８で作成した重み付けの投票を行う。続いて、ＢｏＦ特徴量ベクトル抽出部１３１は、各ＢｏＦ特徴ベクトルであるビジュアルワードヒストグラムの大きさを揃えるためにＬ２ノルム正規化処理を実行する（ステップＳ３１０）。
【００３９】
以上の処理（Ｓ３０１〜Ｓ３１０）は、局所特徴＃１〜＃５分のＢｏＦ特徴ベクトルの抽出が終了するまで全画像繰り返し実行され（ステップＳ３１１“ＹＥＳ”）、最後に、ＢｏＦ特徴ベクトル連結部１３２が、作成された５種類のＢｏＦ特徴ベクトルを連結して最終的な画像の特徴ベクトルとする。ＢｏＦ特徴ベクトル連結部１３２は、必要に応じて各ＢｏＦ特徴ベクトルに重み付けを付して連結することもある。
【００４０】
なお、検索手段１４は、生成されたビジュアルワード辞書１６０（コードブック）を用いてＢｏＦ特徴ベクトル抽出による類似画像検索を行い表示装置４０へ出力する。類似画像検索にあたっては、ベクトル間距離算出部１４１において、第１撮像画像の局所特徴ベクトルと第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離（ヒストグラムインタセクション）を求め、ヒストグラム間の類似度を判定する。
【００４１】
（実施形態の効果）
以上説明のように本実施形態に係る診断支援装置１によれば、装置本体１０は、
病変に係る既知のダーモスコピー画像（第１撮影画像）に基づいて形成されるリファレンス画像について局所特徴ベクトルがベクトル量子化するためのビジュアルワードを含むコードブック（ビジュアルワード辞書１６０）を生成するコードブック生成部１２を備え、コードブック生成部が、第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトルをベクトル量子化する構成とした。
【００４２】
このため、撮影画像であるダーモスコピー画像の画像特性を踏まえ、類似画像検索に適したヒストグラム形式の特徴ベクトル表現を得ることができ、したがって、例えば、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易であり、画像検索に要求される仕様を満足した診断支援装置１を提供することができる。
【００４３】
また、本実施形態に係る診断支援装置１によれば、円形あるいは楕円領域から特徴抽出を行っているため、撮像が回転しても抽出領域のサイズに変化がなく、抽出領域サイズの安定性（撮像回転に対する不変性）についても要求仕様を満足する診断支援装置１を提供することができる。又、中央領域のみからの特徴抽出を行うことにより、疾患部内部のみに注目した特徴を取り出すことが可能となる。また、特徴ベクトルは、ヒストグラム表現であるため、ヒストグラム間の類似度を、ベクトル間距離としてヒストグラム交差距離（ヒストグラムインタセクション）を計算することにより、その計算を高速に行うことができる。
【００４４】
さらに、ユーザ（医師）の領域選択に対応した特徴ベクトルの抽出が行えるため、使い勝手の良い診断支援装置１を提供することができる。又、ダーモスコピー画像の分類上の重要点、色、テクスチャ、全体構図のそれぞれについて、医師の思いにしたがう重み付けチューニングが可能になり、一層使い勝手の良い診断支援装置１を提供することができる。
【００４５】
なお、上記した本実施形態に係る診断支援装置１は、局所特徴ベクトルはＢｏＦ特徴ベクトルであるとして説明したが、他に、量子化残差の和を用いるＶＬＡＤ（Ｖｅｃｔｏｒ  ｏｆ  Ｌｏｃａｌｌｙ  Ａｇｇｒｅｇａｔｅｄ  Ｄｅｓｃｒｉｐｔｉｏｎ）としてもよい。
【００４６】
また、本実施形態に係る診断支援装置１は、図１に示すスタンドアロン構成で説明したが、例えば、装置本体１０をサーバで実現し、入力装置３０と表示装置４０をサーバにＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網等のネットワーク経由で接続される端末で実現し、サーバが、端末から検索クエリを受信することによりコードブックを参照して局所特徴ベクトルを抽出し、クエリ画像に類似する候補を検索して要求のあった端末に出力するクライアントサーバシステムで実現してもよい。
【００４７】
なお、本実施形態に係る画像処理方法は、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法である。そして、その方法は、病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成するステップ（Ａ）と、病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出するステップ（Ｂ）と、を備え、前記局所特徴ベクトルを抽出するステップ（Ｂ）が、前記第２撮影画像の局所特徴ベクトルの特徴量表現において円又は楕円で囲まれた特徴抽出有効領域を設定し、前記特徴抽出有効領域の中心を中心としてクロップされた正方形領域から複数の局所特徴ベクトルをベクトル量子化してヒストグラム積算した局所特徴ベクトルを得ることを特徴とする。
【００４８】
ここで、（Ａ）は、例えば、図２に示すフローチャートに示すＳ２０１〜Ｓ２０７の各ステップをいい、（Ｂ）は、例えば、図３に示すフローチャートのＳ３０１〜Ｓ３１２の各ステップをいう。
【００４９】
また、本実施形態に係る画像処理方法のコードブックを生成するステップ（Ａ）において、前記コードブックが、入力された前記第１撮影画像を正方形にクロップして所定のサイズにリサイズするステップ（Ａ１）と、リサイズされた正方形画像からＲＧＢ画素値及びＳＩＦＴ特徴量を一定画素間隔で取得してクラスタリング対象のデータ群に登録するステップ（Ａ２）と、保持している全ての前記第１撮影画像についてクラスタリング対象のデータ群とし、登録された全局所特徴ベクトルをクラスタリングするステップ（Ａ３）と、得られた各クラスタの中心値を前記コードブックに登録し、ＲＧＢ画素値及びＳＩＦＴ特徴量の作成が終わるまで繰り返することにより得るステップ（Ａ４）と、を備えてもよい。
【００５０】
ここで、（Ａ１）は、図２中のＳ２０２、（Ａ２）は、図２中のＳ２０３、（Ａ３）は、図２中のＳ２０５、Ａ４は、図２中のＳ２０６、におけるそれぞれのステップをいう。
【００５１】
また、本実施形態の画像処理方法のステップ（Ｂ）において、前記局所特徴ベクトルが、局所特徴ベクトル群を抽出するステップ（Ｂ１）と、前記コードブックにしたがい抽出した前記局所特徴ベクトル群をベクトル数分量子化するステップ（Ｂ２）と、量子化した複数の値を統計処理するステップ（Ｂ３）と、を備えてもよい。ここで、（Ｂ１）〜（Ｂ３）は、図３中、Ｓ３０９で示すステップをいう。
【００５２】
本実施形態に係る画像処理方法によれば、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易で、かつ、高速画像検索のための計算コストを低減することができる。このため、一般的な画像特徴量表現をそのまま適用しても画像検索時に要求される仕様を満足することができる。
【００５３】
なお、本実施形態に係るプログラムは、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法のプログラムである。そしてそのプログラムは、コンピュータ（装置本体１０）に、上記した本実施形態に係る画像処理方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。
【００５４】
本実施形態に係るプログラムによれば、装置本体１０が、上記した本実施形態に係るプログラムを読み出し実行することにより、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易で、かつ、高速画像検索のための計算コストを低減する診断支援装置１を提供することができる。このため、一般的な画像特徴量表現をそのまま適用しても画像検索時に要求される仕様を満足することができる。なお、本実施形態に係るプログラムは、装置本体１０内の図示省略したプログラムメモリに記憶される。
【００５５】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５６】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［請求項１］
撮影画像から病変を診断するための診断支援装置であって、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブックを生成するコードブック生成部を備え、
前記コードブック生成部が、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする診断支援装置。
［請求項２］
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する処理部をさらに備え、
前記処理部が、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１に記載の診断支援装置。
［請求項３］
前記正方形領域がクロップされることを特徴とする請求項１又は２に記載の診断支援装置。
［請求項４］
前記正方形領域が、円又は楕円で囲まれて設定された特徴抽出有効領域の中心を中心としてクロップされることを特徴とする請求項３に記載の診断支援装置。
［請求項５］
前記局所特徴ベクトルの特徴量が、ベクトル量子化された複数の値の統計処理を行った統計量ベクトルによって得られることを特徴とする請求項１から４のいずれか１項に記載の診断支援装置。
［請求項６］
前記コードブックが、入力された第１撮像画像を正方形にクロップして所定のサイズにリサイズし、リサイズされた正方形画像から色空間画素値及び局所勾配特徴量を一定画素間隔で取得してクラスタリング対象のデータ群に登録し、保持している全ての前記第１撮影画像についてクラスタリング対象のデータ群とし、登録された全ての局所特徴ベクトルをクラスタリングし、得られた各クラスタの中心値を前記コードブックに登録し、色空間画素値及び局所勾配特徴量の作成が終わるまで繰り返すことによって得られることを特徴とする請求項１に記載の診断支援装置。
［請求項７］
前記局所特徴ベクトルが５つの局所特徴に係るベクトルを含み、前記特徴抽出有効領域を中央と全体に区分したとき、第１局所特徴が色中央特徴、第２局所特徴が色全体特徴、第３局所特徴が形状中央特徴、第４局所特徴が形状全体特徴、及び第５局所特徴が全体構図特徴であることを特徴とする請求項１又は６に記載の診断支援装置。
［請求項８］
前記局所特徴ベクトルが、局所特徴ベクトル群を抽出し、前記コードブックにしたがい抽出した前記局所特徴ベクトル群をベクトル数分量子化後、量子化した複数の値をヒストグラム積算処理したものであることを特徴とする請求項１、６及び７のいずれか１項に記載の診断支援装置。
［請求項９］
前記第１撮像画像と前記第２撮像画像の類似画像検索を行うベクトル間距離算出部を含む検索手段をさらに備え、前記ベクトル間距離算出部が、前記第１撮像画像の局所特徴ベクトルと前記第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離を求め、ヒストグラム間の類似度を判定することを特徴とする請求項８に記載の診断支援装置。
［請求項１０］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成するステップ（Ａ）を備え、
前記ステップ（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする画像処理方法。
［請求項１１］
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出するステップ（Ｂ）をさらに備え、
前記ステップ（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１０に記載の画像処理方法。
［請求項１２］
撮影画像から病変を診断するための診断支援装置における画像処理方法のプログラムであって、
コンンピュータに、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成する処理（Ａ）を備え、
前記処理（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化する処理を含むことを特徴とするプログラム。
［請求項１３］
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する処理（Ｂ）をさらに備え、
前記処理（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１２に記載のプログラム。
【符号の説明】
【００５７】
１…診断支援装置、１０…装置本体、１１…撮影画像取得部、１２…コードブック生成部、１３…処理部、１４…検索手段、１５…画像記憶部、１６…辞書記憶部、２０…ダーモスコープ付撮影装置、３０…入力装置、４０…表示装置、１２１…ＲＧＢ画素値／ＢｏＦ特徴量取得部、１２２…クラスタリング処理部、１２３…コードブック登録部、１３１…ＢｏＦ特徴量ベクトル抽出部、１３２…ＢｏＦ特徴ベクトル連結部、１４１…ベクトル間距離算出部、１６０…ビジュアルワード辞書
【図１】
2018050671.tif 000003
【図２】
2018050671.tif 000004
【図３】
2018050671.tif 000005
【図４】
2018050671.tif 000006
【図５】
2018050671.tif 000007
【図６】
2018050671.tif 000008
【図７】
2018050671.tif 000009
【図８】
2018050671.tif 000010