(57)【要約】【課題】疾患領域の違いを把握することを容易にして精度の高い診断支援を行う診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供する。【解決手段】撮影画像から病変を診断するための診断支援装置における画像処理方法であって、撮影画像の画像処理を行うステップ（Ａ）を備え、ステップ（Ａ）において、画像補正を行う際、撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする。【選択図】図１
2018038789.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ（Ａ）を備え、
前記ステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
【請求項２】
前記ステップ（Ａ）において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項１に記載の方法。
【請求項３】
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項２に記載の方法。
【請求項４】
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のＬｐノルムを求め、ｅＲ、ｅＧ及びｅＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記前記ステップ（Ａ）において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記前記ステップ（Ａ）において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも２つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項１に記載の方法。
【請求項７】
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項１又は６に記載の方法。
【請求項８】
前記ステップ（Ａ）において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項６又は７に記載の方法。
【請求項９】
前記色空間が、ＲＧＢ色空間、ＹＵＶ色空間及びＨＳＶ色空間を含み、ＲＧＢ色空間の場合には画素Ｒ，Ｇ，Ｂについて、ＹＵＶ色空間の場合には画素Ｙ，Ｕ，Ｖについて、ＨＳＶ色空間の場合には画素Ｓ，Ｖについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項６から８のいずれか１項に記載の方法。
【請求項１０】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
【請求項１１】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
【請求項１２】
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ（Ｃ）を備えることを特徴とする請求項２、１０又は１１に記載の方法。
【請求項１３】
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
【請求項１４】
コンピュータに請求項１から１２のいずれか１項に記載の画像処理方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることができる。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。
【０００３】
しかしながら、非疾患領域の肌色部分の色合いや明るさが異なると、医師が目視による所見を得るときに、異なる点にのみ注目してしまい、疾患領域の違いを把握することが困難になる。
【０００４】
このため、例えば、非特許文献１に記載されているように色補正、あるいは特許文献１に記載されているように明るさ補正が行われるが、前者の場合、補正のための色情報計測の際、疾患領域である中央部も計測しているためロバスト性が低く、かつ、灰色仮説で色補正を行っているため補正後の肌部分が青白く不自然になる問題がある。また、後者の場合、光源条件と露出条件の双方に由来する肌色領域の明るさの過不足を補正するが、用途に応じた固有の特徴的処理が含まれておらず、したがって、精度の高い診断は困難であった。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】ＩＭＰＲＯＶＩＮＧ  ＤＥＲＭＯＳＣＯＰＹ  ＩＭＡＧＥ  ＡＮＡＬＹＳＩＳ  ＵＳＩＮＧ  ＣＯＬＯＲ  ＣＯＮＳＴＡＮＣＹ（ｈｔｔｐ：／／ｖｉｓｌａｂ．ｉｓｒ．ｉｓｔ．ｕｔｌ．ｐｔ／ｗｐ−ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０１２／１２／１４−ＩＣＩＰａ．ｐｄｆ）＜２０１６年５月５日閲覧＞
【特許文献１】特開２００６−３２５０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記した課題を解決するためになされたものであり、疾患領域の違いを把握することを容易にして精度の高い診断支援を行う、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために本発明の第１の態様は、撮影画像から病変を診断するための診断支援装置における画像処理方法であって、前記撮影画像の画像処理を行うステップ（Ａ）を備え、前記ステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
【発明の効果】
【０００８】
本発明によれば、疾患領域の違いを把握することを容易にして精度の高い診断支援を行う、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る診断支援装置の構成を示すブロック図である。
【図２】第１実施形態の処理部の構成を示すブロック図である。
【図３】第１実施形態の色補正処理動作を示すフローチャートである。
【図４】第１実施形態の色情報計測領域を説明するため引用した図である。
【図５】第２実施形態の処理部の構成を示すブロック図である。
【図６】第２実施形態の輝度補正処理動作を示すフローチャートである。
【図７】第２実施形態の輝度情報計測領域を説明するために引用した図である。
【図８】第２実施形態により生成される輝度ヒストグラムの一例を示す図である。
【図９】第２実施形態のゲイン設定処理を説明するために引用した図である。
【図１０】第２実施形態のゲインクリップ処理を説明するために引用した図である。
【図１１】第２実施形態による輝度補正前後の画像の一例を示す図である。
【図１２】第３実施形態に係る診断支援装置の構成を示すブロック図である。
【図１３】第３実施形態のアンサンブル識別器（ニューラルネットワーク）の構成を示すブロック図である。
【図１４】第３実施形態に係る診断支援装置の基本動作を示すフローチャートである。
【図１５】図１４のフローチャートを補完的に説明する図である。
【図１６】第３実施形態のアンサンブル識別器の基本動作を示すフローチャートである。
【図１７】第３実施形態の機械学習識別器生成処理の流れを示すフローチャートである。
【図１８】第３実施形態の被検画像（未知の画像識別）識別処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
【００１１】
（実施形態の構成）
図１は、本実施形態に係る診断支援装置１の構成を示すブロック図である。図１に示すように、本実施形態に係る診断支援装置１には、ダーモスコープ付撮影装置２０が接続されている。
【００１２】
ダーモスコープ付撮影装置２０は、診断支援装置１の装置本体１０からの指示により撮影を行い、撮影画像であるダーモスコピー画像を画像記憶部１３に格納するとともに、表示装置４０上に表示する。また、撮影画像は、装置本体１０により画像処理が施されて画像記憶部１３に格納すると共に表示装置４０上に表示される。
【００１３】
入力装置３０は、ダーモスコピー画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０は、マウス等により構成されている。
【００１４】
装置本体１０は、撮影画像取得部１１と、処理部１２と、画像記憶部１３と、を含む。
【００１５】
撮影画像取得部１１は、ダーモスコープ付撮影装置２０により撮影された撮影画像を取り込んで処理部１２へ出力する。処理部１２は、画像補正を行う際、ダーモスコピー画像（撮影画像）のうち疾患の確率が高い中央部（被検領域ともいう。以下同じ。）を除いた周辺部（周辺領域ともいう。以下同じ。）を測定領域に設定する。このため、処理部１２は、画像補正手段１２０を有する。
【００１６】
画像補正手段１２０は、画像補正として、色合いを補正するための色補正を行うか、輝度補正を行う。画像補正手段１２０は、色補正を行う場合、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。一方、輝度補正を行う場合、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。なお、本実施形態では色空間としてＲＧＢ色空間を取り上げて説明するが、本実施形態の適用にあたっては、そのほかにも、例えばＹＵＶ色空間やＨＳＶ色空間であってもよい。
【００１７】
画像記憶部１３は、ダーモスコープ付撮影装置２０により撮影される患部のダーモスコピー画像を記憶する他に、後述するプログラムの実行途中で生成される画像他、各種データを記憶する。画像記憶部１３には、半導体、磁気、光等のうち、いずれかの記憶素子が実装されている。
【００１８】
以下、画像補正手段１２０が、画像補正として色補正を行う場合を第１実施形態とし、画像補正として輝度補正を行う場合を第２実施形態として以下に説明を行う。
【００１９】
（第１実施形態の構成）
図２に示すように第１実施形態の処理部１２は、色補正処理手段１２１を含む。色補正処理手段１２１は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段１２１は、中央部を前記撮影画像の中心円とし、中心円を除いた測定領域内で各ＲＧＢについて対応画素のＬｐノルムを求め、ｅＲ、ｅＧ及びｅＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、ＲＧＢのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。
【００２０】
色補正処理手段１２１は、測定領域において全面が血液色であるような肌色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定してもよい。
【００２１】
（第１実施形態の動作）
以下、図３のフローチャートを参照しながら第１実施形態に係る処理部１２（色補正処理手段１２１）の色補正処理動作について詳細に説明する。
【００２２】
医師が入力装置３０を操作することによる指示の下、まず、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が補正の対象となる撮影後のダーモスコピー画像を取り込み（ステップＳ３０１）、処理部１２へ出力する。
【００２３】
これを受け処理部１２は色情報計測領域を設定する（ステップＳ３０２）。具体的に、画像補正手段１２０が、画像の色合いを取得するため、例えば、図４に示すように、その取得領域を画像中心円の領域外（中央部を除く周辺部）に設定する。これは、画像の色合いを肌の色をベースに判断し、多種多様に色変異する画像中央部の疾患領域を避けるためである。
【００２４】
次に、色補正処理手段１２１は、色情報計測領域内の各色について、以下に示す演算式（１）（２）（３）にしたがい色ノルム和計算を行う（ステップＳ３０３）。
【００２５】
【数１】
2018038789.tif 000003
【００２６】
すなわち、色補正処理手段１２１は、ステップＳ３０２で設定した色情報計測領域内のＲＧＢ各画素について、対応する画素のＬｐノルム（但し、ｐ＝６で計算）を求め、また、ｅＲ，ｅＧ，ｅＢのＬ２ノルムが１となるように（演算式３）、係数ｋで正規化する。なお、演算式（１）における積分∫は、全ての領域に対して積算を行うことを意味する。
【００２７】
次に、色補正処理手段１２１は、以下の演算式（４）（５）にしたがい、色補正ゲイン（ＩｔＲ，ＩｔＧ，ＩｔＢ）の算出を行う（ステップＳ３０４）。
【００２８】
【数２】
2018038789.tif 000004
【００２９】
すなわち、色補正処理手段１２１は、ｅＣに３＾（１／２）を乗算してこれを逆数にし（演算式４）、色再現行列にしたがう色ゲインの設定を行う（演算式５）。
【００３０】
なお、元画像がほぼＲを示す場合、Ｒゲイン（ＩｔＲ）を下げ過ぎてしまうため、色補正処理手段１２１は、Ｒゲインの設定最低値よりも下がらないようリミッターを設定する必要がある（ステップＳ３０５）。
【００３１】
次に、色補正処理手段１２１は、補正ターゲットに対するゲインバランス調整を行う（ステップＳ３０６）。すなわち、通常のホワイトバランス補正では、灰色仮説で全体のバランスを取るが、補正対象のダーモスコピー画像の場合は、肌の色が支配的であり、このため灰色仮説で調整すれば青緑色に変色するため、以下の演算式（６）（７）（８）にしたがい、変換ターゲットを設定する。すなわち、変換ターゲットの色合いを特定の肌色を想定して設定する。
【００３２】
【数３】
2018038789.tif 000005
【００３３】
すなわち、色補正処理手段１２１は、例えば、変換ターゲットによる色合いの違いを濃淡で示すために、ＲＧＢノルム合計比が１．０：０．９：１．０になるようにゲイン係数の調整を実行する。例えば、補正対象のダーモスコピー全画像の色合いについて、ＲＧＢのノルム合計比を１．０：１．０：１．０として変換ターゲット画像の色合いを示したり、ステップＳ３０６で実行されるように、ＲＧＢのノルム合計比を１．０：０．９：１．０としてゲイン調整して変換ターゲット画像の色合いを示したりすることができる。
【００３４】
続いて、色補正処理手段１２１は、ステップＳ３０６で求めたＲＧＢのゲイン係数をＲＧＢ各画素に乗算することにより元画像であるダーモスコピー画像の色補正処理を行い（ステップＳ３０７）、一連の色補正処理を終了する。
【００３５】
（第１実施形態の効果）
第１実施形態に係る診断支援装置１によれば、処理部１２（色補正処理手段１２１）が、補正対象のダーモスコピー画像に対して色合いを補正（色補正）する際に、色情報計測領域を疾患領域である確率が高い、中央部を除く周辺部に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッターを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、画像は１画像ずつ表示させて見比べるようにしてもよい（以下同じ。）
【００３６】
なお、本実施形態に係る診断支援装置１によれば、ＲＧＢ色空間を持つ撮影画像を補正の対象として説明したが、ＲＧＢ色空間に限らず、輝度信号Ｙと、２つの色差信号Ｕ，Ｖを使って表現されるＹＵＶ色空間、又は色相Ｈ、彩度Ｓ及び明度Ｖを使って表現されるＨＳＶ色空間などを持つ撮影画像を補正の対象としても同様に色補正が可能である。ＹＵＶ色空間のときには、各画素Ｙ，Ｕ，Ｖに同一の補正ゲイン値を乗算し、ＨＳＶ色空間のときには、画素Ｓ，Ｖに同一の補正ゲイン値を乗算（画素Ｈは、そのまま）すればよく、色空間に応じて少なくとも２つの画素に同一の補正ゲイン値を乗算する。
【００３７】
（第２実施形態の構成）
次に、第２実施形態について説明する。図５に示すように、第２実施形態の処理部１２は、輝度補正処理手段１２２を含む。輝度補正処理手段１２２は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。
【００３８】
このとき、輝度補正処理手段１２２は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で輝度値ごとに画素数をカウントして輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の輝度ヒストグラムのピーク値を求め、輝度補正のターゲット値を設定して補正前のピーク値がターゲット値となるように補正ゲインを設定し、求められた補正ゲイン値をＲＧＢそれぞれに乗算して輝度補正を行う。
【００３９】
輝度補正処理手段１２２は、輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、上端値を超えないように補正ゲインをクリップし、補正ゲイン値を最終的なものとしてもよい。
【００４０】
（第２実施形態の動作）
以下、図６のフローチャートを参照しながら第２実施形態に係る処理部１２（輝度補正処理手段１２２）の色補正処理動作について詳細に説明する。
【００４１】
医師が入力装置３０を操作することによる指示の下、まず、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が補正の対象となる撮影後のダーモスコピー画像を取り込み（ステップＳ７０１）、処理部１２へ出力する。
【００４２】
これを受け処理部１２は、輝度補正処理手段１２２が輝度情報計測領域の設定を行う（ステップＳ７０２）。輝度補正処理手段１２２は、例えば、図７に示すように、画像の輝度情報取得のために取得領域を画像中心円領域外（中央部を除く周辺部）に設定する。この措置は、画像の明るさを肌の色をベースに判断し、多種多様に変異する画像中央部の疾患領域を避けるためである。
【００４３】
次に、輝度補正処理手段１２２は、領域内における輝度ヒストグラムを生成する（ステップＳ７０３）。すなわち、輝度補正処理手段１２２は、ステップＳ７０２で設定した領域内で、輝度信号Ｙ（０〜２５５）について、輝度値ごとに画素数をカウントすることにより、例えば、図８に示すヒストグラムを作成する。
【００４４】
続いて、輝度補正処理手段１２２は、ヒストグラムのピーク値を安定的に取得するために、隣接する輝度値との加算平均を行いＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）による輝度方向のヒストグラム平滑化処理を実行する（ステップＳ７０４）。次に、輝度補正処理手段１２２は、ヒストグラムの高輝度側のピーク値を検出する（ステップＳ７０５）。例えば、図８に示す輝度ヒストグラムによれば、Ｘ＝１４６がピーク値として得られる。
【００４５】
続いて、輝度補正処理手段１２２は、そのピーク値を輝度補正のターゲット値に変換するゲイン値算出処理を実行する（ステップＳ７０６）。ここでは、図９に矢印Ａで示すように、輝度補正のターゲット値を１９０に設定し、補正前のピーク値１４６が１９０になるように、１９０／１４６の補正ゲインを設定する。
【００４６】
次に、輝度補正処理手段１２２は、補正ゲインを上げ過ぎて、一部領域が白飛びすることを防ぐためにヒストグラムの上端値を求める。ここでは、ヒストグラムを高輝度側から積算して０．７％以上になる輝度の上端値を求める（ステップＳ７０７）。そして、求めた上端値が２３０を超える場合、図１０に矢印Ｂで示すように、その値を超えないように補正ゲインをクリップする（ステップＳ７０８）。
【００４７】
最後に、輝度補正処理手段１２２は、ステップＳ７０８で求めた最終的な補正ゲイン値をＲＧＢのそれぞれに乗算することにより、色相を変えることなく輝度補正を行い（ステップＳ７０９）、一連の輝度補正処理を終了する。図１１に、輝度補正前後における画像と各ヒストグラムの一例が示されている。
【００４８】
（第２実施形態の効果）
上記した第２実施形態に係る診断支援装置１によれば、補正対象のダーモスコピー画像に対して輝度補正を行う際に、処理部１２（輝度補正処理手段１２２）が、輝度計測領域を疾患領域の確率が高い中央部を除いた周辺部に設定し、その領域に対して輝度ヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、Ｒ，Ｇ，Ｂそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、輝度ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。
【００４９】
本実施形態に係る診断支援装置１によれば、肌色領域の判定を、補正の対象であるダーモスコピー画像に合わせ、空間的な条件付けとヒストグラムのピーク値の条件付けとを行い輝度補正を実行することにより、その結果に用途に応じた固有の特徴的処理が含まれ、したがって、撮影光源やメラニン濃度の個人差の影響を取り除くことができ、かつ、画像分類前処理や画像提示に利用することが可能となる。画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。   
【００５０】
なお、本実施形態に係る画像処理方法は、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法である。そして、その方法は、前記撮影画像の画像処理を行うステップ（Ａ）を備え、前記画像処理を行うステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする。
【００５１】
ここで、ステップ（Ａ）は、例えば、図３に示す第１実施形態のステップＳ３０１〜Ｓ３０７の手順、図６に示す第２実施形態のステップＳ７０１〜Ｓ７０９の手順をいう。
【００５２】
また、本実施形態に係る画像処理方法において、前記画像処理を行うステップ（Ａ）が、前記中央部を前記撮影画像の中心円とするステップ（Ａ１）と、前記中心円を除いた前記測定領域内で各ＲＧＢについて対応画素のＬｐノルムを求め、ｅＲ、ｅＧ及びｅＢのＬ２ノルムが１となるように係数ｋで正規化するステップ（Ａ２）と、ｅｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行うステップ（Ａ３）と、ＲＧＢのゲイン係数を各画素に乗算し、元画像の色補正処理を行うステップ（Ａ４）と、を備えてもよい。
【００５３】
ここで、ステップ（Ａ１）は図３に示す第１実施形態のステップＳ３０２、ステップ（Ａ２）は図３に示す第１実施形態のステップＳ３０３、ステップ（Ａ３）は図３に示す第１実施形態のステップＳ３０４、ステップ（Ａ４）はステップＳ３０７、のそれぞれのステップをいう。
【００５４】
また、本実施形態に係る画像処理方法において、前記画像処理を行うステップ（Ａ）が、前記中央部を前記撮影画像の中心円とするステップ（Ａ１１）と、前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成するステップ（Ａ１２）と、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求めるステップ（Ａ１３）と、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定するステップ（Ａ１４）と、求められた前記補正ゲイン値をＲＧＢそれぞれに乗算して輝度補正を行うステップ（Ａ１５）と、を備えてもよい。
【００５５】
ここで、ステップ（Ａ１１）は図６に示す第２実施形態のステップＳ７０１，Ｓ７０２、ステップ（Ａ１２）は図６に示す第２実施形態のステップＳ７０３、ステップ（Ａ１３）は図６に示す第２実施形態のステップＳ７０４，Ｓ７０５、ステップ（Ａ１４）は、図６に示す第２実施形態のステップＳ７０６、ステップ（Ａ１５）は図６に示す第２実施形態のステップＳ７０７〜Ｓ７０９、のそれぞれのステップをいう。
【００５６】
本実施形態に係る画像処理方法によれば、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。
【００５７】
なお、本実施形態に係る方法はプログラムによってコンピュータに実行させることができ、当該プログラムは、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法のプログラムである。そしてそのプログラムは、コンピュータ（装置本体１０）に、上記した本実施形態に係る画像処理方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。
【００５８】
当該プログラムによれば、装置本体１０（処理部１２）が、上記した当該プログラムを読み出し実行することにより、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、当該プログラムは、装置本体１０内の図示省略したプログラムメモリに記憶される。
【００５９】
（第３実施形態の構成）
次に、第３実施形態について説明する。第３実施形態は、第１実施形態の色補正処理（正規化）及び／又は第２実施形態の輝度補正処理（正規化）を行ったダーモスコピー画像をニューラルネットワークから構成される識別器に入力し、機械学習の結果を用いて、未知の調査対象の疾患を推論するものである。その際、ダーモスコピー画像の肌色部の色及び／又は輝度を正規化後、正規化のターゲット値を減算してからニューラルネットワークに入力する。
【００６０】
図１２は、本発明の第３実施形態に係る診断装置１００Ａの構成を示すブロック図である。図１２に示すように、本発明の第３実施態に係る診断装置１００Ａには、ダーモスコープ付き撮影装置２０ａが接続されている。
【００６１】
ダーモスコープ付き撮影装置２０ａは、診断装置１００Ａからの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１３ａに格納すると共に、表示装置４０ａ上に表示する。また、撮影画像は、診断装置本体１０ａ（処理部１０ａ，アンサンブル識別器１４ａ）により画像処理が施されて画像記憶部１３ａに保存されると共に表示装置４０ａ上に表示される。
【００６２】
入力装置３０ａは、ダーモスコープ画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０ａ、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０ａは、マウス等により構成されている。
【００６３】
学習用皮膚画像記憶部１０３は、学習用に付された疾患の識別名称と既知の皮膚画像データを関連付けて記録される皮膚画像データベースである。
【００６４】
診断装置本体１０ａは、処理部１２ａと、アンサンブル識別器１４ａと、取得部１１ａとを含む。
【００６５】
処理部１２ａは、画像記憶部１３ａに記憶された撮影画像（原画像データ）に画像補正処理を施した変換画像データを生成してアンサンブル識別器１４ａに出力する。ここで、画像補正処理とは、原画像データの色補正処理（正規化）又は輝度補正処理（正規化）である。なお、これら変換画像データを回転し、あるいは反転させた回転反転画像を含んでもよい。
【００６６】
このため、処理部１２ａの画像補正手段１２０は、色補正処理手段１２１と、輝度補正処理手段１２２と、減算処理手段１２３を含む。
【００６７】
色補正処理手段１２１は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。輝度補正処理手段１２２は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。色補正処理手段１２１は、第１実施形態で説明したもの、輝度補正処理手段１２２は、第２実施形態で説明したものであるので、詳細は省略する。
【００６８】
減算処理手段１２３は、色補正処理（正規化）及び／又は輝度補正処理（正規化）されたダーモスコピー画像の画素値から、アンサンブル識別器１４ａ（ニューラルネットワーク）に入力する前に、正規化のターゲット値を減算する。肌色部に係るターゲット値は、例えば（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）とする。これにより、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調するような前処理が行うことができる。すなわち、平均画像を減算した場合には必ずしも肌色近辺の値が中心にならないのに対し、肌色部に係るターゲット値を減算することにより、肌色近辺の値を中心として、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調できる。
【００６９】
正規化のターゲット値が減算されたダーモスコピー画像は、アンサンブル識別器１４ａに入力される。アンサンブル識別器１４ａは、処理部１２ａによって前処理された診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別する。このアンサンブル識別器１４ａは、対象に係る原画像データ、原画像データから変換された（第１の変換画像データ）及び同じく（第２の変換画像データ）のうち少なくとも２つを含む複数の皮膚画像データに対応するように、少なくとも２つの単位識別器１４１（ＣＮＮ１），１４２（ＣＮＮ２）……と、単位識別器１４１，１４２によって各別に得られた識別値を統合し、最終判定値を得る判定手段１４３と、を含む。
【００７０】
単位識別器１４１，１４２……は、疾患に係る複数の既知の皮膚画像データに基づいて学習する畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を有し、処理部１２ａによって生成される変換画像データを、この畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。
【００７１】
なお、単位識別器１４１，１４２……は、例えば、診断装置１００Ａが製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。
【００７２】
図１３に、畳み込みニューラルネットワーク（ＣＮＮ）の代表的構成を示す。図１３によれば、畳み込みニューラルネットワークは、学習段階では複数の既知の皮膚画像データ（変換画像データ）が、被検段階では複数の未知の皮膚画像データ（変換画像データ）が入力される入力層１１１ａと、畳み込み層とプーリング層から構成されたセットを複数有し、複数の既知の皮膚画像データ又は複数の未知の皮膚画像データから特徴を抽出する中間層１１１ｂと、抽出された特徴に基づき診断対象の分類ごとに識別値を出力する出力層１１１ｃと、を備える。
【００７３】
上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニットａを介して行われる。各処理ユニットａの入出力は、入力画像から抽出される複数の特徴である特徴マップｂで示される複数の二次元画像である。この場合、入力画像も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニットａとして多段接続され、特徴量ベクトルを算出する。この特徴量ベクトルに対し、後述する判定手段１１３で識別処理が行われ、出力クラスを得る構成になっている。
【００７４】
判定手段１１３は、抽出された特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層１１１ａ、中間層１１１ｂ、出力層１１１ｃで構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。ここでは、各単位識別器に１１１，１１２よって各別に得られた識別値を、例えば、平均することにより統合し、最終判定値を得る。
【００７５】
畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）等に詳細に記載されている。畳み込みニューラルネットワーク（ＣＮＮ）は、脳の神経回路網を模したニューラルネットワークを多層にして学習するディープラーニング（ディープニューラルネットワーク；Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の一種であり、画像解析に好適に用いることができる。なお、ディープラーニングの他の手法を採用したり、他の手法と組み合わせたりすることも可能である。
【００７６】
なお、取得部１２ａは、複数の未知の皮膚画像データを取得可能であって、構造明瞭、部位強調等の画像変換のために前処理部１０ａへ出力する。
【００７７】
（第３実施形態の動作）
以下、図１４から図１８のフローチャートを参照しながら第３実施形態に係る処理部１２ａ、アンサンブル識別器１４ａの動作について詳細に説明する。
【００７８】
図１４に示すように、まず、所望の撮影後のダーモスコピー画像を入力し、このダーモスコピー画像について、第１実施形態に係る色補正処理（正規化）及び／又は第２実施形態に係る輝度補正処理（正規化）を行う（ステップ（Ａ））。この色及び／又は輝度補正処理（正規化）は、図１５に示すように、正規化のターゲット値を例えば、（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）とする。この正規化により、肌色部（非疾患領域）は、青みがかった撮影画像から肌色に近い画像に補正される。なお、ステップ（Ａ）の詳細は、色補正処理については図３で示したステップＳ３０１からステップＳ３０７、輝度補正処理については図６で示したステップＳ７０１からステップＳ７０９のとおりである。
【００７９】
図１４に戻り、正規化を行った画像の各画素に対して、肌色に係るターゲット値（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）を減算する（ステップ（Ｂ））。この減算により、前述したとおり、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調するような前処理を行うことができる。
【００８０】
減算した画像を用いて、ニューラルネットワークから構成されるアンサンブル識別器１４ａに入力し、学習もしくは推測を行う（ステップ（Ｃ））。識別器における学習及び推測の詳細については、項をあらためて説明する。なお、ステップ（Ｃ）は、ステップ（Ｂ）の前であっても行うことができ、ターゲット値を減算する前に、正規化を行った画像の各画素をアンサンブル識別器１４ａに入力し、学習もしくは推測を行ってもよい。
【００８１】
（第３実施形態の動作）
以下、図１６から図１８のフローチャートを参照しながら、本発明の第３実施形態に係る診断装置１００Ａの動作について詳細に説明する。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。
【００８２】
図１６において（適宜、図１３併せて参照）、診断装置本体１０の取得部１１ａは、まず、診断対象に係わる複数の未知の皮膚画像データを学習用皮膚画像として取得する（ステップＳ１０：学習画像収集）。具体的に、未知の皮膚画像データの収集にあたり、医師が患者の疾患部分のダーモスコピー撮影を行なうことにより、取得部１１ａが、その撮影操作により複数の未知の皮膚画像データを取り込み、処理部１２ａへ出力する。
【００８３】
このとき、処理部１２ａは、症例の疾患名を、収集した学習用皮膚画像データに関連付けて学習用皮膚画像記憶部１０３に登録する。そして、処理部１２ａは、学習用皮膚画像を必要数収集したか否かを判定し、必要枚数収集するまで上記の手順を繰り返し実行し、学習用皮膚画像記憶部１０３上に皮膚画像データベースを構築する。
【００８４】
取得部１１ａがステップＳ１０で未知の皮膚画像データ収集処理を実行後、処理部１２ａは、未知の皮膚画像データに対して構造明瞭、部位強調等の画像変換処理を実行し、更に、９０度回転等のデータ増量処理を施してアンサンブル識別器１４ａへ出力する。アンサンブル識別器１４ａは、単位識別器１４１，１４２……が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより、入力画像である学習用皮膚画像の特徴を抽出する（ステップＳ２０：機械学習器生成処理）。
【００８５】
具体的に、単位識別器１４１，１４２……は、入力画像に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップｂを得、その後、特徴マップｂに対してプーリングを行ない、ｍ−１の特徴マップｂの小領域から値を出力してｍの特徴マップに変換する識別器生成処理を実行する。
【００８６】
次に、判定手段１４３は、単位識別器１４１，１４２……で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層１１１ｃの各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像について識別処理を実行する（ステップＳ３０：被検画像識別）。
【００８７】
図１７は、本発明の第３実施形態に係る診断装置１００Ａの機械学習識別器生成処理の手順（図１６のステップＳ２０）を示すフローチャートである。まず、処理部１２ａが、学習用皮膚画像に対して、色補正（正規化）及び／又は輝度補正（正規化）のための画像補正処理を実行する（ステップＳ２１）。各変換画像を９０ｘＮ回転と反転の組み合わせで８倍に増量処理を実行し、結果をアンサンブル識別器１４ａに引き渡す（ステップＳ２２）。
【００８８】
これを受けてアンサンブル識別器１４ａは、増量された各画像の学習済みＣＮＮ値を変換画像毎に平均して４０９６次元の特徴ベクトルを得る（ステップＳ２３）。アンサンブル識別器１４ａは、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする（ステップＳ２４）。そして、ステップＳ２１からＳ２４の処理を繰り返し実行して必要種類の識別器生成後（ステップＳ２５“ＹＥＳ”）、連結された特徴ベクトルを用い、そのベクトルを入力とする線形ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）学習を行ない、機械学習識別器生成処理を終了する（ステップＳ２６）。
【００８９】
図１８は、本発明の第３実施形態に係る診断装置１００Ａの被検画像の識別処理の手順（図１６のステップＳ３０）を示すフローチャートである。図１８によれば、まず、処理部１２ａは、取得部１１ａが取得した未知の皮膚画像データに対して、色補正（正規化）及び／又は輝度補正（正規化）のための画像補正処理を実行する（ステップＳ３１）。処理部１２ａは、更に、各変換画像を９０ｘＮ回転と反転の組み合わせで８倍に増量処理を実行し、結果をアンサンブル識別器１４ａに引き渡す。
【００９０】
アンサンブル識別器１４ａは、増量された各画像の学習済みＣＮＮ値を変換画像毎に平均して４０９６次元の特徴ベクトルを得、更に、変換画像毎に出力された特徴ベクトル平均を連結して最終的なベクトル表現とする（ステップＳ３２）。そして、アンサンブル識別器１４ａは、ステッップＳ３１とＳ３２の処理を繰り返し実行して必要種類の識別器生成後（ステップＳ３３“ＹＥＳ”）、判定手段１１３が、全ての識別値を平均貸して最終判定値を得、例えば、表示装置４０ａに表示する（ステップＳ３４）。
【００９１】
すなわち、ステップＳ３１〜Ｓ３３までの処理は、画像変換の対象となる入力画像が学習用皮膚画像から被検画像（未知の画像）に変更されただけであり、必要種類の識別器生成後、学習済みの線形ＳＶＭ識別器の出力値により識別結果を得る。
【００９２】
（第３実施形態の効果）
上記した第３実施形態に係る診断支援装置１によれば、ダーモスコピー画像の肌色部（非疾患領域）の色・輝度を正規化し、その正規化値を前処理として減算することにより、疾患の可能性がある中央部の肌色部（非疾患領域）に対する変化を強調するような前処理が行うことができる。換言すると、中央部と肌色部（非疾患領域）との効果的なエッジ抽出を行うことができる。
【００９３】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。具体的には、上記実施形態は皮膚における病変を対象として説明したが、本発明は皮膚以外にも、例えば、眼底や子宮などの臓器における病変にも適用が可能である。
【００９４】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［請求項１］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ（Ａ）を備え、
前記ステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
［請求項２］
前記ステップ（Ａ）において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項１に記載の方法。
［請求項３］
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項２に記載の方法。
［請求項４］
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のＬｐノルムを求め、ｅＲ、ｅＧ及びｅＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項１から３のいずれか１項に記載の方法。
［請求項５］
前記前記ステップ（Ａ）において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項１から４のいずれか１項に記載の方法。
［請求項６］
前記前記ステップ（Ａ）において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも２つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項１に記載の方法。
［請求項７］
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項１又は６に記載の方法。
［請求項８］
前記ステップ（Ａ）において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項６又は７に記載の方法。
［請求項９］
前記色空間が、ＲＧＢ色空間、ＹＵＶ色空間及びＨＳＶ色空間を含み、ＲＧＢ色空間の場合には画素Ｒ，Ｇ，Ｂについて、ＹＵＶ色空間の場合には画素Ｙ，Ｕ，Ｖについて、ＨＳＶ色空間の場合には画素Ｓ，Ｖについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項６から８のいずれか１項に記載の方法。
［請求項１０］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
［請求項１１］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
［請求項１２］
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ（Ｃ）を備えることを特徴とする請求項２、１０又は１１に記載の方法。
［請求項１３］
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
［請求項１４］
コンピュータに請求項１から１２のいずれか１項に記載の画像処理方法を実行させるプログラム。
【符号の説明】
【００９５】
１００Ａ…診断支援装置、１０，１０ａ…装置本体、１１，１１ａ…撮影画像取得部、１２，１２ａ…処理部、１３，１３ａ…画像記憶部、１４ａ…識別器、１４１，１４２…単位識別器、１４３…判定手段、２０，２０ａ…ダーモスコープ付撮影装置、３０，３０ａ…入力装置、４０，４０ａ…表示装置、１０３…学習用皮膚画像記憶部、１２０…画像補正手段、１２１…色補正処理手段、１２２…輝度補正処理手段、１１１ａ…入力層（識別器の）、１１１ｂ…中間層（識別器の）、１１１ｃ…出力層（識別器の）、ａ…処理ユニット（識別器の）、ｂ…特徴マップ（識別器の）
【図１】
2018038789.tif 000006
【図２】
2018038789.tif 000007
【図３】
2018038789.tif 000008
【図４】
2018038789.tif 000009
【図５】
2018038789.tif 000010
【図６】
2018038789.tif 000011
【図７】
2018038789.tif 000012
【図８】
2018038789.tif 000013
【図９】
2018038789.tif 000014
【図１０】
2018038789.tif 000015
【図１１】
2018038789.tif 000016
【図１２】
2018038789.tif 000017
【図１３】
2018038789.tif 000018
【図１４】
2018038789.tif 000019
【図１５】
2018038789.tif 000020
【図１６】
2018038789.tif 000021
【図１７】
2018038789.tif 000022
【図１８】
2018038789.tif 000023
【手続補正書】
【提出日】平成29年9月11日(2017.9.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ（Ａ）を備え、
前記ステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
【請求項２】
前記ステップ（Ａ）において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項１に記載の方法。
【請求項３】
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項２に記載の方法。
【請求項４】
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のＬｐノルムを求め、ｅＲ、ｅＧ及びｅＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記ステップ（Ａ）において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記ステップ（Ａ）において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも２つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項１に記載の方法。
【請求項７】
前記ステップ（Ａ）において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項１又は６に記載の方法。
【請求項８】
前記ステップ（Ａ）において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項６又は７に記載の方法。
【請求項９】
前記色空間が、ＲＧＢ色空間、ＹＵＶ色空間及びＨＳＶ色空間を含み、ＲＧＢ色空間の場合には画素Ｒ，Ｇ，Ｂについて、ＹＵＶ色空間の場合には画素Ｙ，Ｕ，Ｖについて、ＨＳＶ色空間の場合には画素Ｓ，Ｖについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項６から８のいずれか１項に記載の方法。
【請求項１０】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
【請求項１１】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
【請求項１２】
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ（Ｃ）を備えることを特徴とする請求項２、１０又は１１に記載の方法。
【請求項１３】
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ（Ａ）と、
前記撮影画像の画像補正後の画素値から、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ（Ｂ）と、を備えることを特徴とする方法。
【請求項１４】
前記ステップ（Ａ）において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする請求項１３に記載の方法。
【請求項１５】
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
【請求項１６】
コンピュータに請求項１から１４のいずれか１項に記載の画像処理方法を実行させるプ
ログラム。