(57)【要約】【課題】ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体の分類を実現する。【解決手段】プロセッサとメモリを有する機械学習装置であって、前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する。【選択図】図１
2020009160.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサとメモリを有する機械学習装置であって、
前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、
前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、
前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、
前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納することを特徴とする機械学習装置。
【請求項２】
請求項１に記載の機械学習装置であって、
前記プロセッサは、指定された画像を指定パターンとして受け付けて、
前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習装置。
【請求項３】
請求項１に記載の機械学習装置であって、
前記プロセッサは、特定の領域を示した指定パターンの画像を生成し、
前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習装置。
【請求項４】
プロセッサとメモリを有する画像診断支援装置であって、
前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、
前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、
前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、
前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別結果を算出することを特徴とする画像診断支援装置。
【請求項５】
請求項４に記載の画像診断支援装置であって、
前記プロセッサは、指定された画像を指定パターンとして受け付けて、
前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援装置。
【請求項６】
請求項４に記載の画像診断支援装置であって、
前記プロセッサは、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定することを特徴とする画像診断支援装置。
【請求項７】
請求項４に記載の画像診断支援装置であって、
前記プロセッサは、特定の領域を示した指定パターンの画像を生成し、
前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援装置。
【請求項８】
請求項７に記載の画像診断支援装置であって、
前記プロセッサは、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定することを特徴とする画像診断支援装置。
【請求項９】
プロセッサとメモリを有する計算機で、画像の機械学習を行う機械学習方法であって、
前記計算機が、画像を受け付けて、前記画像に含まれる物体の特徴量を算出する特徴量算出ステップと、
前記計算機が、前記特徴量から局所を識別して局所識別値を算出する局所識別値算出ステップと、
前記計算機が、前記局所識別値を用いて全体識別値を算出する全体識別値算出ステップと、
前記計算機が、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する識別器生成ステップと、
を含むことを特徴とする機械学習方法。
【請求項１０】
請求項９に記載の機械学習方法であって、
前記計算機が、指定された画像を指定パターンとして受け付ける指定パターン受け付けステップと、
前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
をさらに含み、
前記全体識別値算出ステップは、
前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習方法。
【請求項１１】
請求項９に記載の機械学習方法であって、
前記計算機が、特定の領域を示した指定パターンの画像を生成する指定パターン生成ステップと、
前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
をさらに含み、
前記全体識別値算出ステップは、
前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習方法。
【請求項１２】
プロセッサとメモリを有する計算機で、画像の診断を支援する画像診断支援方法であって、
前記計算機が、画像を受け付けて、前記画像に含まれる物体の特徴量を算出する特徴量算出ステップと、
前記計算機が、前記特徴量から局所を識別して局所識別値を算出する局所識別値算出ステップと、
前記計算機が、前記局所識別値を用いて全体識別値を算出する全体識別値算出ステップと、
前記計算機が、前記局所識別値と前記全体識別値を用いて識別結果を算出する識別結果算出ステップと、
を含むことを特徴とする画像診断支援方法。
【請求項１３】
請求項１２に記載の画像診断支援方法であって、
前記計算機が、指定された画像を指定パターンとして受け付ける指定パターン受け付けステップと、
前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
をさらに含み、
前記全体識別値算出ステップは、
前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援方法。
【請求項１４】
請求項１２に記載の画像診断支援方法であって、
前記計算機が、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定する判定ステップを、さらに含むことを特徴とする画像診断支援方法。
【請求項１５】
請求項１２に記載の画像診断支援方法であって、
前記計算機が、特定の領域を示した指定パターンの画像を生成する指定パターン生成ステップと、
前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップ
と、
をさらに含み、
前記全体識別値算出ステップは、
前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像診断支援装置およびシステム、画像診断支援方法に関する。
【背景技術】
【０００２】
近年、画像認識技術においては、Deep Learning等の機械学習を用いた画像認識技術の検討が行われている。Deep Learningを用いることで、画像内の物体の検出精度を向上させている。
【０００３】
画像内の物体を検出するための識別器を開発するために、例えば、特許文献１に提案される技術が知られている。当該特許文献１では、各隠れ層から直接出力層につなげるニューラルネットワークを構成して機械学習を行い、画像内の物体の特徴を抽出して物体を識別する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１３／２８２６３５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように、各隠れ層から直接出力層につなげて機械学習をしたとしても、意図しない画像内の特徴を抽出するため、画像内の物体の検出漏れや誤検出になるという課題がある。
【０００６】
同様に、特許文献１では、組織や細胞画像内の組織や細胞を分類したとしても、異常組織（例：がん）や異常細胞（例：がん）を検出できず、検出漏れや誤検出になるという課題が存在する。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像から意図した画像の特徴を自動的に抽出する構成を加え、ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体（例えば、組織や細胞等）の分類を実現するための技術を提供するものである。
【課題を解決するための手段】
【０００８】
本発明は、プロセッサとメモリを有する機械学習装置であって、前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する。
【発明の効果】
【０００９】
本発明によれば、ニューラルネットワークの機械学習により自動抽出した特徴だけでは検出すべき物体か否かを判定できない場合でも、意図した画像の特徴を自動的に抽出することができる。ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、組織や細胞等)の分類を実現することができるようになる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１を示し、画像診断支援装置の機能を示すブロック図である。
【図２】本発明の実施例１を示し、画像診断支援装置のハードウェア構成の一例を示すブロック図である。
【図３】本発明の実施例１を示し、特徴抽出部の処理の一例を説明する図である。
【図４】本発明の実施例１を示し、特徴抽出部の処理の一例を説明する図である。
【図５】本発明の実施例１を示し、局所識別部の処理の一例を説明する図である。
【図６】本発明の実施例１を示し、全体識別部の処理の一例を説明する図である。
【図７】本発明の実施例１を示し、学習部の処理の一例を説明する図である。
【図８】本発明の実施例１を示し、描画部の処理の一例を説明する図である。
【図９】本発明の実施例１を示し、学習部で行われる処理の一例を説明するフローチャートである。
【図１０】本発明の実施例１を示し、画像診断支援装置で行われる処理の一例を説明するフローチャートである。
【図１１】本発明の実施例１を示し、描画部の判定結果表示画面の一例を説明するための図である。
【図１２】本発明の実施例２を示し、画像診断支援装置の機能を示すブロック図である。
【図１３Ａ】本発明の実施例２を示し、特徴量から大局識別値を算出する例を説明する図である。
【図１３Ｂ】本発明の実施例２を示し、大局識別値と教師ラベルから基本識別値を算出する例を説明する図である。
【図１３Ｃ】本発明の実施例２を示し、生成された指定パターンを修正するＧＵＩの一例を示す図である。
【図１４】本発明の実施例２を示し、画像診断支援装置１で行われる処理の一例を説明するフローチャートである。
【図１５】本発明の実施例３を示し、画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。
【図１６】本発明の実施例４を示し、画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態は、画像から、画像の特徴量を算出し、さらに、意図した画像の特徴を自動的に抽出する構成を加え、ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、異常組織や異常細胞の病変等)の検出漏れや誤検出抑制を実現する画像診断支援装置およびその方法を提供する。
【００１２】
以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ符号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
【００１３】
本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【００１４】
更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
【００１５】
以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（処理の主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。
【実施例１】
【００１６】
＜画像診断支援装置の機能構成＞
図１は、本発明の実施形態による画像診断支援装置１の機能構成を示すブロック図である。画像診断支援装置１は、入力部１０と、特徴抽出部１１と、局所識別部１２と、全体識別部１３と、描画部１４と、記録部１５と、学習部１６と、制御部９１と、記憶装置９０と、を有している。
【００１７】
当該画像診断支援装置１は、バーチャルスライド等の組織及び細胞画像取得装置内に実装しても良いし、後述する（実施例３乃至実施例４）のように、組織及び細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。
【００１８】
画像診断支援装置１における、入力部１０、特徴抽出部１１、局所識別部１２、全体識別部１３、描画部１４、記録部１５、及び学習部１６は、プログラムによって実現しても良いし、モジュール化して実現しても良い。
【００１９】
入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。
【００２０】
また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記録されていた画像を入力画像としてもよい。
【００２１】
特徴抽出部１１は、入力画像内から物体(例えば、組織や細胞等)に関する特徴量を算出する。
【００２２】
局所識別部１２は、抽出した特徴量から局所的に物体の識別値（局所識別値）を算出し、入力画像内の局所毎に、検出すべき物体か否かを分類する。なお、本実施例において、局所は、例えば、所定の領域や所定の臓器や器官または組織や細胞などを示す。
【００２３】
全体識別部１３は、局所識別部１２で算出した局所識別値を用いて、入力画像の全体の識別結果を算出する。
【００２４】
描画部１４は、前記全体識別部１３で分類した物体(例えば、異常組織や異常細胞等)を囲むように検出枠を画像上に描画する。
【００２５】
記録部１５は、前記描画部１４で原画像上に検出枠を描画した画像を記憶装置９０に保存する。
【００２６】
学習部１６は、入力画像内の物体を物体として識別するように、すなわち、正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って識別に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。
【００２７】
ただし、入力画像と一緒に任意のパターンを示す画像（以降、指定パターンと呼ぶ）が与えられているときは、局所識別部１２で算出した局所識別値と指定パターンを用いて、画像内の指定パターンの箇所を優先して識別するように追加識別値を算出する。換言すれば、指定パターンは、画像内で優先して特徴を抽出したい箇所を示すデータである。
【００２８】
局所識別値と算出した追加識別値を用いて全体識別部１３で入力画像の全体の識別結果を全体識別値として算出するように機械学習を行う。一方、指定パターンがない場合は、局所識別値のみを用いて全体識別部１３で入力画像の全体の識別結果を算出するように機械学習を行う。以上のように機械学習を行って必要な各パラメータ（フィルター係数、オフセット値等）を算出する。
【００２９】
なお、学習部１６は、図示しないニューラルネットワークを用いて学習を実施する。ニューラルネットワークは、外部の計算機で稼働するサービスを利用しても良いし、ハードウェアによって実装されても良い。
【００３０】
制御部９１は、プロセッサで実現され、画像診断支援装置１内の各要素に接続される。画像診断支援装置１の各要素の処理は、上述した各構成要素の自律的な処理、又は制御部９１の指示により処理を行う。
【００３１】
このように本実施形例態の画像診断支援装置１では、特徴抽出部１１で算出した特徴量から入力画像の局所を識別する局所識別値を算出し、さらに、入力画像と対の指定パターンがある場合は局所識別値と、指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値を算出する。そして、画像診断支援装置１では局所識別値もしくは局所識別値と追加識別値を用いて入力画像の全体の識別結果を算出して、入力画像内の物体を分類することを特徴とする。
【００３２】
＜画像診断支援装置のハードウェア構成＞
図２は、本発明の実施形態による画像診断支援装置１のハードウェア構成例を示す図である。
【００３３】
画像診断支援装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（記憶装置９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。
【００３４】
ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。
【００３５】
メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、局所識別部１２と、全体識別部１３と、描画部１４と、記録部１５と、学習部１６とを格納する。ただし、実施例１の画像診断支援装置１のメモリ２０２には、画像生成部２０は含まない。
【００３６】
記憶装置２０３は、処理対象画像、局所識別部１２によって生成された入力画像に関する局所識別値、全体識別部１３によって生成された入力画像に関する分類結果とその数値、描画部１４によって生成された検出枠を描画するための位置情報、学習部１６によって生成した後述の式１、式２および式５の各パラメータ等を記憶している。
【００３７】
出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１４によって生成されたデータをディスプレイ画面上に表示する。
【００３８】
入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像診断支援装置１に入力される。
【００３９】
通信デバイス２０６は、画像診断支援装置１としては必須の構成ではなく、画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像診断支援装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する処理を行う。
【００４０】
本発明の画像診断支援装置１は、入力画像に関する各物体(組織や細胞等)の特徴量を算出し、算出した特徴量から入力画像の局所を識別する局所識別値を算出し、さらに、入力画像と対の指定パターンがある場合は局所識別値と指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値を算出し、局所識別値もしくは局所識別値と追加識別値を用いて入力画像の全体の識別結果を算出して、入力画像内の各物体(組織や細胞の病変らしさ等)を判定する。
【００４１】
＜各部の構成と処理＞
以下、各要素の構成と処理について詳細に説明する。
【００４２】
（ｉ）特徴抽出部１１
特徴抽出部１１は、入力画像の特徴量を算出する。一例として、各特徴量を算出する例を図３に示す。図３のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋを表す。
【００４３】
例えば、特徴抽出器Ａを用いて、以下の式１により、入力画像Ａ１から入力画像Ａ１の物体（例えば、組織や細胞等）の特徴量ＦＡｉを算出する。式１に示すフィルタ係数ｗｊは、各物体を各物体（正常組織や正常細胞を正常組織や正常細胞、もしくは異常組織や異常細胞を異常組織や異常細胞等）と識別するように、機械学習等により算出した係数である。式１において、ｐｊは画素値、ｂｉはオフセット値、ｍはフィルタ係数の数、ｈは非線形関数を示す。
【００４４】
図４に示すように、式１を用いて、対象画像の左上から右下に対して、各フィルタの計算結果を算出することで、フィルタｉの特徴量ｆｉを算出する。例えば、特徴抽出器Ａで算出した特徴量ｆｉの行列を、入力画像Ａ１の特徴量ＦＡｉとする。特徴抽出器Ａの生成方法については、後述する学習部１６にて説明する。
【００４５】
【数１】
2020009160.tif 000003
【００４６】
（ii）局所識別部１２
局所識別部１２は、図５に示すように、前記特徴抽出部１１で算出した特徴抽出器Ａの特徴量ＦＡｉと非線形関数（例えば、ｓｉｇｍｏｉｄ関数等）を用いて、式２により、局所領域毎に物体らしさ（例えば、病変らしさ等）の値を算出して、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する。
【００４７】
以下の式２において、ＬＳはクラス、高さ、幅の３次元配列から成る局所識別値、ＦＡｉは特徴抽出部１１で算出した特徴量の番号、高さ、幅の３次元配列から成る特徴量、Ｗはクラス、特徴量の番号、高さ、幅の４次元配列から成る局所識別値を算出するためのフィルタ、Ｂはクラスの１次元配列から成る局所識別値算出のためのオフセット値、ｃはクラスのインデックス、ｙは特徴量の垂直方向のインデックス、ｘは特徴量の水平方向のインデックス、ｆｙはフィルタの垂直方向のインデックス、ｆｘはフィルタの水平方向のインデックス、ｊはフィルタのインデックスを示す。
【００４８】
式２ではＣｏｎｖｏｌｕｔｉｏｎ処理を用いて局所識別値ＬＳを算出しているが、局所識別値ＬＳの算出方法はこれに限らない。例えば、Ｃｏｎｖｏｌｕｔｉｏｎ処理や非線形関数等を複数回適用して算出しても良いし、各座標における特徴量をＲａｎｄｏｍ  ｆｏｒｅｓｔやＳＶＭ等、その他の識別手法に入力して局所識別値ＬＳを算出しても良い。
【００４９】
【数２】
2020009160.tif 000004
【００５０】
（iii）全体識別部１３
全体識別部１３は、図６に示すように、前記局所識別部１２で算出した局所識別値ＬＳもしくは局所識別値ＬＳおよび後述する追加識別値ＡＳと非線形関数（例えば、ｓｉｇｍｏｉｄ関数等）を用いて、指定パターンがある場合は以下の式３、または、指定パターンがない場合は以下の式４により、入力画像内の各物体の物体らしさ（例えば、病変らしさ等）の値を示す計算結果Ｒを算出する。そして、全体識別部１３は、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する。
【００５１】
ただし、以下の式３、式４に示す基礎識別値ＢＳは、以下の式５の大局識別値ＧＳと式６を用いて算出する。
【００５２】
式５において、ＧＳはクラスの１次元配列から成る大局識別値、ＦＡｉは特徴抽出部１１で算出した特徴量の番号、高さ、幅の３次元配列から成る特徴量、Ｗはクラス、特徴量の番号、高さ、幅の４次元配列から成る大局識別値算出のためのフィルタ、Ｂはクラスの１次元配列から成る大局識別値算出のためのオフセット値、ｃはクラスのインデックス、ｙは特徴量の垂直方向のインデックス、ｘは特徴量の水平方向のインデックス、ｆｙはフィルタの垂直方向のインデックス、ｆｘはフィルタの水平方向のインデックス、ｊはフィルタのインデックスを示す。
【００５３】
また、式６のＬａｂｅｌは、クラスの１次元配列から成る画像単位の教師ラベルを示す。後述する学習部１６にて、機械学習により、式５のフィルタＷの係数とオフセット値Ｂを算出する。
【００５４】
式５ではＣｏｎｖｏｌｕｔｉｏｎ処理と水平及び垂直方向の平均処理を用いて大局識別値ＧＳを算出しているが、大局識別値ＧＳの算出方法はこれに限らない。例えばＣｏｎｖｏｌｕｔｉｏｎ処理や非線形関数等を複数回適用した後に、水平及び垂直方向の平均処理を行っても良いし、各座標における特徴量をＲａｎｄｏｍ  ｆｏｒｅｓｔやＳＶＭ等、その他の識別手法に入力して得られた値の水平及び垂直方向の平均値を算出しても良い。また水平及び垂直方向の平均処理に限らず、総和処理等を用いても良い。
【００５５】
また、式３の各項には、出現頻度や追加識別値ＡＳおよび基礎識別値ＢＳの値等に応じて算出した重みを掛けてもよい。
【００５６】
【数３】
2020009160.tif 000005
【００５７】
【数４】
2020009160.tif 000006
【００５８】
【数５】
2020009160.tif 000007
【００５９】
【数６】
2020009160.tif 000008
【００６０】
ただし、式６において、ＮＬＬは損失関数、例えば、Ｎｅｇａｔｉｖｅ  ｌｏｇ  ｌｉｋｅｌｉｈｏｏｄを示す。
【００６１】
一例として、画像内の物体（例えば、細胞の病変等）の有無の判定が出来ない場合でも、後述する学習部１６での追加識別値を反映した特徴抽出器Ａや、局所識別値や、大局識別値および後述する追加識別値を用いることで、従来の機械学習の技術では抽出できなかった物体の特徴（例えば、基底細胞の有無や上皮細胞での病変有無等）が明確となり、画像内の各物体を精度よく判定することが可能となる。
【００６２】
（iv）学習部１６
学習部１６は、前記の特徴抽出部１１、局所識別部１２、全体識別部１３、後述する追加識別部１７から構成される。追加識別部１７は、局所識別値ＬＳと指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値ＡＳを算出する。
【００６３】
追加識別部１７は、入力画像と対に指定パターンが与えられている場合、式７より、局所識別部１２で算出した局所識別値ＬＳと指定パターン（Ｐａｔｔｅｒｎ）を用いて、追加識別値ＡＳを算出する。
【００６４】
【数７】
2020009160.tif 000009
【００６５】
式７において、Ｐａｔｔｅｒｎは、クラス、高さ、幅の３次元配列であり、局所識別器の目標識別値を０または１で指定する。
【００６６】
学習部１６は、指定パターンがある場合、局所識別値ＬＳと指定パターンを用いて追加識別値ＡＳを算出する。
【００６７】
そして、全体識別部１３にて、従来技術である機械学習の技術を用いて、局所識別値ＬＳと追加識別値ＡＳを用いて入力画像内の各物体を各物体（例えば、正常組織や正常細胞を正常組織や正常細胞、異常組織や異常細胞を異常組織や異常細胞）と識別するように、各物体の特徴量を学習して、フィルタＷの係数とオフセット値Ｂを算出する。
【００６８】
例えば、機械学習の技術として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋを用いてもよい。一方、指定パターンがない場合は、局所識別値ＬＳのみを用いて、全体識別部１３にて、入力画像内の各物体を各物体と識別するように、各物体の特徴量を学習して、フィルタＷの係数とオフセット値Ｂを算出する。
【００６９】
学習部１６は、図７に示すように、事前の機械学習により、入力画像Ａ１（例えば、病理画像）を用いて、式１により、入力画像Ａ１の特徴量ｆｉ（ＦＡｉとする）を算出する。
【００７０】
次に、学習部１６は、式２により、特徴量ｆｉから局所識別値ＬＳを算出し、式７により、局所識別値ＬＳと指定パターンＢ１を用いて追加識別値ＡＳを算出する。
【００７１】
さらに、局所識別値ＬＳから算出した基礎識別値ＢＳと追加識別値ＡＳを用いて、各対象物体を各対象物体（例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞）と判定するように、式１から式７までの各パラメータを算出する。
【００７２】
このように、指定パターンによる追加識別値ＡＳを反映した特徴抽出器Ａや全体識別部１３を含めた識別器Ｃを生成することで、指定パターンで示した箇所を優先して識別するための特徴量を算出することが可能となる。
【００７３】
学習部１６は、複数の学習用画像を用いて、前記特徴抽出部１１と前記局所識別部１２、前記全体識別部１３、前記追加識別部１７の処理を繰り返して行い、式１、式２および式５に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を算出する。そして、学習部１６は、入力画像Ａ１から入力画像Ａ１の特徴量ＦＡｉを算出する特徴抽出器Ａ、局所識別値を算出する局所識別器Ｌ、大局識別値を算出する大局識別器Ｍから成る識別器Ｃを生成する。
【００７４】
また、学習部１６は、算出した各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を記憶装置９０に格納する。
【００７５】
（v）描画部１４
描画部１４は、全体識別部１３において、画像内の物体を所定の物体（例えば、異常組織や異常細胞）と判定された場合、図８に示すように、検出すべき物体の箇所（例えば、異常組織や異常細胞が疑われる箇所等）を示すために、入力した対象画像内に検出枠を描画して出力装置２０４に出力する。
【００７６】
一方、描画部１４は、正常組織や正常細胞と判定された場合は、入力した対象画像上に検出枠を描画せず、入力した対象画像をそのまま表示する。また、図８に示すように、判定した病変らしさの結果（例えば、腫瘍）を表示する。
【００７７】
また、描画部１４は、一例として、図１１に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、病変らしさ判定の結果を表示する。図１１は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。
【００７８】
図１１の判定結果表示画面１４１では、病変の名称１４２と、判定結果（正常１４３、がん１４４）と、病変らしさの値１４５と、表示ボタン１４６で構成される。
【００７９】
図１１の例では、低分化管状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんの病変らしさの値１４５を０．６９と算出した例である。
【００８０】
また、中分化管状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である中分化管状腺がんを含まず、正常組織または細胞と分類し、中分化管状腺がんの病変らしさの値１４５を０．１１と算出した例である。
【００８１】
また、高分化管状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である高分化管状腺がんを含まず、正常組織または細胞と分類し、高分化管状腺がんの病変らしさの値１４５を０．０９と算出した例である。
【００８２】
また、乳頭状腺がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である乳頭状腺がんを含まず、正常組織または細胞と分類し、乳頭状腺がんの病変らしさの値１４５を０．０６と算出した例である。また、印環細胞がんについて、全体識別部１３は、入力された対象画像に異常組織または細胞である印環細胞がんを含まず、正常組織または細胞と分類し、印環細胞がんの病変らしさの値１４５を０．０５と算出した例である。
【００８３】
（vi）記録部１５
記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報と当該対象画像を記憶装置９０に保存する。
【００８４】
＜画像診断支援装置の処理手順＞
図９は、本発明の実施例１による画像診断支援装置１の学習部１６で行われる処理の一例を説明するためのフローチャートである。以下では、学習部１６を処理の主体として記述するが、ＣＰＵ２０１を処理の主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
【００８５】
（i）ステップＳ９０１
入力部１０は、学習用に入力された画像を受け付け、当該入力画像を学習部１６に出力する。
【００８６】
（ii）ステップＳ９０２
学習部１６は、機械学習によって、上述の式１により、フィルタを用いて入力画像Ａ１の物体（例えば、組織や細胞等）の特徴量ＦＡｉを算出し、特徴抽出器Ａを生成する。学習部１６は、特徴量ＦＡｉについて、フィルタ係数ｗｊ、オフセット値ｂｉを算出する。
【００８７】
（iii）ステップＳ９０３
学習部１６は、機械学習によって、上述の式２により、特徴量ＦＡｉから局所識別値ＬＳを算出し、局所領域毎に物体らしさ（例えば、病変らしさ等）の値を算出して、入力画像Ａ１内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定するように、局所識別値ＬＳを算出するための式２の各パラメータ（フィルタＷの係数、オフセット値Ｂ等）を算出する。
【００８８】
（iv）ステップＳ９０４
学習部１６は、機械学習によって、上述の式７により、局所識別値ＬＳと指定パターン（Ｐａｔｔｅｒｎ）Ｂ１を用いて、優先して指定パターンＢ１で示す画像内の領域の特徴を捉えるように、追加識別値ＡＳを算出する。
【００８９】
（v）ステップＳ９０５
学習部１６は、機械学習によって、上述の式３もしくは式４により、局所識別値ＬＳから算出した基礎識別値ＢＳと追加識別値ＡＳを用いて、各対象物体を所定の対象物体（例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞）と判定するように、式５の各パラメータ（フィルタＷの係数、オフセット値Ｂ等）を算出する。そして、学習部１６は、上記式３または式４により、入力画像内の各物体の物体らしさ（例えば、病変らしさ等）の値を示す計算結果Ｒを算出する。
【００９０】
（vi）ステップＳ９０６
学習部１６は、式１、式２および式５の各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉ、Ｂ等）を記憶装置９０に保存する。
【００９１】
上記ステップＳ９０１〜Ｓ９０６の処理によって、指定パターンＢ１による追加識別値ＡＳを反映した特徴抽出器Ａや全体識別部１３を含めた識別器Ｃを生成し、指定パターンＢ１で示した箇所を優先して識別する特徴量を算出することができる。
【００９２】
図１０は、本発明の実施例１による画像診断支援装置１の処理を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を処理の主体として記述するが、ＣＰＵ２０１を処理の主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
【００９３】
（i）ステップＳ１００１
入力部１０は、当該入力画像Ａ１を特徴抽出部１１に出力する。
【００９４】
（ii）ステップＳ１００２
特徴抽出部１１は、記憶装置９０から特徴抽出器Ａのフィルタ係数ｗｊと、オフセットｂｉを読込み、上述の式１により、フィルタを用いて入力画像Ａ１の画像内の物体（例えば、組織・細胞等）の特徴量ＦＡｉを算出する。
【００９５】
（iii）ステップＳ１００３
局所識別部１２は、記憶装置９０からフィルタ係数Ｗの係数、オフセットＢを読込み、式２により、特徴量ＦＡｉから局所識別値ＬＳを算出する。
【００９６】
（iv）ステップＳ１００４
全体識別部１３は、記憶装置９０からフィルタ係数Ｗの係数、オフセットＢを読込み、式５と式３もしくは式４により、計算結果Ｒを算出する。
【００９７】
（v）ステップＳ１００５
全体識別部１３は、算出した計算結果Ｒと閾値Ｔｈ１を比較する。すなわち、計算結果Ｒ≧閾値Ｔｈ１の場合、処理はステップＳ１００６に移行する。一方、計算結果Ｒ＜閾値Ｔｈ１の場合、処理はステップＳ１００７に移行する。
【００９８】
（vi）ステップＳ１００６
全体識別部１３は、入力画像内の物体が検出すべき対象物体（例えば、異常組織・異常細胞等）であると判定し、分類結果ｒｅｓに例えば、「１」を設定する。
【００９９】
（vii）ステップＳ１００７
全体識別部１３は、入力画像内の物体が検出すべき物体ではない（例えば、正常組織・正常細胞等）と判定し、分類結果ｒｅｓに例えば、「０」を設定する。
【０１００】
（viii）ステップＳ１００８
全体識別部１３は、分類結果ｒｅｓから病変らしさを分類する。例えば、前立腺については、分類結果ｒｅｓには、非腫瘍、腫瘍等の結果が設定される。従って、機械学習時に追加識別値を反映して算出した各パラメータを用いることで、分類結果ｒｅｓにより、病変有無（例えば、腫瘍等）や病変らしさ（Ｒ＝０．６９：値域（０〜１））を精度よく算出することが可能となる。
【０１０１】
（ix）ステップＳ１００９
描画部１４は、検出すべき物体（例えば、異常組織や異常細胞等）として分類した場合は、図８に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して出力装置２０４に表示する。
【０１０２】
描画部１４は、検出すべき物体ではない（例えば、正常組織や正常細胞等）と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１４は、図１１に示すように、入力画像から算出した検出すべき物体らしさ（例えば、病変らしさ等）の値を表示する。
【０１０３】
（x）ステップＳ１０１０
記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報と当該対象画像を記憶装置９０（記憶装置２０３に相当）に保存する。
【０１０４】
以上のように、実施例１形態によれば、指定パターンＢ１で示す画像内の領域の特徴を優先して捉えるように画像の特徴量を機械学習し、各パラメータ（フィルター係数、オフセット等）を算出して、検出すべき物体（例えば、異常組織や細胞等）か否かを分類する識別器を生成するため、各物体（例えば、病変等）の誤検出や過検出を抑制して、画像から検出すべき物体（異常組織や異常細胞等）か否かを分類することが可能となる。
【０１０５】
また、学習用画像数が少なく、機械学習において意図した画像内の物体の特徴量が捉えられない場合でも、指定パターンＢ１を用いることでニューラルネットワークが意図した画像内の特徴量を優先して捉えるように機械学習して識別器を生成するため、学習用画像数が少なくても精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
【０１０６】
また、学習用の画像数が増えても、機械学習時に意図しない画像の特徴量の抽出を抑えつつ、意図した画像内の特徴量を優先的に捉えるため、精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
【実施例２】
【０１０７】
図１２に示す実施例２に係る画像診断支援装置１は、前記実施例１の図１と同じ構成を多く含むが、実施例１と異なり、画像生成部２０を含む。また、本実施例２では、前記実施例１の学習部１６に代わって、学習部２６を採用する。従って、ここでは図１と異なる構成について説明をする。
【０１０８】
本発明の実施例２にかかる画像診断支援装置１は、事前の機械学習によって指定パターンの画像を生成し、生成した指定パターンの画像を用いて、前記実施例１と同様に、学習部２６で機械学習を行う。学習部２６は、追加識別値を反映した画像内の物体（例えば、組織や細胞等）の特徴量を算出して、それらの特徴量を用いて入力画像内の物体（例えば、組織や細胞等）について所定の物体（例えば、病変）らしさを判定する。
【０１０９】
＜各部の構成と処理＞
以下、図１と異なる各要素の構成と処理について詳細に説明する。
【０１１０】
（i）画像生成部２０
画像生成部２０は、特に重点的に特徴量を捉えたい物体を含む複数の学習用画像Ｐ１を用いて、事前に機械学習を行って、図１３Ａと図１３Ｂで示す基礎識別値ＢＳを算出する過程で算出した図５に示す局所識別値から成るパターンを指定パターンとして生成する。
【０１１１】
図１３Ａは、特徴量ＦＡｉから大局識別値ＧＳを算出する例を説明する図である。図１３Ｂは、大局識別値ＧＳと教師ラベルＬａｂｅｌから基礎識別値ＢＳを算出する例を説明する図である。図１３Ｃは、生成された指定パターンを修正するＧＵＩの一例を示す図である。
【０１１２】
図１３Ａと図１３Ｂにおいて、特徴量の平均を用いたが、総和等の別な計算処理を行ってもよい。画像生成部２０は、生成した指定パターンを記憶装置９０に格納する。また、指定パターンを機械学習に使用するときは、そのまま使用してもよいし、図１３Ｃに示すように、生成した指定パターンの一部をＧＵＩ等にて修正した修正後指定パターンを使用してもよい。
【０１１３】
（ii）学習部２６
学習部２６は、画像生成部２０で生成した指定パターンと学習用画像Ｐ１を含む学習用画像Ｐ２を用いて、実施例１の学習部１６と同様に機械学習を行い、識別器Ｃを生成する。また、学習部２６は、前記実施例１に示した、式１、式２および式５に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を算出し、記憶装置９０に格納する。
【０１１４】
学習部２６は、生成した識別器Ｃおよび各パラメータを用いて、実施例１と同様に、入力画像Ａ１を入力して特徴量ＦＡｉおよび基礎識別値ＢＳを算出し、入力画像Ａ１内の物体が検出すべき物体（例えば、異常組織や異常細胞等）か否かを判定し、さらに物体（例えば、病変等）らしさも判定する。
【０１１５】
＜画像診断支援装置のハードウェア構成＞
本発明の実施例２による画像診断支援装置１のハードウェア構成例は、前記実施例１の図２と同様の構成を有するが、画像診断支援装置１と異なり、メモリ２０２に画像生成部２０を含む。
【０１１６】
画像診断支援装置２の記憶装置２０３は、処理対象の画像や、全体識別部１３によって生成された入力画像に関する分類結果とその数値、画像生成部２０によって生成された指定パターンの画像や、描画部１４によって生成された検出枠を描画するための位置情報や、学習部２６によって生成した式１、式２および式５の各パラメータ等を記憶している。
【０１１７】
図１４は、本発明の実施形態による画像診断支援装置１の処理を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を処理の主体として記述するが、ＣＰＵ２０１を処理の主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
【０１１８】
（i）ステップＳ１４０１
入力部１０は、指定パターンと学習用画像Ｐ１を含む学習用画像Ｐ２と、入力画像Ａ１とを受け付けて、学習用画像Ｐ１を画像生成部２０に出力する。
【０１１９】
（ii）ステップＳ１４０２
画像生成部２０は、学習用画像Ｐ１から指定パターンの画像Ｄ１を生成する。
【０１２０】
（iii）ステップＳ１４０３
学習部２６は、学習用画像Ｐ２と指定パターンの画像Ｄ１を用いて機械学習を行い、前記実施例１の式１、式２および式５に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂiとＢ等）を算出し、記憶装置９０に格納する。
【０１２１】
（iv）ステップＳ１４０４
特徴抽出部１１は、記憶装置９０から式１に示す各パラメータ（フィルタ係数ｗｊ、オフセット値ｂi）を読込み、上述の式１により、フィルタを用いて入力部１０から渡された入力画像Ａ１の物体の特徴量ＦＡiを算出する。
【０１２２】
（v）ステップＳ１４０５
局所識別部１２は、記憶装置９０から上述の式２に示す各パラメータ（フィルターＷの係数、オフセットＢ）を読込み、式２により、局所識別値ＬＳを算出する。
【０１２３】
（vi）ステップＳ１４０６
全体識別部１３は、記憶装置９０から上述の式５に示す各パラメータ（フィルターＷの係数、オフセットＢ）を読込み、式５と式６、式３もしくは式４により、基礎識別値ＢＳと計算結果Ｒを算出する。
【０１２４】
（vii）ステップＳ１４０７
全体識別部１３は、算出した計算結果Ｒと閾値Ｔｈ１を比較する。すなわち、計算結果Ｒ≧閾値Ｔｈ１の場合、処理はステップＳ１４０８に移行する。一方、計算結果Ｒ＜閾値Ｔｈ１の場合、処理はステップＳ１４０９に移行する。
【０１２５】
（viii）ステップＳ１４０８
全体識別部１３は、分類結果ｒｅｓに検出すべき対象物体（例えば、異常組織・異常細胞等）であると判定し、分類結果ｒｅｓに例えば、「１」を設定する。
【０１２６】
（ix）ステップＳ１４０９
全体識別部１３は、検出すべき物体ではない（例えば、正常組織・正常細胞等）と判定し、分類結果ｒｅｓに例えば、「０」を設定する。
【０１２７】
（x）ステップＳ１４１０
全体識別部１３は、分類結果ｒｅｓから病変らしさを分類する。例えば、前立腺については、分類結果ｒｅｓには、非腫瘍、腫瘍等の結果が設定される。従って、機械学習時に追加識別値を反映して算出した各パラメータを用いることで、分類結果ｒｅｓにより、物体（例えば、病変等）有無（例えば、腫瘍等）や物体（例えば、病変等）らしさ（Ｒ＝０．６９：値域（０〜１））を精度よく算出することが可能となる。
【０１２８】
（xi）ステップＳ１４１１
描画部１４は、検出すべき物体（例えば、異常組織や異常細胞等）と分類された場合は、前記実施例１の図８で示したように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部１４は、検出すべき物体ではない（例えば、正常組織や正常細胞等）と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１４は、図１１に示すように、入力画像から算出した検出すべき物体らしさ（例えば、病変らしさ等）の値を表示する。
【０１２９】
（xii）ステップＳ１４１２
記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像を記憶装置９０（記憶装置２０３に相当）に保存する。
【０１３０】
以上のように、本実施例２によれば、画像診断支援装置１は、指定パターンで示す画像内の領域の特徴を優先して捉えように画像の特徴量を機械学習し、各パラメータ（フィルター係数、オフセット等）を算出する。そして、画像診断支援装置１は、検出すべき物体（例えば、異常組織や細胞等）か否かを分類する識別器を生成するため、各物体（例えば、病変等）の誤検出や過検出を抑制して、画像から検出すべき物体（異常組織や異常細胞等）か否かを分類することが可能となる。
【０１３１】
また、画像診断支援装置１は、事前に重点的に学習したい学習用画像Ｐ１を用いて指定パターンの画像Ｄ１を生成し、画像数を増やした学習用画像と生成した指定パターンの画像Ｄ１を用いて画像内の物体の特徴量を算出することができる。これにより、指定パターンの画像Ｄ１の生成コストを抑えつつ、精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
【０１３２】
また、画像診断支援装置１は、学習用の画像数を増やして再度機械学習を行った場合でも、画像を増やす前の機械学習にて捉えていた特徴量が変わることを抑制しつつ、精度よく画像内の物体や物体らしさ（例えば、病変らしさ等）を判定することが可能となる。
【実施例３】
【０１３３】
図１５は、本発明の実施例３による遠隔診断支援システム１５００の構成を示す機能ブロック図である。遠隔診断支援システム１５００は、サーバー１５０３と、画像取得装置１５０５と、を有する。
【０１３４】
画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパーソナルコンピュータのような装置であり、画像データを撮影する撮像部１５０１と、サーバー１５０３から伝送されてきた判定結果を表示するための表示部１５０４と、を有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー１５０３に送信したり、サーバー１５０３から送信されてきたデータを受信したりする通信デバイスを有している。
【０１３５】
サーバー１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の実施例１や実施例２による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された判定結果を格納する格納部１５０２と、を有している。
【０１３６】
なお、サーバー１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に判定結果データを送信したりする通信デバイスを有している。また、サーバー１５０３は、画像診断支援装置１と格納部１５０２を含む装置であればよく、サーバーに限定されるものではない。
【０１３７】
画像診断支援装置１は、画像取得装置１５０５の撮像部１５０１で撮影した画像データ内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞（例：がん）等）の有無を分類する。
【０１３８】
また、前記実施例１、２と同様にして指定パターンを使用した機械学習によって算出した各パラメータを用いて、入力画像内の物体（例えば、組織・細胞等）の特徴量を算出する識別器による分類結果を用いて、物体（例えば、異常組織や異常細胞（例：がん）等）の状態に応じた物体（例えば、異常組織や異常細胞（例：がん）等）の所定の物体（例えば、病変）らしさの分類を行う。表示部１５０４は、サーバー１５０３から伝送された分類結果を、画像取得装置１５０５の表示画面に表示する。
【０１３９】
画像取得装置１５０５として、撮影部を有する再生医療装置やiＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
【０１４０】
以上のように、実施例３によれば、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、指定パターンを反映した識別器の各パラメータを用いて検出すべき物体（異常組織や異常細胞等）か否かを精度よく分類し、分類結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で分類結果を表示することで、遠隔診断支援システムを提供することが可能となる。
【実施例４】
【０１４１】
図１６は、本発明の実施例４によるネット受託サービス提供システム１６００の構成を示す機能ブロック図である。ネット受託サービス提供システム１６００は、サーバー１６０３と、画像取得装置１６０５と、を有している。
【０１４２】
画像取得装置１６０５は、例えばバーチャルスライド装置やカメラを装備したパーソナルコンピュータのような装置であり、画像データを撮影する撮像部１６０１と、サーバー１６０３から伝送された識別器を格納する格納部１６０４と、画像診断支援装置１とを有している。
【０１４３】
画像診断支援装置１は、サーバー１６０３から伝送された識別器を読込んで、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類する。画像診断支援装置１は、前記実施例１、２と同様の画像処理を行う。
【０１４４】
なお、画像取得装置１６０５は、図示されてはいないが、画像データをサーバー１６０３に送信したり、サーバー１６０３から送信されてきたデータを受信したりする通信デバイスを有している。
【０１４５】
サーバー１６０３は、画像取得装置１６０５から伝送されてきた画像データに対して、本発明の実施例１や実施例２による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された識別器を格納する格納部１６０２と、を有している。
【０１４６】
なお、サーバー１６０３は、図示されてはいないが、画像取得装置１６０５から送信されてきた画像データを受信したり、画像取得装置１６０５に識別器を送信したりする通信デバイスを有している。
【０１４７】
画像診断支援装置１は、撮像部１６０１で撮影した画像データ内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）と判定するように指定パターンを使用した機械学習を行い、地点の異なる施設等の画像内の物体（例えば、組織・細胞等）の特徴量を算出する識別器を生成する。格納部１６０４は、サーバー１６０３から伝送された識別器等を格納する。
【０１４８】
画像取得装置１６０５内の画像診断支援装置１は、格納部１６０４から指定パターンを反映したパラメータから成る識別器等を読込み、当該識別器を用いて、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類し、画像診断支援装置１の出力装置２０４の表示画面に分類結果を表示する。
【０１４９】
画像取得装置１６０５として、撮影部を有する再生医療装置やiＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
【０１５０】
以上のように、実施例４によれば、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）として分類するように指定パターンを使用した機械学習を行って識別器等を生成し、識別器等を地点の異なる施設等に伝送する。
【０１５１】
そして、当該施設等にある画像取得装置１６０５にて識別器を読込み、新たに撮影した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類することで、ネット受託サービス提供システムを提供することが可能となる。
【０１５２】
以上説明した各実施例１〜４については、次のような変形が可能である。
【０１５３】
特徴抽出部１１や学習部１６、２６では、機械学習によりフィルタを用いて複数特徴量を算出したが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。
【０１５４】
全体識別部１３や学習部１６、２６では、損失関数としてＮｅｇａｔiｖｅ  ｌｏｇ  ｌiｋｅｌiｈｏｏｄを用いたが、２乗誤差やＨiｎｇｅ  ｌｏｓｓ等を用いてもよく、同様の効果を有する。
【０１５５】
本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【０１５６】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【０１５７】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【０１５８】
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【０１５９】
さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【０１６０】
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
【０１６１】
加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
【０１６２】
＜補足＞
特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげ
られる。
【０１６３】
＜１６＞
画像データを撮影する撮像装置を有する画像取得装置と、
＜４＞または＜７＞に記載の画像診断支援装置として機能するサーバーと、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と判定結果をメモリに格納するとともに、前記画像取得装置に送信し、前記画像取得装置は、受信した前記判定された物体の画像と判定結果を表示装置に表示することを特徴とする遠隔診断支援システム。
【０１６４】
＜１７＞
画像データを撮影する撮像装置を有する画像取得装置と、
＜４＞または＜７＞に記載の画像診断支援装置として機能するサーバーと、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と識別器をメモリに格納するとともに、前記判定された物体の画像と識別器を前記画像取得装置に送信し、
前記画像取得装置は、受信した前記判定された物体の画像と識別器を格納し、
前記画像取得装置内の＜４＞または＜７＞に記載の画像診断支援装置は、識別器を用いて他の画像を判定するとともに、判定結果を表示装置に表示することを特徴とするネット受託サービス提供システム。
【符号の説明】
【０１６５】
１  画像診断支援装置
１０  入力部
１１  特徴抽出部
１２  局所識別部
１３  全体識別部
１４  描画部
１５  記録部
１６、２６  学習部
２０  画像生成部
９１  制御部
１５００  遠隔診断支援システム
１６００  ネット受託サービス提供システム
【図１】
2020009160.tif 000010
【図２】
2020009160.tif 000011
【図３】
2020009160.tif 000012
【図４】
2020009160.tif 000013
【図５】
2020009160.tif 000014
【図６】
2020009160.tif 000015
【図７】
2020009160.tif 000016
【図８】
2020009160.tif 000017
【図９】
2020009160.tif 000018
【図１０】
2020009160.tif 000019
【図１１】
2020009160.tif 000020
【図１２】
2020009160.tif 000021
【図１３Ａ】
2020009160.tif 000022
【図１３Ｂ】
2020009160.tif 000023
【図１３Ｃ】
2020009160.tif 000024
【図１４】
2020009160.tif 000025
【図１５】
2020009160.tif 000026
【図１６】
2020009160.tif 000027