(57)【要約】      （修正有）【課題】いわゆる機械学習を活用することでユーザ個人の能力に依存することなく多種多様な画像処理及び分類を実現する画像処理装置を提供する。【解決手段】画像処理装置１００は、解析対象画像を入力する入力部１０１を備え、画像処理部１０２において入力部１０１に入力された解析対象画像に対し処理を行い、処理を施した解析結果画像と複数の処理の組み合わせである処理過程を出力する。解析対象画像と処理過程は記憶部１０３に記憶され、記憶部１０３から出力された処理過程によって複数の処理対象画像は一括で処理される。さらに、学習部１０５では解析対象画像を学習画像データとして、処理過程を学習処理過程データとして学習し、学習画像データと学習処理過程データを画像処理部１０２に提供する。【選択図】図１
2018116376.tif 000002
【特許請求の範囲】
【請求項１】
解析対象画像を入力する入力部と、
前記入力部に入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する画像処理部と、
前記解析対象画像と前記処理過程を記憶する記憶部と、
前記記憶部から出力された前記処理過程によって複数の処理対象画像を一括で処理する一括処理部と、
前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する学習部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記学習部から最適な前記学習処理過程データを抽出し、抽出された前記学習処理過程データに基づいて前記処理過程を出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、入力された前記解析対象画像の特徴量を算出し、前記特徴量に基づき、前記学習部から最適な前記学習処理過程データを抽出する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理部は、複数の前記処理過程を最適順で表示させる
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記一括処理部は、前記入力部に入力された複数の前記処理対象画像を一括で処理し、被写体に関する解析結果を出力する
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記被写体に関する解析結果は被写体の個数を含む
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記解析結果に対し統計解析を行う統計解析部を備える
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
解析対象画像を入力する入力工程と、
前記入力工程において入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する画像処理工程と、
前記解析対象画像と前記処理過程を記憶する記憶工程と、
前記記憶工程において出力された前記処理過程によって複数の処理対象画像を一括で処理する一括処理工程と、
前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する工程とを備える
ことを特徴とする画像処理方法。
【請求項９】
解析対象画像を含む複数のデータセットを入力する入力部と、
前記データセットから特徴量を抽出する特徴抽出部と、
前記複数のデータセットと前記解析対象画像の関係および前記特徴量に基づいて分類条件を出力する分類条件出力部と、
分類対象画像を前記分類条件に従って分類する分類部と、
前記解析対象画像を学習画像データとして、前記分類条件を学習分類条件データとして学習し、前記学習画像データと前記学習分類条件データを前記分類条件出力部に提供する学習部とを備える
ことを特徴とする画像処理装置。
【請求項１０】
前記分類条件出力部は、前記学習部から最適な前記学習分類条件データを抽出し、抽出された前記学習分類条件データに基づいて前記分類条件を出力する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記学習分類条件データは、前記解析対象画像と前記特徴量を含む
ことを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
前記分類条件出力部は、前記学習画像データ、前記学習分類条件データ、前記特徴量のうち最適な情報を選択し、選択された前記情報に基づいて分類条件を出力する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
解析対象画像を含む複数のデータセットを入力する入力工程と、
前記データセットから特徴量を抽出する特徴抽出工程と、
前記複数のデータセットと前記解析対象画像の関係および前記特徴量に基づいて分類条件を出力する分類条件出力工程と、
分類対象画像を前記分類条件に従って分類する分類工程と、
前記解析対象画像を学習画像データとして、前記分類条件を学習分類条件データとして学習し、前記学習画像データと前記学習分類条件データを前記分類条件出力部に提供する工程とを備える
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に用いられる画像処理装置、画像処理方法、画像処理プログラム、画像分類装置、及び画像解析支援装置に関するものである。
【背景技術】
【０００２】
生命科学の医療や製薬分野の開発における顕微鏡画像、医療施設のＭＲＩ（磁気共鳴画像装置）まであらゆるシーンで画像が利用されている。近年では約９割の論文に画像が用いられ、明視野顕微鏡、蛍光顕微鏡、電気泳動の画像がそれぞれ４〜５割ほど用いられている。昨今、電子顕微鏡などの撮像装置の高度化が進み、１秒間に何千枚もの画像が撮影できるようになった。また、近年の技術の進歩に伴い、画像解析方法及び画像分類方法も急速に多様化している。しかし、その一方で研究者は膨大な画像処理に相当の時間を費やす必要が生じ、さらにその処理には相当な知識量及び経験値を要し、その個人の能力に依存しているという問題もあった。
【０００３】
このような問題を鑑み開発された技術として、例えば特許文献１に提案される技術がある。当該特許文献１では、予め学習させたニューラルネットワークを用いて画像内の細胞の分類や解析を行なう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３４０７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の細胞分類装置においては予め学習させたニューラルネットワークを用いるため、近年の技術の進歩に伴う画像解析方法及び画像分類方法の急速な多様化に対応できるものではなかった。また、従来の細胞分析装置においては、ユーザが画像の解析及び分類を行うには、高い個人の能力、例えば相当な知識量又は経験値を必要としていた。
【０００６】
本発明はこのような事情に鑑みてなされたものであり、その目的は、相当な知識量又は経験値を有さない人が画像の解析及び分類をする場合に、それを支援し、さらにいわゆる機械学習を活用することで多種多様な画像処理及び分類にも対応することが可能な画像処理装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の画像処理装置は、解析対象画像を入力する入力部を備え、画像処理部において前記入力部に入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する。前記解析対象画像と前記処理過程は記憶部に記憶され、前記記憶部から出力された前記処理過程によって複数の処理対象画像は一括で処理される。さらに、学習部では前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する。
【発明の効果】
【０００８】
本発明によれば、学習部において学習された学習画像データと学習処理過程データに基づき、最適な処理過程を出力し、画像解析方法及び画像分類方法の急速な多様化に対応できるとともに、個人の能力を問わず適切な画像処理を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態による画像処理装置の機能を示すブロック図である。
【図２】画像処理部の動作を説明するためのフローチャートである。
【図３】画像処理部において処理された解析結果画像を表示する図である。
【図４】一括処理部の動作を説明するためのフローチャートである。
【図５】学習部の動作を説明するためのフローチャートである。
【図６】統計解析部の動作を説明するためのフローチャートである。
【図７】一括処理部において出力される被写体に関する解析結果の一例を表示する図である。
【図８】統計解析部において出力される統計解析結果の一例を表示する図である。
【図９】本発明の第２の実施形態による画像処理装置の機能を示すブロック図である。
【図１０】分類条件出力部の動作を説明するためのフローチャートである。
【図１１】分類部において分類された分類対象画像の一例を表示する図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
＜画像処理装置の構成＞
図１は本発明の第１の実施形態による画像処理装置の機能を示すブロック図である。
画像処理装置１００は入力部１０１と、画像処理部１０２と、記憶部１０３と、一括処理部１０４と、学習部１０５と、統計解析部１０６と、を備えている。当該画像処理装置１００は、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、組織・細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。画像処理装置１００は、例えばディスプレイ、プリンタ等のデバイスである出力装置１０７に接続されている。
【００１１】
画像処理装置１００における、入力部１０１、画像処理部１０２、記憶部１０３、一括処理部１０４、及び学習部１０５は、プログラムによって実現しても良いし、モジュール化して実現しても良い。また、以下においては、前記各処理部を動作主体として記述するが、ＣＰＵを動作主体とし、ＣＰＵがプログラムとしての各処理部を実行するように読み替えても良い。なお、前記各処理部はいわゆるクラウド上に置かれても良い。
【００１２】
入力部１０１には解析対象画像が入力される。解析対象画像は例えば、光学顕微鏡を用いて、細胞、細胞内構造、生物組織等の生物試料を撮像して得られる画像等であるが、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、TIFF形式等の符号化された静止画像データ等を取得して、その画像を解析対象画像としても良い。また、入力部１０１には、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像が解析対象画像として入力されても良い。更に、入力部１０１には、撮像手段がバスやネットワーク等を介して取得した画像が解析対象画像として入力されても良い。
【００１３】
画像処理部１０２は、入力部１０１に入力された解析対象画像から、複数の特徴量を抽出し、これに応じた最適な学習処理過程データを後述する学習部１０５から抽出する。さらに、画像処理部１０２は前記最適な学習処理過程データに基づき、入力部１０１に入力された解析対象画像に対し処理を行い、前記処理の組合せである解析結果画像を出力装置１０７に表示させる。また、画像処理部１０２は解析結果画像とユーザの任意の選択により決定した処理過程を記憶部１０３に出力する
【００１４】
記憶部１０３は、画像処理部１０２より出力された解析結果画像と処理過程をキャッシュメモリにより一時的に記憶する。
【００１５】
一括処理部１０４は、記憶部１０３に一時的に記憶された処理過程を抽出し、前記処理過程に基づき、入力部１０１に入力された複数の処理対象画像を一括で処理し、被写体に関する解析結果を出力装置１０７に表示させる。
【００１６】
学習部１０５は、記憶部１０３に一時的に記憶された解析対象画像と処理過程を抽出し、これらを学習する。さらに学習した学習画像データと学習処理過程データを、画像処理部１０２に提供する。
【００１７】
統計解析部１０６は、一括処理部１０４により出力された被写体に関する解析結果に対し、統計解析を行い、統計解析結果を出力装置１０７表示させる。
【００１８】
出力装置１０７は、例えばディスプレイ、プリンタ等のデバイスで構成され、解析結果画像や統計解析結果を表示する。
【００１９】
このように本実施形態の画像処理装置１００では、学習部１０５において学習された学習画像データと学習処理データを用いて、ユーザの目的に合った処理過程を出力し、複数の処理対象画像を一括で処理し、統計解析することを特徴とする。
【００２０】
＜画像処理装置の動作＞
以下、各要素の動作について詳細に説明する。
【００２１】
入力部１０１は、入力された解析対象画像を画像処理部１０２へ出力し、入力された処理対象画像については一括処理部１０４へ出力する。なお、入力部１０１に解析対象画像として入力される画像と処理対象画像として入力される画像は異なるものである。
【００２２】
画像処理部１０２は解析対象画像から、複数の特徴量を算出する。前記特徴量には、被写体の形状に由来する形状特徴量と、その被写体のテクスチャに由来するテクスチャ特徴量とが含まれる。
【００２３】
本実施形態におけるテクスチャ特徴量は、解析対象画像を最低輝度から最高輝度にかけての輝度範囲を１８段階に均等に分割して得られる１６種の閾値で二値化して得られた白黒画像群（１６種）のそれぞれについて白領域及び黒領域を抽出することにより撮像対象の面積、周長、個数、及び複雑度などの形態パラメータを測定し、各形態パラメータについて１６種の画像群全体における統計量（平均、最大、分散、中央値）を算出して得られた数値群であり、多重形状特徴量と呼べるものを含む。なお、これらの形状特徴量の抽出は、グレースケール画像に対して行う他、前処理としてSobelフィルタを作用させて得た境界画像に対しても行う。
【００２４】
また、画像全体の輝度に基づいて算出される値であって、平均輝度、最大輝度、輝度の分散、輝度のヒストグラム、及び隣接画素間の輝度の関係性（差及び積）に着目した数値群であって、輝度特徴量と呼べるものも含む。画像処理部１０２によって抽出される特徴量としては表１に掲げるものが挙げられる。
【表１】
2018116376.tif 000003
【００２５】
また、例えば、解析対象画像の撮像対象が細胞の染色体である場合、形状特徴量（形態パラメータ）としては表２に掲げるものが挙げられ、テクスチャ特徴量としては表３に掲げるものが挙げられる。
【表２】
2018116376.tif 000004
【表３】
2018116376.tif 000005
【００２６】
画像処理部１０２は算出した解析対象画像の特徴量を用いて、学習部１０５から最適な学習処理データを抽出する。画像処理部１０２は抽出した学習処理データに基づき、最適な処理を組合せ、解析結果画像を出力装置１０７に表示させる。ここで処理とは、例えばグレースケール化、白黒反転、二値化、穴埋め、オープニング、輪郭抽出等であるが、これらに限られない。さらに、画像処理部１０２は、ユーザの選択により決定した処理過程と解析対象画像を記憶部に出力する。
【００２７】
記憶部１０３は、画像処理部１０２により出力された処理過程と解析対象画像をいわゆるキャッシュメモリに一時的に記憶する。記憶部１０３は、入力部１０１に複数の処理対象画像が入力され、前記複数の処理対象画像が一括処理部１０４に出力されると、一括処理部１０４に処理過程を出力し、同時に学習部１０５に処理過程と解析対象画像を出力する。
【００２８】
一括処理部１０４は入力部１０１から複数の処理対象画像を取得し、記憶部１０３から、処理過程を取得する。一括処理部１０４は前記処理過程を用いて、複数の処理対象画像を一括で処理する。一括処理部１０４は一括処理が完了した複数の処理対象画像から、被写体に関する解析結果を出力し、出力装置１０７に表示させる。前記被写体に関する解析結果は、例えば、被写体が細胞である場合、全ての処理対象画像内の細胞の個数の合計であっても良いがこれに限られない。また、例えば突起を有する細胞の個数と突起を有さない細胞の個数等、複数種類の細胞のそれぞれの個数等複数の数値を含む場合もある。さらに、一括処理部１０４は前記被写体に関する解析結果の数値等を、表やグラフとして出力装置１０７に出力することもできる。
【００２９】
学習部１０５は、記憶部１０３から処理過程と解析対象画像を取得すると、前記処理過程を学習処理過程データとして、解析対象画像を学習画像データとして、学習する。前記学習は、例えば、従来技術である機械学習の技術を用いて行われる。なお、学習画像データには特徴量が含まれるものとする。
【００３０】
統計解析部１０６は、一括処理部１０４によって出力された被写体に関する解析結果を取得し、これらのデータに対して統計解析を行い、統計解析結果を出力装置１０７に表示させる。ここで統計解析とは、例えば平均値の算出、標準偏差の算出、有意差検定等のことであるが、これらに限られない。
【００３１】
＜各処理部における処理手順＞
図２は画像処理部１０２の動作を説明するためのフローチャートである。
Ｓ２０１において、画像処理部１０２は解析対象画像から複数の前述の特徴量を算出し、これに応じた最適な学習処理過程データを学習部１０５から抽出する。
画像処理部１０２は解析対象画像の特徴量が近似する後述の学習画像データを選定し、その学習処理過程データを最適な学習処理過程データとして学習部から抽出する。
【００３２】
Ｓ２０２において、画像処理部１０２は入力部１０１に入力された解析対象画像に対し処理を行う。画像処理部１０２は学習処理過程データに基づき、最適な前述の処理を組合せ、解析結果画像を出力装置１０７に表示させる。
【００３３】
図３は画像処理部１０２において処理された解析結果画像の表示の一例を示す図である。３０１は入力された解析対象画像である。３０２は前記解析対象画像にグレースケール化処理を施した画像である。３０３は前記画像３０２に白黒反転処理を施した画像群であって、３０３１は３０２を白黒反転した画像、３０３２は白黒反転していない画像である。ユーザは３０３１又は３０３２のうちから解析の目的に合ったいずれかを選択する。本図においては、ユーザは３０３２を選択したことを示す。３０４は前記画像３０３２に二値化処理を施した画像群であって、３０４１〜３０４４はそれぞれ異なる閾値で二値化した画像である。３０５は画像３０４２に穴埋め処理を施した画像群であって、３０５１〜３０５３はそれぞれ異なる穴埋めした画像である。３０６は画像３０５２にオープニング処理を施した画像群であって、３０６１〜３０６３はそれぞれ異なるオープニングした画像である。３０７は画像３０６２に輪郭抽出処理を施した画像である。ユーザは３０４〜３０７においても目的にあった画像をそれぞれ選択する。
【００３４】
図３において前記解析結果画像の表示は、最適順、一例として特徴量が近似する学習処理過程データに基づく解析結果画像の順に表示されても良いが、それ以外の順序であっても良い。特徴量が近似する順に表示される場合、画像処理部１０２はそれぞれの処理において、左側に最適な処理の解析結果画像を表示させる。これにより、ユーザは相当の知識や経験を有していなくとも、目的に合った処理を選択することができる。
【００３５】
Ｓ２０３において、ユーザは前述の通り表示された解析結果画像から、目的に合った処理を任意で選択する。前記選択により、処理過程の組合せが決定し、処理過程が出力される。
【００３６】
Ｓ２０４において、画像処理部１０２は解析結果画像と処理過程を記憶部１０３に出力する。記憶部１０３は前述のとおり、画像処理部１０２より出力された解析結果画像と処理過程をキャッシュメモリにより一時的に記憶する。
【００３７】
図４は一括処理部１０４の動作を説明するためのフローチャートである。
Ｓ４０１において、ユーザは一括処理する複数の処理対象画像を入力部１０１に入力する。前記複数の画像は１０００枚を超える枚数であっても良い。
【００３８】
Ｓ４０２において、一括処理部１０４は記憶部１０３に一時的に記憶された処理過程を抽出し、設定する。
【００３９】
Ｓ４０３において、一括処理部１０４は設定された処理過程に基づき、前記複数の処理対象画像を一括で処理し、被写体に関する解析結果を出力する。このとき、前記被写体に関する解析結果に対する数値、表、グラフ等を出力装置１０７に表示させることもできる。図７は前記被写体に関する解析結果の一例であって、前記一括処理された複数の処理対象画像内の細胞個数の分布表を示す図である。
【００４０】
図５は学習部１０５の動作を説明するためのフローチャートである。
Ｓ５０１において、学習部１０５は記憶部１０３に一時的に記憶された解析対象画像と処理過程を抽出し、解析対象画像を学習画像データとして、処理過程を学習処理過程データとして学習する。学習部は例えば、従来技術である機械学習の技術を用いて、前記学習を行う。
【００４１】
Ｓ５０２において、学習部１０５は最適な学習画像データと学習処理過程データを画像処理部１０２に出力する。前記最適な学習画像データと学習処理過程データの選定は、前述のとおり解析対象画像の特徴量に基づいて行われる。
【００４２】
図６は統計解析部１０６の動作を説明するためのフローチャートである。
統計解析部１０６は前記被写体に関する解析結果に対し統計解析を行い、数値、表、グラフ等の統計解析結果を出力装置１０７に表示させる。
【００４３】
Ｓ６０１において、統計解析部１０６は一括処理部により出力された被写体に関する解析結果を設定する。
【００４４】
Ｓ６０２において、統計解析部１０６は前記被写体に関する解析結果に含まれる複数の数値に対し、平均値の算出、標準偏差の算出、有意差検定等の統計解析を行う。なお、統計解析はこれらに限られない。ユーザは、どのような統計解析を行うか任意に選択することができる。図８は統計解析結果の一例であって、一括処理した細胞個数の平均値と誤差を表示した図である。
【００４５】
以上により、画像解析方法の急速な多様化に対応できるとともに、ユーザの知識量や経験値を問わず、膨大な枚数の処理対象画像に対しても、迅速に処理し、かつ統計解析まで行うことができる。
【００４６】
（第２の実施形態）
次に、第２の実施形態による画像処理装置について説明する。第２の実施形態による画像処理装置の基本構成のうち、第１の実施形態と同様である部分についてはその詳細な説明を省略する。
【００４７】
＜画像処理装置の構成＞
図９は本発明の第２の実施形態による画像処理装置９００の機能を示すブロック図である。
画像処理装置は入力部９０１と、特徴抽出部９０２と、分類条件出力部９０３と、分類部９０４と、学習部９０５と、を備えている。画像処理装置９００は、例えばディスプレイ、プリンタ等のデバイスである出力装置９０６に接続されている。
【００４８】
入力部９０１は、解析対象画像を含む複数のデータセットが入力される。ここで、解析対象画像は第１の実施形態と同様の画像であっても良い。
ユーザは複数の解析対象画像を分類の目的に沿った任意の複数グループに分別する。これをデータセットとして入力部９０１に入力する。例えば、ユーザが複数の画像を突起を有する細胞画像と突起を有さない細胞画像とに分類しようとする場合、ユーザは突起を有する細胞画像のみを含むデータセットと突起を有さない細胞画像のみを含むデータセットをそれぞれ入力部９０１に入力する。
【００４９】
特徴抽出部９０２は前記データセットから特徴量を抽出し、特徴量データを分類条件出力部９０３へ出力し、解析対象画像を学習部９０５に出力する。
【００５０】
分類条件出力部９０３は、特徴抽出部９０２から、データセットの特徴量を取得し、これに基づいて、学習部９０５から最適な学習分類条件データを抽出する。分類条件出力部９０３は最適な学習分類条件データを用いて分類条件を出力する。
【００５１】
分類部９０４は、入力部９０１から取得した分類対象画像を、分類条件出力部９０３から取得した分類条件に基づいて分類し、例えば、図１１に示すような分類タグ１１０３と解析結果を出力装置９０６に表示させる。さらに、分類部９０４は、分類条件を学習部９０５に出力する。
【００５２】
学習部９０５は、特徴抽出部から取得した解析画像を学習画像データとして、分類条件出力部９０３から取得した分類条件を学習分類条件データとして学習し、最適な学習分類条件データを分類条件出力部９０３に出力する。
【００５３】
＜画像処理装置の動作＞
以下、各要素の動作について詳細に説明する。
【００５４】
入力部９０１は、入力された解析対象画像を含む複数のデータセットを特徴抽出部９０２へ出力し、入力された分類対象画像については分類部９０４へ出力する。なお、入力部９０１に解析対象画像として入力される画像と分類対象画像として入力される画像は異なるものである。
【００５５】
特徴抽出部９０２は、前記データセットから特徴量を抽出する。ひとつのデータセットが複数の解析対象画像を含む場合、特徴抽出部９０２はそれぞれの解析対象画像から特徴量を算出する。複数の解析対象画像が時系列の場合、特徴抽出部９０２は、タイムポイント毎に別々の画像へと分解し、その分解された画像毎に特徴量を抽出することにより、各タイムポイントについての特徴群を分類条件出力部９０３へ出力する。
【００５６】
特徴抽出部９０２は、解析対象画像が複数の蛍光波長で撮像したマルチバンド画像の場合（例えば、細胞の核と微小管とをそれぞれ赤色と緑色とで蛍光標識して、これらの両方を撮像した画像の場合など）、各バンドに分解した上でグレースケール画像群を生成し、そのグレースケール画像のそれぞれについて特徴量の抽出を実行し、分類条件出力部９０３へ出力する。
【００５７】
特徴抽出部９０２は、特徴量の抽出が完了したデータセットの解析対象画像を学習部９０５に出力する。前記解析対象画像のデータには特徴量に関する情報が含まれるものとする。
【００５８】
分類条件出力部９０３は、データセットと特徴量の関係及び特徴量に基づいて分類条件を出力する。具体的には、分類条件出力部９０３は特徴抽出部９０２からデータセットの特徴量を取得し、前記特徴量を用いて、学習部９０５から最適な学習分類条件データを抽出する。分類条件出力部９０３は、データセットの特徴量が近似する学習分類条件データを選定し、その学習分類条件データとデータセットの特徴量に基づいて分類条件を分類部９０４に出力する。
【００５９】
分類部９０４は、入力部９０１から分類対象画像を取得し、分類条件出力部９０３から、分類条件を取得する。分類部９０４は、前記分類条件を用いて、分類対象画像を適切なグループに分類し、例えば、図１１に示すような分類タグ１１０３と解析結果を出力装置９０６に表示させる。さらに、分類部９０４は、分類条件を学習部９０５に提供する。
【００６０】
学習部９０５は、特徴抽出部から取得した解析画像を学習画像データとして、分類条件出力部９０３から取得した分類条件を学習分類条件データとして学習し、最適な学習分類条件データを分類条件出力部９０３に出力する。学習部９０５は第１の実施形態と同様に例えば、従来技術である機械学習の技術を用いて、前記学習を行う。
【００６１】
図１０は分類条件出力部９０３の動作を説明するためのフローチャートである。
Ｓ１００１において、分類条件出力部９０３は特徴抽出部９０２からデータセットの特徴量を抽出する。
【００６２】
分類条件出力部９０３はそれぞれのデータセットの特徴量を比較し、その特徴量の複数の組み合わせパターンの中から画像分類に適した組合せパターンを選択するまで、処理を繰り返し実行する。この処理の繰り返しにより、各データセットのクラスタリングが行われることになる。
【００６３】
ここでクラスタリングとは、外的基準なしに自動的に分類を行うことをいい、いわゆる「教師なし分類法」とよばれるものをいう。クラスタリングでは、分類すべきデータの集まりにおいて、任意の複数のデータ間に関連性を示す尺度が定義されているとし、データの集まりをいくつかの塊（クラスタ）に分割し、それぞれのクラスタの中で、データ間の関連性が高く、異なるクラスタ間では関連性が低くなるようにグループ分けを行うようになっている。したがって、クラスタリングの結果を基にすれば、各画像データは、外的基準を設定するための事前処理を必要とせずに、関連性の高い画像データ同士が同一のクラスタに属するといったように分類されることになる。
【００６４】
Ｓ１００２において、分類条件出力部９０３は前記クラスタリングの結果に基づき、学習部９０５から最適な学習分類条件データを抽出する。
【００６５】
Ｓ１００３において、分類条件出力部９０３は最適な学習分類条件データと前記クラスタリングの結果に基づき、分類条件を出力する。
【００６６】
Ｓ１００４において、分類条件出力部９０３は分類条件を学習分類条件データとして学習部９０５に提供し、学習させる。前記学習分類条件データは前記解析対象画像と前記特徴量を含んでいても良い。学習された学習分類条件データは、分条件出力時に分類条件９０３に出力される。
【００６７】
図１１は分類部９０４において分類された分類対象画像の一例を表示する図である。本図では、ユーザが複数の画像を突起を有する細胞画像と突起を有さない細胞画像に分類することを目的として、前記画像処理祖装置９００を使用した場合に出力装置９０６に表示される画面の一例を示したものである。１１０１は突起を有さない細胞画像として分類された分類対象画像の一群を示している。１１０２は突起を有する細胞画像として分類された分類対象画像の一群を示している。
【００６８】
図１１においては全ての分類対象画像を表示しているが、分類対象画像の一部を省略し、表示させることもできる。
【００６９】
以上により、画像分類方法の急速な多様化に対応できるとともに、ユーザの知識量や経験値を問わず、従来技術よりも高い精度でユーザの分類目的に沿った分類条件を出力することができる。
【符号の説明】
【００７０】
１００…画像処理装置、１０１…入力部、１０２…画像処理部、１０３…記憶部、１０４…一括処理部、１０５…学習部、１０６…統計解析部、１０７…出力装置、９００…画像処理装置、９０１…入力部、９０２…特徴抽出部、９０３…分類条件出力部、９０４…分類部、９０５…学習部、９０６…出力装置    
【図１】
2018116376.tif 000006
【図２】
2018116376.tif 000007
【図３】
2018116376.tif 000008
【図４】
2018116376.tif 000009
【図５】
2018116376.tif 000010
【図６】
2018116376.tif 000011
【図７】
2018116376.tif 000012
【図８】
2018116376.tif 000013
【図９】
2018116376.tif 000014
【図１０】
2018116376.tif 000015
【図１１】
2018116376.tif 000016
【手続補正書】
【提出日】平成30年3月27日(2018.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
解析対象画像を入力する入力部と、
前記入力部に入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する画像処理部と、
前記解析対象画像と前記処理過程を記憶する記憶部と、
前記記憶部から出力された前記処理過程によって複数の処理対象画像を一括で処理する一括処理部と、
前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する学習部とを備え、
前記画像処理部は、入力された前記解析対象画像の特徴量を算出し、前記特徴量に基づき、前記学習部から最適な前記学習処理過程データを抽出する
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記学習部から最適な前記学習処理過程データを抽出し、抽出された前記学習処理過程データに基づいて前記処理過程を出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、複数の前記処理過程を最適順で表示させる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記一括処理部は、前記入力部に入力された複数の前記処理対象画像を一括で処理し、被写体に関する解析結果を出力する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記被写体に関する解析結果は被写体の個数を含む
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記解析結果に対し統計解析を行う統計解析部を備える
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
解析対象画像を入力する入力工程と、
前記入力工程において入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する画像処理工程と、
前記解析対象画像と前記処理過程を記憶する記憶工程と、
前記記憶工程において出力された前記処理過程によって複数の処理対象画像を一括で処理する一括処理工程と、
前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを提供する工程とを備え、
前記画像処理工程において、入力された前記解析対象画像の特徴量を算出し、前記特徴量に基づき、最適な前記学習処理過程データを抽出する
ことを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一実施形態の画像処理装置は、解析対象画像を入力する入力部と、入力部に入力された解析対象画像に対し処理を行い、処理を施した解析結果画像と複数の処理の組み合わせである処理過程を出力する画像処理部と、解析対象画像と処理過程を記憶する記憶部と、記憶部から出力された処理過程によって複数の処理対象画像を一括で処理する一括処理部と、解析対象画像を学習画像データとして、処理過程を学習処理過程データとして学習し、学習画像データと学習処理過程データを画像処理部に提供する学習部とを備え、画像処理部は、入力された解析対象画像の特徴量を算出し、特徴量に基づき、学習部から最適な学習処理過程データを抽出することを特徴とする。