(57)【要約】【課題】画像に含まれる形状の輪郭を効率的かつ的確に特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置２０は、対象物について、学習用画像及び評価対象画像を記憶する学習用画像記憶部２２、評価対象画像記憶部２４と、出力部１５に接続された制御部２１とを備える。そして、制御部２１は、輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、学習用画像の修正画像を用いて、輪郭を機械学習した輪郭学習結果を生成する学習処理と、評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、評価対象画像の修正画像について、輪郭学習結果を用いて輪郭を特定する評価処理とを実行する。【選択図】図１
2018116391.tif 000002
【特許請求の範囲】
【請求項１】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理システム。
【請求項２】
前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする請求項１〜３のいずれか一項に記載の画像処理システム。
【請求項５】
前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする請求項１〜４のいずれか一項に記載の画像処理システム。
【請求項６】
前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする請求項１〜５のいずれか一項に記載の画像処理システム。
【請求項７】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理方法。
【請求項８】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる形状の輪郭を特定するための画像処理システム、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像処理により、所定の特徴を有する領域を検出する技術が検討されている（例えば、特許文献１、２参照。）。例えば、特許文献１においては、検査対象の液体中に含まれている異物を気泡と区別して検出するための異物検出装置が開示されている。この文献に記載された技術においては、異物検出装置は、検査対象の液体が流れる測定管に設けられた外部から視認可能な透過部を照明する光源部の発光と同期して、透過部を流れる液体を撮影した検査画像を取得する。そして、所定の閾値で２値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出し、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する。抽出された特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する。
【０００３】
また、特許文献２においては、対象検出装置にて、様々な環境で撮影した入力画像から対象物を検出する。この文献に記載された技術においては、スコア算出部は、入力画像内の複数の位置に注目領域を設定し、当該注目領域に対象が存在する尤もらしさを表す指標値を、入力画像から得られた特徴量と識別基準とに基づいて算出する。注目領域のうち指標値が予め定められた第一閾値を超えるものを対象候補領域として抽出する。更に、抽出された対象候補領域を用いて対象領域を決定し、注目領域ごとの指標値のうち第一閾値を超えるもののばらつき度合いが予め定められた誤抽出推定閾値以上である場合に、第一閾値より大きな第二閾値を設定し、指標値が第二閾値以下である対象候補領域を削除する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１０２０２７号公報
【特許文献２】特開２０１６−３３７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体形状を把握するために、この立体形状を撮影した２次元画像において輪郭（エッジ）を抽出することがある。ここで、抽出したエッジの一部に欠けている部分（エッジ欠け）がある場合、立体形状を特定することができない。一方、このようなエッジ欠けが生じないように、エッジ抽出を強化した場合には、立体形状の輪郭でない部分においてもエッジを抽出してしまう可能性がある。この場合、本来、一体である立体形状が分割され、的確な立体形状を把握することができない。
【０００６】
本発明は、上述の問題に鑑みてなされたものであり、この目的は、画像に含まれる形状の輪郭を効率的かつ的確に特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題点を解決するための画像処理システムは、対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備える。そして、前記制御部が、輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する。これにより、画像においてエッジ欠けを修正し、この輪郭の学習結果を用いて輪郭を特定することができる。
【０００８】
・上記画像処理システムにおいては、前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することが好ましい。これにより、強力なエッジ抽出により特定した領域を、統合して的確に輪郭を判定することができる。
【０００９】
・上記画像処理システムにおいては、前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることが好ましい。これにより、画像毎のパラメータ設定等の作業負担を軽減し、効率的にエッジを検出することができる。
【００１０】
・上記画像処理システムにおいては、前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることが好ましい。これにより、エッジ抽出において生じたエッジ欠けを修正することができる。
【００１１】
・上記画像処理システムにおいては、前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、隣接した前記膨張領域における重複領域を特定し、前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことが好ましい。これにより、エッジ検出により分割された領域を統合することができる。
【００１２】
・上記画像処理システムにおいては、前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することが好ましい。これにより、効率的に輪郭の正常や異常を評価することができる。
【発明の効果】
【００１３】
本発明によれば、画像に含まれる形状の輪郭を効率的かつ的確に特定することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態のシステムの説明図。
【図２】本実施形態の処理手順の説明図。
【図３】本実施形態のエッジ検出処理の説明図。
【図４】本実施形態の画像の説明図であって、（ａ）は平滑化前の画像、（ｂ）はガウシアンフィルタによる平滑化画像、（ｃ）はバイラテラルフィルタによる平滑化画像。
【図５】本実施形態の複素モーメント法によるエッジ強調の説明図。
【図６】本実施形態の画像の説明図であって、（ａ）は平滑化画像、（ｂ）は複素モーメント画像の説明図。
【図７】本実施形態の閾値処理の説明図。
【図８】本実施形態の画像の説明図であって、（ａ）は複素モーメント画像、（ｂ）は注目画素、（ｃ）は矩形領域、（ｄ）は注目画素における閾値処理結果の説明図。
【図９】本実施形態の画像の説明図であって、（ａ）は平滑化画像、（ｂ）はエッジ欠けがない複素モーメント画像、（ｃ）はエッジ欠けがある複素モーメント画像、（ｄ）は距離マップ画像、（ｅ）はシード画像の説明図。
【図１０】本実施形態の画像の説明図であって、（ａ）は平滑化画像と複素モーメント画像との合成、（ｂ）は強調画像とシード画像との合成、（ｃ）はWatershed法を適用したエッジ画像の説明図。
【図１１】本実施形態の画像の説明図であって、（ａ）は平滑化画像、（ｂ）は複素モーメント画像、（ｃ）は強調画像、（ｄ）Watershed法を適用したエッジ画像、（ｅ）は強調画像とエッジ画像とを合成した画像の説明図。
【図１２】本実施形態の隣接領域判定処理の説明図。
【図１３】本実施形態のＳＶＭによる領域統合処理の説明図であって、（ａ）は分割された粒子領域、（ｂ）は膨張処理、（ｃ）は膨張領域の重複領域の模式図、（ｄ）はサポートベクターマシンの入力情報の説明図。
【図１４】本実施形態の正常・異常粒子の分類の説明図。
【図１５】本実施形態のＳＶＭによる正常・異常粒子の判別処理におけるサポートベクターマシンの入力情報の説明図。
【図１６】本実施形態のペアワイズ幾何ヒストグラムの説明図であって、（ａ）はチェインコード表現、（ｂ）はチェインコードの割当、（ｃ）はペアワイズ幾何ヒストグラムの説明図。
【発明を実施するための形態】
【００１５】
以下、画像処理システムの一実施形態を、図１〜図１６に従って説明する。本実施形態では、複数の粒子を撮影した画像において、正常な形状（球形状）の粒子の中で、異常な形状の粒子を検出するための画像処理システムとして説明する。この場合、複数の正常粒子が凝集等した異常形状の粒子（連結粒子や粗大粒子等の異常粒子）を検出する場合を想定する。
【００１６】
図１に示すように、この画像処理のため、入力部１０、出力部１５に接続された画像処理装置２０を用いる。
入力部１０は、キーボードやポインティングデバイス等で構成され、各種指示を入力するための入力手段から構成される。また、出力部１５は、ディスプレイ等で構成され、情報処理結果を出力するための出力手段から構成される。
【００１７】
画像処理装置２０は、複数の粒子を撮影した画像を用いて、異常形状の粒子を検出するコンピュータシステムである。この画像処理装置２０は、制御部２１、学習用画像記憶部２２、機械学習情報記憶部２３、評価対象画像記憶部２４を備えている。
【００１８】
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（管理段階、エッジ検出段階、特徴量抽出段階、機械学習段階、領域統合段階、粒子判定段階等を含む処理）を行なう。このための画像処理プログラムを実行することにより、制御部２１は、管理部２１０、エッジ検出部２１１、第１特徴量抽出部２１２、第２特徴量抽出部２１３、機械学習部２１４、領域統合部２１５、粒子判定部２１６等として機能する。
【００１９】
管理部２１０は、学習用画像や評価対象画像を取得する処理を実行する。
エッジ検出部２１１は、学習用画像や評価対象画像において、粒子画像のエッジを検出する処理を実行する。更に、エッジ検出部２１１は、検出したエッジの欠けを修正する。
【００２０】
第１特徴量抽出部２１２は、領域統合についての機械学習に用いる特徴量を算出する処理を実行する。
第２特徴量抽出部２１３は、粒子判別（正常、異常、その他）についての機械学習に用いる特徴量を算出する処理を実行する。
機械学習部２１４は、サポートベクターマシン（ＳＶＭ）により、画像に含まれる粒子領域の認識に関する境界面を算出する処理を実行する。この機械学習部２１４は、境界面として、機械学習結果（領域統合）、機械学習結果（形状判別）を算出する。
領域統合部２１５は、隣接した粒子領域（輪郭領域）の統合の要否を判定する処理を実行する。
粒子判定部２１６は、画像に含まれる粒子の形状を評価する処理を実行する。
【００２１】
学習用画像記憶部２２には、粒子の形状を学習するための学習用画像データが記録される。この学習用画像データは、ユーザによって学習用画像が指定された場合に記録される。
機械学習情報記憶部２３には、機械学習（サポートベクターマシン）により算出した境界面（粒子領域の認識に関する境界面）に関する機械学習結果データ（輪郭学習結果）が記録される。この機械学習結果データは、サポートベクターマシンにより機械学習を行なった場合に記録される。本実施形態では、複数の粒子が連結した形状を識別するための機械学習結果（領域統合）、及び正常粒子・異常粒子を識別するための機械学習結果（形状判別）が記録される。機械学習結果（領域統合）においては、ユーザが、学習用画像において統合すべきとして指定した領域と統合すべきでないとして指定した領域との境界面に関する情報が記録される。機械学習結果（形状判別）においては、ユーザが、学習用画像において粒子判別（正常、異常、その他）を指定した境界面に関する情報が記録される。
【００２２】
評価対象画像記憶部２４には、評価対象の粒子の形状を撮影した評価対象画像データが記録される。この評価対象画像データは、ユーザによって評価対象画像が指定された場合に記録される。この評価対象画像には、複数の粒子が混在して撮影されている。
【００２３】
次に、上記のように構成された画像処理装置２０において、画像に含まれる粒子を評価する場合の処理手順について、図２〜図１６を用いて説明する。
（全体の概要）
まず、図２を用いて、全体の概要を説明する。複数の粒子が含まれる試料を撮影することにより学習用画像や評価対象画像を準備する。例えば、金属粒子を堆積させた試料を顕微鏡により撮影して画像を生成する。そして、学習用画像を用いて、特徴量についての機械学習を行なう（学習フェーズ）。次に、機械学習結果を利用して、評価対象画像に含まれる粒子を評価する（予測フェーズ）。
【００２４】
まず、学習フェーズについて説明する。
この場合、画像処理装置２０の制御部２１は、学習用画像の取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の管理部２１０は、出力部１５に、学習用画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、画像処理装置２０の記憶部（ハードディスク等）や記憶媒体内に記録された学習用画像を指定する。この場合、管理部２１０は、指定された学習用画像を取得し、学習用画像記憶部２２に記録する。
【００２５】
次に、画像処理装置２０の制御部２１は、エッジ検出処理を実行する（ステップＳ１−２）。具体的には、制御部２１のエッジ検出部２１１は、学習用画像記憶部２２に記録された学習用画像に含まれる粒子のエッジを検出する。この場合、後述するように、バイラテラルフィルタによる平滑化処理、複素モーメント法及びWatershed法（ウォーターシェッド法）を用いることにより、学習用画像の修正画像を生成し、粒子の輪郭の可能性がある領域のエッジ抽出を行なう。
【００２６】
次に、画像処理装置２０の制御部２１は、領域統合の機械学習処理を実行する（ステップＳ１−３）。具体的には、制御部２１の第１特徴量抽出部２１２は、複数に分割された領域の領域統合を行なうための特徴量を抽出する。次に、機械学習部２１４は、ユーザが、学習用画像において統合すべきとして指定した領域と統合すべきでないとして指定した領域との境界面を、抽出した特徴量を用いて、サポートベクターマシン（ＳＶＭ）により算出する。そして、機械学習部２１４は、算出した機械学習結果（領域統合）を機械学習情報記憶部２３に記録する。
次に、画像処理装置２０の制御部２１は、粒子形状の判別の機械学習処理を実行する（ステップＳ１−４）。具体的には、制御部２１の第２特徴量抽出部２１３は、粒子形状の判別を行なうための特徴量を抽出する。次に、機械学習部２１４は、ユーザが、学習用画像において粒子判別（正常、異常、その他）を指定した境界面を、抽出した特徴量を用いて、サポートベクターマシン（ＳＶＭ）により算出する。そして、機械学習部２１４は、算出した機械学習結果（形状判別）を機械学習情報記憶部２３に記録する。
【００２７】
次に、予測フェーズについて説明する。
この場合、画像処理装置２０の制御部２１は、評価対象画像の取得処理を実行する（ステップＳ２−１）。具体的には、制御部２１の管理部２１０は、画像指定画面により、指定された評価対象画像を取得する。そして、管理部２１０は、指定された評価対象画像を評価対象画像記憶部２４に記録する。
【００２８】
次に、画像処理装置２０の制御部２１は、エッジ検出処理を実行する（ステップＳ２−２）。具体的には、制御部２１のエッジ検出部２１１は、評価対象画像記憶部２４に記録された評価対象画像においてエッジを検出する。ここでも、学習フェーズと同様に、バイラテラルフィルタによる平滑化処理、複素モーメント法及びWatershed法を用いることにより、評価対象画像の修正画像を生成し、粒子の輪郭の可能性がある領域（粒子領域）のエッジ抽出を行なう。
【００２９】
次に、画像処理装置２０の制御部２１は、領域統合の予測処理を実行する（ステップＳ２−３）。具体的には、制御部２１の第１特徴量抽出部２１２は、検出したエッジに基づいて分割された領域毎に特徴量を算出する。そして、領域統合部２１５は、機械学習情報記憶部２３に記録された機械学習結果（領域統合）を用いて、粒子領域毎の特徴量に基づいて、エッジ抽出により複数の領域に分割された領域を統合する。
【００３０】
次に、画像処理装置２０の制御部２１は、異常粒子の予測処理を実行する（ステップＳ２−４）。具体的には、制御部２１の第２特徴量抽出部２１３は、粒子領域毎に特徴量を算出する。そして、粒子判定部２１６は、機械学習情報記憶部２３に記録された機械学習結果（形状判別）を用いて、粒子領域毎の特徴量に基づいて、粒子形状の判別を行なう。そして、評価対象画像において、異常粒子の位置、粒子の最大径を算出する。更に、粒子判定部２１６は、評価対象画像に含まれるすべての粒子の粒径を算出し、粒径毎の個数を算出する。更に、粒子判定部２１６は、評価対象画像に含まれる粒子形状に応じて体積を予測する。ここでは、粒子の長軸を中心軸として回転させた場合の立体形状の体積を算出する。
【００３１】
次に、画像処理装置２０の制御部２１は、評価結果の出力処理を実行する（ステップＳ２−５）。具体的には、制御部２１の粒子判定部２１６は、異常粒子の予測を含めた評価結果を、出力部１５に出力する。
【００３２】
（エッジ検出処理）
図３を用いて、エッジ検出処理を説明する。この処理は、学習用画像及び評価対象画像に対して、学習フェーズ、予測フェーズの特徴量抽出処理の前に行なわれる。
【００３３】
まず、画像処理装置２０の制御部２１は、バイラテラルフィルタによる平滑化処理を実行する（ステップＳ３−１）。具体的には、制御部２１のエッジ検出部２１１は、ノイズが含まれる画像（学習用画像や評価対象画像）に対してバイラテラルフィルタを適用して平滑化を行なう。
【００３４】
図４を用いて、バイラテラルフィルタの効果を説明する。
図４（ａ）に示す画像５００は、平滑化前の画像である。この画像５００に対して、一般的に使用されるガウシアンフィルタを適用した場合、図４（ｂ）に示す画像５０１が生成される。この場合、エッジにぼけが生じる。一方、バイラテラルフィルタを用いた場合には、図４（ｃ）に示すように、エッジのぼけを抑制しながら、平滑化した画像５０２を生成することができる。
【００３５】
次に、図３において、画像処理装置２０の制御部２１は、粒子領域の抽出処理を実行する（ステップＳ３−２）。具体的には、制御部２１のエッジ検出部２１１は、画像の中に含まれる粒子領域を抽出する。ここでは、以下のステップＳ４−１〜Ｓ４−３の処理を実行する。
【００３６】
まず、画像処理装置２０の制御部２１は、複素モーメント法によるエッジ強調処理を実行する（ステップＳ４−１）。具体的には、制御部２１のエッジ検出部２１１は、平滑化画像に対して、複素モーメント法を適用して、複素モーメント画像を生成する。この複素モーメント法は、複素モーメントという積分量を用いることにより、ノイズに対してロバストな画像特徴抽出法である。この処理については、図５、図６を用いて後述する。
【００３７】
次に、画像処理装置２０の制御部２１は、閾値処理を実行する（ステップＳ４−２）。具体的には、制御部２１のエッジ検出部２１１は、複素モーメント画像（粒子のエッジ強調画像）に対して閾値処理を適用する。この処理については、図７、図８を用いて後述する。
【００３８】
次に、画像処理装置２０の制御部２１は、Watershed法により粒子領域の抽出処理を実行する（ステップＳ４−３）。具体的には、制御部２１のエッジ検出部２１１は、エッジが欠けている場合に、複素モーメント法によって得られた２値画像と平滑化画像とを用いて、粒子内部と背景とのシードを設定する。そして、このシードに、Watershed法を適用することにより、粒子のエッジ欠けを修正する。この処理については、図９、図１０を用いて後述する。
【００３９】
（複素モーメント法によるエッジ強調処理）
次に、図５、図６を用いて、複素モーメント法によるエッジ強調処理を説明する。
まず、画像処理装置２０の制御部２１は、オペレータの算出処理を実行する（ステップＳ５−１）。具体的には、学習用画像や評価対象画像は連続画像ではなく、これをサンプリングした離散画像である。この離散画像に対して局所画像の複素モーメントを計算するために用いるオペレータを生成する。本実施形態では、制御部２１のエッジ検出部２１１は、以下の算出式によりオペレータｈn〔k,l〕（ｎ＝１〜Ｎ）を生成する。ここで、「Ｎ」は使用する複素モーメントの最大次数である。
【００４０】
【数１】
2018116391.tif 000003
【００４１】
連続画像ｆ（x,y）を間隔Ｔでサンプリングして離散画像をｆ（kT,lT）＝ｆ〔k,l〕とおく。ここで、「ｋ」、「ｌ」は整数である。
【００４２】
次に、画像処理装置２０の制御部２１は、複素モーメントの算出処理を実行する（ステップＳ５−２）。具体的には、制御部２１のエッジ検出部２１１は、連続画像の点（k0T,l0T）における局所画像の複素モーメントＣ'n〔k0,l0〕を算出する。
【００４３】
【数２】
2018116391.tif 000004
【００４４】
この算出式は、元画像ｆ〔k,l〕とオペレータｈn〔k,l〕との離散畳み込み形式に書き直すことができる。
【００４５】
【数３】
2018116391.tif 000005
【００４６】
次に、画像処理装置２０の制御部２１は、特徴量の計算処理を実行する（ステップＳ５−３）。具体的には、制御部２１のエッジ検出部２１１は、１以上の複素モーメントの絶対値の二乗和により特徴量Ｓを算出する。
【００４７】
【数４】
2018116391.tif 000006
【００４８】
次に、画像処理装置２０の制御部２１は、粒子の輪郭の抽出処理を実行する（ステップＳ５−４）。具体的には、制御部２１のエッジ検出部２１１は、特徴量Ｓに対して局所閾値処理を適用することにより、粒子のエッジを抽出する。
【００４９】
図６（ａ）は、上述したバイラテラルフィルタを用いて平滑化した平滑化画像５１０の一例である。図６（ｂ）は、この平滑化画像５１０に基づいて、エッジ強調した複素モーメント画像５１１を示す。
【００５０】
（閾値処理）
次に、図７、図８を用いて、閾値処理を説明する。
図７に示すように、学習用画像や評価対象画像の複素モーメント画像に含まれる各画素（ピクセル）において、順次、注目画素を特定し、以下の処理を繰り返す。ここでは、図８（ａ）に示す複素モーメント画像５１１を用いる場合を想定する。図８（ｂ）は、複素モーメント画像５１１の一部を拡大した画像５１１ａである。この画像５１１ａに含まれる所定の画素を注目画素５１１ｂとして用いる。
【００５１】
まず、画像処理装置２０の制御部２１は、矩形領域の特定処理を実行する（ステップＳ６−１）。具体的には、制御部２１のエッジ検出部２１１は、注目画素の周囲に矩形領域を特定する。図８（ｃ）に示すように、この注目画素５１１ｂに対して所定の大きさの矩形領域５１１ｃを設定する。本実施形態では、「６４×６４」ピクセルの矩形領域を設定する。
【００５２】
次に、画像処理装置２０の制御部２１は、注目画素値が閾値より大きいかどうかについての判定処理を実行する（ステップＳ６−２）。具体的には、制御部２１のエッジ検出部２１１は、矩形領域５１１ｃ内に含まれる画素の所定割合を閾値として決定する。例えば、矩形領域５１１ｃ内に含まれる画素の画素値が高い値から３５％の値を閾値として算出する。そして、注目画素５１１ｂの画素値（注目画素値）と閾値とを比較する。
【００５３】
注目画素値が閾値より大きいと判定した場合（ステップＳ６−２において「ＹＥＳ」の場合）、画像処理装置２０の制御部２１は、「１」の設定処理を実行する（ステップＳ６−３）。具体的には、制御部２１のエッジ検出部２１１は、注目画素値を「１」に更新する。
【００５４】
一方、注目画素値が閾値以下と判定した場合（ステップＳ６−２において「ＮＯ」の場合）、画像処理装置２０の制御部２１は、「０」の設定処理を実行する（ステップＳ６−４）。具体的には、制御部２１のエッジ検出部２１１は、注目画素値を「０」に更新する。
【００５５】
図８（ｄ）においては、注目画素５１１ｂの画素値（複素モーメント値）が閾値より高いため「１」が設定される。
以上の閾値処理を、複素モーメント画像に含まれるすべての画素について計算する。
【００５６】
（Watershed法による粒子のエッジ検出処理）
次に、図９、図１０を用いて、Watershed法による粒子のエッジ検出処理を説明する。上述した複素モーメント法で得られた粒子領域のエッジの一部が欠けている場合がある。この処理においては、このエッジ欠けを避けるために、複素モーメント法で得られた２値画像に、Watershed法を適用する。このWatershed法では、粒子領域の内部と背景とにおいてシードを設定し、このシードから同じ水面高さを維持しながら注水した領域が接した領域を境界として特定することにより、エッジ欠けを修正する。
【００５７】
まず、図９に示す模式図を用いて、シードを設定したシード画像の生成を説明する。
ここでは、図９（ａ）に示す平滑化画像５２０を用いて説明する。
【００５８】
図９（ｂ）は、この平滑化画像５２０に複素モーメント法を適用して得られた複素モーメント画像５２１を示す。このような複素モーメント画像５２１においては、エッジ欠けが生じていない。
【００５９】
一方、図９（ｃ）に示すように、複素モーメント法を適用して、複素モーメント画像５２２が得られる場合がある。この複素モーメント画像５２２においては、エッジの一部が欠けている。
【００６０】
そこで、図９（ｄ）に示すように、エッジから同じ距離の範囲毎に識別した距離マップ画像５２３を生成する。そして、エッジから基準距離以上離れた領域をシードとして特定する。ここでは、基準距離として、エッジ欠けが生じる長さの予想値よりも大きい距離を設定する。
【００６１】
図９（ｅ）に示すように、エッジによってほぼ囲まれていた粒子領域には内部シード（楕円形の白領域）を含むシード画像５２４が生成される。また、粒子領域の外側（背景領域）には、エッジから基準距離以上離れた領域に背景シード（周囲の白領域）が生成される。このように、各粒子領域と背景とに対してシードを生成し、シード毎にインデックス（正の値）を付与する。なお、図９（ｅ）の黒領域は、シード領域以外の未知の領域を示している。
【００６２】
次に、図１０を用いて、Watershed法の適用を説明する。
ここでは、図１０（ａ）に示すように、平滑化画像５２０と複素モーメント画像５２１とを合成し、強調画像５３０を生成する。
【００６３】
図１０（ｂ）に示すように、この強調画像５３０とシード画像５２４（図９（ｅ））に対して、Watershed法を適用する。ここでは、各シードから、水面が同じ高さになるように維持しながら注水した領域を想定する。
【００６４】
図１０（ｃ）に示すように、各シードからの水面が接した部分を境界とする修正画像５３１を生成する。ここでは、粒子領域内部のシードからの注水領域を白領域、背景のシードからの注水領域を黒領域で表している。
【００６５】
次に、図１１を用いて、複数の粒子を撮影した撮影画像に対してエッジ検出を行なった例を示す。
図１１（ａ）は、撮影画像に基づいて生成した平滑化画像５４０を示す。
図１１（ｂ）は、平滑化画像５４０に基づいて生成した複素モーメント画像５４１を示す。
【００６６】
図１１（ｃ）は、平滑化画像５４０と複素モーメント画像５４１とを合成した強調画像５４２を示す。
図１１（ｄ）は、Watershed法を適用した結果画像５４３を示す。この結果画像５４３を用いて境界を特定する。
図１１（ｅ）は、平滑化画像５４０に、結果画像５４３において特定した境界を重ね合わせた領域抽出結果画像５４４を示す。
【００６７】
（隣接領域判定処理）
次に、図１２を用いて、隣接領域判定処理を説明する。本来は一つの粒子であるにもかかわらず、エッジ検出により分割されてしまうことがある。この領域統合処理では、分割された粒子を結合する。ここでは、サポートベクターマシン（ＳＶＭ）を用いて、分離した粒子において統合する。
【００６８】
このため、隣接領域判定処理においては、統合の要否を判定するために隣接する粒子を特定する。
まず、画像処理装置２０の制御部２１は、各領域の重心の算出処理を実行する（ステップＳ７−１）。具体的には、制御部２１の第１特徴量抽出部２１２は、領域抽出結果画像において、各領域の重心位置を算出する。
【００６９】
次に、処理対象領域を特定し、処理対象毎に、以下の処理を繰り返す。
まず、画像処理装置２０の制御部２１は、隣接候補領域の特定処理を実行する（ステップＳ７−２）。具体的には、制御部２１の第１特徴量抽出部２１２は、処理対象領域の重心位置と他の領域の重心位置との距離を算出する。そして、第１特徴量抽出部２１２は、算出した距離が距離閾値以下の場合の領域を隣接候補領域として特定する。
【００７０】
次に、画像処理装置２０の制御部２１は、隣接候補領域のエッジ間に重なりがあるかどうかについての判定処理を実行する（ステップＳ７−３）。具体的には、制御部２１の第１特徴量抽出部２１２は、処理対象領域の輪郭と隣接候補領域の輪郭とのエッジ間に重なりがあるかどうかを判定する。
【００７１】
隣接候補領域のエッジ間に重なりがあると判定した場合（ステップＳ７−３において「ＹＥＳ」の場合）、画像処理装置２０の制御部２１は、重なっているエッジ長が長さ閾値を超えているかどうかの判定処理を実行する（ステップＳ７−４）。具体的には、制御部２１の第１特徴量抽出部２１２は、エッジの重なりの長さ（エッジ長）と長さ閾値とを比較する。
【００７２】
重なっているエッジ長が長さ閾値を超えていると判定した場合（ステップＳ７−４において「ＹＥＳ」の場合）、画像処理装置２０の制御部２１は、隣接領域として特定処理を実行する（ステップＳ７−５）。具体的には、制御部２１の第１特徴量抽出部２１２は、隣接候補領域を隣接領域として特定する。
【００７３】
一方、隣接候補領域のエッジ間に重なりがないと判定した場合（ステップＳ７−３において「ＮＯ」の場合）、画像処理装置２０の制御部２１は、隣接領域として特定処理（ステップＳ７−５）をスキップする。また、隣接候補領域を特定できない場合や、重なっているエッジ長が長さ閾値を超えていないと判定した場合（ステップＳ７−４において「ＮＯ」の場合）においても、画像処理装置２０の制御部２１は、隣接領域として特定処理（ステップＳ７−５）をスキップする。
以上の処理を、すべての領域について終了するまで繰り返す。
【００７４】
（ＳＶＭによる領域統合処理）
次に、図１３を用いて、サポートベクターマシン（ＳＶＭ）による領域統合処理を説明する。学習フェーズにおいて、エッジ検出により分離された粒子領域において、統合すべき領域を機械学習する。
ここでは、図１３（ａ）に示すように、上述した隣接領域判定処理において、粒子αと粒子βとが隣接している場合を想定する。
【００７５】
まず、図１３（ｂ）に示すように、画像処理装置２０の制御部２１は、粒子α及び粒子βのエッジを所定の長さで広げる膨張処理を行なう。この場合、粒子α及び粒子βは、それぞれのエッジが広がった膨張領域が生成される。
そして、図１３（ｃ）に示すように、画像処理装置２０の制御部２１は、粒子α及び粒子βの膨張領域の重複領域を特定する。
【００７６】
次に、学習フレーズにおけるサポートベクターマシンによる機械学習処理を説明する。
【００７７】
ここでは、図１３（ｄ）に示すように、サポートベクターマシンにおいて、特徴量として、重複領域の濃度値の平均、複素モーメント画像における勾配値の平均、距離値の平均を用いて機械学習を行なう。ここで、距離値の平均では、２値化画像に対して、距離変換を適用し、得られた距離画像の各画素の値を距離値として用いる。この距離変換は、２値画像の各画素に対して、そこから値が０（黒の部分）である画素への最短距離を与える変換である。
【００７８】
更に、サポートベクターマシンにおいて、粒子αのヒストグラムと粒子βのヒストグラムとの相関、カイ二乗、交差についても、特徴量として用いて機械学習を行なう。
更に、サポートベクターマシンにおいて、粒子αのペアワイズヒストグラムと粒子βとのペアワイズヒストグラムの相関、カイ二乗、交差についても、特徴量として用いて機械学習を行なう。
【００７９】
そして、画像処理装置２０の制御部２１は、統合領域の指定情報を取得する。具体的には、制御部２１の管理部２１０は、出力部１５に学習用画像を出力する。この学習用画像には、検出されたエッジを含める。そして、ユーザは、入力部１０を用いて、学習用画像において、統合すべき領域を入力する。この場合、制御部２１の機械学習部２１４は、学習用画像の特徴量において、サポートベクターマシンを用いて、機械学習結果（領域統合）を算出し、機械学習情報記憶部２３に記録する。この機械学習結果（領域統合）は、予測フェーズにおいて、評価対象画像に適用して、領域統合の要否を判定する場合に用いられる。
【００８０】
（ＳＶＭによる正常・異常粒子の判別処理）
次に、サポートベクターマシン（ＳＶＭ）による正常・異常粒子の判別処理について説明する。学習フェーズにおいて、画像に含まれる粒子の種類を機械学習する。
【００８１】
ここでは、図１４に示すように、粒子の種類として、「正常（粗大粒子を含む）」、「連結粒子」、「その他（背景等）」に分類する。次に、「正常（粗大粒子を含む）」に分類された粒子において、粒子の長軸による正常、粗大粒子の判定を行なう。ここでは、粒子領域において、その形状に基づいて長軸と短軸とを定める。そして、長軸と短軸との差分に基づいて、正常粒子と粗大粒子とを識別する。
【００８２】
図１５を用いて、学習フレーズにおけるサポートベクターマシンによる機械学習処理を説明する。
ここでは、サポートベクターマシンにおいて、以下の１１種類の特徴量を用いて機械学習を行なう。
・粒子領域の面積：粒子領域内の画素数に基づいて算出する。
・粒子の円形度：粒子領域の面積Ａと粒子の周辺長Ｌとに基づいて、以下の円形度を算出する。
〔円形度〕＝〔４・π・Ａ〕／〔Ｌ・Ｌ〕
【００８３】
・縦横比：粒子領域の縦と横の比率に基づいて算出する。
・面積比：粒子領域に接する矩形を生成し、粒子の面積と矩形との面積の比率を算出する。
【００８４】
・粒子の面積と粒子領域の横幅との比率：粒子領域の横幅（短軸の長さ）を算出し、粒子の面積との比率を算出する。
・粒子領域における濃度値の平均：粒子領域を構成する全画素の画素値（濃度値）を取得し、濃度値の平均値を算出する。
【００８５】
・粒子領域における濃度値の標準偏差：粒子領域を構成する全画素の画素値（濃度値）を取得し、濃度値の標準偏差を算出する。
・粒子領域における勾配値（複素モーメント画像）の平均：複素モーメント画像において粒子領域の各画素の勾配値を取得し、勾配値の平均値を算出する。
【００８６】
・粒子領域における勾配値（複素モーメント画像）の標準偏差：複素モーメント画像において粒子領域の各画素の勾配値を取得し、勾配値の標準偏差を算出する。
・ペアワイズ幾何ヒストグラム：具体的な計算方法については、図１６を用いて後述する。
・モーメント特徴（６次元不変モーメント）：形状の歪を評価する。具体的な計算方法については後述する。
【００８７】
（ペアワイズ幾何ヒストグラム）
次に、図１６を用いて、ペアワイズ幾何ヒストグラムを説明する。このペアワイズ幾何ヒストグラムは、チェインコードヒストグラム（ＣＣＨ）を一般化若しくは拡張したものである。
【００８８】
図１６（ａ）に示すように、粒子領域のエッジをチェインにより表現する。この場合、チェインベクターに応じて、図１６（ｂ）に示すチェインコードを割り当てる。そして、図１６（ｃ）に示すように、粒子のエッジを構成するチェインにおいてチェインコードの頻度を表したペアワイズ幾何ヒストグラム（チェインコードヒストグラムを一般化もしくは拡張したヒストグラム）を生成する。このヒストグラムでは、円形の場合には頻度が一定となる。頻度のばらつきが大きい場合には、形状にひずみがあると判定できる。このチェインコードヒストグラムは、エッジにおけるそれぞれの方向に対するステップ数をカウントすることにより作成される。
【００８９】
（モーメント特徴）
次に、モーメント特徴Ｈuについて説明する。
Ｈuモーメントは、平行移動、拡大縮小、回転に対して不変なモーメントである。
「〔ｐ＋ｑ〕次」のモーメントｍpqは、次の式で近似することができる。
【００９０】
【数５】
2018116391.tif 000007
【００９１】
ｘとｙは、原点に関するピクセル座標である。ｆ（x,y）は、ピクセルの特徴量を表わす。中心モーメントμは、次式で算出される。
【００９２】
【数６】
2018116391.tif 000008
【００９３】
そして、Ｈuモーメントは、次式によって計算される。
【００９４】
【数７】
2018116391.tif 000009
【００９５】
本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、バイラテラルフィルタによる平滑化処理を実行する（ステップＳ３−１）。これにより、エッジをぼかすことなく、平滑化画像を得ることができる。
【００９６】
（２）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、複素モーメント法によるエッジ強調処理を実行する（ステップＳ４−１）。的確にエッジを抽出する場合、通常、画像における各種パラメータを調整する必要がある。一方、複素モーメント法を用いることにより、計算に用いるオペレータを算出すれば、画像毎にパラメータの調整等の負担を軽減しながら、平滑化画像におけるエッジを的確かつ効率的に抽出することができる。特に、複素モーメント法は円形状の検出に適しており、粒子の形状の判別に適している。
【００９７】
（３）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、閾値処理を実行する（ステップＳ４−２）。これにより、矩形領域に含まれる周囲の画素を考慮して、エッジを明確化することができる。
【００９８】
（４）本実施形態では、エッジ検出処理（ステップＳ１−２）において、画像処理装置２０の制御部２１は、Watershed法により粒子領域の抽出処理を実行する（ステップＳ４−３）。これにより、エッジ検出において生じたエッジ欠けを修正することができる。
【００９９】
（５）本実施形態では、画像処理装置２０の制御部２１は、隣接領域判定処理を実行する。これにより、画像における領域間の状況に基づいて、隣接した領域を特定することができる。
【０１００】
（６）本実施形態では、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習により、領域統合処理を実行する。これにより、強力なエッジ検出により領域分割された粒子領域を、機械学習により統合させることができる。
【０１０１】
この場合、サポートベクターマシンにおいて、重複領域の濃度値の平均、複素モーメント画像における勾配値の平均、距離値の平均を、特徴量として用いて機械学習を行なう。これにより、エッジ検出により分割された領域の接触状態を考慮して、領域統合を行なうことができる。
【０１０２】
更に、サポートベクターマシンにおいて、粒子α、粒子βのヒストグラムの相関、粒子α、粒子βのペアワイズヒストグラムの相関、濃度値の平均についても、特徴量として用いて機械学習を行なう。これにより、エッジ検出により分割された領域の内部状態を考慮して、領域統合を行なうことができる。
【０１０３】
（７）本実施形態では、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習により、正常・異常粒子の判別処理を実行する。これにより、粒子形状に基づいて、正常や異常の状況を判定することができる。
【０１０４】
この場合、サポートベクターマシンにおいて、粒子領域の面積、粒子の円形度、縦横比、面積比、粒子の面積と粒子領域の横幅との比率を入力として機械学習を行なう。これにより、粒子領域の大きさや外形形状等に基づいて、正常・異常を判定することができる。
【０１０５】
更に、サポートベクターマシンにおいて、粒子領域における濃度値の平均、粒子領域における濃度値の標準偏差、複素モーメント画像における粒子領域における勾配値の平均、粒子領域における勾配値（複素モーメント画像）の標準偏差を入力として機械学習を行なう。これにより、粒子領域の色や模様等に基づいて、正常・異常を判定することができる。
【０１０６】
更に、サポートベクターマシンにおいて、ペアワイズ幾何ヒストグラム、モーメント特徴を入力として機械学習を行なう。これにより、粒子形状の等方性に基づいて、正常・異常を判定することができる。
【０１０７】
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、複数の粒子を撮影した画像において、正常な形状（球形状）の粒子の中で、異常な形状の粒子を検出する場合を想定した。本発明の適用対象は、これに限定されるものではなく、所定形状を撮影した画像に適用することができる。
【０１０８】
・上記実施形態では、画像処理装置２０の制御部２１は、バイラテラルフィルタによる平滑化処理を実行する（ステップＳ３−１）。平滑化できれば、他のフィルタを用いることも可能である。また、ノイズが少ない画像においては、フィルタリングを省略することも可能である。
【０１０９】
・上記実施形態では、画像処理装置２０の制御部２１は、Watershed法により粒子領域の抽出処理を実行する（ステップＳ４−３）。エッジ欠けを修正する方法はWatershed法に限定されるものではない。また、エッジ欠けが少ない画像においては、エッジ欠けの修正を省略することも可能である。
【０１１０】
・上記実施形態では、複素モーメント法によるエッジ強調処理を行なう。エッジ強調方法は、複素モーメント法に限定されるものではない。評価対象画像が類似した撮影状態の画像の場合には、予めパラメータを設定したエッジ抽出方法を用いることができる。
【０１１１】
・上記実施形態では、ＳＶＭによる領域統合処理において、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習処理を実行する。この場合、サポートベクターマシンの入力として、重複領域の濃度値の平均〜粒子αのペアワイズヒストグラムと粒子βとのペアワイズヒストグラムの相関、カイ二乗、交差を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。
【０１１２】
また、写真画像から画家による絵画風の画像に変換する場合に、領域統合処理を適用することも可能である。この場合には、画家毎の作風に応じて機械学習を行ない、領域統合処理を行なう。そして、写真画像からエッジを検出し、画家の作風に応じて、輪郭（エッジ）として残した線画を作成する。
【０１１３】
・上記実施形態では、ＳＶＭによる正常・異常粒子の判別処理において、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習処理を実行する。この場合、粒子領域の面積〜モーメント特徴を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。
【符号の説明】
【０１１４】
１０…入力部、１５…出力部、２０…画像処理装置、２１…制御部、２１０…管理部、２１１…エッジ検出部、２１２…第１特徴量抽出部、２１３…第２特徴量抽出部、２１４…機械学習部、２１５…領域統合部、２１６…粒子判定部、２２…学習用画像記憶部、２３…機械学習情報記憶部、２４…評価対象画像記憶部。
【図１】
2018116391.tif 000010
【図２】
2018116391.tif 000011
【図３】
2018116391.tif 000012
【図４】
2018116391.tif 000013
【図５】
2018116391.tif 000014
【図６】
2018116391.tif 000015
【図７】
2018116391.tif 000016
【図８】
2018116391.tif 000017
【図９】
2018116391.tif 000018
【図１０】
2018116391.tif 000019
【図１１】
2018116391.tif 000020
【図１２】
2018116391.tif 000021
【図１３】
2018116391.tif 000022
【図１４】
2018116391.tif 000023
【図１５】
2018116391.tif 000024
【図１６】
2018116391.tif 000025
【手続補正書】
【提出日】平成30年5月23日(2018.5.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記輪郭の機械学習において、前記修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする画像処理システム。
【請求項２】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を
生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする画像処理システム。
【請求項３】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする画像処理システム。
【請求項４】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする画像処理システム。
【請求項５】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結
果を機械学習した異常判定学習結果を生成し、
前記評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする画像処理システム。
【請求項６】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記輪郭の機械学習において、前記修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする画像処理方法。
【請求項７】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする画像処理方法。
【請求項８】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする画像処理方法。
【請求項９】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッ
ジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする画像処理方法。
【請求項１０】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
前記評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする画像処理方法。
【請求項１１】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
前記輪郭の機械学習において、前記修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする画像処理プログラム。
【請求項１２】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッ
ジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする画像処理プログラム。
【請求項１３】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする画像処理プログラム。
【請求項１４】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする画像処理プログラム。
【請求項１５】
対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御部を、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する
学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
前記評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
・上記実施形態では、ＳＶＭによる正常・異常粒子の判別処理において、画像処理装置２０の制御部２１は、サポートベクターマシンによる機械学習処理を実行する。この場合、粒子領域の面積〜モーメント特徴を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。
次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
〔ａ〕対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システム、方法、又はプログラムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理システム、方法、又はプログラム。
〔ｂ〕前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする請求項〔ａ〕に記載の画像処理システム、方法、又はプログラム。
〔ｃ〕前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする請求項〔ａ〕又は〔ｂ〕に記載の画像処理システム、方法、又はプログラム。
〔ｄ〕前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする請求項〔ａ〕〜〔ｃ〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
〔ｅ〕前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする請求項〔ａ〕〜〔ｄ〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
〔ｆ〕前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする請求項〔ａ〕〜〔ｅ〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。