【手続補正書】
【提出日】令和1年12月27日(2019.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体について取得されたデータである対象データに基づき、特定の性質を強調したデータである性質データを複数の異なる性質について生成する異種性質データ生成部と、
前記性質データの夫々の判別に用いる特徴量である判別用特徴量を前記性質データ毎に抽出する判別用特徴量抽出部と、
前記性質データの夫々について求めた前記判別用特徴量に基づき、前記の性質データの判別に用いる情報である判別情報を前記性質データ毎に求める判別情報算出部と、
前記性質データの夫々について求めた前記判別情報の信頼性の推定に用いる特徴量である信頼性特徴量を前記性質データ毎に抽出する信頼性特徴量抽出部と、
前記性質データの夫々について求めた前記信頼性特徴量に基づき、前記判別情報の信頼性を前記性質データ毎に推定する信頼性推定部と、
前記性質データ毎に求めた前記判別情報と、前記性質データ毎に求めた前記信頼性とを合成した情報である合成情報を生成する合成情報生成部と、
前記合成情報に基づき前記物体の認識に関する処理を行い認識結果を生成する物体認識処理部と、
を備える、物体認識装置。
【請求項２】
請求項１に記載の物体認識装置であって、
前記性質データ毎に用意された判別器を構築するための情報である判別器情報を記憶する情報記憶部を備え、
前記判別情報算出部は、前記性質データの前記判別情報を、当該性質データの前記判別用特徴量と、当該性質データについて用意された前記判別器とに基づき求める、
物体認識装置。
【請求項３】
請求項２に記載の物体認識装置であって、
前記性質データ毎に用意される信頼性推定器である、正判別信頼性推定器及び誤判別信頼性推定器を構築するための情報である信頼性推定器情報を記憶する情報記憶部を備え、
前記信頼性推定部は、
前記性質データの前記信頼性特徴量と当該性質データの前記正判別信頼性推定器とに基づき正判別尤度値を求める正判別尤度値算出部と、
前記性質データの前記信頼性特徴量と当該性質データの前記誤判別信頼性推定器とに基づき誤判別尤度値を求める誤判別尤度値算出部と、
前記正判別尤度値及び前記誤判別尤度値に基づき前記信頼性を求める信頼性算出部と、
を備える、物体認識装置。
【請求項４】
請求項３に記載の物体認識装置であって、
前記情報記憶部は、前記判別器の評価値を記憶し、
前記信頼性算出部は、前記正判別尤度値、前記誤判別尤度値、及び前記評価値に基づき前記信頼性を求める、
物体認識装置。
【請求項５】
請求項４に記載の物体認識装置であって、
前記情報記憶部は、前記判別器の夫々の重みに関する情報である判別器重み情報を記憶し、
前記合成情報生成部は、前記判別情報、前記信頼性、及び前記判別器の重みに基づき生成される合成ベクトル情報を前記合成情報として生成する、
物体認識装置。
【請求項６】
請求項５に記載の物体認識装置であって、
前記物体認識処理部は、前記合成ベクトル情報に基づき推定されるクラスを前記認識結果として生成する、物体認識装置。
【請求項７】
請求項６に記載の物体認識装置であって、
学習用の前記判別用特徴量と前記クラスの対応を学習用情報として記憶する情報記憶部と、
前記学習用の判別用特徴量に基づき前記判別器情報を生成する判別器構築部と、
を備える、物体認識装置。
【請求項８】
請求項６に記載の物体認識装置であって、
前記情報記憶部は、学習用の前記判別用特徴量、学習用の前記信頼性特徴量、及び前記クラスの対応を学習用情報として記憶し、
前記判別情報算出部は、前記学習用の判別用特徴量に基づき学習用の前記判別情報を生成し、
前記学習用の判別情報に基づきクラスを推定し、推定した当該クラスと前記学習用の判別用特徴量に対応づけられているクラスとを比較することにより、前記性質データ毎の正誤評価の結果を含む情報である正誤付き信頼性特徴量を生成する正誤評価部と、
前記正誤付き信頼性特徴量から把握される正誤の割合に基づき前記判別器重み情報を生成する判別器重み情報生成部と、
を備える、物体認識装置。
【請求項９】
請求項８に記載の物体認識装置であって、
前記正誤付き信頼性特徴量に基づき前記正判別信頼性推定器を構築する正判別信頼性推定器構築部、前記正誤付き信頼性特徴量に基づき前記誤判別信頼性推定器を構築する誤判別信頼性推定器構築部、及び前記正誤付き信頼性特徴量に基づき前記評価値を求める評価値算出部を含み、前記正判別信頼性推定器、前記誤判別信頼性推定器、及び前記評価値に基づき、前記信頼性推定器情報を生成する、信頼性推定器構築部、
を備える、物体認識装置。
【請求項１０】
請求項７乃至９のいずれか一項に記載の物体認識装置であって、
前記学習用情報を設定するユーザインタフェースを提供するクラス設定部を備える、
物体認識装置。
【請求項１１】
請求項１乃至８のいずれか一項に記載の物体認識装置であって、
前記対象データは、前記物体を撮影装置により撮影することにより取得されるＲＧＢ（Red Green Blue）形式の画像データであり、
前記異種性質データ生成部は、前記画像データからＲ成分を取り出したデータ、前記画像データからＧ成分を取り出したデータ、及び、前記画像データからＢ成分を取り出したデータ、のうちの少なくとも２つ以上を前記複数の性質データとして生成する、
物体認識装置。
【請求項１２】
請求項１乃至８のいずれか一項に記載の物体認識装置であって、
前記対象データは、Ｘ線撮影装置により前記物体を撮影することにより取得されるＸ線画像データであり、
前記異種性質データ生成部は、
前記Ｘ線画像データにおけるＸ線強度値をスケーリングした値を画素値とするグレースケール画像を第１の前記性質データとして生成し、
前記Ｘ線画像データにおけるＸ線強度値の範囲に応じて前記Ｘ線画像データをＲＧＢ（Red Green Blue）形式の画像データとしたものを第２の前記性質データとして生成し、
前記Ｘ線画像データにおけるＸ線強度値の範囲に応じて前記Ｘ線画像データをＨＳＶ（Hue Saturation Value）形式の画像データとしたものを第３の前記性質データとして生成する、
物体認識装置。
【請求項１３】
請求項６に記載の物体認識装置を備えて構成される物体認識システムであって、
前記物体認識装置と通信可能に接続する学習装置を備え、
前記学習装置は、
学習用の前記判別用特徴量、学習用の前記信頼性特徴量、及び前記クラスの対応を学習用情報として記憶する情報記憶部と、
前記学習用の判別用特徴量に基づき前記判別器情報を生成する判別器構築部と、
前記判別情報算出部が前記学習用の判別用特徴量に基づき生成する前記学習用の判別情報に基づきクラスを推定し、推定した当該クラスと前記学習用の判別用特徴量に対応づけられているクラスとを比較することにより、前記性質データ毎の正誤評価の結果を含む情報である正誤付き信頼性特徴量を生成する正誤評価部と、
前記正誤付き信頼性特徴量から把握される正誤の割合に基づき前記判別器重み情報を生成する判別器重み情報生成部と、
前記正誤付き信頼性特徴量に基づき正判別信頼性推定器を構築する正判別信頼性推定器構築部、前記正誤付き信頼性特徴量に基づき誤判別信頼性推定器を構築する誤判別信頼性推定器構築部、及び、前記正誤付き信頼性特徴量に基づき前記評価値を求める評価値算出部を含み、前記正判別信頼性推定器、前記誤判別信頼性推定器、及び前記評価値に基づき、前記信頼性推定器情報を生成する、信頼性推定器構築部と、
を備える、物体認識システム。
【請求項１４】
物体認識方法であって、
情報処理装置が、
物体について取得されたデータである対象データに基づき、特定の性質を強調したデータである性質データを複数の異なる性質について生成するステップ、
前記性質データの夫々の判別に用いる特徴量である判別用特徴量を前記性質データ毎に抽出するステップ、
前記性質データの夫々について求めた前記判別用特徴量に基づき、前記の性質データの判別に用いる情報である判別情報を前記性質データ毎に求めるステップ、
前記性質データの夫々について求めた前記判別情報の信頼性の推定に用いる特徴量である信頼性特徴量を前記性質データ毎に抽出するステップ、
前記性質データの夫々について求めた前記信頼性特徴量に基づき、前記判別情報の信頼性を前記性質データ毎に推定するステップ、
前記性質データ毎に求めた前記判別情報と、前記性質データ毎に求めた前記信頼性とを合成した情報である合成情報を生成するステップ、及び、
前記合成情報に基づき前記物体の認識に関する処理を行い認識結果を生成するステップ、
を実行する、物体認識方法。
【請求項１５】
請求項１４に記載の物体認識方法であって、
前記情報処理装置が、
前記性質データ毎に用意された判別器を構築するための情報である判別器情報を記憶するステップ、
前記性質データの前記判別情報を、当該性質データの前記判別用特徴量と、当該性質データについて用意された前記判別器とに基づき求めるステップ、
前記性質データ毎に用意される信頼性推定器である、正判別信頼性推定器及び誤判別信頼性推定器を構築するための情報である信頼性推定器情報を記憶するステップ、
前記性質データの前記信頼性特徴量と当該性質データの前記正判別信頼性推定器とに基づき正判別尤度値を求めるステップ、
前記性質データの前記信頼性特徴量と当該性質データの前記誤判別信頼性推定器とに基づき誤判別尤度値を求めるステップ、
前記正判別尤度値及び前記誤判別尤度値に基づき前記信頼性を求めるステップ、
前記判別器の評価値を記憶するステップ、
前記正判別尤度値、前記誤判別尤度値、及び前記評価値に基づき前記信頼性を求めるステップ、
前記判別器の夫々の重みに関する情報である判別器重み情報を記憶するステップ、
前記判別情報、前記信頼性、及び前記判別器の重みに基づき生成される合成ベクトル情報を前記合成情報として生成するステップ、
前記合成ベクトル情報に基づき推定されるクラスを前記認識結果として生成するステップ、
学習用の前記判別用特徴量と前記クラスの対応を学習用情報として記憶するステップ、
前記学習用の判別用特徴量に基づき前記判別器情報を生成するステップ、
学習用の前記判別用特徴量、学習用の前記信頼性特徴量、及び前記クラスの対応を学習用情報として記憶するステップ、
前記学習用の判別用特徴量に基づき学習用の前記判別情報を生成するステップ、
前記学習用の判別情報に基づきクラスを推定し、推定した当該クラスと前記学習用の判別用特徴量に対応づけられているクラスとを比較することにより、前記性質データ毎の正誤評価の結果を含む情報である正誤付き信頼性特徴量を生成するステップ、および、
前記正誤付き信頼性特徴量から把握される正誤の割合に基づき前記判別器重み情報を生成するステップ、
をさらに実行する、物体認識方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
図５は信頼性推定部１１４２の詳細を説明する機能ブロック図である。同図に示すように、信頼性推定部１１４２は、正判別尤度値算出部６１１、誤判別尤度値算出部６１２、及び信頼性算出部６２０の各機能を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
正判別尤度値算出部６１１は、信頼性特徴量抽出部１１３２から入力される信頼性特徴量と、信頼性推定器情報１５２から取得される正判別信頼性推定器（正判別尤度値マップ）とに基づき尤度（以下、正判別尤度値と称する。）を求め、求めた正判別尤度値を信頼性算出部６２０に入力する。正判別尤度値の詳細については後述する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
信頼性算出部６２０は、信頼性推定器情報１５２から取得される判別器の評価値と、正判別尤度値算出部６１１から入力される正判別尤度値と、誤判別尤度値算出部６１２から入力される誤判別尤度値とに基づき、同じ性質データについて設けられた判別情報算出部１１４１が出力する判別情報の信頼性を求める。尚、信頼性推定器情報１５２の評価値は、例えば、ユーザが予め設定してもよいし、過去に行った判別の結果等の情報を用いた機械学習等の方法により自動的に生成してもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
図６は、正判別尤度値算出部６１１が、信頼性特徴量抽出部１１３２から入力される信頼性特徴量に基づき正判別尤度値を算出する際に行う処理の一例を概念的に示した図である。同図に示すように、正判別尤度値算出部６１１は、正判別尤度値マップ７１１を記憶している。正判別尤度値マップ７１１は、信頼性特徴量に対応する尤度を２次元空間の各座標に対応づけた情報を含む。正判別尤度値算出部６１１は、信頼性特徴量に対応する座標に設定されている正判別尤度値を出力する。尚、正判別尤度値マップ７１１は、性質データの判別が正解しやすい領域ほど高い尤度値となるように設定されている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
図５に戻り、信頼性算出部６２０は、正判別尤度値算出部６１１が出力した正判別尤度値を、正判別尤度値算出部６１１から出力される正判別尤度値と誤判別尤度値算出部から出力される誤判別尤度値の加算値で除算した値に、信頼性推定器情報１５２から取得した評価値を乗算した値を信頼性として合成情報生成部１１８に入力する。例えば、信頼性算出部６２０は、前述した信頼性ｒｎを次式から求める。尚、ｎは性質の種類を表す。
2018180879.tif 000001
上式において、Ｃｎは信頼性特徴量抽出部１１３２から渡される信頼性特徴量である。またｐ（Ｃｎ｜Ｏｎ＝１）は、正判別尤度値算出部６１１によって求められる正判別尤度値であり、ｐ（Ｃｎ｜Ｏｎ＝−１）は、誤判別尤度算出部６１２によって求められる誤判別尤度値である。またｐ（Ｏｎ＝１）は、信頼性推定器情報１５２から取得される、判別器の評価値（正解を出力する信頼性の事前確率）であり、ｐ（Ｏｎ＝−１）は、信頼性推定器情報１５２から取得される、判別器の評価値（不正解を出力する信頼性の事前確率）である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
物体認識装置１００は、Ｘ線撮影装置６０、撮影画像記憶装置６１、及び学習装置３００と第１通信ネットワーク５ａを介して通信可能に接続している。また物体認識装置１００は、物体認識装置設定端末２００と第２通信ネットワーク５ｂを介して通信可能に接続している。また物体認識装置１００は、画像検査装置５００と第３通信ネットワーク５ｃを介して通信可能に接続している。学習装置３００は、学習装置設定端末４００と第４通信ネットワーク５ｄを介して通信可能に接続している。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
第１乃至第４通信ネットワーク５ａ〜５ｄは、例えば、有線方式又は無線方式の通信ネットワークであり、例えば、ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＵＳＢ(Universal Serial Bus)、シリアル通信、パラレル通信等の所定の通信方式を用いて実現される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
Ｘ線撮影装置６０や撮影画像記憶装置６１は、第１通信ネットワーク５ａを介して、物体認識装置１００や学習装置３００に対象データ（画像データや映像データ）を提供する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
物体認識装置１００は、第１乃至第３実施形態のうちの少なくともいずれかの物体認識装置１００と同等の構成を備える。物体認識処理部１１９による認識結果は第３通信ネットワーク５ｃを介して画像検査装置５００に提供される。尚、同図は省略した記載になっているため特徴量抽出部１１３と判別部１１４の組み合わせを一つしか記載していないが、第４実施形態の物体認識装置１００においても特徴量抽出部１１３と判別部１１４の組み合わせを複数備える。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
生成画像記憶部３１１は、異種性質データ生成部１１２によって生成された性質データを記憶する。学習済情報記憶部３１２は、学習部１６１が生成した判別器情報１５１、信頼性推定器情報１５２、及び判別器重み情報１５３を記憶する。学習済情報記憶部３１２が記憶するこれらの情報は、第１通信ネットワーク５ａを介して物体認識装置１００に随時提供され、物体認識装置１００は、提供された情報を自身の判別器情報１５１、信頼性推定器情報１５２、及び判別器重み情報１５３として利用する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
性質データ毎の画像表示領域２０１１には、対象データ（物体ＳのＸ線撮影画像データ（Ｘ線エネルギーデータ）に基づき異種性質データ生成部１１２が生成した複数の性質データの夫々に基づく画像（イメージ）が表示される。本例では、性質Ａデータ、性質Ｂデータ、及び性質Ｃデータの夫々に基づく画像が表示されている。ユーザはこの画像表示領域２０１１の内容から性質データのイメージを把握することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
性質データ毎の信頼性の表示領域２０１２には、各性質データについて判別部１１４の信頼性推定部１１４２が推定した信頼性が表示される。信頼性が最も高い性質データについては、性質データ毎の画像表示領域２０１１において画像が強調表示（本例では太線枠付き表示）される。本例では、信頼性が最も高い性質Ｂデータ（信頼性＝０．８４４２）の画像が強調表示されている。ユーザはこの表示領域２０１２の内容から各性質データに基づく判定情報の信頼性を把握することができる。
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2018180879.tif 000002