(57)【要約】【課題】正解データの誤り部分を画素単位で推定するための技術を提供する。【解決手段】情報処理装置であって、画像から検知対象物の少なくとも一部を検知するための正解データと、画像から検知対象物の少なくとも一部として検知された検知データとを格納する格納部と、正解データと検知データとが一致する領域から所定の範囲に存在する、正解データと検知データとの不一致データを抽出し、当該不一致データを評価対象データとして判定する対象判定部と、評価対象データの性質情報を調査する調査部と、性質情報に基づいて、評価対象データが正解データの誤り候補データであるかを判定する誤り判定部とを備える。【選択図】  図６
2019046094.tif 000002
【特許請求の範囲】
【請求項１】
画像から検知対象物の少なくとも一部を検知するための正解データと、画像から前記検知対象物の少なくとも一部として検知された検知データとを格納する格納手段と、
前記正解データと前記検知データとが一致する領域から所定の範囲に存在する、前記正解データと前記検知データとの不一致データを抽出し、当該不一致データを評価対象データとして判定する対象判定手段と、
前記評価対象データの性質情報を調査する調査手段と、
前記性質情報に基づいて、前記評価対象データが前記正解データの誤り候補データであるかを判定する誤り判定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記不一致データは、前記検知データの中から抽出された過検知データであることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記不一致データは、前記正解データの中から抽出された過入力データであることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記所定の範囲とは、前記正解データと前記検知データとが一致する領域の位置と、前記不一致データの位置とが隣接していることを含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記所定の範囲とは、前記正解データと前記検知データとが一致する領域の位置から前記不一致データの位置までの距離が所定距離の範囲であることを含むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記調査手段は、前記正解データと前記検知データとが一致する領域の位置に対する、前記評価対象データの性質情報を調査することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記調査手段は、前記評価対象データ自体の性質情報を調査することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項８】
前記性質情報は、前記評価対象データの領域の直線性、角度、円形度、長さ、及びループ回数のうち少なくとも１つの形状情報を含むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記性質情報は、前記評価対象データの領域の色情報、明るさ情報及びテクスチャ情報のうち少なくとも１つを含むことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記誤り候補データを含む表示画像を、ユーザに確認させるための画像として作成する作成手段をさらに備えることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記作成手段は、前記誤り候補データの確認を促す理由を示すための文字及び画像の少なくとも一方の表示、又は、前記評価対象データが誤り候補データであると判定される範囲の表示を、前記表示画像に追加することを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記作成手段により作成された前記表示画像を確認したユーザからのフィードバックを受け付けるユーザ確認手段をさらに備えることを特徴とする請求項１０又は１１に記載の情報処理装置。
【請求項１３】
前記ユーザ確認手段は、前記ユーザにより前記表示画像上で選択された誤り候補データを、前記フィードバックとして受け付けて修正データとして確定することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記ユーザ確認手段は、前記ユーザから正解データの再入力を前記フィードバックとして受け付けて修正データとして確定することを特徴とする請求項１２に記載の情報処理装置。
【請求項１５】
前記修正データを前記正解データに反映し、前記正解データを更新する更新手段をさらに備えることを特徴とする請求項１３又は１４に記載の情報処理装置。
【請求項１６】
前記更新手段は、前記修正データを前記正解データに重畳または連結することにより前記正解データを更新することを特徴とする請求項１５に記載の情報処理装置。
【請求項１７】
過去にユーザに対して提示した誤り候補データの性質情報と、前記ユーザ確認手段を介して前記ユーザが当該誤り候補データを誤り部分として採用したかどうかを記録した採用可否情報とを、過去データとして格納する蓄積情報格納手段をさらに備えることを特徴とする請求項１２乃至１６の何れか１項に記載の情報処理装置。
【請求項１８】
前記作成手段は、前記誤り候補データの確認を促すために、前記蓄積情報格納手段から前記誤り候補データと類似する過去データを取得して、前記表示画像と同じ画面上に表示させることを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
前記蓄積情報格納手段に格納された前記過去データを用いて、前記評価対象データが前記正解データの誤り候補データであるかを判定するための基準を決定する基準決定手段をさらに備えることを特徴とする請求項１７又は１８に記載の情報処理装置。
【請求項２０】
各性質情報の利用の有無の設定情報と、前記評価対象データが前記誤り候補データであるかを判定するための各性質情報の基準値の設定情報とを、ユーザ設定情報として、前記ユーザ確認手段を介して受け付けて格納する蓄積情報格納手段をさらに備えることを特徴とする請求項１２乃至１６の何れか１項に記載の情報処理装置。
【請求項２１】
前記蓄積情報格納手段に格納された前記ユーザ設定情報を用いて、前記評価対象データが前記正解データの誤り候補データであるかを判定するための基準を決定する基準決定手段をさらに備えることを特徴とする請求項２０に記載の情報処理装置。
【請求項２２】
前記誤り判定手段は、前記基準決定手段により決定された基準に基づいて、前記評価対象データが誤り候補データであるかを判定することを特徴とする請求項１９又は２１に記載の情報処理装置。
【請求項２３】
前記誤り候補データを格納する結果格納手段をさらに備えることを特徴とする請求項１乃至２２の何れか１項に記載の情報処理装置。
【請求項２４】
前記結果格納手段に格納された情報を使用して学習を行う学習手段をさらに備えることを特徴とする請求項２３に記載の情報処理装置。
【請求項２５】
画像から検知対象物の少なくとも一部を検知するための正解データと、画像から前記検知対象物の少なくとも一部として検知された検知データとを格納する格納手段を備える情報処理装置の制御方法であって、
前記正解データと前記検知データとが一致する領域から所定の範囲に存在する、前記正解データと前記検知データとの不一致データを抽出し、当該不一致データを評価対象データとして判定する工程と、
前記評価対象データの性質情報を調査する工程と、
前記性質情報に基づいて、前記評価対象データが前記正解データの誤り候補データであるかを判定する工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項２６】
コンピュータに、請求項２５に記載の情報処理装置の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関し、特に、機械学習に用いる正解データの修正を行う技術に関する。
【背景技術】
【０００２】
機械学習の分野では、画像内の検知対象の検知の自動化を目的とし、画像内の領域を特定のクラスとして認識するための研究が多く行われている。機械学習では、画像上の認識したいクラスの領域に対して人手でラベル付けをした大量のデータを正解データとして用い、画像上の特定のクラスの領域を認識するためのモデルを構築する。ただし、正確な正解データを人の目視を介して人手で入力或いは設定をするのは難しい。膨大なデータに正解データのラベル付け作業を行うと、誤りが発生しやすいためである。
【０００３】
正解データの誤りには未入力と誤入力がある。未入力部分があると、本来は検知対象がある画像領域を非検知対象領域として誤って学習し、反対に誤入力部分があると、非検知対象領域を検知対象領域として誤って学習してしまう。このような誤った学習はモデルの検知精度を低下させることから、正解データの正確性が重要である。
【０００４】
これに対して、学習途中のモデルを画像に適用し、検知データと正解データとが一致しない場合、ユーザに正解データを確認させる方法がある。ただし、不一致のデータを全て確認するのはユーザにとって負担となる。特許文献１は、検知データと正解データとが一致しない場合、ユーザに確認させるべきデータを、確信度という指標に基づき選定する方法を開示している。ユーザに見せる画像を選定している点で、ユーザへの負担は比較的小さくなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１２９９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術は、１つの検出対象物全体に対して１つのラベルが付けられている場合の例に過ぎず、１つの検出対象物に対して部分ごとにラベル付けを行う場合には正解データの誤りを推定することができないという課題がある。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、正解データの誤り部分を検出対象物の部分ごとに推定するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成する本発明に係る情報処理装置は、
画像から検知対象物の少なくとも一部を検知するための正解データと、画像から前記検知対象物の少なくとも一部として検知された検知データとを格納する格納手段と、
前記正解データと前記検知データとが一致する領域から所定の範囲に存在する、前記正解データと前記検知データとの不一致データを抽出し、当該不一致データを評価対象データとして判定する対象判定手段と、
前記評価対象データの性質情報を調査する調査手段と、
前記性質情報に基づいて、前記評価対象データが前記正解データの誤り候補データであるかを判定する誤り判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、正解データの誤り部分を検出対象物の部分ごとに推定することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に係る情報処理システム及び情報処理装置の構成を示す図である。
【図２】実施形態１乃至３に係る正解画像及び検知画像を示す図である。
【図３】紐付け情報、過去データのデータ形式を説明する図である。
【図４】実施形態１に係る、性質情報を用いて正解データの未入力部分を推定する処理を説明する図である。
【図５】ハードネガティブ学習の全体処理の手順を示すフローチャートである。
【図６】実施形態１に係る情報処理装置が実施する処理の手順を示すフローチャートである。
【図７】実施形態２に係る情報処理システム及び情報処理装置の構成を示す図である。
【図８】実施形態２に係る表示画面の一例である。
【図９】実施形態２に係る情報処理装置が実施する処理の手順を示すフローチャートである。
【図１０】実施形態３に係る情報処理システム及び情報処理装置の構成を示す図である。
【図１１】実施形態３の表示画面の一例である。
【図１２】実施形態３に係る情報処理装置が実施する処理の手順を示すフローチャートである。
【図１３】実施形態４に係る正解画像及び検知画像を示す図である。
【図１４】実施形態５に係る正解データセット及び検知データセットを示す図である。
【図１５】実施形態６に係る正解画像及び検知画像を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
（実施形態１）
実施形態１では、ハードネガティブ学習に本発明の情報処理装置を適用する例を説明する。ハードネガティブ学習とは、学習途中のモデルを画像に適用し、誤って検知したデータを含む画像を収集して、集中的に学習する方法である。この繰り返し学習に本発明を適用することにより、誤りのない正確な学習データセットを収集して再学習データとして使用する。
【００１３】
本実施形態では、画像内の特定の検知対象を検知するケースの例として、コンクリート壁面画像上のひび割れを検知対象とし、正解データの誤りのうち未入力部分を推定する方法を説明する。
【００１４】
＜概要＞
本実施形態では、推定対象を未入力部分とすることから、未入力の発生傾向及び未入力部分の推定について説明する。はじめに、未入力の発生傾向について説明する。未入力は、大量のデータに正解データを入力するとき、入力した部分の周辺で発生する傾向がある。未入力が発生する原因として、画像内の主要な入力対象に意識を取られ、周辺の入力対象を見過ごすことが挙げられる。このため、正解データの周辺で入力対象らしいという情報を持つ部分があれば、正解データと紐付けて正解データを拡張、変更することで、未入力部分を推定できる可能性がある。
【００１５】
本実施形態では、入力対象らしさの情報として画像に検知処理を施して得られる検知データを利用し、正解データの誤り部分を推定する。確かに、正解データと検知データとは、いずれも誤りを含むため、完全に信頼することはできない。しかし、正解データのラベルがあり、かつ検知できている箇所は、そうでない箇所に比べ、正解データとして信頼性が高いと考えられる。このため、正解データと検知データとの位置が一致する箇所を、信頼性が高い箇所と定義する。
【００１６】
反対に、一致しない箇所には、過検知データと過入力データとの２種類あり、これらをまとめて不一致データと定義する。過検知データとは、検知データのうち、正解データと位置が一致していない検知データであり、過入力データは検知データと位置が一致していない正解データである。本実施形態では、未入力の推定のため、不一致データのうち過検知データに着目する。そして、信頼性の高い箇所周辺の位置に過検知データがあれば、その過検知データは正解データが入力されていない部分である可能性があると推定する。当然ではあるが、過検知データには、本当は正解データである部分のみならず、誤検知部分も含まれているため、本当は正解データの可能性がある部分を推定する必要がある。
【００１７】
本発明に係る処理では、信頼性の高い箇所周辺の過検知データに着目し、その形状情報や元画像上における色情報などの性質情報に基づき、着目するデータが未入力部分であるかどうかを推定する。
【００１８】
以上のように、本実施形態では正解データとして信頼性の高い箇所の周辺の過検知データについて、性質情報に基づいて画像内の正解データの未入力部分であるかを推定する。
【００１９】
＜システム構成＞
続いて、図１を参照して、ハードネガティブ学習におけるシステムを構成する情報処理装置１００及び関連する構成要素について説明する。情報処理装置１００及び関連する構成要素は、ネットワークまたは各種情報記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することで実現できる。なお、計算機については、汎用の計算機を用いてもよいし、本発明のソフトウェアに最適に設計されたハードウェアを用いてもよい。
【００２０】
まず、ハードネガティブ学習を実施するための全体構成を説明する。ハードネガティブ学習のための構成要素は、情報処理装置１００、学習データ格納部１７０、学習部１８０、検知部１９０、再学習データ収集部１６０を含む。学習データ格納部１７０には、正解データと元画像とを学習用データとして格納しておく。学習部１８０は、正解データと元画像とを用いて検知モデルの学習を行う。検知部１９０は、元画像に検知モデルを適用して検知データを取得する。情報処理装置１００は、検知部１９０で取得された検知データと、学習データ格納部１７０に格納されている正解データとを取得し、正解データの誤り部分を推定し、その推定結果として誤り候補データの情報を格納する。
【００２１】
誤り候補データは、推定対象が未入力の場合は未入力の可能性がある部分、推定対象が誤入力の場合は誤入力の可能性がある部分が、連続領域ごとにグループ化された、画素単位のデータである。
【００２２】
再学習データ収集部１６０は、誤り候補データを含まない学習データは、正解データが正確である可能性が高いため、再学習データとして収集する。再学習データは学習部１８０へ出力されて再学習に使用される。
【００２３】
＜情報処理装置の構成＞
次に、本実施形態に係る情報処理装置１００の構成を説明する。情報処理装置１００は、正解・検知データ格納部１１０、評価対象データ判定部１２０、性質調査部１３０、誤り候補データ判定部１４０、及び結果格納部１５０を備えている。各処理部の動作は、不図示のＣＰＵが不図示のメモリからプログラムを読み出して実行することにより制御される。
【００２４】
[正解・検知データ格納部１１０]
正解・検知データ格納部１１０は、正解データと検知データとをセットで格納する。ここで、扱う画像およびデータについて説明する。まず、本実施形態で扱う検知対象物について説明する。検知対象物には、ひび割れのような線状要素、静止物体、移動物体を含むものとする。検知対象物の検知処理を施す前の画像を、元画像と称する。元画像は、検知処理を施す前の状態であれば、ＲＧＢ画像、グレースケール画像、または、これらの画像に対してノイズ除去を行った画像であってもよい。
【００２５】
続いて、図２を参照しながら、正解データと検知データを説明する。図２の画像２００、２１０では正解画像に正解データが載っており、画像２２０、２３０では検知画像に検知データが載っている。
【００２６】
正解画像は、背景に０の値が格納されている画像で、元画像の検知対象位置に相当する画素に、ラベルとして背景と異なる値、例えば１を格納した画像である。正解画像は、ラベル入力者がラベルを付与した画像とするが、人が目視で確認した検知画像であってもよい。画像２００はひび割れ位置を正確に示した理想の正解画像の例であり、画像２１０は実際にラベル入力者がラベル付けをした正解画像の例である。正解画像２１０上の正解データ２１１は、理想の正解画像２００の正解データ２０１と比較すると、ラベル入力者の入力ミスにより長さが不足している状態を表している。
【００２７】
なお、正解画像上でラベルの画素が連続したラインや領域を１つの正解データと定義する。正解データがライン状で分岐している場合は、分岐点で分解した成分をそれぞれ１つの正解データとしてもよい。
【００２８】
検知画像は、画像に対して検知対象を検知する処理を施して得られる結果であり、検知対象らしさを表すスコアや確率を画素ごとに持つ画像、または、これらに閾値処理を適用して得られる２値画像である。検知画像上で、検知対象物が検知された画素の連続領域を１つの検知データと定義する。例えば、画像２２０では、検知データは領域２２１、２２２である。
【００２９】
[評価対象データ判定部１２０]
評価対象データ判定部１２０は、検知・正解データ格納部１１０からデータを取得し、正解データと検知データとの不一致データを抽出して、不一致データの中から評価対象データを判定する（対象判定）。評価対象データは、不一致データが正解データの誤り部分かを推定する対象のデータとする。例えば、評価対象データ判定部１２０は、検知データの中から不一致データとして過検知データを抽出し、過検知データの中から評価対象データを判定する。
【００３０】
まず、検知データから過検知データを抽出する処理について説明する。過検知データの抽出方法として、正解データの領域を膨張させた正解画像を作成し、検知画像から差し引いたとき、残った領域を過検知データとする。具体的には、検知画像２２０から、実際の正解画像２１０の正解データ２１１の領域を膨張させた画像を差し引くことで、検知データ２２２の他、検知画像２３０の２点鎖線で囲われた領域２３１、２３２が残ることになる。本実施形態では、これらの成分をそれぞれ１つの過検知データとして扱う。
【００３１】
各正解データ、各過検知データには異なるＩＤが付与されているものとする。なお、本実施形態では、画像データとして正解データと検知データを保持する実施形態について説明しているが、各データの保有方法はこれに限らず、正解データや検知データを座標値の集合で表すベクタ形式など、他の方法で保持するようにしてもよい。
【００３２】
次に、過検知データの中から評価対象データを判定する処理について説明する。過検知データのうち、正解データと検知データとの位置が一致している、正解データとして信頼性の高い箇所から所定の範囲に存在するデータを、評価対象データとして判定し、正解データの誤り部分かを推定する対象のデータとして使用する。ここで、一致した箇所とは、検知データ上に正解データが存在する箇所のこととする。反対に、正解データから所定の範囲内に存在しない過検知データは、評価対象データとして判定せず、誤り部分かを推定する対象のデータからは除外する。
【００３３】
ここで、所定の範囲は、画素数や長さ、面積の大きさなどのパラメータを用いて定める。パラメータは、予め人手により事例ベースでデータベース化しておき、そのデータベースを用いて定めてもよい。また、検知対象物の特性に合わせて定義してよい。本実施形態では、ひび割れの延長上や分岐位置における正解データの未入力部分を発見するために、正解データとして信頼性の高い箇所と隣接した位置にある過検知データを、評価対象データとして判定する。
【００３４】
隣接しているかどうかは、着目している過検知データの周囲の画素位置に信頼性の高い箇所が存在するかどうかによって判定する。例えば、検知画像２３０では、過検知データ２３１、２３２は信頼性の高い箇所２１１と隣接位置にあるため、評価対象データとして判定する。一方、過検知データ２２２は、正解画像２１０上の隣接位置に信頼性の高い箇所が存在しないため、評価対象データとして判定しない。
【００３５】
なお、過検知データの中から評価対象データを判定する上で、必須ではないが、各評価対象データが、信頼性の高いどの箇所から所定の範囲内にあるのかを記録しておくと、後の性質調査部１３０の処理で扱いやすい。両者が所定の範囲（例えば、所定距離の範囲、所定面積の範囲）内に存在することを紐付いていると表現するものとする。紐付け情報の記録方法としては、正解データとして信頼性の高い箇所と評価対象データのＩＤとを表形式で記録する方法がある。例えば、過検知データが正解データと紐付けられた場合、図３（ａ）に示す形式で、１列目には評価対象データのＩＤを格納し、２列目に信頼性の高い箇所のＩＤを格納する。この情報を紐付け情報と称する。
【００３６】
[性質調査部１３０、誤り候補データ判定部１４０、結果格納部１５０]
性質調査部１３０は、評価対象データ判定部１２０により判定された評価対象データの形状情報や元画像上における該当位置の色情報など、各評価対象データの情報を数値的に表現した性質情報を調査する。誤り候補データ判定部１４０は、性質調査部１３０により調査された性質情報に基づいて、ルールベースまたは機械学習による方法で、各評価対象データの中から、正解データの誤っている部分として、誤り候補データを判定する。
【００３７】
性質情報には、正解データとして信頼性の高い箇所に対する評価対象データの性質情報と、評価対象データ自体の性質情報とがある。１つ目の性質情報を調べる際には、評価対象データと紐付いている信頼性の高い箇所のＩＤを使用するので、評価対象データ判定部１２０により紐付け情報を記録しておく必要がある。
【００３８】
図４（ａ）〜図４（ｃ）に示す事例では、性質情報として評価対象データの形状情報を調べ、検知対象としてあり得ない形状をルールベースで判定することにより、それ以外の形状の評価対象データを誤り候補データとして判定する。画像４２０、４４０、４６０は検知画像であり、画像４１０、４３０、４５０は各検知画像の正解画像である。各検知画像において２点鎖線で囲われている領域４２１、４２２、４４１、４４２、４６１、４６２、４６３は評価対象データである。
【００３９】
まず、図４（ａ）を用いて、信頼性の高い箇所に対する評価対象データの形状情報に基づき誤り候補データを判定する例を説明する。ここでは、形状情報として信頼性の高い箇所に対する評価対象データの角度の一致度合い、領域の長さや広さなどの情報を調べる。調べ方としては、例えば、信頼性の高い箇所及び評価対象データの、それぞれの端点から端点までのベクトルを調べ、その長さや角度を比較する方法がある。
【００４０】
図４（ａ）の検知画像４２０の評価対象データ４２１は、信頼性の高い箇所４１１と紐付いているものの、角度が大きく異なる。ひび割れは、評価対象データ４２１のように、急に向きが変化するような形状になることは想定し難い。したがって、評価対象データ４２１は、正解データの未入力部分ではなく、単なる誤検知であり、正解データの誤りではないと推定されるため、過検知データである評価対象データ４２１は誤り候補データでないと判定する。
【００４１】
評価対象データ４２２は、信頼性の高い箇所４１２と紐付いているものの、正解データに対して評価対象データが極端に長くなっている。評価対象データが長すぎる場合、ユーザが全て入力し忘れたとは考えにくいことから、誤り候補データでないと判定する。
【００４２】
次に、図４（ｂ）を用いて、評価対象データ自体の形状情報に基づき誤り候補データを判定する例を説明する。この形状情報には、評価対象データ自体の形状情報の例として、評価対象データの領域の直線性、角度、円形度、長さ、ループ回数などの少なくとも一部が含まれる。図４（ｂ）の検知画像４４０の評価対象データ４４１は、ループを描き丸い形状をしていることから、ひび割れとして想定し難い形状であり、壁面上の丸い穴を誤検知したデータである可能性がある。評価対象データ４４２は、直線的でかつ水平方向を向いていることから、壁面上の人工的な割れ目を誤検知したデータである可能性がある。したがって、これらの領域は、ひび割れの形状として不自然であり、誤り候補データではないと判定できる。
【００４３】
以上、誤り候補データではないと判定する複数のルールを評価対象データに適用する処理について説明したが、反対に、誤り候補データではないと判定する条件にあてはまらない評価対象データは、誤り候補データであると判定する。図４（ｃ）の検知画像４６０の評価対象データ４６１、４６２、４６３は、いずれも上記に挙げた条件に当てはまらないことから、誤り候補データとして判定する。
【００４４】
なお、図４（ａ）及び図４（ｂ）の例では、正解データとして信頼性の高い箇所に対する評価対象データの形状情報と、評価対象データ自体の形状情報とを別々に利用しているが、両方を利用しても構わない。
【００４５】
誤り候補データ判定部１４０により判定された各誤り候補データの位置情報は、結果格納部１５０に出力される。結果格納部１５０は、誤り候補データ判定部１４０により判定された誤り候補データの情報を格納する。誤り候補データを含む画像は、正解データに誤りがある可能性のあるデータである。本実施形態では、誤り候補データを含む画像を学習データから除外することで、未入力部分が少ない正解データを用いて再学習を行うことができる。
【００４６】
以上の処理により、検知データと正解データを用いて、正解データの誤り部分を推定できるようになる。さらに、複数回ループすることで良いモデルの学習と、より正確な誤り部分の推定とが可能となる。
【００４７】
＜処理＞
次に、図５のフローチャートを参照して、ハードネガティブ学習の処理の全体の手順を説明する。図５のステップＳ５０１において、学習部１８０は、正解データと元画像とを用いて、検知処理のための検知モデルの学習を行う。ステップＳ５０２において、検知部１９０は、元画像に検知モデルを適用して検知データを取得する。ステップＳ５０３において、情報処理装置１００は、正解データと検知データとを用いて正解データの誤り部分を推定する。
【００４８】
ステップＳ５０４において、再学習データ収集部１６０は、誤り部分の推定結果に基づいて、誤り候補データを含まない学習データを選定し、再学習データとする。ステップＳ５０５において、再学習データ収集部１６０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ５０１に戻り、再学習データを用いた学習を行う。処理を終了する場合は、誤り候補データが無くなった場合や、ユーザから終了操作を受け付けた場合などである。以上で図５の一連の処理が終了する。
【００４９】
続いて、図６のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。図６の処理は、１枚の画像を対象とした場合の処理である。ステップＳ６０１において、評価対象データ判定部１２０は、検知・正解データ格納部１１０から正解データと検知データとを読み込む。ステップＳ６０２において、評価対象データ判定部１２０は、正解データと検知データの差分から不一致データとしての過検知データを抽出する。ステップＳ６０３において、評価対象データ判定部１２０は、正解データとして信頼性の高い箇所から所定の範囲内に過検知データがある場合は、その過検知データを評価対象データとして判定する。
【００５０】
ステップＳ６０４において、評価対象データ判定部１２０は、判定した評価対象データの中から１つの評価対象データを選択する。ステップＳ６０５において、性質調査部１３０は、選択された評価対象データの性質情報を調査する。性質情報は、評価対象データの形状情報や、元画像上における該当位置の色情報などである。
【００５１】
ステップＳ６０６において、誤り候補データ判定部１４０は、性質情報に基づいて、評価対象データが誤り候補データであるかどうか判定する。ステップＳ６０７において、結果格納部１５０は、誤り候補データ判定部１４０により判定された誤り候補データの情報を格納する。ステップＳ６０８において、誤り候補データ判定部１４０は、画像内の全ての評価対象データに対して処理を終えたか否かを判定する。全ての評価対象データに対して処理を完了した場合、一連の処理を終了する。一方、全ての評価対象データに対して処理を完了していない場合、ステップＳ６０４に戻って処理を継続する。
【００５２】
以上で図６の一連の処理が終了する。なお、図６の例では、１枚の画像を対象として説明を行ったが、複数の画像を対象としてもよい。その場合、ステップＳ６０８の判定処理は、複数の画像に対してまとめて実施してもよい。
【００５３】
以上説明したように、本実施形態によれば、検知データと正解データとを用いて、正解データの誤り部分を画素単位で推定することができる。
【００５４】
（実施形態２）
実施形態１では、画像内の未入力部分を推定して、学習を阻害する可能性のあるデータを除去して学習する実施形態について説明した。これに対して、実施形態２では、ユーザインタフェースを用いて、正解データが誤っている可能性のある領域として、誤り候補データをユーザに提示し、確認および修正の作業をさせる例を説明する。このようにすることで、正解データを正しく修正し、より正確な正解データを用いて学習を行うことができるようになる。実施形態２では、検知対象は構造物壁面上のひび割れとし、正解データの誤りとして未入力を推定する。修正により、例えば、図２の実際の正解画像２１０の正解データ２１１を理想の正解画像２００の正解データ２０１に近づけることを想定している。
【００５５】
＜システム構成及び装置構成＞
続いて、図７を参照して、本実施形態に係るシステムを構成する情報処理装置７００及び関連する構成要素について説明する。本実施形態に係るシステムは、情報処理装置７００、学習データ格納部１７０、学習部１８０、検知部１９０を含む。
【００５６】
情報処理装置７００は、実施形態１で説明した情報処理装置１００の構成要素に加えて、表示画像作成部７１０、ユーザ確認部７２０、正解データ更新部７３０を備える。実施形態１との違いは、ユーザインタフェースを用いてユーザに確認、修正を促す点である。
【００５７】
[表示画像作成部７１０]
表示画像作成部７１０は、結果格納部１５０から出力された誤り候補データの情報を取得し、ユーザに確認させるための表示画面用の表示画像を作成する。表示画面には、元画像に対して正解データ及び誤り候補データを重畳した表示画像を表示する。検知データのうち誤り候補データのみを表示することにより、ユーザは確認すべき部分を画素単位で確認できる。さらに、誤り候補データに透過色や正解データと異なる色を用いたり、キーボードのキーを打つタイミングで評価対象データの表示又は非表示を切り替える機能を追加したりすることにより、視認性を向上させてもよい。
【００５８】
ここで、表示画面の具体例を図８のウィンドウ８１０に示す。表示画面に表示される表示画像は、元画像に対して正解データ２１１及び誤り候補データ２３２を重畳した画像である。これらのデータは図２の同番号のデータと同一のものとする。ウィンドウ８１０では、誤り候補データ２３２をそのまま重畳しているが、細線化やベクタ化などの加工を施してから重畳してもよい。また、吹き出し８１２に示すように、誤り候補データ２３２の長さなどの性質情報を付加してもよい。
【００５９】
表示画面には、誤り候補データ２３２を画素単位で示すだけでなく、ユーザに確認を促している理由を表示することもできる。理由の表示方法の１つに、文字や画像で根拠を提示する方法がある。例えば、ウィンドウ８２０の吹き出し８２１、８２２に示すように、正解データ２１１と誤り候補データ２３２との、それぞれの端点から端点までの角度を表示する。また、他の表示方法として、正解データの性質情報から、過検知データが未入力部分と推定される範囲を提示する方法がある。ウィンドウ８３０における破線８３１、８３２に挟まれた領域は、評価対象データが誤り候補データと判定される領域である。
【００６０】
[ユーザ確認部７２０]
ユーザ確認部７２０は、表示画面作成部７１０により作成された表示画像をユーザに対して提示し、確認および修正の作業を受け付ける。ユーザは、確認画面を見て誤り候補データを未入力部分として採用するか否かを判定し、正解データを修正する。
【００６１】
ユーザが修正を加える方法は以下の２通りである。１つは、画面上で誤り候補データの領域を選択する方法である。例えば、ウィンドウ８１０の表示画像上で誤り候補データ２３２をマウスポインタ８１１で選択することで、ユーザは誤り候補データの採用を確定させる。もう１つは、誤り候補データを参考に、ユーザに正解ラベルの線を引き直させる（正解データを再入力させる）方法である。例えば、ウィンドウ８４０の領域８５０に示すように、ユーザは、評価対象データ２３２を参考に、マウスポインタ８１１を動かして白で示すライン８５１を引き直す。このようにしてユーザが選択した領域や引き直したラインを、以降、修正データと称する。
【００６２】
[正解データ更新部７３０]
正解データ更新部７３０は、ユーザからの修正のフィードバックを受けて、修正データを正解データに反映し、正解データを更新する。具体的には、修正データを正解データと連結することにより正解データの更新を行う。正解データと修正データが線状であるか、または、領域を持つかによって、異なる処理を実行する。
【００６３】
正解データと修正データとが共に線状の場合、正解データと修正データとの端点のうち、近いデータを選択して連結し、正解データとして更新する。正解データと修正データとが共に領域を持つデータの場合は、正解画像に修正データを重畳する処理を行う。
【００６４】
なお、正解データが線状で、修正データが領域を持つ場合には、修正データを正解データに合わせて線状にする処理が必要となる。例えば、ウィンドウ８１０の正解データ２１１と修正データ２３２とから、正解データ２１１を図２の理想の正解画像２００の正解データ２０１を作成する。その際、修正データ２３２を細線化してから、正解データ２１１の近い方の端点と連結する。
【００６５】
以上の手順により、誤り候補データをユーザに提示し、確認および修正の作業を行わせ、ユーザのフィードバックを受けて正解データを更新する。未入力部分を正しく修正することで、学習による検知モデルの精度を向上させることが可能となる。
【００６６】
なお、本実施形態は、ユーザに各正解データを一度または繰り返し修正させるフレームワークにおいて使用できる。繰り返し修正するフレームワークでは、学習中の検知モデルで取得する検知データを用いて正解データを修正する処理を繰り返す。このような処理により、未入力と推定される部分を、より正確な領域で提示する情報処理装置の実現が可能となる。
【００６７】
また、本実施形態は、ユーザによる正解データの付与の際に使用できる。正解データの付与時に使用する場合、検知対象物の検知のために検知モデルを事前に用意しておく必要がある。正解データの入力中の元画像に検知モデルを適用して検知データを取得し、正解データとセットとし、リアルタイムでユーザに未入力部分を知らせることができるようになる。
【００６８】
＜処理＞
全体の処理の流れは、実施形態１において図５を参照して説明した通りである。続いて、図９のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。図９におけるステップＳ６０１〜ステップＳ６０８の各処理は、図６の同じ参照符号の処理と同様である。本実施形態では、画像内の全ての評価対象データに対して処理を終えた後に、ステップＳ９０１〜ステップＳ９０３の処理を更に実行する。
【００６９】
ステップＳ９０１において、表示画像作成部７１０は、結果格納部１５０から出力された誤り候補データの情報を取得し、ユーザに確認させるための表示画面用の表示画像を作成する。ステップＳ９０２において、ユーザ確認部７２０は、表示画面作成部７１０により作成された表示画像をユーザに対して提示し、確認および修正の作業を受け付ける。ステップＳ９０３において、正解データ更新部７３０は、ユーザからの修正のフィードバックを受けて、修正データを正解データと連結し、正解データの更新を行う。
【００７０】
以上で図９の一連の処理が終了する。なお、本実施形態で追加された３つの処理は、ステップＳ６０８の直前に行ってもよい。また、画像１枚ごとに行っても、複数の画像に対してまとめて行ってもよい。
【００７１】
以上説明したように、本実施形態では、誤り候補データをユーザに提示し、確認および修正の作業を行わせ、ユーザのフィードバックを受けて正解データを更新する。このように、未入力部分を正しく修正することで、学習による検知モデルの精度を向上させることが可能となる。
【００７２】
（実施形態３）
実施形態２ではユーザインタフェースを用いてユーザに誤り候補データを提示して、確認および修正の作業を行わせる例を説明した。これに対して、実施形態３では、ユーザが何らかの判断を行い、確認画面上で操作を行った情報を、誤り候補データの判定基準の決定に利用する方法を説明する。実施形態３では、検知対象物は構造物壁面上のひび割れとし、正解データの未入力部分を推定する。性質情報としては形状情報を調査するものとする。
【００７３】
＜システム構成及び装置構成＞
続いて、図１０を参照して、本実施形態に係るシステムを構成する情報処理装置９００及び関連する構成要素について説明する。本実施形態に係るシステムは、情報処理装置９００、学習データ格納部１７０、学習部１８０、検知部１９０を含む。情報処理装置９００は、実施形態２で説明した情報処理装置７００の構成要素に加えて、蓄積情報格納部９１０と、基準決定部９２０とを備える。
【００７４】
[蓄積情報格納部９１０]
蓄積情報格納部９１０は、ユーザ確認部７２０から、ユーザが確認を終えたデータの情報を取得して格納する。蓄積情報格納部９１０には、過去データとユーザ設定情報とが格納される。これらの情報は基準決定部９２０により誤り候補データの判定基準を決定する際に使用されるものである。ただし、基準の決定には、過去データとユーザ設定情報との一方または両方を用いることができ、必ずしも両方を用いる必要はない。以下、過去データ及びユーザ設定情報の詳細について説明する。
【００７５】
まず過去データについて説明する。過去データは、過去にユーザに対して提示した誤り候補データの性質情報と、ユーザが当該誤り候補データを誤り部分（未入力部分）として採用したかどうかを記録した情報とを含むデータである。以降、後者の情報を採用可否情報と称する。採用可否情報と、各誤り候補データの性質情報とは、誤り候補データごとに格納する。
【００７６】
過去データは、現在処理の対象としている検知対象物のうち、これまでにユーザが確認したデータから作成できる。過去データが蓄積される度に、基準決定部９２０により判定基準が更新される。また、過去データは、現在処理の対象としている検知対象物以外のデータから作成してもよい。その場合、誤り候補データの初期の判定基準として用いてもよい。例えば、図３（ｂ）に示す「過去データ」の形式で、性質情報として、評価対象データごとに、角度、長さ、ループ数などの形状情報と、採用可否情報と関連付けて格納する。
【００７７】
次に、ユーザ設定情報について説明する。ユーザ設定情報は、新しい検知対象物に本実施形態に係る情報処理装置を適用する前に、ユーザにアンケートを実施して取得するデータである。ユーザ設定情報は、各性質情報の利用の有無の設定情報と、評価対象データを誤り候補データと判定する上での各性質情報の基準値の設定情報とを含む。ユーザ確認部７２０にて、例えば、評価対象データがどの位のサイズであれば確認したいか、検知データと正解データとの角度の差異がどの位であれば確認しなくてもよいか、などの情報を事前に調査する。ユーザ設定情報は、誤り候補データの判定の初期基準の決定に利用することができる。
【００７８】
[基準決定部９２０]
基準決定部９２０は、蓄積情報格納部９１０に格納されている情報に基づいて、評価対象データが誤り候補データであるかを判定するための基準を決定する。誤り候補データの判定方法として、機械学習による方法とルールベースによる方法とを説明する。
【００７９】
機械学習による方法では、過去データを用いて各評価対象データが誤り候補データであるかを判定するための式を構築し、その式に基づいて誤り候補データを判定する。図３（ｂ）の「過去データ」に示す採用可否情報の項目に、ユーザが誤り候補データを正解データの誤りとして採用した場合は１、採用しなかった場合は０が格納されているものとし、例えば式１のような判定式を構築する。
【００８０】
【数１】
2019046094.tif 000003
ただし、ｘｉは各性質情報項目の番号、ａｉは各性質情報項目の重み、ｎは性質項目数で、ｉはそれに対応するインデックスを表している。出力値
2019046094.tif 000004
は、評価対象データの採用可否情報の推定値である。式２を用いて学習を行い、出力値
2019046094.tif 000005
が、評価対象データが採用されたデータである場合は１に近い値を出力し、そうでない場合は０に近い値を出力するようにする。
【００８１】
【数２】
2019046094.tif 000006
【００８２】
ｙはユーザの採用可否情報とし、採用可否情報ｙとその推定値
2019046094.tif 000007
との差の２乗が０に近づくように学習することで、式１の各性質情報項目の重みａｉを決定する。
【００８３】
誤り候補データ判定部１４０は、基準決定部９２０により決定された判定基準（判定式）を用いて、評価対象データから誤り候補データを判定する。評価対象データの性質情報を式１に代入し、出力値（推定値）が１に近いときは未入力部分である可能性が高く、０に近いときはそうでない可能性が高いと解釈することができる。従って、評価対象データの推定値
2019046094.tif 000008
が閾値以上である場合、その評価対象データは誤り候補データであると判定する。
【００８４】
一方、ルールベースによる方法では、誤り候補データの判定処理における各性質情報の利用の有無を設定する。利用する性質情報については、誤り候補データであるかを判定するための基準値を設ける。ユーザから受け付けた長さや角度などに関するパラメータがユーザ設定情報として得られている場合、そのパラメータを判定の基準値とする。基準値と評価対象データの性質情報とを比較することで、誤り候補データを判定する。
【００８５】
以上説明したように、本実施形態に係る情報処理装置９００は、蓄積情報格納部９１０に格納された情報を用いて、基準決定部９２０が、誤り候補データの判定基準を決定する。そして、基準決定部９２０により決定された判定基準に基づいて、誤り候補データ判定部１４０が未入力部分を推定する。ただし、その場合、性質調査部１３０により、誤り候補データ判定部１４０がこれから未入力部分であるかどうかを推定する評価対象データと、過去データとで、同じ項目の性質情報を調査している必要がある。
【００８６】
＜ユーザインタフェース＞
続いて、採用可否情報の収集及びユーザ設定情報の収集のためのユーザインタフェースについて説明する。まず、採用可否情報の収集用のユーザインタフェースを説明する。図１１の表示画面１１１０に示すように、画像を１枚ずつ表示し、ユーザに確認させる方法がある。ユーザが確認を終える度に、誤り候補データごとに、蓄積情報格納部９１０に採用可否情報を格納する。また、ユーザに確認させるデータと近い過去データを、蓄積情報格納部９１０から取得し、同じ画面に表示してもよい。
【００８７】
図１１の表示画面１１１０のウィンドウに示すように、ユーザに確認させたい画像１１１１と、過去データのうち性質情報の近い類似する過去データ１１１２とを、同じ画面上に表示する。このような画面表示により、ユーザが類似事例の際にどのような判断をしたかの情報をユーザに提供でき、また、ユーザに提示している根拠をユーザに提供することが可能となる。
【００８８】
次に、ユーザ設定情報を収集する際のユーザインタフェースを説明する。ユーザ設定情報の取得のため、各性質情報の利用の有無の設定と、評価対象データを誤り候補データと判定する上での各性質情報の基準値の設定とに関するユーザインタフェースについて述べる。
【００８９】
各性質情報の利用の有無の設定では、チェックボックスを使って切り替えられるように構成する。例えば、図１１の表示画面１１２０のウィンドウに示すように、２点鎖線１１２１で囲まれている領域に性質情報を羅列して表示し、２点鎖線１１２２で囲まれている領域に、ｏｎまたはｏｆｆを選択するチェックボックスを表示する。ユーザは各性質情報を利用するかどうか判断し、各性質情報について、性質情報を利用する場合はｏｎのチェックボックスを選択し、利用しない場合はｏｆｆのチェックボックスを選択する。
【００９０】
各性質情報の基準値の設定では、ユーザに設定に関する質問を投げかけて回答を受け付ける。質問項目には、例えば、何ｃｍから何ｃｍまで延長させる場合は確認したいか、正解データと過検知データとではどのくらいの角度の差まで許容範囲とするか、といった項目が挙げられる。これらの質問に対して、ユーザは表示画面上の解答欄に数値を入力して回答する。
【００９１】
＜処理＞
実施形態３では、図１２に示すように、実施形態２で図９を参照して説明した処理の最初と最後に新たな処理を加える。最初に加える処理として、基準決定部９２０が、蓄積情報格納部９１０からユーザがフィードバックした情報を読み込む処理（Ｓ１２０１）と、基準決定部９２０が、誤り候補データの判定基準を決定する処理（Ｓ１２０２）とを追加する。これらの処理は、ステップＳ６０６で誤り候補データを判定する前であれば、どの段階で行ってもよい。
【００９２】
そして、最後に加える処理として、蓄積情報格納部９１０が、ユーザがフィードバックした情報を格納する処理（Ｓ１２０３）と、基準決定部９２０が、誤り候補データの判定基準を更新する処理（Ｓ１２０４）とを追加する。なお、追加する処理はいずれも、画像１枚ごとに実施する必要はなく、複数の画像に対してまとめて実施してよい。
【００９３】
以上説明したように、本実施形態では、ユーザがフィードバックした情報を収集し、それらの情報を利用して誤り候補データの判定基準を決定する。このように、ユーザのフィードバックした情報を利用することで、評価対象データの中からユーザの判断の傾向に合う誤り候補データを判定することができる。
【００９４】
（実施形態４）
実施形態１〜実施形態３では、ひび割れ検知を対象とした事例を説明した。しかしながら、本発明の対象は、これに限らず他の事例にも用いることができる。実施形態４では、領域分割問題を例に挙げる。実施形態１〜実施形態３では、評価対象データ判定部１２０の処理で、過検知データの位置と正解データとして信頼性の高い箇所の位置とが隣接した位置にある場合に、過検知データを評価対象データと判定していた。
【００９５】
これに対し、実施形態４では、信頼性の高い箇所と過検知データとが隣接した位置に存在しない場合も、所定の範囲内に存在する場合には、過検知データを評価対象データと判定する例を説明する。また、実施形態１〜実施形態３では、性質調査部１３０により評価対象データの形状情報を調査する例を説明したが、実施形態４では形状以外の性質情報を調査する例を説明する。なお、装置構成は前述の実施形態と同様であるため、詳細な説明は省略する。
【００９６】
まず、図１３を参照して、領域分割問題において空領域の正解データの未入力部分の推定を行う処理を説明する。図１３の画像では、空領域が木の枝によって２領域に分割されている。正解画像１３１０では領域１３１１にのみ正解データが入力されているのに対し、検知画像１３２０では検知データは領域１３２１、１３２２が検知されている。
【００９７】
まず、評価対象データ判定部１２０は、検知データから過検知データを判定する。正解画像１３１０と検知画像１３２０とを照合すると、過検知データは領域１３２１と判定できる。次に、過検知データから評価対象データを判定する。画像１３１０において、正解データの位置と検知データの位置とが一致している、正解データとして信頼性の高い箇所は、領域１３１１である。信頼性の高い箇所である領域１３１１と過検知データ１３２１とは隣接位置には存在しないが、ここでは距離が所定の範囲内にあるので、過検知データ１３２１は評価対象データと判定する。
【００９８】
次に、性質調査部１３０は、評価対象データ１３２１の性質情報を調査する。例えば、信頼性の高い箇所である領域１３１１と評価対象データ１３２１の元画像上の領域とを切り出し、色情報、明るさ情報、テクスチャ情報などの性質情報を取得する。続いて、誤り候補データ判定部１４０は、信頼性の高い箇所と評価対象データの性質情報との差が所定範囲内である場合は、評価対象データ１３２１を誤り候補データと判定する。
【００９９】
以上説明したように、本実施形態では、正解データとして信頼性の高い箇所と、過検知データとが隣接した位置に存在しない場合であっても、所定の範囲内に存在する場合には、過検知データを評価対象データと判定する。そして、評価対象データの性質情報に基づいて、評価対象データが誤り候補データであるかを判定する。
【０１００】
これにより、正解データとして信頼性の高い箇所と、過検知データとが隣接していない場合であっても誤り候補データの判定を行うことが可能となる。
【０１０１】
（実施形態５）
実施形態５では、さらに別の事例への適用の例として、人物や物体の軌跡追跡のために、本発明を時系列データに適用する方法を説明する。本実施形態では、検知対象を人物として、時系列上の正解データセットの未入力部分を修正する。なお、装置構成は前述の実施形態と同様であるため、詳細な説明は省略する。
【０１０２】
図１４を参照しながら、本実施形態に係る処理内容を説明する。図１４においては、白丸は人物のラベルを意味しており、時間軸に対して人物が矢印の方向に移動している様子を表している。
【０１０３】
はじめに、正解・検知データ格納部１１０に、時系列上の正解データセットと検知データセットとを用意する。図１４（ａ）は正解データセットを表しており、２点鎖線１４１１で囲まれているデータ集合は、正解ラベルが付与されたデータ集合である。図１４（ｂ）は検知データセットを表しており、２点鎖線１４２１で囲まれているデータ集合は、検知したデータの集合である。
【０１０４】
次に、評価対象データ判定部１２０により検知データから過検知データを抽出する。正解データセットと検知データセットとを照合すると、過検知データは、検知データセットのデータ集合１４２２である。続いて、評価対象データ判定部１２０により過検知データから評価対象データを判定する。ここでは、正解データセットの位置と検知データセットの位置とが一致している信頼性の高いデータの集合はデータ集合１４１１である。過検知データであるデータ集合１４２２は、ここでは信頼性の高いデータ集合１４１１から所定の時間内にあるため、評価対象データと判定する。
【０１０５】
次に、性質調査部１３０により、正解データの移動物体の向き及び評価対象データの移動物体の向き、評価対象データの位置の元画像の色情報を、性質情報として調査する。その後、性質情報に基づいて、誤り候補データ判定部１４０により評価対象データ１４２２が誤り候補データであるかを判定する。
【０１０６】
以上説明したように、本実施形態によれば、時系列上の正解データの未入力部分を推定することが可能となる。
【０１０７】
（実施形態６）
実施形態１〜実施形態５では、正解データの誤りのうち、未入力部分の推定方法について説明した。これに対して、実施形態６では、未入力部分だけでなく、誤入力部分を推定する方法について説明する。本実施形態では、検知対象物は人の顔とし、正解データが理想の正解データと比べて小さい場合は未入力部分がある、一方、大きい場合は誤入力部分があるものと推定する。なお、装置構成は前述の実施形態と同様であるため、詳細な説明は省略する。
【０１０８】
まず、図１５（ａ）を用いて正解データの未入力部分を推定する方法を説明する。画像１５１０は正解画像、画像１５２０は検知画像とし、領域１５１１は人の顔を表すものとする。領域１５１２は正解データ、領域１５２１は検知データとする。評価対象データ判定部１２０でにより正解データと検知データとを照合し、不一致データとして過検知データを抽出する。ここでは、検知画像１５２０から正解画像１５１０を差し引くことで、破線の領域１５２２を過検知データとして抽出できる。続いて、過検知データが評価対象データであるかを判定する。図１５（ａ）において、正解データと検知データとが一致する信頼性の高い箇所は、領域１５１２である。過検知データ１５２２は、信頼性の高い箇所である領域１５１２と隣接した位置にあることから、評価対象データと判定できる。
【０１０９】
次に、性質調査部１３０により調査された性質情報に基づいて、誤り候補データ判定部１４０により、評価対象データが誤り候補データであるかを判定する。元画像上において、評価対象データ１５２２と、信頼性の高い箇所である領域１５１２においてそれぞれ、色情報、明るさ情報、テクスチャ情報を、性質情報として取得する。
【０１１０】
両者の性質情報が類似する場合、評価対象データ１５２２は正解データの未入力部分である可能性が高いので、誤り候補データと判定する。反対に、両者の性質情報が類似しない場合、評価対象データ１５２２は正解データの未入力部分ではなく単なる誤検知部分である可能性が高いので、誤り候補データと判定しない。なお、類似するか否かの判定には、色情報、明るさ情報、テクスチャ情報に基づいて、性質情報の類似度を算出し、類似度が閾値以上であるか否かを判定する方法を用いてもよい。以上説明した方法により、正解データの未入力部分を推定することができる。
【０１１１】
次に、図１５（ｂ）を用いて、正解データの誤入力部分を推定する方法を説明する。
【０１１２】
画像１５３０は正解画像、画像１５４０は検知画像とする。また、領域１５３１は正解データ、領域１５４１は検知データとする。評価対象データ判定部１２０により、正解データから不一致データとして過入力データを抽出する。ここでは、正解画像１５３０から検知画像１５４０を差し引くことで、破線の領域１５３２を正解データの過入力データとして抽出できる。続いて、過入力データが評価対象データであるかを判定する。図１５（ｂ）において、正解データと検知データとが一致している信頼性の高い箇所は、破線の領域１５３３である。過入力データ１５３２は、信頼性の高い箇所である領域１５３３と隣接した位置にあることから、評価対象データと判定できる。次に、性質調査部１３０により調査された性質情報に基づいて、誤り候補データ判定部１４０により、評価対象データが誤り候補データであるかを判定する。元画像上において、評価対象データ１５３２と、信頼性の高い箇所である領域１５３３においてそれぞれ、色情報、明るさ情報、テクスチャ情報とを、性質情報として取得する。
【０１１３】
両者の性質情報が類似する場合、評価対象データ１５３２は正解データの誤入力部分ではなく正解データであると判定する。反対に、両者の性質情報が類似しない場合は、評価対象データ１５３２は正解データの誤入力部分の可能性があると判定し、誤り候補データと判定する。なお、類似するか否かの判定には、未入力部分の推定の場合と同様に性質情報の類似度を算出し、類似度が閾値以上であるか否かを判定する方法を用いてもよい。
【０１１４】
以上説明した方法により、正解データの誤りのうち誤入力部分の推定を行うことができる。
【０１１５】
なお、本発明の情報処理装置は、画像や時系列データのみならず、３次元空間データの正解データの修正にも利用することができる。
【０１１６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１７】
１００，７００，９００：情報処理装置、１１０：正解・検知データ格納部、１２０：評価対象データ判定部、１３０：性質調査部、１４０：誤り候補データ判定部、１５０：結果格納部、１６０：再学習データ収集部、１７０：学習データ格納部、１８０：学習部、１９０：検知部、７１０：表示画像作成部、７２０：ユーザ確認部、７３０：正解データ更新部、９１０：蓄積情報格納部、９２０：基準決定部
【図１】
2019046094.tif 000009
【図２】
2019046094.tif 000010
【図３】
2019046094.tif 000011
【図４】
2019046094.tif 000012
【図５】
2019046094.tif 000013
【図６】
2019046094.tif 000014
【図７】
2019046094.tif 000015
【図８】
2019046094.tif 000016
【図９】
2019046094.tif 000017
【図１０】
2019046094.tif 000018
【図１１】
2019046094.tif 000019
【図１２】
2019046094.tif 000020
【図１３】
2019046094.tif 000021
【図１４】
2019046094.tif 000022
【図１５】
2019046094.tif 000023