(57)【要約】  教師データ修正装置は、学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、物体領域の修正候補となる領域である修正候補領域を設定する。教師データ修正装置は、修正候補領域に基づき、入力された画像に対して対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する。そして、教師データ修正装置は、出力器が出力する識別結果又は回帰結果に基づき算出された出力器の精度に基づき、修正候補領域により教師データを更新する。
2020183706.tif 000002
【特許請求の範囲】
【請求項１】
教師データ修正装置が実行する修正方法であって、  学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定し、  前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成し、  前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する、修正方法。
【請求項２】
前記教師データを更新する処理は、前記修正候補領域の設定前の前記教師データに基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された第１出力器の精度よりも、前記修正候補領域に基づき学習された前記出力器である第２出力器の精度が高い場合、前記修正候補領域により前記教師データを更新する、請求項１に記載の修正方法。
【請求項３】
前記修正候補領域を設定する処理は、前記第１出力器の精度と前記第２出力器の精度との比較結果を示す情報に基づき、過去に設定した前記修正候補領域とは異なる修正候補領域を設定する、請求項２に記載の修正方法。
【請求項４】
前記修正候補領域を設定する処理は、前記第１出力器の精度と前記第２出力器の精度との比較結果を示す情報に基づき、前記修正候補領域の出力を行う学習モデルの学習を行う、請求項２または３に記載の修正方法。
【請求項５】
前記修正候補領域を設定する処理は、前記出力器の精度が閾値未満であって、かつ、前記修正候補領域を設定した回数が所定回数未満である場合、過去に設定した前記修正候補領域とは異なる修正候補領域を設定する、請求項１〜４のいずれか一項に記載の修正方法。
【請求項６】
前記修正候補領域に対応する画像から特徴を抽出し、  前記出力器を生成する処理は、前記特徴に基づき学習を行うことで前記出力器を生成する、請求項１〜５のいずれか一項に記載の修正方法。
【請求項７】
記憶部に記憶された複数の学習画像に対する教師データに基づき学習された出力器が出力する、前記複数の学習画像に対する前記対象の物体に関する識別結果又は回帰結果に基づき、前記複数の学習画像に対する教師データから、前記修正候補領域を設定する対象となる教師データを決定する、請求項１〜６のいずれか一項に記載の修正方法。
【請求項８】
前記教師データを更新する処理は、前記出力器の精度を、前記出力器の学習に用いた教師データに対応する学習画像に対して前記出力器が出力する識別結果又は回帰結果に基づき算出する、請求項１〜７のいずれか一項に記載の修正方法。
【請求項９】
前記教師データを更新する処理は、前記出力器の精度を、前記出力器の学習に用いた教師データに対応する学習画像とは異なる評価用データに対して前記出力器が出力する識別結果又は回帰結果に基づき算出する、請求項１〜７のいずれか一項に記載の修正方法。
【請求項１０】
前記出力器を生成する処理は、前記修正候補領域に基づき、入力された画像に対して前記対象の物体における所定の特徴点の位置に関する識別結果又は回帰結果の出力を行うように学習された出力器を前記出力器として生成する、請求項１〜９のいずれか一項に記載の修正方法。
【請求項１１】
学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定部と、  前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習部と、  前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新部と、を有する教師データ修正装置。
【請求項１２】
コンピュータが実行するプログラムであって、  学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定部と、  前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習部と、  前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新部として前記コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、機械学習に必要な教師データの修正に関する修正方法、教師データ修正装置、及びプログラムの技術分野に関する。
【背景技術】
【０００２】  機械学習に用いるための教師データの生成及び加工に関する技術が特許文献１に開示されている。特許文献１には、複数のパターンに分類された教師画像を取得し、属する教師画像の個数が少ない不足パターンを特定し、ある教師画像に対して拡大、縮小、平行移動を行うことにより、不足パターンに属する新たな教師画像を生成する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１６９６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  一般に、識別すべき対象となる物体の領域を示す教師データの付与作業は属人的な手法により行われ、このように付された教師データに近づくような領域を特定して対象の識別を行うように学習モデルの学習が行われる。一方、属人的な手法により生成された教師データは、必ずしも識別に適した物体の領域を示すものとは言えない。よって、より識別精度が高い学習モデルの学習を行うには、識別精度が向上するように教師データを修正する必要がある。特許文献１には、不足パターンに属する新たな教師画像を生成する点については記載されているものの、識別精度が向上するように教師データを修正する点については何ら開示されていない。【０００５】  本発明の目的は、上述した課題を鑑み、教師データを好適に修正することが可能な修正方法、教師データ修正装置及びプログラムを提供することを主な課題とする。
【課題を解決するための手段】
【０００６】  修正方法の一の態様は、教師データ修正装置が実行する修正方法であって、学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定し、前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成し、前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する。【０００７】  教師データ修正装置の一の態様は、教師データ修正装置であって、学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定部と、前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習部と、前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新部と、を有する。【０００８】  プログラムの一の態様は、コンピュータが実行するプログラムであって、学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定部と、前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習部と、前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新部として前記コンピュータを機能させる。
【発明の効果】
【０００９】  本発明によれば、修正した教師データに基づく出力器の識別精度又は回帰精度を好適に勘案して教師データを更新することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態における教師データ修正システムの概略構成を示す。
【図２】教師データ修正装置の機能ブロック図である。
【図３】修正候補設定部及び教師データ更新部が実行する処理の概要を示す図である。
【図４】（Ａ）識別対象を顔とする修正対象教師データの画像上に、物体領域を明示した図である。（Ｂ）修正対象教師データの画像上に、物体領域に基づき設定した修正候補領域を明示した図である。（Ｃ）修正対象教師データの画像上に、過去の修正候補領域に基づき設定した修正候補領域を明示した図である。
【図５】（Ａ）識別対象を顔とする修正対象教師データの画像上に、修正対象教師データの物体領域を明示した図である。（Ｂ）修正対象教師データの画像上に、物体領域に基づき設定した修正候補領域を明示した図である。（Ｃ）修正対象教師データの画像上に、過去の修正候補領域に基づき設定した修正候補領域を明示した図である。
【図６】第１実施形態において教師データ修正装置が実行するフローチャートである。
【図７】第２実施形態に係る教師データ修正システムの概略構成を示す。
【図８】第２実施形態に係る教師データ修正装置が実行するフローチャートである。
【図９】第３実施形態に係る教師データ修正システムの概略構成を示す。
【図１０】（Ａ）対象の特徴点を鼻とする教師データの画像上に、修正対象教師データの物体領域と特徴点情報が示す鼻の位置を明示した図である。（Ｂ）修正対象教師データの画像上に、第２回帰器の回帰結果に基づく鼻の位置を明示した図である。（Ｃ）物体領域に基づき設定した修正候補領域と、修正候補領域を反映した教師データにより学習した第２回帰器の回帰結果に基づく鼻の位置を明示した図である。
【図１１】第３実施形態に係る教師データ修正装置が実行するフローチャートである。
【図１２】変形例に係る教師データ修正システムの概略構成を示す。
【発明を実施するための形態】
【００１１】  以下、図面を参照しながら、修正方法、教師データ修正装置、及びプログラムの実施形態について説明する。
【００１２】  ＜第１実施形態＞  ［全体構成］  図１は、第１実施形態における教師データ修正システム１００の概略構成を示す。教師データ修正システム１００は、学習モデルの学習に必要な教師データの修正を行う。
【００１３】  教師データ修正システム１００は、教師データ修正装置１０と、記憶装置２０と、を備える。
【００１４】  教師データ修正装置１０は、後述する記憶装置２０の教師データ記憶部２３に記憶された教師データの修正を行う。ここで、教師データは、学習モデルの学習において、学習に用いられる画像（「学習画像」とも呼ぶ。）に対する正解を示すデータである。教師データの詳細については後述する。
【００１５】  記憶装置２０は、教師データ修正装置１０によるデータの参照及び書込みが可能な装置であって、識別器情報記憶部２１と、領域設定情報記憶部２２と、教師データ記憶部２３とを備える。なお、記憶装置２０は、教師データ修正装置１０に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよく、教師データ修正装置１０とデータ通信を行うサーバ装置などであってもよい。また、記憶装置２０は、教師データ修正装置１０とデータ通信可能な複数の記憶装置から構成されてもよい。この場合、記憶装置２０を構成する複数の記憶装置は、識別器情報記憶部２１と領域設定情報記憶部２２と教師データ記憶部２３とを２以上に分散して記憶する。
【００１６】  識別器情報記憶部２１は、入力された学習画像に対して識別対象となる物体に関する識別結果を出力する学習モデル（即ち識別モデル）を学習することで生成した識別器を機能させるために必要なパラメータ等の種々の情報である識別器情報を記憶する。上述のパラメータは、例えば、学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの情報である。
【００１７】  領域設定情報記憶部２２は、物体領域の修正が必要な教師データに対し、修正の候補となる物体領域の設定に関する情報を記憶する。領域設定情報記憶部２２に記憶する情報の詳細については後述する。
【００１８】  教師データ記憶部２３は、学習画像と教師データの複数の組合せを記憶する。教師データは、対象の学習画像において識別対象となる物体の領域を指し示す情報（「物体領域情報」とも呼ぶ。）と、当該識別対象である物体の識別情報（即ち物体の種別を示す情報）とを含む。教師データは、学習画像のメタデータであってもよく、学習画像の識別情報に紐づいた情報であってもよい。教師データの物体領域情報は、教師データ修正装置１０により適宜更新される。ここで、識別対象となる物体は、特定の物体又は当該物体内の特定の部位であり、例えば、人や魚などの動物、植物、移動体、地物、器具、又はその一部である。例えば、人の領域を抽出する学習モデルに用いる学習画像の場合には、教師データの物体領域情報は、学習画像内において人が表示された領域を指し示す情報である。
【００１９】  次に、引き続き図１を参照して教師データ修正装置１０のハードウェア構成について説明する。教師データ修正装置１０は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。
【００２０】  プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサである。
【００２１】  メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種のメモリにより構成される。また、メモリ１２には、教師データ修正装置１０が実行する学習に関する処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置２０から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置２０として機能してもよい。この場合、メモリ１２は、識別器情報記憶部２１と、領域設定情報記憶部２２と、教師データ記憶部２３とを記憶する。同様に、記憶装置２０は、教師データ修正装置１０のメモリ１２として機能してもよい。
【００２２】  インターフェース１３は、プロセッサ１１の制御に基づき記憶装置２０とデータの送受信を有線又は無線により行うための通信インターフェースであり、ネットワークアダプタなどが該当する。なお、教師データ修正装置１０と記憶装置２０とはケーブル等により接続されてもよい。この場合、インターフェース１３は、記憶装置２０とデータ通信を行う通信インターフェースの他、記憶装置２０とデータの授受を行うためのＵＳＢ、ＳＡＴＡ（Ｓｅｒｉａｌ  ＡＴ  Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースである。
【００２３】  なお、教師データ修正装置１０のハードウェア構成は、図１に示す構成に限定されない。例えば、教師データ修正装置１０は、ユーザ入力を受け付けるための入力部、ディスプレイやスピーカなどの出力部などをさらに備えてもよい。
【００２４】  また、教師データ修正装置１０は、複数の装置により構成されてもよい。この場合、これらの各装置は、各装置が予め定め割り当てられた処理を実行するために必要な情報の授受を他の装置と行う。
【００２５】  ［教師データ修正処理］  次に、教師データ修正装置１０が実行する教師データ修正処理の詳細について説明する。
【００２６】  図２は、教師データ修正装置１０の機能ブロック図である。図２に示すように、教師データ修正装置１０のプロセッサ１１は、機能的には、修正対象教師データ決定部１４と、修正候補領域設定部１５と、特徴抽出部１６と、識別モデル学習部１７と、教師データ更新部１８とを備える。
【００２７】  修正対象教師データ決定部１４は、識別器情報記憶部２１に記憶された識別器情報により構成した識別器に教師データの画像を入力することで得られた識別結果に基づき、物体領域の修正が必要な教師データ（「修正対象教師データＤＴ」とも呼ぶ。）を決定する。そして、修正対象教師データ決定部１４は、決定した修正対象教師データＤＴに関する情報を修正候補領域設定部１５へ供給する。
【００２８】  なお、識別器情報記憶部２１には、教師データ記憶部２３に記憶された教師データに基づき識別モデルを学習することで得られた識別器の識別器情報が記憶されている。上述の識別モデルは、例えば、入力された画像に対して識別対象の有無に関する判定結果を出力する演算モデルであり、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよい。後述するように、識別器情報記憶部２１に記憶される識別器情報は、識別モデル学習部１７により生成される識別器の識別器情報に基づき更新される。
【００２９】  修正候補領域設定部１５は、領域設定情報記憶部２２を参照し、修正対象教師データ決定部１４が決定した修正対象教師データＤＴに付された物体領域情報が示す領域を修正する候補となる物体領域（「修正候補領域ＦＣ」とも呼ぶ。）を設定する。修正候補領域ＦＣの設定方法については、図３を参照して後述する。そして、修正候補領域設定部１５は、設定した修正候補領域ＦＣに関する情報を特徴抽出部１６に供給する。また、修正候補領域設定部１５は、その後に教師データ更新部１８から精度比較情報「Ｉｃ」を受信した場合に、設定した修正候補領域ＦＣに関する情報と、精度比較情報Ｉｃとを関連付けて領域設定情報記憶部２２に記憶する。そして、この場合、修正候補領域設定部１５は、過去に設定した修正候補領域ＦＣとは異なる修正候補領域ＦＣを設定し、設定した修正候補領域ＦＣに関する情報を特徴抽出部１６に供給する。
【００３０】  例えば、修正候補領域設定部１５は、適切なパラメータの探索を行う任意のモデルにより実現されてもよい。言い換えると、修正候補領域設定部１５は、教師データ更新部１８から供給される精度比較情報Ｉｃに基づき、次に設定すべき修正候補領域ＦＣを出力する任意の演算モデルにより実現されてもよい。このようなモデルは、例えば、Ｄｅｅｐ−Ｑ−Ｎｅｔｗｏｒｋ（ＤＱＮ）などの強化学習モデル、遺伝的アルゴリズム、Ｑ−Ｌｅａｒｉｎｇ等の種々の手法であってもよい。
【００３１】  ここで、修正候補領域設定部１５がＤＱＮなどの学習モデルを学習することで実現される場合、学習モデルを学習することで得られた修正候補領域設定部１５のパラメータの情報は、例えば、識別器情報記憶部２１又は領域設定情報記憶部２２に記憶される。この場合、修正候補領域設定部１５は、識別器情報記憶部２１又は領域設定情報記憶部２２に記憶されたパラメータの情報を参照することで、修正候補領域ＦＣの設定を行う。
【００３２】  特徴抽出部１６は、修正候補領域設定部１５から供給された修正候補領域ＦＣに対応する学習画像から特徴を抽出する。この場合、特徴抽出部１６が抽出する特徴は、識別対象の有無を判定するために用いられる特徴であり、例えば人の顔を識別対象としてその有無を判定する場合には、特徴抽出部１６は、鼻、口、目などを特徴として抽出する。このような特徴は、畳み込みニューラルネットワーク等から得られる特徴であってもよく、属人的な手法により設定された特徴であってもよい。特徴抽出部１６は、任意の特徴抽出手法により実現されてもよい。例えば、特徴抽出部１６は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、ＡＫＡＺＥ（Ａｃｅｅｌｅｒａｔｅｄ−ＫＡＺＥ）、Ｈｏｇ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）等であってもよい。特徴抽出部１６は、抽出した特徴に関する情報である特徴情報を識別モデル学習部１７に供給する。なお、特徴抽出部１６は、修正対象教師データＤＴ以外の同一の識別対象の物体領域を示す教師データについても特徴抽出を行い、識別モデル学習部１７に供給する特徴情報に含めてもよい。
【００３３】  識別モデル学習部１７は、特徴抽出部１６から供給される特徴情報に基づき学習モデルの学習を行うことで識別器を生成する。ここで用いる学習モデルは、例えば、入力された特徴情報又は画像に対して識別対象の存否に関する判定結果を出力する識別モデルであり、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよい。そして、識別モデル学習部１７は、学習により得られた識別器に関する識別器情報を教師データ更新部１８に供給する。
【００３４】  教師データ更新部１８は、識別モデル学習部１７による識別器の生成以前に生成された、識別器情報記憶部２１に記憶された識別器情報に基づく識別器（「第１識別器」とも呼ぶ。）に、教師データ記憶部２３に記憶された教師データに対応する学習画像を入力した場合の識別精度を算出する。また、教師データ更新部１８は、識別モデル学習部１７が生成した識別器情報に基づく識別器（「第２識別器」とも呼ぶ。）に教師データ記憶部２３に記憶された学習画像を入力した場合の識別精度を算出する。そして、教師データ更新部１８は、第１識別器の識別精度と第２識別器の識別精度との比較結果を示す情報（「比較精度情報Ｉｃ」とも呼ぶ。）を、修正候補領域設定部１５へ供給する。なお、上述の第１識別器及び第２識別器には、学習画像が直接入力される代わりに、特徴抽出部１６と同一の処理により学習画像から抽出された特徴を示す特徴情報が入力されてもよい。
【００３５】  そして、教師データ更新部１８は、第１識別器の識別精度よりも第２識別器の識別精度が高い場合には、教師データ記憶部２３に記憶された修正対象教師データＤＴが示す物体領域を修正候補領域ＦＣに変更することで識別精度が向上すると判断する。よって、教師データ更新部１８は、教師データ記憶部２３に記憶された修正対象教師データＤＴが示す物体領域を、修正候補領域ＦＣにより更新する。
【００３６】  また、教師データ更新部１８は、第２識別器の識別結果が所定識別精度以上となった場合、または、同一の修正対象教師データＤＴに対して修正候補領域ＦＣを所定の規定回数以上設定したと判断した場合、対象の修正対象教師データＤＴに対する修正候補領域ＦＣの設定処理を終了する。
【００３７】  教師データ更新部１８から比較精度情報Ｉｃを受信した修正候補領域設定部１５は、新たな修正候補領域ＦＣを設定する。この修正候補領域設定部１５による修正候補領域ＦＣの設定処理について、図３を参照して詳しく説明する。
【００３８】  図３は、修正候補領域設定部１５と教師データ更新部１８との処理の概要を示す図である。図３に示すように、領域設定情報記憶部２２は、対象となる修正対象教師データＤＴに対して既に設定した修正候補領域ＦＣ（修正候補領域ＦＣ１、修正候補領域ＦＣ２、修正候補領域ＦＣ３、…）と、教師データ更新部１８から供給される比較精度情報Ｉｃが示す比較精度（比較精度１、比較精度２、比較精度３、…）とを関連付けて記憶している。
【００３９】  修正候補領域設定部１５は、領域設定情報記憶部２２を参照し、領域設定情報記憶部２２に記録された修正候補領域ＦＣとは異なる修正候補領域「ＦＣＸ」を設定する。この場合、修正候補領域設定部１５は、例えば、直前に設定された修正候補領域ＦＣ又は領域設定情報記憶部２２に記憶された比較精度（即ち第２識別器の識別精度）が最も高かった修正候補領域ＦＣに基づき、修正候補領域ＦＣＸを設定する。第１の例では、修正候補領域設定部１５は、上述の修正候補領域ＦＣの横幅又は縦幅を所定倍率（例えば１．１倍）だけ拡大又は縮小した修正候補領域ＦＣＸを設定する。第２の例では、修正候補領域設定部１５は、上述の修正候補領域ＦＣを横方向又は縦方向のいずれか一方へ所定距離（例えば物体領域の０．１倍）だけ移動させた修正候補領域ＦＣＸを設定する。なお、第１の例と第２の例は、組み合わせてもよい。
【００４０】  その後、特徴抽出部１６は、修正候補領域ＦＣＸに対応する学習画像から特徴抽出を行い、識別モデル学習部１７は、抽出された特徴に基づき識別モデルの学習を行うことで第２識別器を生成する。なお、修正候補領域設定部１５は、領域設定情報記憶部２２に設定した修正候補領域ＦＣ及び比較精度が記録されていない場合には、対象の修正対象教師データＤＴに元から付加されていた物体領域情報が示す物体領域を基準として、上述の拡大、縮小、上下左右へのシフト処理により、修正候補領域ＦＣＸを設定する。
【００４１】  教師データ更新部１８は、修正候補領域ＦＣＸを反映前の教師データに基づき学習が行われた第１識別器による識別結果と、修正候補領域ＦＣＸを反映後の教師データに基づき学習が行われた第２識別器による識別結果とをそれぞれ取得する。そして、教師データ更新部１８は、これらの識別精度を比較することで精度比較情報Ｉｃを生成する。なお、修正候補領域ＦＣＸを設定する前の教師データとは、修正候補領域ＦＣＸの一つ前に設定した修正候補領域ＦＣが反映された教師データであってもよく、全ての修正候補領域ＦＣが設定される前から教師データ記憶部２３に記憶されていた修正前の教師データであってもよい。
【００４２】  そして、修正候補領域設定部１５は、教師データ更新部１８から精度比較情報Ｉｃを受信した場合、修正候補領域ＦＣＸと受信した精度比較情報Ｉｃが示す比較精度「Ｘ」とを関連付けて領域設定情報記憶部２２に記憶する。この場合、修正候補領域設定部１５は、領域設定情報記憶部２２に記憶された過去の修正候補領域ＦＣと比較精度との組み合わせを参照し、次に設定すべき修正候補領域ＦＣを決定する。そして、修正候補領域設定部１５及び教師データ更新部１８は、第２識別器の識別結果が所定識別精度以上となった場合、または、同一の修正対象教師データＤＴに対して修正候補領域ＦＣを所定の規定回数以上設定したと判断するまで、上述の処理を繰り返し実行する。
【００４３】  ここで、第１識別器及び第２識別器の識別精度の算出方法について補足説明する。この場合、教師データ更新部１８は、第１識別器及び第２識別器の識別結果について、識別対象の物体領域を識別対象として正しく識別できたか否か、及び、識別対象以外の物体領域を識別対象として誤って認識していないか否かを、教師データに含まれる識別対象の物体の識別情報に基づき判定する。そして、教師データ更新部１８は、入力した全教師データに対する判定結果を統計処理することで、第１識別器及び第２識別器の識別精度を算出する。この場合、識別精度は、再現率、適合率、特異度、正確度、Ｆ値等の任意の評価指標に基づく値であってもよい。
【００４４】  なお、精度比較情報Ｉｃは、例えば、第２識別器の識別精度から第１識別器の識別精度を減算した値を示す情報である。なお、精度比較情報Ｉｃは、第１識別器の識別精度に対する第２識別器の識別精度を表す他の計算式に基づく値を示す情報であってもよい。
【００４５】  次に、修正候補領域ＦＣの具体的な設定例について、図４（Ａ）〜（Ｃ）及び図５（Ａ）〜（Ｃ）を参照して説明する。
【００４６】  図４（Ａ）は、識別対象を顔とする修正対象教師データＤＴに対応する学習画像３１上に、修正対象教師データＤＴに付された物体領域情報が示す物体領域「Ｆ１」を明示した図である。図４（Ｂ）は、修正対象教師データＤＴに対応する学習画像３１上に、物体領域Ｆ１に基づき設定した修正候補領域「ＦＣａ」を明示した図である。図４（Ｃ）は、修正対象教師データＤＴに対応する学習画像３１上に、修正候補領域ＦＣａに基づき設定した修正候補領域「ＦＣｂ」を明示した図である。なお、図４（Ａ）〜（Ｂ）では、便宜上、物体領域Ｆ１が破線により示され、修正候補領域ＦＣａ、ＦＣｂが実線により示されている。
【００４７】  図４（Ａ）に示す教師データの物体領域Ｆ１は、識別対象である顔の領域とややずれて設定されており、この教師データを用いて学習した識別器に対し、学習画像３１を入力した場合、識別が失敗する。この場合、修正対象教師データ決定部１４は、図４（Ａ）に示す教師データを修正対象教師データＤＴとみなし、修正候補領域設定部１５は、物体領域Ｆ１を基準として修正候補領域ＦＣａ（図４（Ｂ）参照）を設定する。ここでは、一例として、修正候補領域設定部１５は、物体領域Ｆ１を所定幅だけ左に移動させ、かつ、所定幅だけ上に移動させた修正候補領域ＦＣａを設定している。
【００４８】  また、修正候補領域設定部１５は、その後に教師データ更新部１８から供給される精度比較情報Ｉｃに基づき、修正候補領域ＦＣａの反映前と比較して識別精度が向上したと判断し、修正候補領域ＦＣａを基準としてさらに他の修正候補領域ＦＣｂ（図４（Ｃ）参照）を設定する。ここでは、一例として、修正候補領域設定部１５は、修正候補領域ＦＣａを所定倍率だけ拡大させた修正候補領域ＦＣｂを設定している。そして、この場合、教師データ更新部１８は、修正候補領域ＦＣｂを反映後の識別精度が閾値以上になったと判断し、修正候補領域ＦＣｂを識別対象の物体領域として指し示すように修正対象教師データＤＴの更新を行い、処理を終了する。
【００４９】  図５（Ａ）は、識別対象を顔とする修正対象教師データＤＴに対応する学習画像３２上に、修正対象教師データＤＴに付された物体領域情報が示す物体領域「Ｆ２」を明示した図である。図５（Ｂ）は、修正対象教師データＤＴに対応する学習画像３２上に、物体領域Ｆ２に基づき設定した修正候補領域「ＦＣｃ」を明示した図である。図５（Ｃ）は、修正対象教師データＤＴの画像上に、修正候補領域ＦＣｃに基づき設定した修正候補領域「ＦＣｄ」を明示した図である。なお、図５（Ａ）〜（Ｂ）では、便宜上、物体領域Ｆ２が破線により示され、修正候補領域ＦＣｃ、ＦＣｄが実線により示されている。
【００５０】  図５（Ａ）に示す教師データの物体領域Ｆ１は、識別対象である顔の領域よりも大きい範囲に設定されており、この教師データを用いて学習した識別器に対し、学習画像３２を入力した場合、識別が失敗する。この場合、修正対象教師データ決定部１４は、図５（Ａ）に示す教師データを修正対象教師データＤＴとみなし、修正候補領域設定部１５は、物体領域Ｆ２を基準として修正候補領域ＦＣｃ（図５（Ｂ）参照）を設定する。ここでは、一例として、修正候補領域設定部１５は、物体領域Ｆ１を所定倍率だけ縮小した修正候補領域ＦＣｃを設定している。
【００５１】  また、修正候補領域設定部１５は、その後に教師データ更新部１８から供給される精度比較情報Ｉｃに基づき、修正候補領域ＦＣｃの反映前と比較して識別精度が向上したと判断し、修正候補領域ＦＣｃを基準としてさらに他の修正候補領域ＦＣｄ（図５（Ｃ）参照）を設定する。ここでは、一例として、修正候補領域設定部１５は、修正候補領域ＦＣｃを所定幅だけ上にシフトさせた修正候補領域ＦＣｄを設定している。そして、この場合、教師データ更新部１８は、修正候補領域ＦＣｄに変更後の識別精度が閾値以上になったと判断し、修正候補領域ＦＣｄが物体領域となるように修正対象教師データＤＴの更新を行い、処理を終了する。
【００５２】  図６は、第１実施形態において教師データ修正装置１０が実行するフローチャートの一例である。
【００５３】  まず、修正対象教師データ決定部１４は、識別器情報記憶部２１に記憶された識別器情報に基づき第１識別器を構成し、教師データ記憶部２３に記憶された各教師データに対応する学習画像に対する第１識別器の識別結果を取得する（ステップＳ１０）。
【００５４】  次に、修正対象教師データ決定部１４は、第１識別器による識別に失敗した教師データを修正対象教師データＤＴとして特定する（ステップＳ１１）。そして、教師データ修正装置１０は、以下のステップＳ１２以降の処理を、ステップＳ１１において特定した修正対象教師データＤＴの各々に対して実行する。
【００５５】  まず、修正候補領域設定部１５は、修正対象教師データＤＴに対して修正候補領域ＦＣを設定する（ステップＳ１２）。この場合、修正候補領域設定部１５は、例えば、修正対象教師データＤＴに付された物体領域情報が示す物体領域、又は、前回のステップＳ１２で設定した修正候補領域ＦＣを基準として、領域設定情報記憶部２２に履歴として記録されていない修正候補領域ＦＣを設定する。そして、修正候補領域設定部１５は、ステップＳ１２で設定した修正候補領域ＦＣに対応する学習画像に対して特徴抽出を行う（ステップＳ１３）。
【００５６】  そして、識別モデル学習部１７は、ステップＳ１３で抽出された特徴情報に基づき、識別モデルを学習することで、第２識別器を生成する（ステップＳ１４）。
【００５７】  次に、教師データ更新部１８は、教師データ記憶部２３に記憶された教師データに対応する学習画像に対する第１識別器及び第２識別器の夫々の識別結果を取得する（ステップＳ１５）。そして、教師データ更新部１８は、第２識別器の識別結果に基づき算出した第２識別器の識別精度が第１識別器の識別結果に基づき算出した第１識別器の識別精度よりも向上したか否か判定する（ステップＳ１６）。
【００５８】  そして、第２識別器の識別精度が第１識別器の識別精度よりも向上した場合（ステップＳ１６；Ｙｅｓ）、教師データ更新部１８は、修正対象教師データＤＴを更新し、識別器情報記憶部２１に記憶した第２識別器の識別器情報を第１識別器の識別器情報として記憶する（ステップＳ１７）。この場合、教師データ更新部１８は、修正対象教師データＤＴの物体領域情報がステップＳ１２で設定した修正候補領域ＦＣを示すように、修正対象教師データＤＴを更新する。
【００５９】  そして、ステップＳ１７の実行後、又は、ステップＳ１６において第２識別器の識別精度が第１識別器の識別精度よりも低いと判定した場合（ステップＳ１６；Ｎｏ）、教師データ更新部１８は、ステップＳ１８の処理を実行する。この場合、教師データ更新部１８は、対象の修正対象教師データＤＴに対する修正候補領域ＦＣの設定を所定回数以上実行したか又はステップＳ１５の識別結果に基づく識別精度が所定の閾値以上となったか否か判定する（ステップＳ１８）。上述の所定回数は、例えば、学習データ生成処理の処理コストを勘案して予め定められる。上述の閾値は、例えば、アプリケーション等において必要となる識別精度を勘案して予め定められる。
【００６０】  そして、教師データ更新部１８は、対象の修正対象教師データＤＴに対する修正候補領域ＦＣの設定を所定回数以上実行した場合、又は、識別精度が所定の閾値以上となった場合（ステップＳ１８；Ｙｅｓ）、フローチャートの処理を終了する。なお、修正対象教師データ決定部１４は、例えば、後述するステップＳ１５で得られる第２識別器の識別結果に基づき識別が失敗したと判定された教師データを修正対象教師データＤＴとして特定し、ステップＳ１２へ処理を戻してもよい。一方、教師データ更新部１８は、修正候補領域ＦＣの設定が所定回数未満である場合であって、識別精度が所定の閾値未満である場合（ステップＳ１８；Ｎｏ）、ステップＳ１２へ処理を戻す。
【００６１】  次に、第１実施形態に基づく効果について補足説明する。
【００６２】  一般に、識別精度向上のためには、識別対象の識別に適するように教師データ（詳しくは、正解となる物体領域）を変更する必要があるが、人手による変更には多大なコストが生じる。そして、物体検出・識別問題において、現在提案されている手法では、予め人手で付した教師データの物体領域に近づくように学習を行うものであるが、識別に適した物体の領域が選択されているとは言えない。このように、物体検出・識別問題においては、設定すべき誤差関数は、識別精度が高くなれば小さくなるようにすべきであり、人手で付された教師データに近づいたかどうかの基準に基づくべきではない。
【００６３】  以上を勘案し、第１実施形態では、教師データ修正装置１０は、識別が失敗している教師データの物体領域情報を、修正後の教師データに基づき学習することで得られた識別器による識別精度が向上するように修正を行う。これにより、識別精度向上のために必要な教師データ修正を属人的な手法によらずに実行することができ、教師データ修正に要する負担を好適に削減することができる。
【００６４】  ＜第２実施形態＞  図７は、第２実施形態に係る教師データ修正システム１００Ａの概略構成を示す。第２実施形態に係る教師データ修正システム１００Ａは、第１識別器及び第２識別器の識別精度を判定するのに用いる画像である評価用データを記憶する評価用データ記憶部２４をさらに有する点において、第１実施形態の教師データ修正システム１００と異なる。その他、第１実施形態と同様の構成要素については、適宜同一の符号を付し、その説明を省略する。
【００６５】  記憶装置２０Ａは、評価用データ記憶部２４を有する。評価用データ記憶部２４は、評価用データとなる複数の画像を記憶する。なお、第１実施形態と同様、記憶装置２０Ａは、教師データ修正装置１０とデータ通信可能な複数の記憶装置から構成されてもよい。この場合、記憶装置２０を構成する複数の記憶装置は、識別器情報記憶部２１と領域設定情報記憶部２２と教師データ記憶部２３と評価用データ記憶部２４とを分散して記憶してもよい。
【００６６】  教師データ更新部１８は、第１識別器の識別精度と第２識別器の識別精度とを比較する場合、第１識別器及び第２識別器の夫々に対し、評価用データ記憶部２４に記憶された評価用データを入力することで、入力した評価用データの各々に対する識別結果を取得する。そして、教師データ更新部１８は、第１識別器が出力する識別結果に基づき第１識別器の識別精度を算出し、第２識別器が出力する識別結果に基づき第２識別器の識別精度を算出する。
【００６７】  図８は、第２実施形態において教師データ修正装置１０が実行するフローチャートの一例である。
【００６８】  まず、修正対象教師データ決定部１４は、識別器情報記憶部２１に記憶された識別器情報に基づき第１識別器を構成し、教師データ記憶部２３に記憶された各教師データに対応する学習画像に対する第１識別器の識別結果を取得する（ステップＳ２０）。次に、修正対象教師データ決定部１４は、第１識別器による識別に失敗した教師データを修正対象教師データＤＴとして特定する（ステップＳ２１）。そして、教師データ修正装置１０は、以下のステップＳ２２以降の処理を、ステップＳ２１において特定した修正対象教師データＤＴの各々に対して実行する。
【００６９】  まず、修正候補領域設定部１５は、修正対象教師データＤＴに対して修正候補領域ＦＣを設定する（ステップＳ２２）。そして、修正候補領域設定部１５は、ステップＳ２２で設定した修正対象教師データＤＴの修正候補領域ＦＣに対して特徴抽出を行う（ステップＳ２３）。そして、識別モデル学習部１７は、ステップＳ２３で抽出された特徴情報に基づく学習モデルの学習により第２識別器を生成する（ステップＳ２４）。
【００７０】  次に、教師データ更新部１８は、評価用データ記憶部２４に記憶された評価用データに対する第１識別器及び第２識別器の夫々の識別結果を取得する（ステップＳ２５）。そして、教師データ更新部１８は、第２識別器の識別結果に基づき算出した第２識別器の識別精度が第１識別器の識別結果に基づき算出した第１識別器の識別精度よりも向上した場合（ステップＳ２６；Ｙｅｓ）、修正候補領域ＦＣを反映するように修正対象教師データＤＴを更新し、識別器情報記憶部２１に記憶した第２識別器の識別器情報を第１識別器の識別器情報として記憶する（ステップＳ２７）。その後、教師データ更新部１８は、修正候補領域ＦＣの設定を所定回数以上実行した又は識別精度が所定の閾値以上となった場合（ステップＳ２８；Ｙｅｓ）、フローチャートの処理を終了する。一方、教師データ更新部１８は、修正候補領域ＦＣの設定が所定回数未満である場合であって識別精度が所定の閾値未満である場合（ステップＳ２８；Ｎｏ）、ステップＳ２２へ処理を戻す。
【００７１】  このように、第２実施形態によっても、教師データ修正装置１０は、修正対象教師データＤＴの物体領域情報を、修正後の教師データに基づき学習することで得られた識別器による識別精度が向上するように修正を行うことができる。これにより、識別精度向上のために必要な教師データ修正を属人的な手法によらずに実行することができ、教師データ修正に要する負担を好適に削減することができる。
【００７２】  ＜第３実施形態＞  図９は、第３実施形態に係る教師データ修正システム１００Ｂの概略構成である。第３実施形態に係る教師データ修正システム１００Ｂは、識別モデル学習部１７に代えて回帰モデル学習部１７Ｂを有し、識別器情報記憶部２１に代えて回帰器情報記憶部２１Ｂを有する点で第１実施形態に係る教師データ修正システム１００と異なる。その他、第１実施形態と同様の構成要素については、適宜同一の符号を付し、その説明を省略する。
【００７３】  回帰器情報記憶部２１Ｂは、入力された学習画像に対して回帰対象となる特徴点の位置を示す座標値等を出力するように設計された学習モデル（「回帰モデル」とも呼ぶ。）を学習することで生成した回帰器を機能させるために必要なパラメータ等の種々の情報である回帰器情報を記憶する。上述の回帰モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の回帰モデルであってもよい。具体的には、回帰器情報記憶部２１Ｂには、教師データ記憶部２３に記憶された教師データに基づき回帰モデルを学習することで得られた回帰器の識別器情報が記憶されている。この回帰器情報は、回帰モデル学習部１７Ｂにより生成される回帰器の回帰器情報に基づき更新される。
【００７４】  教師データ記憶部２３に記憶される教師データは、物体領域情報と、物体領域内の物体の識別情報に加えて、物体領域内において抽出すべき特定の特徴点の位置を示す特徴点情報を含んでいる。
【００７５】  修正対象教師データ決定部１４は、回帰器情報記憶部２１Ｂを参照することで構成した回帰器に、教師データ記憶部２３に記憶された教師データに対応する学習画像を入力することで得られた結果に基づき、修正対象教師データＤＴを決定する。この場合、回帰器は、回帰結果として対象となる特徴点の画像内の座標値などの位置情報を出力する。よって、修正対象教師データ決定部１４は、例えば、回帰器が出力する位置と、対応する教師データに含まれる特徴点情報が示す位置との距離を、回帰精度を表す指標値として算出する。そして、修正対象教師データ決定部１４は、当該距離が所定距離以上となる教師データを、回帰精度が低かった教師データとみなし、修正対象教師データＤＴとして特定する。
【００７６】  回帰モデル学習部１７Ｂは、回帰対象の予め定められた特徴点の座標を出力する演算モデルである回帰モデルを学習することで得られる回帰器を生成する。この場合、回帰モデル学習部１７Ｂは、特徴抽出部１６から供給される特徴情報に基づき、回帰モデルを学習することで、回帰器を生成する。以後では、「第１回帰器」は、回帰モデル学習部１７Ｂによる回帰器の生成以前に生成された、回帰器情報記憶部２１Ｂに記憶された回帰器情報に基づく回帰器を指し、「第２回帰器」は、回帰モデル学習部１７Ｂが生成した回帰器情報に基づく回帰器を指すものとする。
【００７７】  教師データ更新部１８は、回帰モデル学習部１７Ｂが生成した第２回帰器の回帰結果に基づく第２回帰器の回帰精度と、第１回帰器の回帰結果に基づく第１回帰器の回帰精度との比較結果を示す精度比較情報Ｉｃを修正候補領域設定部１５へ供給する。この場合、教師データ更新部１８は、例えば、第２回帰器が出力する位置と、対応する教師データに含まれる特徴点情報が示す位置との距離が短いほど、第２回帰器の回帰精度が高いと判定する。なお、教師データ更新部１８は、複数の教師データの学習画像を第２回帰器に入力した場合には、入力した全学習画像に対して算出される上述の距離の平均値（又はその他の代表値）が短いほど、第２回帰器の回帰精度が高いと判定する。同様に、教師データ更新部１８は、例えば、第１回帰器が出力する座標値と、対応する教師データに含まれる特徴点情報が示す座標値との距離が短いほど、第１回帰器の回帰精度が高いと判定する。
【００７８】  また、教師データ更新部１８は、第２回帰器の回帰結果が所定回帰精度以上となった場合、または、同一の修正対象教師データＤＴに対して修正候補領域ＦＣを所定の規定回数以上設定したと判断した場合、対象の修正対象教師データＤＴに対する修正候補領域ＦＣの設定処理を終了する。
【００７９】  図１０（Ａ）は、対象の特徴点を鼻とする教師データに対応する学習画像３３上に、修正対象教師データＤＴに付された物体領域情報が示す顔の物体領域「Ｆ３」と特徴点情報が示す鼻の位置「Ｐ１」を明示した図である。図１０（Ｂ）は、修正対象教師データＤＴの画像上に、第２回帰器の回帰結果に基づき特定された鼻の位置「Ｐｒ１」を明示した図である。図１０（Ｃ）は、物体領域Ｆ３に基づき設定した修正候補領域「ＦＣｅ」と、修正候補領域ＦＣｅを反映した教師データにより学習した第２回帰器の回帰結果に基づく鼻の位置「Ｐｒ２」を明示した図である。なお、ここでは、物体領域Ｆ３及び位置Ｐｒ１、Ｐｒ２を破線により示し、位置Ｐ１及び修正候補領域ＦＣｅを実線により示している。
【００８０】図１０（Ａ）、（Ｂ）に示すように、対象の教師データの物体領域情報が示す物体領域Ｆ３は、帽子を含む顔の領域に設定されており、第２回帰器の回帰結果に基づく鼻の位置Ｐｒ１と特徴点情報が示す鼻の位置Ｐ１との距離が所定距離以上となっている。この場合、教師データ修正装置１０Ｂは、対象の教師データを修正対象教師データＤＴとみなし、修正候補領域ＦＣの設定を行う。
【００８１】  図１０（Ｃ）に示す修正候補領域ＦＣｅは、顔の領域全体を含みつつ、帽子の領域を含まないような領域に設定されている。この場合、修正候補領域ＦＣｅを反映した教師データにより学習した第２回帰器の回帰結果に基づく鼻の位置Ｐｒ２は、特徴点情報が示す鼻の位置Ｐ１と所定距離以下となっている。この場合、教師データ修正装置１０Ｂは、回帰精度が所定の閾値以上となったと判断し、修正候補領域ＦＣｅを反映するように修正対象教師データＤＴを更新する。
【００８２】  図１１は、第３実施形態において教師データ修正装置１０Ｂが実行するフローチャートの一例である。
【００８３】  まず、修正対象教師データ決定部１４は、識別器情報記憶部２１に記憶された回帰器情報に基づき第１回帰器を構成し、教師データ記憶部２３に記憶された各教師データの学習画像に対する第１回帰器の回帰結果を取得する（ステップＳ３０）。次に、修正対象教師データ決定部１４は、第１回帰器による回帰結果が示す特徴点の位置と、教師データの特徴点情報が示す位置との比較により修正対象教師データＤＴを特定する（ステップＳ３１）。例えば、修正対象教師データ決定部１４は、第１回帰器による回帰結果が示す特徴点の位置と、対応する教師データの特徴点情報が示す特徴点の位置との距離が所定距離以上となる教師データを修正対象教師データＤＴとして特定する。そして、教師データ修正装置１０Ｂは、以下のステップＳ３２以降の処理を、ステップＳ３１において特定した修正対象教師データＤＴの各々に対して実行する。
【００８４】  まず、修正候補領域設定部１５は、修正対象教師データＤＴに対して修正候補領域ＦＣを設定する（ステップＳ３２）。そして、修正候補領域設定部１５は、ステップＳ３２で設定した修正対象教師データＤＴの修正候補領域ＦＣに対して特徴抽出を行う（ステップＳ３３）。そして、識別モデル学習部１７は、ステップＳ３３で抽出された特徴情報に基づく学習モデルの学習により第２回帰器を生成する（ステップＳ３４）。
【００８５】  次に、教師データ更新部１８は、教師データ記憶部２３に記憶された教師データに対応する学習画像に対する第１回帰器及び第２回帰器の夫々の回帰結果を取得する（ステップＳ３５）。この場合の第１回帰器及び第２回帰器の回帰結果は、対象となる特徴点が存在すると推定される位置を示す。そして、教師データ更新部１８は、第２回帰器の回帰結果に基づき算出した第２回帰器の回帰精度（即ち回帰的に求められた位置精度）が第１回帰器の回帰結果に基づき算出した第１回帰器の回帰精度よりも向上したか否か判定する（ステップＳ３６）。
【００８６】  そして、教師データ更新部１８は、第２回帰器の回帰精度が第１回帰器の回帰精度よりも向上した場合（ステップＳ３６；Ｙｅｓ）、修正対象教師データＤＴを更新し、識別器情報記憶部２１に記憶した第２回帰器の回帰器情報を第１回帰器の回帰器情報として記憶する（ステップＳ３７）。この場合、教師データ更新部１８は、修正対象教師データＤＴの物体領域情報がステップＳ３２で設定した修正候補領域ＦＣを示すように、修正対象教師データＤＴを更新する。
【００８７】  その後、教師データ更新部１８は、修正候補領域ＦＣの設定を所定回数以上実行した場合、又は、回帰精度が所定の閾値以上となった場合（ステップＳ３８；Ｙｅｓ）、フローチャートの処理を終了する。一方、教師データ更新部１８は、修正候補領域ＦＣの設定が所定回数未満である場合であって、回帰精度が所定の閾値未満である場合（ステップＳ３８；Ｎｏ）、ステップＳ３２へ処理を戻す。
【００８８】  このように、第３実施形態によっても、教師データ修正装置１０Ｂは、修正対象教師データＤＴの物体領域情報を、修正後の教師データに基づき学習することで得られた回帰器による回帰精度が向上するように修正を行うことができる。これにより、回帰精度向上のために必要な教師データ修正を属人的な手法によらずに実行することができ、教師データ修正に要する負担を好適に削減することができる。
【００８９】  第３実施形態は、第２実施形態と組み合わせることが可能である。具体的には、第３実施形態に係る教師データ修正システム１００Ｂは評価用データ記憶部２４を有し、教師データ更新部１８は、評価用データ記憶部２４に記憶された評価用データに基づき第１回帰器及び第２回帰器の回帰精度を算出してもよい。
【００９０】  ＜第４実施形態＞  第３実施形態では、対象の特徴点の座標値を出力する回帰モデルを学習した回帰器を用いる例について説明した。これに代えて、第４実施形態に係る教師データ修正装置１０は、第３実施形態と同様の処理を、対象の特徴点の画素位置等を識別する識別モデルを学習した第１識別器及び第２識別器を用いて実行する。
【００９１】  この場合、識別モデル学習部１７は、例えば、第１識別器及び第２識別器について、入力された教師画像の画像に対し、画素毎に対象の特徴点の画素であるか否かの判定結果を示す２値画像又は信頼度マップを出力するように学習を行う。この場合、信頼度マップは、対象の特徴点に対する該当性を示す信頼度を入力された画像の画素毎に示したマップである。なお、信頼度マップは、画素毎に限られず、複数の画素から構成されるブロック毎の信頼度を示すものであってもよく、サブピクセル単位での信頼度を示すものであってもよい。
【００９２】  そして、教師データ更新部１８は、第２識別器の識別結果を取得した場合、例えば、第２識別器の識別結果である２値画像又は信頼度マップにより示される特徴点の位置と、対応する教師データの特徴点情報が示す特徴点の位置との距離が短いほど、第２識別器の識別精度が高いと判定する。「信頼度マップにより示される特徴点の位置」は、例えば、信頼度が最も高い画素位置である。また、教師データ更新部１８は、複数の教師データに対応する学習画像を第２識別器に入力した場合には、入力した全学習画像に対する上述の距離の平均値（又はその他の代表値）が短いほど、第２識別器の識別精度が高いと判定する。教師データ更新部１８は、第１識別器の識別精度についても、第２識別器の識別精度と同様に算出する。
【００９３】  また、修正対象教師データ決定部１４は、識別器情報記憶部２１を参照することで構成した第１識別器に教師データに対応する学習画像を入力することで得られた結果に基づき、修正対象教師データＤＴを決定する。この場合、例えば、修正対象教師データ決定部１４は、第１識別器の識別結果である２値画像又は信頼度マップにより示される特徴点の位置と、対応する教師データの特徴点情報が示す特徴点の位置との距離が所定距離以上となる教師データを修正対象教師データＤＴとして特定する。
【００９４】  このように、第４実施形態によっても、教師データ修正装置１０は、修正対象教師データＤＴの物体領域情報を、修正後の教師データに基づき学習することで得られた識別器による識別精度が向上するように修正を行うことができる。これにより、識別精度向上のために必要な教師データ修正を属人的な手法によらずに実行することができ、教師データ修正に要する負担を好適に削減することができる。
【００９５】  ＜変形例＞  教師データ修正装置１０は、修正対象教師データ決定部１４及び特徴抽出部１６に相当する機能を有しなくともよい。
【００９６】  図１２は、変形例における教師データ修正システム１００Ｃの概略構成である。図１２の例では、教師データ修正装置１０Ｃのプロセッサ１１は、機能的には、修正候補領域設定部１５と、学習部１７Ｃと、教師データ更新部１８とを有する。
【００９７】  この場合、修正候補領域設定部１５は、教師データ記憶部２３に記憶されている教師データのうち、所定の教師データを修正対象教師データＤＴとみなし、当該修正対象教師データＤＴに対して修正候補領域ＦＣを設定する。この場合、修正候補領域設定部１５は、教師データ記憶部２３に記憶されている任意の教師データを修正対象教師データＤＴとして選定してもよく、修正が必要である旨のメタデータが教師データに付されている場合には、当該メタデータを参照して修正対象教師データＤＴを決定してもよい。
【００９８】  そして、学習部１７Ｃは、修正候補領域設定部１５から供給された修正候補領域ＦＣを反映した教師データに基づき識別モデル又は回帰モデルの学習を行うことで、識別器又は回帰器（これらを総称して「出力器」とも呼ぶ。）を生成する。そして、教師データ更新部１８は、学習部１７Ｃで学習された第２出力器の識別精度又は回帰精度（「出力精度」とも呼ぶ。）に基づき、第１〜第４実施形態と同様の判定基準に従い、修正対象教師データＤＴを、修正候補領域ＦＣにより更新するか否か判定を行う。
【００９９】  なお、修正候補領域設定部１５は、教師データ更新部１８から精度比較情報Ｉｃを受信することなく、修正対象教師データＤＴに対して複数の修正候補領域ＦＣを設定してもよい。この場合、例えば、学習部１７Ｃは、複数の修正候補領域ＦＣに対する出力器を夫々生成し、教師データ更新部１８は、出力器の夫々に対する出力精度を比較し、最も出力精度が高い出力器の学習に用いた修正候補領域ＦＣにより、修正対象教師データＤＴを更新する。この場合、修正候補領域設定部１５と教師データ更新部１８とは、精度比較情報Ｉｃの授受を行う必要がない。
【０１００】  その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【０１０１】［付記１］  教師データ修正装置が実行する修正方法であって、  学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定し、  前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成し、  前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する、修正方法。
【０１０２】［付記２］  前記教師データを更新する処理は、前記修正候補領域の設定前の前記教師データに基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された第１出力器の精度よりも、前記修正候補領域に基づき学習された前記出力器である第２出力器の精度が高い場合、前記修正候補領域により前記教師データを更新する、付記１に記載の修正方法。
【０１０３】［付記３］  前記修正候補領域を設定する処理は、前記第１出力器の精度と前記第２出力器の精度との比較結果を示す情報に基づき、過去に設定した前記修正候補領域とは異なる修正候補領域を設定する、付記２に記載の修正方法。
【０１０４】［付記４］  前記修正候補領域を設定する処理は、前記第１出力器の精度と前記第２出力器の精度との比較結果を示す情報に基づき、前記修正候補領域の出力を行う学習モデルの学習を行う、付記２または３に記載の修正方法。
【０１０５】［付記５］  前記修正候補領域を設定する処理は、前記出力器の精度が閾値未満であって、かつ、前記修正候補領域を設定した回数が所定回数未満である場合、過去に設定した前記修正候補領域とは異なる修正候補領域を設定する、付記１〜４のいずれか一項に記載の修正方法。
【０１０６】［付記６］  前記修正候補領域に対応する画像から特徴を抽出し、  前記出力器を生成する処理は、前記特徴に基づき学習を行うことで前記出力器を生成する、付記１〜５のいずれか一項に記載の修正方法。
【０１０７】［付記７］  記憶部に記憶された複数の学習画像に対する教師データに基づき学習された出力器が出力する、前記複数の学習画像に対する前記対象の物体に関する識別結果又は回帰結果に基づき、前記複数の学習画像に対する教師データから、前記修正候補領域を設定する対象となる教師データを決定する、付記１〜６のいずれか一項に記載の修正方法。
【０１０８】［付記８］  前記教師データを更新する処理は、前記出力器の精度を、前記出力器の学習に用いた教師データに対応する学習画像に対して前記出力器が出力する識別結果又は回帰結果に基づき算出する、付記１〜７のいずれか一項に記載の修正方法。
【０１０９】［付記９］  前記教師データを更新する処理は、前記出力器の精度を、前記出力器の学習に用いた教師データに対応する学習画像とは異なる評価用データに対して前記出力器が出力する識別結果又は回帰結果に基づき算出する、付記１〜７のいずれか一項に記載の修正方法。
【０１１０】［付記１０］  前記出力器を生成する処理は、前記修正候補領域に基づき、入力された画像に対して前記対象の物体における所定の特徴点の位置に関する識別結果又は回帰結果の出力を行うように学習された出力器を前記出力器として生成する、付記１〜９のいずれか一項に記載の修正方法。
【０１１１】［付記１１］  学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定部と、  前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習部と、  前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新部と、を有する教師データ修正装置。
【０１１２】［付記１２］  コンピュータが実行するプログラムであって、  学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定部と、  前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習部と、  前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新部として前記コンピュータを機能させるプログラム。
【０１１３】  以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【０１１４】  １０、１０Ｂ、１０Ｃ  教師データ修正装置  １１  プロセッサ  １２  メモリ  １３  インターフェース  ２０  記憶装置  ２１  識別器情報記憶部  ２２  領域設定情報記憶部  ２３  教師データ記憶部  １００、１００Ａ〜１００Ｃ  教師データ修正システム
【図１】
2020183706.tif 000003
【図２】
2020183706.tif 000004
【図３】
2020183706.tif 000005
【図４】
2020183706.tif 000006
【図５】
2020183706.tif 000007
【図６】
2020183706.tif 000008
【図７】
2020183706.tif 000009
【図８】
2020183706.tif 000010
【図９】
2020183706.tif 000011
【図１０】
2020183706.tif 000012
【図１１】
2020183706.tif 000013
【図１２】
2020183706.tif 000014
【手続補正書】
【提出日】令和3年6月23日(2021.6.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
教師データ修正装置が実行する修正方法であって、
学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定し、
前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成し、
前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する、修正方法。
【請求項２】
前記教師データを更新する処理は、前記修正候補領域の設定前の前記教師データに基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された第１出力器の精度よりも、前記修正候補領域に基づき学習された前記出力器である第２出力器の精度が高い場合、前記修正候補領域により前記教師データを更新する、請求項１に記載の修正方法。
【請求項３】
前記修正候補領域を設定する処理は、前記第１出力器の精度と前記第２出力器の精度との比較結果を示す情報に基づき、過去に設定した前記修正候補領域とは異なる修正候補領域を設定する、請求項２に記載の修正方法。
【請求項４】
前記修正候補領域を設定する処理は、前記第１出力器の精度と前記第２出力器の精度との比較結果を示す情報に基づき、前記修正候補領域の出力を行う学習モデルの学習を行う、請求項２または３に記載の修正方法。
【請求項５】
前記修正候補領域を設定する処理は、前記出力器の精度が閾値未満であって、かつ、前記修正候補領域を設定した回数が所定回数未満である場合、過去に設定した前記修正候補領域とは異なる修正候補領域を設定する、請求項１〜４のいずれか一項に記載の修正方法。
【請求項６】
前記修正候補領域に対応する画像から特徴を抽出し、
前記出力器を生成する処理は、前記特徴に基づき学習を行うことで前記出力器を生成する、請求項１〜５のいずれか一項に記載の修正方法。
【請求項７】
記憶部に記憶された複数の学習画像に対する教師データに基づき学習された出力器が出力する、前記複数の学習画像に対する前記対象の物体に関する識別結果又は回帰結果に基づき、前記複数の学習画像に対する教師データから、前記修正候補領域を設定する対象となる教師データを決定する、請求項１〜６のいずれか一項に記載の修正方法。
【請求項８】
前記教師データを更新する処理は、前記出力器の精度を、前記出力器の学習に用いた教師データに対応する学習画像に対して前記出力器が出力する識別結果又は回帰結果に基づき算出する、請求項１〜７のいずれか一項に記載の修正方法。
【請求項９】
学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定手段と、
前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習手段と、
前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新手段と、
を有する教師データ修正装置。
【請求項１０】
コンピュータが実行するプログラムであって、
学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定手段と、
前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習手段と、
前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新手段
として前記コンピュータを機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
教師データ修正装置の一の態様は、教師データ修正装置であって、学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定手段と、前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習手段と、前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新手段と、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
プログラムの一の態様は、コンピュータが実行するプログラムであって、学習に用いられる学習画像内において対象の物体が存在する物体領域を示す教師データに対し、前記物体領域の修正候補となる領域である修正候補領域を設定する修正候補領域設定手段と、前記修正候補領域に基づき、入力された画像に対して前記対象の物体に関する識別結果又は回帰結果の出力を行うように学習された出力器を生成する学習手段と、前記出力器が出力する識別結果又は回帰結果に基づき算出された前記出力器の精度に基づき、前記修正候補領域により前記教師データを更新する教師データ更新手段として前記コンピュータを機能させる。
【国際調査報告】
2020183706.tif 000015
2020183706.tif 000016