(57)【要約】【課題】マルチラベルを持つ画像データへのアノテーション作業量を低減する。【解決手段】本発明のマルチラベルデータ学習支援装置１は、ラベル付き画像データＤＢ４１、ラベル無し画像データＤＢ４２、および、ラベル関連情報を記憶するラベル関連情報ＤＢ４３が格納される記憶部４０と、ラベル付き画像データを取得して識別器１１１を生成する学習部１１と、識別器１１１によりラベル無し画像データに対して、マルチラベルを構成する各ラベルの推論処理を行う推論部１３と、推論処理で得られたラベル無し画像データについての各ラベルの推論結果と、ラベル関連情報で示されるラベル間の関連性とを比較して異なる場合に、当該ラベル無し画像データをアノテーション対象画像として選定するアノテーション画像選定部１４と、アノテーション対象画像を表示装置に表示させ、当該画像データの正解ラベルの入力を受け付けるアノテーション処理部２１と、を備える。【選択図】図１
2020101968.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して複数のラベルを示すマルチラベルを付与する識別器の学習を支援するマルチラベルデータ学習支援装置であって、
ラベル付き画像データを記憶するラベル付き画像データＤＢ（DataBase）、ラベル無し画像データを記憶するラベル無し画像データＤＢ、および、前記複数のラベル間の関係性を示すとともに前記画像データに付されるマルチラベルの内容の傾向を示すラベル関連情報を記憶するラベル関連情報ＤＢが格納される記憶部と、
前記ラベル付き画像データを取得し、機械学習により前記識別器を生成する学習部と、
生成した前記識別器を用いて前記ラベル無し画像データに対して、前記マルチラベルを構成する各ラベルの推論処理を行う推論部と、
前記推論処理で得られた前記ラベル無し画像データについての各ラベルの推論結果と、前記ラベル関連情報で示されるラベル間の関連性とを比較して異なる場合に、当該ラベル無し画像データを、画像データに正解ラベル付けを行う作業であるアノテーションを必要とする画像を示すアノテーション対象画像として選定するアノテーション画像選定部と、
選定された前記アノテーション対象画像を表示装置に表示させ、当該画像データの正解ラベルの入力を受け付け、受け付けた正解ラベルが付された画像データを、前記ラベル付き画像データとして前記ラベル付き画像データＤＢに記憶するアノテーション処理部と、
を備えることを特徴とするマルチラベルデータ学習支援装置。
【請求項２】
前記ラベル関連情報は、前記マルチラベルを構成する各ラベルの中から１つ以上のラベルがそれぞれ選択される、第１ラベルおよび第２ラベルを用いて、前記画像データの撮影領域を示す撮影場所ごとに、前記第１ラベルと前記第２ラベルとを対応付けた情報であり、
前記アノテーション画像選定部は、前記ラベル無し画像データの前記推論結果として得られた各ラベルの情報の中から前記第１ラベルおよび前記第２ラベルの情報を抽出し、前記ラベル関連情報として記憶された第１ラベルに対応付けた第２ラベルの情報で示されるラベル間の関連性と一致するか否かにより前記比較を行うこと
を特徴とする請求項１に記載のマルチラベルデータ学習支援装置。
【請求項３】
前記マルチラベルを構成する各ラベルのうち、前記第１ラベル、前記第２ラベルそれぞれに対応するラベルを定義するための入力画面を表示装置に表示させ、前記ラベル関連情報の入力を受け付けるラベル関連情報定義部を、さらに備えること
を特徴とする請求項２に記載のマルチラベルデータ学習支援装置。
【請求項４】
画像データに対して複数のラベルを示すマルチラベルを付与する識別器の学習を支援するマルチラベルデータ学習支援装置のマルチラベルデータ学習支援方法であって、
前記マルチラベルデータ学習支援装置は、
ラベル付き画像データを記憶するラベル付き画像データＤＢ、ラベル無し画像データを記憶するラベル無し画像データＤＢ、および、前記複数のラベル間の関係性を示すとともに前記画像データに付されるマルチラベルの内容の傾向を示すラベル関連情報を記憶するラベル関連情報ＤＢが格納される記憶部を備えており、
前記ラベル付き画像データを取得し、機械学習により前記識別器を生成するステップと、
生成した前記識別器を用いて前記ラベル無し画像データに対して、前記マルチラベルを構成する各ラベルの推論処理を行うステップと、
前記推論処理で得られた前記ラベル無し画像データについての各ラベルの推論結果と、前記ラベル関連情報で示されるラベル間の関連性とを比較して異なる場合に、当該ラベル無し画像データを、画像データに正解ラベル付けを行う作業であるアノテーションを必要とする画像を示すアノテーション対象画像として選定するステップと、
選定された前記アノテーション対象画像を表示装置に表示させ、当該画像データの正解ラベルの入力を受け付け、受け付けた正解ラベルが付された画像データを、前記ラベル付き画像データとして前記ラベル付き画像データＤＢに記憶するステップと、
を実行することを特徴とするマルチラベルデータ学習支援方法。
【請求項５】
コンピュータを、請求項１乃至請求項３のいずれか１項に記載のマルチラベルデータ学習支援装置として機能させるためのマルチラベルデータ学習支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラムに関する。
【背景技術】
【０００２】
近年、画像認識の分野では機械学習（特に、Deep Learning）を活用したシステムやサービスが増加している。Deep Learning（以下、「ＤＬ」と称する。）には、学習用の画像データに正解ラベルを付けて学習する教師あり学習と、正解ラベルを付けずに学習を行う教師なし学習がある。例えば、入力画像に写る物体が「何か」を認識する画像分類問題や画像に写る物体が「正常か異常か」を判断する故障診断、人物画像から年齢を推定するといった回帰問題などをＤＬで解くためには、教師あり学習を用いることが多い。
【０００３】
教師あり学習は、一般的に学習に用いる画像データが多ければ多い程、学習後に生成する識別器の性能（認識精度、汎化性能など）が向上する。しかし、教師あり学習には、画像データに正解ラベル付けを行う作業（アノテーション）に非常に大きな工数を要するという問題がある。
【０００４】
上記問題に対して、特許文献１に記載の技術では、ラベル無し画像データの中から、学習効果の高いデータを抽出し、アノテーション作業者（以下「アノテータ」と称する。）に画像データを提示する能動学習と呼ばれる手法を用いたシステムを提案している。
【０００５】
具体的には、まず、少量（例えば、数十から数百枚）のラベル付き画像データを用いて識別器を生成し、生成した識別器に大量（例えば、数千から数万枚）のラベル無し画像データを入力して認識処理を行う。次に、認識処理の出力値をもとに計算処理によって学習効果の高い画像データ（例えば、出力値のエントロピーを計算しエントロピーが大きい画像データ）を抽出する。ここでの学習効果の高い画像データとは、識別器が推定した結果が間違っている可能性の高い画像データを意味する。そして、推定した結果が間違っている可能性が高い画像データに、アノテータが正しいラベルを付与し、再度識別器を生成して、徐々に識別器の性能を高めていく能動学習と呼ばれる手法を用いる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−１６７８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術は、単一ラベル（１枚の画像データについて１つの正解ラベル）に対しては、アノテーションの高効率化を見込める。しかしながら、１枚の画像データについて複数の正解ラベルを付与するマルチラベル（例えば、人物の画像に対して、年齢、性別、服装などの複数のラベルを付けること）に対しては、単一ラベル時と比較してアノテーション工数がラベル数分、倍増する。よって、画像データに正解ラベルを付与するアノテータの負担も増加してしまう。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、マルチラベルを持つ画像データへのアノテーション作業量を低減することができる、マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を達成するため、本発明のマルチラベルデータ学習支援装置は、ラベル付き画像データを記憶するラベル付き画像データＤＢ（DataBase）、ラベル無し画像データを記憶するラベル無し画像データＤＢ、および、複数のラベル間の関係性を示すとともに画像データに付されるマルチラベルの内容の傾向を示すラベル関連情報を記憶するラベル関連情報ＤＢが格納される記憶部と、ラベル付き画像データを取得し、機械学習により識別器を生成する学習部と、生成した識別器を用いてラベル無し画像データに対して、マルチラベルを構成する各ラベルの推論処理を行う推論部と、推論処理で得られたラベル無し画像データについての各ラベルの推論結果と、ラベル関連情報で示されるラベル間の関連性とを比較して異なる場合に、当該ラベル無し画像データをアノテーションを必要とするアノテーション対象画像として選定するアノテーション画像選定部と、選定されたアノテーション対象画像を表示装置に表示させ、当該画像データの正解ラベルの入力を受け付けるアノテーション処理部と、を備えるものとした。
【発明の効果】
【００１０】
本発明によれば、マルチラベルを持つ画像データへのアノテーション作業量を低減する、マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係るマルチラベルデータ学習支援装置の構成を示すブロック図である。
【図２】本実施形態に係るラベル付き画像データＤＢに記憶されるラベル付き画像データ情報のデータ構成例を示す図である。
【図３】本実施形態に係るラベル無し画像データＤＢに記憶されるラベル無し画像データ情報（推論前）のデータ構成例を示す図である。
【図４】本実施形態に係るラベル無し画像データＤＢに記憶されるラベル無し画像データ情報（推論後）のデータ構成例を示す図である。
【図５】本実施形態に係るラベル関連情報ＤＢに記憶されるラベル関連情報のデータ構成例を示す図である。
【図６】本実施形態に係るマルチラベルデータ学習支援装置が実行する全体の処理の流れを示すフローチャートである。
【図７】本実施形態に係るマルチラベルデータ学習支援装置のアノテーション画像選定部が実行するアノテーション対象画像選定処理の流れを示すフローチャートである。
【図８】本実施形態に係るラベル無し画像データＤＢに記憶されるラベル無し画像データ情報（アノテーション候補画像決定後）のデータ構成例を示す図である。
【図９】本実施形態に係るラベル関連情報定義ＵＩ（User Interface）を例示する図である。
【図１０】本実施形態に係るラベル関連情報履歴確認ＵＩを例示する図である。
【図１１】本実施形態に係るラベル関連情報定義ＵＩを例示する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態（以下、「本実施形態」と称する。）について図面を参照して詳細に説明する。
【００１３】
本実施形態に係るマルチラベルデータ学習支援装置１（後記する、図１参照）は、画像の撮影場所ごとに異なるマルチラベルの「ラベル間の関連性」を、「ラベル関連情報」として定義し、学習効果の高いデータを能動学習するために抽出する際に、ラベル関連情報を活用することにより、マルチラベルを持つ画像データへのアノテーション作業量を低減する。
本実施形態における「ラベル間の関連性」とは、画像を撮影する場所における、撮影対象となる画像データに付されるマルチラベルの内容の「傾向」を意味する。年齢ラベル、性別ラベル、服装ラベルの３種類のマルチラベルを持つ人物画像の例で説明すると、「この場所では、２０代（年齢ラベル）の男性（性別ラベル）は、スーツ（服装ラベル）を着ている可能性が高い」、「この場所では、３０代（年齢ラベル）でスカート（服装ラベル）をはいている人は、女性（性別ラベル）の可能性が高い」といったように、画像を撮影する場所によって、マルチラベルの内容に傾向が得られることがある。この傾向を事前に「ラベル関連情報」として定義する。
【００１４】
マルチラベルデータ学習支援装置１では、撮影場所ごとに、上記のラベル関連情報を定義しておき、識別器がラベル無し画像データを推論した際に、例えば、「年齢：２０代、性別：男性、服装：作業着」と推論したとすると、「２０代男性は、スーツを着ている可能性が高い」という定義した傾向と異なる推論をしているため、このラベル無し画像データに対する推論が間違っている可能性が高くなる。この識別器が推論した結果について、間違っている可能性が高いと判断した画像を抽出し、マルチラベルを持つ画像データへのアノテーションを行う。これにより、マルチラベルデータ学習支援装置１によれば、マルチラベルを持つ画像について能動学習を行い、効率的に識別器の性能を高めることができるため、作業工数を低減することが可能となる。
以下、本実施形態に係るマルチラベルデータ学習支援装置１について、詳細に説明する。
【００１５】
＜マルチラベルデータ学習支援装置＞
図１は、本実施形態に係るマルチラベルデータ学習支援装置１の構成を示すブロック図である。
図１に示すように、マルチラベルデータ学習支援装置１は、制御部１０、入力部２０、出力部３０および記憶部４０を備えるコンピュータにより構成される。
【００１６】
入力部２０は、ネットワーク等を介して情報の送受信（入力）を行うための通信インタフェース（図示省略）や、タッチパネルやキーボード等の入力装置（図示省略）を介して、情報の入力を受け付ける機能を備える。この入力部２０への情報の入力は、アノテータ９が視覚的に操作できるようにユーザインタフェース（ＵＩ：User Interface）により実現してもよいし、ＣＳＶファイルのような媒体で入力できるようにしてもよい。
【００１７】
この入力部２０は、アノテーション処理部２１と、画像データ読込部２２と、ラベル関連情報定義部２３とを含んで構成される。
アノテーション処理部２１は、ラベル無し画像データに対して、アノテータ９等が付与した正解ラベルの情報を受け付けることにより、ラベル付き画像データを生成する。そして、アノテーション処理部２１は、生成したラベル付き画像データを、記憶部４０内の後記するラベル付き画像データＤＢ（DataBase）４１に記憶する。
【００１８】
画像データ読込部２２は、ラベル付き画像データとラベル無し画像データの入力を受け付ける。そして、画像データ読込部２２は、ラベル付き画像データを受け付けると、後記するラベル付き画像データ情報４１０（図２参照）で示される１レコードを生成した上で、そのラベル付き画像データを、記憶部４０内のラベル付き画像データＤＢ４１に記憶する。また、画像データ読込部２２は、ラベル無し画像データを受け付けると、後記するラベル無し画像データ情報４２０（図３参照）で示される１レコードを生成した上で、そのラベル無し画像データを、記憶部４０内のラベル無し画像データＤＢ４２に記憶する。
なお、画像データ読込部２２は、ラベル付きの画像データおよびラベル無し画像データをアノテータ９の操作により、１枚ずつ受け付けても良いし、ある特定のディレクトリ内に含まれている画像データとして一括で受け付けても良い。
また、画像データ読込部２２は、画像データの入力を受け付けると、当該画像データにラベルが付されているか否かを判定する機能を備える。そして、画像データ読込部２２は、ラベルが付されている場合には、その画像データをラベル付き画像データとして、ラベル付き画像データＤＢ４１に記憶する。また、画像データ読込部２２は、ラベルが付されていない場合には、そのデータをラベル無し画像データとして、ラベル無し画像データＤＢ４２に記憶する。
【００１９】
ラベル関連情報定義部２３は、アノテータ９等から、ラベル間の関連性を示すとともに、撮影対象となる画像データに付されるマルチラベルの内容の「傾向」を示すラベル関連情報、つまり、ラベル間の関連性の定義情報の入力を受け付ける。ラベル関連情報定義部２３は、受け付けたラベル関連情報を、記憶部４０内のラベル関連情報ＤＢ４３に記憶する。なお、ラベル関連情報の詳細は、図５を参照して後記する。また、図９〜図１１を参照して、ラベル関連情報をアノテータ９等が入力する際に利用するユーザインタフェース（ＵＩ）について説明する。
【００２０】
出力部３０は、ネットワーク等を介して情報の送受信（出力）を行うための通信インタフェース（図示省略）や、モニタ等の表示装置（図示省略）へ情報を出力するインタフェースの機能を備える。
出力部３０は、入力部２０および制御部１０の機能に基づき得られた結果である、識別器１１１の精度評価結果や、ラベル無し画像データの中からアノテーションを行う画像として選定された画像データ（アノテーション対象画像）、後記するラベル関連情報定義ユーザインタフェース２００の画面（図９，図１１）、ラベル関連情報履歴確認ユーザインタフェース２５０の画面（図１０）等を、表示装置に表示させる。
【００２１】
記憶部４０は、ハードディスクやフラッシュメモリ、ＲＡＭ（Random Access Memory）等により構成される。この記憶部４０には、ラベル付き画像データＤＢ４１、ラベル無し画像データＤＢ４２、ラベル関連情報ＤＢ４３や、その他、マルチラベルデータ学習支援装置１が実行する処理に必要な情報が記憶される。
【００２２】
図２は、本実施形態に係るラベル付き画像データＤＢ４１に記憶されるラベル付き画像データ情報４１０のデータ構成例を示す図である。
このラベル付き画像データＤＢ４１には、ラベル付き画像データそのもの（撮影画像）とともに、その画像データ毎（１レコード毎）に、当該画像データに関連する情報がラベル付き画像データ情報４１０として、例えばテーブル形式で格納される（図２参照）。
【００２３】
このラベル付き画像データ情報４１０には、図２に示すようにそのデータ項目として、撮影場所４１１、撮影画像保存先パス４１２、撮影画像に対するマルチラベル（ここでは例として、性別４１３、年代４１４、服装（上半身）４１５、服装（下半身）４１６の各ラベル）が格納される。
例えば、図２のラベル付き画像データ情報４１０の１行目（１つ目のレコード）に示すように、画像データの撮影場所４１１として「Ａ工場」が格納される。画像データの保存先を示す撮影画像保存先パス４１２として「A_001.jpg」が格納される。画像データに付されるラベル（マルチラベル）のラベル情報として、性別４１３が「男」、年代４１４が「３０代」、服装（上半身）４１５が「作業着」、服装（下半身）４１６が「作業着」のそれぞれの情報が格納される。
【００２４】
図３は、本実施形態に係るラベル無し画像データＤＢ４２に記憶されるラベル無し画像データ情報（推論前）４２０（４２０Ａ）のデータ構成例を示す図である。
このラベル無し画像データＤＢ４２には、ラベル無し画像データそのもの（撮影画像）とともに、その画像データに関連する情報がラベル無し画像データ情報４２０として、例えばテーブル形式で格納される（図３参照）。
なお、ラベル無し画像データ情報４２０は、マルチラベルデータ学習支援装置１の処置に伴い、格納されている状態のデータ項目が異なる。図３では、画像データ読込部２２がラベル無し画像データを取得し記憶部４０に記憶した段階であり、後記する制御部１０（推論部１３）による推論処理の前（推論前）の状態を示している。なお、この推論前状態のラベル無し画像データの情報を、図３では符号４２０Ａとして示している。
【００２５】
図３に示すように、このラベル無し画像データ情報（推論前）４２０（４２０Ａ）には、そのデータ項目として、撮影場所４２１、撮影画像保存先パス４２２、撮影画像に対するマルチラベル（性別４２３、年代４２４、服装（上半身）４２５、服装（下半身）４２６の各ラベル）、アノテーション候補４２７、関連度４２８が格納される。
撮影場所４２１、撮影画像保存先パス４２２、マルチラベル（性別４２３〜服装（下半身）４２６）は、図２で示したラベル付き画像データ情報４１０と同じ内容である。ただし、マルチラベルにおける各ラベルのフィールドは、空欄（「―」）である。アノテーション候補４２７および関連度４２８は、ラベル無し画像データの中から、アノテーションを実行するアノテーション画像（後記する「アノテーション対象画像」）を選定する際に必要となるデータ項目であり、詳細は後記する。
【００２６】
図１に戻り、制御部１０は、マルチラベルデータ学習支援装置１全体の制御を司り、学習部１１と、評価部１２と、推論部１３と、アノテーション画像選定部１４とを含んで構成される。
【００２７】
学習部１１は、ラベル付き学習データを用いて、ＤＬなどの機械学習を利用し識別器１１１を生成する。具体的には、学習部１１は、ラベル付き画像データＤＢ４１に記憶されたラベル付き画像データの中から所定量の画像データ（例えば、９割の画像データ）を選定し、機械学習により識別器１１１を生成する。学習部１１による、ラベル付き学習データの中からの所定量の学習データの選定は、例えば、ランダムに選定される。
【００２８】
評価部１２は、学習部１１が生成した識別器１１１の精度評価を行う。具体的には、評価部１２は、学習部１１が識別器１１１の生成に利用していないラベル付き画像データを用いて、識別器１１１の性能が所定の認識精度（目標の認識精度）に達したか否かを判定する。
所定の認識精度の情報は、事前にパラメータファイルなどに記述し記憶部４０に記憶しておいてもよいし、マルチラベルデータ学習支援装置１の起動時に入力部２０がアノテータ９等からの入力を受け付けて記憶部４０に記憶しておいてもよい。
【００２９】
推論部１３は、評価部１２が識別器１１１の性能について所定の認識精度に達していないと判定した場合に、学習部１１が生成した、その時点での識別器１１１を用いて、ラベル無し画像データＤＢ４２に記憶されているすべてのラベル無し画像データの推論処理を行う。
【００３０】
図４は、本実施形態に係るラベル無し画像データＤＢ４２に記憶されるラベル無し画像データ情報（推論後）４２０（４２０Ｂ）のデータ構成例を示す図である。
推論部１３は、識別器１１１を用いて各ラベル無し画像データについて、各ラベル（マルチラベル）の推論（推定）をした結果を、そのラベル無し画像データに対応するレコードのラベル無し画像データ情報として格納する。図４においては、性別４２３、年代４２４、服装（上半身）４２５、服装（下半身）４２６それぞれのラベルの推論結果がラベル情報として、ラベル無し画像データ情報４２０に格納される。なお、この推論後状態のラベル無し画像データの情報を、図４では符号４２０Ｂとして示している。
【００３１】
図１に戻り、アノテーション画像選定部１４は、推論部１３がラベル無し画像データの各ラベルについて推論した結果と、ラベル関連情報ＤＢ４３に記憶されたラベル関連情報４３０（図５参照）とを用いて、優先的にアノテーションを行う撮影画像（以下、「アノテーション対象画像」と称する。）を選定する。
【００３２】
まず、アノテーション画像選定部１４は、ラベル関連情報ＤＢ４３を参照し、アノテーション画像の選定に利用するラベル関連情報の読込みを行う。ここで、アノテーション画像選定部１４は、ラベル関連情報が未定義であった場合には、ラベル関連情報定義部２３を介して、アノテータ９等からのラベル関連情報の入力を受け付ける。なお、このラベル関連情報の定義に関する詳細は、後記する図９〜図１１（ラベル関連情報定義ユーザインタフェース、ラベル関連情報履歴確認ユーザインタフェース）を用いて説明する。
【００３３】
図５は、本実施形態に係るラベル関連情報ＤＢ４３に記憶されるラベル関連情報４３０のデータ構成例を示す図である。
このラベル関連情報４３０は、そのデータ項目として、ＩＤ４３１、撮影場所４３２、撮影画像に対するマルチラベル（ここでは例として、性別４３３、年代４３４、服装（上半身）４３５、服装（下半身）４３６の各ラベル）、説明ラベル４３７、目的ラベル４３８、関連度４３９が格納される。
【００３４】
ＩＤ４３１には、そのラベル関連情報（１レコード）に付されたユニークな識別子が格納される。撮影場所４３２には、その撮影画像の撮影場所が格納される。性別４３３、年代４３４、服装（上半身）４３５、服装（下半身）４３６は、マルチラベル（各ラベル）の例である。そして、説明ラベル４３７（第１ラベル）と目的ラベル４３８（第２ラベル）とは、以下に示すように、どのラベル同士が関連性を持つかを定義するものである。また、関連度４３９は、説明ラベル４３７と目的ラベル４３８との関連の強さ（例えば、０〜１．０の範囲）を定義するものである。
【００３５】
例えば、ＩＤ４３１が「A_001」のレコードで示すように、説明ラベル４３７を「性別」と「年代」、目的ラベル４３８を「服装（上半身）」、関連度４３９を「０．９」として定義した場合、「A_001」のレコードは、「Ａ工場では、２０代の男性の９割が服装（上半身）に作業着を着用している」という定義内容となる。また、ＩＤ４３１が「A_005」のレコードのように、説明ラベル４３７を「年代」「服装（上半身）」「服装（下半身）」、目的ラベル４３８を「性別」、関連度４３９を「０．８」として定義した場合、「A_005」のレコードは、「Ａ工場で撮影できる５０代で服装（上半身および下半身）がスーツの人物は、８割が男性である」という定義内容となる。なお、関連性のないラベルに関しては、「A_001」のレコードの服装（下半身）４３６のように、フィールドを空欄（「―」）としてもよい。
【００３６】
一方、アノテーション画像選定部１４は、ラベル関連情報４３０が定義済みだった場合、ラベル関連情報ＤＢ４３に格納されたラベル関連情報４３０の中から、アノテーションしようとする画像データと同一の撮影場所４３２のレコードを抽出する。そして、アノテーション画像選定部１４は、推論部１３が推論処理した結果と、抽出したラベル関連情報４３０とを用いて優先的にアノテーションを行うラベル無し画像データ（アノテーション対象画像）を選定する。なお、このアノテーション画像選定部１４による、アノテーション対象画像の選定処理については、後記する図７を参照して詳細に説明する。
【００３７】
なお、アノテーション画像選定部１４が選定したアノテーション画像は、出力部３０により、表示装置等に出力される。そして、アノテータ９等により付与された正解ラベルの情報を受け付け、新たにラベルが付された画像データをラベル付き画像データＤＢ４１に格納する。このとき、アノテーション画像として選定されたラベル無し画像データは、ラベル無し画像データＤＢ４２から削除される。
マルチラベルデータ学習支援装置１の学習部１１は、追加されたラベル付き画像データを含めて、さらに機械学習を行い識別器１１１を生成することにより識別器１１１の性能を向上させ、識別器１１１が所定の認識精度に達するまで上記の処理を繰り返す。
【００３８】
＜処理の流れ＞
次に、マルチラベルデータ学習支援装置１が実行する処理の流れについて説明する。まず、図６を参照し、全体の流れを説明する。そして、図７を参照して、アノテーション対象画像の選定処理の詳細を説明する。
【００３９】
図６は、本実施形態に係るマルチラベルデータ学習支援装置１が実行する全体の処理の流れを示すフローチャートである。
なお、マルチラベルデータ学習支援装置１の記憶部４０には、識別器１１１の性能を判断するための所定の認識精度（目標の認識精度）の情報が予め記憶されているものとする。
【００４０】
まず、マルチラベルデータ学習支援装置１の画像データ読込部２２は、ラベル付き画像データとラベル無し画像データの入力を受け付ける（ステップＳ１）。そして、画像データ読込部２２は、受け付けたラベル付き画像データについて、図２に示すラベル付き画像データ情報４１０を生成した上で、ラベル付き画像データＤＢ４１に格納する。また、画像データ読込部２２は、受け付けたラベル無し画像データについて、図３に示すラベル無し画像データ情報（推論前）４２０（４２０Ａ）を生成した上で、ラベル無し画像データＤＢ４２に格納する。
【００４１】
ここでは、例えば、マルチラベルデータ学習支援装置１は、少量（例えば、数十から数百枚）のラベル付き画像データと、大量（例えば、数千から数万枚）のラベル無し画像データとを受け付ける。なお、画像データ読込部２２が受け付けた画像データが、すべてラベル無し画像データであった場合には、アノテーション処理部２１が、受け付けたラベル無し画像データの中からランダムに画像データを選択し、出力部３０に出力することにより、アノテータ９等にアノテーションを実行させ、正解ラベルが付されたレベル付画像データを生成する。
【００４２】
次に、学習部１１は、ラベル付き画像データＤＢ４１に記憶されたラベル付き学習データを用いて、ＤＬなどの機械学習により識別器１１１を生成する（ステップＳ２）。ここで、学習部１１は、ラベル付き画像データの中から所定量（例えば、９割）の学習データをランダムに選定し、機械学習により識別器１１１を生成する。
【００４３】
続いて、評価部１２は、学習部１１が識別器１１１の生成に利用していないラベル付き画像データを用いて、識別器１１１の性能が所定の認識精度（目標の認識精度）以上か否かを判定する（ステップＳ３）。ここで、識別器１１１の性能が所定の認識精度（目標の認識精度）以上である場合には（ステップＳ３→Ｙｅｓ）、識別器１１１の学習が終了したものとして処理を終える。一方、所定の認識精度に達していない場合には（ステップＳ３→Ｎｏ）、次のステップＳ４に進む。
【００４４】
ステップＳ４において、推論部１３は、ステップＳ２において生成された識別器１１１を用いて、ラベル無し画像データＤＢ４２に記憶されているすべての画像データの各ラベルに対する推論処理を実行する。そして、推論部１３は、推論結果としての各ラベルの情報を、ラベル無し画像データ情報（推論後）４２０（４２０Ｂ）（図４参照）に格納する。
【００４５】
次に、アノテーション画像選定部１４は、ラベル関連情報ＤＢ４３（図１）を参照し、アノテーション画像の選定に利用するラベル関連情報４３０（図５参照）が定義済みか否かを判定する（ステップＳ５）。
ここで、アノテーション画像選定部１４は、例えば、ラベル関連情報４３０（図５）の撮影場所４３２の項目に、ラベル無し画像データ情報４２０（図４）の撮影場所４２１と同じ撮影場所が設定されているか等により、定義済みか否かを判定することができる。
【００４６】
そして、アノテーション画像選定部１４は、ラベル関連情報４３０が定義済みであった場合に（ステップＳ５→Ｙｅｓ）、定義済みのラベル関連情報を読み込む（ステップＳ６）。具体的には、アノテーション画像選定部１４は、ラベル関連情報ＤＢ４３に記憶されたラベル関連情報４３０（図５）の中から、例えば、アノテーションしようとしている画像データと同一の撮影場所４３２のレコードを、今回利用するラベル関連情報として抽出する。なお、アノテーション画像選定部１４は、ラベル関連情報４３０（図５）で示される情報のうち、ＩＤ４３１の情報を指定する情報を受け取り、今回利用するラベル関連情報としてもよい。
一方、アノテーション画像選定部１４は、定義済みでなかった場合には（ステップＳ５→Ｎｏ）、ラベル関連情報を定義する処理を行う（ステップＳ７）。なお、ラベル関連情報の定義に関する詳細は後記する（図９〜図１１参照）。
【００４７】
次に、アノテーション画像選定部１４は、ステップＳ４において行ったラベル無し画像データに対する各ラベルの推論結果と、定義されたラベル関連情報とを用いて、優先的にアノテーションを行うラベル無し画像データ（アノテーション対象画像）の選定を行う（ステップＳ８：アノテーション対象画像選定処理）。なお、このアノテーション対象画像選定処理の詳細は、図７を参照して後記する。
【００４８】
続いて、アノテーション画像選定部１４は、出力部３０を介して、選定したアノテーション対象画像を、表示装置に画面表示する（ステップＳ９）。そして、アノテーション処理部２１が、アノテータ９等からの正解ラベルの入力を受け付ける。即ち、選定したアノテーション対象画像についてのアノテーションを実行する（ステップＳ１０）。
【００４９】
アノテーション処理部２１は、新たに正解ラベルが付与された画像データ（ラベル付き画像データ）を、ラベル付き画像データＤＢ４１に追加するとともに、ラベル無し画像データＤＢ４２から、当該画像データの情報を削除する（ステップＳ１１）。
このとき、アノテーション処理部２１は、ラベル無し画像データ情報（推論後）４２０（４２０Ｂ）（図４参照）の各ラベルのフィールドに記憶された情報を、図３の推論前の状態に戻すようにリセットしてもよいし、そのまま保持し、推論処理を繰り返す度に上書きしてもよい。
【００５０】
続いて、マルチラベルデータ学習支援装置１は、ステップＳ２に戻り、識別器１１１の性能が所定の認識精度（目標の認識精度）以上になるまで（ステップＳ３参照）、上記の処理を繰り返す。
【００５１】
＜アノテーション対象画像選定処理＞
次に、マルチラベルデータ学習支援装置１のアノテーション画像選定部１４が実行するアノテーション対象画像選定処理について説明する。なお、このアノテーション対象画像選定処理は、図６のステップＳ８において実行される処理である。
図７は、本実施形態に係るマルチラベルデータ学習支援装置１のアノテーション画像選定部１４が実行するアノテーション対象画像選定処理の流れを示すフローチャートである。
【００５２】
まず、アノテーション画像選定部１４は、定義したラベル関連情報４３０（図５）を取得する（ステップＳ８１）。
そして、アノテーション画像選定部１４は、ラベル無し画像データＤＢ４２からラベル無し画像データを１つ選択する（ステップＳ８２）。
【００５３】
続いて、アノテーション画像選定部１４は、選択したラベル無し画像データの推論結果（図４参照）と、定義したラベル関連情報とを比較する、即ち、推論結果が定義したラベル関連情報と異なっているか否かを判定する（ステップＳ８３）。
具体的には、図４に示すラベル無し画像データ情報（推論後）４２０（４２０Ｂ）の選択したラベル無し画像データのレコードと、図５のラベル関連情報４３０のレコードとを比較して、説明ラベル４３７（第１ラベル）のラベル情報は一致するが目的ラベル（第２ラベル）のラベル情報が異なるレコードを探索する。例えば、図４の撮影画像保存先パス４２２が「A_101.jpg」のレコードは、図５のＩＤ４３１が「A_002」のレコードの説明ラベル（性別、年代）とラベル情報が「性別：男、年代：３０代」で一致しているが、目的ラベル（服装（上半身））のラベル情報が異なっている。
【００５４】
ステップＳ８３において、ラベル無し画像データ情報（推論後）４２０（４２０Ｂ）のレコードと、ラベル関連情報４３０のレコードと比較して、説明ラベル４３７のラベル情報は一致するが、目的ラベル４３８のラベル情報が異なるレコードを見つけた場合（ステップＳ８３→Ｙｅｓ）、そのラベル無し画像データを、アノテーション候補画像に決定する（ステップＳ８４）。
なお、アノテーション候補画像に決定されたラベル無し画像データには、図８のラベル無し画像データ情報（アノテーション候補画像決定後）４２０（４２０Ｃ）に示すように、アノテーション候補４２７にフラグ（例えば、「ＹＥＳ」）をたてる。また、アノテーション画像選定部１４は、ラベル無し画像データ情報（アノテーション候補画像決定後）４２０（４２０Ｃ）の関連度４２８の欄に、比較において異なっていると判定されたラベル関連情報４３０（図５）に記憶された関連度４３９の値を抽出して格納する。ここでは、図５のＩＤ４３１が「A_002」のレコードにおける関連度４３９の値「０．９」が、図８の撮影画像保存先パス４２２が「A_101.jpg」のレコードの関連度４２８の値「０．９」として格納される。
【００５５】
一方、ステップＳ８３において、該当するレコードが見つからなかった場合には（ステップＳ８３→Ｎｏ）、図８のラベル無し画像データ情報（アノテーション候補画像決定後）４２０（４２０Ｃ）に示すように、アノテーション候補４２７のフラグを、例えば「ＮＯ」として（フラグをたてずに）、次のステップＳ８５に進む。
【００５６】
ステップＳ８５において、アノテーション画像選定部１４は、ラベル無し画像データＤＢ４２に記憶されたラベル無し画像データのすべてを処理したか否かを判定する。そして、まだ処理していないラベル無し画像データがある場合には（ステップＳ８５→Ｎｏ）、ステップＳ８２に戻り、次のラベル無し画像データについて処理を続ける。一方、ラベル無し画像データのすべての処理を終えた場合には（ステップＳ８５→Ｙｅｓ）、ステップＳ８６に進む。
【００５７】
ステップＳ８６において、アノテーション画像選定部１４は、決定したアノテーション候補画像の数が、所定の閾値を超えたか否かを判定する。なお、このアノテーション候補画像の数に関する所定の閾値は、アノテーション処理を実行するラベル無し画像データの数を制限するための閾値であり、予め記憶部４０に格納しておく。
そして、所定の閾値を超えていなかった場合に（ステップＳ８６→Ｎｏ）、アノテーション画像選定部１４は、アノテーション候補画像のすべてを、アノテーションを実行するアノテーション対象画像に選定し（ステップＳ８７）、処理を終える。
【００５８】
一方、所定の閾値を超えていた場合に（ステップＳ８６→Ｙｅｓ）、アノテーション画像選定部１４は、ラベル無し画像データ情報（アノテーション候補画像決定後）４２０（４２０Ｃ）（図８）を参照し、アノテーション候補４２７のフラグがたっているラベル無し画像データのレコードの中で、関連度４２８の値が高い順に所定の閾値に達する数までアノテーション候補画像を、アノテーションを実行するアノテーション対象画像に選定し（ステップＳ８８）、処理を終える。
なお、関連度４２８の値が高い順に選定する理由は、関連度の値が高い程、説明ラベルと目的ラベルとの関連の強さが強いため、推論結果が定義したラベル関連情報と異なっている場合には、その推論が間違っている可能性が高くなるためである。
【００５９】
＜ユーザインタフェース＞
次に、本実施形態に係るマルチラベルデータ学習支援装置１のラベル関連情報定義部２３が提供するユーザインタフェース（以下、「ＵＩ」と称する。）について説明する。ラベル関連情報定義部２３は、ラベル関連情報定義ＵＩ２００（図９，図１１参照）と、ラベル関連情報履歴確認ＵＩ２５０を、出力部３０を介して表示装置に表示し、アノテータ９等によりラベル関連情報に関する定義の設定情報の入力を受け付け、ラベル関連情報ＤＢ４３にラベル関連情報４３０（図５）として記憶する。
【００６０】
図９は、本実施形態に係るラベル関連情報定義ＵＩ２００を例示する図である。アノテータ９は、新規または追加でラベル関連情報の定義を設定する場合に、このラベル関連情報定義ＵＩ２００を利用する。
【００６１】
まず、アノテータ９は、画像読込（メニュー）２０１により、ラベル関連情報を定義する撮影場所の撮影画像を選定する。選定した撮影画像は、画像表示領域２０２に表示される。また、選定した撮影画像の撮影場所は、撮影場所テキストボックス２０３に表示される。図９では、撮影場所として「Ａ工場」が表示される例を示している。ここで、新規にラベル関連情報を定義する場合には、ＩＤテキストボックス２０４に、ユニークなＩＤが自動で表示される。なお、このＩＤは、ユニークであれば、アノテータ９等が自由に設定してもよい。
【００６２】
次に、アノテータ９等により行われるラベル関連情報の定義の設定手法を説明する。
ラベル関連情報定義部２３は、関連性のあるラベルのラベル情報について、ラベルプルダウン２０５による選択を受け付ける。図９では性別ラベルにおいて「男性」を選択した例を示している。そして、その選択したラベルが、説明ラベル（「説明」）（第１ラベル）か目的ラベル（「目的」）（第２ラベル）かの選択を、関連種別プルダウン２０６により受け付ける。この際、説明ラベルと目的ラベルは、それぞれ１項目以上が選択される。
【００６３】
次に、アノテータ９により、当該ラベル関連情報の関連度が設定される。関連度の設定は、関連度スライダー２０７による設定でもよいし、関連度テキストエディタ２０８による設定でもよい。
【００６４】
定義したラベル関連情報は、登録ボタン２０９が押されることにより、新規にラベル関連情報４３０（図５）に登録される。なお、登録された情報は、ＣＳＶファイルの形式やバイナリファイルのような形式で出力することもできる。
また、出力したラベル関連情報は、ラベル関連情報定義読込（メニュー）２１０によりファイルを選択することで、ラベル関連情報ＤＢ４３（図１参照）にロードすることができる。ロードしたラベル関連情報は、履歴（ボタン）２１１が押されると、図１０のラベル関連情報履歴確認ＵＩ２５０として表示でき、ラベル関連情報を一覧で確認することができる。
アノテータ９は、図１０のラベル関連情報履歴確認ＵＩ２５０に表示されているラベル関連情報をマウス等で指定（例えば、ＩＤ「A_001」のレコードを指定）することにより、図１１に示すように、ラベル関連情報定義ＵＩ２００上で、定義内容の確認や修正を行うことが可能である。
【００６５】
このように、アノテータ９は、ラベル関連情報定義ＵＩ２００により、視覚的に分かりやすく簡易な手法で、ラベル関連情報の入力を行うことができる。よって、アノテータ９によるラベル関連情報の定義に関する負担を減らすことができる。
【００６６】
以上説明したように、本実施形態に係るマルチラベルデータ学習支援装置１、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラムによれば、画像の撮影場所ごとに異なるマルチラベルの「ラベル間の関連性」をラベル関連情報として事前に定義することにより、能動学習において学習効果の高いデータを抽出する際に、このラベル関連情報を活用しアノテーション対象画像を選定することができる。よって、マルチラベルを持つ画像データにおいても、アノテーションを効率的に行うこと、つまり、アノテーション作業量を低減することが可能となる。
【００６７】
なお、本実施形態においては、撮影場所が「Ａ工場」であり、撮影された人物について、「性別」「年代」「服装（上半身）」「服装（下半身）」のマルチラベルを付加する例として説明した。しかし、本発明はこれに限定されず、例えば、工場内の外観検査工程において撮影された物（工業製品や食品等）について、例えば「傷（キズ）の種類」「傷の位置」「汚れ」等に関するマルチラベルを付加するような場合にも用いることができる。このとき、「傷の種類」「傷の位置」「汚れ」等についてのラベル間の関連性と傾向をラベル関連情報として定義しておく。例えば、傷の種類に、線傷、ピンホール、スクラッチ、打痕などがある場合に、「Ｂ製品の外観検査ライン（撮影場所）では、線傷（傷の種類）が上部表面（傷の位置）にあると、赤い異物（汚れ）が付着している。」という定義内容で、ラベル関連情報を定義する。このように、撮影対象は人物に限定されるものではなく、様々な物などにマルチラベルを付す際にも、本発明を適用することが可能である。
【００６８】
また、本発明に係るラベル関連情報で定義される「撮影場所」は、工場や商業施設、公園、駅などの場所（エリア）に限定されず、画像に写っている撮影領域が特定されればよく、マルチラベルを付加する対象に応じて、アノテータ９により任意に定義可能である。例えば、店舗内や、店舗の入り口、会議室、製造ラインの一工程（外観検査）、製品の一部分を特定して撮影した領域などを、撮影領域として「撮影場所」に設定することができる。
【００６９】
また、本発明は、一般的なコンピュータのハードウェア資源を、マルチラベルデータ学習支援装置１の各機能として動作させるプログラム（マルチラベルデータ学習支援プログラム）によって実現することもできる。そして、プログラム（マルチラベルデータ学習支援プログラム）は、通信回線を介して配布したり、ＣＤ−ＲＯＭ等の記録媒体に記録して配布したりすることが可能である。
【符号の説明】
【００７０】
１      マルチラベルデータ学習支援装置
１０    制御部
１１    学習部
１２    評価部
１３    推論部
１４    アノテーション画像選定部
２０    入力部
２１    アノテーション処理部
２２    画像データ読込部
２３    ラベル関連情報定義部
３０    出力部
４０    記憶部
４１    ラベル付き画像データＤＢ
４２    ラベル無し画像データＤＢ
４３    ラベル関連情報ＤＢ
１１１  識別器
２００  ラベル関連情報定義ユーザインタフェース（ＵＩ）
２５０  ラベル関連情報履歴確認ユーザインタフェース（ＵＩ）
４１０  ラベル付き画像データ情報
４２０  ラベル無し画像データ情報
４３０  ラベル関連情報
４３７  説明ラベル（第１ラベル）
４３８  目的ラベル（第２ラベル）
【図１】
2020101968.tif 000003
【図２】
2020101968.tif 000004
【図３】
2020101968.tif 000005
【図４】
2020101968.tif 000006
【図５】
2020101968.tif 000007
【図６】
2020101968.tif 000008
【図７】
2020101968.tif 000009
【図８】
2020101968.tif 000010
【図９】
2020101968.tif 000011
【図１０】
2020101968.tif 000012
【図１１】
2020101968.tif 000013