(57)【要約】【課題】適切な学習データを作成することができる学習データ作成支援方法を提供する。【解決手段】この学習データ作成支援方法は、対象物を撮影することによって取得された撮影画像に基づいて、対象物の属性の内容および行動の種別を認識するステップＳ１２と、認識された対象物の属性の内容および行動の種別をデータベースに格納するステップＳ１３と、データベースを参照し、認識された種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定するステップＳ１４と、閾値未満であると判定したときには、認識された属性の内容と異なる内容の属性を有する対象物が、認識された種別の行動を行っている状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを学習データとして上述の撮影画像に基づいて作成する指示を出力するステップＳ１５とを含む。【選択図】図７Ａ
2018067294.tif 000002
【特許請求の範囲】
【請求項１】
学習データの作成を支援する学習データ作成支援方法であって、
対象物を撮影することによって取得された撮影画像に基づいて、前記対象物の属性の内容および行動の種別を認識し、
認識された前記対象物の属性の内容および行動の種別をデータベースに格納し、
前記データベースを参照し、認識された前記種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定し、
前記閾値未満であると判定したときには、認識された前記属性の内容と異なる内容の属性を有する前記対象物が、認識された前記種別の行動を行っている状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを前記学習データとして前記撮影画像に基づいて作成する指示を出力する、
学習データ作成支援方法。
【請求項２】
前記撮影画像は、
前記対象物として人物を撮影することによって取得された画像であり、
前記対象物の属性の内容の認識では、
前記人物の年齢、性別、体格、服装、所持物および背景のうちの少なくとも１つの内容を、前記属性の内容として認識する
請求項１に記載の学習データ作成支援方法。
【請求項３】
前記学習データ作成支援方法は、さらに、
前記指示の出力に応じて作成された前記ＣＧデータを用いて、当該ＣＧデータによって表される画像と、前記対象物の属性の内容および行動の種別との関係を学習する
請求項１または２に記載の学習データ作成支援方法。
【請求項４】
前記学習データ作成支援方法は、さらに、
認識された前記対象物の属性の内容および行動の種別を認識結果として提示し、
提示された前記認識結果に含まれる前記属性の内容および行動の種別のうちの少なくとも１つの変更を受け付け、
前記データベースへの格納では、
変更後の認識結果を前記データベースに格納し、
前記発生頻度の判定では、
前記変更後の認識結果に含まれる種別の行動の発生頻度が前記閾値未満であるか否かを判定し、
前記ＣＧデータの作成の指示の出力では、
前記変更後の認識結果に含まれる属性の内容と異なる内容の属性を有する前記対象物が、前記変更後の認識結果に含まれる種別の行動を行っている状態を表す前記ＣＧデータの作成の指示を出力する
請求項１〜３の何れか１項に記載の学習データ作成支援方法。
【請求項５】
前記撮影画像は、
前記対象物として人物の形態および輝度を示す形態画像と、前記人物における各部位までの距離を示す距離画像とを含み、
前記対象物の属性の内容および行動の種別の認識では、
前記形態画像と、前記距離画像から生成された、前記人物の骨格または関節を示す骨格情報とに基づいて認識を行う
請求項１〜４の何れか１項に記載の学習データ作成支援方法。
【請求項６】
さらに、
前記ＣＧデータを作成する装置に対して前記骨格情報を出力する
請求項５に記載の学習データ作成支援方法。
【請求項７】
学習データの作成を支援する学習データ作成支援装置であって、
対象物を撮影することによって取得された撮影画像に基づいて、前記対象物の属性の内容および行動の種別を認識する認識部と、
認識された前記対象物の属性の内容および行動の種別をデータベースに格納する履歴作成部と、
前記データベースを参照し、認識された前記種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定する判定部と、
前記判定部によって前記閾値未満であると判定されたときには、認識された前記属性の内容と異なる内容の属性を有する前記対象物が、認識された前記種別の行動を行っている状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを前記学習データとして前記撮影画像に基づいて作成する指示を出力するＣＧ作成指示部と
を備える学習データ作成支援装置。
【請求項８】
学習データの作成を支援するためのプログラムであって、
対象物を撮影することによって取得された撮影画像に基づいて、前記対象物の属性の内容および行動の種別を認識し、
認識された前記対象物の属性の内容および行動の種別をデータベースに格納し、
前記データベースを参照し、認識された前記種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定し、
前記閾値未満であると判定したときには、認識された前記属性の内容と異なる内容の属性を有する前記対象物が、認識された前記種別の行動を行っている状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを前記学習データとして前記撮影画像に基づいて作成する指示を出力する、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データの作成を支援する方法、装置およびプログラムに関する。
【背景技術】
【０００２】
現在、Ｄｅｅｐ  ｌｅａｒｎｉｎｇなどの技術により、画像に映されている人物をはじめとする対象物の認識または検出の精度が向上している。Ｄｅｅｐ  ｌｅａｒｎｉｎｇの認識には、学習データが大量に必要である。学習データとしては、画像と、画像に映し出されている認識対象物に対する正解ラベルとが必要である。特許文献１には、正解ラベルを付与する技術が記載されている。また、学習データの画像として、ＣＧデータを活用することが知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６１２９５号公報
【特許文献２】特開２０１０−２１１７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の方法では、適切な学習データを作成することができないという問題がある。
【０００５】
そこで、本発明は、適切な学習データを作成することができる学習データ作成支援方法などを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る学習データ作成支援方法は、学習データの作成を支援する学習データ作成支援方法であって、対象物を撮影することによって取得された撮影画像に基づいて、前記対象物の属性の内容および行動の種別を認識し、認識された前記対象物の属性の内容および行動の種別をデータベースに格納し、前記データベースを参照し、認識された前記種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定し、前記閾値未満であると判定したときには、認識された前記属性の内容と異なる内容の属性を有する前記対象物が、認識された前記種別の行動を行っている状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを前記学習データとして前記撮影画像に基づいて作成する指示を出力する。
【０００７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本発明の学習データ作成支援方法は、適切な学習データを作成することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態における学習データ作成システムの構成を示す構成図である。
【図２】図２は、実施の形態における提示部によって表示される画面の一例を示す図である。
【図３】図３は、実施の形態における認識結果格納部に格納されている認識結果の一例を示す図である。
【図４】図４は、実施の形態における認識結果格納部に格納されている行動の発生頻度の一例を示す図である。
【図５】図５は、実施の形態におけるＣＧ作成装置の処理を説明するための図である。
【図６】図６は、実施の形態における学習データ作成システムの処理動作を示すフローチャートである。
【図７Ａ】図７Ａは、本発明の一態様に係る学習データ作成支援方法を示すフローチャートである。
【図７Ｂ】図７Ｂは、本発明の一態様に係る学習データ作成支援装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した特許文献１の方法に関し、以下の問題が生じることを見出した。
【００１１】
上述のように、Ｄｅｅｐ  ｌｅａｒｎｉｎｇによる学習には大量の画像が学習データとして必要である。また、その学習結果を用いた、画像に映し出されている人物の認識、検出または予測では、その人物の属性だけでなく、その人物の行動の認識なども求められている。しかし、人物の歩行など、日常的に頻繁に行われている行動を示す画像を、学習データとして数多く収集することは簡単であるが、特異行動の画像を学習データとして収集することは困難である。特異行動は、例えば「飛び出し」、「転倒」または「万引き」などである。上記特許文献１では、収集された画像の認識対象物に対して正解ラベルを付与するが、そもそも画像として収集されていない特異行動に対してまで学習データを生成することはできない。したがって、上記特許文献２の方法のように、特異行動の画像を、ＣＧデータを使って生成することが考えられる。特許文献２では、ＣＧデータを活用することにより、学習データのバリエーションを増やすことができる。
【００１２】
しかしながら、既に実写で大量の学習データが存在しているにもかかわらず、その学習データの実写の画像をＣＧで追加する必要はなく、実写での発生頻度が乏しい画像をＣＧで作成すべきであるが、特許文献２では、そのＣＧで作成すべきか否かの判断を行う方法については言及されていない。つまり、上記特許文献２の方法を用いても、どのような行動が特異行動であるかを判断することが難しい場合があり、その結果、適切な学習データを収集することができないという問題がある。
【００１３】
また、「飛び出し」、「転倒」または「万引き」などの特異行動は、発生頻度が低く、学習データが足りない。したがって、これらの特異行動の学習データが足りなければ、Ｄｅｅｐ  ｌｅａｒｎｉｎｇなどを用いた認識器による、これらの特異行動に対する認識精度はあまり高くない。したがって、ＣＧデータの生成のために、特異行動の学習データを自動で抽出することが困難である。
【００１４】
このような問題を解決するために、本発明の一態様に係る学習データ作成支援方法は、学習データの作成を支援する学習データ作成支援方法であって、対象物を撮影することによって取得された撮影画像に基づいて、前記対象物の属性の内容および行動の種別を認識し、認識された前記対象物の属性の内容および行動の種別をデータベースに格納し、前記データベースを参照し、認識された前記種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定し、前記閾値未満であると判定したときには、認識された前記属性の内容と異なる内容の属性を有する前記対象物が、認識された前記種別の行動を行っている状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを前記学習データとして前記撮影画像に基づいて作成する指示を出力する。例えば、前記撮影画像は、前記対象物として人物を撮影することによって取得された画像であり、前記対象物の属性の内容の認識では、前記人物の年齢、性別、体格、服装、所持物および背景のうちの少なくとも１つの内容を、前記属性の内容として認識する。
【００１５】
これにより、撮影画像から認識された種別の行動の発生頻度が閾値未満であるか否かが判定される。したがって、例えば人物である対象物が、例えば「飛び出し」、「転倒」または「万引き」などの発生頻度の低い種別の行動、すなわち特異行動を行っている撮影画像を自動的に抽出することができる。さらに、ＣＧデータの作成の指示が出力されるため、撮影画像に映し出された人物の属性の内容と異なる内容の属性を有する人物が特異行動を行っている状態を表すＣＧデータを学習データとして生成することができる。つまり、互いに異なる属性の内容を有する各人物が特異行動を行っている状態を表すＣＧデータを学習データとして大量に作成することができる。その結果、特異行動などに対する適切な学習データを作成および収集することができる。
【００１６】
また、前記学習データ作成支援方法は、さらに、前記指示の出力に応じて作成された前記ＣＧデータを用いて、当該ＣＧデータによって表される画像と、前記対象物の属性の内容および行動の種別との関係を学習してもよい。
【００１７】
これにより、作成されたＣＧデータを用いたＤｅｅｐ  ｌｅａｒｎｉｎｇなどの学習が行われるため、これまでに撮影されたことがない対象物が特異行動をしていても、その対象物の撮影画像に対する認識精度を向上することができる。
【００１８】
また、前記学習データ作成支援方法は、さらに、認識された前記対象物の属性の内容および行動の種別を認識結果として提示し、提示された前記認識結果に含まれる前記属性の内容および行動の種別のうちの少なくとも１つの変更を受け付け、前記データベースへの格納では、変更後の認識結果を前記データベースに格納し、前記発生頻度の判定では、前記変更後の認識結果に含まれる種別の行動の発生頻度が前記閾値未満であるか否かを判定し、前記ＣＧデータの作成の指示の出力では、前記変更後の認識結果に含まれる属性の内容と異なる内容の属性を有する前記対象物が、前記変更後の認識結果に含まれる種別の行動を行っている状態を表す前記ＣＧデータの作成の指示を出力してもよい。
【００１９】
これにより、認識結果に誤りがあっても、その誤りを変更によって正しく修正することができる。また、行動の種別が「不明」または「その他」として認識され場合にも、その「不明」または「その他」を正しい行動の種別に修正することができる。その結果、より適切なＣＧデータを作成および収集することができ、特異行動の認識精度をさらに向上することができる。
【００２０】
また、前記撮影画像は、前記対象物として人物の形態および輝度を示す形態画像と、前記人物における各部位までの距離を示す距離画像とを含み、前記対象物の属性の内容および行動の種別の認識では、前記形態画像と、前記距離画像から生成された、前記人物の骨格または関節を示す骨格情報とに基づいて認識を行ってもよい。
【００２１】
これにより、骨格情報に基づいて認識が行われるため、人物の行動の種別をより適切に認識することができる。
【００２２】
また、さらに、前記ＣＧデータを作成する装置に対して前記骨格情報を出力してもよい。
【００２３】
これにより、骨格情報が出力されるため、ＣＧデータの作成にその骨格情報を利用することができ、その骨格情報に示される人物の骨格または関節に対して種々の属性を付与することによって適切なＣＧデータを作成することができる。
【００２４】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００２５】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００２６】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００２７】
（実施の形態）
図１は、本実施の形態における学習データ作成システムの構成を示す構成図である。
【００２８】
本実施の形態における学習データ作成システム１０は、Ｄｅｅｐ  ｌｅａｒｎｉｎｇなどの機械学習に用いられる学習データを作成する少なくとも１つのコンピュータからなるシステムである。この学習データは、対象物の画像を示し、その対象物の属性の内容および行動の種別とその画像との関係を学習するために用いられる。対象物は例えば人物である。以下、撮影される対象物が人物として説明する。つまり、この学習データによる機械学習によって生成された認識モデルを用いれば、人物の画像から、その人物の属性の内容および行動の種別を認識、検出または予測することができる。
【００２９】
このような学習データ作成システム１０は、学習データ作成支援装置１００と、ＣＧ作成装置２００と、認識結果格納部３０１と、ＣＧデータ格納部３０２とを備える。
【００３０】
学習データ作成支援装置１００は、学習データの作成を支援する装置であって、撮影部１０１と、認識部１０２と、判定部１０３ａと、ＣＧ作成指示部１０３ｂと、履歴作成部１０４と、提示部１０５と、入力部１０６とを備える。
【００３１】
撮影部１０１は、対象物を撮影することによって、その対象物が映し出された撮影画像を取得する。例えば、撮影部１０１は、対象物として人物を撮影する。具体的には、撮影部１０１は、対象物の撮影では、対象物として人物の形態および輝度を示す形態画像と、その人物における各部位までの距離を示す距離画像とを含む撮影画像を取得する。さらに、撮影部１０１は、その距離画像から、人物の骨格または関節を示す骨格情報を生成する。なお、骨格情報は、骨格または関節の３次元位置を示す。撮影部１０１は、ＣＧ（Computer Graphics）データを作成する装置であるＣＧ作成装置２００にその骨格情報を出力する。
【００３２】
より具体的には、撮影部１０１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサと、距離画像センサとを備える。イメージセンサは、対象物を撮影することによって、少なくとも輝度によって人物の形態を示す形態画像を生成する。なお、形態画像は、輝度および色差によって人物の形態を示してもよく、ＲＧＢによって表現される画像であってもよい。距離画像センサは、例えば赤外線ＬＥＤ（Light Emitting Diode）の光を対象物に照射し、その光が反射して帰ってくるまでの時間を測定することによって、距離画像センサから対象物までの距離を求める。つまり、距離画像センサは、対象物を撮影することによって、撮影部１０１からその対象物における各部位までの距離を示す距離画像を生成する。
【００３３】
なお、本実施の形態では、撮影部１０１は距離画像センサを備えるが、この距離画像センサを備えることなく、撮影することによって、形態画像のみを撮影画像として取得してもよい。この場合には、撮影部１０１は、骨格情報を生成することなくなく、形態画像のみを撮影画像として認識部１０２に出力する。また、本実施の形態では、学習データ作成支援装置１００は、撮影部１０１を備えるが、その撮影部１０１を備えていなくてもよい。この場合には、学習データ作成支援装置１００は、学習データ作成支援装置１００の外部にある撮影部１０１から、撮影画像を取得してもよく、形態画像、距離画像および骨格情報のうちの少なくとも１つを取得してもよい。
【００３４】
提示部１０５は、例えば、液晶ディスプレイまたは有機ＥＬ（electroluminescence）などからなり、認識部１０２からの提示信号に応じた画像を表示する。このような提示部１０５は、認識部１０２によって認識された人物などの対象物の属性の内容および行動の種別を認識結果として提示する。
【００３５】
入力部１０６は、例えば、キーボード、マウス、またはタッチパネルなどの入力デバイスからなる。このような入力部１０６は、学習データ作成支援装置１００のユーザによる入力操作を受け付け、その受け付けられた入力操作に応じた信号である操作信号を認識部１０２に出力する。
【００３６】
認識部１０２は、上述の撮影画像に基づいて、人物などの対象物の属性の内容および行動の種別を認識する。具体的には、認識部１０２は、撮影部１０１によって生成された形態画像および骨格情報を取得し、その形態画像および骨格情報を認識モデルに入力することによって、その形態画像に映し出されている人物の属性の内容および行動の種別を認識する。なお、本実施の形態では、認識部１０２は、撮影部１０１から形態画像および骨格情報を含む撮影画像を取得するが、形態画像のみを撮影画像として取得してもよい。つまり、認識部１０２には、少なくとも撮影部１０１で撮影された画像データである形態画像のみが入力されればよく、骨格情報の認識部１０２への入力は必須ではない。この場合、認識部１０２は、骨格情報を用いずに撮影部１０１から取得した形態画像のみに基づいて、人物などの対象物の属性の内容および行動の種別を認識する。例えば、認識部１０２は、人物の年齢、性別、体格、服装、所持物および背景のうちの少なくとも１つの内容を上述の属性の内容として認識する。なお、背景の内容は、例えば「晴れ」、「曇り」または「室内」などである。体格の内容は、例えば、身長および体重の数値などである。また、認識部１０２は、「歩行」、「商品確認」、「転倒」、「飛び出し」、「商品選び」または「万引き」などを行動の種別として認識する。
【００３７】
さらに、認識部１０２は、上述の提示信号を提示部１０５に出力することによって、認識された人物の属性の内容および行動の種別を認識結果として提示部１０５に提示させる。さらに、認識部１０２は、その提示信号の出力によって、認識に用いられた形態画像を提示部１０５に提示させる。
【００３８】
また、認識部１０２は、入力部１０６から操作信号を取得すると、その操作信号に応じて、提示された認識結果に含まれる属性の内容および行動の種別のうちの少なくとも１つの変更を受け付ける。すなわち、入力部１０６は、提示された認識結果に含まれる属性の内容および行動の種別のうちの少なくとも１つを操作信号に応じて変更する。
【００３９】
さらに、認識部１０２は、撮影画像を識別するための画像識別情報を含み、その撮影画像に対する認識結果を示す認識結果情報を生成し、その認識結果情報を履歴作成部１０４および判定部１０３ａに出力する。なお、この認識結果情報に示される認識結果は、上述の変更が受け付けられた場合には、変更後の認識結果である。
【００４０】
履歴作成部１０４は、認識部１０２によって認識された対象物の属性の内容および行動の種別をデータベースである認識結果格納部３０１に格納する。つまり、履歴作成部１０４は、認識部１０２から出力された認識結果情報を認識結果格納部３０１に格納する。ここで、提示部１０５によって提示された認識結果に含まれる属性の内容および行動の種別のうちの少なくとも１つの変更が受け付けられた場合には、履歴作成部１０４は、変更後の認識結果をデータベースである認識結果格納部３０１に格納する。
【００４１】
判定部１０３ａは、データベースである認識結果格納部３０１を参照し、認識部１０２によって認識された種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定する。ここで、提示部１０５によって提示された認識結果に含まれる属性の内容および行動の種別のうちの少なくとも１つの変更が受け付けられた場合には、判定部１０３ａは、変更後の認識結果に含まれる種別の行動の発生頻度が閾値未満であるか否かを判定する。言い換えれば、提示部１０５によって提示された認識結果に含まれる行動の種別の変更が受け付けられた場合には、判定部１０３ａは、変更後の種別の行動の発生頻度が閾値未満であるか否かを判定する。
【００４２】
具体的には、判定部１０３ａは、認識部１０２から認識結果情報を取得すると、その取得された認識結果情報に含まれる行動の種別を特定する。そして、判定部１０３ａは、認識結果格納部３０１に格納されている、その特定された行動の種別を含む認識結果情報の数を発生頻度として導出する。そして、判定部１０３ａは、その導出された発生頻度が閾値未満であるか否かを判定し、判定結果を識別結果情報とともにＣＧ作成指示部１０３ｂに通知する。
【００４３】
ＣＧ作成指示部１０３ｂは、判定部１０３ａから通知された判定結果が閾値未満を示す場合、ＣＧ作成指示をＣＧ作成装置２００に出力する。このとき、ＣＧ作成指示部１０３ｂは、ＣＧ作成指示とともに認識結果情報をＣＧ作成装置２００に出力する。
【００４４】
つまり、ＣＧ作成指示部１０３ｂは、判定部１０３ａによって閾値未満であると判定されたときには、認識部１０２によって認識された属性の内容と異なる内容の属性を有する対象物が、認識された種別の行動を行っている状態を表すＣＧデータを学習データとして撮影画像に基づいて作成する指示を、ＣＧ作成装置２００に出力する。ここで、提示部１０５によって提示された認識結果に含まれる属性の内容および行動の種別のうちの少なくとも１つの変更が受け付けられた場合には、ＣＧ作成指示部１０３ｂは、変更後の認識結果に含まれる属性の内容と異なる内容の属性を有する対象物が、変更後の認識結果に含まれる種別の行動を行っている状態を表すＣＧデータの作成の指示を出力する。
【００４５】
ＣＧ作成装置２００は、コンピュータなどからなり、ＣＧ作成指示部１０３ｂから、ＣＧ作成指示とともに認識結果情報を取得すると、人物のＣＧデータを作成する。
【００４６】
具体的には、ＣＧ作成装置２００は、認識結果情報に含まれる画像識別情報によって識別される撮影画像に対応する骨格情報を撮影部１０１から取得する。ＣＧ作成装置２００は、認識結果情報によって示される人物の属性の内容を変更し、変更された属性の内容を含む認識結果情報を属性行動情報として生成する。そして、ＣＧ作成装置２００は、その変更された内容の属性を有する人物が、その認識結果情報によって示される種別の行動を行っている状態を表すＣＧデータを作成する。つまり、ＣＧ作成装置２００は、取得した認識結果情報に示される属性の内容と異なる内容の属性を有する人物のＣＧデータを、その骨格情報に示される骨格または関節に基づいて作成する。そして、ＣＧ作成装置２００は、その作成されたＣＧデータを学習データとしてＣＧデータ格納部３０２に格納する。このとき、ＣＧ作成装置２００は、その異なる内容の属性を示す属性行動情報をＣＧデータとともにＣＧデータ格納部３０２に格納する。
【００４７】
認識結果格納部３０１は、履歴作成部１０４を介して認識部１０２から出力される認識結果情報を記録するための記録領域を有するメモリまたはハードディスクなどの記録媒体である。
【００４８】
ＣＧデータ格納部３０２は、ＣＧ作成装置２００によって作成されたＣＧデータと属性行動情報とを記録するための記録領域を有するメモリまたはハードディスクなどの記録媒体である。
【００４９】
また、認識部１０２は、ＣＧ作成指示部１０３ｂによる指示の出力に応じて作成されたＣＧデータを用いて、そのＣＧデータによって表される画像と、対象物の属性の内容および行動の種別との関係を学習する。つまり、認識部１０２は、ＣＧデータ格納部３０２に格納されているＣＧデータと、そのＣＧデータに対応する属性行動情報とをそれぞれ学習データとして用いて、認識モデルをバージョンアップする。
【００５０】
図２は、提示部１０５によって表示される画面の一例を示す図である。
【００５１】
提示部１０５は、認識部１０２から提示信号を取得すると、その提示信号にしたがった画面１０５ａを提示する。画面１０５ａは、認識部１０２による認識に用いられた撮影画像に含まれる形態画像と、その撮影画像に対する認識結果（人物の属性の内容および行動の種別）とを含む。
【００５２】
例えば、認識結果には、人物が有する複数の属性のそれぞれの内容と、その人物の行動の種別とが含まれる。より具体的には、複数の属性は、例えば性別、身長、体重、年齢、所持物、服装および背景である。これらの複数の属性の内容は、例えば性別「男」、身長「１８５ｃｍ」、体重「７５ｋｇ」、年齢「２０才」、所持物「なし」、服装「トレーニングウェア」および背景「室内」である。また、行動の種別は、例えば「歩行」である。
【００５３】
ユーザは、提示部１０５によって提示されたその認識結果を形態画像と比較しながら閲覧する。そして、ユーザは、その認識結果に含まれる複数の属性の内容および行動の種別うちの何れかを変更したい場合には、入力部１０６を操作することによって、その内容または種別が表示されている領域を選択する。認識部１０２は、例えば、その選択された領域の色を提示部１０５に変更させ、さらに、その領域に対応する内容または種別の変更を受け付けるウィンドウ１０５ｂを画面１０５ａ内に表示させる。
【００５４】
具体的には、行動の種別「歩行」の領域が選択されると、提示部１０５は、行動の種別「歩行」の変更を受け付けるウィンドウ１０５ｂを画面１０５ａ内に表示させる。
【００５５】
ユーザは、入力部１０６を操作することによって、ウィンドウ１０５ｂ内に、行動の種別として例えば「転倒」を表示させて、例えば「ＯＫ」と表示されたボタンを選択する。これにより、認識部１０２は、認識結果に含まれる行動の種別を「歩行」から「転倒」に変更する。そして、認識部１０２は、変更された認識結果を示し、その形態画像に対応する画像識別情報を含む認識結果情報を生成し、その認識結果情報を履歴作成部１０４および判定部１０３ａに出力する。なお、提示部１０５によって提示された認識結果に対して変更が行われなければ、認識部１０２は、変更されていない認識結果を示し、その形態画像に対応する画像識別情報を含む認識結果情報を生成する。そして、認識部１０２は、その認識結果情報を履歴作成部１０４および判定部１０３ａに出力する。
【００５６】
なお、入力部１０６および提示部１０５を用いた上述のような認識結果の変更は、元の認識結果に誤りがある場合に、その誤りを正すために行われる。あるいは、元の認識結果に含まれる属性の内容または行動の種別が「不明」または「その他」などである場合に、その「不明」または「その他」を、正しい内容または種別にラベリングするために、上述の変更が行われる。
【００５７】
このような認識結果の変更によって、不適切なＣＧデータが作成されてしまうことをさらに抑制することができる。
【００５８】
図３は、認識結果格納部３０１に格納されている認識結果の一例を示す図である。
【００５９】
履歴作成部１０４は、認識部１０２によって認識結果情報が生成されるごとに、その認識結果情報を認識結果格納部３０１に格納する。これにより、認識結果の履歴が作成される。この認識結果情報は、図３に示すように、画像識別情報を含み、その画像識別情報によって識別される撮影画像に対して認識された人物の複数の属性の内容と、その人物の行動の種別とを示す。例えば、認識結果情報は、画像識別情報「ＩＤ１０１」を含み、その画像識別情報によって識別される撮影画像に対して認識された性別「男」、身長「１７０ｃｍ」、体重「６０ｋｇ」、年齢「３０歳」、所持物「鞄」、服装「スーツ」、および背景「晴れ」をそれぞれ属性の内容として示す。さらに、その認識結果情報は、画像識別情報「ＩＤ１０１」によって識別される撮影画像に対して認識された行動「歩行」を行動の種別として示す。認識結果格納部３０１には、このような認識結果情報が生成されるごとに履歴として格納される。
【００６０】
図４は、認識結果格納部３０１に格納されている行動の発生頻度の一例を示す図である。
【００６１】
判定部１０３ａは、認識部１０２から認識結果情報を取得すると、認識結果格納部３０１を参照し、その認識結果情報に示されている種別の行動の発生頻度を導出する。例えば、判定部１０３ａは、その取得した認識結果情報によって示される行動の種別として「転倒」を特定する。この場合、判定部１０３ａは、認識結果格納部３０１に格納されている全ての認識結果情報のうち、行動の種別として「転倒」を示す認識結果情報の数を、その種別の行動の発生頻度として導出する。例えば、判定部１０３ａは、その発生頻度「３回」を導出する。
【００６２】
そして、判定部１０３ａは、その導出された「転倒」の発生頻度「３回」を、あらかじめ定められた閾値（例えば５０回）と比較する。つまり、判定部１０３ａは、その発生頻度が閾値未満であるか否かを判定する。
【００６３】
ここで、判定部１０３ａによって閾値未満であると判定されると、ＣＧ作成指示部１０３ｂは、その行動の種別「転倒」に対応するＣＧデータのＣＧ作成指示をＣＧ作成装置２００に出力する。このとき、ＣＧ作成指示部１０３ｂは、認識部１０２から判定部１０３ａを介して認識結果情報を取得し、その認識結果情報とともにＣＧ作成指示をＣＧ作成装置２００に出力する。
【００６４】
図５は、ＣＧ作成装置２００の処理を説明するための図である。
【００６５】
ＣＧ作成装置２００は、ＣＧ作成指示部１０３ｂからＣＧ作成指示とともに認識結果情報を取得すると、その認識結果情報に含まれる画像識別情報によって識別される撮影画像から生成された骨格情報を撮影部１０１に要求する。撮影部１０１は、ＣＧ作成装置２００からの要求に応じてその骨格情報をＣＧ作成装置２００に出力する。
【００６６】
ＣＧ作成装置２００は、撮影部１０１からその骨格情報を取得すると、その骨格情報に示される人物の骨格または関節の３次元位置に基づいて人物のＣＧデータを作成する。このとき、ＣＧ作成装置２００は、ＣＧ作成指示部１０３ｂから取得した認識結果情報に示される複数の属性のうちの少なくとも１つの属性の内容を変更し、変更された属性の内容にしたがって人物のＣＧデータを作成する。
【００６７】
例えば、ＣＧ作成装置２００は、図５の（ａ）に示すように骨格情報と、体重「７５ｋｇ」および所持物「なし」をそれぞれ属性の内容として示す認識結果情報とを取得する。そして、ＣＧ作成装置２００は、図５の（ｂ）に示すように、その体重「７５ｋｇ」を「１００ｋｇ」に変更し、その所持物「なし」を「鞄」に変更する。さらに、ＣＧ作成装置２００は、変更された体重および所持物の内容を含む認識結果情報にしたがって、人物のＣＧデータを作成する。すなわち、ＣＧ作成装置２００は、性別「男性」、身長「１８５ｃｍ」、体重「１００ｋｇ」、年齢「２０歳」、所持物「鞄」、服装「トレーニングウェア」および背景「室内」のそれぞれを属性の内容として有する人物が、「転倒」の行動を行っている画像をＣＧデータとして作成する。そして、ＣＧ作成装置２００は、その作成したＣＧデータをＣＧデータ格納部３０２に格納する。このとき、ＣＧ作成装置２００は、属性の内容が変更された認識結果情報を属性行動情報として、そのＣＧデータに対応付けてＣＧデータ格納部３０２に格納する。
【００６８】
これにより、撮影部１０１によって得られた、特異行動である「転倒」を行っている人物の撮影画像（具体的には形態画像）だけでなく、その人物と属性の内容が異なる人物がその「転倒」を行っているＣＧデータを得ることができる。その結果、特異行動である「転倒」を行っている人物の画像である適切なＣＧデータを学習データとして多量に得ることができる。
【００６９】
さらに、認識部１０２は、ＣＧデータ格納部３０２に格納されているＣＧデータと、そのＣＧデータに対応付けられた属性行動情報とを学習データとして用いて、再学習を行う。これにより、特異行動の認識精度を向上することができる。
【００７０】
図６は、本実施の形態における学習データ作成システム１０の処理動作を示すフローチャートである。
【００７１】
まず、撮影部１０１は人物を撮影することによって撮影画像を取得する（ステップＳ１０１）。そして、認識部１０２は、その撮影画像に基づいて、人物の属性の内容および行動の種別を認識し（ステップＳ１０２）、その認識された人物の属性の内容および行動の種別を認識結果として提示部１０５に提示させる（ステップＳ１０３）。
【００７２】
認識部１０２は、入力部１０６からの操作信号に基づいて、その提示されている認識結果を変更するか否かを判定する（ステップＳ１０４）。ここで、例えば図２に示す「ＯＫ」と表示されたボタンが選択されることによって、認識結果を変更すると判定すると（ステップＳ１０４のＹｅｓ）、認識部１０２は、その認識結果を操作信号に基づいて変更する（ステップＳ１０５）。
【００７３】
履歴作成部１０４は、ステップＳ１０４で認識結果を変更しないと判定された場合（ステップＳ１０４のＮｏ）には、変更されていない認識結果を示す認識結果情報を認識結果格納部３０１に格納する。また、履歴作成部１０４は、ステップＳ１０５で認識結果が変更された場合には、変更後の認識結果を示す認識結果情報を認識結果格納部３０１に格納する（ステップＳ１０６）。
【００７４】
次に、判定部１０３ａは、認識結果情報によって示される種別の行動の発生頻度が閾値未満か否かを判定する（ステップＳ１０７）。ここで、その発生頻度が閾値以上であると判定されると（ステップＳ１０７のＮｏ）、学習データ作成システム１０はステップＳ１０１からの処理を繰り返し実行する。一方、その発生頻度が閾値未満であると判定されると（ステップＳ１０７のＮｏ）、ＣＧ作成指示部１０３ｂは、ＣＧ作成指示を認識結果情報とともにＣＧ作成装置２００に出力する（ステップＳ１０８）。
【００７５】
ＣＧ作成装置２００は、ＣＧ作成指示部１０３ｂから出力された認識結果情報に示される属性の内容を変更し（ステップＳ１０９）、その変更された属性の内容を有する人物のＣＧデータを作成する（ステップＳ１１０）。そして、ＣＧ作成装置２００は、その作成されたＣＧデータを、変更された属性の内容を示す属性行動情報とともにＣＧデータ格納部３０２に格納する（ステップＳ１１１）。
【００７６】
認識部１０２は、ＣＧデータ格納部３０２に格納されているＣＧデータおよびそのＣＧデータに対応する属性行動情報を用いて再学習を行う（ステップＳ１１２）。
【００７７】
なお、上述のステップＳ１０１〜Ｓ１０８およびＳ１１２は、学習データ作成支援装置１００の処理動作、すなわち、学習データ作成支援方法に含まれるステップである。また、上述のステップＳ１０９〜Ｓ１１１は、ＣＧ作成装置２００の処理動作である。
【００７８】
［効果など］
以上のように、本実施の形態における学習データ作成支援方法では、判定部１０３ａによって、撮影画像から認識された種別の行動の発生頻度が閾値未満であるか否かが判定される。したがって、例えば人物である対象物が、例えば「飛び出し」、「転倒」または「万引き」などの発生頻度の低い種別の行動、すなわち特異行動を行っている撮影画像を自動的に抽出することができる。さらに、ＣＧ作成指示部１０３ｂによって、ＣＧデータの作成の指示が出力されるため、撮影画像に映し出された人物の属性の内容と異なる内容の属性を有する人物が特異行動を行っている状態を表すＣＧデータを学習データとして生成することができる。つまり、互いに異なる属性の内容を有する各人物が特異行動を行っている状態を表すＣＧデータを学習データとして大量に作成することができる。その結果、特異行動などに対する適切な学習データを作成および収集することができる。
【００７９】
また、認識部１０２によって、作成されたＣＧデータを用いたＤｅｅｐ  ｌｅａｒｎｉｎｇなどの学習が再学習として行われるため、これまでに撮影されたことがない対象物が特異行動をしていても、その対象物の撮影画像に対する認識精度を向上することができる。
【００８０】
また、認識結果に誤りがあっても、提示部１０５および入力部１０６によって、その誤りを変更によって正しく修正することができる。また、行動の種別が「不明」または「その他」として認識され場合にも、その「不明」または「その他」を正しい行動の種別に修正することができる。その結果、より適切なＣＧデータを作成および収集することができ、特異行動の認識精度をさらに向上することができる。
【００８１】
また、撮影部１０１によって骨格情報が生成され、その骨格情報に基づいて認識が行われるため、人物の行動の種別をより適切に認識することができる。
【００８２】
また、撮影部１０１から骨格情報が出力されるため、ＣＧ作成装置２００は、ＣＧデータの作成にその骨格情報を利用することができる。その結果、その骨格情報に示される人物の骨格または関節に対して種々の属性を付与することによって適切なＣＧデータを作成することができる。
【００８３】
（その他の実施の形態）
以上、本発明の態様に係る学習データ作成支援方法などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものも、本発明の範囲内に含まれてもよい。
【００８４】
例えば、上記実施の形態では、提示部１０５および入力部１０６によって認識結果の提示および変更などを行ったが、その提示および変更を行わなくてもよい。
【００８５】
図７Ａは、本発明の一態様に係る学習データ作成支援方法を示すフローチャートである。
【００８６】
本発明の一態様に係る学習データ作成支援方法は、学習データの作成を支援する方法であって、ステップＳ１１〜Ｓ１５を含む。ステップＳ１１では、対象物を撮影することによって撮影画像を取得する。ステップＳ１２では、撮影画像に基づいて、その対象物の属性の内容および行動の種別を認識する。ステップＳ１３では、認識された対象物の属性の内容および行動の種別をデータベースに格納する。ステップＳ１４では、そのデータベースを参照し、認識された種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定する。ステップＳ１５では、ステップＳ１４において閾値未満であると判定されたときには、認識された属性の内容と異なる内容の属性を有する対象物が、認識された種別の行動を行っている状態を表すＣＧデータを学習データとして上述の撮影画像に基づいて作成する指示を出力する。
【００８７】
図７Ｂは、本発明の一態様に係る学習データ作成支援装置の機能構成を示すブロック図である。
【００８８】
本発明の一態様に係る学習データ作成支援装置２０は、学習データの作成を支援する装置であって、撮影部２１、認識部２２、履歴作成部２３、判定部２４およびＣＧ作成指示部２５を備える。撮影部２１は、対象物を撮影することによって撮影画像を取得する。認識部２２は、その撮影画像に基づいて、その対象物の属性の内容および行動の種別を認識する。履歴作成部２３は、認識された対象物の属性の内容および行動の種別をデータベースに格納する。判定部２４は、そのデータベースを参照し、認識された種別の行動の発生頻度が予め定められた閾値未満であるか否かを判定する。ＣＧ作成指示部２５は、閾値未満であると判定したときには、認識された属性の内容と異なる内容の属性を有する対象物が、認識された種別の行動を行っている状態を表すＣＧデータを学習データとして上述の撮影画像に基づいて作成する指示を出力する。
【００８９】
この図７Ａに示す学習データ作成支援方法および図７Ｂに示す学習データ作成支援装置２０であっても、上記実施の形態と同様の作用効果を奏することができる。つまり、互いに異なる属性の内容を有する各人物が特異行動を行っている状態を表すＣＧデータを学習データとして大量に作成することができる。その結果、特異行動などに対する適切な学習データを作成および収集することができる。
【００９０】
なお、図７Ａに示す学習データ作成支援方法では、ステップＳ１１で対象物を撮影するが、対象物を撮影することなく、その対象物が映し出された撮影画像を取得してもよい。また、図７Ｂに示す学習データ作成支援装置２０は、撮影部２１を備えるが、その撮影部２１を備えていなくてもよい。この場合、学習データ作成支援装置２０の認識部２２は、データ作成支援装置２０の外部にある撮影部２１から、例えば無線または有線の通信媒体を介して撮影画像を取得する。
【００９１】
また、上記実施の形態では、対象物として人物を撮影し、その人物の属性の内容および行動の種別を認識したが、その対象物は、動く物体であれば、人物以外の物体であってもよい。例えば、対象物は車両であってもよい。この場合には、車両の属性の内容として、例えば、タイプ「乗用車」または「トラック」などを認識し、車両の行動の種別として、例えば、「急発進」、「急ブレーキ」または「スリップ」などを認識してもよい。
【００９２】
また、上記実施の形態では、距離画像から骨格情報を生成し、人物の属性の内容および行動の種別の認識にその骨格情報を用いたが、骨格情報を生成しなくてもよく、その骨格情報を認識に用いなくてもよい。このような場合には、形態画像のみを用いて人物の属性の内容および行動の種別を認識してもよい。
【００９３】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の学習データ作成支援装置および学習データ作成システムのそれぞれを実現するソフトウェアは、図６または図７Ａに示すフローチャートの各ステップをコンピュータに実行させる。
【００９４】
なお、以下のような場合も本発明に含まれる。
【００９５】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【００９６】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【００９７】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【００９８】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【００９９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１００】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１０１】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１０２】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０１０３】
本発明は、適切な学習データを作成することができ、例えば、人物の画像と、その人物の属性の内容および行動の種別との関係を学習するための学習データを作成する装置またはシステムなどに利用可能である。
【符号の説明】
【０１０４】
１０    学習データ作成システム
２０、１００    学習データ作成支援装置
２１、１０１    撮影部
２２、１０２    認識部
２３、１０４    履歴作成部
２４、１０３ａ    判定部
２５、１０３ｂ    ＣＧ作成指示部
１０５    提示部
１０６    入力部
２００    ＣＧ作成装置
３０１    認識結果格納部
３０２    ＣＧデータ格納部
【図１】
2018067294.tif 000003
【図２】
2018067294.tif 000004
【図３】
2018067294.tif 000005
【図４】
2018067294.tif 000006
【図５】
2018067294.tif 000007
【図６】
2018067294.tif 000008
【図７Ａ】
2018067294.tif 000009
【図７Ｂ】
2018067294.tif 000010