(57)【要約】  情報処理装置（１０）は、事象検出部（１１０）、入力受付部（１２０）、および処理実行部（１３０）を備える。事象検出部（１１０）は、映像データから特定の事象を検出する。入力受付部（１２０）は、実行すべき処理を指定する入力をユーザから受け付ける。処理実行部（１３０）は、入力受付部（１２０）が受け付けた入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して学習データ記憶部（４０）に記憶する第２の処理を実行する。処理実行部（１３０）は、第２の処理において、特定の事象の検出結果が正しいか否かを、入力受付部（１２０）が受け付けた入力により指定された第１の処理の分類に基づいて識別し、映像データの少なくとも一部と、事象検出部（１１０）により検出された特定の事象のカテゴリを示すカテゴリ情報と、特定の事象の検出結果の正誤を示す正誤情報と、を含む学習データを生成する。
2020136761.tif 000002
【特許請求の範囲】
【請求項１】
映像データから特定の事象を検出する事象検出手段と、
実行すべき処理を指定する入力をユーザから受け付ける入力受付手段と、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行する処理実行手段と、を備え、
前記処理実行手段は、前記第２の処理において、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成する、
情報処理装置。
【請求項２】
前記第１の処理は、前記特定の事象の検出結果が正しいことを前提に実行される肯定的処理、および、前記特定の事象の検出結果が誤っていることを前提に実行される否定的処理のいずれかに分類されており、
前記処理実行手段は、前記第２の処理において、
前記入力により指定された前記第１の処理が前記肯定的処理に分類される場合、前記特定の事象の検出結果が正しいと識別し、
前記入力により指定された前記第１の処理が前記否定的処理に分類される場合、前記特定の事象の検出結果が誤っていると識別する、
請求項１に記載の情報処理装置。
【請求項３】
前記肯定的処理は、所定の宛先への連絡処理、警報装置を作動させる処理、前記映像データの表示領域を変更する処理、前記映像データの一部領域を選択する処理、前記映像データの録画を開始する処理、および、前記映像データの録画を停止して録画データを保存する処理、の少なくともいずれか１つを含み、
前記否定的処理は、前記特定の事象を検出するモードに復帰する処理、および、前記映像データの録画を停止して録画データを破棄する処理の少なくともいずれか１つを含む、
請求項２に記載の情報処理装置。
【請求項４】
前記事象検出手段は、所定の条件に合致する、人、物体、或いは、人または物体の行動の少なくともいずれか１つを、前記特定の事象として検出する、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記処理実行手段は、前記第２の処理において、
前記映像データの中で前記特定の事象が検出された領域を示す領域情報を取得し、
前記領域情報を前記学習データに更に含める、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記処理実行手段は、
前記事象検出手段により前記特定の事象が検出された領域を補正する処理を実行し、
補正後の前記領域について前記領域情報を取得する、
請求項５に記載の情報処理装置。
【請求項７】
前記事象検出手段が、それぞれ互いにカテゴリの異なる２以上の前記特定の事象を検出した場合において、
前記入力受付手段は、前記実行すべき処理を指定する入力に加え、前記特定の事象のカテゴリを指定する第２の入力を更に受け付け、
前記処理実行手段は、前記第２の処理において、前記第２の入力により指定されるカテゴリに基づいて、前記学習データに含める前記カテゴリ情報を決定する、
請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
コンピュータが、
映像データから特定の事象を検出し、
実行すべき処理を指定する入力をユーザから受け付け、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行することを含み、
前記第２の処理は、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成することを含む、
情報処理方法。
【請求項９】
前記第１の処理は、前記特定の事象の検出結果が正しいことを前提に実行される肯定的処理、および、前記特定の事象の検出結果が誤っていることを前提に実行される否定的処理のいずれかに分類されており、
前記コンピュータが、前記第２の処理において、
前記入力により指定された前記第１の処理が前記肯定的処理に分類される場合、前記特定の事象の検出結果が正しいと識別し、
前記入力により指定された前記第１の処理が前記否定的処理に分類される場合、前記特定の事象の検出結果が誤っていると識別する、
ことを含む請求項８に記載の情報処理方法。
【請求項１０】
前記肯定的処理は、所定の宛先への連絡処理、警報装置を作動させる処理、前記映像データの表示領域を変更する処理、前記映像データの一部領域を選択する処理、前記映像データの録画を開始する処理、前記映像データの録画を停止して録画データを保存する処理、の少なくともいずれか１つを含み、
前記否定的処理は、前記特定の事象を検出するモードに復帰する処理、および、前記映像データの録画を停止して録画データを破棄する処理の少なくともいずれか１つを含む、
請求項９に記載の情報処理方法。
【請求項１１】
前記コンピュータが、所定の条件に合致する、人、物体、或いは、人または物体の行動の少なくともいずれか１つを、前記特定の事象として検出する、
請求項８から１０のいずれか１項に記載の情報処理方法。
【請求項１２】
前記コンピュータが、前記第２の処理において、
前記映像データの中で前記特定の事象が検出された領域を示す領域情報を取得し、
前記領域情報を前記学習データに更に含める、
ことを含む請求項８から１１のいずれか１項に記載の情報処理方法。
【請求項１３】
前記コンピュータが、
前記特定の事象が検出された領域を補正する処理を実行し、
補正後の前記領域について前記領域情報を取得する、
ことを含む請求項１２に記載の情報処理方法。
【請求項１４】
前記コンピュータが、
それぞれ互いにカテゴリの異なる２以上の前記特定の事象を検出した場合において、
前記実行すべき処理を指定する入力に加え、前記特定の事象のカテゴリを指定する第２の入力を更に受け付け、
前記第２の処理において、前記第２の入力により指定されるカテゴリに基づいて、前記学習データに含める前記カテゴリ情報を決定する、
ことを含む請求項８から１３のいずれか１項に記載の情報処理方法。
【請求項１５】
コンピュータに、請求項８から１４のいずれか１項に記載の情報処理方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を用いた画像認識を支援する技術に関する。
【背景技術】
【０００２】
映像データを用いた映像ソリューションにおいて、機械学習によって構築された識別器が用いられることもある。識別器と構築する機械学習では、多数の学習データを生成する前準備作業が必要となる。【０００３】
学習データを生成する作業を支援する技術の一例が、例えば、下記特許文献１に開示されている。下記特許文献１には、監視カメラの映像データと共に、その映像データに含まれる事象のカテゴリを設定するためのカテゴリ設定画面を表示し、当該画面でのオペレータの操作に応じて設定されたカテゴリ情報と上記映像データとを学習データとして蓄積する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２２５１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
機械学習用の学習データの準備作業については、通常、特許文献１の技術のように、人手で学習用の画像とその画像が何の画像であるかを示す情報を付与する作業を行う。この学習データの準備作業は、担当者に大きな負荷がかかる。【０００６】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、機械学習に用いる学習データの作成作業の負荷を削減する技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、
映像データから特定の事象を検出する事象検出手段と、
実行すべき処理を指定する入力をユーザから受け付ける入力受付手段と、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行する処理実行手段と、を備え、
前記処理実行手段は、前記第２の処理において、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成する。【０００８】
本発明の情報処理方法は、
コンピュータが、
映像データから特定の事象を検出し、
実行すべき処理を指定する入力をユーザから受け付け、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行することを含み、
前記第２の処理は、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成することを含む。【０００９】
本発明のプログラムは、コンピュータに上述の情報処理方法を実行させる。
【発明の効果】
【００１０】
本発明によれば、機械学習に用いる学習データの作成作業にかかる手間を削減することができる。
【図面の簡単な説明】
【００１１】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１２】
【図１】第１実施形態に係る情報処理装置の機能構成、および、当該情報処理装置により実行される処理の流れを概略的に示す図である。
【図２】情報処理装置のハードウエア構成を例示するブロック図である。
【図３】第１実施形態における処理の流れを例示するシーケンス図である。
【図４】実行すべき処理として指定された第１の処理に基づいて、事象検出部による特定の事象の検出結果の正誤を判断するための情報の一例を示す図である。
【図５】事象検出部による特定の事象の検出結果をユーザに確認させるための表示要素の一例を示す図である。
【図６】第２実施形態の処理実行部が実行する第２の処理を例示するフローチャートである。
【図７】第３実施形態の処理実行部が実行する第２の処理を例示するフローチャートである。
【図８】特定の事象の検出位置を補正するための入力を促す表示要素の一例を示す図である。
【図９】第４実施形態における処理の流れを例示するシーケンス図である。
【図１０】第１の処理の対象とする特定の事象のカテゴリを指定する操作を受け付ける表示要素の一例を示す図である。
【図１１】第１の処理の対象とする特定の事象のカテゴリを指定する操作を受け付ける表示要素の他の一例を示す図である。
【図１２】第４実施形態の処理実行部により実行される第２の処理を例示するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１４】
［第１実施形態］
＜機能構成＞
図１を用いて、本発明の基本的な動作について説明する。図１は、第１実施形態に係る情報処理装置１０の機能構成、および、当該情報処理装置１０により実行される処理の流れを概略的に示す図である。なお、本図における矢印の向きは、処理の流れを分かり易くするためのものであって、通信の方向（一方向通信／双方向通信）を限定するものではない。
【００１５】
図１の例において、情報処理装置１０は、図示しないネットワークを介して、撮像装置２０、ユーザ端末３０、および学習データ記憶部４０と接続されている。撮像装置２０は、特に限定されないが、街中または建物内に設置された監視用のカメラなどである。ユーザ端末３０は、撮像装置２０により生成された映像データを使って業務を行う人物（以下、「ユーザ」とも表記）が利用する端末である。ユーザ端末３０は、例えば、据え置き型のＰＣ（Personal Computer）、或いは、タブレット端末やスマートフォンなどの携帯型端末などである。ユーザ端末３０は、映像データや情報処理装置１０の処理結果を表示するためのユーザ用ディスプレイ３２と、キーボード、マウス、タッチパネルなどのユーザ入力用装置３４を有する。学習データ記憶部４０は、機械学習用の学習データを記憶するための装置である。機械学習用の学習データは、詳しくは後述するが、情報処理装置１０によって生成される。本図の例において、学習データ記憶部４０は情報処理装置１０の外部に設けられているが、これに限らず、学習データ記憶部４０は情報処理装置１０に内蔵されていてもよい。
【００１６】
図１に示されるように、情報処理装置１０は、事象検出部１１０、入力受付部１２０、および処理実行部１３０を備える。
【００１７】
事象検出部１１０は、映像データの解析を行い、当該映像データから特定の事象を検出する。事象検出部１１０は、１つまたは複数の種類の特定の事象を検出可能に構成されている。事象検出部１１０による当該映像データの解析結果は、撮像装置２０により生成された映像データと共にユーザ端末３０に送信され、ユーザ用ディスプレイ３２上に表示される。
【００１８】
ここで、事象検出部１１０が検出する特定の事象は、所定の条件に合致する、人、物、および、人または物の行動の少なくともいずれか１つを含む。一例として、撮像装置２０により生成された映像データが街中や建物内の監視業務に用いられる場合、事象検出部１１０は、不特定の人物または車両による犯罪行為（犯罪に繋がる虞のある行為も含む）や、特定の人物または車両（例えば、指名手配中の人物や車両）などを、特定の事象として当該映像データから検出する。
【００１９】
入力受付部１２０は、実行すべき処理を指定する情報（以下、「処理指定情報」とも表記）の入力をユーザから受け付ける。処理指定情報は、例えば以下で説明するように、ユーザ入力用装置３４を用いたユーザの入力操作に応じて生成される。まず、ユーザは、ユーザ用ディスプレイ３２の表示内容を確認し、事象検出部１１０により検出された特定の事象について実行すべき処理を判断する。そして、ユーザは、当該処理を実行するための入力操作を、ユーザ入力用装置３４を用いて行う。ユーザ端末３０は、ユーザ入力用装置３４を介して受け付けたユーザの入力操作に基づいて処理指定情報を生成し、情報処理装置１０に向けて送信する。入力受付部１２０が受け付けた処理指定情報は、処理実行部１３０に渡される。
【００２０】
処理実行部１３０は、上述のユーザからの入力で指定された処理を実行すると共に、機械学習用の学習データを作成して所定の記憶装置（学習データ記憶部４０）に記憶する処理を行う。以下において、前者の処理を「第１の処理」と、後者の処理を「第２の処理」とそれぞれ表記する。
【００２１】
＜＜第１の処理＞＞
第１の処理は、ユーザが担当する通常業務において行われる処理である。この第１の処理の範疇に、機械学習における学習データを生成する処理は含まれない。例えば、画像の中から何らかの物体を識別する識別器を構築するための機械学習の前準備として、予め用意された様々な画像に対してラベル（予め定義された複数のクラスのうち当該画像が属するクラスを示す情報）を人手で付与するような処理は、第１の処理に含まれない。
【００２２】
ここで、第１の処理は、事象検出部１１０による特定の事象の検出結果が正しいことを前提に実行される処理と、事象検出部１１０による特定の事象の検出結果が誤っていることを前提に実行される処理と、に分類できる。以下の説明では、前者の処理を「肯定的処理」と、後者の処理を「否定的処理」とも表記する。以下、第１の処理について、いくつか具体的な例を示す。但し、第１の処理は以下に示す例に制限されない。
【００２３】
例えば、街中や建物内の映像データを使って監視を行う業務をユーザが担当している場合、肯定的処理としては、例えば、（１）所定の宛先（現場で監視業務を行っている担当者が所持する通信機器など）への連絡処理、（２）映像データに対応する場所に設けられた警報装置を作動させる処理、（３）映像データの表示領域を変更する処理（例：ユーザ入力用装置３４を介した入力に応じて特定の事象が写る領域を拡大または中心に位置させる処理など）、（４）映像データの一部領域を選択する処理（例：ユーザ入力用装置３４を介した入力に応じて特定の事象が写る領域を切り出す処理など）、（５）ユーザ入力用装置３４を介した入力に応じて映像データの録画を開始する処理、および（６）特定の事象の検出に応じて映像データの録画が自動的に開始される場合に、ユーザ入力用装置３４を介した入力に応じて当該映像データの録画を停止して録画データを保存する処理の少なくとも１つが含まれる。また、この場合、否定的処理としては、例えば、（１）特定の事象の検出結果を無視または取り消すボタンの押下入力などに応じて、上述の肯定的処理を実行せずに特定の事象を検出するモードに復帰する処理、および、（２）特定の事象の検出に応じて映像データの録画が自動的に開始される場合に、ユーザ入力用装置３４を介した入力に応じて当該映像データの録画を停止して録画データを破棄する処理の少なくとも１つが含まれる。
【００２４】
＜＜第２の処理＞＞
処理実行部１３０は、第２の処理において以下のように動作する。まず、処理実行部１３０は、事象検出部１１０による特定の事象の検出結果が正しいか否かを、上述の入力で指定された第１の処理の分類に基づいて識別する。処理実行部１３０は、入力により指定された第１の処理が例えば上述の例にあるような肯定的処理に分類される場合、事象検出部１１０による特定の事象の検出結果を正しいと識別する。一方、処理実行部１３０は、入力により指定された第１の処理が例えば上述の例にあるような否定的処理に分類される場合、事象検出部１１０による特定の事象の検出結果を誤っていると識別する。
【００２５】
そして、処理実行部１３０は、解析対象の映像データの少なくとも一部と、事象検出部１１０により検出された特定の事象のカテゴリを示すカテゴリ情報と、当該特定の事象の検出結果の正誤を示す情報（以下、「正誤情報」とも表記）と、を少なくとも含む機械学習用の学習データを生成する。処理実行部１３０は、生成した機械学習用の学習データを、学習データ記憶部４０に記憶する。
【００２６】
＜ハードウエア構成例＞
情報処理装置１０は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００２７】
図２は、情報処理装置１０のハードウエア構成を例示するブロック図である。図２に示されるように、情報処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【００２８】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【００２９】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【００３０】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【００３１】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は情報処理装置１０の各機能（事象検出部１１０、入力受付部１２０、処理実行部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
【００３２】
入出力インタフェース１０５０は、情報処理装置１０と周辺機器１５とを接続するためのインタフェースである。周辺機器１５は、例えば、キーボードやマウスなどの入力機器、ディスプレイ（タッチパネルディスプレイ）やスピーカーなどの出力機器を含む。
【００３３】
ネットワークインタフェース１０６０は、情報処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。情報処理装置１０は、ネットワークインタフェース１０６０を介して、撮像装置２０、ユーザ端末３０、および学習データ記憶部４０といった外部装置と通信可能に接続される。
【００３４】
撮像装置２０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。事象検出部１１０は、撮像装置２０により生成された映像データを、ネットワークインタフェース１０６０を介して取得することができる。ユーザ端末３０は、撮像装置２０により生成された画像の確認業務を行う人物（ユーザ）が利用する端末である。ユーザ端末３０は、特に限定されないが、据え置き型のＰＣ（Personal Computer）や携帯端末（スマートフォンやタブレット端末など）である。ユーザ端末３０は、映像データおよび事象検出部１１０による当該映像データの解析結果を表示するためのユーザ用ディスプレイ３２と、ユーザの入力操作を受け付けるユーザ入力用装置３４とを有している。ユーザがユーザ入力用装置３４を用いて行ったアクションを示す情報（アクション情報）は、ネットワークインタフェース１０６０を介して入力受付部１２０に送信される。学習データ記憶部４０は、ＨＤＤ、ＳＳＤ、フラッシュメモリなどの記憶装置を有している。上述の第２の処理の結果として生成される機械学習の学習データは、ネットワークインタフェース１０６０を介して学習データ記憶部４０に送信される。
【００３５】
なお、図２に例示される構成はあくまで一例であり、情報処理装置１０を含むハードウエアの構成は図２の例に制限されない。例えば、情報処理装置１０のストレージデバイス１０４０が、上述の第２の処理の結果として得られる学習データを記憶する、学習データ記憶部４０として機能してもよい。この場合、外部に学習データ記憶部４０が存在していなくてもよい。また、撮像装置２０が設置された現場で警備業務を行う人物などが使用する通信機器に対する発呼処理や、当該現場に設けられた警報機を鳴動させる処理などが第１の処理に含まれている場合、これらの通信機器や警報機がネットワークインタフェース１０６０に介して情報処理装置１０に接続され得る。
【００３６】
＜処理の流れ＞
図３を用いて、本実施形態において実行される処理の流れを説明する。図３は、第１実施形態における処理の流れを例示するシーケンス図である。
【００３７】
まず、事象検出部１１０は、撮像装置２０により生成された１以上のフレーム画像（映像データ）を取得する（Ｓ１０２）。そして、事象検出部１１０は、既知の画像解析手法を用いて撮像装置２０から取得した映像データを解析し、映像データから特定の事象を検出する（Ｓ１０４）。例えば、事象検出部１１０は、ディープラーニングやＳＶＭ（Support Vector Machine）などの機械学習を行って構築した識別器を用いて映像データを解析し、当該映像データ内での特定の事象の有無を判別することができる。情報処理装置１０は、撮像装置２０により生成された映像データと、事象検出部１１０による当該映像データの解析結果とを、ユーザ端末３０に送信する。
【００３８】
ユーザ端末３０は、情報処理装置１０から取得した、映像データおよび当該映像データの解析結果を、ユーザ用ディスプレイ３２上に表示させる（Ｓ１０６）。ユーザは、ユーザ用ディスプレイ３２上に表示された内容（事象検出部１１０による特定の事象の検出結果）を確認し、実行すべき第１の処理を指定する操作を、ユーザ入力用装置３４を用いて行う（Ｓ１０８）。例えば、事象検出部１１０による特定の事象の検出結果が正しいと判断できる場合、そのユーザは、現場で警備業務にあたっている人物や所定の担当部署の人物が所持する通信機器に対する発呼処理や、当該通信機器に対するメッセージの送信処理などの実行操作を行う。また、事象検出部１１０による特定の事象の検出結果が誤っていると判断できる場合、そのユーザは、特定の事象を検出するモードに復帰する処理の実行操作（例えば、事象検出部１１０による特定の事象の検出結果を取り消すボタンを押下する操作）などを行う。ユーザ端末３０は、ユーザ入力用装置３４を介して受け付けたユーザの操作に応じて処理指定情報を生成し、情報処理装置１０に向けて送信する。情報処理装置１０の入力受付部１２０は、処理指定情報の取得に応じて、第１の処理および第２の処理を実行する。
【００３９】
処理実行部１３０は、ユーザ端末３０から取得した処理指定情報に基づいて実行すべき第１の処理を特定し、その特定した第１の処理を実行する（Ｓ１１０）。また、処理実行部１３０は、第１の処理とは別に、機械学習用の学習データを生成する第２の処理を実行する（Ｓ１１２）。なお、本図において、第１の処理および第２の処理がシーケンシャルに実行されるように描かれているが、これらの処理は並列して実行されてもよい。
【００４０】
第２の処理において、処理実行部１３０は、解析対象の映像データと、その映像データから検出された特定の事象のカテゴリを示すカテゴリ情報と、事象検出部１１０による当該特定の事象の検出結果の正誤を示す正誤情報と、を含む学習データを生成する。ここで、処理実行部１３０は、例えば、図４に示されるような情報を参照することによって、事象検出部１１０による特定の事象の検出結果の正誤を識別することができる。図４は、実行すべき処理として指定された第１の処理に基づいて、事象検出部１１０による特定の事象の検出結果の正誤を判断するための情報の一例を示す図である。図４には、各処理を識別する情報と、特定の事象の検出結果の正誤を示す情報と、を互いに対応付けて記憶するテーブルが例示されている。図４に例示されるような情報は、処理実行部１３０がアクセス可能な記憶領域（例：メモリ１０３０やストレージデバイス１０４０など）に予め格納されている。例えば、「所定の宛先への連絡処理」を実行すべき第１の処理として指定する処理指定情報が取得された場合、処理実行部１３０は、図４に例示されるような情報に基づいて、事象検出部１１０による特定の事象の検出結果（すなわち、映像データとその映像データから検出された特定の事象のカテゴリの組み合わせ）が正しいことを示す情報を取得できる。そして、処理実行部１３０は、解析対象の映像データおよびカテゴリ情報と共に、特定の事象のカテゴリが正しいことを示す正誤情報を含む学習データを生成することができる。また例えば、「特定の事象を検出するモードに復帰する処理」を実行すべき第１の処理として指定する処理指定情報が取得された場合、処理実行部１３０は、図４に例示されるような情報に基づいて、事象検出部１１０による特定の事象の検出結果（すなわち、映像データとその映像データから検出された特定の事象のカテゴリの組み合わせ）が誤っていることを示す情報を取得できる。そして、処理実行部１３０は、解析対象の映像データおよびカテゴリ情報と共に、特定の事象のカテゴリが誤っていることを示す正誤情報を含む学習データを生成することができる。
【００４１】
ここで、処理実行部１３０は、解析対象の映像データの全てを学習データに含めてもよいし、解析対象の映像データの一部を学習データに含めてもよい。例えば、処理実行部１３０は、解析対象の映像データのうち、特定の事象を含む一部領域（例えば、検出された特定の事象の領域を基準として、当該領域に所定のマージン幅を加えて定まる領域）のみを学習データに含めるように構成されていてもよい。このようにすることで、機械学習の精度を低下させる原因となる画像特徴量（ノイズ）の少ない学習データが得られる。
【００４２】
また、処理実行部１３０は、学習データに含める映像データについて、様々な画像補正処理を施してもよい。ここで言う画像補正処理とは、例えば、色、明るさ、コントラストなどを調整する処理やアンチブラー処理など、画質を良好にする処理全般のことを意味する。
【００４３】
情報処理装置１０は、Ｓ１１２の処理で処理実行部１３０により生成された学習データを、学習データ記憶部４０に送信する。学習データ記憶部４０は、情報処理装置１０から取得した学習データを記憶領域に記憶する（Ｓ１１４）。
【００４４】
＜作用・効果＞
上述したように、本実施形態では、ユーザが映像データの解析結果（特定の事象の検出結果）を踏まえて第１の処理の指定操作を行うと、当該操作により指定された第１の処理が実行されると共に、機械学習用の学習データを生成する第２の処理が別途実行される。第２の処理では、解析対象の映像データの少なくとも一部と、事象検出部１１０によって当該映像データから検出された特定の事象のカテゴリを示す情報と、特定の事象の検出結果の正誤を示す情報と、を少なくとも含む学習データが生成される。なお、特定の事象の検出結果の正誤は、指定された第１の処理の分類に基づいて自動的に決定される。すなわち、本実施形態では、通常の業務でユーザが行い得る操作が、機械学習用の学習データを作成する操作として流用されている。このような、ユーザの意図的な作業を必要とせずに機械学習用の学習データを生成および蓄積可能とする構成により、機械学習用の学習データを作成する作業の負荷を低減させることができる。
【００４５】
また、本実施形態によれば、映像データの中から特定の事象の有無を確認する業務のために設計されたシステムについて、当該システム毎に好適な学習データを集めることができる。
【００４６】
また、本実施形態では、特定の事象の検出結果が誤っていることを示す情報を含む学習データが生成され得る。このような学習データは、画像認識結果が誤っていることを識別器に学習させるために活用できる。
【００４７】
＜変形例＞
本実施形態において、ユーザが通常行う業務の中に、機械学習用の学習データを作成する意図的な作業の一部が含められていてもよい。例えば、事象検出部１１０は、特定の事象の検出結果をユーザ用ディスプレイ３２に表示する際、この検出結果が正しいか否かをユーザに確認させるための表示要素を併せて表示させるようにしてもよい（例：図５）。図５は、事象検出部１１０による特定の事象の検出結果をユーザに確認させるための表示要素の一例を示す図である。図５の例において、事象検出部１１０は、表示要素Ａを、映像データの中で検出した特定の事象（破線で囲んだ部分）に対応付けて表示させている。図５に例示される表示要素Ａは、「ＯＫ」ボタンと「誤検出」ボタンとを含んでいる。「ＯＫ」ボタンは、事象検出部１１０による特定の事象の検出結果が正しいことを情報処理装置１０に通知するためのボタンである。「誤検出」ボタンは、事象検出部１１０による特定の事象の検出結果が誤っていることを情報処理装置１０に通知するためのボタンである。ユーザによりいずれかのボタンが押下されると、押下されたボタンを示す情報が情報処理装置１０に送信される。処理実行部１３０は、ユーザにより「ＯＫ」ボタンが押下されたことを示す情報を受け取った場合、第２の処理において、特定の事象の検出結果が正しいことを示す情報を含む学習データを生成する。また、処理実行部１３０は、ユーザにより「誤検出」ボタンが押下されたことを示す情報を受け取った場合、第２の処理において、特定の事象の検出結果が誤っていることを示す情報を含む学習データを生成する。
【００４８】
その他にも、事象検出部１１０による特定の事象の検出結果がユーザ用ディスプレイ３２に表示されている間に、処理実行部１３０は、ユーザの発話音声の解析結果に基づいて、特定の事象の検出結果の正誤を示す情報を生成してもよい。なおこの場合、処理実行部１３０は、ユーザの発話音声を図示しないマイクロフォンなどを介して収集することができる。処理実行部１３０は、検出結果が正しいと解釈できる所定のキーワードが検出された場合に、第２の処理において、特定の事象の検出結果が正しいことを示す情報を正誤情報として含む学習データを生成する。処理実行部１３０は、検出結果が誤っていると解釈できる所定のキーワードが検出された場合に、第２の処理において、特定の事象の検出結果が誤っていることを示す情報を正誤情報として含む学習データを生成する。
【００４９】
［第２実施形態］
映像データの中には様々な物体が写り込む可能性がある。第１実施形態で得られる学習データを用いて機械学習を行う場合において、特定の事象とは関係のない物体の画像特徴量がノイズとなり、特定の事象を識別する精度が低下する虞もある。本実施形態の情報処理装置１０は、上述の課題を解決する機能を更に備える。
【００５０】
〔機能構成例〕
本実施形態の情報処理装置１０は、第１実施形態の機能構成（例：図１）と同様の機能構成を有する。本実施形態の処理実行部１３０は、第２の処理において、領域情報を取得し、当該取得した領域情報を学習データに更に含める点で、第１実施形態の処理実行部１３０と異なる。領域情報とは、映像データの中で特定の事象が検出された領域（映像データ中の特定の事象の位置座標）を示す情報である。
【００５１】
＜処理の流れ＞
以下、本実施形態の処理実行部１３０により実行される第２の処理の流れを、図を用いて例示する。図６は、第２実施形態の処理実行部１３０が実行する第２の処理を例示するフローチャートである。
【００５２】
まず、処理実行部１３０は、解析対象の映像データと共に、事象検出部１１０による特定の事象の検出結果を取得する（Ｓ２０２）。事象検出部１１０は、映像データを解析して特定の事象を検出した場合、その事象のカテゴリを示すカテゴリ情報と、映像データ内でその事象が検出された領域（映像データにおける位置座標）を示す領域情報とを、特定の事象の検出結果として生成する。処理実行部１３０は、事象検出部１１０によって解析された映像データと、その映像データを解析して得られた、カテゴリ情報および領域情報と、を取得する。
【００５３】
また、処理実行部１３０は、“実行すべき処理”としてユーザによって指定された第１の処理の分類に基づいて、特定の事象の検出結果の正誤を識別する（Ｓ２０４）。具体的には、処理実行部１３０は、図４に例示されるような情報を用いて、指定された第１の処理に対応する正誤情報を取得する。
【００５４】
そして、処理実行部１３０は、Ｓ２０２の処理で取得した、解析対象の映像データ、特定の事象のカテゴリ情報、および当該事象の位置を示す領域情報と、Ｓ２０４の処理で取得した、特定の事象の検出結果の情報の正誤を示す正誤情報と、を互いに対応付けて、学習データを生成する（Ｓ２０６）。処理実行部１３０は、Ｓ２０６の処理で生成した学習データを、学習データ記憶部４０に記憶する（Ｓ２０８）。なお、第１実施形態で説明したように、処理実行部１３０は、解析対象の映像データの全てを学習データに含めてもよいし、解析対象の映像データの一部を学習データに含めてもよい。また、第１実施形態で説明したように、処理実行部１３０は、学習データに含める映像データについて、様々な画像補正処理を施してもよい。
【００５５】
以上、本実施形態では、解析対象の映像データの少なくとも一部と、検出された特定の事象のカテゴリ情報と、その検出結果の正誤情報とに加え、検出された特定の事象の検出領域（映像データ上の位置）を示す領域情報を有する学習データが生成される。学習データに領域情報を含めることにより、特定の事象とは関係のない物体の画像特徴量（ノイズ）によって機械学習の精度が低下することを抑制できる。
【００５６】
［第３実施形態］
事象検出部１１０による特定の事象の検出結果を人が映像データ上で確認するケースにおいて、処理速度（リアルタイム性）を重視して、低精度の画像処理アルゴリズムが使用される場合もある。低精度の画像処理アルゴリズムによって生じ得る特定の事象の検出誤差は、ある程度はその人物の脳内で修正できる。そのため、事象検出部１１０による特定の事象の検出結果を人が映像データ上で確認するのみであれば、低精度の画像処理アルゴリズムを用いたとしても、問題は生じ難い。しかしながら、第２実施形態において、低精度の画像処理アルゴリズムの処理結果をそのまま用いて機械学習用の学習データを作成すると、その学習データは機械学習に悪影響を与える可能性がある。例えば、特定の事象の検出された位置について誤差が含まれている場合、コンピュータが誤った領域（特定の事象と関係のない領域）の特徴量を使って学習を行い、その結果、目的とする特定の事象の識別精度が悪化する可能性がある。本実施形態の情報処理装置１０は、上述の課題を解決する機能を更に備える。
【００５７】
〔機能構成例〕
本実施形態の情報処理装置１０は、第１実施形態の機能構成（例：図１）と同様の機能構成を有する。本実施形態の処理実行部１３０は、第２実施形態と同様に、第２の処理において、領域情報を取得し、当該取得した領域情報を学習データに更に含める点で、第１実施形態の処理実行部１３０と異なる。但し、本実施形態において、処理実行部１３０は、領域情報を取得する際に、事象検出部１１０による特定の事象の検出位置を補正する処理を実行する点で、第２実施形態と異なる。具体的には、処理実行部１３０は、事象検出部１１０によって特定の事象が検出された領域を補正する処理を実行し、当該補正後の領域について領域情報を取得する。
【００５８】
＜処理の流れ＞
以下、本実施形態の処理実行部１３０により実行される第２の処理の流れを、図を用いて例示する。図７は、第３実施形態の処理実行部１３０が実行する第２の処理を例示するフローチャートである。
【００５９】
まず、処理実行部１３０は、解析対象の映像データと共に、事象検出部１１０による特定の事象の検出結果を取得する（Ｓ３０２）。また、処理実行部１３０は、“実行すべき処理”としてユーザによって指定された第１の処理の分類に基づいて、特定の事象の検出結果の正誤を識別する（Ｓ３０４）。Ｓ３０２およびＳ３０４の処理は、図６のＳ２０２およびＳ２０４の処理と同じである。
【００６０】
そして、処理実行部１３０は、学習データに含める領域情報を決定する（Ｓ３０６）。ここでは、処理実行部１３０は、事象検出部１１０による特定の事象の検出位置を補正する処理を実行する。一例として、処理実行部１３０は、事象検出部１１０が特定の事象を検出する際に用いた第１の画像処理アルゴリズムよりも精度の高い、第２の画像処理アルゴリズムを使用して、映像データの中での特定の事象の位置を再計算する。そして、処理実行部１３０は、再計算によって得られた領域情報を、学習データに含める情報として決定する。他の一例として、処理実行部１３０は、特定の事象の位置を補正するための入力を促す表示要素（例：図８）を出力し、ユーザから、特定の事象の位置を補正するための情報を取得してもよい。図８は、特定の事象の検出位置を補正するための入力を促す表示要素の一例を示す図である。図８の例において、事象検出部１１０は、表示要素Ｂを、映像データの中で検出した特定の事象の検出位置（破線で囲んだ部分）に対応付けて表示させている。図８に例示される表示要素Ｂは、「ＯＫ」ボタンと「領域補正」ボタンとを含んでいる。「ＯＫ」ボタンは、事象検出部１１０による特定の事象の検出位置が正しいことを情報処理装置１０に通知するためのボタンである。「領域補正」ボタンは、事象検出部１１０による特定の事象の検出位置のズレを補正するための処理を開始するためのボタンである。ユーザによりいずれかのボタンが押下されると、押下されたボタンを示す情報が情報処理装置１０に送信される。処理実行部１３０は、ユーザにより「ＯＫ」ボタンが押下されたことを示す情報を受け取った場合、Ｓ３０２の処理で取得した領域情報を、学習データの生成時に利用する情報として決定する。また、処理実行部１３０は、ユーザにより「領域補正」ボタンが押下されたことを示す情報を受け取った場合、ユーザによる特定の事象の位置指定入力を更に受け付ける。そして、ユーザの入力により指定された位置を基に新たに領域情報を生成して、その領域情報を学習データの生成時に利用する情報として決定する。
【００６１】
そして、処理実行部１３０は、Ｓ３０２の処理で取得した、解析対象の映像データ並びに特定の事象のカテゴリ情報と、Ｓ３０４の処理で取得した、特定の事象の検出結果の情報の正誤を示す正誤情報と、Ｓ３０６の処理で決定された、特定の事象の位置を示す領域情報と、を互いに対応付けて、学習データを生成する（Ｓ３０８）。処理実行部１３０は、Ｓ３０８の処理で生成した学習データを、学習データ記憶部４０に記憶する（Ｓ３１０）。Ｓ３０８およびＳ３１０の処理は、図６のＳ２０６およびＳ２０８の処理と同じである。なお、第１実施形態で説明したように、処理実行部１３０は、解析対象の映像データの全てを学習データに含めてもよいし、解析対象の映像データの一部を学習データに含めてもよい。また、第１実施形態で説明したように、処理実行部１３０は、学習データに含める映像データについて、様々な画像補正処理を施してもよい。
【００６２】
以上、本実施形態では、機械学習用の学習データに領域情報を含めるケースにおいて、当該領域情報が映像データ内で特定の事象が存在する領域を正しく示すように補正される。これにより、特定の事象とは関係のない物体の画像特徴量（ノイズ）によって機械学習の精度が低下することを抑制するという効果を、第２実施形態よりも確実に得ることができる。
【００６３】
［第４実施形態］
本発明において、事象検出部１１０は、映像データから、複数種類の特定の事象を検出可能に構成されていてもよい。例えば、事象検出部１１０は、「二人乗りのバイク」や「ヘルメット未着用のバイク」といった、複数種類の特定の事象を映像データから検出するように構成されていてもよい。この場合において、映像データの中で複数種類の特定の事象が同時に検出される可能性がある。そうすると、上述の各実施形態において、正しい学習データを得るために、学習データがどの特定の事象に関するものであるかを特定する必要が生じる。本実施形態の情報処理装置１０は、上述の課題を解決する機能を更に有する。
【００６４】
＜機能構成例＞
本実施形態の情報処理装置１０は、第１実施形態の機能構成（例：図１）と同様の機能構成を有する。本実施形態の事象検出部１１０は、映像データから、複数種類の特定の事象を検出可能に構成されている。また、本実施形態の入力受付部１２０は、実行すべき処理を指定する入力に加え、特定の事象のカテゴリを指定する入力を更に受け付ける。これら２つの入力を区別するため、以下の説明では、前者を「第１の入力」と、後者を「第２の入力」とそれぞれ表記する。また、本実施形態の処理実行部１３０は、第２の入力により指定されるカテゴリに基づいて、学習データに含めるカテゴリ情報を決定する。
【００６５】
＜処理の流れ＞
以下、図９を用いて、本実施形態において実行される処理の流れを説明する。図９は、第４実施形態における処理の流れを例示するシーケンス図である。
【００６６】
まず、事象検出部１１０は、撮像装置２０により生成された１以上のフレーム画像（映像データ）を取得する（Ｓ４０２）。そして、事象検出部１１０は、既知の画像解析手法を用いて撮像装置２０から取得した映像データを解析し、映像データから特定の事象を検出する（Ｓ４０４）。例えば、事象検出部１１０は、ディープラーニングやＳＶＭ（Support Vector Machine）などの機械学習を行って構築した識別器を用いて映像データを解析し、当該映像データ内での特定の事象の有無を判別することができる。情報処理装置１０は、撮像装置２０により生成された映像データと、事象検出部１１０による当該映像データの解析結果とを、ユーザ端末３０に送信する。
【００６７】
ユーザ端末３０は、情報処理装置１０から取得した、映像データおよび当該映像データの解析結果を、ユーザ用ディスプレイ３２上に表示させる（Ｓ４０６）。ユーザは、ユーザ用ディスプレイ３２上に表示された内容（事象検出部１１０による特定の事象の検出結果）を確認し、実行すべき第１の処理を指定する操作（第１の入力）を、ユーザ入力用装置３４を用いて行う（Ｓ４０８）。例えば、事象検出部１１０による特定の事象の検出結果が正しいと判断できる場合、そのユーザは、現場で警備業務にあたっている人物や所定の担当部署の人物が所持する通信機器に対する発呼処理や、当該通信機器に対するメッセージの送信処理などの実行操作を行う。また、事象検出部１１０による特定の事象の検出結果が誤っていると判断できる場合、そのユーザは、特定の事象を検出するモードに復帰する処理の実行操作（例えば、事象検出部１１０による特定の事象の検出結果を取り消すボタンを押下する操作）などを行う。ユーザ端末３０は、ユーザ入力用装置３４を介して受け付けたユーザの操作に応じて処理指定情報を生成し、情報処理装置１０に向けて送信する。情報処理装置１０の入力受付部１２０は、処理指定情報の取得に応じて、第１の処理を実行する（Ｓ４１０）。
【００６８】
ここで、例えば、事象検出部１１０が「二人乗りのバイク」および「ヘルメット未着用のバイク」という２種類の特定の事象を検出可能な場合、Ｓ４１０で実行された第１の処理がどちらの事象をユーザが検知して実行したかが不明確である。そのため、この段階では、学習データに含めるカテゴリ情報が一意に決定できない。そこで、ユーザは、第１の処理の対象とする特定の事象のカテゴリを指定する操作（第２の入力）を、ユーザ入力用装置３４を用いて行う（Ｓ４１２）。ユーザは、例えば、図１０に示すような表示要素を介して第２の入力を行うことができる。図１０は、第１の処理の対象とする特定の事象のカテゴリを指定する操作を受け付ける表示要素の一例を示す図である。例えば、処理実行部１３０が、入力受付部１２０による処理指定情報の取得を検知すると、図１０に例示される表示要素Ｃをユーザ用ディスプレイ３２上に表示するように動作する。表示要素Ｃには、特定の事象のカテゴリを入力するための入力フォームが設けられている。図１０に例示されるように、ユーザが第１の処理を実行するための操作を二人乗りのバイクに対して行った場合、ユーザは、表示要素Ｃの入力フォームに「二人乗りのバイク」といったカテゴリを示す情報を入力する。なお、本図の例に限らず、ユーザが予め決められたカテゴリをリストの中から選択するような表示要素が用いられてもよい。また、特定の事象のカテゴリ毎に枠を有し、映像データ上で検出された特定の事象を対象のカテゴリの枠にドラッグ・アンド・ドロップする入力を受け付けるような表示要素が用いられてもよい（例：図１１）。図１１は、第１の処理の対象とする特定の事象のカテゴリを指定する操作を受け付ける表示要素の他の一例を示す図である。図１１には、「二人乗りのバイク」というカテゴリに対応する第１の枠Ｆ１と、「ヘルメット未着用のバイク」というカテゴリに対応する第２の枠Ｆ２と、を有する表示要素Ｄが例示されている。ユーザは、図示されるように、映像データ上で検出された特定の事象を、対象のカテゴリの枠にドラッグ・アンド・ドロップすることで、カテゴリを指定することができる。
【００６９】
処理実行部１３０は、ユーザによる、特定の事象のカテゴリを指定する第２の入力（カテゴリ指定情報）を取得すると、機械学習用の学習データを生成する第２の処理を実行する（Ｓ４１４）。以下、本実施形態の処理実行部１３０により実行される第２の処理について、説明する。
【００７０】
図１２は、第４実施形態の処理実行部１３０により実行される第２の処理を例示するフローチャートである。
【００７１】
まず、処理実行部１３０は、解析対象の映像データを取得する（Ｓ５０２）。また、処理実行部１３０は、Ｓ４１２の処理で得られるカテゴリ指定情報が示すカテゴリに基づいて、学習データに含めるカテゴリ情報を決定する（Ｓ５０４）。更に、処理実行部１３０は、Ｓ４０８の処理で得られる処理指定情報から、“実行すべき処理”としてユーザによって指定された第１の処理の分類を識別し、当該分類に基づいて特定の事象の検出結果の正誤を識別する（Ｓ５０６）。そして、処理実行部１３０は、Ｓ５０２で得られる解析対象の映像データ、Ｓ５０４の処理で得られるカテゴリ情報、およびＳ５０６の処理で得られる正誤情報を含む学習データを生成する（Ｓ５０８）。なお、処理実行部１３０は、Ｓ５０８の処理の前に、第２または第３実施形態と同様に、検出された特定の事象の領域を示す領域情報を取得してもよい。この場合、処理実行部１３０は、解析対象の映像データ、カテゴリ情報、正誤情報および領域情報を含む学習データを生成する。また、第１実施形態で説明したように、処理実行部１３０は、解析対象の映像データの全てを学習データに含めてもよいし、解析対象の映像データの一部を学習データに含めてもよい。また、第１実施形態で説明したように、処理実行部１３０は、学習データに含める映像データについて、様々な画像補正処理を施してもよい。
【００７２】
図９に戻り、情報処理装置１０は、Ｓ５０８の処理で処理実行部１３０によって生成された学習データを、学習データ記憶部４０に送信する。学習データ記憶部４０は、情報処理装置１０から取得した学習データを記憶領域に記憶する（Ｓ４１６）。
【００７３】
以上、本実施形態では、複数種類の特定の事象が検出されている場合において、第１の処理の対象となった特定の事象のカテゴリを指定する入力（第２の入力）が実行され、当該第２の入力に基づいて学習データに含めるカテゴリ情報が決定される。これにより、複数種類の特定の事象が検出されている場合であっても、正しい学習データを生成および蓄積することが可能となる。
【００７４】
以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。
【００７５】
また、上述の実施形態では、街中や建物内の監視カメラにより生成された映像データを使った監視業務をユーザが担当している場合について具体的に説明したが、本発明は上記の例以外の業務にも適用可能である。具体的な例として、商品の映像データを使った会計業務や工場などで製造された製品の映像データを使った製品の検査業務について、本発明は適用可能である。商品の映像データを使った会計業務では、当該映像データは、店舗で商品を認識する際に利用されるカメラによって生成される。また、事象検出部１１０は、当該映像データから、その店舗で取り扱われている商品を特定の事象として検出する。またこの場合、第１の処理としては、認識された商品をそのまま精算対象の商品として登録する処理（肯定的処理）や、映像データに基づく商品の認識結果を修正または削除する処理（否定的処理）が含まれる。他の一例として、工場などで製造された製品の映像データを使った製品の検査業務では、当該映像データは、検査ラインに設けられたカメラにより生成される。また、事象検出部１１０は、当該映像データから、製品の検査結果（例えば、良品／不良品の判別結果や品質ランクの判別結果）などを、特定の事象として検出する。また、この場合、第１の処理としては、画像解析による製品の検査結果をそのまま採用する処理（肯定的処理）や、画像解析による製品の検査結果を修正または削除する処理（否定的処理）が含まれる。
【００７６】
また、上述の説明で用いた複数のフローチャートやシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。これらの図に示される工程の順番は、内容的に支障のない範囲で変更することができる。
【図１】
2020136761.tif 000003
【図２】
2020136761.tif 000004
【図３】
2020136761.tif 000005
【図４】
2020136761.tif 000006
【図５】
2020136761.tif 000007
【図６】
2020136761.tif 000008
【図７】
2020136761.tif 000009
【図８】
2020136761.tif 000010
【図９】
2020136761.tif 000011
【図１０】
2020136761.tif 000012
【図１１】
2020136761.tif 000013
【図１２】
2020136761.tif 000014
【手続補正書】
【提出日】令和3年6月16日(2021.6.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像データから特定の事象を検出する事象検出手段と、
実行すべき処理を指定する入力をユーザから受け付ける入力受付手段と、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行する処理実行手段と、を備え、
前記処理実行手段は、前記第２の処理において、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成する、
情報処理装置。
【請求項２】
前記第１の処理は、前記特定の事象の検出結果が正しいことを前提に実行される肯定的処理、および、前記特定の事象の検出結果が誤っていることを前提に実行される否定的処理のいずれかに分類されており、
前記処理実行手段は、前記第２の処理において、
前記入力により指定された前記第１の処理が前記肯定的処理に分類される場合、前記特定の事象の検出結果が正しいと識別し、
前記入力により指定された前記第１の処理が前記否定的処理に分類される場合、前記特定の事象の検出結果が誤っていると識別する、
請求項１に記載の情報処理装置。
【請求項３】
前記肯定的処理は、所定の宛先への連絡処理、警報装置を作動させる処理、前記映像データの表示領域を変更する処理、前記映像データの一部領域を選択する処理、前記映像データの録画を開始する処理、および、前記映像データの録画を停止して録画データを保存する処理、の少なくともいずれか１つを含み、
前記否定的処理は、前記特定の事象を検出するモードに復帰する処理、および、前記映像データの録画を停止して録画データを破棄する処理の少なくともいずれか１つを含む、
請求項２に記載の情報処理装置。
【請求項４】
前記事象検出手段は、所定の条件に合致する、人、物体、或いは、人または物体の行動の少なくともいずれか１つを、前記特定の事象として検出する、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記処理実行手段は、前記第２の処理において、
前記映像データの中で前記特定の事象が検出された領域を示す領域情報を取得し、
前記領域情報を前記学習データに更に含める、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記処理実行手段は、
前記事象検出手段により前記特定の事象が検出された領域を補正する処理を実行し、
補正後の前記領域について前記領域情報を取得する、
請求項５に記載の情報処理装置。
【請求項７】
前記事象検出手段が、それぞれ互いにカテゴリの異なる２以上の前記特定の事象を検出した場合において、
前記入力受付手段は、前記実行すべき処理を指定する入力に加え、前記特定の事象のカテゴリを指定する第２の入力を更に受け付け、
前記処理実行手段は、前記第２の処理において、前記第２の入力により指定されるカテゴリに基づいて、前記学習データに含める前記カテゴリ情報を決定する、
請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
コンピュータが、
映像データから特定の事象を検出し、
実行すべき処理を指定する入力をユーザから受け付け、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行することを含み、
前記第２の処理は、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成することを含む、
情報処理方法。
【請求項９】
前記第１の処理は、前記特定の事象の検出結果が正しいことを前提に実行される肯定的処理、および、前記特定の事象の検出結果が誤っていることを前提に実行される否定的処理のいずれかに分類されており、
前記コンピュータが、前記第２の処理において、
前記入力により指定された前記第１の処理が前記肯定的処理に分類される場合、前記特定の事象の検出結果が正しいと識別し、
前記入力により指定された前記第１の処理が前記否定的処理に分類される場合、前記特定の事象の検出結果が誤っていると識別する、
ことを含む請求項８に記載の情報処理方法。
【請求項１０】
コンピュータに、請求項８または９に記載の情報処理方法を実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
また、上述の説明で用いた複数のフローチャートやシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。これらの図に示される工程の順番は、内容的に支障のない範囲で変更することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
映像データから特定の事象を検出する事象検出手段と、
実行すべき処理を指定する入力をユーザから受け付ける入力受付手段と、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行する処理実行手段と、を備え、
前記処理実行手段は、前記第２の処理において、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成する、
情報処理装置。
２．
前記第１の処理は、前記特定の事象の検出結果が正しいことを前提に実行される肯定的処理、および、前記特定の事象の検出結果が誤っていることを前提に実行される否定的処理のいずれかに分類されており、
前記処理実行手段は、前記第２の処理において、
前記入力により指定された前記第１の処理が前記肯定的処理に分類される場合、前記特定の事象の検出結果が正しいと識別し、
前記入力により指定された前記第１の処理が前記否定的処理に分類される場合、前記特定の事象の検出結果が誤っていると識別する、
１．に記載の情報処理装置。
３．
前記肯定的処理は、所定の宛先への連絡処理、警報装置を作動させる処理、前記映像データの表示領域を変更する処理、前記映像データの一部領域を選択する処理、前記映像データの録画を開始する処理、および、前記映像データの録画を停止して録画データを保存する処理、の少なくともいずれか１つを含み、
前記否定的処理は、前記特定の事象を検出するモードに復帰する処理、および、前記映像データの録画を停止して録画データを破棄する処理の少なくともいずれか１つを含む、
２．に記載の情報処理装置。
４．
前記事象検出手段は、所定の条件に合致する、人、物体、或いは、人または物体の行動の少なくともいずれか１つを、前記特定の事象として検出する、
１．から３．のいずれか１つに記載の情報処理装置。
５．
前記処理実行手段は、前記第２の処理において、
前記映像データの中で前記特定の事象が検出された領域を示す領域情報を取得し、
前記領域情報を前記学習データに更に含める、
１．から４．のいずれか１つに記載の情報処理装置。
６．
前記処理実行手段は、
前記事象検出手段により前記特定の事象が検出された領域を補正する処理を実行し、
補正後の前記領域について前記領域情報を取得する、
５．に記載の情報処理装置。
７．
前記事象検出手段が、それぞれ互いにカテゴリの異なる２以上の前記特定の事象を検出した場合において、
前記入力受付手段は、前記実行すべき処理を指定する入力に加え、前記特定の事象のカテゴリを指定する第２の入力を更に受け付け、
前記処理実行手段は、前記第２の処理において、前記第２の入力により指定されるカテゴリに基づいて、前記学習データに含める前記カテゴリ情報を決定する、
１．から６．のいずれか１つに記載の情報処理装置。
８．
コンピュータが、
映像データから特定の事象を検出し、
実行すべき処理を指定する入力をユーザから受け付け、
前記入力により指定された第１の処理を実行すると共に、機械学習用の学習データを生成して記憶装置に記憶する第２の処理を実行することを含み、
前記第２の処理は、
前記特定の事象の検出結果が正しいか否かを、前記入力により指定された前記第１の処理の分類に基づいて識別し、
前記映像データの少なくとも一部と、検出された前記特定の事象のカテゴリを示すカテゴリ情報と、前記特定の事象の検出結果の正誤を示す正誤情報と、を含む前記学習データを生成することを含む、
情報処理方法。
９．
前記第１の処理は、前記特定の事象の検出結果が正しいことを前提に実行される肯定的処理、および、前記特定の事象の検出結果が誤っていることを前提に実行される否定的処理のいずれかに分類されており、
前記コンピュータが、前記第２の処理において、
前記入力により指定された前記第１の処理が前記肯定的処理に分類される場合、前記特定の事象の検出結果が正しいと識別し、
前記入力により指定された前記第１の処理が前記否定的処理に分類される場合、前記特定の事象の検出結果が誤っていると識別する、
ことを含む８．に記載の情報処理方法。
１０．
前記肯定的処理は、所定の宛先への連絡処理、警報装置を作動させる処理、前記映像データの表示領域を変更する処理、前記映像データの一部領域を選択する処理、前記映像データの録画を開始する処理、前記映像データの録画を停止して録画データを保存する処理、の少なくともいずれか１つを含み、
前記否定的処理は、前記特定の事象を検出するモードに復帰する処理、および、前記映像データの録画を停止して録画データを破棄する処理の少なくともいずれか１つを含む、
９．に記載の情報処理方法。
１１．
前記コンピュータが、所定の条件に合致する、人、物体、或いは、人または物体の行動の少なくともいずれか１つを、前記特定の事象として検出する、
８．から１０．のいずれか１つに記載の情報処理方法。
１２．
前記コンピュータが、前記第２の処理において、
前記映像データの中で前記特定の事象が検出された領域を示す領域情報を取得し、
前記領域情報を前記学習データに更に含める、
ことを含む８．から１１．のいずれか１つに記載の情報処理方法。
１３．
前記コンピュータが、
前記特定の事象が検出された領域を補正する処理を実行し、
補正後の前記領域について前記領域情報を取得する、
ことを含む１２．に記載の情報処理方法。
１４．
前記コンピュータが、
それぞれ互いにカテゴリの異なる２以上の前記特定の事象を検出した場合において、
前記実行すべき処理を指定する入力に加え、前記特定の事象のカテゴリを指定する第２の入力を更に受け付け、
前記第２の処理において、前記第２の入力により指定されるカテゴリに基づいて、前記学習データに含める前記カテゴリ情報を決定する、
ことを含む８．から１３．のいずれか１つに記載の情報処理方法。
１５．
コンピュータに、８．から１４．のいずれか１つに記載の情報処理方法を実行させるプログラム。
【国際調査報告】
2020136761.tif 000015
2020136761.tif 000016
2020136761.tif 000017
2020136761.tif 000018