(57)【要約】【課題】画像を認識する学習器の学習データとして用いる画像データを収集する範囲を適切にセットすることができるデータ収集システムを提供する。【解決手段】本発明に係るデータ収集システムは、学習器が十分に学習するために必要な画像データの要件を表す要件変数とその要件値を指定する要件定義データを受け取り、さらに前記要件変数の優先度を指定する優先度データを受け取り、前記要件変数と前記要件値を前記優先度の順番にしたがって提示するとともに、前記要件変数のうち前記要件値が指定されているものの割合を表す要件値回答率を提示する。【選択図】図１
2022002058.tif 000002
【特許請求の範囲】
【請求項１】
機械学習によって画像を認識する学習器が学習を実施するために用いる画像データを収集するデータ収集システムであって、
前記学習器が十分に学習するために必要な前記画像データの要件を表す要件変数と前記要件変数の要件値を指定する要件定義データを受け取る要件定義処理部を備え、
前記要件定義処理部はさらに、前記要件変数の優先度を指定する優先度データを受け取り、
前記要件定義処理部はさらに、前記要件変数と前記要件値を前記優先度の順番にしたがって提示するとともに、前記要件変数のうち前記要件値が指定されているものの割合を表す要件値回答率を提示する、要件確認画面を提供する
ことを特徴とするデータ収集システム。
【請求項２】
前記要件変数は、
前記学習器の目的または前記画像データの目的を定義する目的要件、
前記画像データを収集する環境を定義する運用要件、
前記学習器の技術的要件を定義する開発要件、
のうち少なくともいずれかを含み、
前記目的要件は、
前記画像データを取得するカメラを特定するカメラ情報、
前記学習器を実装するアルゴリズムを特定する学習器情報、
前記カメラが撮像する物体を特定する物体情報、
のうち少なくともいずれかを含み、
前記運用要件は、
前記画像データを取得する日時、
前記カメラが撮像する場所、
前記画像データを取得する日時の天候、
前記カメラが撮像する場所に設置されている物体を特定する設置物情報、
前記カメラの設定パラメータ、
前記カメラの照明パラメータ、
のうち少なくともいずれかを含み、
前記開発要件は、
前記物体毎の前記画像データの撮像枚数、
前記物体間の前記画像データの撮像枚数の比率、
前記要件変数毎の前記画像データの撮像枚数、
前記要件変数間の前記画像データの撮像枚数の比率、
のうち少なくともいずれかを含む
ことを特徴とする請求項１記載のデータ収集システム。
【請求項３】
前記要件定義処理部は、前記要件値をユーザが入力するために用いる要件入力画面を提示し、
前記要件入力画面は、前記優先度の順番にしたがって、前記要件値を前記要件変数ごとに順次入力することを前記ユーザに対して促すように構成されており、
前記要件入力画面はさらに、前記要件値を入力することをスキップした前記要件変数については、前記要件値を入力することを改めて前記ユーザに対して促すように構成されている
ことを特徴とする請求項１記載のデータ収集システム。
【請求項４】
前記要件入力画面は、前記要件値を入力することをスキップした前記要件変数については、前記優先度の低いほうから高いほうへ向かって遡りながら、前記要件値を入力することを改めて前記ユーザに対して促すように構成されている
ことを特徴とする請求項３記載のデータ収集システム。
【請求項５】
前記要件確認画面は、前記要件変数と前記要件値のペアを前記優先度にしたがって上位ノードから順に配置したツリー形式によって、前記要件変数と前記要件値を提示するように構成されており、
前記要件確認画面はさらに、前記要件変数が数値範囲によって定義される場合は、前記要件値の数値範囲を示すグラフを併せて提示するように構成されている
ことを特徴とする請求項１記載のデータ収集システム。
【請求項６】
前記データ収集システムはさらに、前記画像データを収集すべき範囲を指定する収集範囲データを受け取る収集範囲処理部を備え、
前記収集範囲処理部は、前記収集範囲データと、前記画像データを収集する際の制約条件とにしたがって、前記画像データを収集する収集範囲と、前記画像データを収集しない収集不可範囲とを決定する
ことを特徴とする請求項１記載のデータ収集システム。
【請求項７】
前記収集範囲処理部は、前記要件変数をグルーピングしてそのグループごとに前記画像データを収集する順位を収集順位としてセットし、
前記収集範囲処理部はさらに、前記収集順位にしたがって前記グループを整列して提示する収集範囲入力画面を提供し、
前記収集範囲入力画面は、前記グループごとに前記要件値をユーザが入力することにより前記収集範囲を指定することができるように構成されており、
前記収集範囲処理部は、前記収集範囲入力画面において入力されなかった前記要件値またはその要件値の範囲を、前記収集不可範囲として取り扱う
ことを特徴とする請求項６記載のデータ収集システム。
【請求項８】
前記収集範囲処理部は、前記収集範囲入力画面において入力された前記収集範囲を前記優先度の順番にしたがって提示するとともに、前記収集範囲入力画面において入力されなかったことにより確定した前記収集不可範囲を提示する、収集範囲確認画面を提供し、
前記収集範囲確認画面は、前記要件変数のうち前記収集範囲入力画面において前記要件値が入力されたものの割合を表す収集範囲網羅率を提示するように構成されている
ことを特徴とする請求項７記載のデータ収集システム。
【請求項９】
前記データ収集システムはさらに、前記収集範囲と前記収集不可範囲にしたがって前記画像データを収集するデータ収集処理部を備え、
前記データ収集処理部は、前記収集範囲のうち前記画像データを収集完了した収集完了部分の内容と、未だ収集完了していない収集未完了部分の内容とを提示する、データ収集確認画面を提示する
ことを特徴とする請求項６記載のデータ収集システム。
【請求項１０】
前記データ収集確認画面は、前記収集未完了部分を前記要件変数の優先度の順番にしたがって提示するとともに、前記収集範囲に対する前記収集未完了部分の割合を提示するように構成されている
ことを特徴とする請求項９記載のデータ収集システム。
【請求項１１】
前記データ収集確認画面は、前記収集完了部分と前記収集未完了部分を対比して提示するように構成されている
ことを特徴とする請求項１０記載のデータ収集システム。
【請求項１２】
前記データ収集システムはさらに、前記画像データを撮像機器から収集する収集端末を備え、
前記データ収集システムはさらに、前記画像データを格納する記憶装置を備え、
前記収集端末は、前記撮像機器と接続して制御することにより、前記画像データを前記撮像機器から収集し、
前記収集端末は、前記撮像機器から収集した前記画像データを前記記憶装置へ格納する
ことを特徴とする請求項８記載のデータ収集システム。
【請求項１３】
前記要件変数は、前記学習器の目的または前記画像データの目的を定義する目的要件を含んでおり、
前記要件定義処理部は、前記目的要件を変更する場合は、変更後の前記目的要件に対応する前記要件定義データを改めて受け取り、
前記要件定義処理部は、変更後の前記要件定義データに対応する前記優先度データを改めて受け取り、
前記要件定義処理部は、変更後の前記要件定義データに対応する前記要件確認画面を改めて提示する
ことを特徴とする請求項１記載のデータ収集システム。
【請求項１４】
前記要件変数は、前記画像データを収集する環境を定義する運用要件を含んでおり、
前記収集範囲処理部は、前記運用要件を変更する場合は、変更後の前記運用要件に対応する前記収集範囲データを改めて受け取り、
前記収集範囲処理部は、変更後の前記収集範囲データに対応する前記収集範囲と前記収集不可範囲を改めて決定する
ことを特徴とする請求項６記載のデータ収集システム。
【請求項１５】
前記要件変数は、前記学習器の技術的要件を定義する開発要件を含んでおり、
前記収集範囲処理部は、前記開発要件を変更する場合は、変更後の前記開発要件に対応する前記収集範囲と前記収集不可範囲を改めて設定し、
前記データ収集処理部は、変更後の前記収集範囲と前記収集不可範囲にしたがって前記画像データを改めて収集し、
前記データ収集処理部は、変更後の前記収集範囲と前記収集不可範囲に対応する前記データ収集確認画面を改めて提示する
ことを特徴とする請求項９記載のデータ収集システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習によって画像を認識する学習器が学習を実施するために用いる画像データを収集するデータ収集システムに関する。
【背景技術】
【０００２】
画像を認識する学習器は、学習データとして画像データを用いる。学習を適切に実施するためには、適切な学習データをより多く収集することが望ましい。学習データとして収集する画像データの量や品質は、学習器の品質を決める重要な要素だからである。しかしどのような学習データを収集するかは、開発者の知見に依存し、あるいは場当たり的に収集される場合が少なからず存在する。また収集作業は学習器の開発経験が乏しい者が実施する場合が多く、適切なデータを収集できない可能性がある。
【０００３】
下記特許文献１は、画像を認識する学習器のための学習データを収集する技術について記載している。同文献は、『画像認識に利用される学習データの収集において、学習に適さない不適切な撮影画像の収集を抑制する。』ことを課題として、『学習データ収集装置３において、プロセッサ５１が、撮影画像を撮影装置２から取得し、その撮影画像が学習データに適するか否かを判定し、学習データに適さないと判定した撮影画像については、撮影者に再撮影を促すための報知処理を実行する構成とする。』という技術を開示している（要約参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０２０−００８９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の技術は、収集した画像データが適切であるか否かを判定する。しかし画像データの収集範囲をどのように定めるのかについては、必ずしも明確に検討されていない。換言すると同文献は、収集した画像データが適切であるか否かを事後的に判定するに留まっており、収集範囲を適切にセットすることについては必ずしも十分考慮されていないと考えられる。
【０００６】
本発明は、上記のような課題に鑑みてなされたものであり、画像を認識する学習器の学習データとして用いる画像データを収集する範囲を適切にセットすることができるデータ収集システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るデータ収集システムは、学習器が十分に学習するために必要な画像データの要件を表す要件変数とその要件値を指定する要件定義データを受け取り、さらに前記要件変数の優先度を指定する優先度データを受け取り、前記要件変数と前記要件値を前記優先度の順番にしたがって提示するとともに、前記要件変数のうち前記要件値が指定されているものの割合を表す要件値回答率を提示する。
【発明の効果】
【０００８】
本発明に係るデータ収集システムによれば、画像を認識する学習器の学習データとして用いる画像データを収集する範囲を適切にセットすることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係るデータ収集システム１０の構成図である。
【図２】データ収集システム１０の機能ブロック図である。
【図３】操作端末２１の機能ブロック図である。
【図４】操作端末３１の機能ブロック図である。
【図５】データ収集システム１０の動作を説明するフローチャートである。
【図６】ステップ１の詳細を説明する処理フロー図である。
【図７Ａ】要件項目の例を示す図である。
【図７Ｂ】要件変数の例を示す図である。
【図８】Ｓ６０３において用いる入力画面の画面遷移例を示す図である。
【図９】Ｓ６０４において用いる確認画面の例を示す図である。
【図１０】ステップ２の詳細を説明する処理フロー図である。
【図１１】Ｓ１００２において用いる入力画面の例を示す図である。
【図１２】Ｓ１００３において用いる確認画面の例を示す図である。
【図１３】ステップ３の詳細を説明する処理フロー図である。
【図１４Ａ】Ｓ１３０１において収集者が実施する作業の概念図である。
【図１４Ｂ】Ｓ１３０１において用いる登録画面の例を示す図である。
【発明を実施するための形態】
【００１０】
＜実施の形態１＞
図１は、本発明の実施形態１に係るデータ収集システム１０の構成図である。データ収集システム１０は、画像を認識する学習器が用いる学習データ（画像データと呼ぶ場合もある、以下同様）を収集するシステムである。データ収集システム１０は、開発サイト２０と現場サイト３０それぞれからアクセスされる。開発サイト２０は、学習器を開発する開発者が作業する場所であり、開発者が用いる操作端末２１が設置されている。現場サイト３０は、画像データを収集する収集者が収集作業をする場所であり、収集者が用いる操作端末３１が設置されている。各サイトはネットワークによって接続されている。
【００１１】
データ収集システム１０の概略動作シーケンスを説明する。開発者は操作端末２１を介して、学習器が十分に学習を実施するために必要な学習データの要件を定義する（（１）要件定義）。この要件定義は、学習器を開発するように依頼した依頼者が用いる操作端末へも通知される。開発者と依頼者は、後述するフローチャートにしたがって、相互に確認しながら収集要件を定義する。
【００１２】
開発者は操作端末２１を介して、学習データを収集する範囲を設定する（（２）収集設定）。依頼者はデータ収集に際しての制約条件を設定する場合もある。開発者と依頼者は、後述するフローチャートにしたがって、相互に確認しながら収集範囲を設定する。
【００１３】
開発者は操作端末２１を介して、学習データを収集開始するように指示する（（３）収集指示）。データ収集システム１０は、その収集内容を収集者へ通知する（（３）収集内容通知）。収集者は操作端末３１を介して、撮影機に対してデータ収集を開始するように指示する（（４）収集準備）。カメラデバイスは画像データを撮影し（（５）撮影）、操作端末３１はその画像データを収集する（（６）データ収集）。
【００１４】
操作端末３１は収集した画像データをデータ収集システム１０へ渡す（（７）データ受渡し）。データ収集システム１０は、収集された画像データの過不足を操作端末３１と２１０へ通知する（（８）過不足通知）。画像データが不足していれば開発者または依頼者は再収集を指示し、不足していなければ操作端末２１は収集された画像データを取得する（（９）データ取得）。
【００１５】
図２は、データ収集システム１０の機能ブロック図である。データ収集システム１０は演算装置１１と記憶装置１２を備える。演算装置１１は例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのようなソフトウェアを実行するプロセッサである。記憶装置１２は例えばハードディスク装置などのデータを記憶する装置である。
【００１６】
演算装置１１は、要件定義処理部１１１、収集範囲処理部１１２、データ収集処理部１１３、通信部１１５を実行する。これら機能部は、演算装置１１が実行可能なソフトウェアモジュールとして構成されている。
【００１７】
要件定義処理部１１１は、学習データの要件を定義する際の処理を実施する。収集範囲処理部１１２は、学習データの収集範囲を設定する際の処理を実施する。データ収集処理部１１３は、画像データを収集する際の処理を実施する。通信部１１４は、ネットワークを介して他の装置と通信する。通信部１１４以外の他機能部は、通信部１１４を介して他装置と通信する。
【００１８】
以下では説明の便宜上、データ収集システム１０が備える各機能部を動作主体として記載する場合があるが、実際にこれら機能部を実行するのは演算装置１１であることを付言しておく。後述する操作端末２１と３１においても同様に、実際に各機能部を実行するのは各端末が備える演算装置である。
【００１９】
記憶装置１２は、要件管理データベース（ＤＢ）１２１、収集範囲管理ＤＢ１２２、画像データ管理ＤＢ１２３を格納する。要件管理ＤＢ１２１は、学習データの要件を定義した結果を格納する。収集範囲管理ＤＢ１２２は、学習データの収集範囲を設定した結果を格納する。画像データ管理ＤＢ１２３は、収集した画像データを格納する。
【００２０】
図３は、操作端末２１の機能ブロック図である。操作端末２１は、演算装置２１１を備える。演算装置２１１は、要件設定部２１２、収集範囲設定部２１３、収集指示処理部２１４、データ取得処理部２１５、通信部２１６を実行する。これら機能部は、演算装置２１１が実行可能なソフトウェアモジュールとして構成されている。
【００２１】
要件設定部２１２は、学習データの要件を設定する処理を実施する。収集範囲設定部２１３は、学習データの収集範囲を設定する処理を実施する。収集指示処理部２１４は、学習データを収集するように指示する。データ取得処理部２１５は、学習データをデータ収集システム１０から取得する。通信部２１６は、ネットワークを介して他の装置と通信する。通信部２１６以外の他機能部は、通信部２１６を介して他装置と通信する。
【００２２】
図４は、操作端末３１の機能ブロック図である。操作端末３１は、演算装置３１１を備える。演算装置３１１は、収集範囲処理部３１２、収集内容表示部３１３、データ送信部３１４、通信部３１５を実行する。これら機能部は、演算装置３１１が実行可能なソフトウェアモジュールとして構成されている。
【００２３】
収集範囲処理部３１２は、学習データの収集範囲に関する処理を実施する。収集内容表示部３１３は、収集した学習データを画面表示する。データ送信部３１４は、収集した学習データをデータ収集システム１０へ送信する。通信部３１５は、ネットワークを介して他の装置と通信する。通信部３１５以外の他機能部は、通信部３１５を介して他装置と通信する。
【００２４】
図５は、データ収集システム１０の動作を説明するフローチャートである。以下図５の各ステップを説明する。
【００２５】
（図５：ステップ１．要件を策定）
開発者と依頼者は、相互に確認をとりながら、学習データを収集するための要件を策定する。開発者と依頼者は、データ収集システム１０を介して、収集要件に関するコミュニケーションをとることができる。以下のステップにおいても同様である。本ステップの詳細は後述の図６で説明する。
【００２６】
（図５：ステップ２．収集範囲を策定）
開発者と依頼者は、相互に確認をとりながら、学習データを収集する範囲を策定する。策定した収集範囲は、収集者が確認することができる。本ステップ後、各関係者は要件を見直す必要があるか否かを判断する。見直す場合はステップ１に戻る。見直す必要がない場合はステップ４へ進む。本ステップの詳細は後述の図１０で説明する。
【００２７】
（図５：ステップ３．データを収集・確認）
操作端末３１は、データ収集システム１０において設定された要件と収集範囲にしたがって、学習データを収集する。収集者と開発者は、収集された学習データをデータ収集システム１０上で確認する。学習データが不足していればステップ２へ戻り、不足なければステップ４へ進む。本ステップの詳細は後述の図１３で説明する。
【００２８】
（図５：ステップ４．データを登録）
収集者または開発者は、収集された学習データをデータ収集システム１０に対して登録する。ここでいう登録とは、収集された学習データを学習器のために採用する旨を決定することである。要件を変更しない場合は本フローチャートを終了する。要件を変更する場合はステップ１〜３のいずれかへ戻る。いずれのステップへ戻るかの場合分けについては後述する。本ステップの詳細は後述の図１４で説明する。
【００２９】
図６は、ステップ１の詳細を説明する処理フロー図である。以下図６の各ステップを説明する。
【００３０】
（図６：ステップＳ６０１〜Ｓ６０２）
開発者は、学習データを収集する要件のうち、要件項目をまず決定する（Ｓ６０１）。開発者は、各要件項目について、要件変数とその優先度を決定し、データ収集システム１０へ登録する（Ｓ６０２）。要件項目、要件変数、要件値の具体例については後述する。Ｓ６０１〜Ｓ６０２は、操作端末２１においては要件設定部２１２が実施し、データ収集システム１０においては要件定義処理部１１１が実施する。要件設定部２１２は、要件変数を記述した要件定義データと優先度を記述した優先度データを送信する。要件定義処理部１１１は、その要件定義データと優先度データを受け取って要件管理ＤＢ１２１へ格納する。
【００３１】
（図６：ステップＳ６０３）
開発者（または依頼者）は、各要件変数に対して要件値を入力する。本ステップにおいて用いる入力画面の例は後述する。入力画面は要件定義処理部１１１または要件設定部２１２によって提供され、要件定義処理部１１１は入力された要件値を受け取る。入力画面を例えばＷｅｂアプリケーションなどのサーバアプリケーションによって提供する場合、要件定義処理部１１１が入力画面を提供する。以下説明する画面についても同様に、サーバアプリケーションとして提供する場合は、データ収集システム１０が備える各機能部が提供する。
【００３２】
（図６：ステップＳ６０４）
開発者と依頼者は、要件変数と要件値の一覧を、相互に確認する。本ステップにおいて用いる確認画面の例は後述する。確認画面は要件定義処理部１１１によって提供され、要件設定部２１２はその確認画面を表示する。
【００３３】
図７Ａは、要件項目の例を示す図である。画像を認識する学習器における要件は常に変化してしまう性質を持っているので、その性質毎に要件変数を各要件項目へ分類する。要件項目としては、目的要件・運用要件・開発要件などが挙げられる。以下各要件項目について説明する。
【００３４】
目的要件は、例えば学習データとして収集する対象、その学習データを収集する主体、などについて定義する。目的要件は、学習データを収集する開発プロジェクトごとに固定されていることが多いと考えられるので、他の要件とは区別して定義することにした。図５の最終ステップにおいて目的要件を変更する場合は、ステップ１に戻る。
【００３５】
運用要件は、経時的に変化する要件を定義するものであり、その変化にともなって要件を見直すものに相当する。例えば日時場所などのデータ収集を実施する環境要件がこれに相当する。さらに、どのような手法や手続によって学習データを収集するかもこれに相当する。撮像装置の設定パラメータなどがこれに相当する。図５の最終ステップにおいて運用要件を変更する場合は、ステップ２に戻る。
【００３６】
開発要件は、学習器の技術的要件を定義するものであり、学習器の成長にともなって継続的に見直すものに相当する。例えば学習データの量などがこれに当たる。図５の最終ステップにおいて開発要件を変更する場合は、ステップ３に戻る。
【００３７】
図７Ｂは、要件変数の例を示す図である。要件変数は要件項目ごとに１以上設定され、各要件変数は要件値を有する。以下各要件変数と要件値について説明する。
【００３８】
目的要件の要件変数としては、例えば画像データを撮像する機器の機種、学習器の種別（学習対象やアルゴリズムなど）、撮像対象物、などが挙げられる。
【００３９】
運用要件の要件変数としては、例えば画像データを収集する外部環境、撮像機器の設定パラメータ、などが挙げられる。外部環境変数としては、日時、場所、天候、周辺物体、などが挙げられる。設定パラメータとしては、撮像機器のパラメータ、照明パラメータ、などが挙げられる。
【００４０】
開発要件の要件変数としては、画像データの撮像枚数、撮像枚数比率、などが挙げられる。撮像枚数と撮像枚数比率はいずれも、撮像対象物ごとに設定してもよいし、要件変数ごとに設定してもよい。例えば撮像枚数比率を、対象物Ａ：対象物Ｂ＝１：２とした場合は、対象物Ｂについては対象物Ａの２倍の枚数の画像データを取得する。
【００４１】
図８は、Ｓ６０３において用いる入力画面の画面遷移例を示す図である。本画面は、階層的に質問形式で要件値を入力するように開発者または依頼者へ促す。質問は要件変数の優先度順に提示される。質問形式は、要件変数のタイプ（リスト、時刻、数値範囲など）に応じた表現で提示される。回答者が質問をスキップした場合は、未入力箇所に戻って再質問する。また、要件変数のタイプが有限範囲（時刻、場所など）を表す場合、その範囲内において未入力範囲があれば、その未入力範囲について再質問してもよい。さらに、回答済項目または回答済範囲の割合を提示して、全回答項目について回答を促すようにしてもよい。
【００４２】
未入力箇所または未入力範囲がある場合、優先度の高い要件変数まで戻ってから優先度の低い要件変数へ向かって順次再入力を促してもよいし、優先度の低い要件変数から高い要件変数へ遡りながら再入力を促してもよい。ただし要件変数が階層的に構成されている場合、中位の要件変数が既に入力済のとき上位の要件変数から再入力すると、却って入力に戸惑う場合が考えられる。要件変数がそのような階層構造を有している場合は、優先度の高い要件変数まで戻ってから優先度の低い要件変数へ向かって順次再入力を促すことが望ましい。
【００４３】
図９は、Ｓ６０４において用いる確認画面の例を示す図である。本画面は、要件変数と要件値のペアの一覧を、例えばツリー形式で提示する。優先度が高いものから低いものへ順次要件値を入力する場合、それらの要件変数は階層関係にあるといえる。この場合は要件変数の優先度が高いものほど上位ノードとなるように提示する。各要件変数の要件値の回答網羅率（要件入力時に回答スキップすると網羅率が低下）を併せて提示してもよい。各要件値は、要件変数のタイプに応じた表現（例えばグラフ）によって提示してもよい。開発者と依頼者は、本画面を相互に参照しながら、要件値の定量的な数値を確認することにより、収集要件を合意することができる。
【００４４】
図１０は、ステップ２の詳細を説明する処理フロー図である。以下図１０の各ステップを説明する。
【００４５】
（図１０：ステップＳ１００１）
依頼者は、学習データを収集するに際して必要な制約条件がある場合は、その制約条件をデータ収集システム１０に対して通知する。開発者を介して通知してもよい。収集範囲処理部１１２がその制約条件を記述したデータを取得してもよい。制約条件をデータとして定式化することに代えて、開発者がその制約条件を考慮しながらマニュアル作業によって収集範囲を下記ステップにおいて入力することにより、制約条件を反映するようにしてもよい。実際の制約条件は多岐にわたり、定式化が困難である場合が多いので、開発者がマニュアル作業によって制約条件を考慮しながら入力するのが現実的である。以下ではこれを前提とする。
【００４６】
（図１０：ステップＳ１００２）
開発者は、要件変数、要件値、制約条件にしたがって、データ収集範囲とその優先度を入力する。本ステップにおいて用いる入力画面の例は後述する。入力画面は収集範囲処理部１１２によって提供される。収集範囲設定部２１３は収集範囲を指定する収集範囲データを送信し、収集範囲処理部１１２はその収集範囲データを受け取って収集範囲管理ＤＢ１２２へ格納する。本ステップにより、データ収集範囲が優先度とともに設定され、収集範囲として入力されなかった部分は収集不可範囲として設定される。
【００４７】
（図１０：ステップＳ１００３）
依頼者、開発者、収集者は、設定されたデータ収集範囲を確認する。データ収集範囲を修正する場合はＳ１００２へ戻る。本ステップにおいて用いる確認画面の例は後述する。確認画面は収集範囲処理部１１２によって提供される。
【００４８】
図１１は、Ｓ１００２において用いる入力画面の例を示す図である。要件変数は、図９で説明したツリー構造が例示するように、グルーピングすることができる。図９においては、撮影対象物ごとに要件値が異なる場合を想定して、撮影対象物ごとに要件変数を集約した例を示した。図１１の入力画面は、このグループごとに収集範囲を入力することができるように構成されている。要件変数をどのようにグルーピングするかについては、あらかじめデータ収集システム１０において決めておいてもよいし、図９の階層関係にしたがって定めてもよい。例えば要件値を入力すべき最も上位の階層以下に属する要件変数を、その最上位変数に従属させてグルーピングすればよい。
【００４９】
１つのグループのなかの要件変数は、優先度の順に並べられている。図１１の例においては、枚数が最も優先度が高い。これにより、優先度が高い要件変数を優先的に入力するように促すことができる。入力形式は、要件変数のタイプ（リスト、時刻、数値範囲など）に応じた表現で提示してもよい。制約条件が課されている要件変数については、その部分を入力できないようにしてもよい。
【００５０】
グループごとに収集順番を設定することもできる。図１１においては、学習データ収集を先に実施すべきグループから順に、左端から並べることとした。新たにグループを追加する場合は、その時点における最終順となる。
【００５１】
開発者は、あらかじめ把握している制約要件にしたがって、収集範囲を入力する。全て入力し終えると確認ボタンを押下する。制約条件が指定している範囲に加えて、本画面において入力されなかった部分については、収集不可範囲として設定される。それ以外の入力済部分については、収集範囲として設定される。
【００５２】
図１２は、Ｓ１００３において用いる確認画面の例を示す図である。本画面は、図１１の入力画面において設定した収集順に、データ収集範囲をリスト形式で表示する。図１２下段に示すようなツリー形式の表示を併用してもよい。各収集順内の要件変数は、優先度順に表示する。
【００５３】
収集範囲処理部１１２は、図１１の入力画面において入力されなかった要件変数の範囲を集計し、収集不可範囲として特定する。本画面は、収集範囲と収集不可範囲を併せて提示する。リストとツリーともに収集不可範囲を提示することが望ましい。これにより、例えば入力漏れがあった場合などにおいて、再入力を促すことができる。
【００５４】
収集範囲処理部１１２は、要件変数のうち入力されていない部分の割合を計算し、入力網羅率として提示する。制約条件によって入力できない部分については、計算に含めてもよいし含めなくてもよい。これにより、例えば入力漏れがあった場合などにおいて、収集不可範囲を提示することとは別に、再入力を促すことができる。
【００５５】
依頼者、開発者、収集者は、本画面上でデータ収集範囲の定量的な数値を確認しながらデータ収集範囲を合意することにより、データ収集計画を策定する。収集範囲を修正する場合は、図１１の入力画面を再提示して再入力を促す。
【００５６】
図１３は、ステップ３の詳細を説明する処理フロー図である。以下図１３の各ステップを説明する。
【００５７】
（図１３：ステップＳ１３０１）
収集者は、確定したデータ収集範囲にしたがって、撮影機器などを用いて学習データを収集する。本実施形態１においては、操作端末３１と撮影機器は連動しておらず、収集者はマニュアル作業により学習データを収集するものとする。収集した学習データは生データであり、要件変数とは紐付いていないので、収集者は学習データがどの要件変数／要件値に対応するものであるのかを関連付けた上で、データ収集システム１０へ登録する。登録作業を実施するための登録画面については後述する。
【００５８】
（図１３：ステップＳ１３０２）
収集者と開発者は、収集した学習データと要件変数を画面上で確認する。収集を継続する場合はＳ１３０１へ戻る。確認画面は、Ｓ１３０１における登録画面と併用することができる。
【００５９】
図１４Ａは、Ｓ１３０１において収集者が実施する作業の概念図である。収集者は、確定したデータ収集範囲にしたがって、撮影機器などを用いて学習データを収集する。収集した学習データは画像データであるので、学習データそのものは要件変数と紐付いていない。収集者は、各学習データがどの要件変数（および要件値）にしたがって収集したものであるのかを明示するために、学習データと要件変数を関連付けて、データ収集システム１０へ登録する。図１４Ａ下図の付随情報は、そのとき関連付ける要件変数と要件値の具体例である。
【００６０】
図１４Ｂは、Ｓ１３０１において用いる登録画面の例を示す図である。収集者は、図１４Ｂ左側に示す登録画面上で、画像データを選択するとともに各要件値を入力する。データ収集処理部１１３はその画像データと要件値を受け取り、画像データ管理ＤＢ１２３へいったん格納する。データ収集処理部１１３は、確定したデータ収集範囲と登録された要件値を比較することにより、未収集範囲を特定する。データ収集処理部１１３は、その未収集範囲を確認画面として提示する。
【００６１】
未収集範囲は、図１２と同様にリスト形式で提示してもよいし、ツリー形式で提示してもよいし、これらを併用してもよい。さらに、グラフなどの図式が可能である要件変数については、図１４Ｂ右下のように図解してもよい。さらに、図１１で設定した収集順が先であるものから順に、未収集範囲を提示してもよい。
【００６２】
データ収集処理部１１３はさらに、確定したデータ収集範囲と登録された要件値を比較することにより、収集範囲のうち未収集である部分の割合を算出し、網羅率として確認画面上に提示してもよい。収集者がデータ収集範囲全てにわたって学習データを収集し終えると、網羅率は１００％となる。
【００６３】
図１４Ｂのような確認画面を提示することにより、収集者は、収集順が先の収集範囲から優先的に学習データを収集するように促されることになる。また網羅率を提示することにより、収集した学習データの過不足を開発者や収集者へ提示することができる。
【００６４】
＜実施の形態１：まとめ＞
本実施形態１に係るデータ収集システム１０は、依頼者と開発者がデータ収集要件を相互に確認し合いながら確定するために用いる要件確認画面（図９）を提供し、要件確認画面上においては、要件変数の優先度順に各要件変数を提示する。これにより優先度が高い要件変数から順に確定することが促される。さらに要件確認画面は、要件変数のうち要件値が確定した割合を提示する。これにより入力漏れがある要件値を入力するように促すことができる。換言すると、要件確認画面を介して依頼者と開発者がデータ収集要件を確認することにより、開発者のサポートの下でこれを確定することができるので、依頼者（あるいは後段作業における収集者）が必ずしも詳細な技術的知識を有していないとしても、漏れなく網羅的に収集要件を定めることができる。
【００６５】
本実施形態１に係るデータ収集システム１０は、開発者が要件変数／要件値／優先度を入力するための要件入力画面（図８）を提供する。要件入力画面は、要件変数の優先度順で質問形式により要件値を入力するように促し、未入力箇所については再入力を促す。これにより開発者は、要件値を漏れなく網羅的に入力することができる。
【００６６】
本実施形態１に係るデータ収集システム１０は、開発者がデータ収集範囲を入力するための収集範囲入力画面（図１０）を提供し、さらに入力されたデータ収集範囲を依頼者／開発者／収集者が相互に確認するための収集範囲確認画面（図１２）を提供する。３者が収集範囲を確認しながら確定することにより、収集範囲を漏れなく網羅的に設定することができる。したがって３者のうちいずれかが技術的知識が乏しいような場合であっても、データ収集内容の検討漏れを防ぐことができる。
【００６７】
本実施形態１に係るデータ収集システム１０は、収集者が収集した学習データの網羅率を提示するデータ収集確認画面（図１４Ｂ）を提供する。これにより、収集者の技術的知識や経験が乏しい場合であっても、学習データを適切かつ漏れなく網羅的に収集することができる。
【００６８】
＜実施の形態２＞
実施形態１においては、収集者が撮影機器などをマニュアル操作することにより、学習データを収集することを説明した。これに代えて、操作端末３１が撮影機器と接続して撮影機器を制御することにより、収集者のマニュアル作業なしで学習データを収集するようにしてもよい。この場合、操作端末３１（例えばデータ送信部３１４）は、撮影機器が備えているアプリケーションインターフェースなどを介して撮影機器と接続し、そのインターフェースを介して撮影機器を制御する。撮影機器の動作内容は、データ収集システム１０から取得したデータ収集範囲にしたがって定めればよい。
【００６９】
本実施形態においては、要件変数と要件値が規定する収集範囲にしたがって学習データを自動的に収集することができるので、収集した学習データと要件変数／要件値を自動的に関連付けることができる。したがって、収集者が学習データと要件変数／要件値を逐一関連付ける必要がないので、収集効率が高まる。
【００７０】
＜本発明の変形例について＞
以上の実施形態において、要件変数や要件値として提示したものは例であり、これら以外の要件変数や要件値を設定してもよい。要件変数の分類についても同様に、例示した以外の分類を用いてもよい。
【符号の説明】
【００７１】
１０：データ収集システム
１１：演算装置
１１１：要件定義処理部
１１２：収集範囲処理部
１１３：データ収集処理部
１１４：通信部
２１：操作端末
３１：操作端末
【図１】
2022002058.tif 000003
【図２】
2022002058.tif 000004
【図３】
2022002058.tif 000005
【図４】
2022002058.tif 000006
【図５】
2022002058.tif 000007
【図６】
2022002058.tif 000008
【図７Ａ】
2022002058.tif 000009
【図７Ｂ】
2022002058.tif 000010
【図８】
2022002058.tif 000011
【図９】
2022002058.tif 000012
【図１０】
2022002058.tif 000013
【図１１】
2022002058.tif 000014
【図１２】
2022002058.tif 000015
【図１３】
2022002058.tif 000016
【図１４Ａ】
2022002058.tif 000017
【図１４Ｂ】
2022002058.tif 000018