(57)【要約】【課題】適切に車両の走行を制御するための機械学習を効果的に行うことができる機械学習用データを出力する情報処理装置などを提供する。【解決手段】情報処理装置１００であって、車両の周囲の画像を示す画像情報、および、画像における領域であって人の動作により設定される人が危険と判断した第１領域を示す第１の領域情報、を取得する取得部１１０と、取得された複数の第１の領域情報の各々が示す複数の第１領域の各々の重なりに基づいて、画像における危険と推定される第２領域を示す第２の領域情報を生成する生成部１２０と、生成された第２の領域情報を機械学習用データとして出力する出力部１３０と、を備える。【選択図】図４
2019040493.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲の画像を示す画像情報、および前記画像における領域であって人の動作により設定される前記人が危険と判断した第１領域を示す第１の領域情報、を取得する取得部と、
取得された複数の前記第１の領域情報の示す複数の前記第１領域の各々の重なりに基づいて、前記画像における危険と推定される第２領域を示す第２の領域情報を生成する生成部と、
生成された前記第２の領域情報を機械学習用データとして出力する出力部と、
を備える情報処理装置。
【請求項２】
前記取得部は、複数のサブ領域に分割された前記画像において、前記人が危険と判断することによって選択した領域であって、前記複数のサブ領域のうちの少なくとも１つの領域を示す領域情報を、前記第１の領域情報として取得する
請求項１に記載の情報処理装置。
【請求項３】
前記取得部は、前記画像の領域のうち前記人が視線を向けている位置を示す視線情報に基づいて、所定の回数以上または所定の時間以上、前記視線が向けられた領域を示す領域情報を、前記第１の領域情報として取得する
請求項１に記載の情報処理装置。
【請求項４】
前記生成部は、
前記複数の第１の領域情報の各々が示す前記複数の第１領域の各々の重なりの数が所定の数以上である領域を前記第２領域として決定し、
決定した前記第２領域を示す領域情報を、前記第２の領域情報として生成する
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記生成部は、
前記画像の領域のうち、前記複数の第１領域の少なくとも１つに含まれる領域であって、前記複数の第１領域により区切られた１以上の第３領域の各々について、
当該第３領域が含まれる１以上の前記第１領域の各々に対応付けられたポイントを用いて計算することで得られた計算値が所定値以上である領域を前記第２領域として決定し、
決定した前記第２領域を示す領域情報を、前記第２の領域情報として生成する
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項６】
前記１以上の第３領域は、前記画像を構成する複数の単位領域のうち、前記複数の第１領域の少なくとも１つに含まれる１以上の単位領域である
請求項５に記載の情報処理装置。
【請求項７】
前記生成部は、前記１以上の第３領域の大きさに応じて、前記ポイントを変更する
請求項５または６に記載の情報処理装置。
【請求項８】
前記取得部は、前記画像の領域のうち前記人が危険と判断した複数の前記第１領域である領域群を示す領域群情報と、前記人によって決定された当該複数の第１領域の優先順位を示す順位情報とを、前記第１の領域情報として取得し、
前記生成部は、
取得された複数の前記第１の領域情報の示す複数の前記領域群に含まれる複数の前記第１領域の少なくともに１つに含まれる領域であって、複数の前記第１領域により区切られた１以上の第４領域の各々について、
当該第４領域に含まれる１以上の前記第１領域の各々に対応付けられた前記優先順位に基づくポイントを用いて計算することで得られた計算値が所定値以上である領域を前記第２領域として決定し、
決定した前記第２領域を示す領域情報を、前記第２の領域情報として生成する
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項９】
前記生成部は、前記１以上の第４領域の大きさに応じて、前記ポイントを変更する
請求項８に記載の情報処理装置。
【請求項１０】
前記取得部は、さらに、前記人の属性を示す属性情報を取得し、
前記生成部は、さらに、前記属性情報が示す人の属性に基づいて、前記第２の領域情報を生成する
請求項５から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記属性情報が示す前記人の属性は、運転の習熟度、運転履歴、性格、事故発生数、年齢、性別の少なくとも１つである
請求項１０に記載の情報処理装置。
【請求項１２】
前記生成部は、
前記ポイントを、前記複数の第１領域を設定した前記人の属性に予め定められた重み付けに応じて、重み付け計算する
請求項１０または１１に記載の情報処理装置。
【請求項１３】
前記画像情報は、動画像を示す情報を含み、
前記生成部は、さらに、前記動画像の撮像に用いられた撮像装置の移動の速さに基づいて、前記第２の領域情報を生成する
請求項５から７のいずれか１項に記載の情報処理装置。
【請求項１４】
車両の周囲の画像を示す画像情報を取得し、
前記画像における領域であって人の動作により設定される前記人が危険と判断した第１領域を示す第１の領域情報を取得し、
取得した複数の前記第１の領域情報の各々が示す複数の前記第１領域の各々の重なりに基づいて、前記画像における危険と推定される第２領域を示す第２の領域情報を生成し、
生成した前記第２の領域情報を機械学習用データとして出力する
情報処理方法。
【請求項１５】
請求項１４に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、機械学習用データを出力するための、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、画像データ中の人物領域を検出する人物検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０２３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、複数の画像データのそれぞれから人物領域を検出するのに、予め複数の画像データごとに人物領域の正解データを用いて得られた学習モデルを利用している。ところで、自動運転、安全運転サポートなどのために、車両の周囲の状況（例えば画像）に応じた適切な判断結果（例えばアノテーションデータ、走行制御など）を機械学習させることが考えられるが、効果的に学習させることが難しいという課題がある。
【０００５】
そこで、本開示では、車両の周囲の状況に応じて適切な判断結果を出力するための機械学習を効果的に行うことができる機械学習用データを出力する情報処理装置などを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る情報処理装置は、車両の周囲の画像を示す画像情報、および前記画像における領域であって人の動作により設定される前記人が危険と判断した第１領域を示す第１の領域情報、を取得する取得部と、取得された複数の前記第１の領域情報の示す複数の前記第１領域の各々の重なりに基づいて、前記画像における危険と推定される第２領域を示す第２の領域情報を生成する生成部と、生成された前記第２の領域情報を機械学習用データとして出力する出力部と、を備える。
【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示に係る情報処理装置などよれば、適切に車両の運転を制御するための機械学習を効果的に行うことができる機械学習用データを出力することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る情報処理システムの概略を説明するための図である。
【図２】図２は、実施の形態１に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、入力装置のハードウェア構成の一例を示すブロック図である。
【図４】図４は、情報処理システムの機能構成の一例を示すブロック図である。
【図５】図５は、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【図６】図６は、情報処理システムにおける情報処理方法の一例を示すシーケンス図である。
【図７】図７は、複数の第１の領域情報を説明するための図である。
【図８】図８は、実施の形態１に係る入力処理の詳細の一例を示すフローチャートである。
【図９】図９は、実施の形態１に係る生成処理の詳細の一例を示すフローチャートである。
【図１０】図１０は、実施の形態１に係る生成処理の詳細を説明するための図である。
【図１１】図１１は、実施の形態１に係る生成処理により生成される第２領域の一例を示す図である。
【図１２】図１２は、実施の形態１の変形例１に係る生成処理の詳細の一例を示すフローチャートである。
【図１３】図１３は、実施の形態１の変形例１に係る生成処理の詳細を説明するための図である。
【図１４】図１４は、実施の形態２に係る情報処理装置の概略を説明するための図である。
【図１５】図１５は、実施の形態２に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図１６】図１６は、情報処理装置の機能構成の一例を示すブロック図である。
【図１７】図１７は、情報処理装置における情報処理方法の一例を示すフローチャートである。
【図１８】図１８は、実施の形態２の変形例１に係る入力処理の詳細の一例を示すフローチャートである。
【図１９】図１９は、実施の形態２の変形例１に係る、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【図２０】図２０は、実施の形態２の変形例２に係る入力処理の詳細の一例を示すフローチャートである。
【図２１】図２１は、実施の形態２の変形例２に係る、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【図２２】図２２は、実施の形態２の変形例３に係る入力処理の詳細の一例を示すフローチャートである。
【図２３】図２３は、実施の形態２の変形例３に係る、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【図２４】図２４は、実施の形態３に係る入力処理の詳細の一例を示すフローチャートである。
【図２５】図２５は、実施の形態３に係る生成処理の詳細の一例を示すフローチャートである。
【図２６】図２６は、実施の形態３に係る生成処理の詳細を説明するための図である。
【図２７】図２７は、実施の形態３の変形例１に係る生成処理の詳細の一例を示すフローチャートである。
【図２８】図２８は、実施の形態３の変形例１に係る生成処理の詳細を説明するための図である。
【図２９】図２９は、実施の形４に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。
【図３０】図３０は、実施の形態４に係る入力処理の詳細の一例を示すフローチャートである。
【図３１】図３１は、実施の形態４に係る生成処理の詳細の一例を示すフローチャートである。
【図３２】図３２は、重み付けについて説明するための図である。
【図３３】図３３は、重み付け加算について説明するための図である。
【発明を実施するための形態】
【００１０】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、車両の走行を制御するための機械学習に関し、以下の問題が生じることを見出した。
【００１１】
従来の技術では、学習モデルは、予め複数の画像データごとに人物領域の正解データが用いられている。この場合の正解データは、画像データにおける人物領域であるため、容易に特定されやすい。よって、画像データにおいて人物領域が正解データである学習モデルを生成することは容易であると言える。
【００１２】
一方で、車両の走行を制御するための機械学習を行うためには、車両の周囲の状況（例えば画像）と、当該状況に応じた適切な判断結果（例えばアノテーションデータ）とが必要となる。しかしながら、適切な判断結果を得るための判断基準を定義する（例えば正解データを作成する）ことが難しいという問題がある。例えば、車両の周囲の状況から危険な状況を予測し、危険な状況を回避するように車両の走行を制御する場合、危険な状況であることを判断する判断基準が人によって異なる。これは、判断対象が物体ではなく、状況であることが起因していると考えられる。そのため、危険な状況を定義することが難しい。言い換えると、危険な状況を示す正解アノテーションデータを作ることが難しい。その結果、危険な状況を予測する学習モデルを生成することが難しいことになる。
【００１３】
このような問題を解決するために、本開示の一態様に係る情報処理装置は、車両の周囲の画像を示す画像情報、および前記画像における領域であって人の動作により設定される前記人が危険と判断した第１領域を示す第１の領域情報、を取得する取得部と、取得された複数の前記第１の領域情報の示す複数の前記第１領域の各々の重なりに基づいて、前記画像における危険と推定される第２領域を示す第２の領域情報を生成する生成部と、生成された前記第２の領域情報を機械学習用データとして出力する出力部と、を備える。
【００１４】
これによれば、画像における領域にうち、複数の人により危険であると判断された結果である複数の第１領域の各々の重なりに基づいて、画像における危険な領域である第２領域を推定するため、複数の人の判断を第２領域の推定に反映できる。このため、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。したがって、危険な状況についての機械学習を効果的に行うことができる。
【００１５】
また、前記取得部は、複数のサブ領域に分割された前記画像において、前記人が危険と判断することによって選択した領域であって、前記複数のサブ領域のうちの少なくとも１つの領域を示す領域情報を、前記第１の領域情報として取得してもよい。
【００１６】
このため、人は複数のサブ領域から選択することで、第１領域を設定できるため、第１領域の設定を容易にできる。
【００１７】
また、前記取得部は、前記画像の領域のうち前記人が視線を向けている位置を示す視線情報に基づいて、所定の回数以上または所定の時間以上、前記視線が向けられた領域を示す領域情報を、前記第１の領域情報として取得してもよい。
【００１８】
このため、人は画像を注視することで、第１領域を設定できるため、第１領域の設定を容易にできる。
【００１９】
また、前記生成部は、前記複数の第１の領域情報の各々が示す前記複数の第１領域の各々の重なりの数が所定の数以上である領域を前記第２領域として決定し、決定した前記第２領域を示す領域情報を、前記第２の領域情報として生成してもよい。
【００２０】
これによれば、第１領域の各々の重なりの数が所定の数以上である領域を第２領域として決定するため、危険であると判断した人が少ない領域を画像における危険な領域から除外できる。このため、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。
【００２１】
また、前記生成部は、前記画像の領域のうち、前記複数の第１領域の少なくとも１つに含まれる領域であって、前記複数の第１領域により区切られた１以上の第３領域の各々について、当該第３領域が含まれる１以上の前記第１領域の各々に対応付けられたポイントを用いて計算することで得られた計算値が所定値以上である領域を前記第２領域として決定し、決定した前記第２領域を示す領域情報を、前記第２の領域情報として生成してもよい。
【００２２】
これによれば、第１領域に応じて計算されるポイントが所定値以上である領域を第２領域として決定するため、危険であると判断した人が少ない領域を画像における危険な領域であると推定することを除外できる。このため、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。
【００２３】
また、前記１以上の第３領域は、前記画像を構成する複数の単位領域のうち、前記複数の第１領域の少なくとも１つに含まれる１以上の単位領域であってもよい。
【００２４】
このため、付与されたポイントが所定値以上である領域を容易に特定できる。
【００２５】
また、前記生成部は、前記１以上の第３領域の大きさに応じて、前記ポイントを変更してもよい。
【００２６】
このため、危険な領域をより精度よく推定することができる。
【００２７】
また、前記取得部は、前記画像の領域のうち前記人が危険と判断した複数の前記第１領域である領域群を示す領域群情報と、前記人によって決定された当該複数の第１領域の優先順位を示す順位情報とを、前記第１の領域情報として取得し、前記生成部は、取得された複数の前記第１の領域情報の示す複数の前記領域群に含まれる複数の前記第１領域の少なくともに１つに含まれる領域であって、複数の前記第１領域により区切られた１以上の第４領域の各々について、当該第４領域に含まれる１以上の前記第１領域の各々に対応付けられた前記優先順位に基づくポイントを用いて計算することで得られた計算値が所定値以上である領域を前記第２領域として決定し、決定した前記第２領域を示す領域情報を、前記第２の領域情報として生成してもよい。
【００２８】
これによれば、優先順位が高いほど大きな値のポイントが対応付けられているため、優先順位に応じたポイントを付与することができる。よって、優先順位を考慮したポイントに基づいて、第２領域を推定できる。このため、危険な領域を精度よく推定することができる。
【００２９】
また、前記生成部は、前記１以上の第４領域の大きさに応じて、前記ポイントを変更してもよい。
【００３０】
このため、危険な領域をより精度よく推定することができる。
【００３１】
また、前記取得部は、さらに、前記人の属性を示す属性情報を取得し、前記生成部は、さらに、前記属性情報が示す人の属性に基づいて、前記第２の領域情報を生成してもよい。
【００３２】
このため、例えば、危険な領域を精度よく判断できる属性の人が設定した第１領域を優先して第２領域を決定することで、危険な領域をより精度よく推定することができる。
【００３３】
また、前記属性情報が示す前記人の属性は、運転の習熟度、運転履歴、性格、事故発生数、年齢、性別の少なくとも１つであってもよい。
【００３４】
このため、例えば、危険な領域を精度よく判断できる属性の人が設定した第１領域を優先して第２領域を決定することで、危険な領域をより精度よく推定することができる。
【００３５】
また、前記生成部は、前記ポイントを、前記複数の第１領域を設定した前記人の属性に予め定められた重み付けに応じて、重み付け計算してもよい。
【００３６】
これによれば、危険な領域を精度よく判断できる属性の人が設定した第１領域に対応付けられたポイントを他の属性の人よりも大きくするように重み付けするため、危険な領域をより精度よく推定することができる。
【００３７】
また、前記画像情報は、動画像を示す情報を含み、前記生成部は、さらに、前記動画像の撮像に用いられた撮像装置の移動の速さに基づいて、前記第２の領域情報を生成してもよい。
【００３８】
このため、撮像装置の移動の速さを考慮して危険な領域を推定することができる。
【００３９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００４０】
以下、本発明の一態様に係る情報処理装置などについて、図面を参照しながら具体的に説明する。
【００４１】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４２】
（実施の形態１）
以下、図１〜図１３を用いて、実施の形態１を説明する。
【００４３】
［１−１．構成］
図１は、実施の形態１に係る情報処理システムの概略を説明するための図である。
【００４４】
情報処理システム１は、情報処理装置１００および入力装置２００を備える。情報処理システム１は、車両の周囲を示す画像への人からの入力に基づいて、機械学習用データを生成するシステムである。
【００４５】
情報処理システム１において、情報処理装置１００は、通信ネットワークを介して、複数の入力装置２００と通信可能に接続されている。情報処理装置１００は、例えば、サーバである。入力装置２００は、例えば、デスクトップＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ラップトップＰＣなどである。また、通信ネットワークは、例えば、インターネットなどの汎用通信ネットワークであってもよいし、専用通信ネットワークであってもよい。
【００４６】
情報処理装置１００は、入力装置２００のディスプレイに表示された画像への人からの入力により生成された第１の領域情報と、当該画像を示す画像情報とを、複数の入力装置２００から取得する。そして、情報処理装置１００は、複数の入力装置２００から取得した画像情報と、当該画像情報が示す画像に対応付けられた複数の第１の領域情報とに基づいて、機械学習用データを出力する。
【００４７】
なお、情報処理装置１００は、複数の入力装置２００と通信可能に接続されているとしたが、これに限らずに、１つの入力装置２００のみと通信可能に接続されていてもよい。この場合、１つの入力装置２００に対して複数の人から入力が行われる。また、情報処理装置１００は、クラウドコンピューティングシステムの構成要素であってもよく、インターネット等を介して入力装置２００と接続されてもよい。
【００４８】
［１−１−１．情報処理装置］
情報処理装置１００のハードウェア構成について図２を用いて説明する。
【００４９】
図２は、実施の形態１に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【００５０】
図２に示すように、情報処理装置１００は、ハードウェア構成として、ＣＰＵ１０１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４とを備える。
【００５１】
ＣＰＵ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。
【００５２】
メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
【００５３】
ストレージ１０３は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。
【００５４】
通信ＩＦ１０４は、通信ネットワークを介して入力装置２００と通信する通信インタフェースである。通信ＩＦ１０４は、例えば、有線ＬＡＮインタフェースである。なお、通信ＩＦ１０４は、無線ＬＡＮインタフェースであってもよい。また、通信ＩＦ１０４は、ＬＡＮインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
【００５５】
［１−１−２．入力装置］
入力装置２００のハードウェア構成について図３を用いて説明する。
【００５６】
図３は、入力装置のハードウェア構成の一例を示すブロック図である。
【００５７】
図３に示すように、入力装置２００は、ハードウェア構成として、ＣＰＵ２０１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、メインメモリ２０２と、ストレージ２０３と、ディスプレイ２０４と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０５と、通信ＩＦ２０６とを備える。つまり、入力装置２００は、情報処理装置１００とは別の情報処理装置であるとも言える。
【００５８】
ＣＰＵ２０１は、ストレージ２０３等に記憶された制御プログラムを実行するプロセッサである。
【００５９】
メインメモリ２０２は、ＣＰＵ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
【００６０】
ストレージ２０３は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。
【００６１】
ディスプレイ２０４は、画像を含む映像を表示する表示装置である。例えば、ディスプレイ２０４は、液晶ディスプレイ、有機ＥＬディスプレイなどである。
【００６２】
入力ＩＦ２０５は、人からの入力を受け付けるためのインタフェースである。入力ＩＦ２０５は、マウス、タッチパッド、タッチパネル、トラックボールなどのポインティングデバイスであってもよいし、キーボードであってもよい。
【００６３】
通信ＩＦ２０６は、通信ネットワークを介して情報処理装置１００と通信する通信インタフェースである。通信ＩＦ２０６は、例えば、有線ＬＡＮインタフェースであってもよいし、無線ＬＡＮインタフェースであってもよい。また、通信ＩＦ２０６は、ＬＡＮインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
【００６４】
［１−２．機能構成］
次に、情報処理システム１の機能構成について図４および図５を用いて説明する。
【００６５】
図４は、情報処理システムの機能構成の一例を示すブロック図である。図５は、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【００６６】
まず、入力装置２００の機能構成について説明する。
【００６７】
入力装置２００は、機能構成として、表示部２１０と、入力受付部２２０と、出力部２３０とを備える。
【００６８】
表示部２１０は、図５に示すように、車両の周囲の画像Ｉ１を示す画像情報に基づいて、当該画像Ｉ１を表示する。ここで、画像Ｉ１は、静止画である。画像Ｉ１は、車両の周囲の様子を示すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）であってもよい。表示部２１０は、当該画像Ｉ１を表示すると共に、当該画像Ｉ１の中の危険な領域を設定する入力を行うように、人に促すメッセージを表示してもよい。表示部２１０は、当該メッセージを表示した後に、上記画像Ｉ１を表示してもよい。表示部２１０は、複数の上記画像Ｉ１のそれぞれを所定の期間毎に選択的に切り替えて表示してもよい。表示部２１０は、複数の上記画像Ｉ１を１画面上に表示してもよい。表示部２１０は、例えば、ＣＰＵ２０１、メインメモリ２０２、ストレージ２０３、およびディスプレイ２０４により実現される。
【００６９】
ここで、画像情報により示される画像Ｉ１は、車両の周囲が撮像されることにより得られた画像である。より具体的には、当該画像Ｉ１は、車両が通行可能な場所である、道路、駐車場、駐停車エリアなどにおいて、略水平方向に撮像装置の光軸を向けて撮像したときに得られる画像である。また、当該画像Ｉ１は、道路、駐車場、駐停車エリアなどの地面が映り込んでいる画像であってもよい。
【００７０】
入力受付部２２０は、表示部２１０に表示している画像Ｉ１における当該人が危険と判断した第１領域を示す入力を受け付ける。入力受付部２２０は、例えば、図５に示すように、人がポインティングデバイスなどの入力ＩＦ２０５を用いることにより、表示部２１０に表示されている画像Ｉ１に対して設定した矩形の枠で示される領域の入力を、第１領域を示す入力として受け付ける。
【００７１】
また、入力受付部２２０は、表示部２１０にメッセージが表示されている間に受け付けた領域を第１領域として特定してもよい。また、入力受付部２２０は、表示部２１０にメッセージが表示された直後から所定の期間の間に受け付けた領域を第１領域として特定してもよい。
【００７２】
図５の（ａ）の黒矢印で示すように、入力受付部２２０は、表示部２１０に表示されている画像Ｉ１において、人がポインティングデバイスを操作することにより、設定した対角線で特定される矩形の枠で囲まれた領域を、第１領域を示す入力として受け付けてもよい。入力受付部２２０は、図５の（ｂ）に示すように、例えば、人が画像Ｉ１上において、マウスをドラッグすることで描いた軌跡の始点Ｐ１および終点Ｐ２を結んでできる対角線で特定される矩形の枠で囲まれた領域Ａ１を、第１領域を示す入力として受け付けてもよい。また、この場合、入力受付部２２０は、始点Ｐ１を示す入力および終点Ｐ２を示す入力を受け付けることができればよいため、マウスのドラッグによる入力に限らずに、マウスのクリックによる入力で始点Ｐ１および終点Ｐ２を受け付けてもよいし、キーボードによる入力で始点Ｐ１および終点Ｐ２を受け付けてもよいし、タッチパネルまたはタッチパッドへのジェスチャによる入力またはタップによる入力で始点Ｐ１および終点Ｐ２を受け付けてもよい。
【００７３】
なお、矩形の枠が対角線で特定されるとしたが、対角線に限らずに、４点の入力により矩形の枠が特定されてもよいし、４辺の入力により矩形の枠が特定されてもよい。また、人により設定される枠の形状は、矩形に限らずに、四角形であってもよいし、他の多角形であってもよいし、円形または楕円形であってもよい。つまり、入力受付部２２０は、画像Ｉ１における２次元上の領域を特定できれば、どのような入力を受け付けてもよく任意の領域を指定するための入力を受け付ける。入力受付部２２０は、例えば、入力ＩＦ２０５により実現される。
【００７４】
出力部２３０は、入力受付部２２０により受け付けられた入力により示される第１領域を示す第１の領域情報を、当該入力が入力受付部２２０により受け付けられたときに表示部２１０に表示されていた画像Ｉ１と対応付けた状態で情報処理装置１００に出力する。出力部２３０は、第１の領域情報と、当該画像Ｉ１を示す画像情報とを互いに対応付けて、通信ネットワークを介して情報処理装置１００に送信してもよい。これにより、画像Ｉ１を表示部２１０に表示しているときに受け付けた第１の領域情報には、画像Ｉ１を示す画像情報が対応付けられ、画像Ｉ１とは異なる他の画像を表示部２１０に表示しているときに受け付けた第１の領域情報には、他の画像を示す他の画像情報が対応付けられる。
【００７５】
なお、第１の領域情報は、対応する画像情報を識別するための識別情報を含むことで、対応する画像情報に対応付けられていてもよい。また、第１の領域情報は、第１領域を示す情報の他に、対応する画像情報を含むことで、対応する画像情報に対応付けられていてもよい。
【００７６】
出力部２３０は、例えば、ＣＰＵ２０１、メインメモリ２０２、ストレージ２０３および通信ＩＦ２０６により実現される。
【００７７】
次に情報処理装置１００の機能構成について説明する。
【００７８】
情報処理装置１００は、機能構成として、取得部１１０と、生成部１２０と、出力部１３０とを備える。
【００７９】
取得部１１０は、画像情報および第１の領域情報を取得する。取得部１１０は、複数の人により入力されることで得られた複数の第１の領域情報を取得する。具体的には、取得部１１０は、１つの入力装置２００を用いて複数の人により入力されることで得られた複数の第１の領域情報を当該１つの入力装置２００取得してもよい。また、取得部１１０は、複数の入力装置２００を用いて複数の人により入力されることで得られた複数の第１の領域情報を当該複数の入力装置２００から取得してもよい。取得部１１０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【００８０】
生成部１２０は、取得部１１０により取得された複数の第１の領域情報の各々が示す複数の第１領域の重なりに基づいて、画像情報が示す画像Ｉ１における危険と推定される第２領域を示す第２の領域情報を生成する。具体的には、生成部１２０は、複数の第１の領域情報の各々が示す複数の第１領域の各々の重なりの数をカウントする。生成部１２０は、カウントした重なりの数が所定の数（以下、「第１の数」という。）以上である領域を第２領域として決定する。生成部１２０は、決定した第２領域を示す領域情報を、第２の領域情報として生成する。
【００８１】
例えば、生成部１２０は、画像Ｉ１の領域を構成する複数の単位領域のそれぞれについて、当該単位領域が含まれる第１領域の数をカウントし、カウントした数が第１の数以上であることを満たす単位領域の全てにより構成される領域を第２領域として決定してもよい。ここで、単位領域は、例えば、画像Ｉ１を構成する１画素単位の領域であってもよいし、複数の画素単位で構成されるブロック単位の領域であってもよい。複数の単位領域は、互いに重ならない領域である。また、複数の単位領域は、全て同じ形状の領域であってもよいし、異なる形状の領域を含んでいてもよい。このため、カウントされた重なりの数が第１の数以上である領域を容易に特定できる。
【００８２】
第１の数は、複数の第１の領域情報の数または第１の領域情報を入力した人の数に応じて変動する値に設定されてもよい。例えば、第１の数は、複数の第１の領域情報の数または人の数の所定の割合の数に設定されてもよい。また、第１の数は、固定の数に設定されてもよい。また、第１の数は、重なりの数のうち最大値に設定されてもよい。
【００８３】
生成部は、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３により実現される。
【００８４】
上述のように、実施の形態１では、複数の第１領域に基づいて、多数決のルールの１つである最多数投票方式を用いて第２領域が決定される。
【００８５】
出力部１３０は、生成部１２０により生成された第２の領域情報を機械学習用データとして出力する。出力部１３０は、例えば、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４により実現される。
【００８６】
［１−３．動作］
次に、実施の形態１に係る情報処理システム１の動作について説明する。
【００８７】
図６は、情報処理システムにおける情報処理方法の一例を示すシーケンス図である。図７は、複数の第１の領域情報を説明するための図である。
【００８８】
まず、人が入力装置２００を操作することで、車両の周囲の画像Ｉ１の領域において当該人が危険と判断した第１領域を示す入力を受け付けるためのアプリケーションが入力装置２００において実行される。
【００８９】
入力装置２００では、入力受付部２２０が、車両の周囲の画像Ｉ１の領域に対して、人が危険と判断した第１領域を示す入力を受け付ける（Ｓ１１）。なお、第１の領域を示す入力を受け付ける入力処理の詳細は、後述する。
【００９０】
次に、出力部２３０は、画像情報と、当該画像情報が示す画像Ｉ１に対して、入力受付部２２０により受け付けられた第１領域を示す第１の領域情報とを情報処理装置１００に送信する（Ｓ１２）。
【００９１】
情報処理装置１００では、取得部１１０が、出力部２３０により送信された画像情報および第１の領域情報を取得する（Ｓ２１）。取得部１１０は、例えば、図７の（ａ）〜（ｃ）に示すように、複数の人により入力されることで得られた複数の第１の領域情報３１０、３２０、３３０を取得する。これにより、図７の（ｄ）に示すように、複数の第１の領域情報３１０、３２０、３３０の各々で示される複数の第１領域３１１、３１２、３２１、３２２、３３１、３３２、３３３が、画像Ｉ１の領域に配置されている領域情報３４０が得られる。
【００９２】
次に、生成部１２０は、取得部１１０により取得された複数の第１の領域情報の各々が示す複数の第１領域の重なりに基づいて、画像情報が示す画像Ｉ１における危険と推定される第２領域を示す第２の領域情報を生成する（Ｓ２２）。なお、第２の領域情報を生成する生成処理の詳細は、後述する。
【００９３】
次に、出力部１３０は、生成部１２０により生成された第２の領域情報を機械学習用データとして出力する（Ｓ２３）。
【００９４】
実施の形態１に係る入力処理の詳細について図８を用いて説明する。
【００９５】
図８は、実施の形態１に係る入力処理の詳細の一例を示すフローチャートである。
【００９６】
入力処理が開始されると、複数の画像情報の各々について以下のステップＳ３１〜Ｓ３４を実行するループ１が開始される（Ｓ３１）。なお、入力処理は、複数の画像情報に対して行われなくてもよく、１つの画像情報に対して行われてもよい。
【００９７】
入力装置２００では、表示部２１０が複数の画像情報のうちの一の画像情報が示す一の画像Ｉ１を表示する（Ｓ３２）。
【００９８】
次に、入力受付部２２０は、人による一の画像Ｉ１に対する第１領域を示す入力を受け付ける（Ｓ３３）。
【００９９】
入力受付部２２０は、人による一の画像Ｉ１に対する第１領域を示す入力が終了したか否かを判定する（Ｓ３４）。入力受付部２２０は、例えば、一の画像Ｉ１に対する領域を示す入力が終了したことを示す入力を人から受け付けると、人による一の画像Ｉ１に対する第１領域を示す入力が終了したと判定してもよい。入力受付部２２０は、例えば、一の画像Ｉ１が表示部２１０に表示されたタイミングから所定時間経過すると、人による一の画像Ｉ１に対する第１領域を示す入力が終了したと判定してもよい。入力受付部２２０は、例えば、所定数の第１領域を示す入力を人から受け付けると、人による一の画像Ｉ１に対する第１領域を示す入力が終了したと判定してもよい。
【０１００】
入力受付部２２０は、人による一の画像Ｉ１に対する第１領域を示す入力が終了したと判定した場合（Ｓ３４でＹｅｓ）、複数の画像情報のうち入力処理がまだ行われていない次の画像情報に対してステップＳ３１〜Ｓ３３を繰り返す。入力受付部２２０は、人による一の画像Ｉ１に対する第１領域を示す入力が終了したと判定した場合（Ｓ３４でＹｅｓ）において、複数の画像情報の全てに対して入力処理が行われた場合、ループ１を終了し入力処理を終了する。
【０１０１】
入力受付部２２０は、人による一の画像Ｉ１に対する第１領域を示す入力が終了していないと判定した場合（Ｓ３４でＮｏ）、ステップＳ３２に戻る。
【０１０２】
次に、実施の形態１に係る生成処理の詳細について説明する。
【０１０３】
図９は、実施の形態１に係る生成処理の詳細の一例を示すフローチャートである。図１０は、実施の形態１に係る生成処理の詳細を説明するための図である。図１１は、実施の形態１に係る生成処理により生成される第２領域の一例を示す図である。
【０１０４】
生成処理では、複数の単位領域の各々についてステップＳ４２のカウント処理を実行するループ２が開始される（Ｓ４１）。
【０１０５】
情報処理装置１００では、生成部１２０は、画像情報が示す画像Ｉ１の複数の単位領域の各々について、当該単位領域が含まれる複数の第１領域の数をカウントする（Ｓ４２）。つまり、生成部１２０は、複数の単位領域の各々について、当該単位領域における重なりの数であって、複数の第１の領域情報の各々が示す複数の第１領域の各々の重なりの数をカウントする。
【０１０６】
図１０の（ａ）に示すように、画像情報が示す画像Ｉ１の領域３００において、各人の入力によって第１領域Ｒ１１〜Ｒ１３が設定されている。図１０では、説明の簡略化のため、３人の人が入力した例が示されており、例えば、３つの第１の領域情報により示される３つの第１領域Ｒ１１〜Ｒ１３が示されている。また、領域３００は、複数の単位領域３０１で構成されている。
【０１０７】
次に、例えば、図１０の（ｂ）に示すように、生成部１２０は、３つの第１領域Ｒ１１〜Ｒ１３の単位領域毎に値「１」を割り当てる。そして、例えば、生成部１２０は、図１０の（ｃ）に示すように、第１領域Ｒ１１〜Ｒ１３の重なりに応じて、割り当てられている値「１」をそれぞれ加算することにより、単位領域毎に、当該単位領域が含まれる複数の第１領域の数をカウントする。なお、図１０の（ｂ）および（ｃ）では、第１領域Ｒ１１〜Ｒ１３以外の領域を図示していないが、生成部１２０は、第１領域Ｒ１１〜Ｒ１３以外の領域の単位領域の値「０」を割り当てている。
【０１０８】
図９に戻り、生成部１２０は、複数の単位領域のうちカウント処理がまだ行われていない次の単位領域に対してステップＳ４２の処理を繰り返す。生成部１２０は、全ての単位領域に対してカウント処理が行われると、カウント処理のループ２を終了し、次のステップＳ４３を実行する。
【０１０９】
生成部１２０は、カウントした重なりの数が第１の数以上である単位領域を第２領域に決定する（Ｓ４３）。
【０１１０】
生成部１２０は、例えば図１０の（ｃ）の結果から、第１の数として「２」以上の値である単位領域を第２領域として決定した場合、図１０の（ｄ）に示す領域を第２領域Ｒ２０として決定する。生成部１２０は、このような生成処理を図７の（ｄ）で示した領域情報３４０に対して実行することで、図１１に示すような第２の領域情報３５０を生成してもよい。この場合、生成部１２０は、図７の（ｄ）の第１領域３１１、３３１の重なりから第２領域３５１を決定し、第１領域３２１、３３２の重なりから第２領域３５２を決定し、第１領域３１２、３２２、３３３の重なりから第２領域３５３を決定する。
【０１１１】
なお、図１０の（ｄ）では、第２領域Ｒ２０のみが図示されているが、第２領域Ｒ２０を示す第２領域情報には、領域３００と、当該領域３００における第２領域Ｒ２０の位置を示す情報が含まれる。
【０１１２】
図９に戻り、生成部１２０は、決定した第２領域を示す領域情報を、第２の領域情報として生成する（Ｓ４４）。
【０１１３】
［１−４．効果］
本実施の形態に係る情報処理装置１００によれば、画像Ｉ１における領域にうち、複数の人により危険であると判断された結果である複数の第１領域の各々の重なりに基づいて、画像Ｉ１における危険な領域である第２領域を推定する。このため、複数の人の判断を第２領域の推定に反映できる。よって、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。
【０１１４】
また、本実施の形態に係る情報処理装置１００によれば、第１領域の各々の重なりの数が第１の数以上である領域を第２領域として決定するため、危険であると判断した人が少ない領域を危険な領域から除外できる。このため、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。
【０１１５】
上記の情報処理方法によって出力された機械学習用データを用いて危険予測のための機械学習をコンピュータに行わせることで、車両の周囲が撮像された任意の画像を当該コンピュータに入力すれば、当該任意の画像における危険と推定される領域を当該コンピュータに精度よく特定させることができる。これにより、当該任意の画像において危険と推定される領域に、危険な領域であることを示すアノテーションを精度よく付与することができ、例えば、安全運転サポートのために運転中に注意すべき領域を運転者に知らせることができる。
【０１１６】
［１−５．実施の形態１の変形例］
［１−５−１．変形例１］
実施の形態１では、生成部１２０は、複数の第１の領域情報の各々が示す複数の第１領域の各々の重なりの数をカウントし、カウントした重なりの数が第１の数以上である領域を第２領域として決定し、決定した第２領域を示す領域情報を、第２の領域情報として生成するとしたが、これに限らない。生成部１２０は、画像の領域のうち、複数の第１領域の少なくとも１つに含まれる領域であって、複数の第１領域により区切られた１以上の第３領域の各々において、当該第３領域の各々が含まれる１以上の第１領域の各々に対応付けられたポイントを用いて計算することで得られた計算値が所定値以上である領域を第２領域として決定し、決定した第２領域を示す領域情報を、第２の領域情報として生成してもよい。つまり、生成部１２０は、上記実施の形態では、複数の第１領域の各々の重なりの数（カウント数）が第１の数以上である領域を第２領域として決定するとしたが、カウント数を用いる代わりに、複数の第１領域の各々に予め定められているポイントを用いて計算することで得られた計算値が所定値以上である領域を第２領域として決定してもよい。
【０１１７】
図１２は、実施の形態１の変形例１に係る生成処理の詳細の一例を示すフローチャートである。図１３は、実施の形態１の変形例１に係る生成処理の詳細を説明するための図である。
【０１１８】
生成処理では、複数の第３領域Ｒ３１〜Ｒ３７の各々についてステップＳ４２Ａのポイントの計算処理を実行するループ２Ａが開始される（Ｓ４１Ａ）。なお、複数の第３領域Ｒ３１〜Ｒ３７は、図１３の（ａ）に示すように、図１０の（ａ）で示した３つの第１領域Ｒ１１〜Ｒ１３により区切られた複数（本変形例では７つ）の領域である。
【０１１９】
情報処理装置１００では、生成部１２０は、複数の第３領域Ｒ３１〜Ｒ３７の各々について、当該第３領域が含まれる１以上の第１領域の各々に対応付けられたポイントを用いて加算する（Ｓ４２Ａ）。例えば、生成部１２０は、第３領域Ｒ３２が含まれる第１領域Ｒ１１、Ｒ１２の各々に対応付けられたポイントである１ｐｔを加算して、第３領域Ｒ３２のポイントとして２ｐｔを計算する。なお、第１領域Ｒ１１〜Ｒ１３には、それぞれ、１ｐｔが対応付けられている。
【０１２０】
生成部１２０は、複数の第３領域Ｒ３１〜Ｒ３７のうちポイントの計算がまだ行われていない次の第３領域に対してステップＳ４２Ａの処理を繰り返す。これにより、図１３の（ｂ）に示すように、複数の第３領域Ｒ３１〜Ｒ３７の各々について、当該第３領域に含まれる第１領域のポイントに応じたポイントが計算される。生成部１２０は、全ての第３領域Ｒ３１〜Ｒ３７に対してポイントの計算を行うと、ポイントの計算処理のループ２Ａを終了し、次のステップＳ４３Ａを実行する。
【０１２１】
生成部１２０は、計算したポイントである計算値が所定値（例えば２ｐｔ）以上である第３領域を第２領域に決定する（Ｓ４３Ａ）。この場合、２ｐｔ以上である第３領域Ｒ３２、Ｒ３４、Ｒ３５、Ｒ３６により構成される領域が、第２領域として決定される。そして、上記実施の形態のステップＳ４４が行われ、生成処理は終了する。
【０１２２】
これによれば、含まれる第１領域に応じて計算されるポイントが所定値以上である領域を第２領域として決定するため、危険であると判断した人が少ない領域を画像における危険な領域であると推定することを除外できる。このため、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。
【０１２３】
［１−５−２．変形例２］
上記実施の形態では、生成部１２０は、複数の単位領域の各々について、当該単位領域が含まれる第１領域の数をカウントするとしたが、これに限らない。生成部１２０は、上記変形例１のように、複数の第３領域の各々について、当該第３領域が含まれる第１領域の数をカウントするとしてもよい。このため、カウント処理の回数を少なくできるため、処理負荷を軽減することができる。
【０１２４】
（実施の形態２）
次に、実施の形態２を説明する。
【０１２５】
［２−１．構成］
図１４は、実施の形態２に係る情報処理装置の概略を説明するための図である。
【０１２６】
実施の形態２では、実施の形態１において情報処理装置１００および入力装置２００が行っていた処理を全て、情報処理装置１００Ａで行う点が異なる。情報処理装置１００Ａは、実施の形態１における情報処理装置１００の機能の他に、入力装置２００の機能を有する。なお、この場合、１台の情報処理装置１００Ａに対して、複数の人それぞれから入力が行われる。
【０１２７】
情報処理装置１００Ａのハードウェア構成について図１５を用いて説明する。
【０１２８】
図１５は、実施の形態２に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【０１２９】
図１５に示すように、情報処理装置１００Ａは、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３、通信ＩＦ１０４、ディスプレイ１０５および入力ＩＦ１０６を備える。ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４は、実施の形態１に係る情報処理装置１００が備える構成要素と同様であるため説明を省略する。
【０１３０】
また、ディスプレイ１０５および入力ＩＦ１０６は、それぞれ、実施の形態１に係る入力装置２００が備えるディスプレイ２０４および入力ＩＦ２０５と同様であるため説明を省略する。
【０１３１】
［２−２．機能構成］
次に、情報処理装置１００Ａの機能構成について図１６を用いて説明する。
【０１３２】
図１６は、情報処理装置の機能構成の一例を示すブロック図である。
【０１３３】
情報処理装置１００Ａは、機能構成として、取得部１１０Ａと、生成部１２０と、出力部１３０と、表示部１４０とを備える。生成部１２０および出力部１３０は、実施の形態１に係る情報処理装置１００が備える構成要素と同様であるため説明を省略する。
【０１３４】
また、取得部１１０Ａおよび表示部１４０は、実施の形態１の入力装置２００が備える入力受付部２２０および表示部２１０と同様であるため、説明を省略する。
【０１３５】
［２−３．動作］
次に、実施の形態２に係る情報処理装置１００Ａの動作について説明する。
【０１３６】
図１７は、情報処理装置における情報処理方法の一例を示すフローチャートである。
【０１３７】
まず、人が情報処理装置１００Ａを操作することで、車両の周囲の画像の領域において当該人が危険と判断した第１領域を示す入力を受け付けるためのアプリケーションが情報処理装置１００Ａにおいて実行される。
【０１３８】
情報処理装置１００Ａでは、取得部１１０Ａが、画像情報、および、当該画像情報に対する第１領域が設定された第１の領域情報を取得する（Ｓ１１Ａ）。
【０１３９】
次に、生成部１２０および出力部１３０が、それぞれ実施の形態１で説明したステップＳ２２、Ｓ２３を行う。各ステップＳ２２、Ｓ２３の内容は、図６で説明したものと同様であるため説明を省略する。
【０１４０】
［２−４．効果］
本実施の形態に係る情報処理装置１００Ａによれば、１台の情報処理装置１００Ａを用いることによってでも、実施の形態１に係る情報処理方法を実現することができる。
【０１４１】
［２−５．実施の形態２の変形例］
［２−５−１．変形例１］
上記実施の形態２に係る情報処理装置１００Ａでは、実施の形態１に係る入力装置２００の機能を有するとした。このため、上記実施の形態２に係る情報処理装置１００Ａでは、取得部１１０Ａが人から大きさが任意の領域を受け付けるとしたが、これに限らない。例えば、取得部１１０Ａは、予め定められた複数のサブ領域のうちの少なくとも１つの領域を示す入力を受け付けてもよい。つまり、情報処理装置１００Ａは、図１７におけるステップＳ１１において、ステップ図８で説明した入力処理とは異なる入力処理を行ってもよい。以下、異なる入力処理について、図１８および図１９を用いて説明する。
【０１４２】
図１８は、実施の形態２の変形例１に係る入力処理の詳細の一例を示すフローチャートである。図１９は、実施の形態２の変形例１に係る、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【０１４３】
実施の形態２の変形例１に係る入力処理では、実施の形態１で説明した入力処理と比較して、ステップＳ３２、Ｓ３３の代わりに、それぞれ、ステップＳ３２Ａ、Ｓ３３Ａを行う点が異なる。このため、ステップＳ３２Ａ、Ｓ３３Ａについて説明する。
【０１４４】
入力処理が開始されると、複数の画像情報の各々について実行するループ３が開始される（Ｓ３１Ａ）。なお、入力処理は、複数の画像情報に対して行われなくてもよく、１つの画像情報に対して行われてもよい。
【０１４５】
情報処理装置１００Ａでは、表示部１４０が複数の画像情報のうちの一の画像情報が示す一の画像Ｉ２を表示すると共に、複数のサブ領域３６１に分割された画像Ｉ２の領域３６０を表示する（Ｓ３２Ａ）。具体的には、図１９の（ａ）に示すように、情報処理装置１００Ａでは、表示部１４０が、領域３６０が複数（本変形例では、縦３つおよび横４つの計１２）のサブ領域３６１に分割された画像Ｉ２を表示する。
【０１４６】
次に、取得部１１０Ａは、複数のサブ領域３６１のうち、人が危険と判断することによって選択した領域であって、複数のサブ領域３６１のうちの少なくとも１つの領域３６２を示す入力を第１領域を示す入力として受け付ける（Ｓ３３Ａ）。
【０１４７】
情報処理装置１００Ａでは、ステップＳ３３Ａが終わると、ステップＳ３４が行われる。
【０１４８】
なお、図１９の（ｂ）に示すように、ステップＳ３３Ａが終了した後で、表示部１４０は、さらに、選択された１つの領域３６２を、複数（本変形例では、縦２つおよび横３つの計６）のサブ領域３６３に分割して表示してもよい。そして、取得部１１０Ａは、人が危険と判断することによって選択した領域であって、複数のサブ領域３６３のうちの少なくとも１つの領域３６４を示す入力を受け付けてもよい。
【０１４９】
なお、取得部１１０Ａが、図１９の（ａ）で選択された１つの領域３６２をさらに小さく分割した複数のサブ領域３６３に分割することを示す入力を受け付けると、表示部１４０は、分割した複数のサブ領域３６３を表示してもよい。また、取得部１１０Ａが１つの領域３６２の選択を受け付けると、表示部１４０は、分割した複数のサブ領域３６３を表示してもよい。このように、情報処理装置１００Ａは、画像Ｉ２における領域３６０を複数のサブ領域３６１から、さらに小さい複数のサブ領域３６３に段階的に分割することで、複数のサブ領域３６３への選択を第１領域を示す入力として受け付けてもよい。
【０１５０】
実施の形態２の変形例１に係る情報処理装置１００Ａによれば、取得部１１０Ａは、複数のサブ領域３６１に分割された画像Ｉ２の領域３６０において、人が危険と判断することによって選択した領域であって、複数のサブ領域３６１のうちの少なくとも１つの領域３６２を示す入力を受け付けて、受け付けた１つの領域３６２を示す領域情報を、第１の領域情報として取得する。
【０１５１】
このため、人は複数のサブ領域３６１から選択することで、第１領域を設定できるため、第１領域の設定を容易にできる。
【０１５２】
なお、本変形例における入力処理において、次の入力処理では、複数のサブ領域３６１とは少しずらした位置で画像Ｉ２を複数のサブ領域に分割し、当該複数のサブ領域を表示部１４０に表示させてもよい。つまり、本変形例における入力処理において、同じ画像Ｉ２で入力処理を繰り返す場合、画像Ｉ２が複数のサブ領域に分割される位置がランダムに変更されてもよい。これにより、画像Ｉ２の領域３６０を等間隔で分割した複数のサブ領域に対する入力により第１領域を取得する場合であっても、入力処理を複数回繰り返すことで得られた複数の第１領域情報に基づいて第２の領域情報を生成することで、第１領域の重複が多い領域が第２領域として決定される。そのため、サブ領域よりも小さい適切な領域を第２領域として決定できる。
【０１５３】
また、一つの画像に対してランダムに複数のサブ領域の位置を変更する入力処理を複数回繰り返すことで複数の第１の領域情報を取得した場合、取得した第１の領域情報の数が第２の数以上となったとき、次の入力処理において、第２の数の第１の領域情報が示す複数の第１領域に応じて決定した第２領域を基準として複数のサブ領域を表示部１４０に表示させてもよい。具体的には、決定した１以上の第２領域の各々を１つのサブ領域が含むように、複数のサブ領域を決定し、決定した複数のサブ領域を表示部１４０に表示してもよい。なお、ここで複数のサブ領域は、画像における危険と推定される第２領域を決定するための第１の数よりも小さい数で仮に決定した仮第２領域を含むように決定されてもよい。
【０１５４】
また、この場合、決定した１以上の第２領域のみが選択可能に複数のサブ領域を表示部１４０に表示してもよい。この場合、取得部１１０Ａは、選択可能な複数のサブ領域への入力のみを受け付ける。
【０１５５】
なお、本変形例では、実施の形態２に係る情報処理装置１００Ａにおいて行われる入力処理の変形例として説明したが、実施の形態１に係る入力装置２００に置いて行われる入力処理として適用してもよい。
【０１５６】
［２−５−２．変形例２］
上記実施の形態２に係る情報処理装置１００Ａは、実施の形態１に係る入力装置２００の機能を有するとした。このため、上記実施の形態２に係る情報処理装置１００Ａでは、取得部１１０Ａを実現する入力ＩＦ１０６は、ポインティングデバイス、および、キーボードなどの人の手によって入力を受け付けるデバイスとしたがこれに限らない。例えば、取得部１１０Ａを実現する入力ＩＦ１０６は、人の視線を検出するアイトラッカーなどの視線検出装置を含んでいてもよい。
【０１５７】
図２０は、実施の形態２の変形例２に係る入力処理の詳細の一例を示すフローチャートである。図２１は、実施の形態２の変形例２に係る、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【０１５８】
入力処理が開始されると、複数の画像情報の各々について実行するループ４が開始される（Ｓ５１）。なお、入力処理は、複数の画像情報に対して行われなくてもよく、１つの画像情報に対して行われてもよい。
【０１５９】
情報処理装置１００Ａでは、表示部１４０が複数の画像情報のうちの一の画像情報が示す一の画像Ｉ１を表示する（Ｓ５２）。
【０１６０】
次に、取得部１１０Ａは、表示部１４０が表示した画像Ｉ１のうち人が視線を向けている位置（以下、「視線の位置」という。）を検出する（Ｓ５３）。
【０１６１】
取得部１１０Ａは、表示部１４０上の画像Ｉ１を表示している領域の位置であって、視線の位置を検出してから第１の期間経過したか否かを判定する（Ｓ５４）。
【０１６２】
取得部１１０Ａは、視線の位置を検出してから第１の期間経過した場合（Ｓ５４でＹｅｓ）、第１の期間経過するまでに検出した複数の視線の位置から第１領域を検出する（Ｓ５５）。
【０１６３】
具体的には、図２１に示すように、情報処理装置１００Ａでは、取得部１１０Ａは、表示部２１０が表示した画像Ｉ１の領域のうち人が視線を向けている位置を示す視線情報に基づいて、所定の回数以上または所定の時間（第２の期間）以上、当該人の視線が向けられた領域を示す入力を第１領域を示す入力として受け付けてもよい。この場合の取得部１１０Ａは、人の視線が向けられた画像Ｉ１の領域上の位置を互いに異なる複数のタイミングで受け付ける。異なる複数のタイミングとは、例えば、所定のサンプリング周期で規定される、所定のサンプリング周期毎のタイミングであってもよい。なお、第２の期間は、第１の期間よりも短い期間である。
【０１６４】
取得部１１０Ａは、例えば、所定の回数と同じ数である複数の位置であって、複数のタイミングで受け付けられた画像Ｉ１の領域上の複数の位置が、所定の密度以上となる最大の領域を第１領域の入力として受け付けてもよい。また、取得部１１０Ａは、例えば、第２の時間以上、所定のサイズの領域に人の視線が向けられた領域を第１領域の入力として受け付けてもよい。これにより、取得部１１０Ａは、例えば、図２１における領域３７１〜３７３を第１領域として受け付ける。なお、図２１における太線３７４は、取得部１１０Ａにより受け付けられた人の視線が向けられた位置の軌跡を示す。
【０１６５】
図２０に戻り、取得部１１０Ａは、視線の位置を検出してから第１の期間経過していない場合（Ｓ５４でＮｏ）、ステップＳ５４を繰り返す。
【０１６６】
変形例２に係る情報処理装置１００Ａによれば、取得部１１０Ａは、画像Ｉ１の領域のうち人が視線を向けている位置を示す視線情報に基づいて、所定の回数以上または第２の時間以上、視線が向けられた領域３７１〜３７３を示す領域情報３７０を、第１の領域情報として受け付ける。
【０１６７】
実施の形態２の変形例２に係る情報処理装置１００Ａを用いると、人は画像Ｉ１を注視することで第１領域を設定できるため、第１領域の設定を容易にできる。
【０１６８】
［２−５−３．変形例３］
実施の形態２の変形例２に係る情報処理装置１００Ａでは、表示部１４０に表示する画像Ｉ１が静止画である場合について説明したが、表示部１４０に表示する画像は動画であってもよい。実施の形態２の変形例３に係る情報処理装置１００Ａは、動画に対する人の視線を検出することにより、人の動作による第１領域の入力を受け付ける。
【０１６９】
図２２は、実施の形態２の変形例３に係る入力処理の詳細の一例を示すフローチャートである。図２３は、実施の形態２の変形例３に係る、人から受け付ける、画像への第１領域を示す入力の一例を説明するための図である。
【０１７０】
入力処理が開始されると、情報処理装置１００Ａでは、表示部１４０が画像としての動画を表示する（Ｓ６１）。
【０１７１】
次に、取得部１１０Ａは、表示部１４０が表示した動画のうち人が視線を向けている位置（以下、「視線の位置」という。）を検出する（Ｓ６２）。
【０１７２】
取得部１１０Ａは、動画が撮像された車両が移動しているときの速度ベクトルを示す速度情報を取得する（Ｓ６３）。
【０１７３】
取得部１１０Ａは、検出した視線の位置と、速度情報とに応じて動画上の第１領域を特定する（Ｓ６４）。取得部１１０Ａは、具体的には、速度情報が示す速度ベクトルに基づいて車両の移動のみにより当該車両に対して相対的に移動している物体、つまり、車両の周囲において静止している物体（以下、「静止物体」という。）を検出する。そして、取得部１１０Ａは、動画を構成する複数のピクチャのうちの所定のピクチャにおいて第１領域を特定した場合であって、第１領域が特定された物体が所定のピクチャ以外のピクチャ上にある場合、所定のピクチャ以外のピクチャにおいても当該物体の領域を第１領域として特定してもよい。なお、この場合、取得部１１０Ａは、視線の位置に基づいて第１領域を特定した後に、速度情報に基づいて静止物体を特定し、特定した静止物体の領域を所定ピクチャ以外においても第１領域として特定してもよい。
【０１７４】
また、取得部１１０Ａは、車両の周囲において当該車両の移動に関わらず移動している物体（以下、「移動物体」という。）を検出し、所定のピクチャ移動物体の領域のうち、視線の位置が検出された領域を第１領域として特定してもよい。例えば、図２３に示すように、取得部１１０Ａは、３枚のピクチャＰ１１〜Ｐ１３において、ピクチャＰ１１で移動物体の領域３８１で視線の位置を検出した場合、領域３８１を第１領域として特定する。そして、取得部１１０Ａは、さらに、他のピクチャＰ１２、Ｐ１３において当該移動物体の領域３８３、３８５で視線の位置を検出していなくても、領域３８３、３８５を第１領域として特定する。同様に、取得部１１０Ａは、ピクチャＰ１２、Ｐ１３で移動物体の領域３８４、３８６で視線の位置を検出した場合、領域３８４、３８６を第１領域として特定すると共に、ピクチャＰ１１の移動物体の領域３８２を第１領域として特定する。
【０１７５】
このように、当該動画のうちの所定数の画像（所定フレーム数内の画像）の各々についての第２領域の推定結果を用いて、当該所定数の画像（所定フレーム数内の画像）、言い換えると所定の撮像期間、における第２領域が推定されてもよい。例えば、第１の人が第１のフレームの画像を見て危険な状況を把握するのに対し、他の第２の人は第１のフレームの次の第２のフレームを見て同じ危険な状況を把握する場合がある。この場合に、第１のフレームにおける危険な状況に対応する領域を第１の人のみが入力することになる。しかし、上記の構成によれば、第２のフレームにおける第１領域の入力と、第１のフレームにおける第１領域の入力の両方が考慮されることにより、複数人で同じ危険な状況を把握する場合における把握タイミングのズレを抑制することができる。したがって、第２領域をより正確に推定することができる。
【０１７６】
また、例えば、当該動画の撮像に用いられた撮像装置の移動の速さに基づいて、第２領域が推定されてもよい。具体的には、動画の所定のフレーム毎に第２領域の推定および第２領域情報の生成が行われる場合、当該所定のフレームにおける当該移動の速さに応じて、上述したポイントが変更されてよい。例えば、当該移動の速さが高速であるほど、画像の中心部から遠い第１領域ほど高いポイントが対応付けられてよい。人間の視野の広さは、移動の速さに応じて変化することが知られている。移動速度が高速であるほど視野は中心に向かって狭くなる。そのため、画像を見る人間は、画像の中心部ばかりを見ることになる。これに対し、画像の中心部から離れた部分を見る人間は、あえて当該部分に注目していると考えられる。そこで、上記のように、移動の速さが高速であるほど、画像の中心部から遠い第１領域ほど高いポイントが対応付けられることにより、当該第１領域が第２領域として決定される可能性を高くすることができる。つまり、当該第１領域を危険な状況にある領域とする学習データを生成することができる。
【０１７７】
なお、本変形例において、動画上における移動物体の検出を速度情報に基づいて行うとしたが、動画を画像処理することで、移動物体の検出を行ってもよい。
【０１７８】
（実施の形態３）
次に、実施の形態３を説明する。
【０１７９】
［３−１．構成］
実施の形態３に係る情報処理システム１の構成は、実施の形態１と同様であるが、入力装置２００における処理の内容と、情報処理装置１００における処理の内容とが異なる。実施の形態３に係る情報処理装置１００および入力装置２００のハードウェア構成および機能構成は、それぞれ、実施の形態１に係る情報処理装置１００および入力装置２００のハードウェア構成および機能構成と同様であるので、異なる処理の内容について以下で説明する。
【０１８０】
以下、入力装置２００の異なる処理について説明する。
【０１８１】
実施の形態３に係る入力装置２００では、入力受付部２２０は、画像の領域のうち人が危険と判断した複数の第１領域である領域群を示す入力と、人によって決定された当該複数の第１領域の優先順位を示す入力とを受け付ける。そして、出力部２３０は、入力受付部２２０により受け付けられた領域群を示す領域群情報と、入力受付部２２０により受け付けられた優先順位を示す順位情報とを情報処理装置１００に出力する。
【０１８２】
次に、情報処理装置１００の異なる処理について説明する。
【０１８３】
実施の形態３に係る情報処理装置１００では、取得部１１０は、複数の領域群情報と、順位情報とを第１の領域情報として取得する。生成部１２０は、１以上の第４領域の各々について、当該第４領域が含まれる１以上の第１領域の各々に対応付けられた優先順位に基づくポイントを用いて計算することで得られた計算値が所定値以上である領域を第２領域として決定する。生成部１２０は、例えば、これらのポイントを加算することで得られた加算値（総和）が所定値以上である領域を第２領域として決定してもよい。なお、１以上の第４領域は、画像の領域のうち、取得部１１０により取得された複数の第１の領域情報に含まれる複数の領域群情報が示す複数の領域群に含まれる複数の第１領域の少なくとも１つに含まれる領域であって、複数の第１領域により区切られた領域である。また、１以上の第４領域は、例えば、画像を構成する複数の単位領域のうち、複数の第１領域の少なくとも１つに含まれる１以上の単位領域である。また、優先順位に基づくポイントは、例えば当該優先順位が高いほど大きな値であってよい。
【０１８４】
上述のように、本実施の形態では、複数の第１領域に基づいて、多数決のルールの１つであるボルダ方式を用いて第２領域を決定している。
【０１８５】
［３−２．動作］
次に、実施の形態３に係る情報処理システム１の動作について説明する。
【０１８６】
図２４は、実施の形態３に係る入力処理の詳細の一例を示すフローチャートである。
【０１８７】
実施の形態３の入力処理では、実施の形態１と比較して、実施の形態１のステップＳ３３の代わりにステップＳ３３Ｂを実行する点、及びステップＳ３５が追加された点が異なる。
【０１８８】
入力処理が開始されると、複数の画像情報の各々について実行するループ５が開始される（Ｓ３１Ｂ）。
【０１８９】
ステップＳ３２の後で、入力受付部２２０は、人による一の画像に対する複数の第１領域を示す入力、および、複数の第１領域各々の優先順位を示す入力を受け付ける（Ｓ３３Ｂ）。
【０１９０】
人による一の画像Ｉ１に対する第１領域を示す入力が終了したと判定されると（Ｓ３４でＹｅｓ）、情報処理装置１００は、入力された複数の第１領域を領域群として保存する（Ｓ３５）。
【０１９１】
ステップＳ３３Ｂより後の入力処理の詳細は、実施の形態１に係る入力処理の詳細と同様であるので説明を省略する。
【０１９２】
図２５は、実施の形態３に係る生成処理の詳細の一例を示すフローチャートである。図２６は、実施の形態３に係る生成処理の詳細を説明するための図である。
【０１９３】
実施の形態３に係る生成処理では、実施の形態１と比較して、全ての処理が異なる。
【０１９４】
生成処理では、複数の単位領域の各々についてポイントの計算処理のループ６が開始される（Ｓ４１Ｂ）。
【０１９５】
情報処理装置１００では、生成部１２０は、一の単位領域が含まれる１以上の第１領域の各々に対応付けられた優先順位に応じたポイントを加算する（Ｓ４２Ｂ）。なお、生成部１２０は、第１領域に含まれない単位領域のポイントを「０」としてもよい。また、ここで言う、１以上の第１領域は、第１の領域情報に含まれる複数の領域群情報が示す複数の領域群に含まれる複数の第１領域のうち一の単位領域に含まれる第１領域である。
【０１９６】
ここで、図２６の（ａ）は、３人の人である作業者１〜３により入力されることで得られた複数の第１の領域情報４１０、４２０、４３０を示す。例えば、第１の領域情報４１０は、複数の第１領域４１１、４１２である領域群を示す領域群情報を含む。また、第１の領域情報４１０は、さらに、第１領域４１１に対応付けられた優先順位である「１」と、第１領域４１２に対応付けられた優先順位である「２」とを示す順位情報を含む。図２６の（ａ）では、優先順位を、第１領域４１１、４１２を示す枠の中の数値で示している。同様に、第１の領域情報４２０は、複数の第１領域４２１、４２２である領域群を示す領域群情報と、複数の第１領域４２１、４２２の各々に対応付けられた優先順位を示す順位情報とを含む。第１の領域情報４３０は、複数の第１領域４３１、４３２、４３３である領域群を示す領域群情報と、複数の第１領域４３１、４３２、４３３の各々に対応付けられた優先順位を示す順位情報とを含む。なお、画像の領域は、複数の単位領域４０１で構成されるものとし、第１の領域情報４１０、４２０、４３０における複数の第１領域４１１、４１２、４２１、４２２、４３１、４３２、４３３は、複数の単位領域４０１の一部の集合の、サイズおよび位置に対応する領域である。
【０１９７】
図２６の（ｂ）は、第１領域４１１、４１２、４２１、４２２、４３１、４３２、４３３に対応付けられた優先順位に基づくポイントを示す。優先順位に基づくポイントは、複数の第１の領域情報４１０、４２０、４３０のうち、最も多くの数の第１領域が設定されている第１の領域情報４３０における第１領域の数（つまり「３」）から複数の第１領域４１１、４１２、４２１、４２２、４３１、４３２、４３３に対応付けられた優先順位を減じることで算出される。これにより、優先順位に基づくポイントは、図２６の（ｂ）の、第１領域４１１、４１２、４２１、４２２、４３１、４３２、４３３を示す枠の中の数値となる。なお、図２６の（ａ）および（ｂ）では、優先順位またはポイントは、複数の第１領域の各々について１つの数値で示しているが、当該第１領域に対応する１以上の単位領域の各々に当該数値で示される優先順位またはポイントが付与されているものとする。
【０１９８】
そして、複数の単位領域４０１の各々に付与されたポイントが加算されることで、図２６の（ｃ）に示すように、複数の単位領域４０１の各々のポイントの加算値が算出される。なお、図２６の（ｂ）、（ｃ）において、空欄のポイントを「０」としてもよい。
【０１９９】
図２５に戻り、生成部１２０は、複数の単位領域にうち計算処理がまだ行われていない次の単位領域に対してステップＳ４２Ｂの処理を繰り返す。生成部１２０は、全ての単位領域に対して計算処理が行われると、計算処理のループ４を終了し、次のステップＳ４３Ｂを実行する。
【０２００】
生成部１２０は、計算することで得られた計算値が所定値以上の単位領域を第２領域に決定する（Ｓ４３Ｂ）。
【０２０１】
生成部１２０は、例えば、図２６の（ｃ）の結果から、所定値（例えば３ｐｔ）以上である１以上の単位領域４０１を第２領域として決定した場合、図２６の（ｃ）のドットのグレーのハッチングで示す１以上の単位領域４０１の集合を第２領域４４１、４４２、４４３として決定する。
【０２０２】
図２５に戻り、生成部１２０は、決定した第２領域を示す領域情報を、第２の領域情報４４０として生成する（Ｓ４４）。
【０２０３】
［３−３．効果］
本実施の形態に係る情報処理装置１００によれば、第１領域に含まれる数に応じて付与されるポイントが所定値以上である領域を第２領域として決定するため、危険であると判断した人が少ない領域を画像における危険な領域であると推定することを除外できる。このため、判断基準が曖昧であっても、危険な領域を精度よく推定することができる。
【０２０４】
本実施の形態に係る情報処理装置１００によれば、優先順位が高いほど大きな値のポイントが対応付けられているため、優先順位に応じたポイントを付与することができる。よって、優先順位を考慮したポイントに基づいて、第２領域を推定できる。このため、危険な領域を精度よく推定することができる。
【０２０５】
本実施の形態に係る情報処理装置１００によれば、第１領域に含まれる１以上の第４領域は、画像を構成する複数の単位領域のうち、複数の第１領域に含まれる１以上の単位領域である。このため、付与されたポイントが所定値以上である領域を容易に特定できる。
【０２０６】
［３−４．実施の形態３の変形例］
［３−４−１．変形例１］
実施の形態３では、生成部１２０は、複数の単位領域４０１の各々についてポイントの計算処理のループ６を行うとしたが、これに限らない。生成部１２０は、複数の第４領域の各々について、当該第４領域が含まれる第１領域のポイントの計算処理のループ６Ａを行うとしてもよい。
【０２０７】
図２７は、実施の形態３の変形例１に係る生成処理の詳細の一例を示すフローチャートである。図２８は、実施の形態３の変形例１に係る生成処理の詳細を説明するための図である。
【０２０８】
生成処理では、複数の第４領域Ｒ４１〜Ｒ５０の各々についてステップＳ４２Ｃのポイントの計算処理を実行するループ６Ａが開始される（Ｓ４１Ｃ）。なお、複数の第４領域Ｒ４１〜Ｒ５０は、図２８の（ａ）に示すように、図２６の（ａ）で示した３つの領域群に含まれる７つの第１領域４１１、４１２、４２１、４２２、４３１、４３２、４３３により区切られた複数（本変形例では１０個）の領域である。
【０２０９】
情報処理装置１００では、生成部１２０は、複数の第４領域Ｒ４１〜Ｒ５０の各々について、当該第４領域が含まれる１以上の第１領域の各々に対応付けられたポイントを用いて加算する（Ｓ４２Ｃ）。例えば、生成部１２０は、第４領域Ｒ４５が含まれる第１領域４１１、４３１の各々に対応付けられたポイントである３ｐｔ及び３ｐｔを加算して、第４領域Ｒ４５のポイントとして６ｐｔを計算する。なお、第１領域４１１、４１２、４２１、４２２、４３１、４３２、４３３には、それぞれ、図２８の（ｂ）の表で示される、実施の形態３で説明した優先順位に応じたポイントが対応付けられている。
【０２１０】
生成部１２０は、複数の第４領域Ｒ４１〜Ｒ５０のうちポイントの計算がまだ行われていない次の第４領域に対してステップＳ４２Ｃの処理を繰り返す。これにより、図２８の（ｃ）に示すように、複数の第４領域Ｒ４１〜Ｒ５０の各々について、当該第４領域に含まれる第１領域のポイントに応じたポイントが計算される。生成部１２０は、全ての第４領域Ｒ４１〜Ｒ５０に対してポイントの計算を行うと、ポイントの計算処理のループ６Ａを終了し、次のステップＳ４３Ｃを実行する。
【０２１１】
生成部１２０は、計算することで得られた計算値が所定値（例えば３ｐｔ）以上である第４領域を第２領域に決定する（Ｓ４３Ａ）。この場合、３ｐｔ以上である第４領域Ｒ４１、Ｒ４３〜Ｒ４８、Ｒ５０により構成される領域が、第２領域として決定される。
【０２１２】
生成部１２０は、決定した第２領域を示す領域情報を、第２の領域情報４４０として生成する（Ｓ４４）。
【０２１３】
このように、複数の領域群に含まれる複数の第１領域で区切られた複数の第４領域のそれぞれにおいて、ポイントを計算することで第２領域を決定してもよい。これにより、ポイントの計算処理の回数を少なくできるため、処理負荷を軽減することができる。
【０２１４】
［３−４−２．変形例２］
実施の形態３では、実施の形態１の情報処理システム１と同様の構成としたが、実施の形態２の情報処理装置１００Ａに適用してもよい。つまり、情報処理装置１００Ａの取得部１１０Ａが入力受付部２２０での入力処理を行ってもよい。
【０２１５】
（実施の形態４）
次に、実施の形態４を説明する。
【０２１６】
［４−１．構成］
実施の形態４に係る情報処理システム１の構成は、実施の形態１と同様であるが、入力装置２００における処理の内容と、情報処理装置１００における処理の内容とが異なる。実施の形態４に係る情報処理装置１００および入力装置２００のハードウェア構成および機能構成は、それぞれ、実施の形態１に係る情報処理装置１００および入力装置２００のハードウェア構成および機能構成と同様であるので、異なる処理の内容について以下で説明する。
【０２１７】
以下、入力装置２００の異なる処理について説明する。
【０２１８】
実施の形態４に係る入力装置２００では、入力受付部２２０は、第１領域を示す入力を受け付け、さらに、人の属性を示す入力を受け付ける。そして、出力部２３０は、入力受付部２２０により受け付けられた領域を示す第１の領域情報、および、人の属性を示す属性情報を情報処理装置１００に出力する。ここで、属性情報が示す人の属性は、運転の習熟度、運転履歴、性格、事故発生数、年齢および性別の少なくとも１つである。
【０２１９】
次に、情報処理装置１００の異なる処理について説明する。
【０２２０】
実施の形態４に係る情報処理装置では、取得部１１０は、第１の領域情報と、属性情報とを取得する。生成部１２０は、第１の領域情報と、属性情報とに基づいて、第２の領域情報を生成する。生成部１２０は、複数の第１領域の各々に対応付けられたポイントを、複数の第１領域を設定した人の属性に予め定められた重み付けに応じて、重み付け計算することで得られた計算値が所定値以上である領域を第２領域として決定する。つまり、生成部１２０は、ポイントを、複数の第１領域を設定した人の属性に予め定められた重み付けに応じて、重み付け計算する。
【０２２１】
［４−２．動作］
次に、実施の形態４に係る情報処理システム１の動作について説明する。
【０２２２】
図２９は、実施の形４に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。
【０２２３】
まず、人が入力装置２００を操作することで、実施の形態１と同様に、アプリケーションが入力装置２００において実行される。なお、実施の形態４のアプリケーションでは、人の属性を示す入力を受け付ける。
【０２２４】
入力装置２００では、入力受付部２２０が、車両の周囲の画像Ｉ１の領域に対して、人が危険と判断した第１領域を示す第１の領域を示す入力と、当該人の属性を示す入力を受け付ける（Ｓ１１Ｂ）。なお、第１領域を示す入力、および、人の属性を示す入力を受け付ける入力処理の詳細は、後述する。
【０２２５】
次に、出力部２３０は、画像情報と、当該画像情報が示す画像Ｉ１に対して、入力受付部２２０により受け付けられた第１領域を示す第１の領域情報と、入力受付部２２０により受け付けられた属性を示す属性情報とを情報処理装置１００に送信する（Ｓ１２Ｂ）。
【０２２６】
情報処理装置１００では、取得部１１０が、出力部２３０により送信された画像情報、第１の領域情報および属性情報を取得する（Ｓ２１Ｂ）。
【０２２７】
次に、生成部１２０は、取得部１１０により取得された複数の第１の領域情報と、属性情報とに基づいて、第２の領域情報を生成する（Ｓ２２Ｂ）。なお、第２の領域情報を生成する生成処理の詳細は、後述する。
【０２２８】
次に、出力部１３０は、生成部１２０により生成された第２の領域情報を機械学習用データとして出力する（Ｓ２３）。
【０２２９】
実施の形態４に係る入力処理の詳細について図３０を用いて説明する。実施の形態４に係る入力処理は、実施の形態１に係る入力処理のステップＳ３１〜Ｓ３４の前にステップＳ３０Ｄを行うことが異なる。このため、ステップＳ３０Ｄについて説明し、ステップＳ３１〜Ｓ３４の説明を省略する。
【０２３０】
図３０は、実施の形態４に係る入力処理の詳細の一例を示すフローチャートである。
【０２３１】
取得部１１０は、人の属性を示す入力を受け付けることで属性情報を受け付ける（Ｓ３０Ｄ）。
【０２３２】
その後、取得部１１０は、ステップＳ３１〜Ｓ３４と同様の処理を行う。
【０２３３】
なお、ステップＳ３０Ｄは、ステップＳ３１〜Ｓ３４の後に行われてもよい。
【０２３４】
これにより、入力処理では、属性情報と、第１の領域情報とが対応付けられる。つまり、属性情報と、複数の画像情報について行われることで得られた第１の領域情報とが対応付けられる。
【０２３５】
図３１は、実施の形態４に係る生成処理の詳細の一例を示すフローチャートである。図３２は、重み付けについて説明するための図である。図３３は、重み付け計算について説明するための図である。
【０２３６】
実施の形態４に係る生成処理は、実施の形態３の生成処理のループ６の代わりに、ループ７を行っている点が異なる。このため、ループ７について説明する。
【０２３７】
生成処理では、複数の単位領域の各々についてポイントの重み付け計算処理のループ７が開始される（Ｓ４１Ｄ）。
【０２３８】
情報処理装置１００では、生成部１２０は、一の単位領域が含まれる１以上の第１領域の各々に対応付けられた重み付けに応じたポイントを加算する（Ｓ４２Ｄ）。
【０２３９】
ステップＳ４２Ｄより後の生成処理の詳細は、実施の形態３に係る生成処理の詳細と同様であるので説明を省略する。
【０２４０】
実施の形態４に係る生成処理の重み付けは、例えば、階層化意思決定法（ＡＨＰ）を用いて行われる。階層化意思決定法について、図３２および図３３を用いて説明する。
【０２４１】
図３２の（ａ）は、人の属性が運転の習熟度である場合の評価値を示す表である。この場合、人の属性は、日常的に車両を運転する熟練者、日常的に車両を運転しない低熟練者、および運転免許を取得して間もない未熟練者の３ランクに振り分けられる。ここでは、運転の習熟度が高い順、つまり、熟練者、低熟練者、未熟練者の順に高く評価値が振り分けられる。
【０２４２】
図３２の（ｂ）は、危険領域候補の評価値を示す表である。この場合、危険な領域ほど高くなるように評価値が振り分けられる。
【０２４３】
図３２の（ｃ）は、図３２の（ａ）、（ｂ）の表を用いて算出された重みを用いて、人の属性の各々と、危険領域候補の各々との組み合わせに対応して算出される重みを示す図である。これにより、各組み合わせに対応する重みが算出される。
【０２４４】
図３３の（ａ）は、図１０の（ａ）と同様の図である。なお、ここで、第１領域Ｒ１１は、人の属性が熟練者である人に設定された領域であり、第１領域Ｒ１２は、人の属性が低熟練者である人に設定された領域であり、第１領域Ｒ１３は、人の属性が未熟練者である人に設定された領域である。
【０２４５】
このため、図３３の（ｂ）に示すように、熟練者が設定した第１領域Ｒ１１のポイントは、０．６５ｐｔと算出され、画像中の第１領域Ｒ１１以外の領域のポイントは、０．０８ｐｔと算出される。また、低熟練者が設定した第１領域Ｒ１２のポイントは、０．１５ｐｔと算出され、画像中の第１領域Ｒ１２以外の領域のポイントは、０．０２ｐｔと算出される。また、未熟練者が設定した第１領域Ｒ１３のポイントは、０．０８ｐｔと算出され、画像中の第１領域Ｒ１３以外の領域のポイントは、０．０１ｐｔと算出される。
【０２４６】
そして、図３３の（ｂ）のように算出されたポイントのうち、各第１領域Ｒ１１〜Ｒ１３に算出されたポイントが加算されることで、図３３の（ｃ）に示すように、各領域のポイントが算出される。この結果を用いて、例えば所定値として０．７０ｐｔ以上の領域を第２領域とした場合、図３３の（ｄ）に示す領域が第２領域Ｒ２１として決定される。
【０２４７】
なお、本実施の形態では、階層化意思決定法を用いて重み付けを行うとしたが、重み付けの方法は、上記の方法に限るものではない。
【０２４８】
［４−３．効果］
本実施の形態に係る情報処理装置１００によれば、属性情報が示す人の属性に基づいて、第２の領域情報を生成する。そして、人の属性は、運転の習熟度、運転履歴、性格、事故発生数、年齢、性別の少なくとも１つである。このため、例えば、危険な領域を精度よく判断できる属性の人が設定した第１領域を優先して第２領域を決定することで、危険な領域をより精度よく推定することができる。
【０２４９】
また、本実施の形態に係る情報処理装置１００によれば、生成部１２０は、危険な領域を精度よく判断できる属性の人が設定した第１領域に対応付けられたポイントを他の属性の人よりも大きくするように重み付けするため、危険な領域をより精度よく推定することができる。
【０２５０】
［４−４．実施の形態４の変形例］
実施の形態４では、実施の形態１の情報処理システム１と同様の構成としたが、実施の形態２の情報処理装置１００Ａに適用してもよい。つまり、情報処理装置１００Ａの取得部１１０Ａが入力受付部２２０での入力処理を行ってもよい。
【０２５１】
（その他の実施の形態）
上記実施の形態１〜４およびその変形例に係る情報処理装置１００、１００Ａの生成部１２０は、複数の第１領域の各々について、当該第１領域が他の第１領域と重なっている重なり領域の当該第１領域に対する割合が大きいほど、大きなポイントを対応付けてもよい。言い換えると、実施の形態１、２、４およびその変形例に係る情報処理装置１００、１００Ａにおいて、生成部１２０は、１以上の第３領域の大きさに応じて、ポイントを変更してもよい。また、実施の形態３およびその変形例に係る情報処理装置１００、１００Ａにおいて、生成部１２０は、１以上の第４領域の大きさに応じて、ポイントを変更してもよい。第１領域が他の第１領域と重なっている割合が大きいほど当該第１領域に大きなポイントが付与されてもよい。このように、他の人が設定した他の第１領域が重複する割合が大きいほど大きなポイントを付与するため、危険な領域をより精度よく推定することができる。
【０２５２】
上記実施の形態１〜４およびその変形例に係る情報処理装置１００、１００Ａが備える出力部１３０は、情報処理装置１００、１００Ａから外部の装置に機械学習用データを出力してもよいし、情報処理装置１００、１００Ａの内部に機械学習用データを出力してもよい。後者の場合、情報処理装置１００、１００Ａは、機械学習用データを、ストレージ１０３に出力することで、ストレージ１０３に記憶させてもよい。
【０２５３】
上記実施の形態１、３、４およびその変形例に係る入力装置２００の出力部２３０は、対応する画像情報を識別するための識別情報を含む第１の領域情報を情報処理装置１００に出力する場合、対応する画像情報を情報処理装置１００に出力しなくてもよい。なお、入力装置２００の出力部２３０が対応する画像情報を情報処理装置１００に出力しない場合、取得部１１０は、取得した第１の領域情報に含まれる識別情報に基づいて、情報処理装置１００が備えるストレージ１０３に記憶されている複数の画像情報から、取得した第１の領域情報に対応する画像情報を取得してもよい。また、情報処理装置１００は、取得した第１の領域情報に含まれる識別情報に基づいて、外部のサーバから、取得した第１の領域情報に対応する画像情報を取得してもよい。
【０２５４】
上記実施の形態３、４およびその変形例に係る情報処理装置１００の生成部１２０は、加算することで得られたポイントの加算値が所定値以上である領域を第２領域として決定するとしたが、当該加算値の大きな領域から順位付けすることで決定した危険度を付与し、危険度が所定の危険度以上の領域を第２領域として決定してもよい。つまり、生成部１２０は、加算値が大きい領域から所定の数までの領域を第２領域として決定してもよい。
【０２５５】
上記実施の形態１では、多数決のルールの１つである最多数投票方式を用い、上記実施の形態２では、多数決のルールの１つであるボルダ方式を用いて、複数の第１領域に基づいて第２領域を決定するとしたが、これに限らない。例えば、多数決のルールとして、修正手続、シュワルツ方式、コープランド方式、ドッジソン方式、ナンソン方式、ブラック方式、ヘア方式、クームズ方式、決勝村選挙、および、承認投票のいずれか１つを用いて、複数の第１領域に基づいて第２領域を決定してもよい。
【０２５６】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０２５７】
すなわち、このプログラムは、コンピュータに、車両の周囲の画像を示す画像情報を取得し、前記画像における領域であって人の動作により設定される前記人が危険と判断した第１領域を示す第１の領域情報を取得し、取得した複数の前記第１の領域情報の各々が示す複数の前記第１領域の各々の重なりに基づいて、前記画像における危険と推定される第２領域を示す第２の領域情報を生成し、生成した前記第２の領域情報を機械学習用データとして出力する情報処理方法を実行させる。
【０２５８】
以上、本発明の一つまたは複数の態様に係る情報処理装置および情報処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０２５９】
本開示は、適切に車両の運転を制御するための機械学習を効果的に行うことができる機械学習用データを出力することができる情報処理装置、情報処理方法などとして有用である。
【符号の説明】
【０２６０】
１    情報処理システム
１００、１００Ａ    情報処理装置
１０１    ＣＰＵ
１０２    メインメモリ
１０３    ストレージ
１０４    通信ＩＦ
１０５    ディスプレイ
１０６    入力ＩＦ
１１０、１１０Ａ    取得部
１２０    生成部
１３０    出力部
１４０    表示部
２００    入力装置
２０１    ＣＰＵ
２０２    メインメモリ
２０３    ストレージ
２０４    ディスプレイ
２０５    入力ＩＦ
２０６    通信ＩＦ
２１０    表示部
２２０    入力受付部
２３０    出力部
３００、３６０、３７１、３７２、３７３、３８１、３８２、３８３、３８４、３８５、３８６    領域
３０１、４０１    単位領域
３１０、３２０、３３０、４１０、４２０、４３０    第１の領域情報
３１１、３１２、３２１、３２２、３３１、３３２、３３３、４１１、４１２、４２１、４２２、４３１、４３２、４３３    第１領域
３４０、３７０    領域情報
３５０、４４０    第２の領域情報
３５１、３５２、３５３、４４１、４４２、４４３    第２領域
３６１、３６３    サブ領域
３６２、３６４    １つの領域
３７４    太線
Ａ１    領域
Ｉ１、Ｉ２    画像
Ｐ１    始点
Ｐ２    終点
Ｐ１１〜Ｐ１２    ピクチャ
Ｒ１１、Ｒ１２、Ｒ１３    第１領域
Ｒ２０、Ｒ２１    第２領域
Ｒ３１〜Ｒ３７    第３領域
Ｒ４１〜Ｒ５０    第４領域
【図１】
2019040493.tif 000003
【図２】
2019040493.tif 000004
【図３】
2019040493.tif 000005
【図４】
2019040493.tif 000006
【図５】
2019040493.tif 000007
【図６】
2019040493.tif 000008
【図７】
2019040493.tif 000009
【図８】
2019040493.tif 000010
【図９】
2019040493.tif 000011
【図１０】
2019040493.tif 000012
【図１１】
2019040493.tif 000013
【図１２】
2019040493.tif 000014
【図１３】
2019040493.tif 000015
【図１４】
2019040493.tif 000016
【図１５】
2019040493.tif 000017
【図１６】
2019040493.tif 000018
【図１７】
2019040493.tif 000019
【図１８】
2019040493.tif 000020
【図１９】
2019040493.tif 000021
【図２０】
2019040493.tif 000022
【図２１】
2019040493.tif 000023
【図２２】
2019040493.tif 000024
【図２３】
2019040493.tif 000025
【図２４】
2019040493.tif 000026
【図２５】
2019040493.tif 000027
【図２６】
2019040493.tif 000028
【図２７】
2019040493.tif 000029
【図２８】
2019040493.tif 000030
【図２９】
2019040493.tif 000031
【図３０】
2019040493.tif 000032
【図３１】
2019040493.tif 000033
【図３２】
2019040493.tif 000034
【図３３】
2019040493.tif 000035