(57)【特許請求の範囲】
【請求項１】
少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、前記２以上の第１領域が前記車両の走行経路中に存在し、前記第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記２以上の第１領域それぞれの位置を判定する判定ステップと、
前記複数の画像のうち前記判定ステップにおいて前記２以上の第１領域それぞれの位置が前記走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した前記第１画像における前記２以上の第１領域どうしの間の領域を第２領域として決定する決定ステップと、
前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップと、を含む、
画像処理方法。
【請求項２】
前記決定ステップでは、さらに、
前記２以上の第１領域が前記車両の走行経路中に存在し、かつ、前記第１領域どうしの距離が前記閾値以下である第２画像を特定し、
特定した前記第１画像から前記第２画像までに含まれる時系列に連続する複数の画像における前記２以上の第１領域どうしの間の領域を前記第２領域と決定する、
請求項１に記載の画像処理方法。
【請求項３】
前記画像処理方法は、さらに、
前記車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって前記車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、前記車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する第１絞り込みステップと、
前記第１絞り込みステップにおいて選択された前記第１絞り込み画像のうちから、前記複数の画像を選択する第２絞り込みステップと、を含む、
請求項１または２に記載の画像処理方法。
【請求項４】
前記画像処理方法は、さらに、
前記第１絞り込みステップの前に、クラウドソーシングのワーカに、前記すべての画像に対して、画像中に存在する前記第１領域を示す第１アノテーションを付与させるワーカステップを含む、
請求項３に記載の画像処理方法。
【請求項５】
前記画像処理方法は、さらに、
前記第２絞り込みステップの前に、クラウドソーシングのワーカに、前記第１絞り込みステップにおいて選択された前記第１絞り込み画像に対して、当該第１絞り込み画像中に存在する前記第１領域を示す第１アノテーションを付与させるワーカステップを含む、
請求項４に記載の画像処理方法。
【請求項６】
前記２以上の第１領域はそれぞれ、人物を示す人物領域である、
請求項１〜５のいずれか１項に記載の画像処理方法。
【請求項７】
前記２以上の第１領域は、人物を示す人物領域と、駐停車中の自動車を示す自動車領域とを含む、
請求項１〜５のいずれか１項に記載の画像処理方法。
【請求項８】
前記第２領域は、前記２以上の第１領域が示す物体同士が接近すると前記車両の前方を横切ることになり、前記車両と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記第２領域の面積が小さいほど高い値となる危険度を含める危険度付与ステップを含む、
請求項１〜５のいずれか１項に記載の画像処理方法。
【請求項９】
前記第２領域は、前記２以上の第１領域が示す物体同士が接近すると前記車両の前方を横切ることになり、前記車両と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記第２領域を構成する一方側領域および他方側領域に異なる危険度であって、前記第２領域を挟む２つの前記第１領域のうち移動の大きさが大きい前記第１領域がある側の前記一方側領域または前記他方側領域の方が高い値となる危険度を含める危険度付与ステップを含む、
請求項１〜５のいずれか１項に記載の画像処理方法。
【請求項１０】
前記判定ステップは、
前記取得ステップにおいて取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションが付与されていない最初の画像を判定する第１判定ステップと、
前記第１判定ステップにおいて判定された前記最初の画像の第３時刻の時系列上の次の時刻における画像中の前記第１領域を、前記第３時刻の画像から時刻を時系列順に遡りながら、前記車両の移動方向と垂直方向に向かう方向にずらした当該画像それぞれの中の位置に前記第１領域が存在するか否かを画像処理により判定する第２判定ステップとを含む、
請求項１〜９のいずれか１項に記載の画像処理方法。
【請求項１１】
少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、前記２以上の第１領域が前記車両の走行経路中に存在し、前記第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する取得部と、
前記取得部において取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記２以上の第１領域それぞれの位置を判定する判定部と、
前記複数の画像のうち前記判定部において前記２以上の第１領域それぞれの位置が前記走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した前記第１画像における前記２以上の第１領域どうしの間の領域を第２領域として決定する決定部と、
前記決定部において決定された前記第２領域を示す第２アノテーションを付与する付与部と、を備える、
画像処理装置。
【請求項１２】
少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、前記２以上の第１領域が前記車両の走行経路中に存在し、前記第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記２以上の第１領域それぞれの位置を判定する判定ステップと、
前記複数の画像のうち前記判定ステップにおいて前記２以上の第１領域それぞれの位置が前記走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した前記第１画像における前記２以上の第１領域どうしの間の領域を第２領域として決定する決定ステップと、
前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップとを、
コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
近年、ニューラルネットワークを用いた機械学習技術による一般物体認識が、高い性能を示し注目されている。
【０００３】
しかし、ニューラルネットワークによる一般物体認識において、高い認識性能を引き出すためには、認識ターゲットとする物体の名前や種類等がアノテーション（正解情報）として付された画像を大量に用いて学習処理を行う必要がある。
【０００４】
また、機械学習では、学習用データとして大規模のデータ（ビッグデータ）が提供されれば、精度が向上することが知られている。
【０００５】
ビッグデータを集める方法の一つとして、クラウドソーシングなど第三者へのアウトソーシングを利用する方法がある。クラウドソーシングは、インターネットを通じて不特定多数の者（ワーカ）に簡単な作業（タスク）を安価で依頼する仕組みである。そのため、クラウドソーシングを利用してビッグデータのデータ収集を行えば、ビッグデータを構成する個々のデータに対するタスクを多数のワーカに分配して依頼することができるので、ビッグデータを効率的（比較的安価で短時間）に収集できる。
【０００６】
例えば特許文献１には、なるべく少ない人数により高い作業精度でクラウドソーシングを実現する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１９７７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示される技術を用いても、アノテーションを付す作業に高度な認識を必要とする場合、アノテーションを付す作業はクラウドソーシングのワーカの個人差が出やすいという問題がある。アノテーションを付す作業に高度な認識を必要とする場合としては、例えば車両が走行する前方を人が横切ることになり危険となりそうな危険領域を示すアノテーションを付すことを挙げることができる。したがって、アノテーションを付す作業に高度な認識を必要とする場合、クラウドソーシングで得られる学習用データの品質のにはばらつきが生じてしまうという問題がある。そして、品質のばらつきのある学習用データからなるビッグデータを用いて機械学習を行った場合、学習の精度は向上しない。
【０００９】
本開示は、上述の事情を鑑みてなされたもので、学習用データの品質のばらつきを抑制することができる画像処理方法、画像処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の一形態に係るタスク画像処理方法は、少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、前記２以上の第１領域が前記車両の走行経路中に存在し、前記第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記２以上の第１領域それぞれの位置を判定する判定ステップと、前記複数の画像のうち前記判定ステップにおいて前記２以上の第１領域それぞれの位置が前記走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した前記第１画像における前記２以上の第１領域どうしの間の領域を第２領域として決定する決定ステップと、前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップと、を含む。
【００１１】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１２】
本発明によれば、学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施の形態１における画像処理装置の機能構成の一例を示す図である。
【図２】図２は、実施の形態１におけるアノテーション部が取得する複数の画像の一例を示す図である。
【図３】図３は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部が行う画像処理の説明図である。
【図４】図４は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部が行う画像処理の一例の説明図である。
【図５】図５は、図１に示す絞り込み部の詳細機能構成の一例を示す図である。
【図６】図６は、実施の形態１における絞り込み部の第１絞り込み方法の説明図である。
【図７】図７は、実施の形態１における絞り込み部の第２絞り込み方法の説明図である。
【図８】図８は、実施の形態１における画像処理装置の絞り込み部の動作を示すフローチャートである。
【図９】図９は、実施の形態１における画像処理装置のアノテーション部での動作を示すフローチャートである。
【図１０】図１０は、実施の形態１の効果の説明図である。
【図１１Ａ】図１１Ａは、実施の形態１におけるアノテーション部が決定する第２領域の一例を示す図である。
【図１１Ｂ】図１１Ｂは、変形例１におけるアノテーション部が決定する第２領域の一例を示す図である。
【図１２】図１２は、変形例２におけるアノテーション部が取得する複数の画像の一例を示す図である。
【図１３】図１３は、変形例２におけるアノテーション部が決定する第２領域の一例を示す図である。
【図１４】図１４は、変形例３におけるアノテーション部が取得する複数の画像の一例を示す図である。
【図１５】図１５は、変形例３におけるアノテーション部が決定する第２領域の一例を示す図である。
【図１６】図１６は、変形例４の第１例におけるアノテーション部が付与する第２アノテーションの一例を示す図である。
【図１７】図１７は、変形例４の第２例におけるアノテーション部が付与する第２アノテーションの一例を示す図である。
【図１８】図１８は、実施の形態２における判定部の詳細構成の一例を示す図である。
【図１９】図１９は、実施の形態２における画像処理装置の判定部の動作を示すフローチャートである。
【図２０】図２０は、実施の形態２における取得部が取得する複数の画像の一例を示す図である。
【図２１】図２１は、図２０に示す複数の画像に対して実施の形態２における判定部が行う画像処理の説明図である。
【図２２】図２２は、実施の形態３における画像処理装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
本発明の一態様に係る画像処理方法は、少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、前記２以上の第１領域が前記車両の走行経路中に存在し、前記第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記２以上の第１領域それぞれの位置を判定する判定ステップと、前記複数の画像のうち前記判定ステップにおいて前記２以上の第１領域それぞれの位置が前記走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した前記第１画像における前記２以上の第１領域どうしの間の領域を第２領域として決定する決定ステップと、前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップと、を含む。
【００１５】
このようにして、車載カメラにより撮影された複数の画像に対して、クラウドソーシングのワーカであれば高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。それにより、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる。
【００１６】
ここで、例えば、前記決定ステップでは、さらに、前記２以上の第１領域が前記車両の走行経路中に存在し、かつ、前記第１領域どうしの距離が前記閾値以下である第２画像を特定し、特定した前記第１画像から前記第２画像までに含まれる時系列に連続する複数の画像における前記２以上の第１領域どうしの間の領域を前記第２領域と決定するとしてもよい。
【００１７】
これにより、１以上の画像に対して第２領域を示す第２アノテーションを機械的に付すことができる。
【００１８】
また、例えば、前記画像処理方法は、さらに、前記車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって前記車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、前記車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する第１絞り込みステップと、前記第１絞り込みステップにおいて選択された前記第１絞り込み画像のうちから、前記複数の画像を選択する第２絞り込みステップと、を含むとしてもよい。
【００１９】
これにより、車載カメラにより撮影された複数の画像のうち、第２領域を示す第２アノテーションを付す可能性のある時系列画像であって第１領域を示す第１アノテーションが付された画像を含む時系列画像に絞り込んだ上で、第２領域を示す第２アノテーションを機械的に付すことができる。
【００２０】
ここで、例えば、前記画像処理方法は、さらに、前記第１絞り込みステップの前に、クラウドソーシングのワーカに、前記すべての画像に対して、画像中に存在する前記第１領域を示す第１アノテーションを付与させるワーカステップを含むとしてもよい。
【００２１】
また、例えば、前記画像処理方法は、さらに、前記第２絞り込みステップの前に、クラウドソーシングのワーカに、前記第１絞り込みステップにおいて選択された前記第１絞り込み画像に対して、当該第１絞り込み画像中に存在する前記第１領域を示す第１アノテーションを付与させるワーカステップを含むとしてもよい。
【００２２】
これらにより、クラウドソーシングのワーカに、画像中に存在する第１領域を示す第１アノテーションを付与させることができる。
【００２３】
ここで、例えば、前記２以上の第１領域はそれぞれ、人物を示す人物領域であるとしてもよい。
【００２４】
これにより、第２領域を車両が走行する上で人物と衝突する可能性のある危険領域として、第２領域を示す第２アノテーションを機械的に付すことができる。
【００２５】
また、例えば、前記２以上の第１領域は、人物を示す人物領域と、駐停車中の自動車を示す自動車領域とを含むとしてもよい。
【００２６】
これにより、第２領域を車両が走行する上で衝突する可能性のある危険領域として、第２領域を示す第２アノテーションを機械的に付すことができる。
【００２７】
また、例えば、前記第２領域は、前記２以上の第１領域が示す物体同士が接近すると前記車両の前方を横切ることになり、前記車両と衝突する可能性のある危険領域であり、前記画像処理方法は、さらに、前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記第２領域の面積が小さいほど高い値となる危険度を含める危険度付与ステップを含むとしてもよい。
【００２８】
これにより、車両の走行上の危険領域である第２領域を示す第２アノテーションに、さらに危険度を含めることができる。
【００２９】
また、例えば、前記第２領域は、前記２以上の第１領域が示す物体同士が接近すると前記車両の前方を横切ることになり、前記車両と衝突する可能性のある危険領域であり、前記画像処理方法は、さらに、前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記第２領域を構成する一方側領域および他方側領域に異なる危険度であって、前記第２領域を挟む２つの前記第１領域のうち移動の大きさが大きい前記第１領域がある側の前記一方側領域または前記他方側領域の方が高い値となる危険度を含める危険度付与ステップを含むとしてもよい。
【００３０】
これにより、車両の走行上の危険領域である第２領域を示す第２アノテーションに、さらに危険度を含めることができる。
【００３１】
また、例えば、前記判定ステップは、前記取得ステップにおいて取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションが付与されていない最初の画像を判定する第１判定ステップと、前記第１判定ステップにおいて判定された前記最初の画像の第３時刻の時系列上の次の時刻における画像中の前記第１領域を、前記第３時刻の画像から時刻を時系列順に遡りながら、前記車両の移動方向と垂直方向に向かう方向にずらした当該画像それぞれの中の位置に前記第１領域が存在するか否かを画像処理により判定する第２判定ステップとを含むとしてもよい。
【００３２】
これにより、一部の画像に付されているべき第１領域を示す第１アノテーションが付されていない場合でも、画像処理により当該一部の画像に第１領域が有るか否か判定することができる。それにより、高度な認識を必要とする第２領域を示す第２アノテーションをさらに付すことができるので、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる。
【００３３】
また、本発明の一態様に係る画像処理装置は、少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、前記２以上の第１領域が前記車両の走行経路中に存在し、前記第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する取得部と、前記取得部において取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記２以上の第１領域それぞれの位置を判定する判定部と、前記複数の画像のうち前記判定部において前記２以上の第１領域それぞれの位置が前記走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した前記第１画像における前記２以上の第１領域どうしの間の領域を第２領域として決定する決定部と、前記決定部において決定された前記第２領域を示す第２アノテーションを付与する付与部と、を備える。
【００３４】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３５】
以下、本発明の一態様に係る画像処理方法等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【００３６】
（実施の形態１）
［画像処理装置１０の構成］
図１は、実施の形態１における画像処理装置１０の機能構成の一例を示す図である。
【００３７】
画像処理装置１０は、記憶部２０に記憶されているアノテーション付与データに対して、ワーカであれば高度な認識を必要とするアノテーションを機械的にさらに付す画像処理を行い、学習用データとして、記憶部３０に出力する。本実施の形態では、アノテーション付与データは、クラウドソーシングにおけるワーカによって、画像中に明示的に存在する人物（人物領域）を示すアノテーション（第１アノテーション）が付与された複数の画像であって車載カメラにより撮影された複数の画像である。なお、人物が画像中に明示的に存在する場合にアノテーションを付することは、ワーカに高度な認識を要求しないので、ワーカの個人差が出にくく、品質にばらつきがない。
【００３８】
本実施の形態では、画像処理装置１０は、図１に示すように、アノテーション部１１と、絞り込み部１２と、記憶部１３とを備える。以下、各構成要素について詳細に説明する。
【００３９】
［アノテーション部１１］
図２は、実施の形態１におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図３および図４は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部１１が行う画像処理の一例の説明図である。
【００４０】
アノテーション部１１は、図１に示すように、取得部１１１と、判定部１１２と、決定部１１３と、付与部１１４とを備える。
【００４１】
（取得部１１１）
取得部１１１は、少なくとも１つが人物領域である２以上の第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、当該２以上の第１領域が車両の走行経路中に存在しかつ第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を取得する。以下、２以上の第１領域はそれぞれ、人物を示す人物領域であるとして説明する。
【００４２】
本実施の形態では、取得部１１１は、例えば図２に示す時系列に連続する複数の画像のような第１領域を示す第１アノテーションが付されたデータを記憶部１３から取得する。
【００４３】
ここで、図２を用いて時系列に連続する複数の画像について説明する。
【００４４】
図２に示す複数の画像は、学習用データを構成する複数の画像の一部であり、例えば車両に搭載された車載カメラにより撮影された映像の一部を構成する時系列に連続する複数の画像である。より具体的には、図２に示す複数の画像は、フレーム１０１ａ、フレーム１０１ｂ、フレーム１０１ｃ、フレーム１０１ｄ等からなる。当該複数の画像それぞれには、道路１０１１並びに人物６０および人物６１が含まれている（写っている）。一般的に、車載カメラにより撮影された映像を構成する画像では、人物６０および人物６１の動きより、車などの車両の動きの方が大きい（速い）ので、当該複数の画像において、人物６０および人物６１は遠ざかっている（または近づいている）。
【００４５】
さらに、当該複数の画像（フレーム１０１ａ〜フレーム１０１ｄ）に第１領域（第１アノテーション）が付与されている。ここで、第１領域（第１アノテーション）は、明示的に存在する人物６０および人物６１を示す人物領域である。そして、例えばフレーム１０１ｄやフレーム１０１ｃ（当該複数の画像のうち１以上の画像）では、人物６０および人物６１を示す２つの第１領域が車両の走行経路である道路１０１１中に存在し、当該２つの第１領域どうしの距離が閾値以下である。ここで、閾値は、例えば人物の一人分の幅以下でもよいし、ゼロ距離であってもよい。
【００４６】
（判定部１１２）
判定部１１２は、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、２以上の第１領域それぞれの位置を判定する。
【００４７】
本実施の形態では、判定部１１２は、例えば図２に示す複数の画像において、フレーム１０１ｄ、フレーム１０１ｃ、フレーム１０１ｂ、フレーム１０１ａをこの順に、それぞれの画像（フレーム）に付された第１アノテーションに基づき、２つの第１領域それぞれの位置を判定する。例えば、判定部１１２は、フレーム１０１ｄには２つの第１アノテーションが付されているので、フレーム１０１ｄには２つの第１領域があると判定し、フレーム１０１ｄ中に存在する２つの第１領域を示す枠の位置と大きさを判定する。判定部１１２は、フレーム１０１ｃ〜フレーム１０１ａについてもこの順で同様の判定を行うが、上述した通りであるので、説明は省略する。
【００４８】
（決定部１１３）
決定部１１３は、複数の画像のうち判定部１１２で２以上の第１領域それぞれの位置が走行経路中にないと判定された最初の第１時刻における第１画像を特定する。そして、決定部１１３は、特定した第１画像における当該２以上の第１領域どうしの間の領域を第２領域として決定する。なお、決定部１１３は、さらに、当該２以上の第１領域が車両の走行経路中に存在し、かつ、当該第１領域どうしの距離が閾値以下である第２画像を特定してもよい。この場合、決定部１１３は、特定した第１画像から第２画像までに含まれる時系列に連続する複数の画像における当該２以上の第１領域どうしの間の領域を第２領域と決定すればよい。
【００４９】
本実施の形態では、図３に示すように、決定部１１３は、図２に示す複数の画像において判定部１１２により人物６０を示す第１領域と人物６１を示す第１領域とのそれぞれの位置が道路１０１１中にないと判定された最初の時刻ｔ１におけるフレーム１０１ｂ（第１画像）を特定する。そして、決定部１１３は、特定したフレーム１０１ｂにおける人物６０を示す第１領域と人物６１を示す第１領域との間の領域を第２領域として決定する。ここで、第２領域は、車両が走行する上で第１領域が示す人物等の物体と衝突する可能性のある危険領域であることを意味する。
【００５０】
なお、決定部１１３は、さらに、人物６０を示す第１領域と人物６１を示す第１領域とが車両の走行経路である道路１０１１中に存在し、かつ、これら第１領域どうしの距離が閾値以下である第２画像としてフレーム１０１ｄ（またはフレーム１０１ｃ）を特定する。この場合、決定部１１３は、第１画像であるフレーム１０１ｂから第２画像であるフレーム１０１ｄまでに含まれる複数の画像であるフレーム１０１ｂ〜フレーム１０１ｄにおける人物６０を示す第１領域と人物６１を示す第１領域との間の領域を第２領域として決定する。
【００５１】
このようにして、決定部１１３は、１以上の画像に対して第２領域を機械的に決定することができる。
【００５２】
（付与部１１４）
付与部１１４は、決定部１１３で決定された第２領域を示す第２アノテーションを付与する。
【００５３】
本実施の形態では、付与部１１４は、決定部１１３により決定された第２領域を示す第２アノテーションを、例えば図４に示す画像に付与する。また、付与部１１４は、第２アノテーションを付した複数の画像（アノテーション付与データに対してさらに第２アノテーションを付したもの）を、学習用データとして、記憶部３０に出力する。
【００５４】
なお、アノテーション部１１は、複数の画像を出力しなくてもよい。この場合、付与部１１４は、例えば、人物６０、６１を示す第１領域の座標値と第２領域の座標値などアノテーションを付すべき複数の画像に関する情報を出力すればよい。
【００５５】
［絞り込み部１２の構成］
図５は、図１に示す絞り込み部１２の詳細機能構成の一例を示す図である。図６は、実施の形態１における絞り込み部１２の第１絞り込み方法の説明図である。図７は、実施の形態１における絞り込み部１２の第２絞り込み方法の説明図である。
【００５６】
絞り込み部１２は、図５に示すように、第１絞り込み部１２１と、第２絞り込み部１２２とを備える。
【００５７】
絞り込み部１２は、記憶部２０から取得したアノテーション付与データを所定の時系列画像に絞り込み、記憶部１３に保存する。ここで、所定の時系列画像とは、車両が走行する上で人物同士が接近すると車両の前方を横切ることになり、車両と衝突する可能性のある危険領域であって、ワーカであれば高度な認識を必要とする危険領域を付す可能性のある時系列画像である。
【００５８】
本実施の形態では、記憶部２０は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やメモリ等で構成され、クラウドソーシングのワーカによりアノテーションが付されたデータ（アノテーション付与データ）が記憶されている。
【００５９】
より具体的には、アノテーション付与データは、車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像である。また、アノテーション付与データは、クラウドソーシングのワーカにより、当該すべての画像において、画像中に存在する人物領域である第１領域を示す第１アノテーションが付されている。
【００６０】
第１絞り込み部１２１は、記憶部２０に記憶されているアノテーション付与データであるすべての画像を、ブレーキ情報等により例えば図６に示す第１期間に紐づけられる複数の画像（第１絞り込み画像）に絞り込む。より具体的には、第１絞り込み部１２１は、車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、当該車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する。
【００６１】
そして、第２絞り込み部１２２は、第１絞り込み部１２１で選択された第１絞り込み画像のうちから、上記の複数の画像に絞り込む。本実施の形態では、第２絞り込み部１２２は、第１絞り込み部１２１により絞り込まれた複数の画像（第１絞り込み画像）を、さらに、画像処理等により絞り込む。より具体的には、第２絞り込み部１２２は、例えば図７のフレーム１０１ｄに示すように、人物６０、６１を示す２つの第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、当該２つの第１領域が道路１０１１中に存在し、かつ、第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像に絞り込む。
【００６２】
そして、第２絞り込み部１２２は、絞り込んだ当該複数の画像を記憶部１３に記憶する。
【００６３】
［記憶部１３］
記憶部１３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やメモリ等で構成されている。記憶部１３は、絞り込み部１２により絞り込まれた複数の画像を記憶している。
【００６４】
［画像処理装置１０の動作］
次に、以上のように構成された画像処理装置１０の動作について、図８および図９を用いて説明する。
【００６５】
図８は、実施の形態１における画像処理装置１０の絞り込み部１２の動作を示すフローチャートである。
【００６６】
図８において、まず、画像処理装置１０の絞り込み部１２は、記憶部２０から、アノテーション付与データを取得する。
【００６７】
次に、絞り込み部１２は、取得したアノテーション付与データをブレーキ情報等により絞り込む第１絞り込み処理を行う（Ｓ９０）。具体的には、上述したように、絞り込み部１２は、車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、当該車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する。
【００６８】
次に、絞り込み部１２は、Ｓ９０において絞り込まれた第１絞り込み画像を、さらに画像処理等により絞り込む第２絞り込み処理を行う（Ｓ９１）。具体的には、上述したように、絞り込み部１２は、第１絞り込み処理により絞り込まれた第１絞り込み画像のうち、人物を示す２つの第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、当該２つの第１領域が走行経路中に存在し、かつ、第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像を選択する。そして、第２絞り込み処理により選択された（絞り込まれた）複数の画像を記憶部１３に記憶する。
【００６９】
図９は、実施の形態１における画像処理装置１０のアノテーション部１１での動作を示すフローチャートである。
【００７０】
図９において、まず、画像処理装置１０のアノテーション部１１は、記憶部１３から、第２絞り込み処理により絞り込まれた複数の画像を取得する取得処理を行う（Ｓ１０１）。
【００７１】
次に、アノテーション部１１は、Ｓ１０１において取得した複数の画像それぞれにおいて、時系列上の最後の時刻の画像から時刻を順に遡りながら、２以上の第１領域それぞれの位置を判定する判定処理を行う（Ｓ１０２）。
【００７２】
次に、アノテーション部１１は、Ｓ１０２において、複数の画像において２以上の第１領域それぞれの位置が走行経路中にないと判定された最初の第１時刻における第１画像を特定し、特定した第１画像における当該２以上の第１領域どうしの間の領域を第２領域として決定する決定処理を行う（Ｓ１０３）。
【００７３】
次に、アノテーション部１１は、Ｓ１０３で決定した第２領域を示す第２アノテーションを付与する付与処理を行う（Ｓ１０４）。そして、アノテーション部１１は、第２アノテーションを付与した複数の画像を、学習用データとして、記憶部３０に出力する。
【００７４】
このようにして、画像処理装置１０は、記憶部２０に記憶されているアノテーション付与データに対して、ワーカであれば高度な認識を必要とするアノテーションを機械的にさらに付す画像処理を行い、学習用データとして、記憶部３０に出力することができる。
【００７５】
なお、上記では、画像処理装置１０は、記憶部２０に記憶されているアノテーション付与データを用いて、第１絞り込み処理（Ｓ９０）および第２絞り込み処理（Ｓ９１）を行うとして説明したが、これに限らない。すなわち、画像処理装置１０は、第１絞り込み処理（Ｓ９０）の前に、クラウドソーシングのワーカに、すべての画像に対して、画像中に存在する人物領域である第１領域を示す第１アノテーションを付与させてアノテーション付与データを生成しているとして説明したが、これに限らない。
【００７６】
つまり、画像処理装置１０は、アノテーションが付与されていない車載カメラにより撮影された時系列に連続するすべての画像を取得し、取得したすべての画像に対して第１絞り込み処理（Ｓ９０）を行ってもよい。この場合、第１絞り込み処理がされた複数の画像（第１絞り込み画像）に対して、クラウドソーシングのワーカに、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させればよい。すなわち、画像処理装置１０は、第２絞り込み処理（Ｓ９１）の前に、クラウドソーシングのワーカに、第１絞り込み処理（Ｓ９０）において選択された第１絞り込み画像に対して、当該第１絞り込み画像中に存在する人物領域である第１領域を示すアノテーションを付与させればよい。
【００７７】
［効果等］
以上のように、本実施の形態によれば、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。
【００７８】
ここで、図１０を用いて、本実施の形態の画像処理方法等の効果について説明する。図１０は、実施の形態１の効果の説明図である。図１０の（ａ）に示される複数の画像は、車両に搭載された車載カメラにより前方（走行方向）が撮影された時系列に連続する複数の画像の一例である。図１０の（ｂ）には、図１０の（ａ）に示す複数の画像それぞれに紐づけられているブレーキ強度または加速度が示されている。なお、図２等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【００７９】
図１０の（ａ）および（ｂ）から、当該車載カメラを搭載した車両の運転手が、時刻ｔｐのフレーム１０１ｃで人物６０および人物６１が接近し、車両の前方を横切ることが見え始めて、当該車両を人物６０および人物６１にぶつけないように急ブレーキを行い、加速度が変化している様子がわかる。
【００８０】
そこで、人物６０および人物６１が接近すると車両の前方を横切ることになり車両が走行する上で危険領域となる人物６０および人物６１の間の領域を車両の運転手に通知するためには、当該危険領域をアノテーション（正解情報）として付された画像を用いて学習処理を行わせる必要がある。
【００８１】
しかし、人物同士が接近すると車両の前方を横切ることになり車両が走行する上で危険となるので、これらの人物の間の領域は車両は通ってはいけない危険領域であると、クラウドソーシングのワーカが認識することは、ワーカの個人差が出やすい。そのため、このような危険領域に対してアノテーションを付す作業は、ワーカの個人差が出やすい。例えば図１０の（ａ）に示される時刻ｔ１のフレーム１０１ｂを見て、人物６０および人物６１の間の領域は、人物６０および人物６１が接近すると車両の前方を横切ることになり車両が走行する上で危険領域であると認識することは、経験や次の時刻の画像との比較をする等の高度な認識を必要とするからである。
【００８２】
一方、図１０の（ａ）に示されるすべての画像（フレーム１０１ａ〜フレーム１０１ｄ）において、人物６０および人物６１を示す第１領域を付すアノテーション作業にはクラウドソーシングのワーカの個人差は出にくい。ワーカは、画像中で見える通りに人物６０および人物６１を示すアノテーション（第１領域）を付すことができるので、高度な認識を必要としないからである。
【００８３】
以上から、本実施の形態の画像処理方法では、車載カメラにより撮影された時系列画像において画像内に見える人物などの物体を示すアノテーションをクラウドソーシングのワーカに行わせればよい。
【００８４】
そして、人物同士が接近すると車両の前方を横切ることになり車両が走行する上で危険領域となる人物同士の間の領域（第２領域）を、画像処理装置１０若しくは画像処理方法を実行するコンピュータ等の機械に行わせればよい。具体的には、まず、人物を示す２つの第１領域を示す第１アノテーションが付与され、かつ、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、当該２つの第１領域が当該車両の走行経路中に存在し、第１領域どうしの距離が閾値以下である１以上の画像を少なくとも含む複数の画像に絞り込ませる。そして、当該複数の画像において、時系列上の時刻を遡りながら、当該２つの第１領域それぞれの位置が走行経路中にないと判定された最初の時刻における第１画像を特定し、特定した第１画像における当該２以上の第１領域どうしの間の領域を第２領域として決定して、危険領域（第２領域）を示す第２アノテーションを付与すればよい。
【００８５】
以上のようにして、本実施の形態の画像処理方法等は、クラウドソーシングのワーカに、画像中に存在する人物領域である第１領域を示す第１アノテーションを付与させることができる。また、本実施の形態の画像処理方法等は、車載カメラにより撮影された複数の画像に対して、クラウドソーシングのワーカであれば高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。それにより、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる。
【００８６】
なお、本実施の形態の画像処理方法等は、当該２つの第１領域それぞれの位置が走行経路中にないと判定された最初の時刻における第１画像を特定し、特定した第１画像における当該２以上の第１領域どうしの間の領域を第２領域として決定するとしたが、それに限らない。それぞれ人物を示す２つの第１領域とが車両の走行経路中に存在し、かつ、２つの第１領域どうしの距離が閾値以下である第２画像を特定してもよい。この場合、第２画像を含み、第２画像から所定時間前における画像（例えば第１画像）までにおいて当該２以上の第１領域どうしの間の領域を第２領域として決定してもよい。
【００８７】
（変形例１）
図１１Ａは、実施の形態１におけるアノテーション部１１が決定する第２領域の一例を示す図である。図１１Ｂは、変形例１におけるアノテーション部１１が決定する第２領域の一例を示す図である。
【００８８】
実施の形態１では、図１１Ａに示すように、第２領域は２つの第１領域の間の２次元領域として説明したがこれに限らない。アノテーション部１１が取得する複数の画像に含まれる２つの第１領域が示す人物それぞれに距離情報が存在する場合には、アノテーション部１１は、図１１Ｂに示すように、２つの人物（人物領域）の間を結ぶ空間を第２領域として決定してもよい。
【００８９】
（変形例２）
実施の形態１では、２以上の第１領域が示す物体として、２つの第１領域が示す２つの人物領域を例に挙げて説明したが、これに限らない。２以上の第１領域は、３以上の人物領域を示すとしてもよい。本変形例では、４つの第１領域が、４人の人物領域を示す場合について説明する。
【００９０】
図１２は、変形例２におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図１３は、変形例２におけるアノテーション部１１が決定する第２領域の一例を示す図である。
【００９１】
変形例２におけるアノテーション部１１は、図１２に示すような、フレーム１０３ｉおよびフレーム１０３ｎを含む複数の画像を取得する。図１２に示す複数の画像のそれぞれには、道路１０３１並びに人物６２、人物６３、人物６４および人物６５が含まれている。さらに、図１２に示す複数の画像には、人物６２、人物６３、人物６４および人物６５を示す４つの第１領域（第１アノテーション）が付与されている。
【００９２】
ここで、変形例２におけるアノテーション部１１は、図１２に示す複数の画像において、人物６２〜６５を示す４つの第１領域の位置が道路１０３１中にないと判定された最初の時刻における第１画像としてフレーム１０１ａ（不図示）を特定する。また、変形例２におけるアノテーション部１１は、人物６２〜６５を示す４つの第１領域の位置が車両の走行経路である道路１０３１中に存在し、かつ、これら第１領域どうしの距離が閾値以下である第２画像として時刻ｔ２のフレーム１０３ｎを特定する。
【００９３】
そして、変形例２におけるアノテーション部１１は、図１３に示すように、例えば、第１画像であるフレーム１０３ａから第２画像であるフレーム１０３ｎまでに含まれる複数の画像であるフレーム１０３ｉにおける人物６２〜６５を示す４つの第１領域の間の領域を第２領域として決定すればよい。
【００９４】
このようにして、本変形例の画像処理方法等は、３以上の第１領域が３以上の人物領域を示す場合であっても、同様に、車両が走行する上での危険領域である第２領域を機械的に決定することができ、当該第２領域を示す第２アノテーションを機械的に付すことができる。
【００９５】
（変形例３）
実施の形態１および変形例１、２では、第１領域は人物を示すとして説明したがこれに限らない。第１領域が示す物体が、駐停車中の自動車であってもよい。本変形例では、２つの第１領域の一方が人物領域であり、他方が駐停車中の自動車を示す自動車領域であるとして、図１４および図１５を用いて説明する。
【００９６】
図１４は、変形例３におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図１５は、変形例３におけるアノテーション部１１が決定する第２領域の一例を示す図である。
【００９７】
変形例３におけるアノテーション部１１は、図１４に示すフレーム１０４ａ、…、フレーム１０４ｉ、…、フレーム１０４ｎを含む複数の画像を取得する。図１４に示す複数の画像のそれぞれには、道路１０４１並びに自動車６６および人物６７が含まれている。さらに、図１４に示す複数の画像には、自動車６６および人物６７を示す２つの第１領域（第１アノテーション）が付与されている。
【００９８】
変形例３におけるアノテーション部１１は、図１４に示す複数の画像において、人物６７を示す第１領域の位置が道路１０４１中にないと判定された最初の時刻における第１画像として時刻ｔ１のフレーム１０４ａを特定する。また、変形例４におけるアノテーション部１１は、自動車６６および人物６７を示す２つの第１領域の位置が車両の走行経路である道路１０４１中に存在し、かつ、当該２つの第１領域どうしの距離が閾値以下である第２画像として時刻ｔ２のフレーム１０４ｎを特定する。
【００９９】
そして、変形例３におけるアノテーション部１１は、図１５のフレーム１０４ｉ示すように、例えば、第１画像であるフレーム１０４ａから第２画像であるフレーム１０４ｎまでに含まれる複数の画像（フレーム１０４ａ〜１０４ｎ）における自動車６６および人物６７を示す２つの第１領域の間の領域を第２領域として決定すればよい。
【０１００】
このようにして、本変形例の画像処理方法等は、２つの第１領域が示す物体のうち一方が駐停車中の自動車であっても、上記と同様に、車両が走行する前方を人が横切ることになり、それらの間を車両が通ると衝突することになる危険領域である第２領域を機械的に決定することができ、当該第２領域を示す第２アノテーションを機械的に付すことができる。
【０１０１】
（変形例４）
上記の実施の形態１および変形例１〜変形例３では、アノテーション部１１が第２領域を決定し、決定した第２領域を示す第２アノテーションを付すことについて説明したが、これに限らない。アノテーション部１１は、走行中の車両にとっての危険領域である第２領域を決定することに加えて、第２領域の危険度をさらに決定してもよい。この場合、アノテーション部１１は、第２領域を示すことに加えてその危険度を示す第２アノテーションを付与すればよい。以下、第２領域の危険度の決定方法等について具体的に説明する。
【０１０２】
＜第１例：危険度の決定方法＞
図１６は、変形例４の第１例におけるアノテーション部１１が付与する第２アノテーションの一例を示す図である。
【０１０３】
変形例４の第１例におけるアノテーション部１１は、図１４に示す複数の画像を取得し、図１５に示すように、第１領域が示す物体同士が接近すると車両の前方を横切ることになり、当該車両と衝突する可能性があるので車両が走行する上での危険領域である第２領域を決定したとする。なお、アノテーション部１１が第２領域を決定する動作については、変形例３で説明したのでここでの説明は説明する。
【０１０４】
本変形例では、さらに、アノテーション部１１は、決定した第２領域の面積に応じて危険度を決定する。より具体的には、アノテーション部１１は、第２領域の大きさが小さいほど高い値となる危険度を決定する。第２領域の面積が小さいほど、第１領域に示される自動車６６および人物６７の間を車両が走行すると自動車６６および人物６７と衝突する可能性が高いため車両は通ってはいけないからである。なお、第２領域の面積が所定の面積以下である場合には、危険度１．０（危険度１００％）と決定してもよい。
【０１０５】
そして、アノテーション部１１は、決定された第２領域と当該第２領域の危険度とを示す第２アノテーションを付与する。より具体的には、変形例４の第１例では、アノテーション部１１は、第２領域を示す第２アノテーションに、さらに、第２領域の面積が小さいほど高い値を示す危険度を含める。例えば図１６に示す例では、アノテーション部１１は、時刻ｔ１におけるフレーム１０４ａの第２領域には、危険度０．７を示す第２アノテーションを付与し、時刻ｔｉにおけるフレーム１０４ｉの第２領域には、危険度１．０を示す第２アノテーションを付与している。なお、フレーム１０４ｉの第２領域を車両が通ると、確実に人物６７と衝突することから、危険度１．０を示す第２アノテーションを付与している。
【０１０６】
＜第２例：危険度の決定方法＞
図１７は、変形例４の第２例におけるアノテーション部１１が付与する第２アノテーションの一例を示す図である。
【０１０７】
変形例４の第２例におけるアノテーション部１１も、図１４に示す複数の画像を取得し、図１５に示すように、第１領域が示す物体同士が接近すると車両の前方を横切ることになり、当該車両と衝突する可能性があるので、車両が走行する上での危険領域である第２領域を決定したとする。なお、アノテーション部１１が第２領域を決定する動作については、変形例３で説明したのでここでの説明も説明する。
【０１０８】
本変形例では、さらに、アノテーション部１１は、決定した第２領域の危険度を当該第２領域内で重み付けて決定する。より具体的には、アノテーション部１１は、第２領域内を２つに分け、より大きく移動する人物等を示す一方の第１領域側の領域を、他方の第１領域側の領域よりも高い値となるように重み付けた危険度を決定する。車両は、走行経路を通る走行する上で、大きく移動する人物に衝突する可能性が高いと言えるからである。
【０１０９】
そして、アノテーション部１１は、決定された第２領域と当該第２領域の危険度とを示す第２アノテーションを付与する。より具体的には、変形例４の第２例では、アノテーション部１１は、第２領域を示す第２アノテーションに、さらに、第２領域を構成する一方側領域および他方側領域に異なる危険度であって、第２領域を挟む２つの第１領域のうち移動の大きさが大きい第１領域がある側の一方側領域または他方側領域の方が高い値となる危険度を含める。例えば図１７に示す例では、アノテーション部１１は、時刻ｔ１におけるフレーム１０４ａの第２領域のうちの人物６７近傍の領域には、危険度１．０を示す第２アノテーションを付与し、当該第２領域のうちの自動車６６近傍の領域には、危険度０．７を示す第２アノテーションを付与している。
【０１１０】
ここで、アノテーション部１１は、時刻ｔｉにおけるフレーム１０４ｉの第２領域全体に対して危険度１．０を示す第２アノテーションを付与している。これは上記の人物６７近傍の領域の面積が第２領域の面積以下になったためである。なお、第２領域の面積が所定の面積以下である場合には、上記の重み付けた危険度を付与せず、均一の危険度を付与しているとしてもよい。
【０１１１】
以上のように、本変形例の画像処理方法等によれば、車両が走行する上で危険な危険領域となる第２領域を示す第２アノテーションに、さらに車両が走行する上での当該第２領域の危険度を含めることができる。
【０１１２】
（実施の形態２）
実施の形態１では、車載カメラにより撮影された時系列画像において画像内に見える人物などの物体を示すアノテーションをクラウドソーシングのワーカに行わせるとして説明した。しかし、ワーカの作業品質は一定ではないので、車載カメラにより撮影された時系列画像のうち一部の画像において、人物などの物体が画像内に見えていても当該物体があることを示す第１領域を示すアノテーションが付されていない場合も考えられる。
【０１１３】
以下、この場合について実施の形態２として実施の形態１と異なるところを中心に説明する。
【０１１４】
［画像処理装置１０Ａの構成］
実施の形態２に係る画像処理装置１０Ａは、実施の形態１に係る画像処理装置１０と比較して、アノテーション部１１Ａの判定部１１２Ａの構成が異なる。それ以外の構成は、実施の形態１に係る画像処理装置１０と同様のため説明は省略する。
【０１１５】
［判定部１１２Ａ］
図１８は、実施の形態２における判定部１１２の詳細構成の一例を示す図である。
【０１１６】
判定部１１２Ａは、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションが付与されていない最初の画像を判定する。
【０１１７】
本実施の形態では、判定部１１２Ａは、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションが付与されていない最初の画像を判定する。判定部１１２Ａは、判定した最初の画像の第３時刻の時系列上の次の時刻における画像中の第１領域を、第３時刻の画像から時刻を時系列順に遡りながら、前記車両の移動方向と垂直方向にずらした当該画像それぞれの中の位置に第１領域が存在するか否かを画像処理により判定する。
【０１１８】
［画像処理装置１０Ａの動作］
次に、以上のように構成された画像処理装置１０Ａの動作について、図１９〜図２１を用いて説明する。
【０１１９】
図１９は、実施の形態２における画像処理装置１０Ａの判定部１１２Ａの動作を示すフローチャートである。図２０は、実施の形態２における取得部１１１が取得する複数の画像の一例を示す図である。図２１は、図２０に示す複数の画像に対して実施の形態２における判定部１１２Ａが行う画像処理の説明図である。なお、図２〜図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１２０】
まず、画像処理装置１０Ａの取得部１１１は、記憶部２０から、アノテーション付与データである複数の画像を取得する。本実施の形態では、取得部１１１が取得する複数の画像の一部の画像において、人物６０または人物６１が画像内に見えていても人物６０または人物６１があることを示す第１領域（第１アノテーション）が付されていない。図２０に示す例では、一部の画像（フレーム１０１ａ、フレーム１０１ｂ）において人物６０または人物６１が画像（フレーム）内に見えていても第１領域が付されていない。
【０１２１】
次に、判定部１１２Ａは、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションが付与されていない最初の画像を判定する第１判定処理を行う（Ｓ１０２１）。例えば、判定部１１２Ａは、図２０に示す複数の画像（フレーム１０１ａ〜フレーム１０１ｄ）において、時系列上の最後の時刻の画像であるフレーム１０１ｄから時刻を順に遡りながら、第１アノテーションすなわち第１領域が付与されていない最初の画像であるフレーム１０１ｂを判定する。
【０１２２】
次に、判定部１１２Ａは、判定した最初の画像の第３時刻の時系列上の次の時刻における画像中の第１領域を、第３時刻の画像から時刻を時系列順に遡りながら、車両の移動方向と垂直方向にずらした当該画像それぞれの中の位置に第１領域が存在するかを画像処理により判定する第２判定処理を行う（Ｓ１０２２）。例えば、図２１に示すように、判定部１１２Ａは、フレーム１０１ｂの時刻ｔ３（第３時刻）の時系列上の次の時刻ｔ４におけるフレーム１０１ｃ中の第１領域を、時刻ｔ３のフレーム１０１ｂから時刻を時系列順に遡りながら、車両の移動方向と垂直方向にずらした当該画像（フレーム１０１ｂ〜フレーム１０１ａ）それぞれの中の位置に第１領域が存在するかを画像処理により判定する。図２１に示す例では、判定部１１２Ａは、フレーム１０１ａ〜フレーム１０１ｂにおいて画像処理により第１領域が存在すると判定している。
【０１２３】
このようにして、判定部１１２Ａは、取得部１１１が取得した複数の画像のうち、第１アノテーションの無い画像に対して、さらに、画像処理により人物等を示す第１領域の有無を判定する。
【０１２４】
［効果等］
以上のように、本実施の形態によれば、車載カメラにより撮影された複数の画像の一部の画像において、高度な認識を必要としない第１領域を示す第１アノテーションが付されていない場合でも、複数の画像（映像）を巻き戻しながら第１領域を追跡することで、当該第１領域の有無を画像認識で機械的に判定することができる。つまり、一部の画像に付されているべき第１領域を示す第１アノテーションが付されていない場合でも、画像処理により当該一部の画像に第１領域が有るか否か判定することができる。これにより、車載カメラにより撮影された複数の画像に対して、高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができるので、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。
【０１２５】
（実施の形態３）
実施の形態１では、車載カメラにより撮影された時系列画像において画像内に見える人物などの物体を示すアノテーションをクラウドソーシングのワーカに行わせるとして説明したが、これに限らない。当該時系列画像に対して人物等を示す第１領域およびその第１領域を示す第１アノテーションをワーカではなく、画像処理装置が付すとしてもよい。
【０１２６】
以下、この場合について実施の形態３として実施の形態１と異なるところを中心に説明する。
【０１２７】
［画像処理装置１０Ｂの構成］
図２２は、実施の形態３における画像処理装置１０Ｂの機能構成の一例を示す図である。なお、図１等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１２８】
図２２に示す画像処理装置１０Ｂは、実施の形態１に係る画像処理装置１０と比較して、アノテーション付与部１４Ｂおよび記憶部２０Ｂとが追加されている点で構成が異なる。それ以外の構成は、実施の形態１に係る画像処理装置１０と同様のため説明は省略する。
【０１２９】
記憶部４０は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やメモリ等で構成されている。記憶部４０は、車載カメラにより撮影された映像データ（時系列画像）を記憶ている。
【０１３０】
アノテーション付与部１４Ｂは、記憶部４０に記憶されている車載カメラにより撮影された映像データ（時系列画像）を取得する。アノテーション付与部１４Ｂは、取得した映像データ（時系列画像）に対して、画像処理を行うことにより画像内に見えている人物などの物体を示す第１領域およびその第１領域を示すアノテーションを付す。アノテーション付与部１４Ｂは、第１アノテーションを付した映像データ（時系列画像）をアノテーション付与データとして記憶部２０Ｂに出力する。
【０１３１】
記憶部２０Ｂは、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やメモリ等で構成されている。記憶部４０は、アノテーション付与部１４Ｂにより第１アノテーションが付されたデータ（アノテーション付与データ）を記憶する。
【０１３２】
［効果等］
以上のように、本実施の形態によれば、車載カメラにより撮影された映像データ（時系列画像）において、高度な認識を必要としない人物等を示す第１領域およびその第１領域を示すアノテーションを、クラウドソーシングのワーカではなく、機械的に（画像処理装置１０Ｂが）付すことができる。そして、車載カメラにより撮影された複数の画像に対して、さらに、高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。
【０１３３】
このようにして、本実施の形態の画像処理方法等によれば、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。
【０１３４】
以上、本発明の一つまたは複数の態様に係る画像処理方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。
【０１３５】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１３６】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１３７】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１３８】
（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１３９】
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１４０】
（６）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１４１】
（７）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１４２】
（８）また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０１４３】
本発明は、画像処理方法、画像処理装置およびそのプログラムに利用できる。特に、車両が走行する上で人物同士が接近すると車両の前方を横切ることになり、車両と衝突する可能性のある危険領域を機械学習させる際に用いられる学習用データを、品質にばらつきがなく作成するための画像処理方法、画像処理装置およびそのプログラムに利用可能である。
【符号の説明】
【０１４４】
１０、１０Ａ、１０Ｂ  画像処理装置
１１、１１Ａ  アノテーション部
１２  絞り込み部
１３、２０、２０Ｂ、３０、４０  記憶部
１４Ｂ  アノテーション付与部
６０、６１、６２、６３、６４、６５、６７  人物
６６  自動車
１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０２、１０２Ａ、１０３ｉ、１０３ｎ、１０４ａ、１０４ｉ、１０４ｎ  フレーム
１１１  取得部
１１２、１１２Ａ  判定部
１１３  決定部
１１４  付与部
１２１  第１絞り込み部
１２２  第２絞り込み部
１０１１、１０２１、１０３１、１０４１  道路
【図１】
0006726075.tif 000002
【図２】
0006726075.tif 000003
【図３】
0006726075.tif 000004
【図４】
0006726075.tif 000005
【図５】
0006726075.tif 000006
【図６】
0006726075.tif 000007
【図７】
0006726075.tif 000008
【図８】
0006726075.tif 000009
【図９】
0006726075.tif 000010
【図１０】
0006726075.tif 000011
【図１１Ａ】
0006726075.tif 000012
【図１１Ｂ】
0006726075.tif 000013
【図１２】
0006726075.tif 000014
【図１３】
0006726075.tif 000015
【図１４】
0006726075.tif 000016
【図１５】
0006726075.tif 000017
【図１６】
0006726075.tif 000018
【図１７】
0006726075.tif 000019
【図１８】
0006726075.tif 000020
【図１９】
0006726075.tif 000021
【図２０】
0006726075.tif 000022
【図２１】
0006726075.tif 000023
【図２２】
0006726075.tif 000024