(57)【要約】【課題】学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができる画像データ抽出装置及び画像データ抽出方法を提供する。【解決手段】画像データ抽出装置１１は、移動可能な車両に配置されたカメラ３０７から、動画データを取得する動画データ取得部１０３と、車両の移動に関する車両情報を取得する車両情報取得部１０１と、車両情報に基づいて動画データから学習用画像データを抽出する画像データ抽出部１０５とを備える。【選択図】図２
2018081545.tif 000002
【特許請求の範囲】
【請求項１】
画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出装置であって、
移動可能な移動体に配置された撮影装置から、前記動画データを取得する動画データ取得部と、
前記移動体及び前記撮影装置の少なくとも一方の移動に関する移動情報を取得する移動情報取得部と、
前記移動情報に基づいて前記動画データから前記学習用画像データを抽出する画像データ抽出部と、
を備える画像データ抽出装置。
【請求項２】
前記移動情報は、前記移動体の移動速度を含み、
前記画像データ抽出部は、前記移動速度に基づいて前記動画データから前記学習用画像データを抽出する、
請求項１記載の画像データ抽出装置。
【請求項３】
前記画像データ抽出部は、前記移動速度が所定の速度以上である場合、第１のフレーム間隔で前記動画データから前記学習用画像データを抽出し、前記移動速度が所定の速度より遅い場合、前記第１のフレーム間隔より長い第２のフレーム間隔で前記動画データから前記学習用画像データを抽出する、
請求項２記載の画像データ抽出装置。
【請求項４】
前記移動情報は、前記移動体の加速度を含み、
前記画像データ抽出部は、前記加速度に基づいて前記動画データから前記学習用画像データを抽出する、
請求項１記載の画像データ抽出装置。
【請求項５】
前記画像データ抽出部は、前記加速度が所定の加速度以上であるか否かを判断し、前記加速度が所定の加速度以上であると判断した場合、前記動画データから前記学習用画像データを抽出し、前記加速度が所定の加速度より小さいと判断した場合、前記動画データから前記学習用画像データを抽出しない、
請求項４記載の画像データ抽出装置。
【請求項６】
前記移動情報は、前記移動体の操舵角度を含み、
前記画像データ抽出部は、前記操舵角度に基づいて前記動画データから前記学習用画像データを抽出する、
請求項１記載の画像データ抽出装置。
【請求項７】
前記画像データ抽出部は、前記操舵角度が所定の角度以上であるか否かを判断し、前記操舵角度が所定の角度以上であると判断した場合、前記動画データから前記学習用画像データを抽出し、前記操舵角度が所定の角度より小さいと判断した場合、前記動画データから前記学習用画像データを抽出しない、
請求項６記載の画像データ抽出装置。
【請求項８】
前記抽出された学習用画像データと、前記抽出された学習用画像データの１つ前に抽出された学習用画像データとの画素毎の第１の画像変化量を算出するとともに、前記抽出された学習用画像データの１つ前に抽出された学習用画像データと、前記抽出された学習用画像データの２つ前に抽出された学習用画像データとの画素毎の第２の画像変化量を算出する変化量算出部と、
前記第１の画像変化量と前記第２の画像変化量とで値が異なる画素で構成される領域を新たな学習用画像データとして、前記抽出された学習用画像データから抽出する領域抽出部と、
をさらに備える請求項１〜７のいずれか１項に記載の画像データ抽出装置。
【請求項９】
前記移動情報は、前記移動体の移動速度を含み、
前記動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出する変化量算出部と、
前記画像変化量を前記移動速度に応じて補正する補正部と、をさらに備え、
前記画像データ抽出部は、補正された前記画像変化量の総和が所定の値以上である場合、前記動画データから前記学習用画像データを抽出する、
請求項１記載の画像データ抽出装置。
【請求項１０】
前記撮影装置の移動に関する移動情報は、前記撮影装置のレンズの移動速度または移動角速度を含み、
前記画像データ抽出部は、前記移動速度または前記移動角速度に基づいて前記動画データから前記学習用画像データを抽出する、
請求項１記載の画像データ抽出装置。
【請求項１１】
前記画像データ抽出部は、前記移動速度または前記移動角速度が所定の速度または所定の角速度以上である場合、第１のフレーム間隔で前記動画データから前記学習用画像データを抽出し、前記移動速度または前記移動角速度が所定の速度または所定の角速度より遅い場合、前記第１のフレーム間隔より長い第２のフレーム間隔で前記動画データから前記学習用画像データを抽出する、
請求項１０記載の画像データ抽出装置。
【請求項１２】
前記撮影装置の移動に関する移動情報は、前記撮影装置のレンズの移動速度または移動角速度を含み、
前記動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出する変化量算出部と、
前記画像変化量を前記移動速度または前記移動角速度に応じて補正する補正部と、をさらに備え、
前記画像データ抽出部は、補正された前記画像変化量の総和が所定の値以上である場合、前記動画データから前記学習用画像データを抽出する、
請求項１記載の画像データ抽出装置。
【請求項１３】
前記撮影装置のレンズの移動速度または移動角速度は、前記移動体の移動に対する前記撮影装置の相対的な移動に基づいて算出される、
請求項１０〜１２のいずれか１項に記載の画像データ抽出装置。
【請求項１４】
前記撮影装置のレンズの移動速度または移動角速度は、前記撮影装置自身の動きにより発生する、
請求項１０〜１３のいずれか１項に記載の画像データ抽出装置。
【請求項１５】
前記撮影装置のレンズの移動速度または移動角速度は、前記撮影装置のズームまたはパンまたはチルトにより発生する、
請求項１０〜１３のいずれか１項に記載の画像データ抽出装置。
【請求項１６】
画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出方法であって、
移動可能な移動体に配置された撮影装置から、前記動画データを取得し、
前記移動体及び前記撮影装置の少なくとも一方の移動に関する移動情報を取得し、
前記移動情報に基づいて前記動画データから前記学習用画像データを抽出する、
画像データ抽出方法。
【請求項１７】
画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出方法であって、
固定された撮影装置から、前記動画データを取得し、
前記動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出し、
前記算出した画像変化量に基づいて前記動画データから前記学習用画像データを抽出する、
画像データ抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出装置及び画像データ抽出方法に関するものである。
【背景技術】
【０００２】
従来、識別器を用いて画像データ中の対象物を識別する識別装置が知られている。従来の識別装置では、識別器に対して機械学習を行うことにより、識別器の識別精度を高めている。動画データから、機械学習のための学習データを作成する場合には、学習データのバリエーションを増やすために、適当な時間間隔で抽出した画像データに対してアノテーション処理が行われる。アノテーション処理では、識別器が識別する対象物を示す正解ラベルがユーザによって入力され、入力された正解ラベルが学習用画像データに付与される。
【０００３】
例えば、非特許文献１に記載の歩行者検出では、ラベラーは、動画データの全てのフレームに対して、歩行者全体の全ての範囲を示す境界ボックス（ＢＢ）を描いている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｐｉｏｔｒ  Ｄｏｌｌａｒ、Ｃｈｒｉｓｔｉａｎ  Ｗｏｊｅｋ、Ｂｅｒｎｔ  Ｓｃｈｉｅｌｅ、Ｐｉｅｔｒｏ  Ｐｅｒｏｎａ、「Ｐｅｄｅｓｔｒｉａｎ  Ｄｅｔｅｃｔｉｏｎ：Ａ  Ｂｅｎｃｈｍａｒｋ」、Ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０−２５  Ｊｕｎｅ  ２００９、ｐｐ．３０４−３１１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に示す従来の歩行者検出では、動画データの全てのフレームを対象にアノテーション処理が行われる。動画データの全てのフレームを対象にアノテーション処理が行われた場合、アノテーション処理に多大な時間を要することになる。
【０００６】
そのため、アノテーション処理を削減しながらも学習データのバリエーションを増やすためには、一定の時間間隔でアノテーション処理対象のフレームを抽出することが考えられる。
【０００７】
しかしながら、一定の時間間隔でフレームを抽出した場合、対象物が含まれないフレームの画像データを抽出してしまい、アノテーション処理に無駄な時間を浪費していた。
【０００８】
本開示は、上記の問題を解決するためになされたもので、学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができる画像データ抽出装置及び画像データ抽出方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本開示に係る画像データ抽出装置は、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出装置であって、移動可能な移動体に配置された撮影装置から、前記動画データを取得する動画データ取得部と、前記移動体及び前記撮影装置の少なくとも一方の移動に関する移動情報を取得する移動情報取得部と、前記移動情報に基づいて前記動画データから前記学習用画像データを抽出する画像データ抽出部と、を備える。
【発明の効果】
【００１０】
本開示によれば、学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態１に係る自動運転車両の構成を示すブロック図である。
【図２】本実施の形態１に係る画像データ抽出装置の構成を示すブロック図である。
【図３】本実施の形態１に係る学習装置の構成を示すブロック図である。
【図４】本実施の形態１に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【図５】本実施の形態１に係る学習装置の動作について説明するためのフローチャートである。
【図６】本実施の形態２に係る画像データ抽出装置の構成を示すブロック図である。
【図７】本実施の形態２に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【図８】本実施の形態３に係る画像データ抽出装置の構成を示すブロック図である。
【図９】本実施の形態３に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【図１０】本実施の形態４に係る画像データ抽出装置の構成を示すブロック図である。
【図１１】本実施の形態４に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【図１２】本実施の形態４に係る画像データ抽出装置の領域抽出処理を説明するための模式図である。
【図１３】本実施の形態５に係る画像データ抽出装置の構成を示すブロック図である。
【図１４】本実施の形態５に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【図１５】本実施の形態５に係る画像データ抽出装置の画像データ抽出処理を説明するための模式図である。
【発明を実施するための形態】
【００１２】
（本開示に係る一態様を発明するに至った経緯）
上記のように、例えば、非特許文献１に記載の歩行者検出では、ラベラーは、動画データの全てのフレームに対して、歩行者全体の全ての範囲を示す境界ボックス（ＢＢ）を描いている。
【００１３】
非特許文献１に示す従来の歩行者検出では、動画データの全てのフレームを対象にアノテーション処理が行われる。動画データの全てのフレームを対象にアノテーション処理が行われた場合、アノテーション処理に多大な時間を要することになる。
【００１４】
そのため、アノテーション処理を削減しながらも学習データのバリエーションを増やすためには、一定の時間間隔でアノテーション処理対象のフレームを抽出することが考えられる。
【００１５】
しかしながら、一定の時間間隔でフレームを抽出した場合、対象物が含まれないフレームの画像データを抽出してしまい、アノテーション処理に無駄な時間を浪費するおそれがある。例えば、位置が固定された監視カメラで撮影された動画データから人物を検出する場合、時間帯によっては、人物が全く写っていない画像データも多く含まれる。また、時間経過に対して変化の少ない動画データから人物を検出する場合には、ほぼ同じ画像データに対してアノテーション処理を行うことになり、学習データのバリエーションを増やすことができない。
【００１６】
以上の課題を解決するために、本開示の一態様に係る画像データ抽出装置は、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出装置であって、移動可能な移動体に配置された撮影装置から、前記動画データを取得する動画データ取得部と、前記移動体及び前記撮影装置の少なくとも一方の移動に関する移動情報を取得する移動情報取得部と、前記移動情報に基づいて前記動画データから前記学習用画像データを抽出する画像データ抽出部と、を備える。
【００１７】
この構成によれば、移動可能な移動体に配置された撮影装置から、動画データが取得される。移動体及び撮影装置の少なくとも一方の移動に関する移動情報が取得される。移動情報に基づいて動画データから学習用画像データが抽出される。
【００１８】
したがって、移動情報に基づいて対象物が含まれる可能性が高い画像データが抽出されるので、学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができる。
【００１９】
また、上記の画像データ抽出装置において、前記移動情報は、前記移動体の移動速度を含み、前記画像データ抽出部は、前記移動速度に基づいて前記動画データから前記学習用画像データを抽出してもよい。
【００２０】
この構成によれば、移動情報は、移動体の移動速度を含む。移動速度に基づいて動画データから学習用画像データが抽出されるので、動画データに含まれる全ての画像データに対してアノテーション処理を行う必要がなく、アノテーション処理を削減することができる。
【００２１】
また、上記の画像データ抽出装置において、前記画像データ抽出部は、前記移動速度が所定の速度以上である場合、第１のフレーム間隔で前記動画データから前記学習用画像データを抽出し、前記移動速度が所定の速度より遅い場合、前記第１のフレーム間隔より長い第２のフレーム間隔で前記動画データから前記学習用画像データを抽出してもよい。
【００２２】
この構成によれば、移動速度が所定の速度以上である場合、第１のフレーム間隔で動画データから学習用画像データが抽出され、移動速度が所定の速度より遅い場合、第１のフレーム間隔より長い第２のフレーム間隔で動画データから学習用画像データが抽出される。
【００２３】
したがって、移動体が高速で移動している場合には、学習用画像データを抽出する頻度を高くして、取得する学習用画像データの数を増やすことで、学習用画像データのバリエーションを増やすことができる。また、移動体が低速で移動している場合には、学習用画像データを抽出する頻度を低くして、取得する学習用画像データの数を減らすことで、同じ学習用画像データを削減することができ、アノテーション処理を削減することができる。
【００２４】
また、上記の画像データ抽出装置において、前記移動情報は、前記移動体の加速度を含み、前記画像データ抽出部は、前記加速度に基づいて前記動画データから前記学習用画像データを抽出してもよい。
【００２５】
この構成によれば、移動情報は、移動体の加速度を含む。加速度に基づいて動画データから学習用画像データが抽出されるので、動画データに含まれる全ての画像データに対してアノテーション処理を行う必要がなく、アノテーション処理を削減することができる。
【００２６】
また、上記の画像データ抽出装置において、前記画像データ抽出部は、前記加速度が所定の加速度以上であるか否かを判断し、前記加速度が所定の加速度以上であると判断した場合、前記動画データから前記学習用画像データを抽出し、前記加速度が所定の加速度より小さいと判断した場合、前記動画データから前記学習用画像データを抽出しなくてもよい。
【００２７】
この構成によれば、加速度が所定の加速度以上であるか否かが判断され、加速度が所定の加速度以上であると判断された場合、動画データから学習用画像データが抽出され、加速度が所定の加速度より小さいと判断された場合、動画データから学習用画像データが抽出されない。
【００２８】
したがって、加速度が所定の加速度以上であると判断された場合、動画データから学習用画像データが抽出され、加速度が所定の加速度より小さいと判断された場合、動画データから学習用画像データが抽出されないので、学習用画像データを抽出する頻度を低くして、取得する学習用画像データの数を減らすことで、アノテーション処理を削減することができる。
【００２９】
また、上記の画像データ抽出装置において、前記移動情報は、前記移動体の操舵角度を含み、前記画像データ抽出部は、前記操舵角度に基づいて前記動画データから前記学習用画像データを抽出してもよい。
【００３０】
この構成によれば、移動情報は、移動体の操舵角度を含む。操舵角度に基づいて動画データから学習用画像データが抽出されるので、動画データに含まれる全ての画像データに対してアノテーション処理を行う必要がなく、アノテーション処理を削減することができる。
【００３１】
また、上記の画像データ抽出装置において、前記画像データ抽出部は、前記操舵角度が所定の角度以上であるか否かを判断し、前記操舵角度が所定の角度以上であると判断した場合、前記動画データから前記学習用画像データを抽出し、前記操舵角度が所定の角度より小さいと判断した場合、前記動画データから前記学習用画像データを抽出しなくてもよい。
【００３２】
この構成によれば、操舵角度が所定の角度以上であるか否かが判断され、舵角度が所定の角度以上であると判断された場合、動画データから学習用画像データが抽出され、操舵角度が所定の角度より小さいと判断された場合、動画データから学習用画像データが抽出されない。
【００３３】
したがって、舵角度が所定の角度以上であると判断された場合、動画データから学習用画像データが抽出され、操舵角度が所定の角度より小さいと判断された場合、動画データから学習用画像データが抽出されないので、学習用画像データを抽出する頻度を低くして、取得する学習用画像データの数を減らすことで、アノテーション処理を削減することができる。
【００３４】
また、上記の画像データ抽出装置において、前記抽出された学習用画像データと、前記抽出された学習用画像データの１つ前に抽出された学習用画像データとの画素毎の第１の画像変化量を算出するとともに、前記抽出された学習用画像データの１つ前に抽出された学習用画像データと、前記抽出された学習用画像データの２つ前に抽出された学習用画像データとの画素毎の第２の画像変化量を算出する変化量算出部と、前記第１の画像変化量と前記第２の画像変化量とで値が異なる画素で構成される領域を新たな学習用画像データとして、前記抽出された学習用画像データから抽出する領域抽出部と、をさらに備えてもよい。
【００３５】
この構成によれば、抽出された学習用画像データと、抽出された学習用画像データの１つ前に抽出された学習用画像データとの画素毎の第１の画像変化量が算出されるとともに、抽出された学習用画像データの１つ前に抽出された学習用画像データと、抽出された学習用画像データの２つ前に抽出された学習用画像データとの画素毎の第２の画像変化量が算出される。第１の画像変化量と第２の画像変化量とで値が異なる画素で構成される領域が新たな学習用画像データとして、抽出された学習用画像データから抽出される。
【００３６】
したがって、動画データから抽出した画像データがそのまま学習用画像データとして蓄積されるのではなく、動画データから抽出した画像データのうち、前回抽出した画像データから変化した領域のみが学習用画像データとして蓄積されるので、蓄積するデータ量を削減することができる。
【００３７】
また、上記の画像データ抽出装置において、前記移動情報は、前記移動体の移動速度を含み、前記動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出する変化量算出部と、前記画像変化量を前記移動速度に応じて補正する補正部と、をさらに備え、前記画像データ抽出部は、補正された前記画像変化量の総和が所定の値以上である場合、前記動画データから前記学習用画像データを抽出してもよい。
【００３８】
この構成によれば、移動情報は、移動体の移動速度を含む。動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量が算出される。画像変化量が移動速度に応じて補正される。補正された画像変化量の総和が所定の値以上である場合、動画データから学習用画像データが抽出される。
【００３９】
したがって、移動体の移動速度に応じて補正された画像変化量の総和が所定の値以上である場合、動画データから学習用画像データが抽出されるので、画像データ中の物体の実際の移動量に応じて動画データから学習用画像データを抽出することができる。
【００４０】
また、上記の画像データ抽出装置において、前記撮影装置の移動に関する移動情報は、前記撮影装置のレンズの移動速度または移動角速度を含み、前記画像データ抽出部は、前記移動速度または前記移動角速度に基づいて前記動画データから前記学習用画像データを抽出してもよい。
【００４１】
この構成によれば、撮影装置の移動に関する移動情報は、撮影装置のレンズの移動速度または移動角速度を含む。移動速度または移動角速度に基づいて動画データから学習用画像データが抽出されるので、動画データに含まれる全ての画像データに対してアノテーション処理を行う必要がなく、アノテーション処理を削減することができる。
【００４２】
また、上記の画像データ抽出装置において、前記画像データ抽出部は、前記移動速度または前記移動角速度が所定の速度または所定の角速度以上である場合、第１のフレーム間隔で前記動画データから前記学習用画像データを抽出し、前記移動速度または前記移動角速度が所定の速度または所定の角速度より遅い場合、前記第１のフレーム間隔より長い第２のフレーム間隔で前記動画データから前記学習用画像データを抽出してもよい。
【００４３】
この構成によれば、移動速度または移動角速度が所定の速度または所定の角速度以上である場合、第１のフレーム間隔で動画データから学習用画像データが抽出される。移動速度または移動角速度が所定の速度または所定の角速度より遅い場合、第１のフレーム間隔より長い第２のフレーム間隔で動画データから学習用画像データが抽出される。
【００４４】
したがって、撮影装置のレンズが高速で移動している場合には、学習用画像データを抽出する頻度を高くして、取得する学習用画像データの数を増やすことで、学習用画像データのバリエーションを増やすことができる。また、撮影装置のレンズが低速で移動している場合には、学習用画像データを抽出する頻度を低くして、取得する学習用画像データの数を減らすことで、同じ学習用画像データを削減することができ、アノテーション処理を削減することができる。
【００４５】
また、上記の画像データ抽出装置において、前記撮影装置の移動に関する移動情報は、前記撮影装置のレンズの移動速度または移動角速度を含み、前記動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出する変化量算出部と、前記画像変化量を前記移動速度または前記移動角速度に応じて補正する補正部と、をさらに備え、前記画像データ抽出部は、補正された前記画像変化量の総和が所定の値以上である場合、前記動画データから前記学習用画像データを抽出してもよい。
【００４６】
この構成によれば、撮影装置の移動に関する移動情報は、撮影装置のレンズの移動速度または移動角速度を含む。動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量が算出される。画像変化量が移動速度または移動角速度に応じて補正される。補正された画像変化量の総和が所定の値以上である場合、動画データから学習用画像データが抽出される。
【００４７】
したがって、撮影装置のレンズの移動速度または移動角速度に応じて補正された画像変化量の総和が所定の値以上である場合、動画データから学習用画像データが抽出されるので、画像データ中の物体の実際の移動量に応じて動画データから学習用画像データを抽出することができる。
【００４８】
また、上記の画像データ抽出装置において、前記撮影装置のレンズの移動速度または移動角速度は、前記移動体の移動に対する前記撮影装置の相対的な移動に基づいて算出されてもよい。
【００４９】
この構成によれば、撮影装置のレンズの移動速度または移動角速度を、移動体の移動に対する撮影装置の相対的な移動に基づいて算出することができる。
【００５０】
また、上記の画像データ抽出装置において、前記撮影装置のレンズの移動速度または移動角速度は、前記撮影装置自身の動きにより発生してもよい。
【００５１】
この構成によれば、撮影装置自身の動きにより発生する、撮影装置のレンズの移動速度または移動角速度を利用することができる。
【００５２】
また、上記の画像データ抽出装置において、前記撮影装置のレンズの移動速度または移動角速度は、前記撮影装置のズームまたはパンまたはチルトにより発生してもよい。
【００５３】
この構成によれば、撮影装置のズームまたはパンまたはチルトにより発生する、撮影装置のレンズの移動速度または移動角速度を利用することができる。
【００５４】
本開示の他の態様に係る画像データ抽出方法は、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出方法であって、移動可能な移動体に配置された撮影装置から、前記動画データを取得し、前記移動体及び前記撮影装置の少なくとも一方の移動に関する移動情報を取得し、前記移動情報に基づいて前記動画データから前記学習用画像データを抽出する。
【００５５】
この構成によれば、移動可能な移動体に配置された撮影装置から、動画データが取得される。移動体及び撮影装置の少なくとも一方の移動に関する移動情報が取得される。移動情報に基づいて動画データから学習用画像データが抽出される。
【００５６】
したがって、移動情報に基づいて対象物が含まれる可能性が高い画像データが抽出されるので、学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができる。
【００５７】
本開示の他の態様に係る画像データ抽出方法は、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出方法であって、固定された撮影装置から、前記動画データを取得し、前記動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出し、前記算出した画像変化量に基づいて前記動画データから前記学習用画像データを抽出する。
【００５８】
この構成によれば、固定された撮影装置から、動画データが取得される。動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量が算出される。算出された画像変化量に基づいて動画データから学習用画像データが抽出される。
【００５９】
したがって、画像が変化した場合に動画データから学習用画像データが抽出されるので、学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができる。
【００６０】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【００６１】
（実施の形態１）
図１は、本実施の形態１に係る自動運転車両の構成を示すブロック図である。図１に示す自動運転車両１は、自動運転システム３０１、車両制御プロセッサ３０２、ブレーキ制御システム３０３、アクセル制御システム３０４、ステアリング制御システム３０５、車両ナビゲーションシステム３０６、カメラ３０７、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）３０８、識別装置３０９及び画像データ抽出装置１１を備える。
【００６２】
自動運転車両１は、自律走行する車両である。本実施の形態１において、自動運転車両１は、自動車であるが、本開示は特にこれに限定されず、自動運転車両１は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
【００６３】
自動運転システム３０１は、プロセッサ３１０、メモリ３１１、ユーザ入力部３１２、表示部３１３及びセンサ３１４を備える。
【００６４】
メモリ３１１は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、光ディスク及び半導体メモリ等である。メモリ３１１は、自動運転プログラム３２１及びデータ３２２を記憶している。データ３２２は、地図データ３３１を含む。地図データ３３１は、地形情報、走行レーンを示すレーン情報、交差点に関する交差点情報、及び制限速度を示す制限速度情報などを含む。なお、地図データ３３１としては、上記の情報に限らない。
【００６５】
プロセッサ３１０は、例えばＣＰＵ（中央演算処理装置）であり、メモリ３１１に記憶されている自動運転プログラム３２１を実行する。プロセッサ３１０が自動運転プログラム３２１を実行することにより、自動運転車両１は自律的に走行する。また、プロセッサ３１０は、メモリ３１１からデータ３２２を読み出し、メモリ３１１にデータ３２２を書き込み、メモリ３１１に記憶されているデータ３２２を更新する。
【００６６】
ユーザ入力部３１２は、ユーザによる種々の情報の入力を受け付ける。表示部３１３は、種々の情報を表示する。センサ３１４は、自動運転車両１の周囲の環境及び自動運転車両１の内部の環境を測定する。センサ３１４は、例えば、自動運転車両１の速度を計測する速度計、自動運転車両１の加速度を計測する加速時計、自動運転車両１の向きを計測するジャイロスコープ、及びエンジン温度センサなどを含む。なお、センサ３１４は、上記のセンサに限らない。
【００６７】
車両制御プロセッサ３０２は、自動運転車両１を制御する。ブレーキ制御システム３０３は、自動運転車両１を減速するように制御する。アクセル制御システム３０４は、自動運転車両１の速度を制御する。ステアリング制御システム３０５は、自動運転車両１の進行方向を調節する。車両ナビゲーションシステム３０６は、自動運転車両１の走行経路を決定したり、自動運転車両１の走行経路を提示したりする。
【００６８】
カメラ３０７は、撮影装置の一例であり、自動運転車両１のバックミラーの近傍に配置され、自動運転車両１の前方の画像を撮影する。なお、カメラ３０７は、自動運転車両１の前方だけでなく、自動運転車両１の後方、自動運転車両１の右方及び自動運転車両１の左方などの自動運転車両１の周囲の画像を撮影してもよい。ＧＰＳ３０８は、自動運転車両１の現在位置を取得する。
【００６９】
識別装置３０９は、識別器を用いて、カメラ３０７によって撮影された画像データの中から、対象物を識別し、識別結果を出力する。プロセッサ３１０は、識別装置３０９による識別結果に基づいて自動運転車両１の自律運転を制御する。例えば、対象物が歩行者である場合、識別装置３０９は、カメラ３０７によって撮影された画像データの中から、歩行者を識別し、識別結果を出力する。画像データの中から歩行者が識別された場合、プロセッサ３１０は、識別装置３０９による識別結果に基づいて、歩行者を回避するように自動運転車両１の自律運転を制御する。
【００７０】
なお、識別装置３０９は、歩行者だけでなく、他の車両、道路にある障害物、交通信号、道路標識、走行車線、又は樹木等の車両の外部の物体を画像データの中から識別してもよい。
【００７１】
プロセッサ３１０は、センサ３１４によるセンシング結果及び識別装置３０９による識別結果に基づいて、自動運転車両１の方向及び速度を制御する。プロセッサ３１０は、アクセル制御システム３０４によって自動運転車両１を加速させ、ブレーキ制御システム３０３によって自動運転車両１を減速させ、ステアリング制御システム３０５によって自動運転車両１の方向を変化させる。
【００７２】
画像データ抽出装置１１は、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する。画像データ抽出装置１１は、識別装置３０９で使用される識別器を学習するための学習用画像データを、カメラ３０７によって撮影された動画データから抽出する。
【００７３】
なお、本実施の形態１では、自動運転車両１が画像データ抽出装置１１を備えているが、本開示は特にこれに限定されず、運転者が運転する車両が画像データ抽出装置１１を備えてもよい。
【００７４】
図２は、本実施の形態１に係る画像データ抽出装置の構成を示すブロック図である。図２に示す画像データ抽出装置１１は、車両情報取得部１０１、抽出タイミング決定部１０２、動画データ取得部１０３、動画データ蓄積部１０４、画像データ抽出部１０５及び抽出画像データ蓄積部１０６を備える。
【００７５】
車両情報取得部１０１は、自動運転車両１の移動に関する車両情報を取得する。抽出タイミング決定部１０２は、車両情報取得部１０１によって取得された車両情報に基づいて動画データから学習用画像データを抽出するタイミングを決定する。
【００７６】
動画データ取得部１０３は、移動可能な自動運転車両１に配置されたカメラから、動画データを取得する。動画データ蓄積部１０４は、動画データ取得部１０３によって取得された動画データを蓄積する。
【００７７】
画像データ抽出部１０５は、抽出タイミング決定部１０２によって決定されたタイミングに応じて、動画データ蓄積部１０４に蓄積されている動画データから、学習用画像データを抽出する。抽出画像データ蓄積部１０６は、画像データ抽出部１０５によって抽出された学習用画像データを蓄積する。
【００７８】
車両情報は、例えば、自動運転車両１の移動速度を含む。この場合、画像データ抽出部１０５は、移動速度に基づいて動画データから学習用画像データを抽出する。すなわち、画像データ抽出部１０５は、移動速度が所定の速度以上である場合、第１のフレーム間隔で動画データから学習用画像データを抽出し、移動速度が所定の速度より遅い場合、第１のフレーム間隔より長い第２のフレーム間隔で動画データから学習用画像データを抽出する。
【００７９】
また、車両情報は、例えば、自動運転車両１の加速度を含んでもよい。この場合、画像データ抽出部１０５は、加速度に基づいて動画データから学習用画像データを抽出してもよい。すなわち、画像データ抽出部１０５は、加速度が所定の加速度以上であるか否かを判断し、加速度が所定の加速度以上であると判断した場合、動画データから学習用画像データを抽出し、加速度が所定の加速度より小さいと判断した場合、動画データから学習用画像データを抽出しなくてもよい。
【００８０】
また、車両情報は、例えば、自動運転車両１の操舵角度を含んでもよい。画像データ抽出部１０５は、操舵角度に基づいて動画データから学習用画像データを抽出してもよい。すなわち、画像データ抽出部１０５は、操舵角度が所定の角度以上であるか否かを判断し、操舵角度が所定の角度以上であると判断した場合、動画データから学習用画像データを抽出し、操舵角度が所定の角度より小さいと判断した場合、動画データから学習用画像データを抽出しなくてもよい。
【００８１】
次に、本実施の形態１に係る学習装置の構成について説明する。
【００８２】
図３は、本実施の形態１に係る学習装置の構成を示すブロック図である。学習装置３は、例えば、パーソナルコンピュータで構成され、画像データ中の対象物を識別する識別器を生成する。学習装置３は、抽出画像データ蓄積部４００、画像データ読出部４０１、ユーザ入力部４０２、ラベル付与部４０３、学習部４０４及びメモリ４０５を備える。
【００８３】
抽出画像データ蓄積部４００は、画像データ抽出装置１１によって抽出された学習用画像データを蓄積する。なお、自動運転車両１と学習装置３とは、ネットワークを介して互いに通信可能に接続され、自動運転車両１の通信部（不図示）は、画像データ抽出装置１１の抽出画像データ蓄積部１０６に蓄積された学習用画像データを学習装置３へ送信し、学習装置３の通信部（不図示）は、受信した学習用画像データを抽出画像データ蓄積部４００に記憶する。なお、画像データ抽出装置１１の抽出画像データ蓄積部１０６に蓄積された学習用画像データは、ＵＳＢ（ユニバーサルシリアルバス）フラッシュドライブ又はメモリカードなどの可搬型記録媒体に記録してもよく、学習装置３は、可搬型記録媒体から学習用画像データを読み出して、抽出画像データ蓄積部４００に記憶してもよい。
【００８４】
画像データ読出部４０１は、抽出画像データ蓄積部４００から学習用画像データを読み出す。
【００８５】
ユーザ入力部４０２は、例えば、タッチパネル又はキーボード等のユーザインタフェースで構成され、識別器が識別する対象物を示す正解ラベルのユーザによる入力を受け付ける。例えば、対象物が歩行者であれば、ユーザ入力部４０２は、歩行者を示す正解ラベルの入力を受け付ける。なお、正解ラベルは、機械学習に用いられる。
【００８６】
ラベル付与部４０３は、ユーザ入力部４０２によって入力された正解ラベルを、抽出画像データ蓄積部４００から読み出された学習用画像データに付与するアノテーション処理を行う。
【００８７】
学習部４０４は、学習用画像データを所定のモデルに入力して、対象物の特徴を示す情報を学習し、対象物の特徴を示す情報を所定のモデルに適用する。学習部４０４は、機械学習の１つであるディープラーニングを用いて学習用画像データを学習する。なお、ディープラーニングは、一般的な技術であるので、説明を省略する。
【００８８】
メモリ４０５は、学習部４０４によって生成された識別器を記憶する。メモリ４０５は、識別器４０６を記憶する。識別器４０６は、自動運転車両１の識別装置３０９で用いられる。識別器４０６は、ネットワークを介して自動運転車両１へ送信されてもよい。
【００８９】
なお、本実施の形態１において、自動運転車両１が学習装置３を備えてもよい。
【００９０】
続いて、本実施の形態１に係る画像データ抽出装置１１の動作について説明する。
【００９１】
図４は、本実施の形態１に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【００９２】
まず、ステップＳ１において、カメラ３０７は、動画を撮影する。
【００９３】
次に、ステップＳ２において、動画データ取得部１０３は、カメラ３０７によって撮影された動画データを取得する。
【００９４】
次に、ステップＳ３において、動画データ取得部１０３は、取得した動画データを動画データ蓄積部１０４に蓄積する。
【００９５】
次に、ステップＳ４において、車両情報取得部１０１は、自動運転車両１の移動に関する車両情報を取得する。ここで、車両情報は、自動運転車両１の移動速度を含む。
【００９６】
次に、ステップＳ５において、抽出タイミング決定部１０２は、自動運転車両１の移動速度が所定の速度以上であるか否かを判断する。
【００９７】
ここで、自動運転車両１の移動速度が所定の速度以上であると判断された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、抽出タイミング決定部１０２は、動画データから学習用画像データを抽出する抽出タイミングを、第１のフレーム間隔に決定する。
【００９８】
一方、自動運転車両１の移動速度が所定の速度より遅いと判断された場合（ステップＳ５でＮＯ）、ステップＳ７において、抽出タイミング決定部１０２は、動画データから学習用画像データを抽出する抽出タイミングを、第１のフレーム間隔より長い第２のフレーム間隔に決定する。
【００９９】
次に、ステップＳ８において、画像データ抽出部１０５は、抽出タイミング決定部１０２によって決定された抽出タイミングに応じて、動画データ蓄積部１０４に蓄積されている動画データから、学習用画像データを抽出する。抽出タイミングが第１のフレーム間隔に決定された場合、画像データ抽出部１０５は、動画データから第１のフレーム間隔で学習用画像データを抽出する。また、抽出タイミングが第２のフレーム間隔に決定された場合、画像データ抽出部１０５は、動画データから第２のフレーム間隔で学習用画像データを抽出する。
【０１００】
次に、ステップＳ９において、画像データ抽出部１０５は、抽出した学習用画像データを抽出画像データ蓄積部１０６に蓄積する。そして、ステップＳ１の処理に戻り、動画の撮影が終了するまでステップＳ１〜ステップＳ９の処理が繰り返される。
【０１０１】
このように、自動運転車両１が高速で移動している場合には、学習用画像データを抽出する頻度を高くして、取得する学習用画像データの数を増やすことで、学習用画像データのバリエーションを増やすことができる。また、自動運転車両１が低速で移動している場合には、学習用画像データを抽出する頻度を低くして、取得する学習用画像データの数を減らすことで、同じ学習用画像データを削減することができ、アノテーション処理を削減することができる。
【０１０２】
続いて、本実施の形態１に係る学習装置３の動作について説明する。
【０１０３】
図５は、本実施の形態１に係る学習装置の動作について説明するためのフローチャートである。
【０１０４】
まず、ステップＳ１１において、画像データ読出部４０１は、抽出画像データ蓄積部４００から学習用画像データを読み出す。
【０１０５】
次に、ステップＳ１２において、ラベル付与部４０３は、ユーザ入力部４０２によって入力された識別器が識別する対象物を示す正解ラベルを、画像データ読出部４０１によって読み出された学習用画像データに付与する。
【０１０６】
次に、ステップＳ１３において、学習部４０４は、学習用画像データをニューラルネットワークモデルに入力して、対象物の特徴を示す重み情報を学習し、対象物の特徴を示す重み情報をニューラルネットワークモデルに適用する。
【０１０７】
次に、ステップＳ１４において、画像データ読出部４０１は、抽出画像データ蓄積部４００から全ての学習用画像データを読み出したか否かを判断する。ここで、全ての学習用画像データを読み出したと判断された場合（ステップＳ１４でＹＥＳ）、処理を終了する。一方、全ての学習用画像データを読み出していないと判断された場合（ステップＳ１４でＮＯ）、ステップＳ１１の処理に戻る。
【０１０８】
（実施の形態２）
本実施の形態２に係る画像データ抽出装置について説明する。
【０１０９】
図６は、本実施の形態２に係る画像データ抽出装置の構成を示すブロック図である。なお、本実施の形態２における自動運転車両の構成は、実施の形態１における自動運転車両１の構成と同じである。自動運転車両１は、図１に示す画像データ抽出装置１１に替えて、図６に示す画像データ抽出装置１２を備える。また、本実施の形態２における学習装置の構成は、実施の形態１における学習装置３の構成と同じである。
【０１１０】
図６に示す画像データ抽出装置１２は、車両情報取得部１０１、抽出タイミング決定部１０２、動画データ取得部１０３、動画データ蓄積部１０４、画像データ抽出部１０５、変化量算出部１１１、領域抽出部１１２及び抽出画像データ蓄積部１１３を備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
【０１１１】
変化量算出部１１１は、抽出された学習用画像データと、抽出された学習用画像データの１つ前に抽出された学習用画像データとの画素毎の第１の画像変化量を算出するとともに、抽出された学習用画像データの１つ前に抽出された学習用画像データと、抽出された学習用画像データの２つ前に抽出された学習用画像データとの画素毎の第２の画像変化量を算出する。
【０１１２】
第１の画像変化量は、抽出された学習用画像データの１つ前に抽出された学習用画像データの各画素が、抽出された学習用画像データのどの画素に移動したかを示す移動量ベクトル（オプティカルフロー）である。また、第２の画像変化量は、抽出された学習用画像データの２つ前に抽出された学習用画像データの各画素が、抽出された学習用画像データの１つ前に抽出された学習用画像データのどの画素に移動したかを示す移動量ベクトル（オプティカルフロー）である。
【０１１３】
変化量算出部１１１は、抽出された学習用画像データの各画素の移動量ベクトルと、出された学習用画像データの１つ前に抽出された学習用画像データの各画素の移動量ベクトルとを算出する。
【０１１４】
領域抽出部１１２は、第１の画像変化量と第２の画像変化量とで値が異なる画素で構成される領域を新たな学習用画像データとして、抽出された学習用画像データから抽出する。領域抽出部１１２は、抽出された学習用画像データの各画素の移動量ベクトルと、出された学習用画像データの１つ前に抽出された学習用画像データの各画素の移動量ベクトルとを比較し、移動量ベクトルの大きさ又は向きが異なる画素で構成される領域を抽出する。
【０１１５】
抽出画像データ蓄積部１１３は、領域抽出部１１２によって抽出された領域を学習用画像データとして蓄積する。
【０１１６】
続いて、本実施の形態２に係る画像データ抽出装置１２の動作について説明する。
【０１１７】
図７は、本実施の形態２に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【０１１８】
なお、図７に示すステップＳ２１〜ステップＳ２８の処理は、図４に示すステップＳ１〜ステップＳ８の処理と同じであるので、説明を省略する。
【０１１９】
次に、ステップＳ２９において、変化量算出部１１１は、抽出された学習用画像データと、抽出された学習用画像データの１つ前に抽出された学習用画像データとの第１の画像変化量を算出するとともに、抽出された学習用画像データの１つ前に抽出された学習用画像データと、抽出された学習用画像データの２つ前に抽出された学習用画像データとの第２の画像変化量を算出する。
【０１２０】
次に、ステップＳ３０において、領域抽出部１１２は、算出された第１の画像変化量と第２の画像変化量とを比較し、画像変化量が互いに異なる領域があるか否かを判断する。ここで、画像変化量が互いに異なる領域がないと判断された場合（ステップＳ３０でＮＯ）、ステップＳ２１の処理へ戻る。
【０１２１】
一方、画像変化量が互いに異なる領域があると判断された場合（ステップＳ３０でＹＥＳ）、ステップＳ３１において、領域抽出部１１２は、画像変化量が互いに異なる領域を、抽出された学習用画像データから抽出する。
【０１２２】
次に、ステップＳ３２において、領域抽出部１１２は、抽出した領域を学習用画像データとして抽出画像データ蓄積部１１３に蓄積する。そして、ステップＳ２１の処理に戻り、動画の撮影が終了するまでステップＳ２１〜ステップＳ３２の処理が繰り返される。
【０１２３】
このように、動画データから抽出した画像データがそのまま学習用画像データとして蓄積されるのではなく、動画データから抽出した画像データのうち、前回抽出した画像データから変化した領域のみが学習用画像データとして蓄積されるので、蓄積するデータ量を削減することができる。
【０１２４】
（実施の形態３）
本実施の形態３に係る画像データ抽出装置について説明する。
【０１２５】
図８は、本実施の形態３に係る画像データ抽出装置の構成を示すブロック図である。なお、本実施の形態３における自動運転車両の構成は、実施の形態１における自動運転車両１の構成と同じである。自動運転車両１は、図１に示す画像データ抽出装置１１に替えて、図８に示す画像データ抽出装置１３を備える。また、本実施の形態３における学習装置の構成は、実施の形態１における学習装置３の構成と同じである。
【０１２６】
図８に示す画像データ抽出装置１３は、車両情報取得部１０１、動画データ取得部１０３、動画データ蓄積部１０４、変化量算出部１２１、補正部１２２、画像データ抽出部１２３及び抽出画像データ蓄積部１２４を備える。なお、本実施の形態３において、実施の形態１，２と同じ構成については同じ符号を付し、説明を省略する。
【０１２７】
車両情報取得部１０１は、自動運転車両１の移動速度を含む車両情報を取得する。
【０１２８】
変化量算出部１２１は、動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出する。画像変化量は、動画データの第１のフレームの１つ前の第２のフレームの各画素が、第１のフレームのどの画素に移動したかを示す移動量ベクトル（オプティカルフロー）である。変化量算出部１２１は、動画データの各フレームの各画素の移動量ベクトルを算出する。
【０１２９】
補正部１２２は、画像変化量を移動速度に応じて補正する。補正部１２２は、各フレームの画像データにおける画像変化量を、各フレームの画像データを取得した際の移動速度の変化量に応じて補正する。画像変化量は、画像データ中の物体の移動量ベクトルを表している。そのため、自動運転車両１の移動速度からフレーム間における自動運転車両１の移動量がわかり、画像データ中の物体の移動量から自動運転車両１の移動量を減算することにより、画像データ中の物体の実際の移動量を算出することができる。
【０１３０】
画像データ抽出部１２３は、補正された画像変化量の総和が所定の値以上である場合、動画データから学習用画像データを抽出する。
【０１３１】
抽出画像データ蓄積部１２４は、画像データ抽出部１２３によって抽出された学習用画像データを蓄積する。
【０１３２】
続いて、本実施の形態３に係る画像データ抽出装置１３の動作について説明する。
【０１３３】
図９は、本実施の形態３に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【０１３４】
なお、図９に示すステップＳ４１〜ステップＳ４３の処理は、図４に示すステップＳ１〜ステップＳ３の処理と同じであるので、説明を省略する。
【０１３５】
次に、ステップＳ４４において、変化量算出部１２１は、取得した動画データの現在のフレームの画像データと、現在のフレームの１つ前のフレームの画像データとの各画素の画像変化量を算出する。
【０１３６】
次に、ステップＳ４５において、車両情報取得部１０１は、自動運転車両１の移動に関する車両情報を取得する。ここで、車両情報は、自動運転車両１の移動速度を含む。
【０１３７】
次に、ステップＳ４６において、補正部１２２は、画像変化量を移動速度に応じて補正する。すなわち、補正部１２２は、取得した動画データの現在のフレームの画像データにおける各画素の画像変化量から、自動運転車両１の移動速度に応じた変化量を減算することにより、各画素の画像変化量を補正する。
【０１３８】
次に、ステップＳ４７において、画像データ抽出部１２３は、現在のフレームの画像データにおける全画素の画像変化量の総和が所定の値以上であるか否かを判断する。ここで、画像変化量の総和が所定の値より小さいと判断された場合（ステップＳ４７でＮＯ）、ステップＳ４１の処理に戻る。
【０１３９】
一方、画像変化量の総和が所定の値以上であると判断された場合（ステップＳ４７でＹＥＳ）、ステップＳ４８において、画像データ抽出部１２３は、現在のフレームの画像データを学習用画像データとして抽出する。
【０１４０】
次に、ステップＳ４９において、画像データ抽出部１２３は、抽出した学習用画像データを抽出画像データ蓄積部１２４に蓄積する。そして、ステップＳ４１の処理に戻り、動画の撮影が終了するまでステップＳ４１〜ステップＳ４９の処理が繰り返される。
【０１４１】
このように、自動運転車両１の移動速度からフレーム間における自動運転車両１の移動量がわかり、画像データ中の物体の移動量から自動運転車両１の移動量を減算することにより、画像データ中の物体の実際の移動量を算出することができる。
【０１４２】
（実施の形態４）
本実施の形態４に係る画像データ抽出装置について説明する。
【０１４３】
図１０は、本実施の形態４に係る画像データ抽出装置の構成を示すブロック図である。なお、本実施の形態４における学習装置の構成は、実施の形態１における学習装置３の構成と同じである。
【０１４４】
図１０に示す画像データ抽出装置１４は、動画データ取得部１３１、動画データ蓄積部１３２、変化量算出部１３３、領域抽出部１３４及び抽出画像データ蓄積部１３５を備える。
【０１４５】
カメラ５０１は、例えば、監視カメラであり、予め決められた所定の場所を撮影する。カメラ５０１の位置は固定されている。
【０１４６】
動画データ取得部１３１は、固定されたカメラ５０１から、動画データを取得する。
【０１４７】
動画データ蓄積部１３２は、動画データ取得部１３１によって取得された動画データを蓄積する。
【０１４８】
変化量算出部１３３は、動画データのフレーム毎に、以前のフレームとの画素毎の画像変化量を算出する。画像変化量は、動画データの第１のフレームの１つ前の第２のフレームの各画素が、第１のフレームのどの画素に移動したかを示す移動量ベクトル（オプティカルフロー）である。変化量算出部１２１は、動画データの各フレームの各画素の移動量ベクトルを算出する。
【０１４９】
領域抽出部１３４は、算出した画像変化量に基づいて動画データから学習用画像データを抽出する。領域抽出部１３４は、画像変化量が画像データ全体の代表値以上である画素で構成される領域を抽出する。なお、代表値は、例えば、１フレームの画像データの全画素の画像変化量の平均値、１フレームの画像データの全画素の画像変化量の最小値、１フレームの画像データの全画素の画像変化量の中間値又は１フレームの画像データの全画素の画像変化量の最頻値である。領域抽出部１３４は、画像データの各画素の画像変化量（移動量ベクトル）と、画像データの全画素の画像変化量（移動量ベクトル）の代表値とを比較し、画像変化量（移動量ベクトル）が代表値以上である画素で構成される領域を抽出する。
【０１５０】
抽出画像データ蓄積部１３５は、領域抽出部１３４によって抽出された学習用画像データを蓄積する。領域抽出部１３４は、抽出した領域を学習用画像データとして抽出画像データ蓄積部１３５に蓄積する。
【０１５１】
続いて、本実施の形態４に係る画像データ抽出装置１４の動作について説明する。
【０１５２】
図１１は、本実施の形態４に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【０１５３】
まず、ステップＳ５１において、カメラ５０１は、動画を撮影する。
【０１５４】
次に、ステップＳ５２において、動画データ取得部１３１は、カメラ５０１によって撮影された動画データを取得する。
【０１５５】
次に、ステップＳ５３において、動画データ取得部１３１は、取得した動画データを動画データ蓄積部１３２に蓄積する。
【０１５６】
次に、ステップＳ５４において、変化量算出部１３３は、取得した動画データの現在のフレームの画像データと、現在のフレームの１つ前のフレームの画像データとの各画素の画像変化量を算出する。
【０１５７】
次に、ステップＳ５５において、領域抽出部１３４は、画像変化量が画像データ全体の代表値以上である画素があるか否かを判断する。ここで、画像変化量が代表値以上である画素がないと判断された場合（ステップＳ５５でＮＯ）、ステップＳ５１の処理へ戻る。
【０１５８】
一方、画像変化量が代表値以上である画素があると判断された場合（ステップＳ５５でＹＥＳ）、ステップＳ５６において、領域抽出部１３４は、画像変化量が画像データ全体の代表値以上である画素で構成される領域を抽出する。
【０１５９】
次に、ステップＳ５７において、領域抽出部１３４は、抽出した領域を学習用画像データとして抽出画像データ蓄積部１３５に蓄積する。そして、ステップＳ５１の処理に戻り、動画の撮影が終了するまでステップＳ５１〜ステップＳ５７の処理が繰り返される。
【０１６０】
図１２は、本実施の形態４に係る画像データ抽出装置の領域抽出処理を説明するための模式図である。図１２に示す画像データ６０１は、固定されたカメラ５０１から撮影されており、２台の自動車が撮影されている。図１２中の矢印は、画像データ６０１中の各画素の移動量ベクトルを示している。２台の自動車は移動しているため、移動量ベクトルの向きは、自動車の進行方向となっている。
【０１６１】
変化量算出部１３３は、取得した動画データの現在のフレームの画像データ６０１と、現在のフレームの１つ前のフレームの画像データとの各画素の移動量ベクトルを算出する。自動車を示す画像の移動量ベクトルは、画像データ全体の代表値以上であるので、自動車を含む領域６０２，６０３が画像データ６０１から抽出される。なお、本実施の形態４において、領域６０２，６０３の形状は、移動量ベクトルが画像データ全体の代表値以上である画素を含む矩形形状である。領域６０２，６０３の形状は矩形形状に限定されない。
【０１６２】
このように、画像データに変化がある場合、当該画像データが学習用画像データとして抽出されるので、学習用画像データのバリエーションを増やすことができる。また、画像データに変化がない場合、当該画像データが学習用画像データとして抽出されないので、取得する学習用画像データの数を減らすことができ、アノテーション処理を削減することができる。
【０１６３】
なお、本実施の形態４では、画像変化量が画像データ全体の代表値以上である画素で構成される領域が抽出されるが、本開示は特にこれに限定されず、画像データの全画素の画像変化量の総和が所定の値以上であるか否かが判断され、画像変化量の総和が所定の値以上であると判断された場合、画像データが学習用画像データとして抽出されてもよい。
【０１６４】
（実施の形態５）
本実施の形態５に係る画像データ抽出装置について説明する。
【０１６５】
図１３は、本実施の形態５に係る画像データ抽出装置の構成を示すブロック図である。なお、本実施の形態５における学習装置の構成は、実施の形態１における学習装置３の構成と同じである。
【０１６６】
図１３に示す画像データ抽出装置１５は、動画データ取得部１３１、動画データ蓄積部１３２、変化量算出部１３３、変化量累積部１４１、累積値判断部１４２、画像データ抽出部１４３及び抽出画像データ蓄積部１４４を備える。なお、本実施の形態５において、実施の形態４と同じ構成については同じ符号を付し、説明を省略する。
【０１６７】
変化量累積部１４１は、変化量算出部１３３によって算出された各画素の画像変化量の総和を累積する。
【０１６８】
累積値判断部１４２は、画像変化量の総和の累積値が所定の値以上であるか否かを判断する。
【０１６９】
画像データ抽出部１４３は、画像変化量の総和の累積値が所定の値以上であると判断された場合、累積値が所定の値以上であると判断された際に累積した画像変化量の総和に対応する画像データを学習用画像データとして抽出する。
【０１７０】
抽出画像データ蓄積部１４４は、画像データ抽出部１４３によって抽出された学習用画像データを蓄積する。
【０１７１】
続いて、本実施の形態５に係る画像データ抽出装置１５の動作について説明する。
【０１７２】
図１４は、本実施の形態５に係る画像データ抽出装置の動作について説明するためのフローチャートである。
【０１７３】
なお、図１４に示すステップＳ６１〜ステップＳ６４の処理は、図１１に示すステップＳ５１〜ステップＳ５４の処理と同じであるので、説明を省略する。
【０１７４】
次に、ステップＳ６５において、変化量累積部１４１は、変化量算出部１３３によって算出された各画素の画像変化量の総和を累積する。すなわち、変化量累積部１４１は、変化量算出部１３３によって算出された各画素の画像変化量の総和を、累積値に加算する。
【０１７５】
次に、ステップＳ６６において、累積値判断部１４２は、画像変化量の総和の累積値が所定の値以上であるか否かを判断する。ここで、累積値が所定の値より小さいと判断された場合（ステップＳ６６でＮＯ）、ステップＳ６１の処理へ戻る。
【０１７６】
一方、累積値が所定の値以上であると判断された場合（ステップＳ６６でＹＥＳ）、ステップＳ６７において、画像データ抽出部１４３は、累積値が所定の値以上であると判断された際に累積した画像変化量の総和に対応する画像データを学習用画像データとして抽出する。
【０１７７】
次に、ステップＳ６８において、画像データ抽出部１４３は、抽出した学習用画像データを抽出画像データ蓄積部１４４に蓄積する。
【０１７８】
次に、ステップＳ６９において、変化量累積部１４１は、累積値をリセットする。そして、ステップＳ６１の処理に戻り、動画の撮影が終了するまでステップＳ６１〜ステップＳ６９の処理が繰り返される。
【０１７９】
図１５は、本実施の形態５に係る画像データ抽出装置の画像データ抽出処理を説明するための模式図である。図１５に示す動画データ７０１は、複数のフレームの画像データ７０１ａ〜７０１ｆで構成され、動画データ７０２は、複数のフレームの画像データ７０２ａ〜７０２ｆで構成されている。１フレームの画像変化量の総和は、１フレームの移動量ベクトル（オプティカルフロー）のベクトル長の総和である。
【０１８０】
画像データ７０１ａ〜７０１ｆでは、それぞれ画像変化量である移動量ベクトルのベクトル長が算出され、各画像データ７０１ａ〜７０１ｆのそれぞれの移動量ベクトルの総和は例えば３である。また、累積値と比較する所定の値は４とする。時刻ｔにおける累積値は、３であり、時刻ｔ＋１における累積値は、６である。時刻ｔ＋１において累積値が所定の値以上となっているので、画像データ７０１ｂ、画像データ７０１ｄ及び画像データ７０１ｆが動画データ７０１から抽出される。
【０１８１】
一方、画像データ７０２ａ〜７０２ｆでは、それぞれ画像変化量である移動量ベクトルのベクトル長が算出され、画像データ７０２ａ，７０２ｃ、７０２ｅ，７０２ｆのそれぞれの移動量ベクトルの総和は例えば１であり、画像データ７０２ｂ，７０２ｄのそれぞれの移動量ベクトルの総和は例えば０である。また、累積値と比較する所定の値は４とする。時刻ｔにおける累積値は、１であり、時刻ｔ＋１における累積値は、１である。時刻ｔ＋５において累積値が所定の値以上となっているので、画像データ７０２ｆが動画データ７０２から抽出される。
【０１８２】
このように、画像変化量が大きい場合は、多くのフレームの画像データが抽出され、画像変化量が小さい場合は、抽出される画像データの数が少なくなるので、学習データのバリエーションを増やすことができる。
【０１８３】
なお、実施の形態１〜５において、画像データ中の対象物を識別し、対象物が少なくとも１つ以上含まれている画像データを動画データから抽出してもよい。
【０１８４】
また、実施の形態１〜５において、画像データ中の対象物とともに撮影される可能性が高い物体を識別し、当該物体が少なくとも１つ以上含まれている画像データを動画データから抽出してもよい。この場合、例えば、対象物は、人物であり、物体は、人物が所持するバッグである。
【０１８５】
また、実施の形態１〜５において、自動運転車両は、移動体の一例であり、自律して飛行する自律飛行体、又は自律して移動するロボットなどの他の移動体であってもよい。
【０１８６】
また、実施の形態１〜５において、画像データ抽出部は、カメラのレンズの移動速度または移動角速度に基づいて動画データから学習用画像データを抽出してもよい。この場合、画像データ抽出部は、移動速度または移動角速度が所定の速度または所定の角速度以上である場合、第１のフレーム間隔で動画データから学習用画像データを抽出し、移動速度または移動角速度が所定の速度または所定の角速度より遅い場合、第１のフレーム間隔より長い第２のフレーム間隔で動画データから学習用画像データを抽出してもよい。
【０１８７】
また、実施の形態３において、補正部１２２は、画像変化量をカメラのレンズの移動速度または移動角速度に応じて補正してもよい。
【０１８８】
なお、カメラのレンズの移動速度または移動角速度は、車両（移動体）の移動に対するカメラの相対的な移動に基づいて算出されてもよい。また、カメラのレンズの移動速度または移動角速度は、カメラ自身の動きにより発生してもよい。さらに、カメラのレンズの移動速度または移動角速度は、カメラのズームまたはパンまたはチルトにより発生してもよい。
【０１８９】
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（Ｕｌｔｒａ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるＲｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅも同じ目的で使うことができる。
【０１９０】
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（Ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（Ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（Ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
【産業上の利用可能性】
【０１９１】
本開示に係る画像データ抽出装置及び画像データ抽出方法は、学習データのバリエーションを増やすことができるとともに、アノテーション処理を削減することができ、画像中の対象物を識別する識別器の学習に用いる学習用画像データを動画データから抽出する画像データ抽出装置及び画像データ抽出方法として有用である。
【符号の説明】
【０１９２】
１    自動運転車両
３    学習装置
１１，１２，１３，１４，１５    画像データ抽出装置
１０１    車両情報取得部
１０２    抽出タイミング決定部
１０３    動画データ取得部
１０４    動画データ蓄積部
１０５    画像データ抽出部
１０６    抽出画像データ蓄積部
１１１    変化量算出部
１１２    領域抽出部
１１３    抽出画像データ蓄積部
１２１    変化量算出部
１２２    補正部
１２３    画像データ抽出部
１２４    抽出画像データ蓄積部
１３１    動画データ取得部
１３２    動画データ蓄積部
１３３    変化量算出部
１３４    領域抽出部
１３５    抽出画像データ蓄積部
１４１    変化量累積部
１４２    累積値判断部
１４３    画像データ抽出部
１４４    抽出画像データ蓄積部
３０１    自動運転システム
３０２    車両制御プロセッサ
３０３    ブレーキ制御システム
３０４    アクセル制御システム
３０５    ステアリング制御システム
３０６    車両ナビゲーションシステム
３０７    カメラ
３０８    ＧＰＳ
３０９    識別装置
３１０    プロセッサ
３１１    メモリ
３１２    ユーザ入力部
３１３    表示部
３１４    センサ
３２１    自動運転プログラム
３２２    データ
３３１    地図データ
４００    抽出画像データ蓄積部
４０１    画像データ読出部
４０２    ユーザ入力部
４０３    ラベル付与部
４０４    学習部
４０５    メモリ
４０６    識別器
５０１    カメラ
【図１】
2018081545.tif 000003
【図２】
2018081545.tif 000004
【図３】
2018081545.tif 000005
【図４】
2018081545.tif 000006
【図５】
2018081545.tif 000007
【図６】
2018081545.tif 000008
【図７】
2018081545.tif 000009
【図８】
2018081545.tif 000010
【図９】
2018081545.tif 000011
【図１０】
2018081545.tif 000012
【図１１】
2018081545.tif 000013
【図１２】
2018081545.tif 000014
【図１３】
2018081545.tif 000015
【図１４】
2018081545.tif 000016
【図１５】
2018081545.tif 000017