(57)【要約】【課題】コストを低減すると共に精度の高い学習用画像を偏りなく大量に生成する。【解決手段】プロセッサが、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成することと、前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行うことと、を含み、前記自動切り出し画像を生成することは、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成すること、をさらに含む、情報処理方法が提供される。【選択図】図１
2020046858.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサが、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成することと、
前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行うことと、
を含み、
前記自動切り出し画像を生成することは、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成すること、
をさらに含む、
情報処理方法。
【請求項２】
前記自動切り出し器は、前記手動切り出し画像を入力としたニューラルネットワークによる学習の結果として得られた学習済みパラメータに基づいて生成される、
請求項１に記載の情報処理方法。
【請求項３】
前記自動切り出し画像を生成することは、前記素材画像中における前記対象物を含む暫定領域を特定することと、
前記暫定領域から前記対象物を含む詳細領域を自動で切り出すことと、
をさらに含む、
請求項２に記載の情報処理方法。
【請求項４】
前記暫定領域を特定することと、前記詳細領域を自動で切り出すことは、それぞれ異なるニューラルネットワークを用いて処理を実行する、
請求項３に記載の情報処理方法。
【請求項５】
前記暫定領域を特定することは、ディープラーニングを用いた高速物体検出手法により前記暫定領域を特定する、
請求項３に記載の情報処理方法。
【請求項６】
前記詳細領域を自動で切り出すことは、前記自動切り出し器を用いて前記詳細領域の自動切り出しを実行し、前記自動切り出し画像を生成する、
請求項４に記載の情報処理方法。
【請求項７】
前記学習することは、前記素材画像の撮影時における前記対象物と撮影装置との距離に基づいて採択された前記自動切り出し画像に基づいて学習を行う、
請求項１に記載の情報処理方法。
【請求項８】
前記自動切り出し画像を生成することは、前記対象物と前記撮影装置との距離が所定の範囲内である場合にのみ、前記素材画像に係る前記自動切り出し画像を学習データとして採択する、
請求項７に記載の情報処理方法。
【請求項９】
前記自動切り出し画像を生成することは、前記対象物と前記撮影装置との距離が所定の範囲内である場合にのみ、前記素材画像中から前記対象物を含む領域を自動で切り出し、前記自動切り出し画像を生成する、
請求項７に記載の情報処理方法。
【請求項１０】
前記素材画像は、ＲＧＢ画像を含み、
前記自動切り出し画像を生成することは、前記ＲＧＢ画像と同時に撮影された距離画像に基づいて、前記自動切り出し画像の採択に係る判定を行う、
請求項７に記載の情報処理方法。
【請求項１１】
前記対象物は、移動体の移動時における障害物を含む、
請求項１に記載の情報処理方法。
【請求項１２】
コンピュータを、
素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する自動切り出し部と、
前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行う学習部と、
を備え、
前記自動切り出し部は、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成する、
情報処理装置、
として機能させるためのプログラム。
【請求項１３】
対象物を含む素材画像を撮影する撮影部と、
前記素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する自動切り出し部と、
前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行う学習部と、
前記学習部による学習の結果に基づいて、前記対象物の検出を行う検出部と、
を備え、
前記自動切り出し部は、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成する、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理方法、プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
近年、画像中における対象物を検出し、当該検出の結果に基づいて動作を行う装置が広く普及している。また、上記のような検出機能の構築に用いる学習用画像を自動で生成する手法も提案されている。例えば、特許文献１には、知識不要の比較的単純な非パターン認識系やパターン認識系アルゴリズムを用いて、素材画像から学習用画像の切り出しを自動で行う技術が開示されている。また、例えば、特許文献２には、対象物に係る画像をＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）により生成し、検出器の学習に用いる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−５９７２９号公報
【特許文献２】特開２０１４−１２３３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献に開示される技術では、学習用画像の切り出しに係る精度が十分とは言えず、汎化性能が高い検出器を生成することが困難である。また、特許文献２に開示されるようなＣＧ画像は、実空間において撮影された画像と乖離があることから、対象物の検出性能を向上させるには限界がある。
【課題を解決するための手段】
【０００５】
本開示によれば、プロセッサが、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成することと、前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行うことと、を含み、前記自動切り出し画像を生成することは、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成すること、をさらに含む、情報処理方法が提供される。
【０００６】
また、本開示によれば、コンピュータを、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する自動切り出し部と、前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行う学習部と、を備え、前記自動切り出し部は、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成する、情報処理装置、として機能させるためのプログラムが提供される。
【０００７】
また、本開示によれば、対象物を含む素材画像を撮影する撮影部と、前記素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する自動切り出し部と、前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行う学習部と、前記学習部による学習の結果に基づいて、前記対象物の検出を行う検出部と、を備え、前記自動切り出し部は、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成する、情報処理システムが提供される。
【図面の簡単な説明】
【０００８】
【図１】本開示の第１の実施形態に係る情報処理システムの概要を示す図である。
【図２】同実施形態に係る手動切り出し装置の機能構成例を示すブロック図である。
【図３】同実施形態に係る自動切り出し装置の機能構成例を示すブロック図である。
【図４】同実施形態に係る検出装置の機能構成例を示すブロック図である。
【図５】同実施形態に係る手動切り出し装置による処理の流れを示すフローチャートである。
【図６】同実施形態に係る自動切り出し装置による処理の流れを示すフローチャートである。
【図７】同実施形態に係る自動切り出し画像の生成の流れを示す図である。
【図８】同実施形態に係る自動切り出し器のネットワーク構造例を示す図である。
【図９】同実施形態に係る検出装置による処理の流れを示すフローチャートである。
【図１０】本開示の第２の実施形態に係る自動切り出し装置による処理の流れを示す図である。
【図１１】本開示の第３の実施形態に係る検出装置の機能構成を示すブロック図である。
【図１２】同実施形態に係る検出装置による検出器のパラメータ更新処理の流れを示すフローチャートである。
【図１３】本開示の一実施形態に係るハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．概要
１．２．手動切り出し装置１０の機能構成例
１．３．自動切り出し装置２０の機能構成例
１．４．検出装置３０の機能構成例
１．５．処理の流れ
２．第２の実施形態
３．第３の実施形態
４．ハードウェア構成例
５．まとめ
【００１１】
＜１．第１の実施形態＞
＜＜１．１．概要＞＞
まず、本開示の第１の実施形態の概要について説明する。上述したように、近年においては、対象物の検出結果に基づいて動作を行う装置が広く普及している。上記のような装置の一例としては、例えば、撮影された画像から歩行者や走行車両などの対象物を検出し、アラートの出力や運転補助を行う車載装置などが挙げられる。
【００１２】
ここで、上記のような車載装置に高性能な対象物検出機能を実現させるためには、検出器の生成段階において、学習用画像として用いる対象物の切り出し画像を大量に確保することが求められる。しかし、人手により上記のような切り出し画像を作成する場合、人件費や作業時間などのコストが増大することとなる。
【００１３】
このために、上述した特許文献１や特許文献２のように、学習用画像を自動で生成する手法も提案されている。しかし、例えば、特許文献２に記載されるように、ＣＧにより生成した合成画像を学習用画像とする場合、現実との乖離から検出器の性能を十分に向上させることが困難な場合がある。
【００１４】
また、例えば、特許文献１に開示される比較的単純な非パターン認識系やパターン認識系アルゴリズムを用いた切り出し画像の生成では、十分な切り出し精度の確保が困難であることから、例えば、歩行者の検出を行う車載装置などの高い精度が求められる装置への適用は現実的とはいえない。
【００１５】
さらには、特許文献１には、上記のように生成した切り出し画像を用いて単一の機械学習手法を繰り返す技術が開示されているが、このような方法では学習に偏りが生じてしまい、汎化性能が高い検出器を生成することが困難である。
【００１６】
本開示に係る技術思想は、上記の点に着目して発想されたものであり、コストを低減すると共に精度の高い学習用画像を偏りなく大量に生成することを可能とする。このために、本開示の一実施形態に係る情報処理方法は、プロセッサが、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成することと、当該自動切り出し画像に基づいて対象物の検出に係る学習を行うことと、を含む。また、上記自動切り出し画像を生成することは、素材画像中から対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、自動切り出し画像を生成すること、をさらに含む。
【００１７】
図１は、本開示の第１の実施形態に係る情報処理システムの概要を示す図である。図１に示すように、本実施形態に係る情報処理システムは、手動切り出し装置１０、自動切り出し装置２０、および検出装置３０を含み得る。また、図１においては、検出装置３０が対象物として歩行者を検出する場合の一例が示されている。
【００１８】
（手動切り出し装置１０）
本実施形態に係る手動切り出し装置１０は、自動切り出し装置２０に備えられる自動切り出し機能を実現するための機械学習を行う情報処理装置である。本実施形態に係る手動切り出し装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などで有り得る。
【００１９】
本実施形態に係る手動切り出し装置１０の手動切り出し部１２０は、作業者による操作に基づいて、対象物である歩行者を含む素材画像ＭＩから歩行者を含む領域を切り出した手動切り出し画像ＭＴＩを生成する。すなわち、作業者は、手動切り出し装置１０を操作し、素材画像ＭＩから歩行者が映っている領域をトリミングし、当該歩行者に係る切り出し画像を生成することができる。手動切り出し画像ＭＴＩは、例えば、１万６千枚程度生成されてもよい。
【００２０】
また、本実施形態に係る手動切り出し装置１０の学習部１４０は、上記のように人手により切り出された手動切り出し画像ＭＴＩに基づいて、歩行者の特徴に係る機械学習を行う。本実施形態に係る学習部１４０は、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いた高性能の機械学習を行ってよい。本実施形態に係る学習部１４０によれば、作業者、すなわち人が実際に歩行者であると認識した被写体に基づき、歩行者の特徴を精度高く学習することが可能である。学習部１４０による学習の結果として得られる学習済みパラメータＰ１は、自動切り出し装置２０の自動切り出し部２２０に備えられる自動切り出し器に適用される。上記のパラメータ適用によれば、自動切り出し装置２０の自動切り出し部２２０が、高性能の機械学習の結果に基づいて精度高く対象物の切り出しを行うことが可能となる。なお、本実施形態に係るパラメータには、例えば、重みやバイアスなど、機械学習において一般的に用いられる各種のパラメータが広く含まれる。
【００２１】
（自動切り出し装置２０）
本実施形態に係る自動切り出し装置２０は、手動切り出し装置１０による機械学習の結果として得られた学習済みパラメータＰ１が適用されたＤＮＮを用いて、素材画像ＭＩから歩行者を含む領域を自動で切り出す機能を有する情報処理装置である。本実施形態に自動切り出し装置２０の自動切り出し部２２０は、学習済みパラメータＰ１が適用されたＤＮＮを自動切り出し器として用いることで、自動切り出し画像ＡＴＩの生成することを特徴の一つとする。本実施形態に係る自動切り出し部２２０によれば、人手により生成された手動切り出し画像ＭＴＩに基づいて学習された学習済みパラメータＰ１を用いることで、精度の高い自動切り出し画像ＡＴＩを大量かつ高速で生成することが可能となる。なお、自動切り出し部２２０は、自動切り出し画像ＡＴＩを、例えば、１００万枚程度生成してもよい。
【００２２】
また、本実施形態に係る自動切り出し装置２０の学習部２４０は、自動切り出し部２２０により自動生成された自動切り出し画像ＡＴＩを入力として歩行者の検出に係る中程度の性能の機械学習を行う。学習部２４０による学習の結果として得られる学習済みパラメータＰ２は、検出装置３０の検出部３２０に備えられる検出器に適用される。本実施形態に係る自動切り出し装置２０によれば、切り出し精度の高い大量の自動切り出し画像ＡＴＩを用いた機械学習を行うことで、汎化性能が高い検出器を低コストで生成することが可能となる。なお、本実施形態に係る自動切り出し装置２０は、例えば、ＰＣで有り得る。
【００２３】
（検出装置３０）
本実施形態に係る検出装置３０は、自動切り出し装置２０による機械学習の結果として得られたパラメータＰ２を適用した中程度の性能の検出器を用いて、歩行者の検出を行う情報処理装置である。本実施形態に係る検出装置３０は、例えば、車両に搭載されるカメラモジュールなどであってもよい。なお、本実施形態に係る検出器は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量とＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いて対象物の検出を行う。このように、本実施形態では、ＤＮＮを用いた高性能の機械学習により、ＳＶＭを用いた中程度の性能の機械学習の学習データを自動生成することで、偏りのない学習を実現することができる。
【００２４】
本実施形態に係る検出装置３０の検出部３２０は、上記の検出器を用いて、後述する撮影部３１０が撮影した入力画像ＩＩから歩行者をリアルタイムに検出することができる。また、本実施形態に係る検出部３２０は、検出結果を出力画像ＯＩとして出力してもよい。出力画像ＯＭは、例えば、車両に搭載されるディスプレイ装置などに表示されてもよい。
【００２５】
以上、本実施形態に係る情報処理システムの概要について説明した。以上説明したように、本実施形態に係る情報処理方法によれば、精度の高い切り出し画像を低コストで大量に自動生成することができ、結果として汎化性能が高い検出器を生成することが可能となる。
【００２６】
なお、本開示では、検出装置３０が車両に搭載されるカメラモジュールであり、また検出に係る対象物が歩行者である場合を主な例として説明するが、本開示の一実施形態に係る対象物や検出装置３０は係る例に限定されない。本開示の一実施形態に係る対象物は、車両を含む各種の移動体の移動時における障害物を広く含んでよい。障害物の一例としては、例えば、歩行者を含む人のほか、別の移動体、動物、移動ルート上における設置物などが挙げられる。また、上記の移動体の一例としては、例えば、船舶、ドローンなどを含む航空機、各種の自律移動多型ロボットなどが挙げられる。さらには、本開示の一実施形態に係る検出装置３０は、例えば、防犯カメラなどであってもよい。本開示の技術思想は、対象物の検出を行う各種の検出器の生成に広く適用され得る。
【００２７】
＜＜１．２．手動切り出し装置１０の機能構成例＞＞
次に、本実施形態に係る手動切り出し装置１０の機能構成例について詳細に説明する。図２は、本実施形態に係る手動切り出し装置１０の機能構成例を示すブロック図である。図２に示すように、本実施形態に係る手動切り出し装置１０は、画像供給部１１０、手動切り出し部１２０、画像蓄積部１３０、および学習部１４０を備える。
【００２８】
（画像供給部１１０）
本実施形態に係る画像供給部１１０は、手動切り出し部１２０に対象物を被写体とした素材画像を供給する機能を有する。画像供給部１１０は、例えば、予め人手により登録された素材画像を手動切り出し部１２０により供給してもよい。また、画像供給部１１０は、例えば、インターネット上から自動で供給した素材画像を手動切り出し部１２０に供給することも可能である。
【００２９】
（手動切り出し部１２０）
本実施形態に係る手動切り出し部１２０は、作業者による操作に基づいて、素材画像から対象物を含む領域を切り出し、手動切り出し画像を生成する機能を有する。このために、本実施形態に係る手動切り出し部１２０は、例えば、トリミング操作などが可能な画像編集インタフェースを作業者に提供してもよい。
【００３０】
（画像蓄積部１３０）
本実施形態に係る画像蓄積部１３０は、手動切り出し部１２０により生成された手動切り出し画像を蓄積する。
【００３１】
（学習部１４０）
本実施形態に係る学習部１４０は、手動切り出し部１２０により生成され、画像蓄積部１３０により蓄積される手動切り出し画像を入力として対象物の特徴に係る機械学習を行う。上述したように、本実施形態に係る学習部１４０は、ＤＮＮなどを用いた機械学習を行ってよい。学習部１４０による学習の結果として得られた学習済みパラメータは、自動切り出し装置２０に備えられる自動切り出し器に適用される。
【００３２】
以上、本実施形態に係る手動切り出し装置１０の機能構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る手動切り出し装置１０の機能構成は係る例に限定されない。本実施形態に係る手動切り出し装置１０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
【００３３】
＜＜１．３．自動切り出し装置２０の機能構成例＞＞
次に、本実施形態に係る自動切り出し装置２０の機能構成例について詳細に説明する。図３は、本実施形態に係る自動切り出し装置２０の機能構成例を示すブロック図である。図３に示すように、本実施形態に係る自動切り出し装置２０は、画像供給部２１０、自動切り出し部２２０、画像蓄積部２３０、および学習部２４０を備える。
【００３４】
（画像供給部２１０）
本実施形態に係る画像供給部２１０は、自動切り出し部２２０に対象物を被写体とした素材画像を供給する機能を有する。画像供給部２１０は、予め人手により登録された素材画像や、インターネット上から自動で供給した素材画像を自動切り出し部２２０に供給してよい。
【００３５】
（自動切り出し部２２０）
本実施形態に係る自動切り出し部２２０は、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する機能を有する。上述したように、本実施形態に係る自動切り出し部２２０は、手動切り出し装置１０による機械学習の結果として得られた学習済みパラメータを適用した自動切り出し器を用いて、自動切り出し画像を生成することを特徴の一つとする。本実施形態に係る自動切り出し部２２０が有する機能の詳細については、別途後述する。
【００３６】
（画像蓄積部２３０）
本実施形態に係る画像蓄積部２３０は、自動切り出し部２２０により生成された自動切り出し画像を蓄積する。
【００３７】
（学習部２４０）
本実施形態に係る学習部２４０は、自動切り出し部２２０により生成され、画像蓄積部２３０により蓄積される自動切り出し画像を入力として対象物の検出に係る機械学習を行う。本実施形態に係る学習部２４０は、ＨＯＧ特徴量とＳＶＭなどによる機械学習を行ってよい。学習部２４０による学習の結果として得られた学習済みパラメータは、検出装置３０に備えられる検出器に適用される。
【００３８】
以上、本実施形態に係る自動切り出し装置２０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る自動切り出し装置２０の機能構成は係る例に限定されない。本実施形態に係る自動切り出し装置２０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
【００３９】
＜＜１．４．検出装置３０の機能構成例＞＞
次に、本実施形態に係る検出装置３０の機能構成例について詳細に説明する。図４は、本実施形態に係る検出装置３０の機能構成例を示すブロック図である。図４に示すように、本実施形態に係る検出装置３０は、撮影部３１０、検出部３２０、動作制御部３３０、および動作部３４０を備える。
【００４０】
（撮影部３１０）
本実施形態に係る撮影部３１０は、車両の周囲における画像（ＲＧＢ画像）を撮影する機能を有する。なお、上記の画像には、動画像および静止画像が含まれる。
【００４１】
（検出部３２０）
本実施形態に係る検出部３２０は、自動切り出し装置２０による学習の結果として得られた学習済みパラメータが適用された検出器を用いて、撮影部３１０が撮影した画像から対象物をリアルタイムに検出する機能を有する。本実施形態に係る検出部３２０は、対象物の検出結果を動作制御部３３０に出力する。本実施形態に係る検出部３２０は、例えば、マイクロコントローラにより実現される。
【００４２】
（動作制御部３３０）
本実施形態に係る動作制御部３３０は、検出部３２０による対象物の検出結果に基づいて、動作部３４０の動作を制御する機能を有する。本実施形態に係る動作制御部３３０は、例えば、検出部３２０が車両の前方に対象物を検出したことに基づいて、動作部３４０にアラートを出力させたり、動作部３４０にブレーキを作動させてもよい。また、検出部３２０が対象物の検出結果を図１に例示したような出力画像ＯＩとして出力する場合、動作制御部３３０は、動作部３４０が備えるディスプレイ装置に出力画像ＯＩを表示させてもよい。
【００４３】
（動作部３４０）
本実施形態に係る動作部３４０は、動作制御部３３０による制御に基づいて各種の動作を実行する。本実施形態に係る動作部３４０は、例えば、アクセル、ブレーキ、ステアリング、ディスプレイ装置、スピーカなどを備えてもよい。
【００４４】
以上、本実施形態に係る検出装置３０の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る検出装置３０の機能構成は係る例に限定されない。本実施形態に係る検出装置３０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
【００４５】
＜＜１．５．処理の流れ＞＞
次に、本実施形態に係る手動切り出し装置１０、自動切り出し装置２０、検出装置３０による処理の流れについて詳細に説明する。
【００４６】
まず、本実施形態に係る手動切り出し装置１０による処理の流れについて説明する。図５は、本実施形態に係る手動切り出し装置１０による処理の流れを示すフローチャートである。
【００４７】
図５を参照すると、まず、画像供給部１１０が、手動切り出し部１２０に素材画像を供給する（Ｓ１１０１）。
【００４８】
次に、手動切り出し部１２０が、ユーザ操作に基づいて、ステップＳ１１０１において供給された素材画像から対象物を含む領域を切り出し、手動切り出し画像を生成する（Ｓ１１０２）。
【００４９】
次に、画像蓄積部１３０が、ステップＳ１１０２において生成された手動切り出し画像を蓄積する（Ｓ１１０３）。
【００５０】
次に、学習部１４０が、ステップＳ１１０３において蓄積された手動切り出し画像を入力として対象物の特徴に係る学習を実行し、パラメータを生成する（Ｓ１１０４）。
【００５１】
続いて、学習部１４０は、自動切り出し装置２０に備えられる自動切り出し器にステップＳ１１０４において得られた学習済みパラメータを適用する（Ｓ１１０５）。
【００５２】
以上、本実施形態に係る手動切り出し装置１０による処理の流れについて詳細に説明した。次に、本実施形態に係る自動切り出し装置２０による処理の流れについて詳細に説明する。図６は、本実施形態に係る自動切り出し装置２０による処理の流れを示すフローチャートである。
【００５３】
図６を参照すると、まず、画像供給部２１０が、自動切り出し部２２０に素材画像を供給する（Ｓ１２０１）。
【００５４】
次に、自動切り出し部２２０が、図５のステップＳ１１０５において学習済みパラメータが適用された自動切り出し器を用いて、ステップＳ１２０１において供給された素材画像から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する（Ｓ１２０２）。
【００５５】
次に、画像蓄積部２３０が、ステップＳ１２０２において生成された自動切り出し画像を蓄積する（Ｓ１２０３）。
【００５６】
次に、学習部２４０が、ステップＳ１２０３において蓄積された自動切り出し画像を入力として対象物の検出に係る学習を実行し、パラメータを生成する（Ｓ１２０４）。
【００５７】
続いて、学習部２４０は、検出装置３０に備えられる検出器にステップＳ１２０４において得られた学習済みパラメータを適用する（Ｓ１２０５）。
【００５８】
以上、本実施形態に係る自動切り出し装置２０による処理の流れについて説明した。続いて、本実施形態に係る自動切り出し部２２０による自動切り出し画像の生成について、より詳細に説明する。
【００５９】
図７は、本実施形態に係る自動切り出し画像の生成の流れを示す図である。本実施形態に係る自動切り出し部２２０による自動切り出し画像の生成は、大きく２つの処理により実現される。
【００６０】
具体的には、本実施形態に係る自動切り出し部２２０は、まず、ディープラーニングを用いた高速物体検出手法により、画像供給部２１０により供給された素材画像ＭＩから、対象物を含むおおよその領域である暫定領域Ｒｉを特定する。上記の高速物体検出手法には、例えば、ＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ）が挙げられる。本実施形態に係る自動切り出し部２２０は、ＳＳＤのような高速物体検出手法を用いることで、素材画像ＭＩにおいて対象物を含むおおよその暫定領域Ｒｉを比較的高速に特定することが可能である（例えば、自動切り出し装置２０が、出願時における最新のＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を搭載している場合、１００ｍｓｅｃ以内）。なお、自動切り出し部２２０は、ＳＳＤ等により導出される領域よりも少し広めの領域を暫定領域Ｒｉとして特定してよい。
【００６１】
また、上記のようなＳＳＤを利用した暫定領域Ｒｉの特定には、例えば、インターネット上から取得可能な、コンテスト画像などで学習済みのパラメータを転用することが可能である。上記のような学習済みパラメータを転用することにより、学習に要する時間や、学習用画像を生成するコストを大幅に削減することができる。
【００６２】
なお、本実施形態に係るディープラーニングを用いた高速物体検出手法は、ＳＳＤに限定されない。本実施形態に係る自動切り出し部２２０は、例えば、Ｆａｓｔｅｒ  ＲＣＮＮ（Ｒｅｇｉｏｎｓ  ｗｉｔｈ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）やＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）などを用いて暫定領域Ｒｉの特定を行ってもよい。
【００６３】
次に、本実施形態に係る自動切り出し部２２０は、上述した自動切り出し器を用いて、ＳＳＤにより特定された暫定領域Ｒｉから対象物を含む詳細領域Ｒｄを自動で切り出し、自動切り出し画像ＡＴＩを生成する。ここで、本実施形態に係る詳細領域Ｒｄとは、暫定領域Ｒｉよりも小さな領域であり、かつ対象物を含まない領域を極力排除した矩形領域であってもよい。例えば、対象物が歩行者である場合、詳細領域Ｒｄの上端は歩行者の頭部上端とおおよそ一致し、詳細領域Ｒｄの下端は、歩行者の足の下端とおおよそ一致してよい。
【００６４】
このように、本実施形態に係る自動切り出し部２２０は、２つの異なるニューラルネットワークを用いて、暫定領域Ｒｉの特定処理と詳細領域Ｒｄの自動切り出し処理を実行することを特徴の一つとする。
【００６５】
本実施形態に係る自動切り出し部２２０が有する上記の特徴によれば、自動切り出しの前段階として、対象物を含むおおよその領域である暫定領域Ｒｉを特定することで、素材画像Ｍｉを全走査することなく詳細領域Ｒｄを切り出し可能となり、自動切り出し画像ＡＴＩの生成に要する時間を大幅に削減することができる。
【００６６】
以上、本実施形態に係る自動切り出し画像ＡＴＩの生成の流れについて詳細に説明した。なお、自動切り出し部２２０により上記のように生成された自動切り出し画像ＡＴＩは、図７の下段に示すように、正しい領域が切り出されているかの作業者確認を以って画像蓄積部２３０に蓄積されてもよい。
【００６７】
また、上記では、本実施形態に係る自動切り出し部２２０が、ＳＳＤなどの高速物体検出手法を用いて素材画像から暫定領域を特定する場合を述べたが、素材画像が動画像の連続したフレームである場合、自動切り出し部２２０は、当該連続したフレームから動きベクトルなどの情報を取得することで、対象物が映ったおおよその領域を特定することも可能である。
【００６８】
続いて、本実施形態に係る自動切り出し器のネットワーク構造について詳細に説明する。図８は、本実施形態に係る自動切り出し器のネットワーク構造例を示す図である。なお、図８に示すネットワーク構造はあくまで一例であり、本実施形態に係る自動切り出し器のネットワーク構造は柔軟に変形可能である。
【００６９】
図８における「Ｃｏｎｖ」は「Ｃｏｎｖｏｌｕｔｉｏｎ」層を、「Ｌｒｎ」は「局所応答正規化（Ｌｏｃａｌ  ｒｅｓｐｏｎｓｅ  ｎｏｒｍａｌｉｚａｔｉｏｎ）を、「Ｐｏｏｌ」は「Ｐｏｏｌｉｎｇ」を、「ＦＣ」は「Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ」層をそれぞれ示している。また、各層における「Ｓ」はストライドを、「Ｄ」はフィルタ数をそれぞれ示している。
【００７０】
なお、活性化関数には例えばＲｅＬＵを、Ｐｏｏｌｉｎｇには、Ｍａｘ  Ｐｏｏｌｉｎｇを採用してもよい。また、出力層は恒等関数とし、損失関数には２乗和誤差を用いてもよい。
【００７１】
以上、本実施形態に係る自動切り出し器のネットワーク構成について一例を示した。本実施形態では、上記のようなネットワークに、頭部の上端と足の下端とが画像の上下端にそれぞれ一致する切り出し画像をポジティブ画像として、頭部の上端と足の下端とが画像の上下端とずれている画像をネガティブ画像として与え学習を行わせる。この際、例えば、教示データとして、ポジティブ画像には、２５６．０を、ネガティブ画像には０．０をそれぞれ与え、出力値の１２８．０を閾値として画像が正確に切り出されているか否かを判断してもよい。
【００７２】
また、学習データとしては、画像内正規化を施したポジティブ画像を１万６千枚程度、同様に画像内正規化を施したネガティブ画像を２０万４千枚程度与えることで、自動切り出しの精度を確保することができる。また、色や明るさ、コントラストの変化に対し寛容な自動切り出し器を生成するため、色、明るさ、コントラストをランダムに変化させるデータ拡張を行った画像を学習に用いてもよい。さらには、画像を左右方向にミラーリングするデータ拡張を行った画像を用いてもよい。上記のようなデータ拡張は、頭部や足の位置に影響を与えないことから、自動切り出しの精度を低下させることなく、学習データ数を確保することが可能である。
【００７３】
なお、その他のデータ拡張の一例としては、例えば、ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ）によるセグメンテーションを利用したバリエーションの増加が想定される。ＦＣＮによれば、例えば、画像中における歩行者の服の領域を特定し服の色を変えた画像を生成したり、肌の領域を特定し肌の色を変えることで人種の違いを表現した画像を生成することも可能である。また、ＦＣＮによれば、画像における背景のビルや道路などを特定した、異なる建造物等に変更することなども可能である。さらには、画像中における人の手の位置を物体検出手法を用いて特定し、鞄などを上書きすることで、素材画像のバリエーションを多様化させることも可能である。
【００７４】
以上、本実施形態に係る自動切り出し装置２０による処理の流れについて詳細に説明した。次に、本実施形態に係る検出装置３０による処理の流れについて説明する。図９は、本実施形態に係る検出装置３０による処理の流れを示すフローチャートである。
【００７５】
図９を参照すると、まず、撮影部３１０が車両周囲におけるＲＧＢ画像を撮影する（Ｓ１３０１）。
【００７６】
次に、検出部３２０が、自動切り出し装置２０による学習の結果として得られた学習済みパラメータが適用された検出器を用いて、ステップＳ１３０１において撮影されたＲＧＢ画像から対象物を検出する（Ｓ１３０２）。
【００７７】
次、動作制御部３３０が、ステップＳ１３０２における検出結果に基づいて、動作部３４０に各種の動作を実行させる（Ｓ１３０３）。動作制御部３３０は、例えば、検出された対象物の領域を示す画像を動作部３４０に表示させてもよいし、対象物が検出されたことに基づいて、動作部３４０にブレーキなどを差動させてもよい。
【００７８】
＜２．第２の実施形態＞
次に、本開示の第２の実施形態について説明する。上述した第１の実施形態では、自動切り出し装置２０の自動切り出し部２２０にＲＧＢ画像のみが供給される場合について述べた。一方、本開示の第２の実施形態では、ＲＧＢ画像に加え、同時に撮影された距離画像が併せて自動切り出し部２２０に供給されてよい。上記の距離画像には、例えば、ＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）画像が挙げられる。上記のＲＧＢ画像および距離画像は、例えば、ＲＧＢ−Ｄカメラなどの撮影装置により同時に撮影されてもよいし、並列に設置された異なる２つの撮影装置によりそれぞれ撮影されてもよい。
【００７９】
この際、本実施形態に係る自動切り出し部２２０は、ＲＧＢ画像と同時に撮影された距離画像に基づいて、自動切り出し画像の採択に係る判定を行ってよい。すなわち、本実施形態に係る学習部２４０は、素材画像の撮影時における対象物と撮影装置との距離に基づいて採択された自動切り出し画像に基づいて学習を行うことができる。
【００８０】
以下、本実施形態に係る距離画像を用いた自動切り出し画像の採択について詳細に説明する。なお、以下においては、第１の実施形態との差異について中心に述べ、共通する機能や効果については重複する説明を省略する。
【００８１】
図１０は、本開示の第２の実施形態に係る自動切り出し装置２０による処理の流れを示す図である。
【００８２】
図１０を参照すると、まず、画像供給部２１０が、対象物を含むＲＧＢ画像と当該ＲＧＢ画像と同時に撮影された距離画像を自動切り出し部２２０に供給する（Ｓ２１０１）。
【００８３】
次に、自動切り出し部２２０は、ＳＳＤなどの高速物体検出手法を用いてＲＧＢ画像における暫定領域を特定し、距離画像に基づいて対象物と撮影装置との距離が所定の範囲内であるか否かを判定する（Ｓ２１０２）。
【００８４】
ここで、対象物と撮影装置との距離が所定の範囲内にない場合（Ｓ２１０２：Ｎｏ）、自動切り出し部２２０は、供給されたＲＧＢ画像に対する自動切り出しを行わずに処理を終了してもよい。これによれば、後述するように学習データとして適さない自動切り出し画像を不要に生成することなく処理を効率化することができる。
【００８５】
一方、対象物と撮影装置との距離が所定の範囲内である場合（Ｓ２１０２：Ｙｅｓ）、自動切り出し部２２０が自動切り出し画像を生成し、画像蓄積部２３０が当該自動切り出し画像を蓄積する（Ｓ２１０３）。
【００８６】
次に、学習部２４０は、ステップＳ２１０３において蓄積された自動切り出し画像を入力とした画像を実行し、パラメータを生成する（Ｓ２１０４）。
【００８７】
続いて、学習部２４０は、検出装置３０に備えられる検出器にステップＳ２１０４において得られた学習済みパラメータを適用する（Ｓ２０１５）。
【００８８】
以上、本実施形態に係る自動切り出し装置２０の処理の流れについて一例を示した。このように、本実施形態では、撮影時における対象物との距離が所定の範囲内にある自動切り出し画像のみが学習部２４０に入力される。
【００８９】
なお、上記の所定の範囲には、対象物と撮影装置との距離が近すぎず、かつ遠すぎない値が設定される。対象物と撮影装置との距離が近すぎる画像では、対象物が歪んで映る場合も多く想定されるが、歪みが生じている画像を学習に用いることで、検出器の性能が低下することが予測される。このため、距離画像に基づいて、対象物と撮影装置との距離が近すぎる画像を排除することで、生成される検出器の性能を確保することが可能となる。
【００９０】
また、対象物と撮影装置との距離が遠すぎる画像では、対象物を含む領域にノイズが多く加わることとなる。ノイズが多い画像は、検出器の性能低下を招く要因となり得る。このため、距離画像に基づいて、対象物と撮影装置との距離が遠すぎる画像を排除することで、生成される検出器の性能を確保することが可能となる。
【００９１】
以上、本開示の第２の実施形態について説明した。本実施形態に係る自動切り出し装置２０によれば、より汎化性能の高い検出器を生成することが可能となる。なお、上記では、本実施形態に係る自動切り出し部２２０が、対象物と撮影装置との距離が所定の範囲内である場合にのみ、素材画像から自動切り出しを行う場合を例に説明したが、採択の判定タイミングは、係る例に限定されない。
【００９２】
本実施形態に係る自動切り出し部２２０は、例えば、自動切り出し画像を生成した後に、距離画像に基づいて、当該自動切り出し画像の採択を判定してもよい。自動切り出し部２２０は、例えば、まず距離に依らず自動切り出し画像の生成を行い、対象物と撮影装置との距離が所定の範囲内である場合にのみ、自動切り出し画像を画像蓄積部２３０に蓄積させてもよい。また、素材画像を自動切り出し部２２０に供給する前の段階において、例えば、作業者が目視により大まかに画像の選別を行うことも可能である。
【００９３】
＜３．第３の実施形態＞
次に、本開示の第３の実施形態について説明する。上記の第１の実施形態および第２の実施形態では、検出器を用いた対象物の検出と、検出器を生成するための学習とが、それぞれ別途の装置（すなわち、自動切り出し装置２０および検出装置３０）により行われる場合を述べた。一方、本開示の第３の実施形態では、単一の装置により上記の両機能を実現する構成について言及する。すなわち、本実施形態に係る検出装置３０は、撮影した画像に基づいて自己学習を行い、自動的に検出器のパラメータを更新することができてよい。
【００９４】
以下、本開示の第３の実施形態に係る検出装置３０が有する機能について詳細に説明する。なお、以下においては、第１の実施形態および第２の実施形態との差異について中心に述べ、第１の実施形態および第２の実施形態と共通する機能や効果については、重複する説明を省略する。
【００９５】
図１１は、本開示の第３の実施形態に係る検出装置４０の機能構成を示すブロック図である。図１１に示すように、本実施形態に係る検出装置４０は、撮影部４１０、画像供給部４２０、自動切り出し部４３０、画像蓄積部４４０、学習部４５０、検出部４６０、動作制御部４７０、および動作部４８０を備える。
【００９６】
すなわち、本実施形態に係る検出装置４０は、第１の実施形態および第２の実施形態に係る検出装置３０の構成に加え、自動切り出し機能および学習機能をさらに有するといえる。上記のような構成によれば、車両の走行に伴い撮影される画像を素材画像として利用することで、検出に係る学習を継続的に行いパラメータを更新し続けることができる。
【００９７】
なお、本実施形態に係る学習部４５０は、評価用画像セットを用いることで、新たに生成したパラメータの性能が現在のパラメータの性能を上回っているか否かを判定することができる。この際、本実施形態に係る学習部４５０は、新たに生成したパラメータの性能が現在のパラメータの性能を上回っている場合にのみ、検出器のパラメータを自動で更新してよい。本実施形態に係る学習部４５０が有する上記の機能によれば、走行すればするほど検出器の汎化性能を向上させることが可能となる。
【００９８】
図１２は、本実施形態に係る検出装置４０による検出器のパラメータ更新処理の流れを示すフローチャートである。図１２を参照すると、まず撮影部４１０が、撮影した画像を画像供給部４２０に入力する（Ｓ３１０１）。
【００９９】
次に、画像供給部４２０が、ステップＳ３１０１において入力された画像を素材画像として自動切り出し部４３０に供給する（Ｓ３１０２）。
【０１００】
次に、自動切り出し部４３０が、ステップＳ３１０２において供給された素材画像から対象物を含む自動切り出し画像を生成する（Ｓ３１０３）。この際、自動切り出し部４３０は、第２の実施形態で説明したように、対象物までの距離に基づいて自動切り出し画像の採択に係る判定を行ってもよい。
【０１０１】
次に、画像蓄積部４４０が、ステップＳ３１０３において生成された自動切り出し画像を蓄積する（Ｓ３１０４）。
【０１０２】
次に、学習部４５０が、ステップＳ３１０４において蓄積された自動切り出し画像を入力として対象物の検出に係る学習を実行し、パラメータを生成する（Ｓ３１０５）。
【０１０３】
続いて、学習部４５０は、評価用画像セットに基づいて、ステップＳ３１０５において新たに生成したパラメータにより検出器の性能が向上するか否かを判定する（Ｓ３１０６）。
【０１０４】
ここで、新たに生成したパラメータにより検出器の性能が向上しないと判定した場合（Ｓ３１０６：Ｎｏ）、学習部４５０は検出器のパラメータを更新を行わず、検出装置４０はステップＳ３１０１に復帰する。
【０１０５】
一方、新たに生成したパラメータにより検出器の性能が向上すると判定した場合（Ｓ３１０６：Ｙｅｓ）、学習部４５０は検出器のパラメータを更新し、検出装置４０はステップＳ３１０１に復帰する。
【０１０６】
以上、本実施形態に係る検出器のパラメータ更新処理の流れについて説明した。本実施形態に係る検出装置４０による上記の処理によれば、検出に係る学習を継続的に行いパラメータを更新することで、対象物の検出性能を効率的に向上させることが可能となる。
【０１０７】
なお、本実施形態に係る検出装置４０は、学習したパラメータを、ネットワークを介して外部のサーバなどに送信してもよい。この場合、上記サーバは、複数の検出装置４０から収集したパラメータのうち最も高い検出性能を実現するパラメータを特定し、当該パラメータを、各検出装置４０に配布することができる。このような構成によれば、複数の検出装置４０の間で、性能が高いパラメータを広く共有することができ、検出性能の高い検出装置４０を効率的に量産することが可能となる。
【０１０８】
一方、上記のようなパラメータの共有は、搭載される車両や撮影部４１０の仕様が共通しており、また個体差が少ない検出装置４０の間に限定されてよい。搭載される車両や撮影部４１０の個体差が大きい場合には、各検出装置４０で自己学習したパラメータのみを用いることで、対象物の検出性能を効果的に向上させることができる。
【０１０９】
なお、検出装置４０が、ネットワークを介して外部のサーバなどと通信を行う場合、自動切り出し部４３０が有する自動切り出し画像の生成機能は、必ずしも検出装置４０の機能として実現されなくてもよい。例えば、検出装置４０は、ネットワークを介して上記サーバに素材画像を送信し、上記サーバにより生成された自動切り出し画像を受信することで、当該自動切り出し画像を用いた学習を行ってもよい。この場合、検出装置４０の電力消費を低減し、また筐体の小型化を実現することができる。
【０１１０】
＜４．ハードウェア構成例＞
次に、本開示の一実施形態に係る自動切り出し装置２０のハードウェア構成例について説明する。図１３は、本開示の一実施形態に係る自動切り出し装置２０のハードウェア構成例を示すブロック図である。図１３を参照すると、自動切り出し装置２０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１１１】
（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。プロセッサ８７１は、例えば、ＧＰＵやＣＰＵを含む。
【０１１２】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１１３】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。
【０１１４】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１１５】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０１１６】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１１７】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１１８】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１１９】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１２０】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１２１】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１２２】
＜５．まとめ＞
以上説明したように、本開示の一実施形態に係る自動切り出し装置２０よれば、プロセッサが、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成することと、自動切り出し画像に基づいて対象物の検出に係る学習を行うことと、を含み、自動切り出し画像を生成することは、素材画像中から対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、上記自動切り出し画像を生成すること、をさらに含む、情報処理方法が実現される。本開示の一実施形態に係る情報処理方法によれば、コストを低減すると共に精度の高い学習用画像を偏りなく大量に生成することが可能となる。
【０１２３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２５】
また、コンピュータに内蔵されるプロセッサ、ＲＯＭおよびＲＡＭなどのハードウェアに、自動切り出し装置２０や検出装置３０、検出装置４０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
【０１２６】
また、本明細書の各装置の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、自動切り出し装置２０や検出装置３０、検出装置４０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
プロセッサが、素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成することと、
前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行うことと、
を含み、
前記自動切り出し画像を生成することは、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成すること、
をさらに含む、
情報処理方法。
（２）
前記自動切り出し器は、前記手動切り出し画像を入力としたニューラルネットワークによる学習の結果として得られた学習済みパラメータに基づいて生成される、
前記（１）に記載の情報処理方法。
（３）
前記自動切り出し画像を生成することは、前記素材画像中における前記対象物を含む暫定領域を特定することと、
前記暫定領域から前記対象物を含む詳細領域を自動で切り出すことと、
をさらに含む、
前記（２）に記載の情報処理方法。
（４）
前記暫定領域を特定することと、前記詳細領域を自動で切り出すことは、それぞれ異なるニューラルネットワークを用いて処理を実行する、
前記（３）に記載の情報処理方法。
（５）
前記暫定領域を特定することは、ディープラーニングを用いた高速物体検出手法により前記暫定領域を特定する、
前記（３）または（４）に記載の情報処理方法。
（６）
前記詳細領域を自動で切り出すことは、前記自動切り出し器を用いて前記詳細領域の自動切り出しを実行し、前記自動切り出し画像を生成する、
前記（４）または（５）に記載の情報処理方法。
（７）
前記学習することは、前記素材画像の撮影時における前記対象物と撮影装置との距離に基づいて採択された前記自動切り出し画像に基づいて学習を行う、
前記（１）〜（６）のいずれかに記載の情報処理方法。
（８）
前記自動切り出し画像を生成することは、前記対象物と前記撮影装置との距離が所定の範囲内である場合にのみ、前記素材画像に係る前記自動切り出し画像を学習データとして採択する、
前記（７）に記載の情報処理方法。
（９）
前記自動切り出し画像を生成することは、前記対象物と前記撮影装置との距離が所定の範囲内である場合にのみ、前記素材画像中から前記対象物を含む領域を自動で切り出し、前記自動切り出し画像を生成する、
前記（７）に記載の情報処理方法。
（１０）
前記素材画像は、ＲＧＢ画像を含み、
前記自動切り出し画像を生成することは、前記ＲＧＢ画像と同時に撮影された距離画像に基づいて、前記自動切り出し画像の採択に係る判定を行う、
前記（７）〜（９）のいずれかに記載の情報処理方法。
（１１）
前記対象物は、移動体の移動時における障害物を含む、
前記（１）〜（１０）のいずれかに記載の情報処理方法。
（１２）
コンピュータを、
素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する自動切り出し部と、
前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行う学習部と、
を備え、
前記自動切り出し部は、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成する、
情報処理装置、
として機能させるためのプログラム。
（１３）
対象物を含む素材画像を撮影する撮影部と、
前記素材画像中から対象物を含む領域を自動で切り出し、自動切り出し画像を生成する自動切り出し部と、
前記自動切り出し画像に基づいて前記対象物の検出に係る学習を行う学習部と、
前記学習部による学習の結果に基づいて、前記対象物の検出を行う検出部と、
を備え、
前記自動切り出し部は、前記素材画像中から前記対象物を含む領域を手動で切り出した手動切り出し画像に基づく学習により生成された自動切り出し器を用いて、前記自動切り出し画像を生成する、
情報処理システム。
【符号の説明】
【０１２８】
１０      手動切り出し装置
２０      自動切り出し装置
２１０    画像供給部
２２０    自動切り出し部
２３０    画像蓄積部
２４０    学習部
３０      検出装置
３１０    撮影部
３２０    検出部
３３０    動作制御部
３４０    動作部
【図１】
2020046858.tif 000003
【図２】
2020046858.tif 000004
【図３】
2020046858.tif 000005
【図４】
2020046858.tif 000006
【図５】
2020046858.tif 000007
【図６】
2020046858.tif 000008
【図７】
2020046858.tif 000009
【図８】
2020046858.tif 000010
【図９】
2020046858.tif 000011
【図１０】
2020046858.tif 000012
【図１１】
2020046858.tif 000013
【図１２】
2020046858.tif 000014
【図１３】
2020046858.tif 000015