(57)【要約】【課題】認識対象物の大きさや形状、または距離や位置などが変化しても、必要な認識精度や認識速度を確保しながら認識処理を行う画像認識システムを提供すること。【解決手段】画像認識システム１０は、画像に含まれる認識対象物までの距離を検出する外部情報検出部１と、認識対象物までの距離を基に画像の縮小後のサイズを求める画像縮小サイズ決定部２と、画像の縮小後のサイズを基に画像を縮小する画像縮小部３と、認識処理する画像のサイズに対応した複数の認識処理部４０を有し、縮小された画像に対して、その画像のサイズに対応した認識処理部により画像に含まれる認識対象物の認識処理を実行する画像認識部４と、を備える。前記認識対象物までの距離に代えて、前記画像のサイズと形状、前記画像の全体画像からの切り出し位置を用いてもよい。【選択図】図２
2018136803.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる認識対象物の認識処理を行う画像認識システムであって、
前記画像に含まれる前記認識対象物までの距離を検出する外部情報検出部と、
前記外部情報検出部で検出した前記認識対象物までの距離を基に、前記画像の縮小後のサイズを求める画像縮小サイズ決定部と、
前記画像縮小サイズ決定部で求めた前記画像の縮小後のサイズを基に、前記画像を縮小する画像縮小部と、
認識処理する画像のサイズに対応した複数の認識処理部を有し、前記画像縮小部で縮小された画像に対して、該画像のサイズに対応した前記認識処理部により前記画像に含まれる前記認識対象物の認識処理を実行する画像認識部と、
を備えることを特徴とする画像認識システム。
【請求項２】
請求項１に記載の画像認識システムであって、
前記外部情報検出部は、前記認識対象物までの距離に加えて、前記画像に含まれる認識対象物の方向を検出し、
前記画像縮小サイズ決定部は、前記外部情報検出部で検出した前記距離と前記方向を基に、前記画像の縮小後のサイズを求めることを特徴とする画像認識システム。
【請求項３】
請求項１に記載の画像認識システムであって、
前記画像は車両に搭載したカメラにより撮影したものであり、
前記外部情報検出部は、前記認識対象物までの距離に加えて、前記車両の速度と前記認識対象物の速度の少なくとも１つを検出し、
前記画像縮小サイズ決定部は、前記外部情報検出部で検出した前記距離と、前記車両の速度と前記認識対象物の速度の少なくとも１つを基に、前記画像の縮小後のサイズを求めることを特徴とする画像認識システム。
【請求項４】
請求項１に記載の画像認識システムであって、
前記画像認識部にて認識処理する前記認識対象物が複数存在するとき、
前記外部情報検出部で検出した各認識対象物までの距離を基に、各認識対象物が含まれる画像の認識処理の優先度を求める認識優先度決定部と、
前記認識優先度決定部が求めた優先度の高い順に、前記画像縮小部で縮小された画像を前記画像認識部に送る認識処理順ソート部と、を備え、
前記画像認識部は、前記認識処理順ソート部から送られた前記縮小された画像に対して、前記優先度の高い順に画像認識処理を実行することを特徴とする画像認識システム。
【請求項５】
請求項１に記載の画像認識システムであって、
前記画像認識部による画像認識の結果を受け、該画像認識の結果に対する信用度を算出する認識結果評価部を備え、
前記認識結果評価部は、算出した前記信用度が閾値よりも低い場合、画像再認識命令を前記画像縮小部に送り、
前記画像縮小部は前記画像再認識命令を受け取った場合、縮小前の前記画像に対し、先に行った縮小後のサイズよりも大きなサイズに前記画像を再度縮小し、
前記画像認識部は、前記画像縮小部にて再度縮小された前記画像に対し再度認識処理を実行することを特徴とする画像認識システム。
【請求項６】
請求項１に記載の画像認識システムであって、
前記外部情報検出部は、前記認識対象物までの距離に加えて、前記画像の総数もしくは前記画像に含まれる認識対象物の総数を検出し、
前記画像縮小サイズ決定部は、前記外部情報検出部で検出した前記距離と、前記画像の総数もしくは前記認識対象物の総数を基に、前記画像の縮小後のサイズを求めることを特徴とする画像認識システム。
【請求項７】
請求項１に記載の画像認識システムであって、
前記外部情報検出部で検出した前記認識対象物までの距離を基に、前記画像の認識処理において、満たすべき認識精度と認識速度を求める要求認識性能決定部を備え、
前記画像縮小サイズ決定部は、前記要求認識性能決定部で求めた前記認識精度と前記認識速度を基に、前記画像の縮小後のサイズを求めることを特徴とする画像認識システム。
【請求項８】
画像に含まれる認識対象物の認識処理を行う画像認識システムであって、
前記画像のサイズと形状を検出する外部情報検出部と、
前記外部情報検出部で検出した前記画像のサイズと形状を基に、前記画像の縮小後のサイズを求める画像縮小サイズ決定部と、
前記画像縮小サイズ決定部で求めた前記画像の縮小後のサイズを基に、前記画像を縮小する画像縮小部と、
認識処理する画像のサイズに対応した複数の認識処理部を有し、前記画像縮小部で縮小された画像に対して、該画像のサイズに対応した前記認識処理部により前記画像に含まれる前記認識対象物の認識処理を実行する画像認識部と、
を備えることを特徴とする画像認識システム。
【請求項９】
請求項８に記載の画像認識システムであって、
前記画像認識部にて認識処理する前記認識対象物が複数存在するとき、
前記外部情報検出部で検出した前記画像のサイズと形状を基に、各認識対象物が含まれる画像の認識処理の優先度を求める認識優先度決定部と、
前記認識優先度決定部が求めた優先度の高い順に、前記画像縮小部で縮小された画像を前記画像認識部に送る認識処理順ソート部と、を備え、
前記画像認識部は、前記認識処理順ソート部から送られた前記縮小された画像に対して、前記優先度の高い順に画像認識処理を実行することを特徴とする画像認識システム。
【請求項１０】
請求項８に記載の画像認識システムであって、
前記画像認識部による画像認識の結果を受け、該画像認識の結果に対する信用度を算出する認識結果評価部を備え、
前記認識結果評価部は、算出した前記信用度が閾値よりも低い場合、画像再認識命令を前記画像縮小部に送り、
前記画像縮小部は前記画像再認識命令を受け取った場合、縮小前の前記画像に対し、先に行った縮小後のサイズよりも大きなサイズに前記画像を再度縮小し、
前記画像認識部は、前記画像縮小部にて再度縮小された前記画像に対し再度認識処理を実行することを特徴とする画像認識システム。
【請求項１１】
請求項８に記載の画像認識システムであって、
前記外部情報検出部は、前記画像のサイズと形状に加えて、前記画像の総数もしくは前記画像に含まれる認識対象物の総数を検出し、
前記画像縮小サイズ決定部は、前記外部情報検出部で検出した前記画像のサイズと形状と、前記画像の総数もしくは前記認識対象物の総数を基に、前記画像の縮小後のサイズを求めることを特徴とする画像認識システム。
【請求項１２】
画像に含まれる認識対象物の認識処理を行う画像認識システムであって、
前記画像は全体画像から前記認識対象物を含むように切り出されたものであるとき、
前記画像の前記全体画像に対する切り出し位置を検出する外部情報検出部と、
前記外部情報検出部で検出した前記切り出し位置を基に、前記画像の縮小後のサイズを求める画像縮小サイズ決定部と、
前記画像縮小サイズ決定部で求めた前記画像の縮小後のサイズを基に、前記画像を縮小する画像縮小部と、
認識処理する画像のサイズに対応した複数の認識処理部を有し、前記画像縮小部で縮小された画像に対して、該画像のサイズに対応した前記認識処理部により前記画像に含まれる前記認識対象物の認識処理を実行する画像認識部と、
を備えることを特徴とする画像認識システム。
【請求項１３】
請求項１２に記載の画像認識システムであって、
前記画像認識部にて認識処理する前記認識対象物が複数存在するとき、
前記外部情報検出部で検出した前記画像の切り出し位置を基に、各認識対象物が含まれる画像の認識処理の優先度を求める認識優先度決定部と、
前記認識優先度決定部が求めた優先度の高い順に、前記画像縮小部で縮小された画像を前記画像認識部に送る認識処理順ソート部と、を備え、
前記画像認識部は、前記認識処理順ソート部から送られた前記縮小された画像に対して、前記優先度の高い順に画像認識処理を実行することを特徴とする画像認識システム。
【請求項１４】
請求項１２に記載の画像認識システムであって、
前記画像認識部による画像認識の結果を受け、該画像認識の結果に対する信用度を算出する認識結果評価部を備え、
前記認識結果評価部は、算出した前記信用度が閾値よりも低い場合、画像再認識命令を前記画像縮小部に送り、
前記画像縮小部は前記画像再認識命令を受け取った場合、縮小前の前記画像に対し、先に行った縮小後のサイズよりも大きなサイズに前記画像を再度縮小し、
前記画像認識部は、前記画像縮小部にて再度縮小された前記画像に対し再度認識処理を実行することを特徴とする画像認識システム。
【請求項１５】
請求項１２に記載の画像認識システムであって、
前記外部情報検出部は、前記画像の切り出し位置に加えて、前記画像の総数もしくは前記画像に含まれる認識対象物の総数を検出し、
前記画像縮小サイズ決定部は、前記外部情報検出部で検出した前記画像の切り出し位置と、前記画像の総数もしくは前記認識対象物の総数を基に、前記画像の縮小後のサイズを求めることを特徴とする画像認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識処理の高速化及び省電力化を実現する画像認識システムに関するものである。
【背景技術】
【０００２】
近年、深層学習などのデータ認識アルゴリズムの進展により、計算機による画像や音声などの認識精度が向上してきた。これに伴い、深層学習を自動運転や機械翻訳などに応用する動きが盛んである。
【０００３】
例えば自動運転では、自動運転車に搭載されたカメラで撮影された動画を、瞬時に認識及び判断して、ハンドルなどの制御系の操作に反映させる必要がある。そのため、自動運転車で撮影した動画データをクラウドに送信し、クラウド上の計算機で認識処理を実行し、その認識結果を再び自動運転車に戻す方法は、速度面及び信頼性面で非現実的である。従って、カメラで撮影された動画の認識処理は、車に搭載した装置上で実行する必要がある。ただし、車に搭載する装置は、電力やスペースの面で制限がある。一方、動画などを高速に認識処理するためには、膨大な演算回路や容量の大きなメモリが必要であるため、限られた電力で高速に認識処理することは難しかった。
【０００４】
特許文献１には、簡単な処理で立体物を識別する立体物認識装置が開示されており、特許文献２には、顔認識におけるデータ転送量を削減する顔認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３４６２９７号公報
【特許文献２】国際公開第２０１０／０４４２１４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
自動運転車の車載システムのように、消費電力が制限された装置や端末上で画像を高速に認識処理するためには、認識の精度や信頼性を保ちつつ、認識処理に必要な演算回数や、データを格納するためのメモリの容量を削減する必要がある。
【０００７】
特許文献１に開示された技術では、ステレオカメラを用いて認識対象の立体物の２次元的な距離画像を作成し、その距離データを予め決められた設定分割数に基づく距離値の代表データに置換し、ニューラルネットワークに入力することにより、高速に認識処理を行うことが記載されている。しかしながら本技術では、画像データそのものではなく距離データに置換した後に認識処理を行うものであり、また認識対象物の大きさや距離に関係なく一律に処理するものであることから、認識対象物の状況によっては認識精度が低下する課題がある。
【０００８】
また、特許文献２に開示された技術は、顔を含む画像を一定のサイズへ正規化処理することで縮小し、データ転送量を削減するものである。しかしながら、認識対象物の大きさや距離などによらず、予め決められた一定サイズに縮小するものである。よって特許文献１の技術と同様に、認識対象物の状況によっては認識精度が低下する課題がある。
【０００９】
本発明の目的は、認識対象物の大きさや形状、または距離や位置などが変化しても、必要な認識精度や認識速度を確保しながら認識処理を行う画像認識システムを提供することである。
【課題を解決するための手段】
【００１０】
本発明はその一例を挙げるならば、画像に含まれる認識対象物の認識処理を行う画像認識システムであって、前記画像に含まれる前記認識対象物までの距離を検出する外部情報検出部と、前記外部情報検出部で検出した前記認識対象物までの距離を基に、前記画像の縮小後のサイズを求める画像縮小サイズ決定部と、前記画像縮小サイズ決定部で求めた前記画像の縮小後のサイズを基に、前記画像を縮小する画像縮小部と、認識処理する画像のサイズに対応した複数の認識処理部を有し、前記画像縮小部で縮小された画像に対して、該画像のサイズに対応した前記認識処理部により前記画像に含まれる前記認識対象物の認識処理を実行する画像認識部と、を備える構成とした。
【発明の効果】
【００１１】
本発明によれば、自動運転車のような電力の限られた装置において、認識対象の画像を最適なサイズに縮小し、また画像サイズごとの認識処理部を持つことで、画像認識に必要な演算回数やメモリの容量を削減し、低電力かつ高速に画像認識を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】自動運転システムの一例を示す構成図である。
【図２】実施例１に係る画像認識システムの構成を示す図である。
【図３】外部情報検出部１から送られる情報の例を示す図である＜ケース１＞。
【図４】画像の元サイズ・形状と縮小サイズの関係の一例を示すグラフである。
【図５】画像の元サイズ・形状と縮小サイズの関係を記述したテーブルである。
【図６】縮小サイズの決定方針を説明する図である。
【図７】画像縮小処理を説明する図である。
【図８】画像認識処理を説明する図である。
【図９】外部情報検出部１から送られる情報の例を示す図である＜ケース２＞。
【図１０】画像の切り出し位置と縮小サイズの関係の一例を示すグラフである。
【図１１】画像の切り出し位置と縮小サイズの関係を記述したテーブルである。
【図１２】縮小サイズの決定方針を説明する図である。
【図１３】外部情報検出部１から送られる情報の例を示す図である＜ケース３＞。
【図１４】物体までの距離と縮小サイズの関係の一例を示す図である。
【図１５】縮小サイズの決定方針を説明する図である。
【図１６】外部情報検出部１から送られる情報の例を示す図である＜ケース４＞。
【図１７】物体までの距離・方向と縮小サイズの関係の一例を示すグラフである。
【図１８】物体までの距離・方向と縮小サイズの関係を記述したテーブルである。
【図１９】外部情報検出部１から送られる情報の例を示す図である＜ケース５＞。
【図２０】物体と衝突するまでの時間と縮小サイズの関係の一例を示すグラフである。
【図２１】物体の数が異なる画像の例を示す図である＜ケース６＞。
【図２２】物体の数を考慮した縮小サイズの関係の一例を示すグラフである。
【図２３】実施例２に係る画像認識システムの構成を示す図である。
【図２４】要求認識精度及び要求認識速度の決定方法を説明する図である。
【図２５】画像の縮小サイズの決定方法を説明する図である。
【図２６】実施例３に係る画像認識システムの構成を示す図である。
【図２７】縮小サイズ及び優先度決定部６の内部構成例を示す図である。
【図２８】認識処理の優先度の決定方法を説明する図である。
【図２９】ソート処理の一例を示す図である。
【図３０】実施例４に係る画像認識システムの構成を示す図である。
【図３１】再認識処理の一連の動作を示すフローチャートである。
【図３２】認識結果に対する信用度の評価方法を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の画像認識システムの実施の形態を、一例として自動運転システムへ適用する場合について説明する。すなわち本発明の画像認識システムにより、自動運転車に搭載したカメラ等で撮影した車外画像中の物体が何であるかを認識し、その認識結果を利用して自動運転車の各種操作を行うものである。以下の説明では、本発明の画像認識システムによる認識対象とすべきものを「認識対象物」あるいは単に「物体」と呼ぶ。
【００１４】
図１は、自動運転システムの一例を示す構成図である。自動運転システム１００は、車速計１１（speedometer）、ステレオカメラ１２（stereo camera）、レーダ１３（radar）、ＧＰＳシステム１４（GPS）、地図取得システム１５（map）、道路状況取得システム１６（road condition）、物体認識システム１０（object recognition）、経路決定システム１７（routing determination）、速度制御システム１８（speed control）、アクセル１９（accelerator）、ブレーキ２０（brake）、操舵角制御システム２１（steering control）、ハンドル２２（steering wheel）を備えて構成される。このうち物体認識システム１０には、本発明の画像認識システム（image recognition）が適用される。
【００１５】
車速計１１は、車の現在の速度（velocity）を物体認識システム１０及び操舵角制御システム２１に送る。ステレオカメラ１２は、撮影した動画（movie）と、視差から計算した物体までの距離（distance）や方向（direction）を物体認識システム１０に送る。レーダ１３は、物体までの距離や方向を物体認識システム１０に送る。ＧＰＳシステム１４は、現在の車の位置情報（location）を物体認識システム１０及び経路決定システム１７に送る。地図取得システム１５は、周辺の地図情報（道路や建物、店など）を経路決定システム１７に送る。道路状況取得システム１６は、道路の混雑状況や工事で一時通行止めなどの情報を、経路決定システム１７に送る。経路決定システム１７は、これらの情報から車が進むべき最適な経路を決定し、その経路（route）を操舵角制御システム２１に送る。
【００１６】
物体認識システム（画像認識システム）１０は、送られた情報を基に、撮影した動画に含まれる物体が何であるか（車、人、信号など）を認識し、その認識結果（recognition result）を速度制御システム１８及び操舵角制御システム２１に送る。速度制御システム１８は、送られた情報を基にアクセル１９及びブレーキ２０を制御する。操舵角制御システム２１は、送られた情報を基にハンドル２２の舵角を制御する。
【００１７】
このように、自動運転システム１００における物体認識システム（画像認識システム）１０は、動画、物体までの距離や方向、位置情報、車速等を入力すると、物体が何であるかを認識し、その認識結果を出力する。以下、画像認識システムの構成と動作について、実施例１〜実施例４に分けて詳細に説明する。
【実施例１】
【００１８】
図２は、実施例１に係る画像認識システムの構成を示す図である。画像認識システム１０は、外部情報検出部１（external info）と、縮小サイズ決定部２（size determination）と、画像縮小部３（reduction）と、画像認識部４（recognition）を備える。また、画像認識部４（recognition）は、複数の認識処理部４０（１）〜４０（Ｎ）を有し、それぞれの認識処理部４０は処理する画像のサイズ（ピクセル値）が異なっている。図２に示す例では、認識処理部４０（１）は256x256ピクセルのサイズの画像を処理し、認識処理部４０（２）は128x128ピクセルのサイズの画像を処理する。認識処理部４０で処理する画像のサイズが大きくなれば、その分認識精度が高くなるが、逆に認識処理に要する時間は増加する。よって、認識精度と認識時間に応じて適切に画像サイズを選択することが重要になる。上記の画像サイズはあくまで一例であり、具体的な画像のサイズは適宜設定すればよい。
【００１９】
画像認識システム１０内の各部の動作とデータの流れを説明する。Data Aは、画像認識システム１０が外部から取得する情報である。図１の自動運転システム１００において、Data Aには、ステレオカメラ１２から取得する動画とともに、ステレオカメラ１２の視差から算出されるか、もしくはレーダ１３から取得される物体（認識対象物）までの距離や方向、速度計１１が計測した車速、ＧＰＳシステム１４から取得した位置情報などが含まれる。
【００２０】
外部情報検出部１は、Data AからData Bを抽出する。Data Bには、動画から抽出した物体ごとの切り出し画像のほか、切り出し画像のサイズ（ピクセル値）、形状、切り出し位置や、切り出し画像に含まれる物体との距離、方向などが含まれる。さらにData Bには、車速や、動画の１フレームに含まれる物体の数や、車両の現在位置を示す地理情報などが含まれる。
【００２１】
縮小サイズ決定部２は、Data Bを基に縮小後の画像サイズ（以下、縮小サイズとも呼ぶ）を決定し、Data Cとして出力する。Data Cには、縮小前の画像データも含まれる。ここに縮小サイズ決定部２では、切り出し画像のサイズ、形状などの様々なパラメータを基に、最適な縮小サイズを決定する。具体的な縮小サイズの決定法については、様々なケースについて以下に説明する。
【００２２】
画像縮小部３は、縮小サイズ決定部２にて決定された縮小後の画像サイズとなるよう、Data Cを基に画像データの縮小処理を行い、縮小された画像データをData Dとして出力する。画像縮小部３の詳細な動作説明は図７で後述する。
【００２３】
画像認識部４は、Data D（縮小後の画像データ）をそのサイズに対応した認識処理部４０（１）〜４０（Ｎ）を用いて画像に含まれる物体の認識処理を行う。認識の結果はData Eとして出力する。認識結果（Data E）は、図１の速度制御システム１８や操舵角制御システム２１に送られ、アクセル、ブレーキ、ハンドル操作などの制御システムの判断（judgement）に用いられる。画像認識部４の詳細な動作説明は図８で後述する。
【００２４】
まず縮小サイズ決定部２の詳細な動作説明を行う。画像の縮小サイズを決定するとき、Data Bとして上記した全ての情報（サイズ、距離など）を使う必要はなく、状況に応じて一部の情報のみを用いればよい。従って、縮小サイズを決定するときに用いる情報（以下、縮小決定パラメータ）を＜ケース１＞〜＜ケース６＞に分けて説明する。
【００２５】
＜ケース１＞縮小決定パラメータが画像サイズや形状の場合
ケース１では、縮小サイズ決定部２が、切り出し画像のサイズや形状を基に、画像の縮小サイズを決定する場合を説明する。
【００２６】
図３は、外部情報検出部１から縮小サイズ決定部２に送られる情報（Data B）の例を示す図である。（ａ）は、外部情報検出部１がステレオカメラ１２で取得した動画から、これから認識処理する１フレームを抜き出し、そのフレーム画像に含まれる物体（Object）を切り出した状態を示す。切り出し後の物体を含む画像を「切り出し画像」と呼ぶ。Object 1では「トラック」を、Object 2では「信号機」を、Object 3では「歩行者」を切り出した例であり、いずれも運転制御に関連する物体である。図示しているのは例示の都合上３個だけだが、実際には、運転制御に関連する全ての物体（認識対象物）に対して切り出し画像を生成する。
【００２７】
（ｂ）は、切り出し画像に対する付加データであり、物体毎に切り出し画像のサイズ（original size）と、切り出し画像の形状として縦横比（ratio）を含んでいる。切り出し画像のサイズと切り出し画像の形状は、物体の大きさやカメラからの距離などにより様々に変化する。これらの情報（Data B）は縮小サイズ決定部２に送られる。
【００２８】
図４は、縮小サイズ決定部２による縮小サイズの決定例を示すグラフである。図４（ａ）は、切り出し画像の元のサイズと縮小後のサイズの関係を示している。横軸は切り出し画像の元サイズ（Original size）、縦軸は縮小後のサイズ（Reduced size）であり、基本的には切り出し画像の元サイズが大きくなるほど縮小サイズを大きくする。ただし、縮小率は一定ではなく、元サイズが小さい領域または元サイズが大きい領域では、非線形曲線（Ｓ字カーブ）としている。例えば（ａ−１）では、元サイズが3x105ピクセルの画像が、0.2x105ピクセルの画像に縮小され、縮小率は1/15となっている。
【００２９】
縮小サイズの決定は、画像の元サイズだけでなく画像の形状にも依存させる。図４（ｂ）に示すように、切り出し画像の形状が（ｂ−１）の縦長（縦横比＝２）であれば物体が「人」、（ｂ−２）の正方形（縦横比＝１）に近いものであれば「車」、（ｂ−３）の横長（縦横比＝０．５）であれば「交通信号」である可能性が高い。物体の違いにより要求される認識性能（認識精度と認識速度）が異なるので、画像の元サイズが同じであっても形状に応じて画像の縮小率を変えるようにしている。
【００３０】
例示する（ａ−１）〜（ａ−３）の縮小サイズ決定曲線は、切り出し画像の形状がそれぞれ（ｂ−１）〜（ｂ−３）の場合について示している。縮小サイズ決定部２では、外部情報検出部１から送られた切り出し画像の形状（縦横比）が（ｂ−１）〜（ｂ−３）のどれに近いかを判定し、対応する（ａ−１）〜（ａ−３）の縮小サイズ決定曲線を用いて縮小サイズを決定する。
【００３１】
このように縮小サイズ決定部２による縮小サイズの決定は、図４（ａ）に示した縮小サイズ決定曲線を用いて計算によって求めることができる。ただし、切り出し画像ごとに縮小サイズを計算するので処理時間が長くなる場合がある。そこで実用的には、予め画像サイズや形状をパラメータとして縮小サイズの値を記述したテーブルを用意し、これを参照して決定する方式が有効となる。
【００３２】
図５は、画像の元サイズ・形状と縮小後の画像サイズの関係を記述したテーブルの例である。このテーブルでは、横方向（行方向）に切り出し画像の元サイズを区分し、縦方向（列方向）に切り出し画像の形状（縦横比）を区分し、図４で求めた両者の組み合わせに適した縮小後の画像サイズを記述している。縮小サイズ決定部２は、外部情報検出部１から送られた切り出し画像のパラメータ（サイズと形状）を基に、テーブル内の対応する位置を参照することで、縮小後の画像サイズを容易にかつ迅速に求めることができる。
【００３３】
図４や図５に示した画像の元サイズ・形状と最適な縮小サイズの関係は、画像認識部４にて学習する際に用いる膨大な学習用データの統計的な情報や、安全性、確率論などを考慮して事前に決定しておく。従って、縮小サイズ決定部２が縮小後の画像サイズを決定する処理は、基本的に図５のテーブル参照すること、もしくは図４の単純な計算を行うことのみで可能であり、後述する画像認識部４による画像認識処理に比べ、圧倒的に処理負荷が小さい。このため、本実施例の縮小サイズ決定部２による処理が画像認識システム全体の処理時間や回路規模などに与える影響は殆んど無視できる。
【００３４】
図４や図５に示した元サイズと縮小サイズの関係は一例であり、要求される認識性能の優先度が異なれば、これらの関係が逆転することもある。一般に、縮小後の画像サイズが大きいほど画像認識の精度は向上するが、画像認識に要する時間は長くなる（認識速度が低下する）。また、切り出し画像の元サイズが大きければ、物体（例えば前方車）との距離が近く認識速度を上げたほうが良い。これらを考慮すると、縮小サイズ決定曲線は異なるパターンとなる。
【００３５】
図６は、画像の元サイズに対する縮小サイズの決定方針を説明する図である。要求される認識性能、すなわち認識精度と認識速度に対する優先度に応じて、３通りの決定方針（ａ）〜（ｃ）が存在する。
【００３６】
（ａ）は認識精度を優先する場合である（Accuracy priority）。この場合は、切り出し画像の元サイズが大きくなるほど、縮小後のサイズが大きくなるような関係とする（図４と同様）。つまり、物体との距離が近い（元サイズが大きい）ものほど、認識精度を上げために縮小サイズを大きくしている。
【００３７】
逆に（ｂ）は認識速度を優先する場合である（Speed priority）。この場合は、切り出し画像の元サイズが大きくなるほど、縮小後のサイズが小さくなるような関係とする（図４と逆の関係）。つまり、物体との距離が近い（元サイズが大きい）ものほど、認識速度を上げるために縮小サイズを小さくしている。
【００３８】
さらに（ｃ）は（ａ）と（ｂ）の折衷案であり（Compromise plan）、元サイズが大きい領域では（ａ）のように認識精度を優先させ、元サイズが小さい領域では（ｂ）のように認識速度を優先させるものである。
【００３９】
上記の決定方針（ａ）〜（ｃ）のいずれを採用するかは、画像認識システムの適用対象、すなわち物体の種類や運転状況からいずれの認識性能（認識精度、認識速度）が優先されるかを考慮して適宜選択すべきである。いずれの場合でも、切り出し画像の元サイズ・形状と縮小後の画像サイズとの間には所定の関係を有しており、この関係に基づいて縮小後の画像サイズが決定される。
【００４０】
図７は、画像縮小部３による画像縮小処理を説明する図である。画像縮小部３は、縮小サイズ決定部２が決定した縮小後の画像サイズに従って、切り出し画像に対し縮小処理を行う。ここでは代表的な縮小方法を説明する。
【００４１】
（ａ）は、画像縮小処理を複数段階に分けて行う例を示す。初め256x256ピクセルだった画像を、第１の縮小処理３１（pooling）でまず128x128ピクセルに縮小した後、第２の縮小処理３２（pooling）で64x64ピクセルに縮小するものである。この場合、それぞれの縮小処理にて画像サイズを1/2×1/2に縮小している。
【００４２】
（ｂ）は、平均値置換（Average pooling）による画像縮小処理を示す。左は縮小前の画像データ（4x4ピクセル）を、右は縮小後の画像データ（2x2ピクセル）を示す。箱の中に書かれた数字は、各ピクセルの値（画素値）を表している。実際は、カラー画像の場合、１ピクセルあたり、例えば8bitの数値が３個（３色分）含まれているが、ここでは簡単のため、そのうち１色分の数値を示す。平均値置換では、左の縮小前の画像データのうち、例えば黒枠３３で示した2x2ピクセルの値の平均値（3+7+2+4）/4=4を算出し、縮小後の画像データの１個のピクセル３４の値として置き換えることで、画像サイズを1/2×1/2に縮小している。
【００４３】
（ｃ）は、最大値置換（Max pooling）による画像縮小処理を示す。左の縮小前の画像データのうち、黒枠３３で示した2x2ピクセルの値の最大値である「7」を求め、縮小後の画像データの１個のピクセル３５の値として置き換えることで、画像サイズを1/2×1/2に縮小している。
【００４４】
（ｄ）も平均値置換（Max pooling）によるものであるが、（ａ）に示した２段階の縮小処理を一度に実行するものである。そのため、黒枠３６で示した4x4ピクセルの値の平均値（=3）を計算し、縮小後の画像データの１個のピクセル３７の値として置き換えることで、画像サイズを一度に1/4×1/4に縮小している。
【００４５】
（ａ）のように２段階で縮小する方法と、（ｄ）のように１段階で縮小する方法を比較すると、それぞれメリットとデメリットが存在する。２段階で縮小する方法は、画像を128x128ピクセルに縮小する処理３１と、64x64ピクセルに縮小する処理３２には、同一の縮小回路を共通して使えるため、実装回路規模を抑えることができる。しかし、１段階で縮小する場合に比べて演算回数が増えてしまう。一方、１段階で縮小する方法は、２段階で縮小する場合に比べて演算回数を減らせるので、処理の高速化を図ることができる。しかし、縮小後のサイズ毎に縮小回路を設ける必要があり、実装回路規模が大きくなってしまう。
【００４６】
なお、図７で説明した画像縮小処理では、ピクセル値に対する積和演算の回数は、概ね画像に含まれるピクセル数に等しく、画像１枚あたり数万〜数十万回程度である。一方、後述する画像認識処理は、画像を縮小するサイズにもよるが、１枚の画像につき、積和演算が数億回程度発生する。そのため、本実施例で行う画像縮小処理が全体の処理時間や回路規模などに与える影響は、非常に小さく無視できるレベルである。
【００４７】
図８は、画像認識部４による画像認識処理を説明する図であり、（ａ）では入出力データの流れを、（ｂ）では出力データの一例を示す。
【００４８】
（ａ）に示すように、画像認識部４には、縮小された画像データ（image）（Data D）が入力する。前記図２で述べたように、画像認識部４は入力する画像サイズに応じて複数の認識処理部４０（１）〜４０（Ｎ）を有しており、入力する画像サイズに応じてどの認識処理部で処理するかを選択する。これにより、画像サイズの大きさに適した処理回路を用いて、最も効率良く処理することができる。いずれかの認識処理部４０（１）〜４０（Ｎ）で認識処理がなされると、認識処理の結果（result）（Data E）が出力される。
【００４９】
（ｂ）は認識処理の結果の一例を示す。例えば、画像認識部４（認識処理部４０）に畳み込みニューラルネットワークを用いた場合、認識対象の画像に、それぞれの分類（車、歩行者、信号など）がどのくらいの確率で存在するかが、結果として出力される。通常は、これらのうち最も高い確率を持つ分類が認識結果として採用され、（ｂ）の例では、最も確率が高い「歩行者」（Pedestrian）と判定される。画像認識部４（認識処理部４０）に用いる認識アルゴリズムは、画像サイズを縮小することによって認識処理速度が高速化されるものであればよく、畳み込みニューラルネットワークに限らない。例えば、HOG（Histogram of Oriented Gradient）、SIFT（Scale Invariant Feature Transform）、SURF（Speed-Up Robust Features）などの画像特徴量を抽出して、サポートベクターマシンなどで分類する手法でも良い。
【００５０】
以上、画像認識システム１０の一連の動作を説明したが、縮小サイズ決定部２が縮小サイズを決定するために、画像サイズや形状以外の様々な縮小決定パラメータを使用することができる。以下では、他の縮小決定パラメータを用いる場合を＜ケース２＞〜＜ケース６＞に分けて説明する。
【００５１】
＜ケース２＞縮小決定パラメータが画像の切り出し位置の場合
ケース２では、縮小サイズ決定部２が、切り出し画像の切り出し位置を基に、画像の縮小サイズを決定する場合を説明する。
【００５２】
図９は、外部情報検出部１から縮小サイズ決定部２に送られる情報（Data B）の例を示す図である。（ａ）は、外部情報検出部１から送られるフレーム画像（全体画像）の例を示すが、図３（ａ）と同様の切り出し画像（Object-1, 2, 3）が含まれている。ここで、フレーム画像（全体画像）における各切り出し画像の位置を表すため、基準位置（例えばフレーム画像下辺の中央位置（Center））から切り出し画像までの相対ベクトル（白抜きの矢印）を用いる。
【００５３】
（ｂ）は、切り出し画像に対する付加データであり、それぞれの切り出し画像の切り出し位置（Relative position）を記述している。切り出し位置とは、（ａ）に示すように基準位置から各切り出し画像までの相対ベクトルの値（水平成分ｘ、垂直成分ｙ）である。例えばObject 1であれば、基準位置から水平方向に150ピクセル、垂直方向に200ピクセル分だけ離れた位置で物体（トラック）を含む画像を切り出していることを表わしている。切り出し位置の表現の方法はあくまで一例であり、フレーム画像に対する切り出し画像の位置（水平方向と垂直方向の座標）が分かれば、この例に限らない。
【００５４】
図１０は、縮小サイズ決定部２による縮小サイズの決定例を示すグラフである。（ａ）は、縮小サイズ決定曲線を示しており、横軸は切り出し位置の水平方向の座標（Horizontal position）ｘであり、縦軸は縮小後の画像サイズ（Reduced size）である。（ｂ）は、フレーム画像の例と画像内の座標（ｘ、ｙ）を示している。縮小後の画像サイズは、切り出し位置の垂直方向の座標（Vertical position）ｙにも依存させて、垂直座標ｙを変えたときの縮小サイズ決定曲線を（ａ−１）〜（ａ−３）に示している。
【００５５】
縮小サイズの水平方向位置ｘに対する依存性は、フレーム画像の中心（ｘ＝０）に近いほど縮小サイズを大きくする。これは、画像中央には自車両が走行する路面や前方の車両などが含まれるので、これらの認識精度を高くするため縮小サイズを大きくしている。また、縮小サイズの垂直方向位置ｙに対する依存性は、フレーム画像の下辺（ｙ＝０）に近いほど縮小サイズを大きくする。例えばｙ＝1×102ピクセル、ｙ＝2×102ピクセルのようにフレーム画像の下部は、自車両からの距離が近い路面上の領域となるので、認識精度を高くするため、（ａ−２）（ａ−３）のように縮小サイズを大きくしている。
【００５６】
これらの関係を用いれば、例えば切り出し位置の座標がｘ＝-150、ｙ＝200ピクセルの場合（図９のObject 1）には、（ａ−２）に示す縮小サイズ決定曲線を用いて、矢印で示すように縮小サイズは0.4×105ピクセルと求められる。ただし、切り出し画像ごとに縮小サイズを計算するのは処理時間が長くなるので、実用的には、予め切り出し位置をパラメータとして縮小サイズの値を記述したテーブルを用意し、これを参照する方式も可能である。
【００５７】
図１１は、切り出し画像の位置と縮小後の画像サイズの関係を記述したテーブルの例である。このテーブルでは、横方向に切り出し画像の水平方向の位置ｘ、縦方向に切り出し画像の垂直方向の位置ｙを区分し、図１０で求めた切り出し位置（ｘ、ｙ）に適した縮小後の画像サイズを記述している。縮小サイズ決定部２は、外部情報検出部１から送られた切り出し画像の位置情報を基に、テーブル内の対応する位置を参照し、縮小後の画像サイズを容易にかつ迅速に求めることができる。
【００５８】
図１２は、切り出し位置に対する縮小サイズの決定方針を説明する図である。要求される認識性能に対する優先度に応じて２通りの決定方針（ａ）（ｂ）がある。横軸は切り出し画像の水平方向の座標ｘであり、縦軸は縮小後の画像サイズである。
【００５９】
（ａ）では、切り出し位置ｘが中央に近づくほど、縮小サイズが大きくなるような関係とする（図１０と同様）。これにより、道路中央部の認識精度を上げることを優先させることができるが（Accuracy priority）、その分認識処理時間は長くなる。
【００６０】
逆に（ｂ）では、切り出し位置ｘが中央に近づくほど、縮小サイズが小さくなるような関係とする。これにより、道路中央部の認識速度を上げることを優先させることができるが（Speed priority）、その分認識精度は低下する。
【００６１】
上記の決定方針（ａ）（ｂ）のいずれを採用するかは、画像認識システムの適用対象、すなわち物体の種類や運転状況からいずれの認識性能（認識精度、認識速度）が優先されるかを考慮して適宜選択すべきである。
【００６２】
＜ケース３＞縮小決定パラメータが物体までの距離の場合
ケース３では、縮小サイズ決定部２が、自車両から切り出し画像内の物体（認識対象物）までの距離を基に、画像の縮小サイズを決定する場合を説明する。
【００６３】
図１３は、外部情報検出部１から縮小サイズ決定部２に送られる情報（Data B）の例を示す図である。（ａ）は、外部情報検出部１から送られるフレーム画像の例を示すが、図３（ａ）または図９（ａ）と同様の切り出し画像（Object-1, 2, 3）が含まれている。
【００６４】
（ｂ）は、切り出し画像に対する付加データであり、自車両から切り出し画像内の物体までの距離ｄ（Distance）を示している。車と物体との距離ｄは、ステレオカメラ１２の視差から算出してもよいし、車載のレーダ１３から取得してもよい。
【００６５】
図１４は、縮小サイズ決定部２による縮小サイズの決定例を説明する図である。（ａ）は、縮小サイズ決定曲線を示しており、横軸は車と物体の距離ｄ（Distance）であり、縦軸は縮小後の画像のサイズ（Reduced size）である。この曲線に示すように、物体までの距離ｄが小さいほど認識精度を上げるために縮小サイズを大きくしている。例えば物体までの距離ｄ＝１４ｍの場合（図１３のObject 3）については、矢印で示すように縮小サイズは0.35×105ピクセルと求められる。
【００６６】
（ｂ）は、物体までの距離と縮小後の画像サイズの関係を記述したテーブルの例である。テーブルでは距離を区分し、（ａ）から求めた縮小後の画像サイズを記述している。縮小サイズ決定部２は、外部情報検出部１から送られた車から物体までの距離の情報を基に、テーブル内の対応する位置を参照し、縮小後の画像サイズを容易にかつ迅速に求めることができる。
【００６７】
図１５は、物体までの距離に対する縮小サイズの決定方針を説明する図である。要求される認識性能に対する優先度に応じて２通りの決定方針（ａ）（ｂ）がある。横軸は物体までの距離ｄであり、縦軸は縮小後の画像サイズである。
【００６８】
（ａ）では、物体までの距離が小さいものほど、縮小後のサイズが大きくなるような関係とする（図１４と同様）。これにより、車からの距離が小さい物体について認識精度を上げることができる（Accuracy priority）。
【００６９】
逆に（ｂ）では、物体までの距離が小さいものほど、縮小後のサイズが小さくなるような関係とする。これにより、車からの距離が小さい物体について認識速度を上げることができる（Accuracy priority）。
【００７０】
＜ケース４＞縮小決定パラメータが物体までの距離と方向の場合
ケース４では前記ケース３の変形として、物体（認識対象物）までの距離に加えて物体が存在する方向を基に、画像の縮小サイズを決定する場合を説明する。
【００７１】
図１６は、外部情報検出部１から縮小サイズ決定部２に送られる情報（Data B）の例を示す図である。外部情報検出部１から送られるフレーム画像は図１３（ａ）と同様である。（ａ）は切り出し画像に対する付加データであり、自車両から切り出し画像内の物体（Object 1〜3）までの距離ｄ（Distance）とともに、物体の方向（Direction）を記述している。物体までの距離及び方向は、ステレオカメラ１２の視差から算出してもよいし、車載のレーダ１３から取得してもよい。
【００７２】
（ｂ）と（ｃ）は、自車両から物体の方向の求め方の一例を説明する図であるが、立体的な方向を定義するため２つの角度φ、θで表現している。まず（ｂ）に示すように、車の前方中央（Center）を始点として、車の進行方向のベクトルＶｍ（Direction of movement）を定義する。次に（ｃ）に示すように、車の前方中央（Center）と物体（Object）とを結ぶベクトルＶを定める。そして、車の進行方向のベクトルＶｍと垂直に交わる平面Ｓを定め、車の前方中央と物体とを結ぶベクトルＶの、平面Ｓへの射影ベクトルＶ’を求める。この射影ベクトルＶ’と、平面Ｓ内に予め定めた基準の直線Ｌとの角度をφとする。また、車の前方中央と物体とを結ぶベクトルＶと車の進行方向のベクトルＶｍのなす角をθとする。例えば基準の直線Ｌが車の前方中央（Center）から上方向に引いたものであれば、角度φは物体が進行方向から左右方向へどれだけ傾いているかを示し、角度θは進行方向から立体角としてどれだけ傾いているかを示すものとなる。このようにφとθを求めれば、車に対する物体の方向を一意に定めることができる。
【００７３】
以上の例では、車と物体との距離と方向を、いわゆる極座標のように表現したが、車と物体との距離と方向を一意に決められる表現であれば、上記の例に限らない。例えば、直接的に車の基準点からの３次元座標（高さ、横、奥行き）を用いて、物体の距離と方向を表現してもよい。
【００７４】
図１７は、縮小サイズ決定部２による縮小サイズの決定例を示すグラフである。（ａ）〜（ｃ）は、車と物体との方向（φ，θ）が、（0°, 0°）、（10°, 0°）、（90°, 90°）の場合における縮小サイズ決定曲線を示しており、横軸は車と物体の距離ｄ（Distance）、縦軸は縮小後の画像のサイズ（Reduced size）である。このように縮小サイズは、距離ｄだけでなく車と物体との方向（φ，θ）にも依存させている。その理由は、例えば（ａ）のように、物体が車の進行方向の延長線上にあれば、このまま車が進むと物体に衝突する可能性が高い。一方（ｃ）のように、物体が車の進行方向と垂直方向にあれば、このまま車が進んでも物体に衝突する可能性は低い。よって、車と物体との距離ｄが同じであっても、方向によって要求される認識精度が異なり、縮小後の画像のサイズを変えるようにしている。
【００７５】
図１８は、物体までの距離及び方向と縮小後の画像サイズの関係を記述したテーブルの例である。この場合には３個のパラメータ（距離、φ、θ）が存在するので、テーブルを２段階で参照する構成とした。（ａ）は、第１段階で参照するテーブル（1st table）の例で、横方向に角度φの値を、縦方向に角度θの値を区分し、該当する位置に第２段階で参照するテーブル（2nd table）のＩＤ番号（Table ID）を記述している。縮小サイズ決定部２は、外部情報検出部１から送られた物体の方向（φ、θ）の情報を基に、第２段階で参照するテーブルのＩＤ番号を求める。
【００７６】
（ｂ）は第２段階で参照するテーブル（2nd table）の例である。例えば、第１段階でφ＝0°〜10°、θ＝0°〜10°に該当する場合は、ＩＤ＝９のテーブルを参照する。第２段階のテーブルには、図１７の縮小サイズ決定曲線に基づき、物体までの距離ｄを区分して縮小サイズの値が記述されている。縮小サイズ決定部２は、外部情報検出部１から送られた物体までの距離ｄの情報を基に、テーブル内の対応する位置を参照し、縮小後の画像のサイズを容易に求めることができる。
【００７７】
図１８ではテーブルを２段階で参照する構成としたが、テーブルを参照するのはいずれか一方の段階のみとし、他方については図１７の縮小サイズ決定曲線に基づく計算法を組み合わせてもよい。
【００７８】
＜ケース５＞縮小決定パラメータが物体と衝突するまでの時間の場合＞
ケース５では前記ケース３の変形として、物体（認識対象物）までの距離に加えて自車両の速度や物体の速度を基に、言い換えれば、自車両が物体と衝突するまでの時間を基に、画像の縮小サイズを決定する場合を説明する。
【００７９】
図１９は、外部情報検出部１から縮小サイズ決定部２に送られる情報（Data B）の例を示す図である。（ａ）は切り出し画像に対する付加データであり、それぞれの物体（Object 1〜3）までの距離ｄ（Distance）に加えて、このまま車や物体が進んだ場合に両者が衝突してしまうまでの時間Ｔｃ（Time to collide）を記述している。そのため外部情報検出部１では、車から物体までの距離ｄと車の速度や物体の速度をもとに、衝突するまでの時間Ｔｃを算出する。車や物体の速度は、車であれば車載の速度計１１から取得し、物体であればステレオカメラ１２で撮影した動画データや車載のレーダ１３から取得した距離などの情報を基に算出することができる。なお、外部情報検出部１から縮小サイズ決定部２に送る付加データは車や物体の速度までとし、車と物体が衝突するまでの時間Ｔｃは、縮小サイズ決定部２において算出するようにしてもよい。
【００８０】
車と物体とが衝突するまでの時間Ｔｃを算出するにあたり、（ｂ）のように物体（図では歩行者）がほぼ静止している場合は、車の速度のみを考慮すればよい。（ｃ）のように物体（図では自転車）が走行中の場合は、両者の速度を考慮してその相対速度から算出することでより正確になる。
【００８１】
図２０は、縮小サイズ決定部２による縮小サイズの決定例を示すグラフである。横軸は物体との衝突までの時間Ｔｃを、縦軸は縮小後の画像のサイズ（Reduced size）である。縮小サイズの決定方針として（ａ）（ｂ）の２通りがある。
【００８２】
（ａ）は認識精度を優先する場合であり（Accuracy priority）、物体との衝突までの時間Ｔｃが短いものほど、縮小サイズを大きくしている。逆に（ｂ）は認識速度を優先する場合であり（Speed priority）、物体との衝突までの時間Ｔｃが短いものほど、縮小サイズを小さくして認識処理時間を短くしている。
【００８３】
＜ケース６＞縮小決定パラメータが物体の数の場合＞
ケース６では前記したケース１（切り出し画像の元サイズ）、ケース２（画像の切り出し位置）、ケース３（物体までの距離）の変形として、さらに物体（認識対象物）の数を考慮して画像の縮小サイズを決定する場合を説明する。
【００８４】
図２１は、外部情報検出部１がステレオカメラ１２で取得した動画から、これから認識処理する１フレームを抜き出し、そのフレーム画像に含まれる物体（Object）を切り出した状態（切り出し画像）を示す。
【００８５】
（ａ）は場所が繁華街の例であり、（ｂ）は場所が高速道路の例を示している。両者を比較すると、枠で示された物体の数Ｎ（Object number）は、（ａ）の繁華街では多く、（ｂ）の高速道路では少ない。繁華街では人や車が多く、信号機も一定距離間隔で存在する。一方高速道路では、人や信号機も原則として無く、道路の白線とまばらな車以外に物体は存在しない。このように物体の数Ｎが異なる場合、１フレーム当たり、つまり単位時間あたりに認識しなければならない物体の数が変わるため、１個の切り出し画像当たりの認識時間、すなわち最適な縮小サイズも変わってくる。
【００８６】
図２２は、縮小サイズ決定部２による縮小サイズの決定例を示すグラフ図である。縮小サイズ決定部２は、外部情報検出部１から送られるData Bから、１フレームに含まれる物体の数Ｎ、あるいは物体が含まれる切り出し画像の数Ｎを知ることができる。そして物体の数Ｎを考慮して縮小サイズを決定する。（ａ−１）、（ａ−２）は前記ケース１の場合の縮小サイズ決定曲線で、画像の元サイズを横軸に、認識精度優先の場合（ａ−１）と認識速度優先の場合（ａ−２）について示す。（ｂ−１）、（ｂ−２）は前記ケース２の場合で、画像の切り出し位置（水平方向位置ｘ）を横軸に、認識精度優先の場合（ｂ−１）と認識速度優先の場合（ｂ−２）について示す。（ｃ−１）、（ｃ−２）は前記ケース３の場合で、物体までの距離ｄを横軸に、認識精度優先の場合（ｃ−１）と認識速度優先の場合（ｃ−２）について示す。
【００８７】
いずれの縮小サイズ決定曲線においても、物体が多い場合（N=large）には、物体が少ない場合（N=small）に比べて、横軸の値（画像の元サイズや画像の切り出し位置ｘや物体までの距離ｄ）が同じであっても、縮小後の画像のサイズをより小さくしている（曲線が下方へシフト）。これは、物体が多い場合には１個当たりの認識処理時間を短縮させて、全体の認識処理を所定時間内に完了させるためである。物体が多いか少ないかの閾値はシステムの認識処理能力に応じて適宜設定すればよく、また物体の数を３段階以上に区分してもよい。
【００８８】
また、図２１で説明したように、物体が多いか少ないかは走行場所（繁華街か高速道路かなど）と関連しているので、物体の数Ｎを用いて判断する代わりに、外部情報検出部１から送られる地理情報から判断するようにしてもよい。
【００８９】
実施例１によれば、画像の認識を行う際、認識対象となる画像の大きさや形状、画像切り出しの位置や物体までの距離などから、認識対象の画像を最適なサイズに縮小し、また画像サイズごとの認識処理部を持つことで、画像認識に必要な演算回数やメモリの容量を削減し、低電力かつ高速に認識を行うことができる。
【００９０】
上記の説明では、縮小決定パラメータとして様々な付加データを用いる場合（ケース１〜ケース６）について記載したが、自動運転システムに適用する場合には、運転状況に合わせて最適なパラメータ（サイズ変換テーブル）を選択あるいは組み合わせてもよい。例えば、車両走行場所、車速、周囲環境（明るさ）などの条件から、最適の縮小サイズ決定曲線を自動的に選択するようにすれば、より効率の良い認識処理を行うことが可能となる。
【実施例２】
【００９１】
実施例２では、認識対象である切り出し画像の付加データからその画像の要求認識精度及び要求認識速度を決定し、これらの要求に適した画像サイズに画像を縮小するものである。
【００９２】
図２３は、実施例２に係る画像認識システムの構成を示す図である。画像認識システム１０は、実施例１（図２）の構成を基本とし、さらに、外部情報検出部１と縮小サイズ決定部２の間に要求認識性能決定部５（performance determination）を追加している。要求認識性能決定部５は、外部情報検出部１からの付加データを基に切り出し画像に対する要求認識精度及び要求認識速度を決定する。そして縮小サイズ決定部２は、要求認識性能決定部５で決定した要求認識精度及び要求認識速度を基に切り出し画像の縮小サイズを決定する。以下、図２と異なる箇所について説明する。
【００９３】
図２３に示した矢印は、データの流れる方向を表す。Data AとData Bは図２と同様である。Data Fには、外部情報検出部１がData Aから抽出した切り出し画像データ（縮小前の画像データ）と、Data Bを基に要求認識性能決定部５が決定した、動画から抽出した物体ごとの切り出し画像に対する要求認識精度及び要求認識速度が含まれる。Data DとData Eは図２と同様である。
【００９４】
実施例２では、要求認識性能決定部５が要求認識精度及び要求認識速度を決定するために、Data Bのうち、切り出し画像の付加データ（サイズ、切り出し位置、距離などの情報）を全て使う必要はなく、その一部のみを用いればよい。従って、要求認識性能決定部５が要求認識精度及び要求認識速度を決定する方法に関しては、上で述べた情報のうち、どのパラメータを用いるかで様々なケースが存在する。以下では、実施例１のケース１，２，３でのパラメータを例に要求認識精度及び要求認識速度を決定する場合と、これに続いて縮小サイズ決定部２が画像の縮小サイズを決定する方法について説明する。
【００９５】
図２４は、要求認識性能決定部５による要求認識精度及び要求認識速度の決定方法を説明する図である。（ａ−１）、（ａ−２）は、切り出し画像の元サイズ（Original size）と要求認識精度（Accuracy）及び要求認識速度（Speed）の関係を示す。（ｂ−１）、（ｂ−２）は、切り出し位置の水平方向の座標ｘ（Horizontal position）と要求認識精度及び要求認識速度の関係を示す。（ｃ−１）、（ｃ−２）は、物体までの距離ｄ（Distance）と要求認識精度及び要求認識速度の関係を示す。縦軸の単位は省略しているが、要求認識精度はＸＸ%以上、要求認識速度はＹＹimages/sec以上（images/sec: 単位時間当たりの画像の認識処理枚数）のことで、いずれも下限値を意味する。
【００９６】
このうち、（ａ−１）、（ａ−２）について説明する。要求認識性能決定部５は、外部情報検出部１から送られた切り出し画像の元サイズ（Original size）の情報を基に、事前に決められた（ａ−１）、（ａ−２）の関係を用いて、矢印に示すように、要求認識精度（Accuracy）及び要求認識速度（Speed）を決定する。その結果、要求認識精度及び要求認識速度の許容範囲は、それぞれRange 1、Range 2のように算出される。同様に（ｂ−１）、（ｂ−２）では画像の切り出し位置の水平方向の座標ｘに対し、また（ｃ−１）、（ｃ−２）では物体まで距離ｄに対し、要求認識精度及び要求認識速度の許容範囲が算出される。
【００９７】
上記の他に、付加データの他の情報である、切り出し画像の形状、切り出し位置の垂直方向の座標ｙ、物体の方向、車や物体の速度、物体の数などを用いて、要求認識速度及び要求認識精度の許容範囲を算出してもよい。
【００９８】
図２５は、縮小サイズ決定部２が、要求認識速度及び要求認識精度から画像の縮小サイズを決定する方法を説明する図である。（ａ）は要求認識精度（Accuracy）と画像の縮小サイズの関係を示し、（ｂ）は要求認識速度（Speed）と画像の縮小サイズの関係を示す。
【００９９】
縮小サイズ決定部２は、まず、要求認識性能決定部５が決定した要求認識精度の許容範囲（Range 1）を基に、（ａ）の関係曲線を用いて、矢印に示すように要求認識精度を満たす画像の縮小サイズの範囲（Size 1）を算出する。次に、要求認識速度の許容範囲（Range 2）を基に、（ｂ）の関係曲線を用いて、矢印に示すように、要求認識速度を満たす画像の縮小サイズの範囲（Size 2）を算出する。
【０１００】
実用的には、（ｃ）、（ｄ）に示すように、要求認識精度及び要求認識速度と画像の縮小サイズの関係をテーブルで管理する方法が便利である。（ｃ）は要求認識精度に対応する画像の縮小サイズを記述したテーブルであり、要求認識精度の許容範囲（Range 1）から画像の縮小サイズの範囲（Size 2）を容易に求めることができる。また（ｄ）は要求認識速度に対応する画像の縮小サイズを記述したテーブルであり、要求認識速度の許容範囲（Range 2）から画像の縮小サイズの範囲（Size 2）を容易に求めることができる。
【０１０１】
その後、縮小サイズ決定部２は、（ｅ）で示されるように、上記で決まった２つの縮小サイズの範囲（Size 1、Size 2）の共通集合を求める。図の例では、共通集合における画像の縮小サイズは32x32〜64x64ピクセルの範囲となる。その中で認識精度を優先するなら64x64ピクセル、認識速度を優先するなら32x32ピクセルを画像の縮小サイズとして最終決定する。
【０１０２】
実施例２によれば、認識対象となる画像の大きさや形状、画像切り出しの位置や撮影体との距離などから、必要な認識精度や認識速度を求め、それらを基に認識対象の画像を最適なサイズに縮小し、また画像サイズごとの認識処理部を持つことで、認識精度や認識速度を保ちつつ、画像認識に必要な演算回数やメモリの容量を削減し、低電力かつ高速に認識を行うことができる。
【実施例３】
【０１０３】
実施例３では、複数の切り出し画像の認識処理を行うとき、それぞれの画像に含まれる物体の認識処理の優先度を設定し、設定した優先度の順に認識処理を行うようにしたものである。
【０１０４】
図２６は、実施例３に係る画像認識システムの構成を示す図である。画像認識システム１０は、実施例１（図２）の構成を基本とし、縮小サイズ決定部２に代えて縮小サイズ及び優先度決定部６（size & priority determination）を備え、さらに、画像縮小部３と画像認識部４の間に、認識処理順ソート部７（sort）と画像バッファ８（buffer）を追加している。
【０１０５】
縮小サイズ及び優先度決定部６は、実施例１（図２）の縮小サイズ決定部２と同様に切り出し画像に対する縮小サイズを決定するとともに、各切り出し画像に含まれる物体の認識処理の優先度を決定する。認識処理順ソート部７は、画像縮小部３により縮小された画像データを、縮小サイズ及び優先度決定部６にて決定された認識処理の優先度に従って並べ替える処理を行う。画像バッファ８は、認識処理順ソート部７が縮小後の画像データの並べ替えを行うために用いるバッファである。
【０１０６】
図２６に示した矢印は、データの流れる方向を表す。Data A、Data B、Data Cは図２と同様であり、Data Cには、切り出し画像データと切り出し画像に対する縮小サイズの情報が含まれる。Data Gには、縮小サイズ及び優先度決定部６が決定した認識処理の優先度の情報が含まれる。Data Dには、画像縮小部３により縮小された画像データが含まれる。Data Hには、認識処理順ソート部７が画像バッファ８に対して読み書きする画像データが含まれる。Data Iには優先度に従って並べ替えられた縮小後の画像データが含まれる。Data Eは、画像認識部４で認識した結果である。
【０１０７】
図２７は、縮小サイズ及び優先度決定部６のいくつかの内部構成例を示す図である。縮小サイズ及び優先度決定部６は、縮小サイズ決定部６１（size determination）と優先度決定部６２（priority determination）から構成される。縮小サイズ決定部６１（size determination）は、図２の縮小サイズ決定部２と同様の動作を行う。
【０１０８】
（ａ）の例では、縮小サイズ及び優先度決定部６に入力されたData Bは、まず縮小サイズ決定部６１に渡され、そこで画像の縮小サイズ（reduced size）が決定される。次に、優先度決定部６２は、縮小サイズ決定部６１から受け取ったData Bを基に、切り出し画像の認識処理の優先度（priority）を決定し、Data Gとして認識処理順ソート部7に送る。優先度決定部６２が出力した切り出し画像（image）と、縮小サイズ決定部６１が出力した画像の縮小サイズは合わせてData Cとなり、画像縮小部３に送られる。この構成では、切り出し画像の縮小後のサイズが早い段階で求まるため、次の画像縮小部３において、早い段階で画像縮小処理を実行することができる。
【０１０９】
（ｂ）の例では、縮小サイズ及び優先度決定部６に入力されたData Bは、まず優先度決定部６２に渡され、そこで切り出し画像の認識処理の優先度が決定される。決定された認識処理の優先度は、Data Gとして認識処理順ソート部７に送られる。次に、縮小サイズ決定部６１は、優先度決定部６２から受け取ったData Bを基に、画像の縮小サイズを決定する。縮小サイズは切り出し画像と合わせてData Cとなり、画像縮小部３に送られる。この構成では、認識処理の優先度が早い段階で求まるため、次の認識処理順ソート部７において、早い段階でソート処理を行うことができる。
【０１１０】
（ｃ）の例では、縮小サイズ及び優先度決定部６に入力されたData Bは、縮小サイズ決定部６１と優先度決定部６２の両方に渡される。優先度決定部６２では、切り出し画像の認識処理の優先度が決定され、Data Gとして認識処理順ソート部７に送られる。縮小サイズ決定部６１では、画像の縮小サイズが決定される。画像の縮小サイズは切り出し画像と合わせてData Cとなり、画像縮小部３に送られる。この構成では、切り出し画像の縮小後のサイズと、認識処理の優先度の両方が早い段階で得られるが、縮小サイズ決定部６１と優先度決定部６２を同時に動作させることになるため、（ａ）や（ｂ）の例と比べて、消費電力や必要な計算リソースが増大することになる。
【０１１１】
（ａ）〜（ｃ）のうち、どの構成を選択するかは、縮小サイズ決定部６１や優先度決定部６２における処理速度や回路規模、後段の画像縮小部３や認識処理順ソート部７における処理速度や回路規模、それら全体の処理速度のバランスや回路規模や消費電力などを基に決定する。
【０１１２】
なお、縮小サイズ決定部６１及び優先度決定部６２が縮小後の画像のサイズや認識処理の優先度を決定する際、切り出し画像データそのものは用いず、画像の付加データ（元サイズ、形状、距離など）を用いている。そのため上記の例では、切り出し画像は縮小サイズ決定部６１と優先度決定部６２のいずれか一方から出力することになるが、どちらから出力するかは任意に構成できる。例えば、（ａ）の例で、切り出し画像データは、入力のData Bからバイパスされて直接出力してもよく、縮小サイズ決定部６１から出力してもよい。
【０１１３】
また、（ａ）〜（ｃ）に示した例において、縮小サイズ決定部６１による切り出し画像の縮小サイズの決定方法は、実施例１のケース１〜ケース６に記載した方法と同様である。つまり、Data Bの情報（画像サイズ、切り出し位置、距離など）と縮小後の画像のサイズとの関係が予め決められており、その関係を基にテーブル参照や単純な計算などにより、縮小後の画像のサイズを決定する。
【０１１４】
図２８は、優先度決定部６２による認識処理の優先度の決定方法を説明する図である。（ａ）〜（ｃ）は、それぞれ切り出し画像の元サイズ（Original size）、画像の切り出し位置の水平方向の座標ｘ（Horizontal position）、物体までの距離ｄ（Distance）を横軸に、認識処理の優先度（Priority）との関係を示している。縦軸の優先度は、図面上方向に優先度が高くなることを意味している。
【０１１５】
（ａ）は、切り出し画像の元サイズから認識処理の優先度を決定する場合で、矢印に示すように、切り出し画像の元サイズに対応する優先度の値を決定する。この例では、画像の元サイズが大きいほど自車両との距離が近い確率が高く、その分他よりも優先して素早く認識処理を実行するようにしている。また、（ｂ）では画像の切り出し位置の水平方向の座標ｘが中央に近いほど、（ｃ）では物体までの距離ｄが近いほど、認識処理の優先度を高く設定している。
【０１１６】
また、優先度決定部６２が認識処理の優先度を決定する方法はこの限りではなく、実施例１の各ケースに記載した様々なパラメータ（切り出し画像の形状、切り出し位置の垂直方向の座標、物体の進行方向、車や物体の速度、物体の数など）を基に、予め決められた関係から認識処理の優先度を設定してもよい。
【０１１７】
図２９は、認識処理順ソート部７によるソート処理の一例を示す図である。（ａ）の“Input order”のリストは、認識処理順ソート部７が画像縮小部３から送られた縮小後の画像データを受け取った順に示す。説明の便宜上、画像データに含まれる物体のラベルを受け取った順にObject 1, 2, 3,…と付けている。縮小後の画像データを受け取る順は、画像縮小部３が画像の縮小処理を終えた順であり、当然その順番は認識処理の優先度とは無関係である。認識処理順ソート部７は、受け取った各画像データに対し、縮小サイズ及び優先度決定部６から送られた認識処理の優先度（Priority）を付与して、縮小後の画像データの間の対応関係を示すリスト（Input order）を作成する。
【０１１８】
続いて認識処理順ソート部７は、画像縮小部３から送られた縮小後の画像データを、受け取った順（Object 1, 2, 3,…の順）に画像バッファ８（buffer）に格納する。認識処理順ソート部７は、“Input order”のリストに含まれる物体の数が所定数に達した段階で、リストに記述された優先度の値を基に、リスト内の画像データのソート処理（並べ替え）を実行する。その結果、（ｂ）の“Output order”のリストに示されるように、優先度の値が大きい順、つまり優先度が高い順に縮小後の画像データを並べ替える。認識処理順ソート部７は、リスト“Output order”の順に画像バッファ８から縮小後の画像データを読み出し、画像認識部４に送る。以上の処理により、認識の優先度が高い順に画像認識処理が実行されることになる。
【０１１９】
認識処理順ソート部７が、リスト（Input order）のソート処理を実行するタイミングの決定方法は様々なバリエーションがある。例えば、リスト（Input order）に含まれる画像データの数が、予め決められた数を超えた段階でソート処理を実行してもよいし、画像縮小部３による画像縮小処理の進み具合や、画像認識部４による画像認識処理の進み具合とのバランスを考慮して、可変にしてもよい。また、画像縮小部３や画像認識部４から、認識処理順ソート部７に対してソート処理実行の命令を送ってもよい。もしくは、リスト（Input order）に含まれる画像データの数ではなく、画像データのサイズの総量が一定量を超えた段階でソート処理を実行してもよい。
【０１２０】
一般にソート処理における計算量は、ソート対象の要素数（上記の例では画像データの数）をNとしたとき、NlogN程度である。これは例えば10000個の画像をソートした場合で十万回程度の計算量となる。一方、画像認識処理における計算量は、画像を縮小するサイズにもよるが、１枚の画像につき数億回程度である。そのため、本実施例にて新たに追加したソート処理が全体の処理時間や回路規模などに与える影響は、非常に小さく無視できるレベルである。
【０１２１】
実施例３によれば、認識対象となる画像の大きさや形状、画像切り出しの位置や車両との距離などから、認識処理の優先度を決めた上で、認識対象の画像を最適なサイズに縮小し、また画像サイズごとの認識処理部を持つことで、全体として高レスポンスに認識処理を実行しつつ、画像認識に必要な演算回数やメモリの容量を削減し、低電力かつ高速に認識を行うことができる。
【実施例４】
【０１２２】
実施例４では、画像認識部４の行った認識結果に対する信用度を評価し、信用度が低いと判断した場合には、縮小後の画像のサイズが大きくなるよう画像縮小部３にて画像を再度縮小して再度画像認識処理を行うようにしたものである。
【０１２３】
図３０は、実施例４に係る画像認識システムの構成を示す図である。画像認識システム１０は、実施例１（図２）の構成を基本とし、縮小サイズ決定部２と画像縮小部３の間に画像バッファ８（buffer）を、画像認識部４の後に認識結果評価部９（credibility check）を追加している。
【０１２４】
画像バッファ８は、縮小サイズ決定部２から送られた縮小前の切り出し画像データを格納し、画像データの再度縮小処理を行う際に用いられる。認識結果評価部９は、画像認識部４の行った認識結果に対する信用度を評価する。そして、信用度が低いと判断した場合には、縮小後の画像のサイズを大きくして再度画像認識処理を行うよう再認識処理命令（Request）を発行する。
【０１２５】
図３０に示した矢印は、データの流れる方向を表す。実線の矢印は、通常の認識処理におけるデータフローを表し、破線の矢印は、認識結果評価部９が画像縮小部３に対して、画像の再認識処理命令（Request）を発行した後のデータフローを表している。
Data A、Data B、Data Cは図２と同様であり、Data Cには、切り出し画像データと切り出し画像に対する縮小サイズの情報が含まれる。Data C’は切り出し画像データのみであり、画像バッファ８に格納され、また画像バッファ８から読み出される。Data Dとdata D’は、画像縮小部３により縮小された画像データであり、Data Eとdata E’は画像認識部４で認識した結果である。Data JとData J’は、認識結果評価部９が最終決定した認識結果である。このうち、Data D’とData E’とData J’は、再認識処理命令（Request）を発行した後のデータである。
【０１２６】
このように縮小サイズ決定部２は、縮小前の切り出し画像と画像の縮小後のサイズをData Cとして画像縮小部３に送るのに加えて、縮小前の切り出し画像をData C’として画像バッファ８に送る。画像バッファ８に格納された縮小前の画像（Data C’）は、認識結果評価部９が画像の再認識処理命令を発行した後、画像縮小部３によって利用される。
【０１２７】
次に、認識結果評価部９の動作を中心に、再認識処理の動作を説明する。
図３１は、再認識処理の一連の動作を示すフローチャートである。まず、画像縮小部３（RED:reduction）は、縮小した画像（Data D）を画像認識部４（REC:recognition）に送る（Step 1）。縮小された画像を受け取った画像認識部４は、例えば認識処理部４０（２）を使用して画像の認識処理を行い、その認識結果（Data E）を認識結果評価部９（CC:credibility check）に送付する（Step 2）。認識結果評価部９は、送られた認識結果に対する信用度を評価する（Step 3）。信用度の評価方法は後述する。信用度が高いと判断されると（Y1）、その認識結果（Data J）は運転制御部（アクセル、ブレーキ、ハンドル操作など）へ送られ、運転操作の判断に用いられる（Step 4）。一方、信用度が低いと判断されると（N1）、認識結果評価部９は、縮小後の画像のサイズを大きくして再度画像認識処理を実行できるか判定する（Step 5）。
【０１２８】
この例では画像は128x128ピクセルに縮小され、認識処理部４０（２）で処理されているため、画像のサイズを128x128ピクセルから256x256ピクセルに大きくして、認識処理部４０（１）により再度画像認識処理が実行可能である。この例のように、縮小後の画像のサイズを大きくして再度画像認識処理を実行できると判定された場合（Y2）、認識結果評価部９は、画像縮小部３に対し画像の再認識処理命令（Request）を発行する（Step 6）。一方、縮小後の画像のサイズを大きくして再度画像認識処理を実行できないと判定された場合（N2）、現状の認識結果を運転制御部へ送る（Step 4）。
【０１２９】
画像の再認識処理命令（Request）を受け取った画像縮小部３は、画像バッファ８から縮小前の画像（Data C’）を読み出し、縮小サイズが先の縮小サイズよりも大きくなるよう画像の再縮小を行う（Step 7）。次にStep 1に戻り、画像縮小部３は、再縮小された画像（Data D’）を画像認識部４に送る。以下、上記した処理を繰り返す。画像認識部４は例えば認識処理部４０（１）により再度画像認識処理を行い、新たな認識結果（Data E’）を認識結果評価部９に送る。認識結果評価部９は、再認識結果に対する信用度を評価する。信用度が高いと判断されると、新たな認識結果（Data J’）を運転制御部へ送る。
【０１３０】
以上の説明では、認識結果評価部９は画像の再認識処理命令（Request）を画像縮小部３に送るものとしたが、再認識処理命令を縮小サイズ決定部２に送る構成でもよい。再認識処理命令を受け取った縮小サイズ決定部２は、先の縮小サイズよりも大きくなるような縮小サイズを決定して画像縮小部３に送ることで、同様の処理を行うことができる。
【０１３１】
図３２は、認識結果評価部９による認識結果に対する信用度の評価方法（Step 3）を説明する図である。（ａ）は、画像認識部４から認識結果評価部９に送られる認識結果（result）の一例を示す。認識結果は、分類項目（categories: car、pedestrianなど）ごとの確率（probability）が送られる。通常はこの確率のうち、最も高い確率を有する分類（図ではpedestrian）が最終的な認識結果となる。認識結果に対する信用度とは、この最終的な認識結果がどれほど信用できるかという指標である。
【０１３２】
例えば（ｂ）のように、最も確率値が高いcategory 2の確率Ｐ２と、２番目に確率値が高いcategory 1の確率Ｐ１を比較し、Ｐ２がＰ１よりも十分大きければ、物体が本当にcategory 2である確率は高いと判断する（言い換えると、認識結果に対する信用度は高い）。
【０１３３】
一方、（ｃ）のように、最も確率値が高いcategory 2の確率Ｐ２と、２番目に確率値が高いcategory 6の確率Ｐ６を比較し、Ｐ２がＰ６よりも十分大きいといえない場合には、物体が本当にcategory 2である確率は、（ｂ）の場合よりも低いと判断する（言い換えると、認識結果に対する信用度は低い）。
【０１３４】
認識結果評価部９が認識結果に対する信用度を評価する方法は様々ある。例えば、最も確率値が高い分類の確率Ｐ１と、２番目に確率値が高い分類の確率Ｐ２の比（Ｐ１／Ｐ２）や差（Ｐ１−Ｐ２）を計算し、その値がある閾値以上の時は、認識結果に対する信用度が高いと判定する。あるいは、最も確率値が高い分類の確率と、a番目に確率値が高い分類の確率までの、a-1個の確率の比や差を計算し、閾値と比較してもよい。または、カテゴリの確率分布に対する情報エントロピーを計算して、そのエントロピーを閾値と比較してもよい。
【０１３５】
実施例４によれば、画像の認識を行う際、認識対象となる画像の大きさや形状、画像切り出しの位置や撮影体との距離などから、認識対象の画像を最適なサイズに縮小し、更に認識結果の信用度をフィードバックすることによって、認識精度を高めつつ、画像認識に必要な演算回数やメモリの容量を削減し、低電力かつ高速に認識を行うことができる。これらにより、限られた電力や論理規模やメモリ量でも、高速に画像や動画を認識するシステムを提供することができる。
【０１３６】
また実施例４の変形例として、認識結果評価部９による評価結果を学習し、例えば信用度が低いと判断されたケースについては、縮小サイズ決定部２で用いる縮小サイズ決定曲線あるいはテーブルを再縮小した条件に修正するとよい。これにより、次回同様なケースでの認識処理の失敗を低減することができる。
【０１３７】
以上の各実施例の説明では、外部情報検出部、縮小サイズ決定部、画像縮小部、画像認識部など、機能ごとに分かれたブロック図として、画像認識システムを例示した。実装形態はこれに限らず、機能ごとに分かれたブロック図のように、ASICのような専用回路として実装してもよいし、FPGAのようにプログラマブルなロジックとして実装してもよいし、組み込みのマイコンに実装してもよいし、CPUやGPU上で動作するソフトウェアとして実装してもよい。もしくは、外部情報検出部はASIC、縮小サイズ決定部はソフトウェアなど、機能ごとに上記の組み合わせで実装してもよい。
【０１３８】
以上、添付図面を参照して具体的に説明したが、好ましい実施の形態は以上の説明に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【符号の説明】
【０１３９】
１：外部情報検出部（external info）、
２，６１：縮小サイズ決定部（size determination）、
３：画像縮小部（reduction）、
４：画像認識部（recognition）、
５：要求認識性能決定部（performance determination）、
６：縮小サイズ及び優先度決定部（size & priority determination）、
７：認識処理順ソート部（sort）、
８：画像バッファ（buffer）、
９：認識結果評価部（credibility check）、
１０：認識処理システム、
４０：認識処理部（Recog. 1・・・N）、
６２：優先度決定部（priority determination）、
１００：自動運転システム。
【図１】
2018136803.tif 000003
【図２】
2018136803.tif 000004
【図３】
2018136803.tif 000005
【図４】
2018136803.tif 000006
【図５】
2018136803.tif 000007
【図６】
2018136803.tif 000008
【図７】
2018136803.tif 000009
【図８】
2018136803.tif 000010
【図９】
2018136803.tif 000011
【図１０】
2018136803.tif 000012
【図１１】
2018136803.tif 000013
【図１２】
2018136803.tif 000014
【図１３】
2018136803.tif 000015
【図１４】
2018136803.tif 000016
【図１５】
2018136803.tif 000017
【図１６】
2018136803.tif 000018
【図１７】
2018136803.tif 000019
【図１８】
2018136803.tif 000020
【図１９】
2018136803.tif 000021
【図２０】
2018136803.tif 000022
【図２１】
2018136803.tif 000023
【図２２】
2018136803.tif 000024
【図２３】
2018136803.tif 000025
【図２４】
2018136803.tif 000026
【図２５】
2018136803.tif 000027
【図２６】
2018136803.tif 000028
【図２７】
2018136803.tif 000029
【図２８】
2018136803.tif 000030
【図２９】
2018136803.tif 000031
【図３０】
2018136803.tif 000032
【図３１】
2018136803.tif 000033
【図３２】
2018136803.tif 000034