(57)【要約】【課題】  機械学習等に用いられる画像等のデータのバランスを把握する。【解決手段】  車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムでは、前記車両は、前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得部と、前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信部とを有し、前記情報処理装置は、前記位置データ送信部から、前記位置データを受信する位置データ受信部と、機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得部と、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部とを有することを特徴とする。【選択図】図１
2018195237.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムであって、
前記車両は、
前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得部と、
前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信部と
を有し、
前記情報処理装置は、
前記位置データ送信部から、前記位置データを受信する位置データ受信部と、
機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得部と、
撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、
前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部と
を有する
画像処理システム。
【請求項２】
前記情報処理装置は、
前記解析部による解析結果に基づいて、前記第１画像から選ばれ、かつ、前記バランスを調整する第３画像を前記車両に要求する画像要求部と、
前記第３画像を前記車両から受信する画像受信部と、
前記第２画像及び前記第３画像に基づいて学習を行い、学習データベースを生成する学習部と
を更に有する請求項１に記載の画像処理システム。
【請求項３】
前記車両は、
前記解析部による解析結果を受信する解析結果受信部と、
前記解析結果に基づいて、前記バランスを調整する第３画像を前記第１画像から選択する選択部と、
前記第３画像を前記情報処理装置に送信する画像送信部と
を更に有し、
前記情報処理装置は、
前記第３画像を前記車両から受信する画像受信部と、
前記第２画像及び前記第３画像に基づいて学習を行い、学習データベースを生成する学習部と
を更に有する請求項１に記載の画像処理システム。
【請求項４】
前記車両の現在位置、目的地及び現在位置から目的地までの途中を示す地図データを取得する地図データ取得部と、
前記地図データ及び前記学習データベースに基づいて、前記車両が走行する経路を案内する案内部と
を更に有し、
前記案内部は、目印を用いて、交差点を案内する請求項２又は３に記載の画像処理システム。
【請求項５】
前記パラメータは、前記第２画像が撮像された位置、前記第２画像が撮像された道路、前記第２画像が撮像された時刻、天候、前記第２画像を撮像した車両の車種、前記撮像装置の機種、前記第２画像を撮像した車両の制御情報、前記第２画像を撮像した周辺の渋滞状態、前記第２画像を撮像した周辺の混雑状態、前記第２画像を撮像した周辺の空き状態、前記第２画像を撮像した車両の車速、前記第２画像を撮像した車両が位置したレーン又はこれらの組み合わせである請求項１乃至４のいずれか１項に記載の画像処理システム。
【請求項６】
車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムが行う画像処理方法であって、
前記車両が、前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得手順と、
前記車両が、前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信手順と
を有し、
前記情報処理装置が、前記位置データ送信手順によって送信される前記位置データを受信する位置データ受信手順と、
前記情報処理装置が、機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得手順と、
前記情報処理装置が、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化手順と、
前記情報処理装置が、前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析手順と
を有する
画像処理方法。
【請求項７】
車両に搭載される撮像装置と接続される情報処理装置であって、
前記撮像装置によって撮像される前記車両の周辺を示す第１画像が撮像されたときの車両の位置を示す位置データを受信する位置データ受信部と、
機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する画像取得部と、
撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、
前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部と
を有する
情報処理装置。
【請求項８】
車両に搭載される撮像装置と接続されるコンピュータに画像処理方法を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
前記コンピュータが、前記撮像装置によって撮像される前記車両の周辺を示す第１画像が撮像されたときの車両の位置を示す位置データを受信する位置データ受信手順と、
前記コンピュータが、機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する画像取得手順と、
前記コンピュータが、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化手順と、
前記コンピュータが、前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析手順と
を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、情報処理装置及び記録媒体に関する。
【背景技術】
【０００２】
従来、車両の周辺を撮影した画像に基づいて、渋滞の要因等を調べる技術が知られている。
【０００３】
例えば、システムは、渋滞の要因を判断するため、まず、各車両のそれぞれの周辺を撮像した画像を収集する。次に、収集された画像に基づいて、システムが、渋滞の先頭となる車両を検知する。そして、システムは、先頭となる車両が位置する先頭地点を複数の方向から撮像した画像に基づいて、渋滞の要因を判断する。このようにして、システムが、交通の渋滞を検知し、かつ、渋滞の要因を判断できる技術が知られている（例えば、特許文献１等である）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−６５５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、同じようなパラメータで撮像された画像等のデータが車両から収集されやすく、偏りが生じやすい。このように、データのバランスが悪い状態で、画像に基づいて機械学習が行われると、機械学習の精度に影響が出やすい。しかし、従来の技術では、機械学習等に用いられる画像等のデータのバランスが把握できない課題が生じる。
【０００６】
そこで、本発明の実施形態に係る画像処理システムは、機械学習等に用いられる画像等のデータのバランスを把握できることを目的にする。
【課題を解決するための手段】
【０００７】
一側面によれば、車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムでは、
前記車両は、
前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得部と、
前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信部と
を有し、
前記情報処理装置は、
前記位置データ送信部から、前記位置データを受信する位置データ受信部と、
機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得部と、
撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、
前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部と
を有する。
【０００８】
以上のような構成であると、画像処理システムは、第２画像のパラメータを位置データ及び第２画像に基づいて判定することができる。そして、画像処理システムは、各第２画像をグループ化し、パラメータのバランスを解析することができる。このようにすると、後段で行われる機械学習等に用いられる画像等のデータに偏りがないかが分かる。
【０００９】
さらに、バランスが悪い場合には、画像処理システムは、バランスが悪いのを良くするために、画像を補充する等によって、バランスを良くすることができる。
【発明の効果】
【００１０】
機械学習等に用いられる画像等のデータのバランスを把握できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像処理システムの全体構成例及びハードウェア構成例を示す図である。
【図２】本発明の第１実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。
【図３】本発明の第１実施形態に係る画像処理システムによるバランスの解析例を示す図である。
【図４】車両におけるナビゲーション例を示す図である。
【図５】本発明の第１実施形態に係る画像処理システムによる機械学習等の処理例を示すフローチャートである。
【図６】本発明の第２実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。
【図７】本発明の第３実施形態に係る画像処理システムによる第３画像の選択例を示すフローチャートである。
【図８】本発明の一実施形態に係る車両が走行する車道及び画像の一例を示す図である。
【図９】本発明の第３実施形態に係る画像処理システムによる第３画像の選択の変形例を示すフローチャートである。
【図１０】本発明の第３実施形態に係る画像処理システムによる第３画像の候補となる画像の生成例を示す図である。
【図１１】本発明の第１実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。
【図１２】本発明の第２実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。
【図１３】本発明の一実施形態に係る画像処理システムによる処理結果例を示す図である。
【図１４】比較例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【００１３】
＜第１実施形態＞
＜全体構成例及びハードウェア構成例＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成例及びハードウェア構成例を示す図である。図示する例では、画像処理システムＩＳは、撮像装置の例であるカメラＣＭと、情報処理装置の例であるサーバＳＲとを有する。
【００１４】
図示するように、車両ＣＡには、撮像装置の例であるカメラＣＭが搭載される。そして、カメラＣＭは、車両ＣＡの周辺を撮像して画像を生成する。例えば、図示するように、カメラＣＭは、車両ＣＡの前方を撮像する。次に、カメラＣＭによって生成された画像は、画像取得装置ＩＭに取得される。さらに、車両ＣＡには、ＥＣＵ（Ｅｎｇｉｎｅ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）ＣＴ及び通信装置ＣＤが搭載される。
【００１５】
画像取得装置ＩＭは、例えば、電子回路、ＥＣＵ（Ｅｎｇｉｎｅ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）又はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の演算装置及び制御装置を有する。そして、画像取得装置ＩＭは、ハードディスク等の補助記憶装置を更に有し、カメラＣＭから取得した画像を記憶する。さらに、画像取得装置ＩＭは、アンテナ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の通信器を有し、ネットワークＮＷを介してサーバＳＲ等の外部装置に、画像を送信する。
【００１６】
ＥＣＵＣＴは、演算装置及び制御装置の例である。また、ＥＣＵＣＴは、メモリ等の記憶装置に接続される。
【００１７】
通信装置ＣＤは、ネットワークＮＷを介して、外部装置とデータを送受信する通信を行う。例えば、通信装置ＣＤは、アンテナ及び処理回路等である。
【００１８】
なお、カメラＣＭ及び画像取得装置ＩＭは、複数の装置であってもよい。また、車両ＣＡは、複数台あってもよい。
【００１９】
一方で、サーバＳＲは、ネットワーク等を介して、車両ＣＡに接続される。また、サーバＳＲは、例えば、ＣＰＵＳＨ１、記憶装置ＳＨ２、入力装置ＳＨ３、出力装置ＳＨ４及び通信装置ＳＨ５を有する。
【００２０】
そして、サーバＳＲが有する各ハードウェア資源は、バスＳＨ６によって相互に接続される。また、各ハードウェア資源は、バスＳＨ６によって、信号及びデータを送受信する。
【００２１】
ＣＰＵＳＨ１は、演算装置及び制御装置である。記憶装置ＳＨ２は、メモリ等の主記憶装置である。また、記憶装置ＳＨ２は、補助記憶装置を更に有してもよい。入力装置ＳＨ３は、キーボード等であって、ユーザからの操作を入力する。出力装置ＳＨ４は、ディスプレイ等であって、ユーザに処理結果等を出力する。通信装置ＳＨ５は、コネクタ又はアンテナ等であって、ネットワークＮＷ又はケーブル等を介して外部装置とデータを送受信する。
【００２２】
なお、サーバＳＲは、図示する構成に限られず、例えば、各装置を更に有してもよい。また、サーバＳＲは、複数の装置であってもよい。
【００２３】
＜全体処理例＞
図２は、本発明の第１実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。この図では、図２（Ａ）に、車両ＣＡ（図１参照）側での処理を示し、一方で、図２（Ｂ）に、サーバＳＲ（図１参照）側での処理を示す。
【００２４】
ステップＳＡ０１では、画像処理システムは、車両ＣＡが有する撮像装置によって、撮像する。以下、第１画像の例であって、ステップＳＡ０１で撮像される画像を「画像ＩＭＧ１」という。例えば、車両ＣＡ側では、画像ＩＭＧ１が、あらかじめ設定される周期ごとに撮像される。
【００２５】
ステップＳＡ０２では、画像処理システムは、車両ＣＡからサーバＳＲに位置データを送信する。例えば、位置データは、車両ＣＡが位置する１０ｍ（メートル）ごとの座標又はリンク番号等を示すデータである。
【００２６】
なお、リンク番号は、道路地図において、ノード（ｎｏｄｅ）と、ノードとの間に位置する道路区間を特定できる番号である。また、ノードは、道路網における結節点であって、具体的には、交差点等である。すなわち、リンク番号が分かると、あらかじめ入力される地図データ等に基づいて、画像処理システムは、車両ＣＡが位置する道路を特定できる。具体的には、リンク番号は、"ｈｔｔｐ:／／ｗｗｗ.ｄｒｍ.ｊｐ／ｄａｔａｂａｓｅ／ｅｘｐｒｅｓｓｉｏｎ.ｈｔｍｌ"に記載される番号等である。
【００２７】
また、位置データは、テキストデータ等であるため、画像データ等と比較すると、データ量が小さい。そのため、ステップＳＡ０２では、画像処理システムは、通信量を小さくできる。
【００２８】
ステップＳＢ０１では、画像処理システムは、車両ＣＡから送信される位置データを受信する。すなわち、ステップＳＡ０２が行われると、画像処理システムは、サーバＳＲ側で位置データを受信する。
【００２９】
ステップＳＡ０３では、画像処理システムは、車両ＣＡ側で、第１画像をキャッシュする。すなわち、ステップＳＡ０１によって撮像される画像ＩＭＧ１を車両ＣＡ側で保存する。なお、画像ＩＭＧ１は、位置データ等の位置データ、画像ＩＭＧ１が撮像されたパラメータ等と対応付けされて、保存されるのが望ましい。
【００３０】
ステップＳＢ０２では、画像処理システムは、サーバＳＲ側で、第２画像を取得する。第２画像は、あらかじめ入力される画像、定期的に車両ＣＡから送信される画像又はこれらの組み合わせ等である。すなわち、第２画像は、外部装置等から収集された画像であればよく、入力されるルート等は、限定されない。なお、第２画像及び第１画像は、一部が同じ画像であってもよい。以下、第２画像の例を「画像ＩＭＧ２」という。
【００３１】
ステップＳＢ０３では、画像処理システムは、サーバＳＲ側で、画像ＩＭＧ２をグループ化し、バランスを解析する。まず、どのようなパラメータによって解析を行うかは、あらかじめサーバＳＲに設定される。
【００３２】
パラメータは、画像ＩＭＧ２が撮像された条件等である。具体的には、パラメータは、画像ＩＭＧ２が撮像されたそれぞれの時刻又は画像ＩＭＧ２が撮像されたそれぞれの天候等である。
【００３３】
例えば、パラメータは、画像ＩＭＧ２を画像処理して判定される。例えば、画像ＩＭＧ２の明るさ等を画像処理して調べると、画像処理システムは、天候又は時刻等を推定できる。また、画像ＩＭＧ２をオプティカルフロー処理すると、画像処理システムは、車速等を推定できる。なお、パラメータの判定には、センサデータ等が用いられてもよい。例えば、車速センサのデータに基づいて、車速が判定されてもよい。他にも、気象データ等を外部装置から取得して、天候のパラメータが判定されてもよい。同様に、時刻データを取得して、時刻のパラメータが判定されてもよい。また、位置データから、画像が撮像された位置等のパラメータが判定されてもよい。
【００３４】
さらに、パラメータは、画像ＩＭＧ２を撮像したそれぞれの撮像装置が搭載された車両の車種、画像ＩＭＧ２を撮像したそれぞれの撮像装置が取り付けられた位置又は画像ＩＭＧ２を撮像したそれぞれの撮像装置の機種等である。これらは、後段で画像認識処理が行われる場合には、パラメータに設定されるのが望ましい。
【００３５】
また、パラメータは、画像ＩＭＧ２を撮像された時点においてヘッドライトがハイビーム設定であったかロービーム設定であったか等の車両の制御情報等である。このような制御情報は、後段で画像認識処理が行われる場合には、パラメータに設定されるのが望ましい。
【００３６】
他にも、パラメータは、画像ＩＭＧ２を撮像された周辺の渋滞状態、混雑状態、空き状態又は車速等を示すデータである。このようなデータは、後段で交通情報が用いられる場合には、パラメータに設定されるのが望ましい。なお、車速は、例えば、１０ｋｍ／ｈ（キロメートル毎時）区切り等でもよい。
【００３７】
さらにまた、パラメータは、画像ＩＭＧ２を撮像した車両が位置したレーン等を示すレーンデータである。このようなレーンデータは、後段で交通情報が用いられる又は画像認識処理が行われる場合には、パラメータに設定されるのが望ましい。
【００３８】
ステップＳＢ０３では、画像処理システムは、まず、同一のパラメータの画像ＩＭＧ２を１つのグループにする。そして、画像処理システムは、各グループの画像がほぼ均等であるかのバランスを解析する。例えば、バランスは、以下のように解析される。
【００３９】
図３は、本発明の第１実施形態に係る画像処理システムによるバランスの解析例を示す図である。例えば、画像処理システムは、図示するように、画像ＩＭＧ２を３つの条件「条件１」、「条件２」及び「条件３」にグループ分けする。具体的には、パラメータが「天候」であるとする。そして、「条件１」は、「晴れ」のグループ、「条件２」は、「曇り」のグループ、「条件３」は、「雨」のグループであるとする。図では、条件を横軸とし、縦軸を画像数とする。この例は、「条件１」のグループに属する画像が、画像ＩＭＧ２に多い例である。具体的には、「晴れ」の日に撮像された画像が多く集まり、その次に、「曇り」の日に撮像された画像が多い。そして、「雨」の日に撮像された画像が少ない場合の例となる。以下、図示するようなバランスである場合を例に説明する。
【００４０】
このような例であると、画像処理システムは、「条件１」に偏りがあり、バランスが悪いとする解析結果を出力する。具体的には、「条件１」を基準にすると、「条件２」となる画像は、「条件１」の画像より、差分ＤＦ１だけ少ない。さらに、「条件１」を基準にすると、「条件３」となる画像は、「条件１」の画像より、差分ＤＦ２だけ少ない。一方で、画像処理システムは、差分がない又は差分が所定の値以下であれば、バランスが良いとする解析結果を出力する。そして、バランスが悪いという解析結果である場合には、画像処理システムは、バランスを調整すると判断する。
【００４１】
図２（Ｂ）に戻り、ステップＳＢ０４では、画像処理システムは、サーバＳＲ側にて、バランスを調整するか否かを判断する。すなわち、ステップＳＢ０３による解析結果に基づいて、画像処理システムは、バランスを調整するか否かを判断する。
【００４２】
次に、バランスを調整すると画像処理システムが判断すると（ステップＳＢ０４でＹＥＳ）、画像処理システムは、ステップＳＢ０５に進む。一方で、バランスを調整しないと画像処理システムが判断すると（ステップＳＢ０４でＮＯ）、画像処理システムは、ステップＳＢ０７に進む。
【００４３】
ステップＳＢ０５では、画像処理システムは、サーバＳＲ側から車両側に、画像を要求する。すなわち、ステップＳＢ０５では、画像処理システムは、図３に示す例では、差分ＤＦ１及び差分ＤＦ２が少なくなるように、調整する。具体的には、図３に示す例では、画像処理システムは、差分ＤＦ１を少なくするため、「条件２」を満たす画像を車両ＣＡに要求する。同様に、画像処理システムは、差分ＤＦ２を少なくするため、「条件３」を満たす画像を車両ＣＡに要求する。
【００４４】
ステップＳＡ０４では、画像処理システムは、画像が要求されたか否かを判断する。すなわち、ステップＳＢ０５が行われると、画像処理システムは、画像が要求されたと判断する。
【００４５】
次に、画像が要求されたと画像処理システムが判断すると（ステップＳＡ０４でＹＥＳ）、画像処理システムは、ステップＳＡ０５に進む。一方で、画像が要求されなかったと画像処理システムが判断すると（ステップＳＡ０４でＮＯ）、画像処理システムは、図２（Ａ）に示す処理を終了する。
【００４６】
ステップＳＡ０５では、画像処理システムは、要求された画像を第１画像から選択して（以下第１画像から選択された画像を「第３画像」という。）送信する。すなわち、図３に示す例では、画像処理システムは、画像ＩＭＧ１のうち、「条件２」及び「条件３」を満たす画像を選び、第３画像として車両ＣＡからサーバＳＲに送信する。
【００４７】
ステップＳＢ０６では、画像処理システムは、第３画像を受信する。すなわち、画像処理システムは、ステップＳＡ０５によって送信された画像ＩＭＧ１をサーバＳＲ側で受信する。
【００４８】
ステップＳＡ０４、ステップＳＡ０５、ステップＳＢ０５及びステップＳＢ０６のように、いわゆるｐｕｓｈ通信によって、画像処理システムは、差分を補充できる第３画像を追加してバランスを調整する。
【００４９】
ステップＳＢ０７では、画像処理システムは、機械学習等を行う。例えば、以下のように、ナビゲーションを行う場合があるとする。
【００５０】
図４は、車両におけるナビゲーション例を示す図である。
【００５１】
例えば、図示するように、車両ＣＡが目的地に向かって走行しているとする。そして、目的地に向かう経路上、図示するように、車両ＣＡは、前方にある交差点ＣＲを右折する経路（図では、矢印で示す経路である。）を走行する場面である。すなわち、この場面は、いわゆるカーナビゲーション装置が車両ＣＡに搭載されている場合には、交差点ＣＲを右折するように、車両ＣＡを運転するドライバに対して、音声、画像又はこれらの組み合わせ等で、カーナビゲーション装置が案内を行う場面である。
【００５２】
また、車両ＣＡは、例えば、外部装置から地図データＤＭを受信したり、又は、地図データＤＭを記録媒体によって入力したりして取得すると、自車両の位置、交差点ＣＲの位置及び目的地が交差点ＣＲを右折した方向にある等を把握することができる。
【００５３】
以下、図示するような場面を例に説明するが、画像処理システムが使用される場面は、図示するような場面に限られず、例えば、交差点以外の場面で使用されてもよい。
【００５４】
そして、図示するように、経路を案内する上で、交差点ＣＲ付近に設置される看板ＬＭを目印に、カーナビゲーション装置が案内を行うと望ましい状態であるとする。このような場合には、車両ＣＡでは、車両ＣＡの前方が撮像装置によって撮像され、撮像された画像に写る看板ＬＭが画像認識される。このような画像認識を行うには、看板ＬＭが写る画像に基づいて、例えば、以下のように、機械学習が行われるのが望ましい。
【００５５】
図５は、本発明の第１実施形態に係る画像処理システムによる機械学習等の処理例を示すフローチャートである。図２に示すステップＳＢ０７では、例えば、図示するような処理が行われる。
【００５６】
ステップＳＢ０７０１では、画像処理システムは、機械学習に用いられる画像のバランスが良いか否かを判断する。すなわち、図２に示すステップＳＡ０４、ステップＳＡ０５、ステップＳＢ０５及びステップＳＢ０６等によって、バランスが調整されると、機械学習に用いられる画像は、図３に示すような偏りが少なく、バランスの良い状態である場合が多い。このような場合には、画像処理システムは、機械学習に用いられる画像のバランスが良いと判断する。
【００５７】
次に、機械学習に用いられる画像のバランスが良いと画像処理システムが判断すると（ステップＳＢ０７０１でＹＥＳ）、画像処理システムは、ステップＳＢ０７０２に進む。一方で、機械学習に用いられる画像のバランスが良くないと画像処理システムが判断すると（ステップＳＢ０７０１でＮＯ）、画像処理システムは、図５に示す処理を終了する。
【００５８】
ステップＳＢ０７０２では、画像処理システムは、看板の学習等を行う。具体的には、画像処理システムは、図４に示すように、看板ＬＭを案内に使う場合には、看板ＬＭが写っている画像を用いて学習を行う。このようにすると、画像処理システムは、画像に写る看板ＬＭを画像認識することができる。
【００５９】
ステップＳＢ０７０３では、画像処理システムは、認識精度が向上したか否かを判断する。この例では、画像処理システムは、画像内に写る看板ＬＭを画像認識できる認識精度が向上したか否かを判断する。すなわち、ステップＳＢ０７０２による学習によって、認識精度が学習前の認識精度より向上したか否かによって、画像処理システムは、認識精度が向上したか否かを判断する。
【００６０】
次に、認識精度が向上したと画像処理システムが判断すると（ステップＳＢ０７０３でＹＥＳ）、画像処理システムは、ステップＳＢ０７０４に進む。一方で、認識精度が向上しないと画像処理システムが判断すると（ステップＳＢ０７０３でＮＯ）、画像処理システムは、図５に示す処理を終了する。
【００６１】
ステップＳＢ０７０４では、画像処理システムは、学習データベースを更新する。すなわち、画像処理システムは、以降のカーナビゲーション等では、更新済みの学習データベースが使われるようにする。なお、学習データベースは、画像処理システム以外の外部装置に使われる構成でもよい。
【００６２】
＜第２実施形態＞
第１実施形態のように、バランスをｐｕｓｈ通信によって調整するのではなく、車両ＣＡ側、いわゆるローカル管理によって、バランスが調整されてもよい。
【００６３】
以下、第１実施形態と同様の全体構成及びハードウェア構成である場合を例にする。したがって、重複する説明は、省略する。以下、異なる点を中心に説明する。第１実施形態とは、全体処理が異なる。
【００６４】
図６は、本発明の第２実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。なお、図では、第１実施形態と同様の処理には、同一の符号を付し、説明を省略する。
【００６５】
ステップＳＢ２０では、画像処理システムは、サーバＳＲから車両ＣＡに、解析結果を送信する。すなわち、画像処理システムは、ステップＳＢ０３によって解析された画像のバランスを示すデータをローカル側へ送信する。
【００６６】
ステップＳＡ２０では、画像処理システムは、車両ＣＡ側で、解析結果を受信する。すなわち、画像処理システムは、ステップＳＢ２０によって送信された解析結果を示すデータを車両ＣＡ側で受信する。このようにすると、車両ＣＡは、例えば、サーバＳＲ側にある画像が図３に示すような状態であるのを把握できる。したがって、車両ＣＡは、どのようなパラメータの画像をサーバＳＲに送信すると、バランスが良くなるかを解析結果に基づいて把握できる。
【００６７】
ステップＳＡ２１では、画像処理システムは、車両ＣＡ側で、解析結果に基づいて第２画像を第１画像から選択する。具体的には、図３に示す例では、画像処理システムは、車両ＣＡ側で、画像ＩＭＧ１のうち、「条件２」及び「条件３」を満たす第３画像を選び、ステップＳＡ０５で送信するようにする。
【００６８】
したがって、ステップＳＡ２１で選択された画像がサーバＳＲに送信されると、画像処理システムは、ステップＳＡ０５で送信された画像によって、画像ＩＭＧ２のバランスを調整することができる。
【００６９】
＜第３実施形態＞
車両ＣＡは、第３画像を更に以下のように選択する構成でもよい。
【００７０】
以下、図４に示すように、カーナビゲーションにおいて、路上にある看板ＬＭのような被写体を案内に用いる場合を例に説明する。すなわち、車両ＣＡは、看板ＬＭが写る画像をサーバＳＲに送信するのが望ましい。例えば、以下のような処理によって第３画像が選択されてもよい。
【００７１】
図７は、本発明の第３実施形態に係る画像処理システムによる第３画像の選択例を示すフローチャートである。例えば、図７に示す処理は、第１画像をキャッシュ後、車両ＣＡ側で、第３画像がサーバＳＲに送信される前のいずれかのタイミングで行われる。
【００７２】
また、以下の説明は、車両ＣＡが走行する左側に現れる被写体を写した画像を収集する設定であるとする。なお、設定は、左側に限られず、右側とする等の他の設定でもよい。
【００７３】
ステップＳ３１１では、画像処理システムは、車両ＣＡが走行中の車道が３レーン以上であるか否かを判断する。例えば、画像処理システムは、画像ＩＭＧ１に対して白線を検出する画像処理等を行い、走行方向ＲＤに対して直交する方向に白線がいくつあるかを数えると、車両ＣＡが走行中の車道のレーン数を算出できる。
【００７４】
次に、車両ＣＡが走行中の車道が３レーン以上であると画像処理システムが判断すると（ステップＳ３１１でＹＥＳ）、画像処理システムは、ステップＳ３１２に進む。一方で、車両ＣＡが走行中の車道が３レーン以上でないと画像処理システムが判断すると（ステップＳ３１１でＮＯ）、画像処理システムは、処理を終了する。
【００７５】
ステップＳ３１２では、画像処理システムは、車両ＣＡが一番左側のレーンを走行しているか否かを判断する。例えば、画像処理システムは、画像ＩＭＧ１に対する画像処理又は車両ＣＡの位置等から、車両ＣＡが一番左側のレーンに位置しているかを把握できる。
【００７６】
次に、車両ＣＡが一番左側のレーンを走行していると画像処理システムが判断すると（ステップＳ３１２でＹＥＳ）、画像処理システムは、ステップＳ３１３に進む。一方で、車両ＣＡが一番左側のレーンを走行していないと画像処理システムが判断すると（ステップＳ３１２でＮＯ）、画像処理システムは、処理を終了する。
【００７７】
ステップＳ３１３では、画像処理システムは、現在走行している条件下で撮像された画像ＩＭＧ１を第３画像の候補に選択する。
【００７８】
例えば、以下のような車道を走行する車両ＣＡを例に説明する。
【００７９】
図８は、本発明の一実施形態に係る車両が走行する車道及び画像の一例を示す図である。図示するように、車両ＣＡは、走行方向ＲＤ（図では、下から上に向かう方向となる。）へ走行しているとする。この例では、車道は、左レーンＬＡＬと、中央レーンＬＡＣと、右レーンＬＡＲとがある。したがって、このような車道を車両ＣＡが走行していると、ステップＳ３１１では、画像処理システムは、車両ＣＡが走行中の車道が３レーン以上であると判断する（ステップＳ３１１でＹＥＳ）。
【００８０】
そして、左レーンＬＡＬを車両ＣＡが走行していると、ステップＳ３１２では、画像処理システムは、車両ＣＡが一番左側のレーンを走行していると判断する（ステップＳ３１２でＹＥＳ）。
【００８１】
図示するような３レーン以上の車道を車両ＣＡが走行している場合には、左レーンＬＡＬを走行している間に撮像された画像でないと、画像には、看板ＬＭのような車両ＣＡが走行する左側に現れる被写体が写らない。具体的には、左レーンＬＡＬを車両ＣＡが走行している間に撮像される画像は、例えば、画像ＩＭＧ３１のようになる。一方で、中央レーンＬＡＣを車両ＣＡが走行している間に撮像される画像は、例えば、画像ＩＭＧ３２のようになる。
【００８２】
左レーンＬＡＬでは、撮像装置の画角に看板ＬＭが入るのに対して、中央レーンＬＡＣ又は右レーンＬＡＲでは、撮像装置の画角に看板ＬＭが入らない場合が多い。そのため、図示するように、画像ＩＭＧ３１には、看板ＬＭが写るのに対して、画像ＩＭＧ３２には、看板ＬＭが写らない場合が多い。したがって、画像ＩＭＧ３１のように、画像処理システムは、左レーンＬＡＬを走行している間に撮像された画像を第３画像の候補とする（ステップＳ３１３）。一方で、画像ＩＭＧ３２等の画像は、第３画像に選択されないようにすると、サーバＳＲに、画像ＩＭＧ３２等の画像が送信されないため、画像処理システムは、通信量を削減できる。
【００８３】
つまり、画像ＩＭＧ３１のように、機械学習によって画像認識させたい被写体が撮像できる位置に車両ＣＡがいる場合に撮像された画像に第３画像を絞ることで、画像処理システムは、通信量を削減できる。
【００８４】
なお、図７に示す処理は、例えば、以下のような処理でもよい。
【００８５】
図９は、本発明の第３実施形態に係る画像処理システムによる第３画像の選択の変形例を示すフローチャートである。図７と比較すると、図９に示す処理は、ステップＳ３１３がステップＳ３２１となる点が異なる。以下、異なる点を中心に説明し、同一の処理には同一の符号を付して説明を省略する。
【００８６】
ステップＳ３１３では、画像処理システムは、画像ＩＭＧ１の右側を削除し、削除後の画像を第３画像の候補に選択する。具体的には、ステップＳ３１３では、画像処理システムは、以下のような画像を生成する。
【００８７】
図１０は、本発明の第３実施形態に係る画像処理システムによる第３画像の候補となる画像の生成例を示す図である。例えば、図示するような画像ＩＭＧ１が第１画像として作像され、キャッシュされるとする。ステップＳ３１３では、画像処理システムは、画像ＩＭＧ１を加工して、画像ＩＭＧ３３又は画像ＩＭＧ３４を生成する。
【００８８】
具体的には、画像ＩＭＧ３３は、図示するように、画像ＩＭＧ１の右側が削除された画像である。このようにすると、画像ＩＭＧ３３は、画像ＩＭＧ１より少ないデータ量の画像となる。
【００８９】
同様に、画像ＩＭＧ３４は、画像ＩＭＧ１の右側が塗り潰された画像である。このようにすると、画像ＩＭＧ３４は、右側のデータが送信不要であると判断されるため、画像ＩＭＧ１より少ない通信量で送信できる画像となる。
【００９０】
機械学習等（ステップＳＢ０７）では、学習の対象となる被写体が写っている画像が用いられる。そのため、画像において、看板ＬＭ等の被写体が写る範囲以外は、機械学習等には、不要のデータとなることが多い。そこで、図示するように、画像処理システムは、画像ＩＭＧ１を加工して、機械学習等に用いられない範囲を画像ＩＭＧ１から削除又はサーバＳＲに送信されないように制限する。このようにすると、画像処理システムは、通信量を削減できる。
【００９１】
＜機能構成例＞
図１１は、本発明の第１実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。例えば、画像処理システムＩＳは、図示するように、第１画像取得部ＩＳＦ１と、位置データ送信部ＩＳＦ２と、第２画像取得部ＩＳＦ３と、位置データ受信部ＩＳＦ４と、グループ化部ＩＳＦ５と、解析部ＩＳＦ６とを有する。また、画像処理システムＩＳは、図示するように、画像要求部ＩＳＦ７と、画像受信部ＩＳＦ８と、学習部ＩＳＦ９と、案内部ＩＳＦ１０と、地図データ取得部ＩＳＦ１１とを更に有する機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。
【００９２】
第１画像取得部ＩＳＦ１は、カメラＣＭ等の撮像装置によって撮像される車両ＣＡの周辺を示す画像ＩＭＧ１等の第１画像を取得する第１画像取得手順を行う。例えば、第１画像取得部ＩＳＦ１は、画像取得装置ＩＭ（図１参照）等によって実現される。
【００９３】
位置データ送信部ＩＳＦ２は、車両ＣＡの位置を示す位置データＰＯＳをサーバＳＲに送信する位置データ送信手順を行う。例えば、位置データ送信部ＩＳＦ２は、通信装置ＣＤ（図１参照）等によって実現される。
【００９４】
第２画像取得部ＩＳＦ３は、画像ＩＭＧ２等の第２画像を取得する第２画像取得手順を行う。例えば、第２画像取得部ＩＳＦ３は、通信装置ＳＨ５（図１参照）等によって実現される。
【００９５】
位置データ受信部ＩＳＦ４は、位置データ送信部ＩＳＦ２から位置データＰＯＳを取得する位置データ受信手順を行う。例えば、位置データ受信部ＩＳＦ４は、通信装置ＳＨ５（図１参照）等によって実現される。
【００９６】
グループ化部ＩＳＦ５は、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化手順を行う。例えば、グループ化部ＩＳＦ５は、ＣＰＵＳＨ１（図１参照）等によって実現される。
【００９７】
解析部ＩＳＦ６は、複数のグループに属する第２画像の数についてグループ間のバランス解析し、解析結果ＡＮＳを出力する解析手順を行う。例えば、解析部ＩＳＦ６は、ＣＰＵＳＨ１（図１参照）等によって実現される。
【００９８】
画像要求部ＩＳＦ７は、解析結果ＡＮＳに基づいて、画像ＩＭＧ１から選ばれ、かつ、バランスを調整する画像ＩＭＧ３等の第３画像を車両ＣＡに要求する画像要求手順を行う。例えば、画像要求部ＩＳＦ７は、通信装置ＳＨ５（図１参照）等によって実現される。
【００９９】
画像受信部ＩＳＦ８は、画像ＩＭＧ３を車両ＣＡから受信する画像受信手順を行う。例えば、画像受信部ＩＳＦ８は、通信装置ＳＨ５（図１参照）等によって実現される。
【０１００】
学習部ＩＳＦ９は、画像ＩＭＧ２及び画像ＩＭＧ３等に基づいて、学習を行い、学習データベースＤＢを生成する学習手順を行う。例えば、学習部ＩＳＦ９は、ＣＰＵＳＨ１（図１参照）等によって実現される。
【０１０１】
案内部ＩＳＦ１０は、地図データＤＭ及び学習データベースＤＢに基づいて、車両ＣＡが走行する経路をドライバＤＶに案内する案内手順を行う。例えば、案内部ＩＳＦ１０は、ＥＣＵＣＴ（図１参照）等によって実現される。
【０１０２】
地図データ取得部ＩＳＦ１１は、車両ＣＡの現在位置、目的地及び現在位置から目的地までの途中を示す地図データＤＭを取得する地図データ取得手順を行う。例えば、地図データ取得部ＩＳＦ１１は、通信装置ＣＤ（図１参照）等によって実現される。
【０１０３】
また、機能構成は、例えば、以下のような機能構成でもよい。
【０１０４】
図１２は、本発明の第２実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。図１１と比較すると、車両ＣＡが、選択部ＩＳＦ２０と、画像送信部ＩＳＦ２１と、解析結果受信部ＩＳＦ２２とを有する点が異なる。以下、図１１と異なる点を中心に説明する。
【０１０５】
選択部ＩＳＦ２０は、解析結果ＡＮＳに基づいて、画像ＩＭＧ１から画像ＩＭＧ３を選択する選択手順を行う。例えば、選択部ＩＳＦ２０は、ＥＣＵＣＴ（図１参照）等によって実現される。
【０１０６】
画像送信部ＩＳＦ２１は、画像ＩＭＧ３をサーバＳＲに送信する画像送信手順を行う。例えば、画像送信部ＩＳＦ２１は、通信装置ＣＤ（図１参照）等によって実現される。
【０１０７】
解析結果受信部ＩＳＦ２２は、解析結果ＡＮＳを受信する解析結果受信手順を行う。例えば、解析結果受信部ＩＳＦ２２は、通信装置ＣＤ（図１参照）等によって実現される。
【０１０８】
以上のような構成であると、画像処理システムＩＳは、まず、第２画像取得部ＩＳＦ３によって、画像ＩＭＧ２を取得できる。さらに、画像処理システムＩＳは、位置データ等によって、画像ＩＭＧ２のそれぞれのパラメータを判定することができる。
【０１０９】
パラメータは、画像ＩＭＧ２のそれぞれの撮像条件等を示す。例えば、パラメータは、画像ＩＭＧ２が撮像された時刻、天候、画像ＩＭＧ２を撮像した車両の車種、カメラＣＭの機種、画像ＩＭＧ２を撮像した車両の制御情報、画像ＩＭＧ２を撮像した周辺の渋滞状態、画像ＩＭＧ２を撮像した周辺の混雑状態、画像ＩＭＧ２を撮像した周辺の空き状態、画像ＩＭＧ２を撮像した車両の車速、画像ＩＭＧ２を撮像した車両が位置したレーン又はこれらの組み合わせ等である。そして、パラメータが同一であると、画像は、同一のグループにグループ分けされる。したがって、パラメータが把握できると、解析部ＩＳＦ６は、図３に示すように、バランスを解析できる。
【０１１０】
機械学習等では、画像の条件に偏りがあると、機械学習の結果である学習データベースＤＢを用いた処理の精度が悪くなる場合が多い。例えば、学習データベースＤＢを利用して、渋滞の予測等の交通情報を生成する処理又はカーナビゲーションにおける画像認識等が車両ＣＡ等で行われる。
【０１１１】
画像処理システムＩＳは、解析結果ＡＮＳによって、機械学習等に用いられる画像のバランスを把握できる。そして、画像処理システムＩＳは、学習データベースＤＢを生成するための画像のバランスによって、学習データベースＤＢを利用した処理の精度等が予測できる。例えば、バランスの良し悪しによって、渋滞の的中率、検出率又は画像認識による所定の被写体の認識率等が、高いか否か等が予測できる。
【０１１２】
そして、画像処理システムＩＳは、バランスが把握できると、例えば、図１１に示すように、車両ＣＡに、バランスを良くする第３画像を送信するように要求できる。同様に、画像処理システムＩＳは、バランスが把握できると、解析結果ＡＮＳを車両ＣＡに送信することによって、車両ＣＡにバランスを良くする第３画像を送信させることができる。
【０１１３】
したがって、以上のような構成であると、例えば、以下のような効果を奏する。
【０１１４】
図１３は、本発明の一実施形態に係る画像処理システムによる処理結果例を示す図である。まず、図１３（Ａ）は、図３と同様のバランスである解析結果ＡＮＳを示す図である。そして、画像ＩＭＧ３が送信されると、「条件２」及び「条件３」を満たす画像が補充される。なお、画像処理システムＩＳは、「条件１」を満たす画像が情報処理装置に送信されるのを制限するのが望ましい。
【０１１５】
このようにすると、画像処理システムＩＳは、例えば、図１３（Ｂ）に示すように、各条件を満たすそれぞれの画像数をほぼ同一にすることによって、バランスを良くすることができる。
【０１１６】
教師ありの機械学習等は、学習に用いられるデータ、つまり、いわゆる教師データに偏りがあり、バランスが悪いと、後段で行われる処理の処理精度が悪くなる場合が多い。一方で、画像等のデータは、調整がないとバランスが悪くなる場合が多い。例えば、渋滞予測を行う処理を行うため、渋滞している状態の画像と、渋滞していない状態の画像とを収集する場合では、渋滞していない状態が多いため、渋滞していない状態の画像の方が集まりやすい。
【０１１７】
他にも、大都市圏又は幹線道路等は、車両が多いため、画像が集まりやすい。これに対して、地方又は一般道等は、大都市圏又は幹線道路等と比較して画像が集まりにくい。したがって、条件を位置又は道路等にすると、大都市圏又は幹線道路等で撮像された画像が多く、バランスが悪くなる場合が多い。同様に、気候は、季節等によっては、「雨」の日が多くなる場合がある。このような場合には、「雨」の条件で撮像された画像が集まりやすくなる。他にも、朝又は昼の時刻に撮像された画像は、集まりやすく、夜の時刻に撮像された画像は、集まりにくい場合が多い。
【０１１８】
そこで、第３画像を補充して、バランスを改善すると、画像処理システムＩＳは、精度の良い処理を行うようにするための機械学習等を行うことができる。また、図１３（Ｂ）に示すように、既に十分な量に達しているデータは、収集が制限されると、無駄なデータを収集しないようにすることができるため、データを送信する通信量を減らし、通信コスト又はデータを保存する記憶領域を小さくすることができる。
【０１１９】
また、図１１及び図１２に示すような構成では、画像処理システムＩＳは、精度良く看板等を検出できるようになるため、ドライバＤＶにメッセージＭＳ等によって、案内において、目印となる看板等を精度良く知らせることができる。
【０１２０】
＜比較例＞
図１４は、比較例を示す図である。例えば、図示するように、バランスを調整するのに、データを消す方法が考えられる。具体的には、図１３（Ａ）と同様のバランスである場合において、「条件１」及び「条件２」となる画像を「条件３」となる画像数になるまで削除する。このような方法で、バランスを調整すると、消された画像が無駄となる。
【０１２１】
＜その他の実施形態＞
案内部ＩＳＦ１０及び地図データ取得部ＩＳＦ１１は、撮像装置を搭載した車両以外の車両が有してもよい。
【０１２２】
本発明に係る実施形態は、情報処理装置又は情報処理システム等のコンピュータに、上記の画像処理方法に係る各手順を実行させるためのプログラムによって実現されてもよい。また、プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布することができる。
【０１２３】
さらに、上記に説明した各装置は、複数の装置であってもよい。そして、上記の画像処理方法に係る各手順の全部又は一部は、並列、分散又は冗長して実行されてもよい。
【０１２４】
以上、本発明の好ましい実施例について説明したが、本発明は、説明した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
【符号の説明】
【０１２５】
ＩＳ  画像処理システム
ＣＭ  カメラ
ＳＲ  サーバ
ＣＡ  車両
ＤＭ  地図データ
ＰＯＳ  位置データ
ＬＭ  看板
ＩＭＧ１、ＩＭＧ２、ＩＭＧ３  画像
【図１】
2018195237.tif 000003
【図２】
2018195237.tif 000004
【図３】
2018195237.tif 000005
【図４】
2018195237.tif 000006
【図５】
2018195237.tif 000007
【図６】
2018195237.tif 000008
【図７】
2018195237.tif 000009
【図８】
2018195237.tif 000010
【図９】
2018195237.tif 000011
【図１０】
2018195237.tif 000012
【図１１】
2018195237.tif 000013
【図１２】
2018195237.tif 000014
【図１３】
2018195237.tif 000015
【図１４】
2018195237.tif 000016