(57)【要約】【課題】より少ない情報でより多くの信号機の情報を得ることができる情報処理装置を提供する。【解決手段】情報処理装置１は、制御部１１が、車両に搭載されたカメラ３が撮像した画像を取得し、そして、取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。【選択図】図４
2020021400.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部が撮像した画像を取得する第１取得部と、
前記第１取得部が取得した前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記推定部が状態を推定する信号機は、前記第１取得部が取得する画像には点灯状態が映っていないことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像が撮像された時刻と、当該画像から前記推定部が推定した前記信号機の点灯状態と、を出力する出力部を更に備えることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記画像の撮像位置に関する情報及び前記撮像部が撮像した向きに関する情報を取得する第２取得部を更に備え、
前記推定部は、前記第１取得部が取得した前記画像と、前記第２取得部が取得した前記画像の撮像位置に関する情報及び前記画像の向きに関する情報と、に基づいて前記信号機の点灯状態を推定する、
ことを特徴とする請求項１から３のうちいずれか一項に記載の情報処理装置。
【請求項５】
前記第１取得部は、複数の前記画像を取得し、
前記推定部は、前記第１取得部が取得した複数の前記画像に基づいて前記信号機の点灯状態を推定することを特徴とする請求項１から４のうちいずれか一項に記載の情報処理装置。
【請求項６】
信号機の点灯状態を推定する情報処理装置で実行される情報処理方法であって、
車両に搭載された撮像部が撮像した画像を取得する第１取得工程と、
前記第１取得工程で取得された前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定工程と、
を含むことを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法を、コンピュータにより実行させることを特徴とする情報処理プログラム。
【請求項８】
請求項７に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号機の点灯状態を推定する情報処理装置に関する。
【背景技術】
【０００２】
例えば特許文献１に記載されている信号情報作成方法のように、車両に搭載されたカメラで撮像された画像に基づいて車両の進行方向に対応した信号機の点灯色等の情報を作成することは既に知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−４８６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された信号情報作成方法は、あくまで車両の進行方向に対応した信号機に関する情報を作成することしかできない。そのため、例えば交差点において、進行方向の信号機の情報だけでなく、他の信号機の情報を得ようとすると、同じタイミングで他の方向から計測車両等を交差点に進入させたり、交差点付近から目視で信号の動きを観察したり、といった手間のかかる作業が必要となる。つまり、従来の方法では、交差点における他の信号機の情報を得るために多くの手間と情報が必要となるという問題があった。
【０００５】
本発明が解決しようとする課題としては、より少ない情報でより多くの信号機の情報を得ることが一例として挙げられる。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、車両に搭載された撮像部が撮像した画像を取得する第１取得部と、前記第１取得部が取得した前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定部と、を備えることを特徴としている。
【０００７】
請求項６に記載の発明は、信号機の点灯状態を推定する情報処理装置で実行される情報処理方法であって、車両に搭載された撮像部が撮像した画像を取得する第１取得工程と、前記第１取得工程で取得された前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定工程と、を含むことを特徴としている。
【０００８】
請求項７に記載の発明は、請求項６に記載の情報処理方法を、コンピュータにより実行させることを特徴としている。
【０００９】
請求項８に記載の発明は、請求項７に記載の情報処理プログラムを格納したことを特徴としている。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例にかかる情報処理装置とサーバ装置とを示した概略構成図である。
【図２】図１に示された情報処理装置の概略構成図である。
【図３】図１に示されたサーバ装置の概略構成図である。
【図４】図２に示された情報処理装置における動作のフローチャートである。
【図５】交差点の範囲を示した説明図である。
【図６】交差点に設置された信号機の点灯状態を推定する方法の説明図である。
【図７】交差点に設置された信号機の点灯状態を推定する方法の説明図である。
【図８】信号機点灯状態推定情報の例である。
【図９】図３に示された情報処理装置における動作のフローチャートである。
【図１０】信号機のサイクル情報の例である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態にかかる情報処理装置を説明する。本発明の一実施形態にかかる情報処理装置は、第１取得部で車両に搭載された撮像部が撮像した画像を取得し、推定部で第１取得部が取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。このようにすることにより、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。
【００１２】
また、推定部が状態を推定する信号機は、第１取得部が取得する画像には点灯状態が映っていなくてもよい。このようにすることにより、画像からは点灯状態が不明な信号機について、他車両の状態に基づいて点灯状態を推定することができる。
【００１３】
また、画像が撮像された時刻と、当該画像から推定部が推定した信号機の点灯状態と、を出力する出力部を更に備えていてもよい。このようにすることにより、例えば推定部が推定した信号機の点灯状態を外部サーバ等にアップロードさせることができ、様々な車両からの推定結果に基づいて信号機のサイクル情報を生成させることが可能となる。
【００１４】
また、画像の撮像位置に関する情報及び撮像部が撮像した向きに関する情報を取得する第２取得部を更に備え、推定部は、第１取得部が取得した画像と、第２取得部が取得した画像の撮像位置に関する情報及び画像の向きに関する情報と、に基づいて信号機の点灯状態を推定してもよい。このようにすることにより、撮像部が撮像した画像がどこからどのような向きで撮像されたかが分かり、より精度良く当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。
【００１５】
また、第１取得部は、複数の画像を取得し、推定部は、第１取得部が取得した複数の画像に基づいて信号機の点灯状態を推定してもよい。このようにすることにより、例えば、複数フレームの画像に基づいて信号機の点灯状態を推定することができる。また、別の日の同じ時刻の画像も参照して信号機の点灯状態を推定することができる。あるいは、同じ時刻に撮像された他の車両の画像も参照して信号機の点灯状態を推定することができる。
【００１６】
また、本発明の一実施形態にかかる情報処理方法は、第１取得工程が車両に搭載された撮像部が撮像した画像を取得し、推定工程が第１取得工程において取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。このようにすることにより、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。
【００１７】
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。
【００１８】
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
【実施例】
【００１９】
本発明の一実施例にかかる情報処理装置１を図１〜図１０を参照して説明する。本実施例にかかる情報処理装置１は、図１に示したように車両Ｃに搭載されている。そして、情報処理装置１は、インターネット等のネットワークＮを介してサーバ装置２と通信可能となっている。
【００２０】
図２に情報処理装置１の機能的構成を示す。情報処理装置１は、制御部１１と、通信部１２と、記憶部１３と、を備えている。また、情報処理装置１は、図２に示したように、車両Ｃに搭載されているカメラ３と、ＧＰＳ受信機や速度センサ等を含むセンサ４と、それぞれ接続されている。
【００２１】
制御部１１は、例えばＣＰＵ（Central Processing Unit）やメモリ等を有するマイクロコンピュータで構成され、情報処理装置１の全体制御を司る。制御部１１は、カメラ３で撮像された画像及び、センサ４の検出結果等に基づいて、信号機の点灯状態（赤、黄、青の点灯色、矢印信号の表示方向、等）を推定する。
【００２２】
通信部１２は、制御部１１で推定された信号機の点灯状態等をサーバ装置２に送信する。
【００２３】
記憶部１３は、制御部１１で動作するプログラムや各種データ等が格納されている。また、記憶部１３には、後述する交差点への接近を判断するため地図データが格納されている。
【００２４】
撮像部としてのカメラ３は、上述したように車両Ｃに設置されている。また、カメラ３は例えば車両Ｃの前方（進行方向）を撮像している。カメラ３は、撮像した画像を情報処理装置１へ出力する。このカメラ３はドライブレコーダ用やＡＤＡＳ（Advanced Driver Assistance System）用等の他の用途のものと兼ねていてもよい。なお、カメラ３が撮像する画像は、静止画でも動画でもよい。
【００２５】
センサ４は、上述したように、ＧＰＳ受信機や速度センサ等の車両に設けられているセンサである。なお、センサ４に含まれるセンサ、例えばＧＰＳ受信機等は、他の車載機器（ナビゲーション装置等）が有するものと共用してもよい。
【００２６】
サーバ装置２は、図３に示したように、制御部２１と、通信部２２と、記憶部２３と、を備えている。制御部２１は、サーバ装置２のＣＰＵが機能し、サーバ装置２の全体制御を司る。また、制御部２１は、情報処理装置１から送信された信号機の点灯状態に基づいて、信号機のサイクル情報を生成する。
【００２７】
通信部２２は、サーバ装置２のネットワークインターフェース等が機能し、情報処理装置１が送信した信号機の点灯状態を受信する。
【００２８】
記憶部２３は、サーバ装置２のハードディスク等の記憶装置が機能し、制御部２１で生成されたサイクル情報等を記憶する。また、サーバ装置２は、必要に応じて記憶部２３に記憶したサイクル情報を車両に配信する。
【００２９】
次に、上述した構成にかかる情報処理装置１の動作（情報処理方法）を図４のフローチャートを参照して説明する。図４に示したフローチャートは、制御部１１で実行される。図４に示したフローチャートは制御部１１のＣＰＵで動作するコンピュータプログラム（情報処理プログラム）として構成されている。また、このプログラムは、制御部１１が有するメモリ等に格納されているに限らず、メモリーカードや光ディスク等の記憶媒体に格納されていてもよい。
【００３０】
まず、ステップＳ１１において、制御部１１は、情報処理装置１を搭載した車両Ｃが交差点に接近したか否か判断し、交差点に接近したと判断された場合はステップＳ１２に進み、そうでない場合は本ステップを繰り返し実行する。
【００３１】
交差点に接近したか否かは、例えばセンサ４に含まれるＧＰＳ受信機から取得する現在位置と記憶部１３に記憶されている地図データとに基づいて判断すればよい。また、接近とは、例えばカメラ３が交差点の範囲を網羅して撮像できる程度の距離等の予め定めた距離まで近づくことである。ここで、交差点とは、本実施例では２以上の道路が交わる場合における当該２以上の道路の交わる部分とする。例えば図５に示したような道路Ｒ１と道路Ｒ２が交差する十字路の場合であれば、破線Ｂで囲まれた範囲を交差点とする。
【００３２】
次に、ステップＳ１２において、制御部１１は、カメラ３が撮像した画像を取得する。即ち、制御部１１は、車両に搭載された撮像部が撮像した画像を取得する第１取得部として機能する。
【００３３】
次に、ステップＳ１３において、制御部１１は、センサ４に含まれるＧＰＳ受信機から現在位置情報を取得する。この現在位置情報が示す現在位置が撮像位置となる。また、制御部１１は、カメラ３が撮像した向きの情報（前方、後方等、特定向きからの角度でもよい）をカメラ３から取得する。なお、この向きの情報はステップＳ１２で画像とともに取得してもよい。また、カメラ３の撮像方向が固定である場合は、予め制御部１１に設定してもよい。即ち、制御部１１が、画像の撮像位置に関する情報及びカメラ３（撮像部）が撮像した向きに関する情報を取得する第２取得部として機能する。
【００３４】
次に、ステップＳ１４において、制御部１１は、ステップＳ１２で取得した画像、ステップＳ１３で取得した撮像位置、撮像方向に基づいて交差点の信号機の点灯状態を推定する。推定の方法について図６を参照して説明する。
【００３５】
図６は、車両Ｃが矢印の方向へ走行して交差点を通過する場合の図である。図６において、信号機ａは道路Ｒ３の車両Ｃの進行方向の車線に対応する信号機、信号機ｂは道路Ｒ３の車両Ｃが走行する車線の対向車線に対応する信号機、信号機ｃは車両Ｃの進行方向と交差する道路Ｒ４の一方の方向へ向かう車線に対応する信号機、信号機ｄは道路Ｒ４の他方の方向へ向かう車線に対応する信号機となっている。
【００３６】
図６に示した交差点において、車両Ｃから撮像した画像等に基づいて信号機の点灯状態を推定する。信号機ａについては、例えば画像から信号機ａを認識して点灯色等を推定する周知の方法で推定すればよい。本実施例によれば、更に信号機ｂ、ｃ、ｄについても点灯状態を推定できる。例えば信号機ｃ、ｄについては、道路Ｒ４を走行して交差点を通過する車両の有無で赤信号か否かを推定することができる。これは、動画であれば、複数フレームの画像に交差点を通過する車両が周知の画像認識技術により検出できれば信号機ｃ、ｄは青と推定することができる。
【００３７】
また、静止画であっても、当該画像に道路Ｒ４を直進して交差点内を通過中の車両（図７の符号Ｄ）が検出できれば信号機ｃ、ｄは青と推定することができる。即ち、制御部１１は、取得した画像に含まれる車両Ｄ（他車両）の状態に基づいて車両Ｃが走行する道路Ｒ３と交差している道路Ｒ４の信号機の点灯状態を推定する推定部として機能する。
【００３８】
また、信号機ｂについては、対向車線に車両が停止しているか否かによって点灯状態を推定することができる。例えば交差点内を直進して通過する車両が画像から検出されれば信号機ｂは青と推定できる。なお、信号機ｂ、ｃ、ｄの全てについて推定できなくてもよい。他車両の状態から推定可能な信号機のみ推定すればよい。
【００３９】
また、画像だけでなく、記憶部１３に記憶されている地図データを取得して推定に利用してもよい。例えば、信号機の設置位置及び向きの情報が付与されている地図データを取得し、撮像画像中の信号機が地図データ中のどの信号機に該当するかを照合することで、対応する信号機を特定する処理の精度が向上する。また、車線の位置が含まれる地図データを取得し、地図データに含まれる車線の位置と画像中の車両の位置とを照合することで、より精度よく車両の位置を推定することができる。したがって、信号機の点灯状態の推定精度を向上させることができる。また、地図データは記憶部２３に記憶し、必要に応じて情報処理装置１にダウンロードするようにしてもよい。
【００４０】
このように、他車両の状態に基づいて信号機の点灯状態を推定することにより、画像に点灯状態が映っていない信号機であっても、点灯状態の推定が可能である。
【００４１】
図４の説明に戻り、ステップＳ１５において、ステップＳ１４で推定した結果と、推定に用いた画像の撮像時刻や撮像位置、撮像した向き等とを関連付けて、信号機点灯状態推定情報として通信部１２を介してサーバ装置２へ送信（出力）する。ここで、信号機点灯状態推定情報の例を図８に示す。即ち、通信部１２は、画像が撮像された時刻と、当該画像から制御部１１（推定部）が推定した信号機の点灯状態と、を出力する出力部として機能する。
【００４２】
図８は、撮像時刻と、各信号機の点灯状態の推定結果を示している。各信号機の推定結果において、「正面」とは、例えば図６等における車両Ｃの進行方向の車線に対応する信号機ａの点灯状態であり、「対向」とは、例えば道路Ｒ３の車両Ｃが走行する車線の対向車線に対応する信号機ｂである。また、「交差１」とは、例えば車両Ｃの進行方向と交差する道路Ｒ４の一方の方向の車線に対応する信号機ｃ、「交差２」とは、例えば道路Ｒ４の他方の方向の車線に対応する信号機ｄである。「交差１」と「交差２」はそれぞれが示す信号機が逆であってもよい。
【００４３】
そして、図８の情報に撮像位置や撮像した向きの情報を加えることで、サーバ装置２では、どこの交差点における情報か、「正面」や「対向」がどの信号機を示すのか、等を認識することができる。
【００４４】
なお、地図データに信号機の位置情報が含まれている場合は、上記「正面」等に代えて各信号機の位置情報としてもよい。
【００４５】
以上の説明から明らかなように、ステップＳ１２が第１取得工程、ステップＳ１４が推定工程として機能する。
【００４６】
次に、サーバ装置２の動作を図９のフローチャートを参照して説明する。図９に示したフローチャートは制御部２１で動作する。
【００４７】
まず、ステップＳ２１において、制御部２１は、情報処理装置１から送信された信号機点灯状態推定情報を通信部２２を介して取得する。
【００４８】
次に、ステップＳ２２において、制御部２１は、信号機のサイクル情報を生成する。信号機のサイクル情報の例を図１０に示す。図１０は図６等に示した交差点の信号機のサイクル情報である。図１０に示した項目は基本的には図８に示したものと同じであるが、信号機は、例えば設置位置等に基づいて識別がされている。また、時刻は特定の時刻のみの点灯状態でなく、例えば１日や数時間等において所定時間間隔ごとの点灯状態が蓄積されている。なお、図１０では、１０秒間隔であるが、等間隔でなくてもよく、信号機点灯状態推定情報が取得できた時刻について蓄積すればよい。また、既にサイクル情報が生成されている場合は、新たに情報処理装置１から取得した信号機点灯状態推定情報に基づいて更新すればよい。
【００４９】
次に、ステップＳ２３において、制御部２１は、ステップＳ２２で生成した信号機のサイクル情報を記憶部２３に記憶する。
【００５０】
本実施例によれば、情報処理装置１は、制御部１１が、車両に搭載されたカメラ３が撮像した画像を取得し、そして、取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。このようにすることにより、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。
【００５１】
また、制御部１１が状態を推定する信号機は、取得した画像に点灯状態が映っていなくてもよい。このようにすることにより、画像からは点灯状態が不明な信号機について、他車両の状態に基づいて点灯状態を推定することができる。
【００５２】
また、情報処理装置１は、画像が撮像された時刻と、当該画像から制御部１１が推定した信号機の点灯状態と、を出力する通信部１２を備えている。このようにすることにより、例えば制御部１１が推定した信号機の点灯状態をサーバ装置２にアップロードさせることができ、様々な車両からの推定結果に基づいて信号機の点灯状態を含むサイクル情報を生成させることが可能となる。
【００５３】
また、制御部１１は、画像の撮像位置に関する情報及びカメラ３が撮像した向きに関する情報を取得し、画像と、画像の撮像位置に関する情報及び画像の向きに関する情報と、に基づいて信号機の点灯状態を推定している。このようにすることにより、カメラ３が撮像した画像がどこからどのような向きで撮像されたかが分かり、より精度良く当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。
【００５４】
なお、上述した実施例では、特定の日時において撮像された画像から信号機の点灯状態を推定していたが、その画像と、別の日における同じ時刻の画像と、の複数の画像から信号機の点灯状態を推定してもよい。このようにすることにより、特定の日時では推定が困難な場合であっても他の日に撮像された画像も利用して推定することが可能となる。
【００５５】
また、上述した実施例では、情報処理装置１で信号機の点灯状態の推定まで行っていたが、情報処理装置１からカメラ３で撮像された画像及び、撮像位置、撮像方向等をサーバ装置２へ送信して、サーバ装置２で信号機の点灯状態を推定してもよい。このようにすることにより、点灯状態を推定した結果を直接サイクル情報として反映させることができる。また、情報処理装置１の処理負荷を低減させることや、他の車両等からの情報と組み合わせることで信頼性を向上することができる。
【００５６】
また、サーバ装置２で信号機の点灯状態を推定することにより、例えば車両Ｃで撮像された画像のみでなく、同時刻に車両Ｃの前方や後方を走行していた車両や、対向車等で撮像された画像を利用して、統計的に推定することが可能となる。したがって、より信号機の点灯状態の推定精度を向上させることができる。
【００５７】
なお、カメラ３は、常時画像を撮影する必要はない。例えば地図データ等に基づいて交差点等の信号機に接近した場合に撮影を開始すればよい。また、信号機の色が変化した場合や、停止車両が動き始めたことを検知した場合、逆に走行していた車両が停止した場合、車両のブレーキランプの点灯または消灯を検知した場合等のタイミングで撮影を行ってもよい。
【００５８】
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報処理装置を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【００５９】
１        情報処理装置
２        サーバ装置
３        カメラ（撮像部）
４        センサ
１１      制御部（第１取得部、推定部、第２取得部）
１２      通信部（出力部）
１３      記憶部
【図１】
2020021400.tif 000003
【図２】
2020021400.tif 000004
【図３】
2020021400.tif 000005
【図４】
2020021400.tif 000006
【図５】
2020021400.tif 000007
【図６】
2020021400.tif 000008
【図７】
2020021400.tif 000009
【図８】
2020021400.tif 000010
【図９】
2020021400.tif 000011
【図１０】
2020021400.tif 000012