(57)【要約】  案内標識認識装置（１）は、撮像画像中の案内標識の特徴と、既知の案内標識の特徴とを用いて、撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する。
2019193762.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像中の案内標識が存在する領域を検出する案内標識検出部と、
前記案内標識検出部によって検出された領域から案内標識の特徴を検出する特徴検出部と、
前記特徴検出部によって検出された案内標識の特徴と既知の案内標識の特徴とを用いて前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識する案内標識認識部とを備えたこと
を特徴とする案内標識認識装置。
【請求項２】
前記特徴検出部は、前記案内標識検出部によって検出された領域から、案内標識の色、文字および記号に関する特徴を検出し、
前記案内標識認識部は、前記特徴検出部によって検出された案内標識の色、文字および記号に関する特徴と前記既知の案内標識の色、文字および記号に関する特徴とを用いて、前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識すること
を特徴とする請求項１記載の案内標識認識装置。
【請求項３】
前記特徴検出部は、前記撮像画像中の案内標識の特徴と前記既知の案内標識の特徴とを比較して前記撮像画像中の案内標識における前記既知の案内標識の特徴の有無を判定し、前記既知の案内標識の特徴の有無を判定した結果を用いて、前記撮像画像中の案内標識の特徴を示す特徴ベクトルを生成し、
前記案内標識認識部は、前記既知の案内標識の特徴を示す特徴ベクトルと前記撮像画像中の案内標識の特徴を示す特徴ベクトルとを用いて、前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識すること
を特徴とする請求項１記載の案内標識認識装置。
【請求項４】
案内標識検出部が、撮像画像中の案内標識が存在する領域を検出するステップと、
特徴検出部が、前記案内標識検出部によって検出された領域から案内標識の特徴を検出するステップと、
案内標識認識部が、前記特徴検出部によって検出された案内標識の特徴と既知の案内標識の特徴とを用いて前記撮像画像中の案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記撮像画像中の案内標識を認識するステップとを備えたこと
を特徴とする案内標識認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像から案内標識を認識する案内標識認識装置および案内標識認識方法に関する。
【背景技術】
【０００２】
従来から、画像から道路標識を認識する技術が提案されている。
例えば、特許文献１には、画像中のオブジェクトから道路標識の特徴を有した幾何学的図形を判定し、判定した幾何学的図形に対応したテンプレート画像と道路標識の候補画像とを照合した結果に基づいて道路標識を認識する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−７８９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された方法は、道路標識のうち、速度標識のように画一的なデザインの標識の認識には有効であるが、多様なデザインが存在する案内標識を認識する場合は、多様なデザインに対応した多数のテンプレート画像を用意する必要がある。これにより、多数のテンプレート画像と候補画像とを照合する必要があるため、認識が完了するまでに膨大な計算時間がかかる。【０００５】
この発明は上記課題を解決するものであって、案内標識の認識に要するデータ量を削減することができる案内標識認識装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る案内標識認識装置は、案内標識検出部、特徴検出部および案内標識認識部を備える。案内標識検出部は、撮像画像中の案内標識が存在する領域を検出する。特徴検出部は、案内標識検出部によって検出された領域から案内標識の特徴を検出する。案内標識認識部が、特徴検出部によって検出された案内標識の特徴と既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する。
【発明の効果】
【０００７】
この発明によれば、案内標識認識装置は、撮像画像中の案内標識の特徴と既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する。案内標識の特徴から算出した類似度を基準として認識を行うので、認識のために案内標識の画像全体を用意する必要はない。これにより、案内標識の認識に必要なデータ量を削減することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る案内標識認識装置の構成を示すブロック図である。
【図２】実施の形態１に係る案内標識認識方法を示すフローチャートである。
【図３】図３Ａは、案内標識Ｇ１を示す図である。図３Ｂは、案内標識Ｇ２を示す図である。図３Ｃは、案内標識Ｇ３を示す図である。図３Ｄは、案内標識Ｇ４を示す図である。
【図４】図４Ａは、案内標識Ｇ１およびその特徴を示す図である。図４Ｂは、案内標識Ｇ２およびその特徴を示す図である。図４Ｃは、案内標識Ｇ３およびその特徴を示す図である。図４Ｄは、案内標識Ｇ４およびその特徴を示す図である。
【図５】案内標識の特徴を示す図である。
【図６】特徴検出処理を示すフローチャートである。
【図７】案内標識認識処理を示すフローチャートである。
【図８】図８Ａは、実施の形態１に係る案内標識認識装置の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、実施の形態１に係る案内標識認識装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る案内標識認識装置１の構成を示すブロック図である。案内標識認識装置１は、第１記憶装置２に記憶された撮像画像を入力し、入力した撮像画像から案内標識を認識し、認識結果を第２記憶装置３に出力する。第１記憶装置２には、例えば、車両に搭載された撮像装置によって撮像された車外の撮像画像が一時的に記憶される。第２記憶装置３には、案内標識認識装置１による案内標識の自動認識の結果が記憶される。
【００１０】
案内標識認識装置１は、第３記憶装置４、第４記憶装置５および第５記憶装置６に接続されている。第３記憶装置４には、既知の案内標識が撮像された画像から案内標識の画像領域を検出するための学習データが記憶されている。第４記憶装置５には、撮像画像中の案内標識から既知の案内標識の特徴を検出するための学習データが記憶されている。第５記憶装置６には、既知の案内標識の標示内容とこの案内標識の特徴データとが記憶されている。
【００１１】
案内標識認識装置１は、案内標識検出部１０、特徴検出部１１および案内標識認識部１２を備える。案内標識検出部１０は、第３記憶装置４から入力した学習データを用いて、画像から案内標識が存在する領域を検出するように事前に学習されている。案内標識検出部１０は、第１記憶装置２から撮像画像を入力し、入力した撮像画像中の案内標識が存在する領域を検出する。案内標識検出部１０によって検出された案内標識の画像領域を示すデータは、特徴検出部１１に出力される。
【００１２】
特徴検出部１１は、第４記憶装置５から入力した学習データを用いて、案内標識検出部１０によって検出された画像領域から案内標識の特徴を検出するように事前に学習されている。案内標識の特徴は、既知の様々な案内標識の特徴である。特徴の検出方法は、複数の特徴を１つの検出器で検出してもよく、複数の特徴のそれぞれについて個別の検出器で検出してもよい。特徴検出部１１は、案内標識検出部１０から案内標識の画像領域を示すデータを入力し、入力したデータが示す画像領域から案内標識の特徴データを検出する。特徴検出部１１によって検出された特徴データは、案内標識認識部１２に出力される。
【００１３】
案内標識認識部１２は、特徴検出部１１によって検出された案内標識の特徴と第５記憶装置６から入力した既知の案内標識の特徴とを用いて、撮像画像中の案内標識と既知の案内標識との類似度を算出する。案内標識認識部１２は、算出した類似度に基づいて既知の案内標識から撮像画像中の案内標識を認識する。例えば、案内標識認識部１２は、既知の案内標識のうち、類似度が最大の案内標識が撮像画像中の案内標識であると認識する。
【００１４】
次に動作について説明する。
図２は、実施の形態１に係る案内標識認識方法を示すフローチャートである。
案内標識検出部１０は、第１記憶装置２から入力した撮像画像中の案内標識が存在する領域を検出する（ステップＳＴ１）。例えば、案内標識検出部１０は、ニューラルネットワークを用いて撮像画像から案内標識が存在する画像領域を検出する。ニューラルネットワークは、第３記憶装置４から入力した学習データを用いて画像から案内標識が存在する領域を検出するように事前に学習されている。なお、案内標識検出部１０は、撮像画像中のエッジ部分を抽出して案内標識を特定し、特定した案内標識が含まれる矩形領域を検出してもよい。
【００１５】
特徴検出部１１は、案内標識検出部１０によって検出された領域から、案内標識の特徴を検出する（ステップＳＴ２）。例えば、特徴検出部１１は、ニューラルネットワークを用いて案内標識の画像領域から案内標識の特徴を検出する。ニューラルネットワークは、第４記憶装置５から入力した学習データを用いて画像領域から案内標識の特徴を検出するように事前に学習されている。案内標識の特徴には、案内標識の色、文字および記号に関する特徴がある。案内標識の色に関する特徴としては、既存の様々な案内標識の背景色が挙げられる。案内標識の文字に関する特徴は、案内標識に記載されている文字である。案内標識に“ＡＢＣＤ”という文字列が記載されていた場合、案内標識の文字に関する特徴は“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”である。案内標識の記号に関する特徴は、案内標識に記載されている記号である。
【００１６】
特徴検出部１１は、案内標識検出部１０によって検出された領域から検出した案内標識の色、文字および記号に関する特徴と、学習済みの既知の案内標識の色、文字および記号に関する特徴とを比較する。特徴検出部１１は、両者の比較結果に基づいて、撮像画像中の案内標識における既知の案内標識の特徴の有無を判定し、この判定の結果を用いて撮像画像中の案内標識の特徴を示す特徴ベクトルを生成する。例えば、既知の案内標識の文字に関する特徴は、“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”であり、撮像画像中の案内標識には、“Ａ”および“Ｂ”のみが記載されていた場合、撮像画像中の案内標識の特徴を示す特徴ベクトルにおける文字“Ａ”および“Ｂ”に対応する要素に値１が設定され、文字“Ｃ”および“Ｄ”に対応する要素には値０が設定される。
【００１７】
案内標識認識部１２は、特徴検出部１１によって検出された案内標識の特徴と第５記憶装置６から入力した既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から撮像画像中の案内標識を認識する（ステップＳＴ３）。例えば、第５記憶装置６には、既知の案内標識の標示内容とこの案内標識の特徴を示す特徴ベクトルが記憶されている。案内標識認識部１２は、特徴検出部１１によって検出された案内標識の特徴を示す特徴ベクトルと、既知の案内標識の特徴を示す特徴ベクトルとを用いて両者の類似度を算出し、算出した類似度が最も大きいと判定された既知の案内標識が撮像画像中の案内標識であると認識する。
【００１８】
次に、特徴検出処理について詳細に説明する。
図３Ａは、案内標識Ｇ１を示す図であり、案内標識Ｇ１は、料金所のレーン数とＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｔｏｌｌ  Ｃｏｌｌｅｃｔｉｏｎ  Ｓｙｓｔｅｍ；登録商標、以下、登録商標であることの記載を省略する）専用レーンの位置を示す案内標識である。図３Ｂは、案内標識Ｇ２を示す図であり、案内標識Ｇ２は、ＥＴＣを使用しない一般用のレーンであることを示す案内標識である。図３Ｃは、案内標識Ｇ３を示す図であり、案内標識Ｇ３は、一般に対応しておらず、ＥＴＣ専用のレーンであることを示す案内標識である。図３Ｄは、案内標識Ｇ４を示す図であり、案内標識Ｇ４は、案内標識認識装置１の認識対象の案内標識である。
【００１９】
特徴検出部１１は、案内標識Ｇ１、案内標識Ｇ２および案内標識Ｇ３のそれぞれの撮像画像を用いて、画像から、色、文字および記号に関する特徴を検出するように学習されているものとする。図４Ａは、案内標識Ｇ１およびその特徴を示す図である。図４Ｂは、案内標識Ｇ２およびその特徴を示す図である。図４Ｃは、案内標識Ｇ３およびその特徴を示す図である。図４Ｄは、案内標識Ｇ４およびその特徴を示す図である。
【００２０】
図４Ａに示す特徴Ｃ１１は、案内標識Ｇ１の色（緑）であり、図４Ｂに示す特徴Ｃ２１も案内標識Ｇ２の色である。特徴Ｃ１１と特徴Ｃ２１が示す色は同じである。図４Ｃに示す特徴Ｃ３１は、案内標識Ｇ３の色であり、特徴Ｃ３１が示す色（紫）は、特徴Ｃ１１と特徴Ｃ２１が示す色とは異なる色である。
【００２１】
図４Ａに示す特徴Ｃ１２は、案内標識Ｇ１中の文字であり、この文字（Ｅ）は、図４Ｃに示す特徴Ｃ３２と同じ文字である。図４Ａに示す特徴Ｃ１３は、案内標識Ｇ１中の文字であり、この文字（Ｔ）は、図４Ｃに示す特徴Ｃ３３と同じ文字である。図４Ａに示す特徴Ｃ１４は、案内標識Ｇ１中の文字であり、この文字（Ｃ）は、図４Ｃに示す特徴Ｃ３４と同じ文字である。
【００２２】
図４Ｂに示す特徴Ｃ２２は、案内標識Ｇ２中の文字であり、この文字は、図４Ａに示す特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４および特徴Ｃ１５のいずれとも異なる文字である。図４Ｂに示す特徴Ｃ２３は、案内標識Ｇ２中の文字であり、この文字は、特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４、特徴Ｃ１５および特徴Ｃ２２のいずれとも異なる文字である。
【００２３】
図４Ｃに示す特徴Ｃ３５は、案内標識Ｇ３中の文字であり、この文字は、特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４、特徴Ｃ１５、特徴Ｃ２２および特徴Ｃ２３のいずれとも異なる文字である。また、図４Ｃに示す特徴Ｃ３６は、案内標識Ｇ３中の文字であり、この文字は、特徴Ｃ１２、特徴Ｃ１３、特徴Ｃ１４、特徴Ｃ１５、特徴Ｃ２２、特徴Ｃ２３および特徴Ｃ３５のいずれとも異なる文字である。
【００２４】
図４Ａに示す特徴Ｃ１６および特徴Ｃ１７は、案内標識Ｇ１中の記号（矢印）である。
特徴検出部１１は、案内標識Ｇ１、案内標識Ｇ２および案内標識Ｇ３のそれぞれの撮像画像を用いて、画像から、前述した、色、文字および記号に関する特徴を検出するように学習されている。図５は、案内標識の特徴を示す図である。特徴検出部１１には、学習によって、図５に示すような案内標識と特徴との対応データが設定されている。
【００２５】
図５において、案内標識の色を示す欄には、特徴Ｃ１１と特徴Ｃ２１が示す色（緑）の欄ａ１と特徴Ｃ３１が示す色（紫）の欄ａ２とがある。案内標識Ｇ１および案内標識Ｇ２は、両方とも欄ａ１に対応する色を有するので、欄ａ１に“１”が設定され、欄ａ２には“０”が設定されている。案内標識Ｇ３は、欄ａ２に対応する色を有するので、欄ａ２に“１”が設定され、欄ａ１には“０”が設定されている。
【００２６】
図５において、案内標識の文字を示す欄には、特徴Ｃ１２および特徴Ｃ３２が示す文字の欄ｂ１、特徴Ｃ１３と特徴Ｃ３３が示す文字の欄ｂ２、特徴Ｃ１４と特徴Ｃ３４が示す文字の欄ｂ３、特徴Ｃ１５が示す文字の欄ｂ４、特徴Ｃ２２が示す文字の欄ｂ５、特徴Ｃ２３が示す文字の欄ｂ６、特徴Ｃ３５が示す文字の欄ｂ７、および特徴Ｃ３６が示す文字の欄ｂ８がある。
【００２７】
案内標識Ｇ１の特徴Ｃ１２が示す文字と案内標識Ｇ３の特徴Ｃ３２が示す文字とは同じ文字（Ｅ）であることから、案内標識Ｇ１と案内標識Ｇ３の欄ｂ１に“１”が設定され、案内標識Ｇ２には、特徴Ｃ１２が示す文字（Ｅ）はないので、欄ｂ１には“０”が設定されている。
【００２８】
案内標識Ｇ１の特徴Ｃ１３が示す文字と案内標識Ｇ３の特徴Ｃ３３が示す文字とは同じ文字であることから、案内標識Ｇ１と案内標識Ｇ３の欄ｂ２に“１”が設定され、案内標識Ｇ２には、特徴Ｃ１３が示す文字はないので、欄ｂ２には“０”が設定されている。
案内標識Ｇ１の特徴Ｃ１４が示す文字と案内標識Ｇ３の特徴Ｃ３４が示す文字とは同じ文字であることから、案内標識Ｇ１と案内標識Ｇ３の欄ｂ３に“１”が設定され、案内標識Ｇ２には、特徴Ｃ１４が示す文字はないので、欄ｂ３には“０”が設定されている。
【００２９】
案内標識Ｇ１の特徴Ｃ１５が示す文字は、案内標識Ｇ２と案内標識Ｇ３にはないので、案内標識Ｇ１に対応する欄ｂ４には“１”が設定され、案内標識Ｇ２および案内標識Ｇ３に対応する欄ｂ４には“０”が設定されている。案内標識Ｇ２の特徴Ｃ２２が示す文字は案内標識Ｇ１と案内標識Ｇ３にはないので、案内標識Ｇ２に対応する欄ｂ５には、“１”が設定され、案内標識Ｇ１および案内標識Ｇ３に対応する欄ｂ５には“０”が設定されている。
【００３０】
案内標識Ｇ２の特徴Ｃ２３が示す文字は、案内標識Ｇ１と案内標識Ｇ３にはないので、案内標識Ｇ２に対応する欄ｂ６には“１”が設定され、案内標識Ｇ１および案内標識Ｇ３に対応する欄ｂ６には“０”が設定されている。案内標識Ｇ３の特徴Ｃ３５が示す文字は案内標識Ｇ１と案内標識Ｇ２にはないので、案内標識Ｇ３に対応する欄ｂ７には、“１”が設定され、案内標識Ｇ１および案内標識Ｇ２に対応する欄ｂ７には“０”が設定されている。
【００３１】
案内標識Ｇ３の特徴Ｃ３６が示す文字は、案内標識Ｇ１と案内標識Ｇ２にはないので、案内標識Ｇ３に対応する欄ｂ８には、“１”が設定され、案内標識Ｇ１および案内標識Ｇ２に対応する欄ｂ８には“０”が設定されている。
【００３２】
図５において、案内標識の記号を示す欄には、特徴Ｃ１６および特徴Ｃ１７が示す記号（矢印）の欄ｃ１がある。特徴Ｃ１６および特徴Ｃ１７が示す記号（矢印）は、案内標識Ｇ２および案内標識Ｇ３にはないので、案内標識Ｇ１に対応する欄ｃ１には“１”が設定され、案内標識Ｇ２および案内標識Ｇ３に対応する欄ｃ１には“０”が設定されている。
【００３３】
図６は、特徴検出処理を示すフローチャートであって、図２のステップＳＴ２の処理の詳細を示している。特徴検出部１１には、図５に示した案内標識Ｇ１，Ｇ２，Ｇ３の特徴が事前に学習されており、図３Ｄ、図４Ｄおよび図５Ｄに示した案内標識Ｇ４が認識対象である。まず、特徴検出部１１は、案内標識検出部１０によって検出された撮像画像中の案内標識Ｇ４が存在する領域から、案内標識Ｇ４の色、文字および記号に関する特徴を検出する。
【００３４】
特徴検出部１１では、特徴を検出する手法として、畳み込みニューラルネットワーク（以下、ＣＮＮと記載する）を用いてもよい。従来のＣＮＮを用いた画像認識では、事前に収集した案内標識の画像と案内標識の標示内容との組み合わせを学習させたＣＮＮが用いられる。これに対して、実施の形態１における特徴検出部１１では、案内標識の画像中の特徴とその特徴が示す情報（色、文字、記号など）との組み合わせを学習させたＣＮＮを用いる。これにより、学習データである既知の案内標識と認識対象の未知の案内標識とのデザインが異なっていても、両者が同じ特徴を有していれば、その特徴が検出される。
なお、特徴を検出する手法は、案内標識の撮像画像から案内標識の特徴を検出することができる手法であれば、ＣＮＮに限定されるものではない。
【００３５】
特徴検出部１１は、案内標識Ｇ４の色に関するＩ（Ｉは、１以上の自然数）個の設問として、案内標識Ｇ４の色が緑か否かを判定する（ステップＳＴ１ａ−１）。前述した例では、学習データの案内標識の色として緑と紫が学習されており、Ｉ＝１，２である。特徴検出部１１は、案内標識Ｇ４の色が緑であるか否かの判定と、案内標識Ｇ４の色が紫であるか否かの判定とを行う。
【００３６】
案内標識Ｇ４の色が緑であれば（ステップＳＴ１ａ−１；Ｙｅｓ）、特徴検出部１１は特徴ｘ１に“１”を設定する（ステップＳＴ２ａ−１）。一方、案内標識Ｇ４の色が緑ではなれば（ステップＳＴ１ａ−１；Ｎｏ）、特徴検出部１１は特徴ｘ１に“０”を設定する（ステップＳＴ２ａ−２）。続いて、図示を省略したが、特徴検出部１１は、案内標識Ｇ４の色が紫か否かを判定する。ここでは、図４Ｄに示した特徴Ｃ４１が示す色は緑であるので、図５に示すように、案内標識Ｇ４の欄ａ１には“１”が設定され、欄ａ２には“０”が設定される。
【００３７】
特徴検出部１１は、案内標識Ｇ４の文字に関するＪ（Ｊは、１以上の自然数）個の設問として、案内標識Ｇ４が文字“Ｅ”を含むか否かを判定する（ステップＳＴ１ａ−２）。学習データの案内標識の文字として、図５に示した欄ｂ１〜ｂ８に対応する８つの文字が学習されており、Ｊ＝１，２，３，４，５，６，７，８である。特徴検出部１１は、これらの欄に対応する文字を含むか否かの判定を順次行う。
【００３８】
案内標識Ｇ４が文字“Ｅ”を含む場合（ステップＳＴ１ａ−２；Ｙｅｓ）、特徴検出部１１は特徴ｘＩ＋１に“１”を設定する（ステップＳＴ２ａ−３）。案内標識Ｇ４が文字“Ｅ”を含まなければ（ステップＳＴ１ａ−２；Ｎｏ）、特徴検出部１１は、特徴ｘＩ＋１に“０”を設定する（ステップＳＴ２ａ−４）。続いて、図示を省略したが、特徴検出部１１は、案内標識Ｇ４が文字“Ｔ”を含むか否かを判定する。
【００３９】
図４Ｄに示した特徴Ｃ４２は案内標識Ｇ４中の文字“Ｅ”であり、案内標識Ｇ４の特徴Ｃ４２が示す文字と案内標識Ｇ１の特徴Ｃ１２が示す文字は同じ文字であるので、案内標識Ｇ４に対応する欄ｂ１に“１”が設定される。図４Ｄに示した特徴Ｃ４３は案内標識Ｇ４中の文字“Ｔ”であり、案内標識Ｇ４の特徴Ｃ４３が示す文字と案内標識Ｇ１の特徴Ｃ１３が示す文字は同じ文字であるので、案内標識Ｇ４の欄ｂ２に“１”が設定される。図４Ｄに示した特徴Ｃ４４は案内標識Ｇ４中の文字“Ｃ”であり、案内標識Ｇ４の特徴Ｃ４４が示す文字と案内標識Ｇ１の特徴Ｃ１４が示す文字は同じ文字であるので、案内標識Ｇ４の欄ｂ３に“１”が設定される。図４Ｄに示した特徴Ｃ４５は案内標識Ｇ４中の文字であり、案内標識Ｇ４の特徴Ｃ４５が示す文字と案内標識Ｇ１の特徴Ｃ１５が示す文字は同じ文字であるので、案内標識Ｇ４の欄ｂ４には“１”が設定される。
【００４０】
案内標識Ｇ４は、図４Ｂに示した特徴Ｃ２２が示す文字、特徴Ｃ２３が示す文字、図４Ｃに示した特徴Ｃ３５が示す文字、および特徴Ｃ３６が示す文字を含まないので、図５に示すように、案内標識Ｇ４の欄ｂ５〜ｂ８には“０”が設定される。
【００４１】
特徴検出部１１は、案内標識Ｇ４の記号に関するＫ（Ｋは、１以上の自然数）個の設問として、案内標識Ｇ４が記号“矢印”を含むか否かを判定する（ステップＳＴ１ａ−３）。前述した例では、学習データの案内標識の記号として矢印が学習されており、Ｋ＝１である。特徴検出部１１は、案内標識Ｇ４に記号“矢印”が含まれるか否かを判定する。
【００４２】
案内標識Ｇ４が記号“矢印”を含む場合（ステップＳＴ１ａ−３；Ｙｅｓ）、特徴検出部１１は特徴ｘＩ＋Ｊ＋１に“１”を設定する（ステップＳＴ２ａ−５）。案内標識Ｇ４が記号“矢印”を含まなければ（ステップＳＴ１ａ−３；Ｎｏ）、特徴検出部１１は、特徴ｘＩ＋Ｊ＋１に“０”を設定する（ステップＳＴ２ａ−６）。ここでは、図４Ｄに示した特徴Ｃ４６が示す記号は矢印であるので、図５に示すように、案内標識Ｇ４の欄ｃ１には“１”が設定される。
【００４３】
案内標識Ｇ４における学習データの特徴の有無を判定すると、特徴検出部１１は、特徴の有無に応じて設定したデジタル値を要素とした特徴ベクトルｘを生成して案内標識認識部１２に出力する（ステップＳＴ３ａ）。特徴ベクトルｘは、下記式（１）で表すことができる。図５に示すように、図４Ａに示した案内標識Ｇ１と図４Ｄに示した案内標識Ｇ４とでは、デザインが異なるものの、同じ特徴を有している。
ｘ＝（ｘ１，・・・，ｘＩ，ｘＩ＋１，・・・，ｘＩ＋Ｊ，ｘＩ＋Ｊ＋１）Ｔ    ・・・（１）
【００４４】
次に、案内標識認識処理について詳細に説明する。
図７は、案内標識認識処理を示すフローチャートであり、図２のステップＳＴ３の詳細を示している。案内標識認識部１２は、特徴検出部１１によって生成された認識対象の案内標識の特徴ベクトルｘを入力する（ステップＳＴ１ｂ）。この後、案内標識認識部１２は、１〜Ｄまでの繰り返しループに移行する。Ｄは、第５記憶装置６に記憶された既知の案内標識の数である。
【００４５】
案内標識認識部１２は、第５記憶装置６から第ｄ（ｄ＝１〜Ｄ）番目の案内標識の特徴ベクトルｙｄを入力する（ステップＳＴ２ｂ）。次に、案内標識認識部１２は、認識対象の案内標識の特徴ベクトルｘと既知の案内標識の特徴ベクトルｙｄとを用いて、認識対象の案内標識と既知の案内標識との類似度ｃｄを算出する（ステップＳＴ３ｂ）。例えば、案内標識ａと案内標識ｂの類似度は、下記式（２）で求められるコサイン類似度を用いてもよい。下記式（２）において、ｘは案内標識ａの特徴ベクトルであり、ｙは案内標識ｂの特徴ベクトルである。
ｃｏｓ（案内標識ａ，案内標識ｂ）＝ｘ・ｙ／（｜ｘ｜｜ｙ｜）      ・・・（２）
【００４６】
案内標識認識部１２は、上記繰り返しループにおいて、第１番目の案内標識と認識対象の案内標識との類似度ｃ１から第Ｄ番目の案内標識と認識対象の案内標識との類似度ｃＤまでを算出すると、これらの類似度ｃｄのうち、最大の類似度に対応する案内標識が認識対象の案内標識であると認識して出力する（ステップＳＴ４ｂ）。
【００４７】
例えば、上記式（１）および上記式（２）と図５に示した値を用いると、案内標識Ｇ１の特徴ベクトルと認識対象の案内標識Ｇ４の特徴ベクトルとのコサイン類似度は、１．０となる。一方、案内標識Ｇ２の特徴ベクトルと案内標識Ｇ４の特徴ベクトルとのコサイン類似度は、０．２４となり、案内標識Ｇ３の特徴ベクトルと案内標識Ｇ４の特徴ベクトルとのコサイン類似度は、０．５となる。案内標識認識部１２は、案内標識Ｇ１の類似度が最も大きいので、案内標識Ｇ４が案内標識Ｇ１であると認識される。
【００４８】
従来の認識手法では、学習データと異なるデザインの案内標識を認識することができなかった。これに対して、実施の形態１に係る案内標識認識装置１では、案内標識の特徴に基づいて認識対象の案内標識と学習データの案内標識との類似度を判断する。このため、認識対象の案内標識Ｇ４が、学習データである案内標識Ｇ１とは異なるデザインであっても、同じ特徴を多く含んでいるため、同じ標示内容の案内標識であると認識される。
【００４９】
なお、案内標識の特徴として、色、文字および記号を例に挙げたが、特徴から類似度の算出が可能であれば、これら３つの特徴よりも少なくても多くてもよい。
【００５０】
案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能は、処理回路によって実現される。すなわち、案内標識認識装置１は、図２におけるステップＳＴ１からステップＳＴ３までの処理を実行するための処理回路を備えている。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。
【００５１】
図８Ａは、案内標識認識装置１の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、案内標識認識装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図８Ａおよび図８Ｂにおいて、情報入出力インタフェース１００は、案内標識認識装置１と、図１に示した第１記憶装置２、第２記憶装置３、第３記憶装置４、第４記憶装置５および第５記憶装置６との間の情報のやり取りを中継するインタフェースである。
【００５２】
例えば、案内標識検出部１０は、情報入出力インタフェース１００を介して、第１記憶装置２から認識対象の案内標識の画像データを入力し、第３記憶装置４から学習データを入力する。特徴検出部１１は、情報入出力インタフェース１００を介して、第４記憶装置５から学習データを入力する。案内標識認識部１２は、情報入出力インタフェース１００を介して、第５記憶装置６から既知の案内標識の特徴データを入力し、認識結果を第２記憶装置３に出力する。なお、第１記憶装置２、第２記憶装置３、第３記憶装置４、第４記憶装置５および第５記憶装置６は、案内標識認識装置１が備える記憶装置であってもよいが、案内標識認識装置１とは独立して設けられた記憶装置であってもよい。これらの記憶装置は、案内標識認識装置１から通信可能に設けられた記憶装置、例えば、クラウド上に存在する記憶装置であってもよい。
【００５３】
表示器インタフェース１０１は、案内標識認識装置１から不図示の表示器へ出力される情報を中継するインタフェースである。案内標識認識部１２は、表示器インタフェース１０１を介して認識結果を表示器に出力する。表示器は、表示器インタフェース１０１を介して案内標識認識装置１から入力した認識結果を表示する。
【００５４】
上記処理回路が図８Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能を別々の処理回路で実現してもよく、これらの機能をまとめて１つの処理回路で実現してもよい。
【００５５】
上記処理回路が図８Ｂに示すプロセッサ１０３である場合、案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。
【００５６】
プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、案内標識認識装置１における案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能を実現する。すなわち、案内標識認識装置１は、プロセッサ１０３によって実行されるときに、図２に示したステップＳＴ１からステップＳＴ３までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、案内標識検出部１０、特徴検出部１１および案内標識認識部１２の手順または方法をコンピュータに実行させる。メモリ１０４は、コンピュータを、案内標識検出部１０、特徴検出部１１および案内標識認識部１２として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
【００５７】
メモリ１０４には、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
【００５８】
案内標識検出部１０、特徴検出部１１および案内標識認識部１２の機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、案内標識検出部１０は、専用のハードウェアである処理回路で機能を実現し、特徴検出部１１および案内標識認識部１２は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。
【００５９】
以上のように、実施の形態１に係る案内標識認識装置１では、撮像画像中の案内標識の特徴と既知の案内標識の特徴とを用いて撮像画像中の案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて既知の案内標識から撮像画像中の案内標識を認識する。案内標識の特徴から算出した類似度を基準として認識を行うので、認識のために案内標識の画像全体を用意する必要はない。これにより、案内標識の認識に必要なデータ量を削減することができる。
【００６０】
なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００６１】
この発明に係る案内標識認識装置は、案内標識の認識に必要なデータ量を削減することができるので、例えば、案内標識を自動認識して運転を支援する運転支援装置に利用可能である。
【符号の説明】
【００６２】
１  案内標識認識装置、２  第１記憶装置、３  第２記憶装置、４  第３記憶装置、５  第４記憶装置、６  第５記憶装置、１０  案内標識検出部、１１  特徴検出部、１２  案内標識認識部、１００  情報入出力インタフェース、１０１  表示器インタフェース、１０２  処理回路、１０３  プロセッサ、１０４  メモリ。
【図１】
2019193762.tif 000003
【図２】
2019193762.tif 000004
【図３】
2019193762.tif 000005
【図４】
2019193762.tif 000006
【図５】
2019193762.tif 000007
【図６】
2019193762.tif 000008
【図７】
2019193762.tif 000009
【図８】
2019193762.tif 000010
【手続補正書】
【提出日】令和2年5月29日(2020.5.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る案内標識認識装置は、案内標識検出部、特徴検出部および案内標識認識部を備える。案内標識検出部は、撮像画像中の案内標識が存在する領域を検出する。特徴検出部は、案内標識検出部によって検出された領域から案内標識の特徴を検出し、検出された案内標識の特徴と既知の案内標識の特徴とを比較して検出された案内標識における既知の案内標識の特徴の有無を判定し、既知の案内標識の特徴の有無を判定した結果を用いて、検出された案内標識の特徴を示す特徴ベクトルを生成する。案内標識認識部は、特徴検出部によって検出され、生成された案内標識の特徴を示す特徴ベクトルと既知の案内標識の特徴を示す特徴ベクトルとを用いて、特徴検出部によって検出された案内標識と既知の案内標識との類似度を算出し、算出した類似度に基づいて、既知の案内標識から特徴検出部によって検出された案内標識を認識する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明によれば、案内標識認識装置は、特徴検出部によって検出され、生成された案内標識の特徴を示す特徴ベクトルと既知の案内標識の特徴を示す特徴ベクトルとを用いて特徴検出部によって検出された案内標識と既知の案内標識との類似度を算出し、類似度に基づいて、既知の案内標識から特徴検出部によって検出された案内標識を認識する。特徴検出部によって検出された案内標識の特徴を示す特徴ベクトルから算出した類似度を基準として認識を行うので、認識のために案内標識の画像全体を用意する必要はない。これにより、案内標識の認識に必要なデータ量を削減することができる。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像画像中の案内標識が存在する領域を検出する案内標識検出部と、
前記案内標識検出部によって検出された領域から案内標識の特徴を検出し、検出された案内標識の特徴と既知の案内標識の特徴とを比較して前記検出された案内標識における前記既知の案内標識の特徴の有無を判定し、前記既知の案内標識の特徴の有無を判定した結果を用いて、前記検出された案内標識の特徴を示す特徴ベクトルを生成する特徴検出部と、
前記特徴検出部によって生成された前記検出された案内標識の特徴を示す特徴ベクトルと前記既知の案内標識の特徴を示す特徴ベクトルとを用いて、前記検出された案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記検出された案内標識を認識する案内標識認識部とを備えたこと
を特徴とする案内標識認識装置。
【請求項２】
前記特徴検出部によって検出された案内標識の特徴は案内標識の色、文字および記号に関する特徴であり、
前記案内標識認識部によって用いられる前記既知の案内標識の特徴は案内標識の色、文字および記号に関する特徴であること
を特徴とする請求項１記載の案内標識認識装置。
【請求項３】
案内標識検出部が、撮像画像中の案内標識が存在する領域を検出するステップと、
特徴検出部が、前記案内標識検出部によって検出された領域から案内標識の特徴を検出し、検出された案内標識の特徴と既知の案内標識の特徴とを比較して前記検出された案内標識における前記既知の案内標識の特徴の有無を判定し、前記既知の案内標識の特徴の有無を判定した結果を用いて、前記検出された案内標識の特徴を示す特徴ベクトルを生成するステップと、
案内標識認識部が、前記特徴検出部によって生成された前記検出された案内標識の特徴を示す特徴ベクトルと前記既知の案内標識の特徴を示す特徴ベクトルとを用いて、前記検出された案内標識と前記既知の案内標識との類似度を算出し、算出した類似度に基づいて、前記既知の案内標識から前記検出された案内標識を認識するステップとを備えたこと
を特徴とする案内標識認識方法。
【国際調査報告】
2019193762.tif 000011
2019193762.tif 000012