(57)【要約】【課題】補助標識に記載された単語を高精度に認識できる標識認識装置を提供すること。【解決手段】標識認識装置は、画像取得ユニットと、本標識認識ユニットと、補助標識認識ユニットと、第１のデータベースと、第２のデータベースと、第３のデータベースと、第１の確率算出ユニットと、第２の確率算出ユニットと、第１の単語推定ニットと、第２の単語推定ユニットと、意味抽出ユニットと、状況データ取得ユニットと、車両判断ユニットと、を備える。第１の単語推定ユニットは、複数の単語についてそれぞれ算出した、補助標識の部分に単語が存在する確率に基づき、補助標識の部分に存在する単語を推定する。第２の単語推定ユニットは、第１の単語推定ユニットで推定できない部分が残った場合は、第２のデータベースと、第１の単語推定ユニットで推定できた単語とを用いて、第１の単語推定ユニットで推定できない部分の単語を推定する。【選択図】図２
2018116553.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を表す画像を取得する画像取得ユニットと、
前記画像において本標識の種別を認識する本標識認識ユニットと、
前記画像において補助標識を認識する補助標識認識ユニットと、
補助標識に記載されうる単語と本標識の種別との関連度を、前記単語と前記本標識の種別との組み合わせごとに記憶した第１のデータベースと、
前記単語間の関連度を前記単語の組み合わせごとに記憶した第２のデータベースと、
前記単語または前記単語の組み合わせの意味を記憶した第３のデータベースと、
前記画像のうち、前記補助標識認識ユニットが認識した補助標識の部分において前記単語を探索し、その探索結果に基づき、前記補助標識の部分に前記単語が存在する確率を算出する第１の確率算出ユニットと、
前記第１の確率算出ユニットが算出した前記補助標識の部分に前記単語が存在する確率と、前記第１のデータベースに記憶されている前記単語と本標識の種別との関連度とに基づき、前記本標識認識ユニットで認識した本標識の種別が存在するときに、前記補助標識の部分に前記単語が存在する確率を算出する第２の確率算出ユニットと、
複数の前記単語についてそれぞれ算出した前記補助標識の部分に前記単語が存在する確率に基づき、前記補助標識の部分に存在する前記単語を推定する第１の単語推定ニットと、
前記補助標識の部分に、前記第１の単語推定ユニットで推定できない部分が残った場合は、前記第２のデータベースと、前記第１の単語推定ユニットで推定できた前記単語とを用いて、前記第１の単語推定ユニットで推定できない部分に存在する前記単語を推定する第２の単語推定ユニットと、
前記第１の単語推定ユニット及び前記第２の単語推定ユニットの推定結果と、前記第３のデータベースとに基づき、前記補助標識認識ユニットが認識した補助標識の意味を抽出する意味抽出ユニットと、
前記車両の状況を表す状況データを取得する状況データ取得ユニットと、
前記意味抽出ユニットが抽出した前記意味と、前記状況データとを対比して、前記車両が前記本標識認識ユニットで認識した本標識の種別の対象であるか否かを判断する車両判断ユニットと、
を備える標識認識装置。
【請求項２】
請求項１に記載の標識認識装置であって、
前記第１の単語推定ユニット及び前記第２の単語推定ユニットの推定結果を表示する表示ユニットをさらに備える標識認識装置。
【請求項３】
請求項２に記載の標識認識装置であって、
前記表示ユニットは、前記第１の単語推定ユニットで推定できない部分に存在する確率が相対的に高い、前記第２の単語推定ユニットの複数の推定結果を表示するように構成された標識認識装置。
【請求項４】
請求項３に記載の標識認識装置であって、
ユーザの操作に応じて、前記表示ユニットにより表示された前記複数の推定結果のうちのいずれかを選択する選択ユニットをさらに備える標識認識装置。
【請求項５】
請求項４に記載の標識認識装置であって、
前記選択ユニットにより選択された前記推定結果と、前記補助標識における他の単語と、前記本標識認識ユニットで認識した本標識の種別と、を含む情報を外部に出力する情報出力ユニットをさらに備える標識認識装置。
【請求項６】
請求項１〜５のいずれか１項に記載の標識認識装置であって、
前記第１のデータベース及び前記第２のデータベースの記憶内容を、外部サーバの記憶内容を用いて更新する更新ユニットをさらに備える標識認識装置。
【請求項７】
請求項１〜６のいずれか１項に記載の標識認識装置であって、
前記車両の状況は、時刻、前記車両の位置、前記車両の種類、前記車両の車高、前記車両の車重、前記車両の車幅、及び前記車両の車速から成る群から選択される１以上である標識認識装置。
【請求項８】
請求項１〜７のいずれか１項に記載の標識認識装置であって、
前記車両判断ユニットの判断結果に応じて、前記車両の運動を制御する運動制御ユニットをさらに備える標識認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は標識認識装置に関する。
【背景技術】
【０００２】
特許文献１には、標識認識装置が開示されている。この標識認識装置は、補助標識を、パターン認識方法によって可能な限り分類する。パターン認識方法による分類ができなかった場合、テキスト認識方法によって、補助標識中のテキストを読み取る。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５２２０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の標識認識装置では、補助標識に記載された単語を高精度に認識することは困難であった。本開示の一局面は、補助標識に記載された単語を高精度に認識できる標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の一態様は、車両の周辺を表す画像を取得する画像取得ユニットと、前記画像において本標識の種別を認識する本標識認識ユニットと、前記画像において補助標識を認識する補助標識認識ユニットと、補助標識に記載されうる単語と本標識の種別との関連度を、前記単語と前記本標識の種別との組み合わせごとに記憶した第１のデータベースと、前記単語間の関連度を前記単語の組み合わせごとに記憶した第２のデータベースと、前記単語または前記単語の組み合わせの意味を記憶した第３のデータベースと、前記画像のうち、前記補助標識認識ユニットが認識した補助標識の部分において前記単語を探索し、その探索結果に基づき、前記補助標識の部分に前記単語が存在する確率を算出する第１の確率算出ユニットと、前記第１の確率算出ユニットが算出した前記補助標識の部分に前記単語が存在する確率と、前記第１のデータベースに記憶されている前記単語と本標識の種別との関連度とに基づき、前記本標識認識ユニットで認識した本標識の種別が存在するときに、前記補助標識の部分に前記単語が存在する確率を算出する第２の確率算出ユニットと、複数の前記単語についてそれぞれ算出した前記補助標識の部分に前記単語が存在する確率に基づき、前記補助標識の部分に存在する前記単語を推定する第１の単語推定ニットと、前記補助標識の部分に、前記第１の単語推定ユニットで推定できない部分が残った場合は、前記第２のデータベースと、前記第１の単語推定ユニットで推定できた前記単語とを用いて、前記第１の単語推定ユニットで推定できない部分に存在する前記単語を推定する第２の単語推定ユニットと、前記第１の単語推定ユニット及び前記第２の単語推定ユニットの推定結果と、前記第３のデータベースとに基づき、前記補助標識認識ユニットが認識した補助標識の意味を抽出する意味抽出ユニットと、前記車両の状況を表す状況データを取得する状況データ取得ユニットと、前記意味抽出ユニットが抽出した前記意味と、前記状況データとを対比して、前記車両が前記本標識認識ユニットで認識した本標識の種別の対象であるか否かを判断する車両判断ユニットと、を備える標識認識装置である。
【０００６】
本開示の一態様である標識認識装置は、前記第１の確率算出ユニットが算出した前記補助標識の部分に前記単語が存在する確率と、前記第１のデータベースに記憶されている前記単語と本標識の種別との関連度とに基づき、補助標識に存在する単語を推定する。前記第１のデータベースに記憶されている前記単語と本標識の種別との関連度は、本標識の種別に対する単語の出現頻度を反映している。そのため、カメラを利用する一般的な文字認識アルゴリズムのみを用いる場合よりも、高精度に単語を推定することができる。
【０００７】
そのことにより、補助標識の意味を高精度に抽出することができる。さらに、補助標識の意味を高精度に抽出できるため、車両が本標識の対象であるか否かを高精度に判断することができる。
【０００８】
また、本開示の一態様である標識認識装置は、第１の単語推定ユニットで推定できない部分が残った場合でも、第２のデータベースの記憶内容と、第１の単語推定ユニットで推定できた単語とを用いて、第１の単語推定ユニットで推定できない部分の単語を推定することができる。
【図面の簡単な説明】
【０００９】
【図１】標識認識システム１及び標識認識装置３の構成を表すブロック図である。
【図２】制御部７の機能的構成を表すブロック図である。
【図３】図３Ａ及び図３Ｂは、それぞれ、確率Ｐ（ａ｜ｗ）を表す説明図である。
【図４】つながり確率を表す説明図である。
【図５】標識認識装置３が実行する処理を表すフローチャートである。
【図６】本標識６９、補助標識７１、及び単語存在領域７３を表す説明図である。
【図７】単語ｗｉを推定する方法を表す説明図である。
【図８】つながり確率を用いて単語ｘを推定する方法を表す説明図である。
【発明を実施するための形態】
【００１０】
本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．標識認識システム１及び標識認識装置３の構成
標識認識システム１及び標識認識装置３の構成を図１〜図４に基づき説明する。図１に示すように、標識認識システム１は、標識認識装置３と、外部サーバ５と、を備える。標識認識装置３は車両に搭載される車載装置である。標識認識装置３を搭載する車両を以下では自車両とする。標識認識装置３は、制御部７と、第１のＤＢ（データベース）９と、第２のＤＢ（データベース）１１と、第３のＤＢ（データベース）１３と、を備える。
【００１１】
制御部７は、ＣＰＵ１５と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１７とする）と、を有する周知のマイクロコンピュータを中心に構成される。制御部７の各種機能は、ＣＰＵ１５が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１７が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、制御部７を構成するマイクロコンピュータの数は１つでも複数でもよい。
【００１２】
制御部７は、ＣＰＵ１５がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット１９と、本標識認識ユニット２１と、補助標識認識ユニット２３と、第１の確率算出ユニット２５と、第２の確率算出ユニット２７と、第１の単語推定ユニット３１と、第２の単語推定ユニット３３と、意味抽出ユニット３５と、状況データ取得ユニット３７と、車両判断ユニット３９と、表示ユニット４１と、選択ユニット４３と、情報出力ユニット４５と、更新ユニット４７と、運動制御ユニット４９と、を備える。
【００１３】
制御部７を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【００１４】
第１のＤＢ９は、補助標識に単語ｗが存在するときに、その補助標識に対応する本標識の種別として、本標識ａが存在する確率Ｐ（ａ｜ｗ）を、本標識ａと単語ｗとの組み合わせごとに記憶している。確率Ｐ（ａ｜ｗ）は、補助標識に記載されうる単語と本標識の種別との関連度に対応する。
【００１５】
例えば、図３Ａに示すように、補助標識に「自転車」という単語ｗ１が存在するときに、その補助標識に対応する本標識として、本標識ａが存在する確率Ｐ（ａ｜ｗ１）を、各種の本標識ａと「自転車」（単語ｗ１）との組み合わせごとに記憶している。
【００１６】
また、例えば、図３Ｂに示すように、補助標識に「停止」という単語ｗ２が存在するときに、その補助標識に対応する本標識として、本標識ａが存在する確率Ｐ（ａ｜ｗ２）を、各種の本標識ａと「停止」（単語ｗ２）との組み合わせごとに記憶している。単語ｗ１、ｗ２は単語ｗの一例である。
【００１７】
なお、本明細書において単語ｗとは、必ずしも一般的な意味での単語には限定されず、１又は複数の文字から成るものを広く意味する。文字には、漢字、ひらがな、かたかな、数字、ローマ字、記号等が含まれる。
【００１８】
第２のＤＢ１１は、補助標識に単語ｗ又は単語ｗの群が存在するときに、その補助標識に単語ｘが存在する確率（以下ではつながり確率とする）を、単語ｗ又は単語ｗの群と、単語ｘとの組み合わせごとに記憶している。単語ｘは、補助標識において、例えば、単語ｗの直後に位置してもよいし、単語ｗの直前に位置してもよいし、単語ｗから離れた位置にあってもよい。また、単語ｘは、第１の単語ｗと、第２の単語ｗとの間に位置してもよい。つながり確率は、単語間の関連度に対応する。
【００１９】
例えば、第２のＤＢ１１は、図４に示すように、補助標識に「自転車」という単語ｗが存在するときに、その補助標識において「自転車」の直後に「を」という単語ｘが存在するつながり確率（０．４）を記憶している。
【００２０】
また、例えば、第２のＤＢ１１は、図４に示すように、補助標識に「自転車」という単語ｗが存在するときに、その補助標識において「自転車」の直後に「除く」という単語ｘが存在するつながり確率（０．０９）を記憶している。
【００２１】
また、第２のＤＢ１１は、補助標識における最初の単語の確率も記憶している。例えば、図４に示すように、最初の単語が「自転車」である確率は０．１であり、最初の単語が「１」である確率は０．０１である。
【００２２】
第３のＤＢ１３は、それぞれの単語の意味を記憶している。自車両には、標識認識装置３に加えて、カメラ５１、運動制御装置５３、表示装置５５、通信装置５７、及び入力装置５９が設けられている。
【００２３】
カメラ５１は、自車両の周辺を撮影し、画像を作成する。その画像は、自車両の周辺を表す画像である。カメラ５１は、作成した画像を標識認識装置３に出力する。
運動制御装置５３は自車両の運動を制御する。自車両の運動の制御として、例えば、駐車、右左折、速度制御、走行レーンの変更等が挙げられる。
【００２４】
表示装置５５は、自車両の車室内に設けられているディスプレイである。表示装置５５は、標識認識装置３からの信号に応じて画像を表示する。通信装置５７は、外部サーバ５と無線通信を行う装置である。入力装置５９は、自車両の車室内に設けられ、ドライバの入力操作を受け付ける。ドライバはユーザに対応する。入力装置５９は、入力操作に応じた信号を標識認識装置３に出力する。
【００２５】
外部サーバ５は、自車両の外部に固定設置されている。外部サーバ５は、制御部６１と、サーバＤＢ６３と、通信装置６５と、を備える。制御部６１は周知のマイクロコンピュータを中心に構成され、後述する処理を実行する。サーバＤＢ６３は、第１のＤＢ９及び第２のＤＢ１１と同様の内容を記憶している。通信装置６５は、標識認識装置３の通信装置５７との間で無線通信を行う。
【００２６】
２．標識認識装置３が実行する処理
標識認識装置３が所定時間ごとに繰り返し実行する処理を図５〜図８に基づき説明する。図５のステップ１では、更新ユニット４７が、通信装置５７を用いて外部サーバ５と通信し、サーバＤＢ６３の記憶内容を取得して、第１のＤＢ９及び第２のＤＢ１１の記憶内容を最新のものに更新する。なお、外部サーバ５は、後述するステップ２０で送信された情報を用いて、サーバＤＢ６３の記憶内容を最新のものに更新している。
【００２７】
ステップ２では、画像取得ユニット１９が、カメラ５１を用いて、自車両の周辺を表す画像を取得する。
ステップ３では、本標識認識ユニット２１が、前記ステップ２で取得した画像において本標識を認識する処理を行い、本標識が存在するか否かを判断する。
【００２８】
本標識を認識する処理としては、例えば、カメラを利用する一般的な標識認識アルゴリズムを用いることができる。標識認識アルゴリズムとして、例えば、パターン認識により標識を認識する手法が挙げられる。パターン認識により標識を認識する手法として、例えば、SVM(support vector machine)等が挙げられる。SVMでは、学習時には学習サンプルとして標識データと標識以外のデータとを用意しておき、高次の特徴空間において、各データ点との距離が最大となる識別平面を求める。識別時にはその識別平面を用いて入力画像に標識が含まれるか否かを判別する。また、本標識を認識する処理は、例えば、画像特徴からルールベースで本標識を認識する方法や、CNN(Convolutional Neural Network)により学習する方法であってもよい。
【００２９】
前記ステップ２で取得した画像に本標識が存在すると判断した場合はステップ４に進み、それ以外の場合は本処理を終了する。
ステップ４では、前記ステップ３で存在すると判断した本標識の種別を本標識認識ユニット２１が認識する。以下では、認識した種別をａとする。
【００３０】
ステップ５では、補助標識認識ユニット２３が、前記ステップ２で取得した画像において補助標識を認識する処理を行い、補助標識が存在するか否かを判断する。補助標識の認識においては、補助標識の形状に加えて、本標識と補助標識との位置関係を利用してもよい。例えば、本標識の周辺に限定して、あるいは、本標識の周辺を優先して、補助標識を認識することができる。補助標識の形状を用いて補助標識を認識する方法は、例えば、本標識を認識する方法と同様とすることができる。
【００３１】
前記ステップ２で取得した画像に補助標識が存在すると判断した場合はステップ６に進み、それ以外の場合は本処理を終了する。
なお、図６に、前記ステップ２で取得した画像６７と、前記ステップ３で認識したと判断した本標識６９と、前記ステップ５で認識したと判断した補助標識７１と、の例を示す。
【００３２】
ステップ６では、補助標識認識ユニット２３が、前記ステップ２で取得した画像において、単語存在領域を設定する。単語存在領域とは、認識された補助標識の一部の領域であって、一般的に、単語が記載されている領域である。図６に、単語存在領域７３の例を示す。
【００３３】
ステップ７では、変数ｉを、初期値である１とする。
ステップ８では、第１の確率算出ユニット２５が、単語存在領域７３において単語ｗｉを探索する。単語ｗｉは、第１のＤＢ９に記憶されている単語である。
【００３４】
ステップ９では、前記ステップ８における探索の結果に基づき、単語存在領域７３に単語ｗｉが存在する確率Ｐ（ｗｉ）を算出する。例えば、図７に示すように、探索の結果、単語存在領域７３の一部である部分Ａｊに、単語ｗｉが見つかった場合、その部分Ａｊに単語ｗｉが存在する確率Ｐ（ｗｉ）を算出する。確率Ｐ（ｗｉ）の算出は、カメラを利用する一般的な文字認識アルゴリズムにより行うことができる。
【００３５】
ステップ１０では、補助標識の単語存在領域７３に単語ｗｉが存在するときに、その補助標識に対応して本標識ａが存在する確率Ｐ（ａ｜ｗｉ）を、第１のＤＢ９に基づき、第２の確率算出ユニット２７が算出する。
【００３６】
ステップ１１では、第２の確率算出ユニット２７が、前記ステップ９で算出した確率Ｐ（ｗｉ）と、前記ステップ１０で算出した確率Ｐ（ａ｜ｗｉ）とを乗算して、確率Ｐ（ｗｉ｜ａ）を算出する。確率Ｐ（ｗｉ）と確率Ｐ（ｗｉ｜ａ）とを乗算することは、それらに基づく算出方法に対応する。確率Ｐ（ｗｉ｜ａ）の算出は、以下の式（１）に基づく。本標識ａは認識されているので、式（１）においてＰ（ａ）は１である。
【００３７】
【数１】
2018116553.tif 000003
【００３８】
確率Ｐ（ｗｉ｜ａ）は、前記ステップ４で種別を認識した本標識ａが存在するときに、単語存在領域７３における部分Ａｊに単語ｗｉが存在する確率を意味する。
ステップ１２では、ｉがＮに等しいか否かを判断する。Ｎは定数である。Ｎは、第１のＤＢ９に記憶されている単語ｗの総数であってもよいし、総数より小さい値であってもよい。Ｎが単語ｗの総数より小さい場合、ｗ１〜ｗＮは、例えば、第１のＤＢ９に記憶されている単語ｗの中で、本標識ａが存在するときに存在する確率が相対的に高い上位Ｎ個の単語とすることができる。
【００３９】
ｉがＮに等しい場合はステップ１４に進み、それ以外の場合はステップ１３に進む。
ステップ１３では、ｉの値を１だけ増して、ステップ８に進む。
ステップ１４では、前記ステップ６〜１３の処理により、複数の単語ｗｉ（ｉは１〜Ｎ）についてそれぞれ算出した確率Ｐ（ｗｉ｜ａ）に基づき、単語存在領域７３に存在する単語ｗｉを第１の単語推定ユニット３１が推定する。
【００４０】
例えば、図７に示す例において、部分Ａｊについて算出した確率Ｐ（ｗｉ｜ａ）の中で、確率Ｐ（ｗｙ｜ａ）の値が、他の確率Ｐ（ｗｉ｜ａ）（ここで、ｉは１〜（ｙ−１）、（ｙ+１）〜Ｎ）より大きく、且つ、予め設定した閾値を超えている場合は、部分Ａｊに存在する単語は、単語ｗｙであると推定する。ｙは、１〜Ｎのいずれかである。
【００４１】
また、部分Ａｊについて算出した確率Ｐ（ｗｉ｜ａ）の中に、予め設定した閾値を超えるものが無い場合は、部分Ａｊに存在する単語は、その時点では推定できないとする。この場合、部分Ａｊは、後述する単語推定不可部分となる。
【００４２】
ステップ１５では、前記ステップ１４の処理において、単語存在領域７３の中に、単語を推定できない部分（以下では単語推定不可部分とする）が残ったか否かを、第２の単語推定ユニット３３が判断する。単語推定不可部分が残った場合はステップ１６に進み、単語推定不可部分が残らなかった場合はステップ２１に進む。
【００４３】
ステップ１６では、第２の単語推定ユニット３３が、第２のＤＢ１１と、前記ステップ１４で推定できた単語ｗｉとを用いて、単語推定不可部分に存在する単語ｘを推定する。
例えば、図８に示すように、単語存在領域７３のうち、部分Ａｊが単語推定不可部分であり、その前後の部分Ａｊ−２、Ａｊ−１、Ａｊ＋１、Ａｊ＋２では、前記ステップ１４で単語を推定できているとする。
【００４４】
第２の単語推定ユニット３３は、部分Ａｊ−２、Ａｊ−１、Ａｊ＋１、Ａｊ＋２のいずれかで推定されている単語ｗｉに、第２のＤＢ１１に記憶されているつながり確率を当てはめて、単語推定不可部分に存在する単語ｘを推定する。
【００４５】
さらに詳しくは、第２の単語推定ユニット３３は、単語推定不可部分に存在する確率が相対的に高い、複数の単語ｘを推定する。例えば、第２の単語推定ユニット３３は、単語推定不可部分に存在する確率が最も高い単語ｘ、２番目に高い単語ｘ・・・Ｌ番目に高い単語ｘをそれぞれ推定する。Ｌは２以上の整数である。
【００４６】
ステップ１７では、表示ユニット４１が、前記ステップ１４で推定した単語ｗｉを表示装置５５に表示するとともに、前記ステップ１６で推定した複数の単語ｘを表示装置５５に表示する。なお、ドライバは、その表示を見て、入力装置５９を用い、複数の単語ｘのうちのいずれか１つを選択する処理を行うことができる。
【００４７】
ステップ１８では、ドライバによる入力装置５９への入力があったか否かを選択ユニット４３が判断する。入力があった場合はステップ１９に進み、入力がなかった場合は本処理を終了する。
【００４８】
ステップ１９では、前記ステップ１６で推定した複数の単語ｘのうち、ドライバの入力により選択された１つの単語ｘを選択し、その選択された単語ｘが、単語推定不可部分に存在すると推定する。
【００４９】
ステップ２０では、前記ステップ１９で選択された単語ｘと、前記ステップ１４で推定された、単語推定不可部分以外の部分における他の単語ｗｉと、前記ステップ４で認識した本標識ａと、を含む情報を、情報出力ユニット４５が通信装置５７を用いて外部サーバ５に出力する。
【００５０】
なお、外部サーバ５は、標識認識装置３から得た情報を用いて、サーバＤＢ６３の記憶内容を更新する。すなわち、標識認識装置３から得た情報を用いて、確率Ｐ（ａ｜ｗ）を更新する。例えば、標識認識装置３から得た情報の内容が、本標識ａと、単語ｗｉとを含むものである場合、Ｐ（ａ｜ｗｉ）の値を、その情報の分だけ大きくする。
【００５１】
また、外部サーバ５は、標識認識装置３から得た情報を用いて、つながり確率を更新する。例えば、標識認識装置３から得た情報の内容が、単語ｗｉの後に単語ｘが存在するというものである場合、単語ｗｉの後に単語ｘが存在するつながり確率を、その情報の分だけ大きくする。
【００５２】
ステップ２１では、意味抽出ユニット３５が、第３のＤＢ１３の記憶を用いて、前記ステップ１６、１９で推定した単語の意味を抽出する。さらに、意味抽出ユニット３５は、各単語の意味に基づき、補助標識全体の意味を抽出する。
【００５３】
ステップ２２では、状況データ取得ユニット３７が、自車両の状況を表す状況データを取得する。自車両の状況とは、時刻、自車両の位置、自車両の種類、自車両の車高、自車両の車重、自車両の車幅、及び自車両の車速である。
【００５４】
状況データ取得ユニット３７は、図示しない時計から時刻を取得する。状況データ取得ユニット３７は、図示しないＧＰＳと地図データとから、自車両の位置を取得する。自車両の車高、自車両の車重、及び自車両の車幅は予めメモリ１７に記憶されている。状況データ取得ユニット３７は、図示しない車速センサから自車両の車速を取得する。
【００５５】
ステップ２３では、前記ステップ２１で抽出した補助標識の意味と、前記ステップ２２で取得した状況データとを対比して、自車両が、前記ステップ４で種別を認識した本標識ａの対象であるか否かを、車両判断ユニット３９が判断する。
【００５６】
例えば、補助標識の意味が「９時から１２時まで」等の時刻を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである時刻と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００５７】
また、補助標識の意味が、「ＸＸ市内全域」等の位置を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである自車両の位置と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００５８】
また、補助標識の意味が、「軽自動車を除く」等の車両の種類を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである自車両の種類と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００５９】
また、補助標識の意味が、「２ｍ以下」等、車高を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである自車両の車高と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００６０】
また、補助標識の意味が、「２ｔ以下」等の車両の重量を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである自車両の重量と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００６１】
また、補助標識の意味が、「幅２ｍ以下」等の車幅を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである自車両の車幅と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００６２】
また、補助標識の意味が、「安全速度３０」等の速度を限定する意味である場合、その補助標識の意味を、自車両の状況の１つである自車両の車速と対比することで、自車両が前記ステップ４で種別を認識した本標識ａの対象であるか否かを判断できる。
【００６３】
ステップ２４では、運動制御ユニット４９が、前記ステップ２３での判断結果に応じ、運動制御装置５３を用いて、自車両の運動を制御する。
前記ステップ２３での判断結果に応じた自車両の運動とは、例えば、以下のようなものである。自車両が本標識ａの対象であると判断した場合は、本標識の意味に従う運動を行う。例えば、本標識ａが駐車禁止を意味する場合、その場所には駐車しない。また、本標識ａが右折禁止を意味する場合、右折をしない。一方、自車両が本標識ａの対象ではないと判断した場合は、本標識ａの意味に制限されない運動を行う。
【００６４】
また、ステップ２４では、前記ステップ２３での判断結果に応じ、必要な場合は、表示装置５５に表示、警告等を行う。
３．標識認識装置３が奏する効果
（１Ａ）標識認識装置３は、確率Ｐ（ｗｉ｜ａ）に基づき、単語存在領域７３に存在する単語ｗｉを推定する。確率Ｐ（ｗｉ｜ａ）は、本標識ａに対する単語ｗｉの出現頻度を反映させた確率である。そのため、カメラを利用する一般的な文字認識アルゴリズムのみを用いる場合よりも、高精度に単語ｗｉを推定することができる。
【００６５】
そのことにより、補助標識の意味を高精度に抽出することができる。さらに、補助標識の意味を高精度に抽出できるため、自車両が本標識ａの対象であるか否かを高精度に判断することができる。
【００６６】
（１Ｂ）標識認識装置３は、単語推定不可部分が残った場合でも、つながり確率を用いて、単語推定不可部分の単語ｘを推定することができる。
（１Ｃ）標識認識装置３は、補助標識において推定した単語を表示装置５５に表示する。そのため、ドライバが補助標識を見落とすことを抑制できる。
【００６７】
（１Ｄ）標識認識装置３は、前記ステップ１７において、単語推定不可部分に存在する確率が相対的に高い、複数の推定結果を表示装置５５に表示する。そのため、１のみの推定結果を表示する場合に比べて、正しい推定結果を表示できなくなってしまうことを抑制できる。
【００６８】
（１Ｅ）標識認識装置３は、入力装置５９に対するドライバの操作に応じて、前記ステップ１７において表示した複数の推定結果のうち、いずれか１つを選択する。そのため、ドライバの選択により、正しい単語を推定できる。
【００６９】
（１Ｆ）標識認識装置３は、前記ステップ１９で選択された単語ｘと、前記ステップ１４で推定された、単語推定不可部分以外の部分における他の単語ｗｉと、前記ステップ４で認識した本標識ａと、を含む情報を、通信装置５７を用いて外部サーバ５に出力する。
【００７０】
外部サーバ５は、標識認識装置３から得た情報を用いて、サーバＤＢ６３の記憶内容を更新することができる。そのため、サーバＤＢ６３の記憶内容をより適切なものとすることができる。また、補助標識に新しい単語が登場した場合でも、サーバＤＢ６３の記憶内容をその新しい単語に対応させることができる。
【００７１】
（１Ｇ）標識認識装置３は、第１のＤＢ９及び第２のＤＢ１１の記憶内容を、外部サーバ５の記憶内容を用いて更新することができる。そのため、第１のＤＢ９及び第２のＤＢ１１の記憶内容をより適切なものとすることができる。また、補助標識に新しい単語が登場した場合でも、第１のＤＢ９及び第２のＤＢ１１の記憶内容をその新しい単語に対応させることができる。
【００７２】
（１Ｈ）標識認識装置３は、車両の状況として、時刻、自車両の位置、自車両の種類、自車両の車高、自車両の車重、自車両の車幅、及び自車両の車速を含む。そのため、自車両が本標識ａの対象であるか否かを一層適切に判断することができる。
【００７３】
（１Ｉ）標識認識装置３は、車両判断ユニット３９の判断結果に応じて、自車両の運動を制御する。そのため、本標識及び補助標識の意味に対して適切な運動を行うことができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００７４】
（１）標識認識装置３は、前記ステップ２０で出力する情報を用いて、第１のＤＢ９及び第２のＤＢ１１の記憶内容を更新することができる。更新の方法は、サーバＤＢ６３を更新する方法と同様である。また、標識認識装置３は、前記ステップ２０で情報を出力せず、第１のＤＢ９及び第２のＤＢ１１の記憶内容を更新してもよい。
【００７５】
（２）第２のＤＢ１１には、自車両情報と、単語ｘとの関係を格納しておいてもよい。例えば、自車両情報の一例である自車両の位置と、単語ｘとの関係を格納しておいてもよい。例えば、自車両の位置が、商店街入り口等である場合、「特定許可車両を除く」「9-17」等、車両の種類や時間を限定する単語ｘの確率を高くすることができる。また、例えば、ナビ地図情報により高架下を通過することが判断できる場合、「２ｍ以下」等の車高を限定する単語ｗｉの確率を高くすることができる。
【００７６】
（３）一定時間あるいは一定空間範囲内で認識した単語ｘに対するつながり確率を、それ以外の場合よりも高くしてもよい。例えば、「軽自動車を除く」等、車両の種類を限定する単語ｘを認識した場合、その単語ｘに対するつながり確率を、それ以外の場合よりも高くしてもよい。
【００７７】
（４）認識した単語を、補助標識か否かの判定に用いてもよい。例えば、認識した物体の中に、第１のＤＢ９又は第２のＤＢ１１に格納されていないような単語が頻出した場合、その物体が補助標識である確率を下げることができる。そのことにより、補助標識でない看板等を、補助標識として認識してしまうことを抑制できる。
【００７８】
（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００７９】
（６）上述した標識認識装置の他、当該標識認識装置を構成要素とするシステム、当該標識認識装置の制御部としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、標識認識方法、車両制御方法、運転支援方法等、種々の形態で本開示を実現することもできる。
【符号の説明】
【００８０】
１…標識認識システム、３…標識認識装置、５…外部サーバ、７…制御部、９…第１のＤＢ、１１…第２のＤＢ、１３…第３のＤＢ、１５…ＣＰＵ、１７…メモリ、１９…画像取得ユニット、２１…本標識認識ユニット、２３…補助標識認識ユニット、２５…第１の確率算出ユニット、２７…第２の確率算出ユニット、３１…第１の単語推定ユニット、３３…第２の単語推定ユニット、３５…意味抽出ユニット、３７…状況データ取得ユニット、３９…車両判断ユニット、４１…表示ユニット、４３…選択ユニット、４５…情報出力ユニット、４７…更新ユニット、４９…運動制御ユニット、５１…カメラ、５３…運動制御装置、５５…表示装置、５７…通信装置、５９…入力装置、６１…制御部、６３…サーバＤＢ、６５…通信装置、６７…画像、６９…本標識、７１…補助標識、７３…単語存在領域
【図１】
2018116553.tif 000004
【図２】
2018116553.tif 000005
【図３】
2018116553.tif 000006
【図４】
2018116553.tif 000007
【図５】
2018116553.tif 000008
【図６】
2018116553.tif 000009
【図７】
2018116553.tif 000010
【図８】
2018116553.tif 000011