(57)【要約】【課題】画像情報のみならず地域固有の情報を用いて車両の周辺環境を数値化する環境数値化装置を実現する。【解決手段】車両の周辺の画像情報を取得する狭域周辺情報取得部１２と、画像情報から抽出した対象物の属性を特定する対象物分類部２０と、車両が位置する地域についての地域情報を取得する広域周辺情報取得部３２と、地域情報から抽出した地域の特徴を示す単語の出現頻度に基づいて、前記地域の特徴を推定する特徴判別部４０と、対象物分類部２０により特定された対象物の属性と、特徴判別部４０により推定された地域の特徴との組み合わせに基づいて、車両の周辺環境を数値化する数値出力部５０と、を備えている。【選択図】図１
2020035092.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺の画像情報を取得する画像情報取得部と、
前記画像情報から抽出した対象物の属性を特定する特定部と、
前記車両が位置する地域についての地域情報を取得する地域情報取得部と、
前記地域情報から抽出した地域の特徴を示す単語の出現頻度に基づいて、前記地域の特徴を推定する推定部と、
前記特定部により特定された前記対象物の属性と、前記推定部により推定された前記地域の特徴との組み合わせに基づいて、前記車両の周辺の環境を数値化する数値化部と、
を備えた環境数値化装置。
【請求項２】
前記特定部は、前記対象物を示す単語を属性別に登録した辞書を参照して前記対象物の属性を特定する請求項１に記載の環境数値化装置。
【請求項３】
前記特定部は、前記画像情報から抽出した前記対象物の個数に応じて前記対象物の属性を特定する請求項１に記載の環境数値化装置。
【請求項４】
前記属性の各々は、前記属性の各々に共通する傾向の強弱に応じた数値が予め設定され、前記地域の特徴は、該特徴の強弱に応じた数値が予め設定され、
前記数値化部は、前記属性に対して設定された数値の最大値を下位の桁にし、前記地域の特徴に対して設定された数値の最大値を上位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を下位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を上位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする請求項１〜３のいずれか１項に記載の環境数値化装置。
【請求項５】
前記属性の各々は、前記属性の各々に共通する傾向の強弱に応じた数値が予め設定され、前記地域の特徴は、該特徴の強弱に応じた数値が予め設定され、
前記数値化部は、前記属性に対して設定された数値の最大値を上位の桁にし、前記地域の特徴に対して設定された数値の最大値を下位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を上位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を下位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする請求項１〜３のいずれか１項に記載の環境数値化装置。
【請求項６】
前記数値化部が出力した数値に基づいて、前記車両の照明機器又は表示機器の制御を行う機器制御部をさらに備えた請求項１〜５のいずれか１項に記載の環境数値化装置。
【請求項７】
前記機器制御部は、前記数値化部が出力した数値に基づいて、前記車両の周辺環境の様子を色情報で出力するように前記車両の照明機器を制御する請求項６に記載の環境数値化装置。
【請求項８】
前記機器制御部は、前記数値化部が出力した数値に基づいて、前記車両の周辺環境の様子を音声又は文字、図形、記号若しくはこれらの結合による視覚情報で出力するように車両の表示機器を制御する請求項６に記載の環境数値化装置。
【請求項９】
前記画像情報取得部は、前記車両の車載カメラを用いて前記画像情報を取得する請求項１〜８のいずれか１項に記載の環境数値化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境数値化装置に係り、特に、車両の周辺環境を数値化して出力する環境数値化装置に関する。
【背景技術】
【０００２】
車両の周辺環境を数値化することにより、周辺環境に適合した車両又は車両搭載機器の制御を行うことが提案されている。
【０００３】
特許文献１には、車載カメラによって取得した画像情報から車両の乗員が注目する車外の対象物を視線方向で検出し、検出した対象物に関する質問を音声認識し、当該対象物に関する情報を提供する運転支援装置の発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９０７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明は、画像情報からのみ周辺環境を数値化するので、画像情報に含まれない事項は処理できない。従って、画像情報に反映されていない地域固有の情報を含めて車両の周辺情報を数値化することが困難であるというおそれがあった。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、画像情報のみならず地域固有の情報を用いて車両の周辺環境を数値化する環境数値化装置を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の環境数値化装置は、車両の周辺の画像情報を取得する画像情報取得部と、前記画像情報から抽出した対象物の属性を特定する特定部と、前記車両が位置する地域についての地域情報を取得する地域情報取得部と、前記地域情報から抽出した地域の特徴を示す単語の出現頻度に基づいて、前記地域の特徴を推定する推定部と、前記特定部により特定された前記対象物の属性と、前記推定部により推定された前記地域の特徴との組み合わせに基づいて、前記車両の周辺の環境を数値化する数値化部と、を備えている。
【０００８】
また、請求項２に記載の環境数値化装置は、請求項１に記載の環境数値化装置において、前記特定部は、前記対象物を示す単語を属性別に登録した辞書を参照して前記対象物の属性を特定する。
【０００９】
また、請求項３に記載の環境数値化装置は、請求項１に記載の環境数値化装置において、前記特定部は、前記画像情報から抽出した前記対象物の個数に応じて前記対象物の属性を特定する。
【００１０】
また、請求項４に記載の環境数値化装置は、請求項１〜３のいずれか１項に記載の環境数値化装置において、前記属性の各々は、前記属性の各々に共通する傾向の強弱に応じた数値が予め設定され、前記地域の特徴は、該特徴の強弱に応じた数値が予め設定され、前記数値化部は、前記属性に対して設定された数値の最大値を下位の桁にし、前記地域の特徴に対して設定された数値の最大値を上位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を下位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を上位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする。
【００１１】
また、請求項５に記載の環境数値化装置は、請求項１〜３のいずれか１項に記載の環境数値化装置において、前記属性の各々は、前記属性の各々に共通する傾向の強弱に応じた数値が予め設定され、前記地域の特徴は、該特徴の強弱に応じた数値が予め設定され、前記数値化部は、前記属性に対して設定された数値の最大値を上位の桁にし、前記地域の特徴に対して設定された数値の最大値を下位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を上位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を下位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする。
【００１２】
また、請求項６に記載の環境数値化装置は、請求項１〜５のいずれか１項に記載の環境数値化装置において、前記数値化部が出力した数値に基づいて、前記車両の照明機器の制御を行う機器制御部をさらに備えている。
【００１３】
また、請求項７に記載の環境数値化装置は、請求項６に記載の環境数値化装置において、前記機器制御部は、前記数値化部が出力した数値に基づいて、前記車両の周辺環境の様子を色情報で出力するように前記車両の照明機器を制御する。
【００１４】
また、請求項８に記載の環境数値化装置は、請求項６に記載の環境数値化装置において、前記機器制御部は、前記数値化部が出力した数値に基づいて、前記車両の周辺環境の様子を音声又は文字、図形、記号若しくはこれらの結合による視覚情報で出力するように車両の表示機器を制御する。
【００１５】
また、請求項９に記載の環境数値化装置は、請求項１〜８のいずれか１項に記載の環境数値化装置において、前記画像情報取得部は、前記車両の車載カメラを用いて前記画像情報を取得する。
【発明の効果】
【００１６】
本発明によれば、画像情報のみならず地域固有の情報を用いて車両の周辺環境を数値化する環境数値化装置を実現することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態に係る環境数値化装置の一例を示したブロック図である。
【図２】本発明の第１の実施の形態に係る環境数値化装置の処理の流れの一例を示したフローチャートである。
【図３】本発明の第１の実施の形態の変形例に係る環境数値化装置の処理の流れの一例を示したフローチャートである。
【図４】本発明の第１の実施の形態に係る環境数値化装置が出力した百分率により、車両の機器である室内灯、インストルメントパネル及びナビゲーション装置のバックライトをどのような色調で制御するかを示したチャートの一例である。
【図５】（Ａ）は、撮像装置が取得した画像情報の一例であり、（Ｂ）は、画像処理においてＡＩが認識する画像の一例を示している。
【図６】画像処理によって、対象物を抽出した場合の一例を示した説明図である。
【図７】梅、桃及び桜の各々の東海地方での開花時期を示した表である。
【図８】桜の花の判定において参照できるサブ情報の一例を示した表である。
【図９】後述する図１０のステップ１０８におけるサブ情報の前処理、ステップ１１０におけるサブ情報の集計によって生成されるマトリックスの一例である。
【図１０】本発明の第２の実施の形態に係る環境数値化装置の処理の流れの一例を示したフローチャートである。
【図１１】本発明の第２の実施の形態に係る環境数値化装置において、桜のみならず梅及び桃についても観賞価値のある存在を検出する場合の一例を示した説明図である。
【発明を実施するための形態】
【００１８】
［第1の実施の形態］
以下、図面を参照して本発明の第1の実施の形態を詳細に説明する。図１は、本実施の形態に係る環境数値化装置１００の一例を示したブロック図である。
【００１９】
図１に示すように、本実施の形態に係る環境数値化装置１００は、車載カメラ又はスマートホン等の撮像装置によって取得した画像情報を処理する画像情報処理スレッド１０と、インターネット等の公的ネットワークを介して取得した地域情報を処理する地域情報処理スレッド３０とを含む。画像情報処理スレッド１０と地域情報処理スレッド３０との各々に入力された情報は、要素抽出部１１０において各々の情報に含まれる要素が抽出される。要素抽出部１１０で抽出された、画像情報処理スレッド１０の要素及び地域情報処理スレッド３０の要素は、数値演算処理部１２０において数値化されて機器制御部１４０に出力される。機器制御部１４０は、数値演算処理部１２０が出力した数値に基づいて、車両の周辺環境の様子を色情報で出力するように照明機器１５０を制御する。
【００２０】
以下、各スレッドについて、構成を説明する。画像情報処理スレッド１０は、狭域周辺情報取得部１２により、車載カメラ等の撮像装置を制御して、車両周辺の画像情報を取得する。そして、狭域周辺情報取得部１２が取得した画像情報は、画像情報入力部１４により、要素抽出部１１０の画像分析ＡＰＩ（Application Programming Interface）１６に入力される。
【００２１】
画像分析ＡＰＩ１６は、一例としてGoogle Cloud Vision等の画像処理のWebサービスの機能を外部から利用するためのインターフェースである。後述するように画像分析ＡＰＩ１６では、車載カメラ等の撮像装置で取得した画像情報に含まれる対象物を各々特定する。または、画像分析ＡＰＩ１６に代えて、画像処理エンジンを備えたハードウェアによって、車載カメラ等の撮像装置で取得した画像情報に含まれる対象物を各々特定してもよい。
【００２２】
画像分析ＡＰＩ１６による分析結果は、分析結果出力部１８を介して数値演算処理部１２０の対象物分類部２０に入力される。対象物分類部２０では、例えば、画像分析ＡＰＩ１６で特定した対象物を人工物（都市化に係るもの）と自然物（田舎に係るもの）とに分類し、当該対象物の出現頻度を集計する。そして対象物分類部２０による対象物分類の結果は、後述するように、地域情報処理スレッド３０の特徴判別部４０が出力した地域の特徴及び都市規模の判別結果と共に、数値出力部に入力される。
【００２３】
地域情報処理スレッド３０は、広域周辺情報取得部３２により、車両を中心とした広域な周辺情報を取得する。具体的には、Google（登録商標）又はYahoo!（登録商標）等のWebサービスにより、広域周辺情報を取得する。
【００２４】
位置情報入力部３４では、取得した広域周辺情報及び車両の現在位置の情報を要素抽出部１１０のローカルサーチＡＰＩ３６に入力する。ローカルサーチＡＰＩ３６は、一例としてYahoo! Open Local  Platform等の地域情報に含まれる対象物を検索するWebサービスの機能を外部から利用するためのインターフェースである。または、ローカルサーチＡＰＩ３６に代えて、検索エンジンを備えたハードウェアによって、地域情報に含まれる対象物を検索してもよい。
【００２５】
ローカルサーチＡＰＩ３６による分析結果は、分析結果出力部３８を介して数値演算処理部１２０の特徴判別部４０に入力される。特徴判別部４０では、ローカルサーチＡＰＩ３６で検索した対象物の出現頻度を集計して地域の特徴及び都市規模の判別をする。そして特徴判別部４０による地域の特徴及び都市規模の判別結果は、画像情報処理スレッド１０の対象物分類部２０による対象物分類の結果と共に数値出力部５０に入力され、例えば、車両の周辺環境の都市化の程度が数値化されて出力される。
【００２６】
図２は、本実施の形態に係る環境数値化装置１００の処理の流れの一例を示したフローチャートである。ステップ２００では、メイン情報である画像情報を画像情報入力部１４により、要素抽出部１１０の画像分析ＡＰＩ１６に入力する。
【００２７】
ステップ２０２では、画像分析ＡＰＩ１６により画像情報に含まれる対象物を文字列として抽出する。例えば、画像情報に樹木が含まれる場合は「樹木」という文字列（単語）を出力し、画像情報に店舗が含まれる場合には「店舗」という文字列を出力する。
【００２８】
ステップ２０４は、数値演算処理部１２０の対象物分類部２０での処理に相当し、複数の辞書を用いて、ステップ２０２で文字列として抽出された対象物を集計する。複数の辞書の各々の構成は、一例として、以下のようにする。
【００２９】
辞書１に田舎という属性に関する単語（例えば「小川」、「森林」等の自然物）を登録し、辞書２に市街地という属性に関する単語（例えば「住宅」、「スクールゾーン」等の人工物）を登録し、そして辞書５に大都会という属性に関する単語（例えば「オフィス街」、「超高層ビル」等の人工物）を登録する。
【００３０】
上記のように複数の辞書を構成すると、辞書１は開発度が最も低い環境に関する単語を登録し、辞書２は辞書１よりも開発度が高い環境に関する単語を登録し、最後の辞書５（５＝ｎ−１）は開発度が最も高い環境に関する単語を登録する。換言すれば、各々の辞書は、開発度という共通する傾向に基づいて構成されており、各々の辞書に付帯された数字は、登録単語における当該傾向の強弱を示し、数字が大きいほど当該傾向が強い。
【００３１】
複数の辞書を使用する場合、複数の辞書に開発度の高低（傾向の強弱）のような尺度を付けることにより、ステップ２０２で抽出された単語を最も多く記載している辞書、言い換えればステップ２０２で抽出された単語のヒット件数が最も多い辞書に係る開発度の尺度が、画像情報が示す周辺環境の開発度の尺度であると判断できる。ステップ２０４では、単語のヒット件数の集計を行い、ヒット件数が最大の辞書を特定することにより、対象物の属性を特定する。例えば、辞書１でのヒット件数が最大であれば辞書１について「１」を出力して対象物の属性を田舎と特定し、辞書２でのヒット件数が最大であれば辞書２について「２」を出力して対象物の属性を市街地と特定し、辞書５でのヒット件数が最大であれば辞書５について「５」を出力して対象物の属性を大都会と特定する。その他、ヒット件数が最大でなかった辞書は、各々の辞書について「０」を出力する。また、いずれの辞書でもヒットしなかった場合も「出力なし」として「０」を出力する。その結果、後述するステップ２１２でのマトリックスの生成に係るメイン情報の集計（ｂ）には、いずれの辞書でもヒットしなかった場合は「００００００」、辞書１でのヒット件数が最大の場合は「０１００００」、辞書２でのヒット件数が最大の場合は「００２０００」、辞書５でのヒット件数が最大の場合は「０００００５」が、各々マトリックスの１列目からセットされる。
【００３２】
ステップ２０６では、サブ情報である広域周辺情報及び車両の現在位置の情報を要素抽出部１１０のローカルサーチＡＰＩ３６に入力する。車両の現在位置の情報は、ＧＰＳ（Global Positioning System）等によって取得する。ステップ２０８では、広域周辺情報に含まれる対象物を検索して、ヒットした文字列（単語）を出力する。
【００３３】
ステップ２１０では出力単語数（ｘ）を集計して地域の特徴である開発度の強弱（尺度）を決定する。例えば、「ビル」、「大通り」及び「立体交差」等の地域の開発度の強弱が判断できる単語数の多さで、換言すれば、開発度の尺度が判断できる単語の出現頻度によって、地域の特徴である開発度の強弱を推定する。具体的には、一例として、開発度の尺度が判断できる単語がない場合（第０類）は「０」を出力する。同単語が少し（例えば１＜ｘ≦２０）の場合（第１類）は「１」を出力し、同単語が多い（例えば８０≦ｘ＜１００）の場合（第４類）は「４」を出力し、同単語が大量（例えば１００≦ｘ）の場合（第５類）は「５」を出力する。
【００３４】
図２のステップ２１０では、第０類から第５類まで、地域の特徴の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第４類の出力値「４」を出力した場合は、他の出力値は「０」となり、第５類の出力値「５」を出力した場合は、他の出力値は「０」となる。その結果、後述するステップ２１２でのマトリックスの生成に係るサブ情報の集計（ａ）には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１行目からセットされる。
【００３５】
ステップ２１２では、数値演算処理部１２０において、メイン情報とサブ情報とをマトリックスに集計する。図２に示したマトリックスは、２桁目（下位の桁）にステップ２０４でのメイン情報の出力値（ｂ）を、１桁目（上位の桁）にステップ２１０でのサブ情報の出力値（ａ）を、各々セットした２桁の数値Ｃ(n)を記載する。マトリックスに記載される数値Ｃ(n)は、具体的には下記の式のようになる。数値Ｃ(n) は、一見、１０進法の体裁であるが、下位の桁のｂが最大値であるsupｂ（＝ｎ−１）を超えると桁が１つ繰り上がるｎ進法である。従って、数値Ｃ(n)の添え字（ｎ）は、数値Ｃ(n)がｎ進法であることを示している。
Ｃ(n)＝ａ×１０＋ｂ
【００３６】
前述のように、メイン情報の出力値（ｂ）は、ヒット件数が最大でなかった辞書について「０」となり、サブ情報の出力値（ａ）は、該当しない尺度について「０」を出力する。従って、ヒット件数が最大であった辞書に係る出力値（ｂ）及び該当する尺度に係る出力値（ａ）以外の出力値（ａ）、（ｂ）はすべて「０」となるが、図２のステップ２１２では、マトリックスの態様を明示するために、各セルを「００」以外のとり得る値で埋めている。
【００３７】
数値Ｃ(n)の想定され得る最大値（以下、「名目最大値Ｄ(n)」と称する）は、出力値（ｂ）の最大値をsupｂ、出力値（ａ）の最大値をsupａとすると、下記の式のようになる。出力値（ｂ）の最大値supｂは開発度という傾向が最も強い場合の数値であり、出力値（ａ）最大値supａは、地域の開発度という特徴が最も強い場合の数値である。
Ｄ(n)＝supａ×１０＋supｂ
【００３８】
具体的には、ステップ２０４で上限値であるｎ−１（ｎ−１＝５）を出力し、ステップ２１０で上限値である５（第５類）を出力した場合であり、図２のマトリックスにおいて符号Ｄ(n)で示した「５５」である。かかる場合は、周辺環境の開発度（都市化）が最も亢進した状態を示している。
【００３９】
ステップ２１２のマトリックスにおいて、下位の桁はヒット件数が最大であった辞書に係る出力値（ｂ）であり、かつ上位の桁が該当する特徴の強弱に係る出力値（ａ）である数値Ｃ(n)が、実測された最大値（以下、「実測最大値」と略記）supＣ(n)となる。具体的には、図２のステップ２１２における実測最大値supＣ(n)である「１１」は、メイン情報において辞書１でのヒット件数が最大であり、サブ情報において特徴の強弱に係る数値が「１」（第１類）の場合である。実測最大値supＣ(n)は、メイン情報でどの辞書が最大のヒット件数か、サブ情報で該当する特徴の尺度が何であるかによって変化する。
【００４０】
ステップ２１４では、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々をｎ進法から１０進法に変換する。上述のようにｎ＝supｂ＋１であるから、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々の１０進数である実測最大値supＣ(10)及び名目最大値Ｄ(10)は、下記の式のようになる。
supＣ(10)＝ａ×ｎ＋ｂ
Ｄ(10)＝supａ×ｎ＋supｂ
【００４１】
ステップ２１６では、名目最大値Ｄ(10)に対する実測最大値supＣ(10)の百分率resultを下記の式のように算出する。
result＝（supＣ(10)／Ｄ(10)）×１００
【００４２】
上記の百分率resultは、車両の周辺環境の開発度（都市化）の指標であり、百分率resultが高ければ、周辺環境の開発度は高く、百分率resultが低ければ、周辺環境の開発度は低い。
【００４３】
ステップ２１８では、ステップ２１６で算出した百分率resultを出力して、処理を終了する。
【００４４】
以上説明したように、図２に示した処理によれば、画像情報（メイン情報）から得られた特徴と、地域情報（サブ情報）から得られた特徴とに基づいて、周辺環境の開発度の程度を数値化できる。上記のようにして得られた周辺環境の開発度の程度は、後述するように、車両の機器の制御等に用いることができる。
【００４５】
図３は、図２に示した場合の変形例の一例を示したフローチャートである。図３に示した処理は、メイン情報である画像情報から文字列として抽出された対象物を集計する際に使用する辞書が辞書Ａ及び辞書Ｂの２つである点で図２に示した処理と相違するが、その他については、図２に示した処理と略同じである。具体的には、図３のステップ３００、３０２の処理は、図２のステップ２００、２０２の処理と同じであり、図３のステップ３０６〜３１８の処理は、図２のステップ２０６〜２１８の処理と略同じなので、これらについての詳細な説明は省略する。
【００４６】
ステップ３０４で使用する辞書Ａは、一例として、都市及び大都会に関する単語（例えば、「ビル」、「ショッピングモール」、「オフィス街」、「超高層ビル」等の都市属性）を登録し、同じくステップ３０４で使用する辞書Ｂは、一例として、田舎及び市街地に関する単語（例えば「小川」、「あぜ道」、「住宅」、「スクールゾーン」等の田舎属性）を登録する。
【００４７】
ステップ３０４では、辞書Ａ及び辞書Ｂの各々のどちらがどの程度の件数で対象物をヒットさせたかによって、周辺環境の開発度の強弱を推定する。ステップ３０４に示したように、辞書Ａ及び辞書Ｂの各々のヒット件数の割合に応じて、一例として、第０類から第１１類までの１２段階の尺度を設定し、辞書Ａ及び辞書Ｂの各々を用いた結果が、１２段階のどの尺度に相当するかを判定する。
【００４８】
具体的には、辞書Ａ及び辞書Ｂのいずれにおいても対象物がヒットしなかった場合（第０類）は「０」を出力する。辞書Ａによるヒットが０％で、辞書Ｂによるヒットが１００％の場合（第１類）は「１」を出力する。辞書Ａによるヒットが１０％で、辞書Ｂによるヒットが９０％の場合（第２類）は「２」を出力する。辞書Ａによるヒットが９０％で、辞書Ｂによるヒットが１０％の場合（第１０類）は「１０」を出力する。そして、辞書Ａによるヒットが１００％で、辞書Ｂによるヒットが０％の場合（第１１類）は「１１」を出力する。
【００４９】
図３のステップ３０４では、第０類から第１１類まで、各々の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第１０類の出力値「１０」を出力した場合は、他の出力値は「０」となり、第１１類の出力値「１１」を出力した場合は、他の出力値は「０」となる。その結果、後述するステップ３１２でのマトリックスの生成に係るメイン情報の集計（ｂ）には、第０類の場合は「０００００００００００」、第１類の場合は「０１０００００００００」、第１０類の場合は「０００００００００１００」、第１１類の場合は「００００００００００１１」が、各々マトリックスの１列目からセットされる。
【００５０】
ステップ３１４では、図２のステップ２１４と同様に、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々をｎ進法から１０進法に変換する。しかしながら、図３の場合、出力値（ｂ）の最大値supｂは１１なので、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々は１２進数である。従って、１０進数である実測最大値supＣ(10)及び名目最大値Ｄ(10)は、下記の式を用いて算出される。
supＣ(10)＝ａ×１２＋ｂ
Ｄ(10)＝supａ×１２＋supｂ
【００５１】
以後、ステップ３１６では、図２のステップ２１６と同様に百分率resultが算出され、ステップ３１８では、図２のステップ２１８と同様に算出した百分率resultを出力して、処理を終了する。
【００５２】
以上説明したように、メイン情報から抽出された文字列を集計するための辞書は、周辺環境の開発度に応じて複数備えてもよいし、開発度が低い場合（田舎属性）の単語を登録した辞書と、開発度が高い場合（都市属性）の単語を登録した辞書とを備えていてもよい。前者の場合は、対象物の文字列を最も多く登録している辞書によって周辺環境の開発度を判定し、後者の場合は、どちらの辞書に抽出した対象物の文字列がどの程度含まれるかによって、周辺環境の開発度を判定することができる。
【００５３】
図４は、本実施の形態に係る環境数値化装置１００が出力した百分率resultにより、機器制御部１４０が、車両の照明機器１５０である室内灯、インストルメントパネル及びナビゲーション装置のバックライトをどのような色調で制御するかを示したチャートの一例である。図４の縦軸は都市の規模の大小を示し、横軸は自然と人工物との対比を示している。
【００５４】
図４はモノクロ画像なので判別しがたいが、都市規模が大きくなるに従って色の鮮やかさを示す彩度が段階的に変化する。一例として、都市規模が小さい場合は彩度を低く、都市規模が大きな場合は彩度を大きくする。また、自然が豊富な環境では色相を緑寄りにし、人工物が多い環境では色相を青寄りにする。
【００５５】
本実施の形態では、周辺環境の開発度の程度を百分率resultで示すので、百分率resultに応じて、図４の直線１３０のように室内灯等の機器の光の彩度及び色相を変化させる。直線１３０に示したように室内灯やインストルメントパネルのバックライト等である照明機器１５０の光の色調を変化させることにより、車両の乗員に周辺環境がどのような状態であるかを、暗に覚知させることができる。また、車両の周辺環境の様子を音声ガイダンス又はインストルメントパネル上に文字、図形、記号若しくはこれらの結合による視覚情報等で乗員に通知するように車両の表示装置を制御してもよい。
【００５６】
以上説明したように、本実施の形態では、画像情報と、ネットワークを介して取得した地域情報とから抽出した事項に基づいて車両の周辺環境を数値化するので、画像情報のみを用いた場合よりも、周辺環境の特性を正確に数値化することが可能になる。
【００５７】
［第２の実施の形態］
続いて、本発明の第２の実施の形態について説明する。本実施の形態では、一例として、車両の周辺環境の、桜の花見等の観光が可能な尺度を数値化して出力する。
【００５８】
図５（Ａ）は、撮像装置が取得した画像情報の一例であり、図５（Ｂ）は、画像処理においてＡＩが認識する画像の一例を示している。画像処理では処理速度を確保するため、撮像装置が取得した画像情報よりもかなり画素が粗い状態で画像情報が扱われる。
【００５９】
図６は、画像処理によって、対象物を抽出した場合の一例を示している。図６では、「樹木」と「ピンクの花」という事項が抽出されているが、「ピンクの花」が何であるかは判別できていない。
【００６０】
また、画素が細かい状態で画像処理が可能であっても、桜には、梅及び桃等の視覚的に類似性が高い花が存在する。従って、画像情報のみからでは、当該画像情報に含まれる対象物が、桜の花であるか否かを判定することは困難である。
【００６１】
図７は、梅、桃及び桜の各々の東海地方での開花時期を示した表である。図7に示したように、梅、桃及び桜の開花時期は相違するので、時期的要件を参照することにより、図６に含まれる「ピンク花」の限定に資することができる。
【００６２】
図８は、桜の花の判定において参照できるサブ情報の一例を示している。車両のシステムの内蔵時計は開花季節の判定等の時期的要件の判断指標となり得る。ＧＰＳによって検出した車両の現在位置の情報は、第1の実施の形態で取得するサブ情報（地域情報）に車両の周辺環境に桜の名所が存在するか否かを判断する場合に用いることができる。また、ニュースＡＰＩから得た報道内容に桜の開花に係るキーワードが存在するか否かを判定してもよい。
【００６３】
画像認識からのみでは桜の開花が判断できない場合は、時期的要件、名所の存在及び開花の報道等を参照して、開花している桜の木の存在を推定することができる。
【００６４】
図９は、後述する図１０のステップ１０８におけるサブ情報の前処理、ステップ１１０におけるサブ情報の集計によって生成されるマトリックスの一例である。図９に示したマトリックスに記載された各数値は、下位の桁に上述の内蔵時計及びニュースＡＰＩに基づく季節の判定（時期的要件）の集計結果に基づく数値をセットし、上位の桁にGoogle（登録商標）又はYahoo!（登録商標）等のWebサービスにより取得した広域周辺情報に基づく桜の名所の出現頻度に係る数値をセットしたものである。
【００６５】
季節の判定の集計は、前述の図２のステップ２１０と類似の処理が行われる。ニュースＡＰＩの情報から内蔵時計が示す現時点での桜の開花の状態を示す単語（例えば、「開花」、「五分咲き」、「満開」等）を抽出し、抽出した単語の出現頻度で桜の開花時期の尺度を決定する。具体的には、一例として、桜の開花の状態を示す単語がない場合（第０類）は「０」を出力する。同単語が少し（例えば１＜ｘ≦２０）の場合（第１類）は「１」を出力し、同単語が多い（例えば８０≦ｘ＜１００）の場合（第４類）は「４」を出力し、同単語が大量（例えば１００≦ｘ）の場合（第５類）は「５」を出力する。
【００６６】
名所判定は、前述の図２のステップ２０６〜２１０と類似の処理が行われる。具体的にはサブ情報である広域周辺情報及びＧＰＳによる車両の現在位置の情報を要素抽出部１１０のローカルサーチＡＰＩ３６に入力し、広域周辺情報に含まれる対象物を検索して、ヒットした文字列（単語）を出力する。
【００６７】
そして桜の名所に係る出力単語数（ｘ）を集計して桜の名所の存在の尺度を決定する。例えば、「桜並木」、「庭園」及び「公園」等の桜の名所と思われる単語の出現頻度で桜の名所存在の尺度を決定する。具体的には、一例として、桜の名所の存在を示す単語がない場合（第０類）は「０」を出力する。同単語が少し（例えば１＜ｘ≦２０）の場合（第１類）は「１」を出力し、同単語が多い（例えば８０≦ｘ＜１００）の場合（第４類）は「４」を出力し、同単語が大量（例えば１００≦ｘ）の場合（第５類）は「５」を出力する。
【００６８】
図９では、季節の判定及び名所判定における第０類から第５類まで、各々の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第４類の出力値「４」を出力した場合は、他の出力値は「０」となり、第５類の出力値「５」を出力した場合は、他の出力値は「０」となる。
【００６９】
その結果、図９に示したマトリックスの生成に係る季節の判定には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１列目からセットされる。
【００７０】
また、図９に示したマトリックスの生成に係る桜の名所判定には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１行目からセットされる。
【００７１】
上述のように生成したマトリックスから、図２のステップ２１２と同様に名目最大値Ｆ(n) 及び実測最大値supＥ(n)を抽出し、１０進数に変換した名目最大値Ｆ(10) に対する１０進法に変換した実測最大値supＥ(10)の百分率ｘを算出し、図１０のステップ１１２に示したように、サブ情報（ｘ）の集計としてまとめる。
【００７２】
図１０のステップ１１２では、算出した百分率に応じて桜の名所及び開花の尺度を決定する。具体的には、一例として、百分率ｘが０の場合（第０類）は「０」を出力する。百分率ｘが１以上２０未満の場合（第１類）は「１」を出力し、百分率ｘが８０以上１００未満の場合（第４類）は「４」を出力し、百分率ｘが１００の場合（第５類）は「５」を出力する。
【００７３】
図１０のステップ１１２では、第０類から第５類まで、各々の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、尺度が第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第４類の出力値「４」を出力した場合は、他のる出力値は「０」となり、第５類の出力値「５」を出力した場合は、他の出力値は「０」となる。従って、後述するステップ１１４でのマトリックスの生成に係るサブ情報の集計（ａ）には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１行目からセットされる。
【００７４】
続いて、図１０を用いて、車両の周辺環境に桜の花が開花している名所が存在する尺度を出力する処理を説明する。ステップ２００では、メイン情報である画像情報を画像情報入力部１４により、要素抽出部１１０の画像分析ＡＰＩ１６に入力する。
【００７５】
ステップ１０２では、画像分析ＡＰＩ１６により対象物であるピンクの花を図６のように検出する。そして、ステップ１０４では、ステップ１０２で検出したピンクの花の件数をカウントする。桜（及び梅、桃等のバラ科の植物）は複数の花が集合するので、図６に示したように、複数の花の集合が１件のピンクの花として検出される。
【００７６】
ステップ１０６では、ピンクの花の検出件数に応じた尺度に係る数値を出力する。一例として、検出なし（検出数＝０）の場合は「０」を出力し、検出数が１〜３の場合は「１」を出力し、検出数が４〜５の場合は「２」を出力し、検出数が最大（例えば１０以上）の場合は「５」を出力する。従って、本実施の形態では、画像情報から抽出した対象物の個数に応じて対象物の属性（花が多い、花が少ない）を特定する。
【００７７】
前述のように、桜の名所及び開花の尺度に係る数値は、いずれかの尺度に係る数値を出力した場合、他の尺度については「０」を出力した。ピンクの花の検出件数に応じた尺度に係る数値も同様に、いずれかの検出数に係る数値を出力した場合、他の検出数については「０」を出力する。その結果、後述するステップ１１４でのマトリックスの生成に係るメイン情報の集計（ｂ）には、検出数が０の場合は「００００００」、検出数が１〜３の場合は「０１００００」、検出数が４〜５の場合は「００２０００」、検出数が最大の場合は「０００００５」が、各々マトリックスの１列目からセットされる。
【００７８】
ステップ１１４では、図１０に示したようなマトリックスを生成する。図１０に示したマトリックスに記載された各数値は、下位の桁にピンクの花の検出件数に応じた尺度の数値をセットし、上位の桁に図９を用いて前述した桜の名所及び開花の尺度に係る数値をセットしたものである。
【００７９】
ステップ１１４では、図２のステップ２１２と同様に、マトリックスを生成して実測最大値supＣ(n)及び名目最大値Ｄ(n)を抽出する。
【００８０】
ステップ１１６では、図２のステップ２１４と同様に、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々をｎ進法から１０進法に変換する。
【００８１】
以後、ステップ１１８では、図２のステップ２１６と同様に百分率resultが算出され、ステップ１２０では、図２のステップ２１８と同様に算出した百分率resultを出力して、処理を終了する。
【００８２】
以上説明したように、本実施の形態に係る環境数値化装置によれば、画像情報と、ネットワークを介して取得した地域情報とから抽出した事項に基づいて車両の周辺環境に開花した（換言すれば「観賞価値がある」）桜が存在する尺度を数値化して出力することができる。出力した数値は、第1の実施の形態のように、室内灯等の色調制御に用いてもよいし、観賞価値がある桜が存在することを音声ガイダンス又はインストルメントパネル上に文字、図形、記号若しくはこれらの結合による視覚情報等で乗員に通知するようにしてもよい。
【００８３】
本実施の形態では、桜を対象としたが、梅又は桃であってもよい。図１１は、桜のみならず梅及び桃についても観賞価値のある存在を検出する場合の一例を示した説明図である。図１１に示したように、画像情報からピンクの花を検出した場合、内蔵時計、ＧＰＳ及びニュースＡＰＩを用いて検出したピンク花が何であるかを特定し、特定した花について、上述の図９、１０に示した処理を行って観賞価値のある存在の尺度を数値化する。
【００８４】
また、画像情報から抽出する対象をピンクの花ではなく、赤い葉とし、時期的要件を秋季とすることにより、観賞価値のある紅葉の存在を検出することもできる。
【００８５】
以上説明したように、本実施の形態では、画像情報と、ネットワークを介して取得した地域情報と、時期的要件とから抽出した事項と、に基づいて車両の周辺環境を数値化する。画像情報から抽出する対象を、「ピンクの花」、「赤い葉」等に設定することにより、桜、梅、桃、又は紅葉等の鑑賞価値がある存在を周辺環境から正確に抽出して、その存在の程度を数値化することが可能になる。
【００８６】
上述の第1の実施の形態及び本実施の形態では、マトリックスを生成する際に、当該マトリックスの各セルの数値は、下位の桁をメイン情報に係る数値とし、上位の桁をサブ情報に係る数値とした。しかしながら、かかる態様に限定されるものではなく、当該マトリックスの各セルの数値を、下位の桁をサブ情報に係る数値とし、上位の桁をメイン情報に係る数値としてもよい。
【符号の説明】
【００８７】
１〜５ 辞書
１０   画像情報処理スレッド
１２   狭域周辺情報取得部
１４   画像情報入力部
１６   画像分析ＡＰＩ
１８   分析結果出力部
２０   対象物分類部
３０   地域情報処理スレッド
３２   広域周辺情報取得部
３４   位置情報入力部
３６   ローカルサーチＡＰＩ
３８   分析結果出力部
４０   特徴判別部
５０   数値出力部
１００ 環境数値化装置
１１０ 要素抽出部
１２０ 数値演算処理部
１３０ 直線
１４０ 機器制御部
１５０ 照明機器
Ａ、Ｂ 辞書
Ｃ(n)  数値
Ｄ(10)、Ｄ(n)、Ｆ(10)、Ｆ(n)       名目最大値
supＣ(10) 、supＣ(n)、 supＥ(10)、 supＥ(n)      実測最大値
supａ、supｂ  最大値
result、ｘ    百分率
【図１】
2020035092.tif 000003
【図２】
2020035092.tif 000004
【図３】
2020035092.tif 000005
【図４】
2020035092.tif 000006
【図５】
2020035092.tif 000007
【図６】
2020035092.tif 000008
【図７】
2020035092.tif 000009
【図８】
2020035092.tif 000010
【図９】
2020035092.tif 000011
【図１０】
2020035092.tif 000012
【図１１】
2020035092.tif 000013