(57)【特許請求の範囲】
【請求項１】
撮影手段により屋外を撮影した画像を取得する取得手段と、
前記画像から環境光および光の透過マップを推定する推定手段と、
前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段と、
前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算手段と、
前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算手段と、
前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段と、
前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段と、
を備えたことを特徴とする視程推定装置。
【請求項２】
請求項１に記載の視程推定装置において、
前記画像において、前記奥行き方向距離を計算するための物体が認識できない場合、前記撮影手段の設置の高さおよび撮影方向から、前記画像における前記奥行き方向距離を計算することを特徴とする視程推定装置。
【請求項３】
請求項１または請求項２に記載の視程推定装置において、
前記関係式が、指数関数の他に、正弦関数および余弦関数のうち少なくとも一方の関数の要素を含み、
前記光減衰パラメータが、前記光減衰パラメータ計算手段により計算された、前記正弦関数および余弦関数のうち少なくとも一方の関数の要素に対するパラメータを含むことを特徴とする視程推定装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の視程推定装置において、
前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値であって、所定の前記画像の領域における前記光透過の値と、前記奥行き方向距離から、視程を算出することを特徴とする視程推定装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の視程推定装置において、
前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値が所定値になる前記視程を計算することを特徴とする視程推定装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の視程推定装置において、
前記視程を視程レベルに変換する視程レベル手段を更に備えたことを特徴とする視程推定装置。
【請求項７】
取得手段が、撮影手段により屋外を撮影した画像を取得する取得ステップと、
推定手段が、前記画像から環境光および光の透過マップを推定する推定ステップと、
画像鮮鋭化手段が、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化ステップと、
物体スケール換算手段が、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算ステップと、
奥行方向距離計算手段が、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算ステップと、
光減衰パラメータ計算手段が、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算ステップと、
視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算ステップと、
を含むことを特徴とする視程推定方法。
【請求項８】
コンピュータを、
撮影手段により屋外を撮影した画像を取得する取得手段、
前記画像から環境光および光の透過マップを推定する推定手段、
前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段、
前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールから当該物体の物理的スケールを換算する物体スケール換算手段、
前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する物体奥行方向距離計算手段、
前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段、および、
前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段として機能させることを特徴とする視程推定装置用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理による視程推定装置、視程推定方法、および、記録媒体に関する。
【背景技術】
【０００２】
霧、靄、雨、雪等による悪天候条件、曇、夜間での照度条件による視界不良が生じて、この視界不良を図る尺度として、視程が測定されている。例えば、特許文献１には、光源は近赤外線を測定対象空間に向けて照射し、分光カメラは偏光フィルタが装着され、測定対象空間の被測定物で偏光された近赤外線のうち、偏光フィルタの偏光角と同じ近赤外線を透過することで、当該被測定物の二次元画像を撮像し、画像解析装置で二次元画像情報に基づき測定対象空間の被測定物の異なる分光・偏光画像情報から相関等統計処理で高精度に測定対象空間の被測定物の種類を識別するとともに、量及び視程を算出する気象測定装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８６６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、光源から近赤外線を照射し、その反射光により視程等を測定しているため、特別の測定装置が必要であり、特に多くの観測点に設置する場合、コストが増大していた。【０００５】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、特別の測定装置が不要で視程を推定できる視程推定装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、撮影手段により屋外を撮影した画像を取得する取得手段と、前記画像から環境光および光の透過マップを推定する推定手段と、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段と、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算手段と、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算手段と、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段と、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段と、を備えたことを特徴とする。【０００７】
また、請求項２に記載の発明は、請求項１に記載の視程推定装置において、前記画像において、前記奥行き方向距離を計算するための物体が認識できない場合、前記撮影手段の設置の高さおよび撮影方向から、前記画像における前記奥行き方向距離を計算することを特徴とする。【０００８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の視程推定装置において、前記関係式が、指数関数の他に、正弦関数および余弦関数のうち少なくとも一方の関数の要素を含み、前記光減衰パラメータが、前記光減衰パラメータ計算手段により計算された、前記正弦関数および余弦関数のうち少なくとも一方の関数の要素に対するパラメータを含むことを特徴とする。【０００９】
また、請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の視程推定装置において、前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値であって、所定の前記画像の領域における前記光透過の値と、前記奥行き方向距離から、視程を算出することを特徴とする。【００１０】
また、請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の視程推定装置において、前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値が所定値になる前記視程を計算することを特徴とする。【００１１】
また、請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の視程推定装置において、前記視程を視程レベルに変換する視程レベル手段を更に備えたことを特徴とする。【００１２】
また、請求項７に記載の発明は、取得手段が、撮影手段により屋外を撮影した画像を取得する取得ステップと、推定手段が、前記画像から環境光および光の透過マップを推定する推定ステップと、画像鮮鋭化手段が、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化ステップと、物体スケール換算手段が、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算ステップと、奥行方向距離計算手段が、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算ステップと、光減衰パラメータ計算手段が、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算ステップと、視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算ステップと、を含むことを特徴とする。【００１３】
また、請求項８に記載の発明は、コンピュータを、撮影手段により屋外を撮影した画像を取得する取得手段、前記画像から環境光および光の透過マップを推定する推定手段、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールから当該物体の物理的スケールを換算する物体スケール換算手段、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する物体奥行方向距離計算手段、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段、および、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮影手段により屋外を撮影した画像を取得し、画像を鮮鋭化した鮮鋭化画像を生成し、鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算し、物体の物理的スケールの奥行き方向の成分から奥行き方向距離を計算し、光の透過マップと撮影手段からの距離との関係式を画像に適用して、大気の光減衰パラメータを計算し、計算された光減衰パラメータを当てはめた関係式に基づき、奥行き方向距離から、視程を計算することにより、特別の測定装置が不要で、視程を推定できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る視程推定システムの概要構成例を示す模式図である。
【図２】図１の情報処理サーバ装置の概要構成例を示すブロック図である。
【図３】図２の情報処理サーバ装置の画像データベースに記憶されたデータの一例を示す模式図である。
【図４】図２の情報処理サーバ装置の物体データベースに記憶されたデータの一例を示す模式図である。
【図５】図２の情報処理サーバ装置のカメラ情報データベースに記憶されたデータの一例を示す模式図である。
【図６】図１の端末装置の概要構成例を示すブロック図である。
【図７】視程を計算する画像処理の一例を示すフローチャートである。
【図８】カメラが撮影した画像の一例を示す模式図である。
【図９Ａ】物体の部分画像領域の一例を示す模式図である。
【図９Ｂ】物体の部分画像領域の一例を示す模式図である。
【図９Ｃ】物体の部分画像領域の一例を示す模式図である。
【図１０Ａ】カメラが撮影した画像の一例を示す模式図である。
【図１０Ｂ】奥行き方向距離の一例を示す模式図である。
【図１０Ｃ】奥行き方向距離の一例を示す模式図である。
【図１０Ｄ】奥行き方向距離の一例を示す模式図である。
【図１１Ａ】カメラが撮影した画像の一例を示す模式図である。
【図１１Ｂ】カメラが撮影した画像の一例を示す模式図である。
【図１２】カメラシステムモデルの一例を示す模式図である。
【図１３Ａ】画像と奥行き方向距離の一例を示す模式図である。
【図１３Ｂ】画像と奥行き方向距離の一例を示す模式図である。
【図１４】視程のレベルの一例を示す模式図である。
【図１５】図７の画像鮮鋭化のサブルーチンを示すフローチャートである。
【図１６】図７の視程の推定のサブルーチンを示すフローチャートである。
【図１７Ａ】視程の計算の一例を示す模式図である。
【図１７Ｂ】視程の計算の一例を示す模式図である。
【図１８】カメラシステムモデルの一例を示す模式図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、視程推定システムに対して本発明を適用した場合の実施形態である。
【００１７】
［１．視程推定システムの構成および機能の概要］
【００１８】
まず、本発明の一実施形態に係る視程推定システムの構成および概要機能について、図１を用いて説明する。
図１は、本発明の実施形態に係る視程推定システムの概要構成例を示す模式図である。
【００１９】
図１に示すように、視程推定システム１は、道路等の各地点に設置されたカメラＣからの画像データから各地点での視程等の気象情報を計算する情報処理サーバ装置１０と、情報処理サーバ装置１０から提供された視程等の気象情報を表示する端末装置２０と、を備える。
【００２０】
視程推定装置の一例である情報処理サーバ装置１０と、各端末装置２０とは、ネットワーク３を通して接続されている。撮影手段の一例であるカメラＣは、道路等の屋外の気象状況を撮影する。カメラＣは、無線局５を通した無線通信により、情報処理サーバ装置１０と通信をする。また、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）でもよい。
【００２１】
情報処理サーバ装置１０は、各種の気象情報を提供する会社のサーバ装置である。情報処理サーバ装置１０は、高速道路、一般道、鉄道、空港等の交通機関の気象情報や、航路、港湾、海上等の気象情報を、端末装置２０に提供する。例えば、気象情報の一例として、天気、気温、湿度、気圧、風向、風速、視界の程度を示す視程等の情報が挙げられる。
【００２２】
また、情報処理サーバ装置１０は、車両の渋滞、通行規制等の交通情報や、列車、飛行機等の運行状況、船舶の運航状況を提供してもよい。
【００２３】
また、情報処理サーバ装置１０は、各地点のカメラＣからの画像データを画像解析して、視程等の気象に関する値を算出する。また、情報処理サーバ装置１０は、カメラＣからの画像データを画像解析して、路面の状態、滑走路の状態、海上の状態、交通量等を算出して提供してもよい。
【００２４】
端末装置２０は、気象情報を情報処理サーバ装置１０から受信して、気象情報を表示する。
【００２５】
カメラＣは、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮影素子を有するカラーまたは白黒のデジタルカメラである。カメラＣは、静止画、動画等を撮影する。カメラＣは、車両、飛行機、列車等の移動体に搭載されたカメラでもよい。カメラＣは、スマートフォン等の携帯端末に搭載されたカメラでもよい。
【００２６】
各カメラＣは、例えば、高速道路等の道路において、所定の間隔や、所定の位置に設置されている。道路脇にポールが設置され、所定の高さにカメラＣが設置されている。カメラＣは、例えば、道路の進行方向に向いている。道路の上方から撮影できるように、カメラＣが設置されていればよい。
【００２７】
［２．各情報処理サーバ装置の構成および機能］
（２．１  情報処理サーバ装置１０の構成および機能）
次に、情報処理サーバ装置１０の構成および機能について、図２から図５を用いて説明する。
【００２８】
図２は、の情報処理サーバ装置１０の概要構成例を示すブロック図である。図３は、情報処理サーバ装置１０の画像データベースに記憶されたデータの一例を示す模式図である。図４は、情報処理サーバ装置１０の物体データベースに記憶されたデータの一例を示す模式図である。図５は、情報処理サーバ装置のカメラ情報データベースに記憶されたデータの一例を示す模式図である。
【００２９】
図２に示すように、コンピュータとして機能する情報処理サーバ装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、制御部１６と、を備えている。そして、制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００３０】
通信部１１は、ネットワーク３に接続して、各カメラＣおよび各端末装置２０との通信状態を制御するようになっている。
【００３１】
記憶部１２は、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや気象情報等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００３２】
また、記憶部１２には、画像データベース１２ａ（以下「画像ＤＢ１２ａ」とする。）、物体情報データベース１２ｂ（以下「物体情報ＤＢ１２ｂ」とする。）、機械学習データベース１２ｃ（以下「機械学習ＤＢ１２ｃ」とする。）、気象・交通情報データベース１２ｄ（以下「気象・交通ＤＢ１２ｄ」とする。）、カメラ情報データベース１２ｅ（以下「カメラ情報ＤＢ１２ｅとする。）等が構築されている。
【００３３】
画像ＤＢ１２ａには、各カメラＣが撮影した画像データが記憶されている。図３に示すように、画像ＤＢ１２ａには、カメラＣを特定するカメラＩＤに関連付けられて撮影した時刻、所定のフォーマット形式の画像データが記憶されている。
【００３４】
なお、カメラＣの位置情報は、記憶部１２において、カメラＩＤに関連付けられて、別のデータベースに記憶されていてもよい。
【００３５】
物体情報ＤＢ１２ｂには、認識された物体の実スケールに関する情報の一例として、物体の種別毎に物体のサイズ情報が記憶されている。例えば、図４に示すように、物体情報ＤＢ１２ｂには、物体の種別を特定する物体種別ＩＤに関連付けられて、物体種別、物体のサイズ情報が記憶されている。物体のサイズ情報として、全長［ｍ］×高さ［ｍ］×幅「ｍ」等が挙げられる。
【００３６】
ここで、物体の種別の一例として、車両の場合、普通自動車、軽自動、バス、小型バス、大型トラック、中型トラック等の種別が挙げられる。物体の種別の一例として、航空機の場合、旅客機、セスナ機等の種別が挙げられる。物体の種別の一例として、建物等のランドマークの場合、小型ビル、中型ビル等の種別が挙げられる。各自動車メーカーの車種毎に、物体種別ＩＤが設定されてもよい。
【００３７】
機械学習ＤＢ１２ｃには、ＡＩ（Artificial Intelligence）による分析に必要なデータが記憶されている。物体認識の機械学習の場合、物体認識用の学習済みのデータが記憶されている。例えば、教師データである物体の種別毎の画像によって、学習した物体認識用の学習済みのデータである。物体の種別には、物体種別ＩＤが割り振られている。
【００３８】
気象・交通ＤＢ１２ｄには、気温、湿度、気圧、風向、風速、天気、水温、波浪、海流、潮流、気圧配置、衛星からの各種の画像データ等の気象データが記憶されている。これらの気象データは、各船舶、気象衛星、各国の気象機関、観測地点等から入手される。また、気象・交通ＤＢ１２ｄには、現在、過去の気象データの他に、算出された予測の気象データも記憶されている。例えば、低気圧の予想経路や気圧の変化等が挙げられる。
【００３９】
気象・交通ＤＢ１２ｄには、車両の渋滞、通行規制等の交通情報や、列車、飛行機等の運行状況、船舶の運航状況の情報が記憶されている。また、気象・交通ＤＢ１２ｄには、道路、鉄道、海図等を含む地図情報が記憶されている。地図情報には、船舶の場合、氷山の位置、海賊が出没する地域等の回避区域、排出量規制区域等の情報が含まれてもよい。
【００４０】
カメラ情報ＤＢ１２ｅには、各カメラＣが設置されている位置等の情報が記憶されている。図５に示すように、画像ＤＢ１２ａには、カメラＣを特定するカメラＩＤに関連付けられて、カメラＣが設置されている場所の位置情報（例えば、経度および緯度）、設置地点におけるカメラＣの高さ、カメラＣの撮影方向等が記憶されている。カメラＣの高さは、カメラＣの撮影中心から設置面までの高さでも、カメラＣを支えるポールの高さでもよい。カメラＣの撮影方向は、例えば、方位角、仰角等で表現される。なお、カメラの向きが可変の場合、撮影時のカメラの撮影方向のデータが、画像ＤＢ１２ａに、記憶されてもよい。
【００４１】
表示部１３は、例えば、液晶表示素子または有機ＥＬ（Electro Luminescence）素子等によって構成されている。操作部１４は、例えば、キーボードおよびマウス等によって構成されている。入出力インターフェース部１５は、通信部１１等と制御部１６との間のインターフェース処理を行うようになっている。
【００４２】
制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等により構成されている。
【００４３】
（２．２  端末装置２０の構成および機能）
次に、端末装置２０の構成および機能について、図６を用いて説明する。
図６は、端末装置２０の概要構成の一例を示すブロック図である。
【００４４】
図６に示すように、コンピュータとして機能する端末装置２０は、通信部２１と、記憶部２２と、表示部２３と、操作部２４と、入出力インターフェース部２５と、制御部２６と、を備えている。そして、制御部２６と入出力インターフェース部２５とは、システムバス２７を介して接続されている。なお、端末装置２０は、情報処理サーバ装置１０とほぼ同様の構成および機能を有するので、共通する部分の説明は省略する。
【００４５】
通信部２１は、ネットワーク３に接続して、情報処理サーバ装置１０との通信状態を制御するようになっている。
【００４６】
記憶部２２は、情報処理サーバ装置１０の記憶部１２のように、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されている。
【００４７】
表示部２３は、表示部１３に対応し、操作部２４は、操作部１４に対応し、入出力インターフェース部２５は、入出力インターフェース部１５に対応する。また、制御部２６は、制御部１６に対応して、ＣＰＵ２６ａ、ＲＯＭ２６ｂ、ＲＡＭ２６ｃ等により構成されている。
【００４８】
［３．視程推定システム１の動作］
次に、本発明の１実施形態に係る視程推定システム１の動作について、図を用いて説明する。
【００４９】
（３．１  視程推定システム１の動作）
視程推定システム１の動作について、図７から図１４を用いて説明する。
図７は、視程を計算する画像処理の一例を示すフローチャートである。図８は、カメラが撮影した画像の一例を示す模式図である。図９Ａから図９Ｃは、物体の部分画像領域の一例を示す模式図である。図１０Ｂから図１０Ｄは、奥行き方向距離の一例を示す模式図である。図１１Ａおよび図１１Ｂは、カメラが撮影した画像の一例を示す模式図である。図１２は、カメラシステムモデルの一例を示す模式図である。図１３Ａおよび図１３Ｂは、画像と奥行き方向距離の一例を示す模式図である。図１４は、視程のレベルの一例を示す模式図である。
【００５０】
図７に示すように、視程推定システム１は、画像データを取得し記憶する（ステップＳ１）。具体的には、情報処理サーバ装置１０が、屋外に設置された各カメラＣが撮影した画像を、各カメラＣから取得する。更に具体的には、制御部１６が、各カメラＣから、各カメラＣのカメラＩＤと共に画像データを受信する。画像データの中には、撮影時刻のデータが含まれてもよい。
【００５１】
制御部１６が、受信した画像データを、カメラＩＤに基づき画像ＤＢ１２ａに記憶する。
【００５２】
情報処理サーバ装置１０が、撮影手段により屋外を撮影した画像を取得する取得手段の一例として機能する。
【００５３】
次に、視程推定システム１は、画像鮮鋭化処理を行う（ステップＳ２）。具体的には、情報処理サーバ装置１０が、画像ＤＢ１２ａから画像を取得して、霧、靄、雨等により画像が鮮明でない場合、画像鮮鋭化処理を行う。さらに具体的には、制御部１６が、取得した画像から環境光および光の透過マップを推定し、環境光および透過マップに基づき、画像を鮮鋭化した鮮鋭化画像を生成する。なお、霧と靄は同一気象現象であり、視程が霧の方が靄よりも近い距離である。詳細は、後述の画像鮮鋭化処理サブルーチンで説明する。
【００５４】
ここで、霧、靄を除去するため、例えば、物理モデルを用いて画像鮮鋭化の処理を行う。物理モデルは、例えば、式（１）のモデルである。
Ｉ（ｘ）＝Ｊ（ｘ）ｔ（ｘ）＋Ａ（１―ｔ（ｘ））    ・・・（１）
ここで、カメラＣが撮影した霧等がかかった原画像Ｉ（ｘ）、霧等がかかっていない鮮鋭化画像Ｊ（ｘ）、環境光の強度Ａ、光の透過マップｔ（ｘ）である。光の透過マップは、光伝送マップ、光減衰関数、光伝達関数とも呼ばれる。また、ベクトルｘは、画像内の2次元位置ベクトル（ｘ，ｙ）であり、例えば、Ｉ（ｘ，ｙ）、Ｊ（ｘ，ｙ）、ｔ（ｘ，ｙ）である。
【００５５】
この物理モデル（線形画像生成モデル、または、霧画像モデルとも呼ばれる）では、画像の輝度（Ｉ（ｘ））については、２つの光路を仮定し、１つには，太陽や月などから画像上の物体に、霧や靄による光の減衰を伴ったもの（Ｊ（ｘ）ｔ（ｘ））と、直接画像に入る光（Ａ（１―ｔ（ｘ）））とがある。なお，本実施形態においては、図８に示すように、画像の左下を原点とする。ベクトルｘ＝０は、画像の下部であり、通常のシーンでいえば、カメラＣに最も近い部分に相当する。
【００５６】
この透過マップｔ（ｘ）については，画像内の位置に応じて、指数関数的に変化するものとする。
ｔ（ｘ）＝ｅｘｐ（−beta × ｄ（ｘ））    ・・・（２）
ここで、カメラ視点から画像内の奥行き方向にかけての距離をｄ（ｘ）とする。betaは光減衰の程度を調整するパラメータで、光減衰パラメータの一例である。光減衰パラメータは、エアロゾル等による光の減衰の程度を示す係数である。または、光減衰パラメータは、光の散乱係数でもよい。式（２）は、透過マップと撮影手段からの距離との関係式の一例である。
【００５７】
透過マップｔ（ｘ）は、画像内の霧の濃度に相当し、カメラＣから遠く離れるほど、濃度が高くなり，手前の距離ほど、霧の濃度が低くなる。また、ベクトルｘは、画像内の2次元位置ベクトル（ｘ，ｙ）であり、例えば、ｔ（ｘ，ｙ）、ｄ（ｘ，ｙ）である。
【００５８】
なお、撮影された画像が、霧や靄がなく、画像が鮮明であれば、情報処理サーバ装置１０は、画像鮮鋭化処理を行わず、次の物体認識の処理を行ってもよい。
【００５９】
情報処理サーバ装置１０が、前記画像から環境光および光の透過マップを推定する推定手段の一例として機能する。情報処理サーバ装置１０が、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段の一例として機能する。
【００６０】
次に、視程推定システム１は、物体を認識する（ステップＳ３）。具体的には、情報処理サーバ装置１０の制御部１６が、機械学習ＤＢ１２ｃを参照して、機械学習の画像認識処理により、自動車、貨物自動車等の物体を認識して、物体の種別も判定する。例えば、図８に示すように、制御部１６が、画像３０において道路上の物体を認識し、各物体の物体種別ＩＤを特定する。なお、図８において、認識された物体は、画像３０において矩形の枠で示されている。画像３０の大きさは、ｐ×ｑピクセルである。例えば、機械学習の方法として、CNN（Convolution Neural Network）、Faster RCNN（Region Convolution Neural Network）、 SSD（Single Shot MultiBox Detector）等が挙げられる。
【００６１】
物体を認識した場合（ステップＳ３；ＹＥＳ）、視程推定システム１は、画像における物体部分の大きさを計算する（ステップＳ４）。例えば、制御部１６が、図９Ａから図９Ｃに示すように、普通自動車の物体の部分画像領域３０ａ、大型トラックの物体の部分画像領域３０ｂ、普通自動車の物体の部分画像領域３０ｃ等の各物体の部分画像領域を抽出する。制御部１６が、部分画像領域３０ａにおいて、物体の高さｈａ×幅ｗａ×全長ｄａを画素単位で測定する。制御部１６が、部分画像領域３０ｂにおいて、物体の高さｈｂ×幅ｗｂ×全長ｄｂを画素単位で測定する。制御部１６が、部分画像領域３０ｃにおいて、物体の高さｈｃ×幅ｗｃ×全長ｄｃを画素単位で測定する。例えば、制御部１６が、部分画像領域３０ａからエッジを抽出し、直方体のモデルを当てはめ、物体の高さ×幅×全長を画素単位で測定する。なお、制御部１６が各物体の向きも計算する。
【００６２】
機械学習の画像処理により、制御部１６が、物体の高さ×幅×全長を画素単位で計算したり、物体の向きを計算してもよい。画像における物体部分の大きさとして、制御部１６が各部分画像領域のｘ方向、ｙ方向のピクセルを算出してもよい。例えば、部分画像領域３０ａの大きさは、ｘａ×ｙａピクセル、部分画像領域３０ｂの大きさは、ｘｂ×ｙｂピクセル、部分画像領域３０ｃの大きさは、ｘｃ×ｙｃピクセルである。また、高さ×幅に対応する物体の面が正面になるように、制御部１６が、部分画像領域３０ａ、３０ｂ、３０ｃに対して、立体回転する画像処理を行った後、物体の高さｈｃ×幅ｗｃ×全長ｄｃを求めてもよい。
【００６３】
なお、物体の向きが、カメラＣの撮影方向とほぼ一致する場合、全長Ｄａ、Ｄｂ、Ｄｃ等は、物体の物理的スケールの奥行き方向の成分の一例である。なお、制御部１６が物体の向きと、カメラＣの撮影方向との角度から、全長Ｄａ、高さＨａまたは幅Ｗａ等から、物体の物理的スケールの奥行き方向の成分を計算してもよい。
【００６４】
次に、視程推定システム１は、物体の物理的スケールを計算する（ステップＳ５）。具体的には、制御部１６が、特定された物体種別ＩＤに基づき、物体情報ＤＢ１２ｂを参照して、物体のサイズ情報として、全長［ｍ］×高さ［ｍ］×幅「ｍ」を抽出する。
【００６５】
情報処理サーバ装置１０が、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算手段の一例として機能する。
【００６６】
制御部１６が、画素スケールと、物体の物理的スケールとの比率を計算する。制御部１６が、図９Ａに示すように、画素スケールの高さｈａ×幅ｗａ×全長ｄａと、物理的スケールの高さＨａ×幅Ｗａ×全長Ｄａ、すなわち、比率Ｈａ／ｈａ、比率Ｗａ／ｗａ、比率Ｄａ／ｄａを計算する。この比率は、１画素当たりの物理的スケール［ｍ］を表している。
【００６７】
なお、比率Ｈａ／ｈａと、比率Ｗａ／ｗａと、比率Ｄａ／ｄａとの平均値を、画素スケールと物体の物理的スケールとの比率としてもよい。また、制御部１６が、平均する際、画像３０中の物体の向きに基づき、補正した値を平均してもよい。補正として、部分画像領域における物体の高さ×幅×全長の各辺がカメラＣの正面に向くように回転する補正でもよい。また、物体の全長が測定しにくい場合、高さ、幅の比率のみでもよい。画素スケールの高さｈａ×幅ｗａの代わりに、部分画像領域の大きさｘａ×ｙａでもよい。
【００６８】
物体が複数の場合、制御部１６が、複数の物体の画素スケールと物体の物理的スケールとの比率を計算してもよい。制御部１６が、カメラＣに近い方の物体に対して主に、画素スケールと物体の物理的スケールとの比率を計算してもよい。
【００６９】
物体の正面または後面が、ほぼカメラＣに向いている場合、比率Ｄａ／ｄａ、比率Ｄｂ／ｄｂ、比率Ｄｃ／ｄｃは、画像３０の所定のｙ方向の画素位置に対する１画素あたりの物理的スケール奥行き方向距離である。なお、１画素あたりの物理的スケール奥行き方向距離は、比率Ｄａ／ｄａの代わりに、物体の幅方向が奥行きになるように、画像中の物体を回転変換して求めたｗａ’の比率Ｈａ／ｗａ’でもよい。ここで、奥行き方向距離は、画像３０において、ｙ方向の距離でもよいし、道路の面に沿った距離でもよいし、カメラＣの視点からの距離でもよい。
【００７０】
次に、視程推定システム１は、奥行き方向距離を推定する（ステップＳ６）。例えば、図１０Ａに示すように、制御部１６が、部分画像領域３０ａの中心座標（ｘａ０、ｙａ０）および部分画像領域３０ｃの中心座標（ｘｃ０、ｙｃ０）のような各物体の中心座標に基づき、画素スケールにおける各物体の奥行き方向距離（例えば、ｙ１＝ｙｃ０−ｙａ０）を計算する。図１０Ｂに示すように、制御部１６が、ｙａ０における比率Ｄａ／ｄａと、ｙｃ０における比率Ｄｃ／ｄｃとから、ｙ＝ｙａ０からｙ＝ｙｃ０までの、１画素あたりの物理的スケールの奥行き方向距離を加算して行って、図１０Ｂに示すように、物体間の奥行き方向距離ｄｙ１を推定する。
【００７１】
なお、図１０Ｂに示すように、、制御部１６が、比率Ｗａ／ｗａと比率Ｗｃ／ｗｃとｙ１とから、物体の奥行き方向距離を計算してもよい。ここで、ｙ＝ｙａ０からｙ＝ｙｃ０において、比率Ｗａ／ｗａから比率Ｗｃ／ｗｃへと比例的または所定の増加関数で、この比率が変わるとする。図１０Ｃに示すように、物体が長い場合、物体の奥行き方向距離は、長さＤｂや長さｄｙ３でもよい。
【００７２】
また、図１０Ｂにおいて、部分画像領域３０ａの物体および部分画像領域３０ｃの物体において、物体の大きさを正規化して、物体と物体との間に相似倍則を考慮して、いくつの物体が詰まるか算出し、物体数×全長［ｍ］により、制御部１６が、奥行き方向距離を推定してもよい。
【００７３】
また、図１０Ｄに示すように、相似倍則による見かけ上の長さから、制御部１６が、奥行き方向距離を推定してもよい。例えば、車両の横幅がほぼ一定として（奥行きの推定精度を数１０ｍの誤差を許容した場合でも、比率Ｗａ／ｗａと比率Ｗｃ／ｗｃ等で正規化した場合）、奥行き方向は、道路の奥行き方向であるとして、車両正面の横幅の長さＷａ、Ｗｃの大きさを選択し、制御部１６が、見かけ横幅長として、Ｗａ（例えば、２ｍ）、Ｗｃ×ｗｃ／ｗａ（例えば、１ｍ）を計算する。
【００７４】
次に、車両の全長を５ｍ前後とし、制御部１６が、奥行きを相似倍則により、奥行きを推定する。例えば、見かけ横幅長２ｍ、見かけ横幅長１ｍの２つの車両間で、見かけ全長Ｄａ（例えば、５ｍ）、および、見かけ全長Ｄａ’＝Ｄａ×ｗａ／ｗｃ（例えば、１０ｍ）から、視程を、例えば、５ｍ＋１０ｍ＝１５ｍと推定される。なお、物体が同じ物体種別ＩＤでない場合、大きさを正規化する。例えば、制御部１６が、ｗａおよびｗｃの代わりに、比率Ｗａ／ｗａと比率Ｗｃ／ｗｃの逆数を用いて計算してもよい。この場合、例えば、見かけ全長Ｄｃ’＝Ｄｃ×ｗａ／ｗｃ×Ｗｃ／Ｗａとする。
【００７５】
なお、ＡＩを用いて画像処理により、３Ｄにモデル化して、各物体間の奥行き方向距離や、カメラＣから各物体への奥行き方向距離を計算してもよい。
【００７６】
情報処理サーバ装置１０は、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算手段も一例として機能する。
【００７７】
物体を認識できなかった場合（ステップＳ３；ＮＯ）、視程推定システム１は、カメラシステムモデルにより奥行き方向距離を計算する（ステップＳ７）。物体を認識できなかった場合とは、例えば、図１１Ａおよび図１１Ｂに示すように、画像３１、画像３２の中に、車両等の物体が写っていない場合である。情報処理サーバ装置１０は、下記の式（３）に従って、物理的スケールの奥行き方向距離を計算する。
【００７８】
カメラシステムモデルにおける奥行き方向距離ｄｖは、式（３）となる。
ｄｖ＝１／（ｖ−ｖｈ）×Ｈ×ｆ／ｃｏｓ（theta）・・・（３）
【００７９】
ここで、図１２に示すように、カメラシステムモデルにおいて、カメラＣのカメラ中心Ｃ０、カメラＣを支えるポールの長さＨ（カメラＣの設置点Ｓからカメラ中心Ｃ０まで）、ポールの傾きthetaである。画像３１、３２に対応するイメージ面Ｐは、カメラ中心Ｃ０から焦点距離ｆにあるとする。図１２に示すように、奥行き方向距離ｄｖは設置点Ｓからの水平距離であり、ベクトルｖは、イメージ面Ｐにおいて、図１１Ａ、図１１Ｂおよび図１２に示すように、ｙ＝ｑを基点として、ｙ＝０の方向へのベクトルである。ベクトルｖｈは、画像における無限遠方に対応する画像点までの、ｙ＝ｑを基点とした、ｙ＝０の方向へのベクトルである。ｄ０は、画像３１、３２のｙ＝０に対応するイメージ面Ｐの点における奥行き距離である。ここで、長さＨが、撮影手段の設置の高さの一例である。ポールの傾きthetaが、撮影手段の撮影方向の一例である。奥行き方向距離ｄｖは、画像における奥行き方向距離の一例である。
【００８０】
図１３Ａおよび図１３Ｂに示すように、ベクトルｖと奥行き方向距離ｄｖとの関係は、画像３１、３２において、式（３）に示すように、ベクトルｖがｖｈに近づくほど、奥行き方向距離ｄｖが長くなり、ｖがｙ＝０が近づくほど、奥行き方向距離ｄｖが短くなる。
【００８１】
次に、視程推定システム１は、視程を推定する（ステップＳ８）。情報処理サーバ装置１０は、例えば、透過マップｔ（ｘ）と距離との関係式（２）を、画像３０（Ｉ（ｘ））に適用して、光の減衰の程度を示す光減衰パラメータbetaを計算し、算出された光減衰パラメータbetaによる関係式（２）に基づき、奥行き方向距離から、視程を推定する。ここで、奥行き方向距離は、ステップＳ６で推定された距離や、ステプＳ７で計算された距離である。なお、詳細は、後述の視程の推定のサブルーチンで説明する。
【００８２】
図１４に示すように、情報処理サーバ装置１０は、物理的スケールにおける推定された視程を、視程レベルで表現してもよい。例えば、視程レベルがレベル１であると、視程が１０ｍ以下で、前方がよく見えないので、道路の場合、交通規制を行うレベルである。視程レベルがレベル２であると、視程が１０ｍから５０ｍで、前方がかなり見えにくい状態で、車両の場合、速度規制が行われるレベルである。視程レベルが、レベル３であると、視程が５０ｍから１００ｍで、注意を喚起するレベルである。このように、視程をレベル分けにすることにより、視程推定の誤差を吸収でき、視程を表すことができる。なお、レベルの設定は、ユーザが任意に設定してよい。飛行場の場合、視程のレベルは、例えば、レベル１〜５で、視程１００ｍ単位でもよい。
【００８３】
次に、視程推定システム１は、視程を出力する（ステップＳ９）。具体的には、情報処理サーバ装置１０は、各カメラＣの画像から推定した視程または視程のレベルの情報を、各カメラＣの位置情報と共に、端末装置２０へ送信する。
【００８４】
端末装置２０は、地図上に、位置情報に基づき、視程情報を、表示部２３に表示する。なお、地図情報は、端末装置２０の記憶部２２から取得してもよいし、情報処理サーバ装置１０等の外部から取得してもよい。
【００８５】
なお、情報処理サーバ装置１０が、画像３０から霧等の不鮮明度を算出して、晴天の場合、上述の視程の計算を行わなくてもよい。例えば、画像の濃淡値（例えば、輝度）が１００（０〜２５５段階）以上で、かつ、その偏差値が所定値以上の場合、制御部１６が、晴天と判定する。なお、偏差値の所定値は、過去のデータを用いて、晴天か否かを分類した画像から、統計的に決定されてもよい。
【００８６】
（３．２  画像鮮鋭化のサブルーチン）
次に、画像鮮鋭化のサブルーチンについて、図１５を用いて説明する。
図１５は、画像鮮鋭化のサブルーチンを示すフローチャートである。
【００８７】
情報処理サーバ装置１０は、式（１）に基づき、カメラＣが撮影した画像Ｉ（ｘ）から、鮮鋭化画像Ｊ（ｘ）を、以下のように算出する。
【００８８】
図１５に示すように、情報処理サーバ装置１０は、環境光の強度を決定する（ステップＳ１０）。ここで、輝度が８ビット（０〜２５５）で表現されるカラー画像（例えば、ＲＧＢ画像）で、自然画像の場合、画像はさまざまな明暗をもっている。一方、所定の画像領域（パッチ）においては、陰影や黒系物体などの存在により、輝度値が低い画素が存在する。なお、輝度の最小値は０である。太陽光が存在し、空が画像に存在する場合は、ＲＧＢチャネル、または、パッチ毎において、最も明るい画素の０．１％が、空に対応すると仮定する。制御部１６は、画像Ｉ（ｘ）内の該当箇所の画素から、環境光の強度Ａを推定する。
【００８９】
次に、情報処理サーバ装置１０は、光の透過マップｔ（ｘ）を推定する（ステップＳ１１）。例えば、式（１）において、第１近似として、真の画像Ｊ（ｘ）で、ダークチャネルの輝度が０とした場合、
Ｉ（ｘ）＝Ａ（１―ｔ（ｘ））    ・・・（４）
を得る。ここで、Ｉ（ｘ）は、ダークチャネルの成分Ｉdark（ｘ）を示している。この式（４）から、透過マップは、
ｔ（ｘ）＝１−Ｉ（ｘ）／Ａ    ・・・（５）
と変形できる。ただし、０＜ｔ（ｘ）の値＜１である。
【００９０】
多くの場、霧画像の空領域は、カメラＣから見て無限遠と考えられることから、この空領域では，ｔ（ｘ）の値は、ほぼ０になり、Ｉ≒Ａ、すなわち、空画像Ｉは、環境光の強度Ａと等しくなる。
【００９１】
次に、情報処理サーバ装置１０は、画像を鮮鋭化する（ステップＳ１２）。例えば、鮮鋭化画像を取得するために、式（１）において、
Ｊ（ｘ）＝（Ｉ（ｘ）−Ａ）／ｔ（ｘ）＋Ａ    ・・・（６）
となる。ここで、０除算を防ぐために、定数ｔ０を与え、ｔ（ｘ）の代わりに、max（ｔ（ｘ），ｔ０）により、式（６）の計算を行う。
【００９２】
以上のようなＨｅのアルゴリズムの他に、Ｈｅのさまざまな改良手法、霧を除去する画像のコントラストを最大化する方法、メジアンフィルタを用いる方法、マルコフ確率場モデルによる方法等でもよく、画像が鮮鋭化されるならばよい。情報処理サーバ装置１０は、ＡＩを用いた画像処理により、霧を除去してもよい。
【００９３】
（３．３  視程の推定のサブルーチン）
次に、視程の推定のサブルーチンについて、図１６、図１７Ａおよび１７Ｂを用いて説明する。
図１６は、視程の推定のサブルーチンを示すフローチャートである。図１７Ａおよび図１７Ｂは、視程の計算の一例を示す模式図である。
【００９４】
図１６に示すように、情報処理サーバ装置１０は、光減衰パラメータを計算する（ステップＳ２０）。具体的には、情報処理サーバ装置１０は、透過マップｔ（ｘ）とカメラＣからの距離との関係式（２）を、Ｉ（ｘ）である画像３０に適用して、光減衰パラメータbetaを計算する。
【００９５】
さらに具体的には、式（５）で、ｔ（ｘ）＝１−Ｉ（ｘ）／Ａを得ているため、２次元の画素毎のｔ（ｘ，ｙ）は画像全体において濃淡値をもった光源減衰画像である。
【００９６】
ｘ＝０（（ｘ，ｙ）＝（０，０））である画像の一番下（手前）から、ｘ＝MAX（（ｘ，ｙ）＝（ｐ，ｑ））である画像３０の上部までの全画素においての和Sigmaとした場合、カメラＣが撮影した画像Ｉ（ｘ）と、奥行き方向距離ｄ（ｘ）の関数の式（２）の濃淡画像との差分の絶対値の和Ｅが最小となるように、未知数βを求めていく。
Ｅ＝Sigma｜Ｉ（ｘ）―ｅｘｐ（−beta×ｄ（ｘ））｜＾２  ＞  minimization  ・・・（７）
この式（７）については、係数betaを未知数として、最小二乗法で求めることができる。例えば、必要条件として，Ｅのbetaによる一次偏微分が０である条件を課し、数値解法としてさまざまなものを適用することができ、最も簡易な最急降下法を適用して、係数betaおよびｄ（ｘ）を求める。光減衰パラメータbetaが大きいほど、霧等の変化が奥行き方向距離に比べて、急激に変化していることを示している。なお、さまざまな画像に適用すると、０．１＜beta＜０．５であった。
【００９７】
情報処理サーバ装置１０は、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段も一例として機能する。
【００９８】
次に、情報処理サーバ装置１０は、光の透過マップの関係式（２）に基づき、物体から推定された奥行き方向距離、または、式（３）から計算された奥行き方向距離から視程を計算する（ステップＳ２１）。具体的には、情報処理サーバ装置１０は、算出された光減衰パラメータbetaによるｅｘｐ（−beta×ｄ（ｘ））に基づき、ステップＳ６で推定した各物体の奥行き方向距離、または、ステップＳ７で計算された奥行き方向距離から、視程を計算する。ステップＳ６で推定した各物体の奥行き方向距離の場合、さらに具体的には、図１７Ａに示すように、制御部１６が、所定の画像領域の一例である各物体の部分画像領域におけるＩ（ｘ）等の霧等の濃さを示す値に対して、ステップＳ２０で計算された光減衰パラメータbetaの値（例えば、beta1、beta2等）における関数ｅｘｐ（−beta×ｄ（ｘ））の濃度分布を当てはめる。なお、関数ｅｘｐ（−beta×ｄ（ｘ））の値や、その逆数等が、光減衰パラメータを当てはめた関係式に基づく光透過の値の一例である。また、図１７Ａにおいて、ステップＳ７で計算された奥行き方向距離の場合、横軸が式（２）の奥行き方向距離ｄｖで、イメージ面Ｐにおいてベクトルｖが示す画素の位置が、所定の画像領域に対応する。
【００９９】
計算された光減衰パラメータを当てはめた関係式に基づく光透過の値が所定値になる視程の一例として、図１７Ａに示すように、制御部１６が、関数値が所定の値になる距離（例えば、ｖ１、ｖ２）を視程とする。例えば、式（２）の右辺である関数ｅｘｐ（−beta×ｄ（ｘ））の関数値が、光減衰パラメータを当てはめた関係式に基づく光透過の値の一例である。関数ｅｘｐ（−beta×ｄ（ｘ））において、ｄ（ｘ）は、ｄ１やｄ２の値でもよい。視程のレベルに応じて、閾値が複数設定されてもよい。
【０１００】
式（２）の左辺の値である各物体の部分画像領域におけるＩ（ｘ）等の霧等の濃さを示す値として、例えば、式（６）を変形した式（８）
ｔ（ｘ）＝Ｉ（ｘ）−Ａ／（Ｊ（ｘ）−Ａ）  ・・・（８）
から算出される。なお、ベクトルｘが示す画素は、ステップＳ７で計算された奥行き方向距離の場合、イメージ面Ｐにおいてベクトルｖに対応する画素である。
【０１０１】
また、ｔ（ｘ）の推定値は、画像３０の鮮鋭化される前の画像におけるパッチ内で、ＲＧＢのいずれかの成分で計算される値でもよい。例えば、ｔ（ｘ）の推定値は、部分画像領域において、ある色成分におけるＩ／Ａの最小値で、かつ、パッチ内おける最小値を、１から差し引いた値でもよい。
【０１０２】
なお、図１７Ｂに示すように、カメラＣにより近いｄ１を基準して、制御部１６が濃度分布を当てはめてもよい。また、ｄ１・ｄ２間を、ｔ（ｄ１）、ｔ（ｄ２）で直線近似して、制御部１６が視程を計算してもよい。
【０１０３】
光減衰関数であるｔ（ｘ）が、手前から奥行きへ濃淡値分布をしていることから、その最大値、最小値を求めて、制御部１６が、それぞれに物理的な距離（ｍ単位）を割り当ててもよい。例えば、制御部１６が、画像３０の鮮鋭化される前の画像に対して、手前から奥行き方向について、横一ライン毎に、輝度を積算していき、全体の輝度の総和を求め、ノイズを考慮して、この積算値について、総和に対して１０％を最小値として、９０％を最大値としてもよい。
【０１０４】
このように、情報処理サーバ装置１０は、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段も一例として機能する。情報処理サーバ装置１０は、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値であって、所定の前記画像の領域における前記光透過の値と、前記奥行き方向距離から、視程を計算する視程計算手段も一例として機能する。情報処理サーバ装置１０は、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値が所定値になる前記視程を計算する視程計算手段も一例として機能する。
【０１０５】
以上、本実施形態によれば、カメラＣにより屋外を撮影した画像を取得し、画像を鮮鋭化した鮮鋭化画像を生成し、鮮鋭化画像から物体を抽出して、当該物体の画素スケールから当該物体の物理的スケールを換算し、物体の物理的スケールから物体の奥行き方向距離を計算し、光の透過マップｔ（ｘ）とカメラＣからの距離ｄ（ｘ）との関係式（２）を画像に適用して、大気の光減衰パラメータbetaを計算し、算出された光減衰パラメータbetaによる関係式（２）に基づき、奥行き方向距離から、視程を計算することにより、特別の測定装置が不要で、視程を推定できる。
【０１０６】
また、鮮鋭化画像から物体を抽出しているため、ＡＩによる画像処理が適用しやすくなり、視程の精度が向上する。
【０１０７】
また、関係式（２）により計算されるｄ（ｘ）は、あくまで画素単位であるが、物体の画素スケールから物体の物理的スケールを換算するテーブル（物体情報ＤＢ１２ｄ）により、メートル単位等の物理的にスケールが求まり、視程が計算できる。
【０１０８】
また、画像３１、３２において、奥行き方向距離を計算するための物体が認識できない場合、カメラＣの設置の高さおよび撮影方向から、画像３１、３２における奥行き方向距離ｄｖを計算する場合、道路等に車両が写っていない場合でも、視程が計算できる。
【０１０９】
また、計算された光減衰パラメータbetaを当てはめた関係式（２）に基づく光透過の値であって、所定の画像領域の一例である物体に対応する画像の領域における光透過の値と、物体の奥行き方向距離ｄ（ｘ）から、視程を算出する場合、画像に対して関係式を当てはめ、物体の奥行き方向距離ｄ（ｘ）に対応した視程を計算できる。
【０１１０】
また、計算された光減衰パラメータbetaを当てはめた関係式（２）に基づく光透過の値が所定値になる視程を算出する場合、所定値に対応した所定の視程を算出できる。
【０１１１】
また、視程を視程レベルに変換する場合、物理的距離の視程を推定する際の誤差を吸収でき、レベルにより安定して視程を表すことができる。
【０１１２】
（変形例）
また、図１８に示すように、道路や滑走路が水平でない場合、情報処理サーバ装置１０は、ｄｖの値を、道路や滑走路の傾斜の度合いにより補正してもよい。例えば、道路が登り坂のとき、カメラＣに道路が近づくため、ｄｖの値が、道路の傾きに応じて短めに補正される。道路が下り坂のとき、カメラＣが道路から離れるため、ｄｖの値が、道路の傾きに応じて長めに補正される。なお、視程を視程レベルに変換される場合、ｄｖの値を補正しなくても、ｄｖの値の補正の範囲が、視程を視程レベルにより吸収される場合があるので、情報処理サーバ装置１０は、道路等の傾きにより、式（３）のｄｖの値を補正しなくてもよい。
【０１１３】
次に、透過マップｔ（ｘ）の変形例について説明する。式（８）の関係式は、式（２）の関係式の光の透過マップを拡張した式である。式（８）は、式（２）の指数の他に、正弦波、余弦波、線形の要素を示す各関数を加えた式である。
ｔ（ｘ）＝alpha1 × ｅｘｐ（−beta1 × ｄ（ｘ））
+ alpha2  × ｓｉｎ（−beta2 × ｄ（ｘ））
+ alpha3  × ｃｏｓ（−beta3 × ｄ（ｘ））
+ alpha4  ×（beta4 × ｄ（ｘ））
・・・（９）
【０１１４】
ここで、重み係数alpha1からalpha4については、例えば、デフォルト１とする。重み係数alpha1からalpha4は、画像に応じて変えてもよい。光減衰パラメータの一例である係数beta1からbeta4は、それぞれ、指数関数の要素に対するパラメータbeta1、正弦関数の要素に対するパラメータbeta2、余弦関数の要素に対するパラメータbeta3、線形の要素に対するパラメータbeta4である。
【０１１５】
複数の光減衰パラメータbeta1からbeta4に関しては、カメラＣが撮影した画像Ｉ（ｘ）に対して、式（７）の関係式において、ｅｘｐ（−beta×ｄ（ｘ）の代わりに式（９）の透過マップｔ（ｘ）を適用して、情報処理サーバ装置１０が、係数beta1からbeta4を未知数として、最小二乗法で、各光減衰パラメータbeta1からbeta4を算出する。
【０１１６】
また、beta1からbeta4に関しては、カメラＣが撮影した画像Ｉ（ｘ）のヒストグラム分布（横軸０〜２５５輝度階調、縦軸、輝度値に対応する１枚の画像内の画素数）を求めて、このヒストグラム分布と式（９）に関して、最小二乗法により、情報処理サーバ装置１０が、各光減衰パラメータbeta1からbeta4を算出してもよい。
【０１１７】
実際の霧の濃さは、時間と空間で時々刻々変化している特徴がある。一方で、従来からの単調減少する指数関数（式（２））は、霧の濃淡の均一分布を仮定したものである。そのため、霧の非均一性に反した分、精度が低下することが考えられる。しかし、式（９）に示すように、関係式が、指数関数の他に、正弦関数および余弦関数のうち少なくとも一方の関数の要素を含み、光減衰パラメータが、光減衰パラメータ計算手段により計算された、正弦関数および余弦関数のうち少なくとも一方の関数の要素に対するパラメータを含む場合、霧の濃淡が均一でなくても、より正確に視程を計算することができる。
【０１１８】
次に、画像鮮鋭化の変形例について説明する。
【０１１９】
濃霧が著しい画像の場合は、ステップＳ２の画像の鮮鋭化処理を一度施しただけでは、十分に、鮮鋭化ができない、視程が正確に計算できないといった問題が生じる。そのため、情報処理サーバ装置１０は、１枚の画像しかない場合、ステップＳ２の画像の鮮鋭化処理を数回繰り返してもよい。例えば、情報処理サーバ装置１０は、１回目の処理で、ステップＳ１２において仮の鮮鋭化画像を得て、これを入力画像としてステップＳ１０に戻すことを、数回繰り返す。
【０１２０】
また、情報処理サーバ装置１０が、ＡＩを用いた画像処理等により霧を除去する鮮鋭化処理を施して、第１光減衰パラメータ（式（９）のパラメータを含む）を式（７）により推定し、鮮鋭化処理された画像を入力画像としてステップＳ１０に戻し、第２光減衰パラメータを式（７）により推定することを繰り返してもよい。第１光減衰パラメータと第２光減衰パラメータとから（例えば、第１光減衰パラメータと第２光減衰パラメータの平均値から）、ステップＳ２１において、情報処理サーバ装置１０が、視程を計算してもよい。
【０１２１】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【０１２２】
１：視程推定システム
１０：情報処理サーバ装置（視程推定装置）
２０：端末装置
３０：画像
Ｃ：カメラ（撮影手段）
【要約】
特別の測定装置が不要で視程を推定できる視程推定装置等を提供する。
撮影手段Ｃにより屋外を撮影した画像を取得し（Ｓ１）、画像から環境光および光の透過マップを推定し、環境光および光の透過マップに基づき、画像を鮮鋭化した鮮鋭化画像を生成し（Ｓ２）、鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算し（Ｓ５）、物体の物理的スケールの奥行き方向の成分から物体の奥行き方向距離を計算し（Ｓ６）、透過マップと撮影手段からの距離との関係式を画像に適用して、大気の光減衰パラメータを計算し（Ｓ８、Ｓ２０）、計算された光減衰パラメータを当てはめた関係式に基づき、奥行き方向距離から、視程を計算する（Ｓ８、Ｓ２１）。【図１】
0006901647.tif 000002
【図２】
0006901647.tif 000003
【図３】
0006901647.tif 000004
【図４】
0006901647.tif 000005
【図５】
0006901647.tif 000006
【図６】
0006901647.tif 000007
【図７】
0006901647.tif 000008
【図８】
0006901647.tif 000009
【図９Ａ】
0006901647.tif 000010
【図９Ｂ】
0006901647.tif 000011
【図９Ｃ】
0006901647.tif 000012
【図１０Ａ】
0006901647.tif 000013
【図１０Ｂ】
0006901647.tif 000014
【図１０Ｃ】
0006901647.tif 000015
【図１０Ｄ】
0006901647.tif 000016
【図１１Ａ】
0006901647.tif 000017
【図１１Ｂ】
0006901647.tif 000018
【図１２】
0006901647.tif 000019
【図１３Ａ】
0006901647.tif 000020
【図１３Ｂ】
0006901647.tif 000021
【図１４】
0006901647.tif 000022
【図１５】
0006901647.tif 000023
【図１６】
0006901647.tif 000024
【図１７Ａ】
0006901647.tif 000025
【図１７Ｂ】
0006901647.tif 000026
【図１８】
0006901647.tif 000027