(57)【要約】      （修正有）【課題】実際の時間帯や天候等の道路状況により適合した画像を提供できる画像作成装置等を提供する。【解決手段】移動体で撮影された画像を取得しＳ３、取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定しＳ４取得された画像から、第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定しＳ５、作成可能と判断されたとき、取得された画像から第２撮影条件の画像を作成するＳ６。【選択図】図９
2016166794.tif 000002
【特許請求の範囲】
【請求項１】
移動体で撮影された画像を取得する画像取得手段と、
前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定手段と、
前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定手段と、
前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成手段と、
を備えたことを特徴とする画像作成装置。
【請求項２】
請求項１に記載の画像作成装置において、
前記画像作成手段が作成した画像を、当該画像が撮影された撮影地点における撮影条件に関連付けて記憶する記憶手段を更に備え、
前記取得された画像の第１撮影条件が、前記記憶手段に記憶されている前記作成した画像の撮影条件と等しい場合、前記記憶手段が、当該取得された画像と、当該記憶されている前記作成した画像とを入れ替えることを特徴とする画像作成装置。
【請求項３】
請求項２に記載の画像作成装置において、
前記第１撮影条件とは異なる第２撮影条件の画像が、前記取得された画像が撮影された撮影地点における、前記記憶手段において不足している撮影条件の画像であることを特徴とする画像作成装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像作成装置において、
前記取得された画像の画像情報、および、当該取得した画像に付加されている画像付加情報の少なくとも１つに基づき、前記取得された画像を、前記第２撮影条件の画像を作成するための画像として採用するか否かを判定する採用判定手段を、更に備えたことを特徴とする画像作成装置。
【請求項５】
画像取得手段が、移動体で撮影された画像を取得する画像取得ステップと、
撮影条件決定手段が、前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定ステップと、
画像作成判定手段が、前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定ステップと、
画像作成手段が、前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成ステップと、
を有することを特徴とする画像作成方法。
【請求項６】
コンピュータを、請求項１から請求項４のいずれか１項に記載の画像作成装置として機能させることを特徴とする画像作成装置用プログラム。
【請求項７】
移動体に設置された端末装置と、当該移動体で撮影された画像に基づき、画像を作成する画像作成装置と、を備える画像作成システムにおいて、
前記画像作成装置が、
前記移動体で撮影された画像を、前記端末装置から取得する画像取得手段と、
前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定手段と、
前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定手段と、
前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成手段と、
を備えたことを特徴とする画像作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、画像作成装置、画像作成方法、画像作成装置用プログラム、および、画像作成システムの技術分野に属する。
【背景技術】
【０００２】
移動体の一例の車両に、道路状況等の情報を提供するために、道路を走行している車両から撮影された画像が収集されている。例えば、下記特許文献１には、位置情報とリンクされたコンパクトな映像ファイルにて画像情報を蓄積する情報配信サービスシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４２６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、時間帯や天候等の変化により、撮影され収集された画像と見た目が異なる状況になるので、上記特許文献１に記載されている技術では、時間帯や天候等の変化に対応した画像が収集されていない場合、実際の時間帯や天候等の道路状況に適合した画像を提供できなかった。
【０００５】
そこで本願は、上記の各問題点に鑑みて為されたもので、その課題の一例は、実際の時間帯や天候等の道路状況により適合した画像を提供できる画像作成装置等を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、移動体で撮影された画像を取得する画像取得手段と、前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定手段と、前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定手段と、前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成手段と、を備えたことを特徴とする。
【０００７】
また請求項５に記載の発明は、画像取得手段が、移動体で撮影された画像を取得する画像取得ステップと、撮影条件決定手段が、前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定ステップと、画像作成判定手段が、前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定ステップと、画像作成手段が、前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成ステップと、を有することを特徴とする。
【０００８】
また請求項７に記載の発明は、移動体に設置された端末装置と、当該移動体で撮影された画像に基づき、画像を作成する画像作成装置と、を備える画像作成システムにおいて、前記画像作成装置が、前記移動体で撮影された画像を、前記端末装置から取得する画像取得手段と、前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定手段と、前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定手段と、前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成手段と、を備えたことを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像作成装置の概要構成の一例を示すブロック図である。
【図２】実施例に係る画像作成システムの概略構成の一例を示す模式図である。
【図３】実施例に係る画像作成装置の概要構成の一例を示すブロック図である。
【図４】実施例に係る画像作成装置の記憶部の画像データベースの一例を示す模式図である。
【図５】実施例に係る画像作成装置の記憶部のデータベースの一例を示す模式図である。
【図６】実施例に係る画像作成装置の記憶部のデータベースの一例を示す模式図である。
【図７Ａ】基本背景画像の一例を示す模式図である。
【図７Ｂ】基本背景画像の一例を示す模式図である。
【図７Ｃ】基本背景画像の一例を示す模式図である。
【図８】実施例に係る車載情報処理端末装置の概要構成の一例を示すブロック図である。
【図９】実施例に係る画像作成システムにおける動作の一例を示すシーケンス図である。
【図１０】撮影地点に接近した移動体の一例を示す模式図である。
【図１１】移動体から撮影された画像の一例を示す模式図である。
【図１２】フィルタリングされた画像の一例を示す模式図である。
【図１３】合成画像の一例を示す模式図である。
【図１４】合成画像の一例を示す模式図である。
【図１５】実施例に係る画像作成システムにおける動作の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１０】
本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る画像作成装置の概要構成の一例を示すブロック図である。
【００１１】
図１に示すように、画像作成装置１０は、画像取得手段１０ａと、撮影条件決定手段１０ｂと、画像作成判定手段１０ｃと、画像作成手段１０ｄと、を備えて構成されている。
【００１２】
この構成において画像取得手段１０ａは、移動体で撮影された画像を取得する。この移動体の一例として、自動車等の車両、自動二輪車、航空機、船舶等が挙げられる。移動体で撮影された画像一例として、移動体の前方や、後方、側方等の移動体の周囲を、移動体に設置されたカメラ等の撮影された静止画や動画が挙げられる。
【００１３】
また、画像取得手段１０ａは、画像付加情報として、取得した画像の撮影地点を示し緯度経度と関連付けられた撮影ポイントＩＤ、画像の撮影時刻、撮影地点の気象情報、画像の撮影方向の情報、撮影地点がトンネル内であるか否かを示すトンネル情報、移動体の速度等を取得してもよい。
【００１４】
撮影条件決定手段１０ｂは、画像取得手段１０ａが取得した画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する。ここで、撮影条件の一例として、撮影地点における気象条件（快晴、晴れ、薄曇り、曇り、雨、雪、みぞれ、吹雪、霧、砂塵嵐、雷、台風等の天気・天候、気温、湿度、気圧等の気象情報の条件）、朝、昼間、夕方、夜等の時間帯、春夏秋冬等の季節等が挙げられる。
【００１５】
この撮影条件は、例えば、取得した画像を解析して、決定される。例えば、撮影条件は、取得した画像の輝度の統計量、各色の成分の統計量等により決定される。統計量は、画像の画素に対するヒストグラムの分布の形状、平均値、中央値、最頻値等が挙げられる。
【００１６】
画像作成判定手段１０ｃは、取得された画像から、第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する。ここで、第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かの判定は、例えば、取得された画像の解析結果、解析結果から決定された撮影条件、画像付加情報等に基づき、判定される。取得された画像の解析結果において緑の成分が多いと判定された画像、解析結果から決定された撮影条件が実際と異なる画像、決定された撮影条件において夜と判定された画像、画像付加情報からトンネル内と判定された画像のように、第２撮影条件の画像に適さない画像の場合、第２撮影条件の画像が作成可能でないと判定される。
【００１７】
また、画像作成判定手段１０ｃは、取得された取得画像の撮影条件と、取得画像から作成可能な画像の撮影条件との対応関係を示すテーブルに基づき、取得された画像から、第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定してもよい。例えば、晴れで昼の画像が取得された場合のように撮影条件が良好の場合は、多くの種類の第２撮影条件の画像が作成可能と判定される。一方、曇りで朝夕の画像が取得された場合のように撮影条件があまりよくない場合は、雨で夕方の画像や、夜の画像は作成可能であるが、晴れの画像、曇りで昼の画像、雨で昼の画像は、作成不可能と判定される。
【００１８】
画像作成手段１０ｄは、画像作成判定手段１０ｃにおいて作成可能と判断されたとき、取得された画像から第２撮影条件の画像を作成する。画像合成等の画像変換により、第２撮影条件の画像が作成される。例えば、取得した画像から空の部分を、異なる撮影条件の風景に変えたり、空の部分の色調を、異なる撮影条件の風景に合わせたりして、第２撮影条件の画像を作成する。
【００１９】
以上説明したように、実施形態に係る画像作成装置１０の動作によれば、実際の時間帯や天候等の道路状況により適合した画像を提供できる。    
【実施例】
【００２０】
［１．画像作成システムの構成および機能概要］
次に、上述した実施形態に対応する具体的な実施例について、図２から図７を用いて説明する。なお以下に説明する実施例は、移動体の一例の車両等に搭載され車載情報処理端末装置と、画像作成装置の一例としてのサーバとがネットワークを通して接続した画像作成システムにおける画像作成に本願を適用した場合の実施例である。
【００２１】
図２は、実施例に係る画像作成システムの概略構成の一例を示す模式図である。
【００２２】
図２に示すように、実施形態に係る画像作成システム１は、移動体の一例の車両５から撮影された画像を取得して、他の車両５に配信するための画像を作成する画像作成装置１０（例えば、サーバ）と、車両５に搭載された車載情報処理端末装置２０と、を備えている。
【００２３】
画像作成装置１０は、車両５の車載情報処理端末装置２０から取得した画像を解析して、画像が撮影された撮影地点における撮影条件である第１撮影条件を決定し、取得された画像から、第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定し、取得された画像から第２撮影条件の画像を作成する。また、画像作成装置１０は、コンピュータとして機能する。
【００２４】
車載情報処理端末装置２０は、撮影地点に来たら、画像を撮影し、画像作成装置１０に送信する。また、車載情報処理端末装置２０は、車載情報処理端末装置２０のナビゲーション機能により算出されたルート上における所定の地点の画像データを画像作成装置１０に要求する。また、車載情報処理端末装置２０は、コンピュータとして機能する。撮影地点は、画像作成装置から指定された地点であってもよいし、車載情報処理端末装置２０内に記憶している地点であってもよい。
【００２５】
画像作成装置１０および車載情報処理端末装置２０は、ネットワーク３を介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、およびゲートウェイ等により構築されている。
【００２６】
［２．画像作成装置および各端末装置の構成および機能］
（２．１  画像作成装置１０の構成および機能）
次に、画像作成装置１０の構成および機能について、図３から図６を用いて説明する。
【００２７】
図３は、実施例に係る画像作成装置の概要構成の一例を示すブロック図である。図４から図６は、実施例に係る画像作成装置の記憶部のデータベースの一例を示す模式図である。
【００２８】
図３に示すように、画像作成装置１０は、車両５の車載情報処理端末装置２０との通信を行う通信部１１（画像取得手段１０ａの一例）と、車載情報処理端末装置２０から受信した画像データ等を記憶する記憶部１２と、データ等を表示する表示部１３と、データ等を入力する操作部１４と、通信部１１等の各処理を制御する制御部１５と、を有する。
【００２９】
通信部１１は、ネットワーク３に接続して、車載情報処理端末装置２０との通信状態を制御するようになっている。そして、通信部１１は、車両５の車載情報処理端末装置２０から、車両５から撮影した画像データ、画像付加情報として、撮影地点を示し緯度経度と関連付けられた撮影ポイントＩＤ、画像の撮影時刻、撮影地点の気象情報、画像の撮影方向の情報、撮影地点がトンネル内であるか否かを示すトンネル情報、車両５の速度、等を受信する。
【００３０】
記憶部１２（記憶手段の一例）は、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されており、車載情報処理端末装置２０から送信されてきた画像データと、画像付加情報とを関連付けて記憶する画像データベース（画像ＤＢ）１２ａと、取得された画像から、画像が撮影された撮影地点における撮影条件を決定するための撮影条件決定テーブルと、取得された画像から、異なる撮影条件の画像が作成可能か否かを判定するための画像作成判定テーブル等を記憶したテーブル情報データベース（テーブル情報ＤＢ）１２ｂと、取得された画像から、異なる撮影条件の画像が作成可能なための基本背景画像を記憶した基本背景画像データベース（基本背景画像ＤＢ）１２ｃと、を有する。
【００３１】
図４に示すように、画像データベース１２ａ（前記画像作成手段が作成した画像を、当該画像が撮影された撮影地点における撮影条件に関連付けて記憶する記憶手段の一例）には、取得したまたは作成された画像の画像データが、撮影ポイントＩＤ、撮影時刻、撮影条件、撮影方向、車両５の速度、および、画像データが作成された画像である否かを示めす作成フラグ等に関連付けられて記憶されている。図４に示すように、撮影ポイントＩＤに対応した撮影地点において、撮影条件の組み合わせ毎、かつ、道路の方向に対応した撮影方向毎に、画像データが記憶されている。
【００３２】
なお、画像データの欄にデータがないレコードが、記憶手段において不足している撮影条件の画像の一例である。また、画像データの欄にデータがあるレコードであっても、作成フラグ”１”、すなわち画像データが作成された合成画像である場合、実際に撮影された画像が不足しているので、記憶手段において不足している撮影条件の画像としてもよい。
【００３３】
テーブル情報データベース１２ｂの撮影条件決定テーブルには、取得画像の輝度の情報および画像のＲＧＢ等の色情報に応じた、撮影条件の対応テーブルが記憶されている。画像の各画素の輝度の分布、画像の各画素の色の分布に対した、撮影条件（気象条件、時間帯、季節等）対応付けられている。例えば、図５に示すように、画像の輝度や明るさの高低により、まず分類され、画像の各ＲＧＢ成分のうち、Ｒ（赤）成分の大小およびＢ（青）成分の大小により分類される。
【００３４】
ここで、画像の輝度や明るさの高低は、例えば、画像全体または画像の所定領域において、各画素の輝度（または明るさ）のヒストグラムを算出し、最も頻度が高い輝度のピーク値等や、平均の輝度値等が、所定値以上の輝度ならば、画像の輝度が高い、所定値より小さいならば、画像の輝度が低いとする。なお、所定値以上の輝度を有する画素が、所定数以上ならば、画像の輝度が高いとしてもよい。
【００３５】
また、画像の各ＲＧＢ成分の大小は、例えば、画像全体または画像の所定領域において、各画素の各ＲＧＢ成分の各ヒストグラムを算出し、最も頻度が高い各色成分値のピーク値等や、平均の各色成分値等が、所定値以上の輝度ならば、画像の各色成分が大きい、所定値より小さいならば、画像の各色成分が小さいとする。なお、所定値以上の各色成分値を有する画素が、所定数以上ならば、その色成分に対して、その色の色成分が大きいとしてもよい。
【００３６】
図５に示すように、輝度が高い場合は、撮影条件は、昼または朝夕となり、輝度が低い場合は、撮影条件は、夜または朝夕となる。
【００３７】
図５に示すように、赤成分と青成分との組み合わせにより、晴れ、曇り、雨等の天気の区別と、昼、朝夕、夜の区別の分類がされる。例えば、輝度が高くて、青が大きくかつ赤が大きい場合、撮影条件は、”昼・曇り”、または、”昼・雨”となる。輝度が高くて、青が小さくかつ赤が大きい場合、撮影条件は、”朝夕・晴れ”となる。なお、輝度が低く、青が小さくかつ赤が大きい場合等のように、暗くて天気の判定が難しい場合、撮影条件は”夜”のみと判定する。
【００３８】
なお、上記の例では、取得画像から撮影条件を判定したが、取得画像の画像付加情報として関連付けられている、画像の撮影時刻、撮影地点の気象情報の情報に基づき、撮影条件を判定してもよい。
【００３９】
テーブル情報データベース１２ｂの画像作成判定テーブルには、取得画像から決定された撮影条件（取得画像の第１撮影条件）から、作成可能な画像の撮影条件（合成画像の第２撮影条件）の可否が記憶されている。例えば、図６に示すように、取得画像の第１撮影条件が、”晴れ・昼間”の場合、全ての撮影条件の合成画像が作成可能である。”晴れ・朝夕”の場合、昼間の画像以外の合成画像は作成可能である。すなわち、”晴れ・昼間”、”曇り・昼間”、”雨・昼間”の画像以外の合成画像は作成可能である。”曇り・昼”の場合、晴れの画像以外の合成画像は作成可能である。すなわち、”晴れ・昼間”、”晴れ・朝夕”の画像以外の合成画像は作成可能である。”曇り・朝夕”の場合、”曇り・朝夕”の画像自体と、”雨・朝夕”および”夜”の合成画像は作成可能である。”雨・昼”の場合、”雨・昼”の画像自体と、”雨・朝夕”おおび”夜”の合成画像は作成可能である。”雨・朝夕”の場合、”雨・朝夕”の画像自体と、”夜”の合成画像は作成可能である。”夜”の場合、”夜”の画像自体のみ画像は作成可能である。すなわち、他の撮影条件の合成画像は作成ができない。
【００４０】
また、基本背景画像データベース１２ｃには、図７Ａから図７Ｃに示すような基本背景画像が記録されている。基本背景画像として、夜空の画像（図７Ａ）、夕方の空の画像（図７Ｂ）、曇り空の画像（図７Ｃ）等の天気、時刻帯、季節等に応じた空の画像が挙げられる。
【００４１】
また、記憶部１２は、オペレーティングシステムおよびサーバプログラム等の各種プログラム等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００４２】
表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。
【００４３】
操作部１４は、例えば、キーボードおよびマウス等によって構成されている。
【００４４】
制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有する。制御部１５は、画像作成装置１０の各処理部の動作を制御する。制御部１５は、記憶部１２に記憶された各種プログラムを読み出し実行することにより、画像処理等を実行する。
【００４５】
（２．２  車載情報処理端末装置２０の構成および機能）
次に、車載情報処理端末装置２０の構成および機能について、図８を用いて説明する。
図８は、実施例に係る車載情報処理端末装置の概要構成の一例を示すブロック図である。
【００４６】
図８に示すように、ナビゲーション装置である車載情報処理端末装置２０は、画像作成装置１０と通信を行う通信部２１と、ナビゲーションの情報を表示する表示部２２と、車両５の進行方向の風景を撮影する撮影部２３と、ナビゲーション用の各種データ等を記憶する記憶部２４と、車両５の速度、現在位置の情報等の情報を各種センサから取得するセンサ情報取得部２５と、ユーザが車載情報処理端末装置２０を操作するための操作部２６と、車載情報処理端末装置２０の各部の動作を制御する制御部２７と、を有する。
【００４７】
通信部２１は、ネットワーク３に接続して、画像作成装置１０との通信状態を制御するようになっている。そして、通信部２１は、撮影した画像データ、画像付加情報等を画像作成装置１０に送信する。また、通信部２１は、ナビゲーション機能により算出されたルート上における所定の地点の画像データを画像作成装置１０に要求し、画像データを受信する。
【００４８】
表示部２２は、例えば、液晶表示素子またはＥＬ素子等によって構成されている。
【００４９】
撮影手段の一例の撮影部２３は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を有するデジタルカメラである。撮影部２３は、車両５のバックミラー付近等の車両５の前方が撮影できる位置に設置されている。撮影部２３は、車両５の前方の周辺画像を撮影する。なお、撮影部２３の設置位置は、車両５の側方、後方でもよく、側方や後方を撮影してよい。また、撮影部２３の数は複数でもよい。
【００５０】
記憶部２４は、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されており、地図情報等を記憶している。
【００５１】
センサ情報取得部２５は、ＧＰＳ（Global Positioning System）センサ、速度センサ、高度センサ、タイマーから、位置情報、速度情報、高度情報、現在時刻等の情報を取得する。
【００５２】
操作部２６は、例えば、操作ボタン等によって構成されている。なお、表示部２２がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部２６は、ユーザが接触または近接した表示部２２の位置情報を取得する。
【００５３】
制御部２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有し、車載情報処理端末装置２０の各部の動作を制御する。
【００５４】
［３．情報処理システムの動作］
次に、実施例に係る画像作成システム１の動作について図を用いて説明する。
【００５５】
（３．１  画像の作成の動作例）
実施例に係る画像作成システムにおける画像作成の動作について、図９から図１４を用いて説明する。
【００５６】
図９は、実施例に係る画像作成システムにおける動作の一例を示すシーケンス図である。図１０は、撮影地点に接近した移動体の一例を示す模式図である。図１１は、移動体から撮影された画像の一例を示す模式図である。図１２は、フィルタリングされた画像の一例を示す模式図である。図１３および図１４は、合成画像の一例を示す模式図である。
【００５７】
車両５の車載情報処理端末装置２０が、ナビゲーション機能により算出されたルートの情報を画像作成装置１０に送信し、画像作成装置１０からルート上における画像を撮影すべき地点の撮影ポイントＩＤ情報を受信する。その後、車両５はナビゲーションに従い運転される。なお、撮影ポイントＩＤ情報は、緯度経度情報を含んでもよいし、車載情報処理端末装置２０が、撮影ポイントＩＤ情報と、緯度経度情報とを関連付けた、地図のデータベースを有してもよい。
【００５８】
図９に示すように、車載情報処理端末装置２０は、特定地点での撮影を行う（ステップＳ１）。具体的には、車載情報処理端末装置２０の制御部２７は、撮影部２３が撮影するように指令して、撮影部２３が画像を撮影する。図１０に示すように、撮影ポイントＩＤにより特定される撮影地点（所定の交差点や渋滞が起きそうな地点、渋滞が起こっている地点、事故があった地点等）に接近したら、車両５に設置された撮影部２３が、前方の風景の画像を撮影する。例えば、図１１に示すように、画像３０を撮影する。
【００５９】
制御部２７は、センサ情報取得部２５から、画像の撮影方向、撮影位置、撮影高度、車両５の速度等の情報を取得する。制御部２７は、記憶部２４の地図データの道路情報を参照して、撮影位置および撮影高度の情報から、撮影した地点が、トンネル内であるか否か、立体交差の場合のいずれかの道路であるか否かを判定する。
【００６０】
制御部２７は、撮影ポイントＩＤに関連付けて、撮影部２３が撮影した画像の画像データと、撮影ポイントＩＤ、画像の撮影時刻、撮影方向、撮影地点がトンネル内であるか否かを示すトンネルフラグ、速度等のような画像付加情報とを、記憶部２４または制御部２７のＲＡＭに記憶する。なお、撮影ポイントＩＤの代わり、または、共に、撮影位置を記憶してもよい。
【００６１】
次に、車載情報処理端末装置２０は、画像データおよび画像付加情報を送信する（ステップＳ２）。具体的には、車載情報処理端末装置２０の制御部２７は、通信部２１を介して、画像作成装置１０に、車両５の車両ＩＤ（または、車載情報処理端末装置２０の端末ＩＤ）と共に、画像データおよび画像付加情報を送信する。
【００６２】
次に、画像作成装置１０は、画像データおよび画像付加情報を受信する（ステップＳ３）。具体的には、画像作成装置１０の制御部１５は、通信部１１を介して、車載情報処理端末装置２０から、画像データおよび画像付加情報を受信する。
【００６３】
このように、画像作成装置１０は、移動体で撮影された画像を取得する画像取得手段の一例として機能する。
【００６４】
次に、画像作成装置１０は、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する（ステップＳ４）。具体的には、画像作成装置１０の制御部１５は、図１１に示すように、画像３０のうち、空の部分を抜き出すために設定された領域３０ａを抜き出す。なお、図１１に示すように、画像３０のおよそ下半分が路面になるように、撮影部２３の仰角が設定されている場合、道路脇の建物や防音壁等、カメラの視界から空以外の領域を取り除くように、領域３０ａが設定される。例えば、画像３０の中央より上の４０％、左右の８０％の領域に、領域３０ａが設定される。
【００６５】
次に、制御部１５は、取得された画像を解析するために、領域３０ａにおける輝度のヒストグラム、ＲＧＢの各色の成分のヒストグラムを算出する。
【００６６】
制御部１５は、算出された輝度のヒストグラムから、領域３０ａの輝度の高低を求める。
【００６７】
次に、制御部１５は、ＲＧＢの各色の成分のヒストグラムから、Ｇ（緑）の成分が他のＲＢの成分より強いか否かを判定する。例えば、各色の成分において、色の強度が閾値以上（例えば、レンジが０から２５５において、１２８以上）の画素数が、Ｇの成分が最も多い場合や、Ｇの各色の成分のヒストグラムの平均値、中央値、最頻値等が、ＲＢの各色の成分のヒストグラムの平均値、中央値、最頻値等より大きい場合、Ｇの成分が強いと判定される。このように、ヒストグラム等の領域３０ａにおける統計量から、ＲＧＢの各色の成分の強さを判定する。
【００６８】
次に、制御部１５は、ＲＢの各色の成分のヒストグラム等の領域３０ａにおける統計量から、各色の成分における色の強さの大小を判定する。例えば、各色成分において、ヒストグラムの平均値、中央値、最頻値等が、所定の閾値以上（例えば、レンジが０から２５５において、１２８以上）の場合や、各色の成分において、色の強度が閾値以上の画素数が、所定の閾値以上（例えば、領域３０ａにおける割合が５０％以上）の場合に、その色が大きいとする。
【００６９】
次に、制御部１５は、図５に示すようなテーブル情報データベース１２ｂの撮影条件決定テーブルを参照して、輝度の高低、赤色の大小、および、青の大小に基づき、画像３０の撮影条件である第１撮影条件を決定する。
【００７０】
このように、画像作成装置１０は、前記取得された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定する撮影条件決定手段の一例として機能する。
【００７１】
次に、画像作成判定手段の一例のとして、画像作成装置１０は、第１撮影条件とは異なる第２撮影条件の合成画像を作成可能か否かの判定をする（ステップＳ５）。
【００７２】
取得した画像に付加されている画像付加情報に基づき、前記取得された画像を、前記第２撮影条件の合成画像を作成するための画像として採用するか否かを判定する採用判定手段の一例として、画像作成装置１０の制御部１５は、まず、画像３０の画像付加情報のトンネルフラグが１である場合、トンネル内で撮影されたとして、第１撮影条件と異なる第２撮影条件の合成画像の作成が不可能と判定する。トンネル内の画像は暗く、しかも、撮影条件があまり変わらないので、第２撮影条件の合成画像の作成が不可能とする。これにより、より良好な画像３０を選択できる。
【００７３】
前記取得された画像の画像情報に基づき、前記取得された画像を、前記第２撮影条件の合成画像を作成するための画像として採用するか否かを判定する採用判定手段の一例として、制御部１５は、Ｇ（緑）の成分が他のＲＢの成分より強い場合（緑の比率が高い場合）、樹木の中を車両５が通っている等のため、第２撮影条件の合成画像の作成が不可能と判定する。これにより、より良好な画像３０を選択できる。
【００７４】
前記取得された画像の画像情報、および、当該取得した画像に付加されている画像付加情報の少なくとも１つに基づき、前記取得された画像を、前記第２撮影条件の画像を作成するための画像として採用するか否かを判定する採用判定手段の一例として、制御部１５は、画像３０の第１撮影条件が、撮影地点での実際の天気や、天気の予報と異なる場合、第２撮影条件の合成画像の作成が不可能と判定する。具体的には、画像３０を解析することにより決定された第１撮影条件が「昼」「晴れ」であるが、撮影地点での撮影時の時刻及び天気が「昼」「雨」であるような場合には、当該取得した画像から合成画像を作成するための画像として採用しない。このように画像３０の第１撮影条件の天気が、撮影地点での実際の天気や、天気の予報と異なるように、天気がずれている場合、画像３０を採用しない。これにより、より良好な画像３０を選択できる。なお、撮影地点での実際の天気や、天気の予報は、例えば、制御部１５が、撮影ポイントＩＤに基づき、撮影地点での撮影時刻における気象データを、外部の気象情報に関するサーバから取得する。なお、上述の採用判定手段の順番は、任意である。
【００７５】
また、制御部１５は、図６に示すようなテーブル情報データベース１２ｂの画像作成判定テーブルを参照して、取得した画像３０の第１撮影条件から、いずれの第２撮影条件の合成画像の作成が可能か否かを判定する。例えば、取得した画像３０の第１撮影条件が、”晴れ・昼間”の場合、第２撮影条件の合成画像として、全ての撮影条件の合成画像が作成可能である。取得した画像３０の第１撮影条件が、”曇り・朝夕”の場合、第２撮影条件として、雨・朝夕”および”夜”の合成画像は作成可能である。取得した画像３０の第１撮影条件が、”夜”の場合、第２撮影条件の合成画像は作成不可能である。
【００７６】
なお、画像作成装置１０は、画像データベース１２ａを参照して、画像データベース１２ａにおいて不足している撮影条件の画像を求め、当該不足している撮影条件（第２撮影条件）の画像が、テーブル情報データベース１２ｂの画像作成判定テーブルを参照して、取得した画像３０の第１撮影条件から、いずれの第２撮影条件の合成画像の作成が可能か否かを判定してもよい。
【００７７】
このように、画像作成装置１０は、前記取得された画像から、前記第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定する画像作成判定手段の一例として機能する。
【００７８】
第２撮影条件の合成画像が作成可能の場合（ステップＳ５；ＹＥＳ）、画像作成装置１０は、第２撮影条件の合成画像を作成する（ステップＳ６）。具体的には、画像作成装置１０の制御部１５は、図１２に示すように、受信した画像３０から、空の部分を抜き去ったマスク画像３１を作成する。例えば、画像３０を所定の閾値以上の輝度を有する画素の部分を抜き去ったマスク画像３１を作成する。
【００７９】
次に、制御部１５は、図６に示すようなテーブル情報データベース１２ｂの画像作成判定テーブルを参照して、画像３０の第１撮影条件から、合成画像を作成可能な第２撮影条件を求める。制御部１５は、基本背景画像データベース１２ｃから、合成画像を作成可能な第２撮影条件に対応する各基本背景画像を取得する。
【００８０】
次に、制御部１５は、画像３０、マスク画像３１、および、基本背景画像から、第２撮影条件に対応する合成画像を作成する。例えば、晴れで昼間の画像３０と、マスク画像３１と、基本背景画像とを重ね合わせ、図１３、図１４に示すような、晴れで夕方の画像３２、夜の画像３３等の合成画像が作成される。
【００８１】
このように、画像作成装置１０は、前記画像作成判定手段において作成可能と判断されたとき、前記取得された画像から前記第２撮影条件の画像を作成する画像作成手段の一例として機能する。
【００８２】
次に、画像作成装置１０は、第２撮影条件と関連付けて、第２撮影条件の合成画像を記憶する（ステップＳ７）。具体的には、画像作成装置１０の制御部１５は、作成された合成画像を、第２撮影条件、撮影ポイントＩＤおよび撮影方向に関連付けて、画像データベース１２ａに記憶する。
【００８３】
なお、画像データベース１２ａにおいて、作成フラグが”０”の場合、既に撮影された画像があるので、この合成画像は記憶されない。また、作成フラグが”０”の場合でも、撮影時刻が所定以上古い場合、建物が新たに建築されて風景が変わっている場合があるので、合成画像が記憶されてもよい。また、撮影された画像および合成画像がない場合、撮影地点の風景を模式的にイラスト画像が記憶されていてもよい。画像データベース１２ａにおいて、撮影された画像および合成画像がない場合、撮影時刻や速度の情報は空欄になっている。また、撮影された画像および合成画像がない場合、作成された合成画像でないので、作成フラグを”０”としておいてもよい。
【００８４】
このように、画像作成装置１０は、前記画像作成手段が作成した合成画像を、当該画像が撮影された撮影地点における撮影条件に関連付けて記憶する記憶手段の一例として機能する。
【００８５】
第２撮影条件の合成画像が作成可能でない場合（ステップＳ５；ＮＯ）、または、ステップＳ７の処理の後、画像作成装置１０は、第１撮影条件と関連付けて、第１撮影条件の画像を記憶する（ステップＳ８）。具体的には、画像作成装置１０の制御部１５は、画像３０の第１撮影条件に関連付けて、画像３０を、撮影ポイントＩＤおよび撮影方向に基づき、画像データベース１２ａに記憶する。撮影された画像がない場合、イラスト画像の場合、撮影されたが画像があっても古い場合、最新の画像に置き換わる。
【００８６】
このように、画像作成装置１０は、前記取得された画像の第１撮影条件が、前記記憶手段に記憶されている前記作成した画像の撮影条件と等しい場合、当該取得された画像と、当該記憶されている前記作成した画像とを入れ替える記憶手段の一例として機能する。
【００８７】
（３．２  画像の配信の動作例）
次に、実施例に係る画像作成システムにおける画像配信の動作について、図１５を用いて説明する。
図１５は、実施例に係る画像作成システムにおける動作の一例を示すシーケンス図である。
【００８８】
図１５に示すように、車載情報処理端末装置２０は、ルート計算を行う（ステップＳ１０）。具体的には、車載情報処理端末装置２０の制御部２７は、ナビゲーション機能により、ルート計算を行い、ルート上の撮影ポイントＩＤを求める。
【００８９】
次に、車載情報処理端末装置２０は、画像データを要求する（ステップＳ１１）。具体的には、車載情報処理端末装置２０の制御部２７は、端末ＩＤ、撮影ポイントＩＤ、通過予定時刻、および、ルート上における車両５の進行方向を含む画像データ要求を、画像作成装置１０に送信する。
【００９０】
次に、画像作成装置１０は、画像データ要求を受信する（ステップＳ１２）。具体的には、画像作成装置１０の制御部１５は、端末ＩＤ、撮影ポイントＩＤ、通過予定時刻、および、ルート上における車両５の進行方向を含む画像データ要求を、車載情報処理端末装置２０から受信する。
【００９１】
次に、画像作成装置１０は、気象データを取得する（ステップＳ１３）。具体的には、画像作成装置１０の制御部１５は、撮影ポイントＩＤに基づき、撮影地点での通過予定時刻における気象データを、外部の気象情報に関するサーバから取得する。
【００９２】
次に、画像作成装置１０は、撮影条件に適合する画像が存在するか否かを判定する（ステップＳ１４）。具体的には、画像作成装置１０の制御部１５は、撮影ポイントＩＤ、通過予定時刻および撮影地点での天気の予報に対応した撮影条件（例えば、”昼・晴れ”）、および、撮影ポイントＩＤに対応する地点での車両５の進行方向に基づき、画像データベース１２ａを参照して、撮影条件に適合する画像が存在するか否かを判定する。
【００９３】
撮影条件に適合する画像が存在しない場合（ステップＳ１４；ＮＯ）、画像作成装置１０は、イラスト画像を取得する（ステップＳ１５）。具体的には、画像作成装置１０の制御部１５は、画像データベース１２ａ等から撮影ポイントＩＤ等に対応したイラスト画像を取得する。
【００９４】
撮影条件に適合する画像が存在する場合（ステップＳ１４；ＹＥＳ）、または、ステップＳ１５の処理の後、画像作成装置１０は、画像データを送信する（ステップＳ１６）。具体的には、画像作成装置１０の制御部１５は、画像作成装置１０から、撮影ポイントＩＤに対応した撮影条件に適合する画像の画像データまたはイラスト画像の画像データを、要求があった車載情報処理端末装置２０に送信する。
【００９５】
次に、車載情報処理端末装置２０は、画像データを受信する（ステップＳ１７）。具体的には、画像要求した車載情報処理端末装置２０の制御部１７は、具体的には、画像作成装置１０の制御部１５は、画像作成装置１０から画像データを受信する。
【００９６】
次に、車載情報処理端末装置２０は、画像を表示する（ステップＳ１８）。具体的には、車載情報処理端末装置２０の制御部２７は、ルート上の撮影ポイントＩＤに対応する地点に接近したら、撮影ポイントＩＤに対応する地点の画像を表示部２３に表示して、案内を行う。
【００９７】
以上説明したように、実施例に係る動作によれば、実際の時間帯や天候等の道路状況の撮影条件の画像がない場合でも、移動体で撮影された画像を解析し、当該画像が撮影された撮影地点における撮影条件である第１撮影条件を決定し、取得された画像から、第１撮影条件とは異なる第２撮影条件の画像が作成可能か否かを判定し、取得された画像から第２撮影条件の画像を作成することにより、実際の時間帯や天候等の道路状況により適合した画像を提供できる。
【００９８】
また、作成した画像を、当該画像が撮影された撮影地点における撮影条件に関連付けて画像データベース１２ａ（記憶手段の一例）に記憶し、取得された画像の第１撮影条件が、画像データベース１２ａに記憶されている作成した画像の撮影条件と等しい場合、当該取得された画像と、当該記憶されている作成した画像とを入れ替える場合、作成された画像を、実際の画像に置き換えることができるので、実際の時間帯や天候等の道路状況により適合した画像を提供できる。
【００９９】
また、第１撮影条件とは異なる第２撮影条件の画像が、取得された画像が撮影された撮影地点における、画像データベース１２ａ（記憶手段の一例）において不足している撮影条件の画像である場合、画像データベース１２ａに、画像を補えることができ、実際の時間帯や天候等の道路状況により適合した画像をユーザに提供できる。
【０１００】
また、取得された画像の画像情報、および、当該取得した画像に付加されている画像付加情報の少なくとも１つに基づき、取得された画像を、第２撮影条件の画像を作成するための画像として採用するか否かを判定する場合、実際の時間帯や天候等の道路状況により適合した質の高い画像を採用できる。
【０１０１】
なお、車載情報処理端末装置２０が、ステップＳ４の処理を行って、画像付加情報として、第１撮影条件を、画像作成装置１０に送信してもよい。さらに、車載情報処理端末装置２０が、第２撮影条件の画像を作成して、画像作成装置１０に送信してもよい。
【０１０２】
また、車載情報処理端末装置２０は、撮影地点に来たら、画像を撮影し、画像作成装置１０に送信する例について説明したが、車載情報処理端末装置２０は、画像作成装置１０の撮影要求に応じて画像を撮影し、画像データを送信してもよい。この場合、画像作成装置１０は、画像データベース１２aに画像データが記憶されていない地点及び撮影条件の情報を撮影要求とともに車載情報端末装置２０に送信する。車載情報端末装置２０は送信された地点及び撮影条件に合致した場合に画像を撮影し、画像データを画像作成装置１０に送信するため、必要のない画像データを送信することを防ぐことができる。
【０１０３】
また、画像作成装置１０は、画像データが記憶されていない地点及び撮影条件の情報だけではなく、当該撮影条件の合成画像を作成可能な撮影条件を送信してもよい。具体的には、画像データが記憶されていない撮影条件が「曇り」「朝夕」である場合に、当該撮影条件の画像を作成可能な撮影条件である「曇り」「昼」、「晴れ」「朝夕」、「晴れ」「昼」の３つの条件を送信してもよい。車載情報端末装置２０は、送信された地点及び撮影条件に合致した場合に画像を撮影し、画像データを画像作成装置１０に送信する。画像作成装置１０では、取得した画像データに基づき合成画像を作成することができ、かつ車載情報端末装置２０は、必要のない画像データを送信することを防ぐことができる。
【０１０４】
また、画像作成装置１０は、画像データベース１２aに画像データが記憶されていても、作成フラグが“１”、すなわち画像データが作成された合成画像である場合、この地点及び撮影条件の情報を撮影要求とともに車載情報端末装置２０に送信する。車載情報端末装置２０は、送信された地点及び撮影条件に合致した場合に画像を撮影し、画像データを画像作成装置１０に送信する。画像作成装置１０では、合成画像しかなかった地点及び撮影条件の画像データを得ることができ、かつ車載情報端末装置２０は、必要のない画像データを送信することを防ぐことができる。
【符号の説明】
【０１０５】
１：画像作成システム
５：移動体
１０：画像作成装置
１２ａ：画像データベース
２０：車載情報処理端末装置（端末装置）
【図１】
2016166794.tif 000003
【図２】
2016166794.tif 000004
【図３】
2016166794.tif 000005
【図４】
2016166794.tif 000006
【図５】
2016166794.tif 000007
【図８】
2016166794.tif 000008
【図９】
2016166794.tif 000009
【図１５】
2016166794.tif 000010
【図６】
2016166794.tif 000011
【図７Ａ】
2016166794.tif 000012
【図７Ｂ】
2016166794.tif 000013
【図７Ｃ】
2016166794.tif 000014
【図１０】
2016166794.tif 000015
【図１１】
2016166794.tif 000016
【図１２】
2016166794.tif 000017
【図１３】
2016166794.tif 000018
【図１４】
2016166794.tif 000019