(57)【要約】【課題】車両の乗員が走行経路上の歴史を学習することが可能な画像処理装置を提供する。【解決手段】処理サーバ３０は、過去の年代が異なる複数の地図データ、及び前記地図データの各々に含まれるランドマークに係る画像データを記憶したストレージ３０Ｄを備え、ＣＰＵ３０Ａは、車両の位置情報に基づいて各前記地図データから一又は複数の前記ランドマークを検索し、検出された前記ランドマークに関する一の前記地図データを決定し、決定された前記地図データにおける検出された前記ランドマークに対応し、かつ前記車両の車外の風景に重畳させる画像に係る前記画像データを選択する。【選択図】図４
2020034350.tif 000002
【特許請求の範囲】
【請求項１】
過去の年代が異なる複数の地図データ、及び前記地図データの各々に含まれるランドマークに係る画像データを記憶した記憶部と、
車両の位置情報に基づいて各前記地図データから一又は複数の前記ランドマークを検索し、検出された前記ランドマークに関する一の前記地図データを決定する決定部と、
決定された前記地図データにおける検出された前記ランドマークに対応し、かつ前記車両の車外の風景に重畳させる画像に係る前記画像データを選択する選択部と、
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の乗員に対して画像を提供する画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、古くからある建物や町並みを簡単に探すことのできる地図表示用サーバが開示されている。当該地図表示用サーバでは、年代ごとに地図を記録する年代別地図ＤＢと、年代別地図ＤＢを用いて、現在の地図と過去の年代別地図を順次比較し、この比較結果に基づいて変化の分類を行う変化判定部と、を有している。当該地図表示用サーバは、地図が変化していない参照地点を検索し、これを地図化することで古くからある建物や町並みの地図情報を提供している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２４０９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、自動運転車では、運転から解放された乗員において行動の自由度が広がるため、例えば、自動運転時に過去を学習できるような演出が望まれる。一方、特許文献１の地図表示用サーバを自動運転車に適用した場合、経路案内の過程で建物や町並みに変化がないことを知ることができるが、建物や町並みに変化がみられる場合に、その変化前の状況を知ることはできない。つまり、歴史を学習することができない。
【０００５】
本発明は、上記事実を考慮して成されたもので、車両の乗員が走行経路上の歴史を学習することが可能な画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の画像処理装置は、過去の年代が異なる複数の地図データ、及び前記地図データの各々に含まれるランドマークに係る画像データを記憶した記憶部と、車両の位置情報に基づいて各前記地図データから一又は複数の前記ランドマークを検索し、検出された前記ランドマークに関する一の前記地図データを決定する決定部と、決定された前記地図データにおける検出された前記ランドマークに対応し、かつ前記車両の車外の風景に重畳させる画像に係る前記画像データを選択する選択部と、を備えている。
【０００７】
ここで、「ランドマーク」とは、住居、寺院、城等の建築物、道路、橋、トンネル等の構築物、山、河川、湖等の自然物、銅像、記念碑等のモニュメントを含む。請求項１に記載の画像処理装置では、年代の異なる地図データの各々にランドマークが登録されている。また、記憶部では、ランドマーク毎に画像データが記憶されている。当該画像処理装置は、車両の位置情報から一又は複数のランドマークを検出した場合、特定の年代におけるランドマークの画像データを選択する。この画像データの画像は、車両の車外の風景に重畳して表示させることで、車両の乗員に対して提供することができる。
【０００８】
以上、請求項１に記載の画像処理装置によれば、車外の風景に重畳して表示させるランドマークの画像を提供することができるため、車両の乗員が走行経路上の歴史を学習することができる。
【発明の効果】
【０００９】
本発明によれば、車両の乗員が走行経路上の歴史を学習することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る画像処理システムの概略構成を示す図である。
【図２】制御装置のハードウェア構成を示すブロック図である。
【図３】制御装置におけるＣＰＵの機能構成の例を示すブロック図である。
【図４】処理サーバのハードウェア構成を示すブロック図である。
【図５】処理サーバにおけるＣＰＵの機能構成の例を示すブロック図である。
【図６】処理サーバにおけるストレージに記憶されているデータの例を示すブロック図である。
【図７】第１の実施形態に係る嗜好テーブルの一例を示す図である
【図８】第１の実施形態に係る画像処理システムにおける登録に係る処理の流れを示すシーケンス図である。
【図９】第１の実施形態に係る画像処理システムにおける位置情報の送信からランドマークの画像を表示するまでの処理の流れを示すシーケンス図である。
【図１０】ＡＲグラスに表示される画像の一例である。
【図１１】第１の実施形態に係る処理サーバで行われる画像抽出処理の流れの一例を示すフローチャートである。
【図１２】第１の実施形態に係る制御装置で行われるＡＲ表示処理の流れの一例を示すフローチャートである。
【図１３】第２の実施形態に係る処理サーバで行われる画像抽出処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
以下、本発明の一実施形態である画像処理システムについて図面を用いて説明する。
図１は、本実施形態に係る画像処理システム１０の概略構成を示すブロック図である。
【００１２】
（構成）
図１に示されるように、本実施形態に係る画像処理システム１０は、自動運転車である車両１２と、画像処理装置である処理サーバ３０と、携帯端末５０と、を備えている。また、車両１２は、制御装置２０を備えている。処理サーバ３０、携帯端末５０及び制御装置２０は、ネットワークＮ１を介して相互に接続されている。
【００１３】
車両１２は、制御装置２０の他、ＧＰＳ（Global Positioning System）装置２２と、ＡＲ（Augmented Reality：拡張現実）表示器としてのＡＲグラス２４と、を備えている。
【００１４】
図２は、本実施形態の車両１２に搭載される機器のハードウェア構成を示すブロック図である。
ＧＰＳ装置２２は、車両１２の位置情報を取得する装置である。
【００１５】
また、ＡＲグラス２４は、ＡＲ（Augmented Reality：拡張現実）技術を用いて、ランドマークの画像を車外の風景に重畳させて表示するヘッドマウントディスプレイ方式のウェアラブルデバイスである。このＡＲグラス２４は、車両１２の乗員が装着するデバイスである。図２に示されるように、ＡＲグラス２４は、車室内外の映像を撮影するカメラ２４Ａと、透過型のディスプレイ２４Ｂと、を備えている。
【００１６】
制御装置２０は、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ（Inter Face）２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、バス２１を介して相互に通信可能に接続されている。
【００１７】
ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂ又はストレージ２０Ｄからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。本実施形態では、ストレージ２０Ｄに後述するＡＲ表示処理を実行するための実行プログラムが記憶されている。ＣＰＵ２０Ａは、実行プログラムを実行することで、図３に示す受信部２００、取得部２１０、送信部２２０、加工部２３０及び出力部２４０として機能する。
【００１８】
ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。記憶部としてのストレージ２０Ｄは、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶している。
【００１９】
通信Ｉ／Ｆ２０Ｅは、処理サーバ３０等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。
【００２０】
入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載される各装置と通信するためのインタフェースである。本実施形態の制御装置２０には、入出力Ｉ／Ｆ２０Ｆを介してＧＰＳ装置２２及びＡＲグラス２４が接続されている。なお、ＧＰＳ装置２２及びＡＲグラス２４は、バス２１に対して直接接続されていてもよい。
【００２１】
図３は、ＣＰＵ２０Ａの機能構成の例を示すブロック図である。図３に示されるように、ＣＰＵ２０Ａは、受信部２００、取得部２１０、送信部２２０、加工部２３０及び出力部２４０を有している。各機能構成は、ＣＰＵ２０Ａがストレージ２０Ｄに記憶された実行プログラムを読み出し、これを実行することによって実現される。
【００２２】
受信部２００は、通信Ｉ／Ｆ２０Ｅを介して処理サーバ３０から送信されたランドマークの画像に係る画像データを受信する機能を有している。この画像は、静止画像に限らず、動画も含めることができる。
【００２３】
取得部２１０は、ＧＰＳ装置２２から車両１２の現在の位置情報を取得する機能を有している。また、取得部２１０は、ＡＲグラス２４からカメラ２４Ａで撮影された映像を取得する機能を有している。
【００２４】
送信部２２０は、通信Ｉ／Ｆ２０Ｅを介して取得部２１０において取得された車両１２の位置情報を処理サーバ３０に送信する機能を有している。
【００２５】
加工部２３０は、ＡＲグラス２４のディスプレイ２４Ｂに表示させる合成画像を加工する機能を有している。加工部２３０は、ＡＲグラス２４のカメラ２４Ａで撮影された映像から空間を認識し、当該空間におけるランドマークの対応位置に処理サーバ３０から受信したランドマークの画像を配置し合成画像を生成する。また、加工部２３０は、合成画像においてランドマークの画像に隣接して当該ランドマークの解説に係るテキストや画像を配置することができる。
【００２６】
出力部２４０は、加工部２３０において生成された合成画像をＡＲグラス２４のディスプレイ２４Ｂに出力する機能を有している。
【００２７】
図４は、本実施形態の処理サーバ３０のハードウェア構成を示すブロック図である。
図４に示されるように、処理サーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、バス３１を介して相互に通信可能に接続されている。
【００２８】
ＣＰＵ３０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３０Ａは、ＲＯＭ３０Ｂ又はストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。本実施形態では、ストレージ３０Ｄに、後述する制御プログラム３５０が記憶されている。ＣＰＵ３０Ａは、制御プログラム３５０を実行することで、図５に示す受信部３００、決定部３１０、選択部３２０及び送信部３３０として機能する。
【００２９】
ＲＯＭ３０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ３０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。記憶部としてのストレージ３０Ｄは、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶している。図６に示されるように、本実施形態のストレージ３０Ｄは、制御プログラム３５０、地図データベース３６０、画像データベース３７０、嗜好テーブル３８０及び解説データベース３９０を記憶している。
【００３０】
通信Ｉ／Ｆ３０Ｅは、制御装置２０等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。
【００３１】
制御プログラム３５０は、処理サーバ３０を制御するためのプログラムである。
【００３２】
地図データベース３６０は、過去の年代が異なる複数の地図データ３６２を有している。各地図データ３６２には、過去に実在したランドマークの位置情報が登録されている。「ランドマーク」には、住居、寺院、城等の建築物、道路、橋、トンネル等の構築物、山、河川、湖等の自然物、銅像、記念碑等のモニュメントが含まれる。
【００３３】
画像データベース３７０は、ランドマークの画像に係る複数の画像データ３７２を有している。ここで、特定のランドマークにおいては、複数の年代の画像データ３７２を有する場合がある。例えば、特定のランドマークであるＸ城が複数の年代の地図データ３６２に登録されている場合、画像データベース３７０は、年代毎のＸ城の画像に係る画像データ３７２を有している。つまり、特定のランドマークであるＸ城が改築している場合は、改築前後の画像を有することになる。なお、画像データ３７２に含まれるランドマークの画像は、車両１２とランドマークとの相対位置や相対角度に対応すべく、複数の画像群として構成されている。また、ランドマークの画像は写真、イラスト等、何れの態様でもよく、画像データ３７２は静止画、動画の何れのデータであってもよい。
【００３４】
嗜好テーブル３８０は、画像処理システム１０を利用する車両１２の乗員の嗜好を踏まえ、ランドマーク毎に表示を優先すべき年代のランクを規定したテーブルである。図７に嗜好テーブル３８０の一例を示す。嗜好テーブル３８０には、地図データ３６２の年代毎にＡからＥのランクが付与されている。ここで、嗜好テーブル３８０では、ＥからＡに向かうにつれて表示の優先度が高くなるように設定されている。例えば、ランドマークとして住居、寺院、城等の建築物を対象とする場合、嗜好テーブル３８０では、年代が古い程、表示の優先度が高く設定されている。また例えば、ランドマークとして道路、橋、トンネル等の構築物を対象とする場合、嗜好テーブル３８０では、年代が新しい程、表示の優先度が高く設定されている。また例えば、ランドマークとして山、河川、湖等の自然物を対象とする場合、１９００〜１９４５年代の表示の優先度が最も高く設定されている。
【００３５】
解説データベース３９０は、各ランドマークに対応する解説データ３９２を有している。解説データ３９２としては、対応するランドマークの歴史を解説するテキスト情報や画像情報が含まれる。
【００３６】
図５は、ＣＰＵ３０Ａの機能構成の例を示すブロック図である。図５に示されるように、ＣＰＵ３０Ａは、受信部３００、決定部３１０、選択部３２０及び送信部３３０を有している。各機能構成は、ＣＰＵ３０Ａがストレージ３０Ｄに記憶された制御プログラム３５０を読み出し、これを実行することによって実現される。
【００３７】
受信部３００は、通信Ｉ／Ｆ３０Ｅを介して制御装置２０から送信された車両１２の現在の位置情報を受信する機能を有している。
【００３８】
決定部３１０は、過去の年代が異なる複数の地図データ３６２から特定の年代の地図データ３６２を決定する機能を有している。換言すると、決定部３１０はＡＲグラス２４に表示させる対象となるランドマークの年代を特定する機能を有している。具体的に、決定部３１０は、各年代の地図データ３６２毎に車両１２の周辺にランドマークが含まれていないかどうか検索する。ここで、「周辺」とは、車両１２を中心とする所定の距離範囲、乗員が車室内から視認可能な車外の範囲等である。決定部３１０は、一の地図データ３６２からランドマークを検出した場合、当該ランドマークが検出された地図データ３６２を特定の年代の地図データ３６２として決定する。また、決定部３１０は、複数の地図データ３６２からランドマークを検出した場合、嗜好テーブル３８０を参照して特定の年代の地図データ３６２を決定する。
【００３９】
選択部３２０は、決定部３１０が決定した特定の年代の地図データ３６２における決定部３１０が検出したランドマークに対応する画像データ３７２を選択する機能を有している。特定の年代の地図データ３６２におけるランドマークが複数検出されている場合は、それぞれのランドマークの画像データ３７２を選択する。選択部３２０が選択した画像データ３７２に係るランドマークの画像は、ＡＲグラス２４に表示させる画像となる。
【００４０】
送信部３３０は、通信Ｉ／Ｆ３０Ｅを介して選択部３２０において選択されたランドマークの画像データ３７２を制御装置２０に送信する機能を有している。
【００４１】
携帯端末５０は、画像処理システム１０を利用する車両１２の乗員が所持するスマートフォンやタブレット端末である。この携帯端末５０は、ネットワークＮ１を介して制御装置２０及び処理サーバ３０に接続されている。
【００４２】
（処理の流れ）
次に、図８のシーケンス図を参照しつつ、本実施形態の画像処理システム１０における処理の流れについて説明する。
【００４３】
まず、処理サーバ３０において、画像処理システム１０を利用する車両１２の乗員が事前に要する処理について説明する。
【００４４】
図８のステップＳ１において、携帯端末５０は、処理サーバ３０に向けて携帯端末５０に入力されたユーザ登録情報及び嗜好情報を送信する。ユーザ登録情報及び嗜好情報は、携帯端末５０の入力装置から入力される情報であって、携帯端末５０に予めインストールされたアプリケーションや、専用のインターネットサイトを通じて処理サーバ３０に送信される。
【００４５】
ここで、ユーザ登録情報には、乗員の個人情報や、乗車する車両１２の制御装置２０を特定するための情報（例えば、端末固有ＩＤ）が含まれる。
また、嗜好情報は、乗員の好きなランドマークの種類（例えば、城が好きなど）や、好きな年代（例えば、１９７０年代が好きなど）に係る情報である。なお、嗜好情報の登録は、ステップＳ３の登録処理後においても行うことができる。
【００４６】
ステップＳ２において、制御装置２０は、処理サーバ３０に向けて車両１２に係る車両情報を送信する。この車両情報には、車両１２の車種や制御装置２０を特定するための情報（例えば、端末固有ＩＤ）が含まれる。
【００４７】
ステップＳ３において、処理サーバ３０は、登録処理を実行する。具体的に、処理サーバ３０のＣＰＵ３０Ａは、登録処理として、受信した端末固有ＩＤに係る制御装置２０を乗員が乗車する車両１２に搭載された制御装置２０として登録する。また、ＣＰＵ３０Ａは、嗜好情報に基づいて嗜好テーブル３８０を生成すると共に、生成した嗜好テーブル３８０をストレージ３０Ｄに記憶する。
【００４８】
次に、図９のシーケンス図を参照しつつ、ＡＲグラス２４にランドマークの画像を表示させる際の処理について説明する。
【００４９】
図９のステップＳ１１において、制御装置２０では、ＣＰＵ２０Ａが任意のタイミングでＧＰＳ装置２２から取得した車両１２の現在の位置情報を処理サーバ３０に送信する。
【００５０】
ステップＳ１２において、位置情報を受信した処理サーバ３０では、ＣＰＵ３０Ａが当該位置情報に基づいて画像抽出処理を実行する。詳細は後述する。これにより、ＣＰＵ３０Ａは、ＡＲグラス２４に表示させるランドマークの画像を抽出する。
【００５１】
ステップＳ１３において、処理サーバ３０では、ＣＰＵ３０Ａが抽出したランドマークの画像に係る画像データ３７２、及び当該ランドマークに関連する解説データ３９２を制御装置２０に送信する。なお、これらのデータに加えて、対応する地図データ３６２を送信してもよい。
【００５２】
ステップＳ１４において、画像データ３７２及び解説データ３９２を受信した制御装置２０では、ＣＰＵ２０ＡがＡＲ表示処理を実行する。詳細は後述する。これにより、図１０に示されるように、ＡＲグラス２４のディスプレイ２４Ｂには車外の風景に重畳してランドマークの画像ＩＭ、及び解説のテキストＴＸが表示される。
【００５３】
次に、図１１を用いて、処理サーバ３０においてＣＰＵ３０Ａが制御プログラム３５０を読み込むことで実行される画像抽出処理について説明する。
【００５４】
まず、ステップＳ１００において、ＣＰＵ３０Ａは各年代の地図データ３６２毎に車両１２の周辺にランドマークが含まれていないかどうか検索する。例えば、車両１２の現在の位置情報を中心として半径５００ｍの範囲内にランドマークが含まれていないかを検索する。そして次のステップＳ１０１に進む。
【００５５】
ステップＳ１０１において、ＣＰＵ３０Ａはランドマークを検出したか否かを判定する。ＣＰＵ３０Ａがランドマークを検出したと判定した場合は、次のステップＳ１０２に進む。一方、ＣＰＵ３０Ａがランドマークを検出していないと判定した場合は、そのまま画像抽出処理を終了する。したがって、ランドマークが検出されなかった場合は、ＡＲグラス２４のディスプレイ２４Ｂにランドマークの画像は表示されない。
【００５６】
ステップＳ１０２において、ＣＰＵ３０Ａはランドマークが検出された地図データ３６２が複数あるか否かを判定する。ＣＰＵ３０Ａはランドマークが検出された地図データ３６２が複数あると判定した場合は、次のステップＳ１０３に進む。一方、ＣＰＵ３０Ａはランドマークが検出された地図データ３６２が複数ではない、すなわち一つであると判定した場合は、ステップＳ１０４に進む。
【００５７】
ステップＳ１０３において、ＣＰＵ３０Ａは嗜好テーブル３８０を参照して特定の年代の地図データ３６２を決定する。例１として、１９００〜１９４５年代の地図データ３６２と、１６００〜１８００年代の地図データ３６２との両方において、ランドマークとして城が検出された場合は次のとおりである。すなわち、ＣＰＵ３０Ａは、図７に示す嗜好テーブル３８０を参照して、表示の優先度の高いランクＡである１６００〜１８００年代の地図データ３６２を特定の地図データ３６２として決定する。また、例２として、１９００〜１９４５年代の地図データ３６２においてランドマークとして城が検出され、１９８０〜２０００年代の地図データ３６２においてランドマークとして橋が検出された場合は次のとおりである。すなわち、ＣＰＵ３０Ａは、図７に示す嗜好テーブル３８０を参照して、表示の優先度の高いランクＡである１９８０〜２０００年代の地図データ３６２を特定の地図データ３６２として決定する。特定の地図データ３６２が決定すると、次のステップＳ１０４に進む。
【００５８】
ステップＳ１０４において、ＣＰＵ３０Ａは特定の地図データ３６２における検出したランドマークに対応する画像データ３７２を選択する。例えば、上記の例１の場合は、１６００〜１８００年代の城の画像データ３７２が選択される。また、上記の例２の場合は、１９８０〜２０００年代の橋の画像データ３７２が選択される。そして、画像抽出処理は終了する。
【００５９】
以上、画像抽出処理では、ＣＰＵ３０Ａがランドマークの検索と当該ランドマークに対応する画像データ３７２を選択することにより、ＡＲグラス２４に表示させる画像を抽出する。
【００６０】
次に、図１２を用いて、制御装置２０においてＣＰＵ２０Ａが実行プログラムを読み込むことで実行されるＡＲ表示処理について説明する。
【００６１】
まず、ステップＳ２００において、ＣＰＵ２０Ａは、処理サーバ３０から画像データ３７２を受信したか否かを判定する。ＣＰＵ２０Ａは、処理サーバ３０から画像データ３７２を受信したと判定すると次のステップＳ２０１に進む。一方、ＣＰＵ２０Ａは、処理サーバ３０から画像データ３７２を受信してないと判定するとステップＳ２００を繰り返す。
【００６２】
ステップＳ２０１において、ＣＰＵ２０Ａは、ＡＲグラス２４のディスプレイ２４Ｂに表示させる合成画像を加工する処理を実行する。具体的に、ＣＰＵ２０Ａは、ＡＲグラス２４のカメラ２４Ａで撮影された映像から空間を認識し、当該空間におけるランドマークの対応位置に処理サーバ３０から受信した画像データ３７２に係るランドマークの画像を配置し合成画像を生成する。なお、処理サーバ３０から画像データ３７２と共に解説データ３９２を受信している場合、ＣＰＵ２０Ａは、合成画像においてランドマークの画像に隣接して当該ランドマークの解説に係るテキストや画像を配置する。そして次のステップＳ２０２に進む。
【００６３】
ステップＳ２０２において、ＣＰＵ２０Ａは、合成画像をＡＲグラス２４のディスプレイ２４Ｂに表示することが許可されているか否かを判定する。「表示することが許可されている」場合とは、車両１２が自動運転状態にある等、乗員が運転から解放されている状態である。ＣＰＵ２０Ａが合成画像の表示が許可されていると判定した場合は、次のステップＳ２０３に進む。一方、ＣＰＵ２０Ａが合成画像の表示が許可されていないと判定した場合は、そのままＡＲ表示処理は終了する。
【００６４】
ステップＳ２０３において、ＣＰＵ２０Ａは、ＡＲグラス２４のディスプレイ２４Ｂに合成画像を表示する。これにより、例えば図１０に示されるように、ディスプレイ２４Ｂには車外の風景にランドマークである城の画像ＩＭや当該城の解説のテキストＴＸが重畳して表示される。そして、次のステップＳ２０４へ進む。
【００６５】
ステップＳ２０４において、ＣＰＵ２０Ａは、終了条件を満たしたか否かを判定する。「終了条件」には、表示されている画像に係るランドマークを車両１２が通過した場合、合成画像をディスプレイ２４Ｂに表示してから所定時間が経過した場合等が含まれる。ＣＰＵ２０Ａが終了条件を満たしていると判定した場合は、次のステップＳ２０５に進む。一方、ＣＰＵ２０Ａが終了条件を満たしていないと判定した場合は、ステップＳ２０３に戻る。つまり、ディスプレイ２４Ｂにおいて合成画像の表示が継続される。なお、車両１２が表示されている画像に係るランドマークに接近するにつれて、当該ランドマークの画像は拡大表示される。
【００６６】
ステップＳ２０５において、ＣＰＵ２０Ａは、ＡＲグラス２４のディスプレイ２４Ｂにおける合成画像の表示を終了する。そして、ＡＲ表示処理は終了する。
【００６７】
（まとめ）
以上、本実施形態の画像処理システム１０によれば、車外の風景に重畳して表示させるランドマークの画像を提供することができる。そして、当該画像をＡＲグラス２４に表示させることにより、車両１２の乗員は走行経路上の歴史を学習することができる。また、予め乗員の嗜好を処理サーバ３０に登録することにより、乗員の好みのランドマークや好みの年代の歴史について学習することができる。また、本実施形態の制御装置２０では、車両１２が自動運転状態にある等、乗員が運転から解放されている状態に限り、ＡＲグラス２４にランドマークの画像を表示させている。このため、乗員の安全を確保すると共に、運転から解放された乗員に対して車内の過ごし方を提供することができる。
【００６８】
［第２の実施形態］
第１の実施形態の画像処理システム１０は、処理サーバ３０における画像抽出処理において、ランドマークの検索と当該ランドマークに対応する画像を選択することにより、画像データ３７２を抽出するものであった。これに対して第２の実施形態の画像処理システム１０は、第１の実施形態と画像抽出処理の内容が相違する。以下、図１３を用いて、第２の実施形態の画像抽出処理について説明する。なお、第２の実施形態の画像処理システム１０の構成は、第１の実施形態と同じであり、説明は割愛する。
【００６９】
まず、ステップＳ３００において、ＣＰＵ３０Ａは車両１２の現在の位置において、現代の地図データ３６２と、予め指定した年代の地図データ３６２とを比較する。そして次のステップＳ３０１に進む。
【００７０】
ステップＳ３０１において、ＣＰＵ３０Ａは比較した地図データ３６２の間に相違点があるか否かを判定する。ＣＰＵ３０Ａは相違点があると判定した場合は、次のステップＳ３０２に進む。一方、ＣＰＵ３０Ａは相違点がないと判定した場合は、そのまま画像抽出処理を終了する。したがって、地図上に相違点がない場合は、ＡＲグラス２４のディスプレイ２４Ｂにランドマークの画像は表示されない。
【００７１】
ステップＳ３０２において、ＣＰＵ３０Ａは、予め指定した年代の地図データ３６２における相違点の場所にランドマークが登録されているか否かを判定する。ＣＰＵ３０Ａはランドマークが登録されていると判定した場合は、次のステップＳ３０３に進む。一方、ＣＰＵ３０Ａはランドマークが登録されていないと判定した場合は、そのまま画像抽出処理を終了する。したがって、予め指定した年代の地図データ３６２にランドマークが登録されていない場合は、ＡＲグラス２４のディスプレイ２４Ｂにランドマークの画像は表示されない。
【００７２】
ステップＳ３０３において、ＣＰＵ３０Ａは予め指定した年代の地図データ３６２において登録されているランドマークに対応する画像データ３７２を選択する。そして、画像抽出処理は終了する。
【００７３】
以上、本実施形態によれば、予め指定した年代に特化した学習を行うことができる。
【００７４】
［備考］
第１及び第２の実施形態の画像処理システム１０では、処理サーバ３０が車両１２の位置情報に基づいて画像抽出処理を行い、制御装置２０がＡＲグラス２４に対するＡＲ表示処理を実行していた。ただし、これに限らず、画像抽出処理及びＡＲ表示処理の双方を制御装置２０において実行するように形成してもよい。すなわち、処理サーバ３０は不要となる。
【００７５】
なお、上記各実施形態でＣＰＵ２０Ａ、３０Ａがソフトウェア（プログラム）を読み込んで実行した画像抽出処理及びＡＲ表示処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、画像抽出処理及びＡＲ表示処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【００７６】
また、上記各実施形態では、実行プログラムがストレージ２０Ｄに予め記憶（インストール）され、制御プログラム３５０がストレージ３０Ｄに予め記憶（インストール）されている態様を説明したが、これに限定されない。各プログラムは、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【００７７】
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【００７８】
その他、上記実施形態で説明した制御装置、処理サーバ及び携帯端末の各々の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【符号の説明】
【００７９】
１２    車両
３０    処理サーバ（画像処理装置）
３０Ｄ  ストレージ（記憶部）
３１０  決定部
３２０  選択部
３６２  地図データ
３７２  画像データ
【図１】
2020034350.tif 000003
【図２】
2020034350.tif 000004
【図３】
2020034350.tif 000005
【図４】
2020034350.tif 000006
【図５】
2020034350.tif 000007
【図６】
2020034350.tif 000008
【図７】
2020034350.tif 000009
【図８】
2020034350.tif 000010
【図９】
2020034350.tif 000011
【図１０】
2020034350.tif 000012
【図１１】
2020034350.tif 000013
【図１２】
2020034350.tif 000014
【図１３】
2020034350.tif 000015