(57)【要約】【課題】車両周辺の状況に関する情報を提供することができる車載情報提供装置を提供する。【解決手段】車載カメラ１０が撮影した車両周辺の画像データから主要被写体の画像を抽出する被写体抽出部１１と、被写体の種別ごとに当該被写体に関する属性情報を記憶する内蔵データベース１８と、被写体抽出部１１が抽出した被写体の画像から判別した当該被写体の種別に基づいて、内蔵データベース１８に記憶された属性情報の中から、当該被写体の属性情報を特定し、被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部１２と、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部１５とを備える。【選択図】図１
2014106617.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラが撮影した車両周辺の画像データを入力し、当該画像データから主要被写体の画像を抽出する被写体抽出部と、
被写体の種別ごとに当該被写体に関する属性情報を記憶するデータベースと、
前記被写体抽出部が抽出した前記被写体の画像から当該被写体の種別を判別し、判別した種別に基づいて前記データベースに記憶された属性情報の中から当該被写体の属性情報を特定するとともに、前記被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部と、
前記被写体特定部が特定した前記被写体の属性情報および外観情報に基づいて、前記被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部と、
前記コンテンツ生成部が生成したコンテンツを車両内のユーザに提供する情報出力部と
を備える車載情報提供装置。
【請求項２】
様々な情報提供方法を実現するアプリケーションを有し、前記コンテンツ生成部からの要求に応じて前記アプリケーションを提供するアプリケーション提供部を備え、
前記コンテンツ生成部は、前記アプリケーション提供部から取得したアプリケーションを実行して、当該アプリケーションに対応する情報提供方法のコンテンツを生成することを特徴とする請求項１記載の車載情報提供装置。
【請求項３】
前記被写体特定部が特定した前記被写体の属性情報、外観情報、および撮影日時情報を関連付けて当該被写体の履歴情報として記憶する記憶部を備え、
前記コンテンツ生成部は、前記記憶部に記憶された前記被写体の履歴情報に基づいて、当該被写体の属性および外観とその時間経過に伴う変遷とを含んだコンテンツを生成することを特徴とする請求項１または請求項２記載の車載情報提供装置。
【請求項４】
被写体の種別ごとに当該被写体に関する属性情報を記憶する外部データベースと通信を行って前記属性情報を取得する情報取得部を備え、
前記被写体特定部は、判別した種別に対応する属性情報が前記データベースにない場合に、前記情報取得部に指示して当該種別に対応する属性情報を前記外部データベースから取得することを特徴とする請求項１から請求項３のうちのいずれか１項記載の車載情報提供装置。
【請求項５】
前記被写体特定部は、車両、人物、動物、航空機、植物、標識および地物の少なくとも一つを被写体の種別として判別すること特徴とする請求項１から請求項４のうちのいずれか１項記載の車載情報提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両周辺画像を画像解析して得られた情報を提供する車載情報提供装置に関する。
【背景技術】
【０００２】
例えば、特許文献１には、車両周辺を撮影した画像データから看板情報を抽出し、抽出された看板情報とこの看板が撮影された車両位置とから、この看板の提供元である施設の位置を検出するナビゲーション装置が開示されている。このようにすることで、自車の走行経路上にある施設の走行時点での最新の情報を入手することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０７８６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両周辺の状況は、一般的に時々刻々と変化するものであり、同じ場所で撮影しても、毎回同じ画像が得られるとは限らない。例えば、車両周辺の同一の位置で撮影した歩行者または車両が毎回同じである場合は希であり、また同一の被写体であっても時間帯または季節によっては全く異なる状況で撮影され得る。
【０００５】
このように、車両周辺の画像データは同じ画像を何度も得ることができない希少価値を有しており、車両周辺画像を用いれば、時々刻々と変化する車両周辺の様々な状況を示す情報を提供することが可能である。また、これらの情報をゲームなどに加工することで、同乗者が自車周辺の状況を楽しく把握できるエンターテインメントを提供することができる。
【０００６】
なお、特許文献１に代表される従来の技術は、車両周辺を撮影した画像データの活用が位置情報と紐付けたナビゲーション機能の汎用的な範囲に留まる。従って、上述のような車両周辺画像のより高度な利用は不可能である。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、時々刻々と変化するような車両周辺の状況に関する情報を提供することができる車載情報提供装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る車載情報提供装置は、車載カメラにより撮影された車両周辺の画像データを入力し、当該画像データから主要被写体の画像を抽出する被写体抽出部と、被写体の種別ごとに当該被写体に関する属性情報を記憶する記憶部と、被写体抽出部が抽出した被写体の画像から当該被写体の種別を判別し、判別した種別に基づいて記憶部に記憶された属性情報の中から当該被写体の属性情報を特定するとともに、被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部と、被写体特定部が特定した被写体の属性情報および外観情報に基づいて、被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部と、コンテンツ生成部が生成したコンテンツを車両内のユーザに提供する情報出力部を備える。
【発明の効果】
【０００９】
この発明によれば、時々刻々と変化するような車両周辺の状況に関する情報を提供することができるという効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る車載情報提供装置の構成を示すブロック図である。
【図２】被写体特定部の構成を示すブロック図である。
【図３】車両周辺画像データを基に車両に関する情報を提供する処理を示すフローチャートである。
【図４】車両周辺画像データを基に人物に関する情報を提供する処理を示すフローチャートである。
【図５】車両周辺画像データを基に動物に関する情報を提供する処理を示すフローチャートである。
【図６】車両周辺画像データを基に飛行機に関する情報を提供する処理を示すフローチャートである。
【図７】車両周辺画像データを基に植物に関する情報を提供する処理を示すフローチャートである。
【図８】車両周辺画像データを基に標識に関する情報を提供する処理を示すフローチャートである。
【図９】車両周辺画像データを基に地物に関する情報を提供する処理を示すフローチャートである。
【図１０】この発明の実施の形態２に係る車載情報提供システムの概要を示す図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１に係る車載情報提供装置の構成を示すブロック図である。図１に示すように、車載情報提供装置１は、車両に搭載され、車両周辺画像から得られた情報を提供する車載情報提供装置であって、車載カメラ１０と接続する被写体抽出部１１、被写体特定部１２、記憶部１３、補助情報取得部１４、コンテンツ生成部１５、アプリケーション提供部１６および情報出力部１７を備えて構成される。
車載カメラ１０は、車両周辺を視野範囲とする車載カメラであり、車両に標準的に搭載されたリアカメラ、フロントカメラ、サイドカメラを利用してもよい。
被写体抽出部１１は、車両の走行中に車載カメラ１０が撮影した車両周辺の画像データを入力して、当該画像データから主要被写体の画像を抽出する。例えば、各種の被写体抽出アルゴリズムを実行して画像中の主要部（主要被写体）を抽出する。
【００１２】
被写体特定部１２は、被写体抽出部１１が抽出した被写体の画像から当該被写体の種別を判別する。例えば、パターン認識技術を用いて、あらかじめ設定された種別（車両、人物、動物、航空機、植物、標識、地物など）に対応するパターンのいずれに被写体がマッチングするかを解析して当該被写体の種別を判別する。また、被写体特定部１２は、判別した被写体の種別に基づいて図２で後述する内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから当該被写体の属性情報を特定する。さらに、被写体特定部１２は、被写体抽出部１１が抽出した被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する。
【００１３】
記憶部１３は、被写体特定部１２が特定した被写体の属性情報、外観情報および撮影日時情報を関連付けて、当該被写体の履歴情報としてデータ保存領域１３ａに記憶する記憶部である。記憶部１３としては、例えば、車載情報提供装置１に搭載されたハードディスクドライブ（ＨＤＤ）装置、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）に構築される。記憶部１３が記憶メディア再生装置である場合には、この装置で再生される記憶メディアにデータ保存領域１３ａが構築される。
【００１４】
補助情報取得部１４は、被写体の種別ごとに被写体に関する属性情報を記憶する外部データベースと通信を行って属性情報を取得する情報取得部である。例えば、属性情報を記憶する特定の外部データベースに通信接続して属性情報を取得する場合と、被写体の種別を含む検索キーを生成して、インターネット上の検索エンジンで属性を検索するよう構成してもよい。
【００１５】
コンテンツ生成部１５は、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、被写体の属性および外観を含むコンテンツを生成するコンテンツ生成部である。例えば、被写体の種別が車両であった場合、自車とすれ違った車両を紹介するコンテンツを生成し、その車種や性能などの属性情報に加えて、その車両が撮影時にどのような外観であったかを紹介する。外観としては、その車両の色を示してもよいが、外装や、汚れの有無などであってもよい。これにより、ユーザは、特別な外装が施された車両とすれ違ったことを知ることができ、また、高級車の外観が汚れていたら残念な情報として認識することができる。このような情報は車載カメラ１０による撮影で得られる、いわゆる刹那的な情報であり、ユーザはその時点の車両周辺情報を楽しむことができる。
【００１６】
アプリケーション提供部１６は、様々な情報提供方法を実現するアプリケーションを有しており、コンテンツ生成部１５からの要求に応じてアプリケーションを提供する。アプリケーション提供部１６が提供するアプリケーションとしては、例えば、情報をリスト形式で表示して車両周辺の情報を紹介するような情報提供方法を実現するものであってもよく、またクイズ形式で提供して同乗者に回答させるような対話型の情報提供方法を実現するものであってもよい。
なお、コンテンツ生成部１５にあらかじめ設定されているアプリケーションのみを使用する場合には、アプリケーション提供部１６を省略してもよい。
【００１７】
情報出力部１７は、コンテンツ生成部１５により生成されたコンテンツを出力する。例えば、コンテンツを視覚的に提供する車載ディスプレイおよび聴覚的に提供する車内スピーカを備えて構成される。
なお、実施の形態２で後述するように、スマートフォンなどの携帯情報端末でコンテンツを生成し、車載のディスプレイ付きオーディオ機器が情報出力部１７として機能して当該コンテンツを提供するように構成してもよい。
【００１８】
また、被写体抽出部１１、被写体特定部１２、補助情報取得部１４、コンテンツ生成部１５およびアプリケーション提供部１６は、車載情報提供装置１に搭載されたＣＰＵが、これらの構成要素の各機能を記述したプログラムを実行することにより、ソフトウエアとハードウエアとが協働した処理手段として実現される。
【００１９】
図２は、被写体特定部の構成を示すブロック図であり、図１の被写体特定部１２の内部機能構成を示している。図２に示す被写体特定部１２は、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆ、地物特定部１２ｇおよび内蔵データベース１８を備えて構成される。なお、図２では、被写体特定部１２が、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆ、地物特定部１２ｇの全てを備える場合を示したが、これらの少なくとも一つを備えていればよい。
【００２０】
車両特定部１２ａは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が車両である場合に、内蔵データベース１８を参照して当該車両の属性情報を特定し、当該車両の撮影時の外観情報を特定する。例えば、様々な車両の画像パターンがあらかじめ設定されており、このパターン認識により被写体が車両であるか否かを判別する。また、車両特定部１２ａは、車両の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の車両の属性情報を特定する。さらに、車両特定部１２ａには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２１】
人物特定部１２ｂは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が人物である場合に、内蔵データベース１８を参照して当該人物の属性情報を特定し、当該人物の撮影時の外観情報を特定する。例えば、人間の画像パターンがあらかじめ設定されており、このパターン認識により被写体が人物であるか否かを判別する。また、人物特定部１２ｂは、人物の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の人物の属性情報を特定する。さらに、人物特定部１２ｂには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２２】
動物特定部１２ｃは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が動物である場合に、内蔵データベース１８を参照して当該動物の属性情報を特定し、当該動物の撮影時の外観情報を特定する。例えば、様々な動物（地上を移動する動物）の画像パターンがあらかじめ設定されており、このパターン認識により被写体が動物であるか否かを判別する。また、動物特定部１２ｃは、動物の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の動物の属性情報を特定する。さらに、動物特定部１２ｃには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２３】
飛行物特定部１２ｄは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が飛行物である場合に、内蔵データベース１８を参照して当該飛行物の属性情報を特定し、当該飛行物の撮影時の外観情報を特定する。例えば、様々な飛行物（航空機や鳥など）の画像パターンがあらかじめ設定されており、このパターン認識によって被写体が飛行物であるか否かを判別する。また、飛行物特定部１２ｄは、飛行物の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の飛行物の属性情報を特定する。さらに、飛行物特定部１２ｄには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２４】
植物特定部１２ｅは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が植物である場合に、内蔵データベース１８を参照して当該植物の属性情報を特定し、当該植物の撮影時の外観情報を特定する。例えば、様々な植物（街路樹などの沿道の樹木や、沿道に設置された花壇の花など）の画像パターンがあらかじめ設定されており、このパターン認識によって被写体が植物であるか否かを判別する。また、植物特定部１２ｅは、植物の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の植物の属性情報を特定する。さらに、植物特定部１２ｅには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２５】
標識特定部１２ｆは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が標識である場合に、内蔵データベース１８を参照して当該標識の属性情報を特定し、当該標識の撮影時の外観情報を特定する。例えば、様々な標識の画像パターンがあらかじめ設定されており、このパターン認識によって被写体が標識であるか否かを判別する。また、標識特定部１２ｆは、標識の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の標識の属性情報を特定する。さらに、標識特定部１２ｆには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２６】
地物特定部１２ｇは、被写体抽出部１１が抽出した被写体の画像を基に被写体の種別を判別して種別が地物である場合に、内蔵データベース１８を参照して当該地物の属性情報を特定し、当該地物の撮影時の外観情報を特定する。例えば、様々な地物（標識などの沿道の設置物以外の建物や山、川など）の画像パターンがあらかじめ設定されており、このパターン認識によって被写体が地物であるか否かを判別する。また、地物特定部１２ｇは、地物の画像を検索キーとして内蔵データベース１８を参照し、内蔵データベース１８に記憶された属性情報のうちから被写体の地物の属性情報を特定する。さらに、地物特定部１２ｇには外観として被写体の画像から抽出すべき項目があらかじめ設定されており、その項目に沿って撮影時の外観を判別し、外観情報を生成する。
【００２７】
内蔵データベース１８は、被写体の種別ごとに当該被写体に関する属性情報を記憶するデータベースである。例えば、被写体の種別ごとのパターン画像とその被写体の属性情報とが関連付けて登録しておく。属性情報を特定する場合、被写体の画像データから抽出した特徴情報（被写体の外観など）とパターン画像を比較して最も合致するものを判別し、これに基づいて、その被写体の属性情報を特定する。
なお、内蔵データベース１８としては、記憶部１３と同様に、例えば、車載情報提供装置１に搭載されたハードディスクドライブ（ＨＤＤ）装置、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）に構築してもよい。
【００２８】
次に動作について説明する。
以降では、被写体が、車両、人物、動物、飛行物、植物、標識および地物であった場合を例に挙げて、種別の特定からコンテンツの生成までの処理を述べる。
図３は、車両周辺画像データを基に車両に関する情報を提供する処理を示すフローチャートであり、被写体が車両であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。これにより、各特定部１２ａ〜１２ｇは、被写体の画像を解析して、自身が特定すべき種別であるか否かを判別する。ここでは、被写体が車両であるので、車両特定部１２ａが、被写体の種別が車両であると判別する（ステップＳＴ１）。なお、被写体が、自身が特定すべき種別ではなかった場合、その特定部はその後の処理を停止する。
【００２９】
次に、車両特定部１２ａは、被写体の画像データが、車両の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２；ＮＯ）、車両の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１からの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００３０】
車両の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２；ＹＥＳ）、車両特定部１２ａは、被写体である車両の画像データから特徴点の抽出を行う（ステップＳＴ３）。これにより、被写体である車両の外観（検索キーとなればよいので、例えば二値化処理して取得した車両の輪郭画像であってもよい）を示す特徴情報が生成される。
【００３１】
続いて、車両特定部１２ａは、ステップＳＴ３で生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４）。
ここで、両者が合致する属性情報がない場合（ステップＳＴ４；ＮＯ）、車両特定部１２ａは、補助情報取得部１４に指示して外部データベースを参照することで、当該特徴情報に対応する属性情報を取得する（ステップＳＴ５）。
【００３２】
内蔵データベース１８に対応する属性情報がある場合（ステップＳＴ４；ＹＥＳ）、または、ステップＳＴ５で外部データベースから当該属性情報を取得した場合、車両特定部１２ａは、この属性情報を被写体の車両の属性情報として特定する。属性情報を特定すると、車両特定部１２ａは、被写体である車両の画像データをより詳細に解析して、当該車両の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ６の処理となる。
なお、車両の属性情報としては、例えば、車種タイプ、カーメーカー名、ブランド名、車種名、製造年式、本体色名、グレード名、排気量、駆動方式、カーメーカー国名、最高馬力、エンジン方式、車重、最高速度、燃費、０−１００ｋｍ／ｈの加速時間およびその他の当該車両のスペックに関する情報がある。
また、車両の外観情報としては、例えば、車両の色（属性にある色以外にカスタマイズされた塗装を含む）、外装（ホイールやエアロパーツ、ステッカー、シールなど）、汚れ具合、傷付き具合、車外から視認可能な内装（窓から見えるもの）などがある。
【００３３】
次に、ステップＳＴ７において、車両特定部１２ａは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、車両特定部１２ａは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、車両特定部１２ａは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ８）。
【００３４】
コンテンツ生成部１５は、車両特定部１２ａから受信した車両の属性情報と外観情報に基づいて、当該車両の属性および外観を含むコンテンツを生成する。
例えば、撮影画像から特定された車両を逐一登録するマイアルバムを作成し、車両ごとの属性に併せて車両の汚れ具合や傷付き具合、新品、手入れ状態を登録する。
このようにすることで、同乗者は、情報出力部１７（車載ディスプレイ）に表示されたアルバムを参照すれば、自車とすれ違った車両に関する情報をドライブ中にリアルタイムに得ることができる。また、運転に注力しなければならない運転者も、自車とすれ違った車両に関する情報をドライブ後に知ることが可能である。この場合、撮影場所情報も含めて提示することで、ユーザが車両との遭遇場所も把握することができる。
【００３５】
また、履歴情報がある場合、コンテンツ生成部１５は、同一属性の車両の出現頻度をカウントし、当該車両との遭遇履歴とすることも可能である。
例えば、同じブランドの車両の過去の遭遇頻度、車種およびその他の属性情報を組み合わせたクイズを作成して提供することで、同乗者が有効に情報を活用し楽しく暇つぶしを行うことができる。
また、上述したマイアルバムに登録した情報を利用して、対象車両の各種の車両情報や手入れ度合いをパラメータとして、これらのパラメータに対応する点数を付与し、例えばカードゲームとして同乗者や他の車両に乗っている他のユーザと対戦ゲームを行うような態様も実現可能である。
【００３６】
図４は、車両周辺画像データを基に人物に関する情報を提供する処理を示すフローチャートであり、被写体が人物であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。ここで、人物特定部１２ｂが、被写体の種別が人物であると判別する（ステップＳＴ１ａ）。
【００３７】
次に、人物特定部１２ｂは、被写体の画像データが、人物の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２ａ）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２ａ；ＮＯ）、人物の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１ａからの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００３８】
人物の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２ａ；ＹＥＳ）、人物特定部１２ｂは、被写体である人物の画像データから特徴点の抽出を行う（ステップＳＴ３ａ）。これにより、被写体である人物の外観（検索キーとなればよいので、例えば二値化処理して取得した人物の輪郭画像であってもよい）を示す特徴情報が生成される。
【００３９】
続いて、人物特定部１２ｂは、ステップＳＴ３ａで生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４ａ）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４ａ；ＮＯ）、人物特定部１２ｂは、補助情報取得部１４に指示して外部データベースを参照し、当該特徴情報に対応する属性情報があるか否かを判定する（ステップＳＴ５ａ）。外部データベースに属性情報がなければ（ステップＳＴ５ａ；ＮＯ）、ユーザが、不図示の入力装置を用いて、その人物に関する属性情報を人物特定部１２ｂに入力する（ステップＳＴ６ａ）。
なお、内蔵データベース１８には、ユーザが入力した人物に関する詳細情報を属性情報として登録しておく。例えば、ユーザの知人に関する情報（名前、住所、職業、性別、年齢、人種など）を、その人物の画像データと併せて登録する。また、被写体の人物が著名人であれば、その詳細な情報を外部データベースから取得可能である。
【００４０】
ステップＳＴ３ａで生成した特徴情報と合致する属性情報が内蔵データベース１８にある場合（ステップＳＴ４ａ；ＹＥＳ）、または、ステップＳＴ３ａで生成した特徴情報と合致する属性情報が外部データベースにある場合（ステップＳＴ５ａ；ＹＥＳ）、またはステップＳＴ６ａでユーザにより属性情報が入力されると、人物特定部１２ｂは、この属性情報を被写体の人物の属性情報として特定する。
属性情報を特定した後に、人物特定部１２ｂは、被写体である人物の画像データをより詳細に解析して当該人物の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ７ａの処理となる。
なお、人物の属性情報としては、例えば、名前、性別、住所、出身地、生年月日、職業、家族構成、学歴、政治思想およびその他の当該人物に関する情報がある。
また、人物の外観情報としては、例えば、人物の服装、体型、人種などがある。
【００４１】
次に、ステップＳＴ８ａにおいて、人物特定部１２ｂは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、人物特定部１２ｂは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、人物特定部１２ｂは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ９ａ）。
【００４２】
コンテンツ生成部１５は、人物特定部１２ｂから受信した人物の属性情報と外観情報に基づいて、当該人物の属性および外観を含むコンテンツを生成する。
例えば、著名人またはユーザが登録した人物の詳細情報を提供するコンテンツを生成する。また、撮影時のファッションを分類または評価して提供することで、雑誌やテレビ、ネットなどから間接的に把握するのではなく、実際に歩行者が着用しているファッションを直接的に把握することができる。
【００４３】
また、履歴情報がある場合、コンテンツ生成部１５は、同一人物の属性情報の取得頻度をカウントし、当該人物との遭遇履歴とすることも可能である。この遭遇履歴を用いて、前回に会った日時や場所を確認してもよく、名前を失念した場合に利用することもできる。
さらに、ドライブ中に撮影された人物の着衣の情報から、例えば、長袖着用率の推移をグラフとし、季節の移ろいを視覚化したコンテンツとすることで、例年との比較が可能である。また、このコンテンツを通信で他の地域のユーザに提供することにより、着衣の参考情報とすることも可能である。
【００４４】
図５は、車両周辺画像データを基に動物に関する情報を提供する処理を示すフローチャートであり、被写体が人間以外の動物であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。ここで、動物特定部１２ｃが、被写体の種別が動物であると判別する（ステップＳＴ１ｂ）。
【００４５】
次に、動物特定部１２ｃは、被写体の画像データが、動物の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２ｂ）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２ｂ；ＮＯ）、動物の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１ｂからの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００４６】
動物の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２ｂ；ＹＥＳ）、動物特定部１２ｃは、被写体である動物の画像データから特徴点の抽出を行う（ステップＳＴ３ｂ）。これにより、被写体である動物の外観（検索キーとなればよいので、例えば二値化処理して取得した動物の輪郭画像であってもよい）を示す特徴情報が生成される。
【００４７】
続いて、動物特定部１２ｃは、ステップＳＴ３ｂで生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４ｂ）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４ｂ；ＮＯ）、動物特定部１２ｃは、補助情報取得部１４に指示して外部データベースを参照することにより、当該特徴情報に対応する動物の個体ごとに固有な名前またはローカルな属性情報があるか否かを判定する（ステップＳＴ５ｂ）。この属性情報が外部データベースになければ（ステップＳＴ５ｂ；ＮＯ）、ユーザが、不図示の入力装置を用いて、その動物に関する属性情報（名前（ペット名）、性格など）を、動物特定部１２ｃに入力する（ステップＳＴ６ｂ）。
なお、内蔵データベース１８には、動物に関する詳細情報を属性情報として登録しておく。例えば、ユーザや近所の人のペットに関する情報（名前、住所、性別、年齢、種類など）を、その動物の画像データと併せて登録する。
【００４８】
ステップＳＴ３ｂで生成した特徴情報と合致する属性情報が内蔵データベース１８にある場合（ステップＳＴ４ｂ；ＹＥＳ）、または、ステップＳＴ３ｂで生成した特徴情報と合致する属性情報が外部データベースにある場合（ステップＳＴ５ｂ；ＹＥＳ）、またはステップＳＴ６ｂでユーザにより属性情報が入力されると、動物特定部１２ｃは、この属性情報を被写体の動物の属性情報として特定する。
属性情報を特定した後に、動物特定部１２ｃは、被写体である動物の画像データをより詳細に解析して当該動物の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ７ｂの処理となる。
なお、動物の属性情報としては、例えば、名称（動物の名前）、ペット名、分布地域、飼い主の名前、住所およびその他の当該動物に関する情報がある。
また、動物の外観情報としては、例えば、動物の模様、汚れ具合、手入れ具合などがある。
【００４９】
次に、ステップＳＴ８ｂにおいて、動物特定部１２ｃは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、動物特定部１２ｃは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、動物特定部１２ｃは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ９ｂ）。
【００５０】
コンテンツ生成部１５は、動物特定部１２ｃから受信した動物の属性情報と外観情報に基づいて、当該動物の属性および外観を含むコンテンツを生成する。
例えば、近隣のペットの模様、お手入れ具合およびペット服を、ペットごとにタグ付けしてページを分けて表示するコンテンツを生成する。このコンテンツを参照することにより、近隣のペットの動向を知ることが可能となる。
また、履歴情報がある場合、コンテンツ生成部１５は、同一動物の属性情報の取得頻度をカウントし、当該動物の分布を視覚化したコンテンツや、様々な動物の分布を視覚化したコンテンツを生成して提供することで、ドライブした地域における特定の動物の分布や、生態系を知ることが可能である。
【００５１】
図６は、車両周辺画像データを基に飛行物に関する情報を提供する処理を示すフローチャートであり、被写体が飛行物であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。ここで、飛行物特定部１２ｄが、被写体の種別が飛行物であると判別する（ステップＳＴ１ｃ）。
【００５２】
次に、飛行物特定部１２ｄは、被写体の画像データが飛行物の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２ｃ）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２ｃ；ＮＯ）、飛行物の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１ｃからの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００５３】
飛行物の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２ｃ；ＹＥＳ）、飛行物特定部１２ｄは、被写体である飛行物の画像データから特徴点の抽出を行う（ステップＳＴ３ｃ）。これにより、被写体である飛行物の外観（検索キーとなればよいので、例えば二値化処理して取得した飛行物の輪郭画像であってもよい）を示す特徴情報が生成される。
【００５４】
続いて、飛行物特定部１２ｄは、ステップＳＴ３ｃで生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４ｃ）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４ｃ；ＮＯ）、飛行物特定部１２ｄは、補助情報取得部１４に指示して外部データベースを参照することにより、当該特徴情報に対応する飛行物の属性情報を取得する（ステップＳＴ５ｃ）。
【００５５】
ステップＳＴ３ｃで生成した特徴情報と合致する属性情報が内蔵データベース１８にある場合（ステップＳＴ４ｃ；ＹＥＳ）、または、ステップＳＴ５ｃで外部データベースから属性情報が取得されると、飛行物特定部１２ｄは、この属性情報を被写体の飛行物の属性情報として特定する。
属性情報を特定した後に、飛行物特定部１２ｄは、被写体である飛行物の画像データをより詳細に解析して当該飛行物の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ６ｃの処理となる。
なお、飛行物の属性情報としては、例えば、飛行物が航空機である場合、航空機の種類、メーカー名、製造年式、航空会社、路線名、およびその他の当該航空機に関する情報がある。また、飛行物が鳥の場合、鳥の名称、生態情報、分布地域などがある。
また、飛行物の外観情報としては、例えば航空機の外面塗装などがあり、鳥の場合は、その模様、汚れ具合、手入れ具合などがある。
【００５６】
次に、ステップＳＴ７ｃにおいて、飛行物特定部１２ｄは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、飛行物特定部１２ｄは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、飛行物特定部１２ｄは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ８ｃ）。
【００５７】
コンテンツ生成部１５は、飛行物特定部１２ｄから受信した飛行物の属性情報と外観情報に基づいて、当該飛行物の属性および外観を含むコンテンツを生成する。
例えば、撮影画像から特定された航空機を逐一登録するマイアルバムを作成し、航空機ごとの属性に併せて航空機の外装を登録する。このようにすることで、同乗者は、情報出力部１７（車載ディスプレイ）に表示されたアルバムを参照すれば、自車から視認できた航空機に関する情報をドライブ中にリアルタイムに得ることができる。また、運転に注力しなければならない運転者も、自車から視認できた航空機に関する情報をドライブ後に知ることが可能である。
また、属性情報に紐付けられたいかなる画像データにも合致しない飛行物である場合、補助情報取得部１４に指示して、未確認飛行物体として当該飛行物の画像をネット上にアップしてもよい。
さらに、履歴情報がある場合、コンテンツ生成部１５は、同一の鳥の属性情報の取得頻度をカウントし、当該鳥の分布を視覚化したコンテンツや、様々な鳥の分布を視覚化したコンテンツを生成して提供することで、ドライブした地域における特定の鳥の分布や、野鳥の生態系を知ることが可能である。
【００５８】
図７は、車両周辺画像データを基に植物に関する情報を提供する処理を示すフローチャートであり、被写体が植物であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。ここで、植物特定部１２ｅが、被写体の種別が植物であると判別する（ステップＳＴ１ｄ）。
【００５９】
次に、植物特定部１２ｅは、被写体の画像データが、植物の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２ｄ）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２ｄ；ＮＯ）、植物の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１ｄからの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００６０】
植物の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２ｄ；ＹＥＳ）、植物特定部１２ｅは、被写体である植物の画像データから特徴点の抽出を行う（ステップＳＴ３ｄ）。これにより、被写体である植物の外観（検索キーとなればよいので、例えば二値化処理して取得した植物の輪郭画像であってもよい）を示す特徴情報が生成される。
【００６１】
続いて、植物特定部１２ｅは、ステップＳＴ３ｄで生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４ｄ）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４ｄ；ＮＯ）、植物特定部１２ｅは、補助情報取得部１４に指示して外部データベースを参照することにより、当該特徴情報に対応する植物の属性情報を取得する（ステップＳＴ５ｄ）。
【００６２】
ステップＳＴ３ｄで生成した特徴情報と合致する属性情報が内蔵データベース１８にある場合（ステップＳＴ４ｄ；ＹＥＳ）、または、ステップＳＴ５ｄで外部データベースから属性情報が取得されると、植物特定部１２ｅは、この属性情報を被写体の植物の属性情報として特定する。
属性情報を特定した後に、植物特定部１２ｅは、被写体である植物の画像データをより詳細に解析して当該植物の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ６ｄの処理となる。
なお、植物の属性情報としては、例えば植物の種類、名称、分布地域、開花時期およびその他の当該植物に関する情報がある。
また、植物の外観情報としては、例えば、花および葉の色、開花具合、紅葉具合などがある。
【００６３】
次に、ステップＳＴ７ｄにおいて、植物特定部１２ｅは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、植物特定部１２ｅは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、植物特定部１２ｅは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ８ｄ）。
【００６４】
コンテンツ生成部１５は、植物特定部１２ｅから受信した植物の属性情報と外観情報に基づいて、当該植物の属性および外観を含むコンテンツを生成する。
例えば、季節の情報となる各種の植物（桜、ひまわり、椿）を検出すると、季節に対応させて、属性情報および外観を示すコンテンツを提供する。これにより、桜の開花などをドライブ中にリアルタイムに得ることができる。また、桜の開花情報は、補助情報取得部１４に指示してその情報をネット上にアップしてもよい。
また、履歴情報がある場合、コンテンツ生成部１５は、同一の植物の属性情報の取得頻度をカウントし、当該植物の分布を視覚化したコンテンツや、様々な植物の分布を視覚化したコンテンツを生成して提供することで、ドライブした地域における植物の分布を知ることが可能である。
【００６５】
図８は、車両周辺画像データを基に標識に関する情報を提供する処理を示すフローチャートであり、被写体が標識であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。ここで、標識特定部１２ｆが、被写体の種別が標識であると判別する（ステップＳＴ１ｅ）。
【００６６】
次に、標識特定部１２ｆは、被写体の画像データが、標識の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２ｅ）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２ｅ；ＮＯ）、標識の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１ｅからの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００６７】
標識の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２ｅ；ＹＥＳ）、標識特定部１２ｆは、被写体である標識の画像データから特徴点の抽出を行う（ステップＳＴ３ｅ）。これにより、被写体である標識の外観（例えば、二値化処理して標識の輪郭および図柄を示す画像）を示す特徴情報が生成される。
【００６８】
続いて、標識特定部１２ｆは、ステップＳＴ３ｅで生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４ｅ）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４ｅ；ＮＯ）、標識特定部１２ｅは、補助情報取得部１４に指示して外部データベースを参照することにより、当該特徴情報に対応する標識の属性情報を取得する（ステップＳＴ５ｅ）。
【００６９】
ステップＳＴ３ｅで生成した特徴情報と合致する属性情報が内蔵データベース１８にある場合（ステップＳＴ４ｅ；ＹＥＳ）、または、ステップＳＴ５ｅで外部データベースから属性情報が取得されると、標識特定部１２ｆは、この属性情報を被写体の標識の属性情報として特定する。
属性情報を特定した後に、標識特定部１２ｆは、被写体である標識の画像データをより詳細に解析して当該標識の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ６ｅの処理となる。
なお、標識の属性情報としては、例えば標識の種類、名称、標識の意味およびその他の当該標識に関する情報がある。
また、標識の外観情報としては、例えば、標識の図柄、汚れ具合などがある。
【００７０】
次に、ステップＳＴ７ｅにおいて、標識特定部１２ｆは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、標識特定部１２ｆは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、標識特定部１２ｆは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ８ｅ）。
【００７１】
コンテンツ生成部１５は、標識特定部１２ｆから受信した標識の属性情報と外観情報に基づいて、当該標識の属性および外観を含むコンテンツを生成する。
例えば、履歴情報がある場合、コンテンツ生成部１５は、時間や時期によって変化する複数車線における可変型中央分離帯の情報を撮影日時とともに提供するコンテンツを生成する。このコンテンツを視聴することで、ユーザは、走行道路の状況をドライブ中に把握することができる。また、このコンテンツを、これから当該道路を走行しようとする走行車両の参考情報としてＷｅｂ上に情報を公開することも可能である。
【００７２】
図９は、車両周辺画像データを基に地物に関する情報を提供する処理を示すフローチャートであり、被写体が地物であった場合の処理を示している。
被写体特定部１２が、被写体抽出部１１が抽出した被写体の画像データを入力すると、車両特定部１２ａ、人物特定部１２ｂ、動物特定部１２ｃ、飛行物特定部１２ｄ、植物特定部１２ｅ、標識特定部１２ｆおよび地物特定部１２ｇに当該画像データをそれぞれ振り分けて出力する。ここで、地物特定部１２ｇが、被写体の種別が地物であると判別する（ステップＳＴ１ｆ）。
【００７３】
次に、地物特定部１２ｇは、被写体の画像データが、地物の属性と外観の特定に必要な特徴点の抽出が可能なデータであるか否かを判定する（ステップＳＴ２ｆ）。
ここで、特徴点が抽出不可能な画像データである場合（ステップＳＴ２ｆ；ＮＯ）、地物の属性と外観の特定に必要な特徴点の抽出が可能な画像データが得られるまで、ステップＳＴ１ｆからの処理を繰り返す。すなわち、車載カメラ１０が、車両周辺の状況を動画として撮影するか、同一被写体が得られるであろう短い撮影間隔で撮影を行うことで、被写体の特定が的確に行えるようにする。
【００７４】
地物の属性と外観の特定に必要な特徴点の抽出が可能である場合（ステップＳＴ２ｆ；ＹＥＳ）、地物特定部１２ｇは、被写体である地物の画像データから特徴点の抽出を行う（ステップＳＴ３ｆ）。これにより、被写体である地物の外観（例えば、二値化処理して地物の輪郭画像）を示す特徴情報が生成される。
【００７５】
続いて、地物特定部１２ｇは、ステップＳＴ３ｆで生成した特徴情報と、内蔵データベース１８の各属性情報に対応するパターン画像とを比較して、これらが合致する属性情報があるか否かを判定する（ステップＳＴ４ｆ）。ここで、両者が合致する属性情報がない場合（ステップＳＴ４ｆ；ＮＯ）、地物特定部１２ｇは、補助情報取得部１４に指示して外部データベースを参照することにより、当該特徴情報に対応する地物の属性情報を取得する（ステップＳＴ５ｆ）。
【００７６】
ステップＳＴ３ｆで生成した特徴情報と合致する属性情報が内蔵データベース１８にある場合（ステップＳＴ４ｆ；ＹＥＳ）、または、ステップＳＴ５ｆで外部データベースから属性情報が取得されると、地物特定部１２ｇは、この属性情報を被写体の地物の属性情報として特定する。
属性情報を特定した後に、地物特定部１２ｇは、被写体である地物の画像データをより詳細に解析して当該地物の撮影時の外観情報を特定する。ここまでの処理がステップＳＴ６ｆの処理となる。
なお、地物の属性情報としては、例えば、地物が建物の場合、建物の種類、名称、建設年月日およびその他の当該地物に関する情報がある。また、地物が山や川などの地形である場合、その名称、高さや深さ、長さなどがある。
さらに、地物の外観情報としては、例えば、地物が建物の場合、建物の外観、汚れ具合、手入れ具合などがある。また、地物が山や川などの地形である場合、その形状や雪の残り具合、雲に隠れている状態などの天候と絡めた外観情報がある。
【００７７】
次に、ステップＳＴ７ｆにおいて、地物特定部１２ｇは、特定した属性情報と外観情報を撮影日時情報と併せて記憶部１３のデータ保存領域１３ａに保存する。なお、自車の位置情報を得ることができる場合には、撮影場所の情報も併せて保存してもよい。
また、地物特定部１２ｇは、データ保存領域１３ａを参照して同一の属性の履歴情報を検索する。同一の属性の履歴情報があれば、地物特定部１２ｇは、これをデータ保存領域１３ａから読み出し、今回取得した属性情報および外観情報と併せてコンテンツ生成部１５に送信する（ステップＳＴ８ｆ）。
【００７８】
コンテンツ生成部１５は、地物特定部１２ｇから受信した地物の属性情報と外観情報に基づいて、当該地物の属性および外観を含むコンテンツを生成する。
例えば、撮影画像から特定された建物を逐一登録するマイアルバムを作成し、建物の種類ごとの属性に併せて登録する。このようにすることで、同乗者は、情報出力部１７（車載ディスプレイ）に表示されたアルバムを参照すれば、自車から視認できた建物に関する情報をドライブ中にリアルタイムに得ることができる。また、“ドライブを開始してから何軒のお寺を通過したか”といった内容のクイズを提供するコンテンツを生成することにより、ドライブした地域の様子を学習することが可能である。
【００７９】
上述の説明では、コンテンツ生成部１５が、あらかじめ設定された情報提供方法でコンテンツを作成する場合を示したが、アプリーケーション提供部１６から提供されたアプリケーションを実行してコンテンツを生成してもよい。
例えば、コンテンツ生成部１５が、地物特定部１２ｇから受信した地物の属性情報と外観情報に基づいてコンテンツを生成するにあたり、アプリーケーション提供部１６に所望の情報提供方法を実現するためのアプリケーションの提供を受ける。
このようなアプリケーションとしては、建物のテクスチャや形状などから、属性情報を推定するエンターテインメントコンテンツを提供するものが考えられる。
例えば、“先ほど通り過ぎた教会の建築様式は？”という質問を提示し、ユーザに回答させる対話型のコンテンツがある。
また、山の形状を俯瞰し、富士山に近い形の山を抽出した際には撮影画像と日時を記録して、ユーザのマイコレクションを作るアプリケーションであってもよい。
なお、コンテンツ生成部１５がアプリケーション提供部１６に要求するアプリケーションは、不図示の入力装置を用いてユーザがコンテンツ生成部１５に設定してもよい。
【００８０】
以上のように、この実施の形態１によれば、車載カメラ１０が撮影した車両周辺の画像データを入力し、当該画像データから主要被写体の画像を抽出する被写体抽出部１１と、被写体の種別ごとに当該被写体に関する属性情報を記憶する内蔵データベース１８と、被写体抽出部１１が抽出した被写体の画像から当該被写体の種別を判別し、判別した種別に基づいて内蔵データベース１８に記憶された属性情報の中から、当該被写体の属性情報を特定するとともに、被写体の画像から当該被写体の撮影時の外観を示す外観情報を特定する被写体特定部１２と、被写体特定部１２が特定した被写体の属性情報および外観情報に基づいて、被写体の属性および外観を含むコンテンツを生成して車両内のユーザに提供するコンテンツ生成部１５と、コンテンツ生成部１５が生成したコンテンツを車両内のユーザに提供する情報出力部１７とを備える。このように構成することで、時々刻々と変化するような車両周辺の状況に関する情報を車両内のユーザに提供することができる。
【００８１】
また、この実施の形態１によれば、様々な情報提供方法を実現するアプリケーションを有し、コンテンツ生成部１５からの要求に応じてアプリケーションを提供するアプリケーション提供部１６を備え、コンテンツ生成部１５が、アプリケーション提供部１６から取得したアプリケーションを実行して、当該アプリケーションに対応する情報提供方法のコンテンツを生成する。このように構成することで、車両周辺の状況に関する情報を様々な態様で車両内のユーザに提供することができる。
【００８２】
さらに、この実施の形態１によれば、被写体特定部１２が特定した被写体の属性情報、外観情報、および撮影日時情報を関連付けて当該被写体の履歴情報として記憶する記憶部１３を備え、コンテンツ生成部１５が、記憶部１３に記憶された被写体の履歴情報に基づいて、当該被写体の属性および外観とその時間経過に伴う変遷とを含んだコンテンツを生成する。このように構成することで、車両周辺の状況に関する情報の時間経過に伴う変遷を車両内のユーザに提供することができる。
【００８３】
さらに、この実施の形態１によれば、被写体の種別ごとに当該被写体に関する属性情報を記憶する外部データベースと通信を行って属性情報を取得する補助情報取得部１４を備え、被写体特定部１２が、判別した種別に対応する属性情報が内蔵データベース１８にない場合に、補助情報取得部１４に指示して当該種別に対応する属性情報を外部データベースから取得する。このように構成することで、画像から判別した被写体の種別に対応する属性情報を的確に取得することが可能である。
【００８４】
さらに、この実施の形態１によれば、被写体特定部１２が、車両、人物、動物、飛行物、植物、標識および地物の少なくとも一つを被写体の種別として判別するので、車両周辺における様々な対象物の情報を車両内のユーザに提供することができる。
【００８５】
実施の形態２．
図１０は、この発明の実施の形態２に係る車載情報提供システムの概要を示す図である。図１０に示す車両情報提供システムは、車載装置１００が、スマートフォンなどの携帯情報端末１０１およびサーバ装置１０２の少なくとも一方と連携して情報提供処理を行う。以下、当該車載情報提供システムの構成態様について説明する。
【００８６】
まず、サーバ装置１０２と連携して、車載装置１００が車載情報提供装置として機能する場合について説明する。
この構成においては、車載装置１００がサーバ装置１０２と直接通信するか、または、車載装置１００が携帯情報端末１０１を経由してサーバ装置１０２と通信する場合が考えられる。サーバ装置１０２は、上記実施の形態１で説明した被写体抽出部１１、被写体特定部１２、記憶部１３およびアプリケーション提供部１６を備えている。また、車載装置１００は、サーバ装置１０２の被写体特定部１２が特定した被写体の属性情報と外観情報を用いてコンテンツ生成を行うコンテンツ生成部１５と、コンテンツ生成部１５が生成したコンテンツをユーザに提供するための情報出力部１７を少なくとも備える。
【００８７】
また、車載装置１００が基本的に通信機能のみを有し、サーバ装置１０２によるコンテンツ生成結果を受信してユーザに提供する場合がある。
この構成においても、車載装置１００がサーバ装置１０２と直接通信するか、または、車載装置１００が携帯情報端末１０１を経由してサーバ装置１０２と通信する。
ただし、上記構成と異なり、車載装置１００は、情報出力部１７を備えるが、コンテンツ生成部１５は備えていない。
つまり、サーバ装置１０２が、被写体抽出部１１、被写体特定部１２、記憶部１３、コンテンツ生成部１５およびアプリケーション提供部１６を備える。
【００８８】
この他、携帯情報端末１０１が、サーバ装置１０２と連携してコンテンツ生成処理を行い、その結果を車載装置１００がユーザに提供する場合について説明する。
例えば、携帯情報端末１０１が、上記実施の形態１で示した被写体抽出部１１、被写体特定部１２、コンテンツ生成部１５およびアプリケーション提供部１６を備え、サーバ装置１０２が、内蔵データベース１８と記憶部１３を備える。また、車載装置１００は、通信機能に加え、情報出力部１７を備える。
上述のように構成しても、上記実施の形態１と同様な効果を得ることができる。
【００８９】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００９０】
１  車載情報提供装置、１０  車載カメラ、１１  被写体抽出部、１２  被写体特定部、１２ａ  車両特定部、１２ｂ  人物特定部、１２ｃ  動物特定部、１２ｄ  飛行物特定部、１２ｅ  植物特定部、１２ｆ  標識特定部、１２ｇ  地物特定部、１３  記憶部、１３ａ  データ保存領域、１４  補助情報取得部、１５  コンテンツ生成部、１６  アプリケーション提供部、１７  情報出力部、１８  内蔵データベース。
【図１】
2014106617.tif 000003
【図２】
2014106617.tif 000004
【図３】
2014106617.tif 000005
【図４】
2014106617.tif 000006
【図５】
2014106617.tif 000007
【図６】
2014106617.tif 000008
【図７】
2014106617.tif 000009
【図８】
2014106617.tif 000010
【図９】
2014106617.tif 000011
【図１０】
2014106617.tif 000012