(57)【特許請求の範囲】
【請求項１】
車両に搭載される車載装置と通信可能な可搬性の携帯装置であって、
前記車両の周辺を撮影して撮影画像を取得するカメラと、
前記車両の車両位置を取得する位置取得手段と、
前記カメラの光軸方向を取得する方向取得手段と、
ソーシャルネットワーキングサービスの投稿データを取得するデータ取得手段と、
前記車載装置から、目的地までのルート案内に関する案内情報を受信する受信手段と、
前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する生成手段と、
前記拡張現実画像を表示可能な前記車載装置に前記拡張現実画像を送信する送信手段と、
を備え、
前記生成手段は、前記アイコンと前記案内情報に基づく情報とを前記撮影画像に重畳して前記拡張現実画像を生成することを特徴とする携帯装置。
【請求項２】
車両に搭載される車載装置と通信可能で、前記車両に対して固定される可搬性の携帯装置であって、
前記車両の周辺を撮影して撮影画像を取得するカメラと、
前記車両の車両位置を取得する位置取得手段と、
前記カメラの光軸方向を取得する方向取得手段と、
ソーシャルネットワーキングサービスの投稿データを取得するデータ取得手段と、
前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する生成手段と、
前記拡張現実画像を表示可能な前記車載装置に前記拡張現実画像を送信する送信手段と、
ユーザの操作に応じて、前記撮影画像において前記アイコンを重畳する縦方向の位置の基準となる基準位置を設定する位置設定手段と、
を備えることを特徴とする携帯装置。
【請求項３】
車両に搭載される車載装置と通信可能な可搬性の携帯装置であって、
前記車両の周辺を撮影して撮影画像を取得するカメラと、
前記車両の車両位置を取得する位置取得手段と、
前記カメラの光軸方向を取得する方向取得手段と、
ソーシャルネットワーキングサービスの投稿データを取得するデータ取得手段と、
前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する生成手段と、
前記拡張現実画像を表示可能な前記車載装置に前記拡張現実画像を送信する送信手段と、
前記データ取得手段が取得した前記投稿データの投稿内容を表示する表示手段と、
を備え、
前記拡張現実画像は、前記投稿データの投稿内容を含まないことを特徴とする携帯装置。
【請求項４】
請求項３に記載の携帯装置において、
前記表示手段は、前記データ取得手段が取得した前記投稿データが複数ある場合は、前記車両位置から前記投稿位置までの距離が小さい投稿データの投稿内容を優先的に表示することを特徴とする携帯装置。
【請求項５】
請求項３に記載の携帯装置において、
前記表示手段は、前記データ取得手段が取得した前記投稿データが複数ある場合は、投稿時点から現時点までの時間が小さい投稿データの投稿内容を優先的に表示することを特徴とする携帯装置。
【請求項６】
請求項１ないし３のいずれかに記載の携帯装置において、
前記生成手段は、前記車両位置から前記投稿位置までの距離がユーザが設定した第１距離より小さい投稿データの前記アイコンを重畳することを特徴とする携帯装置。
【請求項７】
請求項６に記載の携帯装置において、
前記生成手段は、前記車両位置から前記投稿位置までの距離が第２距離より大きく前記第１距離よりも小さい投稿データの前記アイコンを重畳することを特徴とする携帯装置。
【請求項８】
請求項６または７に記載の携帯装置において、
前記生成手段は、前記撮影画像へ重畳すべき前記アイコンが複数ある場合は、前記車両位置から前記投稿位置までの距離が小さい投稿データの前記アイコンほど、前面側に重畳することを特徴とする携帯装置。
【請求項９】
請求項６または７に記載の携帯装置において、
前記生成手段は、前記撮影画像へ重畳すべき前記アイコンが複数ある場合は、投稿時点から現時点までの時間が小さい投稿データの前記アイコンほど、前面側に重畳することを特徴とする携帯装置。
【請求項１０】
請求項１ないし３のいずれかに記載の携帯装置において、
前記拡張現実画像の内容に関するユーザの操作を受け付ける操作ボタンを表示する表示手段、
をさらに備えることを特徴とする携帯装置。
【請求項１１】
可搬性の携帯装置に含まれるコンピュータによって実行可能なプログラムであって、
前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
（ａ）カメラで車両の周辺を撮影して撮影画像を取得する工程と、
（ｂ）前記車両の車両位置を取得する工程と、
（ｃ）前記カメラの光軸方向を取得する工程と、
（ｄ）ソーシャルネットワーキングサービスの投稿データを取得する工程と、
（ｅ）前記車両に搭載される車載装置から、目的地までのルート案内に関する案内情報を受信する工程と、
（ｆ）前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する工程と、
（ｇ）前記車載装置の表示手段に前記拡張現実画像を表示させる工程と、
を実行させ、
前記工程（ｆ）は、前記アイコンと前記案内情報に基づく情報とを前記撮影画像に重畳して前記拡張現実画像を生成することを特徴とするプログラム。
【請求項１２】
車両に対して固定される可搬性の携帯装置に含まれるコンピュータによって実行可能なプログラムであって、
前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
（ａ）カメラで車両の周辺を撮影して撮影画像を取得する工程と、
（ｂ）前記車両の車両位置を取得する工程と、
（ｃ）前記カメラの光軸方向を取得する工程と、
（ｄ）ソーシャルネットワーキングサービスの投稿データを取得する工程と、
（ｅ）前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する工程と、
（ｆ）前記車両に搭載される車載装置の表示手段に前記拡張現実画像を表示させる工程と、
（ｇ）ユーザの操作に応じて、前記撮影画像において前記アイコンを重畳する縦方向の位置の基準となる基準位置を設定する工程と、
を実行させることを特徴とするプログラム。
【請求項１３】
可搬性の携帯装置に含まれるコンピュータによって実行可能なプログラムであって、
前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
（ａ）カメラで車両の周辺を撮影して撮影画像を取得する工程と、
（ｂ）前記車両の車両位置を取得する工程と、
（ｃ）前記カメラの光軸方向を取得する工程と、
（ｄ）ソーシャルネットワーキングサービスの投稿データを取得する工程と、
（ｅ）前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する工程と、
（ｆ）前記車両に搭載される車載装置の表示手段に前記拡張現実画像を表示させる工程と、
（ｇ）工程（ｄ）で取得した前記投稿データの投稿内容を表示する工程と、
を実行させ、
前記拡張現実画像は、前記投稿データの投稿内容を含まないことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両において画像を表示する技術に関する。
【背景技術】
【０００２】
従来より、カーナビゲーション装置などの車載装置は、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）などによって提供される情報を取得することにより、交通情報などのタイムリーな車両の周辺の情報をユーザに提供できるようになっている。
【０００３】
また、近年では、ツイッター（登録商標）などのソーシャルネットワーキングサービス（ＳＮＳ）に投稿された投稿データの投稿内容を表示する車載装置も知られている（例えば、特許文献１，２参照。）。このような車載装置のユーザは、交通情報などの予め定められた事項に限定されない多種多様、かつ、タイムリーな情報を得ることが可能となっている。例えば、ユーザは、任意のスポットの混雑状況などを確認することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４７８３１号公報
【特許文献２】特開２０１１−２４７８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ソーシャルネットワーキングサービスに対応した従来の車載装置では、投稿データが投稿された位置である投稿位置を二次元の地図画像上に表示するようになっている。このような表示態様では、ユーザによっては、車両から現実に見える風景と、投稿データの投稿位置との関係を把握しにくい場合がある。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、車載装置を視認するユーザが投稿データの投稿位置を直感的に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、車両に搭載される車載装置と通信可能な可搬性の携帯装置であって、前記車両の周辺を撮影して撮影画像を取得するカメラと、前記車両の車両位置を取得する位置取得手段と、前記カメラの光軸方向を取得する方向取得手段と、ソーシャルネットワーキングサービスの投稿データを取得するデータ取得手段と、前記車載装置から、目的地までのルート案内に関する案内情報を受信する受信手段と、前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する生成手段と、前記拡張現実画像を表示可能な前記車載装置に前記拡張現実画像を送信する送信手段と、を備え、前記生成手段は、前記アイコンと前記案内情報に基づく情報とを前記撮影画像に重畳して前記拡張現実画像を生成する。
【００１０】
また、請求項２の発明は、車両に搭載される車載装置と通信可能で、前記車両に対して固定される可搬性の携帯装置であって、前記車両の周辺を撮影して撮影画像を取得するカメラと、前記車両の車両位置を取得する位置取得手段と、前記カメラの光軸方向を取得する方向取得手段と、ソーシャルネットワーキングサービスの投稿データを取得するデータ取得手段と、前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する生成手段と、前記拡張現実画像を表示可能な前記車載装置に前記拡張現実画像を送信する送信手段と、ユーザの操作に応じて、前記撮影画像において前記アイコンを重畳する縦方向の位置の基準となる基準位置を設定する位置設定手段と、を備えている。
【００１１】
また、請求項３の発明は、車両に搭載される車載装置と通信可能な可搬性の携帯装置であって、前記車両の周辺を撮影して撮影画像を取得するカメラと、前記車両の車両位置を取得する位置取得手段と、前記カメラの光軸方向を取得する方向取得手段と、ソーシャルネットワーキングサービスの投稿データを取得するデータ取得手段と、前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する生成手段と、前記拡張現実画像を表示可能な前記車載装置に前記拡張現実画像を送信する送信手段と、前記データ取得手段が取得した前記投稿データの投稿内容を表示する表示手段と、を備え、前記拡張現実画像は、前記投稿データの投稿内容を含まない。
【００１２】
また、請求項４の発明は、請求項３に記載の携帯装置において、前記表示手段は、前記データ取得手段が取得した前記投稿データが複数ある場合は、前記車両位置から前記投稿位置までの距離が小さい投稿データの投稿内容を優先的に表示する。
【００１３】
また、請求項５の発明は、請求項３に記載の携帯装置において、前記表示手段は、前記データ取得手段が取得した前記投稿データが複数ある場合は、投稿時点から現時点までの時間が小さい投稿データの投稿内容を優先的に表示する。
【００１４】
また、請求項６の発明は、請求項１ないし３のいずれかに記載の携帯装置において、前記生成手段は、前記車両位置から前記投稿位置までの距離がユーザが設定した第１距離より小さい投稿データの前記アイコンを重畳する。
【００１５】
また、請求項７の発明は、請求項６に記載の携帯装置において、前記生成手段は、前記車両位置から前記投稿位置までの距離が第２距離より大きく前記第１距離よりも小さい投稿データの前記アイコンを重畳する。
【００１６】
また、請求項８の発明は、請求項６または７に記載の携帯装置において、前記生成手段は、前記撮影画像へ重畳すべき前記アイコンが複数ある場合は、前記車両位置から前記投稿位置までの距離が小さい投稿データの前記アイコンほど、前面側に重畳する。
【００１７】
また、請求項９の発明は、請求項６または７に記載の携帯装置において、前記生成手段は、前記撮影画像へ重畳すべき前記アイコンが複数ある場合は、投稿時点から現時点までの時間が小さい投稿データの前記アイコンほど、前面側に重畳する。
【００１８】
また、請求項１０の発明は、請求項１ないし３のいずれかに記載の携帯装置において、前記拡張現実画像の内容に関するユーザの操作を受け付ける操作ボタンを表示する表示手段、をさらに備えている。
【００２１】
また、請求項１１の発明は、可搬性の携帯装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）カメラで車両の周辺を撮影して撮影画像を取得する工程と、（ｂ）前記車両の車両位置を取得する工程と、（ｃ）前記カメラの光軸方向を取得する工程と、（ｄ）ソーシャルネットワーキングサービスの投稿データを取得する工程と、（ｅ）前記車両に搭載される車載装置から、目的地までのルート案内に関する案内情報を受信する工程と、（ｆ）前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する工程と、（ｇ）前記車載装置の表示手段に前記拡張現実画像を表示させる工程と、を実行させ、前記工程（ｆ）は、前記アイコンと前記案内情報に基づく情報とを前記撮影画像に重畳して前記拡張現実画像を生成する。
また、請求項１２の発明は、車両に対して固定される可搬性の携帯装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）カメラで車両の周辺を撮影して撮影画像を取得する工程と、（ｂ）前記車両の車両位置を取得する工程と、（ｃ）前記カメラの光軸方向を取得する工程と、（ｄ）ソーシャルネットワーキングサービスの投稿データを取得する工程と、（ｅ）前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する工程と、（ｆ）前記車両に搭載される車載装置の表示手段に前記拡張現実画像を表示させる工程と、（ｇ）ユーザの操作に応じて、前記撮影画像において前記アイコンを重畳する縦方向の位置の基準となる基準位置を設定する工程と、を実行させる。
また、請求項１３の発明は、可搬性の携帯装置に含まれるコンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）カメラで車両の周辺を撮影して撮影画像を取得する工程と、（ｂ）前記車両の車両位置を取得する工程と、（ｃ）前記カメラの光軸方向を取得する工程と、（ｄ）ソーシャルネットワーキングサービスの投稿データを取得する工程と、（ｅ）前記投稿データの投稿位置と前記車両位置と前記光軸方向とに基づいて、前記カメラの撮影対象となる領域内で投稿された前記投稿データを示すアイコンを前記撮影画像に重畳して拡張現実画像を生成する工程と、（ｆ）前記車両に搭載される車載装置の表示手段に前記拡張現実画像を表示させる工程と、（ｇ）工程（ｄ）で取得した前記投稿データの投稿内容を表示する工程と、を実行させ、前記拡張現実画像は、前記投稿データの投稿内容を含まない。
【発明の効果】
【００２２】
請求項１ないし１３の発明によれば、車両の周辺の現実の風景を示す撮影画像に、その撮影画像を取得したカメラの撮影対象となる領域内で投稿された投稿データを示すアイコンが重畳された拡張現実画像が車載装置において表示される。このため、車載装置を視認するユーザが投稿データの投稿位置を直感的に把握できる。
【００２３】
また、特に請求項１及び１１の発明によれば、車載装置を視認するユーザが、車両の周辺の現実の風景を確認しながら、目的地までの運転に必要な情報を把握できる。
【００２４】
また、特に請求項２及び１２の発明によれば、アイコンを重畳する縦方向の位置の基準となる基準位置を設定できるため、車両に対して固定された携帯装置の位置や姿勢にかかわらず見やすい位置にアイコンを配置することができる。
【００２５】
また、特に請求項３及び１３の発明によれば、投稿データの投稿内容が携帯装置において表示されるが、車載装置においては表示されない。このため、車載装置における拡張現実画像の表示を阻害せずに、投稿データの投稿内容をユーザに提供することができる。
【００２６】
また、特に請求項４の発明によれば、携帯装置のユーザは、近傍で投稿された投稿データの投稿内容を容易に閲覧することができる。
【００２７】
また、特に請求項５の発明によれば、携帯装置のユーザは、新しく投稿された投稿データの投稿内容を容易に閲覧することができる。
【００２８】
また、特に請求項６の発明によれば、ユーザは第１距離を設定することで、拡張現実画像中にアイコンとして表示される投稿データを調整することができる。
【００２９】
また、特に請求項７の発明によれば、比較的近い距離で投稿された投稿データのアイコンをスムーズに表示することができる。
【００３０】
また、特に請求項８の発明によれば、近傍で投稿された投稿データを把握しやすくできる。
【００３１】
また、特に請求項９の発明によれば、新しく投稿された投稿データを把握しやすくできる。
【００３２】
また、特に請求項１０の発明によれば、拡張現実画像の内容に関するユーザの操作を受け付ける操作ボタンが携帯装置において表示されるため、これらの操作ボタンを車載装置において表示しなくてもよい。このため、車載装置の表示手段を有効に利用することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、表示システムの概要を示す図である。
【図２】図２は、表示システムの機能の概要を示す図である。
【図３】図３は、表示システムの構成を示す図である。
【図４】図４は、ＳＮＳの概要を示す図である。
【図５】図５は、投稿データの一例を示す図である。
【図６】図６は、拡張現実画像の一例を示す図である。
【図７】図７は、投稿データの投稿位置を示す図である。
【図８】図８は、投稿位置までの距離とオフセット量との関係を示す図である。
【図９】図９は、投稿位置までの距離と表示サイズとの関係を示す図である。
【図１０】図１０は、携帯装置のディスプレイの表示の一例を示す図である。
【図１１】図１１は、設定画面を示す図である。
【図１２】図１２は、位置調整画面を示す図である。
【図１３】図１３は、基準位置の調整を説明するための図である。
【図１４】図１４は、表示システムの基本的な処理の流れを示す図である。
【図１５】図１５は、非連携時の携帯装置のディスプレイの表示の一例を示す図である。
【図１６】図１６は、非連携時の携帯装置のディスプレイの表示の一例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３６】
＜１．システムの概要＞
図１は、本実施の形態の表示システム１０の概要を示す図である。表示システム１０は、自動車などの車両９に搭載される車載装置２と、車載装置２とは別個に構成される携帯装置３とを備えている。
【００３７】
車載装置２は、車両９の車室内に固定的に設けられる電子装置である。車載装置２は、例えば、ユーザに設定された目的地までのルートを案内するナビゲーション機能を備えたナビゲーション装置である。車載装置２は、各種の画像を表示するディスプレイ２５を備えている。車載装置２は、車両９に乗車したユーザがディスプレイ２５の画面を容易に視認できるように、車両９の車室内の前方にあるダッシュボード内などに配置される。
【００３８】
一方、携帯装置３は、例えば、スマートフォンなどの可搬性の電子装置である。携帯装置３は、表示システム１０に利用する場合は、携帯装置３を保持するホルダ１２によって車両９のダッシュボード上などに固定される。このホルダ１２は、携帯装置３を完全に固定するものではなく、携帯装置３を適宜に着脱することが可能である。
【００３９】
携帯装置３は、その背面側となる主面に、被写体を撮影して撮影画像を取得するカメラ３２を備えている。携帯装置３がホルダ１２で車両９に対して固定されることで、このカメラ３２の光軸は、車両９の前方方向に向けられる。これにより、カメラ３２は、車両９の前方となる車両９の周辺の領域を撮影して、車両９の運転者と同様の視点からみた車両９の前方の現実の風景を示す撮影画像を取得する。また、このように携帯装置３を配置すると、携帯装置３の前面側の主面に配置されたディスプレイの画面は車室内側へ向く。このため、車両９に乗車したユーザは携帯装置３のディスプレイの画面も視認することができる。
【００４０】
車両９に乗車したユーザは、車載装置２及び携帯装置３の双方のディスプレイを視認することができる。ただし、車載装置２と携帯装置３とでは、一般に、車載装置２の方がディスプレイの画面サイズが大きい。また、車載装置２のディスプレイ２５は、一般に、車両９の運転席からの視認に適した位置に配置される。このため、車両９の運転者は、通常、携帯装置３よりも車載装置２のディスプレイ２５を優先的に視認して各種の情報を得ることになる。もちろん、車両９の運転者が携帯装置３のディスプレイを視認して情報を得ることも可能である。一方で、車両９の助手席にいる同乗者は、車載装置２及び携帯装置３のディスプレイの双方を同様に視認して情報を得ることができる。
【００４１】
車載装置２と携帯装置３との双方は、データ信号及び映像信号の双方の送信が可能な複合ケーブルである信号ケーブル１１で接続されている。このため、車載装置２と携帯装置３とは、信号ケーブル１１を介して相互にデータを送受信することが可能である。また、携帯装置３から車載装置２へは、信号ケーブル１１を介して映像信号のフレームとなる画像を所定周期で連続的に送信することが可能である。車載装置２のディスプレイ２５は、このように携帯装置３から車載装置２へ送信された画像を表示することができる。
【００４２】
また、携帯装置３は、インターネットなどのネットワーク８を介して、ネットワーク８に接続された通信装置と通信する通信機能を有している。携帯装置３は、例えば、ツイッター（登録商標）などのソーシャルネットワーキングサービス（以下、「ＳＮＳ」という。）を提供するサーバ装置４と通信することが可能である。
【００４３】
図２は、表示システム１０の機能の概要を示す図である。携帯装置３は、ＡＲ（Augmented Reality）技術を用いて拡張現実画像ＡＰを生成する。すなわち、携帯装置３は、カメラ３２によって車両９の前方を撮影して得られた現実の風景を示す撮影画像に対して各種の情報を付加して拡張現実画像ＡＰを生成する。
【００４４】
携帯装置３は、撮影画像に付加するための情報として、目的地までのルート案内を行うナビゲーション機能に関する案内情報を車載装置２から取得する。さらに、携帯装置３は、ＳＮＳに投稿された投稿データをネットワーク８を介してサーバ装置４から取得する。携帯装置３は、案内情報及び投稿データに基づくアイコンなどを撮影画像に対して重畳して拡張現実画像ＡＰを生成する。
【００４５】
携帯装置３は、生成した拡張現実画像ＡＰを車載装置２に送信する。車載装置２は、携帯装置３からこの拡張現実画像ＡＰを受信して、ディスプレイ２５に表示する。車載装置２は、ナビゲーション機能のための車両９の周辺の地図を示す地図画像ＭＰと、拡張現実画像ＡＰとをディスプレイ２５の同一の画面に並べて表示する。図に示すように、ディスプレイ２５の画面は左右に分割され、画面の左側に地図画像ＭＰが表示され、画面の右側に拡張現実画像ＡＰが表示される。
【００４６】
拡張現実画像ＡＰは、所定の周期（例えば、１／３０秒）で繰り返し生成される。連続的に生成された拡張現実画像ＡＰは、映像信号のフレームとして車載装置２に送信され、ディスプレイ２５に表示される。このため、車載装置２のディスプレイ２５に表示された拡張現実画像ＡＰは、車両９の前方の現実の風景をほぼリアルタイムに示すことになる。表示システム１０のユーザ（特に、車両９の運転者）は、このような車載装置２のディスプレイ２５を視認することで、車両９の周辺の地図とともに、車両９の前方の現実の風景を確認することができる。さらに、ユーザは、拡張現実画像ＡＰに含まれるアイコンなどに基づいて、案内情報や投稿データに基づく各種の情報を把握することができる。
【００４７】
また、携帯装置３は、このように車載装置２と連携して動作する場合は、そのディスプレイ３５に拡張現実画像ＡＰを表示せず、投稿データの具体的な投稿内容を示すウィンドウ５０や、ユーザの操作を受け付ける操作ボタン（コマンドボタン）５１などを表示する。拡張現実画像ＡＰは、このようなウィンドウ５０や操作ボタン５１を含まない。このため、車載装置２においては、投稿データの投稿内容、及び、操作ボタン５１は表示されない。
【００４８】
このように表示システム１０では、車載装置２と携帯装置３とで互いに異なる情報を表示する。このため、車載装置２及び携帯装置３の双方のディスプレイの画面を有効に利用して、ユーザに対して多様な情報を提供することが可能である。また、車載装置２において投稿データの投稿内容、及び、操作ボタン５１は表示されないため、車両９の運転者が主に視認する車載装置２における拡張現実画像ＡＰの表示を阻害することもない。以下、このような表示システム１０の構成及び処理について詳細に説明する。
【００４９】
＜２．システムの構成＞
図３は、表示システム１０の構成を示す図である。図中の左側は車載装置２の構成、右側は携帯装置３の構成をそれぞれ示している。
【００５０】
車載装置２は、制御部２０と、ＧＰＳ部２３と、方位センサ２４と、ディスプレイ２５と、装置間通信部２６と、画像受信部２７と、記憶部２８とを備えている。制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備え、車載装置２の全体を制御するマイクロコンピュータである。
【００５１】
ＧＰＳ部２３は、複数のＧＰＳ衛星からの信号を受信して車載装置２の現時点の位置を取得する。車載装置２は車両９に搭載されるため、ＧＰＳ部２３は現時点の車両９の位置である車両位置を取得する。車両位置は、緯度経度で表現される。また、方位センサ２４は、地磁気などに基づいて車両９の前方方向の方位を取得する。
【００５２】
ディスプレイ２５は、例えば、液晶パネルを備えており各種の情報を表示する。
【００５３】
装置間通信部２６は、所定の通信方式により信号ケーブル１１を介して携帯装置３との間でデータの送受信を行う。装置間通信部２６は、目的地までのルートを案内するナビゲーション機能に関する案内情報を携帯装置３に送信する。案内情報は、目的地の位置、ルート上の次の案内地点でのターン方向、及び、次の案内地点までの距離などを含んでいる。目的地の位置は、緯度経度で表現される。
【００５４】
画像受信部２７は、信号ケーブル１１を介して携帯装置３から映像信号を受信する。この映像信号には、携帯装置３で生成された拡張現実画像ＡＰが所定の周期で含まれている。
【００５５】
記憶部２８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２８は、プログラム２８ａ、及び、地図データ２８ｂを記憶している。この記憶部２８に記憶されたプログラム２８ａに従って制御部２０のＣＰＵが演算処理を行うことで、制御部２０において各種の機能がソフトウェア的に実現される。図中に示す、ナビゲーション部２０ａ、及び、表示制御部２０ｂは、プログラム２８ａの実行によってソフトウェア的に実現される機能の一部である。
【００５６】
ナビゲーション部２０ａは、目的地までのルート案内を行うナビゲーション機能を実現する。装置間通信部２６が携帯装置３に送信する案内情報は、ナビゲーション部２０ａが提供する。ナビゲーション部２０ａは、記憶部２８に記憶された地図データ２８ｂと、車両位置とに基づいて、車両９の周辺の地図を示す地図画像ＭＰを生成する。また、ナビゲーション部２０ａは、ユーザによって目的地が設定された場合は、現時点の車両位置から目的地までのルートを導出し、当該ルートを地図画像ＭＰ上に重畳する。
【００５７】
表示制御部２０ｂは、ディスプレイ２５の表示に係る制御を行う。車載装置２が携帯装置３と連携して動作する場合は、表示制御部２０ｂは、ナビゲーション部２０ａが生成した地図画像ＭＰと、携帯装置３から送信された拡張現実画像ＡＰとをディスプレイ２５の同一の画面に並べて表示させる（図２参照。）。また、車載装置２が携帯装置３と連携していない場合は、表示制御部２０ｂは、地図画像ＭＰをディスプレイ２５の全画面に表示させる。
【００５８】
一方、携帯装置３は、制御部３０と、ネットワーク通信部３１と、カメラ３２と、ＧＰＳ部３３と、方位センサ３４と、ディスプレイ３５と、装置間通信部３６と、画像送信部３７と、記憶部３８とを備えている。制御部３０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備え、携帯装置３の全体を制御するマイクロコンピュータである。
【００５９】
ネットワーク通信部３１は、ＷｉＭＡＸやＬＴＥなどの所定の無線通信方式によるネットワーク８への接続機能を有する。したがって、ネットワーク通信部３１は、ネットワーク８を介して、サーバ装置４などの他の通信装置との間でデータの送受信を行うことが可能である。ネットワーク通信部３１は、ＳＮＳを提供するサーバ装置４からＳＮＳの投稿データを受信する。
【００６０】
カメラ３２は、レンズと撮像素子とを備えており、被写体を撮影して撮影画像を電子的に取得する。前述のように、カメラ３２のレンズの光軸は車両９の前方方向に向けられる。このため、カメラ３２は、車両９の車室内から車両９の前方に存在する被写体を撮影し、その撮影画像を取得する。
【００６１】
ＧＰＳ部３３は、複数のＧＰＳ衛星からの信号を受信して車載装置２の現時点の位置を取得する。表示システム１０において車載装置２は車両９で用いられるため、ＧＰＳ部３３は実質的に現時点の車両９の位置である車両位置を取得する。車両位置は、緯度経度で表現される。
【００６２】
方位センサ３４は、地磁気などに基づいてカメラ３２の光軸方向の方位を取得する。カメラ３２の光軸は車両９の前方方向に向けられるため、方位センサ３４は実質的に現時点の車両９の前方方向の方位を取得する。
【００６３】
ディスプレイ３５は、例えば、液晶パネルを備えており各種の情報を表示する。また、ディスプレイ３５は、タッチパネルを備えており、ユーザの操作を受け付けることが可能である。ユーザがタッチパネルとしてのディスプレイ３５に触れた場合は、ユーザが触れた座標位置に基づいて、制御部３０がユーザの操作内容を判断する。
【００６４】
装置間通信部３６は、所定の通信方式により信号ケーブル１１を介して車載装置２との間でデータの送受信を行う。装置間通信部３６は、案内情報を車載装置２から受信する。
【００６５】
画像送信部３７は、信号ケーブル１１を介して車載装置２に映像信号を送信する。画像送信部３７は、携帯装置３で連続的に生成する拡張現実画像ＡＰをＮＴＳＣなどの所定形式の映像信号のフレームに変換し、その映像信号を車載装置２に送信する。
【００６６】
記憶部３８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部３８は、アプリケーションのプログラム３８ａ、及び、当該アプリケーションで用いられる設定パラメータ３８ｂを記憶している。この記憶部３８に記憶されたプログラム３８ａに従って制御部３０のＣＰＵが演算処理を行うことで、制御部３０においてアプリケーションの各種の機能がソフトウェア的に実現される。
【００６７】
図中に示すカメラ制御部３０ａ、位置取得部３０ｂ、方向取得部３０ｃ、案内情報取得部３０ｄ、投稿データ取得部３０ｅ、画像生成部３０ｆ、画像送信制御部３０ｇ、表示制御部３０ｈ、及び、操作対応部３０ｉは、プログラム３８ａの実行によってソフトウェア的に実現されるアプリケーションの機能である。
【００６８】
カメラ制御部３０ａは、カメラ３２を制御して、車両９の前方の現実の風景を示す撮影画像を所定の周期（例えば、１／３０秒）で繰り返し取得する。位置取得部３０ｂは、ＧＰＳ部３３を制御して、現時点の車両９の車両位置を取得する。方向取得部３０ｃは、方位センサ３４を制御して、カメラ３２の光軸方向の方位、すなわち、現時点の車両９の前方方向の方位を取得する。
【００６９】
案内情報取得部３０ｄは、装置間通信部３６を制御して、車載装置２へ要求信号を送信し、要求信号に応答して車載装置２から送信される案内情報を取得する。また、投稿データ取得部３０ｅは、ネットワーク通信部３１を制御して、サーバ装置４へ要求信号を送信し、要求信号に応答してサーバ装置４から送信される投稿データを取得する。
【００７０】
画像生成部３０ｆは、カメラ制御部３０ａが取得した撮影画像に、案内情報、及び、投稿データに基づくアイコンなどの情報を重畳して拡張現実画像ＡＰを生成する。画像生成部３０ｆは、撮影画像を取得する周期と同一の周期（例えば、１／３０秒）で、拡張現実画像ＡＰを繰り返し生成する。
【００７１】
画像送信制御部３０ｇは、画像送信部３７を制御して、画像生成部３０ｆが生成した拡張現実画像ＡＰを連続的に含む映像信号を車載装置２に送信する。
【００７２】
表示制御部３０ｈは、ディスプレイ３５を制御して、ディスプレイ３５に投稿データの投稿内容、及び、ユーザの操作を受け付ける操作ボタン５１などを表示させる。また、操作対応部３０ｉは、ユーザがタッチパネルとしてのディスプレイ３５に触れた場合はユーザの操作内容を判断し、ユーザの操作内容に応じた処理を実行する。操作対応部３０ｉは、例えば、ユーザの操作に応じて設定パラメータ３８ｂを設定する。
【００７３】
＜３．ＳＮＳの概要＞
次に、サーバ装置４が提供するソーシャルネットワーキングサービス（ＳＮＳ）の概要について説明する。このＳＮＳは、ユーザ同士のコミュニケーションを促進・サポートするサービスであり、例えば、ツイッター（登録商標）やフォースクエア（登録商標）などである。
【００７４】
図４は、ＳＮＳの概要を示す図である。なお、以下の説明では、便宜のため、ツイッターでの用語を適宜に括弧書きで示す。
【００７５】
ＳＮＳのユーザはそれぞれ、自分の保有する通信端末８１を利用してサーバ装置４に対し、比較的短いテキストで構成される投稿内容を含む投稿データ（ツイート）を投稿することが可能となっている。このような投稿データは、サーバ装置４において蓄積される。投稿データの投稿内容には、所定の記号（例えば、＃）とタグ名とを組み合わせた「＃タグ名」という形式のハッシュタグを含めることが可能となっている。このハッシュタグは、当該投稿データに特定の属性を付与するものである。
【００７６】
また、投稿に利用する通信端末８１が、ＧＰＳなどの位置情報を取得する機能を有している場合は、投稿した位置を示す位置情報を投稿データに含めることが可能である。また、投稿に利用する通信端末８１が、カメラなどの画像を取得する機能を有している場合は、取得した画像を投稿データに添付することが可能である。
【００７７】
ＳＮＳのユーザはそれぞれ、自分の保有する通信端末８１を利用して、サーバ装置４において蓄積された投稿データの投稿内容を閲覧することができる。ユーザは、通常、指定した（フォローした）他のユーザの投稿データの投稿内容を閲覧できる。また、ユーザは、指定したキーワードやハッシュタグを含むなど特定の取得条件を満足する投稿データを通信端末８１に取得させ、その投稿データの投稿内容を閲覧することもできる。本実施の形態の携帯装置３は、このようなＳＮＳの通信端末８１として利用することができる。
【００７８】
図４の例では、ユーザＡ〜Ｃがサーバ装置４に対して投稿データを投稿している一方で、ユーザＤはサーバ装置４において蓄積された投稿データを閲覧している。もちろん、ユーザＡ〜Ｃが投稿データを閲覧することも可能であり、ユーザＤが投稿データを投稿することも可能である。
【００７９】
このようにサーバ装置４には、様々な場所にいるユーザからの投稿データが随時に投稿され、様々な場所に関する投稿データが蓄積される。一般に、投稿データの投稿内容は、その投稿データを投稿した位置でのタイムリーな情報となる。
【００８０】
図５は、サーバ装置４に蓄積される一つの投稿データＴＲの例を示す図である。図に示すように、投稿データＴＲには、「投稿ＩＤ」「投稿者」「投稿日時」「投稿内容」「投稿位置」「添付画像」などの情報が含まれている。
【００８１】
「投稿ＩＤ」は、投稿データＴＲを識別する識別情報である。「投稿者」は、投稿データＴＲを投稿したユーザである。「投稿日時」は、投稿データＴＲの投稿時点の日時である。「投稿内容」は、投稿データＴＲの具体的な投稿内容を示すテキストである。「投稿内容」には、適宜、ハッシュタグが含まれる。
【００８２】
また、「投稿位置」は、投稿データＴＲが投稿された位置の位置情報である。「投稿位置」は、緯度経度で表現される。「添付画像」は、投稿データＴＲに添付された画像のアドレスである。
【００８３】
表示システム１０の携帯装置３は、このようにサーバ装置４に蓄積された投稿データのうち、車両９の周辺で投稿された投稿データをサーバ装置４から取得する。そして、携帯装置３は、取得した投稿データの投稿位置を示す拡張現実画像ＡＰを生成することになる。
【００８４】
＜４．拡張現実画像＞
次に、携帯装置３が生成し、車載装置２に表示される拡張現実画像ＡＰについて説明する。図６は、拡張現実画像ＡＰの一例を示す図である。前述のように、拡張現実画像ＡＰは、携帯装置３の画像生成部３０ｆが、車両９の前方の現実の風景を示す撮影画像ＳＰに対して案内情報及び投稿データに基づく情報を重畳して生成する。
【００８５】
図に示すように、拡張現実画像ＡＰは、案内情報に基づく情報として、ターン方向案内ＴＤ、目的地方向案内ＧＤ、及び、目的地アイコンＧＡを含んでいる。このうち、ターン方向案内ＴＤ、及び、目的地方向案内ＧＤは、拡張現実画像ＡＰの上部の固定位置に配置される。一方、目的地アイコンＧＡは、目的地の位置に応じた拡張現実画像ＡＰ中の位置に配置される。
【００８６】
ターン方向案内ＴＤは、次の案内地点でのターン方向、及び、次の案内地点までの距離を示している。また、目的地方向案内ＧＤは、車両９の前方方向に対する目的地の方向を示している。目的地方向案内ＧＤは、方向取得部３０ｃが取得した車両９の前方方向の方位と、案内情報に含まれる目的地の位置とに基づいて生成される。
【００８７】
また、目的地アイコンＧＡは、ピン形状のアイコンであり、撮影画像ＳＰが示す現実の風景における目的地の位置を示している。目的地アイコンＧＡは、カメラ３２の撮影対象となる領域内に目的地の位置が含まれる場合にのみ、拡張現実画像ＡＰ中に示される。
【００８８】
拡張現実画像ＡＰ中における目的地アイコンＧＡの横方向の位置は、方向取得部３０ｃが取得した車両９の前方方向の方位と、案内情報に含まれる目的地の位置とに基づいて決定される。目的地アイコンＧＡは、車両９の前方方向と車両位置から目的地までの方向とのなす角度が大きいほど、拡張現実画像ＡＰ中の左右中央から離れた位置に示される。図６の例では、車両位置から目的地までの方向は、車両９の前方方向に対して若干右側となっている。ユーザは、このように現実の風景中に示された目的地アイコンＧＡに基づいて、車両９からみた目的地の方向を直感的に把握することができる。
【００８９】
また、拡張現実画像ＡＰは、投稿データに基づく情報として、投稿アイコンＴＡを含んでいる。投稿アイコンＴＡは、吹き出し形状のアイコンであり、撮影画像ＳＰが示す現実の風景における投稿データの投稿位置を示している。
【００９０】
図７は、車両９の周辺で投稿された投稿データの投稿位置を示す図である。図中においては、車両９の車両位置Ｐ０に対する相対的な投稿データｔ１〜ｔ４の投稿位置を平面視で示している。また、車両９の前方方向を矢印ＡＤで示している。
【００９１】
拡張現実画像ＡＰの生成に際して、投稿データ取得部３０ｅがサーバ装置４から投稿データを取得する。投稿データ取得部３０ｅは、車両位置Ｐ０から投稿位置までの距離が予め定められた第１距離Ｌ１より小さいという取得条件を満足する投稿データを、最新のものから最大で例えば１００件取得する。なお、投稿データ取得部３０ｅの取得対象とする投稿データの取得条件に、特定のハッシュタグを含むという条件を加えてもよい。
【００９２】
したがって、投稿データ取得部３０ｅは、車両位置Ｐ０から半径Ｌ１の領域Ａ１内で投稿された投稿データｔ１〜ｔ３のみを取得し、領域Ａ１外で投稿された投稿データｔ４については取得しない。第１距離Ｌ１は、ユーザが設定可能な設定パラメータ３８ｂの一つであり、例えば、１００ｍ〜２０ｋｍの範囲で設定される（詳細は後述。）。
【００９３】
画像生成部３０ｆは、このように取得された投稿データｔ１〜ｔ３のうち、車両位置Ｐ０から投稿位置までの距離が、予め定められた第２距離Ｌ２より大きい投稿データのみを対象にして、投稿アイコンＴＡを撮影画像ＳＰに重畳する。したがって、車両位置Ｐ０から半径Ｌ２の領域Ａ２内で投稿された投稿データｔ１については、その投稿アイコンＴＡが拡張現実画像ＡＰに含まれないことになる。第２距離Ｌ２は、例えば５ｍとされる。
【００９４】
このように車両９に非常に近い位置で投稿された投稿データｔ１については、車両位置と投稿位置との位置関係が変動しやすい。このため、このような投稿データｔ１の投稿アイコンＴＡを拡張現実画像ＡＰに含めた場合、拡張現実画像ＡＰにおいて投稿アイコンＴＡの位置が頻繁に大きく変動することから、投稿アイコンＴＡの表示がちらつき感をユーザに与える。その結果、拡張現実画像ＡＰの視認性が悪化する。このため、このような投稿データｔ１の投稿アイコンＴＡを重畳する対象から除外することで、投稿アイコンＴＡをスムーズに表示でき、拡張現実画像ＡＰの視認性を向上できる。
【００９５】
このように画像生成部３０ｆは、車両位置Ｐ０から投稿位置までの距離が、第２距離Ｌ２より大きく第１距離Ｌ１よりも小さい投稿データｔ２，ｔ３を対象にして、投稿アイコンＴＡを撮影画像ＳＰに重畳する。画像生成部３０ｆは、これらの投稿データｔ２，ｔ３のうち、カメラ３２の撮影対象となる領域Ａ３内に投稿位置が含まれる投稿データｔ２の投稿アイコンＴＡを、実際に撮影画像ＳＰに重畳する。
【００９６】
カメラ３２の撮影対象となる領域Ａ３とは、車両９の前方方向（すなわち、カメラ３２の光軸方向）を中心としてカメラ３２の画角θに含まれる範囲である。画角θは、例えば３０°である。さらに換言すれば、カメラ３２の撮影対象となる領域Ａ３とは、撮影画像ＳＰに像として示される被写体の範囲である。
【００９７】
図７においては、この領域Ａ３に含まれる３つの投稿データｔ２の投稿アイコンＴＡが、撮影画像ＳＰに重畳されることになる。車両９が向きを変えた場合（車両９の前方方向が変更された場合）はカメラ３２の撮影対象となる領域Ａ３が変更されることから、撮影画像ＳＰに投稿アイコンＴＡが重畳される投稿データも変更されることになる。
【００９８】
拡張現実画像ＡＰ中における投稿アイコンＴＡの横方向の位置は、方向取得部３０ｃが取得した車両９の前方方向の方位と、当該投稿データの投稿位置とに基づいて決定される。車両９の前方方向に対して投稿位置が左側であれば拡張現実画像ＡＰの左右中央の左側に投稿アイコンＴＡが示され、車両９の前方方向に対して投稿位置が右側であれば拡張現実画像ＡＰの左右中央の右側に投稿アイコンＴＡが示される。また、投稿アイコンＴＡは、車両９の前方方向と車両位置から投稿位置までの方向とのなす角度が大きいほど、拡張現実画像ＡＰ中の左右中央から離れた位置に示される。
【００９９】
これにより、図６に示すように、拡張現実画像ＡＰ中において投稿アイコンＴＡは、当該投稿データの投稿位置に相当する現実の風景中の位置に示される。この拡張現実画像ＡＰを閲覧したユーザは、このように現実の風景中に示された投稿アイコンＴＡに基づいて、車両９の周辺で投稿された投稿データの投稿位置を直感的に把握できる。
【０１００】
また、拡張現実画像ＡＰ中における投稿アイコンＴＡの縦方向の位置（下端部の位置）は、縦方向の位置の基準となる基準位置ＳＬと、車両位置から投稿位置までの距離とに基づいて決定される。図６中においては、説明の便宜上、基準位置ＳＬを破線で示しているが、実際には拡張現実画像ＡＰにこのような線は含まれない。基準位置ＳＬは、ユーザが設定可能な設定パラメータ３８ｂの一つである（詳細は後述。）。目的地アイコンＧＡの縦方向の位置（下端部の位置）も、基準位置ＳＬに基づいて決定される。
【０１０１】
車両位置から投稿位置までの距離が大きな投稿データほど、その投稿アイコンＴＡは拡張現実画像ＡＰ中において基準位置ＳＬから上側に移動した位置に示される。図８は、車両位置から投稿位置までの距離（ｋｍ）と、投稿アイコンＴＡの位置の基準位置ＳＬからの移動量であるオフセット量（ピクセル）との関係を示している。図に示すように、投稿アイコンＴＡの位置は、投稿位置が車両位置から１ｋｍ離れる毎に上側に５ピクセル分移動することになる。このようにすることで、複数の投稿アイコンＴＡが重なった場合の視認性を確保するようにしている。
【０１０２】
また、拡張現実画像ＡＰ中における投稿アイコンＴＡの表示サイズは、車両位置から投稿位置までの距離に基づいて決定される。車両位置から投稿位置までの距離が大きな投稿データほど、その投稿アイコンＴＡの表示サイズは小さくされる。図９は、車両位置から投稿位置までの距離（ｋｍ）と、投稿アイコンＴＡの一辺の表示サイズ（ピクセル）との関係を示している。図に示すように、投稿アイコンＴＡの表示サイズは、車両位置から投稿位置までの距離に応じて線形的に小さくされる。これにより、車両９から離れた位置で投稿された投稿データの投稿アイコンＴＡの表示サイズは比較的小さくなる。このため、拡張現実画像ＡＰにおいて投稿アイコンＴＡに遠近感を与えることができ、拡張現実画像ＡＰを視認したユーザは、投稿データの投稿位置までの距離を直感的に把握できる。
【０１０３】
また、画像生成部３０ｆは、撮影画像ＳＰに重畳すべき投稿アイコンＴＡが複数ある場合は、車両位置から投稿位置までの距離が小さい投稿データの投稿アイコンＴＡほど、そのＺオーダー（レイヤー順序）を前面側とする（図６参照。）。これにより、車両９に近い位置で投稿された投稿データの投稿アイコンＴＡが前面側に示されるため、拡張現実画像ＡＰを視認したユーザは、車両９の近傍で投稿された投稿データを把握しやすくなる。また、車両位置から投稿位置までの距離が同一となる投稿データがある場合は、画像生成部３０ｆは、投稿時点から現時点までの時間が小さい投稿データについて、投稿アイコンＴＡのＺオーダーを前面側とすればよい。
【０１０４】
なお、画像生成部３０ｆは、車両位置から投稿位置までの距離を考慮せずに、投稿時点から現時点までの時間が小さい投稿データの投稿アイコンＴＡほど、そのＺオーダーを前面側とするようにしてもよい。これにより、新しく投稿された投稿データの投稿アイコンＴＡが前面側に示されるため、拡張現実画像ＡＰを視認したユーザは最新の投稿データを把握しやすくなる。
【０１０５】
＜５．携帯装置での表示＞
次に、携帯装置３のディスプレイ３５の表示内容について説明する。図１０は、携帯装置３のディスプレイ３５の表示の一例を示す図である。
【０１０６】
携帯装置３のディスプレイ３５は、表示制御部３０ｈの制御により、投稿データの投稿内容を示すウィンドウ５０を表示する。ウィンドウ５０には、投稿データ取得部３０ｅが取得した一つの投稿データについての具体的な投稿内容が示される。このような携帯装置３のディスプレイ３５を視認することで、ユーザは投稿データの投稿内容を把握することができる。
【０１０７】
また、このような投稿データの投稿内容は、拡張現実画像ＡＰに含まれないため、車載装置２においては表示されない。このため、投稿データの投稿内容のユーザへの提供に際して、車両９の運転者が主に視認する車載装置２における拡張現実画像ＡＰの表示を阻害することはない。
【０１０８】
投稿データ取得部３０ｅが取得した投稿データが複数ある場合は、表示制御部３０ｈの制御により、ディスプレイ３５は、車両位置から投稿位置までの距離が小さい投稿データの投稿内容を優先的に表示する。
【０１０９】
携帯装置３のディスプレイ３５は、最初に、車両９に対して最も近い位置で投稿された投稿データの投稿内容を表示する。そして、ウィンドウ５０に付随する操作ボタンである下ボタン５０ｂにユーザが触れた場合は、ディスプレイ３５は車両９に対して次に近い距離で投稿された投稿データの投稿内容を表示する。これにより、携帯装置３のユーザは、車両位置から投稿位置までの距離が小さい順に投稿データの投稿内容を閲覧することができる。したがって、携帯装置３のユーザは、車両９の近傍で投稿された投稿データの投稿内容を、少ない操作で容易に閲覧することができる。車両位置から投稿位置までの距離が同一となる投稿データがある場合は、ディスプレイ３５は、投稿時点から現時点までの時間が小さい投稿データの投稿内容を優先的に表示すればよい。
【０１１０】
なお、ディスプレイ３５は、車両位置から投稿位置までの距離を考慮せずに、投稿時点から現時点までの時間が小さい投稿データの投稿内容を優先的に表示するようにしてもよい。これにより、携帯装置３のユーザは、新しく投稿された投稿データの投稿内容を、少ない操作で容易に閲覧することができる。
【０１１１】
また、携帯装置３において投稿内容を表示中の投稿データに対応する拡張現実画像ＡＰ中の投稿アイコンＴＡの態様を、他の投稿アイコンＴＡとは異なる態様としてもよい。これによれば、ユーザは、携帯装置３において投稿内容を表示中の投稿データの投稿位置を直感的に把握できる。
【０１１２】
ウィンドウ５０には、ユーザの操作を受け付ける操作ボタンとして、上ボタン５０ｃと、位置指定ボタン５０ａとがさらに付随している。上ボタン５０ｃにユーザが触れた場合は、下ボタン５０ｂに触れた場合とは逆順で投稿データの投稿内容がウィンドウ５０に示される。また、「ここに行く」と表記された位置指定ボタン５０ａにユーザが触れた場合は、当該投稿データの投稿位置が地図アプリなどの他のアプリケーションに受け渡される。これにより、ユーザは、地図アプリなどのアプリケーションを利用して投稿データの投稿位置を確認することができる。なお、位置指定ボタン５０ａにユーザが触れた場合は、投稿データの投稿位置を車載装置２に送信し、投稿データの投稿位置が車載装置２においてナビゲーション機能の目的地に設定されるようになっていてもよい。
【０１１３】
携帯装置３のディスプレイ３５は、表示制御部３０ｈの制御により、ウィンドウ５０の他に、拡張現実画像ＡＰの内容に関するユーザの操作を受け付ける操作ボタンとして、更新ボタン５１ａ、動画撮影ボタン５１ｂ、動画再生ボタン５１ｃ、投稿ボタン５１ｄ、及び、設定ボタン５１ｅを表示する。このような操作ボタンは、拡張現実画像ＡＰに含まれないため、車載装置２においては表示されない。このため、これらの操作ボタンの表示が車載装置２における拡張現実画像ＡＰの表示を阻害しないため、車載装置２を視認するユーザ（主に車両９の運転者）が車両９の周辺の様子などを十分に把握できる。
【０１１４】
更新ボタン５１ａにユーザが触れた場合は、投稿データ取得部３０ｅが、投稿データを更新する。すなわち、投稿データ取得部３０ｅは、取得済の投稿データを破棄して、新たに取得条件を満足する投稿データをサーバ装置４から取得する。
【０１１５】
動画撮影ボタン５１ｂにユーザが触れた場合は、カメラ制御部３０ａの制御により、カメラ３２が車両９の前方を示す動画データを取得する。また、動画再生ボタン５１ｃにユーザが触れた場合は、ディスプレイ３５において、カメラ３２が取得した動画データが再生表示される。
【０１１６】
投稿ボタン５１ｄにユーザが触れた場合は、カメラ制御部３０ａの制御により、カメラ３２が車両９の前方を示す静止画像を取得する。そして、取得された静止画像を添付した、所定の定型文（例えば、「今ここにいます」など）を投稿内容とする投稿データが、ＳＮＳに投稿される。
【０１１７】
また、設定ボタン５１ｅにユーザが触れた場合は、操作対応部３０ｉの制御により、ディスプレイ３５が、設定パラメータ３８ｂを設定するための設定画面を表示する。ユーザは、この設定画面に対して操作を行うことで、設定パラメータ３８ｂを変更することができる。
【０１１８】
図１１は、携帯装置３のディスプレイ３５が設定画面を表示した様子を示す図である。設定画面には、戻るボタン５２ａと、距離設定スライダ５２ｂと、更新周期スライダ５２ｃと、基準位置調整ボタン５２ｄとが含まれている。
【０１１９】
戻るボタン５２ａにユーザが触れた場合は、設定画面で設定した設定パラメータ３８ｂが記憶部２８に記憶され、その後の処理にその設定パラメータ３８ｂが反映される。この場合、ディスプレイ３５は、投稿データの投稿内容を表示する状態（図１０参照。）に戻る。
【０１２０】
距離設定スライダ５２ｂは、投稿データを取得する場合の車両位置から投稿位置までの距離の限度となる第１距離Ｌ１を設定するために利用される。ユーザは、距離設定スライダ５２ｂのつまみを動かすことで、第１距離Ｌ１を１００ｍ〜２０ｋｍの範囲で設定することができる。
【０１２１】
このように、ユーザは第１距離Ｌ１を設定することができるため、車両９の走行速度や走行場所などに応じて、拡張現実画像ＡＰに投稿アイコンＴＡとして表示される投稿データを調整することができる。例えば、車両９が高速道路などを走行しており走行速度が比較的速い場合は、ユーザは、車両９の近傍で投稿された投稿データよりも、車両９から離れた位置で投稿された投稿データに意識を向けることになる。このため、この場合は、第１距離Ｌ１を大きくすることで、車両９から離れた位置で投稿された投稿データの投稿アイコンＴＡを表示させることができる。
【０１２２】
更新周期スライダ５２ｃは、投稿データ取得部３０ｅが投稿データを更新する更新周期を設定するために使用される。ユーザは、更新周期スライダ５２ｃのつまみを動かすことで、更新周期を１分〜１０分の範囲で設定することができる。
【０１２３】
また、基準位置調整ボタン５２ｄにユーザが触れた場合は、操作対応部３０ｉの制御により、ディスプレイ３５が、基準位置ＳＬを設定するための位置調整画面を表示する。前述のように、この基準位置ＳＬは、投稿アイコンＴＡや目的地アイコンＧＡを撮影画像ＳＰに重畳する際の縦方向の位置の基準となる。
【０１２４】
図１２は、携帯装置３のディスプレイ３５が位置調整画面を表示した様子を示す図である。位置調整画面には、戻るボタン５３ａと、位置調整スライダ５３ｂとが含まれている。
【０１２５】
戻るボタン５３ａにユーザが触れた場合は、位置調整画面で設定した基準位置ＳＬが記憶部２８に記憶され、その後の処理にその基準位置ＳＬが反映される。この場合、ディスプレイ３５は設定画面を表示する状態（図１１参照。）に戻ることになる。
【０１２６】
位置調整スライダ５３ｂは、基準位置ＳＬを設定するために利用される。位置調整画面には、車両９の前方の現実の風景を示す撮影画像ＳＰが含まれている。ユーザは、位置調整スライダ５３ｂのつまみを上下に動かすことで、つまみと連動して動くガイド線ＧＬを上下に動かすことができる。このガイド線ＧＬの位置が基準位置ＳＬとして設定される。ユーザは、撮影画像ＳＰを参考にして、撮影画像ＳＰが示す現実の風景の地平線の位置に基準位置ＳＬを設定する。
【０１２７】
撮影画像ＳＰ中における地平線の位置は、車両９に対してホルダ１２で固定された携帯装置３の高さや姿勢などによって変動する。撮影画像ＳＰ中における地平線の位置と、基準位置ＳＬとが大きく相違している場合は、現実の風景の不自然な位置に投稿アイコンＴＡや目的地アイコンＧＡが示されることになる。
【０１２８】
例えば、図１３の左側に示すように、撮影画像ＳＰ中における地平線の位置に対して基準位置ＳＬが下側となっている場合は、拡張現実画像ＡＰの投稿アイコンＴＡや目的地アイコンＧＡが地面に埋もれた印象を与えることになる。このため、基準位置ＳＬを変更して、図１３の右側に示すように、撮影画像ＳＰ中における地平線の位置と基準位置ＳＬとを略一致させることで、拡張現実画像ＡＰの投稿アイコンＴＡや目的地アイコンＧＡを現実の風景の自然な位置に示すことができる。
【０１２９】
このように投稿アイコンＴＡや目的地アイコンＧＡを重畳する縦方向の位置の基準となる基準位置ＳＬを設定できるため、車両９に対して固定された携帯装置３の位置や姿勢にかかわらず見やすい位置に投稿アイコンＴＡや目的地アイコンＧＡを配置することができる。
【０１３０】
＜６．処理の流れ＞
次に、表示システム１０の処理の流れについて説明する。図１４は、表示システム１０の基本的な処理の流れを示す図である。図中左側は携帯装置３の処理、図中右側は車載装置２の処理を示している。この処理の開始時点において、車載装置２と携帯装置３とは、通信に関する初期処理が完了して連携して動作可能となっている。また、車載装置２において目的地が設定され、目的地までのルートが導出されているものとする。図１４に示す処理は、所定の周期（例えば、１／３０秒）で繰り返される。
【０１３１】
まず、携帯装置３の処理について説明する。まず、携帯装置３のカメラ制御部３０ａは、カメラ３２を制御して、車両９の前方の現実の風景を示す撮影画像を取得する（ステップＳ１１）。
【０１３２】
次に、位置取得部３０ｂは、ＧＰＳ部３３を制御して、現時点の車両９の車両位置を取得する（ステップＳ１２）。なお、位置取得部３０ｂは、車載装置２のＧＰＳ部２３が得た車両位置を、装置間通信部３６を介して車載装置２から取得するようにしてもよい。
【０１３３】
次に、方向取得部３０ｃは、方位センサ３４を制御して、カメラ３２の光軸方向、すなわち、現時点の車両９の前方方向を取得する（ステップＳ１３）。なお、方向取得部３０ｃは、車載装置２の方位センサ２４が得た車両９の前方方向を、カメラ３２の光軸方向として、装置間通信部３６を介して車載装置２から取得するようにしてもよい。
【０１３４】
次に、案内情報取得部３０ｄは、装置間通信部３６を制御して、ナビゲーション機能に関する案内情報を車載装置２から取得する（ステップＳ１４）。案内情報取得部３０ｄは、装置間通信部３６を介して車載装置２に要求信号を送信し、この要求信号に応答して車載装置２から送信される案内情報を取得する。案内情報は、目的地の位置、次の案内地点でのターン方向、及び、次の案内地点までの距離などを含んでいる。
【０１３５】
次に、投稿データ取得部３０ｅが、前回の投稿データの取得時点から更新周期となる時間が経過したか、あるいは、更新ボタン５１ａにユーザが触れたかなどの、更新条件が満足したか否かを判定する（ステップＳ１５）。更新条件が満足しない場合は、処理はそのままステップＳ１７へ進む。
【０１３６】
また、更新条件が満足する場合は（ステップＳ１５にてＹｅｓ）、投稿データ取得部３０ｅは、ネットワーク通信部３１を制御して、サーバ装置４へ要求信号を送信し、要求信号に応答してサーバ装置４から送信される投稿データを取得する（ステップＳ１６）。投稿データ取得部３０ｅは、車両位置から投稿位置までの距離が第１距離Ｌ１より小さいという取得条件を満足する投稿データを、最新のものから最大で例えば１００件取得する。
【０１３７】
次に、画像生成部３０ｆは、ステップＳ１１〜Ｓ１６で得られた撮影画像ＳＰ及び各種の情報を用いて、拡張現実画像ＡＰを生成する（ステップＳ１７）。画像生成部３０ｆは、案内情報と車両位置と車両方向とに基づいて、ターン方向案内ＴＤ、目的地方向案内ＧＤ、及び、目的地アイコンＧＡを撮影画像ＳＰに重畳する。また、画像生成部３０ｆは、投稿データと車両位置と車両方向とに基づいて、投稿アイコンＴＡを撮影画像ＳＰに重畳する。これにより、画像生成部３０ｆは、現実の風景を示す撮影画像ＳＰに、ターン方向案内ＴＤ、目的地方向案内ＧＤ、目的地アイコンＧＡ及び投稿アイコンＴＡを付加した拡張現実画像ＡＰを生成する。
【０１３８】
次に、画像送信制御部３０ｇは、画像送信部３７を制御して、画像生成部３０ｆが生成した拡張現実画像ＡＰを映像信号の一のフレームとして車載装置２に送信する（ステップＳ１８）。
【０１３９】
次に、表示制御部３０ｈは、ディスプレイ３５を制御して、ディスプレイ３５に投稿データの投稿内容を表示させる（ステップＳ１９）。表示制御部３０ｈは、車両位置から投稿位置までの距離が小さい投稿データの投稿内容を優先的にディスプレイ３５に表示させることになる。
【０１４０】
次に、車載装置２の処理について説明する。まず、車載装置２のナビゲーション部２０ａがナビゲーション機能に関する案内情報を更新する。ナビゲーション部２０ａは、ＧＰＳ部２３が得た車両位置、及び、方位センサ２４が得た車両９の前方方向、及び、ルート等に基づいて、案内情報を最新の情報に更新する（ステップＳ２１）。
【０１４１】
次に、ナビゲーション部２０ａは、更新した案内情報を反映した車両９の周辺の地図を示す地図画像ＭＰを生成する。表示制御部２０ｂは、このようにナビゲーション部２０ａが生成した地図画像ＭＰを、ディスプレイ２５の画面の左側に表示する（ステップＳ２２）。
【０１４２】
また、ナビゲーション部２０ａは、携帯装置３から送信された案内情報を要求する要求信号に応答して、装置間通信部２６を制御して、最新の案内情報を携帯装置３に送信する（ステップＳ２３）。
【０１４３】
また、画像受信部２７は、拡張現実画像ＡＰを含む映像信号を携帯装置３から受信する（ステップＳ２４）。そして、表示制御部２０ｂは、映像信号に含まれる拡張現実画像ＡＰをディスプレイ２５の右側に表示する（ステップＳ２５）。
【０１４４】
これにより、車両９の周辺の現実の風景を示す撮影画像ＳＰに、その撮影画像ＳＰを取得したカメラ３２の撮影対象となる領域内で投稿された投稿データを示す投稿アイコンＴＡが重畳された拡張現実画像ＡＰが、車載装置２において表示される。このため、車載装置２を視認するユーザは、投稿データの投稿位置を直感的に把握できる。地図画像ＭＰと拡張現実画像ＡＰとは、ディスプレイ２５の同一の画面に並べて表示される（図２参照。）。
【０１４５】
＜７．非連携時の携帯装置＞
上記では、車載装置２と携帯装置３とが連携して動作する連携時について説明したが、携帯装置３は、車載装置２と連携していない非連携時においても、拡張現実画像ＡＰを生成する。非連携時は、拡張現実画像ＡＰは携帯装置３のディスプレイ３５に表示される。
【０１４６】
図１５は、車載装置２と連携していない非連携時における携帯装置３のディスプレイ３５の表示の一例を示す図である。非連携時においては、ディスプレイ３５に、拡張現実画像ＡＰが表示される。
【０１４７】
非連携時においては、携帯装置３は車載装置２から案内情報を取得できないため、拡張現実画像ＡＰは、ターン方向案内ＴＤ、目的地方向案内ＧＤ、及び、目的地アイコンＧＡを含まない。一方で、非連携時においても、拡張現実画像ＡＰは、投稿データの投稿位置を示す投稿アイコンＴＡを含んでいる。この投稿アイコンＴＡは、上記の連携時と同様の処理により撮影画像ＳＰに対して重畳される。ユーザは、このような拡張現実画像ＡＰを視認して、投稿データの投稿位置を直感的に把握できる。
【０１４８】
また、ディスプレイ３５は、拡張現実画像ＡＰの他に、メニューボタン５４ａ、更新ボタン５４ｂ、動画撮影ボタン５４ｃ及び投稿ボタン５４ｄを表示する。更新ボタン５４ｂ、動画撮影ボタン５４ｃ及び投稿ボタン５４ｄの機能は、上述した連携時の更新ボタン５１ａ、動画撮影ボタン５１ｂ及び投稿ボタン５１ｄの機能と同様である。
【０１４９】
メニューボタン５４ａにユーザが触れた場合は、ディスプレイ３５が、各種の操作を受け付けるメニュー画面を表示する。ユーザは、このメニュー画面に対して操作を行うことで、設定パラメータ３８ｂの設定や、動画データの再生指示などを行うことができる。第１距離Ｌ１や基準位置ＳＬなどの設定パラメータ３８ｂは、上記の連携時と同様に設定することができる。
【０１５０】
また、拡張現実画像ＡＰ中に含まれる投稿アイコンＴＡも、ユーザの操作を受け付けることが可能となっている。投稿アイコンＴＡにユーザが触れた場合は、図１６に示すように、ディスプレイ３５は、投稿データの投稿内容を示すウィンドウ５５を、拡張現実画像ＡＰの前面側に表示する。これにより、携帯装置３のユーザは、投稿データの投稿内容を閲覧することができる。この場合も、車両位置（現時点の携帯装置３の位置）から投稿位置までの距離が小さい投稿データの投稿内容が、優先的にディスプレイ３５に表示される。
【０１５１】
＜８．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１５２】
上記実施の形態では、車載装置２と携帯装置３とは信号ケーブル１１で接続され、有線通信によってデータ信号及び映像信号の送受信を行なっていた。これに対して、無線通信によって、装置の相互間でデータ信号及び映像信号の送受信が可能となっていてもよい。
【０１５３】
また、上記実施の形態では、拡張現実画像ＡＰは、現時点で設定している目的地の位置を示す目的地アイコンＧＡを含んでいたが、さらに、過去に設定した目的地の位置を示す履歴アイコンを含んでいてもよい。
【０１５４】
また、上記実施の形態では、画像生成部３０ｆは、カメラ３２の画角θの範囲の領域に投稿位置が含まれる投稿データｔ２の投稿アイコンＴＡを、撮影画像ＳＰに重畳していた。これに対して、画像生成部３０ｆは、カメラ３２の画角θよりも若干（例えば、左右に５°ずつ）広い範囲の領域に投稿位置が含まれる投稿データｔ２の投稿アイコンＴＡを、撮影画像ＳＰに重畳してもよい。これによれば、撮影画像ＳＰの左右端部近傍に相当する位置で投稿された投稿データの投稿アイコンＴＡを、スムーズに表示することができる。
【０１５５】
また、上記実施の形態において、カメラ３２の光軸は車両９の前方方向に向けられるとしたが、カメラ３２の光軸は、車両９の側方方向や後方方向などの他の方向に向けられてもよい。カメラ３２の光軸を車両９の後方方向に向けた場合は、拡張現実画像ＡＰは、車両９の後方の現実の風景における投稿データの投稿位置を示すことができる。
【０１５６】
また、車載装置２から携帯装置３に車両９の走行に係る走行情報を送信し、車両９の走行中には携帯装置３が投稿データの投稿内容、及び、操作ボタンを表示しないようにしてもよい。
【０１５７】
また、車載装置２のディスプレイ２５は、タッチパネルを備えており、ユーザの操作を受け付けることが可能となっていてもよい。また、上記実施の形態においては、拡張現実画像ＡＰの内容に関するユーザの操作を受け付けるコマンドボタンは、拡張現実画像ＡＰに含まれず、車載装置２において表示されないとしていた。これに対して、このようなコマンドボタンの一部を車載装置２において表示してもよい。この場合においても、携帯装置３で表示したコマンドボタンについては車載装置２において表示しなくてよい。このため、車載装置２のディスプレイ２５の画面を有効に利用することができる。
【０１５８】
また、上実施の形態において、携帯装置３のアプリケーションの機能として説明したカメラ制御部３０ａ、位置取得部３０ｂ、方向取得部３０ｃ、案内情報取得部３０ｄ、投稿データ取得部３０ｅ、画像生成部３０ｆ、画像送信制御部３０ｇ、表示制御部３０ｈ、及び、操作対応部３０ｉの一部または全部は、車載装置２の機能であってもよい。
【０１５９】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。
【符号の説明】
【０１６０】
２    車載装置
３    携帯装置
４    サーバ装置
８    ネットワーク
９    車両
１０    表示システム
２５    ディスプレイ
３２    カメラ
３５    ディスプレイ
ＡＰ    拡張現実画像
ＭＰ    地図画像
ＳＬ    基準位置
ＳＰ    撮影画像
【図１】
0005921320.tif 000002
【図２】
0005921320.tif 000003
【図３】
0005921320.tif 000004
【図４】
0005921320.tif 000005
【図５】
0005921320.tif 000006
【図６】
0005921320.tif 000007
【図７】
0005921320.tif 000008
【図８】
0005921320.tif 000009
【図９】
0005921320.tif 000010
【図１０】
0005921320.tif 000011
【図１１】
0005921320.tif 000012
【図１２】
0005921320.tif 000013
【図１３】
0005921320.tif 000014
【図１４】
0005921320.tif 000015
【図１５】
0005921320.tif 000016
【図１６】
0005921320.tif 000017