(57)【要約】【課題】ユーザの視点の画像の分かり易さを取り入れつつ、その視点から直接的には見えない場所の情報をユーザに呈示することを可能とすること。【解決手段】実世界を映した入力画像を取得する画像取得部と、ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、を備え、前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、画像処理装置を提供する。【選択図】図３
2014106681.tif 000002
【特許請求の範囲】
【請求項１】
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、
前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、
を備え、
前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、
画像処理装置。
【請求項２】
前記オブジェクト画像は、前記基準に従って前記実世界が変形した場合に前記ブランク部分を占めるはずの画像である、請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクト画像は、前記ブランク部分に位置すべきオブジェクトに対応するアイコン画像である、請求項１に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記入力画像に映る道路の曲率が変化するように前記入力画像を変形し、
前記ブランク部分は、前記道路の曲率に起因して前記入力画像に映らない部分である、
請求項１に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記入力画像に映る道路の勾配が変化するように前記入力画像を変形し、
前記ブランク部分は、前記道路の勾配に起因して前記入力画像に映らない部分である、
請求項１に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記入力画像内で検出される特徴点を前記モデルにより定義される特徴点と照合し、照合された特徴点の位置を前記基準に従って移動させることにより、前記変形画像を生成する、請求項４に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記入力画像を表示する画面を介してユーザにより指定される前記道路を、前記変形の対象として選択する、請求項４に記載の画像処理装置。
【請求項８】
前記画像処理装置は、ユーザにより指定される目的地までのナビゲーションを前記ユーザに提供するナビゲーション部、をさらに備え、
前記画像処理部は、前記ナビゲーション部により設定される前記目的地までの経路上の前記道路を、前記変形の対象として選択する、
請求項４に記載の画像処理装置。
【請求項９】
前記画像処理装置は、
前記入力画像を画面に表示させる第１の表示モードと、前記オブジェクト画像の合成された前記変形画像を前記画面に表示させる第２の表示モードとを、ユーザが切り替えるためのユーザインタフェースを提供するユーザインタフェース部、
をさらに備える、請求項１に記載の画像処理装置。
【請求項１０】
前記ユーザインタフェース部は、前記基準をユーザに指定させるためのユーザインタフェースをさらに提供する、請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、前記ユーザの視線を検出する視線検出モジュールを備えるヘッドマウント型の装置であり、
前記ユーザインタフェース部は、前記視線検出モジュールによる視線検出結果に基づいて、前記第１の表示モードと前記第２の表示モードとを切り替える、
請求項９に記載の画像処理装置。
【請求項１２】
前記画像処理部は、前記入力画像において他のオブジェクトに隠されているオブジェクトが前記変形画像に現れるように、前記オブジェクト画像を前記変形画像に合成する、請求項１に記載の画像処理装置。
【請求項１３】
前記画像処理装置は、
複数の人間の地理的位置に関連付けられる位置関連データを収集するデータ収集部と、
前記実世界に存在する群衆についてのシミュレーションを、収集される前記位置関連データに基づいて実行するシミュレーション部と、
をさらに備え、
前記生成部は、前記ブランク部分に対応する前記実世界の領域について前記シミュレーション部によりシミュレーションされる前記群衆の画像を、前記オブジェクト画像に重畳する、
請求項１に記載の画像処理装置。
【請求項１４】
前記群衆のスケール、属性及び振る舞いの少なくとも１つが、前記位置関連データに基づいて決定され、前記シミュレーションにおいて再現される、請求項１３に記載の画像処理装置。
【請求項１５】
画像処理装置により実行される画像処理方法であって、
実世界を映した入力画像を取得することと、
ある基準に従って前記入力画像を変形させて、変形画像を生成することと、
前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成することと、
前記変形画像の前記ブランク部分に、生成された前記オブジェクト画像を合成することと、
を含む画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータを、
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、
前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、
として機能させ、
前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、
プログラム。
【請求項１７】
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記変形画像を画面に表示させる制御部と、
を備える端末装置。
【請求項１８】
前記端末装置は、
前記入力画像を画面に表示させる第１の表示モードと、前記オブジェクト画像の合成された前記変形画像を前記画面に表示させる第２の表示モードとを、ユーザが切り替えるためのユーザインタフェースを提供するユーザインタフェース部、
をさらに備える、請求項１７に記載の画像処理装置。
【請求項１９】
端末装置により実行される画像処理方法であって、
実世界を映した入力画像を取得することと、
ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信することと、
前記サーバ装置から前記変形画像を受信することと、
受信された前記変形画像を画面に表示させることと、
を含む画像処理方法。
【請求項２０】
端末装置を制御するコンピュータを、
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記変形画像を画面に表示させる制御部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラム及び端末装置に関する。
【背景技術】
【０００２】
従来、実世界の地理情報をコンピュータの画面上でユーザに呈示する様々な地理情報サービスが実用化されている。例えば、Ｗｅｂ上で公開されている一般的な地図検索サービスを利用すれば、ユーザは、所望の地名、住所又はランドマーク名などに対応する位置を含む地域の地図を手軽に入手することができる。
【０００３】
さらに、近年のコンピュータ性能の飛躍的な向上は、２次元の平面的な地図だけではなく３次元空間の情報をユーザ端末で扱うことも可能とした。例えば、下記特許文献１は、建物又は施設などの目標オブジェクトを実世界内で見つけることを容易にするために、入力画像を部分的に加工することにより、入力画像に映る３次元空間内で目標オブジェクトを強調表示する手法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２２４３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、入力画像に映る目標オブジェクトを強調表示する手法は、カメラの視点から目標オブジェクトが見えない場合には効果を発揮しない。ユーザにとっては、その時の視点から直接的には見えない場所に何があるかの情報も重要である。そのような情報は地図を見れば得られるかも知れないが、地図が描かれる視点は実世界内のユーザの（又はカメラの）視点と異なるため、地図上の情報と実世界内のオブジェクトとの対応付けが難しい場合があった。
【０００６】
従って、ユーザの視点の画像の分かり易さを取り入れつつ、その視点から直接的には見えない場所の情報をユーザに呈示することのできる、新たな仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００７】
本開示によれば、実世界を映した入力画像を取得する画像取得部と、ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、を備え、前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、画像処理装置が提供される。
【０００８】
また、本開示によれば、画像処理装置により実行される画像処理方法であって、実世界を映した入力画像を取得することと、ある基準に従って前記入力画像を変形させて、変形画像を生成することと、前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成することと、前記変形画像の前記ブランク部分に、生成された前記オブジェクト画像を合成することと、を含む画像処理方法が提供される。
【０００９】
また、本開示によれば、画像処理装置を制御するコンピュータを、実世界を映した入力画像を取得する画像取得部と、ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、として機能させ、前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、プログラムが提供される。
【００１０】
また、本開示によれば、実世界を映した入力画像を取得する画像取得部と、ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記変形画像を画面に表示させる制御部と、を備える端末装置が提供される。
【００１１】
また、本開示によれば、端末装置により実行される画像処理方法であって、実世界を映した入力画像を取得することと、ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信することと、前記サーバ装置から前記変形画像を受信することと、受信された前記変形画像を画面に表示させることと、を含む画像処理方法が提供される。
【００１２】
また、本開示によれば、端末装置を制御するコンピュータを、実世界を映した入力画像を取得する画像取得部と、ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記変形画像を画面に表示させる制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１３】
本開示に係る技術によれば、ユーザの視点の画像の分かり易さを取り入れつつ、その視点から直接的には見えない場所の情報をユーザに呈示することができる。
【図面の簡単な説明】
【００１４】
【図１Ａ】装置の概要について説明するための第１の説明図である。
【図１Ｂ】装置の概要について説明するための第２の説明図である。
【図２】第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４】処理シナリオの例について概略的に説明するための説明図である。
【図５Ａ】視認困難なオブジェクトが存在する第１の状況を例示する説明図である。
【図５Ｂ】第１の状況において実行され得る変形処理について説明するための第１の説明図である。
【図５Ｃ】第１の状況において実行され得る変形処理について説明するための第２の説明図である。
【図５Ｄ】第１の状況において実行され得る変形処理について説明するための第３の説明図である。
【図５Ｅ】第１の状況において実行され得る変形処理について説明するための第４の説明図である。
【図６Ａ】視認困難なオブジェクトが存在する第２の状況を例示する説明図である。
【図６Ｂ】第２の状況において実行され得る変形処理について説明するための第１の説明図である。
【図６Ｃ】第２の状況において実行され得る変形処理について説明するための第２の説明図である。
【図６Ｄ】第２の状況において実行され得る変形処理について説明するための第３の説明図である。
【図６Ｅ】第２の状況において実行され得る変形処理について説明するための第４の説明図である。
【図７Ａ】視認困難なオブジェクトが存在する第３の状況を例示する説明図である。
【図７Ｂ】第３の状況において実行され得る変形処理について説明するための第１の説明図である。
【図７Ｃ】第３の状況において実行され得る変形処理について説明するための第２の説明図である。
【図７Ｄ】第３の状況において実行され得る変形処理について説明するための第３の説明図である。
【図７Ｅ】第３の状況において実行され得る変形処理について説明するための第４の説明図である。
【図８】変形画像の他の例について説明するための説明図である。
【図９Ａ】画像の変形のためのユーザインタフェースの第１の例について説明するための第１の説明図である。
【図９Ｂ】画像の変形のためのユーザインタフェースの第１の例について説明するための第２の説明図である。
【図１０Ａ】画像の変形のためのユーザインタフェースの第２の例について説明するための第１の説明図である。
【図１０Ｂ】画像の変形のためのユーザインタフェースの第２の例について説明するための第２の説明図である。
【図１１】画像の変形のためのユーザインタフェースの第３の例について説明するための説明図である。
【図１２】第１の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１３】第２の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図１４】キャラクタモデルの例について説明するための説明図である。
【図１５】乗り物モデルの例について説明するための説明図である。
【図１６Ａ】シミュレーション結果の第１の例について説明するための説明図である。
【図１６Ｂ】シミュレーション結果の第２の例について説明するための説明図である。
【図１６Ｃ】シミュレーション結果の第３の例について説明するための説明図である。
【図１７】キャラクタモデルの振る舞いの例について説明するための説明図である。
【図１８】イベントの例について説明するための説明図である。
【図１９】シミュレーションパラメータを決定するための第１の手法について説明するための説明図である。
【図２０Ａ】投稿データの解析の第１の例について説明するための説明図である。
【図２０Ｂ】投稿データの解析の第２の例について説明するための説明図である。
【図２０Ｃ】投稿データの解析の第３の例について説明するための説明図である。
【図２０Ｄ】投稿データの解析の第４の例について説明するための説明図である。
【図２０Ｅ】投稿データの解析の第５の例について説明するための説明図である。
【図２１Ａ】シミュレーションパラメータを決定するための第２の手法について説明するための説明図である。
【図２１Ｂ】シミュレーションパラメータを決定するための第３の手法について説明するための説明図である。
【図２２】第２の実施形態において表示され得る変形画像の一例について説明するための説明図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、以下の順序で説明を行う。
１．装置の概要
２．第１の実施形態
２−１．ハードウェア構成
２−２．機能構成
２−３．具体的な処理シナリオ
２−４．ユーザインタフェースの例
２−５．処理の流れ
２−６．第１の実施形態のまとめ
３．第２の実施形態
３−１．機能構成
３−２．シミュレーションの詳細
３−３．シミュレーションパラメータの決定
３−４．オブジェクト画像の例
３−５．第２の実施形態のまとめ
【００１７】
＜１．概要＞
まず、図１Ａ及び図１Ｂを用いて、一実施形態に係る画像処理装置の概要について説明する。
【００１８】
図１Ａは、一実施形態に係る画像処理装置１００の概要について説明するための第１の説明図である。図１Ａを参照すると、ユーザＵａが有する画像処理装置１００が示されている。画像処理装置１００は、実世界１に向けられたカメラ１０１とディスプレイ１１１とを備える。図１Ａの例において、実世界１には、建物３及び道路５などの様々なオブジェクトが存在する。カメラ１０１により撮像される画像Ｉｍ０１には建物３及び道路５が映っている。一例として、画像処理装置１００は、ナビゲーション機能を有する。ナビゲーション機能は、画像Ｉｍ０１内で道路５にナビゲーション情報（例えば、図中の矢印）を重畳する。そして、ディスプレイ１１１は、ナビゲーション情報の重畳された画像Ｉｍ０１を表示する。
【００１９】
図１Ａでは、画像処理装置１００の一例としてスマートフォンを示している。しかしながら、画像処理装置１００は、かかる例に限定されない。画像処理装置１００は、例えば、ＰＣ（Personal  Computer）、ＰＤＡ（Personal  Digital  Assistant）、ゲーム端末又はＰＮＤ（Portable  Navigation  Device）などであってもよい。
【００２０】
図１Ｂは、一実施形態に係る画像処理装置１００について説明するための第２の説明図である。図１Ｂの例において、画像処理装置１００は、ヘッドマウント型の眼鏡状のウェアラブル装置である。画像処理装置１００は、カメラ１０１、入力デバイス１０９及びディスプレイ１１１を備える。カメラ１０１は、そのレンズの光軸がユーザＵｂの視線と略平行になるように配置され、画像を撮像する。入力デバイス１０９は、筐体に配設される接触面を有し、ユーザＵｂによるタッチを検出する。ディスプレイ１１１は、ユーザＵｂの左目及び右目の前方に配置される、シースルー型の又は非シースルー型の画面を有する。
【００２１】
図１Ａ及び図１Ｂのいずれのケースでも、ユーザは、ディスプレイ１１１を通じて実世界の様子を見ることができる。しかし、図１Ａの例において、前方で左折している道路５の先に存在するオブジェクトは建物３に遮られるため、当該オブジェクトは、ユーザＵａにより視認されず、撮像画像にも映らない。仮にそうしたオブジェクトがナビゲーションにおいて重要なランドマークであれば、当該オブジェクトが見えないことはユーザにとって不便である。このような状況のほか、例えば道路が上り坂から下り坂に変化する地点や道幅の狭い地点などにおいても、実世界の重要なオブジェクトがユーザから見えない状況は少なからず発生する。
【００２２】
そこで、以下に説明する実施形態において、画像処理装置１００は、ユーザ視点の画像の分かり易さを維持しつつも、画像に映る実世界を変形させることにより、直接的には見えないはずの場所の情報をユーザに呈示する。
【００２３】
なお、以下の説明では、説明の簡明さのために、画像処理装置１００はスタンドアローンで動作するものとする。しかしながら、説明される様々な機能は、端末装置とサーバ装置とが連携することにより実現されてもよい。
【００２４】
＜２．第１の実施形態＞
［２−１．ハードウェア構成］
図２は、第１の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、カメラ１０１、測位センサ１０３、電子コンパス１０５、加速度センサ１０７、入力デバイス１０９、ディスプレイ１１１、通信インタフェース（Ｉ／Ｆ）１１３、メモリ１１５、バス１１７及びプロセッサ１１９を備える。
【００２５】
カメラ１０１は、例えばＣＣＤ（Charge  Coupled  Device）又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を有し、画像を撮像する。測位センサ１０３は、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号又は無線アクセスポイントからの無線信号を受信し、画像処理装置１００の現在位置を測定する。電子コンパス１０５は、画像処理装置１００が現在向いている方角を検出する。加速度センサ１０７は、画像処理装置１００に加えられる力により生じる加速度を検出する。
【００２６】
入力デバイス１０９は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するためのタッチセンサ、ボタン、スイッチ、キーパッド又はポインティングデバイスを含み得る。画像処理装置１００が図１Ｂに例示したようなウェアラブル装置である場合には、入力デバイス１０９は、ユーザの視線を検出する視線検出モジュールを含んでもよい。ディスプレイ１１１は、例えばＬＣＤ（Liquid  Crystal  Display）又はＯＬＥＤ（Organic  Light  Emitting  Diode）などにより構成される画面を有し、画像を表示する。通信Ｉ／Ｆ１１３は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、画像処理装置１００と他の装置との間の通信接続を確立する。
【００２７】
メモリ１１５は、ＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）を含み得る半導体メモリであってよく、画像処理装置１００による処理のためのプログラム及びデータを記憶する。バス１１７は、カメラ１０１、測位センサ１０３、電子コンパス１０５、加速度センサ１０７、入力デバイス１０９、ディスプレイ１１１、通信Ｉ／Ｆ１１３、メモリ１１５及びプロセッサ１１９を相互に接続する。プロセッサ１１９は、例えば、ＣＰＵ（Central  Processing  Unit）又はＤＳＰ（Digital  Signal  Processor）などであってよく、メモリ１１５又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２８】
［２−２．機能構成例］
図３は、図２に示した画像処理装置１００のメモリ１１５及びプロセッサ１１９により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１２０、モデルデータベース（ＤＢ）１３０、画像処理部１４０、オブジェクト画像生成部１５０、ユーザインタフェース部１６０及びナビゲーション部１７０を備える。
【００２９】
（１）画像取得部
画像取得部１２０は、カメラ１０１により撮像される、実世界を映した入力画像を取得する。画像取得部１２０により取得される入力画像は、静止画であってもよく、又は動画を構成する一連のフレームの各々であってもよい。画像取得部１２０は、取得した入力画像を画像処理部１４０及びユーザインタフェース部１６０へ出力する。
【００３０】
（２）モデルＤＢ
モデルＤＢ１３０は、実世界に存在するオブジェクトの位置を表現する実世界モデルを予め記憶するデータベースである。実世界モデルは、例えば、建物、道路、看板、ベンチ及び街路樹などの様々オブジェクトの実世界における位置を、２次元又は３次元の座標値（緯度、経度及び高度など）を用いて表現し得る。典型的には、実世界モデルにおいて、各オブジェクトは複数の特徴点から構成され、特徴点の位置によって各オブジェクトの３次元形状が表現される。オブジェクトの表面のテクスチャが実世界モデルによりさらに表現されてもよい。
【００３１】
（３）画像処理部
画像処理部１４０は、画像取得部１２０から入力される入力画像をある変形基準に従って変形させて、変形画像を生成する。画像処理部１４０により実行される変形処理は、ユーザ視点の入力画像の分かり易さを維持しつつも、その視点から直接的には見えない場所を見えるようにする（又は見づらい場所を見易くする）ための処理である。例えば、画像処理部１４０は、次の３種類の変形基準を採用し得る：
・変形基準Ａ−入力画像に映る道路の曲率を変化させる；
・変形基準Ｂ−入力画像に映る道路の勾配を変化させる；
・変形基準Ｃ−入力画像に映る建物を消去する。
【００３２】
一例として、変形基準Ａは、道路の曲率を下げ又は道路を直線化することにより、道路の先のオブジェクトを見えるようにするために選択され得る。また、変形基準Ｂは、上り坂から下り坂に変わっている道路の下り坂の部分を持ち上げることにより、道路の先のオブジェクトを見えるようにするために選択され得る。変形基準Ｃは、手前の建物の存在によって隠蔽されている背後の建物を見えるようにするために選択され得る。なお、これら変形基準は一例に過ぎない。例えば、道路の幅を広げ、又は隠蔽されている背後の建物を巨大化させるという他の変形基準が採用されてもよい。
【００３３】
より具体的には、画像処理部１４０は、例えばＨａｒｒｉｓ法又はＭｏｒａｖｅｃ法などの公知のコーナー検出法に従って、入力画像内の特徴点を検出する。また、画像処理部１４０は、測位センサ１０３、電子コンパス１０５及び加速度センサ１０７から入力されるセンサデータに基づいて画像処理装置１００の位置及び姿勢を判定し、カメラ１０１の画角に入るオブジェクトについての特徴点データを実世界モデルから抽出する。次に、画像処理部１４０は、入力画像内で検出された特徴点を、実世界モデルから抽出した特徴点データと照合する。その結果、画像処理部１４０は、入力画像内のどこにどのオブジェクトが映っているかを認識する。次に、画像処理部１４０は、選択される変形基準に従って、照合された特徴点の位置を移動させる。例えば、道路の曲率が変更される場合には、道路の端部の基準点を中心として、曲率の変化量に応じた角度だけ、特徴点の位置がモデル空間の水平面内で回転移動され得る。道路の勾配が変更される場合には、勾配の変化量に応じた角度だけ、特徴点の位置がモデル空間の垂直面内で回転移動され得る。建物が消去される場合には、指定される建物の特徴点に囲まれる面が入力画像から消去され得る。
【００３４】
変形の結果として、変形画像にはブランク部分が発生し得る。ブランク部分とは、元の入力画像において隠されていたオブジェクトが映るはずの部分である。隠されていたオブジェクトのテクスチャを入力画像は有しないため、画像処理部１４０は、補完的に生成されるオブジェクト画像でブランク部分のテクスチャを補う。オブジェクト画像は、後述するオブジェクト画像生成部１５０により生成される。
【００３５】
（４）オブジェクト画像生成部
オブジェクト画像生成部１５０は、画像処理部１４０による変形の結果として変形画像にブランク部分が発生する場合に、実世界モデルを用いて、ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する。第１の手法として、オブジェクト画像は、選択された変形基準に従って実世界が変形した場合にブランク部分を占めるはずの画像であってよい。第２の手法として、オブジェクト画像は、ブランク部分に位置すべきオブジェクトに対応するアイコン画像であってもよい。
【００３６】
第１の手法において、実世界モデルに含まれるオブジェクトは、入力画像に映っているか否かに関わらず、選択された変形基準に従って変形される。その変形によって、オブジェクトの特徴点が移動する。結果として、他のオブジェクトによりカメラ１０１の視点から隠されていたオブジェクトが、カメラ１０１の視点への見通し線（Line  Of  Sight）を有するようになる。オブジェクト画像生成部１５０は、そのように変形された実世界モデルのオブジェクトの特徴点の位置及びテクスチャから、カメラ１０１の視点を基準として、オブジェクト画像を生成する。
【００３７】
第２の手法においても、実世界モデルに含まれるオブジェクトが選択された変形基準に従って変形される。オブジェクト画像生成部１５０は、カメラ１０１の視点への見通し線を新たに有するようになったオブジェクトを、変形された実世界モデルの特徴点の位置から判定する。そして、オブジェクト画像生成部１５０は、判定したオブジェクトに対応するアイコン画像を、オブジェクト画像として生成する。
【００３８】
オブジェクト画像生成部１５０は、生成したオブジェクト画像を画像処理部１４０へ出力する。画像処理部１４０は、変形画像のブランク部分に、オブジェクト画像生成部１５０により生成されたオブジェクト画像を合成する。そして、画像処理部１４０は、合成後の変形画像を、ユーザインタフェース部１６０へ出力する。
【００３９】
（５）ユーザインタフェース部
ユーザインタフェース部１６０は、図２に示した入力デバイス１０９及びディスプレイ１１を介して、画像処理装置１００のユーザにユーザインタフェースを提供する。ユーザインタフェース部１６０は、例えば、通常表示モードにおいて、画像取得部１２０から入力される入力画像をそのまま出力画像としてディスプレイ１１１へ出力し、画面に表示させる。また、ユーザインタフェース部１６０は、変形表示モードにおいて、画像処理部１４０から入力される変形画像を出力画像としてディスプレイ１１１へ出力し、画面に表示させる。
【００４０】
ユーザインタフェース部１６０は、通常表示モードと変形表示モードとをユーザが切り替えるためのユーザインタフェースを提供してもよい。また、ユーザインタフェース部１６０は、変形の対象とすべきオブジェクトをユーザが指定するためのユーザインタフェースを提供してもよい。２つのモードの間の切替え及びオブジェクトの指定は、それぞれ、画面上でのタップ、ボタンの押下、キーの入力又は所定の音声コマンドの検出などの任意のユーザ入力に応じて行われてよい。
【００４１】
また、画像処理装置１００が図１Ｂに例示したようなウェアラブル装置である場合には、２つのモードの間の切替え及びオブジェクトの指定は、ユーザの視線を検出する視線検出モジュールによる視線検出結果に基づいて行われてもよい。例えば、ユーザが所定の期間にわたって同じ道路を注視したことが検出された場合に、当該道路の曲率又は勾配が変更されてもよい。
【００４２】
また、ユーザインタフェース部１６０は、入力画像を変形させるための変形基準を、適用可能な複数の基準からユーザに指定させるためのユーザインタフェースを提供してもよい。例えば、ユーザインタフェース部１６０は、上述した変形基準Ａ、Ｂ及びＣのうち適用可能な基準のリストを入力画像に重畳し、いずれかの変形基準をユーザに選択させてもよい。
【００４３】
（６）ナビゲーション部
ナビゲーション部１７０は、ナビゲーション機能を実装する機能ブロックである。例えば、ナビゲーション部１７０は、実世界モデルに含まれるいずれかのオブジェクトがユーザにより目的地として指定されると、現在地から目的地までの最適な経路を設定し、設定した経路に沿ってナビゲーションをユーザに提供する。ナビゲーション部１７０は、例えば、図１Ａに例示した矢印のようなナビゲーション情報を画像処理部１４０へ出力し、ナビゲーション情報を入力画像又は変形画像に重畳させてもよい。画像処理部１４０は、ナビゲーション部１７０により設定される目的地までの経路上の道路を、変形表示モードにおける変形の対象として自動的に選択してもよい。
【００４４】
なお、上述した変形画像は、ナビゲーション以外の用途において利用されてもよい。例えば、建築物の設計、道路工事の計画又は都市計画の策定などの作業を支援するために、変形表示モードで変形画像がユーザに呈示されてもよい。その場合、ナビゲーション部１７０は、画像処理装置１００の構成から省略されてもよい。
【００４５】
［２−３．具体的な処理シナリオ］
次に、画像処理装置１００を利用して行われ得る具体的な処理シナリオの例を図４〜図８に示す。
【００４６】
（１）処理シナリオの概要
図４は、本節で説明する処理シナリオの例について概略的に説明するための説明図である。図４を参照すると、上空の視点から部分的に俯瞰される実世界モデルＲＭが示されている。図中の人型のマークはユーザの現在地を示し、星型のマークはナビゲーションの目的地を示す。現在地と目的地とを結ぶ破線は、ナビゲーション部１７０により設定された経路である。図から理解されるように、設定された経路は、ランドマークＭ１が位置する角で右折した後、ランドマークＭ２が位置する角で左折する。目的地は、建物Ｍ３である。なお、本明細書において、ランドマークとの用語は、ユーザが経路を認識する際の目印となり得る任意のオブジェクトを意味するものとする。ランドマークは、必ずしも他のオブジェクトと比較して目立つオブジェクトでなくてもよい。
【００４７】
（２）第１の状況
図５Ａは、視認困難なオブジェクトが存在する第１の状況を例示する説明図である。図５Ａを参照すると、図４に示した実世界モデルＲＭの位置Ｐ１においてユーザがカメラを経路の進行方向（北方）に向けた場合に撮像され得る入力画像Ｉｍ１１が示されている。入力画像Ｉｍ１１には、道路Ｒ１、並びに道路Ｒ１に沿って立ち並ぶ建物Ｊ１１、Ｊ１２、Ｊ１４、Ｊ１５及びＪ１６が映っている。しかし、道路Ｒ１は画像内で右方へ曲がっているため、道路Ｒ１の先にある建物Ｊ１３は、建物Ｊ１１及びＪ１２に隠蔽されており、視認されない。建物Ｊ１３は図４におけるランドマークＭ１に相当するため、建物Ｊ１３が視認されないことはユーザにとって不便である。
【００４８】
図５Ｂ〜図５Ｅは、図５Ａに示した第１の状況において実行され得る変形処理について説明するための説明図である。
【００４９】
まず、図５Ｂを参照すると、入力画像Ｉｍ１１内で検出され得る視認可能な複数の特徴点が小さい菱形のマークで、隠蔽されている特徴点が三角形のマークでそれぞれ示されている。画像処理部１４０は、入力画像Ｉｍ１１内で検出される特徴点と実世界モデルに含まれる特徴点とを照合し、道路Ｒ１が曲がっているために建物Ｊ１３が隠蔽されていることを認識する。そして、画像処理部１４０は、道路Ｒ１の曲率を変化させるという変形基準Ａが選択されると、道路Ｒ１がより直線に近付くように、特徴点の位置を移動させる。
【００５０】
図５Ｃを参照すると、変形画像Ｉｍ１２において、道路Ｒ１が直線状に変形され、道路Ｒ１の周辺の特徴点が移動している様子が示されている。但し、変形画像Ｉｍ１２は、ブランク部分Ｂ１を含む。ブランク部分Ｂ１は、道路Ｒ１の曲率に起因して入力画像Ｉｍ１１に映っていなかった部分である。
【００５１】
図５Ｄを参照すると、変形画像Ｉｍ１２に相当する矩形の画枠の中のブランク部分Ｂ１を占めるオブジェクト画像Ｉｍ１３が示されている。オブジェクト画像Ｉｍ１３は、変形の結果としてカメラ１０１の視点への見通し線を有するようになった、建物Ｊ１２及び建物Ｊ１３の特徴点とテクスチャとを含む。
【００５２】
画像処理部１４０は、図５Ｄに示したオブジェクト画像Ｉｍ１３を図５Ｃに示した変形画像Ｉｍ１２に合成することにより、図５Ｅに示す変形画像Ｉｍ１４を生成する。変形画像Ｉｍ１４において、ブランク部分がオブジェクト画像Ｉｍ１３によって補われる結果として、ランドマークＭ１に相当する建物Ｊ１３が視認可能になっている。
【００５３】
ユーザは、変形表示モードにおいて変形画像Ｉｍ１４を閲覧することで、道路Ｒ１の先にランドマークＭ１が存在すること、及びランドマークＭ１までにどれだけの距離を移動すればよいかなどを、視覚的に知ることができる。
【００５４】
（３）第２の状況
図６Ａは、視認困難なオブジェクトが存在する第２の状況を例示する説明図である。図６Ａを参照すると、図４に示した実世界モデルＲＭの位置Ｐ２においてユーザがカメラを経路の進行方向（東方）に向けた場合に撮像され得る入力画像Ｉｍ２１が示されている。入力画像Ｉｍ２１には、道路Ｒ２、並びに道路Ｒ２に沿って立ち並ぶ建物Ｊ２１、Ｊ２２、Ｊ２３、Ｊ２４及びＪ２５が映っている。しかし、道路Ｒ２は前方で上り坂から下り坂へと変わっているため、道路Ｒ２の先にある建物Ｊ２３は、一部分だけ見えているものの、視認困難である。建物Ｊ２３は図４におけるランドマークＭ２に相当するため、建物Ｊ２３が視認困難であることはユーザにとって不便である。
【００５５】
図６Ｂ〜図６Ｅは、図６Ａに示した第２の状況において実行され得る変形処理について説明するための説明図である。
【００５６】
まず、図６Ｂを参照すると、入力画像Ｉｍ２１内で検出され得る視認可能な複数の特徴点が小さい菱形のマークで、隠蔽されている特徴点が三角形のマークでそれぞれ示されている。画像処理部１４０は、入力画像Ｉｍ２１内で検出される特徴点と実世界モデルに含まれる特徴点とを照合し、道路Ｒ２の勾配が変化しているために建物Ｊ２３が隠蔽されていることを認識する。そして、画像処理部１４０は、道路Ｒ２の勾配を変化させるという変形基準Ｂが選択されると、道路Ｒ２の下り坂の部分が持ち上げられるように、特徴点の位置を移動させる。
【００５７】
図６Ｃを参照すると、変形画像Ｉｍ２２において、道路Ｒ２の下り坂の部分が持ち上げられ、道路Ｒ２の周辺の特徴点が移動している様子が示されている。但し、変形画像Ｉｍ２２は、ブランク部分Ｂ２を含む。ブランク部分Ｂ２は、道路Ｒ２の勾配に起因して入力画像Ｉｍ２１に映っていなかった部分である。
【００５８】
図６Ｄを参照すると、変形画像Ｉｍ２２に相当する矩形の画枠の中のブランク部分Ｂ２を占めるオブジェクト画像Ｉｍ２３が示されている。オブジェクト画像Ｉｍ２３は、変形の結果としてカメラ１０１の視点への見通し線を有するようになった、建物Ｊ２３の特徴点とテクスチャとを含む。
【００５９】
画像処理部１４０は、図６Ｄに示したオブジェクト画像Ｉｍ２３を図６Ｃに示した変形画像Ｉｍ２２に合成することにより、図６Ｅに示す変形画像Ｉｍ２４を生成する。変形画像Ｉｍ２４において、ブランク部分がオブジェクト画像Ｉｍ２３によって補われる結果として、ランドマークＭ２に相当する建物Ｊ２３がより視認し易くなっている。
【００６０】
ユーザは、変形表示モードにおいて変形画像Ｉｍ２４を閲覧することで、道路Ｒ２の先にランドマークＭ２が存在すること、及びランドマークＭ２までにどれだけの距離を移動すればよいかなどを、より明確に知ることができる。
【００６１】
（４）第３の状況
図７Ａは、視認困難なオブジェクトが存在する第３の状況を例示する説明図である。図７Ａを参照すると、図４に示した実世界モデルＲＭの位置Ｐ３においてユーザがカメラを経路の進行方向（北方）に向けた場合に撮像され得る入力画像Ｉｍ３１が示されている。入力画像Ｉｍ３１には、建物Ｊ３１、Ｊ３３及びＪ３４が映っている。しかし、目的地Ｍ３に相当する建物Ｊ３２は、建物Ｊ３１により隠蔽されているため、視認されない。建物Ｊ３２が視認されないことは、ユーザにとって不便である。
【００６２】
図７Ｂ〜図７Ｅは、図７Ａに示した第３の状況において実行され得る変形処理について説明するための説明図である。
【００６３】
まず、図７Ｂを参照すると、入力画像Ｉｍ３１内で検出され得る視認可能な複数の特徴点が小さい菱形のマークで、隠蔽されている特徴点が三角形のマークでそれぞれ示されている。画像処理部１４０は、入力画像Ｉｍ３１内で検出される特徴点と実世界モデルに含まれる特徴点とを照合し、建物Ｊ３２が隠蔽されていることを認識する。そして、画像処理部１４０は、建物を消去するという変形基準Ｃが選択されると、指定され得る建物Ｊ３１のテクスチャを、入力画像Ｉｍ３１から消去する。
【００６４】
図７Ｃを参照すると、変形画像Ｉｍ３２において、建物Ｊ３１のテクスチャが消去された様子が示されている。変形画像Ｉｍ３２は、ブランク部分Ｂ３を含む。ブランク部分Ｂ３は、消去された建物が映っていた部分である。
【００６５】
図７Ｄを参照すると、変形画像Ｉｍ３２に相当する矩形の画枠の中のブランク部分Ｂ１を占めるオブジェクト画像Ｉｍ３３が示されている。オブジェクト画像Ｉｍ３３は、変形の結果としてカメラ１０１の視点への見通し線を有するようになった、建物Ｊ３２の特徴点とテクスチャとを含む。
【００６６】
画像処理部１４０は、図７Ｄに示したオブジェクト画像Ｉｍ３３を図７Ｃに示した変形画像Ｉｍ３２に合成することにより、図７Ｅに示す変形画像Ｉｍ３４を生成する。変形画像Ｉｍ３４において、ブランク部分がオブジェクト画像Ｉｍ３３によって補われる結果として、目的地Ｍ３に相当する建物Ｊ３２が視認可能になっている。
【００６７】
ユーザは、変形表示モードにおいて変形画像Ｉｍ３４を閲覧することで、目の前の建物の陰に目的地である建物Ｊ３２が存在することを、視覚的に知ることができる。
【００６８】
なお、画像処理部１４０は、他のオブジェクトを消去する代わりに、実世界モデルにおいてランドマークのサイズを拡大することにより、ランドマークをユーザに視認させてもよい。
【００６９】
本節で説明した様々な変形の手法は、目的地及びランドマークに限定されず、任意のオブジェクトをユーザに視認させるために使用可能である。
【００７０】
（５）変形画像の他の例
上述したように、オブジェクト画像は、視認不能又は視認困難であったオブジェクトに対応するアイコン画像であってもよい。図８は、そのようなオブジェクト画像の合成された変形画像の一例について説明するための説明図である。
【００７１】
図４を参照すると、図５Ａに示した第１の状況において、図５Ｅに示した変形画像Ｉｍ１４の代わりに変形表示モードで表示され得る変形画像Ｉｍ１５が示されている。変形画像Ｉｍ１５は、ブランク部分Ｂ１に配置されるアイコン画像ＩＣ１を含む。アイコン画像ＩＣ１は、例えば病院である建物Ｊ１３がランドマークとして道路Ｒ１の先に存在していることを示す。ユーザは、かかる変形画像Ｉｍ１５を閲覧することによっても、道路Ｒ１の先にランドマークが存在することを的確に知ることができる。
【００７２】
［２−４．ユーザインタフェースの例］
次に、画像処理装置１００により提供され得るユーザインタフェースの例を図９Ａ〜図１１に示す。
【００７３】
（１）第１の例
図９Ａ及び図９Ｂは、画像の変形のためのユーザインタフェースの第１の例について説明するための説明図である。
【００７４】
図９Ａを参照すると、通常表示モードで入力画像を表示しているナビゲーションウィンドウＷ１１が示されている。例えば、ユーザがナビゲーションウィンドウＷ１１をタップすると、メニューＭＮ１が重畳されたナビゲーションウィンドウＷ１２が表示される。メニューＭＮ１は、入力画像に適用可能な変形基準のリストを含む。図９Ａの例では、当該リストは、道路を直線化させるための変形基準Ａ（“Make  Road  Straight”）、道路を持ち上げるための変形基準Ｂ（“Lift  Up  Road”）及び建物を消去するための変形基準Ｃ（“Erase  Building”）をメニューアイテムとして含む。
【００７５】
例えば、ユーザがメニューＭＮ１の変形基準Ａをタップすると、図９Ｂに示したように、ナビゲーションウィンドウＷ１３が表示される。ナビゲーションウィンドウＷ１３は、変形の対象の道路をユーザに指定させるためのウィンドウである。ここでユーザが道路Ｒ１をタップすると、表示モードは変形表示モードへ遷移し、直線状に変形された道路Ｒ１を示すナビゲーションウィンドウＷ１４が表示される。例えば、ユーザが再びウィンドウをタップすることにより、表示モードは通常表示モードへ戻ってもよい。
【００７６】
（２）第２の例
図１０Ａ及び図１０Ｂは、画像の変形のためのユーザインタフェースの第２の例について説明するための説明図である。
【００７７】
図１０Ａを参照すると、通常表示モードで入力画像を表示しているナビゲーションウィンドウＷ２１が示されている。例えば、ユーザが画像処理装置１００をナビゲーションの経路に沿った方角へ向けた状態で（又はユーザが当該方角へ視線を向けた状態で）所定の時間Ｔ１が経過すると、メニューＭＮ２が重畳されたナビゲーションウィンドウＷ２２が表示される。メニューＭＮ２は、入力画像に適用可能な変形基準のリストを含む。図１０Ａの例では、当該リストは、道路を持ち上げるための変形基準Ｂ（“Lift  Up  Road”）及び建物を消去するための変形基準Ｃ（“Erase  Building”）をメニューアイテムとして含む。
【００７８】
例えば、ユーザがメニューＭＮ２の変形基準Ｂをタップすると、図１０Ｂに示したように、ナビゲーションウィンドウＷ２３が表示される。ナビゲーションウィンドウＷ２３において、変形の対象として道路Ｒ２が自動的に選択され、道路Ｒ２の勾配が変更されている。また、この時点の表示モードが変形表示モードであることを示すアイコンＩＣ２が表示されている。ナビゲーションウィンドウＷ２４では、道路Ｒ２の勾配が元に戻り、この時点の表示モードが通常表示モードであることを示すアイコンＩＣ３が表示されている。変形表示モードと通常表示モードとの間の遷移は、いかなるイベントをトリガにして行われてもよく、そのイベントは、何らかのユーザ入力、視線の変更、画像処理装置１００の姿勢の変更、所定の時間の経過又はユーザの移動などであってもよい。
【００７９】
（３）第３の例
図１１は、画像の変形のためのユーザインタフェースの第３の例について説明するための説明図である。図１１を参照すると、上空の視点から実世界モデルＲＭを俯瞰するルートマップウィンドウＷ３が示されている。ルートマップウィンドウＷ３に表示された経路をなぞるようにユーザがウィンドウ上で指をドラッグさせると、例えばウィンドウは図９Ｂに示したナビゲーションウィンドウＷ１４へ遷移し、変形表示モードで変形画像が表示される。
【００８０】
［２−５．処理の流れ］
図１２は、本実施形態に係る画像処理装置１００により実行され得る画像処理の流れの一例を示すフローチャートである。図１２に示した処理は、変形表示モードにおいて撮像されるフレームごとに実行され得る。
【００８１】
図１２を参照すると、まず、画像取得部１２０は、カメラ１０１により撮像される入力画像を取得する（ステップＳ１０２）。そして、画像取得部１２０は、取得した入力画像を画像処理部１４０及びユーザインタフェース部１６０へ出力する。
【００８２】
次に、画像処理部１４０は、ユーザインタフェース部１６０を介して検出されるユーザ入力に従って又は自動的に、変形基準及び変形の対象を決定する（ステップＳ１０４）。ここで利用されるユーザインタフェースは、例えば図９Ａ〜図１１を用いて説明したようなユーザインタフェースであってよい。
【００８３】
次に、画像処理部１４０は、決定した変形基準に従い、モデルＤＢ１３０から取得される実空間モデルを用いて入力画像を変形させ、変形画像を生成する（ステップＳ１０６）。その後のステップＳ１１０及びＳ１１２の処理は、変形画像にブランク部分が存在しない場合にはスキップされる（ステップＳ１０８）。
【００８４】
ステップＳ１１０において、オブジェクト画像生成部１５０は、画像処理部１４０による変形の結果として変形画像に発生するブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を、実空間モデルを用いて生成する（ステップＳ１１０）。次に、画像処理部１４０は、変形画像のブランク部分に、生成されたオブジェクト画像を合成する（ステップＳ１１２）。
【００８５】
そして、画像処理部１４０は、オブジェクト画像の合成された変形画像（又はブランク部分の存在しない場合にはステップＳ１０６において生成された変形画像）をユーザインタフェース部１６０へ出力する（ステップＳ１１４）。それにより、ディスプレイ１１１の画面に変形画像が表示される。
【００８６】
［２−６．第１の実施形態のまとめ］
ここまで、図２〜図１２を用いて、本開示に係る技術の第１の実施形態について詳細に説明した。本実施形態によれば、実世界を映した入力画像をある変形基準に従って変形させることにより変形画像が生成され、変形画像にブランク部分が発生する場合に、予め定義される実世界モデルを用いて生成されるオブジェクト画像が、変形画像の当該ブランク部分に合成される。即ち、変形によってユーザの視点から見えることになるオブジェクトの画像が変形画像において補完されるため、変形前に直接的には視認困難であった場所の情報をユーザに呈示することができる。
【００８７】
オブジェクト画像は、選択された変形基準に従って仮想的に変形された実世界をユーザ（カメラ）の視点から見た場合にブランク部分を占めるはずの画像である。従って、オブジェクト画像の合成された変形画像もまた、ユーザ視点からの自然な画像として表示される。そのため、他の視点からの画像（例えば、俯瞰的な視点からのマップ）が表示される場合と比較して、実世界の状況を理解するための分かり易さは失われない。
【００８８】
ある変形基準によれば、入力画像に映る道路の曲率又は勾配が変化するように入力画像が変形される。従って、道路の曲率又は勾配に起因して他のオブジェクトにより隠蔽されていたオブジェクトの位置を、変形画像を呈示することによりユーザに分かり易く伝えることができる。別の変形基準によれば、入力画像において他のオブジェクトを隠しているオブジェクトが消去され、隠されていたオブジェクトが変形画像に現れる。この場合にも、他のオブジェクトにより隠蔽されていたオブジェクトの位置を、変形画像を呈示することによりユーザに分かり易く伝えることができる。例えば、ナビゲーションの用途では、ナビゲーションのために重要なランドマークを変形画像に表示することにより、目的地までの経路の把握をユーザにとってより直感的かつ容易にすることができる。
【００８９】
また、本実施形態によれば、変形基準をユーザに指定させるためのＵＩ、変形の対象をユーザに指定させるためのＵＩ、及び通常表示モードと変形表示モードとの間でモードを切り替えるためのＵＩなど、様々なＵＩが提供される。従って、ユーザは、それらＵＩを通じて所望のタイミングで望む通りに入力画像を変形させ、その時点の視点から直接的には見えないはずのオブジェクトを画面上で視認することができる。
【００９０】
なお、上述したように、画像処理装置１００の様々な機能は、端末装置とサーバ装置とが連携することにより実現されてもよい。端末装置は、典型的には、サーバ装置との間の通信接続を確立する通信Ｉ／Ｆと、ユーザ入力を受け付ける入力デバイスと、画面を有する表示デバイスと、プログラム及びデータを記憶するメモリと、プログラムを実行することにより端末装置の機能を動作させるプロセッサとを備える。端末装置のプロセッサは、実世界を映した入力画像を取得し、取得した入力画像を通信Ｉ／Ｆを介してサーバ装置へ送信し、サーバ装置から受信される変形画像を表示デバイスの画面に表示させる。サーバ装置は、画像処理装置１００と同様に入力画像を変形し、変形画像のブランク部分にオブジェクト画像を合成して、合成後の変形画像を端末装置へ送信する。図９Ａ〜図１１を用いて説明したユーザインタフェースは、端末装置の入力デバイスと表示デバイスとにより実現され得る。端末装置の変形画像表示機能は、例えばＰＣ又はスマートフォンなどの端末上で動作するアプリケーション機能であってもよい。
【００９１】
＜３．第２の実施形態＞
第１の実施形態において、変形画像に合成されるオブジェクト画像は、実世界モデルにおいて予め定義される静的なオブジェクトのみを含む。これに対し、以下に説明する第２の実施形態では、動的に収集される位置関連データを用いてその場所に存在すると推定される動的なオブジェクトもまた、オブジェクト画像に含まれる。動的なオブジェクトは、例えば、キャラクタ及び乗り物を含み、それらオブジェクトの動きは、位置関連データに基づいてシミュレーションされる。
【００９２】
［３−１．機能構成例］
図１３は、第２の実施形態に係る画像処理装置２００の論理的機能の構成の一例を示すブロック図である。図１３を参照すると、画像処理装置２００は、画像取得部１２０、モデルＤＢ２３０、画像処理部１４０、オブジェクト画像生成部２５０、ユーザインタフェース部１６０、ナビゲーション部１７０、シミュレーション部２８０及びデータ収集部２９０を備える。
【００９３】
（１）シミュレーション部
シミュレーション部２８０は、実世界に存在する群衆についてのシミュレーションを実行する。シミュレーション部２８０により実行されるシミュレーションは、時間を追って変化し得る街の状況を仮想的に再現するためのシミュレーションである。街の状況は、例えば、群衆のスケール、属性又は振る舞いにより再現され得る。当該シミュレーションにおいて、群衆は、人間に相当し得るキャラクタの集合によって表現されてもよい。その代わりに（又はそれに加えて）、群衆は、人間が乗っていると仮定される乗り物の集合によって表現されてもよい。群衆のスケール、属性又は振る舞いなどのシミュレーションパラメータは、外部サーバから収集され得る位置関連データに基づいて決定される。
【００９４】
本実施形態において、位置関連データは、ユーザ発信型の情報発信サービスにおいて投稿者から投稿される投稿データを含む。ユーザ発信型の情報発信サービスとは、例えば、フェイスブック（登録商標）及びフォースクエア（登録商標）などのＳＮＳ（Social  Networking  Service）、ツイッター（登録商標）などの短文投稿サービス、並びにインスタグラムなどの画像投稿サービスを含み得る。プライバシーの保護が求められる場合には、投稿データから各投稿者を識別する識別情報が削除されてもよい。本実施形態において利用される情報発信サービスは、投稿者の端末からアップロードされる投稿データが位置データを伴う、ロケーションアウェア（Location-aware）なサービスであってもよく、又は投稿データが位置データを伴わないサービスであってもよい。なお、位置関連データとして、投稿データの代わりに（又はそれに加えて）、１人以上の人間について地理的位置を基準に集計された統計データが利用されてもよい。統計データは、例えば、交通量データ、平均収入データ及び治安データなどを含み得る。
【００９５】
シミュレーション部２８０は、変形画像のブランク部分に対応する対象領域についてシミュレーションを実行し、群衆画像を生成する。群衆のスケール、属性及び振る舞いは、後述するように、位置関連データに基づいて地理的領域ごとにオブジェクト画像生成部２５０により決定される。そして、シミュレーション部２８０は、生成した群衆画像をオブジェクト画像生成部２５０へ出力する。
【００９６】
（２）モデルＤＢ
モデルＤＢ２３０は、第１の実施形態に係るモデルＤＢ１３０により記憶される実世界モデルに加えて、シミュレーション部２８０がシミュレーションを実行する際に使用するモデルデータを予め記憶する。モデルＤＢ２３０により記憶されるモデルデータは、キャラクタモデル及び乗り物モデルを含み得る。キャラクタモデルは、群衆を構成する人物を模したモデルである。乗り物モデルは、群衆を構成する乗り物を模したモデルである。シミュレーションにおいて、キャラクタモデル及び乗り物モデルは、実世界モデルにより表現されるモデル空間の中に配置され、例えばエレメントごとのＡＩ（Artificial  Intelligence）より駆動されて動く。
【００９７】
（３）データ収集部
データ収集部２９０は、１人以上の人間の地理的位置に関連付けられる位置関連データを収集する。例えば、位置関連データは、外部サーバから収集される投稿データ及び統計データを含み得る。データ収集部２９０は、例えば周期的に位置関連データを収集し、収集した位置関連データをびオブジェクト画像生成部２５０へ出力する。
【００９８】
（４）オブジェクト画像生成部
オブジェクト画像生成部２５０は、第１の実施形態に係るオブジェクト画像生成部１５０と同様に、変形画像にブランク部分が発生する場合に、実世界モデルを用いて、ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する。また、オブジェクト画像生成部２５０は、ブランク部分に対応する実世界の対象領域についてシミュレーション部２８０から入力される群衆画像を、オブジェクト画像に重畳する。
【００９９】
オブジェクト画像生成部２５０は、例えば、ブランク部分に対応する実世界の対象領域を実世界モデルから判定し、判定した対象領域について、位置関連データに基づいてシミュレーションパラメータを決定する。そして、オブジェクト画像生成部２５０は、決定したシミュレーションパラメータをシミュレーション部２８０へ入力し、当該対象領域に存在する群衆についてのシミュレーションをシミュレーション部２８０に実行させる。なお、対象領域は、実世界を区分する複数の地理的領域のいずれかである。地理的領域は、例えば行政区画別又は最寄駅別などの、システムの目的に即した任意の基準で設定されてよい。
【０１００】
オブジェクト画像生成部２５０により決定されるシミュレーションパラメータは、領域ごとの群衆のスケール、属性及び振る舞いを含み得る。群衆のスケールは、シミュレーションにおいて対象領域内に配置されるキャラクタの数（人口）又は乗り物の数（交通量）を意味する。群衆の属性は、シミュレーションにおいて対象領域内に配置されるキャラクタの種別又は乗り物の種別を左右する。例えば、群衆の属性は年齢構成比及び男女構成比を含み、若年層の多い領域には青年又は少年のキャラクタがより多く配置され、女性の多い領域には女性のキャラクタがより多く配置され得る。群衆の属性は、平均収入及び治安度などのその他のパラメータを含んでもよい。群衆の振る舞いは、シミュレーションにおいて対象領域内に配置されるキャラクタ及び乗り物の動きを左右する。例えば、群衆の振る舞いは、実世界の対象領域に位置し又は対象領域に関する活動を行っている人間の振る舞いをモデル化することにより決定される。
【０１０１】
シミュレーションパラメータは、さらに、対象領域ごとの天候及び時間帯、並びに対象領域において発生するイベントなどを含んでもよい。本明細書で説明するシミュレーションパラメータの一部は省略されてもよく、追加的なシミュレーションパラメータが採用されてもよい。オブジェクト画像生成部２５０がどのような位置関連データに基づいてどのようなシミュレーションパラメータを決定し得るかについて、後により詳細に説明する。
【０１０２】
［３−２．シミュレーションの詳細］
次に、図１４〜図１８を用いて、シミュレーション部２８０により実行され得るシミュレーションについて詳細に説明する。
【０１０３】
（１）モデルデータの例
図１４は、モデルＤＢ２３０により記憶され得るキャラクタモデルの４つの例ＣＭ１〜ＣＭ４を示している。キャラクタモデルＣＭ１〜ＣＭ４は、それぞれ異なる属性により特徴付けられ、その特徴に対応する外見を有する。図１４では、属性の例として、「性別」、「年齢」及び「収入」が示されてる。例えば、キャラクタモデルＣＭ１は、青年の男性であり、中程度の収入を稼ぐ、普通の外見を有するキャラクタである。キャラクタモデルＣＭ２は、老年の男性であり、高額の収入を稼ぐ、金持ち風の外見を有するキャラクタである。キャラクタモデルＣＭ３は、青年の女性であり、中程度の収入を稼ぐ、普通の外見を有するキャラクタである。キャラクタモデルＣＭ４は、少年の男性であり、少年風の外見を有するキャラクタである。
【０１０４】
図１５は、モデルＤＢ２３０により記憶され得る乗り物モデルの２つの例ＶＭ１及びＶＭ２を示している。乗り物モデルＶＭ１及びＶＭ２は、それぞれ異なる属性により特徴付けられ、その特徴に対応する外見を有する。図１５では、属性の例として、「年齢」及び「収入」が示されてる。例えば、乗り物モデルＶＭ１は、高額の収入を稼ぐ青年が乗るスポーツカータイプの自動車である。乗り物モデルＶＭ２は、中程度の収入を稼ぐ青年が乗る大衆車タイプの自動車である。
【０１０５】
（２）シミュレーション結果の例
シミュレーション部２８０は、オブジェクト画像生成部２５０により対象領域について決定されるシミュレーションパラメータに従って、実世界モデルの中にキャラクタモデル及び乗り物モデルを配置する。配置されるキャラクタモデルの数は、オブジェクト画像生成部２５０により決定される各領域の群衆の推定人口に依存する。なお、ここでの推定人口は実世界の真の人口に近い値である必要はなく、領域間の人口の差異又は同じ領域の人口の時間的変動が推定値に現れていれば、その目的は十分に達成され得る。他のシミュレーションパラメータについても同様である。配置される乗り物モデルの数は、オブジェクト画像生成部２５０により決定される交通量に依存してもよく、又は推定人口に依存してもよい。配置されるキャラクタモデルの種別及び乗り物モデルの種別は、オブジェクト画像生成部２５０により決定される各領域の群衆の属性に依存する。
【０１０６】
図１６Ａは、シミュレーション結果の第１の例について説明するための説明図である。第１の例において、対象領域の推定人口は他の領域と比較して多く、交通量も多い。対象領域の年齢構成比において若年層が多く、男女構成比において女性が多い。対象領域の平均収入は、他の領域と比較して高い。シミュレーション結果は、モデル空間において、非常に多くのキャラクタが街路を行き交い、道路を多くの自動車が走る様子を示している。モデル空間内のキャラクタのうち、女性のキャラクタの割合が比較的多くを占めている。自動車の半数は、高額なスポーツカータイプの自動車である。
【０１０７】
図１６Ｂは、シミュレーション結果の第２の例について説明するための説明図である。第２の例において、対象領域の推定人口は他の領域と比較して少なく、交通量も少ない。対象領域の年齢構成比において、子供が多い。対象領域の平均収入は、中程度である。シミュレーション結果は、モデル空間において、複数の子供を含む少人数のキャラクタが街路にいる様子を示している。
【０１０８】
図１６Ｃは、シミュレーション結果の第３の例について説明するための説明図である。第３の例において、対象領域の推定人口は中程度であり、交通量は少ない。対象領域の年齢構成比において、老年層が多い。対象領域の平均収入は、他の領域と比較して高い。シミュレーション結果は、モデル空間において、第１の例よりも少なく第２の例よりも多いキャラクタが街路を行き交い、道路を１台の自動車が走る様子を示している。モデル空間内のキャラクタのうち、金持ち風の老年のキャラクタの割合が比較的多くを占めている。
【０１０９】
図１６Ａ〜図１６Ｃに示した３つの例を比較すると、そこに存在する群衆のスケール及び属性の違いが、それぞれの街の特徴を表現していることが分かる。このようなシミュレーションを、一般的に公開されている統計データを用いて行うことも可能である。しかしながら、実世界の街の状況は、時間帯、曜日、季節又は何らかのイベントの開催などに依存し、時間を追って大きく変化し得る。従って、過去の統計期間に基づく静的な統計データは、最新の街の状況を表現しているとは言い難い。そこで、画像処理装置２００は、上述したように、位置関連データを継続的に収集し、収集した位置関連データに基づいてシミュレーションパラメータを動的に変化させる。
【０１１０】
（３）群衆の振る舞いの例
図１６Ａ〜図１６Ｃは群衆のスケール及び属性の違いを主に説明しているが、シミュレーション部２８０は、地理的領域ごとにモデル化される人間の振る舞いを、モデル空間内の群衆に再現させてもよい。図１７は、キャラクタモデルの振る舞いの例について説明するための説明図である。図１７を参照すると、キャラクタモデルＣＭ１ａは、ビジネスバッグを左手に持ち、右手で携帯電話を操作している。「通話」と称されるこのような振る舞いが、ビジネスマンの多い領域に配置されるキャラクタモデルによって演じられてもよい。キャラクタモデルＣＭ１ｂは、「ジョギング」をしている。キャラクタモデルＣＭ１ｃは、「喫煙」をしている。これら振る舞いもまた、地理的領域ごとにモデル化され、キャラクタモデルによって演じられ得る。
【０１１１】
（４）イベントの例
シミュレーション部２８０は、ある地理的領域において発生したイベント又は発生することが予測されるイベントを、シミュレーションにおいて再現してもよい。図１８は、シミュレーションにおいて再現され得るイベントの例について説明するための説明図である。図１８を参照すると、モデル空間内の建物Ｂｌｄｇ１が示されている。あるシミュレーションにおいて、建物Ｂｌｄｇ１の前に行列ができている。例えば、特定の場所の店舗に関連付けられる投稿データが短時間の間に多数収集されたような場合には、このようなイベント「行列」の発生が判定され、判定されたイベントがシミュレーションにおいて再現され得る。シミュレーション部２８０は、例えば「交通事故の発生」又は「桜の開花」などの他の種類のイベントを再現してもよい。
【０１１２】
［３−３．シミュレーションパラメータの決定］
（１）情報発信サービスの投稿データに基づく手法
有用なシミュレーション結果を得るためには、シミュレーションパラメータを適切に決定することが重要である。本実施形態において、オブジェクト画像生成部２５０は、外部サーバから収集される投稿データに基づいて、シミュレーションパラメータを決定する。投稿者は、実世界における様々な活動又は事象を、能動的に情報発信サービスに投稿する。その投稿は、多くの場合、リアルタイムで又はわずかのタイムラグのみをもって行われる。従って、情報発信サービスの投稿データからシミュレーションパラメータを決定することにより、時間を追って変化し得る街の状況を少ないタイムラグで追跡することができる。
【０１１３】
図１９は、シミュレーションパラメータを決定するための第１の手法について説明するための説明図である。図１９の左には、一定の時間フレーム内でデータ収集部２９０により収集された投稿データＰＤ１〜ＰＤｎが示されている。オブジェクト画像生成部２５０は、これら投稿データＰＤ１〜ＰＤｎを解析することにより、各地理的領域に対応する人間の数及び属性を推定し、その推定結果に従って各地理的領域の群衆のスケール及び属性をそれぞれ決定する。ここで、「地理的領域に対応する」との用語は、各地理的領域に位置するのみならず、各地理的領域に関する活動を行っている（例えば、「ＡＢＣ地区の新居を探している」、又は「ＡＢＣ地区」について議論している、など）という意味も含み得る。さらに、オブジェクト画像生成部２５０は、投稿データＰＤ１〜ＰＤｎを解析することにより、各地理的領域に対応する人間の振る舞い、及び各地理的領域で発生し得るイベントを判定してもよい。
【０１１４】
図２０Ａは、投稿データの解析の第１の例について説明するための説明図である。第１の例において、投稿データＰＤ１は、ユーザ識別情報ＰＤ１ａ、テキストＰＤ１ｂ、画像ＰＤ１ｃ及び位置データＰＤ１ｄを含む。
【０１１５】
オブジェクト画像生成部２５０は、例えば、ユーザ識別情報ＰＤ１ａを用いて、投稿データＰＤ１の投稿者の（情報発信サービスに登録されている）属性を外部サーバから取得してもよい（ステップＳ１１ａ）。その代わりに、オブジェクト画像生成部２５０は、公知の自然言語解析技術をテキストＰＤ１ｂに適用することにより、テキストＰＤ１ｂからキーワード又はキーフレーズを抽出し、抽出したキーワード又はキーフレーズから投稿データＰＤ１の投稿者の属性を判定してもよい（ステップＳ１１ｂ）。例えば、「大学に行く」というキーフレーズから投稿者が２０歳前後の青年であること、「ガールフレンドが欲しい」とのキーフレーズから投稿者が男性であることなどが判定され得る。投稿データＰＤ１の投稿者の属性は、投稿データＰＤ１ではなく、投稿データＰＤ１と同じユーザ識別情報ＰＤ１ａを有する過去の投稿データＰＤｘに含まれるテキスト又は画像に基づいて行われてもよい。
【０１１６】
図２０Ａの第１の例では、位置データＰＤ１ｄは、投稿データＰＤ１がアップロードされた際の投稿者の地理的位置を示す。従って、オブジェクト画像生成部２５０は、投稿データＰＤ１に対応する地理的領域を、位置データＰＤ１ｄを用いて判定し得る（ステップＳ１２）。さらに、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとの投稿データの数を集計することにより、地理的領域ごとの群衆のスケールを推定することができる。また、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとに投稿データから判定される属性を集計することにより、地理的領域ごとの群衆の属性を推定することができる（ステップＳ１３）。
【０１１７】
図２０Ｂは、投稿データの解析の第２の例について説明するための説明図である。第２の例において、投稿データＰＤ２は、テキストＰＤ２ｂ、画像ＰＤ２ｃ及び位置データＰＤ２ｄを含む。ユーザ識別情報は、プライバシーの保護のために、投稿データＰＤ２から削除されている。
【０１１８】
オブジェクト画像生成部２５０は、例えば、テキストＰＤ２ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ２の投稿者の属性を判定し得る（ステップＳ２１ａ）。また、オブジェクト画像生成部２５０は、公知の画像認識技術を画像ＰＤ２ｃに適用することにより、投稿データＰＤ２の投稿者又は画像ＰＤ２ｃに映る被写体の属性（性別又は年齢層など）を判定し得る（ステップＳ２１ｂ）。
【０１１９】
図２０Ｂの第２の例では、位置データＰＤ２ｄは、投稿データＰＤ２がアップロードされた際の投稿者の地理的位置を示す。従って、オブジェクト画像生成部２５０は、投稿データＰＤ２に対応する地理的領域を、位置データＰＤ２ｄを用いて判定し得る（ステップＳ２２）。さらに、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとの投稿データの数を集計することにより、地理的領域ごとの群衆のスケールを推定することができる。また、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとに投稿データから判定される属性を集計することにより、地理的領域ごとの群衆の属性を推定することができる（ステップＳ２３）。
【０１２０】
図２０Ｃは、投稿データの解析の第３の例について説明するための説明図である。第３の例において、投稿データＰＤ３は、テキストＰＤ３ｂ及び画像ＰＤ３ｃを含む。
【０１２１】
オブジェクト画像生成部２５０は、例えば、テキストＰＤ３ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ３の投稿者の属性を判定し得る（ステップＳ３１ａ）。また、オブジェクト画像生成部２５０は、公知の画像認識技術を画像ＰＤ３ｃに適用することにより、投稿データＰＤ３の投稿者又は画像ＰＤ３ｃに映る被写体の属性を判定し得る（ステップＳ３１ｂ）。
【０１２２】
第３の例では、投稿データＰＤ３は、位置データを含まない。そこで、オブジェクト画像生成部２５０は、例えば、テキストＰＤ３ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ３に対応する地理的領域を判定し得る（ステップＳ３２ａ）。例えば、キーワードにより示される地名から地理的領域が判定されてもよく、又はキーワードにより示される施設名から当該施設の所在地の地理的領域が判定されてもよい。その代わりに、オブジェクト画像生成部２５０は、画像ＰＤ３ｃを様々な既知画像と照合することにより、投稿データＰＤ３に対応する地理的領域を判定してもよい（ステップＳ３２ｂ）。
【０１２３】
さらに、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとの投稿データの数を集計することにより、地理的領域ごとの群衆のスケールを推定することができる。また、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとに投稿データから判定される属性を集計することにより、地理的領域ごとの群衆の属性を推定することができる（ステップＳ３３）。
【０１２４】
投稿データの解析は、地理的領域ごとの群衆のスケール及び属性の推定のみならず、群衆の振る舞いのモデル化のために行われてもよい。図２０Ｄは、投稿データの解析の第４の例について説明するための説明図である。第４の例において、投稿データＰＤ４は、テキストＰＤ４ｂ及び位置データＰＤ４ｄを含む。
【０１２５】
オブジェクト画像生成部２５０は、例えば、テキストＰＤ４ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ４の投稿者の属性を判定し得る（ステップＳ４１）。また、オブジェクト画像生成部２５０は、投稿データＰＤ４に対応する地理的領域を、位置データＰＤ４ｄを用いて判定し得る（ステップＳ４２）。さらに、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとの投稿データの数及び属性を集計することにより、地理的領域ごとの群衆のスケール及び属性をそれぞれ推定することができる（ステップＳ４３）。
【０１２６】
さらに、第４の例において、オブジェクト画像生成部２５０は、テキストＰＤ４ｂを用いて判定される投稿データＰＤ４の投稿者の属性（又は集計された群衆の属性）に基づいて、地理的領域ごとの群衆の振る舞いをモデル化する（ステップＳ４４）。例えば、投稿データＰＤ４の投稿者がビジネスマンであることがテキストＰＤ４ｂから判定された場合には、投稿データＰＤ４に対応する地理的領域の群衆に含まれるキャラクタモデルの１人は、図１７に例示した振る舞い「通話」を演じ得る。また、ある地理的領域の群衆の属性が若年層が多いことを示す場合には、当該群衆に含まれるキャラクタモデルの数人は、図１７に例示した振る舞い「ジョギング」を演じ得る。なお、群衆の振る舞いをモデル化するために、投稿データに含まれるテキストの代わりに、画像又はユーザ識別情報が使用されてもよい。
【０１２７】
投稿データの解析は、対象領域において発生したイベント又は発生することが予測されるイベントを判定するために行われてもよい。図２０Ｅは、投稿データの解析の第５の例について説明するための説明図である。第５の例において、投稿データＰＤ５は、テキストＰＤ５ｂ及び画像ＰＤ５ｃを含む。
【０１２８】
オブジェクト画像生成部２５０は、例えば、テキストＰＤ５ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ５の投稿者の属性を判定し得る（ステップＳ５１ａ）。また、オブジェクト画像生成部２５０は、公知の画像認識技術を画像ＰＤ５ｃに適用することにより、投稿データＰＤ５の投稿者又は画像ＰＤ５ｃに映る被写体の属性を判定し得る（ステップＳ５１ｂ）。また、オブジェクト画像生成部２５０は、テキストＰＤ５ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ５に対応する地理的領域を判定し得る（ステップＳ５２）。さらに、オブジェクト画像生成部２５０は、複数の投稿データにわたって、地理的領域ごとの投稿データの数及び属性を集計することにより、地理的領域ごとの群衆のスケール及び属性をそれぞれ推定することができる（ステップＳ５３）。
【０１２９】
さらに、第５の例において、オブジェクト画像生成部２５０は、テキストＰＤ５ｂから抽出されるキーワード又はキーフレーズに基づいて、投稿データＰＤ５に対応する地理的領域におけるイベントの発生を判定し得る（ステップＳ５４ａ）。例えば、オブジェクト画像生成部２５０は、「交通事故を目撃」とのキーフレーズから、イベント「交通事故」の発生を判定してもよい。また、オブジェクト画像生成部２５０は、画像ＰＤ５ｃに基づいて、投稿データＰＤ５に対応する地理的領域におけるイベントの発生を判定してもよい（ステップＳ５４ｂ）。例えば、オブジェクト画像生成部２５０は、桜の花が画像ＰＤ５ｃに映っている場合に、イベント「桜の開花」の発生を判定してもよい。
【０１３０】
なお、シミュレーションパラメータを決定するための本節で説明される様々な手法は、互いにどのように組み合わされてもよい。
【０１３１】
（２）統計データに基づく手法
本実施形態において、オブジェクト画像生成部２５０は、外部サーバから収集される統計データにさらに基づいて、シミュレーションパラメータを決定し得る。ここで使用される統計データは、１人以上の人間について地理的位置を基準に集計されたデータである。
【０１３２】
図２１Ａは、シミュレーションパラメータを決定するための第２の手法について説明するための説明図である。図２１Ａを参照すると、図１９に示した投稿データＰＤ１〜ＰＤｎに加えて、外部サーバから収集される統計データＳＤが示されている。例えば、統計データＳＤは、渋滞情報を示す交通データであってもよい。その場合、オブジェクト画像生成部２５０は、交通データにより示される渋滞のレベルに応じて、地理的領域ごとの乗り物モデルの数（スケール）を決定し得る。また、統計データＳＤは、地域別の平均年収を示す平均年収データであってもよい。その場合、オブジェクト画像生成部２５０は、平均収入データにより示される収入の値を、地理的領域ごとの群衆の収入（属性）の値として採用し得る。また、統計データＳＤは、地域別の犯罪発生率を示す治安データであってもよい。その場合、オブジェクト画像生成部２５０は、例えば治安データにより示される犯罪発生率の値が高い地理的領域において、キャラクタモデルに特定の振る舞い（例えば、図１７に例示した振る舞い「喫煙」）を演じさせ、又は特定のイベント（例えば、パトロールカーの走行）を発生させてもよい。
【０１３３】
（３）天候データの利用
本実施形態において、オブジェクト画像生成部２５０は、外部サーバから収集される天候データに基づいて、群衆画像の背景を変化させてもよい。ここで使用される天候データは、対象領域の指定時刻（シミュレーション時点又はその他の時点）の天候を示すデータである。
【０１３４】
図２１Ｂは、シミュレーションパラメータを決定するための第３の手法について説明するための説明図である。図２１Ｂを参照すると、図１９に示した投稿データＰＤ１〜ＰＤｎに加えて、外部サーバから収集される天候データＷＤが示されている。オブジェクト画像生成部２５０は、天候データＷＤにより示される対象領域の天候をシミュレーションパラメータとしてシミュレーション部２８０へ出力し、群衆画像の背景により表現される天候を変化させる。なお、オブジェクト画像生成部２５０は、シミュレーションパラメータとして指定時刻（あるいは時間帯（例えば、朝、昼、夕方若しくは夜））をもシミュレーション部２８０へ出力し、群衆画像の背景により表現される時間帯を変化させてもよい。
【０１３５】
［３−４．オブジェクト画像の例］
図２２は、第２の実施形態において表示され得る変形画像の一例について説明するための説明図である。
【０１３６】
図２２を参照すると、通常表示モードで入力画像を表示しているナビゲーションウィンドウＷ４１が示されている。入力画像には、道路Ｒ１、道路Ｒ１に沿って立ち並ぶ建物、及び道路Ｒ１を歩いている人物が映っている。例えば、ユーザがナビゲーションウィンドウＷ４１をタップすると、表示モードは変形表示モードへ遷移し、道路を直線化させるための変形基準が選択され、ナビゲーションウィンドウＷ４２が表示される。ナビゲーションウィンドウＷ４２は、オブジェクト画像Ｉｍ４３の重畳された変形画像を表示している。オブジェクト画像Ｉｍ４３は、入力画像において隠されていた建物Ｊ１３の画像のみならず、シミュレーション部２８０によりシミュレーションされる群衆を表現する群衆画像Ｉｍ４４を含む。図２２の例では、群衆画像Ｉｍ４４は、２人のキャラクタと１つの自動車とを含む。
【０１３７】
［３−５．第２の実施形態のまとめ］
ここまで、図１３〜図２２を用いて、本開示に係る技術の第２の実施形態について詳細に説明した。本実施形態によれば、変形画像のブランク部分を補完するオブジェクト画像に、予め定義される静的なオブジェクトのみならず、人物又は乗り物などの動的なオブジェクトも表示される。それら動的なオブジェクトの数、属性及び振る舞いは、ユーザ発信型の情報発信サービスにおける投稿データなどの位置関連データに基づいて決定される。従って、時間を追って変化し得る実世界の状況をオブジェクト画像において再現し、自然な変形画像をユーザに呈示することができる。例えば、休日に人が多く集まる観光地の変形画像において、休日に補完されるオブジェクト画像は群衆で混雑する街路の様子を示し、平日に補完されるオブジェクト画像は平穏な街路の様子を示し得る。
【０１３８】
本実施形態において利用されるユーザ発信型の情報発信サービスの投稿データは、現実の活動又は事象についてリアルタイムで又はわずかのタイムラグのみをもって投稿されることが多い。従って、ユーザ発信型の情報発信サービスのそうした即応性を活用することにより、時間を追って変化し得る街の状況を少ないタイムラグで追跡することができる。
【０１３９】
第１の実施形態及び第２の実施形態において表示される変形画像は、実世界に実際に存在し得るオブジェクト（建物、道路、人物又は乗り物など）の変形され又はシミュレーションされた姿を映し出す。こうした手法は、一般的なＡＲ（拡張現実：Augmented  Reality）アプリケーションにおいて陥りやすい画面上の情報過多の状況（多過ぎるアノテーションで画像が埋もれてしまう状況）を招来しない点でも有益である。
【０１４０】
なお、本明細書において説明した各装置による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１４１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、
前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、
を備え、
前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、
画像処理装置。
（２）
前記オブジェクト画像は、前記基準に従って前記実世界が変形した場合に前記ブランク部分を占めるはずの画像である、前記（１）に記載の画像処理装置。
（３）
前記オブジェクト画像は、前記ブランク部分に位置すべきオブジェクトに対応するアイコン画像である、前記（１）に記載の画像処理装置。
（４）
前記画像処理部は、前記入力画像に映る道路の曲率が変化するように前記入力画像を変形し、
前記ブランク部分は、前記道路の曲率に起因して前記入力画像に映らない部分である、
前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記画像処理部は、前記入力画像に映る道路の勾配が変化するように前記入力画像を変形し、
前記ブランク部分は、前記道路の勾配に起因して前記入力画像に映らない部分である、
前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（６）
前記画像処理部は、前記入力画像内で検出される特徴点を前記モデルにより定義される特徴点と照合し、照合された特徴点の位置を前記基準に従って移動させることにより、前記変形画像を生成する、前記（４）又は前記（５）に記載の画像処理装置。
（７）
前記画像処理部は、前記入力画像を表示する画面を介してユーザにより指定される前記道路を、前記変形の対象として選択する、前記（４）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記画像処理装置は、ユーザにより指定される目的地までのナビゲーションを前記ユーザに提供するナビゲーション部、をさらに備え、
前記画像処理部は、前記ナビゲーション部により設定される前記目的地までの経路上の前記道路を、前記変形の対象として選択する、
前記（４）〜（６）のいずれか１項に記載の画像処理装置。
（９）
前記画像処理装置は、
前記入力画像を画面に表示させる第１の表示モードと、前記オブジェクト画像の合成された前記変形画像を前記画面に表示させる第２の表示モードとを、ユーザが切り替えるためのユーザインタフェースを提供するユーザインタフェース部、
をさらに備える、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記ユーザインタフェース部は、前記基準をユーザに指定させるためのユーザインタフェースをさらに提供する、前記（９）に記載の画像処理装置。
（１１）
前記画像処理装置は、前記ユーザの視線を検出する視線検出モジュールを備えるヘッドマウント型の装置であり、
前記ユーザインタフェース部は、前記視線検出モジュールによる視線検出結果に基づいて、前記第１の表示モードと前記第２の表示モードとを切り替える、
前記（９）に記載の画像処理装置。
（１２）
前記画像処理部は、前記入力画像において他のオブジェクトに隠されているオブジェクトが前記変形画像に現れるように、前記オブジェクト画像を前記変形画像に合成する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（１３）
前記画像処理装置は、
複数の人間の地理的位置に関連付けられる位置関連データを収集するデータ収集部と、
前記実世界に存在する群衆についてのシミュレーションを、収集される前記位置関連データに基づいて実行するシミュレーション部と、
をさらに備え、
前記生成部は、前記ブランク部分に対応する前記実世界の領域について前記シミュレーション部によりシミュレーションされる前記群衆の画像を、前記オブジェクト画像に重畳する、
前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記群衆のスケール、属性及び振る舞いの少なくとも１つが、前記位置関連データに基づいて決定され、前記シミュレーションにおいて再現される、前記（１３）に記載の画像処理装置。
（１５）
画像処理装置により実行される画像処理方法であって、
実世界を映した入力画像を取得することと、
ある基準に従って前記入力画像を変形させて、変形画像を生成することと、
前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成することと、
前記変形画像の前記ブランク部分に、生成された前記オブジェクト画像を合成することと、
を含む画像処理方法。
（１６）
画像処理装置を制御するコンピュータを、
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させて、変形画像を生成する画像処理部と、
前記変形の結果として前記変形画像にブランク部分が発生する場合に、前記実世界に存在するオブジェクトの位置を表現するモデルを用いて、前記ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像を生成する生成部と、
として機能させ、
前記画像処理部は、前記変形画像の前記ブランク部分に、前記生成部により生成される前記オブジェクト画像を合成する、
プログラム。
（１７）
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記変形画像を画面に表示させる制御部と、
を備える端末装置。
（１８）
前記端末装置は、
前記入力画像を画面に表示させる第１の表示モードと、前記オブジェクト画像の合成された前記変形画像を前記画面に表示させる第２の表示モードとを、ユーザが切り替えるためのユーザインタフェースを提供するユーザインタフェース部、
をさらに備える、前記（１７）に記載の画像処理装置。
（１９）
端末装置により実行される画像処理方法であって、
実世界を映した入力画像を取得することと、
ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信することと、
前記サーバ装置から前記変形画像を受信することと、
受信された前記変形画像を画面に表示させることと、
を含む画像処理方法。
（２０）
端末装置を制御するコンピュータを、
実世界を映した入力画像を取得する画像取得部と、
ある基準に従って前記入力画像を変形させることにより生成される変形画像のブランク部分に、当該ブランク部分に位置すべきオブジェクトに対応するオブジェクト画像であって前記実世界に存在するオブジェクトの位置を表現するモデルを用いて生成される当該オブジェクト画像を合成するサーバ装置へ、前記入力画像を送信し、前記サーバ装置から受信される前記変形画像を画面に表示させる制御部と、
として機能させるためのプログラム。
【符号の説明】
【０１４３】
１００，２００    画像処理装置
１２０            画像取得部
１４０            画像処理部
１５０，２５０    オブジェクト画像生成部
１６０            ユーザインタフェース部
１７０            ナビゲーション部
２８０            シミュレーション部
２９０            データ収集部
【図１Ａ】
2014106681.tif 000003
【図１Ｂ】
2014106681.tif 000004
【図２】
2014106681.tif 000005
【図３】
2014106681.tif 000006
【図４】
2014106681.tif 000007
【図５Ａ】
2014106681.tif 000008
【図５Ｂ】
2014106681.tif 000009
【図５Ｃ】
2014106681.tif 000010
【図５Ｄ】
2014106681.tif 000011
【図５Ｅ】
2014106681.tif 000012
【図６Ａ】
2014106681.tif 000013
【図６Ｂ】
2014106681.tif 000014
【図６Ｃ】
2014106681.tif 000015
【図６Ｄ】
2014106681.tif 000016
【図６Ｅ】
2014106681.tif 000017
【図７Ａ】
2014106681.tif 000018
【図７Ｂ】
2014106681.tif 000019
【図７Ｃ】
2014106681.tif 000020
【図７Ｄ】
2014106681.tif 000021
【図７Ｅ】
2014106681.tif 000022
【図８】
2014106681.tif 000023
【図９Ａ】
2014106681.tif 000024
【図９Ｂ】
2014106681.tif 000025
【図１０Ａ】
2014106681.tif 000026
【図１０Ｂ】
2014106681.tif 000027
【図１１】
2014106681.tif 000028
【図１２】
2014106681.tif 000029
【図１３】
2014106681.tif 000030
【図１４】
2014106681.tif 000031
【図１５】
2014106681.tif 000032
【図１６Ａ】
2014106681.tif 000033
【図１６Ｂ】
2014106681.tif 000034
【図１６Ｃ】
2014106681.tif 000035
【図１７】
2014106681.tif 000036
【図１８】
2014106681.tif 000037
【図１９】
2014106681.tif 000038
【図２０Ａ】
2014106681.tif 000039
【図２０Ｂ】
2014106681.tif 000040
【図２０Ｃ】
2014106681.tif 000041
【図２０Ｄ】
2014106681.tif 000042
【図２０Ｅ】
2014106681.tif 000043
【図２１Ａ】
2014106681.tif 000044
【図２１Ｂ】
2014106681.tif 000045
【図２２】
2014106681.tif 000046