(57)【特許請求の範囲】
【請求項１】
同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、
前記入力画像取得部が取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、
前記入力画像取得部が取得した各前記入力画像の差分を入力画像差分として算出する入力画像差分算出部と、
前記インスタンスデータ取得部が取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、
前記入力画像差分算出部が算出した前記入力画像差分と、前記インスタンスデータ差分算出部が算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部と、
を備え、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記補正パラメータ算出部が算出した前記補正パラメータに基づいて、前記画像に対して前記インスタンスデータを配置する処理を実行するためのプログラムを生成するプログラム生成部をさらに備える、拡張現実コンテンツ生成装置。
【請求項２】
同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、
前記入力画像取得部が取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、
前記入力画像取得部が取得した各前記入力画像の差分を入力画像差分として算出する入力画像差分算出部と、
前記インスタンスデータ取得部が取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、
前記入力画像差分算出部が算出した前記入力画像差分と、前記インスタンスデータ差分算出部が算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部と、
を備え、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記補正パラメータ算出部が算出した前記補正パラメータに基づいて、前記インスタンスデータの配置の変化を示す仕様書を生成する仕様書生成部をさらに備える、拡張現実コンテンツ生成装置。
【請求項３】
同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、
前記入力画像取得部が取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、
前記入力画像取得部が取得した各前記入力画像の差分を入力画像差分として算出する入力画像差分算出部と、
前記インスタンスデータ取得部が取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、
前記入力画像差分算出部が算出した前記入力画像差分と、前記インスタンスデータ差分算出部が算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部と、
を備え、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記入力画像差分算出部は、地図情報を用いて前記入力画像差分を算出することを特徴とする、拡張現実コンテンツ生成装置。
【請求項４】
同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、
前記入力画像取得部が取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、
前記入力画像取得部が取得した各前記入力画像の差分を入力画像差分として算出する入力画像差分算出部と、
前記インスタンスデータ取得部が取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、
前記入力画像差分算出部が算出した前記入力画像差分と、前記インスタンスデータ差分算出部が算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部と、
を備え、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記インスタンスデータ差分算出部は、ｋ近傍法または最近傍法を含むアルゴリズムを用いて前記インスタンスデータ差分を算出することを特徴とする、拡張現実コンテンツ生成装置。
【請求項５】
同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、
前記入力画像取得部が取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、
前記入力画像取得部が取得した各前記入力画像の差分を入力画像差分として算出する入力画像差分算出部と、
前記インスタンスデータ取得部が取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、
前記入力画像差分算出部が算出した前記入力画像差分と、前記インスタンスデータ差分算出部が算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部と、
を備え、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記補正パラメータ算出部は、ｋ近傍法または最近傍法を含むアルゴリズムを用いて前記補正パラメータを算出することを特徴とする、拡張現実コンテンツ生成装置。
【請求項６】
同じ対象で見え方が異なる複数の画像を入力画像として取得し、
前記取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得し、
前記取得した各前記入力画像の差分を入力画像差分として算出し、
前記取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出し、
前記算出した前記入力画像差分と、前記算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出し、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記算出した前記補正パラメータに基づいて、前記画像に対して前記インスタンスデータを配置する処理を実行するためのプログラムを生成することを特徴とする、拡張現実コンテンツ生成方法。
【請求項７】
同じ対象で見え方が異なる複数の画像を入力画像として取得し、
前記取得した各前記入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得し、
前記取得した各前記入力画像の差分を入力画像差分として算出し、
前記取得した各前記入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出し、
前記算出した前記入力画像差分と、前記算出した前記インスタンスデータ差分とに基づいて、画像に対する前記インスタンスデータの配置の仕方を補正する補正パラメータを算出し、
前記入力画像差分は、前記対象を撮影したカメラの位置および姿勢の変化であり、
前記インスタンスデータ差分は、各前記入力画像に対するインスタンスデータの配置の変化であり、
前記算出した前記補正パラメータに基づいて、前記インスタンスデータの配置の変化を示す仕様書を生成することを特徴とする、拡張現実コンテンツ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実コンテンツを生成する拡張現実コンテンツ生成装置および拡張現実コンテンツ生成方法に関する。
【背景技術】
【０００２】
従来、カメラで撮影した風景中に存在する物体に重畳して表示する拡張現実コンテンツを生成する技術がある（例えば、特許文献１参照）。特許文献１では、カメラが撮影した風景中の画像から物体を認識し、認識した物体において表示可能な位置および方向を算出し、算出した位置および方向に基づいて物体に対して拡張現実コンテンツを手動で重畳している。そして、重畳する際に設定されたパラメータに従って実際に表示する拡張現実コンテンツのインスタンスデータを生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７９９５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インスタンスデータを風景中に存在する物体に重畳して表示する際、風景を撮影するカメラの位置および姿勢によっては、複数のインスタンスデータが重なって表示されて見えづらくなることがある。また、例えば複雑な形状の交差点において、カメラの位置および姿勢によっては、交差点を介して連続する一の道路が交差点を境に前後に離れて見えることがある。このとき、一の道路の名称を示すインスタンスデータが、前後に離れて見える各道路に対して表示され見えづらくなることがある。従って、カメラの位置および姿勢に応じてインスタンスデータの配置の仕方を変えることが望まれている。【０００５】
特許文献１では、カメラの位置および姿勢に応じてインスタンスデータの配置の仕方を変える場合、インスタンスデータの配置を変える対象となる複数の画像に対して別個にオーサリングを行ってインスタンスデータを生成する。そして、カメラの位置および姿勢を条件として、条件に応じたインスタンスデータの配置の仕方を手動で決める必要がある。すなわち、条件の場合分けアルゴリズムと補正プログラムとをハンドコーディングする必要がある。また、別個にオーサリングを行って生成したインスタンスデータ、条件、および補正プログラムをまとめて管理する必要があるため手間がかかる。【０００６】
本発明は、このような問題を解決するためになされたものであり、カメラの位置および姿勢に応じてインスタンスデータの配置の仕方を自動で決定することが可能な拡張現実コンテンツ生成装置および拡張現実コンテンツ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明による拡張現実コンテンツ生成装置は、同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、入力画像取得部が取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、入力画像取得部が取得した各入力画像の差分を入力画像差分として算出する入力画像差分算出部と、インスタンスデータ取得部が取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、入力画像差分算出部が算出した入力画像差分と、インスタンスデータ差分算出部が算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部とを備え、入力画像差分は、対象を撮影したカメラの位置および姿勢の変化であり、インスタンスデータ差分は、各入力画像に対するインスタンスデータの配置の変化であり、補正パラメータ算出部が算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成するプログラム生成部をさらに備える。
【０００８】
また、本発明による拡張現実コンテンツ生成方法は、同じ対象で見え方が異なる複数の画像を入力画像として取得し、取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得し、取得した各入力画像の差分を入力画像差分として算出し、取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出し、算出した入力画像差分と、算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出し、入力画像差分は、対象を撮影したカメラの位置および姿勢の変化であり、インスタンスデータ差分は、各入力画像に対するインスタンスデータの配置の変化であり、算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成する。
【発明の効果】
【０００９】
本発明によると、拡張現実コンテンツ生成装置は、同じ対象で見え方が異なる複数の画像を入力画像として取得する入力画像取得部と、入力画像取得部が取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得するインスタンスデータ取得部と、入力画像取得部が取得した各入力画像の差分を入力画像差分として算出する入力画像差分算出部と、インスタンスデータ取得部が取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出するインスタンスデータ差分算出部と、入力画像差分算出部が算出した入力画像差分と、インスタンスデータ差分算出部が算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出する補正パラメータ算出部とを備え、入力画像差分は、対象を撮影したカメラの位置および姿勢の変化であり、インスタンスデータ差分は、各入力画像に対するインスタンスデータの配置の変化であり、補正パラメータ算出部が算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成するプログラム生成部をさらに備えるため、カメラの位置および姿勢に応じてインスタンスデータの配置の仕方を自動で決定することが可能となる。
【００１０】
また、拡張現実コンテンツ生成方法は、同じ対象で見え方が異なる複数の画像を入力画像として取得し、取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得し、取得した各入力画像の差分を入力画像差分として算出し、取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出し、算出した入力画像差分と、算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出し、入力画像差分は、対象を撮影したカメラの位置および姿勢の変化であり、インスタンスデータ差分は、各入力画像に対するインスタンスデータの配置の変化であり、算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成するため、カメラの位置および姿勢に応じてインスタンスデータの配置の仕方を自動で決定することが可能となる。
【００１１】
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態による拡張現実コンテンツ生成装置の構成の一例を示すブロック図である。
【図２】本発明の実施の形態による拡張現実コンテンツ生成装置の構成の一例を示すブロック図である。
【図３】本発明の実施の形態によるハードウェア構成の一例を示すブロック図である。
【図４】本発明の実施の形態による拡張現実コンテンツ生成装置の動作の一例を示すフローチャートである。
【図５】本発明の実施の形態による入力画像の一例を示す図である。
【図６】本発明の実施の形態による入力画像の一例を示す図である。
【図７】本発明の実施の形態によるインスタンスデータの一例を示す図である。
【図８】本発明の実施の形態によるインスタンスデータの一例を示す図である。
【図９】本発明の実施の形態による入力画像の一例を示す図である。
【図１０】本発明の実施の形態による入力画像の一例を示す図である。
【図１１】本発明の実施の形態によるインスタンスデータの一例を示す図である。
【図１２】本発明の実施の形態によるインスタンスデータの一例を示す図である。
【図１３】本発明の実施の形態による拡張現実コンテンツ生成装置の構成の一例を示すブロック図である。
【図１４】本発明の実施の形態による拡張現実コンテンツ生成装置の動作の一例を示すフローチャートである。
【図１５】本発明の実施の形態による拡張現実コンテンツ生成システムの構成の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施の形態について、図面に基づいて以下に説明する。
【００１４】
＜実施の形態＞
＜構成＞
まず、本発明の実施の形態による拡張現実コンテンツ生成装置の構成について説明する。
【００１５】
図１は、本実施の形態による拡張現実コンテンツ生成装置１の構成の一例を示すブロック図である。なお、図１では、本実施の形態による拡張現実コンテンツ生成装置１を構成する必要最小限の構成を示している。
【００１６】
図１に示すように、拡張現実コンテンツ生成装置１は、入力画像取得部２と、インスタンスデータ取得部３と、入力画像差分算出部４と、インスタンスデータ差分算出部５と、補正パラメータ算出部６とを備えている。
【００１７】
入力画像取得部２は、同じ対象で見え方が異なる複数の画像を入力画像として取得する。インスタンスデータ取得部３は、入力画像取得部２が取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得する。
【００１８】
入力画像差分算出部４は、入力画像取得部２が取得した各入力画像の差分を入力画像差分として算出する。インスタンスデータ差分算出部５は、インスタンスデータ取得部３が取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出する。補正パラメータ算出部６は、入力画像差分算出部４が算出した入力画像差分と、インスタンスデータ差分算出部５が算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出する。
【００１９】
補正パラメータ算出部６で算出された補正パラメータは、例えば、後述する図２に示すプログラム生成部８で用いられる。プログラム生成部８は、補正パラメータ算出部６が算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成する。プログラム生成部８で生成されたプログラムをナビゲーション装置に組み込んだ場合、車両の走行状況に応じてインスタンスデータの表示の仕方が変わる。このときのインスタンスデータの表示の変化は、補正パラメータ算出部６が算出した補正パラメータによるものである。このように、補正パラメータ算出部６が算出した補正パラメータを用いて拡張現実コンテンツが生成される。
【００２０】
次に、図１に示す拡張現実コンテンツ生成装置１を含む拡張現実コンテンツ生成装置の他の構成について説明する。
【００２１】
図２は、他の構成に係る拡張現実コンテンツ生成装置７の構成の一例を示すブロック図である。
【００２２】
図２に示すように、拡張現実コンテンツ生成装置７は、入力画像取得部２と、インスタンスデータ取得部３と、入力画像差分算出部４と、インスタンスデータ差分算出部５と、補正パラメータ算出部６と、プログラム生成部８と、入力画像記憶部９と、インスタンスデータ記憶部１０とを備えている。
【００２３】
入力画像取得部２は、同じ対象で見え方が異なる複数の画像を入力画像として入力画像記憶部９から取得する。入力画像記憶部９は、例えば、ハードディスクまたは半導体メモリ等の記憶装置から構成されており、複数の入力画像を記憶している。具体的には、入力画像記憶部９は、同じ対象で見え方が異なる複数の入力画像を対象ごとに記憶している。入力画像は、例えば図示しないカメラで撮影した画像であり、少なくとも撮影時のカメラの位置および姿勢が紐付けられている。カメラの位置は、例えばＧＰＳ（Global Positioning System）から取得した位置情報を用いて特定することができる。カメラの姿勢は、例えばジャイロセンサから取得したピッチ方向の角度、ロール方向の角度、およびヨー方向の角度を用いて特定することができる。
【００２４】
インスタンスデータ取得部３は、入力画像取得部２が取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータをインスタンスデータ記憶部１０から取得する。インスタンスデータ記憶部１０は、例えば、ハードディスクまたは半導体メモリ等の記憶装置から構成されており、入力画像記憶部９に記憶されている各入力画像に対応するインスタンスデータを記憶している。すなわち、インスタンスデータ記憶部１０は、入力画像記憶部９に記憶されている各入力画像に対応付けられたインスタンスデータを記憶している。インスタンスデータは、公知のオーサリング技術（例えば、特許文献１参照）を用いて開発者によって手動で生成される。また、インスタンスデータの生成時に用いた画像は、入力画像として入力画像記憶部９に記憶される。
【００２５】
入力画像差分算出部４は、入力画像取得部２が取得した各入力画像の差分を入力画像差分として算出する。インスタンスデータ差分算出部５は、インスタンスデータ取得部３が取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出する。
【００２６】
補正パラメータ算出部６は、入力画像差分算出部４が算出した入力画像差分と、インスタンスデータ差分算出部５が算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出する。プログラム生成部８は、補正パラメータ算出部６が算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成する。
【００２７】
図３は、拡張現実コンテンツ生成装置７のハードウェア構成の一例を示すブロック図である。なお、拡張現実コンテンツ生成装置１についても同様である。
【００２８】
拡張現実コンテンツ生成装置７における入力画像取得部２、インスタンスデータ取得部３、入力画像差分算出部４、インスタンスデータ差分算出部５、補正パラメータ算出部６、およびプログラム生成部８の各機能は、処理回路により実現される。すなわち、拡張現実コンテンツ生成装置７は、入力画像を取得し、インスタンスデータを取得し、入力画像差分を算出し、インスタンスデータ差分を算出し、補正パラメータを算出し、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成するための処理回路を備える。処理回路は、メモリ１２に格納されたプログラムを実行するプロセッサ１１（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）である。
【００２９】
拡張現実コンテンツ生成装置７における入力画像取得部２、インスタンスデータ取得部３、入力画像差分算出部４、インスタンスデータ差分算出部５、補正パラメータ算出部６、およびプログラム生成部８の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１２に格納される。処理回路は、メモリ１２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、拡張現実コンテンツ生成装置７は、入力画像を取得するステップ、インスタンスデータを取得するステップ、入力画像差分を算出するステップ、インスタンスデータ差分を算出するステップ、補正パラメータを算出するステップ、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成するステップが結果的に実行されることになるプログラムを格納するためのメモリ１２を備える。また、これらのプログラムは、入力画像取得部２、インスタンスデータ取得部３、入力画像差分算出部４、インスタンスデータ差分算出部５、補正パラメータ算出部６、およびプログラム生成部８の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、または、今後使用されるあらゆる記憶媒体であってもよい。
【００３０】
＜動作＞
次に、拡張現実コンテンツ生成装置７の動作について説明する。
【００３１】
図４は、拡張現実コンテンツ生成装置７の動作の一例を示すフローチャートである。なお、以下では、拡張現実コンテンツ生成装置７は車両に備えられているものとする。
【００３２】
ステップＳ１１において、入力画像取得部２は、同じ対象で見え方が異なる複数の入力画像を入力画像記憶部９から取得する。例えば、入力画像取得部２は、図５に示す入力画像１３と、図６に示す入力画像１４とを入力画像記憶部９から取得する。入力画像１３および入力画像１４は、同じ対象である交差点を含んでいるが見え方が異なっている。
【００３３】
ステップＳ１２において、インスタンスデータ取得部３は、各入力画像に対して配置するインスタンスデータをインスタンスデータ記憶部１０から取得する。例えば、インスタンスデータ取得部３は、図７に示すインスタンスデータ１５と、図８に示すインスタンスデータ１６とをインスタンスデータ記憶部１０から取得する。インスタンスデータ１５は、図５に示す入力画像１３に対して配置するインスタンスデータであり、各道路に対応して配置された「First Street」および「Second Street」である。インスタンスデータ１６は、図６に示す入力画像１４に対して配置するインスタンスデータであり、並べて配置された「First Street」および「Second Street」である。
【００３４】
ステップＳ１３において、入力画像差分算出部４は、入力画像取得部２が取得した各入力画像の差分を入力画像差分として算出する。具体的には、入力画像差分算出部４は、例えば入力画像取得部２が取得した入力画像１３と入力画像１４とを比較し、位置および姿勢の変化を入力画像差分として算出する。入力画像差分算出部４が算出した入力画像差分から、例えば、車両が前方に１００ｍ下ったことが分かる。
【００３５】
なお、位置および姿勢の変化は、入力画像１３，１４の各々に紐付けられている位置および姿勢の情報を用いて算出してもよい。また、入力画像差分算出部４は、公知の画像認識アルゴリズムを用いて入力画像差分を算出してもよい。入力画像差分算出部４は、さらに地図情報を用いて入力画像差分を算出してもよい。この場合、位置の変化をさらに精度良く求めることができる。
【００３６】
ステップＳ１４において、インスタンスデータ差分算出部５は、インスタンスデータ取得部３が取得した各インスタンスデータの差分をインスタンスデータ差分として算出する。具体的には、インスタンスデータ差分算出部５は、例えばインスタンスデータ取得部３が取得したインスタンスデータ１５とインスタンスデータ１６とを比較し、インスタンスデータの配置の変化をインスタンスデータ差分として算出する。インスタンスデータ差分算出部５が算出したインスタンスデータ差分から、例えば、インスタンスデータ１５のときは各道路に対応する位置に「First Street」および「Second Street」を配置し、インスタンスデータ１６のときは各道路に対応する位置ではないが見やすいように「First Street」および「Second Street」を並べて配置することが分かる。なお、インスタンスデータ差分算出部５は、公知のｋ近傍法または最近傍法を含むアルゴリズムを用いてインスタンスデータ差分を算出してもよい。
【００３７】
ステップＳ１５において、補正パラメータ算出部６は、入力画像差分算出部４が算出した入力画像差分と、インスタンスデータ差分算出部５が算出したインスタンスデータ差分とに基づいて、インスタンスデータの配置の仕方を補正する補正パラメータを算出する。具体的には、補正パラメータ算出部６は、例えば、入力画像１３の状態から入力画像１４の状態に変化する場合において、インスタンスデータ１５からインスタンスデータ１６までの間にインスタンスデータの配置をどのように変化させるのか決定し、これを補正パラメータとして算出する。例えば、補正パラメータ算出部６は、入力画像１３の状態から予め定められた距離を進んだときに、図７に示すインスタンスデータ１５の配置から図８に示すインスタンスデータ１６の配置に切り替わるような補正パラメータを算出する。また、補正パラメータ算出部６は、入力画像１３の状態から入力画像１４の状態になるまでの間、図７に示すインスタンスデータ１５の配置から図８に示すインスタンスデータ１６の配置となるようにインスタンスデータの位置が徐々に変化するような補正パラメータを算出してもよい。
【００３８】
なお、補正パラメータ算出部６は、公知のｋ近傍法または最近傍法を含むアルゴリズムを用いて補正パラメータを算出してもよい。補正パラメータ算出部６は、インスタンスデータの位置だけでなく、インスタンスデータの形状または色などを変化させるような補正パラメータを算出してもよい。
【００３９】
ステップＳ１６において、プログラム生成部８は、補正パラメータ算出部６が算出した補正パラメータに基づいて、画像に対してインスタンスデータを配置する処理を実行するためのプログラムを生成する。プログラム生成部８が生成したプログラムは、拡張現実コンテンツを表示する装置に組み込まれるプログラムである。なお、プログラム生成部８は、公知の技術を用いてプログラムを生成する。
【００４０】
プログラム生成部８が生成したプログラムを実行した場合、例えば図５に示す入力画像１３に含まれる交差点と同じ交差点があり、かつ入力画像１３と同じ見え方をする画像をカメラが撮影すると、図７に示すインスタンスデータ１５が表示される。そして、そこからさらに予め定められた距離を進んだときに図８に示すインスタンスデータ１６を表示する。または、図８に示す入力画像１４と同じ見え方をする画像をカメラが撮影するまでの間、図７に示すインスタンスデータ１５の配置から図８に示すインスタンスデータ１６の配置となるようにインスタンスデータの位置が徐々に変化するように表示する。
【００４１】
＜変形例１＞
カメラの位置および姿勢によっては、対象とする建物が他の建物に隠れる場合があり、このような場合に対象とする建物に対して当該建物の名称をインスタンスデータとして表示しても、対象とする建物が分かりづらいことがある。従って、カメラの位置および姿勢、すなわち対象とする建物の見え方に応じてインスタンスデータの配置の仕方を変えることは有用である。
【００４２】
変形例１による拡張現実コンテンツ生成装置の構成は図２と同様であり、動作は図４と同様である。入力画像記憶部９には、例えば、図９に示す入力画像１７と、図１０に示す入力画像１８とが記憶されている。入力画像１７および入力画像１８は、同じ対象である建物を含んでいるが見え方が異なっている。
【００４３】
また、インスタンスデータ記憶部１０は、図１１に示すインスタンスデータ１９と、図１２に示すインスタンスデータ２０とを記憶している。インスタンスデータ１９は、図９に示す入力画像１７に対して配置するインスタンスデータであり、対象となる建物を指し示す吹き出し形状で配置されている。インスタンスデータ２０は、対象となる建物に対して重なるように配置されている。
【００４４】
プログラム生成部８が生成したプログラムを実行した場合、例えば図９に示す入力画像１７に含まれる建物と同じ建物があり、かつ入力画像１７と同じ見え方をする画像をカメラが撮影すると、図１１に示すインスタンスデータ１９が表示される。そして、そこからさらに予め定められた距離を進んだときに図１２に示すインスタンスデータ２０を表示する。または、図１０に示す入力画像１８と同じ見え方をする画像をカメラが撮影するまでの間、図１１に示すインスタンスデータ１９の配置から図１２に示すインスタンスデータ２０の配置となるようにインスタンスデータの位置が徐々に変化するように表示する。
【００４５】
＜変形例２＞
＜構成＞
図１３は、変形例２による拡張現実コンテンツ生成装置２１の構成の一例を示すブロック図である。
【００４６】
図１３に示すように、拡張現実コンテンツ生成装置２１は、図２に示す拡張現実コンテンツ生成装置７が備えているプログラム生成部８に代えて仕様書生成部２２を備えることを特徴としている。その他の構成は、図２に示す拡張現実コンテンツ生成装置７と同様であるため、ここでは詳細な説明を省略する。
【００４７】
仕様書生成部２２は、補正パラメータ算出部６が算出した補正パラメータに基づいて、インスタンスデータの配置の変化を示す仕様書を生成する。仕様書としては、例えば、Ｆｌａｓｈ（登録商標）アニメ、またはＰｏｗｅｒＰｏｉｎｔ（登録商標）などが挙げられる。
【００４８】
拡張現実コンテンツ生成装置２１における仕様書生成部２２の機能は、処理回路により実現される。すなわち、拡張現実コンテンツ生成装置２１は、インスタンスデータの配置の変化を示す仕様書を生成するための処理回路を備える。処理回路は、図３に示すようなメモリ１２に格納されたプログラムを実行するプロセッサである。なお、拡張現実コンテンツ生成装置２１の他の各機能については、図２に示す拡張現実コンテンツ生成装置７と同様である。
【００４９】
拡張現実コンテンツ生成装置２１における仕様書生成部２２の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。図３に示すように、ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１２に格納される。処理回路は、メモリ１２に記憶されたプログラムを読み出して実行することにより、仕様書生成部２２の機能を実現する。すなわち、拡張現実コンテンツ生成装置２１は、インスタンスデータの配置の変化を示す仕様書を生成するステップが結果的に実行されることになるプログラムを格納するためのメモリ１２を備える。また、これらのプログラムは、仕様書生成部２２の手順または方法をコンピュータに実行させるものであるともいえる。なお、拡張現実コンテンツ生成装置２１の他の各機能については、図２に示す拡張現実コンテンツ生成装置７と同様である。
【００５０】
＜動作＞
図１４は、拡張現実コンテンツ生成装置２１の動作の一例を示すフローチャートである。図１４のステップＳ２１〜ステップＳ２５は、図４のステップＳ１１〜ステップＳ１５と同様であるため、ここでは説明を省略する。以下では、ステップＳ２６について説明する。
【００５１】
ステップＳ２６において、仕様書生成部２２は、補正パラメータ算出部６が算出した補正パラメータに基づいて、インスタンスデータの配置の変化を示す仕様書を生成する。
【００５２】
仕様書生成部２２で生成した仕様書は、例えば顧客に提示することができる。従って、図２に示すプログラム生成部８のように装置に組み込むプログラムを生成する前の段階で、インスタンスデータの配置の仕方について顧客に確認を取りながら作業を進めることができる。
【００５３】
なお、図１３に示す拡張現実コンテンツ生成装置２１は、図２に示すプログラム生成部８をさらに備えてもよい。この場合、仕様書生成部２２で生成した仕様書を用いて、インスタンスデータの配置の仕方について顧客に確認を取りながら作業を進め、最終的に決定したインスタンスデータの配置の仕方を実行するプログラムをプログラム生成部８で生成することができる。
【００５４】
以上のことから、本実施の形態によれば、同じ対象で見え方が異なる各入力画像の差分である入力画像差分を算出し、各入力画像に対するインスタンスデータの差分であるインスタンスデータ差分を算出し、入力画像差分とインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出している。従って、カメラの位置および姿勢に応じてインスタンスデータの配置の仕方を、従来のように手動ではなく自動で決定することが可能となる。これにより、拡張現実コンテンツを効率良く生成することができる。
【００５５】
なお、上記では、入力画像記憶部９に記憶される入力画像にはカメラの位置および姿勢が紐付けられている場合について説明したが、これに限るものではない。例えば、カメラの位置および姿勢に加えて、カメラで撮影した時刻を入力画像に紐付けてもよい。同じ対象であっても時間帯によって見え方が異なる場合において、インスタンスデータの配置の仕方を変えることができる。
【００５６】
入力画像は、カメラが撮影した画像であるものとして説明したが、これに限るものではない。例えば、十字路、Ｔ字路、またはＹ字路などを手書きした画像でもよい。
【００５７】
図２では、入力画像記憶部９およびインスタンスデータ記憶部１０は、拡張現実コンテンツ生成装置７に備えられている場合を示しているが、これに限るものではない。入力画像記憶部９およびインスタンスデータ記憶部１０の一方または両方が、拡張現実コンテンツ生成装置７の外部に設けられてもよい。また、入力画像記憶部９およびインスタンスデータ記憶部１０は、一体であってもよい。
【００５８】
以上で説明した拡張現実コンテンツ生成装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）および携帯通信端末（例えば、携帯電話、スマートフォン、およびタブレット端末など）、並びに車両の外部に設けられるサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、拡張現実コンテンツ生成装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。
【００５９】
具体的には、一例として、拡張現実コンテンツ生成装置の機能をサーバに配置することができる。例えば、図１５に示すように、サーバ２３は、入力画像取得部２、インスタンスデータ取得部３、入力画像差分算出部４、インスタンスデータ差分算出部５、入力画像記憶部９、およびインスタンスデータ記憶部１０を備えている。また、ユーザ側は拡張現実コンテンツ生成部２４を備えている。拡張現実コンテンツ生成部２４は、補正パラメータ算出部６およびプログラム生成部８を備えている。このような構成とすることによって、拡張現実コンテンツ生成システムを構築することができる。
【００６０】
このように、拡張現実コンテンツ生成システムの各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。
【００６１】
また、上記の実施の形態における動作を実行するソフトウェアを、例えばサーバに組み込んでもよい。このソフトウェアをサーバが実行することにより実現される拡張現実コンテンツ生成方法は、同じ対象で見え方が異なる複数の画像を入力画像として取得し、取得した各入力画像に対して配置する拡張現実コンテンツのインスタンスデータを取得し、取得した各入力画像の差分を入力画像差分として算出し、取得した各入力画像に対するインスタンスデータの差分をインスタンスデータ差分として算出し、算出した入力画像差分と、算出したインスタンスデータ差分とに基づいて、画像に対するインスタンスデータの配置の仕方を補正する補正パラメータを算出する。
【００６２】
このように、上記の実施の形態における動作を実行するソフトウェアをサーバに組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。
【００６３】
なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
【００６４】
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【００６５】
１  拡張現実コンテンツ生成装置、２  入力画像取得部、３  インスタンスデータ取得部、４  入力画像差分算出部、５  インスタンスデータ差分算出部、６  補正パラメータ算出部、７  拡張現実コンテンツ生成装置、８  プログラム生成部、９  入力画像記憶部、１０  インスタンスデータ記憶部、１１  プロセッサ、１２  メモリ、１３，１４  入力画像、１５，１６  インスタンスデータ、１７，１８  入力画像、１９，２０  インスタンスデータ、２１  拡張現実コンテンツ生成装置、２２  仕様書生成部、２３  サーバ、２４  拡張現実コンテンツ生成部。
【図１】
0006727448.tif 000002
【図２】
0006727448.tif 000003
【図３】
0006727448.tif 000004
【図４】
0006727448.tif 000005
【図５】
0006727448.tif 000006
【図６】
0006727448.tif 000007
【図７】
0006727448.tif 000008
【図８】
0006727448.tif 000009
【図９】
0006727448.tif 000010
【図１０】
0006727448.tif 000011
【図１１】
0006727448.tif 000012
【図１２】
0006727448.tif 000013
【図１３】
0006727448.tif 000014
【図１４】
0006727448.tif 000015
【図１５】
0006727448.tif 000016