(57)【要約】      （修正有）【課題】オブジェクトデータの表示サイズの設定を簡単に行うことができる表示制御プログラム等を提供する。【解決手段】表示制御プログラムは、情報処理装置１００がカメラ１１１により撮像された撮像画像を受け付けると、判定部１３１に撮像画像に基準物の画像が含まれるか否かを判定させ、基準物の画像が含まれる場合、生成部１３２に基準物の画像の形状に基づき、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を各部分に対応付ける情報を生成させ、撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、取得部１３３に生成した情報を参照して、いずれかの部分に対応付けられた離間度に応じた情報を取得させ、表示制御部１３４に取得した離間度に応じた情報に応じたサイズでオブジェクトデータを撮像画像上に表示させる。【選択図】図１
2018041201.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定し、
前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成し、
前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得し、
取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【請求項２】
前記離間度に応じた情報は、前記離間度に応じたオブジェクトデータのサイズ情報である、
ことを特徴とする請求項１に記載の表示制御プログラム。
【請求項３】
前記生成する処理は、前記基準物の画像の四辺のうち、辺を延長した線分が交差する二辺に基づき消失点を設定し、該消失点に基づいて、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を生成する、
ことを特徴とする請求項１または２に記載の表示制御プログラム。
【請求項４】
前記表示する処理は、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を前記撮像画像上に表示する、
ことを特徴とする請求項１〜３のいずれか１つに記載の表示制御プログラム。
【請求項５】
前記表示する処理は、前記基準物の画像が壁面にある場合に、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を床面に表示する、
ことを特徴とする請求項１〜４のいずれか１つに記載の表示制御プログラム。
【請求項６】
撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定し、
前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成し、
前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得し、
取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【請求項７】
撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定する判定部と、
前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成する生成部と、
前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得する取得部と、
取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する表示制御部と、
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御プログラム、表示制御方法および情報処理装置に関する。
【背景技術】
【０００２】
近年、例えばスマートフォンやタブレット端末等を用いて、撮像された画像上にオブジェクトデータを重畳表示させるＡＲ（Augmented  Reality）技術が提案されている。ＡＲ技術では、オブジェクトデータの表示基準となるマーカを、例えば、物品や床面等に設置する。設置されたマーカに対応するコンテンツを生成する際には、マーカが撮像された画像に対して、オブジェクトデータを配置するオーサリングが行われる。オーサリングにおいて、撮像された画像が奥行を持った画像である場合には、配置するオブジェクトデータの表示サイズを奥行に合わせて拡縮することが行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７１８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、コンテンツを生成するユーザが手動でオブジェクトデータを拡縮すると、例えば、多数のオブジェクトデータを配置する場合に、それぞれのオブジェクトデータの表示サイズを設定する操作が必要となる。このため、多数のオブジェクトデータを配置しようとすると、操作が煩雑になり、ユーザの手間が増大する。
【０００５】
一つの側面では、本発明は、オブジェクトデータの表示サイズの設定を簡単に行うことができる表示制御プログラム、表示制御方法および情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
一つの態様では、表示制御プログラムは、撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定する処理をコンピュータに実行させる。表示制御プログラムは、前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成する処理をコンピュータに実行させる。表示制御プログラムは、前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得する処理をコンピュータに実行させる。表示制御プログラムは、取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する処理をコンピュータに実行させる。
【発明の効果】
【０００７】
オブジェクトデータの表示サイズの設定を簡単に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例の表示制御システムの構成の一例を示すブロック図である。
【図２】図２は、オブジェクトデータ記憶部の一例を示す図である。
【図３】図３は、パース情報記憶部の一例を示す図である。
【図４】図４は、消失点の設定の一例を示す図である。
【図５】図５は、パースの一例を示す図である。
【図６】図６は、奥行のレベルの一例を示す図である。
【図７】図７は、奥行のレベルを設定して拡大したパースの一例を示す図である。
【図８】図８は、壁面のマーカに対応する床面のパースの一例を示す図である。
【図９】図９は、オブジェクトデータの表示サイズの変更の一例を示す図である。
【図１０】図１０は、オブジェクトデータの表示サイズの変更の他の一例を示す図である。
【図１１】図１１は、実施例のパース生成処理の一例を示すフローチャートである。
【図１２】図１２は、実施例の配置処理の一例を示すフローチャートである。
【図１３】図１３は、表示制御プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本願の開示する表示制御プログラム、表示制御方法および情報処理装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
【実施例】
【００１０】
図１は、実施例の表示制御システムの構成の一例を示すブロック図である。図１に示す表示制御システム１は、情報処理装置１００と、サーバ２００とを有する。情報処理装置１００は、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。なお、図１では、情報処理装置１００を１つとして示したが、情報処理装置１００の数は限定されず、任意の数の情報処理装置１００を有してもよい。
【００１１】
情報処理装置１００とサーバ２００との間は、ネットワークＮを介して相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネットを始め、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。
【００１２】
情報処理装置１００は、撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定する。情報処理装置１００は、基準物の画像が含まれる場合、基準物の画像の形状に基づき、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成する。情報処理装置１００は、撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した情報を参照して、いずれかの部分に対応付けられた離間度に応じた情報を取得する。情報処理装置１００は、取得した離間度に応じた情報に応じたサイズでオブジェクトデータを撮像画像上に表示する。これにより、情報処理装置１００は、オブジェクトデータの表示サイズの設定を簡単に行うことができる。
【００１３】
サーバ２００は、例えば、ある工場における設備点検用のＡＲコンテンツをオブジェクトデータとして管理するデータベースを有する。サーバ２００は、情報処理装置１００の求めに応じて、ネットワークＮを介して、オブジェクトデータを情報処理装置１００に送信する。また、サーバ２００は、情報処理装置１００で生成されたパース情報を記憶するデータベースを有する。サーバ２００は、情報処理装置１００の求めに応じて、ネットワークＮを介して、パース情報を情報処理装置１００に送信する。
【００１４】
次に、情報処理装置１００の構成について説明する。図１に示すように、情報処理装置１００は、通信部１１０と、カメラ１１１と、表示操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００１５】
通信部１１０は、例えば、第３世代移動通信システム、ＬＴＥ（Long  Term  Evolution）等の携帯電話回線および無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、ネットワークＮを介してサーバ２００と接続され、サーバ２００との間で情報の通信を司る通信インタフェースである。通信部１１０は、制御部１３０から入力されたデータ取得指示、または、生成されたパース情報を、ネットワークＮを介して、サーバ２００に送信する。また、通信部１１０は、データ取得指示に応じたオブジェクトデータを、ネットワークＮを介して、サーバ２００から受信する。通信部１１０は、受信したオブジェクトデータを制御部１３０に出力する。さらに、通信部１１０は、パース情報取得指示を、ネットワークＮを介して、サーバ２００に送信し、パース情報取得指示に応じたパース情報を、ネットワークＮを介して、サーバ２００から受信するようにしてもよい。通信部１１０は、受信したパース情報を制御部１３０に出力する。
【００１６】
カメラ１１１は、撮像装置の一例であり、例えば情報処理装置１００の背面、つまり表示操作部１１２と反対側の面に設けられ、周囲を撮像する。カメラ１１１は、例えば、撮像素子としてＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサまたはＣＣＤ（Charge  Coupled  Device）イメージセンサ等を用いて、画像を撮像する。カメラ１１１は、撮像素子が受光した光を光電変換しＡ／Ｄ（Analog／Digital）変換を行って画像を生成する。カメラ１１１は、生成した画像を制御部１３０に出力する。
【００１７】
表示操作部１１２は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１２は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１２は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１２は、表示デバイスと入力デバイスとが一体化される。表示操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。
【００１８】
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１２０は、オブジェクトデータ記憶部１２１と、パース情報記憶部１２２とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
【００１９】
オブジェクトデータ記憶部１２１は、サーバ２００から取得したオーサリングに用いるオブジェクトデータを記憶する。図２は、オブジェクトデータ記憶部の一例を示す図である。図２に示すように、オブジェクトデータ記憶部１２１は、「オブジェクトＩＤ（Identifier）」、「オブジェクトデータ」といった項目を有する。オブジェクトデータ記憶部１２１は、例えばオブジェクトデータごとに１レコードとして記憶する。
【００２０】
「オブジェクトＩＤ」は、オブジェクトデータ、つまりＡＲコンテンツを識別する識別子である。「オブジェクトデータ」は、サーバ２００から取得したオブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりＡＲコンテンツを構成するデータファイルである。
【００２１】
図１の説明に戻って、パース情報記憶部１２２は、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報であるパース情報を記憶する。なお、撮像画像内の各部分は、例えば、撮像画像上のピクセル等の位置を示す。また、被写体位置は、撮像画像に含まれる各部分に対応する実世界の位置を示す。図３は、パース情報記憶部の一例を示す図である。図３に示すように、パース情報記憶部１２２は、「ＡＲマーカ」、「マーカＮｏ．」、「パース」、「奥行のレベル」、「拡縮比率」といった項目を有する。パース情報記憶部１２２は、例えばマーカＮｏ．ごとに１レコードとして記憶する。
【００２２】
「ＡＲマーカ」は、基準物であるマーカの画像を示す情報である。「マーカＮｏ．」は、マーカを識別する識別子である。「パース」は、パース、つまり透視図の消失点座標と軸情報とを示す情報である。「奥行のレベル」は、パースにおける奥行を特定する情報である。「拡縮比率」は、パースの拡大または縮小の比率を示す情報である。
【００２３】
制御部１３０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、判定部１３１と、生成部１３２と、取得部１３３と、表示制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００２４】
また、制御部１３０は、オーサリングを行うために、予めサーバ２００からオーサリングに用いるオブジェクトデータを取得して、オブジェクトデータ記憶部１２１に記憶する。
【００２５】
判定部１３１は、例えば、ユーザにより撮像指示が入力されると、カメラ１１１に対して撮像を指示し、カメラ１１１から撮像画像が入力される。判定部１３１は、入力された撮像画像、例えば静止画像を受け付ける。判定部１３１は、受け付けた撮像画像に基準物の画像、つまりマーカが含まれるか否かを判定する。判定部１３１は、撮像画像にマーカが含まれない場合、引き続き、撮像画像の入力を待機する。判定部１３１は、撮像画像にマーカが含まれる場合、つまり、撮像画像からマーカを検出すると、生成部１３２に対してパース生成指示を出力する。なお、判定部１３１は、撮像画像にマーカが含まれる場合には、オブジェクトデータの配置が終わるまで、当該撮像画像を表示操作部１１２に表示し続ける。
【００２６】
生成部１３２は、判定部１３１からパース生成指示が入力されると、マーカの形状に基づいて、パース情報を生成する。すなわち、生成部１３２は、撮像画像に基準物の画像が含まれる場合、基準物の画像の形状に基づき、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成する。
【００２７】
生成部１３２は、まず、検出したマーカの四辺を検出する。生成部１３２は、検出した四辺のうち、辺を延長した線分が交差する二辺から消失点を設定する。また、生成部１３２は、設定した消失点から二辺を延長し、パースの二軸を生成する。なお、生成部１３２は、マーカの四辺の検出前に、マーカの歪を補正するようにしてもよい。
【００２８】
ここで、図４を用いて消失点の設定およびパースの二軸の生成について説明する。図４は、消失点の設定の一例を示す図である。図４に示すように、生成部１３２は、マーカ２０の四隅の一点の座標を原点としたマーカ座標系を設定する。生成部１３２は、設定したマーカ座標系におけるマーカ２０の四隅の座標に基づいて、下記の式（１）および式（２）を用いて消失点２１を設定する。ここで、マーカ２０の四隅の座標は、例えば、（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ３，ｙ０）とする。また、ｐは、消失点２１のＸ座標を示し、ｑは、消失点２１のＹ座標を示す。
【００２９】
【数１】
2018041201.tif 000003
【数２】
2018041201.tif 000004
【００３０】
すなわち、生成部１３２は、マーカ２０の（ｘ０，ｙ０）と（ｘ１，ｙ１）とを結ぶ辺を延長した線分２２と、（ｘ２，ｙ１）と（ｘ３，ｙ０）とを結ぶ辺を延長した線分２３との交点を消失点２１とする。
【００３１】
生成部１３２は、設定した消失点２１から二辺を延長してパースの二軸を生成する。つまり、生成部１３２は、線分２２と線分２３とをパースの二軸とする。生成部１３２は、例えば、（ｘ１，ｙ１）、（ｘ２，ｙ１）、および、線分２２上および線分２３上のＹ軸の値が同じである任意の座標を用いてパースを設定する。なお、パースの二軸は、マーカ２０の辺から消失点２１までとしてもよい。
【００３２】
図５は、パースの一例を示す図である。図５に示すパース２４は、図４において、（ｘ１，ｙ１）、（ｘ２，ｙ１）、および、線分２２上および線分２３上のＹ軸の値が同じである任意の座標を用いて設定したパースの一例である。
【００３３】
次に、生成部１３２は、マーカ２０の座標に基づいて、奥行を検出する。生成部１３２は、例えば、図５に示すパース２４の軸と交差する二辺、例えば、辺２４ａおよび辺２４ｂの比率に基づいて、奥行を検出する。生成部１３２は、検出した奥行、つまり、マーカ２０と消失点２１との距離に基づいて、パースに奥行のレベルｎを設定する。ここで、奥行のレベルｎは、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報である。すなわち、奥行のレベルｎが設定されたパースは、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報である。言い換えると、生成部１３２は、基準物の画像の四辺のうち、辺を延長した線分が交差する二辺に基づき消失点を設定し、該消失点に基づいて、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を各部分に対応付ける情報を生成する。
【００３４】
図６は、奥行のレベルの一例を示す図である。図６に示すように、生成部１３２は、例えば、パース２４に奥行のレベルｎを設定する。生成部１３２は、奥行のレベルｎにおける線分の長さａｎとして、例えば、ａｎ＝２／（ｎ（ｎ＋１））といった式を設定する。なお、ｎは、任意の数であるが、例えば、算出した線分の長さａｎの値が、パース２４の消失点２１側の辺、例えば辺２４ａよりも小さくなる値の１つ前の値に設定する。なお、ｎは、パース２４の奥行側を消失点２１に設定した場合には、例えば、表示画面上で表示可能な線分の長さａｎに対応するｎとすることができる。また、生成部１３２は、奥行のレベルｎにおける線分の長さａｎとして、ａｎ＝２／（ｎ＋１），ａｎ＝３／（ｎ＋２），ａｎ＝４／（ｎ＋３）といった式を用いてもよい。
【００３５】
生成部１３２は、奥行のレベルｎを設定したパースについて、拡縮比率を設定する。生成部１３２は、例えば、ユーザが指を用いて表示操作部１１２上で行うピンチインまたはピンチアウト操作に基づいて、パースを拡縮して表示する。図７は、奥行のレベルを設定して拡大したパースの一例を示す図である。図７に示すパース２５は、図６に示すパース２４に対して奥行のレベル２６を設定して拡大したパースである。パース２５は、マーカ２０の手前側にも拡大可能であり、図７に示すように、パース２５の略中心にマーカ２０が位置するようにすることもできる。生成部１３２は、例えば、ユーザが指を離した時点のパースの大きさと、元のパースの大きさとの比率を拡縮比率として設定する。生成部１３２は、設定した奥行のレベルおよび拡縮比率を含むパースとマーカとを対応付けてパース情報を生成し、生成したパース情報をパース情報記憶部１２２に記憶する。なお、奥行のレベルおよび拡縮比率が設定されたパースは、引き続き表示操作部１１２に表示される。すなわち、生成部１３２は、被写体位置までの離間度に応じた情報を各部分に対応付ける情報を撮像画像上に表示する。
【００３６】
また、生成部１３２は、マーカが壁面にある場合には、パースを床面に配置してもよい。図８は、壁面のマーカに対応する床面のパースの一例を示す図である。図８の例では、壁面にあるマーカ４０に対して、図５および図６と同様に、図示しないパースを壁面に設定する。生成部１３２は、図示しない壁面のパースと消失点が同じである床面のパース４１を設定する。図８に示すように、生成部１３２は、壁面のマーカ４０に対して床面にパース４１を設定できる。すなわち、生成部１３２は、基準物の画像が壁面にある場合に、被写体位置までの離間度に応じた情報を各部分に対応付ける情報、つまりパースを床面に表示する。なお、パースを床面に表示する処理は、表示制御部１３４で行うようにしてもよい。また、生成部１３２は、壁面のマーカに対して壁面にパースを設定してもよい。
【００３７】
図１の説明に戻って、取得部１３３は、パース情報を生成すると、ユーザによる撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出する。取得部１３３は、当該操作を検出すると、パース情報記憶部１２２を参照して、いずれかの部分に対応付けられた離間度に応じた情報を取得する。
【００３８】
すなわち、取得部１３３は、ユーザの操作に基づいて、撮像画像に配置するオブジェクトデータの選択を受け付ける。取得部１３３は、オブジェクトデータの選択を受け付けると、パース情報記憶部１２２を参照して、パースの拡縮比率が設定されているか否かを判定する。取得部１３３は、パースの拡縮比率が設定されている場合には、設定済の拡縮比率を適用する。取得部１３３は、パースの拡縮比率が設定されていない場合には、ユーザの操作に基づいて、拡縮比率を設定する。取得部１３３は、選択を受け付けたオブジェクトデータの表示指示を表示制御部１３４に出力する。
【００３９】
取得部１３３は、ユーザの操作によって、オブジェクトデータが撮像画像内で移動されると、パース情報記憶部１２２を参照して、当該操作に応じて移動されるオブジェクトデータの撮像画像内の部分に対応する奥行のレベルを取得する。すなわち、取得部１３３は、ユーザの操作に応じて、オブジェクトデータが対応付けられる撮像画像内の部分に対応付けられた離間度に応じた情報、つまり奥行のレベルを取得する。取得部１３３は、取得した奥行のレベルを表示制御部１３４に出力する。
【００４０】
取得部１３３は、ユーザからオブジェクトデータの表示サイズを確定させる操作が入力されると、当該オブジェクトデータの座標情報と奥行のレベルとを確定する。すなわち、取得部１３３は、オブジェクトデータの座標情報とパース情報とを対応付ける。取得部１３３は、対応付けたオブジェクトデータの座標情報とパース情報とを、通信部１１０を介して、サーバ２００に送信する。
【００４１】
なお、取得部１３３は、一度オーサリングを行ったマーカおよびオブジェクトデータについて再編集する場合には、パース情報取得指示を、ネットワークＮを介してサーバ２００に送信する。取得部１３３は、ネットワークＮを介してサーバ２００から、パース情報取得指示に応じたパース情報を取得し、取得したパース情報に基づいて、オブジェクトデータの再編集を行うことができる。
【００４２】
表示制御部１３４は、取得部１３３から表示指示が入力されると、表示指示の対象であるオブジェクトデータを、例えば、撮像画像内のパースの最も手前側に表示する。なお、表示制御部１３４は、当該オブジェクトデータを撮像画像内の任意の場所に表示するようにしてもよい。
【００４３】
表示制御部１３４は、取得部１３３からユーザの操作に応じた奥行のレベルが入力されると、入力された奥行のレベルに合わせて、オブジェクトデータの表示サイズを変更して表示する。すなわち、表示制御部１３４は、オブジェクトデータがパースの前後に移動されると、オブジェクトデータの表示サイズを、手間側で大きく、奥側で小さくなるように変更して表示する。つまり、奥行のレベルは、離間度に応じたオブジェクトデータのサイズ情報である。
【００４４】
ここで、図９および図１０を用いてオブジェクトデータの表示サイズの変更について説明する。図９は、オブジェクトデータの表示サイズの変更の一例を示す図である。図９の例では、マーカ３０に対してパース３１が設定されている。また、ユーザの操作に基づいて配置されたオブジェクトデータ３２ａは、最も手前側の奥行のレベル３１ａに応じた表示サイズで表示される。次に、オブジェクトデータ３２ａは、ユーザの操作によって奥側に移動されると、オブジェクトデータ３２ｂとなる。オブジェクトデータ３２ｂは、奥行のレベル３１ｂに応じた表示サイズ、すなわち、オブジェクトデータ３２ａよりも小さく表示される。
【００４５】
図１０は、オブジェクトデータの表示サイズの変更の他の一例を示す図である。図１０の例では、壁面に設置されたマーカ４０に対して床面にパース４１が設定されている。また、ユーザの操作に基づいて配置されたオブジェクトデータ４２ａは、最も手前側の奥行のレベル４１ａに応じた表示サイズで表示される。次に、オブジェクトデータ４２ａは、ユーザの操作によって奥側に移動されると、オブジェクトデータ４２ｂとなる。オブジェクトデータ４２ｂは、奥行のレベル４１ｂに応じた表示サイズ、すなわち、オブジェクトデータ４２ａよりも小さく表示される。なお、図９および図１０では、ユーザの操作により、初めに配置されるオブジェクトデータを最も手前側の奥行レベルに応じた表示サイズとしたが、任意の奥行レベルに応じた表示サイズとしてもよい。
【００４６】
次に、実施例１の表示制御システム１の動作について説明する。まず、図１１を用いてパース生成処理について説明する。図１１は、実施例のパース生成処理の一例を示すフローチャートである。
【００４７】
情報処理装置１００の判定部１３１には、カメラ１１１から撮像画像が入力される。判定部１３１は、入力された撮像画像を受け付ける。判定部１３１は、受け付けた撮像画像からマーカを検出する（ステップＳ１）。判定部１３１は、撮像画像からマーカを検出すると、生成部１３２に対してパース生成指示を出力する。
【００４８】
生成部１３２は、判定部１３１からパース生成指示が入力されると、検出したマーカの四辺を検出する（ステップＳ２）。生成部１３２は、検出した四辺のうち、辺を延長した線分が交差する二辺から消失点を設定する（ステップＳ３）。また、生成部１３２は、設定した消失点から二辺を延長し、パースの二軸を生成する（ステップＳ４）。
【００４９】
次に、生成部１３２は、マーカ２０の座標に基づいて、奥行を検出する（ステップＳ５）。生成部１３２は、検出した奥行に基づいて、パースに奥行のレベルを設定する（ステップＳ６）。生成部１３２は、奥行のレベルを設定したパースについて、拡縮比率を設定する。生成部１３２は、設定した奥行のレベルおよび拡縮比率を含むパースとマーカとを対応付けてパース情報を生成し、生成したパース情報をパース情報記憶部１２２に記憶する（ステップＳ７）。これにより、情報処理装置１００は、奥行のレベルが設定されたパースを生成することができる。
【００５０】
続いて、図１２を用いて生成したパースにオブジェクトデータを配置する配置処理について説明する。図１２は、実施例の配置処理の一例を示すフローチャートである。
【００５１】
情報処理装置１００の取得部１３３は、パース情報を生成すると、ユーザの操作に基づいて、撮像画像に配置するオブジェクトデータの選択を受け付ける（ステップＳ１１）。取得部１３３は、オブジェクトデータの選択を受け付けると、パース情報記憶部１２２を参照して、パースの拡縮比率が設定されているか否かを判定する（ステップＳ１２）。取得部１３３は、パースの拡縮比率が設定されている場合には（ステップＳ１２：肯定）、設定済の拡縮比率を適用する（ステップＳ１３）。取得部１３３は、パースの拡縮比率が設定されていない場合には（ステップＳ１２：否定）、ユーザの操作に基づいて、拡縮比率を設定する（ステップＳ１４）。取得部１３３は、選択を受け付けたオブジェクトデータの表示指示を表示制御部１３４に出力する。表示制御部１３４は、取得部１３３から表示指示が入力されると、表示指示の対象であるオブジェクトデータを撮像画像上に表示する（ステップＳ１５）。
【００５２】
取得部１３３は、ユーザの操作に応じて、オブジェクトデータが対応付けられる撮像画像内の部分に対応付けられた奥行のレベルを取得する（ステップＳ１６）。取得部１３３は、取得した奥行のレベルを表示制御部１３４に出力する。表示制御部１３４は、取得部１３３からユーザの操作に応じた奥行のレベルが入力されると、入力された奥行のレベルに合わせて、オブジェクトデータの表示サイズを変更して表示する（ステップＳ１７）。
【００５３】
取得部１３３は、ユーザからオブジェクトデータの表示サイズを確定させる操作が入力されたか否かを判定する（ステップＳ１８）。取得部１３３は、表示サイズを確定させる操作が入力されていない場合には（ステップＳ１８：否定）、ステップＳ１６に戻る。取得部１３３は、表示サイズを確定させる操作が入力された場合には（ステップＳ１８：肯定）、当該オブジェクトデータの座標情報と奥行のレベルとを確定する。すなわち、取得部１３３は、オブジェクトデータの座標情報とパース情報とを対応付ける。取得部１３３は、対応付けたオブジェクトデータの座標情報とパース情報とをサーバ２００に送信する（ステップＳ１９）。サーバ２００は、受信したオブジェクトデータの座標情報とパース情報とをデータベースに記憶する。これにより、情報処理装置１００は、オブジェクトデータの表示サイズの設定を簡単に行うことができる。すなわち、情報処理装置１００は、ユーザにより設置されたオブジェクトデータの大きさを容易に調整することができる。また、情報処理装置１００は、オブジェクトデータの大きさが操作を行うユーザに依存しないため、奥行の表現を均一化することができる。
【００５４】
このように、情報処理装置１００は、撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定する。また、情報処理装置１００は、基準物の画像が含まれる場合、基準物の画像の形状に基づき、撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成する。また、情報処理装置１００は、撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した情報を参照して、いずれかの部分に対応付けられた離間度に応じた情報を取得する。また、情報処理装置１００は、取得した離間度に応じた情報に応じたサイズでオブジェクトデータを撮像画像上に表示する。その結果、オブジェクトデータの表示サイズの設定を簡単に行うことができる。
【００５５】
また、情報処理装置１００では、離間度に応じた情報は、離間度に応じたオブジェクトデータのサイズ情報である。その結果、オブジェクトデータの表示サイズを離間度に応じて設定できる。
【００５６】
また、情報処理装置１００は、基準物の画像の四辺のうち、辺を延長した線分が交差する二辺に基づき消失点を設定し、該消失点に基づいて、被写体位置までの離間度に応じた情報を各部分に対応付ける情報を生成する。その結果、基準物の傾きに応じたパースを生成することができる。
【００５７】
また、情報処理装置１００は、被写体位置までの離間度に応じた情報を各部分に対応付ける情報を撮像画像上に表示する。その結果、奥行のレベルをユーザに判りやすく表示できる。
【００５８】
また、情報処理装置１００は、基準物の画像が壁面にある場合に、被写体位置までの離間度に応じた情報を各部分に対応付ける情報を床面に表示する。その結果、基準物が壁面にある場合でも、奥行のレベルを用いたオーサリングが行いやすくなる。
【００５９】
なお、上記実施例では、情報処理装置１００のカメラ１１１で撮像された撮像画像に対してオーサリング、つまりパース生成処理および配置処理を行ったが、これに限定されない。例えば、他の撮像装置で撮像された撮像画像に対してオーサリングを行うようにしてもよい。
【００６０】
また、上記実施例では、消失点が１つの場合について説明したが、これに限定されない。例えば、マーカが斜めに撮像されている場合では、消失点が２つできるので、２つの消失点を用いてもよいし、ユーザがパースを設定する消失点を選択するようにしてもよい。
【００６１】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、判定部１３１と生成部１３２とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
【００６２】
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【００６３】
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１３は、表示制御プログラムを実行するコンピュータの一例を示す図である。
【００６４】
図１３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、フラッシュメモリ３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
【００６５】
フラッシュメモリ３０８には、図１に示した判定部１３１、生成部１３２、取得部１３３および表示制御部１３４の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、フラッシュメモリ３０８には、オブジェクトデータ記憶部１２１、パース情報記憶部１２２、および、表示制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えばカメラ等が接続される。通信装置３０６は、例えば、図１に示した通信部１１０と同様の機能を有しネットワークＮと接続され、サーバ２００と各種情報をやりとりする。
【００６６】
ＣＰＵ３０１は、フラッシュメモリ３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した判定部１３１、生成部１３２、取得部１３３および表示制御部１３４として機能させることができる。
【００６７】
なお、上記の表示制御プログラムは、必ずしもフラッシュメモリ３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ３００がこれらから表示制御プログラムを読み出して実行するようにしてもよい。
【００６８】
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
【００６９】
（付記１）撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定し、
前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成し、
前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得し、
取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【００７０】
（付記２）前記離間度に応じた情報は、前記離間度に応じたオブジェクトデータのサイズ情報である、
ことを特徴とする付記１に記載の表示制御プログラム。
【００７１】
（付記３）前記生成する処理は、前記基準物の画像の四辺のうち、辺を延長した線分が交差する二辺に基づき消失点を設定し、該消失点に基づいて、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を生成する、
ことを特徴とする付記１または２に記載の表示制御プログラム。
【００７２】
（付記４）前記表示する処理は、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を前記撮像画像上に表示する、
ことを特徴とする付記１〜３のいずれか１つに記載の表示制御プログラム。
【００７３】
（付記５）前記表示する処理は、前記基準物の画像が壁面にある場合に、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を床面に表示する、
ことを特徴とする付記１〜４のいずれか１つに記載の表示制御プログラム。
【００７４】
（付記６）撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定し、
前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成し、
前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得し、
取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【００７５】
（付記７）前記離間度に応じた情報は、前記離間度に応じたオブジェクトデータのサイズ情報である、
ことを特徴とする付記６に記載の表示制御方法。
【００７６】
（付記８）前記生成する処理は、前記基準物の画像の四辺のうち、辺を延長した線分が交差する二辺に基づき消失点を設定し、該消失点に基づいて、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を生成する、
ことを特徴とする付記６または７に記載の表示制御方法。
【００７７】
（付記９）前記表示する処理は、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を前記撮像画像上に表示する、
ことを特徴とする付記６〜８のいずれか１つに記載の表示制御方法。
【００７８】
（付記１０）前記表示する処理は、前記基準物の画像が壁面にある場合に、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を床面に表示する、
ことを特徴とする付記６〜９のいずれか１つに記載の表示制御方法。
【００７９】
（付記１１）撮像装置により撮像された撮像画像を受け付けると、該撮像画像に基準物の画像が含まれるか否かを判定する判定部と、
前記基準物の画像が含まれる場合、前記基準物の画像の形状に基づき、前記撮像画像内の各部分に対応する被写体位置までの離間度に応じた情報を該各部分に対応付ける情報を生成する生成部と、
前記撮像画像内のいずれかの部分にオブジェクトデータを対応付ける操作を検出すると、生成した前記情報を参照して、前記いずれかの部分に対応付けられた離間度に応じた情報を取得する取得部と、
取得した前記離間度に応じた情報に応じたサイズで前記オブジェクトデータを前記撮像画像上に表示する表示制御部と、
を有することを特徴とする情報処理装置。
【００８０】
（付記１２）前記離間度に応じた情報は、前記離間度に応じたオブジェクトデータのサイズ情報である、
ことを特徴とする付記１１に記載の情報処理装置。
【００８１】
（付記１３）前記生成部は、前記基準物の画像の四辺のうち、辺を延長した線分が交差する二辺に基づき消失点を設定し、該消失点に基づいて、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を生成する、
ことを特徴とする付記１１または１２に記載の情報処理装置。
【００８２】
（付記１４）前記表示制御部は、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を前記撮像画像上に表示する、
ことを特徴とする付記１１〜１３のいずれか１つに記載の情報処理装置。
【００８３】
（付記１５）前記表示制御部は、前記基準物の画像が壁面にある場合に、前記被写体位置までの離間度に応じた情報を前記各部分に対応付ける情報を床面に表示する、
ことを特徴とする付記１１〜１４のいずれか１つに記載の情報処理装置。
【符号の説明】
【００８４】
１  表示制御システム
１００  情報処理装置
１１０  通信部
１１１  カメラ
１１２  表示操作部
１２０  記憶部
１２１  オブジェクトデータ記憶部
１２２  パース情報記憶部
１３０  制御部
１３１  判定部
１３２  生成部
１３３  取得部
１３４  表示制御部
２００  サーバ
Ｎ  ネットワーク
【図１】
2018041201.tif 000005
【図２】
2018041201.tif 000006
【図３】
2018041201.tif 000007
【図４】
2018041201.tif 000008
【図５】
2018041201.tif 000009
【図６】
2018041201.tif 000010
【図７】
2018041201.tif 000011
【図８】
2018041201.tif 000012
【図９】
2018041201.tif 000013
【図１０】
2018041201.tif 000014
【図１１】
2018041201.tif 000015
【図１２】
2018041201.tif 000016
【図１３】
2018041201.tif 000017