(57)【要約】【課題】ＡＲコンテンツの表示位置を調整した上で、さらに、ＡＲコンテンツが表示される領域の形状、大きさ、および色合いなどを考慮して、背景画像の情報に基づいたＡＲコンテンツの調整を行なうシステム、方法、およびプログラムを提供する。【解決手段】撮像された画像を取得し、前記画像内における前記ＡＲコンテンツの表示可能領域を識別し、前記表示可能領域の情報に基づき前記ＡＲコンテンツを調整し、前記調整されたＡＲコンテンツを表示する。【選択図】図４
2013210793.tif 000002
【特許請求の範囲】
【請求項１】
ＡＲコンテンツを表示するためのシステムであって、
撮像された画像を取得する画像取得部と、
前記画像内における前記ＡＲコンテンツの表示可能領域を識別する領域判定部と、
前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するＡＲコンテンツ決定部と、
前記決定された最大表示領域に前記ＡＲコンテンツを表示する表示部と
を含むことを特徴とするシステム。
【請求項２】
前記ＡＲコンテンツ決定部は、前記最大表示領域の画素数に応じて、前記ＡＲコンテンツの表示量を決定することを特徴とする請求項１に記載のシステム。
【請求項３】
前記ＡＲコンテンツ決定部は、前記最大表示領域の色の補色を、前記ＡＲコンテンツの表示色として決定することを特徴とする請求項１に記載のシステム。
【請求項４】
ＡＲコンテンツを表示するための方法であって、
撮像された画像を取得するステップと、
前記画像内における前記ＡＲコンテンツの表示可能領域を識別するステップと、
前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するステップと、
前記決定された最大表示領域に前記ＡＲコンテンツを表示するステップと
を含むことを特徴とする方法。
【請求項５】
コンピュータに、ＡＲコンテンツを表示させる方法を実行させるためのプログラムであって、前記方法は、
撮像された画像を取得するステップと、
前記画像内における前記ＡＲコンテンツの表示可能領域を識別するステップと、
前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するステップと、
前記決定された最大表示領域に前記ＡＲコンテンツを表示するステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ表示最適化のためのシステム、方法、およびプログラムに関する。より詳細には、ＡＲコンテンツを背景画像の情報に基づき調整して重畳表示するためのシステム、方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、ＡＲ（Augmented Reality）と呼ばれる、ディスプレイに表示された現実世界の画像の上に、文字や３次元画像などの付加情報（以下、ＡＲコンテンツという）を重畳表示させる技術が開発されている。特に、現実世界の画像に含まれる対象物の説明文などを重畳表示させるといった事例が見受けられる。また、ＡＲを始めとする現実世界と仮想世界を融合する技術分野において、仮想世界のコンテンツが現実世界の画像表示の妨げとならないように、仮想世界のコンテンツの表示位置を調整する技術が開発されている。例えば、特許文献１〜３に記載されるような技術が開発されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４１８２８号公報
【特許文献２】特開２００９−１３４６９３号公報
【特許文献３】特開２００５−１３５３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの技術では、コンテンツの表示位置を調整するだけであって、コンテンツそのものの調整は行なっていない。すなわち、ＡＲにおいて、背景画像である現実世界の画像の情報に基づいて、ＡＲコンテンツの表示位置を調整するだけである。ＡＲコンテンツそのものの調整は行なわれないので、ＡＲコンテンツの形状が表示される領域の形状に適さない場合や表示される領域が狭い場合は、ＡＲコンテンツの一部が欠落したり、ＡＲコンテンツが表示領域からはみ出て、背景画像である現実世界の画像の一部を隠してしまうという問題があった。また、ＡＲコンテンツと表示される領域との色合いが似ている場合は、ＡＲコンテンツが見えにくくなるという問題もあった。
【０００５】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、ＡＲコンテンツの表示位置を調整した上で、さらに、ＡＲコンテンツが表示される領域の形状、大きさ、および色合いなどを考慮して、背景画像の情報に基づいたＡＲコンテンツの調整を行なうシステム、方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、このような目的を達成するために、請求項１に記載の発明は、ＡＲコンテンツを表示するためのシステムであって、撮像された画像を取得する画像取得部と、前記画像内における前記ＡＲコンテンツの表示可能領域を識別する領域判定部と、前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するＡＲコンテンツ決定部と、前記決定された最大表示領域に前記ＡＲコンテンツを表示する表示部とを含むことを特徴とする。
【０００７】
以上説明したように、本発明によれば、表示可能領域の情報に基づいた調整が行なわれたＡＲコンテンツを表示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係るシステム構成図である。
【図２】ＡＲ処理端末の構成図である。
【図３】ＡＲマーカー・ＡＲコンテンツ管理サーバの構成図である。
【図４】本発明の一実施形態に係るフローチャートである。
【図５】本発明の一実施形態に係るＡＲ表示領域の判定のフローチャートである。
【図６】本発明の一実施形態に係るＡＲコンテンツの表示位置・内容の決定のフローチャートである。
【図７】ＡＲコンテンツの最大表示領域の算出方法を示す図である。
【図８】ＡＲコンテンツの表示データセットを示す図である。
【図９】本発明の一実施形態例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係るシステム構成図を示している。
このシステムは、ＡＲ処理端末１０１およびＡＲマーカー・ＡＲコンテンツ管理サーバ１０２を含む。また、ＡＲ処理端末１０１およびＡＲマーカー・ＡＲコンテンツ管理サーバ１０２は、ネットワーク１０３に接続されている。ＡＲ処理端末１０１およびＡＲマーカー・ＡＲコンテンツ管理サーバ１０２については、図２および図３を参照しながら詳細に述べる。
【００１１】
図２は、ＡＲ処理端末１０１の構成図を示している。
ＡＲ処理端末１０１は、カメラ部で撮像した画像にＡＲコンテンツを重畳表示してディスプレイ部に出力する端末である。また、ＡＲ処理端末１０１には、カメラ２０１、画像取得部２０２、ＡＲマーカー検出部２０３、ＡＲコンテンツ表示領域判定部２０４、ＡＲコンテンツ決定部２０５、ＡＲコンテンツ表示部２０６、ディスプレイ２０７、ＡＲマーカー・ＡＲコンテンツ取得部２０８が含まれる。
【００１２】
それぞれで行なわれる処理については、図４を参照しながら詳細に述べる。
【００１３】
なお、本明細書および図面では、カメラ２０１は、ＡＲ処理端末１０１に内蔵されたカメラとして記載されているが、ＡＲ処理端末１０１とは別の端末であってもよい。すなわち、ＡＲ処理端末１０１とは別の端末であるカメラで撮像された画像を、画像取得部２０２が取得して、本発明を実施することも可能である。
【００１４】
また、本明細書および図面においてＡＲ処理端末１０１に含まれている、画像取得部２０２、ＡＲマーカー検出部２０３、ＡＲコンテンツ表示領域判定部２０４、ＡＲコンテンツ決定部２０５、ＡＲコンテンツ表示部２０６の一部または全部は、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２に含まれてもよい。
【００１５】
図３は、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２の構成図を示している。
ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２は、ＡＲマーカーやＡＲコンテンツに関するデータを管理し、ＡＲ処理端末１０１からの要求に応じて、ＡＲ処理端末１０１へデータを送信するサーバである。ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２には、データセット３０１０を有するＡＲマーカー・ＡＲコンテンツフォルダ３０１が含まれる。さらに、データセット３０１０には、ＡＲマーカー検出データ３０１１、ＡＲコンテンツデータ３０１２、デザイン情報３０１３、デフォルト表示位置情報３０１４が含まれる。
【００１６】
なお、本明細書および図面では、データセット３０１０がＡＲマーカー・ＡＲコンテンツ管理サーバ１０２に格納されるよう記載されているが、データセット３０１０は、ＡＲ処理端末１０１に格納されていてもよいし、ＡＲ処理端末１０１とは別の端末であるカメラ端末に格納されていてもよい。
【００１７】
ＡＲマーカー検出データ３０１１は、カメラ部で撮像した画像内にＡＲマーカーが存在するかを検出するために用いられるデータである。ＡＲマーカー検出データ３０１１には、検出用の特徴点データなどが含まれる。なお、マッチング方式によって、ＡＲマーカー検出データ３０１１には、さまざまなデータが含まれうる。
【００１８】
なお、ＡＲマーカーは、ＡＲコンテンツを表示するための基準となる情報である。すなわち、ＡＲ処理端末１０１は、ＡＲマーカーを含む画像を取得すると、ディスプレイ上にＡＲコンテンツを表示することが可能となる。ＡＲマーカーには、ＡＲ専用のマーカーのほかに、人物の顔や雑誌の表紙などのデータも含まれる。
【００１９】
ＡＲコンテンツデータ３０１２は、カメラ部で撮像された画像に重畳表示されるコンテンツのデータである。ＡＲコンテンツデータ３０１２には、ＨＴＭＬデータ、テキストデータ、画像データなどが含まれる。また、ＡＲコンテンツデータ３０１２は、ＡＲマーカーに対応付けられている。すなわち、あるＡＲマーカーが取得されると、このＡＲマーカーに対応するＡＲコンテンツが表示される。
【００２０】
デザイン情報３０１３は、ＡＲコンテンツをどのように表示するかを示す情報である。デザイン情報３０１３には、ＣＳＳなどのスタイルシート、ＡＲコンテンツを表示する大きさ（例えば、縦・横のピクセル数など）、アスペクト比などが含まれる。
【００２１】
デフォルト表示位置情報３０１４は、ＡＲコンテンツをＡＲマーカーに対してどの位置に表示するかのデフォルト値を示す情報である。デフォルト表示位置情報３０１４には、例えば、ＡＲマーカーから右に１００ピクセル、上に５０ピクセルといった情報が含まれる。なお、本発明を利用してＡＲコンテンツの表示位置を決定できなかった場合は、このデフォルト表示位置情報３０１４に基づき、ＡＲコンテンツが表示される。
【００２２】
図４は、本発明の一実施形態に係るフローチャートを示している。
【００２３】
ステップ４０１において、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２にて、ＡＲマーカー検出データ３０１１が作成される。さらに、ＡＲマーカーに対応付けられたＡＲコンテンツ３０１２が作成される。これらのＡＲマーカー検出データ３０１１およびＡＲコンテンツ３０１２を含むデータセット３０１０は、ＡＲマーカー・ＡＲコンテンツフォルダ３０１に記録される。別の実施形態では、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２は、予め作成されたデータセット３０１０をＡＲマーカー・ＡＲコンテンツフォルダ３０１に記録してもよい。
【００２４】
ステップ４０２において、ＡＲ処理端末１０１は、データセット３０１０を取得する。この取得は、ＡＲ処理端末１０１の起動時に行なうこともできるし、起動後の任意の時に行なうこともできる。別の実施形態では、ＡＲ処理端末１０１は、ＡＲマーカー検出データ３０１１のみを取得しておいて、ＡＲマーカーを含む画像を取得した後に、そのＡＲマーカーに対応付けられたＡＲコンテンツデータ３０１２、デザイン情報３０１３、デフォルト表示位置情報３０１４を取得するようにしてもよい。さらに別の実施形態では、ＡＲ処理端末１０１に含まれるアプリケーション内に、データセット３０１０を組み込んでおいてもよい。したがって、本発明においては、あらかじめデータセット３０１０が格納されている場所、ＡＲ処理端末１０１がデータセット３０１０を取得するタイミングについては問わない。
【００２５】
このステップ４０２は、ＡＲ処理端末１０１のＡＲマーカー・ＡＲコンテンツ取得部２０８で実行される。
【００２６】
ステップ４０３において、ＡＲ処理端末１０１は、カメラ２０１を介して、画像を取得する。この画像は、カメラ２０１で撮像された、ＡＲコンテンツが重畳表示される背景画像である。なお、この画像には、静止画および動画が含まれる。
【００２７】
このステップ４０３は、画像取得部２０２で実行される。
【００２８】
ステップ４０４において、ＡＲ処理端末１０１は、ＡＲマーカーを検出する。具体的には、ステップ４０３において取得した画像内から、ステップ４０２において取得したＡＲマーカー検出データ３０１１を用いてＡＲマーカーを探索して、そのＡＲマーカーの位置情報を取得する。ＡＲマーカーの位置情報には、検出番号（１、２、３…、ｎなど）、検出ＡＲマーカー（マーカー１、マーカー２など）、検出したＡＲマーカーの位置座標（（１２０，３０）、（４０，１５０）など）が含まれる。
【００２９】
このステップ４０４は、ＡＲマーカー検出部２０３で実行される。
【００３０】
ステップ４０５において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示領域を判定する。具体的には、ステップ４０３において取得した画像を複数の領域に分割して、分割された各領域をＡＲコンテンツ表示可能領域と表示不可領域とに分類する。さらに具体的な処理については、図５を参照しながら詳細に述べる。
【００３１】
このステップ４０５は、ＡＲコンテンツ表示領域判定部２０４で実行される。
【００３２】
ステップ４０６において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示位置・内容を決定する。具体的には、ステップ４０４において検出されたＡＲマーカーごとに、ＡＲコンテンツの最大表示領域を決定して、ＡＲコンテンツの調整をする。すなわち、ステップ４０４において取得されたＡＲマーカーの位置情報に基づき、ＡＲマーカーと表示可能領域との距離を算出して、最も近い表示可能領域を選択する。この選択後、選択された表示可能領域の形状、大きさ、および色合いに合わせて、表示可能領域に内接する最大表示領域を決定して、さらにＡＲコンテンツの表示量および表示色の調整を行なう。さらに具体的な処理については、図６を参照しながら詳細に述べる。
【００３３】
このステップ４０６は、ＡＲコンテンツ決定部２０５で実行される。
【００３４】
ステップ４０７において、ＡＲ処理端末１０１は、ディスプレイ２０７を介して、ＡＲコンテンツを表示する。具体的には、ＡＲコンテンツは、ステップ４０６において決定されたＡＲコンテンツの最大表示領域に表示される。また、このＡＲコンテンツは、ステップ４０６において決定された表示量・表示色で表示される。
【００３５】
このステップ４０７は、ＡＲコンテンツ表示部２０６で実行される。
【００３６】
図５は、本発明の一実施形態に係るＡＲ表示領域の判定のフローチャートを示している。
【００３７】
ステップ５０１において、ＡＲ処理端末１０１は、カメラで撮像された画像を複数の領域に分割する。この分割には、分割統合法、領域成長法、特徴空間でのクラスタリングといった任意の手法を用いることが可能である。例えば、分割統合法を用いた場合は、画像を４分割して、分割された各部分画像の均一性を評価する。この評価の結果、不均一であると判定された場合、判定された部分画像をさらに４分割する。これらの処理を分割処理が発生しなくなるまで（すなわち、不均一であると判定されなくなるまで）実行し、画像を木構造に分割する。その後、木構造の終端ノードに対応する隣接部分画像の類似性を評価する。この評価の結果、類似すると判定された場合、判定された部分画像を統合する。これらの処理を統合処理が発生しなくなるまで（すなわち、類似すると判定されなくなるまで）実行する。
【００３８】
ステップ５０２において、ＡＲ処理端末１０１は、ラベル付けを行なう。例えば、ステップ５０１における領域分割の結果、画像がｎ個の領域に分割されたとすると、各領域に、１、２、３…、ｎとラベリングを行なう。さらに、ステップ５０２において、ＡＲ処理端末１０１は、ラベリングされた各領域の中心座標を算出する。この中心座標は、ステップ６０１において、ＡＲマーカーと各領域との距離を算出するために各領域の位置座標として用いられる。さらに、この中心座標は、ステップ６０２において、ＡＲコンテンツの最大表示領域を算出するための初期点の座標として用いられる。
【００３９】
ステップ５０３において、ＡＲ処理端末１０１は、ステップ５０２においてラベリングされた各領域の画素数を算出する。
【００４０】
ステップ５０４において、ＡＲ処理端末１０１は、ステップ５０２においてラベリングされた各領域内に含まれるエッジ、つまり領域内の画像からエッジを抽出する。このエッジ抽出には、微分フィルタ、Prewitt filter、Sobel filterといった任意の手法を用いることが可能である。さらに、ステップ５０４において、ＡＲ処理端末１０１は、抽出されたエッジの画素数を算出する。
【００４１】
ステップ５０５において、ＡＲ処理端末１０１は、ステップ５０２においてラベリングされた各領域のエッジ密度を算出する。具体的には、式：エッジ密度＝抽出されたエッジの画素数（ａ）／各領域の画素数（ｂ）、で算出する。なお、抽出されたエッジの画素数（ａ）は、ステップ５０４において算出されたものである。また、各領域の画素数（ｂ）は、ステップ５０３において算出されたものである。
【００４２】
ステップ５０６において、ＡＲ処理端末１０１は、各領域を表示可能領域と表示不可領域とに分類する。具体的には、ステップ５０３において算出された各領域の画素数が閾値よりも多く、かつ、ステップ５０５において算出されたエッジ密度が閾値より低い領域を表示可能領域と設定する。また、それ以外の領域を表示不可領域と設定する。なお、いずれの閾値もそれぞれ予め設定されているものとする。また、ＡＲコンテンツ表示領域判定部２０４は、表示可能領域データを作成する。この表示可能領域データには、ラベル番号（１、２、３…、ｎなど）、中心座標（（ｘ１ｃ、ｘ１ｃ）など）、構成画素情報（画素１（ｘ１１，ｙ１１）、画素２（ｘ１２，ｙ１２）、画素３（ｘ１３，ｙ１３）など）などが含まれる。
【００４３】
図６は、本発明の一実施形態に係るＡＲコンテンツの表示位置・内容の決定のフローチャートを示している。
【００４４】
ステップ６０１において、ＡＲ処理端末１０１は、ステップ４０４において検出されたＡＲマーカーごとに、ＡＲコンテンツ表示可能領域を決定する。具体的には、ステップ４０４において取得されたＡＲマーカーの位置情報およびステップ５０２において算出された各領域の中心座標に基づき、ＡＲマーカーと各表示可能領域との距離を算出して、最も近い表示可能領域を選択する。
【００４５】
ステップ６０２において、ＡＲ処理端末１０１は、ＡＲコンテンツの最大表示領域を決定する。すなわち、ステップ６０１において決定された表示可能領域内で、ＡＲコンテンツの表示に適した最大部分を決定する。というのも、表示可能領域の形状によっては、表示可能領域のすべてにＡＲコンテンツを表示すると、ＡＲコンテンツが見えにくくなる場合がある。したがって、凹凸を有する表示可能領域に内接する最大の四角形を算出して、この四角形内にＡＲコンテンツを表示する。以下で、図７を参照しながら詳細に述べる。
【００４６】
図７は、ＡＲコンテンツの最大表示領域の算出方法を示している。
ステップ７０１において、初期点（例えば、決定された表示可能領域の中心座標）を設定する。ステップ７０２において、この初期点から上下左右に最大表示領域を拡張する。この拡張は、デザイン情報３０１３に含まれるアスペクト比に基づいて行なわれる。例えば、アスペクト比が３：４であれば、縦３ピクセル、横４ピクセルずつ拡張することとなる。ステップ７０３において、表示可能領域のエッジ（領域の枠）に接触すると、ステップ７０４において、接触した箇所とは反対方向に、エッジに接触するまで最大表示領域を拡張する。ステップ７０５において、確定した最大表示領域の中心点を算出する。また、ディスプレイ２０７の縦・横のピクセル数に基づいて、ステップ７０５において、最大表示領域の大きさ（画素数など）を算出する。
【００４７】
なお、１つの表示可能領域内に、複数の最大表示領域を設定することも可能である。この場合、上記のステップ７０５において最大表示領域を算出後、残った表示可能領域（すなわち、表示可能領域から算出された最大表示領域を除いた領域）内で初期点を設定し、上記のステップ７０１〜７０５と同様の処理を行なうことによって、複数の最大表示領域を設定することができる。
【００４８】
図６に戻り、ステップ６０３において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示量を決定する。すなわち、最大表示領域の大きさによって、表示するＡＲコンテンツの内容を調整して、ＡＲコンテンツを見えやすくする。例えば、最大表示領域が狭い場合は、表示するＡＲコンテンツの内容を要約して表示量を減らす。
【００４９】
ＡＲコンテンツの表示量の決定方法としては、いくつかの方法が考えられる。例えば、第１の実施例として、サマリを記述する方法について説明する。まず、ＡＲコンテンツを、サマリ部と通常部とに分けて記述して格納しておく。サマリ部は、通常部の記述を要約したものである。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）が、閾値以上であれば通常部、閾値より小さければサマリ部を表示するよう決定する。
【００５０】
第２の実施例として、コンテンツレベルを設定する方法について説明する。まず、ＡＲコンテンツを複数に分けて記述して格納しておく。これらの複数に分けられた記述には、それぞれレベルが設定されている。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）に応じたレベルの記述を表示するよう決定する。例えば、画素数が０〜１０００の範囲である場合、レベルＡのコンテンツを表示、画素数が１０００〜５０００の範囲である場合、レベルＢのコンテンツを表示、画素数が５０００〜２００００の範囲である場合、レベルＣのコンテンツを表示といった設定をすることができる。
【００５１】
第３の実施例として、階層情報を設定したタグを利用する方法について説明する。まず、ＡＲコンテンツを階層情報を設定したタグを利用して記述して格納しておく。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）に応じたタグまでの記述を表示するよう決定する。例えば、画素数が０〜１０００の範囲である場合、タグ１まで表示、画素数が１０００〜５０００の範囲である場合、タグ２まで表示、画素数が５０００〜２００００の範囲である場合、タグ３まで表示といった設定をすることができる。
【００５２】
第４の実施例として、ＨＴＭＬのタグレベルを設定する方法について説明する。まず、ＡＲコンテンツをＨＴＭＬによって記述して格納しておく。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）に応じたＨＴＭＬタグまでの記述を表示するよう決定する。例えば、画素数が０〜１０００の範囲である場合、ＨＴＭＬタグ＜ｈ１＞まで表示、画素数が１０００〜５０００の範囲である場合、ＨＴＭＬタグ＜ｈ２＞まで表示、画素数が５０００〜２００００の範囲である場合、ＨＴＭＬタグ＜ｈ３＞まで表示といった設定をすることができる。
【００５３】
ステップ６０４において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示色を決定する。すなわち、最大表示領域の色合いによって、表示するＡＲコンテンツの色合いを調整して、ＡＲコンテンツを見えやすくする。具体的には、ＡＲコンテンツの色を、最大表示領域の色（例えば青色）の補色（例えば黄色）へと変換する。
【００５４】
ＡＲコンテンツの表示色の決定方法について説明する。まず、最大表示領域の平均画素値を算出する。次に、最大表示領域はすべて、この平均画素値で占められているとみなす。次に、この平均画素値の補色を算出する。次に、この算出された補色をＡＲコンテンツの表示色と決定して、ＡＲコンテンツの色をこの決定色へ変換する。
【００５５】
なお、補色の算出方法としては、いくつかの方法が考えられる。例えば、まず、Ｒ、Ｇ、Ｂの値のうちの最大値および最小値を求める（Ｒ１０２，Ｇ１５３，Ｂ５１であれば、最大値１５３・最小値５１）。次に、この最大値と最小値とを加算する（最大値１５３と最小値５１とを加算して２０４）。次に、この加算した値から、元のＲＧＢ値をそれぞれ引くことによって（Ｒ：２０４−１０２，Ｇ：２０４−１５３，Ｂ：２０４−５１）、補色を算出することができる（補色：Ｒ１０２，Ｇ５１，Ｂ１５３）。
【００５６】
さらに、ＡＲコンテンツに含まれる文字の色を変更することも可能である。例えば、算出された補色の色の輝度値に応じて、文字の色を白または黒に設定することができる。具体的には、輝度値が１２７以下の場合は、文字の色を白色に設定して、輝度値が１２８以上の場合は、文字の色を黒色に設定することができる。
【００５７】
また、文字の色の設定方法としては、背景色と文字のコントラストから見やすさを算出する方法を使用することもできる。まず、前景および背景のそれぞれの色のＲＧＢ値を０〜２５５の１０進数で表わす（それぞれＲ、Ｇ、Ｂとする）。次に、明るさを計算式：((Ｒ×２９９)＋(Ｇ×５８７)＋(Ｂ×１４４))／１０００で算出する。次に、輝度Ｌ１、Ｌ２を計算式：Ｒ’×．２１２６＋Ｇ’×．７１５２＋Ｂ’×．０７２２で算出する。ただし、Ｒ’、Ｇ’、Ｂ’は、Ｒならば(Ｒ／２５５)^２.２ｓＲ＝Ｒ／２５５; Ｒ’＝(ｓＲ＜＝０．０３９２８)？ｓＲ／１２．９２：((ｓＲ＋０．０５５)/１．０５５)^２．４;としてガンマ補正したリニア化ＲＧＢの値とし、Ｌ１は前景、背景のうち輝度の大きい方の値、Ｌ２は小さい方の値とする。ここで、前景、背景色の明るさの差は 125 以上あることを基準とする。また、色の差を計算式：(max(Rb,Rf)−min(Rb,Rf))＋(max(Gb,Gf)−min(Gb,Gf))＋(max(Bb,Bf)−min(Bb,Bf))で算出する（Rbは背景色のＲ、Gfは前景色のＧなど）。輝度比は(Ｌ１＋．０５)／(Ｌ２＋．０５)で表し、４．５以上（文字サイズが１８ポイント以上、あるいは太字で１４ポイント以上なら３以上）あることを基準とする。色差は５００以上あることを基準とする。以上の条件を満たす色を、文字の色として設定することも可能である。
【００５８】
ステップ６０５において、ＡＲ処理端末１０１は、ステップ６０２において決定した最大表示領域に、ステップ６０３において決定した量、ステップ６０４において決定した色で、ＡＲコンテンツを画像に重畳させて表示する。ステップ６０２、６０３、６０４において決定された、ＡＲコンテンツの最大表示領域、量、色の情報に基づいて、データセットを調整することによって、表示データセットが生成される。表示データセットについては、以下で図８を参照しながら詳細に述べる。
【００５９】
図８は、ＡＲコンテンツの表示データセットを示している。
表示データセット８０１には、調整済みのＡＲコンテンツデータ８０２、調整済みのデザイン情報８０３、表示位置情報８０４が含まれる。
【００６０】
調整済みのＡＲコンテンツデータ８０２は、ステップ６０３において決定されたＡＲコンテンツの量に基づいて、ＡＲコンテンツ決定部２０５によって生成される。また、調整済みのＡＲコンテンツデータ８０２は、データセットに含まれるＡＲコンテンツデータを調整することによって生成される。
【００６１】
調整済みのデザイン情報８０３は、ステップ６０４において決定されたＡＲコンテンツの色に基づいて、ＡＲコンテンツ決定部２０５によって生成される。また、調整済みのデザイン情報８０３は、データセットに含まれるデザイン情報を調整することによって生成される。
【００６２】
表示位置情報８０４は、ステップ６０１および／またはステップ６０２において決定されたＡＲコンテンツを表示する位置情報を示す。
【００６３】
図９は、本発明の一実施形態例を示している。
本システムには、カメラ９０１、ＡＲ重畳済み画像表示クライアント９０２、ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３が含まれる。カメラ９０１、ＡＲ重畳済み画像表示クライアント９０２、ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、ネットワークに接続されている。
【００６４】
カメラ９０１は、ＡＲ重畳済み画像表示クライアント９０２によって操作されることが可能である。また、カメラ９０１は、ロボットに内蔵されていてもよい。ＡＲ重畳済み画像表示クライアント９０２は、上記で説明したディスプレイ２０７を含む。ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、上記で説明した画像取得部２０２、ＡＲマーカー検出部２０３、ＡＲコンテンツ表示領域判定部２０４、ＡＲコンテンツ決定部２０５、ＡＲコンテンツ表示部２０６、ＡＲマーカー・ＡＲコンテンツ取得部２０８を含む。さらに、ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、データセット３０１０を含む。
【００６５】
すなわち、ＡＲ重畳済み画像表示クライアント９０２は、カメラ９０１を操作することによって、このカメラを介して撮像を行なうことができる。ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、カメラ９０１で撮像された画像およびＡＲコンテンツを、ＡＲ重畳済み画像表示クライアント９０２上で表示させることができる。
【００６６】
なお、本明細書では、ＡＲマーカーに基づきＡＲコンテンツを表示させる実施形態について説明したが、ＧＰＳなどから取得した位置情報に基づきＡＲコンテンツを表示させる実施形態においても、本発明を利用することができる。
【００６７】
以上説明したように、本発明によると、表示可能領域の情報に基づいた調整が行なわれたＡＲコンテンツを表示することが可能となる。
【符号の説明】
【００６８】
１０１  ＡＲ処理端末
１０２  ＡＲマーカー・ＡＲコンテンツ管理サーバ
１０３  ネットワーク
９０１  カメラ
９０２  ＡＲ重畳済み画像表示クライアント
９０３  ＡＲマーカー・ＡＲコンテンツ管理サーバ
【図１】
2013210793.tif 000003
【図２】
2013210793.tif 000004
【図３】
2013210793.tif 000005
【図４】
2013210793.tif 000006
【図５】
2013210793.tif 000007
【図６】
2013210793.tif 000008
【図７】
2013210793.tif 000009
【図８】
2013210793.tif 000010
【図９】
2013210793.tif 000011