(57)【特許請求の範囲】
【請求項１】
パッケージの正常データと、前記正常データに対応する反転データと、を対応付けて記憶する記憶手段と、
前記パッケージを含む撮影画像を撮影する撮影手段と、
前記記憶手段に記憶されている前記反転データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記反転データに対応する前記正常データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、
前記撮影画像に重ねて前記重畳画像を表示する表示手段と、
を備えることを特徴とするＡＲ表示装置。
【請求項２】
前記パッケージは立体物であり、
前記記憶手段は、前記正常データ及び前記反転データと対応付けて、前記パッケージの形状データを記憶し、
前記制御手段は、前記形状データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識する
ことを特徴とする請求項１に記載のＡＲ表示装置。
【請求項３】
コンピュータが、
パッケージの正常データと、前記正常データに対応する反転データと、を対応付けて記憶するステップと、
前記パッケージを含む撮影画像を撮影する撮影ステップと、
記憶されている前記反転データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記反転データに対応する前記正常データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御ステップと、
前記撮影画像に重ねて前記重畳画像を表示するステップと、
を実行することを特徴とするＡＲ表示方法。
【請求項４】
コンピュータを、
パッケージの正常データと、前記正常データに対応する反転データと、を対応付けて記憶する記憶手段と、
前記パッケージを含む撮影画像を撮影する撮影手段と、
前記記憶手段に記憶されている前記反転データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記反転データに対応する前記正常データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、
前記撮影画像に重ねて前記重畳画像を表示する表示手段
として機能させるためのＡＲ表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（Augmented Reality：拡張現実）を表示するＡＲ表示装置等に関するものである。
【背景技術】
【０００２】
近年、ＡＲを用いた販売促進技術が開発されている。例えば、特許文献１には、商品のパッケージにマーカーを付しておき、顧客がスマートフォン等で商品のパッケージを撮影すると、撮影画像に所定のコンテンツを重畳して表示する仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２１５９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、スマートフォンのインカメラ（ディスプレイがある面に搭載されているカメラ）で撮影している画像をディスプレイに表示すると、自動的に左右反転される。このため、この画像に対してＡＲ表示用のコンテンツを重畳した場合、ＡＲ表示用のコンテンツに含まれる文字や絵柄等のあらゆる表示情報も、画像と一緒に左右反転して表示され、表示情報が把握し難いという課題がある。
【０００５】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、左右反転の画像が表示された場合でも、表示情報を容易に把握できるＡＲ表示装置等を提供することである。
【課題を解決するための手段】
【０００６】
前述した目的を達成するための第１の発明は、パッケージの正常データと、前記正常データに対応する反転データと、を対応付けて記憶する記憶手段と、前記パッケージを含む撮影画像を撮影する撮影手段と、前記記憶手段に記憶されている前記反転データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記反転データに対応する前記正常データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、前記撮影画像に重ねて前記重畳画像を表示する表示手段と、を備えることを特徴とするＡＲ表示装置である。第１の発明によって、左右反転の画像が表示された場合でも、表示情報を容易に把握することが可能となる。
【０００７】
第１の発明における前記パッケージは立体物であり、前記記憶手段は、前記正常データ及び前記反転データと対応付けて、前記パッケージの形状データを記憶し、前記制御手段は、前記形状データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識するようにしても良い。これによって、パッケージが立体物であっても、商品のパッケージに記載されている全ての表示情報を容易に把握することが可能となる。
【０００８】
第２の発明は、コンピュータが、パッケージの正常データと、前記正常データに対応する反転データと、を対応付けて記憶するステップと、前記パッケージを含む撮影画像を撮影する撮影ステップと、記憶されている前記反転データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記反転データに対応する前記正常データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御ステップと、前記撮影画像に重ねて前記重畳画像を表示するステップと、を実行することを特徴とするＡＲ表示方法である。第２の発明によって、左右反転の画像が表示された場合でも、表示情報を容易に把握することが可能となる。
【０００９】
第３の発明は、コンピュータを、パッケージの正常データと、前記正常データに対応する反転データと、を対応付けて記憶する記憶手段と、前記パッケージを含む撮影画像を撮影する撮影手段と、前記記憶手段に記憶されている前記反転データに基づいて前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記反転データに対応する前記正常データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、前記撮影画像に重ねて前記重畳画像を表示する表示手段として機能させるためのＡＲ表示プログラムである。第３の発明のＡＲ表示プログラムを汎用のコンピュータにインストールすることによって、第１の発明のＡＲ表示装置を得ることができる。
【発明の効果】
【００１０】
本発明により、左右反転の画像が表示された場合でも、表示情報を容易に把握することが可能なＡＲ表示装置等を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】ＡＲ表示装置のハードウエア構成図
【図２】データの一例を示す図
【図３】処理の流れを示すフローチャート
【図４】撮影画像の例を示す図
【図５】撮影画像と重畳画像の表示例を示す図
【発明を実施するための形態】
【００１２】
以下図面に基づいて、本発明の実施形態を詳細に説明する。ＡＲ表示装置は、例えば、スーパー、コンビニエンスストア、ドラッグストア等の実店舗において利用される。商品は、例えば、日用品、食品、医薬品等である。パッケージの形状は、例えば、直方体、円柱、円錐台、平面等である。いずれの内容も、単なる例示であって、特に限定されるものではない。
【００１３】
図１は、ＡＲ表示装置のハードウエア構成図である。なお、図１のハードウエア構成は一例である。ＡＲ表示装置１は、例えば、スマートフォンやタブレット端末であるが、用途、目的に応じて様々な構成を採ることが可能であり、デスクトップＰＣ（Personal Computer）、ノートＰＣ等であっても良い。
【００１４】
図１に示すように、ＡＲ表示装置１は、制御部１１、記憶部１２、入力部１３、表示部１４、通信制御部１５、カメラ１６等が、バス１７を介して接続される。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１７を介して接続された各装置を駆動制御し、ＡＲ表示装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００１６】
記憶部１２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００１７】
入力部１３は、データの入力を行い、例えば、タッチパネル、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。ユーザは、入力部１３を介して、ＡＲ表示装置１に対して、操作指示、動作指示、データ入力等を行うことができる。表示部１４は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１３及び表示部１４は、タッチパネルディスプレイのように、一体となっていても良い。
【００１８】
通信制御部１５は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００１９】
カメラ１６は、ＣＭＯＳ（Complementary Metal Oxide
Semiconductor Image Sensor）等を有し、静止画像や動画像を撮影する。カメラ１６は、表示部１４がある面とその背面の両側に搭載されている。表示部２４がある面に搭載されているカメラは、「インカメラ」と呼ばれる。バス１７は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２０】
図２は、データの一例を示す図である。ＡＲ表示装置１の記憶部１２には、商品のパッケージごとに、パッケージの３Ｄモデルである形状データ２１と、各面の画像データである正常データ２２と、正常データ２２を左右反転にした画像データである反転データ２３とが対応付けて記憶されている。
【００２１】
図２に示すデータの例は、後述する図４及び図５に図示される商品のパッケージに対応する。形状データ２１は、直方体の３Ｄモデルである。正常データ２２は、正面図２２ａ、右側面図２２ｂ、左側面図２２ｃ、・・・の各面に対応する画像データを含む。図２では、背面図、平面図及び底面図を省略している。
【００２２】
反転データ２３は、正常データ２２の各面に対応する画像データを左右反転にした画像データであり、正面図２３ａ、右側面図２３ｂ、左側面図２３ｃ、・・・・等を含む。図２では、背面図、平面図及び底面図を省略している。
【００２３】
図示はしていないが、ＡＲ表示装置１の記憶部１２には、複数の商品のパッケージについて、形状データ２１、正常データ２２及び反転データ２３が記憶されていても良い。
【００２４】
また、パッケージが立体物（３次元）ではなく、平面（２次元）の場合、形状データ２１は不要であり、ＡＲ表示装置１の記憶部１２には、正常データ２２及び反転データ２３について単一の面に対応する画像データのみが記憶されていても良い。
【００２５】
図３は、処理の流れを示すフローチャートである。ユーザが、商品のパッケージに対してカメラ１６のレンズを向けて、撮影の指示を行うと、ＡＲ表示装置１のカメラ１６は、パッケージを撮影し、撮影画像を取得する（ステップＳ１）。インカメラで撮影を行うと、撮影画像は、左右反転された画像になる。
【００２６】
図４は、撮影画像の例を示す図である。図４では、ＡＲ表示装置１の表示部１４に撮影画像３１が表示されている。撮影画像３１は、ユーザが紙パック製のりんごジュースのパッケージを手で持っている状態の写真である。
【００２７】
図３の説明に戻る。ＡＲ表示装置１の制御部１１は、記憶部１２に記憶されている反転データに基づいて撮影画像３１におけるパッケージの位置、角度及び倍率を認識する（ステップＳ２）。具体的には、制御部１１は、ＡＲ（Augmented Reality：拡張現実）のソフトウエアを用いて、撮影画像３１上のパッケージの位置、角度及び倍率を計算する。ＡＲのソフトウエアの例としては、例えば、ＱＵＡＬＣＯＭ（登録商標）社の「Ｖｕｆｏｒｉａ」（登録商標）等が挙げられる。「Ｖｕｆｏｒｉａ」（登録商標）によれば、対象となる商品のパッケージについて、図２に示す形状データ２１及び反転データ２３を予めデータベース化しておくことによって、撮影画像３１に含まれる左右反転されたパッケージの位置、角度及び倍率を認識することができる。複数の商品のパッケージについて記憶部１２にデータが記憶されている場合、制御部１１は、撮影画像３１よりパッケージのデザインパターンを見つけ出し、データベース化されているパッケージの形状とデザインの対応を元に、パッケージの位置、角度及び倍率を認識する。ここで、デザインパターンとは、パッケージに含まれるデザイン要素（文字、図形、記号、模様、色彩等や、それらの位置、大きさ、範囲等）の一部又は全部によって識別されるパターンである。
【００２８】
次に、ＡＲ表示装置１の制御部１１は、ステップＳ２において認識されるパッケージの位置、角度及び倍率に合わせて、反転データ２３に対応する正常データ２２の幾何学的変換を行い、変換後の正常データ２２を重畳画像として生成する（ステップＳ３）。ここで、幾何学的変換は、線形変換、拡大・縮小、回転、平行移動、アフィン変換、射影変換等を含む。重畳画像は、撮影画像に含まれるパッケージの形状に合わせて幾何学的変換が行われている画像となる。
【００２９】
ステップＳ３において、制御部１１は、反転データ２３の正面図、背面図、平面図及び底面図に対しては、それぞれ、正常データ２２の正面図、背面図、平面図及び底面図の幾何学的変換を行い、重畳画像を生成する。一方、制御部１１は、反転データ２３の右側面図に対しては正常データ２２の左側面図、反転データ２３の左側面図に対しては正常データ２２の右側面図の幾何学的変換を行い、重畳画像を生成する。
【００３０】
次に、ＡＲ表示装置１の制御部１１は、撮影画像と重畳画像を表示部１４に表示する（ステップＳ４）。
【００３１】
ＡＲ表示装置１の制御部１１は、ステップＳ２〜ステップＳ４の処理について、静止画像であれば、画像が撮影される都度実行し、動画像であれば、パッケージの位置、角度及び倍率のいずれかが変わる都度実行する。
【００３２】
図５は、撮影画像と重畳画像の表示例を示す図である。図５に示す例では、撮影画像３１に重ねて、重畳画像３２ａ、３２ｂが表示されている。重畳画像３２ａは、正常データ２２の正面図２２ａについて幾何学的変換を行った画像である。重畳画像３２ｂは、正常データ２２の左側面図２２ｃについて幾何学的変換を行った画像である。
【００３３】
ステップＳ３において、制御部１１は、反転データ２３の右側面図に対しては正常データ２２の左側面図、反転データ２３の左側面図に対しては正常データ２２の右側面図の幾何学的変換を行い、重畳画像を生成するので、撮影画像と重畳画像を合成した画像において、商品のパッケージにおける左右の位置関係を正しく表示することができる。例えば、正面図、右側面図及び左側面図の全てに跨る絵柄があっても、違和感なく表示することができる。
【００３４】
本発明の実施形態におけるＡＲ表示装置１によれば、左右反転の画像が表示された場合でも、表示情報を容易に把握することが可能になる。特に、撮影画像３１上ではユーザの手などによって隠れていた場所についても正確に表示されるので、通常の画像反転技術よりも利便性が高い。
【００３５】
更に、重畳画像の基になる正常データ２２として、実物の商品のパッケージと異なる画像を準備しておくことで、付加価値の高い情報をユーザに提供することもできる。例えば、日本語が理解できないユーザに対しては、文字が外国語で記載された画像を準備しておくことで、あたかもパッケージの文字が自動翻訳されたかのような驚きを与えることができる。また、例えば、商品の販売者が表示したい広告宣伝の情報が記載された画像を準備しておくことで、商品棚のＰＯＰ（Point of purchase advertising）広告と同様の効果を得ることもできる。
【００３６】
以上、添付図面を参照しながら、本発明に係るＡＲ表示装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００３７】
１………ＡＲ表示装置
２１………形状データ
２２………正常データ
２３………反転データ
３１………撮影画像
３２ａ、３２ｂ………重畳画像
【図１】
0006540257.tif 000002
【図２】
0006540257.tif 000003
【図３】
0006540257.tif 000004
【図４】
0006540257.tif 000005
【図５】
0006540257.tif 000006