(57)【要約】【課題】商品が購入されることなくコンテンツが不正に取得される可能性を低減すること。【解決手段】携帯端末１０は、携帯端末１０を移動させながら携帯端末１０の撮像装置１０８によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成部１１と、対象商品の三次元情報を保持する３Ｄ情報保持部１４と、撮像装置１０８によって撮像されている間の携帯端末１０の挙動を検知する挙動検知部１３と、挙動検知部１３によって検知された挙動に基づいて、三次元情報から、撮像装置１０８によって撮像された画像を推定し、推定画像を生成する推定画像生成部１５と、認証画像と推定画像とを比較し、撮像装置１０８によって対象商品が撮像されたか否かを判定する判定部１７と、判定部１７による判定結果に応じて対象商品に関連付けられたコンテンツを取得するコンテンツ取得部１８と、を備える。【選択図】図１
2016149070.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を備える携帯端末であって、
前記携帯端末を移動させながら前記撮像手段によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成手段と、
コンテンツの供給対象となる対象商品の三次元形状を特定可能な三次元情報を保持する三次元情報保持手段と、
前記撮像手段によって撮像が行われている間の前記携帯端末の挙動を検知する検知手段と、
前記検知手段によって検知された前記挙動に基づいて、前記三次元情報保持手段に保持されている前記三次元情報から、前記撮像手段によって撮像された画像を推定し、推定画像を生成する推定画像生成手段と、
前記認証画像生成手段によって生成された前記認証画像と、前記推定画像生成手段によって生成された前記推定画像と、を比較し、前記撮像手段によって前記対象商品が撮像されたか否かの判定を行う判定手段と、
前記判定手段による判定結果に応じて前記対象商品に関連付けられたコンテンツを取得する取得手段と、
を備える、携帯端末。
【請求項２】
前記判定手段は、前記検知手段によって検知された前記挙動が、平面上の移動である場合には、前記対象商品が撮像されていないと判定する、請求項１に記載の携帯端末。
【請求項３】
前記三次元情報は、仮想空間上において前記対象商品を表現したオブジェクトを特定するための情報であり、
前記推定画像生成手段は、前記検知手段によって検知された前記挙動に基づいて、仮想空間上の撮像装置を移動させながら前記オブジェクトを撮像した場合に、得られるであろう複数のバーチャル画像を生成し、前記複数のバーチャル画像から前記推定画像を生成する、請求項１または請求項２に記載の携帯端末。
【請求項４】
前記認証画像生成手段は、前記認証画像としてパノラマ画像を生成する、請求項１〜請求項３のいずれか一項に記載の携帯端末。
【請求項５】
撮像手段を有する携帯端末と、対象商品に関連付けられたコンテンツを前記携帯端末に提供するサーバ装置と、を備えるコンテンツ提供システムであって、
前記携帯端末は、
前記携帯端末を移動させながら前記撮像手段によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成手段と、
前記撮像手段によって撮像が行われている間の前記携帯端末の挙動を検知する検知手段と、
を備え、
前記サーバ装置は、
前記対象商品の三次元形状を特定可能な三次元情報を保持する三次元情報保持手段と、
前記検知手段によって検知された前記挙動に基づいて、前記三次元情報保持手段に保持されている前記三次元情報から、前記撮像手段によって撮像された画像を推定し、推定画像を生成する推定画像生成手段と、
前記認証画像生成手段によって生成された前記認証画像と、前記推定画像生成手段によって生成された前記推定画像と、を比較し、前記撮像手段によって前記対象商品が撮像されたか否かの判定を行う判定手段と、
前記判定手段による判定結果に応じて前記コンテンツを取得し、取得した前記コンテンツを前記携帯端末に提供する取得手段と、
を備える、コンテンツ提供システム。
【請求項６】
対象商品に関連付けられたコンテンツを取得するコンテンツ取得方法であり、撮像手段を備える携帯端末が行うコンテンツ取得方法あって、
前記携帯端末を移動させながら前記撮像手段によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成ステップと、
前記撮像手段によって撮像が行われている間の前記携帯端末の挙動を検知する検知ステップと、
前記検知ステップにおいて検知された前記挙動に基づいて、前記対象商品の三次元形状を特定可能な三次元情報から、前記撮像手段によって撮像された画像を推定し、推定画像を生成する推定画像生成ステップと、
前記認証画像生成ステップにおいて生成された前記認証画像と、前記推定画像生成ステップにおいて生成された前記推定画像と、を比較し、前記撮像手段によって前記対象商品が撮像されたか否かの判定を行う判定ステップと、
前記判定ステップにおける判定結果に応じて前記コンテンツを取得する取得ステップと、
を含む、コンテンツ取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末、コンテンツ提供システム及びコンテンツ取得方法に関する。
【背景技術】
【０００２】
従来、商品を撮像することによって、撮像した商品に対応したコンテンツを取得する技術が知られている。例えば、特許文献１には、カメラなどの撮像装置を備える携帯端末によって撮像された画像と、予め登録されている複数の画像とがサーバにおいて比較され、撮像された画像と類似していると判定された画像に対応するコンテンツが携帯端末に送信され、携帯端末においてコンテンツが表示される構成が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１５９２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の構成では、例えば、インターネット等を介して取得可能な商品の画像をサーバ装置に送信することによって、当該商品に対応するコンテンツが取得される可能性がある。このため、商品が購入されることなくコンテンツが取得されるおそれがある。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、商品が購入されることなくコンテンツが不正に取得される可能性を低減可能な携帯端末、コンテンツ提供システム及びコンテンツ取得方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る携帯端末は、撮像手段を備える携帯端末である。この携帯端末は、携帯端末を移動させながら撮像手段によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成手段と、コンテンツの供給対象となる対象商品の三次元形状を特定可能な三次元情報を保持する三次元情報保持手段と、撮像手段によって撮像が行われている間の携帯端末の挙動を検知する検知手段と、検知手段によって検知された挙動に基づいて、三次元情報保持手段に保持されている三次元情報から、撮像手段によって撮像された画像を推定し、推定画像を生成する推定画像生成手段と、認証画像生成手段によって生成された認証画像と、推定画像生成手段によって生成された推定画像と、を比較し、撮像手段によって対象商品が撮像されたか否かの判定を行う判定手段と、判定手段による判定結果に応じて対象商品に関連付けられたコンテンツを取得する取得手段と、を備える。
【０００７】
この携帯端末によれば、携帯端末を移動させながら撮像した撮像画像から生成された認証画像と、撮像が行われている間の携帯端末の挙動に基づいて、対象商品の三次元情報から生成された推定画像と、が比較され、撮像手段によって対象商品が撮像されたか否かの判定が行われる。携帯端末を移動させながら撮像した場合には、様々な方向から撮像対象を撮像することになる。このため、対象商品自体を撮像した場合には、対象商品の立体的形状を平面に展開した形状の画像が認証画像として生成される。一方、対象商品の画像を撮像した場合、撮像対象が立体的な形状を有しない平面的なものであるので、対象商品の立体的形状を平面に展開した形状の画像が認証画像として生成されることはない。推定画像は、携帯端末を移動させながら対象商品自体を撮像した場合に撮像されたであろう画像であるから、この推定画像との比較によって、対象商品自体が撮像されたか、対象商品の画像が撮像されたか、を判定することができる。そして、対象商品自体が撮像されたと判定されたことに応じて、コンテンツが取得されることによって、対象商品が購入されることなくコンテンツが不正に取得される可能性を低減することが可能となる。
【０００８】
判定手段は、検知手段によって検知された挙動が、平面上の移動である場合には、対象商品が撮像されていないと判定してもよい。携帯端末を所定の平面上において移動させることによって対象商品が撮像された場合、対象商品は一方向から撮像されることになる。このため、認証画像では、三次元的な形状を有する対象商品を撮像したのか、インターネット等を介して取得可能な対象商品の画像等を撮像したのか、を判別することができない。つまり、携帯端末の挙動が平面上の移動である場合には、インターネット等を介して取得可能な対象商品の画像等を撮像した可能性がある。このため、携帯端末の挙動が平面上の移動である場合に、対象商品が撮像されていないと判定することによって、商品が購入されることなくコンテンツが不正に取得される可能性をさらに低減することが可能となる。
【０００９】
三次元情報は、仮想空間上において対象商品を表現したオブジェクトを特定するための情報であってもよく、推定画像生成手段は、検知手段によって検知された挙動に基づいて、仮想空間上の撮像装置を移動させながらオブジェクトを撮像した場合に、得られるであろう複数のバーチャル画像を生成し、複数のバーチャル画像から推定画像を生成してもよい。この場合、仮想空間上の撮像装置を、携帯端末の挙動に基づいて移動させながら、仮想空間上のオブジェクトを撮像するので、携帯端末を移動させながら対象商品自体を撮像した場合に撮像されたであろう画像の再現性が向上できる。
【００１０】
認証画像生成手段は、認証画像としてパノラマ画像を生成してもよい。この場合、携帯端末の挙動によって、異なるパノラマ画像が認証画像として生成され得るので、認証を行うごとに異なる認証画像が用いられ得る。このため、認証画像として用いられるパノラマ画像が予め不正に取得される可能性を低減することができ、対象商品が購入されることなくコンテンツが不正に取得される可能性を低減することが可能となる。
【００１１】
ところで、本発明は、上記のように携帯端末の発明として記述できる他に、以下のようにコンテンツ提供システム及びコンテンツ取得方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１２】
すなわち、本発明のさらに別の態様に係るコンテンツ提供システムは、撮像手段を有する携帯端末と、対象商品に関連付けられたコンテンツを携帯端末に提供するサーバ装置と、を備える。携帯端末は、携帯端末を移動させながら撮像手段によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成手段と、撮像手段によって撮像が行われている間の携帯端末の挙動を検知する検知手段と、を備える。サーバ装置は、対象商品の三次元形状を特定可能な三次元情報を保持する三次元情報保持手段と、検知手段によって検知された挙動に基づいて、三次元情報保持手段に保持されている三次元情報から、撮像手段によって撮像された画像を推定し、推定画像を生成する推定画像生成手段と、認証画像生成手段によって生成された認証画像と、推定画像生成手段によって生成された推定画像と、を比較し、撮像手段によって対象商品が撮像されたか否かの判定を行う判定手段と、判定手段による判定結果に応じてコンテンツを取得し、取得したコンテンツを携帯端末に提供する取得手段と、を備える。
【００１３】
本発明のさらに別の態様に係るコンテンツ取得方法は、対象商品に関連付けられたコンテンツを取得するコンテンツ取得方法であり、撮像手段を備える携帯端末が行うコンテンツ取得方法である。このコンテンツ取得方法は、携帯端末を移動させながら撮像手段によって撮像された撮像画像に基づいて認証画像を生成する認証画像生成ステップと、撮像手段によって撮像が行われている間の携帯端末の挙動を検知する検知ステップと、検知ステップにおいて検知された挙動に基づいて、対象商品の三次元形状を特定可能な三次元情報から、撮像手段によって撮像された画像を推定し、推定画像を生成する推定画像生成ステップと、認証画像生成ステップにおいて生成された認証画像と、推定画像生成ステップにおいて生成された推定画像と、を比較し、撮像手段によって対象商品が撮像されたか否かの判定を行う判定ステップと、判定ステップにおける判定結果に応じてコンテンツを取得する取得ステップと、を含む。
【発明の効果】
【００１４】
本発明によれば、商品が購入されることなくコンテンツが不正に取得される可能性を低減できる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係る携帯端末の機能構成を示すブロック図である。
【図２】図１の携帯端末のハードウェア構成図である。
【図３】（ａ）は撮像動作の一例を示す図、（ｂ）は認証画像の一例を示す図である。
【図４】（ａ）はコンテンツ表示画像の一例を示す図、（ｂ）はコンテンツ非表示画像の一例を示す図である。
【図５】図１の携帯端末が実行するコンテンツ取得方法の一例を示すフローチャートである。
【図６】第２実施形態に係るコンテンツ提供システムの機能構成を示すブロック図である。
【図７】図６のサーバ装置のハードウェア構成図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
【００１７】
（第１実施形態）
図１は、第１実施形態に係る携帯端末の機能構成を示すブロック図である。図１に示される携帯端末１０は、対象商品に関連付けられたコンテンツを取得する装置である。対象商品は、コンテンツの供給対象の商品であり、ユーザが購入し得る商品である。対象商品としては、例えば、菓子等の食料品が挙げられる。対象商品に関連付けられたコンテンツとしては、例えば、対象商品に関連したキャラクターのデジタルコンテンツが挙げられる。例えば、対象商品がロボット玩具である場合には、そのロボット玩具をモチーフとしたデジタルコンテンツが発行される。
【００１８】
携帯端末１０は、ユーザにより用いられ、撮像機能を有する装置である。携帯端末１０は、例えば、スマートフォン等の携帯電話機、タブレット型端末、ノートＰＣ（Personal Computer）等である。携帯端末１０は、図２に示されるハードウェアによって構成されている。
【００１９】
図２は、携帯端末１０のハードウェア構成図である。図２に示されるように、携帯端末１０は、物理的には、１又は複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccess Memory）１０２及びＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリ等の補助記憶装置１０５、タッチパネル等のユーザの入力を受け付ける入力装置１０６、ディスプレイ等の表示装置１０７、デジタルカメラ等の撮像装置１０８（撮像手段）、並びに、加速度センサ及びジャイロセンサ等のセンサ１０９といったハードウェアを備えるコンピュータとして構成されている。図１における携帯端末１０の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、表示装置１０７、撮像装置１０８及びセンサ１０９を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、撮像装置１０８は、携帯端末１０とともに移動するように、携帯端末１０の筐体に固定されている。
【００２０】
次に、図１を参照して携帯端末１０の機能構成について説明する。図１に示されるように、携帯端末１０は、機能的には、認証画像生成部１１（認証画像生成手段）と、認証画像記憶部１２と、挙動検知部１３（検知手段）と、３Ｄ（3-dimension）情報保持部１４（三次元情報保持手段）と、推定画像生成部１５（推定画像生成手段）と、推定画像記憶部１６と、判定部１７（判定手段）と、コンテンツ取得部１８（取得手段）と、画像合成部１９と、表示部２１（表示手段）と、を備えている。
【００２１】
認証画像生成部１１は、携帯端末１０を移動させながら撮像した撮像画像に基づいて認証画像を生成する認証画像生成手段として機能する。認証画像は、対象商品の購入を認証するための画像である。認証画像生成部１１は、撮像装置１０８によって撮像されて生成された撮像画像を取得する。認証画像生成部１１は、例えば、携帯端末１０を移動させながら撮像した撮像画像から、認証画像としてパノラマ画像を生成する。認証画像生成部１１は、生成した認証画像を認証画像記憶部１２に出力し、認証画像を認証画像記憶部１２に記憶させる。
【００２２】
図３の（ａ）は撮像動作の一例を示す図、図３の（ｂ）は認証画像の一例を示す図である。図３の（ａ）に示されるように、携帯端末１０のユーザは、対象商品ＰのマーカーＭが付された面Ｐａを撮像するように、携帯端末１０の撮像装置１０８を位置付ける。そして、ユーザは、この位置を撮像装置１０８の初期位置とし、この位置での撮像装置１０８のレンズの向きをレンズの初期の向きとしてパノラマ撮影を開始し、対象商品Ｐの面Ｐａから上面Ｐｂを順に撮像するように撮像装置１０８、つまり携帯端末１０を移動する。この携帯端末１０の移動の間、撮像装置１０８による撮像が連続的に行われている。例えば、所定の時間間隔で撮像装置１０８による撮像が行われる。認証画像生成部１１は、携帯端末１０の移動の間に撮像装置１０８によって撮像された複数の撮像画像を画像処理し、図３の（ｂ）に示されるようなパノラマ画像を認証画像Ａとして生成する。
【００２３】
図１に戻って、認証画像記憶部１２は、認証画像生成部１１によって生成された認証画像を記憶する認証画像記憶手段として機能する。認証画像記憶部１２は、記憶している認証画像を判定部１７に出力する。
【００２４】
挙動検知部１３は、撮像装置１０８によって撮像が行われている間の携帯端末１０の挙動を検知する検知手段として機能する。挙動検知部１３は、撮像装置１０８によって撮像された撮像画像における特徴点から、撮像装置１０８の初期位置及び初期の向き（レンズの向き）を特定する。挙動検知部１３は、例えば、センサ１０９（加速度センサ）によって検知された携帯端末１０の加速度、及び、センサ１０９（ジャイロセンサ）によって検知された携帯端末１０の角速度に基づいて、携帯端末１０の挙動を推定する。挙動検知部１３は、例えば、加速度によって携帯端末１０の移動を推定し、角速度によって携帯端末１０の向きを推定する。加速度による移動の推定方法、及び、角速度による向きの推定方法は、いずれも公知であるので、その詳細な説明を省略する。挙動検知部１３は、携帯端末１０の移動及び向きを推定することによって、携帯端末１０（撮像装置１０８）の初期位置及び初期の向き、移動中における携帯端末１０の姿勢及び移動軌跡を含む挙動を推定する。挙動検知部１３は、推定した挙動に関する挙動情報を推定画像生成部１５に出力する。
【００２５】
３Ｄ情報保持部１４は、対象商品の三次元形状を特定可能な三次元情報を保持する三次元情報保持手段として機能する。対象商品の三次元情報として、例えば、対象商品のパッケージまたは対象商品自体等の三次元形状を有するオブジェクトの三次元情報が保持されている。なお、対象商品のパッケージとは、対象商品を提供するための部材であって、対象商品のパッケージとしては、箱、袋、容器、及び、包装等が用いられ得る。この場合、対象商品の三次元情報とは、対象商品のパッケージの三次元形状を特定可能な情報である。対象商品自体としては、例えば、対象商品がロボット玩具である場合に、ロボットのオブジェクトが挙げられる。また、対象商品の三次元情報は、対象商品のパッケージの表面に施されている図形、文字、色等を含むパッケージデザインを特定可能な情報を含んでもよい。具体的には、対象商品は、仮想空間上において、多角形（ポリゴン）の集合であるオブジェクトとして表現される。この場合、三次元情報は、仮想空間上において対象商品を表現したオブジェクトを特定するための情報であり、各ポリゴンについて、ポリゴンを特定する座標、ポリゴンの色及びテクスチャ等の情報を含む。コンテンツの供給対象の対象商品が複数個存在する場合には、３Ｄ情報保持部１４は、複数の対象商品の三次元情報を保持していてもよい。
【００２６】
推定画像生成部１５は、挙動検知部１３によって検知された携帯端末１０の挙動に基づいて、３Ｄ情報保持部１４に保持されている三次元情報から、撮像装置１０８によって撮像された画像を推定し、推定画像を生成する画像生成手段として機能する。推定画像生成部１５は、例えば、専用のアプリケーションが実行されることによって、推定画像を生成する。推定画像生成部１５は、挙動検知部１３によって検知された挙動に基づいて、仮想空間上の撮像装置であるバーチャルカメラを移動させながら、３Ｄ情報保持部１４に保持されている三次元情報によって特定される仮想空間上の対象商品のオブジェクトをバーチャルカメラによって撮像した場合に、得られるであろう複数のバーチャル画像を生成する。
【００２７】
具体的に説明すると、推定画像生成部１５は、挙動情報によって示される撮像装置１０８の初期位置及び初期の向きに従って、バーチャルカメラの初期位置及び初期のレンズの向きを特定する。推定画像生成部１５は、３Ｄ情報保持部１４に保持されている三次元情報、バーチャルカメラの初期位置及び初期のレンズの向きを用いてレンダリング処理を行い、バーチャルカメラによって撮像されるであろうバーチャル画像を生成する。なお、レンダリング処理は、公知であるので、その詳細な説明を省略する。
【００２８】
推定画像生成部１５は、挙動情報によって示される携帯端末１０の姿勢及び移動軌跡に従って、時間の経過とともに、バーチャルカメラの位置及びレンズの向きを変更して、バーチャルカメラを移動させる。これによって、仮想空間において、オブジェクトに対する各時間におけるバーチャルカメラの位置及び向き（レンズの方向）が決定される。推定画像生成部１５は、バーチャルカメラの移動中において、所定の時間間隔で、その時間におけるバーチャルカメラの位置及びレンズの向きと、３Ｄ情報保持部１４に保持されている三次元情報と、を用いてレンダリング処理を行い、バーチャルカメラによって撮像されるであろうバーチャル画像を生成する。
【００２９】
推定画像生成部１５は、生成した複数のバーチャル画像から、推定画像を生成する。推定画像生成部１５は、例えば、複数のバーチャル画像を繋ぎ合わせることによって、推定画像を生成する。このとき、複数のバーチャル画像には、重複する部分が含まれることがあるが、そのような場合には、推定画像生成部１５は、重複する部分を重ね合わせて推定画像を生成する。この複数のバーチャル画像から推定画像を生成する手法は、通常のパノラマ撮影によってパノラマ画像を生成する手法と同様である。このようにして、推定画像生成部１５は、仮想空間で対象商品のオブジェクトを擬似的にパノラマ撮影する。推定画像生成部１５は、生成した推定画像を推定画像記憶部１６に出力し、推定画像を推定画像記憶部１６に記憶させる。なお、携帯端末１０の姿勢及び移動軌跡が同じであっても、撮像装置１０８のフレームレートと、携帯端末１０の移動速度と、によって生成される認証画像は異なる。このような場合であっても、各時間における携帯端末１０の姿勢及び移動軌跡をバーチャルカメラの位置及びレンズの向きに反映させて推定画像を生成しているので、撮像装置１０８によって撮像された画像を精度良く推定することが可能である。
【００３０】
推定画像記憶部１６は、推定画像生成部１５によって生成された推定画像を記憶する推定画像記憶手段として機能する。推定画像記憶部１６は、記憶している推定画像を判定部１７に出力する。
【００３１】
判定部１７は、認証画像生成部１１によって生成された認証画像と、推定画像生成部１５によって生成された推定画像と、を比較し、撮像装置１０８によって対象商品が撮像されたか否かを判定する撮像判定を行う判定手段として機能する。判定部１７は、例えば、認証画像と推定画像との類似度を算出し、算出した類似度に基づいて、撮像装置１０８によって対象商品が撮像されたか否かの判定を行う。この類似度の算出は、画像における複数のポイント（特徴点）を用いて行われる。この類似度の算出方法は、公知であるので、詳細な説明を省略する。具体的には、判定部１７は、例えば、類似度が予め定められている値を超える場合に、撮像装置１０８によって対象商品が撮像されたと判定し、類似度が予め定められている値以下である場合に、撮像装置１０８によって対象商品が撮像されていないと判定する。
【００３２】
携帯端末１０を所定の平面上において移動させることによって対象商品が撮像された場合、認証画像では、三次元的な形状を有する対象商品を撮像したのか、インターネット等を介して取得可能な対象商品の画像等の二次元的な対象商品を撮像したのか、を判別することができない。このため、判定部１７は、携帯端末１０の挙動が、平面上の移動であるか、三次元的な移動であるかを判定する挙動判定を行ってもよい。
【００３３】
平面上の移動とは、ある平面上においてのみ携帯端末１０が移動することを意味し、例えば、撮像開始時の携帯端末１０の位置を原点とした三次元座標系において、いずれかの次元には携帯端末１０の位置の変化が生じない。三次元的な移動とは、ある平面を超えて携帯端末１０が移動することを意味し、例えば、撮像開始時の携帯端末１０の位置を原点とした三次元座標系において、全ての次元に携帯端末１０の位置の変化が生じる。判定部１７は、挙動検知部１３によって検知された挙動が、平面上の移動であると判定した場合には、撮像判定において対象商品が撮像されていないと判定する。判定部１７は、挙動検知部１３によって検知された挙動が、三次元的な移動であると判定した場合には、撮像判定を行う。さらに、判定部１７は、携帯端末１０が初期位置から移動していないと判定した場合には、撮像判定において対象商品が撮像されていないと判定してもよい。
【００３４】
コンテンツ取得部１８は、判定部１７による判定結果に応じてコンテンツを取得する取得手段として機能する。コンテンツ取得部１８は、撮像装置１０８によって対象商品が撮像されたことが、判定部１７によって判定された場合に、コンテンツを取得する。コンテンツ取得部１８は、例えば、外部のサーバ装置から、対象商品に関連付けられたコンテンツを取得する。この場合、コンテンツ取得部１８は、取得したコンテンツを画像合成部１９に出力する。コンテンツ取得部１８は、撮像装置１０８によって対象商品が撮像されていないことが、判定部１７によって判定された場合には、対象商品に関連付けられたコンテンツを取得しない。この場合、コンテンツ取得部１８は、画像合成部１９に何も出力しないか、予め携帯端末１０に記憶されている所定のメッセージをコンテンツとして取得する。
【００３５】
所定のメッセージとしては、例えば、コンテンツの取得に失敗したことを表す失敗メッセージが用いられ得る。「判定が正しく行えませんでした。もう一度、撮像をお願いします」、「デジタルコンテンツの取得はできませんでした」といった一般的な失敗メッセージが用いられてもよい。対象商品に関連付けられたコンテンツが、ゲームで使用されるモンスターのデジタルコンテンツである場合、「モンスターを召喚できませんでした」といったアプリケーションに特化した失敗メッセージが用いられてもよい。
【００３６】
画像合成部１９は、コンテンツ取得部１８によって取得されたコンテンツを撮像画像に合成する（同期させる）画像合成手段として機能する。画像合成部１９は、撮像装置１０８によって撮像された撮像画像中の対象商品を特定し、当該対象商品の位置を撮像画像から特定する。画像合成部１９は、例えば、対象商品にコンテンツが重畳表示されるように、対象商品の位置にコンテンツを配置することによって、撮像画像にコンテンツを合成し、合成画像を生成する。画像合成部１９は、生成した合成画像を表示部２１に出力する。画像合成部１９は、コンテンツ取得部１８から何も送信されてこない場合には、撮像画像を合成画像として表示部２１に出力する。
【００３７】
表示部２１は、コンテンツ取得部１８によって取得されたコンテンツを表示する表示手段として機能する。具体的には、表示部２１は、画像合成部１９によって合成された合成画像を表示する。表示部２１は、例えば、撮像装置１０８によって対象商品が撮像されたことが、判定部１７によって判定された場合に、コンテンツ取得部１８によって取得されたコンテンツをＡＲ（Augmented Reality；拡張現実感）表示する。具体的には、図４の（ａ）に示されるように、表示部２１は、撮像装置１０８によって撮像された対象商品の画像Ｒ１を含む撮像画像において、コンテンツ取得部１８によって取得されたコンテンツＣを対象商品の画像Ｒ１に重畳表示する。表示部２１は、例えば、撮像装置１０８によって対象商品が撮像されている間、コンテンツを表示する。表示部２１は、撮像装置１０８によって対象商品が撮像されなくなると、コンテンツを非表示にしてもよい。
【００３８】
表示部２１は、例えば、撮像装置１０８によって対象商品以外の物体が撮像されたことが、判定部１７によって判定された場合に、撮像装置１０８によって撮像された撮像画像をそのまま表示する。例えば、図４の（ｂ）に示されるように、表示部２１は、コンテンツＣの表示を行うことなく、撮像装置１０８によって撮像された対象商品以外の物体の画像Ｒ２を含む撮像画像を表示する。撮像装置１０８によって対象商品が撮像されていないことが、判定部１７によって判定され、コンテンツ取得部１８によって所定のメッセージがコンテンツとして取得された場合には、表示部２１は、コンテンツ取得部１８によって取得されたコンテンツ（メッセージ）をＡＲ表示する。なお、図４の（ｂ）に示される画像Ｒ２が対象商品である場合には、表示部２１は、当該対象商品に関連付けられたコンテンツを表示する。
【００３９】
次に、図５を参照して、携帯端末１０が実行するコンテンツ取得方法を説明する。図５は、携帯端末１０が実行するコンテンツ取得方法の一例を示すフローチャートである。図５に示される一連の処理は、例えば、携帯端末１０において専用のアプリケーションが実行されることにより開始される。
【００４０】
まず、商品に対して携帯端末１０を移動させながら、撮像装置１０８を用いて撮像が行われる。そして、挙動検知部１３は撮像装置１０８による撮像が行われている間の携帯端末１０の挙動を検知する（ステップＳ０１，検知ステップ）。この挙動には、撮像装置１０８の初期位置及び初期のレンズの向き、携帯端末１０の姿勢及び移動軌跡が含まれる。そして、挙動検知部１３は、検知した挙動に関する挙動情報を推定画像生成部１５に出力する。そして、認証画像生成部１１は、携帯端末１０を移動させながら撮像した撮像画像を撮像装置１０８から取得し、取得した撮像画像から認証画像としてパノラマ画像を生成する（ステップＳ０２，認証画像生成ステップ）。そして、認証画像生成部１１は、生成した認証画像を認証画像記憶部１２に記憶させる（ステップＳ０３）。
【００４１】
続いて、推定画像生成部１５は、挙動検知部１３によって検知された携帯端末１０の挙動に基づいて、３Ｄ情報保持部１４に保持されている三次元情報から、撮像装置１０８によって撮像された画像を推定し、推定画像を生成する（ステップＳ０４，推定画像生成ステップ）。具体的には、推定画像生成部１５は、挙動検知部１３から受信した挙動情報によって示される撮像装置１０８の初期位置及び撮像装置１０８のレンズの初期の向きに従って、３Ｄ情報保持部１４に保持されている三次元情報で特定される仮想空間上のオブジェクトに対し、仮想空間上のバーチャルカメラの初期位置及びバーチャルカメラのレンズの初期の向きを特定し、バーチャルカメラによって撮像されるであろうバーチャル画像を生成する。このバーチャル画像は、３Ｄ情報保持部１４に保持されている三次元情報によって特定される仮想空間上のオブジェクトと、オブジェクトに対するバーチャルカメラの位置及びバーチャルカメラのレンズの向きと、を用いたレンダリング処理によって生成される。そして、推定画像生成部１５は、挙動情報によって示される携帯端末１０の姿勢及び移動軌跡に従って、時間の経過とともにバーチャルカメラを移動させ、バーチャルカメラの位置及びレンズの向きを変更する。そして、推定画像生成部１５は、バーチャルカメラの移動中において、所定の時間間隔で、バーチャルカメラによって撮像されるであろうバーチャル画像を生成する。そして、推定画像生成部１５は、生成した複数のバーチャル画像から、推定画像を生成する。
【００４２】
続いて、推定画像生成部１５は、生成した推定画像を推定画像記憶部１６に記憶させる（ステップＳ０５）。続いて、判定部１７は、認証画像生成部１１によって生成された認証画像と、推定画像生成部１５によって生成された推定画像と、を比較し、認証画像と推定画像とが類似しているか否かの判定を行う（ステップＳ０６，判定ステップ）。この判定は、認証画像と推定画像との類似度によって行われる。例えば、判定部１７は、類似度が予め定められている値を超える場合には、認証画像と推定画像とが類似していると判定し、類似度が予め定められている値以下である場合には、認証画像と推定画像とが類似していないと判定する。
【００４３】
ステップＳ０６において、認証画像と推定画像とが類似していると判定された場合（ステップＳ０６；Ｙｅｓ）、判定部１７は、撮像装置１０８によって対象商品が撮像されたと判定し、コンテンツ取得部１８に判定結果を出力する。そして、コンテンツ取得部１８は、対象商品に関連付けられたコンテンツを取得し（ステップＳ０７，取得ステップ）、取得したコンテンツを画像合成部１９に出力する。そして、画像合成部１９は、例えば、撮像画像中の対象商品にコンテンツが重畳表示されるように、対象商品の位置にコンテンツを配置することによって、撮像画像にコンテンツを合成し、合成画像を生成する。そして、画像合成部１９は、生成した合成画像を表示部２１に出力する。そして、表示部２１は、画像合成部１９によって生成された合成画像を表示する。つまり、表示部２１は、コンテンツ取得部１８によって取得されたコンテンツを表示する（ステップＳ０８）。そして、コンテンツ取得方法の一連の処理が終了する。
【００４４】
一方、ステップＳ０６において、認証画像と推定画像とが類似していないと判定された場合（ステップＳ０６；Ｎｏ）、判定部１７は、撮像装置１０８によって対象商品が撮像されていないと判定し、コンテンツ取得部１８に判定結果を出力する。そして、コンテンツ取得部１８は、対象商品に関連付けられたコンテンツを取得しない。この場合、コンテンツ取得部１８は、画像合成部１９に何も出力しないか、所定のメッセージをコンテンツとして取得してもよい。そして、画像合成部１９は、コンテンツ取得部１８から何も送信されてこない場合には、撮像画像を合成画像として表示部２１に出力し、コンテンツ取得部１８からメッセージを受信した場合には、撮像画像にメッセージを合成し、合成画像を生成する。そして、画像合成部１９は、生成した合成画像を表示部２１に出力する。そして、表示部２１は、画像合成部１９によって生成された合成画像を表示する。つまり、表示部２１は、コンテンツを表示しない（ステップＳ０９）。そして、コンテンツ取得方法の一連の処理が終了する。
【００４５】
なお、コンテンツ取得部１８は、取得したコンテンツを画像合成部１９に出力することなく、コンテンツ記憶部に記憶してもよい。そして、表示部２１は、携帯端末１０のユーザの操作によって、コンテンツ記憶部に記憶されているコンテンツを表示してもよい。
【００４６】
次に、携帯端末１０及び携帯端末１０が行うコンテンツ取得方法の作用効果について説明する。携帯端末１０及び携帯端末１０が行うコンテンツ取得方法では、携帯端末１０を移動させながら撮像した撮像画像から生成された認証画像と、撮像されている間の携帯端末１０の挙動に基づいて、対象商品の三次元情報から生成された推定画像と、が比較され、撮像装置１０８によって対象商品が撮像されたか否かの判定が行われる。携帯端末１０を移動させながら撮像した場合には、様々な方向から撮像対象を撮像することになる。このため、対象商品自体を撮像した場合には、対象商品の立体的形状を平面に展開したパノラマ画像が撮像される。一方、対象商品の画像を撮像した場合、撮像対象が立体的な形状を有しない平面的なものであるので、対象商品の立体的形状を平面に展開したパノラマ画像が撮像されることはない。推定画像は、携帯端末１０を移動させながら対象商品自体を撮像した場合に撮像されたであろう画像であるから、この推定画像との比較によって、対象商品自体が撮像されたか、対象商品の画像が撮像されたか、を判定することができる。そして、対象商品自体が撮像されたと判定されたことに応じて、コンテンツが取得される。これによって、対象商品が購入されることなくコンテンツが不正に取得される可能性を低減することが可能となる。つまり、対象商品の撮像を、携帯端末１０を移動させながら行うことによって、対象商品が平面的（二次元的）に撮像されるのではなく、立体的（三次元的）に撮像される。これにより、時間軸に対して動的な認証を行うことができ、商品の購入を行わずにコンテンツが取得される可能性を低減することが可能となる。
【００４７】
従来、対象商品のパッケージにパスコードを予め印刷しておき、パスコードの入力等によりコンテンツを取得する構成が知られているが、パスコードの入力の煩雑さ等によってコンテンツを取得するために手間が掛かる。一方、携帯端末１０及び携帯端末１０が行うコンテンツ取得方法では、対象商品を撮像するだけの簡単な動作で、コンテンツを取得することができる。このように、簡単な動作でコンテンツを取得するとともに、対象商品が購入されることなくコンテンツが不正に取得される可能性を低減することが可能となる。
【００４８】
また、携帯端末１０の挙動によって、異なるパノラマ画像が認証画像として生成され得るので、認証（撮像判定）を行うごとに異なる認証画像が用いられ得る。このため、認証画像として用いられるパノラマ画像が予め不正に取得される可能性を低減することができ、対象商品が購入されることなくコンテンツが不正に取得される可能性を低減することが可能となる。
【００４９】
また、携帯端末１０を所定の平面上において移動させることによって対象商品が撮像された場合、対象商品は一方向から撮像されることになる。このため、認証画像では、立体的な形状を有する対象商品を撮像したのか、インターネット等を介して取得可能な対象商品の画像等を撮像したのか、を判別することができない。つまり、携帯端末１０の挙動が平面上の移動である場合には、インターネット等を介して取得可能な対象商品の画像等を撮像した可能性がある。このため、携帯端末１０の挙動が平面上の移動である場合に、対象商品が撮像されていないと判定することによって、商品が購入されることなくコンテンツが不正に取得される可能性をさらに低減することが可能となる。
【００５０】
また、仮想空間上のバーチャルカメラを、携帯端末１０の挙動に基づいて移動させながら、仮想空間上のオブジェクトを撮像するので、携帯端末１０を移動させながら対象商品自体を撮像した場合に撮像されたであろう画像の再現性が向上できる。
【００５１】
また、撮像装置１０８によって対象商品が撮像されている間、コンテンツが表示される表示態様とした場合、対象商品を撮像することなくコンテンツを表示することができないので、対象商品の購入をユーザに促すことができる。
【００５２】
また、撮像画像において、コンテンツが対象商品の画像に重畳表示される表示態様とした場合、対象商品を動かすことによって、撮像画像上のコンテンツを移動することが可能となる。このため、例えば、コンテンツがゲームのキャラクターである場合には、対象商品によってキャラクターの操作を行うことができる。
【００５３】
（第２実施形態）
図６は、第２実施形態に係るコンテンツ提供システムの機能構成を示すブロック図である。図６に示されるように、コンテンツ提供システム１は、１以上の携帯端末１０Ａと、サーバ装置３０と、を含んで構成されている。コンテンツ提供システム１は、コンテンツの提供対象の商品である対象商品を購入したユーザに、コンテンツを提供するシステムである。携帯端末１０Ａとサーバ装置３０とは、ネットワークを介して互いに通信可能に接続されている。このネットワークは、有線及び無線のいずれで構成されてもよく、例えば、移動体通信網、インターネット、有線ＷＡＮ（Wide Area Network）、無線ＷＡＮ、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ等のネットワークである。以下では、第１実施形態に係る携帯端末１０と相違する点を中心に説明し、重複する部分の説明は省略する。
【００５４】
携帯端末１０Ａは、サーバ装置３０から提供されたコンテンツを表示する装置である。携帯端末１０Ａは、携帯端末１０と比較して、認証画像記憶部１２、３Ｄ情報保持部１４、推定画像生成部１５、推定画像記憶部１６、判定部１７及びコンテンツ取得部１８を備えていない点において相違している。
【００５５】
サーバ装置３０は、対象商品に関連付けられたコンテンツを携帯端末１０Ａに提供する装置である。サーバ装置３０は、コンピュータを備えている情報処理装置によって構成されている。サーバ装置３０は、図７に示されるハードウェアによって構成されている。
【００５６】
図７は、サーバ装置３０のハードウェア構成図である。図７に示されるように、サーバ装置３０は、物理的には、１又は複数のＣＰＵ３０１、主記憶装置であるＲＡＭ３０２及びＲＯＭ３０３、データ送受信デバイスである通信モジュール３０４、並びに、ハードディスク等の補助記憶装置３０５等のハードウェアを備えるコンピュータとして構成されている。図６におけるサーバ装置３０の各機能は、図７に示されるＣＰＵ３０１、ＲＡＭ３０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ３０１の制御のもとで通信モジュール３０４を動作させるとともに、ＲＡＭ３０２及び補助記憶装置３０５におけるデータの読み出し及び書き込みを行うことで実現される。
【００５７】
次に、サーバ装置３０の機能構成について説明する。サーバ装置３０は、機能的には、認証画像記憶部３１と、３Ｄ情報保持部３２（三次元情報保持手段）と、推定画像生成部３３（画像生成手段）と、推定画像記憶部３４と、判定部３５（判定手段）と、コンテンツ取得部３６（取得手段）と、を備えている。認証画像記憶部３１、３Ｄ情報保持部３２、推定画像生成部３３、推定画像記憶部３４、判定部３５及びコンテンツ取得部３６はそれぞれ、携帯端末１０の認証画像記憶部１２、３Ｄ情報保持部１４、推定画像生成部１５、推定画像記憶部１６、判定部１７及びコンテンツ取得部１８に相当する。認証画像記憶部３１、３Ｄ情報保持部３２、推定画像生成部３３、推定画像記憶部３４、判定部３５及びコンテンツ取得部３６の処理はそれぞれ、認証画像記憶部１２、３Ｄ情報保持部１４、推定画像生成部１５、推定画像記憶部１６、判定部１７及びコンテンツ取得部１８の処理と同様であるので、その説明を省略する。
【００５８】
なお、認証画像生成部１１の認証画像及び挙動検知部１３の挙動情報は互いに対応付けられ、携帯端末１０Ａを一意に識別可能な識別情報とともに、サーバ装置３０に送信される。判定部３５は、認証画像記憶部３１に記憶されている認証画像と、当該認証情報に対応付けられた挙動情報に基づいて推定された推定画像と、を比較する。コンテンツ取得部３６は、携帯端末１０Ａの撮像装置１０８によって対象商品が撮像されたと判定された場合に、対象商品に関連付けられたコンテンツを取得し、取得したコンテンツを、識別情報によって識別される携帯端末１０Ａに提供する。
【００５９】
以上のコンテンツ提供システム１によっても、上述した携帯端末１０と同様の効果が奏される。また、コンテンツ提供システム１では、推定画像の生成、認証画像と推定画像との比較といった負荷が大きい処理をサーバ装置３０が行うので、携帯端末１０の処理を軽減することができる。これにより、対象商品の撮像からコンテンツ取得までに要する時間を短縮することが可能となる。また、より複雑な形状の対象商品に対しても、高精度で認証を行うことが可能となる。
【００６０】
なお、本発明は、上述した実施形態に限定されない。例えば、第１実施形態では、対象商品に関連付けられたコンテンツが予め携帯端末１０に記憶されており、コンテンツ取得部１８は、判定部１７の判定結果に応じて、コンテンツの表示フラグを変更するようにしてもよい。具体的に説明すると、表示フラグは、表示部２１がコンテンツを表示可能か否かを示すフラグであり、初期状態ではコンテンツ表示不可を示す値に設定されている。コンテンツ取得部１８は、撮像装置１０８によって対象商品が撮像されたことが、判定部１７によって判定された場合に、コンテンツ表示可能を示す値に表示フラグを変更する。コンテンツ取得部１８は、撮像装置１０８によって対象商品が撮像されていないことが、判定部１７によって判定された場合には、コンテンツ表示不可を示す値から表示フラグを変更しない。そして、表示部２１は、表示フラグに応じて、コンテンツを表示してもよい。
【００６１】
また、ユーザがコンテンツを取得及び表示しようとするたびに、対象商品を撮像し、撮像判定が行われてもよい。また、コンテンツ取得部１８は、取得したコンテンツをコンテンツ記憶部に記憶してもよく、表示部２１は、ユーザの操作に応じてコンテンツ記憶部に記憶されているコンテンツを表示してもよい。この場合、同じ対象商品で取得したコンテンツは、サーバ装置等において取得済みであることが管理されてもよく、コンテンツ取得部１８が同じコンテンツを取得しないようにしてもよい。
【００６２】
また、推定画像生成部１５は、対象商品に関連付けられたコンテンツを取得するための専用のアプリケーションが実行されたことによって、まず、撮像装置１０８によって撮像された撮像画像（最初の静止ポイント）と、３Ｄ情報保持部１４に保持されている三次元情報によって特定されるオブジェクトとが合致する整合ポイントを画像認識技術を用いて特定してもよい。この場合、表示部２１は、初期位置検知中をユーザに知らせるための表示を行ってもよい。また、整合ポイントが特定されたことによって、表示部２１は、ユーザに、携帯端末１０を移動させながら対象商品を撮像させるためのメッセージを表示してもよい。
【符号の説明】
【００６３】
１…コンテンツ提供システム、１０，１０Ａ…携帯端末、１１…認証画像生成部（認証画像生成手段）、１３…挙動検知部（検知手段）、１４，３２…３Ｄ情報保持部（三次元情報保持手段）、１５，３３…推定画像生成部（推定画像生成手段）、１７，３５…判定部（判定手段）、１８，３６…コンテンツ取得部（取得手段）、２１…表示部（表示手段）、３０…サーバ装置、１０８…撮像装置（撮像手段）。
【図１】
2016149070.tif 000003
【図２】
2016149070.tif 000004
【図３】
2016149070.tif 000005
【図４】
2016149070.tif 000006
【図５】
2016149070.tif 000007
【図６】
2016149070.tif 000008
【図７】
2016149070.tif 000009