(57)【要約】【課題】商品が購入されることなくコンテンツが不正に表示される可能性を低減すること。【解決手段】携帯端末１０は、対象商品に関連付けられたコンテンツを表示する携帯端末であって、撮像装置１０８によって撮像されて生成された撮像画像を取得する画像取得部１１と、画像取得部１１によって取得された撮像画像に基づいて、撮像装置１０８によって対象商品が撮像されたか否かの商品判定を行うとともに、撮像装置１０８によって撮像された対象商品が開封済みであるか否かの開封判定を行う判定部１４と、判定部１４による判定結果に応じて対象商品に関連付けられたコンテンツを表示する表示部１７と、を備える。【選択図】図１
2016162333.tif 000002
【特許請求の範囲】
【請求項１】
対象商品に関連付けられたコンテンツを表示する携帯端末であって、
撮像手段によって撮像されて生成された撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記撮像画像に基づいて、前記撮像手段によって前記対象商品が撮像されたか否かの商品判定を行うとともに、前記撮像手段によって撮像された前記対象商品が開封済みであるか否かの開封判定を行う判定手段と、
前記判定手段による判定結果に応じて前記対象商品に関連付けられたコンテンツを表示する表示手段と、
を備える、携帯端末。
【請求項２】
前記対象商品は、前記対象商品自体または前記対象商品のパッケージよりも反射率が高い包装材によって覆われて提供され、
前記判定手段は、前記撮像画像において、白とびが発生している部分の割合である白とび率を算出し、算出した白とび率と所定の判定値とに基づいて前記開封判定を行う、請求項１に記載の携帯端末。
【請求項３】
前記判定手段は、前記撮像手段がフラッシュを用いて撮像を行ったか否かに応じて前記判定値を切り替えて、前記開封判定を行う、請求項２に記載の携帯端末。
【請求項４】
前記撮像手段によって前記対象商品が撮像されたこと、及び、前記撮像手段によって撮像された前記対象商品が開封済みであることが前記判定手段によって判定された場合に、前記表示手段は前記コンテンツを表示する、請求項１〜請求項３のいずれか一項に記載の携帯端末。
【請求項５】
前記表示手段は、前記対象商品との距離を一定にして前記撮像手段によって撮像が行われるようにするための表示を行う、請求項１〜請求項４のいずれか一項に記載の携帯端末。
【請求項６】
前記判定手段は、前記撮像画像と、前記対象商品の画像である商品画像と、を比較することによって、前記商品判定を行う、請求項１〜請求項５のいずれか一項に記載の携帯端末。
【請求項７】
対象商品に関連付けられたコンテンツを表示する携帯端末が行うコンテンツ表示方法あって、
撮像手段によって撮像されて生成された撮像画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記撮像画像に基づいて、前記撮像手段によって前記対象商品が撮像されたか否かの商品判定を行う商品判定ステップと、
前記撮像手段によって撮像された前記対象商品が開封済みであるか否かの開封判定を行う開封判定ステップと、
前記商品判定ステップ及び前記開封判定ステップにおける判定結果に応じて前記対象商品に関連付けられたコンテンツを表示する表示ステップと、
を含む、コンテンツ表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末及びコンテンツ表示方法に関する。
【背景技術】
【０００２】
従来、商品を撮像することによって、撮像した商品に対応したコンテンツを表示する技術が知られている。例えば、特許文献１には、キャラクタ商品を撮影して得られた画像を画像認識し、画像認識した商品のデザインに関連した演出用画像を合成して画面に表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を例えばお菓子等の商品に適用した場合、店頭に並べられた商品が撮像されることによって、商品が購入されることなくコンテンツが表示されるおそれがある。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、商品が購入されることなくコンテンツが不正に表示される可能性を低減可能な携帯端末及びコンテンツ表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る携帯端末は、対象商品に関連付けられたコンテンツを表示する携帯端末である。この携帯端末は、撮像手段によって撮像されて生成された撮像画像を取得する画像取得手段と、画像取得手段によって取得された撮像画像に基づいて、撮像手段によって対象商品が撮像されたか否かの商品判定を行うとともに、撮像手段によって撮像された対象商品が開封済みであるか否かの開封判定を行う判定手段と、判定手段による判定結果に応じて対象商品に関連付けられたコンテンツを表示する表示手段と、を備える。
【０００７】
この携帯端末によれば、撮像画像に基づいて、対象商品が撮像されたか否かの商品判定が行われるとともに、対象商品が開封済みであるか否かの開封判定が行われる。通常、ユーザは、商品を購入する前に商品を開封することはなく、商品を購入した後で商品を開封すると考えられる。このため、対象商品が撮像され、撮像された対象商品が開封済みであると判定された場合に、対象商品が購入されたと判定することができる。したがって、例えば、対象商品が撮像されたと判定され、かつ、撮像された対象商品が開封済みであると判定された場合に、対象商品に関連付けられたコンテンツを表示することによって、商品が購入されることなくコンテンツが不正に表示される可能性を低減することが可能となる。
【０００８】
対象商品は、対象商品自体または対象商品のパッケージよりも反射率が高い包装材によって覆われて提供されてもよく、判定手段は、撮像画像において、白とびが発生している部分の割合である白とび率を算出し、算出した白とび率と所定の判定値とに基づいて開封判定を行ってもよい。販売時にフィルム等の反射率が高い包装材で覆われて対象商品が提供される場合、包装材に覆われている状態（未開封状態）の対象商品の撮像画像では、包装材が取り除かれた状態（開封済み状態）の対象商品の撮像画像と比較して、白とび率が高くなる。このため、撮像画像における白とび率を用いることによって、対象商品が開封済みであるか否かの開封判定を精度よく行うことができる。
【０００９】
判定手段は、撮像手段がフラッシュを用いて撮像を行ったか否かに応じて判定値を切り替えて、開封判定を行ってもよい。環境光の強度が大きくない場合には、同じ被写体の撮像画像であっても、フラッシュを用いて撮像された撮像画像の白とび率は、フラッシュを用いないで撮像された撮像画像の白とび率よりも大きいことがある。このため、撮像手段がフラッシュを用いて撮像を行ったか否かに応じて、フラッシュを用いて撮像された撮像画像に対する判定値と、フラッシュを用いないで撮像された撮像画像に対する判定値と、を切り替えることによって、開封判定の精度を向上することができる。その結果、商品が購入されることなくコンテンツが不正に表示される可能性をさらに低減することが可能となる。
【００１０】
撮像手段によって対象商品が撮像されたこと、及び、撮像手段によって撮像された対象商品が開封済みであることが判定手段によって判定された場合に、表示手段はコンテンツを表示してもよい。上述のように、対象商品が撮像されたと判定され、かつ、撮像された対象商品が開封済みであると判定された場合に、対象商品が購入されたと判定することができる。したがって、対象商品が撮像されたと判定され、かつ、撮像された対象商品が開封済みであると判定された場合に、対象商品に関連付けられたコンテンツを表示することによって、商品が購入されることなくコンテンツが不正に表示される可能性をさらに低減することが可能となる。
【００１１】
表示手段は、対象商品との距離を一定にして撮像手段によって撮像が行われるようにするための表示を行ってもよい。撮像装置と対象商品との距離が異なると、撮像画像における対象商品の割合、対象商品の反射率等に影響を及ぼし、開封判定の精度が低下するおそれがある。このため、対象商品との距離を一定にして撮像手段によって撮像が行われるようにするための表示を行うことにより、撮像装置と対象商品との距離を一定にして撮像させることができ、撮像画像における対象商品の割合、対象商品の反射率等が撮像画像ごとに変動することを抑制できる。これにより、開封判定の精度を向上することができ、商品が購入されることなくコンテンツが不正に表示される可能性をさらに低減することが可能となる。
【００１２】
判定手段は、撮像画像と、対象商品の画像である商品画像と、を比較することによって、商品判定を行ってもよい。この場合、撮像画像と商品画像との比較によって、対象商品が撮像されたか否かが判定されるので、商品判定の精度を向上することができる。
【００１３】
ところで、本発明は、上記のように携帯端末の発明として記述できる他に、以下のようにコンテンツ表示方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１４】
すなわち、本発明のさらに別の態様に係るコンテンツ表示方法は、対象商品に関連付けられたコンテンツを表示する携帯端末が行うコンテンツ表示方法である。このコンテンツ表示方法は、撮像手段によって撮像されて生成された撮像画像を取得する画像取得ステップと、画像取得ステップにおいて取得された撮像画像に基づいて、撮像手段によって対象商品が撮像されたか否かの商品判定を行う商品判定ステップと、撮像手段によって撮像された対象商品が開封済みであるか否かの開封判定を行う開封判定ステップと、商品判定ステップ及び開封判定ステップにおける判定結果に応じて対象商品に関連付けられたコンテンツを表示する表示ステップと、を含む。
【発明の効果】
【００１５】
本発明によれば、商品が購入されることなくコンテンツが不正に表示される可能性を低減できる。
【図面の簡単な説明】
【００１６】
【図１】一実施形態に係る携帯端末の機能構成を示すブロック図である。
【図２】図１の携帯端末のハードウェア構成図である。
【図３】（ａ）はフラッシュを用いて撮像されたフィルム無しの撮像画像の一例を示す図、（ｂ）はフラッシュを用いて撮像されたフィルム有りの撮像画像の一例を示す図である。
【図４】（ａ）はフラッシュを用いないで撮像されたフィルム無しの撮像画像の一例を示す図、（ｂ）はフラッシュを用いないで撮像されたフィルム有りの撮像画像の一例を示す図である。
【図５】（ａ）はコンテンツ表示画像の一例を示す図、（ｂ）はコンテンツ非表示画像の一例を示す図である。
【図６】撮像動作を説明するための図である。
【図７】図１の携帯端末が実行するコンテンツ表示方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
【００１８】
図１は、一実施形態に係る携帯端末の機能構成を示すブロック図である。図１に示される携帯端末１０は、対象商品に関連付けられたコンテンツを表示する装置である。対象商品は、コンテンツの供給対象の商品であり、ユーザが購入し得る商品である。対象商品としては、例えば、菓子等の食料品が挙げられる。対象商品は、例えば、パッケージにより提供される。対象商品は、フィルム等の反射率が高い包装材によって、対象商品自体または対象商品のパッケージが包装された（覆われた）状態で提供される。つまり、対象商品の外側にフィルム等の包装材が施されている。この包装材の反射率は、対象商品自体の反射率または対象商品のパッケージの反射率よりも大きい。なお、対象商品のパッケージとは、対象商品を提供するための部材であって、対象商品のパッケージとしては、箱、袋、容器、及び、包装等が用いられ得る。対象商品に関連付けられたコンテンツとしては、例えば、対象商品に関連したキャラクター及び対象商品に関連したキャラクターを用いたゲーム等が挙げられる。
【００１９】
携帯端末１０は、ユーザにより用いられ、撮像機能を有する装置である。携帯端末１０は、例えば、スマートフォン等の携帯電話機、タブレット型端末、ノートＰＣ（Personal Computer）等である。携帯端末１０は、図２に示されるハードウェアによって構成されている。
【００２０】
図２は、携帯端末１０のハードウェア構成図である。図２に示されるように、携帯端末１０は、物理的には、１又は複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccess Memory）１０２及びＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリ等の補助記憶装置１０５、タッチパネル等のユーザの入力を受け付ける入力装置１０６、ディスプレイ等の表示装置１０７、デジタルカメラ等の撮像装置１０８、並びに、受光センサ等のセンサ１０９といったハードウェアを備えるコンピュータとして構成されている。図１における携帯端末１０の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、表示装置１０７、撮像装置１０８、及びセンサ１０９を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。
【００２１】
撮像装置１０８は、被写体を撮像して撮像画像を生成する撮像手段として機能する。撮像装置１０８は、対象商品に関連付けられたコンテンツを表示するためのアプリケーション（以下、「対象アプリケーション」という。）が実行されている間、被写体を連続して撮像し、複数の撮像画像を生成する。撮像画像は、例えば、静止画像である。撮像装置１０８は、対象アプリケーションが実行されると、まず、撮影条件を設定する。この設定のために、撮像装置１０８は、例えば、シーン自動選択機能及び自動フラッシュ機能を有している。
【００２２】
シーン自動選択機能は、例えば、被写体の明るさ、被写体との距離、画面全体の色合い等に基づいて、シーンが判別され、判別されたシーンが選択される機能である。選択されるシーンとしては、人物、夜景、風景、夕焼け、スポーツ、文字、逆光等が挙げられる。撮像装置１０８は、選択したシーンに応じた撮影条件を設定して撮像を行う。自動フラッシュ機能は、光（環境光）の強度に応じて、フラッシュをオンにするかオフにするかを判定する機能である。撮像装置１０８は、例えば、センサ１０９によって検出された光の強度が予め定められた値よりも大きい場合に、フラッシュをオフにし、検出された光の強度が予め定められた値以下である場合に、フラッシュをオンにする。シーン自動選択機能及び自動フラッシュ機能は公知であるので、詳細な説明を省略する。
【００２３】
次に、図１を参照して携帯端末１０の機能構成について説明する。図１に示されるように、携帯端末１０は、機能的には、画像取得部１１と、画像記憶部１２と、画像記憶部１３と、判定部１４と、コンテンツ取得部１５と、画像合成部１６と、表示部１７と、を備えている。
【００２４】
画像取得部１１は、撮像装置１０８によって撮像されて生成された撮像画像を取得する画像取得手段として機能する。画像取得部１１は、例えば、静止画像を取得する。画像取得部１１は、取得した撮像画像を画像記憶部１２に出力する。
【００２５】
画像記憶部１２は、画像取得部１１によって取得された撮像画像を記憶する画像記憶手段として機能する。画像記憶部１２は、記憶している撮像画像を判定部１４及び画像合成部１６に出力する。
【００２６】
画像記憶部１３は、判定部１４における商品判定用の商品画像を記憶する画像記憶手段として機能する。商品画像は、対象商品を識別可能な画像であって、例えば、対象商品のパッケージの画像である。対象商品のパッケージの画像としては、例えば、対象商品のパッケージの正面画像が用いられる。コンテンツの供給対象の対象商品が複数個存在する場合には、画像記憶部１３は、複数の対象商品に対応する商品画像を記憶していてもよい。画像記憶部１３は、記憶している商品画像を判定部１４に出力する。
【００２７】
判定部１４は、画像取得部１１によって取得された撮像画像に基づいて、商品判定及び開封判定を行う判定手段として機能する。商品判定は、撮像装置１０８によって対象商品が撮像されたか否かの判定である。開封判定は、撮像装置１０８によって撮像された対象商品が開封済みであるか否かの判定である。判定部１４は、商品判定及び開封判定の判定結果をコンテンツ取得部１５に出力する。
【００２８】
まず、商品判定について説明する。判定部１４は、画像記憶部１２に記憶されている撮像画像と、画像記憶部１３に記憶されている商品画像と、を比較することによって商品判定を行う。判定部１４は、例えば、撮像画像と商品画像との類似度を算出し、算出した類似度に基づいて、撮像装置１０８によって対象商品が撮像されたか否か判定する。この類似度の算出は、画像における複数のポイント（特徴点）を用いて行われる。この類似度の算出方法は、公知であるので、詳細な説明を省略する。判定部１４は、例えば、類似度が予め定められている値を超える場合に、撮像装置１０８によって対象商品が撮像されたと判定し、類似度が予め定められている値以下である場合に、撮像装置１０８によって対象商品が撮像されていないと判定する。
【００２９】
続いて、開封判定について説明する。判定部１４は、商品判定において、撮像装置１０８によって対象商品が撮像されたと判定した場合に、商品判定に用いられた撮像画像を用いて開封判定を行う。ここで、開封とは、対象商品を覆っているフィルム等の反射率が高い包装材を取り除くことを意味する。当該包装材によって覆われている状態（未開封状態）の対象商品を撮像した場合、包装材によって光が反射されるので、撮像画像に白とびが生じやすい。一方、包装材が取り除かれた状態（開封済み状態）の対象商品を撮像した場合、未開封状態の対象商品よりも光が反射されにくいので、撮像画像に白とびが生じにくい。なお、白とびとは、撮像画像において、明るい部分の階調の情報が得られないことによって、白一色に塗りつぶされることである。
【００３０】
判定部１４は、例えば、撮像画像の白とび率を算出し、算出した白とび率に基づいて開封判定を行う。白とび率とは、撮像画像において、白とびが発生している部分（白とび領域）の割合である。白とび領域は、光の反射がない状態と比較した場合に、撮像画像において白く判定される部分を意味する。つまり、白とび領域は、撮像画像において、白とびが発生していると判定されたピクセルが占める領域である。なお、光の反射がない状態としては、画像記憶部１３に記憶されている商品画像が用いられ得る。判定部１４は、例えば、ピクセルごとに白とびが発生しているか否かを判定する。判定部１４は、例えば、ピクセルの輝度値が所定の閾値以上である場合に、当該ピクセルに白とびが発生していると判定する。このとき、判定部１４は、画像記憶部１３に記憶されている商品画像において、白と判定されるピクセルを除いて白とびの判定をしてもよい。判定部１４は、例えば、撮像画像の全領域（全ピクセル数）に対する白とび領域（白とびが発生していると判定されたピクセル数）の割合を白とび率として算出する。判定部１４は、撮像画像の白とび率が所定の判定値よりも大きい場合に、対象商品が開封済みであると判定し、撮像画像の白とび率が所定の判定値以下である場合に、対象商品が未開封であると判定する。
【００３１】
白とび率の判定値は、判定部１４に予め記憶されている。この判定値は、外側の包装材の反射率と、対象商品のパッケージまたは対象商品自体の反射率と、に応じて設定される。つまり、判定値は、外側の包装材に覆われている状態の白とび率と、外側の包装材が取り除かれた状態の白とび率と、を判別可能な値である。
【００３２】
図３の（ａ）はフラッシュを用いて撮像されたフィルム無しの撮像画像の一例を示す図、図３の（ｂ）はフラッシュを用いて撮像されたフィルム有りの撮像画像の一例を示す図である。図４の（ａ）はフラッシュを用いないで撮像されたフィルム無しの撮像画像の一例を示す図、図４の（ｂ）はフラッシュを用いないで撮像されたフィルム有りの撮像画像の一例を示す図である。
【００３３】
図３及び図４に示されるように、開封済み状態の対象商品をフラッシュを用いて撮像した撮像画像Ｐ１及び開封済み状態の対象商品をフラッシュを用いないで撮像した撮像画像Ｐ３では、主に開封済み状態の対象商品の画像Ｒ１に白とび領域Ｗが生じる。また、未開封状態の対象商品をフラッシュを用いて撮像した撮像画像Ｐ２及び未開封状態の対象商品をフラッシュを用いないで撮像した撮像画像Ｐ４では、主に未開封状態の対象商品の画像Ｒ２に白とび領域Ｗが生じる。
【００３４】
図３に示されるように、撮像画像Ｐ１における白とび領域Ｗの割合よりも、撮像画像Ｐ２における白とび領域Ｗの割合の方が大きい。同様に、図４に示されるように、撮像画像Ｐ３における白とび領域Ｗの割合よりも、撮像画像Ｐ４における白とび領域Ｗの割合の方が大きい。しかし、撮像画像Ｐ１における白とび領域Ｗの割合は、撮像画像Ｐ４における白とび領域Ｗの割合よりも大きい。このように、開封済み状態の対象商品をフラッシュを用いて撮像した撮像画像における白とび領域の割合は、未開封状態の対象商品をフラッシュを用いないで撮像した撮像画像における白とび領域の割合よりも大きいことがある。このため、フラッシュを用いて撮像された撮像画像に対する判定値と、フラッシュを用いないで撮像された撮像画像に対する判定値と、が判定部１４に予め記憶されていてもよい。
【００３５】
コンテンツ取得部１５は、判定部１４による判定結果に応じてコンテンツを取得するコンテンツ取得手段として機能する。コンテンツ取得部１５は、撮像装置１０８によって対象商品が撮像され、かつ、撮像された対象商品が開封済みであることが判定部１４によって判定された場合に、コンテンツを取得する。コンテンツ取得部１５は、例えば、外部のサーバ装置から、対象商品に関連付けられたコンテンツを取得する。この場合、コンテンツ取得部１５は、取得したコンテンツを画像合成部１６に出力する。
【００３６】
コンテンツ取得部１５は、撮像装置１０８によって対象商品が撮像されていないことが判定部１４によって判定された場合、及び、撮像装置１０８によって撮像された対象商品が未開封であることが判定部１４によって判定された場合には、対象商品に関連付けられたコンテンツを取得しない。この場合、コンテンツ取得部１５は、画像合成部１６に何も出力しないか、携帯端末１０に予め記憶されている所定のメッセージをコンテンツとして取得する。所定のメッセージとしては、例えば、コンテンツの取得に失敗したことを表す失敗メッセージが用いられ得る。「判定が正しく行えませんでした。もう一度、撮影をお願いします」、「デジタルコンテンツの取得はできませんでした」といった一般的な失敗メッセージが用いられてもよい。また、対象アプリケーションに特化した失敗メッセージが用いられてもよい。
【００３７】
画像合成部１６は、コンテンツ取得部１５によって取得されたコンテンツを撮像画像に合成する（同期させる）画像合成手段として機能する。画像合成部１６は、撮像装置１０８によって撮像された撮像画像中の対象商品を特定し、当該対象商品の位置を撮像画像から特定する。画像合成部１６は、例えば、対象商品にコンテンツが重畳表示されるように、対象商品の位置にコンテンツを配置することによって、撮像画像にコンテンツを合成し、合成画像を生成する。画像合成部１６は、生成した合成画像を表示部１７に出力する。画像合成部１６は、コンテンツ取得部１５から何も送信されてこない場合には、撮像画像を合成画像として表示部１７に出力する。
【００３８】
表示部１７は、コンテンツ取得部１５によって取得されたコンテンツを表示する表示手段として機能する。具体的には、表示部１７は、表示装置１０７を用いてコンテンツを表示する。表示部１７は、画像合成部１６によって合成された合成画像を表示する。表示部１７は、例えば、撮像装置１０８によって対象商品が撮像され、かつ、撮像された対象商品が開封済みであることが判定部１４によって判定された場合に、コンテンツ取得部１５によって取得されたコンテンツをＡＲ（Augmented Reality；拡張現実感）表示する。具体的には、図５の（ａ）に示されるように、表示部１７は、撮像装置１０８によって撮像された開封済み状態の対象商品の画像Ｒ１を含む撮像画像において、コンテンツ取得部１５によって取得されたコンテンツＣを対象商品の画像Ｒ１に重畳表示する。表示部１７は、例えば、撮像装置１０８によって対象商品が撮像されている間、コンテンツを表示する。表示部１７は、撮像装置１０８によって対象商品が撮像されなくなると、コンテンツを非表示にしてもよい。
【００３９】
表示部１７は、例えば、撮像装置１０８によって対象商品以外の物体が撮像されたことが判定部１４によって判定された場合、または、撮像装置１０８によって撮像された対象商品が未開封であることが判定部１４によって判定された場合、撮像装置１０８によって撮像された撮像画像をそのまま表示する。例えば、図５の（ｂ）に示されるように、表示部１７は、コンテンツＣの表示を行うことなく、撮像装置１０８によって撮像された未開封状態の対象商品の画像Ｒ２を含む撮像画像を表示する。コンテンツ取得部１５によって失敗メッセージ等の所定のメッセージがコンテンツとして取得された場合、表示部１７は、コンテンツ取得部１５によって取得されたコンテンツ（メッセージ）をＡＲ表示する。
【００４０】
なお、撮像装置１０８と対象商品との距離及び角度等の撮影条件が異なると、撮像画像における対象商品の割合、対象商品の反射率等に影響を及ぼし、開封判定の精度が低下するおそれがある。このため、撮影条件のばらつきを抑える必要がある。そこで、携帯端末１０では、対象アプリケーションが実行されると、表示部１７は、図６の（ａ）に示されるように、表示装置１０７に枠Ｆを表示する。この枠Ｆは、例えば、「枠に合わせて商品を撮影してください」といった所定のメッセージとともに表示される。図６の（ｂ）に示されるように、携帯端末１０のユーザは、枠Ｆに合わせて対象商品を撮影する。これにより、撮像装置１０８と対象商品との距離及び角度は、ほぼ一定とされる。
【００４１】
また、撮像画像の白とび率が大きい場合には、特徴点の情報が失われるので、商品判定の判定精度が低下し、撮像画像に対象商品が含まれていても、撮像装置１０８によって対象商品が撮像されていないと誤判定される場合がある。一方、白とび率が開封判定で用いられる判定値以下の場合には、特徴点の情報はほとんど失われないので、商品判定は精度よく行われる。このため、撮像画像の白とび率が大きいことによって、商品判定において、対象商品が撮像されていないと誤判定された撮像画像は、開封判定においても、未開封であると判定されるので、いずれにしてもコンテンツは表示されない。
【００４２】
次に、図７を参照して、携帯端末１０が実行するコンテンツ表示方法を説明する。図７は、携帯端末１０が実行するコンテンツ表示方法の一例を示すフローチャートである。図７に示される一連の処理は、例えば、携帯端末１０において、対象アプリケーションが実行されることにより開始される。
【００４３】
まず、表示部１７は、図６の（ａ）に示されるように、表示装置１０７に枠Ｆを所定のメッセージとともに表示する。このとき、撮像装置１０８が、被写体の明るさ、被写体との距離、画面全体の色合い等に基づいて、シーンを判別し、判別したシーンを選択する。また、撮像装置１０８は、センサ１０９によって検出された光の強度に応じて、フラッシュをオンにするかオフにするかを判定する（ステップＳ０１）。そして、携帯端末１０のユーザが、被写体（商品）を枠Ｆに合わせて、撮像装置１０８を用いて被写体の撮影を行うと、画像取得部１１は撮像装置１０８によって撮像されて生成された撮像画像を取得する（ステップＳ０２，画像取得ステップ）。この撮影は、ステップＳ０１において設定された撮影条件に基づいて行われる。そして、画像取得部１１は、取得した撮像画像を画像記憶部１２に出力し、画像記憶部１２に記憶させる（ステップＳ０３）。
【００４４】
続いて、判定部１４は、画像取得部１１によって取得された撮像画像と、画像記憶部１３に記憶されている商品画像と、を比較し、撮像装置１０８によって対象商品が撮像されたか否かの商品判定を行う（ステップＳ０４，商品判定ステップ）。この商品判定は、撮像画像と商品画像との類似度によって行われる。例えば、判定部１４は、類似度が予め定められている値を超える場合には、撮像画像と商品画像とが類似していると判定し、類似度が予め定められている値以下である場合には、撮像画像と商品画像とが類似していないと判定する。そして、判定部１４は、撮像画像と商品画像とが類似していると判定した場合、撮像装置１０８によって対象商品が撮像されたと判定し、撮像画像と商品画像とが類似していないと判定した場合、撮像装置１０８によって対象商品が撮像されていないと判定する。
【００４５】
ステップＳ０４において、撮像装置１０８によって対象商品が撮像されたと判定された場合（ステップＳ０４；Ｙｅｓ）、判定部１４は、撮像装置１０８によって撮像された対象商品が開封済みであるか否かの開封判定を行う（ステップＳ０５，開封判定ステップ）。この開封判定は、ステップＳ０４の商品判定に用いられた撮像画像の白とび率に基づいて行われる。例えば、判定部１４は、撮像画像の全領域に対する白とび領域の割合を白とび率として算出し、撮像画像の白とび率が所定の判定値よりも大きい場合には、対象商品が開封済みであると判定し、撮像画像の白とび率が所定の判定値以下である場合には、対象商品が未開封であると判定する。
【００４６】
ステップＳ０５において、撮像装置１０８によって撮像された対象商品が開封済みであると判定された場合（ステップＳ０５；Ｙｅｓ）、判定部１４は、コンテンツ取得部１５に判定結果を出力する。そして、コンテンツ取得部１５は、対象商品に関連付けられたコンテンツを、例えば外部のサーバ装置から取得し（ステップＳ０６）、取得したコンテンツを画像合成部１６に出力する。そして、画像合成部１６は、例えば、撮像画像中の対象商品にコンテンツが重畳表示されるように、対象商品の位置にコンテンツを配置することによって、撮像画像にコンテンツを合成し、合成画像を生成する。そして、画像合成部１６は、生成した合成画像を表示部１７に出力する。そして、表示部１７は、画像合成部１６によって生成された合成画像を表示する。つまり、表示部１７は、コンテンツ取得部１５によって取得されたコンテンツを表示する（ステップＳ０７，表示ステップ）。そして、コンテンツ表示方法の一連の処理が終了する。
【００４７】
一方、ステップＳ０４において、撮像装置１０８によって対象商品が撮像されていないと判定された場合（ステップＳ０４；Ｎｏ）、及び、ステップＳ０５において、撮像装置１０８によって撮像された対象商品が未開封であると判定された場合（ステップＳ０５；Ｎｏ）、判定部１４は、コンテンツ取得部１５に判定結果を出力する。そして、コンテンツ取得部１５は、対象商品に関連付けられたコンテンツを取得しない。この場合、コンテンツ取得部１５は、画像合成部１６に何も出力しないか、所定のメッセージをコンテンツとして取得してもよい。
【００４８】
そして、画像合成部１６は、コンテンツ取得部１５から何も送信されてこない場合には、撮像画像を合成画像として表示部１７に出力する。また、画像合成部１６は、コンテンツ取得部１５からメッセージを受信した場合には、撮像画像にメッセージを合成し、合成画像を生成する。そして、画像合成部１６は、生成した合成画像を表示部１７に出力する。そして、表示部１７は、画像合成部１６によって生成された合成画像を表示する。つまり、表示部１７は、対象商品に関連付けられたコンテンツを表示しない（ステップＳ０８）。そして、コンテンツ表示方法の一連の処理が終了する。なお、上述したコンテンツ表示方法の一連の処理は、対象アプリケーションが実行されている間、繰り返し行われる。
【００４９】
次に、携帯端末１０及び携帯端末１０が行うコンテンツ表示方法の作用効果について説明する。携帯端末１０及び携帯端末１０が行うコンテンツ表示方法では、撮像画像に基づいて、対象商品が撮像されたか否かの商品判定が行われ、対象商品が開封済みであるか否かの開封判定が行われる。通常、ユーザは、商品を購入する前に商品を開封することはなく、商品を購入した後で商品を開封すると考えられる。このため、対象商品が撮像されたと判定され、かつ、撮像された対象商品が開封済みであると判定された場合に、対象商品が購入されたと判定することができる。したがって、対象商品が撮像されたと判定され、かつ、撮像された対象商品が開封済みであると判定された場合に、対象商品に関連付けられたコンテンツを表示することによって、商品が購入されることなくコンテンツが不正に表示される可能性を低減することが可能となる。
【００５０】
従来、対象商品のパッケージ等にパスコードを予め印刷しておき、ユーザは対象商品の開封後にシールをはがすなどしてパスコードを取得し、パスコードの入力等によりコンテンツを表示する構成が知られている。この構成では、対象商品の提供者は対象商品に予めパスコードを印刷しておく必要があり、対象商品を購入したユーザはパスコードを入力する必要がある。一方、携帯端末１０及び携帯端末１０が行うコンテンツ表示方法では、対象商品の提供者は汎用のパッケージ等を用いて対象商品を提供することができ、ユーザは開封済み状態の対象商品を撮像するだけの簡単な操作で、コンテンツを表示することができる。このように、コンテンツ表示のために対象商品を加工することなく、特別な装置を用いることもなく、携帯端末１０を用いた簡単な操作でコンテンツを表示することが可能となるとともに、対象商品が購入されることなくコンテンツが不正に表示される可能性を低減することが可能となる。
【００５１】
例えば、菓子等の対象商品が箱によって提供され、販売時においてフィルムに包装されて提供される場合、店頭において対象商品を購入することなく対象商品に携帯端末１０を向けてかざしても、対象商品がフィルムで包装されている（未開封状態）ので、未購入であると判定され、対象商品に関連付けられたコンテンツは表示されない。一方、対象商品を購入し、フィルムを取り除いた後（開封済み状態）で、対象商品に携帯端末１０を向けてかざすと、購入済みであると判定され、対象商品に関連付けられたコンテンツが表示される。このため、店頭で対象商品を買わずにゲーム等のコンテンツの表示だけを行う、いわゆるデジタル万引きを抑制することができ、ユーザに対象商品の購入を促すことが可能となる。
【００５２】
また、販売時にフィルム等の反射率が高い包装材で覆われて対象商品が提供される場合、包装材に覆われている状態（未開封状態）の対象商品の撮像画像では、包装材が取り除かれた状態（開封済み状態）の対象商品の撮像画像と比較して、白とび率が高くなる。このため、撮像画像における白とび率を用いることによって、対象商品が開封済みであるか否かの開封判定を精度よく行うことができる。
【００５３】
また、環境光の強度が大きくない場合には、同じ被写体の撮像画像であっても、フラッシュを用いて撮像された撮像画像の白とび率は、フラッシュを用いないで撮像された撮像画像の白とび率よりも大きいことがある。このため、撮像装置１０８がフラッシュを用いて撮像を行ったか否かに応じて、フラッシュを用いて撮像された撮像画像に対する判定値と、フラッシュを用いないで撮像された撮像画像に対する判定値と、を切り替えることによって、開封判定の精度を向上することができる。その結果、商品が購入されることなくコンテンツが不正に表示される可能性をさらに低減することが可能となる。
【００５４】
また、撮像装置１０８と対象商品との距離が異なると、撮像画像における対象商品の割合、対象商品の反射率等に影響を及ぼし、開封判定の精度が低下するおそれがある。このため、対象商品との距離を一定にして撮像装置１０８によって撮像が行われるようにするための表示を行うことにより、撮像装置１０８と対象商品との距離を一定にして撮像させることができ、撮像画像における対象商品の割合、対象商品の反射率等が撮像画像ごとに変動することを抑制できる。これにより、開封判定の精度を向上することができ、商品が購入されることなくコンテンツが不正に表示される可能性をさらに低減することが可能となる。
【００５５】
また、撮像画像と商品画像との比較によって、対象商品が撮像されたか否かが判定されるので、商品判定の精度を向上することができる。
【００５６】
なお、本発明は、上述した実施形態に限定されない。例えば、携帯端末１０は、コンテンツ取得部１５を備えていなくてもよい。この場合、携帯端末１０は予め対象商品に関連付けられたコンテンツを取得し、記憶している。そして、撮像装置１０８によって対象商品が撮像され、かつ、撮像された対象商品が開封済みであることが判定部１４によって判定された場合に、記憶されているコンテンツを表示してもよい。
【００５７】
また、判定部１４は、未開封状態の商品画像及び開封済み状態の商品画像を用いて、対象商品の開封判定を行ってもよい。具体的には、判定部１４は、撮像画像が、未開封状態の商品画像及び開封済み状態の商品画像のいずれと類似しているかを判定することによって、開封判定を行ってもよい。例えば、判定部１４は、撮像画像と未開封状態の商品画像及び開封済み状態の商品画像との類似度を算出し、算出した類似度に基づいて、撮像画像がいずれの商品画像と類似しているかを判定する。判定部１４は、撮像画像が未開封状態の商品画像と類似していると判定した場合には、対象商品が未開封であると判定し、撮像画像が開封済み状態の商品画像と類似していると判定した場合には、対象商品が開封済みであると判定する。この場合、判定部１４は、商品判定と開封判定とを同時に行うことも可能である。
【００５８】
また、判定部１４は、白とび率の判定値に代えて、対象商品の外側を覆う包装材の反射率と、対象商品のパッケージまたは対象商品自体の反射率と、を予め記憶していてもよい。この場合、判定部１４は、撮像装置１０８によって撮影が行われた際の撮影条件と、予め記憶された反射率と、を用いて、撮像画像ごとに白とび率の判定値を算出してもよい。この撮影条件としては、撮像装置１０８と対象商品との距離、撮影角度、フラッシュの有無、シーン等が挙げられる。これによれば、撮影条件を考慮した判定値が用いられるので、開封判定の精度を向上することが可能となる。
【００５９】
また、センサ１０９によって検出された光（環境光）の強度によらず撮像装置１０８のフラッシュ機能を用いて撮影を行ってもよい。この場合、撮影時の光の強度を一定とすることができるので、判定部１４は、フラッシュを用いた場合の判定値を用いて開封判定を行うことができる。このため、判定部１４は、判定値の切り替えを行う必要がなく、１種類の判定値を記憶しておけばよい。
【符号の説明】
【００６０】
１０…携帯端末、１１…画像取得部（画像取得手段）、１４…判定部（判定手段）、１７…表示部（表示手段）、１０８…撮像装置（撮像手段）。
【図１】
2016162333.tif 000003
【図２】
2016162333.tif 000004
【図７】
2016162333.tif 000005
【図３】
2016162333.tif 000006
【図４】
2016162333.tif 000007
【図５】
2016162333.tif 000008
【図６】
2016162333.tif 000009