(57)【要約】【課題】商品紹介媒体による商品情報提供のメリットと、ＥＣによる商品販売のメリットの両立を支援する。【解決手段】ユーザ端末１４の商品情報保持部６４は、紙媒体に掲載された複数の商品について、各商品の画像と属性情報を保持する。カメラ部５８は、ユーザの操作に応じて、紙媒体に掲載された商品を撮像する。照合部７６は、商品情報保持部６４に保持された複数の商品画像と、カメラ部５８による撮像画像とを照合する。注文処理部８２は、カメラ部５８による撮像画像に整合する商品の属性情報にもとづいて、その商品の注文情報を販売支援装置１２へ送信する。【選択図】図５
2013235478.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を備える携帯情報端末に、
所定の媒体に表示された複数の商品の中から前記撮像装置で撮像された商品の画像を取得する撮像画像取得機能と、
前記携帯情報端末に記憶された前記複数の商品の画像と、前記撮像画像取得機能により取得された撮像画像とを照合する照合機能と、
前記携帯情報端末に記憶された前記複数の商品の属性情報のうち、前記撮像画像に整合する商品の属性情報にもとづいて、その商品の注文処理を実行する注文機能と、
を実現させるためのコンピュータプログラム。
【請求項２】
前記携帯情報端末は、各商品の画像を、前記媒体において各商品が表示される表示面に対応づけて記憶し、
前記撮像画像取得機能は、前記撮像装置で撮像された前記媒体における表示面の識別画像を取得後に、その表示面に表示される商品の撮像画像を取得し、
前記照合機能は、前記識別画像により特定される表示面に対応づけて記憶された商品画像と、前記商品の撮像画像とを照合することを特徴とする請求項１に記載のコンピュータプログラム。
【請求項３】
前記注文機能は、前記表示面に対応づけられた複数の商品画像の中に、前記商品の撮像画像に整合するものがないとき、前記表示面に対応づけられた複数の商品の中から注文対象の商品をユーザに選択させるための画面を表示させることを特徴とする請求項２に記載のコンピュータプログラム。
【請求項４】
前記表示面に表示された商品を前記撮像装置が撮像するときのバックグラウンド処理として、前記表示面に対応づけられた商品画像を外部装置から取得する商品情報取得機能をさらに実現させるための請求項２または３に記載のコンピュータプログラム。
【請求項５】
前記商品情報取得機能は、表示面の識別画像が撮像された場合に、その表示面に対応づけられた最新の商品画像または商品属性を取得済みか否かを前記外部装置に確認し、未取得である場合に、前記最新の商品画像または商品属性を取得することを特徴とする請求項４に記載のコンピュータプログラム。
【請求項６】
前記携帯情報端末は、前記媒体の有効期限を示す情報をさらに保持し、
前記表示面の識別画像は、前記媒体の識別情報を含むものであり、
前記媒体の表示面の識別画像が撮像され、前記媒体の有効期限が切れている場合に、その旨をユーザへ通知する通知機能をさらに実現させるための請求項２から５のいずれかに記載のコンピュータプログラム。
【請求項７】
前記携帯情報端末は、１つの商品画像と、属性情報の少なくとも一部が異なる複数の関連商品とを対応づけて保持し、
前記注文機能は、前記撮像画像に整合する商品画像と対応づけられた複数の関連商品について、それら関連商品の中から注文対象の商品をユーザに選択させるための画面を表示させることを特徴とする請求項１から６のいずれかに記載のコンピュータプログラム。
【請求項８】
所定の媒体に表示された複数の商品について、各商品の画像と属性情報の保持部と、
前記媒体に表示された商品を撮像する撮像部と、
前記保持部に保持された複数の商品画像と、前記撮像部による撮像画像とを照合する照合部と、
前記撮像画像に整合する商品の属性情報にもとづいて、その商品の注文処理を実行する注文処理部と、
を備えることを特徴とする携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理技術に関し、特に、商品の購入を支援するための技術に関する。
【背景技術】
【０００２】
インターネット上には、ＥＣ（Electronic commerce）サイトが多数開設されている。企業は、ＥＣサイトを用いて商品の通信販売を行うことで、商品販売に要する人件費を低減できる等のメリットがある。またＥＣサイトの中には、商品の画像等の各種情報を記載したウェブページ、いわゆる電子カタログをユーザへ提供し、ユーザによる商品の選択を支援するものもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３４２６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
その一方、カタログや、チラシ、ポスター等の紙媒体をはじめ、テレビショッピング等のモニター媒体等、商品を紹介するための商品表示媒体と、ＥＣサイトとが連携していないものもある。例えば紙媒体は、複数の掲載商品を比較することが容易であり、ユーザの利便性が高い。また紙媒体は、一般に印刷物であるため、商品写真なども美しく、ユーザの購買意欲を喚起しやすい。本発明の主な目的は、紙媒体をはじめとする各種媒体による商品情報提供のメリットと、ＥＣによる商品販売のメリットの両立をＩＣＴ技術により実現することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様のコンピュータプログラムは、撮像装置を備える携帯情報端末に、所定の媒体に表示された複数の商品の中から撮像装置で撮像された商品の画像を取得する撮像画像取得機能と、携帯情報端末に記憶された複数の商品の画像と、撮像画像取得機能により取得された撮像画像とを照合する照合機能と、携帯情報端末に記憶された複数の商品の属性情報のうち、撮像画像に整合する商品の属性情報にもとづいて、その商品の注文処理を実行する注文機能とを実現させる。
【０００６】
本発明の別の態様は、携帯情報端末である。この携帯情報端末は、所定の媒体に表示された複数の商品について、各商品の画像と属性情報の保持部と、媒体に表示された商品を撮像する撮像部と、保持部に保持された複数の商品画像と、撮像部による撮像画像とを照合する照合部と、撮像画像に整合する商品の属性情報にもとづいて、その商品の注文処理を実行する注文処理部とを備える。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、商品表示媒体による商品情報提供のメリットと、ＥＣによる商品販売のメリットの両立を支援できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態の商品販売システムを示す図である。
【図２】図１の販売支援装置の機能構成を示すブロック図である。
【図３】ページ情報保持部に保持されるページ情報の構成を示す図である。
【図４】商品情報保持部に保持される商品情報の構成を示す図である。
【図５】図１のユーザ端末の機能構成を示すブロック図である。
【図６】ユーザ端末の動作を示すフローチャートである。
【図７】図６のＳ１８のページ認識処理を詳細に示すフローチャートである。
【図８】ページコード撮影画面を示す図である。
【図９】ページ認識処理でのエラーダイアログを示す図である。
【図１０】図６のＳ２２の商品選択処理を詳細に示すフローチャートである。
【図１１】商品撮影画面を示す図である。
【図１２】商品選択画面を示す図である。
【図１３】商品認識処理でのエラーダイアログを示す図である。
【図１４】ページの掲載商品を一覧表示させた商品選択画面を示す図である。
【発明を実施するための形態】
【００１０】
実施の形態の構成を説明する前に、まず概要を説明する。
実施の形態のユーザ端末は、カメラを搭載した携帯情報端末（例えばスマートフォン・携帯電話機・タブレット端末等）である。ユーザ端末は、冊子・カタログ・チラシ・ポスター等の紙媒体（以下総称して「紙カタログ」とも呼ぶ。）に印刷された商品の外観を示す商品画像と、その商品に関する属性情報を外部の管理サーバから予め取得する。ユーザは、紙カタログに印刷された商品画像をユーザ端末のカメラで撮影して、ユーザ端末に取り込む。ユーザ端末は、管理サーバから予め取得した商品画像の中で、ユーザが撮影した商品画像と整合する商品を特定し、その商品の属性情報を示す注文画面を表示させる。
【００１１】
注文画面ではユーザが撮像した商品画像に対応する１つ以上の関連商品（例えばサイズ違いや色違いの洋服等）の情報が提示される。ユーザは、注文画面において所望の商品を選択し、オンラインで注文することできる。実施の形態のユーザ端末によると、ユーザは紙カタログを見ながら購入する商品を検討でき、所望の商品をカメラで撮影するという直観的な操作により、その注文処理を実行させることができる。これにより、紙カタログによるオフラインでの情報提供と、ＥＣによるオンラインでの情報流通とを、ユーザの直観的な操作を介して有機的に連携させ、双方のメリットを両立させることができ、商品購入におけるユーザの利便性を向上させることができる。また紙カタログにおいて、その掲載商品の全てに関連づけてバーコード等を印刷する必要が無く、紙カタログのデザインや美しさを損なってしまうことを抑制できる。
【００１２】
図１は、実施の形態の商品販売システムを示す。商品販売システム１６は、小売企業の担当者により操作されるＰＣである販売管理装置１０と、仲介企業に設置されたウェブサーバである販売支援装置１２と、エンドユーザにより操作されるスマートフォンであるユーザ端末１４を備える。商品販売システム１６は、ユーザ端末１４における画像認識ショッピングサービスを実現する情報システムである。
【００１３】
小売企業の担当者は、商品の外観を示す商品画像を紙カタログに掲載する。また、紙カタログのページ情報と、紙カタログに掲載した商品情報とを、販売管理装置１０を介して販売支援装置１２へ登録する。なお実施の形態の紙カタログには、各ページの一部（例えばページ右上等）に、紙カタログを一意に識別し、かつ、その紙カタログにおけるページを一意に識別するためのユニークなコードの画像が印刷される。このコードは、図８で後述するようなバーコードやＱＲコード（登録商標）等であり、以下「ページコード」と呼ぶ。
【００１４】
商品販売システム１６の基本的な動作を説明する。販売支援装置１２は、販売管理装置１０から登録されたページ情報および商品情報をユーザ端末１４へ配信する。ユーザ端末１４は、紙カタログを見たユーザが所望する商品をローカルで特定し、その注文情報を販売支援装置１２へ送信し、販売支援装置１２は、その注文情報を販売管理装置１０へ転送する。販売管理装置１０は、注文情報に応じた処理の完了情報を販売支援装置１２へ送信し、販売支援装置１２は、その完了情報をユーザ端末１４へ転送する。
【００１５】
図２は、図１の販売支援装置１２の機能構成を示すブロック図である。販売支援装置１２は、ページ情報保持部２０と、商品情報保持部２２と、管理画面提供部２４と、ページ情報登録部２６と、ページ情報配信部２８と、商品情報登録部３０と、商品情報配信部３２と、注文情報受付部３４と、注文情報提供部３６と、完了情報受付部３８と、完了情報提供部４０を備える。
【００１６】
本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、図２の各ブロックは、プログラムモジュールとして記録媒体に格納され、販売支援装置１２のストレージへインストールされてもよい。そして、各ブロックに対応するプログラムモジュールがメインメモリに読み出されてＣＰＵにより実行されることで、各ブロックの機能が実現されてもよい。後述の図５でも同様である。
【００１７】
ページ情報保持部２０は、紙カタログが内包する各ページに関する属性情報（以下、「ページ情報」と呼ぶ。）を保持する記憶領域である。図３は、ページ情報保持部２０に保持されるページ情報の構成を示す。後述のユーザ端末１４のページ情報保持部６２も同様のページ情報を保持する。ページＩＤフィールドには、紙カタログの識別情報と、紙カタログにおけるページの識別情報の両方を兼ねるページＩＤが設定される。したがって、同じ小売企業が定期的に発行する紙カタログであっても、例えば春号の３ページ目と、夏号の３ページ目とは、紙カタログの種類（巻数や号数、発行年月日等）が異なるため、異なるページＩＤとなる。
【００１８】
有効期限フィールドには、紙カタログ単位の有効期限もしくは紙カタログにおけるページ単位の有効期限が設定される。登録日時フィールドには、小売企業によりページ情報が登録された日時を示すタイムスタンプが設定される。ページ説明フィールドには、紙カタログにおけるページの説明文章、例えばページ番号や、ページのタイトル、ページに記載された商品の概要や商品数が設定される。画像ＩＤフィールドには、ページに印刷された１以上の商品画像それぞれの識別情報である画像ＩＤが設定される。
【００１９】
図２に戻り、商品情報保持部２２は、紙カタログに掲載された商品情報を保持する記憶領域である。図４は、商品情報保持部２２に保持される商品情報の構成を示す。後述のユーザ端末１４の商品情報保持部６４も同様の商品情報を保持する。画像ＩＤフィールドには、商品画像のＩＤが設定される。商品画像フィールドには、紙カタログに掲載された商品の外観（形状や模様、色彩の組み合わせ）を示す画像データが設定される。この画像データは、後述のユーザ端末１４における撮像画像と比較する（画像マッチングする）ための、商品画像の特徴部分を示すデータであってもよい。
【００２０】
有効期限フィールドには、商品情報の有効期限が設定される。同じページに掲載された複数商品の間で、互いに異なる有効期限が設定されてもよい。登録日時フィールドには、小売企業により商品情報が登録された日時を示すタイムスタンプが設定される。
【００２１】
商品属性フィールドには商品に関する属性情報が設定される。具体的には、１つの注文の単位となる商品を「単位商品」と呼び、１つの商品画像に対応する１以上の単位商品それぞれの属性（図４の第１の単位商品属性および第２の単位商品属性）を保持する。これらの単位商品は、少なくとも商品属性の一部が異なる商品であると言え、例えばサイズ違いの商品や色違いの関連（類似）商品を含む。そして商品属性フィールドには、単位商品ごとに、商品ＩＤ・サムネイル画像・商品名・サイズ・色・価格等の属性情報が設定される。
【００２２】
図２に戻り、管理画面提供部２４は、小売企業の担当者がページ情報および商品情報を登録するための管理画面のウェブページを販売管理装置１０へ提供する。この管理画面は、小売企業が商品の注文を受け付けた際の完了情報を登録するためのものでもある。
【００２３】
ページ情報登録部２６は、管理画面に入力されたページ情報を販売管理装置１０から受け付け、そのページ情報をページ情報保持部２０へ記録する。ページ情報登録部２６は、新規のページ情報を受け付けた際、もしくは既存のページ情報の更新情報を受け付けた際に、そのページ情報の登録日時に現在日時を設定する。
【００２４】
ページ情報配信部２８は、ページ情報保持部２０に記録されたページ情報を定期的にユーザ端末１４へ提供する。例えば、１日１回、所定時刻になったことを検出した場合にページ情報を配信する。またページ情報配信部２８は、ユーザ端末１４が保持するページ情報のページＩＤと登録日時をユーザ端末１４から随時受け付ける。そして、同じページＩＤで、より新しい登録日時のページ情報がページ情報保持部２０に記録されていた場合、新しい登録日時のページ情報をユーザ端末１４へ提供する。
【００２５】
商品情報登録部３０は、管理画面に入力された商品情報を販売管理装置１０から受け付け、その商品情報を商品情報保持部２２へ記録する。商品情報登録部３０は、新規の商品情報を受け付けた際、もしくは既存の商品情報の更新情報を受け付けた際に、その商品情報の登録日時に現在日時を設定する。
【００２６】
商品情報配信部３２は、商品情報保持部２２に記録された商品情報を定期的にユーザ端末１４へ提供する。例えば、１日１回、所定時刻になったことを検出した場合に商品情報を配信する。また商品情報配信部３２は、ユーザ端末１４が保持する商品情報の画像ＩＤと登録日時をユーザ端末１４から随時受け付ける。そして、同じ画像ＩＤで、より新しい登録日時の商品情報が商品情報保持部２２に記録されていた場合、新しい登録日時の商品情報をユーザ端末１４へ提供する。また商品情報配信部３２は、特定の画像ＩＤを指定した商品情報の提供要求をユーザ端末１４から随時受け付け、その画像ＩＤで識別される商品情報をユーザ端末１４へ提供する。
【００２７】
注文情報受付部３４は、注文対象の商品（すなわちユーザにより選択された単位商品）の属性情報や、ユーザの個人情報を含む注文情報をユーザ端末１４から受け付ける。注文情報提供部３６は、その注文情報を販売管理装置１０へ転送する。
【００２８】
完了情報受付部３８は、注文情報の受け付けや、注文された商品の配送手続きが完了したこと等を示す完了情報を販売管理装置１０から受け付ける。完了情報提供部４０は、その完了情報を販売管理装置１０へ転送する。完了情報提供部４０は、完了情報をメールで通知してもよく、ユーザ端末１４（スマートフォン）で規定されたプッシュ通知（Push notification）により完了情報を通知してもよい。
【００２９】
図５は、図１のユーザ端末１４の機能構成を示すブロック図である。ユーザ端末１４は、タッチスクリーン５０と、操作検出部５２と、表示制御部５４と、通信処理部５６と、カメラ部５８と、ユーザ情報保持部６０と、ページ情報保持部６２と、商品情報保持部６４と、商品購入支援部６６を備える。
【００３０】
タッチスクリーン５０は、表示装置（例えば液晶ディスプレイ）と入力装置（例えばタッチパネル）とを一体化した入出力装置である。操作検出部５２は、タッチスクリーン５０や、ユーザ端末１４の各種ボタンに対して入力されたユーザ操作を検出する。表示制御部５４は、タッチスクリーン５０の表示内容を制御し、例えば商品購入支援部６６から出力された表示用データをタッチスクリーン５０に表示させる。通信処理部５６は、無線通信網や有線通信網を介して販売支援装置１２とデータを送受する。カメラ部５８は、ユーザ端末１４に搭載された撮像装置である。
【００３１】
ユーザ情報保持部６０は、商品販売システム１６において小売企業からの商品購入に必要なユーザ情報を保持する記憶領域である。言い換えれば、ユーザ情報保持部６０は、電子商取引において小売企業へ開示することが必要なユーザの個人情報を保持する。例えばユーザ情報保持部６０は、ユーザの氏名、生年月日、住所、電話番号、クレジットカード番号等を保持する。ページ情報保持部６２は、図３で説明したページ情報を保持し、商品情報保持部６４は、図４で説明した商品情報を保持する。
【００３２】
商品購入支援部６６は、ユーザによる商品購入を支援するためのアプリケーション（以下、「商品購入アプリ」とも呼ぶ。）である。商品販売システム１６において、仲介企業は商品購入アプリをユーザへ無償提供する。例えば、商品購入アプリは無償ダウンロードが可能なようにインターネット上の各種オンラインストアに登録され、ユーザ端末１４は、商品購入アプリのインストーラを各種オンラインストアからダウンロードし、インストールすることで商品購入支援部６６の機能を発揮してもよい。変形例として、販売支援装置１２が商品購入アプリの無償ダウンロードサービスを提供してもよい。
【００３３】
商品購入支援部６６は、ユーザ情報登録部６８と、ページ情報取得部７０と、商品情報取得部７２と、撮像画像取得部７４と、照合部７６と、注文処理部８２と、エラー通知部８８を含む。ユーザ情報登録部６８は、商品購入アプリのインストール時に、商品の購入に必要な個人情報の入力をユーザに要求し、ユーザが入力した個人情報をユーザ情報保持部６０へ格納する。
【００３４】
ページ情報取得部７０は、販売支援装置１２が定期的に配信するページ情報を取得し、ページ情報保持部６２へ格納する。またページ情報取得部７０は、後述のページ認識部７８によるページ認識処理に際して、ページ情報保持部６２に格納されたページ情報が最新の情報か否かを販売支援装置１２へ問い合わせる。具体的には、ページ情報保持部６２に格納された各ページ情報のページＩＤと登録日時の組み合わせを販売支援装置１２へ送信する。そして、新規のページ情報もしくは更新されたページ情報があれば、そのページ情報を取得してページ情報保持部６２へ格納する。
【００３５】
商品情報取得部７２は、販売支援装置１２が定期的に配信する商品情報を取得し、商品情報保持部６４へ格納する。また商品情報取得部７２は、後述の商品認識部８０による商品認識処理に際して、商品情報保持部６４に格納された商品情報が最新の情報か否かを販売支援装置１２へ問い合わせる。
【００３６】
具体的には、商品情報取得部７２は、ページ認識処理で特定されたページ情報が規定する画像ＩＤと、その画像ＩＤに対応する商品情報の登録日時の組み合わせを販売支援装置１２へ送信する。そして、商品情報が更新されていれば、更新された商品情報を取得してページ情報保持部６２へ格納する。また、ページ認識処理で特定されたページ情報が規定する画像ＩＤの商品情報が未取得である場合（商品情報保持部２２に格納されていない場合）、その画像ＩＤを指定した商品情報取得要求を販売支援装置１２へ送信する。そして、その画像ＩＤを含む商品情報を取得してページ情報保持部６２へ格納する。
【００３７】
撮像画像取得部７４は、カメラ部５８により撮像された紙カタログの画像を取得する。具体的には、ユーザがカメラ部５８を用いて撮影したページコードの画像および商品の画像をカメラ部５８から取得し、メモリ等の所定の記憶領域へ格納する。
【００３８】
照合部７６は、撮像画像取得部７４により取得された撮像画像と、ページ情報保持部６２に格納されたページ情報とを照合する。また、撮像画像取得部７４により取得された撮像画像と、商品情報保持部６４に格納された商品情報とを照合する。照合部７６は、ページ認識処理を実行するページ認識部７８と、商品認識処理を実行する商品認識部８０を含む。
【００３９】
ページ認識部７８は、公知の手法により、ページコード（例えばバーコードやＱＲコード（登録商標））の撮像画像から、そのページコードが示すページＩＤを特定する。そして、特定したページＩＤが対応づけられたページ情報の有効期限を参照して、そのページ情報が有効か否か（有効期限が切れていないか）を判定する。既述したように、ページ情報の有効期限は紙カタログ単位での有効期限が設定されてもよく、この場合、ページ認識部７８は、紙カタログが全体として有効か否か（有効期限が切れていないか）を判定すると言える。撮像画像からページＩＤを特定できない場合や、ページ情報の有効期限が途過している場合は、ページ認識処理でエラーとなった旨をエラー通知部８８へ通知し、エラーダイアログを表示させる。
【００４０】
商品認識部８０は、ページ認識部７８により特定されたページ情報の画像ＩＤフィールドに設定された１以上の画像ＩＤを取得する。そして、商品情報保持部６４に保持された複数の商品情報の中から、上記取得した画像ＩＤが画像ＩＤフィールドに設定された１以上の商品情報を特定する。商品認識部８０は、このように特定した商品情報のそれぞれに設定された商品画像と、撮像画像取得部７４により取得された撮像画像とを照合し、撮像画像に整合する商品画像を含む商品情報を特定する。言い換えれば、商品認識部８０は、ページ認識処理により特定されたページの掲載画像に限定して、掲載画像と撮像画像とのマッチングにより、ユーザによる撮像画像に整合する商品を特定し、その商品情報を特定する。
【００４１】
また商品認識部８０は、特定した商品情報の有効期限を参照して、その商品情報が有効か否か（有効期限が切れていないか）を判定する。撮像画像から商品情報を特定できない場合、言い換えれば、撮像画像に整合する商品を特定できない場合や、商品情報の有効期限が途過している場合は、商品認識処理でエラーとなった旨をエラー通知部８８へ通知し、エラーダイアログを表示させる。
【００４２】
ここで画像マッチングについて補足する。商品情報保持部６４に保持された複数の商品画像のデータは、各商品の特徴部分の形状や模様、色彩を示す特徴データであってもよい。商品認識部８０は、撮像画像取得部７４により取得された撮像画像における特徴部分の形状や模様、色彩を示す特徴データを生成し、商品情報保持部６４に保持された各商品の特徴データと照合することにより、撮像画像に整合する商品情報を特定してもよい。また、商品情報保持部６４は紙カタログに掲載された各商品画像のテンプレートデータを商品画像データとして保持してもよく、商品認識部８０はテンプレートマッチングにより、撮像画像に整合する商品を特定してもよい。さらにまた、公知の機械学習手法・ＳＶＭ(Support Vector Machine)による画像マッチングを行ってもよい。
【００４３】
エラー通知部８８は、ページ認識部７８からページ認識処理でエラーとなった旨が通知された場合に、その旨を示すエラーダイアログをタッチスクリーン５０に表示させる。このエラーダイアログは図９に関連して後述する。またエラー通知部８８は、商品認識部８０から商品認識処理でエラーとなった旨が通知された場合に、その旨を示すエラーダイアログをタッチスクリーン５０に表示させる。このエラーダイアログは図１３に関連して後述する。なお、商品認識処理に関するエラーダイアログでは、ページ認識処理で特定されたページの掲載商品を一覧表示させるボタンを表示させる。
【００４４】
注文処理部８２は、商品認識部８０により特定された商品の注文処理を実行する。注文処理部８２は、注文画面設定部８４と注文情報送信部８６を含む。注文画面設定部８４は、商品認識部８０により特定された商品情報に含まれる単位商品の情報を並べた商品選択画面をタッチスクリーン５０に表示させる。この商品選択画面は図１２に関連して後述する。また、ページ認識処理で特定されたページの掲載商品の一覧表示が要求された場合は、注文処理部８２は、ページ認識処理で特定されたページ情報が示す１以上の画像ＩＤを特定する。そして、各画像ＩＤで識別される商品情報に含まれる単位商品の情報を並べた商品選択画面をタッチスクリーン５０に表示させる。この商品選択画面は図１４に関連して後述する。
【００４５】
注文情報送信部８６は、商品選択画面でユーザが選択した商品の注文情報を販売支援装置１２へ送信する。この注文情報には、注文対象の単位商品の情報（商品ＩＤや個数、価格等）と、ユーザ情報保持部６０に格納されたユーザの個人情報とが含まれる。なお、図５には不図示であるが、商品購入支援部６６は、販売支援装置１２から送信された完了情報を受け付けてタッチスクリーン５０に表示させることにより、商品の注文が完了したことをユーザへ通知するユーザ通知部をさらに備えてもよい。
【００４６】
以上の構成によるユーザ端末１４の動作を以下説明する。
図６は、ユーザ端末１４の動作を示すフローチャートである。同図には図示していないが、ユーザ情報登録部６８は、ユーザにより入力された個人情報をユーザ情報保持部６０へ記録する。予め定められた定期情報取得タイミングになったことを検出すると（Ｓ１０のＹ）、ページ情報取得部７０は、販売支援装置１２から紙カタログのページ情報を取得してページ情報保持部６２へ記録する（Ｓ１２）。商品情報取得部７２は、販売支援装置１２から紙カタログに掲載された商品情報を取得して商品情報保持部６４へ記録する（Ｓ１４）。定期情報取得タイミングでなければ（Ｓ１０のＮ）、Ｓ１２およびＳ１４をスキップする。
【００４７】
商品購入アプリのメニュー画面において商品購入タブが選択された場合に（Ｓ１６のＹ）、ページ認識部７８はページ認識処理を実行する（Ｓ１８）。ページ認識処理において有効なページが特定された場合（Ｓ２０のＹ）、商品認識部８０による商品認識処理を含む商品選択処理を実行する（Ｓ２２）。そして、注文処理部８２は注文処理を実行する（Ｓ２４）。ページ認識処理において有効なページが特定されなければ（Ｓ２０のＮ）、Ｓ２２およびＳ２４をスキップし、商品購入アプリのメニュー画面において商品購入タブが未選択であれば（Ｓ１６のＮ）、Ｓ１８以降をスキップする。
【００４８】
図７は、図６のＳ１８のページ認識処理を詳細に示すフローチャートである。ページ認識部７８は、ページコード撮影画面をタッチスクリーン５０に表示させる（Ｓ３０）。図８はページコード撮影画面を示す。ページコード撮影画面には、ユーザが購入を希望する商品画像が掲載された紙カタログのページについて、そのページコード画像をユーザに撮影させるための領域であり、そのページコード画像を被写体として収めるべき範囲を示すコード撮影領域９０が設けられる。図７に戻り、ページコード撮影画面において所定の終了操作が受け付けられなければ（Ｓ３２のＮ）、カメラ部５８によるページコードの撮像待ち状態となる（Ｓ３４のＮ）。カメラ部５８により撮像されたページコードを撮像画像取得部７４が読み込むと（Ｓ３４のＹ）、ページ情報取得部７０は、最新のページ情報を取得済みか否かを販売支援装置１２へ問い合わせる。
【００４９】
最新のページ情報を未取得であれば、すなわち未取得のページ情報があり、もしくは取得済みのページ情報が更新されていた場合（Ｓ３６のＮ）、ページ情報取得部７０は、最新のページ情報を販売支援装置１２から取得する（Ｓ３８）。最新のページ情報を取得済みであれば（Ｓ３６のＹ）、Ｓ３８をスキップする。ページ認識部７８は、カメラ部５８により撮像されたページコードにもとづいてページＩＤを特定し、そのページＩＤをキーとしてページ情報を特定する。ユーザによる撮像画像をもとにページを特定し（Ｓ４０のＹ）、そのページ情報の有効期限が切れていなければ（Ｓ４２のＹ）、本図のフローを終了する。
【００５０】
その一方、撮像されたページコードからページＩＤを特定することができず（Ｓ４０のＮ）、もしくは、特定したページ情報が有効期限切れであれば（Ｓ４２のＮ）、エラー通知部８８はエラーダイアログを表示させる（Ｓ４４）。図９は、ページ認識処理でのエラーダイアログ９２を示す。このように、エラーダイアログにより、紙カタログもしくはページの有効期限切れをユーザへ通知することにより、ユーザに有効な紙カタログを参照するよう促すことができる。また、現在有効でない情報にもとづいてユーザが商品を注文してしまうことを防止でき、トラブルを回避しやすくなる。ユーザがエラーダイアログ９２の閉じるボタンを押下すると、ページ認識部７８はページコード撮影画面を再度表示させる（Ｓ３０）。また、ページコード撮影画面において所定の終了操作が受け付けられると（Ｓ３２のＹ）、Ｓ３４以降をスキップして本図のフローを終了する。
【００５１】
図１０は、図６のＳ２２の商品選択処理を詳細に示すフローチャートである。ページ認識部７８は商品撮影画面をタッチスクリーン５０に表示させる（Ｓ５０）。図１１は、商品撮影画面を示す。商品撮影画面には、ページ認識処理により特定されたページの説明文書を表示するページ説明領域９４と、購入を希望する商品画像をユーザに撮影させるための領域であり、その商品画像を被写体として収めるべき範囲を示す商品撮影領域９６と、撮像ボタン９８が設けられる。ユーザは、紙カタログに印刷された商品画像のうち、購入を希望する商品画像を商品撮影領域９６に表示させた状態で、撮像ボタン９８を押下することにより、ユーザ端末１４に商品画像を取り込ませる。
【００５２】
図１０に戻り、商品情報取得部７２は、ページ認識処理により特定されたページに対応づけられた１以上の商品情報のそれぞれについて、最新の商品情報であるか否かを販売支援装置１２へ問い合わせる。また未取得の商品情報があれば、その商品情報を販売支援装置１２から取得する。この問い合わせおよび商品情報取得は、商品撮影画面の表示処理のバックグラウンド処理として実行され、言い換えれば、ユーザが所望の商品の撮影を試行する間に開始する。このように、ユーザによる商品撮影のバックグラウンドで商品情報を取得することにより、最新の商品情報にもとづく画像マッチングの実行を担保しつつ、商品情報取得のための待ち時間をユーザに意識させにくくし、ユーザの利便性の低下を抑制できる。
【００５３】
最新の商品情報を未取得の場合、すなわち未取得の商品情報があり、もしくは、取得済みの商品情報が更新されていた場合（Ｓ５２のＮ）、商品情報取得部７２は、最新の商品情報を販売支援装置１２から取得する（Ｓ５４）。最新の商品情報を取得済みであれば（Ｓ５２のＹ）、Ｓ５４をスキップする。これにより、ユーザ端末１４と販売支援装置１２間の通信量を最低限にでき、商品情報取得のための待ち時間を低減できる。またユーザによる撮像画像とマッチングする商品画像を常に最新のものにでき、また最新の商品情報にもとづいて注文処理を実行できる。言い換えれば、最新でない商品情報に基づいて画像マッチングや注文処理を実施してしまうことを回避できる。なお変形例として、最新の商品情報を取得済みか否かの確認処理を省略し、商品情報取得部７２は、ページ認識処理によりページが特定された場合に、常に、そのページに含まれる各商品の最新の商品情報を販売支援装置１２へ問い合わせて取得してもよい。
【００５４】
商品撮影画面において所定の終了操作が検出されると（Ｓ５６のＹ）、Ｓ５８以降をスキップして本図のフローを終了する。所定の終了操作が未検出であれば（Ｓ５６のＮ）、カメラ部５８による商品画像の撮像待ち状態となる（Ｓ５８のＮ）。カメラ部５８により撮像された商品画像を撮像画像取得部７４が読み込んだときに（Ｓ５８のＹ）、最新の商品情報の取得処理が未完了であれば、その完了まで待機する（Ｓ６０のＮ）。最新の商品情報の取得処理が完了していれば（Ｓ６０のＹ）、商品認識部８０は、ページ認識処理により特定されたページに対応づけられた各商品情報が含む商品画像と、ユーザの撮像画像とを照合する（Ｓ６２）。このように、ユーザの撮像画像との比較対象を、ページ認識処理により特定されたページに掲載された商品画像に限定することで、画像マッチング処理の効率化を実現でき、照合処理に要する時間を低減できる。
【００５５】
ユーザの撮像画像に整合する商品画像が特定された場合（Ｓ６４のＹ）、注文画面設定部８４は、その商品画像に対応づけられた単位商品の情報を並べた商品選択画面を表示させる（Ｓ６６）。図１２は商品選択画面を示す。商品選択画面では、商品情報において１つの商品画像に対応づけられた１以上の単位商品それぞれの属性情報を表示する。図１２では、１つの商品画像に対応づけられた３つの関連商品（ここでは色違いのニット）の情報をユーザへ提示している。このように、商品情報において１つの商品画像に複数の単位商品を対応づけ、各単位商品を商品選択画面で選択可能に一覧表示させることにより、紙カタログでは販売対象の商品（すなわち単位商品）の一部についての画像が掲載されればよく、紙カタログの構成の柔軟性を確保しやすくなる。
【００５６】
また商品選択画面において各単位商品の情報エリアには、サムネイル画像１０６と選択ボタン１０８が表示される。ユーザは、注文対象とする単位商品の選択ボタン１０８を押下後に、注文ボタン１１０を押下することで、その単位商品の注文処理を実行させる。例えば図６のＳ２４の注文処理として、注文情報送信部８６は、ユーザが選択した単位商品のＩＤと、ユーザ情報保持部６０に格納されたユーザの個人情報とを販売支援装置１２へ送信する。
【００５７】
図１０に戻り、ユーザの撮像画像に整合する商品画像が特定できず（Ｓ６４のＮ）、もしくは、特定した商品情報が有効期限切れであれば、エラー通知部８８はエラーダイアログを表示させる（Ｓ６８）。図１３は、商品認識処理でのエラーダイアログ１００を示す。ユーザがエラーダイアログ１００の再撮影ボタンを押下すると（Ｓ７０のＮ）、Ｓ５０へ戻る。
【００５８】
その一方、ユーザがエラーダイアログ１００の商品一覧ボタン１０２を押下すると（Ｓ７０のＹ）、注文画面設定部８４は、ページ認識処理により特定されたページの掲載商品一覧の中から注文対象の商品をユーザに選択させるための商品選択画面を表示させる（Ｓ６６）。具体的には、注文画面設定部８４は、ページ認識処理により特定されたページ情報において対応づけられた１以上の商品情報を特定し、各商品情報に含まれる単位商品の属性情報を並べた商品選択画面を表示させる。
【００５９】
図１４は、ページの掲載商品を一覧表示させた商品選択画面を示す。図１２では、１つの商品画像に対応する３つの単位商品を表示したが、図１４では、それら３つの単位商品を含む、紙カタログの１ページに掲載された全商品画像に対応する合計６つの単位商品を選択可能に表示させている。これにより、商品認識処理においてユーザによる撮像画像に整合する商品を検出できない場合も、先のページ認識処理において特定されたページの掲載商品を一覧表示させることにより、ユーザの商品選択を支援することができる。
【００６０】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下変形例を示す。
【００６１】
第１の変形例を説明する。
注文画面設定部８４は、商品認識部８０により特定された商品情報と、ページ認識部７８により特定されたページに含まれる全ての商品情報の両方を、同一の商品選択画面に並べて表示させてもよい。例えば、商品認識部８０により特定された商品情報を商品選択画面の上位に表示させてもよい。そして所定のセパレータを挟んで、ページ認識部７８により特定されたページに含まれる全ての商品情報のうち、商品認識部８０により特定された商品情報を除いた商品情報を商品選択画面の下位に表示させてもよい。この変形例によると、紙カタログにおいて複数の商品画像が近傍位置に印刷されて、ユーザが誤った商品を撮影した場合や、誤った商品情報が特定された場合でも、ユーザが所望する商品情報を商品選択画面に表示させることができ、ユーザの利便性の低下を抑制できる。
【００６２】
第２の変形例を説明する。
紙カタログにおいて複数の商品画像が近傍位置に印刷された場合に、ユーザが商品撮影画面において複数の商品画像を商品撮影領域９６に収めて撮影し、撮像画像取得部７４が取得した１つの撮像画像が複数の商品画像を内包したものとなる可能性がある。この場合に、商品認識部８０は、１つの撮像画像が含む複数の商品画像のそれぞれに整合する複数の商品情報を特定してもよい。例えば商品認識部８０は、商品の特徴部分にもとづいて画像マッチングを実行する場合に、１つの撮像画像から複数の商品の特徴部分を検出したときには、それぞれの特徴部分にもとづく画像マッチングを実行し、複数の商品情報を特定してもよい。そして、注文画面設定部８４は、特定された複数の商品情報を並べた商品選択画面を表示させてもよい。この変形例によると、ユーザによる撮像画像に複数の商品画像が含まれる場合でも、各商品の情報を商品選択画面に表示させて、商品選択画面において所望の商品をユーザに選択させることができ、ユーザの利便性の低下を抑制できる。
【００６３】
第２の変形例に関連する第３の変形例を説明する。
一部既述したが、撮像画像取得部７４が取得した１つの撮像画像が複数の商品画像を内包したものである場合に、商品認識部８０は、１つの撮像画像が含む複数の商品画像のそれぞれに整合する複数の商品情報を特定してもよい。そして、その撮像画像の中心位置に最も近い商品画像に整合する商品情報を注文画面設定部８４に渡し、商品選択画面に表示させてもよい。別の態様として、商品認識部８０は、商品の特徴部分にもとづいて画像マッチングを実行する場合に、１つの撮像画像から複数の商品の特徴部分を検出したときには、撮像画像の中心位置に最も近い特徴部分を優先して画像マッチングに使用し、その特徴部分に整合する商品情報を特定してもよい。ユーザが購入を希望する商品は撮像画像の中心近くになりやすいと想定されるため、ユーザによる撮像画像に複数の商品画像が含まれる場合でも、妥当な商品を注文処理の対象として商品選択画面に表示させやすくなる。
【００６４】
第２の変形例に関連する第４の変形例を説明する。
一部既述したが、撮像画像取得部７４が取得した１つの撮像画像が複数の商品画像を内包したものである場合に、商品認識部８０は、１つの撮像画像が含む複数の商品画像のそれぞれに整合する複数の商品情報を特定してもよい。この場合に、商品認識部８０は、ユーザによる撮像画像を表示した商品撮影画面において、所望の商品画像に対する選択操作（例えばタップ操作やタッチ操作等でよく、以下ではタップ操作とする）を入力するよう指示するメッセージを表示させてもよい。ユーザのタップ操作が検出されたとき、商品認識部８０は、そのタップ位置に最も近い商品画像に整合する商品情報を注文画面設定部８４に渡し、商品選択画面に表示させてもよい。
【００６５】
別の態様として、商品認識部８０は、商品の特徴部分にもとづいて画像マッチングを実行する場合に、１つの撮像画像から複数の商品の特徴部分を検出したときには、ユーザによる撮像画像を表示した商品撮影画面において、所望の商品画像にタップするよう指示するメッセージを表示させてもよい。ユーザのタップ操作が検出された場合、商品認識部８０は、そのタップ位置に最も近い特徴部分を優先して画像マッチングに使用し、その特徴部分に整合する商品画像を含む商品情報を特定してもよい。この変形例によると、ユーザによる撮像画像に複数の商品画像が含まれる場合でも、ユーザの選択操作にもとづいて、ユーザが所望する商品を注文処理の対象として商品選択画面に表示させることができる。
【００６６】
第２の変形例に関連する第５の変形例を説明する。
一部既述したが、撮像画像取得部７４が取得した１つの撮像画像が複数の商品画像を内包したものである場合に、商品認識部８０は、１つの撮像画像が含む複数の商品画像のそれぞれに整合する複数の商品情報を特定してもよい。この場合に、商品認識部８０は、ユーザによる撮像画像を表示した商品撮影画面において、所望の商品画像に対して拡大表示操作（例えばピンチアウト操作）をするよう指示するメッセージを表示させてもよい。ユーザの拡大表示操作が検出された場合、商品認識部８０は、拡大表示操作後の撮像画像にもとづき再度画像マッチング処理を実行してもよい。
【００６７】
別の態様として、商品認識部８０は、商品の特徴部分にもとづいて画像マッチングを実行する場合に、複数の商品の特徴部分を検出したときには、所望の商品画像に対して拡大表示操作をするように指示するメッセージを表示させてもよい。ユーザの拡大表示操作が検出された場合、商品認識部８０は、拡大表示操作後の撮像画像にもとづき再度画像マッチング処理を実行してもよい。この変形例によると、ユーザによる撮像画像に複数の商品画像が含まれる場合でも、ユーザの拡大表示操作にもとづいて、ユーザが所望する商品を注文処理の対象として商品選択画面に表示させることができる。
【００６８】
第６の変形例を説明する。
上記実施の形態では、商品画像を表示する媒体として紙媒体を記載したが、商品表示媒体は紙媒体に制限されない。変形例としてモニター媒体であってもよい。具体的には、商品表示媒体が、テレビショッピングやウェブログを表示するモニター（ディスプレイ）媒体であっても、実施の形態の記載の技術思想を適用可能である。
【００６９】
例えばテレビショッピングの場合、商品表示画面（例えば、番組映像において商品画像を表示する商品紹介画面）において、そのテレビショッピングの番組（放送時間等）の識別情報や番組内での商品表示画面の識別情報を示す画面コード（実施の形態のページコードに相当）が表示されてもよい。テレビショッピングの視聴者は、商品表示画面において画面コードを撮像した上で、所望の商品を撮像する。ユーザ端末１４は、テレビショッピングの商品表示画面に表示される商品画像・商品属性を販売支援装置１２から取得し、保持しておく。ユーザ端末１４は、画面コードにもとづいて番組名および商品表示画面を識別し、その商品表示画面で表示される商品画像と撮像画像をマッチングして、紙カタログの場合と同様の商品選択画面を表示させる。
【００７０】
またウェブログの場合、商品表示画面（例えば、ウェブページにおいて商品画像を表示したペイン）において、そのウェブログの識別情報（ＵＲＬ等）やペインの識別情報を示す画面コードが表示されてもよい。ウェブログの閲覧者は、商品表示画面において画面コードを撮像した上で、所望の商品を撮像する。ユーザ端末１４は、ウェブログの商品表示画面に表示される商品画像・商品属性を販売支援装置１２から取得し、保持しておく。ユーザ端末１４は、画面コードにもとづいてウェブログおよび商品表示画面を識別し、その商品表示画面で表示される商品画像と撮像画像をマッチングして、紙カタログの場合と同様の商品選択画面を表示させる。
【００７１】
第７の変形例を説明する。
上記実施の形態では、ページコードとしてバーコードやＱＲコード（登録商標）を例示した。変形例では、ページコードとして、紙媒体における表紙や各ページ、モニター媒体に表示された商品表示画面等の一部もしくは全体の外観を示す画像（以下、「媒体外観画像」とも呼ぶ。）が採用されてもよい。すなわち、ページ認識処理として、商品表示媒体の外観を画像認識することにより当該媒体を一意に識別してもよい。この変形例によると、商品表示媒体の各ページや画面にコード情報を表示することが不要になり、商品表示媒体の美観の低下を一層抑制でき、また商品表示媒体の作成コストも低減しやすくなる。
【００７２】
例えば、ユーザ端末１４は、媒体外観画像のデータを含むページ情報を販売支援装置１２から取得し、保持してもよい。ここではユーザは紙カタログの表紙全体を撮影することとする。ページ認識部７８は、表紙の撮像画像と、予め取得済みの媒体外観画像とを照合（画像マッチング）し、紙カタログ単位で媒体を特定してもよい。商品情報取得部７２は、認識された紙カタログに掲載された全商品の最新の商品情報を取得してもよい。以降、ユーザは紙カタログ内の所望の商品を撮影し、実施の形態と同様に商品画像と撮像画像との照合処理が実行されればよい。また、ユーザが紙カタログの特定のページ全体の外観を撮影する場合、ページ認識部７８は、その撮像画像と媒体外観画像とを照合して、ページ単位で媒体を特定してもよい。以降、実施の形態と同様の処理が実行されればよい。
【００７３】
請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連係によって実現されることも当業者には理解されるところである。例えば、請求項に記載の所定の媒体は、実施の形態に記載の紙カタログや、第６の変形例に記載のモニター媒体を含む。また請求項に記載の表示面は、紙カタログにおける商品掲載ページや、モニター媒体における商品表示画面を含む。
【符号の説明】
【００７４】
１０  販売管理装置、  １２  販売支援装置、  １４  ユーザ端末、  １６  商品販売システム、  ５８  カメラ部、  ６２  ページ情報保持部、  ６４  商品情報保持部、  ７０  ページ情報取得部、  ７２  商品情報取得部、  ７４  撮像画像取得部、  ７６  照合部、  ８２  注文処理部、  ８８  エラー通知部。
【図１】
2013235478.tif 000003
【図２】
2013235478.tif 000004
【図３】
2013235478.tif 000005
【図４】
2013235478.tif 000006
【図５】
2013235478.tif 000007
【図６】
2013235478.tif 000008
【図７】
2013235478.tif 000009
【図１０】
2013235478.tif 000010
【図８】
2013235478.tif 000011
【図９】
2013235478.tif 000012
【図１１】
2013235478.tif 000013
【図１２】
2013235478.tif 000014
【図１３】
2013235478.tif 000015
【図１４】
2013235478.tif 000016