(57)【特許請求の範囲】
【請求項１】
光照射部及びＣＣＤセンサーを有する読取機構を備え、購入したい物品が記載された買い物メモを読み取って前記買い物メモの画像を取得し、広告チラシを読み取って前記広告チラシの広告画像を取得する画像読取部と、
前記画像読取部によって取得された前記買い物メモの画像から文字を識別し、更に前記画像読取部によって取得された前記広告画像から文字を識別して、識別した文字をデータ化する文字認識部と、
前記文字認識部が識別した前記買い物メモの文字からメモ物品名としての文字列を抽出し、前記文字認識部が識別した前記広告画像の文字から広告商品名としての文字列を抽出する文字抽出部と、
前記文字抽出部が抽出した広告商品名から前記メモ物品名を含む広告商品名を検索し、更に、前記買い物メモよりも前に前記画像読取部によって読み取られた買い物メモに記載されていたメモ物品名を含む広告商品名を、前記文字抽出部が抽出した広告商品名から検索できず、当該メモ物品名が未抽出文字として未抽出品記憶部に記憶されている場合に、前記未抽出品記憶部から前記未抽出文字を読み出して、前記文字抽出部が抽出した広告商品名からその未抽出文字を検索する文字検索部と、
前記文字検索部によって検索された前記メモ物品名を含む広告商品名が示す商品の価格及び販売店舗名を含む商品情報を、前記文字認識部が識別した前記広告画像の文字から取得し、更に、前記文字検索部によって検索された前記未抽出文字を含む前記広告商品名が示す商品の商品情報を、前記文字認識部が識別した前記広告画像の文字から取得する商品情報取得部と、
前記文字検索部によって検索された前記メモ物品名を含む広告商品名と、前記商品情報取得部によって取得されたその広告商品名が示す商品の商品情報とを記載し、更に、前記未抽出品記憶部が記憶する過去の前記未抽出文字を含む前記広告商品名と、前記商品情報取得部によって取得されたその広告商品名が示す商品の商品情報とを記載した買い物リストを作成するリスト作成部と、を備え、
前記文字抽出部が抽出した広告商品名から前記メモ物品名を含む広告商品名を前記文字検索部が検索できなかった場合、前記買い物リストの作成後に、そのメモ物品名を前記未抽出文字として前記未抽出品記憶部が記憶する、購買支援装置。
【請求項２】
前記リスト作成部は、前記文字検索部によって検索された前記広告商品名が複数あるときは、前記商品情報取得部により取得される価格が低額である商品の広告商品名から順に並べて、前記買い物リストを作成する請求項１に記載の購買支援装置。
【請求項３】
前記商品情報取得部によって、前記広告商品名が示す同一の商品についての販売店舗名が複数取得されたとき、前記リスト作成部は、当該複数の販売店舗名から予め定められた基準に従って選定した１つの販売店舗名及びその価格を示した前記買い物リストを作成する請求項１に記載の購買支援装置。
【請求項４】
前記リスト作成部は、前記予め定められた基準を、前記価格が最低額であることとして、前記選定を行う請求項３に記載の購買支援装置。
【請求項５】
前記メモ物品名を含む広告商品名が示す商品の画像を前記広告画像から取得する商品画像取得部を更に備え、前記リスト作成部は前記商品画像取得部が取得した画像を更に追加して前記買い物リストを作成する請求項１乃至請求項４のいずれかに記載の購買支援装置。
【請求項６】
外部装置とデータ通信が可能な通信部を更に備え、前記通信部は前記リスト作成部が作成した買い物リストを前記外部装置へ送信する請求項１乃至請求項５のいずれかに記載の購買支援装置。
【請求項７】
原稿の画像を読み取る画像読取部と、ＣＰＵを含み、文字認識部、文字抽出部、文字検索部、商品情報取得部及びリスト作成部を有する制御部とにより、下記に示すステップを実行することにより、ユーザーによる物品の購入を支援する購買支援方法であって、
画像読取部が、購入したい物品が記載された買い物メモを読み取って前記買い物メモの画像を取得し、広告チラシを読み取って前記広告チラシの広告画像を取得する画像読取ステップと、
文字認識部が、前記画像読取ステップで取得された前記買い物メモの画像から文字を識別し、更に前記画像読取ステップで取得された前記広告画像から文字を識別して、識別した文字をデータ化する文字認識ステップと、
文字抽出部が、前記文字認識ステップで識別した前記買い物メモの文字からメモ物品名としての文字列を抽出し、前記文字認識ステップで識別した前記広告画像の文字から広告商品名としての文字列を抽出する文字抽出ステップと、
文字検索部が、前記文字抽出ステップで抽出した広告商品名から前記メモ物品名を含む広告商品名を検索し、更に、前記買い物メモよりも前に前記画像読取ステップによって読み取られた買い物メモに記載されていたメモ物品名を含む広告商品名を、前記文字抽出ステップで抽出した広告商品名から検索できず、当該メモ物品名が未抽出文字として未抽出品記憶部に記憶されている場合に前記未抽出品記憶部から前記未抽出文字を読み出して、前記文字抽出ステップで抽出した広告商品名からその未抽出文字を検索する文字検索ステップと、
商品情報取得部が、前記文字検索ステップで検索された前記メモ物品名を含む広告商品名が示す商品の価格及び販売店舗名等の商品情報を、前記文字認識ステップで識別した前記広告画像の文字から取得し、更に、前記文字検索ステップで検索された前記未抽出文字を含む前記広告商品名が示す商品の商品情報を、前記文字認識ステップで識別した前記広告画像の文字から取得する商品情報取得ステップと、
リスト作成部が、前記文字検索ステップで検索された前記メモ物品名を含む広告商品名と、前記商品情報取得ステップで取得されたその広告商品名が示す商品の商品情報とを記載し、更に、前記未抽出品記憶部が記憶する過去の前記未抽出文字を含む前記広告商品名と、前記商品情報取得ステップで取得されたその広告商品名が示す商品の商品情報とを記載した買い物リストを作成するリスト作成ステップと、
前記文字抽出ステップで抽出した広告商品名から前記メモ物品名を含む広告商品名を前記文字検索ステップで検索できなかった場合、前記買い物リストの作成後に、そのメモ物品名を前記未抽出文字として前記未抽出品記憶部が記憶する未抽出品記憶ステップと、を備える購買支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顧客の購入支援が可能な購買支援装置及び購買支援方法に関する。
【背景技術】
【０００２】
顧客が店舗にて品物を購入する際に、買い忘れを防ぐためのシステムや購買を促進するためのシステムが提案されている。特許文献１には、ユーザーが作成した買い物メモのデータをサーバーに保存し、店舗内の端末や携帯電話等からアクセスできるシステムが提案されている。また、特許文献２には、店舗用サーバーと通信可能なカート端末で買い物情報を表示する買い物支援システムが提案されている。
【０００３】
更に、特許文献３には、原稿を読み取った画像から文字を認識する技術について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３２６４９号公報
【特許文献２】特開２００４−１２６９８７号公報
【特許文献３】特開平１０−２１０２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１及び２に記載された発明の場合、サーバーや特殊な端末等を店舗側が用意する必要があり、導入コストが大きくなる。また、特定の店舗の情報しか得られないため、近隣の競合店と商品価格を比較することが難しい。特許文献３に記載された技術は、原稿を読み取った画像から文字を認識するものに過ぎないため、このような問題を解決できない。
【０００６】
本発明は、上記の問題を解決するためになされたもので、複数の店舗に渡る商品比較が容易に可能な購買支援装置及び購買支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一局面に係る購買支援装置は、光照射部及びＣＣＤセンサーを有する読取機構を備え、購入したい物品が記載された買い物メモを読み取って前記買い物メモの画像を取得し、広告チラシを読み取って前記広告チラシの広告画像を取得する画像読取部と、前記画像読取部によって取得された前記買い物メモの画像から文字を識別し、更に前記画像読取部によって取得された前記広告画像から文字を識別して、識別した文字をデータ化する文字認識部と、前記文字認識部が識別した前記買い物メモの文字からメモ物品名としての文字列を抽出し、前記文字認識部が識別した前記広告画像の文字から広告商品名としての文字列を抽出する文字抽出部と、前記文字抽出部が抽出した広告商品名から前記メモ物品名を含む広告商品名を検索し、更に、前記買い物メモよりも前に前記画像読取部によって読み取られた買い物メモに記載されていたメモ物品名を含む広告商品名を、前記文字抽出部が抽出した広告商品名から検索できず、当該メモ物品名が未抽出文字として未抽出品記憶部に記憶されている場合に、前記未抽出品記憶部から前記未抽出文字を読み出して、前記文字抽出部が抽出した広告商品名からその未抽出文字を検索する文字検索部と、前記文字検索部によって検索された前記メモ物品名を含む広告商品名が示す商品の価格及び販売店舗名を含む商品情報を、前記文字認識部が識別した前記広告画像の文字から取得し、更に、前記文字検索部によって検索された前記未抽出文字を含む前記広告商品名が示す商品の商品情報を、前記文字認識部が識別した前記広告画像の文字から取得する商品情報取得部と、前記文字検索部によって検索された前記メモ物品名を含む広告商品名と、前記商品情報取得部によって取得されたその広告商品名が示す商品の商品情報とを記載し、更に、前記未抽出品記憶部が記憶する過去の前記未抽出文字を含む前記広告商品名と、前記商品情報取得部によって取得されたその広告商品名が示す商品の商品情報とを記載した買い物リストを作成するリスト作成部と、を備え、前記文字抽出部が抽出した広告商品名から前記メモ物品名を含む広告商品名を前記文字検索部が検索できなかった場合、前記買い物リストの作成後に、そのメモ物品名を前記未抽出文字として前記未抽出品記憶部が記憶する。
【０００８】
また、本発明の一局面に係る購買支援方法は、原稿の画像を読み取る画像読取部と、ＣＰＵを含み、文字認識部、文字抽出部、文字検索部、商品情報取得部及びリスト作成部を有する制御部とにより、下記に示すステップを実行することにより、ユーザーによる物品の購入を支援する購買支援方法であって、画像読取部が、購入したい物品が記載された買い物メモを読み取って前記買い物メモの画像を取得し、広告チラシを読み取って前記広告チラシの広告画像を取得する画像読取ステップと、文字認識部が、前記画像読取ステップで取得された前記買い物メモの画像から文字を識別し、更に前記画像読取ステップで取得された前記広告画像から文字を識別して、識別した文字をデータ化する文字認識ステップと、文字抽出部が、前記文字認識ステップで識別した前記買い物メモの文字からメモ物品名としての文字列を抽出し、前記文字認識ステップで識別した前記広告画像の文字から広告商品名としての文字列を抽出する文字抽出ステップと、文字検索部が、前記文字抽出ステップで抽出した広告商品名から前記メモ物品名を含む広告商品名を検索し、更に、前記買い物メモよりも前に前記画像読取ステップによって読み取られた買い物メモに記載されていたメモ物品名を含む広告商品名を、前記文字抽出ステップで抽出した広告商品名から検索できず、当該メモ物品名が未抽出文字として未抽出品記憶部に記憶されている場合に前記未抽出品記憶部から前記未抽出文字を読み出して、前記文字抽出ステップで抽出した広告商品名からその未抽出文字を検索する文字検索ステップと、商品情報取得部が、前記文字検索ステップで検索された前記メモ物品名を含む広告商品名が示す商品の価格及び販売店舗名等の商品情報を、前記文字認識ステップで識別した前記広告画像の文字から取得し、更に、前記文字検索ステップで検索された前記未抽出文字を含む前記広告商品名が示す商品の商品情報を、前記文字認識ステップで識別した前記広告画像の文字から取得する商品情報取得ステップと、リスト作成部が、前記文字検索ステップで検索された前記メモ物品名を含む広告商品名と、前記商品情報取得ステップで取得されたその広告商品名が示す商品の商品情報とを記載し、更に、前記未抽出品記憶部が記憶する過去の前記未抽出文字を含む前記広告商品名と、前記商品情報取得ステップで取得されたその広告商品名が示す商品の商品情報とを記載した買い物リストを作成するリスト作成ステップと、前記文字抽出ステップで抽出した広告商品名から前記メモ物品名を含む広告商品名を前記文字検索ステップで検索できなかった場合、前記買い物リストの作成後に、そのメモ物品名を前記未抽出文字として前記未抽出品記憶部が記憶する未抽出品記憶ステップと、を備える。
【発明の効果】
【０００９】
本発明によれば、買い物メモに記載された各品物の価格や販売店舗等を一覧可能な買い物リストが作成されるため、ユーザーは、当該買い物リストを視認することにより、購入したい品物の販売状況を複数の店舗間で簡単に比較でき、どの店で購入すべきかを判断しやすくなる。
【図面の簡単な説明】
【００１０】
【図１】購買支援装置及び画像形成装置に関する概念図である。
【図２】画像形成装置の主要内部構成を示す機能ブロック図である。
【図３】購買支援処理の流れを示したフローチャートである。
【図４】買い物リストの印刷例を示す図である。
【図５】買い物リストの印刷例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態に係る購買支援装置及び画像形成装置について図面を参照して説明する。尚、本発明における購買支援装置とは、スキャナやカメラ等の撮像装置を用いて手書きのメモ画像や広告チラシの画像を取得可能な装置、又は購入したい物品名が記載された文書データや店舗の電子広告を外部装置から受信可能な装置であればよい。本実施の形態では、購買支援装置を画像形成装置として説明する。
【００１２】
図１は、本実施の形態における購買支援装置及び画像形成装置に関する概念図である。ここでは画像形成装置１を例に挙げて説明する。画像形成装置１は、原稿を光学的に読み取って原稿画像を取得する画像読取部を備えたものである。画像形成装置１としては、業務用の画像形成装置であっても、家庭用の小型プリンターであっても適用可能である。
【００１３】
購買支援装置としての画像形成装置１による購買支援の概念を説明する。当該購買支援は、ユーザーが購入したい品物の比較を複数の店舗間で簡単に行えるようにするものである。
【００１４】
ユーザーは購入したい品物をまとめた買い物メモ９１と広告チラシ９２及び９３を用意する。次に、ユーザーは画像形成装置１の画像読取部に対して買い物メモ９１、チラシ９２及びチラシ９３の画像読み取りを行わせる。画像読取部はそれぞれの画像を取得し、画像形成装置１が有する文字認識部が画像から文字を識別し、文字データへと変換する。更に、画像形成装置１が有する文字検索部は、チラシ９２とチラシ９３の広告商品名から、買い物メモ９１のメモ物品名を検索する。商品情報取得部は、メモ物品名を含む広告商品名の示す商品の情報を各チラシから取得する。そして画像形成装置１のリスト作成部は、文字検索部の検索結果と商品情報取得部が取得した商品情報に基づいて、買い物リスト９９を作成する。ユーザーは、当該買い物リスト９９を視認することにより、すなわち、画像形成装置１からの出力物による購買支援を受けることにより、購入したい品物の比較を複数の店舗間で簡単に行えるようになる。
【００１５】
図２は、画像形成装置１の主要内部構成を示す機能ブロック図である。画像形成装置１は、制御部１１、画像読取部１３、画像形成部１４、画像メモリー１５、記憶部１６、操作部１７、ファクシミリ通信部１８及びネットワークインターフェース部１９（通信部）等を備える。
【００１６】
画像読取部１３は、光照射部及びＣＣＤセンサー等を有する読取機構を備え、光を原稿に照射し、その反射光をＣＣＤセンサーで受光することにより、原稿から画像を読み取る。
【００１７】
画像形成部１４は、画像読取部１３が読み取った画像や外部装置３０から送信された画像を用紙に印刷する。
【００１８】
画像メモリー１５は、画像読取部１３が読み取った画像を一時的に記憶したり、画像形成部１４の印刷対象となるデータを一時的に保存したりする領域である。
【００１９】
記憶部１６は、画像形成装置１の動作に必要なプログラムやデータを記憶するものであり、本実施の形態では未抽出品記憶部１６１を有する。未抽出品記憶部１６１は、文字検索部１１３が検索できなかったメモ物品名を記憶する。
【００２０】
操作部１７は、画像形成装置１が実行可能な各種動作及び処理についてユーザーから画像形成動作実行指示や原稿読取動作実行指示等の指示を受け付ける。
【００２１】
ファクシミリ通信部１８は、図略の符号化／復号化部、変復調部及びＮＣＵ（Network Control Unit）を備え、公衆電話回線網を用いてのファクシミリの送信を行うものである。
【００２２】
ネットワークインターフェース部１９は、ＬＡＮボード等の通信モジュールから構成され、ネットワークインターフェース部１９に接続されたＬＡＮ等を介して、ローカルエリア内又はインターネット上のパーソナルコンピューター等の外部装置３０と種々のデータの送受信を行う。
【００２３】
制御部１１は、ＣＰＵ(Central Processing Unit)、ＲＡＭ、ＲＯＭ及び専用のハードウェア回路等から構成され、画像形成装置１の全体的な動作制御を司る。制御部１１は、文字認識部１１１、文字抽出部１１２、文字検索部１１３、商品情報取得部１１４、商品画像取得部１１５及びリスト作成部１１６を備える。
【００２４】
文字認識部１１１は、ＯＣＲ（Optical Character Recognition）技術等を用いて、画像読取部１３により読み取られた画像等から文字を識別し、文字データへと変換する。文字認識部１１１は、購入したい物品が記載された買い物メモの画像から文字を識別する。文字認識部１１１は、広告チラシである広告画像から文字を識別する。
【００２５】
文字抽出部１１２は、文字認識部１１１が識別した買い物メモの文字からメモ物品名としての文字列を抽出し、更に文字認識部１１１が識別した広告画像の文字から広告商品名としての文字列を抽出する。
【００２６】
文字検索部１１３は、文字抽出部１１２が抽出した広告商品名からメモ物品名を含む広告商品名を検索する。
【００２７】
商品情報取得部１１４は、メモ物品名を含む広告商品名の示す商品の価格や販売価格、産地や付加特典等の商品情報を、文字認識部１１１が識別した広告画像の文字から取得する。
【００２８】
商品画像取得部１１５は、メモ物品名を含む広告商品名の示す商品の画像を広告画像から抜き取って取得する。
【００２９】
リスト作成部１１６は、文字検索部１１３の検索結果と商品情報取得部１１４が取得した商品情報に基づいて、買い物リストを作成する。また、図１では表記していないが、リスト作成部１１６は、商品画像取得部１１５が取得した商品画像を買い物リストに添付してもよい。
【００３０】
続いて、購買支援装置としての画像形成装置１による購買支援の具体例を説明する。
【００３１】
まずユーザーは、購入したい品物、又は複数の店舗にて販売価格を比較したい品物をまとめた買い物メモ９１を作成する。この買い物メモ９１は、ユーザーによる手書きでもよいし、パソコンや携帯端末等で作成した文書データの印刷物であってもよい。
【００３２】
そして、ユーザーは、購入したい商品が販売されている店舗の広告チラシを用意する。本実施の形態ではＡスーパーのチラシ９２とＢスーパーのチラシ９３を例に挙げる。
【００３３】
次に、ユーザーは画像形成装置１の画像読取部１３に対して買い物メモ９１、チラシ９２及びチラシ９３の画像読み取りを行わせる。画像読取部１３は買い物メモ９１、チラシ９２及びチラシ９３を読み取ってそれぞれの画像を取得し、画像形成装置１が有する文字認識部１１１がＯＣＲ（Optical Character Recognition）技術等を用いてそれぞれの画像から文字を識別し、文字データへと変換する。
【００３４】
そして、文字抽出部１１２が、文字認識部１１１が識別した買い物メモ９１の文字からメモ物品名としての文字列を抽出し、文字認識部１１１が識別した広告画像の文字から広告商品名としての文字列を抽出する。
【００３５】
更に、画像形成装置１が有する文字検索部１１３は、チラシ９２とチラシ９３から認識された広告商品名から、買い物メモ９１から認識されたメモ物品名を含む広告商品名を検索する。例えば、あるメモ物品名が「牛乳」である場合、文字検索部１１３はチラシ９２及び９３の広告商品名から「牛乳」を含む広告商品名を検索する。
【００３６】
文字検索部１１３がチラシ９２又はチラシ９３から「牛乳」を検索できた場合、商品情報取得部１１４が「牛乳」の商品情報を各チラシから取得する。例えば「牛乳」はチラシ９２及び９３の両方に掲載されているため、商品情報取得部１１４は文字認識部１１１のチラシ９２及び９３のそれぞれの認識結果から「牛乳」の価格等を商品情報として取得する。商品情報取得部１１４は、例えば、文字認識部１１１のチラシ９２及び９３のそれぞれの認識結果から「牛乳」の近傍位置に、「価格」の文字に続く数字、又は「￥」、「円」、「ｙｅｎ」、「$」、「ドル」、「元」等の文字に続く数字を検索し、商品情報として取得する。商品情報は、商品に関する様々な情報であり、例えば価格の他に、販売店舗名、産地、量、付加特典等があげられる。商品情報取得部１１４は、例えば、販売店舗名、産地、量、付加特典等の商品情報を、「店」、「産」、「グラム」、「ポイント」「クーポン」等の文字を検索して、これらの文字に続く文字情報を抽出することにより取得する。
【００３７】
そして画像形成装置１のリスト作成部１１６は、文字検索部１１３の検索結果と商品情報取得部１１４が取得した商品情報に基づいて、買い物リスト９９を作成する。例えばメモ物品名「牛乳」については、ＡスーパーとＢスーパーの両方のチラシの広告商品名から検出されているため、リスト作成部１１６はそれぞれの店舗名及び各店舗での価格（１０９円、１２０円）が分かるようにリストを作成する。
【００３８】
更に、買い物メモ９１に記載されている「牛肉」については、Ａスーパーは国産牛、Ｂスーパーは輸入牛と、各牛肉の産地が記載されている。リスト作成部１１６は商品情報として価格と共に産地を買い物リスト９９に掲載する。
【００３９】
また、買い物メモ９１に記載されている「卵」も同様に、ＡスーパーとＢスーパーの両方のチラシに掲載されているが、Ｂスーパーのチラシには、顧客に与えられる特典ポイントが通常の２倍との付加特典が掲載されている。リスト作成部１１６は、商品情報取得部１１４が取得した商品情報に基づいて、この付加特典も商品情報として買い物リスト９９に掲載する。このように、販売価格の他に、産地や付加特典の違いが買い物リスト９９に掲載されることで、ユーザーは単に価格だけでなく、様々な販売情報を比較して購入を検討することができる。
【００４０】
更に、買い物メモ９１に記載されている「キャベツ」は、ＡスーパーとＢスーパーのチラシのどちらにも掲載されていない。つまり、文字検索部１１３はチラシ９２とチラシ９３から認識された文字から「キャベツ」を検索できなかったことになる。この場合、リスト作成部１１６は「広告掲載無し」と記載する。そして後述するが、画像形成装置１が有する未抽出品記憶部１６１は、メモ物品名のうち、広告掲載のなかったメモ物品名を未抽出文字として記憶する。
【００４１】
例えば、買い物リスト９９に記載された「バナナ」は、買い物メモ９１には記載がないが、未抽出品記憶部１６１が記憶している未抽出文字である。つまり、以前の買い物メモには記載されていたが、そのときの広告チラシには「バナナ」の掲載がなかったため、文字検索部１１３が「バナナ」の文字を検索できず、未抽出品記憶部１６１が「バナナ」を未抽出文字として記憶していたのである。
【００４２】
そこで、文字検索部１１３は未抽出品記憶部１６１が記憶する過去のメモ物品名である「バナナ」をチラシ９２及び９３の広告商品名から検索する。そして検索された場合には、リスト作成部１１６は買い物リスト９９に「バナナ」の商品情報を記載する。こうすることで、過去に購入しようと思っていたが、広告掲載がなかったために購入しなかった商品を買い物リスト９９に載せることができ、買い忘れ等を防ぎ、更に購買促進を図ることができる。
【００４３】
この買い物リスト９９は、画像形成装置１が有する画像形成部１４が用紙に印刷してもいいし、画像形成装置１が有する通信部が買い物リスト９９のデータをユーザーのパソコンや携帯端末等に送信するようにしてもよい。
【００４４】
図３は、本実施の形態における購買支援処理の流れを説明したフローチャートである。図４及び図５は買い物リストの印刷例を示す図である。まず、画像読取部１３は、買い物メモを読み取る（ステップＳ２１）。尚、買い物メモが手書き、又は用紙に印刷されたものである場合のみ、画像読取部１３が買い物メモの読み取りを行う。買い物メモが文書データである場合は、ネットワークインターフェース部１９が外部装置３０からその文書データを取得し、画像読取部１３による読み取りは行わない。
【００４５】
そして、画像読取部１３が買い物メモの読み取りを行った場合、文字認識部１１１は買い物メモの画像の文字認識を行って、認識した文字をデータ化する。文字抽出部１１２は、認識した文字からメモ物品名を示す文字列を抽出する（ステップＳ２２）。
【００４６】
次に、画像読取部１３は広告チラシを読み取って、広告画像を取得する（ステップＳ２３）。なお、本実施形態では、複数店舗分の広告チラシが画像読取部１３によって読み取られるものとする。尚、広告チラシが用紙に印刷されたものである場合のみ、画像読取部１３による広告チラシの読み取りが行われる。例えば電子広告等の画像データ化された広告である場合は、ネットワークインターフェース部１９が外部装置３０からその電子広告を取得することで上記広告画像が取得され、画像読取部１３の読取による広告画像の取得は行われない。
【００４７】
そして、文字認識部１１１が広告チラシの画像又は電子広告の文字認識を行って、認識した文字をデータ化する。文字抽出部１１２は、認識した文字から広告商品名を示す文字列を抽出する（ステップＳ２４）。
【００４８】
次に、文字検索部１１３は、ステップＳ２４で抽出された広告商品名からメモ物品名を含む広告商品名を検索する（ステップＳ２５）。例えば、メモ物品名として「牛乳」という文字がある場合、文字検索部１１３は、広告商品名から「牛乳」という文字を検索する。
【００４９】
尚、文字検索部１１３は、「牛乳」という文字が含まれている広告商品名を全て検索するため、例えば「フルーツ牛乳」や「牛乳寒天」等のユーザーの意図しない広告商品名を検索する場合もある。従って、文字検索部１１３がメモ物品名と全く同じ広告商品名のみを検索する（完全一致）、又はメモ物品名を含む全ての広告商品名を検索する（部分一致）の何れかを設定できるようにしてもよい。
【００５０】
更に、文字検索部１１３は、未抽出品記憶部１６１が記憶する未抽出文字、すなわち、過去にメモ物品名として検索されたが、広告掲載がなかったために検索されなかった未抽出文字を、広告画像（広告チラシ）の文字から検索する（ステップＳ２６）。
【００５１】
続いて、商品情報取得部１１４は、メモ物品名を含む広告商品名の示す商品の商品情報（販売店舗名、価格、量、産地、付加特典等）を広告画像の文字（広告チラシに記載された文字）から取得すると共に、商品画像取得部１１５は、メモ物品名を含む広告商品名が示す商品の画像を、画像読取部１３によって取得された上記広告画像から抜き出す（ステップＳ２７）。
【００５２】
そして、リスト作成部１１６は、メモ物品名を含む広告商品名と、その商品の商品情報を掲載した図１に印刷例を示すような買い物リストを作成する（ステップＳ２８）。
【００５３】
このとき、リスト作成部１１６は、例えば、文字検索部１１３によって検索された上記メモ物品名を含む広告商品名が複数あるときは、商品情報取得部１１４により取得される価格が低額である商品の広告商品名から順に並べて、図４に印刷例を示すような買い物リスト９９を作成するようにしてもよい。これにより、ユーザーは、買い物リストを視認したときに、最低額で商品を購入できる販売店舗を把握し易くなる。
【００５４】
また、商品情報取得部１１４によって、広告商品名が示す同一の商品についての販売店舗名（文字「店」を含むワード）が複数取得されているときには、リスト作成部１１６は、当該複数の販売店舗名から予め定められた基準に従って選定した１つの販売店舗名及びその価格を示した買い物リストを作成するようにしてもよい。
【００５５】
例えば、リスト作成部１１６は、上記予め定められた基準を、価格が最低額であることとして上記選定を行う。リスト作成部１１６は、図５に印刷例を示すような、商品毎に、最低額となる販売店を示した買い物リスト９９を作成する。これによれば、ユーザーは、多く掲載される販売店舗の中から、商品を最低額で購入可能な店舗を判別する作業が不要となり、また、買い物リストに掲載される販売店舗数も少なくなるのでユーザーが買い物リストをみたときの煩雑さが低減する。
【００５６】
また、ステップＳ２５における文字検索部１１３の結果、広告チラシに掲載のなかったメモ物品名は未抽出文字として未抽出品記憶部１６１が記憶する（ステップＳ２９）。
【００５７】
以上、説明したように、広告商品名からメモ物品名を含む広告商品名を検索し、検索に挙げられた広告商品名が示す商品の価格や販売店舗名等の商品情報を用いてリスト作成部１１６が買い物リストを作成することで、ユーザーはその買い物リストを見れば、ある品物の複数店舗の販売情報を簡単に比較することができる。そして、リスト作成部１１６が買い物リストに価格、産地、付加特典の内容を記載することで、ユーザーはどの店で購入すべきかを判断しやすくなる。
【００５８】
また、文字検索部１１３の結果、広告チラシに掲載のなかったメモ物品名は未抽出品記憶部１６１が記憶し、後日別の広告チラシの文字認識が行われた際に、文字検索部１１３が未抽出品記憶部１６１の記憶する過去のメモ物品名を広告商品名から検索することで、広告掲載がなかったために購入しなかった商品を買い物リスト９９に載せることができ、買い忘れ等を防ぎ、更に購買促進を図ることができる。
【符号の説明】
【００５９】
１      画像形成装置
１１    制御部
１１１  文字認識部
１１２  文字抽出部
１１３  文字検索部
１１４  商品情報取得部
１１５  商品画像取得部
１１６  リスト作成部
１３    画像読取部
１４    画像形成部
１５    画像メモリー
１６    記憶部
１６１  未抽出品記憶部
１７    操作部
１８    ファクシミリ通信部
１９    ネットワークインターフェース部
３０    外部装置
【図１】
0006327044.tif 000002
【図２】
0006327044.tif 000003
【図３】
0006327044.tif 000004
【図４】
0006327044.tif 000005
【図５】
0006327044.tif 000006