(57)【要約】【課題】  中高齢の利用者にもなじみのある一般の紙媒体のカタログをそのまま利用して、カタログに掲載されている商品を購買する注文を電子的に受付ける、注文支援装置を提供する。【解決手段】  利用者が注文支援装置のカメラの前に紙媒体のカタログを提示して閲覧することで、注文支援装置はカタログの紙面を撮影し、画像認識してカタログの種類と開いているページを認識し、モニタ上に紙面を表示する。ここで、利用者がカタログ内の商品を音声で指定すると、注文支援装置は音声認識してカタログ紙面中の商品を選択し、購買対象とする。利用者は選定した購買対象品を注文支援装置を用いて注文する。【選択図】図１
2014191600.tif 000002
【特許請求の範囲】
【請求項１】
一つ以上の紙面の画像データと各紙面に掲載されている商品の商品名と商品名の読みを保持するデータベースと、
呈示された紙面をカメラで撮影し、撮影した画像データを前記データベースの画像データを用いて画像認識することによって該紙面を特定し、特定された紙面に関する情報を表示させるページ認識手段と、
利用者の音声の波形データに対して、該特定された紙面に掲載されている商品を前記データベースを用いて選択してこれらの商品名の読みから得られる音声の波形データを優先的に照合処理して音声認識することによって商品を特定する音声認識部と、
該特定された商品の購買の注文を受付ける注文受付手段と、
所定の外部装置との間で情報を送受信する送受信手段と、
前記各手段を制御する制御手段と、を備えることを特徴とする注文支援装置。
【請求項２】
前記音声認識部は、
利用者の音声を外部ライブラリを用いて音声認識することによって商品を特定することを特徴とする、請求項１に記載の注文支援装置。
【請求項３】
前記ページ認識手段は、
呈示された紙面を魚眼レンズを付設したカメラで撮影することを特徴とする、請求項１または請求項２に記載の注文支援装置。
【請求項４】
前記ページ認識手段は、
現在呈示された紙面を撮影した画像データと直前に撮影した画像データとの画像特徴量情報の比較によりページめくりを検知して前記特定された紙面を変更し、現在撮影した画像データと前記データベースの新たに特定された紙面の画像データとを優先的に照合処理することによって該紙面を再度特定することを特徴とする、請求項１から請求項３のいずれかに記載の注文支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙媒体の商品カタログを利用して、利用者からの商品購買の注文を電子的に受付ける注文支援装置に関する。
【背景技術】
【０００２】
従前より、紙媒体のカタログと同等の紙面を持つ電子カタログを利用者装置のディスプレイに表示して、商品購買の注文を電子的に受付ける、いわゆるカタログビューアを用いた購買方法が存在している。しかし、これには利用者装置やビューアの立ち上げ、カタログの指定など、装置に対する操作方法が煩雑で、紙媒体のカタログと注文シートや電話を用いた従来の方式に比べ、中高齢者などデジタル機器の操作に不慣れな利用者が利用するには敷居が高いという問題があった。
【０００３】
電子カタログを用いて、利用者が興味を持った商品の情報を利用者装置のディスプレイに表示させ、注文を行う電子商取引の方法は、既に広く用いられている。また、従来型の紙媒体のカタログを使用する方法として、例えば特許文献１では、一般の紙媒体のカタログや広告のような、記事番号を含む情報誌の記事を利用者装置のカメラで撮影して、撮影画像データを情報サーバ装置に送信すると、情報サーバ装置は記事番号を認識して、その記事番号に基づいた記事データ関連情報を携帯端末装置に表示させる方法が示されている。
【０００４】
ここで、撮影画像データから記事番号を認識するプロセスについて詳細な説明がなされている、先ず撮影画像データからいくつかの矩形領域画像を切り取り、それらの属性を分析して、ある矩形領域画像を記事番号画像と判定する。さらに抽出した記事番号画像を文字毎に分解して記事番号を認識するといった技術が開示されている。
【０００５】
上述のように、撮影画像データから特定の情報を抽出するいわゆる画像認識の技術は、既に周知のものがある。例えば、３次元の被写体を撮影した画像はいわゆる透視画像となり、近いものほど大きく、遠いものほど小さく撮影されるが、この撮影された透視画像を正面方向から平面的に見た画像（平面正則画像）に補正する技術はいくつか呈示されている（詳細は後述する）。また、特許文献２には、魚眼レンズで撮影したような歪曲円形画像を平面正則画像に補正する技術が呈示されている。これらのような、撮影画像中の物体の座標情報と実空間の座標情報とを座標変換する三次元透視変換行列を算出するアルゴリズムが、非特許文献１に記載されている。なお、後述するように、本願発明においても、これらの既存技術のアルゴリズムを利用する。
【０００６】
また、撮影画像の画像認識技術に関連して、高速に画像の特徴点を抽出するＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズムが、非特許文献２に記載されている。また、本願発明においても、これらのアルゴリズムを利用することが可能であり、このアルゴリズムが動作するプログラムは、ＯｐｅｎＣＶ（非特許文献３）にて利用することが可能である。
【０００７】
さらに、音声認識技術について説明する。音声認識は、人の声である「音声」を「文字」に置き換える仕組みであるが、人の声の音声の波形データを単音節ごとに集めた音響データと言葉の並び方の知識を備えた言語モデルを保持し、取得した人の音声の波形データを言語モデルを用いて単音節に分割し、保持している音響データとマッチングさせる方法が主に用いられている。しかし、この方法では、例えば自然言語の認識には処理の負荷が大きく、専用の音声認識エンジンが必要となっている。
【０００８】
これに対して、音声認識すべき対象の音節を制限したり、語彙数を減らしたりして、データベースとの比較処理回数を少なくすることによって、簡易な処理装置によっても音声認識の精度と速度を向上する技術が呈示されている。特許文献３には、音声認識すべき対象を階層化することによって、ある語を音声認識した場合に、次に認識すべき語を絞り込むようにして照合比較すべき語彙数を減らす技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２３１４３１号公報
【特許文献２】特開２００９−１７６２７３号公報
【特許文献３】特開平８−２０２３８６号公報
【非特許文献】
【００１０】
【非特許文献１】ＯｐｅｎＣＶ、サンプリング、補間、幾何変換（画像の透視投影変換、全方位画像の透視投影変換）、［ＯＮＬＩＮＥ］［平成２５年２月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｓａｍｐｌｅ／ｓａｍｐｌｉｎｇ＿ａｎｄ＿ｇｅｏｍｅｔｒｉｃａｌｔｒａｎｓｆｏｒｍｓ．ｈｔｍｌ＃ｏｍｎｉ＿ｐｅｒｓｐｅｃｔｉｖｅ＞
【非特許文献２】Ｈｅｒｂｅｒｔ  Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄＬ．ＶａｎＧｏｏｌ、“ＳＵＲＦ：Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ．  Ｆｅａｔｕｒｅｓ”、ＩｎＥＣＣＶ、ｐｐ．４０４‐４１７、２００６．
【非特許文献３】ＯｐｅｎＣＶ、ＳＩＦＴ／ＳＵＲＦ、［ＯＮＬＩＮＥ］［平成２５年２月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｏｐｅｎｃｖ−２ｓｖｎ／ｃｐｐ／ｆｅａｔｕｒｅｓ２ｄ＿ｆｅａｔｕｒｅ＿ｄｅｔｅｃｔｉｏｎ＿ａｎｄ＿ｄｅｓｃｒｉｐｔｉｏｎ．ｈｔｍｌ＞
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に開示された方法においては、記事番号を含む情報誌の記事に対して、記事番号画像の画像認識を行うというもので、画像データ中に記事番号画像のような所定の特徴を持ったマークの存在が必要となっており、一般の紙媒体のカタログや広告のページを認識するようになされているとは言えない。
【００１２】
本発明は、デジタル機器の操作に不慣れな利用者にもなじみのある一般の紙媒体のカタログをそのまま利用して、カタログに掲載されている商品を購買する注文を電子的に受付ける、注文支援装置を提案するものである。
【課題を解決するための手段】
【００１３】
前記課題を解決するための、本願の第１の発明は、一つ以上の紙面の画像データと各紙面に掲載されている商品の商品名と商品名の読みを保持するデータベースと、呈示された紙面をカメラで撮影し、撮影した画像データを前記データベースの画像データを用いて画像認識することによって該紙面を特定し、特定された紙面に関する情報を表示させるページ認識手段と、利用者の音声の波形データに対して、該特定された紙面に掲載されている商品を前記データベースを用いて選択してこれらの商品名の読み得られる音声の波形データを優先的に照合処理して音声認識することによって商品を特定する音声認識部と、該特定された商品の購買の注文を受付ける注文受付手段と、所定の外部装置との間で情報を送受信する送受信手段と、前記各手段を制御する制御手段と、を備えることを特徴とする注文支援装置である。これによって、利用者は従来どおりの商品カタログを用いて、音声による簡易な操作で電子的に商品購買の注文を行うことができる。
【００１４】
第２の発明は、前記音声認識部は、利用者の音声を外部ライブラリを用いて音声認識することによって商品を特定することを特徴とする、第１の発明における注文支援装置である。これによって、音声認識の精度や自然言語による注文ができ、利用者は更に安易な操作で商品購買の注文を行うことができる。
【００１５】
第３の発明は、前記ページ認識手段は、呈示された紙面を魚眼レンズを付設したカメラで撮影することを特徴とする、第１または第２の発明における注文支援装置である。これによって、カタログ等の紙面を呈示する位置についての制限が緩和される。
【００１６】
第４の発明は、前記ページ認識手段は、現在呈示された紙面を撮影した画像データと直前に撮影した画像データとの画像特徴量情報の比較によりページめくりを検知して前記特定された紙面を変更し、現在撮影した画像データと前記データベースの新たに特定された紙面の画像データとを優先的に照合処理することによって該紙面を再度特定することを特徴とする、第１から第３の発明のいずれかにおける注文支援装置である。これによって、予め、現在呈示されている紙面が新たに特定された紙面であることが予測でき、画像処理による紙面の再特定を迅速に行うことができる。
【発明の効果】
【００１７】
本発明によれば、注文支援装置が閲覧中のカタログの紙面を撮影して、撮影画像データを画像認識することにより、カタログの種類号数やページおよび商品を認識し、電子的に商品購買の注文などのサービスの提供を支援するもので、注文支援装置に対して煩わしい操作をすることなく、利用者に負荷の少ない操作で利用することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態の全体構成を示す図である。
【図２】本実施形態の注文支援装置１００についてより詳しく説明する機能ブロッ  ク図である。
【図３】カタログ商品データベース１７０のレコード構成の例を示す図である。
【図４】注文支援装置１００のハードウェア構成を示す図である。
【図５】本装置を利用する利用者の注文の流れの例を示す図である。
【図６】本装置を利用中に表示される画面の例である。
【図７】本装置の典型的な使用例を示す図である。
【図８】本装置のもう一つの使用例を示す図である。
【図９】カタログを最適な位置に置くよう誘導する例を示す図である。
【図１０】画像認識のプロセスのブロック図である。
【図１１】画像の切出し範囲を説明する図である。
【図１２】透視補正の変換前の図形の四隅の座標と変換後の図形の四隅の座標を示  す図である。
【図１３】本装置を用いた注文支援に係る処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下に、本発明の一つの実施形態に係るシステムの構成について図面を参照してさらに詳細に説明する。
【００２０】
図１は、本実施形態の全体構成を示す図である。１００は注文支援装置であり、ネットワーク５００を介して小売業者の注文受付装置３００や外部ライブラリ４００との間で情報の送受信を行う。本装置はコンピュータプログラム（詳細な説明は後述）といくつかのデータベース（詳細な説明は後述）を備えている。
【００２１】
注文支援装置１００は、ディスプレイなどの表示部１０５とキーボードやマウスなどの入力部１０４を備えるとともに、ディスプレイの上部にカメラ１１１とマイク１１２を、またスピーカー１１３を備える。
【００２２】
ネットワーク５００は簡略化されて表示しているが、例えばインターネットのようなゲートウェイを介した複数のネットワークの組合せであり、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、電話回線、移動体通信網等から構成され、複数のアクセスポイントを備え、注文支援装置１００と小売業者の注文受付装置３００や外部ライブラリ４００との間で有線または無線を用いて情報の送受信を可能とするためのものである。
【００２３】
図２は、本実施形態の注文支援装置１００についてより詳しく説明する機能ブロック図である。注文支援装置１００は、所定のカタログの全頁の画像データと商品名及び商品名の読みをページ単位で蓄積するカタログ商品データベース１７０と、音声による操作案内のための録音音声を蓄積する音声ガイダンス１８０のデータベースを備える。
【００２４】
また、カメラ１１１より取り込んだ画像データとカタログ商品データベース１７０に蓄積している画像データのマッチングにより、現在呈示されているカタログのページがどのページであるかを認識するページ認識手段１５０と、利用者からの商品購買の注文を受付ける注文受付手段１６０と、これらの手段で用いる画像と音声に関する解析処理を行う画像・音声処理部１９０と、これらの手段と前記データベースを関連付けて制御する制御手段１３０と、ネットワーク５００を通じて小売業者の注文受付装置３００や外部ライブラリ４００とデータの送受信を行う送受信手段１２０のそれぞれのプログラムを備える。また画像・音声処理部１９０は、画像補正を行う透視補正部（１９１）と魚眼補正部（１９２）、画像認識を行う画像認識部（１９３）、および音声認識を行う音声認識部（１９４）の各機能モジュールを備える。
【００２５】
図３は、前記カタログ商品データベース１７０のレコード構成の一例を示す図である。カタログ商品データベース１７０は、カタログ号数を識別する識別子とその冊子内のページを表す識別子を備え、それぞれのページ毎に画像認識照合用のページの画像データを保有している。さらに、該ページ内に掲載されている全ての商品の商品名と商品名の読みを備えている。
【００２６】
図４は、注文支援装置１００のハードウェア構成を示す図である。注文支援装置１００はハードウェアとしては一つのコンピュータシステムである。注文支援装置１００は、制御部１０１、記憶部１０２、周辺機器Ｉ／Ｆ部１０３、入力部１０４、表示部１０５、通信部１０６を備え、それらがバス１０９を介して接続される。尚、図４のハードウェア構成は一例であり、別途、目的に応じて様々な構成を採ることが可能である。
【００２７】
制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部１０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０９を介して接続された各装置を駆動制御し、コンピュータが行う処理を実現する。ＲＯＭは、不揮発性メモリであり、注文支援装置１００のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１０２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１０１が各種処理を行う為に使用するワークエリアを備える。
【００２８】
記憶部１０２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、ページ認識手段１５０として機能するプログラムコード、注文受付手段１６０として機能するプログラムコード、画像・音声処理部１９０して機能するプログラムコードが格納されている。これらのプログラムコードは、制御部１０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行されることにより各種の手段として機能する。
【００２９】
周辺機器Ｉ／Ｆ部１０３は、注文支援装置１００に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１０３を介してコンピュータは、カメラ１１１、マイクロフォン１１２、スピーカー１１３などの周辺機器とのデータの送受信を行う。
【００３０】
入力部１０４は、データの入力を行い、例えば、キーボード、マウス、タッチパネル等の入力装置を有し、入力部１０４を介して、注文支援装置１００に対して、操作指示、動作指示、データ入力等を行うことができる。表示部１０５は、液晶パネル等のディスプレイ装置である。
【００３１】
通信部１０６は、通信制御装置、通信ポート等を有し、注文支援装置１００とネットワーク５００間の通信を媒介する有線または無線の通信インタフェースであり、ネットワーク５００を介して、他のコンピュータ特に小売業者の注文受付装置３００との通信制御を行う通信手段を備える。バス１０９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３２】
図５は、本装置を利用する利用者の注文の流れの例を示す図である。先ず、利用者は装置を立ち上げると、注文したい商品が掲載されているカタログの表紙を注文支援装置１００のカメラ１１１の前に提示する。注文支援装置１００の制御手段１３０はページ認識手段１５０を起動させ、カタログの表紙を撮影する（Ｓ０１）。ページ認識手段１５０はカタログの表紙の画像データからカタログの号数を識別（詳細は後述する）して、操作開始のガイダンスとともに識別した号数を音声化しスピーカー１１３より出力する（Ｓ０２）。
【００３３】
続いて利用者は、注文したい商品を探すためにカタログのページをめくり、注文したい商品が掲載されているページを閲覧する（Ｓ０３）。注文支援装置１００のページ認識手段１５０はカメラ１１１で現在開いているページを撮影し、カタログの画像データからそれが何ページであるかを識別（詳細は後述する）して、該ページに係るコンテンツ（たとえば該ページの画像や掲載商品の広告など）とマイクアイコンを画面上に表示する（Ｓ０４、図６（ａ）参照）。
【００３４】
利用者は、注文したい商品が決定した場合、画面上のマイクアイコンをマウスでクリックまたはタッチパネル上でタッチする。ここで、注文支援装置１００の制御手段１３０は注文受付手段１６０を起動させ、音声入力モードにして、商品名の読みあげを促す画面（図６（ｂ）参照）を表示し、ガイダンスを流す。利用者はこれに従い注文したい商品名を読みあげる（Ｓ０５）。その後、１秒程度の無声時間を検出した場合、音声入力モードは解除される。注文支援装置１００はこの間に音声をマイク１１２で収録して音声認識処理（詳細は後述する）を行い、画面に認識結果を表示する（Ｓ０６、図６（ｃ）参照）。
【００３５】
利用者は、この認識結果に対して、この商品を選定するか（○のアイコンを選択）選定しないか（×のアイコンを選択）を決定する。利用者がこの商品を選定した場合、ショッピングカートの画面が表示され、該商品が購入のために選定された旨表示する。また、高い精度の音声認識処理を行うことで、利用者に認識結果の確認を取ることなく商品が選定されるようにしてもよい（図６（ｄ）参照）。ここで、購入のために選定された商品が一つでもある場合、注文のアイコンが表示されるので、利用者は随時このアイコンを選択することにより、ショッピングカートに入っている商品を注文することができる（Ｓ０７）。この購入商品の情報は送受信手段１２０を介してネットワーク５００を通じて店舗の端末３００に送信される。
【００３６】
図７は、本装置の典型的な使用例を示す図である。図１で説明したように、注文支援装置１００の表示部１０５である液晶ディスプレイモニタ上には、カメラ１１１とマイク１１２が据付固定されている。利用者は本装置を利用するとき、利用者と液晶ディスプレイモニタとの間にカタログの紙面を利用者から見て正対するように呈示する（図７（ａ）参照）。図７（ｂ）は、これを横から見た模式図である。この図のように、固定されたカメラ１１１はカタログの紙面全面を良好に映写できるように前傾しているのが望ましい。
【００３７】
図８は、本装置のもう一つの使用例を示す図である。注文支援装置１００は図１で説明した構成を備えつつ、例えばタブレット型のコンピュータであってもよい。この場合、入力部１０４はタッチパネルとして、表示部１０５に組み込まれていてもよいし、カメラ１１１、マイク１１２およびスピーカー１１３はコンピュータに内蔵されているものを用いればよい。
【００３８】
タブレット型のコンピュータを注文支援装置１００として用いる場合、カメラ１１１の向きが図８（ａ）のように前方一方向に固定されて前傾できない可能性があり、このとき画角の制限で紙面がカメラの撮影範囲に入らないおそれがある。このようなときは、図８（ｂ）のように後付け可能な魚眼レンズを利用して画角を広げて（理論上１８０度）カメラの撮影範囲に紙面全体が入るようにしてもよい。
【００３９】
注文支援装置１００がタブレット型にせよディスプレイモニタが独立している形態にせよ、前述のように、利用者はカタログの紙面を利用者から見て正対するようにカメラ１１１の前に呈示する。このとき、注文支援装置１００は、カメラ１１１で現在撮影している映像をディスプレイに映し、呈示するカタログの位置を認識に最適な位置に置くよう誘導して呈示位置を固定させるようにするのが望ましい（図９参照）。
【００４０】
図１０は、注文支援装置１００におけるカタログの号数及びページを識別する、ページ認識手段１５０の画像認識のプロセスのブロック図である。先ず、ページ認識手段１５０はカメラ１１１で撮影した撮影画像データの二値化処理を行う（Ｓ１１）。二値化のためのパラメータ（表色（色座標）系やスライスレベル）は所定の決められたものを用いる。これは、最終的に比較するサンプル画像（カタログ商品データベースの画像データ）との整合性を取るためである。
【００４１】
さらに、二値化した撮影画像データに対し、画像切出し処理を行う（Ｓ１２）。前述したように、撮影されるカタログの位置が認識に最適な位置に置かれていれば、特に輪郭抽出などの手順を経ることなく、画像の切出し位置を決定してもよい。図１１は画像の切出し位置を説明する図である。図１１（ａ）は通常のカメラ１１１で撮影した場合の切出し範囲（図の点線で囲まれた範囲）を示している。また、図１１（ｂ）は魚眼レンズを備えたカメラ１１１で撮影した場合の切出し範囲（図の点線で囲まれた範囲）を示している。
【００４２】
次に、切出した撮影画像データに対し、画像補正処理を行う（図１０のＳ１３）が、通常のカメラ１１１で撮影した場合は、透視補正（１９１）を行う。透視補正の方法は数多く提案されているが、ここでは、例として、射影変換といわれる手法を紹介する。図１２のように、変換前の図形の四隅の座標を（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）とし、変換後の図形の四隅の座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）とすると、変換前の任意の座標（Ｘ，Ｙ）は下記の式によって（ｘ，ｙ）に変換される。
（ｘ，ｙ）＝（（ＡＸ＋ＢＹ＋Ｃ）／（ＧＸ＋ＨＹ＋１），（ＤＸ＋ＥＹ＋Ｆ）／（ＧＸ＋ＨＹ＋１））
ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈの値は、下記の８つの連立方程式を解くことにより求められる。
Ｘ１＊Ａ＋Ｙ１＊Ｂ＋Ｃ−ｘ１＊Ｘ１＊Ｇ−ｘ１＊Ｙ１＊Ｈ＝ｘ１
Ｘ１＊Ｄ＋Ｙ１＊Ｅ＋Ｆ−ｙ１＊Ｘ１＊Ｇ−ｙ１＊Ｙ１＊Ｈ＝ｙ１
Ｘ２＊Ａ＋Ｙ２＊Ｂ＋Ｃ−ｘ２＊Ｘ２＊Ｇ−ｘ２＊Ｙ２＊Ｈ＝ｘ２
Ｘ２＊Ｄ＋Ｙ２＊Ｅ＋Ｆ−ｙ２＊Ｘ２＊Ｇ−ｙ２＊Ｙ２＊Ｈ＝ｙ２
Ｘ３＊Ａ＋Ｙ３＊Ｂ＋Ｃ−ｘ３＊Ｘ３＊Ｇ−ｘ３＊Ｙ３＊Ｈ＝ｘ３
Ｘ３＊Ｄ＋Ｙ３＊Ｅ＋Ｆ−ｙ３＊Ｘ３＊Ｇ−ｙ３＊Ｙ３＊Ｈ＝ｙ３
Ｘ４＊Ａ＋Ｙ４＊Ｂ＋Ｃ−ｘ４＊Ｘ４＊Ｇ−ｘ４＊Ｙ４＊Ｈ＝ｘ４
Ｘ４＊Ｄ＋Ｙ４＊Ｅ＋Ｆ−ｙ４＊Ｘ４＊Ｇ−ｙ４＊Ｙ４＊Ｈ＝ｙ４
【００４３】
また、魚眼レンズを備えたカメラ１１１で撮影した撮影画像データに対しては、魚眼補正（１９２）を行う。先に述べたように、特許文献２には、魚眼レンズで撮影したような歪曲円形画像を平面正則画像に補正する技術が呈示されている。特許文献２の方法は、歪曲円形画像上の切出中心点Ｐ（ｘ０，ｙ０）を中心とした切出領域Ｅ内の画像を、平面正則画像に変換する。ここでは、切出中心点Ｐ（ｘ０，ｙ０）および切出領域Ｅは、図１１（ｂ）に示される点線の範囲とその中心点を用いるように固定することとする。
【００４４】
こうすることによって、特許文献２で述べられている、切出中心点Ｐ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｇ（ｘ０，ｙ０，ｚ０）と、この点において仮想球面Ｈに接する接平面が一意に決定される。また、この接平面上にＧ（ｘ０，ｙ０，ｚ０）が原点となるようにＵＶ座標系を定義する（この接平面をＵＶ平面と称す）。ここで、点Ｇ（ｘ０，ｙ０，ｚ０）は方位角と天頂角により表すこともでき、方位角０度、天頂角（９０°−θ）度（図８（ｂ）参照）と表してもよく、本願においては、Ｇ（ｘ０，ｙ０，ｚ０）の座標の値は一意に定まる。
【００４５】
更に、Ｕ軸とＸ′軸とのなす角度φを定義する。ここで、Ｘ′軸は、交点Ｇ（ｘ０，ｙ０，ｚ０）を通りＸ軸に平行な軸である。これは、ＵＶ座標系の回転ファクターを示すパラメータであるため「平面傾斜角」と称されるが、本願においてはこの角度φの値も一つに定まる。また、下式の半径Ｒは、撮影に用いた魚眼レンズに固有の数値であるので、この値も一つに定まる。
【００４６】
ここで、下式を用いて、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを対応づけ、座標（ｕ，ｖ）で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標（ｘ，ｙ）で示される位置に配置された歪曲円形画像上の参照画素の画素値に基づいて決定する。
ｘ＝Ｒ［（ｕ−ｘ０）Ａ＋（ｖ−ｙ０）Ｂ＋（ｗ−ｚ０）Ｅ］／ √（（ｕ−ｘ０）＊＊２＋（ｖ−ｙ０）＊＊２＋（ｗ−ｚ０）＊＊２）
ｙ＝Ｒ［（ｕ−ｘ０）Ｃ＋（ｖ−ｙ０）Ｄ＋（ｗ−ｚ０）Ｆ］／ √（（ｕ−ｘ０）＊＊２＋（ｖ−ｙ０）＊＊２＋（ｗ−ｚ０）＊＊２）
ここで、
Ａ＝１−（１−ｃｏｓφ）（ｙ０２＋ｚ０２）
Ｂ＝−ｚ０ｓｉｎφ＋ｘ０ｙ０（１−ｃｏｓφ）
Ｃ＝ｚ０ｓｉｎφ＋ｘ０ｙ０（１−ｃｏｓφ）
Ｄ＝１−（１−ｃｏｓφ）（ｚ０２＋ｘ０２）
Ｅ＝ｙ０ｓｉｎφ＋ｚ０ｘ０（１−ｃｏｓφ）
Ｆ＝−ｘ０ｓｉｎφ＋ｙ０ｘ０（１−ｃｏｓφ）
ｗ＝ｍＲ（但し、ｍは所定の変換倍率）
尚、上の数式で√（根号）の後ろにある「＊＊２」は２乗を表している）。
【００４７】
続いて、画像認識部（１９３）による処理を行う。前記画像補正処理を施した撮影画像データに対し、特徴抽出処理を行う（Ｓ１４）。特徴抽出処理は、画像補正処理を施した撮影画像データから抽出した特徴量情報（たとえば、先に述べた非特許文献２に記載のＳＵＲＦアルゴリズムにて特徴点を抽出して、その特徴点の局所特徴量）を算定する。
【００４８】
最後に、撮影画像データから抽出した特徴量情報とカタログ商品データベース１７０の画像データの特徴量情報とを総当り制のマッチング処理を行うことによって、最も近い画像を選定し、その画像のページ番号（表紙であればカタログ号数）を予想現在ページ（現在閲覧されていると予想されるページ）として決定し、該ページに係るコンテンツ（たとえば該ページの画像や掲載商品の広告など）を画面上に表示して画像の識別を完了する。
【００４９】
音声認識部（１９４）は、人の声である「音声」を「文字」に置き換える仕組みである。この音声認識の技術に関しても様々な方法が提案されている。しかし、先に述べたように、基本的には、人の声の音声の波形データを単音節ごとに集めた音響データと言葉の並び方の知識を備えた言語モデルを保持し、外部から取得した音声の波形データを言語モデルを用いて単音節に分解し、保持している音響データとマッチングさせて文字に置き換える方法が主となっているため、特に自然言語による話し言葉の音声認識には処理の負荷が高く、専用の音声認識エンジンが必要とされている。
【００５０】
これに対し、例えば近年玩具や照明機器で用いられるように、音声認識すべき対象を単語などに限って音節を制限することと、照合比較すべき語彙数を減らし、データベースとの比較処理回数を少なくして、専用の処理装置でなくても音声認識の精度と速度を向上する工夫がなされている。
【００５１】
認識すべき単語（語彙）を制限する方法は、認識すべき対象によって異なるが、例えば特許文献３には、ナビゲーション装置による音声認識として、認識対象とする地名の数を削減するために、地名を階層化し、例えば都道府県、市区町村といった階層に分け、認識対象とする地名の数を限定する方法が示されている。
【００５２】
本願においては、音声認識すべき対象は、利用者が購入する商品の商品名であるが、先に説明したカタログページの画像認識によって、現在閲覧しているページが判っているため、カタログ商品データベース１７０を参照してそのページにどんな商品名の商品が掲載されているか知ることができ、音声認識の対象となる商品名を優先的に設定したり、対象商品の数を限定したりすることができる。これにより、本願の注文支援装置１００を用いても、音声認識の精度と速度の向上を図ることが可能である。
【００５３】
具体的には、注文支援装置１００の制御手段１３０は、注文受付手段１６０を起動して音声入力モードとし、音声入力モードになっている間に利用者からの音声をマイク１１２で収録すると、入力した音声信号を波形データに変換して利用者の音声波形データとし、これに対してカタログ商品データベース１７０を参照して、現在閲覧しているカタログのページに掲載されている全商品について商品名の読みを用いて単音節の音響データを連結することにより作成される音声の波形データを優先的にマッチング処理することにより、誤りなく高速に音声認識を行い、認識した結果を画面に表示する（図６（ｃ）参照）。
【００５４】
この他に、音声認識部（１９４）の処理については、外部ライブラリ４００を用いるようにしてもよい。注文支援装置１００は、音声入力モードになっている間に音声をマイク１１２で収録すると、入力した音声信号と音声認識の候補となる商品名の読みのリストを、送受信手段１２０を介し、ネットワーク５００を通じて外部ライブラリ４００に送信する。外部ライブラリ４００は、音声認識を行い、認識結果をネットワーク５００を通じて注文支援装置１００に返信する。このような音声認識を行う外部ライブラリとしては，Ｇｏｏｇｌｅ社のＧｏｏｇｌｅ音声検索やＡｐｐｌｅ社のＳＩＲＩ（登録商標）などが知られている。
【００５５】
図１３は、本装置のページ認識に係る処理を示すフローチャートである。以上のようにして、取り込んだ撮影画像データの識別が完了し、予想現在ページのページ番号が決定されたら、カメラ１１１で紙面を撮影し、直前に撮影した画像との比較によって、大きな変化があるかないか調べ、ページめくり動作の有無を検知する（Ｓ２１）。
【００５６】
具体的には、直前に撮影した画像との特徴量情報の比較で、例えばカメラから見て左側（利用者から見て右側）の特徴量情報が大きく変化した場合、ページ番号が増える方向にページめくりがなされたと判断し、カメラから見て右側（利用者から見て左側）の特徴量情報が大きく変化した場合、ページ番号が減る方向にページめくりがなされたと判断して、予想現在ページを増減させ（Ｓ２２）、後述の紙面確認を行う。尚、このページめくりについては遷移状態の画像が複数点連続して撮影されることが予想されるため、一連のページめくりに際してページカウントを１回のみ増減するように留意する。
【００５７】
ページめくりがない場合は、商品を選択中と考えられるので、そのまま待機するか、音声ガイダンスで商品の注文を促すアナウンスをスピーカー１１３を用いてしてもよい。
【００５８】
音声による注文があった場合、注文支援装置１００の制御手段１３０は、まず、予想現在ページ中の商品の中に注文された商品があるかないかチェックする（Ｓ２３）。これについては、カタログ商品データベース１７０を参照し、予想現在ページに掲載されている全商品の商品名を獲得して、前記注文受付手段１６０による音声認識において、音声認識する対象をこれらの商品に絞り込み、認識の精度と速度の向上を図ることができる。ここで、予想現在ページに注文された商品がない場合、カタログ商品データベース１７０を参照して注文された商品が掲載されているページを予想現在ページとして、表示するコンテンツをそれに合わせて変更し（Ｓ２４）、後述の紙面確認を行う。
【００５９】
直前のページ認識時刻から所定の時間（例えば１０秒）経過していた場合、カメラ１１１を用いて現在開かれているページを撮影し、画像認識部（１９３）による処理を行う（Ｓ２５）。このとき、予想現在ページが現在開かれていると想定し（Ｓ２６）、後述の紙面確認を行う。
【００６０】
前記の各動作において、紙面確認を行うこととなった場合、先ず、予想現在ページについて、カタログ商品データベース１７０のページの画像データとのマッチング処理による紙面確認を行う（Ｓ２７）。こうすることで、画像認識対象を限定して認識速度の向上を図ることができる。ここで、マッチングが取れれば予想現在ページはそのままとし、認識結果が異なれば、総当り制のマッチング処理を行って、マッチングが取れたページを新たな予想現在ページとする（Ｓ２８）。また、所定の時間を経過していない場合は、処理を終了し、再度ページめくり動作の確認から処理を繰り返す。
【００６１】
本実施形態によれば、利用者が注文支援装置１００の前でカタログを閲覧することにより、カメラ１１１が逐次閲覧中のページを認識し、カタログの該ページと関連情報をモニタディスプレイに表示するとともに、利用者は商品を選定し、商品購入の注文を行える、利用者にも店舗側にもメリットがある注文支援装置が提供される。
【００６２】
本発明は、上述の実施形態に限定されることなく、特許請求の範囲内で種々変更、応用が可能である。例えば、注文支援装置１００はネットワーク５００と有線で結ばれているように描かれているが、無線で接続されていても構わない。また、説明ではタブレットＰＣが例示されているが、スマートフォンであっても同様に本発明を実施することが可能である。
【符号の説明】
【００６３】
１００  注文支援装置
１２０  送受信手段
１３０  制御手段
１５０  ページ認識手段
１６０  注文受付手段
１７０  カタログ商品データベース
１８０  音声ガイダンス
１９０  画像・音声処理部
３００  小売業者の注文受付装置
４００  外部ライブラリ
５００  ネットワーク
【図１】
2014191600.tif 000003
【図２】
2014191600.tif 000004
【図３】
2014191600.tif 000005
【図４】
2014191600.tif 000006
【図５】
2014191600.tif 000007
【図６】
2014191600.tif 000008
【図７】
2014191600.tif 000009
【図８】
2014191600.tif 000010
【図９】
2014191600.tif 000011
【図１０】
2014191600.tif 000012
【図１１】
2014191600.tif 000013
【図１２】
2014191600.tif 000014
【図１３】
2014191600.tif 000015