(57)【要約】【課題】  点字ラベルや商品のデザイン面の画像読み取りから音声情報としての再生が簡単にできて視覚障害者に音声として伝達することができる、視覚障害者用の商品説明システムを提供する。【解決手段】  視覚障害者用商品説明システム１は、商品のデザイン面に貼付される点字入りラベル又は商品のデザイン面を画像情報として取り込むカメラと、スピーカとを有する携帯端末２と、サーバ３とを備える。視覚障害者がラベル又は商品のデザイン面を携帯端末２のカメラで撮影すると、撮影された画像情報が携帯端末２からサーバ３へ送信される。サーバ３は、携帯端末２から受信した画像情報と、予めデータベースに登録されている画像情報との間でマッチングを行い、その商品の音声情報をデータベースから抽出して携帯端末２へ送信し、携帯端末２が、この音声情報をスピーカから再生する。【選択図】      図１
2016200666.tif 000002
【特許請求の範囲】
【請求項１】
視覚障害者が必要とする商品の内容の説明を点字からだけではなく音声でも受けられるようにした視覚障害者用商品説明システムであって、
商品のデザイン面に貼付される点字入りラベル、又は商品のデザイン面に突起物や切り込みを入れた商品の、前記ラベル、又は商品のデザイン面を画像情報として取り込むカメラと、スピーカと、を有する携帯端末と、
この携帯端末とネットワークを介して接続されたサーバと、を備え、
前記サーバは、各商品毎に前記ラベル、又は商品のデザイン面の画像を記録した画像情報と、各商品毎の説明を音声で記録した音声情報と、が登録されたデータベースを有し、
視覚障害者が前記ラベルの点字、又は商品の突起物や切り込みを頼りにラベル、又は商品のデザイン面を携帯端末のカメラで撮影すると、撮影された画像情報が携帯端末から前記サーバへ送信され、
前記サーバは、携帯端末から受信した画像情報と、前記データベースに登録されている画像情報との間でマッチングを行い、該マッチングで特定された商品の音声情報をデータベースから抽出して携帯端末へ送信し、携帯端末が、この音声情報をスピーカから再生することを特徴とする視覚障害者用商品説明システム。
【請求項２】
サーバは、携帯端末から受信した画像情報を画像検索サービスへ送信して、該サービスへ画像情報のマッチングをリクエストし、該マッチングで特定された商品の音声情報を前記データベースから抽出して携帯端末へ送信する請求項１に記載の視覚障害者用商品説明システム。
【請求項３】
データベースに登録される音声情報は、各商品毎の説明を日本語のほか外国語の音声で記録した情報を含み、
携帯端末は、前記サーバから受信した日本語及び外国語の音声情報をスピーカから再生可能であることを特徴とする請求項１又は２に記載の視覚障害者用商品説明システム。
【請求項４】
サーバのデータベースには、前記画像情報及び音声情報のほかに、各商品毎の説明をテキストで記録したテキスト情報が登録されており、
サーバは、前記マッチングで特定された商品のテキスト情報を、前記音声情報とともにデータベースから抽出して携帯端末へ送信し、携帯端末が、当該音声情報をスピーカから再生するとともに、当該テキスト情報を表示部に表示する請求項１ないし３のいずれかに記載の視覚障害者用商品説明システム。
【請求項５】
データベースに登録されるテキスト情報は、各商品毎の説明を日本語のほか外国語のテキストで記録した情報を含み、
携帯端末は、サーバから受信した日本語及び外国語のテキスト情報を表示部に表示するとともに、該テキスト情報を音声で読み上げてスピーカから再生可能である請求項４記載の視覚障害者用商品説明システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視覚障害者がスーパーマーケット等で商品を購入する際に、手に取った商品の説明を点字からのみでなく、スマートフォン等の携帯端末の音声からも得られるようにして視覚障害者の商品購入時の利便性を高めることができる視覚障害者用商品説明システムに関するものである。
【背景技術】
【０００２】
従来、視覚障害者がスーパーマーケット等で商品を購入するには、購入する商品の表面に貼付されている点字ラベルを頼りにその点字で記載されている範囲の情報を得て、商品の購入の選択をするしかなかった。そのため、もう少し詳しい商品説明が欲しくとも、点字ラベルでは伝達する情報量に限度があり、視覚障害者にとっては必ずしも便利なものではなかった。また、そのことが視覚障害者による商品購入の躊躇の原因となってなかなか消費拡大につながらないのが実情である。
【０００３】
この発明に関連する先行技術文献として、特許文献１に示すような点字シールが提案されている。この点字シールは、シール基材の点字表記の無い部分に音声記録の二次元コードを設け、点字知識の無い者でも読み取り機械に掛けることにより点字表示の表示内容を音声情報として再生できるようにしたものである。
【０００４】
しかし、この特許文献１に示す点字シールは、あくまでもシール自体の発明であって、シールに設けられる二次元コードによる表示内容を読み取る読み取り機械に関しては何も説明がされていないのに加え、読み取り機械で読み取った二次元コードの表示内容をどのようにして音声情報として再生するのか、その仕組みについては一切不明のままである。また、この点字シールは音声記録を二次元コードに設けており、二次元コードが必須のものとなっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−５１５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこでこの発明は、前記のような従来の問題を解決し、二次元コードを必要とせず、新たなビジネスモデルを構築する一環として、点字シール（点字ラベル）や商品のデザイン面の画像読み取りから音声情報としての再生が簡単にできて視覚障害者に音声として伝達することができる、視覚障害者用の商品説明システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、請求項１に記載の発明は、視覚障害者が必要とする商品の内容の説明を点字からだけではなく音声でも受けられるようにした視覚障害者用商品説明システムであって、商品のデザイン面に貼付される点字入りラベル、又は商品のデザイン面に突起物や切り込みを入れた商品の、前記ラベル、又は商品のデザイン面を画像情報として取り込むカメラと、スピーカと、を有する携帯端末と、この携帯端末とネットワークを介して接続されたサーバと、を備え、前記サーバは、各商品毎に前記ラベル、又は商品のデザイン面の画像を記録した画像情報と、各商品毎の説明を音声で記録した音声情報と、が登録されたデータベースを有し、視覚障害者が前記ラベルの点字、又は商品の突起物や切り込みを頼りにラベル、又は商品のデザイン面を携帯端末のカメラで撮影すると、撮影された画像情報が携帯端末から前記サーバへ送信され、前記サーバは、携帯端末から受信した画像情報と、前記データベースに登録されている画像情報との間でマッチングを行い、該マッチングで特定された商品の音声情報をデータベースから抽出して携帯端末へ送信し、携帯端末が、この音声情報をスピーカから再生することを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１記載の視覚障害者用商品説明システムにおいて、サーバは、携帯端末から受信した画像情報を画像検索サービスへ送信して、該サービスへ画像情報のマッチングをリクエストし、該マッチングで特定された商品の音声情報を前記データベースから抽出して携帯端末へ送信することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の視覚障害者用商品説明システムにおいて、データベースに登録される音声情報は、各商品毎の説明を日本語のほか外国語の音声で記録した情報を含み、携帯端末は、前記サーバから受信した日本語及び外国語の音声情報をスピーカから再生可能であることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の視覚障害者用商品説明システムにおいて、サーバのデータベースには、前記画像情報及び音声情報のほかに、各商品毎の説明をテキストで記録したテキスト情報が登録されており、サーバは、前記マッチングで特定された商品のテキスト情報を、前記音声情報とともにデータベースから抽出して携帯端末へ送信し、携帯端末が、当該音声情報をスピーカから再生するとともに、当該テキスト情報を表示部に表示することを特徴とする。
【００１１】
請求項５に記載の発明は、請求項４記載の視覚障害者用商品説明システムにおいて、データベースに登録されるテキスト情報は、各商品毎の説明を日本語のほか外国語のテキストで記録した情報を含み、携帯端末は、サーバから受信した日本語及び外国語のテキスト情報を表示部に表示するとともに、該テキスト情報を音声で読み上げてスピーカから再生可能であることを特徴とする。
【発明の効果】
【００１２】
この発明は、前記のようであって、請求項１記載の発明によれば、視覚障害者が必要とする商品の内容の説明を点字からだけではなく音声でも受けられるようにした視覚障害者用商品説明システムであって、商品のデザイン面に貼付される点字入りラベル、又は商品のデザイン面に突起物や切り込みを入れた商品の、前記ラベル、又は商品のデザイン面を画像情報として取り込むカメラと、スピーカと、を有する携帯端末と、この携帯端末とネットワークを介して接続されたサーバと、を備え、前記サーバは、各商品毎に前記ラベル、又は商品のデザイン面の画像を記録した画像情報と、各商品毎の説明を音声で記録した音声情報と、が登録されたデータベースを有し、視覚障害者が前記ラベルの点字、又は商品の突起物や切り込みを頼りにラベル、又は商品のデザイン面を携帯端末のカメラで撮影すると、撮影された画像情報が携帯端末から前記サーバへ送信され、前記サーバは、携帯端末から受信した画像情報と、前記データベースに登録されている画像情報との間でマッチングを行い、該マッチングで特定された商品の音声情報をデータベースから抽出して携帯端末へ送信し、携帯端末が、この音声情報をスピーカから再生するので、視覚障害者は聴覚を通じて、点字ラベルから得られる情報量以上のより詳細な商品情報を得ることができる。これにより、視覚障害者の商品購入時の利便性を高めることができ、視覚障害者の消費活動を促進することができる。
【００１３】
請求項２に記載の発明によれば、サーバは、携帯端末から受信した画像情報を画像検索サービスへ送信して、該サービスへ画像情報のマッチングをリクエストし、該マッチングで特定された商品の音声情報を前記データベースから抽出して携帯端末へ送信するので、画像情報のマッチング処理をより高精度に行うことができる。特に、視覚障害者が撮影した画像に商品の一部のみしか写っていないなど、商品を認識するのに不十分な範囲の画像しか撮影できない場合であっても、比較的正確に商品を識別することができる。
【００１４】
請求項３に記載の発明によれば、データベースに登録される音声情報は、各商品毎の説明を日本語のほか外国語の音声で記録した情報を含み、携帯端末は、前記サーバから受信した日本語及び外国語の音声情報をスピーカから再生可能であるので、世界各国の言語を母国語とする視覚障害者でもシステムを利用することができ、システムの適用範囲が拡大する。
【００１５】
請求項４に記載の発明によれば、サーバのデータベースには、前記画像情報及び音声情報のほかに、各商品毎の説明をテキストで記録したテキスト情報が登録されており、サーバは、前記マッチングで特定された商品のテキスト情報を、前記音声情報とともにデータベースから抽出して携帯端末へ送信し、携帯端末が、当該音声情報をスピーカから再生するとともに、当該テキスト情報を表示部に表示するので、音声のみならずテキスト形式でも商品の詳細な情報を取得することができ、検索履歴としても利用することができる。
【００１６】
請求項５に記載の発明によれば、データベースに登録されるテキスト情報は、各商品毎の説明を日本語のほか外国語のテキストで記録した情報を含み、携帯端末は、サーバから受信した日本語及び外国語のテキスト情報を表示部に表示するとともに、該テキスト情報を音声で読み上げてスピーカから再生可能であるので、世界各国の言語を母国語とする視覚障害者でもシステムを利用することができ、システムの適用範囲が拡大する。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施の形態を示す、視覚障害者用の商品説明システムの全体構成の概略を示す説明図である。
【図２】同上の点字ラベルＬの作成例を示す説明図である。
【図３】同上の携帯端末２の概略構成を示すブロック図である。
【図４】同上の商品サーバ３の概略構成を示すブロック図である。
【図５】この発明の第１の実施形態に係る商品説明システムの処理の流れを示すシーケンス図である。
【図６】この発明の第２の実施形態に係る商品説明システムの処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、この発明の一実施の形態に係る視覚障害者用の商品説明システムについて説明する。
【００１９】
図１は、一実施の形態に係る視覚障害者用の商品説明システム１の全体構成の概略を示す説明図であり、商品説明システム１は、スマートフォンなどの携帯端末２と、商品の情報が予め登録されたデータベースを有する商品サーバ３とが、インターネットなどのネットワークを介して相互に通信可能に接続された構成となっている。
【００２０】
システムの主なユーザである視覚障害者は、スーパーマーケットなどの店舗で商品を購入する際、携帯端末２に搭載されているカメラのアプリケーションを起動し、購入を検討している商品をスキャン（撮影）する。このとき、商品のパッケージ正面には、視覚障害者のために当該商品の種類や名称などの商品の内容を点字で説明したラベル（以下、点字ラベルという）が貼付されている。この点字ラベルの例を図２に示す。
【００２１】
図２に示すように、点字ラベルＬには、商品の種類や名称、数量、キャンペーンなどの内容が記載されるとともに、これらの情報を主な内容とする点字表示がラベル表面に形成されている。このシステムの主なユーザである視覚障害者は、この点字ラベルＬに施された点字表示に直接触れることにより、商品の名称や種類などの商品属性を認識するとともに、この点字ラベルを手掛かりとして、携帯端末２で撮影すべき商品の向きを識別することができる。以下、この点字ラベルＬが貼付された商品のパッケージ正面を、商品のデザイン面という。
【００２２】
携帯端末２で撮影された商品の点字ラベルＬの画像データは、ネットワークを介して商品サーバ３へ送信される（サーバ問い合わせ）。商品サーバ３は、携帯端末２から商品の画像データを受け付けると、この画像データに基づき画像検索を行い、その商品がどのような商品であるかを特定するとともに、その商品の名称等の情報を音声で記録した音声情報を携帯端末２へ返信する。
【００２３】
具体的には、商品サーバ３は、店舗で取り扱う商品の各種情報が予め登録されたデータベースを有している。このデータベースには、商品のデザイン面に貼付される点字ラベルの画像のほか、商品のデザイン面そのものの画像、その商品の商品名などの情報を音声で記録した音声情報（以下、単に音声情報という）、及び商品の情報をテキストで記録したテキスト情報（以下、単にテキスト情報という）などが、相互に関連付けて登録されている。
【００２４】
商品サーバ３は、このデータベースに登録されている点字ラベルや商品のデザイン面の画像データと、携帯端末２から受信した画像データとの間でマッチング処理を行い、当該商品を特定するとともに、その商品の音声情報及びテキスト情報をデータベースから取得し、これらの情報を携帯端末２へ返信する。携帯端末２では、商品サーバ３から受信した商品のテキスト情報が液晶ディスプレイなどの表示部に表示されるとともに、商品の音声情報がスピーカなどの音声出力部から再生される。このようにして、商品を撮影した視覚障害者に商品の詳しい情報が伝えられ、視覚障害者はこの情報から該当の商品を購入するか否かを判断することができる。
以下、商品説明システム１を構成する携帯端末２及び商品サーバ３について詳しく説明する。
【００２５】
（１）携帯端末２
携帯端末２は、スマートフォン、携帯電話機、タブレット等の装置で構成され、図３にブロック図で示すように、カメラ部２１と、表示部２２と、通信部２３と、音声出力部２４と、記憶部２５と、これら各部を制御する制御部２６を備えている。
【００２６】
カメラ部２１は、レンズ及び撮像素子や、撮影時に点灯するＬＥＤ（Light Emitting Diode）、シャッターボタン、カメラ部全体を制御するコントローラ等を含む。表示部２２は、液晶ディスプレイ等を含む。通信部２３は、他の通信機器とネットワーク通信を行うためのインターフェイスを含む。音声出力部２４は、音声を出力するスピーカを含む。記憶部２５は、データを一時記憶するメモリを含む。制御部２６は、これら各部を含む携帯端末全体を制御するもので、カメラ部２１で撮影された画像データを記憶部２５に一時記憶するとともに、通信部２３を介して商品サーバ３へ送信する。
【００２７】
なお、カメラ起動用のアプリケーションのアイコンや、商品撮影のためのシャッターボタンが、携帯端末２のどの位置に配置されているかを知らせるための点字ラベルを、端末本体の所定の箇所に貼付して、視覚障害者が商品撮影の際に押下すべきボタン等の位置を認識できるようにすると、より好ましい。
【００２８】
（２）商品サーバ３
商品サーバ３は、携帯端末２から送信される画像データに基づき、商品の画像検索を行うものであり、図４にブロック図で示すように、他の通信機器とネットワーク通信を行うインターフェイスなどの通信部３１と、データベース３２と、検索部３３と、メモリなどの記憶部３４と、これら各部を制御する制御部３５を備えている。
【００２９】
データベース３２に登録される商品情報としては、例えば商品の通し番号や、その商品の点字ラベルや商品のデザイン面を撮影した画像データ、その商品の商品名や原材料等の具体的な商品説明を音声で記録した音声情報、これらの商品説明をテキストで記録したテキスト情報、その他必要な情報が登録される。データベース３２に登録される情報の具体例は後述する。
【００３０】
検索部３３は、携帯端末２から受信した画像データに基づき、該当の商品をデータベース３２から検索する機能を有し、商品サーバ３に予めインストールされた画像検索プログラムを制御部３５が実行することで実現される。検索部３３は、データベース３２に登録されている画像データと、携帯端末２から受信した画像データとの間でマッチング処理を行い、該当の商品を特定するとともに、その商品の音声情報及びテキスト情報を抽出する。そして、これら音声情報及びテキスト情報が、通信部３１を介して携帯端末２へ返信される。
【００３１】
次に、本発明の第１の実施形態に係る視覚障害者用商品説明システム１の処理の流れについて、図５のシーケンス図を参照して説明する。なお、図５のシーケンス図に記載された数字は、一連の処理のステップ番号を示す。
【００３２】
まず、本システムの主なユーザである視覚障害者は、携帯端末２のカメラアプリケーションを起動し（Ｓ０１０）、商品に貼付されている点字ラベルを頼りに、該ラベルの画像をカメラ部２１でスキャン（撮影）する（Ｓ０２０）。撮影された画像データは、携帯端末２の記憶部２５に一時記憶されるとともに、通信部２３を介して商品サーバ３へ送信される（Ｓ０３０）。
【００３３】
商品サーバ３は、携帯端末２から通信部３１を介して画像データを受信する（Ｓ０４０）。そして、検索部３３において、この画像データと、データベース３２に登録されている画像データとの間でマッチング処理を行う（Ｓ０５０）。データベース３２に登録されている登録情報の例を表１に示す。
【００３４】
【表１】
2016200666.tif 000003
【００３５】
ここでは、店舗で扱う商品ごとの商品番号（A0001，A0002…）と、商品のデザイン面に貼付されている点字ラベルの画像データ（label_0001, label_0002…）、商品のデザイン面の画像データ（design_0001, design_0002…）、商品の音声情報（sound_0001, sound_0002…）、商品のテキスト情報（text_0001, text_0002…）がそれぞれ関連付けて登録されている。また、レコードの末尾には、マッチングに失敗したときに該当の商品がないことを音声で記録したエラー音声情報（sound_error）、及び同内容をテキストで記録したエラーテキスト情報（text_error）が登録されている。
【００３６】
検索部３３は、データベース３２に登録されている各商品の点字ラベルの画像データ（label_0001, label_0002…）、及び各商品のデザイン面の画像データ（design_0001, design_0002…）を網羅的に検索し、携帯端末２から送信された画像データとのマッチングを試みる。例えば、携帯端末２から送信された画像に点字ラベルのみが写されていた場合は、データベース３２に登録されている該当の点字ラベルの画像データ（例えばlabel_0002）と一致するか否かを検索する。また、携帯端末２から送信された画像に、点字ラベルを含む商品のデザイン面全体が写されていた場合は、データベース３２に登録されている該当の点字ラベルの画像データ（例えばlabel_0002）と、商品のデザイン面の画像データ（例えばdesign_0002）の双方と一致するか否かを検索する。
【００３７】
このように、検索部３３によるマッチング処理の結果、携帯端末２から送信された画像データが、データベース３２に登録されている点字ラベル又は商品のデザイン面の画像データのいずれか又は双方と一致した場合、検索部３３はデータベース３２からその商品の音声情報、及びテキスト情報を取得する（Ｓ０６０）。そして、制御部３５が通信部３１を介して、これら音声情報及びテキスト情報を携帯端末２へ送信する（Ｓ０７０）。
【００３８】
一方、検索部３３によるマッチング処理の結果、携帯端末２から送信された画像データが、データベース３２に登録されている点字ラベル又は商品のデザイン面の画像データのいずれにも一致しなかった場合は、検索部３３はデータベース３２に登録されているエラー音声情報（sound_error）及びエラーテキスト情報（text_error）を取得する。そして、これらの情報が、通信部３１を介して携帯端末２へ返信される。
【００３９】
携帯端末２は、通信部２３を介して商品サーバ３から商品の音声情報及びテキスト情報を受信すると（Ｓ０８０）、テキスト情報を表示部２２に表示するとともに、音声情報を音声出力部２４より再生する。一方、商品サーバ３からエラー音声情報及びエラーテキスト情報を受信した場合は、「該当商品がありません。」というテキストが表示部２２に表示され、同内容の音声が音声出力部２４から再生される（Ｓ０９０）。
【００４０】
このように、商品説明システム１によれば、視覚障害者が携帯端末２で撮影した点字ラベル又は商品の画像データが商品サーバ３へ送られ、その商品の音声情報が商品サーバ３から返信される。そして、音声情報がスピーカから再生されることにより、視覚障害者は聴覚を通じてその商品の詳細な情報を取得することができる。これにより、視覚障害者は、その商品を購入するか否かを判断することができ、商品購入時の利便性を高めることができる。
【００４１】
なお、点字ラベルの貼付がない商品については、商品のデザイン面の画像データを用いて検索されるが、その場合には商品のデザイン面の向きや配置を特定し易くするために商品のデザイン面に所定の切込み又は突起物を設け、視覚障害者に商品のデザイン面を伝達するようにしてもよい。この場合、視覚障害者は、これらの切込みや突起物に直接触れることでその商品のデザイン面を認識し、携帯端末２を用いてその商品のデザイン面を撮影することができる。
【００４２】
撮影された商品のデザイン面の画像データは、商品サーバ３へ送信され、検索部３３でマッチング処理が行われる。マッチングは、データベース３２に登録されている点字ラベル及び商品のデザイン面の画像データとの間で網羅的に行われるが、この場合はいずれかのデザイン面の画像データとの間で一致が判断される。以降の処理の流れは、上述のステップ０６０以降と同様であり、最終的に該当する商品の音声情報（またはエラー音声情報）が携帯端末２で再生される。
【００４３】
なお、上述のステップ０２０において点字ラベル等を撮影する際、携帯端末２においてカメラアプリケーションを起動後、端末２を商品にかざすだけで、シャッターボタンを押下せずとも所定時間経過後に自動的に撮影を開始する機能を搭載すれば、視覚障害者の利便性が向上するので望ましい。
【００４４】
具体的には、携帯端末２のカメラアプリケーション起動後、カメラレンズを商品に向けてかざすと、カメラに搭載されたセンサが自動的に商品を認識して撮影を開始し、撮影が正常に終了すると、正常終了したことを音声で視覚障害者に伝えるほか、バイブレーション機能による振動でも正常終了を通知する。一方、カメラレンズが正しく商品に向けられていないなど、所定時間（例えば１０秒）を経過しても撮影が終了できない場合には、視覚障害者に対し音声で撮影のやり直しを指示する。これにより、視覚障害者はシャッターボタンを押下することなく商品の撮影を行うことができ、また撮影が正常に終了したか否かを音声でも認識することができ、利便性が向上する。
【００４５】
また、携帯端末２において、上述のように自動的に商品の撮影を行う場合や、視覚障害者がシャッターボタンを押下して撮影を行う場合において、商品の撮影中に、撮影が正常に進行していることを知らせる音声を出力し、撮影が正常に終了した場合に当該音声の出力を停止するほか、必要に応じて撮影が正常終了したことを音声で出力するようにしてもよい。これにより、視覚障害者は、商品の撮影が正しく行われているか否か、あるいは商品の撮影が正常に終了したか否かを音声で確認することができ、商品を正しく撮影できていないのではないかといった不安を解消することができる。
【００４６】
また、万が一、視覚障害者が誤って商品のデザイン面ではなく商品の裏面を撮影してしまった場合には、上述のような正常進行中の音声を出力する代わりに、商品の裏面を撮影している旨を知らせる音声を出力して、視覚障害者に正しい面（デザイン面）を撮影するように促すようにしてもよい。これにより、視覚障害者が誤って商品の裏面を撮影してしまうことを防止することができる。
【００４７】
また、データベース３２に登録する音声情報及びテキスト情報としては、日本語のみならず世界各国の言語で作成したものを登録しておいてもよい。例えば、商品の音声情報及びテキスト情報を英語、中国語、韓国語、フランス語、スペイン語などの他の言語で作成し、日本語で作成した音声情報等とともにデータベース３２に登録しておく。そして、商品サーバ３は、検索部３３によるマッチング処理で特定した商品の情報として、日本語で作成された情報に加えて、これら各国の言語で作成された音声情報及びテキスト情報を携帯端末２へ返信する。
【００４８】
携帯端末２では、商品サーバ３から受信した各言語による音声情報及びテキスト情報から、任意の情報を再生・表示する。このとき、再生を希望する言語を視覚障害者が自由に選択できるように、言語選択用の音声ガイドを再生し、ここで選択された言語の情報のみを再生・表示するようにしてもよい。
【００４９】
または、携帯端末２と商品サーバ３間の通信量を削減するため、商品の撮影の際に予め希望する言語を選択してもらい、選択された言語の音声情報及びテキスト情報のみを商品サーバ３へ要求し、サーバ３から受信したこれらの情報を携帯端末２で再生・表示するようにしてもよい。また、この場合において、サーバ３から受信した音声情報をスピーカで再生する代わりに、サーバ３から受信したテキスト情報を、携帯端末２の備える自動読み上げ機能（ボイスオーバー機能）を用いて自動的に読み上げるようにしてもよい。この自動読み上げを行う場合は、商品サーバ３からの音声情報の取得を省略してもよい。
【００５０】
これにより、日本語のみならず世界各国の言語を母国語とする視覚障害者でも、本システムを利用することが可能となる。また、視覚障害者に限らず、世界各国の言語を母国語とする健常者でも、自国の言語で商品の音声情報やテキスト情報を容易に得ることができ、システムの適用範囲をさらに拡大することができる。
【００５１】
また、データベース３２に登録されている各商品について、それぞれの商品のパッケージ中の任意の箇所に、当該商品が本システムの適用対象商品である旨を示す識別マークを表示しておけば、他の商品との差別化が図られるばかりでなく、健常者がその商品が本システムの適用対象商品であることを視覚障害者に伝達でき、視覚障害者にとっても利便性がさらに高まる。
【００５２】
図６は、本発明の第２の実施形態に係る商品説明システムの処理の流れを示すシーケンス図である。この実施の形態では画像検索マッチングの精度をより高めるため商品サーバ３とは別の画像検索サービス４を利用してマッチング処理を行っている点で、前記実施の形態と基本的に相違する。その他の処理の流れは前記実施の形態とほぼ同様である。
【００５３】
すなわち、図６に示すように、携帯端末２で撮影された商品の画像データが、商品サーバ３へ送信され（Ｓ０１０〜０３０）、商品サーバ３がこの画像データを受信すると（Ｓ０４０）、商品サーバ３の制御部３５は、通信部３１を介してこの画像データを画像検索サービス４へ送信し、画像データによるマッチング処理をリクエストする（Ｓ０５０）。
【００５４】
画像検索サービス４は、検索リクエストとして外部の端末から受け付けた検索対象物の画像データと、予めデータベースに登録されている画像データとの特徴情報に基づき、対象物を高精度で検索・認識するものであり、例えば大手通信会社などが提供している既存のクラウド型画像認識サービスや、画像認識ＡＰＩ（Application Programming Interface）を利用することができる。ここでは、サービスが提供するデータベース上に、予め店舗で扱う商品ごとの商品番号（A0001，A0002…）、商品のデザイン面に貼付されている点字ラベルの画像データ（label_0001, label_0002…）、商品のデザイン面の画像データ（design_0001, design_0002…）がそれぞれ関連付けて登録されている。このデータベースへの登録情報の例を表２に示す。
【００５５】
【表２】
2016200666.tif 000004
【００５６】
画像検索サービス４では、商品サーバ３から画像データを受信すると、この画像データと、表２に示すデータベースに登録されている点字ラベル又は商品のデザイン面の画像データとの間でマッチング処理を行う（Ｓ０６０）。マッチング処理の結果、データベース上の画像データのいずれかと一致した場合は、その商品に対応する商品番号を検索結果として商品サーバ３へ返信する（Ｓ０７０）。一方、マッチング処理の結果、いずれの画像データとも一致しなかった場合は、所定のエラーコードを商品サーバ３へ返信する。
【００５７】
商品サーバ３は、画像検索サービス４から商品の商品番号を受信した場合（Ｓ０８０）、検索部３３がこの商品番号をキーとして、前述の表１に示したデータベース３２を検索し（Ｓ０９０）、該当する商品の音声情報及びテキスト情報を取得する（Ｓ１００）。そして、制御部３５が、取得した音声情報及びテキスト情報を、通信部３１を介して携帯端末２へ送信する（Ｓ１１０）。一方、画像検索サービス４から受信した検索結果がエラーコードだった場合は、検索部３３はデータベース３２からエラー音声情報（sound_error）及びエラーテキスト情報（text_error）を取得し、制御部３５がこれらの情報を携帯端末２へ返信する。
【００５８】
このように、第２の実施形態に係る商品説明システムでは、より高精度のマッチング処理が可能な画像検索サービス４を利用することで、マッチング処理の信頼性を高めることができる。特に、画像検索サービス４は、スマートフォンのカメラなどで撮影された画像に写る対象物を高精度で認識することができるため、視覚障害者が撮影した画像に商品のデザイン面や点字ラベルの一部のみしか写っていないなど、商品を認識するのに不十分な画像しか撮影できない場合であっても、比較的正確に商品を識別することができる。
【００５９】
なお、商品サーバ３は、画像検索サービス４へ画像検索リクエストを送信するとともに、自らもデータベース３２を検索してマッチング処理を行い、双方の結果を得るようにしても何ら差支えない。この場合、商品サーバ３でのマッチング処理の精度が低い場合や、マッチングが不調に終わった場合でも、画像検索サービス４による処理結果でこれを補完することができる。
【００６０】
以上、本発明の実施の形態に係る商品説明システム１について説明したが、ここで示した構成はあくまでも好ましい一例であり、この発明は特許請求の範囲に記載した範囲内であれば細部の設計等は任意に変更、修正が可能であることは言うまでもない。例えば、商品のデザイン面に貼付される点字ラベルの態様は、図２に示したものに限られず、ラベル表面に商品説明用の点字表示が施してあればどのようなラベルであってもかまわない。また、商品に付す商品番号の体系はあくまでも一例であり、商品を個々に識別できるものであれば任意の番号体系を使用してもよい。
【符号の説明】
【００６１】
１  商品説明システム
２  携帯端末
２１  カメラ部
２２  表示部
２３  通信部
２４  音声出力部（スピーカ）
２５  記憶部
２６  制御部
３  商品サーバ
３１  通信部
３２  データベース
３３  検索部
３４  記憶部
３５  制御部
４  画像検索サービス
Ｌ  点字ラベル
【図２】
2016200666.tif 000005
【図３】
2016200666.tif 000006
【図４】
2016200666.tif 000007
【図１】
2016200666.tif 000008
【図５】
2016200666.tif 000009
【図６】
2016200666.tif 000010