(57)【要約】【課題】従来、ユーザが入力した画像を用いた対話ができなかった。【解決手段】ユーザ端末から送信された画像である画像入力情報、または文字列である文字列入力情報を受信する受信部と、画像入力情報の解析結果を取得し、解析結果を用いて、応答情報を取得する応答取得部と、応答情報をユーザ端末に送信する送信部とを具備し、応答取得部は、画像入力情報を受信した場合と、文字列入力情報を受信した場合とで、応答情報を取得する処理が異なる対話装置により、ユーザが入力した画像を用いた適切な対話ができる。【選択図】図３
2018106524.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末から送信された画像である画像入力情報を受信する受信部と、
前記画像入力情報の解析結果を取得し、当該解析結果を用いて、応答情報を取得する応答取得部と、
前記応答情報を前記ユーザ端末に送信する送信部とを具備する対話装置。
【請求項２】
前記受信部は、
ユーザ端末から送信された文字列である文字列入力情報をも受信し、
前記応答取得部は、
画像入力情報を受信した場合と、文字列入力情報を受信した場合とで、応答情報を取得する処理が異なる請求項１記載の対話装置。
【請求項３】
商品の画像である商品画像と商品の１以上の属性値とを有する１以上の商品情報が格納される商品情報格納部をさらに具備し、
前記応答取得部は、
前記解析結果を用いて、前記商品情報格納部から１以上の商品画像を取得し、
前記送信部は、
前記応答取得部が取得した１以上の商品画像である応答情報を前記ユーザ端末に送信する請求項１または請求項２記載の対話装置。
【請求項４】
前記受信部は、
前記送信部が送信した１以上の商品画像のうちの一の商品画像に対する選択を示す選択指示を受信し、
前記選択指示に対応する商品を購入するための処理を行う購入処理部をさらに具備する請求項３記載の対話装置。
【請求項５】
前記応答取得部は、
前記画像入力情報を画像解析装置に送信する画像入力情報送信手段と、
前記画像解析装置から前記画像入力情報の解析結果を受信する解析結果受信手段とを具備する請求項１から請求項４いずれか一項に記載の対話装置。
【請求項６】
受信部、応答取得部、および送信部により実現される対話方法であって、
前記受信部が、ユーザ端末から送信された画像である画像入力情報を受信する受信ステップと、
前記応答取得部が、前記画像入力情報の解析結果を取得し、当該解析結果を用いて、応答情報を取得する応答取得ステップと、
前記送信部が、前記応答情報を前記ユーザ端末に送信する送信ステップとを具備する対話方法。
【請求項７】
コンピュータを、
ユーザ端末から送信された画像である画像入力情報を受信する受信部と、
前記画像入力情報の解析結果を取得し、当該解析結果を用いて、応答情報を取得する応答取得部と、
前記応答情報を前記ユーザ端末に送信する送信部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザと対話する対話装置等に関するものである。
【背景技術】
【０００２】
従来、ユーザの嗜好に合わせた発話を生成することができる対話装置があった（特許文献１参照）。
【０００３】
また、従来、シナリオの追加や修正が容易な音声対話シーケンス状態表記方法を用いた音声対話装置があった（特許文献２参照）。
【０００４】
さらに、従来、以下の構成を採る対話システムがあった（特許文献３参照）。つまり、入力データを入力し、入力された前記入力データを複数のカテゴリのいずれかに分類する分類手段と、前記分類手段によって分類された前記カテゴリを起点とする状態遷移を、ユーザとの対話形式で進行して最終状態に導く対話管理手段と、前記分類手段に入力された前記入力データと、前記対話管理手段によって進行された前記状態遷移と、を対にした対話対を登録する状態遷移記憶手段と、前記状態遷移記憶手段によって登録された複数の前記対話対から新たな前記カテゴリの候補である新規カテゴリを抽出する新規カテゴリ抽出手段と、を備え、前記分類手段は、前記新規カテゴリ抽出手段によって抽出された前記新規カテゴリを、分類可能な前記カテゴリに追加することを特徴とする対話システムである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２２５４１４号公報
【特許文献２】特開２００６−０５３４７０号公報
【特許文献３】特開２０１１−２１５７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術においては、ユーザが入力した画像を用いた対話ができなかった。
【課題を解決するための手段】
【０００７】
本第一の発明の対話装置は、ユーザ端末から送信された画像である画像入力情報を受信する受信部と、画像入力情報の解析結果を取得し、解析結果を用いて、応答情報を取得する応答取得部と、応答情報をユーザ端末に送信する送信部とを具備する対話装置である。
【０００８】
かかる構成により、ユーザが入力した画像を用いた対話ができる。
【０００９】
また、本第二の発明の対話装置は、第一の発明に対して、受信部は、ユーザ端末から送信された文字列である文字列入力情報をも受信し、応答取得部は、画像入力情報を受信した場合と、文字列入力情報を受信した場合とで、応答情報を取得する処理が異なる対話装置である。
【００１０】
かかる構成により、ユーザが入力した画像および文字列を用いた適切な対話ができる。
【００１１】
また、本第三の発明の対話装置は、第一または第二の発明に対して、商品の画像である商品画像と商品の１以上の属性値とを有する１以上の商品情報が格納される商品情報格納部をさらに具備し、応答取得部は、解析結果を用いて、商品情報格納部から１以上の商品画像を取得し、送信部は、応答取得部が取得した１以上の商品画像である応答情報をユーザ端末に送信する対話装置である。
【００１２】
かかる構成により、ユーザが入力した画像を用いて、ユーザに商品情報を提案できる。
【００１３】
また、本第四の発明の対話装置は、第三の発明に対して、受信部は、送信部が送信した１以上の商品画像のうちの一の商品画像に対する選択を示す選択指示を受信し、選択指示に対応する商品を購入するための処理を行う購入処理部をさらに具備する対話装置である。
【００１４】
かかる構成により、ユーザは、対話しながら商品の購入ができる。
【００１５】
また、本第五の発明の対話装置は、第一から第四いずれか１つの発明に対して、応答取得部は、画像入力情報を画像解析装置に送信する画像入力情報送信手段と、画像解析装置から画像入力情報の解析結果を受信する解析結果受信手段とを具備する対話装置である。
【００１６】
かかる構成により、対話装置と画像を解析する画像解析装置とを分離することにより、システムのメンテナンス性を向上できる。
【発明の効果】
【００１７】
本発明による対話装置によれば、ユーザが入力した画像を用いた対話ができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１における対話システムＡの概念図を示す図
【図２】同対話システムＡのブロック図
【図３】同対話装置１のブロック図
【図４】同対話装置１の動作例について説明するフローチャート
【図５】同対話情報管理表を示す図
【図６】同出力例を示す図
【図７】同出力例を示す図
【図８】同出力例を示す図
【図９】同商品購入のための画面例を示す図
【図１０】同出力例を示す図
【図１１】同コンピュータシステムの概観図
【図１２】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００１９】
以下、対話装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２０】
（実施の形態１）
【００２１】
本実施の形態において、画像の入力が可能である対話装置を具備する対話システムについて説明する。
【００２２】
また、本実施の形態において、文字列を入力した場合と画像を入力した場合とで、応答情報の取得の仕方が異なる対話装置を具備する対話システムについて説明する。
【００２３】
また、本実施の形態において、画像入力情報に対する応答情報は商品情報である場合について説明する。
【００２４】
また、本実施の形態において、対話により推薦された商品画像を用いて、ユーザが商品を購入できる対話システムについて説明する。
【００２５】
さらに、本実施の形態において、対話装置が受信したユーザの入力が画像の場合、対話装置から画像解析装置に当該画像を送信する対話システムについて説明する。
【００２６】
図１は、本実施の形態における対話システムＡの概念図である。対話システムＡは、対話装置１、１または２以上のユーザ端末２、または画像解析装置３を備える。なお、画像解析装置３は、２以上でも良い。
【００２７】
また、対話装置１、画像解析装置３は、例えば、クラウドサーバ、ＡＳＰサーバ等のサーバ装置であるが、その種類は問わない。さらに、ユーザ端末２は、例えば、いわゆるスマートフォン、携帯電話、携帯端末、パーソナルコンピュータ、ノートパソコン、タブレット端末等であり、その種類は問わない。対話装置１と１または２以上のユーザ端末２とは、例えば、インターネット、ＬＡＮ等のネットワークにより通信可能である。また、対話装置１と画像解析装置３とは、例えば、インターネット、ＬＡＮ等のネットワークにより通信可能である。
【００２８】
図２は、本実施の形態における対話システムＡのブロック図である。図３は、対話装置１のブロック図である
【００２９】
対話装置１は、格納部１１、受信部１２、処理部１３、および送信部１４を備える。
【００３０】
格納部１１は、対話情報格納部１１１、および商品情報格納部１１２を備える。
【００３１】
処理部１３は、応答取得部１３１、および購入処理部１３２を備える。
【００３２】
応答取得部１３１は、応答取得手段１３１１、画像解析手段１３１２、画像入力情報送信手段１３１３、および解析結果受信手段１３１４を備える。
【００３３】
ユーザ端末２は、端末格納部２１、端末受付部２２、端末処理部２３、端末送信部２４、端末受信部２５、および端末出力部２６を備える。
【００３４】
画像解析装置３は、商品情報格納部１１２、解析受信部３１、画像解析手段１３１２、および解析送信部３２を備える。
【００３５】
対話装置１を構成する格納部１１は、各種の情報を格納し得る。各種の情報は、例えば、後述する対話情報、後述する商品情報である。
【００３６】
対話情報格納部１１１は、対話情報が格納される。対話情報は、受信された入力情報に対して、応答情報を取得するための情報である。対話情報格納部１１１の対話情報は、上述した従来技術に係る対話装置を含む、公知の対話装置で使用される対話情報でも良い。
【００３７】
対話情報は、例えば、ユーザ端末２から送信される文字列（例えば、「こんにちは」）と応答情報（例えば、「こんにちは」）との対の情報である。かかる場合、対話情報格納部１１１には、通常、２以上の対話情報が格納される。対話情報は、例えば、入力される文字列のパターン（例えば、「"変数１"とは何ですか？」）と応答情報のパターン（例えば、「"変数１"とは"変数２"です。）との対の情報である。かかる場合も、対話情報格納部１１１には、通常、２以上の対話情報が格納される。なお、"変数１" "変数２"は、変数であり、何らかの文字列等が入り得る。また、対話情報は、対話の流れを示す状態遷移の情報等でも良い。つまり、対話情報は、受信された入力に対して、応答情報を取得するための情報であれば何でも良い。対話情報は、通常、受信された文字列入力情報に対して、応答情報を取得するための情報、または受信された画像入力情報の解析結果に対して、応答情報を取得するための情報である。
【００３８】
商品情報格納部１１２は、１以上の商品情報が格納される。商品情報は、商品に関する情報である。商品とは、ここでは販売対象であり、いわゆるサービスも含み、広く解する。商品情報は、通常、商品の画像である商品画像と商品の１以上の属性値とを有する。商品情報は、例えば、商品を識別する商品識別子、商品名、価格（単価）、商品の属性値（例えば、色、サイズ、産地、材料、形状等）、商品の写真、商品の画像等を有する。商品識別子は、例えば、商品番号、商品ＩＤと言っても良い。
【００３９】
受信部１２は、ユーザ端末２から送信された１または２以上の入力情報を受信する。なお、受信部１２は、同時または同等のタイミングで、２以上の入力情報を受信しても良い。入力情報は、例えば、画像入力情報、文字列入力情報である。画像入力情報は、ユーザがユーザ端末２に入力した画像である。画像入力情報は、例えば、写真、スクリーンショット等である。文字列入力情報は、ユーザがユーザ端末２に入力した文字列である。なお、文字列入力情報は、ユーザが音声によりユーザ端末２に入力した情報も含んでも良い。また、ユーザがユーザ端末２に音声を入力する場合、音声認識し、文字列入力情報を取得する処理は、ユーザ端末２が行っても良いし、後述する処理部１３が行っても良い。さらに、受信部１２が１または２以上の画像入力情報を受信する場合、同等のタイミングでは文字列入力情報が受信されないことは好適である。同等のタイミングでの受信とは、一緒に受信することと考えても良い。
【００４０】
受信部１２は、送信部１４が送信した１以上の商品画像のうちの一の商品画像に対する選択を示す選択指示を受信する。選択指示は、商品を識別する商品識別子、または商品の種類を識別する商品種類識別子を有することは好適である。選択指示は、商品画像を識別する商品画像識別子を有しても良い。なお、商品画像識別子は、商品識別子と考えても良い。
【００４１】
処理部１３は、各種の処理を行う。各種の処理とは、例えば、応答取得部１３１、購入処理部１３２の処理である。
【００４２】
応答取得部１３１は、１または２以上の画像入力情報の解析結果を取得し、解析結果を用いて、応答情報を取得する。解析結果は、例えば、１以上の画像入力情報を画像認識し、得られた１以上のオブジェクトである。オブジェクトは、例えば、画像入力情報の中の物の名称、画像入力情報の中の物の種類名などである。なお、画像の中のオブジェクトを認識する処理は公知技術であるので、詳細な説明を省略する。また、画像入力情報の解析には、例えば、インターネットホームページ（URL:https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_name=image_recognition&p_name=api_reference）、（URL: http://www.deqwas.com/service/camera.html）等に記載されている技術が利用可能である。
【００４３】
また、応答取得部１３１は、１または２以上の画像入力情報を画像解析装置３に送信し、当該画像解析装置３から解析結果を受信し、当該解析結果から応答情報を取得しても良い。また、応答取得部１３１は、１または２以上の画像入力情報を解析し、解析結果を取得し、解析結果を用いて、応答情報を取得しても良い。なお、解析結果が応答情報でも良いし、応答取得部１３１が解析結果を用いて、応答情報を取得しても良い。
【００４４】
また、応答取得部１３１は、受信された１または２以上の画像入力情報に応じて、画像解析を行う装置を変更しても良い。つまり、応答取得部１３１は、受信された１以上の画像入力情報が予め決められた条件を満たす場合は、当該１以上の画像入力情報を画像解析装置３に送信し、予め決められた条件を満たさない場合は、当該１以上の画像入力情報を自身で解析しても良い。また、応答取得部１３１は、受信された１以上の画像入力情報が予め決められた条件を満たさない場合は、当該画像入力情報を画像解析装置３に送信し、予め決められた条件を満たす場合は、当該１以上の画像入力情報を自身で解析しても良い。また、応答取得部１３１は、受信された１以上の画像入力情報に応じて、２以上の画像解析装置３のうちの１以上の画像解析装置３を決定し、当該１以上の画像解析装置３に画像入力情報を送信しても良い。なお、上記の予め決められた条件とは、解析結果に関する条件でも良いし、１以上の画像入力情報の属性値に関する条件でも良いし、画像入力情報を送信してきたユーザ端末２またはユーザに関する条件等でも良い。解析結果に関する条件とは、例えば、画像入力情報の中のオブジェクトの属性値（例えば、種類、数など）に関する条件である。また、画像入力情報の属性値に関する条件とは、例えば、画像入力情報のデータサイズ、解像度等である。
【００４５】
応答取得部１３１において、画像入力情報を受信した場合と、文字列入力情報を受信した場合とで、応答情報を取得する処理が異なることは好適である。
【００４６】
処理が異なるとは、例えば、以下の（１）から（７）のいずれかである。
（１）画像入力情報を受信した場合は画像入力情報を画像解析装置３に送信し、文字列入力情報を受信した場合は文字列入力情報を画像解析装置３に送信せずに、文字列入力情報から応答情報を取得する。
（２）画像入力情報を受信した場合は画像解析を行い、文字列入力情報を受信した場合は画像解析を行わずに、文字列入力情報に対応する応答情報を取得する。文字列入力情報に対応する応答情報を取得する処理は、例えば、上述したような公知の対話装置の処理により実現可能である。
（３）画像入力情報を受信した場合は画像入力情報を用いた類似画像の検索を行い、文字列入力情報を受信した場合は文字列入力情報に対応する応答情報を取得する。
（４）文字列入力情報を受信した場合は対話情報格納部１１１の対話情報を用いて、応答情報を取得し、画像入力情報を受信した場合は対話情報を用いずに応答情報を取得する。
（５）文字列入力情報を受信した場合は対話情報格納部１１１の対話情報を用いて、応答情報を取得し、画像入力情報を受信した場合は画像解析を行い、当該解析結果を対話情報に適用し、応答情報を取得する。
（６）文字列入力情報を受信した場合は対話情報格納部１１１の対話情報を用いて、応答情報を取得し、画像入力情報を受信した場合は画像解析装置３に送信し、画像解析装置３から画像解析の結果を得て、応答情報を取得する。
（７）画像入力情報を受信した場合には画像解析装置３に送信し、当該画像解析装置３から解析結果を得て、応答情報を取得し、文字列入力情報を受信した場合には、画像解析装置３とは異なる外部の装置に送信し、当該外部の装置から解析結果を得て、応答情報を取得する。
【００４７】
応答取得部１３１は、画像入力情報の解析結果を用いて、商品情報格納部１１２から１以上の商品情報を取得することは好適である。なお、商品情報は、例えば、商品画像を含む。
【００４８】
応答取得手段１３１１は、受信部１２が受信した文字列入力情報から、対話情報を用いて、応答情報を取得する。かかる応答取得手段１３１１の処理は、公知の対話装置の処理で実現可能である。
【００４９】
画像解析手段１３１２は、受信部１２が受信した画像入力情報を画像解析し、解析結果を取得する。画像解析の技術は、公知の技術で足りる。画像解析手段１３１２は、例えば、公知の画像認識技術が利用可能である。
【００５０】
画像入力情報送信手段１３１３は、受信部１２が受信した画像入力情報を画像解析装置３に送信する。画像入力情報送信手段１３１３は、画像入力情報が予め決められた条件を満たした場合のみ、画像入力情報を画像解析装置３に送信しても良い。また、画像入力情報送信手段１３１３は、画像入力情報または画像入力情報の解析結果に応じて、２以上の画像解析装置３のうちの一の画像解析装置３に画像入力情報を送信しても良い。
【００５１】
解析結果受信手段１３１４は、画像解析装置３から画像入力情報の解析結果を受信する。２以上の画像解析装置３が存在する場合、解析結果受信手段１３１４は、画像入力情報を解析した画像解析装置３から解析結果を受信する。
【００５２】
購入処理部１３２は、選択指示に対応する商品を購入するための処理を行う。商品を購入するための処理とは、例えば、商品購入のためのウェブページ、または当該ウェブページのＵＲＬの取得、または取得と送信である。商品を購入するための処理とは、例えば、購入のための決済処理である。その他、商品を購入するための処理とは、商品を購入に関連する処理を広く含む、と考えても良い。
【００５３】
送信部１４は、応答取得部１３１が取得した応答情報をユーザ端末２に送信する。送信部１４は、応答取得部１３１が取得した１以上の商品画像をユーザ端末２に送信する。なお、かかる１以上の商品画像は、応答情報である。
【００５４】
ユーザ端末２を構成する端末格納部２１は、各種の情報が格納される。各種の情報とは、例えば、ユーザを識別するユーザ識別子等である。ユーザ識別子は、ユーザ端末２を識別する情報でも良い。ユーザ識別子は、例えば、ＩＤ、電話番号、メールアドレス、ＩＰアドレス、ＭＡＣアドレス、ブラウザのクッキー情報等である。
【００５５】
端末受付部２２は、各種の情報や指示を受け付ける。各種の情報や指示とは、例えば、画像入力情報、文字列入力情報、選択指示である。
【００５６】
各種の情報や指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。端末受付部２２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００５７】
端末処理部２３は、各種の処理を行う。各種の処理は、例えば、端末受付部２２が受け付けた情報や指示を、対話装置１に送信する情報や指示に構成する処理である。各種の処理は、例えば、端末受信部２５が受信した情報から、出力する情報を構成する処理である。
【００５８】
端末送信部２４は、各種の情報や指示を対話装置１に送信する。各種の情報や指示とは、例えば、端末受付部２２が受け付けた情報や指示、端末処理部２３の処理結果等である。
【００５９】
端末受信部２５は、各種の情報を対話装置１から受信する。各種の情報とは、例えば、応答情報である。
【００６０】
端末出力部２６は、端末受信部２５が受信した情報を出力する。端末受信部２５が受信した情報とは、端末受信部２５が受信した情報を用いて端末処理部２３によって構成された情報も含んでも良い。
【００６１】
ここで、出力とは、通常、ディスプレイへの表示であるが、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００６２】
画像解析装置３を構成する商品情報格納部１１２は、商品の画像である商品画像と商品の１以上の属性値とを有する１以上の商品情報が格納される。
【００６３】
解析受信部３１は、対話装置１から画像入力情報を受信する。解析受信部３１は、２以上の画像入力情報を一緒に受信しても良い。
【００６４】
解析送信部３２は、画像解析手段１３１２が取得した解析結果を送信する。解析結果は、応答情報でも良い。
【００６５】
なお、上記のブロック図で、対話装置１の商品情報格納部１１２と画像解析装置３の商品情報格納部１１２との両方が存在したが、どちらか一方でも良い。また、上記のブロック図で、対話装置１の画像解析手段１３１２と画像解析装置３の画像解析手段１３１２との両方が存在したが、どちらか一方でも良い。
【００６６】
格納部１１、対話情報格納部１１１、商品情報格納部１１２、および端末格納部２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００６７】
格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。
【００６８】
受信部１２、端末受信部２５、解析受信部３１、および解析結果受信手段１３１４は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【００６９】
処理部１３、応答取得部１３１、購入処理部１３２、応答取得手段１３１１、画像解析手段１３１２、および端末処理部２３は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７０】
画像入力情報送信手段１３１３、端末送信部２４、および解析送信部３２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【００７１】
端末出力部２６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部２６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００７２】
次に、対話システムＡの動作について説明する。まず、対話装置１の動作例について、図４のフローチャートを用いて説明する。
【００７３】
（ステップＳ４０１）受信部１２は、入力情報を受信したか否かを判断する。入力情報を受信した場合はステップＳ４０２に行き、入力情報を受信しなかった場合はステップＳ４１２に行く。
【００７４】
（ステップＳ４０２）応答取得部１３１は、受信された入力情報が文字入力情報であるか否かを判断する。文字入力情報である場合はステップＳ４０３に行き、文字入力情報でない場合はステップＳ４０５に行く。
【００７５】
（ステップＳ４０３）応答取得部１３１は、受信された入力情報を、対話情報格納部１１１の対話情報に適用し、応答情報を取得する。
【００７６】
（ステップＳ４０４）送信部１４は、応答取得部１３１が取得した応答情報を、入力情報を送信してきたユーザ端末２に送信する。ステップＳ４０１に戻る。
【００７７】
（ステップＳ４０５）応答取得部１３１は、受信された入力情報が画像入力情報であるか否かを判断する。画像入力情報である場合はステップＳ４０６に行き、画像入力情報でない場合はステップＳ４１１に行く。
【００７８】
（ステップＳ４０６）応答取得部１３１は、受信された画像入力情報を画像解析装置３に送信するか否かを判断する。画像解析装置３に送信すると判断された場合はステップＳ４０７に行き、画像解析装置３に送信しないと判断された場合はステップＳ４０９に行く。
【００７９】
（ステップＳ４０７）画像入力情報送信手段１３１３は、受信された画像入力情報を画像解析装置３に送信する。
【００８０】
（ステップＳ４０８）解析結果受信手段１３１４は、画像解析装置３から画像入力情報の解析結果を受信したか否かを判断する。解析結果を受信した場合はステップＳ４１０に行き、解析結果を受信しない場合はステップＳ４０８に戻る。
【００８１】
（ステップＳ４０９）画像解析手段１３１２は、画像入力情報を画像解析し、解析結果を取得する。
【００８２】
（ステップＳ４１０）応答取得手段１３１１は、画像入力情報の解析結果を用いて、応答情報を取得する。ステップＳ４０４に行く。
【００８３】
（ステップＳ４１１）送信部１４は、エラーメッセージをユーザ端末２に送信する。ステップＳ４０１に戻る。なお、エラーメッセージは、例えば、応答情報を変更することができない旨のメッセージである。
【００８４】
（ステップＳ４１２）受信部１２は、ユーザ端末２から選択指示を受信したか否かを判断する。選択指示を受信した場合はステップＳ４１３に行き、選択指示を受信しなかった場合はステップＳ４０１に戻る。
【００８５】
（ステップＳ４１３）購入処理部１３２は、選択指示に対応する商品を購入するための購入処理を行う。ステップＳ４０１に戻る。
【００８６】
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００８７】
次に、ユーザ端末２の動作について説明する。端末受付部２２は、ユーザから情報や指示を受け付ける。次に、端末処理部２３は、情報や指示を送信するデータ構造にする。次に、端末送信部２４は、情報や指示を対話装置１に送信する。そして、端末受信部２５は、送信した情報や指示に応じて、情報を対話装置１から受信する。端末出力部２６は、端末受信部２５が受信した情報を出力する。なお、ここで出力される情報は、例えば、応答情報である。
【００８８】
次に、画像解析装置３の動作について説明する。まず、解析受信部３１は、対話装置１から画像入力情報を受信する。そして、画像解析手段１３１２は、画像入力情報を解析し、解析結果を取得する。次に、解析送信部３２は、画像解析手段１３１２が取得した解析結果を対話装置１に送信する。
【００８９】
以下、本実施の形態における対話システムＡの具体的な動作について説明する。対話システムＡの概念図は図１である。
【００９０】
今、対話情報格納部１１１は、図５に示す対話情報管理表を格納している。対話情報管理表は、「ＩＤ」「入力情報」「解析情報」「応答情報」を有する１以上のレコードを格納している。「入力情報」と「応答情報」、「解析情報」と「応答情報」、または「入力情報」と「解析情報」と「応答情報」を、対話情報と言っても良い。
【００９１】
図５の「ＩＤ＝１」のレコードは、対話の開始指示が受信された場合、取得される応答情報が「お客様、どんな商品を探していますか？」という文であることを示す。「ＩＤ＝２」のレコードは、画像入力情報が受信された場合であり、その画像入力情報の解析結果が、２以上の商品種類識別子である場合、取得される応答情報が、「どのカテゴリをお探しですか？」という文に加えて、解析結果である２以上の商品種類識別子から構成されるメニューであることを示す。「ＩＤ＝２」の応答情報の「＜ｍｅｎｕ＞＜／ｍｅｎｕ＞」はメニューを構成することを示す。「＜ｆｏｒ＞＜／ｆｏｒ＞」は、間に挟まれたタグ＜商品種類識別子＞が繰り返されることを示す。つまり、「ＩＤ＝２」の応答情報の「＜ｍｅｎｕ＞＜／ｍｅｎｕ＞」で挟まれた情報は、解析結果である２以上の各商品種類識別子をメニュー項目とするメニューが構成されることを示す。「ＩＤ＝３」のレコードは、ユーザ端末２から送信された入力情報が商品種類識別子（例えば、"Ａ"とする）である場合、取得される応答情報が、「Ａですね」という文に加えて、「＜処理＞＜／処理＞」で挟まれた処理の結果であることを示す。「＜処理＞＜／処理＞」の中の＜実行＞は実行される処理であり、「＜実行＞画像検索」は、ユーザ端末２から送信された画像入力情報と同一または類似する画像を検索することを示す。なお、ここでの画像検索は、商品情報格納部１１２における商品画像（商品情報）の検索である。そして、「＜出力＞商品画像」は、検索の結果、マッチした商品画像を出力することを示す。「ＩＤ＝４」のレコードは、画像入力情報が受信された場合であり、その画像入力情報の解析結果が、１つの商品種類識別子（例えば、"Ｂ"とする）である場合、取得される応答情報が、「よいＢがあります」という文に加えて、受信された画像入力情報を用いて、商品情報格納部１１２を画像検索し、当該画像入力情報と同一または類似する商品画像であり、商品種類識別子が「Ｂ」の商品の商品画像を取得し、出力することを示す。
【００９２】
かかる状況において、ユーザは、ユーザ端末２に対して、対話アプリの起動指示を入力した、とする。なお、この対話アプリは、ユーザに商品を提案できる対話アプリである。この対話アプリは、バーチャルな店員の役割を果たす対話アプリである。
【００９３】
次に、ユーザ端末２の端末受付部２２は、対話アプリの起動指示を受け付ける。次に、端末送信部２４は、起動指示に対応する対話の開始指示を対話装置１に送信する。なお、起動指示は、例えば、ユーザ端末２での対話アプリのアイコンへの指示である。
【００９４】
次に、対話装置１の受信部１２は、対話の開始指示を受信する。そして、応答取得部１３１の応答取得手段１３１１は、対話の開始指示に対応する応答情報を、対話情報格納部１１１の対話情報管理表から取得する。つまり、応答取得手段１３１１は、応答情報「お客様は、どんな商品を探していますか？」を取得する。
【００９５】
次に、送信部１４は、応答取得部１３１が取得した応答情報を、入力情報を送信してきたユーザ端末２に送信する。
【００９６】
次に、ユーザ端末２の端末受信部２５は、当該応答情報を受信する。そして、端末出力部２６は、当該応答情報を出力する。かかる出力は、図６の６０１である。
【００９７】
次に、ユーザは、洋服の画像を対話アプリに入力した、とする。かかる出力は、図６の６０２である。なお、６０２の画像のアプリへの入力は、この画像のような洋服が欲しいことのユーザの意図である。
【００９８】
そして、端末送信部２４は、６０２の画像入力情報を対話装置１に送信する。
【００９９】
次に、対話装置１の受信部１２は、ユーザ端末２から入力情報を受信する。そして、応答取得部１３１は、受信された入力情報が画像入力情報であると判断する。
【０１００】
次に、応答取得部１３１は、受信された画像入力情報の画像解析を行い、画像入力情報の中のオブジェクトの種類を「洋服」である、と特定する。そして、画像入力情報送信手段１３１３は、受信された画像入力情報を画像解析装置３に送信する。なお、ここで、応答取得部１３１は、画像入力情報の中のオブジェクトの種類に応じて、画像入力情報を画像解析装置３に送信したり、画像入力情報を画像解析手段１３１２に画像解析させたりする、とする。ここでは、画像入力情報の中のオブジェクトの種類が洋服である場合は、画像入力情報を画像解析装置３に送信し、その他の場合は画像入力情報を画像解析手段１３１２に画像解析させる、とする。
【０１０１】
次に、画像解析装置３の解析受信部３１は、画像入力情報を受信する。そして、画像解析装置３の画像解析手段１３１２は、画像入力情報を解析し、３つの商品種類識別子「コート」「トップス」「スカート」を取得する。つまり、画像解析手段１３１２は、６０２の画像入力情報を解析し、その商品種類識別子が「コート」である、と判断する。そして、画像解析手段１３１２は、商品種類識別子「コート」に加え、「コート」に合わせる「トップス」「スカート」という商品種類識別子も取得する、とする。そして、解析送信部３２は、３つの商品種類識別子「コート」「トップス」「スカート」を、対話装置１に送信する。なお、画像解析手段１３１２の画像解析方法は問わない。
【０１０２】
次に、対話装置１の解析結果受信手段１３１４は、画像解析装置３から画像入力情報の解析結果を受信する。
【０１０３】
次に、応答取得手段１３１１は、画像入力情報の解析結果が３つの商品種類識別子であるので、図５の「ＩＤ＝２」のレコードに合致する、と判断する。そして、応答取得手段１３１１は、図５の「ＩＤ＝２」のレコードの応答情報から、文「そのカテゴリをお探しですか？」を取得し、かつ３つの各商品種類識別子をメニュー項目とするメニューを構成する。なお、文「そのカテゴリをお探しですか？」と当該メニューが応答情報である。
【０１０４】
次に、送信部１４は、応答取得部１３１が取得した応答情報を、６０２の画像入力情報を送信してきたユーザ端末２に送信する。
【０１０５】
次に、ユーザ端末２の端末受信部２５は、当該応答情報を受信する。そして、端末出力部２６は、当該応答情報を出力する。かかる出力例は、図７の７０１である。
【０１０６】
次に、ユーザは、図７の７０１のメニューから、メニュー項目「コート」を選択した、とする。なお、ここで、ユーザは、メニュー項目「コート」を指示しても良いし、文字列「コート」を入力しても良い。
【０１０７】
すると、ユーザ端末２の端末受付部２２は、商品種類識別子「コート」を受け付ける。次に、端末送信部２４は、商品種類識別子「コート」を対話装置１に送信する。なお、商品種類識別子「コート」は、入力情報の一例である。また、送信される情報は、商品種類識別子であることを示す情報（例えば、＜商品種類識別子＞）と「コート」であることは好適であるが、文字列「コート」だけでも良い。
【０１０８】
次に、受信部１２は、入力情報（商品種類識別子「コート」）を受信する。そして、応答取得部１３１は、入力情報（商品種類識別子「コート」）が、図５の「ＩＤ＝３」に合致する、と判断する。そして、応答取得部１３１は、「ＩＤ＝３」の応答情報に、入力情報を適用して、文「コートですね」を構成する。また、画像解析手段１３１２は、商品種類識別子「コート」を画像解析装置３に送信する。
【０１０９】
次に、画像解析装置３の解析受信部３１は、商品種類識別子「コート」を受信する。次に、画像解析手段１３１２は、商品種類識別子「コート」に対応し、６０２の画像と同一または類似する（類似度が閾値以上または閾値より大きい）商品画像を、画像解析装置３の商品情報格納部１１２から取得する。なお、ここで、画像解析手段１３１２は、同一の画像を含めた３つの商品画像を取得した、とする。次に、解析送信部３２は、３つの商品画像を対話装置１に送信する。
【０１１０】
次に、対話装置１の解析結果受信手段１３１４は、３つの商品画像を受信する。
【０１１１】
そして、送信部１４は、文「コートですね」と、３つの商品画像とを、ユーザ端末２に送信する。なお、文「コートですね」と３つの商品画像とは、応答情報である。
【０１１２】
次に、ユーザ端末２の端末受信部２５は、当該応答情報を受信する。そして、端末出力部２６は、かかる応答情報を出力する。かかる出力例は、図８において、８０１が入力情報（商品種類識別子「コート」）である。８０２が応答情報のうちの文「コートですね」であり、８０３が応答情報のうちの３つの商品画像である。なお、図８の３つの各商品画像は、選択可能になっている、とする。つまり、３つの各商品画像は、選択指示を受け付けることが可能である。
【０１１３】
次に、ユーザは、図８の８０３の３つの商品画像の中の８０４の画像に対する選択を入力した、とする。
【０１１４】
すると、ユーザ端末２の端末受付部２２は、８０４の画像に対する選択を受け付ける。そして、端末処理部２３は、当該選択に対応する選択指示を構成する。なお、この選択指示は、８０４の画像を特定する画像識別子を有する、とする。次に、端末送信部２４は、かかる選択指示を対話装置１に送信する。
【０１１５】
次に、対話装置１の受信部１２は、選択指示を受信する。
【０１１６】
次に、購入処理部１３２は、選択指示が有する画像識別子と対になる商品購入のためのウェブページのＵＲＬを、商品情報格納部１１２から取得する。なお、商品情報格納部１１２の商品情報は、商品画像、画像識別子、商品購入のためのウェブページのＵＲＬ等を含む、とする。
【０１１７】
そして、送信部１４は、当該ウェブページのＵＲＬ、またはウェブページをユーザ端末２に送信する。
【０１１８】
次に、ユーザ端末２の端末受信部２５は、当該ウェブページのＵＲＬ、またはウェブページを受信し、端末出力部２６は、例えば、図９に示す商品購入のための画面を出力する。
【０１１９】
以後、ユーザは、ユーザ端末２から商品の詳細をチェックしたり、商品の購入を進めたりできる。
【０１２０】
以上、本実施の形態によれば、ユーザが入力した画像を用いた対話ができる。
【０１２１】
また、本実施の形態によれば、ユーザが入力した画像および文字列を用いた適切な対話ができる。つまり、ユーザの意図が正確に伝わりやすい文字列（文）と、直感的で分かりやすく、一般的に情報量が多いと言われている画像の両方を用いた柔軟な対話が可能となる。
【０１２２】
また、本実施の形態によれば、ユーザが入力した画像を用いて、ユーザに商品情報を提案できる。かかる場合、対話装置１は、バーチャルな店員の役割を果たす。
【０１２３】
また、本実施の形態によれば、ユーザは、対話しながら商品の購入ができる。
【０１２４】
さらに、本実施の形態によれば、対話装置と画像を解析する画像解析装置とを分離することができる。かかることにより、例えば、システムのメンテナンス性を向上できる。また、画像入力情報に応じて、画像解析する装置（エンジンでも良い）を選択することにより、その画像入力情報に適した画像解析処理が行え、画像解析の精度が向上する。
【０１２５】
なお、本実施の形態において、図７の応答情報７０１は、図１０の応答情報１００１でも良い。つまり、応答取得手段１３１１は、応答情報７０１に代えて、応答情報１００１を取得しても良い。応答取得手段１３１１は、画像６０２の画像認識により、「コート」「トップス」「スカート」の商品種類識別子を取得するとともに、各商品の位置を示す位置情報を取得しても良い。そして、かかる場合、応答取得手段１３１１は、画像６０２の上の位置情報が示す位置に選択可能なボタン「コート」「トップス」「スカート」を配置し、応答情報１００１を構成する。そして、送信部１４は、応答情報１００１を、画像入力情報６０２を送信してきたユーザ端末２に送信する。次に、ユーザ端末２の端末受信部２５は、応答情報１００１を受信する。そして、端末出力部２６は、応答情報１００１を出力する（図１０参照）。なお、画像を画像認識し、画像内の商品の商品種類識別子を、その商品の領域を示す情報とともに取得する処理は公知技術で可能であるので、詳細な説明は省略する。
【０１２６】
また、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における対話装置１を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザ端末から送信された画像である画像入力情報を受信する受信部と、前記画像入力情報の解析結果を取得し、当該解析結果を用いて、応答情報を取得する応答取得部と、前記応答情報を前記ユーザ端末に送信する送信部として機能させるためのプログラムである。
【０１２７】
また、図１０は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の対話装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１０は、このコンピュータシステム３００の概観図であり、図１１は、システム３００のブロック図である。
【０１２８】
図１０において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【０１２９】
図１１において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ−ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１３０】
コンピュータシステム３００に、上述した実施の形態の対話装置１等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０１３１】
プログラムは、コンピュータ３０１に、上述した実施の形態の対話装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０１３２】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
【０１３３】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１３４】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１３５】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１３６】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１３７】
以上のように、本発明にかかる対話装置は、ユーザが入力した画像を用いた対話ができるという効果を有し、商品情報を提案する対話ロボット等として有用である。
【符号の説明】
【０１３８】
１  対話装置
２  ユーザ端末
３  画像解析装置
１１  格納部
１２  受信部
１３  処理部
１４  送信部
２１  端末格納部
２２  端末受付部
２３  端末処理部
２４  端末送信部
２５  端末受信部
２６  端末出力部
３１  解析受信部
３２  解析送信部
１１１  対話情報格納部
１１２  商品情報格納部
１３１  応答取得部
１３２  購入処理部
１３１１  応答取得手段
１３１２  画像解析手段
１３１３  画像入力情報送信手段
１３１４  解析結果受信手段
【図１】
2018106524.tif 000003
【図２】
2018106524.tif 000004
【図３】
2018106524.tif 000005
【図４】
2018106524.tif 000006
【図５】
2018106524.tif 000007
【図６】
2018106524.tif 000008
【図７】
2018106524.tif 000009
【図８】
2018106524.tif 000010
【図９】
2018106524.tif 000011
【図１０】
2018106524.tif 000012
【図１１】
2018106524.tif 000013
【図１２】
2018106524.tif 000014