(57)【要約】操作支援装置１０は、機器の画像データを取得する、画像データ取得部１１と、機器の操作に関する問合せを受け付ける、問合せ受付部１２と、取得した画像データに基づき、画像に含まれている機器を識別する、機器識別部１３と、識別された機器に関する情報の中から、受け付けられた問合せに適合する情報を抽出する、適合情報抽出部１４と、抽出された情報を、画面に表示させる、情報表示制御部１５とを備えている。
2018159224.tif 000002
【特許請求の範囲】
【請求項１】
機器の画像データを取得する、画像データ取得部と、
機器の操作に関する問合せを受け付ける、問合せ受付部と、
取得した前記画像データに基づき、画像に含まれている機器を識別する、機器識別部と、
識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、適合情報抽出部と、
抽出された前記情報を、画面に表示させる、情報表示制御部と、
を備えていることを特徴とする操作支援装置。
【請求項２】
前記情報表示制御部が、前記画面において、前記画像データで特定される画像の上に、抽出された前記情報を重ねて表示する、
請求項１に記載の操作支援装置。
【請求項３】
前記問合せ受付部は、前記画像データで特定される画像上で特定の位置又は領域が指定された場合に、指定された前記特定の位置又は領域を、前記問合せとして受け付け、
前記適合情報抽出部は、指定された前記特定の位置又は領域に該当する前記機器の部位を特定し、識別された前記機器に関する情報の中から、特定した部位に関する情報を抽出する、
請求項１または２に記載の操作支援装置。
【請求項４】
前記適合情報抽出部が、受け付けられた前記問合せに適合する情報として、前記問合せの内容に対応する、前記機器の操作マニュアル、及び前記機器の操作方法を示す動画データのうち少なくとも１つを抽出する、
請求項１〜３のいずれかに記載の操作支援装置。
【請求項５】
前記画像データにおける前記機器の画像の変化に基づいて、前記機器に対して行なわれた操作を抽出する、操作抽出部を、更に備え、
前記情報表示制御部は、抽出された前記操作に応じて、前記画面に表示されている情報を切り替える、
請求項１〜４のいずれかに記載の操作支援装置。
【請求項６】
前記適合情報抽出部は、前記操作抽出部によって操作が抽出された場合に、抽出された操作の次に行なわれるべき操作を特定し、特定した前記次に行なわれるべき操作に関する情報を新たに抽出し、
前記情報表示制御部は、新たに抽出された、前記次に行なわれるべき操作に関する情報を、前記画面に表示する、
請求項５に記載の操作支援装置。
【請求項７】
前記問合せ受付部が、チャットボットシステムとユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける、
請求項１〜６のいずれかに記載の操作支援装置。
【請求項８】
前記適合情報抽出部が、受け付けられた前記問合せに適合する情報を抽出できなかった場合に、前記機器を識別する情報を、予め指定されているアドレスに送信し、
前記情報表示制御部が、前記画面に、問合せが必要な旨と問合せ先とを表示する、
請求項１〜７のいずれかに記載の操作支援装置。
【請求項９】
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を有することを特徴とする操作支援方法。
【請求項１０】
コンピュータに、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザによる機器の操作を支援するための、操作支援装置、及び操作支援方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、コンビニエンスストア等の小売店においては、商品の販売に加えて、カウンターコーヒーの提供、チケットの販売、コピーサービス、荷物の受け取り、通信販売で買った商品の引き渡し、といった種々多様なサービスを提供している。このため、小売店の店員は、コーヒーマシン、複合機といった種々の機器を操作する必要がある。【０００３】
ところで、店員は、各機器に不慣れな場合、機器の操作が分からなかった場合は、機器のマニュアルを参照して、対応する必要があるが、通常、マニュアルには多くの情報が記載されており、必要な情報を取得するのに時間がかかってしまう。また、大手企業のチェーン店では、コールセンターが設置されているため、店員は、電話によって問い合わせることもできるが、混雑していたり、空いていない時間であったりして、問い合せが難しい場合もある。【０００４】
このような問題に対して、例えば、特許文献１は、店舗内に配設された各種機器の製品資料及びマニュアル等の情報を店員の端末装置に提供する店舗管理システムを提案している。具体的には、特許文献１に開示された店舗管理システムは、管理サーバと、機器データベースと、端末装置とで構成されている。このシステムでは、例えば、店員が特定の機器において点検ボタンを押下すると、そのことが管理サーバに伝えられる。管理サーバは、機器データベースから、点検ボタンが押下された機器の情報を取得し、取得した機器の情報を端末装置に送信する。このため、店員は、効率良く機器を操作することができるので、上述の問題が解消されると考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１８３０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された店舗管理システムを導入するためには、店舗内の機器毎に、操作ボタンとシステムとを連動させる必要があり、導入にかかるコストが高いという問題がある。【０００７】
本発明の目的の一例は、上記問題を解消し、導入コストを抑制しつつ、機器の操作を支援し得る、操作支援装置、操作支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一側面における操作支援装置は、
機器の画像データを取得する、画像データ取得部と、
機器の操作に関する問合せを受け付ける、問合せ受付部と、
取得した前記画像データに基づき、画像に含まれている機器を識別する、機器識別部と、
識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、適合情報抽出部と、
抽出された前記情報を、画面に表示させる、情報表示制御部と、
を備えていることを特徴とする。【０００９】
また、上記目的を達成するため、本発明の一側面における操作支援方法は、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を有することを特徴とする。【００１０】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００１１】
以上のように、本発明によれば、導入コストを抑制しつつ、機器の操作を支援することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１における操作支援装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における操作支援装置の構成を具体的に示すブロック図である。
【図３】図３は、本実施の形態１におけるユーザによる機器の撮影風景を示す図である。
【図４】図４は、本発明の実施の形態１における操作支援装置の動作を示すフロー図である。
【図５】図５は、本発明の実施の形態２における操作支援装置の構成を具体的に示すブロック図である。
【図６】図６は、本発明の実施の形態２において画面に表示される機器の情報の変化の一例を示すである。
【図７】図７は、本発明の実施の形態２における操作支援装置の動作を示すフロー図である。
【図８】図８は、本発明の実施の形態１及び２の変形例１における操作支援装置の構成を具体的に示すブロック図である。
【図９】図９は、本発明の実施の形態１及び２の変形例２における操作支援装置の構成を具体的に示すブロック図である。
【図１０】図１０は、本発明の実施の形態における操作支援装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
（実施の形態１）
以下、本発明の実施の形態１における、操作支援装置、操作支援方法、及びプログラムについて、図１〜図４を参照しながら説明する。
【００１４】
［装置構成］
最初に、本実施の形態１における操作支援装置の構成について、図１〜図４を参照しながら説明する。図１は、本発明の実施の形態１における操作支援装置の概略構成を示すブロック図である。
【００１５】
図１に示す、本実施の形態１における操作支援装置１０は、ユーザによる機器の操作を支援するための装置である。図１に示すように、操作支援装置１０は、画像データ取得部１１と、問合せ受付部１２と、機器識別部１３と、適合情報抽出部１４と、情報表示制御部１５とを備えている。
【００１６】
画像データ取得部１１は、操作支援の対象となる機器の画像データを取得する。問合せ受付部１２は、機器の操作に関する問合せを受け付ける。機器識別部１３は、画像データに基づき、この画像データの画像に含まれている機器を識別する。適合情報抽出部１４は、識別された機器に関する情報の中から、受け付けられた問合せに適合する情報（以下「問合せ適合情報」と表記する。）を抽出する。情報表示制御部１５は、抽出された問合せ適合情報を、画面に表示する。
【００１７】
このように、本実施の形態１では、操作支援の対象となる機器の画像データが取得されると、その機器についての問合せに応じた情報が自動的に抽出される。このため、本実施の形態１によれば、操作の支援を行なうために特別な仕組みを導入する必要がないので、導入コストを抑制しつつ、機器の操作を支援することができる。
【００１８】
続いて、図２を用いて、本実施の形態１における操作支援装置の構成についてより具体的に説明する。図２は、本発明の実施の形態１における操作支援装置の構成を具体的に示すブロック図である。
【００１９】
本実施の形態１では、図２に示すように、操作支援装置１０は、端末装置２０上に構築されている。具体的には、操作支援装置１０は、後述する本実施の形態１におけるプログラムを、端末装置２０を構成するコンピュータにインストールし、これを実行することによって構築されている。また、図２に示すように、操作支援装置１０は、端末装置２０に備えられている、入力機器２１、表示装置２２、及び撮像装置２３に接続されている。
【００２０】
画像データ取得部１１は、本実施の形態１では、撮像装置２３で撮影された画像の画像データを取得する。つまり、図３に示すように、ユーザが端末装置２０を操作して、撮像装置２３によって、操作支援の対象となる機器３０を撮影すると、画像データ取得部１１は、撮影された画像の画像データを取得する。図３は、本実施の形態１におけるユーザによる機器の撮影風景を示す図である。図３の例では、操作支援の対象となる機器３０は、コーヒーマシンである。
【００２１】
また、本実施の形態１では、撮像装置２３は、設定されたフレームレートで、連続して画像データを出力することもできる。この場合、画像データ取得部１１は、連続して出力されてくる画像データを順次取得する。
【００２２】
機器識別部１３は、本実施の形態１では、まず、取得された画像データに、予め登録されている機器の画像が含まれているかどうかを判定する。具体的には、機器識別部１３は、取得された画像データから画像中に存在する物体を抽出し、抽出した物体の特徴量を算出する。更に、機器識別部１３は、予め登録されている機器それぞれの画像の特徴量と、算出した特徴量とを比較する。そして、登録されている機器のいずれかにおいて、画像の特徴量が、算出した特徴量と一致する場合は、機器識別部１３は、画像データ中に、特徴量が一致している機器の画像がに含まれていると判定する。その後、機器識別部１３は、画像が含まれていると判定した機器を操作支援の対象として特定する。
【００２３】
問合せ受付部１２は、本実施の形態１では、ユーザが入力機器２１を介して行なった問合せを受け付ける。例えば、ユーザが、入力機器２１から質問をテキストで入力すると、問合せ受付部１２は、入力されたテキストを問合せとして受け付ける。
【００２４】
また、ユーザが、入力機器２１を用いて、画像データで特定される画像上で特定の位置又は領域を指定すると、問合せ受付部１２は、指定された特定の位置又は領域を問合せとして受け付ける。図３の例では、入力機器２１はタッチパネルであり、ユーザは、破線３１で囲まれた領域をタッチしている。この場合、問合せ受付部１２は、タッチされた領域を問合せとして受け付ける。
【００２５】
適合情報抽出部１４は、問合せがテキストである場合は、このテキストの内容に関連する部位を特定し、特定した部位に関する情報を、問合せ適合情報として抽出する。また、適合情報抽出部１４は、ユーザによって、特定の位置または領域が指定された場合は、指定された特定の位置または領域と、識別された機器の各部位とを対比して、特定の位置または領域が該当する部位を特定する。
【００２６】
そして、適合情報抽出部１４は、識別された機器に関する情報の中から、特定した部位に関する情報を、問合せ適合情報として抽出する。また、本実施の形態１において、問合せ適合情報としては、問合せの内容に対応する、機器の操作マニュアル、及び機器の操作方法を示す動画データ等が挙げられる、
【００２７】
例えば、図３の例では、ユーザは、コーヒーマシン３０の抽出ノズルを指定している。従って、適合情報抽出部１４は、操作マニュアルのノズルの取り扱いについて記述した部分、抽出ノズルの取り扱い動画を抽出する。
【００２８】
また、本実施の形態１において、情報の抽出元となる機器に関する情報は、操作支援装置１０自体が保持していても良いし、端末装置２０とは別のサーバ装置に保持されていても良い。
【００２９】
情報表示制御部１５は、本実施の形態１では、表示装置２２の画面において、画像データで特定される画像、即ち、現実の画像の上に、抽出された問合せ適合情報を重ねて表示することができる。つまり、本実施の形態１では、情報表示制御部１５は、表示装置２２の画面上に、現実世界を拡張する拡張現実（ＡＲ：Augmented Reality）を表示する。このため、ユーザにおける機器の操作の理解が向上する。
【００３０】
また、本実施の形態１では、適合情報抽出部１４は、対応する問合せ適合情報を抽出できなかった場合は、機器を識別する情報を、予め指定されているアドレスに送信する。この場合のアドレスとしては、コールセンターで用意されているメールアドレスが挙げられる。また、この場合、情報表示制御部１５は、表示装置２２の画面上に、例えば、コールセンターに問合せが必要な旨とコールセンターの連絡先（問合せ先）とを表示しても良い。
【００３１】
また、適合情報抽出部１４は、機器を識別する情報を予め指定されているアドレスに送信する前に、情報表示制御部１５を介して、表示装置２２の画面上に、ユーザに送信の許可を問い合わせるメッセージを表示しても良い。この場合、許可が得られたことを条件に、適合情報抽出部１４は、機器を識別する情報を予め指定されているアドレスに送信する。
【００３２】
［装置動作］
次に、本実施の形態１における操作支援装置の動作について図４を用いて説明する。図４は、本発明の実施の形態１における操作支援装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態１では、操作支援装置１０を動作させることによって、操作支援方法が実施される。よって、本実施の形態１における操作支援方法の説明は、以下の操作支援装置１０の動作説明に代える。
【００３３】
まず、前提として、ユーザが、端末装置２０の撮像装置２３によって、操作の支援を受けたい機器３０を撮影する。それにより、図４に示すように、画像データ取得部１１は、撮像装置２３から、機器３０の画像データを取得する（ステップＡ１）。また、画像データ取得部１１は、取得した画像データを機器識別部１３に渡す。
【００３４】
次に、ユーザが入力機器２１を介して問合せを行なうと、問合せ受付部１２は、問合せを受け付ける（ステップＡ２）。また、問合せ受付部１２は、受け付けた問合せを適合情報抽出部１４に渡す。
【００３５】
次に、機器識別部１３は、ステップＡ１で取得された画像データに基づいて、画像データの画像に含まれている機器を識別する（ステップＡ３）。また、機器識別部１３は、識別した機器を特定する情報を、適合情報抽出部１４に渡す。
【００３６】
次に、適合情報抽出部１４は、ステップＡ３で識別された機器に関する情報に、ステップＡ２で受け付けられた問合せを照合し、この情報の中から、問合せ適合情報を抽出する（ステップＡ４）。また、適合情報抽出部１４は、抽出した問合せ適合情報を、情報表示制御部１５に渡す。
【００３７】
次に、情報表示制御部１５は、ステップＡ４で抽出された問合せ適合情報を、表示装置２２の画面上に、機器の画像に重ねて表示する（ステップＡ５）。
【００３８】
以上のステップＡ１〜Ａ５の実行により、ユーザは、撮像装置２３で、操作の支援を求める機器３０を撮影するだけで、機器３０の操作に必要な情報を得ることができる。本実施の形態１によれば、機器３０自体に、操作の支援を行なうための仕組みを導入することなく、ユーザの操作を支援できる。この結果、導入コストを抑制しつつ、機器の操作を支援することが可能となる。
【００３９】
［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における操作支援装置１０と操作支援方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部１１、問合せ受付部１２、機器識別部１３、適合情報抽出部１４、及び情報表示制御部１５として機能し、処理を行なう。また、本実施の形態１において、コンピュータとしては、端末装置２０を構成するコンピュータ、例えば、スマートフォン、タブレット型端末に搭載されているコンピュータが挙げられる。
【００４０】
（実施の形態２）
続いて、本発明の実施の形態２における、操作支援装置、操作支援方法、及びプログラムについて、図５〜図７を参照しながら説明する。
【００４１】
［装置構成］
最初に、本実施の形態２における操作支援装置の構成について、図５及び図６を参照しながら説明する。図５は、本発明の実施の形態２における操作支援装置の構成を具体的に示すブロック図である。図６は、本発明の実施の形態２において画面に表示される機器の情報の変化の一例を示すである。
【００４２】
図５に示すように、本実施の形態２における操作支援装置４０も、図１及び図２に示した実施の形態１における操作支援装置１０と同様に、端末装置２０上に構築されている。また、本実施の形態２における操作支援装置４０も、画像データ取得部１１、問合せ受付部１２、機器識別部１３、適合情報抽出部１４、及び情報表示制御部１５を備えている。但し、本実施の形態２においては、実施の形態１と異なり、操作支援装置４０は、操作抽出部４１を、更に備えている。以下、実施の形態１との相違点を中心に説明する。
【００４３】
操作抽出部４１は、画像データ取得部１１で取得された画像データにおける機器の画像の変化に基づいて、機器に対して行なわれた操作を抽出する。具体的には、画像データ取得部１１が、撮像装置２３から連続して出力されてくる画像データを取得する度に、操作抽出部４１は、取得された最新の画像データと、その前に取得された画像データとの差分を求め、求めた差分に基づいて、操作を抽出する。
【００４４】
また、適合情報抽出部１４は、本実施の形態２では、操作抽出部４１によって操作が抽出されると、抽出された操作の次に行なわれるべき操作を特定し、特定した次に行なわれるべき操作についての情報を新たに抽出する。これにより、情報表示制御部１５は、新たに抽出された、次に行なわれるべき操作に関する情報を、画面に表示する。
【００４５】
例えば、ユーザが、コーヒーマシンのホッパーの清掃方法を問い合わせたとする。この場合、適合情報抽出部１４は、まず、問合せ適合情報として、ホッパーの清掃方法のマニュアルを特定する。そして、図５の上段に示すように、適合情報抽出部１４は、マニュアルの中から、最初の操作についての情報を抽出する。これにより、情報表示制御部１５は、最初の操作についての情報を画面に表示する。
【００４６】
続いて、操作抽出部４１によって、最初の操作が抽出されると、適合情報抽出部１４は、次の操作を特定し、マニュアルの中から、次の操作についての情報を抽出する。その後、図５の下段に示すように、情報表示制御部１５は、次の操作についての情報を画面に表示する。このように、本実施の形態２では、情報表示制御部１５は、ユーザの操作に応じて、画面に表示されている情報を切り替える。
［装置動作］
【００４７】
次に、本実施の形態２における操作支援装置の動作について図７を用いて説明する。図７は、本発明の実施の形態２における操作支援装置の動作を示すフロー図である。以下の説明においては、適宜図５及び図６を参酌する。また、本実施の形態２では、操作支援装置４０を動作させることによって、操作支援方法が実施される。よって、本実施の形態２における操作支援方法の説明は、以下の操作支援装置の動作説明に代える。
【００４８】
まず、本実施の形態２においても、前提として、ユーザが、端末装置２０の撮像装置２３によって、操作の支援を受けたい機器３０を撮影する。それにより、図７に示すように、画像データ取得部１１は、撮像装置２３から、機器の画像データを取得する（ステップＢ１）。また、画像データ取得部１１は、取得した画像データを機器識別部１３に渡す。
【００４９】
次に、ユーザが入力機器２１を介して問合せを行なうと、問合せ受付部１２は、問合せを受け付ける（ステップＢ２）。また、問合せ受付部１２は、受け付けた問合せを適合情報抽出部１４に渡す。
【００５０】
次に、機器識別部１３は、ステップＢ１で取得された画像データに基づいて、画像データの画像に含まれている機器を識別する（ステップＢ３）。また、機器識別部１３は、識別した機器を特定する情報を、適合情報抽出部１４に渡す。
【００５１】
次に、適合情報抽出部１４は、ステップＢ３で識別された機器に関する情報に、ステップＢ２で受け付けられた問合せを照合し、この情報の中から、問合せ適合情報を特定し、特定した問合せ適合情報の中から最初の操作についての情報を抽出する（ステップＢ４）。また、適合情報抽出部１４は、抽出した最初の操作についての情報を、情報表示制御部１５に渡す。
【００５２】
次に、情報表示制御部１５は、図５の上段に示すように、ステップＢ４で抽出された、最初の操作についての情報を、表示装置２２の画面上に、機器の画像に重ねて表示する（ステップＢ５）。
【００５３】
次に、操作抽出部４１は、画像データ取得部１１で取得された画像データにおける機器の画像の変化に基づいて、機器に対して行なわれた操作の抽出を実行する（ステップＢ６）。
【００５４】
次に、ステップＢ６によって操作が抽出されると、適合情報抽出部１４は、抽出された操作の次に行なわれるべき操作を特定して、特定した次に行なわれるべき操作についての情報を新たに抽出する（ステップＢ７）。また、適合情報抽出部１４は、抽出した新たな情報を、情報表示制御部１５に渡す。
【００５５】
次に、情報表示制御部１５は、新たに抽出された、次に行なわれるべき操作に関する情報を、表示装置２２の画面上に、機器の画像に重ねて表示する（ステップＢ８）。
【００５６】
その後、適合情報抽出部１４は、ユーザによる全ての操作が終了しているかどうかを判定する（ステップＢ９）。具体的には、適合情報抽出部１４は、問合せ適合情報に含まれる全ての操作について情報の抽出が行なわれているかどうかを判定する。
【００５７】
ステップＢ９の判定の結果、ユーザによる全ての操作が終了していない場合は、適合情報抽出部１４は、操作抽出部４１に再度ステップＢ６を実行させる。一方、ステップＢ９の判定の結果、ユーザによる全ての操作が終了している場合は、操作支援装置４０における処理は終了する。
【００５８】
以上のように、本実施の形態２によれば、ステップＢ１〜Ｂ９の実行により、ユーザの操作が行なわれる度に、次の操作のための情報が表示されるので、ユーザにおける利便性がよりいっそう向上することになる。
【００５９】
［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１〜Ｂ９を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における操作支援装置４０と操作支援方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部１１、問合せ受付部１２、機器識別部１３、適合情報抽出部１４、情報表示制御部１５、及び操作抽出部４１として機能し、処理を行なう。また、本実施の形態２において、コンピュータとしては、端末装置２０を構成するコンピュータ、例えば、スマートフォン、タブレット型端末に搭載されているコンピュータが挙げられる。
【００６０】
（変形例）
続いて、図８及び図９を用いて、上述した実施の形態１及び２の変形例１及び変形例２について説明する。
【００６１】
［変形例１］
図８は、本発明の実施の形態１及び２の変形例１における操作支援装置の構成を具体的に示すブロック図である。まず、変形例１では、図８に示すように、端末装置２０は、インターネット等のネットワーク５１を介して、チャットボットを提供するチャットボットシステム５０に接続されている。チャットボットシステム５０は、ユーザから端末装置２０を介して質問を受けると、質問の内容を解析し、解析した内容に応じた回答を自動的に返信するシステムである。
【００６２】
このため、変形例１では、問合せ受付部１２は、チャットボットシステム５０とユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける。具体的には、例えば、ユーザが、撮像装置２３で、操作の支援を求める機器を撮影した後、撮影した機器について、チャットボットシステム５０に対して質問を行なったとする。この場合、問合せ受付部１２は、ユーザとチャットボットシステム５０との間で行なわれた会話を取得し、会話の内容から特徴語を抽出し、抽出した特徴語を問合せとして受け付ける。
【００６３】
本変形例１によれば、機器の特定後における、ユーザとチャットボットシステム５０とのやり取りから、問合せが受け付けられるので、ユーザが問い合わせるべき事項を間違ってしまう事態が回避される。
【００６４】
なお、図８の例では、操作支援装置としては、実施の形態１における操作支援装置１０が示されているが、本変形例１において、操作支援装置は、実施の形態２における操作支援装置４０であっても良い。
【００６５】
［変形例２］
図９は、本発明の実施の形態１及び２の変形例２における操作支援装置の構成を具体的に示すブロック図である。図１〜図８に示した例では、操作支援装置は、端末装置２０上に構築されているが、本変形例２では、図９に示すように、操作支援装置は、端末装置２０にネットワーク５１を介して接続されたサーバ装置６０上に構築されていても良い。
【００６６】
本変形例２において、操作支援装置における処理は、図１〜図８に示した例と同様である。但し、変形例２では、画像データ取得部１１は、端末装置２０から送信されてきた画像データを取得する。また、この場合において、画像データは、画素毎の画素値で構成されたデータに限られず、撮影されている物体を特定し得るデータ、例えば、物体の特徴量のみを含むデータであっても良い。また、本変形例２では、情報表示制御部１５は、表示するための情報を、ネットワーク５１を介して、端末装置２０に送信して、端末装置２０の画面上に、この情報を表示させる。
【００６７】
なお、図９の例では、操作支援装置としては、実施の形態１における操作支援装置１０が示されているが、操作支援装置１０の代わりに、実施の形態２における操作支援装置４０が用いられていても良い。
【００６８】
また、本変形例２では、本実施の形態１または２におけるプログラムを、サーバ装置６０を構成するコンピュータにインストールし、実行することによって、操作支援装置と操作支援方法とを実現することができる。更に、本変形例２では、本実施の形態１または２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像データ取得部１１、問合せ受付部１２、機器識別部１３、適合情報抽出部１４、情報表示制御部１５、及び操作抽出部４１のいずれかとして機能する。
【００６９】
（物理構成）
ここで、実施の形態１及び２におけるプログラムを実行することによって、操作支援装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態における操作支援装置を実現するコンピュータの一例を示すブロック図である。
【００７０】
図１０に示すように、コンピュータ１１０は、ＣＰＵ（CentralProcessing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-ProgrammableGate Array）を備えていても良い。
【００７１】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００７２】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００７３】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００７４】
また、記録媒体１２０の具体例としては、ＣＦ（CompactFlash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。
【００７５】
なお、本実施の形態における操作支援装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、操作支援装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【００７６】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２４）によって表現することができるが、以下の記載に限定されるものではない。
【００７７】
（付記１）
機器の画像データを取得する、画像データ取得部と、
機器の操作に関する問合せを受け付ける、問合せ受付部と、
取得した前記画像データに基づき、画像に含まれている機器を識別する、機器識別部と、
識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、適合情報抽出部と、
抽出された前記情報を、画面に表示させる、情報表示制御部と、
を備えていることを特徴とする操作支援装置。
【００７８】
（付記２）
前記情報表示制御部が、前記画面において、前記画像データで特定される画像の上に、抽出された前記情報を重ねて表示する、
付記１に記載の操作支援装置。
【００７９】
（付記３）
前記問合せ受付部は、前記画像データで特定される画像上で特定の位置又は領域が指定された場合に、指定された前記特定の位置又は領域を、前記問合せとして受け付け、
前記適合情報抽出部は、指定された前記特定の位置又は領域に該当する前記機器の部位を特定し、識別された前記機器に関する情報の中から、特定した部位に関する情報を抽出する、
付記１または２に記載の操作支援装置。
【００８０】
（付記４）
前記適合情報抽出部が、受け付けられた前記問合せに適合する情報として、前記問合せの内容に対応する、前記機器の操作マニュアル、及び前記機器の操作方法を示す動画データのうち少なくとも１つを抽出する、
付記１〜３のいずれかに記載の操作支援装置。
【００８１】
（付記５）
前記画像データにおける前記機器の画像の変化に基づいて、前記機器に対して行なわれた操作を抽出する、操作抽出部を、更に備え、
前記情報表示制御部は、抽出された前記操作に応じて、前記画面に表示されている情報を切り替える、
付記１〜４のいずれかに記載の操作支援装置。
【００８２】
（付記６）
前記適合情報抽出部は、前記操作抽出部によって操作が抽出された場合に、抽出された操作の次に行なわれるべき操作を特定し、特定した前記次に行なわれるべき操作に関する情報を新たに抽出し、
前記情報表示制御部は、新たに抽出された、前記次に行なわれるべき操作に関する情報を、前記画面に表示する、
付記５に記載の操作支援装置。
【００８３】
（付記７）
前記問合せ受付部が、チャットボットシステムとユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける、
付記１〜６のいずれかに記載の操作支援装置。
【００８４】
（付記８）
前記適合情報抽出部が、受け付けられた前記問合せに適合する情報を抽出できなかった場合に、前記機器を識別する情報を、予め指定されているアドレスに送信し、
前記情報表示制御部が、前記画面に、問合せが必要な旨と問合せ先とを表示する、
付記１〜７のいずれかに記載の操作支援装置。
【００８５】
（付記９）
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を有することを特徴とする操作支援方法。
【００８６】
（付記１０）
前記（ｅ）のステップにおいて、前記画面において、前記画像データで特定される画像の上に、抽出された前記情報を重ねて表示する、
付記９に記載の操作支援方法。
【００８７】
（付記１１）
前記（ｂ）のステップにおいて、前記画像データで特定される画像上で特定の位置又は領域が指定された場合に、指定された前記特定の位置又は領域を、前記問合せとして受け付け、
前記（ｄ）のステップにおいて、指定された前記特定の位置又は領域に該当する前記機器の部位を特定し、識別された前記機器に関する情報の中から、特定した部位に関する情報を抽出する、
付記９または１０に記載の操作支援方法。
【００８８】
（付記１２）
前記（ｄ）のステップにおいて、受け付けられた前記問合せに適合する情報として、前記問合せの内容に対応する、前記機器の操作マニュアル、及び前記機器の操作方法を示す動画データのうち少なくとも１つを抽出する、
付記９〜１１のいずれかに記載の操作支援方法。
【００８９】
（付記１３）
（ｆ）前記画像データにおける前記機器の画像の変化に基づいて、前記機器に対して行なわれた操作を抽出する、ステップを、更に有し、
前記（ｅ）のステップにおいて、抽出された前記操作に応じて、前記画面に表示されている情報を切り替える、
付記９〜１２のいずれかに記載の操作支援方法。
【００９０】
（付記１４）
前記（ｄ）のステップにおいて、前記操作抽出部によって操作が抽出された場合に、抽出された操作の次に行なわれるべき操作を特定し、特定した前記次に行なわれるべき操作に関する情報を新たに抽出し、
前記（ｅ）のステップにおいて、新たに抽出された、前記次に行なわれるべき操作に関する情報を、前記画面に表示する、
付記１３に記載の操作支援方法。
【００９１】
（付記１５）
前記（ｂ）のステップにおいて、チャットボットシステムとユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける、
付記９〜１４のいずれかに記載の操作支援方法。
【００９２】
（付記１６）
（ｇ）受け付けられた前記問合せに適合する情報を抽出できなかった場合に、前記機器を識別する情報を、予め指定されているアドレスに送信する、ステップと、
（ｈ）前記画面に、問合せが必要な旨と問合せ先とを表示する、ステップと、
を更に有する、付記９〜１５のいずれかに記載の操作支援方法。
【００９３】
（付記１７）
コンピュータに、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【００９４】
（付記１８）
前記（ｅ）のステップにおいて、前記画面において、前記画像データで特定される画像の上に、抽出された前記情報を重ねて表示する、
付記１７に記載のコンピュータ読み取り可能な記録媒体。
【００９５】
（付記１９）
前記（ｂ）のステップにおいて、前記画像データで特定される画像上で特定の位置又は領域が指定された場合に、指定された前記特定の位置又は領域を、前記問合せとして受け付け、
前記（ｄ）のステップにおいて、指定された前記特定の位置又は領域に該当する前記機器の部位を特定し、識別された前記機器に関する情報の中から、特定した部位に関する情報を抽出する、
付記１７または１８に記載のコンピュータ読み取り可能な記録媒体。
【００９６】
（付記２０）
前記（ｄ）のステップにおいて、受け付けられた前記問合せに適合する情報として、前記問合せの内容に対応する、前記機器の操作マニュアル、及び前記機器の操作方法を示す動画データのうち少なくとも１つを抽出する、
付記１７〜１９のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【００９７】
（付記２１）
前記プログラムが、前記コンピュータに、
（ｆ）前記画像データにおける前記機器の画像の変化に基づいて、前記機器に対して行なわれた操作を抽出する、ステップを実行させる命令を更に含み、
前記（ｅ）のステップにおいて、抽出された前記操作に応じて、前記画面に表示されている情報を切り替える、
付記１７〜２０のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【００９８】
（付記２２）
前記（ｄ）のステップにおいて、前記操作抽出部によって操作が抽出された場合に、抽出された操作の次に行なわれるべき操作を特定し、特定した前記次に行なわれるべき操作に関する情報を新たに抽出し、
前記（ｅ）のステップにおいて、新たに抽出された、前記次に行なわれるべき操作に関する情報を、前記画面に表示する、
付記２１に記載のコンピュータ読み取り可能な記録媒体。
【００９９】
（付記２３）
前記（ｂ）のステップにおいて、チャットボットシステムとユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける、
付記１７〜２２のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【０１００】
（付記２４）
前記プログラムが、前記コンピュータに、
（ｇ）受け付けられた前記問合せに適合する情報を抽出できなかった場合に、前記機器を識別する情報を、予め指定されているアドレスに送信する、ステップと、
（ｈ）前記画面に、問合せが必要な旨と問合せ先とを表示する、ステップと、
を実行させる命令を更に含む、付記１７〜２３のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【０１０１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０２】
この出願は、２０１７年３月３日に出願された日本出願特願２０１７−０４０９３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０３】
以上のように、本発明によれば、導入コストを抑制しつつ、機器の操作を支援することができる。本発明は、例えば、種々の機器の操作が必要となる小売店等において有用である。
【符号の説明】
【０１０４】
１０  操作支援装置（実施の形態１）
１１  画像データ取得部
１２  問合せ受付部
１３  機器識別部
１４  適合情報抽出部
１５  情報表示制御部
２０  端末装置
２１  入力機器
２２  表示装置
２３  撮像装置
３０  機器
３１  ユーザがタッチした領域
４０  操作支援装置（実施の形態２）
４１  操作抽出部
５０  チャットボットシステム
５１  ネットワーク
６０  サーバ装置
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2018159224.tif 000003
【図２】
2018159224.tif 000004
【図３】
2018159224.tif 000005
【図４】
2018159224.tif 000006
【図５】
2018159224.tif 000007
【図６】
2018159224.tif 000008
【図７】
2018159224.tif 000009
【図８】
2018159224.tif 000010
【図９】
2018159224.tif 000011
【図１０】
2018159224.tif 000012
【手続補正書】
【提出日】令和1年8月29日(2019.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
機器の画像データを取得する、画像データ取得部と、
機器の操作に関する問合せを受け付ける、問合せ受付部と、
取得した前記画像データに基づき、画像に含まれている機器を識別する、機器識別部と、
識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、適合情報抽出部と、
抽出された前記情報を、画面に表示させる、情報表示制御部と、
を備えていることを特徴とする操作支援装置。
【請求項２】
前記情報表示制御部が、前記画面において、前記画像データで特定される画像の上に、抽出された前記情報を重ねて表示する、
請求項１に記載の操作支援装置。
【請求項３】
前記問合せ受付部は、前記画像データで特定される画像上で特定の位置又は領域が指定された場合に、指定された前記特定の位置又は領域を、前記問合せとして受け付け、
前記適合情報抽出部は、指定された前記特定の位置又は領域に該当する前記機器の部位を特定し、識別された前記機器に関する情報の中から、特定した部位に関する情報を抽出する、
請求項１または２に記載の操作支援装置。
【請求項４】
前記適合情報抽出部が、受け付けられた前記問合せに適合する情報として、前記問合せの内容に対応する、前記機器の操作マニュアル、及び前記機器の操作方法を示す動画データのうち少なくとも１つを抽出する、
請求項１〜３のいずれかに記載の操作支援装置。
【請求項５】
前記画像データにおける前記機器の画像の変化に基づいて、前記機器に対して行なわれた操作を抽出する、操作抽出部を、更に備え、
前記情報表示制御部は、抽出された前記操作に応じて、前記画面に表示されている情報を切り替える、
請求項１〜４のいずれかに記載の操作支援装置。
【請求項６】
前記適合情報抽出部は、前記操作抽出部によって操作が抽出された場合に、抽出された操作の次に行なわれるべき操作を特定し、特定した前記次に行なわれるべき操作に関する情報を新たに抽出し、
前記情報表示制御部は、新たに抽出された、前記次に行なわれるべき操作に関する情報を、前記画面に表示する、
請求項５に記載の操作支援装置。
【請求項７】
前記問合せ受付部が、チャットボットシステムとユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける、
請求項１〜６のいずれかに記載の操作支援装置。
【請求項８】
前記適合情報抽出部が、受け付けられた前記問合せに適合する情報を抽出できなかった場合に、前記機器を識別する情報を、予め指定されているアドレスに送信し、
前記情報表示制御部が、前記画面に、問合せが必要な旨と問合せ先とを表示する、
請求項１〜７のいずれかに記載の操作支援装置。
【請求項９】
前記前記画像データで特定される画像が、現実の画像であり、
前記情報表示制御部が、現実世界を拡張する拡張現実を表示する、
請求項２に記載の操作支援装置。
【請求項１０】
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を有することを特徴とする操作支援方法。
【請求項１１】
コンピュータに、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を実行させる、プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、ユーザによる機器の操作を支援するための、操作支援装置、及び操作支援方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の目的の一例は、上記問題を解消し、導入コストを抑制しつつ、機器の操作を支援し得る、操作支援装置、操作支援方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を実行させる、ことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
（付記１７）
コンピュータに、
（ａ）機器の画像データを取得する、ステップと、
（ｂ）機器の操作に関する問合せを受け付ける、ステップと、
（ｃ）取得した前記画像データに基づき、画像に含まれている機器を識別する、ステップと、
（ｄ）識別された前記機器に関する情報の中から、受け付けられた前記問合せに適合する情報を抽出する、ステップと、
（ｅ）抽出された前記情報を、画面に表示する、ステップと、
を実行させる、プログラム。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
（付記１８）
前記（ｅ）のステップにおいて、前記画面において、前記画像データで特定される画像の上に、抽出された前記情報を重ねて表示する、
付記１７に記載のプログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
（付記１９）
前記（ｂ）のステップにおいて、前記画像データで特定される画像上で特定の位置又は領域が指定された場合に、指定された前記特定の位置又は領域を、前記問合せとして受け付け、
前記（ｄ）のステップにおいて、指定された前記特定の位置又は領域に該当する前記機器の部位を特定し、識別された前記機器に関する情報の中から、特定した部位に関する情報を抽出する、
付記１７または１８に記載のプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
（付記２０）
前記（ｄ）のステップにおいて、受け付けられた前記問合せに適合する情報として、前記問合せの内容に対応する、前記機器の操作マニュアル、及び前記機器の操作方法を示す動画データのうち少なくとも１つを抽出する、
付記１７〜１９のいずれかに記載のプログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
（付記２１）
前記コンピュータに、
（ｆ）前記画像データにおける前記機器の画像の変化に基づいて、前記機器に対して行なわれた操作を抽出する、ステップを更に実行させ、
前記（ｅ）のステップにおいて、抽出された前記操作に応じて、前記画面に表示されている情報を切り替える、
付記１７〜２０のいずれかに記載のプログラム。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
（付記２２）
前記（ｄ）のステップにおいて、前記操作抽出部によって操作が抽出された場合に、抽出された操作の次に行なわれるべき操作を特定し、特定した前記次に行なわれるべき操作に関する情報を新たに抽出し、
前記（ｅ）のステップにおいて、新たに抽出された、前記次に行なわれるべき操作に関する情報を、前記画面に表示する、
付記２１に記載のプログラム。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
（付記２３）
前記（ｂ）のステップにおいて、チャットボットシステムとユーザとのやり取りに基づいて、ユーザの問合せを特定し、特定した問合せを受け付ける、
付記１７〜２２のいずれかに記載のプログラム。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
（付記２４）
前記コンピュータに、
（ｇ）受け付けられた前記問合せに適合する情報を抽出できなかった場合に、前記機器を識別する情報を、予め指定されているアドレスに送信する、ステップと、
（ｈ）前記画面に、問合せが必要な旨と問合せ先とを表示する、ステップと、
を更に実行させる、
付記１７〜２３のいずれかに記載のプログラム。
【国際調査報告】
2018159224.tif 000013
2018159224.tif 000014
2018159224.tif 000015
2018159224.tif 000016