(57)【要約】【課題】操作説明を行う対象物の特定部位を撮像手段により撮像して、撮像された画像に操作を指示するための画像を付加して操作説明画像として表示する際に、撮像手段により特定部位を撮像し続けなくても、操作説明画像を表示することを可能とする。【解決手段】撮像部３６は、実空間の画像を撮像する。制御部３２は、撮像された画像に、操作説明を行う画像形成装置の特定部位の画像が含まれる場合、その画像に操作を指示するための画像を付加して操作説明画像を生成して、生成した操作説明画像を順次表示するよう表示部３３を制御する。制御部３２は、操作説明画像を生成した際に、生成した操作説明画像の一部を静止画像としてデータ格納部３４に保存しておき、特定部位に対する操作説明が完了する前に、撮像部３６により撮像された画像から、特定部位を検出することができなくなった場合、保存しておいた操作説明画像を表示部３３に表示する。【選択図】図３
2018185863.tif 000002
【特許請求の範囲】
【請求項１】
複数の者の間でやり取りした情報を前記複数の者のそれぞれの表示手段において時系列で表示するように制御する表示制御手段と、
少なくとも第１の者及び第２の者を含む複数の者の間で情報をやり取りしている場合に、前記第２の者を第３の者に入れ替える指示を前記第１の者から受け付ける指示受付手段と、
前記指示受付手段が前記指示を受け付けた場合、前記第１の者を含む複数の者との間で情報をやり取りする権限を、前記第２の者から前記第３の者に移動する権限移動手段と、
を備え、
前記表示制御手段は、前記第３の者に対して情報を表示する表示手段上において、前記第１の者と前記第２の者との間で行われた過去のやり取り情報に続いて、前記第１の者と前記第３の者とを含む複数の者の間でやり取りする情報を表示するように制御する
情報処理装置。
【請求項２】
前記第１の者と前記第２の者との間でやり取りした過去の履歴情報の中から、前記第３の者との間でやり取りを開始したい箇所の指定を前記第１の者から受け付ける開始箇所受付手段をさらに備える請求項１記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記開始箇所受付手段により受付けた箇所以降又は箇所より後の履歴情報が、前記第１の者及び前記第３の者に対して情報を表示する表示手段上において表示されないように制御する請求項２記載の情報処理装置。
【請求項４】
前記指示受付手段が前記指示を受け付けた場合、前記第１の者との間で情報のやり取りを開始する要求を前記第３の者に対して通知する通知手段をさらに備え、
前記権限移動手段は、前記通知手段により通知した要求を前記第３の者が承認した場合、前記第１の者を含む複数の者と間で情報をやり取りする権限を、前記第２の者から前記第３の者に移動する請求項１記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記第３の者が前記通知手段により通知した要求を承認するまでの間、前記第１の者に対して情報を表示する表示手段上において、前記第２の者から前記第３の者に入れ替えが行われていることが分かる内容の情報を表示するよう制御する請求項４記載の情報処理装置。
【請求項６】
前記表示制御手段は、前記第１の者を含む複数の者との間で情報をやり取りする権限が付与されていない者に対して情報を表示する表示手段上においては、やり取りされた過去の履歴情報が閲覧できないように制御し、前記第１の者を含む複数の者との間で情報をやり取りする権限が付与された者に対して情報を表示する表示手段上においては、権限を付与する以前においてやり取りされた情報を含む過去の履歴情報を閲覧できるように制御する請求項１から５のいずれか記載の情報処理装置。
【請求項７】
前記第２の者と入れ替える前記第３の者の属性の条件を指定する条件指定手段をさらに備える請求項１から６のいずれか記載の情報処理装置。
【請求項８】
前記権限移動手段は、前記第１の者を含む複数の者との間で情報をやり取りする権限を前記第２の者から前記第３の者に移動した後に、複数の者の間における情報のやり取りが中断し、前記第１の者からの要求により情報のやり取りが再開し、前記第３の者とは異なる新たな第３の者が情報のやり取りを行うことを受け入れた場合、前記第１の者を含む複数の者との間で情報をやり取りする権限を中断前の前記第３の者から新たな前記第３の者に移動し、
前記表示制御手段は、新たな前記第３の者に対して情報を表示する表示手段上において、前記第１の者と中断前の前記第３の者との間で行われた過去のやり取り情報に続いて、前記第１の者と新たな前記第３の者とを含む複数の者の間でやり取りする情報を表示するように制御する請求項１から７のいずれか記載の情報処理装置。
【請求項９】
複数の者の間でやり取りした情報を前記複数の者のそれぞれの表示手段において時系列で表示するように制御する第１の表示制御ステップと、
少なくとも第１の者及び第２の者を含む複数の者の間で情報をやり取りしている場合に、前記第２の者を第３の者に入れ替える指示を前記第１の者から受け付ける指示受付ステップと、
前記指示受付ステップにおいて前記指示を受け付けた場合、前記第１の者を含む複数の者との間で情報をやり取りする権限を、前記第２の者から前記第３の者に移動する権限移動ステップと、
前記第３の者に対して情報を表示する表示手段上において、前記第１の者と前記第２の者との間で行われた過去のやり取り情報に続いて、前記第１の者と前記第３の者とを含む複数の者の間でやり取りする情報を表示するように制御する第２の表示制御ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、撮像画像に含まれる所定の対象を認識して、仮想オブジェクトの画像と撮像画像とを合成した合成画像を生成して表示する際に、認識処理が失敗した場合には、以前に成功した認識処理の対象となった撮像画像と、当該認識処理の処理結果を用いて生成される仮想オブジェクトの画像とを合成するようにした画像表示装置が開示されている。
【０００３】
特許文献２には、印刷装置が出力用紙に施す予定の付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を、現実空間に存在する用紙上に重ね合わせて表示する表示装置が開示されている。
【０００４】
特許文献３には、印刷装置が出力用紙に施す予定の付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を、現実空間に存在する用紙上に重ね合わせて表示し、模擬画像に対してユーザが行った操作に応じて、印刷装置の設定情報を変更する処理内容設定装置が開示されている。
【０００５】
特許文献４には、携帯電話端末に動画コンテンツをストリーミング再生させるとともに、その動画コンテンツを携帯電話端末ユーザとオペレーターが共有しながら、オペレーターがユーザのチャット相手を行うサービスを大規模に実施することができるようにした携帯電話向けチャットサービスシステムが開示されている。
【０００６】
特許文献５には、コンタクトセンサ装置はユーザ端末からオペレーターへの問い合わせ内容を含むメッセージを受信すると、その問い合わせ内容に基づいて、問い合わせを受け付けるオペレーター端末を複数のオペレーター端末の中から選択して、選択したオペレーター端末にメッセージを送信するようにしたコンタクトセンタシステムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−０５９２９２号公報
【特許文献２】特開２０１５−０９９４４８号公報
【特許文献３】特開２０１５−１０２９０９号公報
【特許文献４】特開２００６−００４１９０号公報
【特許文献５】特開２０１６−０８２５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、第１の者及び第２の者を含む複数の者がやり取りしている場合に、第１の者からの指示により、複数の者との間でやり取りする権利を、第２の者から第３の者に移動した場合でも、第１の者が第２の者との間で過去に行ったやり取りと重複したやり取りを第３の者との間で行うことを防ぐことが可能な情報処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００９】
［情報処理装置］
請求項１に係る本発明は、複数の者の間でやり取りした情報を前記複数の者のそれぞれの表示手段において時系列で表示するように制御する表示制御手段と、
少なくとも第１の者及び第２の者を含む複数の者の間で情報をやり取りしている場合に、前記第２の者を第３の者に入れ替える指示を前記第１の者から受け付ける指示受付手段と、
前記指示受付手段が前記指示を受け付けた場合、前記第１の者を含む複数の者との間で情報をやり取りする権限を、前記第２の者から前記第３の者に移動する権限移動手段と、
を備え、
前記表示制御手段は、前記第３の者に対して情報を表示する表示手段上において、前記第１の者と前記第２の者との間で行われた過去のやり取り情報に続いて、前記第１の者と前記第３の者とを含む複数の者の間でやり取りする情報を表示するように制御する情報処理装置である。
【００１０】
請求項２に係る本発明は、前記第１の者と前記第２の者との間でやり取りした過去の履歴情報の中から、前記第３の者との間でやり取りを開始したい箇所の指定を前記第１の者から受け付ける開始箇所受付手段をさらに備える請求項１記載の情報処理装置である。
【００１１】
請求項３に係る本発明は、前記表示制御手段が、前記開始箇所受付手段により受付けた箇所以降又は箇所より後の履歴情報が、前記第１の者及び前記第３の者に対して情報を表示する表示手段上において表示されないように制御する請求項２記載の情報処理装置である。
【００１２】
請求項４に係る本発明は、前記指示受付手段が前記指示を受け付けた場合、前記第１の者との間で情報のやり取りを開始する要求を前記第３の者に対して通知する通知手段をさらに備え、
前記権限移動手段は、前記通知手段により通知した要求を前記第３の者が承認した場合、前記第１の者を含む複数の者と間で情報をやり取りする権限を、前記第２の者から前記第３の者に移動する請求項１記載の情報処理装置である。
【００１３】
請求項５に係る本発明は、前記表示制御手段が、前記第３の者が前記通知手段により通知した要求を承認するまでの間、前記第１の者に対して情報を表示する表示手段上において、前記第２の者から前記第３の者に入れ替えが行われていることが分かる内容の情報を表示するよう制御する請求項４記載の情報処理装置である。
【００１４】
請求項６に係る本発明は、前記表示制御手段が、前記第１の者を含む複数の者との間で情報をやり取りする権限が付与されていない者に対して情報を表示する表示手段上においては、やり取りされた過去の履歴情報が閲覧できないように制御し、前記第１の者を含む複数の者との間で情報をやり取りする権限が付与された者に対して情報を表示する表示手段上においては、権限を付与する以前においてやり取りされた情報を含む過去の履歴情報を閲覧できるように制御する請求項１から５のいずれか記載の情報処理装置である。
【００１５】
請求項７に係る本発明は、前記第２の者と入れ替える前記第３の者の属性の条件を指定する条件指定手段をさらに備える請求項１から６のいずれか記載の情報処理装置である。
【００１６】
請求項８に係る本発明は、前記権限移動手段が、前記第１の者を含む複数の者との間で情報をやり取りする権限を前記第２の者から前記第３の者に移動した後に、複数の者の間における情報のやり取りが中断し、前記第１の者からの要求により情報のやり取りが再開し、前記第３の者とは異なる新たな第３の者が情報のやり取りを行うことを受け入れた場合、前記第１の者を含む複数の者との間で情報をやり取りする権限を中断前の前記第３の者から新たな前記第３の者に移動し、
前記表示制御手段は、新たな前記第３の者に対して情報を表示する表示手段上において、前記第１の者と中断前の前記第３の者との間で行われた過去のやり取り情報に続いて、前記第１の者と新たな前記第３の者とを含む複数の者の間でやり取りする情報を表示するように制御する請求項１から７のいずれか記載の情報処理装置である。
【００１７】
[プログラム]
請求項９に係る本発明は、複数の者の間でやり取りした情報を前記複数の者のそれぞれの表示手段において時系列で表示するように制御する第１の表示制御ステップと、
少なくとも第１の者及び第２の者を含む複数の者の間で情報をやり取りしている場合に、前記第２の者を第３の者に入れ替える指示を前記第１の者から受け付ける指示受付ステップと、
前記指示受付ステップにおいて前記指示を受け付けた場合、前記第１の者を含む複数の者との間で情報をやり取りする権限を、前記第２の者から前記第３の者に移動する権限移動ステップと、
前記第３の者に対して情報を表示する表示手段上において、前記第１の者と前記第２の者との間で行われた過去のやり取り情報に続いて、前記第１の者と前記第３の者とを含む複数の者の間でやり取りする情報を表示するように制御する第２の表示制御ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１８】
請求項１に係る本発明によれば、第１の者及び第２の者を含む複数の者がやり取りしている場合に、第１の者からの指示により、複数の者との間でやり取りする権利を、第２の者から第３の者に移動した場合でも、第１の者が第２の者との間で過去に行ったやり取りと重複したやり取りを第３の者との間で行うことを防ぐことが可能な情報処理装置を提供することができる。
【００１９】
請求項２に係る本発明によれば、第１の者が第３の者との間で任意の箇所からやり取りを開始することができる情報処理装置を提供することができる。
【００２０】
請求項３に係る本発明によれば、不要な過去の履歴情報を表示させることなく、第１の者が第３の者との間で任意の箇所からやり取りを開始することができる情報処理装置を提供することができる。
【００２１】
請求項４に係る本発明によれば、第１の者との間でのやり取りを行うことを承認した第３の者に対して、第１の者との間でやり取りする権限を移動することができる情報処理装置を提供することができる。
【００２２】
請求項５に係る本発明によれば、第２の者から第３の者への入れ替えが行われていることを第１の者に認識させることができる情報処理装置を提供することができる。
【００２３】
請求項６に係る本発明によれば、第１の者を含む複数の者との間でやり取りをする権限を有する者以外に、やり取りされた過去の情報が開示されてしまうことを防ぐことが可能な情報処理装置を提供することができる。
【００２４】
請求項７に係る本発明によれば、第１の者がやり取りする相手を、第２の者から希望する属性の第３の者に入れ替えることが可能な情報処理装置を提供することができる。
【００２５】
請求項８に係る本発明によれば、第１の者が第３の者との間でやり取りを開始し、その第３の者との間のやり取りが中断した場合でも、やり取りを再開した新たな第３の者との間で、第１の者がやり取りの再開前に第３の者との間で過去に行ったやり取りと重複したやり取りを新たな第３の者との間で行うことを防ぐことが可能な情報処理装置を提供することができる。
【００２６】
請求項９に係る本発明によれば、第１の者及び第２の者を含む複数の者がやり取りしている場合に、第１の者からの指示により、複数の者との間でやり取りする権利を、第２の者から第３の者に移動した場合でも、第１の者が第２の者との間で過去に行ったやり取りと重複したやり取りを第３の者との間で行うことを防ぐことが可能なプログラムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態の操作説明表示システムのシステム構成を示す図である。
【図２】本発明の一実施形態における端末装置１０のハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態における端末装置１０の機能構成を示すブロック図である。
【図４】操作説明を行おうとする特定部位が手差しトレイの場合に、撮像された画像から手差しトレイの画像を抽出する具体例を説明するための図である。
【図５】本発明の一実施形態における端末装置１０において操作説明画像を表示して操作説明を行う際の動作を説明するためのフローチャートである。
【図６】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図７】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図８】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図９】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１０】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１１】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１２】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１３】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１４】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１５】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１６】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１７】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１８】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図１９】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図２０】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図２１】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図２２】本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。
【図２３】ユーザがオペレーターとの間で対話形式のやり取りを行う場合の操作説明表示システムのシステム構成を示す図である。
【図２４】本発明の一実施形態における配信サーバ４０のハードウェア構成を示すブロック図である。
【図２５】本発明の一実施形態における配信サーバ４０の機能構成を示すブロック図である。
【図２６】ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図２７】ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図２８】ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。
【図２９】ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。
【図３０】ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３１】ユーザがコンタクトセンターのオペレーターとの間で画像を用いたチャットを行う場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３２】ユーザがコンタクトセンターのオペレーターとの間で画像を用いたチャットを行う場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。
【図３３】ユーザがコンタクトセンターのオペレーターとの間で画像を用いたチャットを行う場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３４】ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３５】ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３６】ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３７】ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３８】ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。
【図３９】ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。
【発明を実施するための形態】
【００２８】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２９】
図１は本発明の一実施形態の操作説明表示システムのシステム構成を示す図である。
【００３０】
本実施形態の操作説明表示システムでは、操作説明を行う対象物である画像形成装置２０の操作説明を、スマートフォン、タブレット端末等の端末装置１０を用いて行うものである。なお、画像形成装置２０は、印刷（プリント）機能、スキャン機能、複写（コピー）機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
【００３１】
また、以下の説明では、端末装置１０がスマートフォンの場合を用いて説明する。そして、この端末装置１０に、操作説明を行うためのアプリケーションソフト（以下、アプリと略す。）がダウンロードされることにより、画像形成装置２０の操作説明を行う機能が実現される。
【００３２】
本発明の一実施形態の操作説明表示システムは、図１に示されるように、操作説明を行う対象物である画像形成装置２０と、無線ＬＡＮターミナル３０と、画像形成装置２０の操作説明を行うためのコンテンツを端末装置１０に配信するための配信サーバ４０とがネットワーク５０により接続されている。
【００３３】
端末装置１０は、無線ＬＡＮターミナル３０との間で無線回線により接続されることにより、配信サーバ４０と接続される。そして、配信サーバ４０は、画像形成装置２０の新たな操作説明等が追加された場合、端末装置１０に対して追加された操作説明を配信することが可能な構成となっている。
【００３４】
本実施形態の操作説明表示システムでは、端末装置１０のカメラにより画像形成装置２０における説明対象の特定部位を撮像することで、その特定部位が含まれる画像に操作を指示するための各種画像を、ＡＲ（Augmented Reality：拡張現実感）技術により付加して操作説明画像として表示する処理が実行される。なお、具体的な操作説明画像の内容の詳細については後述する。
【００３５】
次に、本実施形態の操作説明表示システムにおける端末装置１０のハードウェア構成を図２に示す。
【００３６】
端末装置１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、無線ＬＡＮターミナル３０との間で無線回線を介してデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル等のユーザインタフェース（ＵＩ）装置１５、カメラ１６、液晶ディスプレイ等の表示装置１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。
【００３７】
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、端末装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＳＤカード等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
【００３８】
図３は、上記の制御プログラムが実行されることにより実現される端末装置１０の機能構成を示すブロック図である。
【００３９】
本実施形態の端末装置１０は、図３に示されるように、データ送受信部３１と、制御部３２と、表示部３３と、データ格納部３４と、操作受付部３５と、撮像部３６とを備えている。
【００４０】
データ送受信部３１は、制御部３２による制御に基づいて配信サーバ４０との間でデータの送受信を行う。
【００４１】
表示部３３は、制御部３２による制御に基づいて、各種画像を表示する表示手段として機能する。
【００４２】
データ格納部３４は、操作説明を行う画像形成装置２０における、手差しトレイ、操作パネル、自動原稿紙送り装置、用紙トレイ等の操作説明の際に必要となる各種特定部位の画像の特徴情報、制御部３４により生成された操作説明画像等の各種データを格納する。
【００４３】
操作受付部３５は、ユーザ（使用者）による指示や各種入力操作を受付ける。
【００４４】
撮像部３６は、実空間の画像を撮像する撮像手段として機能する。
【００４５】
制御部３２は、撮像部３６により撮像された画像に、操作説明を行う画像形成装置２０の特定部位の画像が含まれる場合、その画像に操作を指示するための画像を付加することにより操作説明画像を生成し、生成した操作説明画像を順次表示するよう表示部３３を制御する。
【００４６】
ここで、撮像された画像に付加される操作を指示するための画像としては、操作場所や操作方向を示す矢印画像、操作内容を説明するテキスト画像、セット場所を説明するための用紙画像、封筒画像等の各種画像が含まれる。
【００４７】
そして、制御部３２は、操作説明画像を生成した際に、生成した操作説明画像の一部をデータ格納部３４に保存しておき、特定部位に対する操作説明が完了する前に、撮像手段３６により撮像された画像から、特定部位を検出することができなくなった場合、保存しておいた操作説明画像を静止画像として表示部３３に表示する。
【００４８】
その際に、制御部３３は、生成した操作説明画像により既に保存されていた操作説明画像を更新することにより、最新の操作説明画像をデータ格納部３４に保存する。
【００４９】
例えば、制御部３２は、ある特定部位についての操作説明画像を順次生成して表示部３３に表示する際に、最後に生成した１フレーム分の画像を静止画像として保存しておき、撮像された画像中に特定部位を検出することができなくなった場合、保存しておいた静止画像を表示部３３に表示する。
【００５０】
なお、制御部３２は、生成した複数の操作説明画像を保存しておき、過去に表示した操作説明画像の表示が指示された場合、保存していた複数の操作説明画像のうち、表示が指示された操作説明画像を表示部３３に表示するようにしても良い。
【００５１】
さらに、制御部３２は、生成した操作説明画像をデータ格納部３４に格納するのではなく、その操作説明画像を生成する際に用いた画像を格納するようにしておき、撮像された画像中に特定部位を検出することができなくなった場合、保存しておいた画像に再度操作を説明するための画像を付加して操作説明画像を生成して表示部３３に表示するようにしても良い。
【００５２】
また、撮像部３６により撮像された画像に特定部位の画像が含まれているか否かを判定する際には、制御部３２は、撮像部３６により撮像された画像における特徴情報が、データ格納部３４に格納されたいずれかの特徴情報と一致した場合、その画像中に、説明を行おうとする特定部位が含まれると判定する。
【００５３】
そして、制御部３２は、特定部位についての操作説明が継続している場合には、操作説明を行う際に最初に特定部位を検出する際に使用した特徴情報と、撮像部３６により撮像された画像における特徴情報とが一致しなくなった場合、撮像部３６により撮像された画像から特定部位を検出することができなくなったものと判定する。
【００５４】
例えば、操作説明を行おうとする特定部位が手差しトレイの場合に、撮像された画像から手差しトレイの画像を抽出する具体例について図４を参照して説明する。
【００５５】
ここで、データ格納部３４には、図４(Ａ)に示すような、手差しトレイ画像の複数の特徴情報からなる特徴情報群が格納されているものとして説明する。
【００５６】
具体的には、撮影方向、明るさ、照明色等の条件が異なる様々な手差しトレイの画像から画像特徴を抽出することにより生成された複数の特徴情報Ａ、Ｂ、Ｃ、Ｄ、Ｅ・・・がデータ格納部３４に格納されている。
【００５７】
そして、操作説明の最初に、撮像された画像から操作トレイの画像を検出する際には、図４(Ａ)に示すように、制御部３２は、撮像部３６により撮像された画像から抽出された特徴情報を、特徴情報Ａ、Ｂ、Ｃ、・・・の順番で順次比較していく。ここでは、例えば、撮像部３６により撮像された画像から抽出された特徴情報が、特徴情報Ｃと一致したものとして説明する。この場合、制御部３２は、操作トレイに対する説明を継続している間は、特徴情報Ｃを用いて、撮像部３６により撮像された画像から手差しトレイの検出の行い、手差しトレイの画像の有無および向きや位置等を検出する。
【００５８】
また、制御部３２は、保存しておいた操作説明画像を表示部３３に表示している最中であっても、撮像部３６により撮像された画像に、操作トレイの画像が含まれるか否かの判定を行い、当該画像中に、操作トレイの画像が含まれる場合、表示部３３に表示する画像を、保存しておいた操作説明画像から、撮像部３６により撮像された画像に操作を指示するための画像を付加した操作説明画像に切り替える。
【００５９】
なお、制御部３２は、特定部位に対して必要な操作が行われたことが検出された場合に、その特定部位に対する操作説明が完了したと判定する。具体的には、制御部３２は、ユーザにより操作が完了した旨の入力がされた場合に、特定部位に対して必要な操作が行われたと判定する。また、制御部３２は、撮像部３６により撮像された画像に含まれる特定部位の画像から、特定部位に対して必要な操作が行われたことを検出するようにしても良い。
【００６０】
さらに、本実施形態の操作説明表示システムでは、操作説明を行った際にユーザが行った操作が操作説明通りに正しく行われたか否かを判定する機能を有する。
【００６１】
具体的には、制御部３２は、撮像部３６により撮像された画像に含まれる特定部位の画像から、その特定部位に対して正しい操作が行われたか否かを判定する。そして、制御部３２は、特定部位に対して正しい操作が行われたと判定した場合、表示部３３に正しい操作が行われた旨を表示する。逆に、制御部３２は、特定部位に対して正しい操作が行われなかったと判定した場合、表示部３３に誤った操作が行われた旨を表示して、正しい操作に修正するための修正指示画像を付加して表示する。
【００６２】
次に、本実施形態の操作説明表示システムの動作を図面を参照して詳細に説明する。
【００６３】
先ず、図５のフローチャートを参照して、本実施形態における端末装置１０において操作説明画像を表示して操作説明を行う際の動作を説明する。この図５のフローチャートでは、特定部位が手差しトレイであり、この手差しトレイに対する操作説明を行う場合を用いて説明する。
【００６４】
先ず、制御部３２は、操作説明が開始された撮像部３６を起動すると、撮像部３６により撮像された画像中から手差しトレイを検出する。その際に、制御部３２は、先ずデータ格納部３４に格納された複数の手差しトレイ画像の特徴情報の中から１つの特徴情報を選択する（ステップＳ１０１）。例えば、制御部３２は、図４（Ａ）に示したような複数の特徴情報の中から、特徴情報Ａを選択する。
【００６５】
そして、制御部３２は、撮像部３６により撮像された画像から特徴情報を抽出し、抽出された特徴情報と、選択した特徴情報Ａとを比較する（ステップＳ１０２）。
【００６６】
ステップＳ１０３の比較処理において、比較した２つの特徴情報が一致しなかった場合（ステップＳ１０３においてｎｏ）、制御部３２は、データ格納部３４に格納された複数の手差しトレイ画像の特徴情報の中から、比較順が次の特徴情報を選択する（ステップＳ１０４）。例えば、制御部３２は、最初に特徴情報Ａを選択して比較処理を行った場合、比較順が次の特徴情報Ｂを選択する。
【００６７】
そして、撮像された画像の特徴情報と、選択した特徴情報との比較処理が繰り返される（ステップＳ１０２、Ｓ１０３）。
【００６８】
そして、ステップＳ１０３の比較処理において、比較した２つの特徴情報が一致した場合（ステップＳ１０３においてｙｅｓ）、制御部３２は、ＡＲ技術を用いて撮像された画像中に操作を指示するための画像を付加して操作説明画像を生成して表示部３３に表示する。
【００６９】
その際に、制御部３２は、生成した操作説明画像の１フレーム分の静止画像をデータ格納部３４に保存する（ステップＳ１０６）。
【００７０】
そして、手差しトレイに対して必要な操作が完了していなければ（ステップＳ１０７においてｎｏ）、制御部３２は、最初に（ステップＳ１０１〜Ｓ１０４の処理において）手差しトレイを検出した際の特徴情報を用いて、撮像された画像から手差しトレイの検出を行う（ステップＳ１０８）。そして、手差しトレイの画像が検出できた場合（ステップＳ１０９においてｙｅｓ）、制御部３２は、ＡＲ技術を用いて撮像された画像中に操作を指示するための画像を付加して操作説明画像を生成して表示部３３に表示する処理を繰り返す（ステップＳ１０５）。
【００７１】
なお、制御部３２は、手差しトレイに対する操作説明が継続している場合には、ステップＳ１０５〜Ｓ１０９の処理を繰り返すことにより、例えば、３０フレーム／秒の間隔で操作説明画像を順次表示部３３に表示する。
【００７２】
そのため、撮像部３６により手差しトレイが撮像されている間は、端末装置１０の向きや位置が動くことにより、撮像された画像の向きや大きさ等が変化した場合でも、操作説明を行うための画像も変化して表示されることになる。
【００７３】
そして、撮像された画像から手差しトレイが検出されなくなった場合、制御部３２は、データ格納部３４に保存していた静止画像を表示部３３に表示する（ステップＳ１１０）。
【００７４】
例えば、端末装置１０を片手で保持したユーザが、撮像部３６を手差しトレイに向けて操作説明画像を表示させて、表示された操作説明画像を見ながら実際に操作トレイに対する操作を行おうとした場合、撮像部３６の画角から手差しトレイがはずれてしまう場合がある。しかし、本実施形態の画像形成装置１０では、上記で説明したように保存されていた静止画像が表示部３３に表示されることにより、ユーザは手差しトレイに対する操作説明画像を見続けて操作を行うことができる。
【００７５】
なお、保存していた静止画像を表示した場合でも、撮像された画像から手差しトレイを検出する処理は継続され（ステップＳ１０８）、手差しトレイが検出された場合には（ステップＳ１０９においてｙｅｓ）、撮像された画像に操作を指示するための画像が付加された操作説明画像が表示部３３に表示されることになる（ステップＳ１０５）。
【００７６】
そして、制御部３２は、手差しトレイに対して必要な操作が行われたと判定した場合（ステップＳ１０７においてｙｅｓ）、次の手順の操作説明に移行する。
【００７７】
次に、本実施形態の端末装置１０により行われる具体的な操作説明の一例を図６〜図２２を参照して説明する。
【００７８】
先ず、端末装置１０にインストールされた、操作説明を行うためのアプリが起動された場合のメイン画面の一例を図６（Ａ）に示す。図６（Ａ）に示したメイン画面では、画像形成装置２０に対する説明を行うための様々な説明コンテンツが表示されている。そして、ユーザはこれらの説明コンテンツの中から、操作説明を希望する説明コンテンツを選択する。例えば、ここでは封筒に対する宛名印刷を行いたいために、「封筒に印刷してみよう。」という名称の説明コンテンツを選択した場合について説明する。
【００７９】
ユーザはこの説明コンテンツを選択すると、図６（Ｂ）に示されるようなコンテンツ画面が表示される。この図６（Ｂ）に示されたコンテンツ画面では、上半分に表示された画像をタッチすることにより、操作説明のダイジェスト動画を視聴することができるようになっている。また、コンテンツ画面の下側には、「みんなの「やってみた」」というボタンが表示されており、このボタンをタッチすることにより他の利用者のコメント等を見ることができるようになっている。また、同様に「説明を見る」というボタンが表示されており、このボタンをタッチすることにより電子マニュアルのＵＲＬ(Uniform Resource Locator)にアクセスしてＷｅｂページが表示されるようになっている。また、同様に「私たちがお手伝いします」というボタンが表示されており、このボタンをタッチすることによりカスタマーセンターに電話をするダイアログ表示が行われるようになっている。
【００８０】
そして、「さあ、やってみよう」というボタンをタッチすることにより、ユーザは、ＡＲ表示を利用した操作説明を受けることができるようになっている。以下の説明では、このようなＡＲ表示を利用した操作説明を受ける場合の表示の一例について説明する。
【００８１】
図６（Ｂ）において、ユーザが「さあ、やってみよう」というボタンをタッチすることにより図７（Ａ）、図７（Ｂ）に示すような表示が行われる。
【００８２】
この図７（Ａ）、図７（Ｂ）では、ユーザがどのような操作説明を希望しているかを対話形式により設定するような画面となっている。対話形式とは、ユーザ同士、又は、装置とユーザが向かい合って話しているように表示される形式のことである。なお、向かい合うとは、完全に向かい合う必要はなく、向かい合っているように表示されていれば良い。例えば、装置側からのコメントや説明内容は画面の右側からの吹き出しで表示され、ユーザ側のコメントや指示内容は画面の左側からの吹き出しで表示され、両者が向かい合って話しているように表示されれば良い。また、三者間の場合は、少なくとも二者が向かい合って話しているように表示されれば良い。さらに、誰が発したのかコメントなのか、いつ、どのような順番で発したコメントなのかがわかるように表示されても良い。例えば、図７（Ｂ）のように、装置が発したコメントは、装置の画像から吹き出しで表示される。また、ユーザのコメントや指示した設定内容が装置の画像とは異なるところから吹き出しで表示される。さらには、コメントした順番に上から下に向かって順に並べられる。なお、吹き出しごとにその周辺にコメントした時刻が表示されるようにしても良い。
【００８３】
具体的には、図７（Ａ）では、「使う封筒は和封筒ですか？洋封筒ですか？」という問いに対して、ユーザが「和封筒」というボタンをタッチすることにより、図７（Ｂ）に示すように、「和封筒です。」という回答となって表示されるとともに「何をプリントしますか？」という次の問いが表示されている。
【００８４】
そして、ユーザが「宛名」というボタンをタッチすることにより、図８（Ａ）に示すように、「宛名です。」という回答となって表示されるとともに「封筒に糊はついていますか？」という次の問いが表示されている。
【００８５】
そして、ユーザが「糊あり」というボタンをタッチすることにより、図８（Ｂ）に示すように、「糊ありです。」という回答となって表示されるとともに「封筒を持って、お使いの複合機Ａ１２３４のところまで行きましょう。」という指示が表示されている。
【００８６】
このように、端末装置１０は、対話形式の画面の中で、画像形成装置２０に対する操作の候補を提示し、ユーザからの選択を受け付ける。そして、その選択された内容に対応する操作説明を同じ対話形式の画面の中に表示する。これによりユーザは対話形式の画面の中で表示させたい操作説明の選択を行い、かつ、操作説明の内容を確認することができる。
【００８７】
そして、この指示に従って複合機が設置してある場所まで移動したユーザがＯＫボタンをタッチすることにより、図９に示すような画面が表示される。
【００８８】
この図９に示した表示画面例では、「封筒は手差しトレイにセットします。手差しトレイを開いてください。セット方法を説明します。」という表示とともに「手差しトレイにスマートフォンをかざしてください。」という指示が表示されている。また、図９では、端末装置１０の上半分に画像形成装置２０の外観画像ととともに、手差しトレイの場所および手差しトレイを開く指示が表示されている。
【００８９】
そして、ユーザが画像形成装置２０の手差しトレイを開いて、スマートフォンである端末装置１０を開いた手差しトレイに向けた場合の様子を図１０に示す。
【００９０】
図１０を参照すると、端末装置１０を手差しトレイに向けたことにより撮像部３６により手差しトレイが撮像され、撮像された画像が表示される様子が示されている。そして、図１０では、撮像された画像から手差しトレイの検出処理が行われていることを示すための処理進行中表示が表示されている。
【００９１】
そして、撮像された画像から手差しトレイの画像が検出されて、検出された手差しトレイの画像に、操作を指示するための矢印画像が付加された操作説明画像が表示される様子を図１１に示す。
【００９２】
図１１では、撮像された画像中の手差しトレイのガイドが封筒の宛名印刷を行うためには狭すぎるため、制御部３２が、撮像されて手差しトレイの画像に、手差しトレイのガイドを外側に広げるよう指示するための矢印画像を付加した場合の表示例が示されている。また、図１１の表示画面例では、「２つある封筒をおさえるガイドを外側に広げてください。」という文言が表示されてユーザにＡＲ画像を用いた操作指示の具体的な内容が示されているのが分かる。
【００９３】
このような表示が行わる際の具体的な様子を図１２、図１３を参照して説明する。
【００９４】
ユーザは、端末装置１０を画像形成装置２０の手差しトレイに向けた場合、最初は図１２に示すように手差しトレイの画像のみが表示されているが、手差しトレイが検出されてＡＲ表示が行われることにより、図１３に示すように手差しトレイの画像に、ユーザが行うべき操作を指示した矢印画像が付加された画像が表示される。
【００９５】
なお、図１１に示した表示画面例では、画像形成装置２０の操作トレイにおけるガイド幅が封筒に対する印刷を行うためには狭すぎた場合であったが、封筒に対する印刷を行うためには広すぎる場合には、図１４に示したような内容が表示される。
【００９６】
図１４では、撮像された画像中の手差しトレイのガイドが封筒の宛名印刷を行うためには広すぎるため、制御部３２が、撮像されて手差しトレイの画像に、手差しトレイのガイドを内側に狭めるよう指示するための矢印画像を付加した場合の表示例が示されている。また、図１４の表示画面例では、「２つある封筒をおさえるガイドを内側に狭めてください。」という文言が表示されてユーザにＡＲ画像を用いた操作指示の具体的な内容が示されているのが分かる。
【００９７】
次に、このようなＡＲ画像が表示された端末装置１０を保持したユーザが、手差しトレイに対する操作を行おうとした場合の動作を説明する。
【００９８】
このようなＡＲ表示を継続するためには、端末装置１０の撮像部３６により手差しトレイを撮像し続ける必要がある。しかし、操作対象の部位である手差しトレイを撮像したまま操作を行うのが難しい場合もある。特に、両手を使うような操作を行う場合には、端末装置１０を操作対象の特定部位に向けた場合にすることはほとんど不可能である。
【００９９】
そのため、ユーザが実施の操作を行うとした場合、操作対象の特定部位が撮像部３６の画角からはずれてしまう場合がある。具体的には、図１５に示すように、撮像された画像から手差しトレイがはずれてしまい、制御部３２は、撮像された画像中に手差しトレイを検出することができなくなってしまう。
【０１００】
しかし、本実施形態の端末装置１０では、操作説明画像を順次表示する際に、最新の操作説明画像を静止画像としてデータ格納部３４に保存するような処理が行われ、特定部位である手差しトレイを検出することができなくなると、保存しておいた静止画像が表示される。
【０１０１】
そのため、図１６に示すように、手差しトレイを検出することができなくなると、保存してあったＡＲ画像が再表示されて、ユーザは静止画像である操作説明画像を見続けることが可能となる。
【０１０２】
そのため、本実施形態の操作説明システムでは、図１７に示すように、手差しトレイの横に端末装置１０を置いた場合でも、操作説明画像の表示が継続され、ユーザは、この表示を見ながら両手による手差しトレイの操作を行うことが可能となる。
【０１０３】
なお、撮像された画像から説明対象の手差しトレイが検出されなくなると保存してあった静止画像を自動的に表示するのではなく、図１８に示すように再表示ボタン７０を表示するようにしても良い。そして、ユーザがこの再表示ボタン７０を操作して、保存されていたＡＲ画像の表示を指示した場合に、保存されていたＡＲ画像を表示するようにしても良い。
【０１０４】
次に、このようなＡＲ画像に従ってユーザがガイドの操作を行った後にＯＫボタンをタッチした場合に表示される、次の手順の操作説明画面例を図１９に示す。
【０１０５】
図１９では、ガイド幅が調整された後の手差しトレイに対して封筒をセットする操作を指示するためのＡＲ画像が表示された場合の一例が示されている。
【０１０６】
図１９のＡＲ画像では、撮像された手差しトレイ画像に対して、封筒画像が付加された様子が示されている。
【０１０７】
そして、ユーザが図１９に示されたＡＲ画像を参考にして実際に封筒を手差しトレイにセットして、ＯＫボタンをタッチした場合に表示される画面例を図２０および図２１に示す。
【０１０８】
図２０では、手差しトレイにセットされた封筒の向きが正しい場合の表示例が示されている。制御部３２は、撮像部３６により撮像された画像から、封筒が正しく手差しトレイにセットされたことを検出して、ユーザに封筒が正しい向きでセットされたことを示す大きな丸印を画像中に表示するとともに、「正しくセットできました！」という文言を表示している。
【０１０９】
また、図２１では、手差しトレイにセットされた封筒の向きが正しくない場合の表示例が示されている。制御部３２は、撮像部３６により撮像された画像から、封筒が正しく手差しトレイにセットされていないことを検出して、ユーザに封筒が正しい向きにセットされていないことを示す大きなバツ印を画像中に表示するとともに、「正しくセットできていません！画像を見て封筒を正しくセットし直してください。」という文言を表示している。
【０１１０】
また、図２１では、画像中に封筒を正しくセットし直すための修正指示として、封筒の向きを回転するための矢印画像が付加されて表示されている。
【０１１１】
なお、図２０に示したように封筒が正しくセットされたと判定された場合、画面中にはＯＫボタンが表示されて、ユーザがこのＯＫボタンをタッチすると、図２２に示すように、「複合機での操作はこれで終わりです。お使いのＰＣでプリンタドライバを設定し、プリントを実行してください。」という表示が行われる。ユーザは、この表示を見ることにより、後はパソコンでの操作を行えばよいことを知って、自分のパソコンの場所まで行ってプリンタドライバの設定を行う。
【０１１２】
[変形例]
上記実施形態では、説明対象の特定部位が手差しトレイである場合を用いて説明したが、本発明はこれに限定されるものではなく、操作パネル、用紙トレイ、排紙トレイ、両面自動原稿送り装置等の手差しトレイ以外の他の特定部位について操作説明を行う場合でも同様に本発明を適用することができるものである。
【０１１３】
上記実施形態では、操作説明を行う対象物が画像形成装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、操作説明を行う対象物が、スキャナ等の画像読取装置、パーソナルコンピュータ等の各種情報処理装置、洗濯機や冷蔵庫等の家電機器のような各種装置や、組み立て家具、収納容器等の各種機器の場合でも同様に本発明を適用することができるものである。例えば、対象物が組み立て家具の場合には、本発明により、組み立て方法の説明を行うことができ、対象物が収納容器の場合には開け方や閉め方等の取扱い方法の説明を行うことができる。
【０１１４】
上記実施形態では、図６（Ｂ）において「私たちがお手伝いします」というボタンが表示されており、このボタンをタッチすることによりカスタマーセンターに電話をするダイアログ表示が行われるようになっている例を用いて説明したが、本発明はこれに限定されるものではなく、「私たちがお手伝いします」のボタンが押された場合に、ユーザとカスタマーセンターにいるオペレーターとで対話形式でやりとりができるようにしても良い。この場合、装置側の操作説明の吹き出しの代わりに、オペレーターからの説明が吹き出しとして端末装置１０の画面に表示される。また、「私たちがお手伝いします」のボタンが押された場合に、それまでの対話内容がカスタマーセンターのオペレーターの端末装置に送信されるようにしても良い。これにより、オペレーターはボタンが押される前までのユーザの設定内容を知ることができるため、より的確な操作説明を端末装置１０に送ることができる。この場合、端末装置１０の画面に表示されている内容がオペレーター側の端末装置にも表示され、オペレーターは当該端末装置に対してコメントを入力するとそのコメントが端末装置１０に送信される。
【０１１５】
［オペレーターとの間の対話形式のやり取り］
次に、上記で説明したような、ユーザがオペレーターとの間で対話形式のやり取りを行う場合について、図面を参照して下記に詳細に説明する。
【０１１６】
このような場合の操作説明表示システムのシステム構成を図２３に示す。図２３は、図１に示した本実施形態の操作説明表示システムに対して、オペレーターにより操作される複数の端末装置６０がネットワーク５０に接続されている点のみが異なっている。
【０１１７】
そして、このような複数の端末装置６０や配信サーバ４０は、例えば、ユーザからの質問を受け付けるため設けられているコンタクトセンター（カスタマーセンター）内に設置されており、ユーザからの操作説明に関する質問等の各種問い合わせへの対応を行っている。
【０１１８】
なお、以下の説明においても、端末装置１０、画像形成装置２０、配信サーバ４０等の構成は、上記で説明した実施形態と同様な構成であるため、以下においても上記で用いた符号を参照して説明を行う。
【０１１９】
本実施形態では、配信サーバ４０は、上記でも説明したように画像形成装置２０の操作説明を行うためのコンテンツを端末装置１０に配信するとともに、端末装置１０からコンタクトセンターへの接続依頼を受け付けると、受付けた接続依頼をオペレーターが操作している端末装置６０に送信する。そして、配信サーバ４０は、複数の端末装置６０のうちのユーザからの接続依頼を受け付けた端末装置６０と、利用者の端末装置１０との間の操作内容に関する対話形式のやり取り内容を仲介する機能を行っている。
【０１２０】
次に、本実施形態の操作説明表示システムにおける配信サーバ４０のハードウェア構成を図２４に示す。
【０１２１】
配信サーバ４０は、図２４に示されるように、ＣＰＵ２１、メモリ２２、ハードディスクドライブ等の記憶装置２３、ネットワーク５０を介して端末装置１０、６０等の外部装置との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）２４、タッチパネル等のユーザインタフェース（ＵＩ）装置２５を有する。これらの構成要素は、制御バス２６を介して互いに接続されている。
【０１２２】
ＣＰＵ２１は、メモリ２２または記憶装置２３に格納された制御プログラムに基づいて所定の処理を実行して、配信サーバ４０の動作を制御する。なお、本実施形態では、ＣＰＵ２１は、メモリ２２または記憶装置２３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ２１に提供することも可能である。
【０１２３】
図２５は、上記の制御プログラムが実行されることにより実現される配信サーバ４０の機能構成を示すブロック図である。
【０１２４】
本実施形態の配信サーバ４０は、図２５に示されるように、データ送受信部４１と、表示制御部４２と、権限移動部４３を備えている。
【０１２５】
データ送受信部４１は、表示制御部４２による制御に基づいて端末装置１０、６０等との間でデータの送受信を行い、端末装置１０、６０のディスプレイ（表示手段）に表示させるための表示データの送受信を行っている。
【０１２６】
表示制御部４２は、ユーザとオペレーターという複数の者の間でやり取りした情報をその複数の者のそれぞれの端末装置のディスプレイ（表示手段）において時系列で表示するように制御する。
【０１２７】
なお、以下の説明では、画像形成装置２０のユーザと１人のオペレーターとの間で操作説明に関する質問等の情報をやり取りする場合について説明するが、ユーザ、オペレーターに加えて画像形成装置２０の技術内容に詳しいＣＥ（Customer Engineer）を含めた３人以上の複数の者の間で対話形式により操作説明に関する情報をやり取りする場合でも本発明は同様に適用可能である。
【０１２８】
なお、配信サーバ４０が端末装置１０に配信する操作説明を行うためのコンテンツを用いることにより、端末装置１０において、上記で説明したように、ユーザが画像形成装置との間でチャットでもするかのように対話形式で操作説明を受けることができるようになっている。そして、ユーザがこのようなコンテンツを用いて操作説明を受けている場合には、コンタクトセンター内のオペレーターは関与しない。
【０１２９】
しかし、このようなコンテンツを用いた操作説明だけでは、ユーザが操作内容を理解できなかったり、操作内容に疑問点が発生したりする場合がある。
【０１３０】
本実施形態のシステムでは、このような場合には、ユーザがコンタクトセンターのオペレーターへの接続を要求して直接説明を受けたり、質問したりすることが可能なようになっている。
【０１３１】
このような場合には、データ送受信部４１は、少なくともユーザ及び画像形成装置を含む複数の者の間で対話形式により情報をやり取りしている場合に、対話中の相手である画像形成装置を実際の人であるオペレーターに入れ替える指示をユーザから受け付ける。
【０１３２】
すると、権限移動部４３は、データ送受信部４１がこのような入れ替え指示を受け付けた場合、ユーザを含む複数の者との間で情報をやり取りする権限を、画像形成装置からオペレーターに移動する。
【０１３３】
その結果、表示制御部４２は、オペレーターに対して情報を表示する端末装置６０のディスプレイ上において、ユーザと画像形成装置との間で行われた過去のやり取り情報に続いて、ユーザとオペレーターとを含む複数の者の間でやり取りする情報を表示するように制御する。
【０１３４】
つまり、表示制御部４２は、ユーザが、配信サーバ４０から配信された操作説明を行うためのコンテンツを用いて画像形成装置との間でやり取りした過去の履歴情報を、ユーザとのやり取りを引き継いだオペレーターが把握できるように、そのオペレーターの端末装置６０のディスプレイ上に表示されるような制御を行う。
【０１３５】
ここで、表示制御部４２は、ユーザを含む複数の者との間で情報をやり取りする権限が付与されていない者に対して情報を表示するディスプレイ上においては、やり取りされた過去の履歴情報が閲覧できないように制御する。そして、表示制御部４２は、ユーザを含む複数の者との間で情報をやり取りする権限が付与された者に対して情報を表示するディスプレイ上においては、権限を付与する以前においてやり取りされた情報を含む過去の履歴情報を閲覧できるように制御する。
【０１３６】
その際に、データ送受信部４１は、ユーザと画像形成装置との間でやり取りした過去の履歴情報の中から、オペレーターとの間でやり取りを開始したい箇所の指定をユーザから受け付ける開始箇所受付手段として機能する。
【０１３７】
この場合、表示制御部４２は、データ送受信部４１により受付けた箇所以降又は箇所より後の履歴情報が、ユーザ及びオペレーターに対して情報を表示する端末装置１０、６０のディスプレイ上において表示されないように制御する。例えば、受付けた箇所の指定が、残したい履歴情報の最後尾の指定である場合、表示されないように消去するのは指定された箇所よりも後の履歴情報となる。また、受付けた箇所の指定が、残したくない履歴情報の先頭の指定である場合、表示されないように消去するのは指定された箇所以降の履歴情報となる。
【０１３８】
なお、画像形成装置からオペレーターへの具体的な権限移動の際には、データ送受信部４１は、ユーザからの入れ替え指示を受け付けた場合、ユーザとの間で情報のやり取りを開始する要求をオペレーターの端末装置６０に対して通知する。
【０１３９】
そして、権限移動部４３は、データ送受信部４１により通知した要求をオペレーターが承認した場合、ユーザを含む複数の者と間で情報をやり取りする権限を、画像形成装置からオペレーターに移動する。
【０１４０】
なお、表示制御部４２は、オペレーターがデータ送受信部４１により通知された要求を承認するまでの間、ユーザに対して情報を表示する端末装置１０のディスプレイ（表示画面）上において、画像形成装置からオペレーターに入れ替えが行われていることが分かる内容の情報を表示するよう制御する。例えば、表示制御部４２は、ユーザの端末装置１０上において「少々お待ちください。ただいまオペレーターを呼び出しています。」というような表示を行うことにより、対話相手を画像形成装置からオペレーターに入れ替えていることが分かるような表示を行う。
【０１４１】
その際に、データ送受信部４１は、ユーザの端末装置１０から画像形成装置と入れ替える対話相手の属性の条件、例えば「人」であるというような条件を指定する条件指定手段として機能するようにしても良い。つまり、ユーザが入れ替えを行う対話相手の属性を指定できるようにして、権限移動部４３は、指定された属性の対話相手に対してユーザとの間でやり取りする権限を移動する。
【０１４２】
なお、権限移動部４３は、画像形成装置からオペレーターへの権限移動を行うだけでなく、あるオペレーターから他のオペレーターへの権限移動を行うようなこともできる。
【０１４３】
例えば、前記権限移動手段は、ユーザを含む複数の者との間で情報をやり取りする権限を画像形成装置からオペレーターに移動した後に、複数の者の間における情報のやり取りが中断し、ユーザからの要求により情報のやり取りが再開し、そのオペレーターとは異なる新たなオペレーターが情報のやり取りを行うことを受け入れた場合、ユーザを含む複数の者との間で情報をやり取りする権限を中断前のオペレーターから新たなオペレーターに移動する。
【０１４４】
そして、このような場合でも、表示制御部４２は、新たなオペレーターに対して情報を表示する端末装置６０のディスプレイ上において、ユーザと中断前のオペレーターとの間で行われた過去のやり取り情報に続いて、ユーザと新たなオペレーターとを含む複数の者の間でやり取りする情報を表示するように制御する。
【０１４５】
つまり、表示制御部４２は、対話形式のやり取りが一旦中断された後に再開されて、そのユーザに対する操作説明を中断前のオペレーターとは異なる別のオペレーターが引き継いだような場合、その別のオペレーターの端末装置６０上において、中断前のオペレーターとユーザとの間で行われたやり取り内容を表示するように制御する。
【０１４６】
次に、本実施形態の操作説明表示システムにおいて、端末装置１０と端末装置６０において表示される具体的な表示内容の一例を図２６〜図３９を参照して説明する。
【０１４７】
先ず、ユーザが「封筒に印刷してみよう。」という名称の説明コンテンツを選択して、操作説明を受けているユーザが、図８(Ａ)に示したような表示内容において次に行うべき操作が分からなくなり、コンタクトセンターへの接続を希望した場合について図２６〜図３０を参照して説明する。
【０１４８】
なお、図２６(Ａ)では、対話形式の表示内容の下部にコンタクトセンターへの接続ボタン等が表示されており、図８(Ａ)に示した表示内容と異なっている。これは、図８(Ａ)等の表示画面ではコンタクトセンターへの接続ボタン等を省略して説明していただけである。
【０１４９】
そして、図２６(Ａ)に示した「封筒に糊はついていますか？」という質問を受けたユーザが、宛名を印刷しようとする封筒の糊の有無が分からず「糊なし」、「糊あり」のいずれのボタンも選択できなかったものとして説明する。
【０１５０】
このような場合、ユーザは、図２６(Ｂ)に示すように、コンタクトセンターへの接続ボタンをタッチする。すると、端末装置１０では、図２７(Ａ)に示すような画面が表示されて、ユーザにコンタクトセンターへの接続確認が行われる。
【０１５１】
そして、図２７(Ａ)に示すような画面においてユーザがＯＫボタンをタッチしてコンタクトセンターへの接続を許可すると、次に図２７(Ｂ)に示すような画面表示が行われて、オペレーターとの間でやり取りを開始したい箇所を指定するような要求がユーザに対して行われる。なお、図２７(Ｂ)では、ユーザと画像形成装置との間でやり取りされた過去の履歴情報の中から、ユーザが、「封筒に糊はついていますか？」という質問の箇所を指定した場合が示されている。
【０１５２】
そして、この開始箇所の指定がユーザにより行われると、端末装置１０から配信サーバ４０に対して、対話相手を画像形成装置から人であるオペレーターに入れ替えるような指示が送信される。
【０１５３】
すると、配信サーバ４０は、コンタクトセンター内のオペレーターにより操作される複数の端末装置６０に画面に、図２８に示すような表示内容を表示させて、ユーザからの操作説明の要求がきている旨を表示する。なお、図２８では、この端末装置６０のオペレーターがユーザからの操作説明の要求の受け入れを承認していないため、ユーザと画像形成装置との間の過去の対話履歴の情報には網掛けが行われている。
【０１５４】
そして、あるオペレーターが自分の端末装置６０の「引継ぐ」ボタンを操作して、このユーザからの操作説明の要求の受け入れを承認すると、図２９に示すように、端末装置６０の過去の対話履歴の情報から網掛け表示が削除される。そして、この過去の対話履歴の後ろに続いて連続するような形で、オペレーターとユーザとの間でチャット形式の対話が行われる。
【０１５５】
図２９に示した表示例では、オペレーターが過去の対話履歴を見ることにより、このユーザが「封筒に糊はついていますか？」という質問に対する回答の場面でコンタクトセンターへの接続を行ったことを把握することができる。そのため、オペレーターは、ユーザが質問したい内容を予測して、「封筒の糊の有無のことでしょうか？」というように過去の対話と連続した内容の対話を続けることができている。
【０１５６】
そして、このようなオペレーターの対応により、ユーザの端末装置１０では、図３０(Ａ)、図３０(Ｂ)に示すように、過去の対話内容と連続した対話が継続される。そのため、ユーザにとっては、過去においてどのような対話が行われて、現在どのような内容が知りたいかという情報を最初からオペレーターに対して説明する手間が省かれることになる。なお、図３０(Ａ)、図３０(Ｂ)では、オペレーターからの操作説明の場合には、表示アイコンが、対話相手がオペレーターであることを示すものとなっている。そのため、ユーザは、対話相手が画像形成装置から人であるオペレーターに切り替わったことを把握することができる。
【０１５７】
なお、本実施形態の操作説明表示システムでは、オペレーターとユーザとの間で文字情報によるチャット形式の対話だけでなく、画像情報を共用して、オペレーターからの操作指示を受けることができる。
【０１５８】
例えば、図３１(Ａ)に示すようにユーザとオペレーターとの間で、「スキャンしてパソコンに保存しよう」という内容の操作説明が行われている場合、オペレーターからユーザに対してメニュー画面を撮影するよう指示をしたものとして説明する。
【０１５９】
すると、図３１(Ｂ)に示すように、ユーザがオペレーターからの指示に従ってメニュー画面を端末装置１０のカメラにより撮像すると、撮像された画像情報は配信サーバ４０から端末装置６０に送信される。
【０１６０】
すると、図３２に示すように、オペレーターの端末装置６０上においても、ユーザにより撮影されたメニュー画面の画像情報が表示される。
【０１６１】
その結果、図３３(Ａ)、図３３(Ｂ)に示すように、ユーザの端末装置１０上においても撮影されたメニュー画面の画像情報が表示された状態で、オペレーターからの操作指示が行われる。
【０１６２】
次に、オペレーターとユーザとの間でチャット形式の操作説明が行われている最中に、操作説明を途中で一旦中断して、中断した操作説明を後から再開する場合の動作について図３４〜図３９を参照して説明する。
【０１６３】
なお、以下の説明では、節電に入るまでの時間変更を行うための操作説明をユーザが希望している場合について説明する。
【０１６４】
先ず、図３４(Ａ)に示すような画面表示において、ユーザが「私たちがお手伝いします」ボタンをタッチして、コンタクトセンターへの接続を要求した場合、図３４(Ｂ)に示すような画面が表示される。この図３４(Ｂ)では、ユーザが「新たに開始する。」ボタンをタッチして、節電に入るまでの時間変更を行うための操作説明を最初から開始することを選択した場合が示されている。
【０１６５】
そして、ユーザが「新たに開始する。」ボタンをタッチすることにより、配信サーバ４０は、この接続要求をオペレーターの端末装置６０に送信して、複数のオペレーターのうちの誰かがこの接続要求を承認することにより、ユーザに対する操作説明が開始される。
【０１６６】
その結果、図３５(Ａ)に示すように、オペレーターとユーザとの間で節電に入るまでの時間を変更するための操作に関するやり取りが行われる。
【０１６７】
そして、その操作説明が最後まで完了しない状態で、ユーザが操作説明を中断したい場合、例えば、ユーザが他の人から呼ばれて直ぐに対応する必要が発生したとする。
【０１６８】
そのため、ユーザは、図３５(Ｂ)に示すようなやり取りをオペレーターとの間で行って、操作説明を中断するために「終了」ボタンをタッチして操作説明を終了させる。
【０１６９】
すると、図３６(Ａ)に示すような画面がユーザの端末装置１０に表示され、コンタクトセンターとのコミュニケーションの切断確認が行われる。そして、図３６(Ａ)に示す画面上において、ユーザがＯＫボタンをタッチすると、操作説明は完了せずに中断して終了する。
【０１７０】
なお、この後オペレーターは、操作説明のための文書情報や画像情報等を作成して、配信サーバ４０内に格納しておくことにより、ユーザがこの後に操作説明を再開した場合に、この文書情報や画像情報を確認することができるようになっている。
【０１７１】
そして、このように文書情報や画像情報が配信サーバ４０に格納されている場合、ユーザの端末装置１０では、「私たちがお手伝いをします」ボタン内に、中断後に操作説明のための各種情報が追加されたことを示す新着アイコンが表示される。図３６(Ｂ)に示す画面例では、新着アイコンとしてＮ文字のアイコンが「私たちがお手伝いをします」ボタン内に表示されている場合が示されている。
【０１７２】
ユーザは、このような新着アイコンが表示されていることにより、操作説明のための各種情報が中断後に追加されていることを知ることができる。
【０１７３】
そして、図３７(Ａ)に示すように、ユーザが、急な用事等が片付いて操作説明を再開しようとして、「私たちがお手伝いをします」ボタンをタッチすると、図３７(Ｂ)に示すような画面が表示される。この図３７(Ｂ)の画面例では、「新たに開始するボタン」に加えて、「再開する」ボタンが追加されている。
【０１７４】
ユーザは、中断した操作説明を再開したい場合、図３７(Ｂ)に示すように、この「再開する」ボタンを選択する。
【０１７５】
すると、ユーザの端末装置１０では、中断する前の操作説明と連続するように、中断後にオペレーターにより追加された操作説明が表示される。図３８(Ａ)では、オペレーターにより生成された２つの操作画面画像が、中断前の操作説明の後に追加されて表示される様子が示されている。また、図３８(Ｂ)では、この２つの操作画面画像の後に、操作説明を追加した旨の文章情報が表示されている。
【０１７６】
なお、図３８(Ａ)、図３８(Ｂ)では、この操作説明画像や文章情報に添付されたアイコンは、オペレーターによる操作説明のアイコンとは異なるものとなっており、現在オペレーターが対応しているのではないことをユーザが把握することができるようになっている。
【０１７７】
そして、図３８(Ｂ)に示すように、この操作説明の最後に、「できました。」ボタンと、「できませんでした。」ボタンが表示画面内に表示される。そして、ユーザが「できました。」ボタンをタッチすると、ユーザは最後まで希望する操作を実行することができたと判定されて、操作説明は完了する。
【０１７８】
そして、ユーザが「できませんでした。」ボタンをタッチした場合、ユーザは最後まで希望する操作を実行することができなかったと判定され、再度コンタクトセンターのオペレーターへの接続が行われる。この場合には、図３９に示すように、オペレーターの端末装置６０にユーザの端末装置１０に表示した過去の操作説明の履歴情報が表示される。
【０１７９】
そのため、中断前に操作説明を行っていたオペレーターと再開後に操作説明を行うオペレーターとが異なる場合でも、再開後に操作説明を行うオペレーターはそのユーザに対してどのような操作説明が行われ、ユーザがどのような操作説明を希望しているのかを把握することができる。
【０１８０】
また、中断前と再開後のオペレーターが同じ場合でも、過去の操作説明の履歴情報を見ることにより、そのユーザに対してどこまでの操作説明が行われたのかを把握して、ユーザからの問い合わせに対応することが可能となる。
【符号の説明】
【０１８１】
１０    端末装置
１１    ＣＰＵ
１２    メモリ
１３    記憶装置
１４    通信インタフェース（ＩＦ）
１５    ユーザインタフェース（ＵＩ）装置
１６    カメラ
１７    表示装置
１８    制御バス
２０    画像形成装置
２１    ＣＰＵ
２２    メモリ
２３    記憶装置
２４    通信インタフェース（ＩＦ）
２５    ユーザインタフェース（ＵＩ）装置
２６    制御バス
３０    無線ＬＡＮターミナル
３１    データ送受信部
３２    制御部
３３    表示部
３４    データ格納部
３５    操作受付部
３６    撮像部
４０    配信サーバ
４１    データ送受信部
４２    表示制御部
４３    権限移動部
５０    ネットワーク
６０    端末装置
７０    再表示ボタン
【図１】
2018185863.tif 000003
【図２】
2018185863.tif 000004
【図３】
2018185863.tif 000005
【図４】
2018185863.tif 000006
【図５】
2018185863.tif 000007
【図６】
2018185863.tif 000008
【図７】
2018185863.tif 000009
【図８】
2018185863.tif 000010
【図９】
2018185863.tif 000011
【図１０】
2018185863.tif 000012
【図１１】
2018185863.tif 000013
【図１２】
2018185863.tif 000014
【図１３】
2018185863.tif 000015
【図１４】
2018185863.tif 000016
【図１５】
2018185863.tif 000017
【図１６】
2018185863.tif 000018
【図１７】
2018185863.tif 000019
【図１８】
2018185863.tif 000020
【図１９】
2018185863.tif 000021
【図２０】
2018185863.tif 000022
【図２１】
2018185863.tif 000023
【図２２】
2018185863.tif 000024
【図２３】
2018185863.tif 000025
【図２４】
2018185863.tif 000026
【図２５】
2018185863.tif 000027
【図２６】
2018185863.tif 000028
【図２７】
2018185863.tif 000029
【図２８】
2018185863.tif 000030
【図２９】
2018185863.tif 000031
【図３０】
2018185863.tif 000032
【図３１】
2018185863.tif 000033
【図３２】
2018185863.tif 000034
【図３３】
2018185863.tif 000035
【図３４】
2018185863.tif 000036
【図３５】
2018185863.tif 000037
【図３６】
2018185863.tif 000038
【図３７】
2018185863.tif 000039
【図３８】
2018185863.tif 000040
【図３９】
2018185863.tif 000041