(57)【要約】【課題】主に通訳や助言等に携わる遠隔支援の支援者が、支援業務中または支援業務終了後に、支援内容の確認をスムーズに行うことができる遠隔支援装置を提供する。【解決手段】店舗側応対映像を表示する表示部８と、店舗側対話音声を伝達すると共に支援者音声を集音する音声部１２と、店舗の応対現場に対する支援を行う支援者がメモを入力するメモ入力部１０とを備えた遠隔支援装置１において、店舗側対話音声から、その有声部分を抽出する手段と、支援者音声から、その有声部分を抽出する手段と、支援者がメモ入力部１０に入力したメモ軌跡の画像を取込む手段と、店舗側対話音声から抽出した有声部分および支援者音声から抽出した有声部分の少なくとも一つと、メモ筆跡とを関連付けた支援履歴情報を格納する手段と、支援者が以前の支援内容を確認する場合に、支援履歴情報のメモ筆跡に関連付けて格納した有声部分を再生する手段とを備える。【選択図】        図１
2011198322.tif 000002
【特許請求の範囲】
【請求項１】
店舗側応対映像を表示する表示部と、店舗側対話音声を伝達すると共に支援者音声を集音する音声部と、店舗の応対現場に対する支援を行う支援者がメモを入力するメモ入力部とを備えた遠隔支援装置において、
前記店舗側対話音声から、その有声部分を抽出する手段と、
前記支援者音声から、その有声部分を抽出する手段と、
前記支援者が前記メモ入力部に入力したメモ軌跡の画像を取込む手段と、
前記店舗側対話音声から抽出した有声部分および前記支援者音声から抽出した有声部分の少なくとも一つと、前記メモ筆跡とを関連付けた支援履歴情報を格納する手段と、
前記支援者が以前の支援内容を確認する場合に、前記支援履歴情報のメモ筆跡に関連付けて格納した前記有声部分を再生する手段と、を備えることを特徴とする遠隔支援装置。
【請求項２】
請求項１に記載の遠隔支援装置において、
前記店舗側対話音声からその有声部分を抽出する手段と、前記支援者音声からその有声部分を抽出する手段と、に替えて、
前記支援者が、支援者音声の終了時に前記メモ入力部に入力した区切入力を受付ける手段と、
前回の前記区切入力と今回の前記区切入力との間の、前記店舗側対話音声および前記支援者音声から、それぞれの有声部分を抽出する手段と、を備えることを特徴とする遠隔支援装置。
【請求項３】
請求項１または請求項２に記載の遠隔支援装置において、
前記店舗側対話音声を文字列に変換する手段と、
前記変換した文字列からキーワードを抽出する手段と、
前記キーワードと、それに対応する対応情報とを前記表示部に表示する手段と、を備えることを特徴とする遠隔支援装置。
【請求項４】
請求項１または請求項２に記載の遠隔支援装置において、
前記店舗側応対映像から、応対デスク上の机上書類の画像を抽出する手段と、
前記抽出した机上書類の画像を前記表示部に表示する手段と、を備えることを特徴とする遠隔支援装置。
【請求項５】
請求項１または請求項２に記載の遠隔支援装置において、
前記支援履歴情報を格納したときに、前記表示部に前記メモ軌跡を選択可能に表示する手段と、
前記表示したメモ軌跡が選択されたときに、該当する前記支援履歴情報の有声部分の再生を指示するための音声アイコンを、前記表示部に選択可能に表示する手段と、
前記表示した音声アイコンが選択されたときに、当該有声部分を再生する手段と、を備えることを特徴とする遠隔支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗の受付等における顧客との応対時に、店舗の応対現場に対する通訳等の支援を行う支援者が用いる遠隔支援装置に関する。
【背景技術】
【０００２】
従来のコンテンツ作成装置においては、資料へのメモの書込みのタイミングで、書込時刻と書込ドット位置から資料への書込単位毎のメタ情報を生成し、資料の書込単位と、メタ情報の書込時刻に対応する映像音声情報とを関連付けてコンテンツを生成し、書込単位のクリッカブルマップからコンテンツが選択されたときに、そのコンテンツの書込時刻に対応する箇所から映像音声情報を頭出し再生している（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０５３６９６号公報（段落００３５−００４３、第７図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の技術においては、コンテンツが選択されたときに、メモの書込単位で書込時刻に対応する箇所から映像音声情報を頭出し再生しているため、対話音声の中に対話をしていない無声部分が存在したり、メモの書き始めから書き終りまで間に空白時間が存在したりすると、メモと対話音声との関連が分かり難くなり、メモが書込まれた部分の対話音声の検索に時間を要し、リアルタイム性が損なわれるという問題がある。
【０００５】
このことは、店舗受付等で顧客と応対する応対担当者に対して行われる遠隔支援、例えば外国人が顧客の場合における通訳の遠隔支援を行う現場では、リアルタイム性が損なわれると、通訳内容の確認等の業務がスムーズに行えなくなり、特に問題になる。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、主に通訳や助言等に携わる遠隔支援の支援者が、支援業務中または支援業務終了後に、支援内容の確認をスムーズに行うことができる遠隔支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するために、店舗側応対映像を表示する表示部と、店舗側対話音声を伝達すると共に支援者音声を集音する音声部と、店舗の応対現場に対する支援を行う支援者がメモを入力するメモ入力部とを備えた遠隔支援装置において、前記店舗側対話音声から、その有声部分を抽出する手段と、前記支援者音声から、その有声部分を抽出する手段と、前記支援者が前記メモ入力部に入力したメモ軌跡の画像を取込む手段と、前記店舗側対話音声から抽出した有声部分および前記支援者音声から抽出した有声部分の少なくとも一つと、前記メモ筆跡とを関連付けた支援履歴情報を格納する手段と、前記支援者が以前の支援内容を確認する場合に、前記支援履歴情報のメモ筆跡に関連付けて格納した前記有声部分を再生する手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
これにより、本発明は、支援者は店舗側対話音声および／もしくは支援者音声をタイムラグなく再生して、以前の支援の内容とそのときの店舗側対話音声の内容の整合性等を迅速に確認することができ、店舗の応対現場に対する支援業務を正確かつ迅速に行うことができるという効果が得られる。
【図面の簡単な説明】
【０００９】
【図１】実施例のシステム構成を示す説明図
【図２】実施例の店舗側の顧客と応対担当者の対話の様子を示す説明図
【図３】実施例の遠隔支援処理を示すフローチャート
【図４】実施例の遠隔支援装置の支援画面の表示例を示す説明図
【図５】実施例の遠隔支援処理の音声抽出処理を示す説明図
【図６】実施例の遠隔支援処理の音声抽出処理を示す説明図
【図７】実施例の遠隔支援装置の支援確認画面の表示例を示す説明図
【発明を実施するための形態】
【００１０】
以下に、図面を参照して本発明による遠隔支援装置の実施例について説明する。
【実施例】
【００１１】
本実施例の遠隔支援システムは、図１に示すように、遠隔支援センタに設置された遠隔支援装置１と、金融機関の支店の応対窓口や、小売業の営業店の相談窓口等の店舗の受付に設置された店舗端末２とを、インタネットや電話回線、専用回線等の通信回線３を介して接続して構成される。
【００１２】
遠隔支援装置１は、通訳や取引の詳細内容の助言等の専門知識を必要とする支援業務を遠隔地から行う支援者が用いるパーソナルコンピュータ等のコンピュータ装置であって、以下の構成を備えている。
【００１３】
５は遠隔支援装置１の制御部であり、通信部６によって通信回線３を介して店舗端末２に接続しており、店舗端末２との相互通信を制御すると共に、遠隔支援装置１内の各部を制御して、遠隔支援処理等を実行する機能を有している。
【００１４】
通信部６は、遠隔支援装置１と店舗端末２とを専用回線３を介して相互に通信可能に接続する機能、支援者の支援者音声データや支援者映像のデータ（後述）を専用回線３を介して店舗端末２へ送信する機能、店舗端末２から送信された顧客と応対担当者との店舗側対話音声データや店舗側応対映像データ（後述）を受信する機能等を有している。
【００１５】
７は遠隔支援装置１の記憶部であり、制御部５が実行するプログラムやそれに用いる各種のデータおよび制御部５による処理結果等が格納される。
【００１６】
８は遠隔支援装置１の表示部であり、ＬＣＤ等の表示画面を備えており、店舗端末２から受信した応対映像や、遠隔支援処理に用いるメモ軌跡画像３４等のサムネイルや音声アイコン３５等のアイコンをクリック等による選択を可能な状態にしてに表示する機能を有している。
【００１７】
９は遠隔支援装置１の操作入力部であり、キーボードやマウス等を備えており、支援者からの指示入力や選択入力等を受付ける機能等を有している。
【００１８】
１０は遠隔支援装置１のメモ入力部であり、入力用のペンによる手書き文字を検出するタブレットを備えており、支援者が手書きしたメモの筆記軌跡（メモ軌跡という。）の入力や、今回の支援の区切りを示す入力（区切入力という。）を受付ける機能等を有している。
【００１９】
１１は遠隔支援装置１の時計部であり、水晶発振器等を有する周波数発生器等を備えており、発生した周波数を基に時間を計数し、現在時刻等を制御部５へ出力する機能等を有している。
【００２０】
１２は遠隔支援装置１の音声部であり、マイク等の集音器やスピーカ等の音声発生器を備えたヘッドセット等を備えており、その集音器により取得した支援者の音声を音声データに変換すると共に、店舗端末２から受信した対話音声の音声データを音声発生器により音声に変換して支援者に伝達する機能等を有している（この音声部１２の集音器によって取得した支援者の音声を、支援者音声という。）。
【００２１】
１３は遠隔支援装置１のカメラ部であり、遠隔支援装置１の表示部８等に支援者（図２参照）と対向して設置され、支援者の上半身等を撮影するためのＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の撮像素子を有するカメラを備えている（このカメラ部１３によって撮影した支援者の映像を、支援者映像という。）。
【００２２】
店舗端末２は、顧客との応対を行う行員や店員等の応対担当者が用いるパーソナルコンピュータ等のコンピュータ装置であって、以下の構成を備えている。
【００２３】
２１は店舗端末２の端末制御部であり、通信部２２によって通信回線３を介して遠隔支援装置１に接続しており、遠隔支援装置１との相互通信を制御すると共に、店舗端末２内の各部を制御して、支援情報伝達処理等を実行する機能を有している。
【００２４】
通信部２２は、店舗端末２と遠隔支援装置１とを専用回線３を介して相互に通信可能に接続する機能、顧客と応対担当者との店舗側対話音声データや店舗側応対映像データ（後述）を専用回線３を介して店舗端末２へ送信する機能、遠隔支援装置１から送信された支援者音声データや支援者映像データを受信する機能等を有している。
【００２５】
２３は店舗端末２の記憶部であり、端末制御部２１が実行するプログラムやそれに用いる各種のデータおよび端末制御部２１による処理結果等が格納される。
【００２６】
２４は店舗端末２の表示部であり、ＬＣＤ等の表示画面を備えており、遠隔支援装置１から受信した支援者映像データを表示する機能等を有している。
【００２７】
２５は店舗端末２の入力部であり、キーボード等を備えており、応対担当者からの支援依頼等の指示入力等を受付ける機能等を有している。
【００２８】
２６は店舗端末２の音声部であり、マイク等の集音器やスピーカ等の音声発生器等を備えており、その集音器により取得した顧客と応対担当者の対話音声を音声データに変換すると共に、遠隔支援装置１から受信した支援者音声データを音声発生器により音声に変換して顧客や応対担当者に伝達する機能等を有している（この音声部２６の集音器によって取得した顧客と応対担当者との対話音声を、店舗側対話音声という。）。
【００２９】
２７は店舗端末２のカメラ部であり、顧客と応対担当者との対話の様子を撮影するためのＣＣＤ等の撮像素子を有するカメラを備えている。
【００３０】
本実施例の店舗端末２のカメラ部２７は、例えば、図２に示すように、店舗の応対デスク２８上に設置された店舗端末２の表示部２４の外枠に設置されており、応対デスク２８上のカタログや説明資料等の机上書類２９、および顧客と応対担当者の上半身等の顧客と応対担当者との対話の様子を撮影することが可能なようになっている（このカメラ部２７によって撮影した映像を、店舗側応対映像という。）。なお、かかる例に限定されず、例えば、店舗端末２は、上記カメラ部２７とは別個に、主として机上書類２９を撮影するカメラ部（図示せず。）を備えるようにしてもよい。この場合に、前記カメラ部は、例えば、机上書類２９を撮影可能な位置に備え付け、上記カメラ部２７は、主として顧客と応対担当者の上半身等の顧客と応対担当者との対話の様子を撮影するようにするとよい。
【００３１】
上記の遠隔支援装置１の記憶部７には、店舗端末２から送信された支援依頼を受付けたときに、通信回線３を介して送信元の店舗端末２に接続し、店舗端末２から受信した店舗側応対映像データおよび店舗側対話音声データを表示部８および音声部１２から出力しながら、店舗側対話音声データを音声認識によって文字列に変換した対話音声文を生成する機能、支援者音声データを音声認識によって文字列に変換した支援者音声文を生成する機能、対話音声文からキーワードを抽出しそのキーワード情報を表示部８に表示する機能、店舗側応対映像データから応対デスク２８上の机上書類２９の画像を切取って抽出しその机上書類抽出画像を表示部８に表示する機能、机上書類抽出画像の拡大表示の指示入力を受付けたときに当該机上書類抽出画像を拡大して表示する機能、メモ入力部１０によって今回の終了を示す区切入力（終了区切入力という。）が入力されたときに、前回の終了区切入力から今回の終了区切入力までの間の、対話音声文および支援者音声文からそれらの有声部分を抽出しこれらの有声部分、表示部８に表示したキーワード情報および机上書類抽出画像等を、前回の終了区切入力から今回の終了区切入力までの間にメモ入力部１０に入力されたメモ軌跡の画像データ（メモ軌跡データという。）に対応させて１組とした支援履歴情報を生成する機能、支援履歴情報の確認時に、選択された支援履歴情報を出力する機能等からなる遠隔支援処理（図３を用いて後述する）を行う機能を有する遠隔支援処理プログラムが予め格納されており、制御部５が実行する遠隔支援処理プログラムのステップにより本実施例の遠隔支援装置１の各機能手段が形成される。
【００３２】
また、記憶部７には、店舗側対話音声データからキーワードを抽出するための外国語表記および日本語表記の文字列からなるキーワードと、そのキーワードに対応する、日本語による翻訳文および外国語による翻訳文、並びにキーワードの詳細な説明文（例えば、キーワードが「住宅ローン」の場合における融資条件（返済期間や利率等）をいう。）等の文字列からなる対応情報と、を記したキーワードテーブルが予め設定されて格納されている。
【００３３】
更に、記憶部７には、店舗端末２から送信された店舗側応対映像データおよび店舗側対話音声データにそれぞれ時系列データを付して連続的に格納するための応対映像音声格納エリア、店舗端末２から送信された店舗側対話音声データを文字列に変換した対話音声文に時系列データを付して連続的に格納するための対話音声文格納エリア、音声部１２によって取得した支援者音声データを文字列に変換した支援者音声文に時系列データを添付して連続的に格納するための支援者音声文格納エリア、１組とした支援履歴情報を格納するための支援履歴情報格納エリア、区切入力の回数をカウントするための区切回数カウントエリアが予め確保されている。
【００３４】
上記の店舗端末２の記憶部２３には、入力部２５によって入力された支援依頼を受付けたときに、通信回線３を介して遠隔支援装置１に接続し、店舗側応対映像データおよび店舗側対話音声データを遠隔支援装置１へ送信しながら、遠隔支援装置１から受信した支援者映像データおよび支援者音声データを表示部２４および音声部２６によって顧客や応対担当者に伝達する支援情報伝達処理を行う機能を有する支援情報伝達処理プログラムが予め格納されており、端末制御部２１が実行する支援情報伝達処理プログラムのステップにより本実施例の店舗端末２の各機能手段が形成される。
【００３５】
以下に、図３に示すフローチャートを用い、Ｓで示すステップに従って本実施例の遠隔支援装置１による遠隔支援処理について説明する。
【００３６】
店舗において、応対担当者は、カメラを備えたカメラ部２７およびマイク、スピーカを備えた音声部２６が設けられた店舗端末２の表示部２４が置かれた応対デスク２８を挟んで訪れた顧客（本実施例では、外国人）と例えばローン契約等について応対している（図２参照）。
【００３７】
この場合に、応対担当者が、顧客との応対に支援、例えば外国語通訳の支援が必要と判断したときは、応対担当者は、顧客端末２の入力部２５によって、支援を要請する支援種別（外国語通訳等）や遠隔支援センタへの送信指示等を入力する。この指示入力を受付けた店舗端末２の端末制御部２１は、支援種別を添付した支援依頼を通信部２２、通信回線３を介して遠隔支援センタの遠隔支援装置１へ送信する。
【００３８】
Ｓ１：店舗端末２からの支援依頼を通信部６によって受信した遠隔支援装置１の制御部５は、その支援種別等を表示部８の画面に表示し、遠隔支援センタで待機していた当該支援種別の支援者（本実施例では、外国語通訳者）は、遠隔支援装置１に着席すると、操作入力部９によって支援開始の指示入力を行う。
【００３９】
Ｓ２：支援開始の指示入力を受付けた制御部５は、カメラ部１３によって支援者を撮影し音声部１２によって支援者の音声を取得しながら、その支援者映像データと支援者音声データの、通信部６、通信回線３を介した送信元の店舗端末２への送信を開始する。
【００４０】
これを通信部２２によって受信した店舗端末２の端末制御部２１は、その支援者映像データを表示部２４の画面に表示する（図２参照）と共に、支援者音声データを音声部２６によって音声に変換して顧客および応接担当者に伝達する。
【００４１】
また、端末制御部２１は、カメラ部２７によって顧客と応対担当者との対話の様子を撮影し音声部２６によって顧客と応対担当者の対話音声を取得しながら、その店舗側応対映像データと店舗側対話音声データの、通信部２２、通信回線３を介した遠隔支援装置１への送信を開始する。
【００４２】
Ｓ３：店舗端末２からの店舗側応対映像データ等を受信した遠隔支援装置１の制御部５は、受信した店舗側応対映像データおよび店舗側対話音声データに、時計部１１から出力される時系列データを付して記憶部７の応対映像音声格納エリアへの連続的な格納を開始すると共に、受信した店舗側対話音声データを音声認識によって文字列に変換した対話音声文に時系列データを付して記憶部７の対話音声文格納エリアへの連続的な格納を開始する。
【００４３】
また、制御部５は、音声部１２によって取得した支援者音声データを音声認識によって文字列に変換した支援者音声文に時系列データを付して記憶部７の支援者音声文格納エリアへの連続的な格納を開始する。
【００４４】
Ｓ４：店舗側応対映像データ等の連続的な格納を開始した制御部５は、時計部１１によって現在時刻を認識し、これを開始時刻として記憶部７に保存すると共に記憶部７の区切回数カウントエリアのカウント数を「０」に初期化して、ステップＳ５〜Ｓ７による並行処理と、ステップＳ８、Ｓ１０、Ｓ１２、Ｓ２１、Ｓ２３による割込処理とを開始する。
【００４５】
Ｓ５：支援開始の開始時刻を保存しステップＳ５〜Ｓ７による並行処理を開始した制御部５は、遠隔支援装置１の表示部８に、図４に示す支援画面を表示し、その応対映像表示枠３１に、受信した店舗側応対映像データによる店舗側応対映像を表示する。
【００４６】
応対映像表示枠３１には、応対担当者と顧客および応対デスク２８上の複数の机上書類２９等の現在の応対現場の映像が表示され、音声部１２からは店舗側対話音声データによる店舗側対話音声が伝達される。これにより支援者は、店舗側の現在状況を把握することが可能になる。
【００４７】
Ｓ６：ステップＳ５と並行して、制御部５は、画像認識によって店舗側応対映像の机上書類２９毎に、その机上書類２９を含む部分画像を抽出し、抽出した部分画面である机上書類抽出画像を全て支援画面の応対映像表示枠３１の右脇の下部に縦に並べて配置されている抽出画像表示枠３２に選択可能に表示する。
【００４８】
Ｓ７：制御部５は、支援者が支援業務の終了を判断して操作入力部９により支援業務終了の指示入力を行うのを待って待機しており、支援業務終了の指示入力があった場合は、遠隔支援処理の終了を判定して処理を終了させる。支援業務終了の指示入力がない場合は、ステップＳ５に戻ってステップＳ５〜Ｓ７による店舗側応対映像の表示等の並行処理を継続する。
【００４９】
Ｓ８：一方、支援開始の開始時刻（本段階では１回目の支援の開始時刻）を保存しステップＳ８等による割込処理を開始した制御部５は、記憶部７に格納されているキーワードテーブルのキーワードを参照しながら、店舗側対話音声データを基に文字列に変換した対話音声文の中にキーワードが出現するのを待って待機しており、キーワードテーブルのキーワードの存在を認識したときにステップＳ９へ移行する。キーワードの存在を認識しない場合は、ステップＳ１０へ移行する。
【００５０】
Ｓ９：キーワードの存在を認識した制御部５は、記憶部７のキーワードテーブルから認識したキーワードの対応情報を読出し、当該キーワードとその対応情報からなるキーワード情報を、応対映像表示枠３１の右脇の上部に縦に並べて配置されている情報表示枠３３に文字列で表示してステップＳ１０へ移行する。これにより、専門分野または得意分野でない分野が店舗側での対話の中に現れたとしても、支援者は表示されたキーワード情報の翻訳文や詳細な説明文を参照すれば、容易に理解することができ、支援者による通訳業務等をより正確にかつより詳細に行うことができる。
【００５１】
Ｓ１０：制御部５は、応対デスク２８上の机上書類２９が見難いときに、支援者が支援画面に表示されている机上書類抽出画像の抽出画像表示枠３２を操作入力部９のマウス等により選択するのを待って待機しており、抽出画像表示枠３２が選択されたときにステップＳ１１へ移行する。抽出画像表示枠３２が選択されない場合は、ステップＳ１２へ移行する。
【００５２】
Ｓ１１：抽出画像表示枠３２が選択されたことを認識した制御部５は、当該抽出画像表示枠３２の机上書類抽出画像を電子的な処理によって拡大し、この拡大された机上書類抽出画像を当該抽出画像表示枠３２に表示してステップＳ１２へ移行する。これにより支援者は、応対デスク２８上の机上書類２９の書類の種類等を容易に参照することができ、応対現場に対する支援をより正確に行うことができる。
【００５３】
上記した支援画面を見ながら応対現場に対する支援を行っている支援者（本実施例では、外国語通訳者）は、店舗側対話音声を聞きながら、不慣れな用語や文章、名前等の固定名詞、数字等を忘れないようにするためにメモをすることが重要である。
【００５４】
例えば、図５に示すように、支援者は、店舗側対話音声「ＡＡＡ１」を聞きながら、メモ入力部１０のタブレットに入力用のペンにより手書きでメモ「ＢＢＢ１」を入力し、そのメモを書き終えると、区切記号（本実施例では  ／（スラッシュ））を手書きし、１回目の区切入力Ｋｂ１を行う（図５に示すＫｃ１も同じ）。
【００５５】
そして、支援者は、メモ「ＢＢＢ１」を見ながら、店舗側への音声での通訳「ＣＣＣ１」による支援を終えると、メモ入力部１０から区切記号を入力して２回目の区切入力、つまり終了区切入力Ｋｂ２を行う（図５に示すＫａ２、Ｋｃ２も同じ）。
【００５６】
Ｓ１２：制御部５は、支援者がメモ入力部１０によって区切記号を入力するのを待って待機しており、区切記号による区切入力を認識したときに、記憶部７の区切回数カウントエリアのカウント数に「１」を加えて区切入力の回数をカウントし、接続子Ａを介してステップＳ１３へ移行する。区切記号の入力を認識しない場合は、ステップＳ２１へ移行する。
【００５７】
Ｓ１３：区切入力を認識した制御部５は、記憶部７の区切回数カウントエリアのカウント数が「１」の場合、つまり１回目の区切入力の場合はステップＳ１４へ移行する。区切回数カウントエリアのカウント数が「２」の場合、つまり終了区切入力の場合はステップＳ１５へ移行する。
【００５８】
Ｓ１４、入力された区切入力が１回目であること（例えば、図５に示すＫｂ１）を認識した制御部５は、メモ入力部１０によって支援者がメモしたメモ軌跡データを取込み、このメモ軌跡データを記憶部７に一時保存し、接続子Ｂを介してステップＳ２１へ移行する。
【００５９】
Ｓ１５、入力された区切入力が終了区切入力であること（例えば、図５に示すＫｂ２）を認識した制御部５は、時計部１１によって現在時刻を認識し、これを終了時刻として記憶部７に保存してステップＳ１６へ移行する。
【００６０】
Ｓ１６：終了時刻を認識した制御部５は、記憶部７に保存した開始時刻を読出して、前回の終了区切入力から今回の終了区切入力までの音声文の音声抽出処理を実行し、ステップＳ１７へ移行する。
【００６１】
すなわち、制御部５は、例えば、図５に示す前回の終了区切入力Ｋａ２を開始時刻とし、今回の終了区切入力Ｋｂ２を終了時刻として、これらの時刻を基に、時系列データを付して連続的に格納されている記憶部７の応対映像音声格納エリアの店舗側応対映像データおよび店舗側対話音声データ、対話音声文格納エリアの対話音声文、支援者音声文格納エリアの支援者音声文から、時系列データを基に開始時刻から終了時刻までの店舗側応対映像データ、対話音声文、支援者音声文を読出す。
【００６２】
そして、制御部５は、対話音声文の前回の終了区切入力Ｋａ２後の無声部分と今回の終了区切入力Ｋｂ２前の無声部分を除いた有声部分に相当する、音声認識した文字列「ＡＡＡ１」を抽出する。また同様にして、制御部５は、支援者音声文の有声部分に相当する、音声認識した文字列「ＣＣＣ１」を抽出する。
【００６３】
図５に示す終了区切入力Ｋｂ２と終了区切入力Ｋｃ２の間、および図６に示す終了区切入力Ｋｃ２と終了区切入力Ｋｄ２の間の音声抽出処理の場合も同様である。
【００６４】
図６に示す終了区切入力Ｋｄ２と終了区切入力Ｋｅ２の間の場合、つまり支援者が、店舗側の対話音声「ＡＡ４」についてのメモを入力し終わらないうちに、店舗側の対話音声「ＡＡ５」が発声され、支援者が当該音声「ＡＡ５」を含めてメモ「ＢＢ４」を入力して１回目の区切入力Ｋｅ１を入力し、そのメモ「ＢＢ４」を見ながら店舗側への音声での通訳「ＣＣ４」による支援を終え、メモ入力部１０から区切記号を入力して２回目の区切入力（終了区切入力Ｋｅ２）を行った場合は、店舗側対話音声の中に会話が途切れた部分が存在することになる。この場合は、上記と同様に、前回の終了区切入力Ｋｄ２後の無声部分と今回の終了区切入力Ｋｅ２前の無声部分を除いた途切れ部分を含む有声部分に相当する、音声認識した文字列「ＡＡ４」「ＡＡ５」を抽出する。支援者音声に途切れ部分が存在する場合も同様である。
【００６５】
Ｓ１７：音声抽出処理を終えた制御部５は、抽出した対話音声文の有声部分（途切れ部分を有する場合を含む。）と支援者音声文の有声部分（途切れ部分を有する場合を含む。）、読出した店舗側応対映像データおよび店舗側対話音声データ、前回と今回の終了区切入力の間に表示部８に表示したキーワード情報と机上書類抽出画像を、記憶部７に一時保存したメモ軌跡データに関連付けて１組とした支援履歴情報を作成し、これを記憶部７の支援履歴情報格納エリアに格納する。
【００６６】
Ｓ１８：支援履歴情報を格納した制御部５は、格納した支援履歴情報のメモ軌跡データを基に生成したメモ軌跡画像３４を、支援画面の応対映像表示枠３１の下側の上部に横に順に並べて選択可能に表示する（図４参照）。
【００６７】
Ｓ１９：メモ軌跡画像３４を表示した制御部５は、メモ入力部１０に表示されている前回のメモ軌跡を消去して初期化すると共に、記憶部７の区切回数カウントエリアのカウント数を「０」に初期化する。
【００６８】
Ｓ２０：また、制御部５は、記憶部７に保存した開始時刻を、保存されている終了時刻に書換えて開始時刻を更新し、接続子Ｂを介してステップＳ２１へ移行する。
【００６９】
Ｓ２１：制御部５は、支援者が以前に行なった支援内容と店舗側の対話音声との整合性等を確認するときに、支援者が支援画面に表示されているメモ軌跡画像３４を操作入力部９のマウス等により選択するのを待って待機しており、メモ軌跡画像３４が選択されたときにステップＳ２２へ移行する。メモ軌跡画像３４が選択されない場合は、ステップＳ２３へ移行する。
【００７０】
Ｓ２２：メモ軌跡画像３４が選択されたことを認識した制御部５は、記憶部７の支援履歴情報格納エリアから、選択されたメモ軌跡画像３４に該当する支援履歴情報を読出し、その対話音声文の有声部分の長さに相当する音声アイコン３５ａと、支援者音声文の有声部分の長さに相当する音声アイコン３５ｂとを生成し、図７に示す支援確認画面の選択されたメモ軌跡画像３４の下側に縦に並べて選択可能に表示し、ステップＳ２３へ移行する。
【００７１】
この場合に、対話音声文または支援者音声文の有声部分が存在しない場合は、その音声アイコン３５は表示されない。
【００７２】
Ｓ２３、制御部５は、支援者が支援確認画面に表示されている音声アイコン３５を操作入力部９のマウス等により選択するのを待って待機しており、音声アイコン３５が選択されたときにステップＳ２４へ移行する。音声アイコン３５が選択されない場合は、ステップＳ８へ戻って、ステップＳ８、Ｓ１０、Ｓ１２、Ｓ２１、Ｓ２３による割込処理を継続する。
【００７３】
Ｓ２４、音声アイコン３５が選択されたことを認識した制御部５は、選択された音声アイコン３５、例えば音声アイコン３５ｂが選択された場合は、選択された音声アイコン３５ｂに該当する支援者音声の文字列からなる有声部分を、支援確認画面の下部に表示し、ステップＳ８へ戻って、ステップＳ８等による割込処理を継続する。
【００７４】
この場合に、応対映像表示枠３１の店舗側応対映像および音声部１２からの店舗側対話音声は現在受信中のものが表示および伝達され、抽出画像表示枠３２および情報表示枠３３には、読出した支援履歴情報のキーワード情報および机上書類抽出画像が表示され、表示されているメモ軌跡画像３４および音声アイコン３５はそのまま表示される。
【００７５】
これにより、支援者は、支援業務中であっても、対話音声や支援者音声をタイムラグなく再生することができ、以前の支援内容の確認を迅速に確認して、店舗の応対現場に対する支援業務を正確かつ迅速に行うことができる。
【００７６】
なお、支援者が、今回依頼分の支援業務の終了後に、改めて支援内容の確認を行う場合（再確認の場合という。）は、遠隔支援装置１の操作入力部９によって再確認の指示入力を行うと、表示部８の画面には、何も表示されていない応対映像表示枠３１、抽出画像表示枠３２、情報表示枠３３、および今回依頼分の全てのメモ軌跡画像３４が表示され、上記ステップＳ９、Ｓ１０、Ｓ２１〜Ｓ２４の作動が実行される。
【００７７】
この場合に、ステップＳ２４において表示される支援確認画面の応対映像表示枠３１、抽出画像表示枠３２および情報表示枠３３には、読出した支援履歴情報の店舗側応対映像、キーワード情報および机上書類抽出画像が表示され、表示されているメモ軌跡画像３４および音声アイコン３５はそのまま表示され、音声部１２からは読出した支援履歴情報の店舗側対話音声データを基にした店舗側対話音声が出力され支援者に伝達される。
【００７８】
これにより支援者は、店舗側対話音声、店舗側応対映像および支援者音声と、メモとの関連性を容易に理解することができ、対話音声の内容および支援者音声の内容の整合性等の再確認を容易に行うことが可能になり、業務内容の再確認を正確かつ迅速に行うことができる。
【００７９】
以上説明したように、本実施例では、前回と今回の終了区切入力間の店舗側対話音声および支援者音声の有声部分を、その間に入力したメモ軌跡に関連させて１組とした支援履歴情報を格納しておき、支援者が以前の支援内容を確認するときに、メモ軌跡を基に、それに関連付けられた店舗側対話音声および支援者音声の有声部分を再生するようにしたことによって、支援者は店舗側対話音声および／もしくは支援者音声をタイムラグなく再生して、以前の支援の内容とそのときの店舗側対話音声の内容の整合性等を迅速に確認することができ、店舗の応対現場に対する支援業務を正確かつ迅速に行うことができるという効果が得られる。
【００８０】
なお、上記実施例においては、メモ軌跡は、メモ入力部に備えたタブレットにより入力するとして説明したが、メモ入力部の構成は前記に限らず、ペンの動作等を直接認識するためのカメラによって入力するようにしてもよい。
【００８１】
また、上記実施例においては、区切入力は、区切記号  ／（スラッシュ）を入力して行うとして説明したが、区切記号として  」（右括弧）等の特定記号を用いるようにしてもよく、入力方法としてタブレットの特定位置を押下する方法や、押ボタンを設けてそのボタンを押下する方法等であってもよい。
【００８２】
更に、上記実施例においては、区切入力は、メモ軌跡の入力後に１回目を、通訳等の支援者音声の終了後の２回目の終了区切入力を入力するとして説明したが、支援者音声の終了後に終了区切入力を１回のみ入力するようにしてもよい。この場合には、音声抽出処理の実行時に、メモ軌跡データを取込むようにするとよい。
【００８３】
更に、上記実施例においては、店舗の応対現場に対する外国語通訳の場合を例に説明したが、手話通訳等の言語通訳や、専門知識を必要とする支援、例えば、自閉症や精神遅滞に関する専門知識を持つ支援者が、店舗の応対担当者と当該顧客とのコミュニケーションを支援する場合等に適用できる。
【符号の説明】
【００８４】
１    遠隔支援装置
２    店舗端末
３    通信回線
５    制御部
６、２２  通信部
７、２３  記憶部
８、２４  表示部
９    操作入力部
１０  メモ入力部
１１  時計部
１２、２６  音声部
１３、２７  カメラ部
２１  端末制御部
２５  入力部
２８  応対デスク
２９  机上書類
３１  応対映像表示枠
３２  抽出画像表示枠
３３  情報表示枠
３４  メモ軌跡画像
３５、３５ａ、３５ｂ  音声アイコン
【図１】
2011198322.tif 000003
【図２】
2011198322.tif 000004
【図３】
2011198322.tif 000005
【図４】
2011198322.tif 000006
【図５】
2011198322.tif 000007
【図６】
2011198322.tif 000008
【図７】
2011198322.tif 000009