(57)【特許請求の範囲】
【請求項１】
通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、
前記受信手段が受信した動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、
表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、
前記受信手段が受信する動画データが表す動画を前記表示装置にリアルタイムに表示させるとともに、前記記憶手段に記憶されている動画データが表す過去の動画を構成する画像のうち前記操作受付手段による操作により指定された画像を前記表示装置に表示させる表示指示手段と、
前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、
前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段と
を備え、
前記選択画像取得手段は、前記表示装置が表示している動画に対する前記ユーザの操作を前記操作受付手段が受け付けた時に前記表示装置が表示していた画像を識別する画像識別データを選択対象の画像の画像識別データ、又は、選択対象の候補の画像の画像識別データとして取得し、
前記選択画像取得手段は、前記表示装置が表示している、前記操作受付手段による操作により指定された画像を選択する前記ユーザの操作を前記操作受付手段が受け付けた場合、選択された画像の画像識別データを、選択対象の画像の画像識別データ、又は、選択対象の候補の画像の画像識別データとして取得する
端末装置。
【請求項２】
通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、
表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、
前記受信手段が受信した動画データが表す動画を前記表示装置に表示させる表示指示手段と、
前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、
前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段と
を備え、
前記選択画像取得手段は、前記表示装置が表示している動画に対する前記ユーザの操作を前記操作受付手段が受け付けた時に前記表示装置が表示していた画像を識別する画像識別データを選択対象の画像の画像識別データ、又は、選択対象の候補の画像の画像識別データとして取得し、
前記表示指示手段は、前記選択画像取得手段により選択対象の候補の画像の画像識別データが取得された場合、当該画像識別データにより識別される画像を選択対象の候補の画像として前記表示装置に表示させ、
前記選択画像取得手段は、前記表示装置が表示している1以上の選択対象の候補の画像の中からいずれかの画像を選択する前記ユーザの操作を前記操作受付手段が受け付けた場合、選択された画像の画像識別データを選択対象の画像識別データとして取得する
端末装置。
【請求項３】
通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、
表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、
前記受信手段が受信した動画データが表す動画を前記表示装置に表示させる表示指示手段と、
前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、
前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段と
を備え、
前記表示指示手段は、仮想的な操作ボタンを前記表示装置に表示させ、
前記操作受付手段は、前記選択画像取得手段により取得される画像識別データにより識別される選択対象の画像を前記操作ボタンにドラッグアンドドロップする前記ユーザの操作を受け付け、
前記送信手段は、前記ユーザが前記ドラッグアンドドロップの操作をした時にタッチしていた画像内の領域を示す領域データを前記通信相手の装置に送信する
端末装置。
【請求項４】
通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、
表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、
前記受信手段が受信した動画データが表す動画を前記表示装置に表示させる表示指示手段と、
前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、
前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段と
を備え、
前記表示指示手段は、仮想的な操作ボタンを前記表示装置に表示させ、
前記操作受付手段が、前記ユーザにより選択された画像を前記操作ボタンにドラッグアンドドロップする操作を受け付けた場合、前記送信手段は、前記操作ボタンに応じたメッセージを識別するメッセージ識別データ、又は、当該メッセージを示すメッセージデータを、前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データに対応付けて、前記通信相手の装置に送信する
端末装置。
【請求項５】
前記メッセージデータは、前記通信相手の装置のユーザが使用する言語で書かれた文章を示すテキストデータ、又は、当該文章を発声した音を表す音声データである
請求項４に記載の端末装置。
【請求項６】
前記メッセージデータは、前記ユーザの状態を示すデータである
請求項４又は５に記載の端末装置。
【請求項７】
前記メッセージデータは、前記通信相手の装置に対する物理的な動作を指示する動作指示データである
請求項４に記載の端末装置。
【請求項８】
前記選択画像取得手段により取得される画像識別データにより識別される選択対象の画像に写っている物を認識する画像認識手段
を備え、
前記表示指示手段は、前記選択画像取得手段により取得される画像識別データにより識別される選択対象の画像に対し、前記画像認識手段による認識の結果を示す表示物を付加した画像を、前記表示装置に表示させる
請求項１乃至７のいずれか１項に記載の端末装置。
【請求項９】
撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、
前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、
前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、
前記通信相手の装置から送信されてくる画像を識別する画像識別データ、当該画像識別データにより識別される画像内の領域を示す領域データ、及び、メッセージを識別するメッセージ識別データ又は当該メッセージを示すメッセージデータを受信する受信手段と、
前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち前記受信手段が受信した画像識別データにより識別される画像に前記領域データが示す領域を示す表示物を付加した画像と、前記メッセージ識別データにより識別されるメッセージ又は前記メッセージデータが示すメッセージを表示装置に表示させる表示指示手段と
を備える端末装置。
【請求項１０】
自装置のユーザが使用する言語ではない言語の文章を示すテキストデータを取得した場合、当該テキストデータが示す文章を前記ユーザが使用する言語に翻訳した文章を示すテキストデータを取得する翻訳手段
を備え、
前記メッセージ識別データにより識別されるメッセージ又は前記メッセージデータが示すメッセージが、自装置のユーザが使用する言語ではない言語の文章を示す場合、前記表示指示手段は、前記翻訳手段により取得されたテキストデータが示す当該文章を翻訳した文章を前記表示装置に表示させる
請求項９に記載の端末装置。
【請求項１１】
自装置のユーザが使用する言語ではない言語の文章を示すテキストデータを取得した場合、当該テキストデータが示す文章を前記ユーザが使用する言語に翻訳した文章を発声した音を表す音声データを取得する通訳手段と、
前記メッセージ識別データにより識別されるメッセージ又は前記メッセージデータが示すメッセージが、自装置のユーザが使用する言語ではない言語の文章を示す場合、前記通訳手段により取得された音声データが表す当該文章を翻訳した文章を発声した音を発音装置に発音させる発音指示手段と
を備える請求項９又は１０に記載の端末装置。
【請求項１２】
撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、
前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、
前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、
前記通信相手の装置から送信されてくる画像を識別する画像識別データを受信する受信手段と、
前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち、前記受信手段が受信した画像識別データにより識別される画像を表示装置に表示させる表示指示手段と、
自装置の位置を示す位置データを取得する位置取得手段と、
自装置の位置を含むエリアの地図を表す地図データを取得する地図取得手段と
を備え、
前記表示指示手段は、前記地図データが表す地図に、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記位置データが示す位置を示す表示物を付加した画像を、前記表示装置に表示させる
端末装置。
【請求項１３】
前記動画取得手段は、動画データと共に、当該動画データが表す動画を構成する複数の画像の各々の撮影方向を示す撮影方向データを取得し、
前記表示指示手段は、前記地図データが表す地図に、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記撮影方向データが示す撮影方向を示す表示物を付加した画像を、前記表示装置に表示させる
請求項１２に記載の端末装置。
【請求項１４】
撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、
前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、
前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、
前記通信相手の装置から送信されてくる画像を識別する画像識別データを受信する受信手段と、
前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち、前記受信手段が受信した画像識別データにより識別される画像を表示装置に表示させる表示指示手段と、
自装置の位置を示す位置データを取得する位置取得手段と、
前記位置取得手段が最後に取得した位置データが示す自装置の位置から、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記位置データが示す位置までの移動経路を示す移動経路データを取得する移動経路取得手段と
を備え、
前記表示指示手段は、前記移動経路データが示す移動経路を示す表示物を前記表示装置に表示させる
端末装置。
【請求項１５】
撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、
前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、
前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、
前記通信相手の装置から送信されてくる画像を識別する画像識別データを受信する受信手段と、
前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち、前記受信手段が受信した画像識別データにより識別される画像を表示装置に表示させる表示指示手段と、
自装置の位置を示す位置データを取得する位置取得手段と、
前記位置取得手段が最後に取得した位置データが示す自装置の位置から、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記位置データが示す位置までの移動経路を示す移動経路データを取得する移動経路取得手段と、
前記移動経路データが示す移動経路に従い移動する移動手段と
を備える端末装置。
【請求項１６】
コンピュータを、請求項１に記載の端末装置が備える受信手段、記憶手段、操作受付手段、表示指示手段、選択画像取得手段、及び、送信手段として機能させるためのプログラム。
【請求項１７】
コンピュータを、請求項２乃至４のいずれか１項に記載の端末装置が備える受信手段、操作受付手段、表示指示手段、選択画像取得手段、及び、送信手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項９に記載の端末装置が備える動画取得手段、送信手段、記憶手段、受信手段、及び、表示指示手段として機能させるためのプログラム。
【請求項１９】
コンピュータを、請求項１２に記載の端末装置が備える動画取得手段、送信手段、記憶手段、受信手段、表示指示手段、位置取得手段、及び、地図取得手段として機能させるためのプログラム。
【請求項２０】
コンピュータを、請求項１４に記載の端末装置が備える動画取得手段、送信手段、記憶手段、受信手段、表示指示手段、位置取得手段、及び、移動経路取得手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は互いに離れた場所にいるユーザ間の円滑な意思疎通を支援するための技術に関する。
【背景技術】
【０００２】
インターネットや移動体通信網等の通信ネットワークの普及と、それらの通信ネットワークにおける通信速度の向上に伴い、互いに離れた場所にいるユーザ（本願において、「ユーザ」という場合、人間に限られず、人工知能を備える装置等の人間と類似の知的活動が可能な装置を含むものとする）が使用する端末装置の間で、カメラで撮影した動画（マイクで拾音した音を伴う）を表す動画データを実質的にリアルタイムに送受信し、それらの動画を端末装置で再生することで、ビデオ通話を行うことが可能となっている。
【０００３】
上記のビデオ通話の仕組みを利用して、依頼元のユーザ（以下、「依頼元ユーザ」という）が自分では行くことができない場所（以下、「現地」という）に自分に代わって行ってくれる人（以下、「依頼先ユーザ」という）を見つけ、現地に行った依頼先ユーザと現地にいない依頼元ユーザが意思疎通を図ることで、依頼元ユーザが現地に行った疑似体験を行うと共に、依頼元ユーザが現地で行いたいこと（例えば、物品の購入、商談など）を依頼先ユーザに代行してもらう、というサービス（以下、「遠隔代行サービス」という）が提案されている。
【０００４】
上記のような遠隔代行サービスを支援するための仕組みを提案している特許文献として、例えば特許文献１がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０２０−１９８４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
遠隔代行サービスにおいて、依頼元ユーザと依頼先ユーザの間で、円滑な意思疎通が難しい場合がある。例えば、依頼元ユーザが現地を撮影している動画の中に何か気になる物を発見し、依頼元ユーザがその物が何であるかを依頼先ユーザに確認してもらいたい場合がある。そのような場合、依頼元ユーザは、気になる物が何かが分からないので、その物を依頼先ユーザに伝えることは容易でない。
【０００７】
上記の事情に鑑み、本発明は、互いに離れた場所にいるユーザ間の円滑な意思疎通を支援する手段を提供する。
【課題を解決するための手段】
【００１２】
本発明は、通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、前記受信手段が受信した動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、前記受信手段が受信する動画データが表す動画を前記表示装置にリアルタイムに表示させるとともに、前記記憶手段に記憶されている動画データが表す過去の動画を構成する画像のうち前記操作受付手段による操作により指定された画像を前記表示装置に表示させる表示指示手段と、前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段とを備え、前記選択画像取得手段は、前記表示装置が表示している動画に対する前記ユーザの操作を前記操作受付手段が受け付けた時に前記表示装置が表示していた画像を識別する画像識別データを選択対象の画像の画像識別データ、又は、選択対象の候補の画像の画像識別データとして取得し、前記選択画像取得手段は、前記表示装置が表示している、前記操作受付手段による操作により指定された画像を選択する前記ユーザの操作を前記操作受付手段が受け付けた場合、選択された画像の画像識別データを、選択対象の画像の画像識別データ、又は、選択対象の候補の画像の画像識別データとして取得する端末装置を第１の態様として提供する。
【００１３】
第１の態様に係る端末装置によれば、ユーザは通信相手の装置から送信されてきて実質的にリアルタイムに再生された動画の中に気になった画像があったが、その画像の表示されたタイミングでその画像を選択するための操作を行わなかった場合でも、後からその画像を通信相手の装置に送る画像、又は、通信相手の装置に送る画像の候補、として選択することができる。
【００１４】
また、本発明は、通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、前記受信手段が受信した動画データが表す動画を前記表示装置に表示させる表示指示手段と、前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段とを備え、前記選択画像取得手段は、前記表示装置が表示している動画に対する前記ユーザの操作を前記操作受付手段が受け付けた時に前記表示装置が表示していた画像を識別する画像識別データを選択対象の画像の画像識別データ、又は、選択対象の候補の画像の画像識別データとして取得し、前記表示指示手段は、前記選択画像取得手段により選択対象の候補の画像の画像識別データが取得された場合、当該画像識別データにより識別される画像を選択対象の候補の画像として前記表示装置に表示させ、前記選択画像取得手段は、前記表示装置が表示している1以上の選択対象の候補の画像の中からいずれかの画像を選択する前記ユーザの操作を前記操作受付手段が受け付けた場合、選択された画像の画像識別データを選択対象の画像識別データとして取得する端末装置を第２の態様として提供する。
【００１５】
第２の態様に係る端末装置によれば、ユーザは通信相手の装置に送る画像の候補を選択した後、選択した１以上の候補の中から実際に通信相手の装置に送る画像を選択することができる。
【００１６】
また、本発明は、通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、前記受信手段が受信した動画データが表す動画を前記表示装置に表示させる表示指示手段と、前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段とを備え、前記表示指示手段は、仮想的な操作ボタンを前記表示装置に表示させ、前記操作受付手段は、前記選択画像取得手段により取得される画像識別データにより識別される選択対象の画像を前記操作ボタンにドラッグアンドドロップする前記ユーザの操作を受け付け、前記送信手段は、前記ユーザが前記ドラッグアンドドロップの操作をした時にタッチしていた画像内の領域を示す領域データを前記通信相手の装置に送信する端末装置を第３の態様として提供する。
【００１７】
第３の態様に係る端末装置によれば、ユーザは、容易な操作によって、通信相手の装置に送信する画像のうち、注目している領域を通信相手の装置のユーザに通知することができる。
【００２２】
また、本発明は、通信相手の装置からリアルタイムに送信されてくる動画データを受信する受信手段と、表示装置が表示している画像に対するユーザの操作を受け付ける操作受付手段と、前記受信手段が受信した動画データが表す動画を前記表示装置に表示させる表示指示手段と、前記受信手段が受信した動画データが表す動画を構成する複数の画像のうち選択対象の画像を識別する画像識別データを取得する選択画像取得手段と、前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データを、前記通信相手の装置に送信する送信手段とを備え、前記表示指示手段は、仮想的な操作ボタンを前記表示装置に表示させ、前記操作受付手段が、前記ユーザにより選択された画像を前記操作ボタンにドラッグアンドドロップする操作を受け付けた場合、前記送信手段は、前記操作ボタンに応じたメッセージを識別するメッセージ識別データ、又は、当該メッセージを示すメッセージデータを、前記選択画像取得手段が取得した画像識別データ、又は、当該画像識別データが識別する画像を表す画像データに対応付けて、前記通信相手の装置に送信する端末装置を第４の態様として提供する。
【００２３】
第４の態様に係る端末装置によれば、ユーザは、容易な操作によって、通信相手の装置のユーザに、画像とともに当該画像に関連するメッセージを伝えることができる。
【００２４】
第４に係る端末装置において、前記メッセージデータは、前記通信相手の装置のユーザが使用する言語で書かれた文章を示すテキストデータ、又は、当該文章を発声した音を表す音声データである、という構成が第５の態様として採用されてもよい。
【００２５】
第５の態様に係る端末装置によれば、ユーザが使用する言語が、通信相手の装置のユーザが使用する言語と異なっている場合であっても、相手のユーザが理解可能なメッセージを伝えることができる。
【００２６】
第４又は第５の態様に係る端末装置において、前記メッセージデータは、前記ユーザの状態を示すデータである、という構成が第６の態様として採用されてもよい。
【００２７】
第６の態様に係る端末装置によれば、ユーザは自分の状態を通信相手の装置のユーザに伝えることができる。
【００２８】
第４の態様に係る端末装置において、前記メッセージデータは、前記通信相手の装置に対する物理的な動作を指示する動作指示データである、という構成が第７の態様として採用されてもよい。
【００２９】
第７の態様に係る端末装置によれば、ユーザは通信相手の装置の物理的な動作を遠隔で操作できる。
【００３０】
第１乃至第７のいずれかの端末装置において、前記選択画像取得手段により取得される画像識別データにより識別される選択対象の画像に写っている物を認識する画像認識手段を備え、前記表示指示手段は、前記選択画像取得手段により取得される画像識別データにより識別される選択対象の画像に対し、前記画像認識手段による認識の結果を示す表示物を付加した画像を、前記表示装置に表示させる、という構成が第８の態様として採用されてもよい。
【００３１】
第８の態様に係る端末装置によれば、ユーザは、通信相手の装置に送る画像又は通信相手の装置に送る画像の候補に何が写っているかを容易に知ることができる。
【００３２】
また、本発明は、撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、前記通信相手の装置から送信されてくる画像を識別する画像識別データ、当該画像識別データにより識別される画像内の領域を示す領域データ、及び、メッセージを識別するメッセージ識別データ又は当該メッセージを示すメッセージデータを受信する受信手段と、前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち前記受信手段が受信した画像識別データにより識別される画像に前記領域データが示す領域を示す表示物を付加した画像と、前記メッセージ識別データにより識別されるメッセージ又は前記メッセージデータが示すメッセージを表示装置に表示させる表示指示手段とを備える端末装置を第９の態様として提供する。
【００３３】
第９の態様に係る端末装置によれば、ユーザは、通信相手の装置のユーザにより選択された画像のうち当該ユーザが注目している領域に関する当該ユーザのメッセージを知ることができる。
【００３４】
第９の態様に係る端末装置において、自装置のユーザが使用する言語ではない言語の文章を示すテキストデータを取得した場合、当該テキストデータが示す文章を前記ユーザが使用する言語に翻訳した文章を示すテキストデータを取得する翻訳手段を備え、前記メッセージ識別データにより識別されるメッセージ又は前記メッセージデータが示すメッセージが、自装置のユーザが使用する言語ではない言語の文章を示す場合、前記表示指示手段は、前記翻訳手段により取得されたテキストデータが示す当該文章を翻訳した文章を前記表示装置に表示させる、という構成が第１０の態様として採用されてもよい。
【００３５】
第１０の態様に係る端末装置によれば、ユーザは、通信相手の装置のユーザと異なる言語を使用する場合であっても、当該ユーザからのメッセージを読んで理解できる。
【００３６】
第９又は第１０の態様に係る端末装置において、自装置のユーザが使用する言語ではない言語の文章を示すテキストデータを取得した場合、当該テキストデータが示す文章を前記ユーザが使用する言語に翻訳した文章を発声した音を表す音声データを取得する通訳手段と、前記メッセージ識別データにより識別されるメッセージ又は前記メッセージデータが示すメッセージが、自装置のユーザが使用する言語ではない言語の文章を示す場合、前記通訳手段により取得された音声データが表す当該文章を翻訳した文章を発声した音を発音装置に発音させる発音指示手段とを備える、という構成が第１１の態様として採用されてもよい。
【００３７】
第１１の態様に係る端末装置によれば、ユーザは、通信相手の装置のユーザと異なる言語を使用する場合であっても、当該ユーザからのメッセージを聴いて理解できる。
【００３８】
また、本発明は、撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、前記通信相手の装置から送信されてくる画像を識別する画像識別データを受信する受信手段と、前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち、前記受信手段が受信した画像識別データにより識別される画像を表示装置に表示させる表示指示手段と、自装置の位置を示す位置データを取得する位置取得手段と、自装置の位置を含むエリアの地図を表す地図データを取得する地図取得手段とを備え、前記表示指示手段は、前記地図データが表す地図に、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記位置データが示す位置を示す表示物を付加した画像を、前記表示装置に表示させる端末装置を第１２の態様として提供する。
【００３９】
第１２の態様に係る端末装置によれば、ユーザは、通信相手の装置のユーザにより選択された画像が撮影された場所を知ることができる。
【００４０】
第１２の態様に係る端末装置において、前記動画取得手段は、動画データと共に、当該動画データが表す動画を構成する複数の画像の各々の撮影方向を示す撮影方向データを取得し、前記表示指示手段は、前記地図データが表す地図に、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記撮影方向データが示す撮影方向を示す表示物を付加した画像を、前記表示装置に表示させる、という構成が第１３の態様として採用されてもよい。
【００４１】
第１３の態様に係る端末装置によれば、ユーザは、通信相手の装置のユーザにより選択された画像の撮影方向を知ることができる。
【００４２】
また、本発明は、撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、前記通信相手の装置から送信されてくる画像を識別する画像識別データを受信する受信手段と、前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち、前記受信手段が受信した画像識別データにより識別される画像を表示装置に表示させる表示指示手段と、自装置の位置を示す位置データを取得する位置取得手段と、前記位置取得手段が最後に取得した位置データが示す自装置の位置から、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記位置データが示す位置までの移動経路を示す移動経路データを取得する移動経路取得手段とを備え、前記表示指示手段は、前記移動経路データが示す移動経路を示す表示物を前記表示装置に表示させる端末装置を第１４の態様として提供する。
【００４３】
第１４の態様に係る端末装置によれば、ユーザは、現在の位置から、通信相手の装置のユーザにより選択された画像が撮影された場所まで移動するための移動経路を知ることができる。
【００４６】
また、本発明は、撮影装置により撮影された動画を表す動画データを取得する動画取得手段と、前記動画取得手段により取得される動画データをリアルタイムに通信相手の装置に送信する送信手段と、前記動画取得手段により取得された動画データのうち少なくとも直近の過去の所定量に応じた部分を記憶する記憶手段と、前記通信相手の装置から送信されてくる画像を識別する画像識別データを受信する受信手段と、前記記憶手段が記憶している動画データが表す動画を構成する複数の画像のうち、前記受信手段が受信した画像識別データにより識別される画像を表示装置に表示させる表示指示手段と、自装置の位置を示す位置データを取得する位置取得手段と、前記位置取得手段が最後に取得した位置データが示す自装置の位置から、前記受信手段が受信した画像識別データにより識別される画像の撮影タイミングに応じた前記位置データが示す位置までの移動経路を示す移動経路データを取得する移動経路取得手段と、前記移動経路データが示す移動経路に従い移動する移動手段とを備える端末装置を第１５の態様として提供する。
【００４７】
第１５の態様に係る端末装置によれば、通信相手の装置のユーザは自分が選択した画像を通信相手の装置に送ることで、当該画像が撮影された場所へ当該端末装置を移動させることができる。
【００４８】
また、本発明は、コンピュータを、第１の態様に係る端末装置が備える受信手段、記憶手段、操作受付手段、表示指示手段、選択画像取得手段、及び、送信手段として機能させるためのプログラムを第１６の態様として提供する。
また、本発明は、コンピュータを、第２乃至第４のいずれかの態様に係る端末装置が備える受信手段、操作受付手段、表示指示手段、選択画像取得手段、及び、送信手段として機能させるためのプログラムを第１７の態様として提供する。
【００４９】
第１６の態様に係るプログラムによれば、コンピュータにより第１の態様に係る端末装置が実現される。
第１７の態様に係るプログラムによれば、コンピュータにより第２乃至第４のいずれかの態様に係る端末装置が実現される。
【００５０】
また、本発明は、コンピュータを、第９の態様に係る端末装置が備える動画取得手段、送信手段、記憶手段、受信手段、及び、表示指示手段として機能させるためのプログラムを第１８の態様として提供する。
また、本発明は、コンピュータを、第１２の態様に係る端末装置が備える動画取得手段、送信手段、記憶手段、受信手段、表示指示手段、位置取得手段、及び、地図取得手段として機能させるためのプログラムを第１９の態様として提供する。
また、本発明は、コンピュータを、第１４の態様に係る端末装置が備える動画取得手段、送信手段、記憶手段、受信手段、表示指示手段、位置取得手段、及び、移動経路取得手段として機能させるためのプログラムを第２０の態様として提供する。
【００５１】
第１８の態様に係るプログラムによれば、コンピュータにより第９の態様に係る端末装置が実現される。
第１９の態様に係るプログラムによれば、コンピュータにより第１２の態様に係る端末装置が実現される。
第２０の態様に係るプログラムによれば、コンピュータにより第１３の態様に係る端末装置が実現される。
【図面の簡単な説明】
【００５２】
【図１】一実施形態に係るシステムの全体構成を示した図。
【図２】一実施形態に係る端末装置を実現するためのコンピュータの構成を示した図。
【図３】一実施形態に係る端末装置の機能構成を示した図。
【図４】一実施形態に係る依頼元ユーザが使用する端末装置が表示する画面を示した図。
【図５】一実施形態に係る依頼先ユーザが使用する端末装置が表示する画面を示した図。
【発明を実施するための形態】
【００５３】
［実施形態］
以下に本発明の一実施形態に係るシステム１を説明する。システム１は、遠隔代行サービスのプラットフォームとしての役割を果たすシステムである。図１は、システム１の全体構成を示した図である。システム１は、端末装置１１Ａと、端末装置１１Ｂと、管理サーバ装置１２と、ルート検索サーバ装置１３と、翻訳サーバ装置１４と、音声合成サーバ装置１５と、音声認識サーバ装置１６を備える。システム１を構成するこれらの装置は、ネットワーク９を介して互いに通信可能である。
【００５４】
端末装置１１Ａは、遠隔代行サービスの依頼元ユーザが使用する端末装置である。端末装置１１Ｂは、遠隔代行サービスの依頼先ユーザが使用する端末装置である。図１において、端末装置１１Ａと端末装置１１Ｂは各１つのみ示されているが、実際にはシステム１を利用するユーザの数に応じてこれらの端末装置の数は変化する。
【００５５】
管理サーバ装置１２は、システム１のユーザの管理、依頼元ユーザと依頼先ユーザの間のマッチングの支援、依頼元ユーザの端末装置１１Ａと依頼先ユーザの端末装置１１Ｂとの間の通信接続の確立等を行うサーバ装置である。
【００５６】
ルート検索サーバ装置１３は、任意の装置から、出発地及び目的地の位置を示す位置データを含む要求を受信すると、当該要求に応じて、出発地から目的地までの移動経路を特定し、特定した移動経路を示す移動経路データと、特定した移動経路を含むエリアの地図を表す地図データとを要求元の装置に送信するサーバ装置である。
【００５７】
翻訳サーバ装置１４は、任意の装置から、文章を示すテキストデータと、当該文章の翻訳先の言語を示す言語指定データとを含む要求を受信すると、当該要求に応じて、テキストデータが示す文章を言語指定データが示す言語に翻訳し、翻訳した文章を示すテキストデータを要求元の装置に送信するサーバ装置である。
【００５８】
音声合成サーバ装置１５は、任意の装置から、文章を示すテキストデータを含む要求を受信すると、当該要求に応じて、テキストデータが示す文章を発声した音声を合成し、合成した音声を表す音声データを要求元の装置に送信するサーバ装置である。
【００５９】
音声認識サーバ装置１６は、任意の装置から、音声を表す音声データを含む要求を受信すると、当該要求に応じて、音声データが表す音声を認識し、認識した文章を示すテキストデータを要求元の装置に送信するサーバ装置である。
【００６０】
管理サーバ装置１２、ルート検索サーバ装置１３、翻訳サーバ装置１４、音声合成サーバ装置１５、及び、音声認識サーバ装置１６の各々は、１台又は連係動作する複数台のコンピュータにより実現される。これらのサーバ装置を実現するためのコンピュータは、例えば、プロセッサ、メモリ、及び、通信インタフェースを備える一般的なサーバ装置用のコンピュータである。
【００６１】
端末装置１１Ａは、デスクトップ型ＰＣ（Personal Computer）、ノートブック型ＰＣ、タブレット型ＰＣ、スマートホン、等の端末装置用のコンピュータが、本実施形態に係る依頼元ユーザの端末装置用のプログラムに従う処理を実行することにより実現される。端末装置１１Ａは依頼元ユーザにより使用されるため、端末装置１１Ａを実現するためのコンピュータは必ずしも携帯可能でなくてよい。端末装置１１Ａを実現するためのコンピュータは、依頼元ユーザの音声を拾音するマイク（拾音装置の一例）、依頼元ユーザの操作を受け付けるキーボード等（操作装置の一例）、依頼元ユーザに各種情報を表示するディスプレイ（表示装置の一例）、依頼元ユーザに対し音を発するスピーカ等（発音装置の一例）、依頼元ユーザの姿等を撮影するカメラ（撮影装置の一例）、自装置の地球上の位置（例えば、緯度・経度）を測定するＧＮＳＳ（Global Navigation Satellite System）ユニット（位置測定装置の一例）を内蔵するか、もしくは、これらの装置と接続され、これらの装置との間でデータの受け渡しが可能である。
【００６２】
端末装置１１Ｂは、タブレット型ＰＣ、スマートホン、等の端末装置用のコンピュータが、本実施形態に係る依頼先ユーザの端末装置用のプログラムに従う処理を実行することにより実現される。端末装置１１Ｂは現地で移動する必要がある依頼先ユーザにより使用されるため、端末装置１１Ｂを実現するためのコンピュータは携帯可能である必要がある。端末装置１１Ｂを実現するためのコンピュータは、依頼先ユーザの音声を拾音するマイク（拾音装置の一例）、依頼先ユーザの操作を受け付けるタッチパネル等（操作装置の一例）、依頼先ユーザに各種情報を表示するディスプレイ（表示装置の一例）、依頼先ユーザに対し音を発するスピーカ等（発音装置の一例）、依頼先ユーザの周囲等を撮影するカメラ（撮影装置の一例）、自装置の地球上の位置（例えば、緯度・経度）を測定するＧＮＳＳユニット（位置測定装置の一例）、自装置のカメラの撮影方向の方位を測定する方位センサ（方位測定装置の一例）を内蔵するか、もしくは、これらの装置と接続され、これらの装置との間でデータの受け渡しが可能である。
【００６３】
上記のように、端末装置１１Ａを実現するためのコンピュータと、端末装置１１Ｂを実現するためのコンピュータは、要求される仕様が異なるが、以下の説明においては、便宜的に、端末装置１１Ａを実現するためのコンピュータと、端末装置１１Ｂを実現するためのコンピュータは同じ仕様であるものとする。
【００６４】
図２は、端末装置１１Ａ又は端末装置１１Ｂを実現するためのコンピュータ１０の構成を示した図である。コンピュータ１０は、プログラムに従う各種データ処理を行うプロセッサ１０１と、プログラムを含む各種データを記憶するメモリ１０２と、他の装置との間でデータ通信を行う通信インタフェース１０３と、ユーザインタフェースの役割を果たすタッチスクリーン１０４と、周囲の音を拾音するマイク１０５と、発音を行うスピーカ１０６と、撮影を行うカメラ１０７と、自装置の位置を測定するＧＮＳＳユニット１０８と、カメラ１０７の撮影方向の方位を測定する方位センサ１０９を備える。
【００６５】
なお、タッチスクリーン１０４は、例えば液晶ディスプレイとタッチパネルが積層されたデバイスで、ユーザに対する画像等の表示と、ユーザがコンピュータ１０に対し行うタッチ操作の受付とを行う。
【００６６】
端末装置１１Ａの機能と端末装置１１Ｂの機能は一部異なっているが、それらの機能の多くは共通している。従って、以下の説明においては、便宜的に、端末装置１１Ａが備える機能的構成と、端末装置１１Ｂが備える機能的構成は共通しているものとする。例えば、端末装置１１Ａは、以下に説明する方位測定装置１１０５を備えなくてもよい。また、例えば、端末装置１１Ａが備える受信手段１１１と端末装置１１Ｂが備える受信手段１１１では、受信するデータが異なる。これらの差異は、図４及び図５を用いて後述する端末装置１１Ａと端末装置１１Ｂの動作の説明により明らかにされる。
【００６７】
図３は、端末装置１１Ａ又は端末装置１１Ｂの機能構成を示した図である。記憶手段１１０は、メモリ１０２により実現され、各種データを記憶する。受信手段１１１は、通信インタフェース１０３により実現され、各種データを他の装置から受信する。
【００６８】
表示装置１１０１は、タッチスクリーン１０４により実現され、画像を表示する。表示指示手段１１２は、プロセッサ１０１により実現され、表示装置１１０１に画像を表示させる。発音装置１１０２は、スピーカ１０６により実現され、音を発音する。発音指示手段１１３は、プロセッサ１０１により実現され、発音装置１１０２に音を発音させる。
【００６９】
操作装置１１０３は、タッチスクリーン１０４により実現され、ユーザの操作を物理的に受け付ける。操作受付手段１１４は、プロセッサ１０１により実現され、操作装置１１０３が受け付けた物理的な操作の内容を特定することで、ユーザの操作をソフトウェア的に受け付ける。選択画像取得手段１１５は、プロセッサ１０１により実現され、受信手段１１１が他の装置から受信した動画データが表す動画を構成する複数の画像（静止画）のうち選択対象の画像を識別する画像識別データを取得する。
【００７０】
送信手段１１６は、通信インタフェース１０３により実現され、各種データを他の装置に送信する。
【００７１】
撮影装置１１０４は、カメラ１０７により実現され、撮影を行い動画を表す動画データを生成する。動画取得手段１１７は、撮影装置１１０４が生成した動画データを取得する。方位測定装置１１０５は、方位センサ１０９により実現され、撮影装置１１０４の撮影方向を測定し、測定結果を示す撮影方向データを生成する。動画取得手段１１７は、方位測定装置１１０５が生成した撮影方向データを取得し、撮影装置１１０４から取得した動画データに対応付ける。
【００７２】
拾音装置１１０６は、マイク１０５により実現され、周りの音を拾音し、主にユーザの音声を表す音声データを生成する。音声取得手段１１８は、拾音装置１１０６が生成した音声データを取得する。なお、動画取得手段１１７が取得した動画データ（撮影方向データが対応付けられた動画データ）と、音声取得手段１１８が取得した音声データは、同期された音声付き動画データ（以下、単に「動画データ」という）に合成される。
【００７３】
位置測定装置１１０７は、ＧＮＳＳユニット１０８により実現され、自装置の位置を測定し、測定結果を示す位置データを生成する。位置取得手段１１９は、プロセッサ１０１により実現され、位置測定装置１１０７により生成された位置データを取得する。
【００７４】
本実施形態において、例として、依頼元ユーザは日本語を使用し、依頼先ユーザは英語を使用するものとする。
【００７５】
この場合、端末装置１１Ｂの送信手段１１６は、端末装置１１Ａから受信した日本語の文章を示すテキストデータを含む要求を翻訳サーバ装置１４に送信し、端末装置１１Ｂの受信手段１１１は、その応答として翻訳サーバ装置１４から送信されてくる英語の文章を示すテキストデータを受信する。すなわち、端末装置１１Ｂの送信手段１１６と受信手段１１１は、自装置のユーザが使用する言語ではない言語の文章を示すテキストデータを取得した場合、当該テキストデータが示す文章をユーザが使用する言語に翻訳した文章を示すテキストデータを取得する翻訳手段の役割を果たす。
【００７６】
また、端末装置１１Ｂの送信手段１１６は、端末装置１１Ｂの受信手段１１１が翻訳サーバ装置１４から受信した英語の文章を示すテキストデータを含む要求を音声合成サーバ装置１５に送信し、端末装置１１Ｂの受信手段１１１は、その応答として音声合成サーバ装置１５から送信されてくる英語の文章を発声した音声を表す音声データを受信する。すなわち、端末装置１１Ｂの送信手段１１６と受信手段１１１は、自装置のユーザが使用する言語ではない言語の文章を示すテキストデータを取得した場合、当該テキストデータが示す文章をユーザが使用する言語に翻訳した文章を発声した音を表す音声データを取得する通訳手段の役割を果たす。
【００７７】
また、端末装置１１Ｂの送信手段１１６は、位置取得手段１１９が取得した位置データのうち、最新の位置データを出発地の位置データとし、端末装置１１Ｂの受信手段１１１が端末装置１１Ａから受信した画像識別データにより識別される画像の撮影タイミングに応じた位置データを目的地の位置データとして含む要求をルート検索サーバ装置１３に送信し、端末装置１１Ｂの受信手段１１１は、その応答としてルート検索サーバ装置１３から送信されてくる移動経路データ及び地図データを受信する。
【００７８】
すなわち、端末装置１１Ｂの送信手段１１６と受信手段１１１は、自装置の位置を含むエリアの地図を表す地図データを取得する地図取得手段の役割を果たす。また、端末装置１１Ｂの送信手段１１６と受信手段１１１は、端末装置１１Ｂの位置取得手段１１９が最後に取得した位置データが示す自装置の位置から、端末装置１１Ｂの受信手段１１１が受信した画像識別データにより識別される画像の撮影タイミングに応じた位置データが示す位置までの移動経路を示す移動経路データを取得する移動経路取得手段の役割を果たす。
【００７９】
続いて、端末装置１１Ａと端末装置１１Ｂの動作を説明する。以下の説明において、端末装置１１Ａと端末装置１１Ｂは、例えば管理サーバ装置１２の指示に従い、通信接続を確立しているものとする。
【００８０】
図４は、端末装置１１Ａが表示する画面（以下、「依頼元画面」という）を例示した図である。依頼元画面の領域Ａ０１には、端末装置１１Ｂから端末装置１１Ａに送信されてくる動画データが表す動画が実質的にリアルタイムに表示される。
【００８１】
依頼元画面の領域Ａ０２内のテキストボックスには、端末装置１１Ａが端末装置１１Ｂから受信したメッセージデータを含む要求を翻訳サーバ装置１４に送信した応答として翻訳サーバ装置１４から受信したテキストデータが示す日本語の文章が表示される。
【００８２】
領域Ａ０２内のテキストボックスに文章が表示されるとき、端末装置１１Ａの発音装置１１０２から、その文章を発声した音声が発音される。発音装置１１０２が発音する音声は、端末装置１１Ａが領域Ａ０２のテキストボックスに表示される文章を示すテキストデータを含む要求を音声合成サーバ装置１５に送信した応答として音声合成サーバ装置１５から受信した音声データが表す音声である。依頼元ユーザは、領域Ａ０２内の「再生」ボタンに対しタッチ操作を行うことで、その音声を発音装置１１０２に繰り返し発音させることができる。
【００８３】
依頼元画面の領域Ａ０３には、依頼元ユーザが領域Ａ０１に表示された動画を構成する複数の画像から選択した画像が表示される。依頼元ユーザは、領域Ａ０１にタッチ操作を行うことで、タッチ操作を行った時に領域Ａ０１に表示されていた画像を選択することができる。そのように選択された画像は、領域Ａ０３に表示される。
【００８４】
また、依頼元ユーザは、領域Ａ０１において、動画上に表示されるタイムバーＰ０１上のノブＰ０２を左右方向にドラッグすることによって、直近の過去の所定時間に領域Ａ０１に表示された動画を構成する画像のうち、ノブＰ０２の左右方向における位置に応じたタイミングの画像のサムネイルＰ０３をノブＰ０２の近傍に表示させることができる。そのため、端末装置１１Ａの記憶手段１１０は、受信手段１１１が端末装置１１Ｂから受信した動画データのうち、直近の過去の所定時間に応じた部分を記憶している。依頼元ユーザは、サムネイルＰ０３にタッチ操作を行うことで、タッチ操作が行われた時に表示されていたサムネイルＰ０３に応じた画像を選択することができる。そのように選択された画像は、領域Ａ０３に表示される。
【００８５】
依頼元画面の領域Ａ０４には、依頼元ユーザにより選択され、領域Ａ０３に表示された画像のうち、依頼元ユーザにより領域Ａ０３から領域Ａ０４にドラッグアンドドロップされた画像のサムネイルが表示される。領域Ａ０４にサムネイルが表示されている画像は、依頼元ユーザにより選択対象の候補の画像として選択されている画像である。依頼元ユーザは、領域Ａ０４に表示されている１以上のサムネイルのいずれかを領域Ａ０４から領域Ａ０３のドラッグアンドドロップすることで、そのサムネイルに応じた画像を領域Ａ０３に表示させることができる。
【００８６】
依頼元画面の領域Ａ０５には、複数の仮想的な操作ボタンが表示される。それらの操作ボタンのうち、左側の４つの操作ボタンは、依頼元ユーザが依頼先ユーザに定型のメッセージを伝えるための操作ボタンである。図４に表示されているそれら４つの操作ボタンには、左から順に、「それは何ですか？」、「それの値段はいくらですか？」、「それをもっとよく見せて下さい。」、「それを買って下さい。」というメッセージが対応付けられている。
【００８７】
依頼元ユーザは、予め、これらの操作ボタンを複数セット、端末装置１１Ａに登録しておくことができ、領域Ａ０５に表示される上矢印ボタン、又は、下矢印ボタンにタッチ操作することで、それらの操作ボタンのセットを切り替えることができる。管理サーバ装置１２には、様々な操作ボタンのセットが記憶されており、依頼元ユーザはそれらのセットの中から、遠隔代行サービスにおいて使用頻度の高い操作ボタンを含むセットを端末装置１１Ａにダウンロードすることができる。また、依頼元ユーザは、新たに操作ボタンのセットを作成したり、管理サーバ装置１２から端末装置１１Ａにダウンロードしたセットに含まれる操作ボタンに対応付けられているメッセージを変更したりできる。
【００８８】
依頼元ユーザが、領域Ａ０５に表示されている左側の４つの操作ボタンのいずれかにタッチ操作を行うと、端末装置１１Ａはタッチ操作が行われた操作ボタンに対応付けられているメッセージを示すメッセージデータを端末装置１１Ｂに送信する。
【００８９】
依頼元ユーザが、領域Ａ０５に表示されている左側の４つの操作ボタンのいずれかに、領域Ａ０３に表示されている画像をドラッグアンドドロップすると、端末装置１１Ａはドラッグアンドドロップされた画像を識別する画像識別データと、依頼元ユーザがその画像をドラッグアンドドロップした時にタッチしていた画像内の領域（例えば、タッチした位置を中心とする所定の大きさ及び形状の領域）を示す領域データと、ドラッグアンドドロップ先の操作ボタンに対応付けられているメッセージを示すメッセージデータとを対応付けて、それらを端末装置１１Ｂに送信する。なお、画像識別データとしては、例えば、動画データが表す動画を構成する画像のフレーム番号を示すデータが利用可能であるが、これに限られない。
【００９０】
依頼元ユーザが、領域Ａ０５の一番右に表示されている「送信」ボタンにタッチ操作を行うと、端末装置１１Ａは、タッチ操作が行われた時に領域Ａ０３に表示されていた画像を識別する画像識別データを端末装置１１Ｂに送信する。また、依頼元ユーザが、領域Ａ０５内の「送信」ボタンに、領域Ａ０３に表示されている画像をドラッグアンドドロップすると、端末装置１１Ａはドラッグアンドドロップされた画像を識別する画像識別データと、依頼元ユーザがその画像をドラッグアンドドロップした時にタッチしていた画像内の領域を示す領域データとを対応付けて、それらを端末装置１１Ｂに送信する。
【００９１】
依頼元画面の領域Ａ０６には、依頼元ユーザが依頼先ユーザに送りたい不定形のメッセージを入力するためのテキストボックスＰ０４等が表示される。依頼元ユーザは、領域Ａ０６内の「音声」ボタンにタッチ操作を行った後、端末装置１１Ａに対しメッセージを発声することで、発声したメッセージを示すテキストをテキストボックスＰ０４に入力できる。その際、端末装置１１Ａは、音声取得手段１１８により取得した音声データを含む要求を音声認識サーバ装置１６に送信し、その応答として音声認識サーバ装置１６から送信されてくるテキストデータの内容をテキストボックスＰ０４に表示する。
【００９２】
また、依頼元ユーザが領域Ａ０６内の「キー」ボタンにタッチ操作を行うと、端末装置１１Ａは仮想キーボードを表示する。依頼元ユーザは、表示された仮想キーボードに対しタッチ操作を行うことで、テキストボックスＰ０４にメッセージを入力することができる。
【００９３】
依頼元ユーザが、テキストボックスＰ０４にメッセージを入力した後、領域Ａ０６内の「送信」ボタンにタッチ操作を行うと、端末装置１１Ａは、テキストボックスＰ０４に入力されているメッセージを示すメッセージデータを端末装置１１Ｂに送信する。また、依頼元ユーザが、領域Ａ０６内の「送信」ボタン、又は、テキストボックスＰ０４に、領域Ａ０３に表示されている画像をドラッグアンドドロップすると、端末装置１１Ａはドラッグアンドドロップされた画像を識別する画像識別データと、依頼元ユーザがその画像をドラッグアンドドロップした時にタッチしていた画像内の領域を示す領域データと、テキストボックスＰ０４に入力されているメッセージを示すメッセージデータとを対応付けて、それらを端末装置１１Ｂに送信する。
【００９４】
依頼元画面の領域Ａ０７には、依頼元ユーザが依頼先ユーザに対し、移動の方向等を指示するための仮想的な操作ボタンが表示される。領域Ａ０７内の上矢印ボタンには「前進して下さい」というメッセージを示すメッセージデータが対応付けられており、下矢印ボタンには「後退して下さい」というメッセージを示すメッセージデータが対応付けられている。また、領域Ａ０７内の右回転矢印には「右方向に回転して下さい」というメッセージを示すメッセージデータが対応付けられており、左回転矢印には「左方向に回転して下さい」というメッセージを示すメッセージデータが対応付けられている。依頼元ユーザがこれらの操作ボタンのいずれかにタッチ操作を行うと、端末装置１１Ａはタッチ操作が行われた操作ボタンに対応付けられているメッセージデータを端末装置１１Ｂに送信する。
【００９５】
依頼元画面の領域Ａ０８には、依頼先ユーザ（端末装置１１Ｂ）の現在位置を示す地図が表示される。そのため、端末装置１１Ａは、所定の時間間隔で端末装置１１Ｂから送信されてくる、端末装置１１Ｂの現在位置を示す位置データを受信している。端末装置１１Ａは、端末装置１１Ｂから受信した位置データを含む要求をルート検索サーバ装置１３に送信し、その応答としてルート検索サーバ装置１３から送信されてくる地図データを用いて、領域Ａ０８に地図を表示する。端末装置１１Ａは、端末装置１１Ｂから送信されてくる最新の位置データが示す依頼先ユーザの現在位置を示す丸印を地図上に付加すると共に、端末装置１１Ｂから送信されてくる位置データが示す依頼先ユーザの位置の経時変化に基づき依頼先ユーザの移動方向を特定し、特定した移動方向を示す矢印を地図上に付加して、領域Ａ０８に表示する。
【００９６】
依頼元画面の領域Ａ０９には、依頼元ユーザが、自分の現在位置を依頼先ユーザに「あいまい」に伝えるか、「はっきり」と伝えるか、を選択するためのラジオボタンが表示される。依頼元ユーザが、領域Ａ０９において「あいまい」を選択すると、端末装置１１Ａは所定の時間間隔で、自装置の現在位置をあいまいに示す位置データを端末装置１１Ｂに送信する。一方、依頼元ユーザが、領域Ａ０９において「はっきり」を選択すると、端末装置１１Ａは所定の時間間隔で、自装置の現在位置をはっきりと示す位置データを端末装置１１Ｂに送信する。ここで、現在位置をあいまいに示す位置データとは、例えば、現在位置を数百メートルオーダーの精度で示すデータである。これに対し、現在位置をはっきりと示す位置データとは、例えば、現在位置を数メートルオーダーの精度で示すデータである。
【００９７】
依頼元画面の領域Ａ１０には、依頼元ユーザの現在の状態を依頼先ユーザに伝えるためのリストボックスが表示される。領域Ａ１０の上側のリストボックスには、例えば、「嬉しい」、「悲しい」、「怒っている」などの気分を示す複数のアイコンが選択肢としてリスト表示される。領域Ａ１０の下側のリストボックスには、例えば、「とても体力が残っている」、「まあまあ体力が残っている」、「あまり体力が残っていない」、「全然体力が残っていない」などの体力の状態を示す複数のアイコンが選択肢としてリスト表示される。依頼元ユーザが、これらのリストボックスにおいて自分の現在の状態を示すアイコンを変更すると、端末装置１１Ａは、変更後のアイコンを識別するアイコン識別データを端末装置１１Ｂに送信する。
【００９８】
依頼元画面の領域Ａ１１には、依頼先ユーザの現在の状態を示すアイコンが表示される。依頼先ユーザは、依頼元ユーザと同様に、端末装置１１Ｂの画面に表示されるリストボックスにおいて自分の現在の状態を示すアイコンを変更することができる。それらのアイコンが変更されると、端末装置１１Ｂから端末装置１１Ａに、変更後のアイコンを識別するアイコン識別データが送信されてくる。端末装置１１Ａは、そのように端末装置１１Ｂから送信されてくるアイコン識別データにより識別されるアイコンを領域Ａ１１に表示する。
【００９９】
図５は、端末装置１１Ｂが表示する画面（以下、「依頼先画面」という）を例示した図である。依頼先画面には、上述した依頼元画面（図４）と共通又は類似の表示物を表示する領域が含まれている。図５において、依頼先画面に含まれる、依頼元画面と共通又は類似の表示物を表示する領域には、下２桁の数字が同じ符号が付されている。
【０１００】
依頼先画面の領域Ｂ０１には、端末装置１１Ａから端末装置１１Ｂに送信されてくる動画データが表す動画が実質的にリアルタイムに表示される。
【０１０１】
依頼先画面の領域Ｂ０２内のテキストボックスには、端末装置１１Ｂが端末装置１１Ａから受信したメッセージデータを含む要求を翻訳サーバ装置１４に送信した応答として翻訳サーバ装置１４から受信したテキストデータが示す英語の文章が表示される。
【０１０２】
依頼元画面の領域Ａ０２内のテキストボックスに文章が表示されるときと同様に、依頼先画面の領域Ｂ０２内のテキストボックスに文章が表示されるとき、端末装置１１Ｂの発音装置１１０２から、その文章を発声した音声が発音される。依頼先ユーザは、領域Ｂ０２内の「Playback」ボタンに対しタッチ操作を行うことで、その音声を発音装置１１０２に繰り返し発音させることができる。
【０１０３】
依頼先画面の領域Ｂ０５には、複数の仮想的な操作ボタンが表示される。それらの操作ボタンは、依頼先ユーザが依頼元ユーザに定型のメッセージを伝えるための操作ボタンであり、各操作ボタンには異なるメッセージが対応付けられている。領域Ｂ０５に表示される操作ボタンは、依頼元画面の領域Ａ０５に表示される操作ボタン（「送信」ボタンを除く）と同様に、依頼先ユーザがカスタマイズできる。
【０１０４】
依頼先ユーザが、領域Ｂ０５に表示されている操作ボタンのいずれかにタッチ操作を行うと、端末装置１１Ｂはタッチ操作が行われた操作ボタンに対応付けられているメッセージを示すメッセージデータを端末装置１１Ａに送信する。
【０１０５】
依頼先画面の領域Ｂ０６には、依頼先ユーザが依頼元ユーザに送りたい不定形のメッセージを入力するためのテキストボックス等が表示される。領域Ｂ０６においてテキストボックスに対し画像をドラッグアンドドロップすることができない点を除き、依頼先画面の領域Ｂ０６に含まれる表示物の役割は、依頼元画面の領域Ａ０６に含まれる表示物の役割と共通しているので、それらの説明を省略する。
【０１０６】
依頼先画面の領域Ｂ０８には、依頼元ユーザ（端末装置１１Ａ）の現在位置を示す地図が表示される。そのため、端末装置１１Ｂは、所定の時間間隔で端末装置１１Ａから送信されてくる、端末装置１１Ａの現在位置を示す位置データを受信している。端末装置１１Ｂは、端末装置１１Ａから受信した位置データを含む要求をルート検索サーバ装置１３に送信し、その応答としてルート検索サーバ装置１３から送信されてくる地図データを用いて、領域Ｂ０８に地図を表示する。端末装置１１Ｂが領域Ｂ０８に表示する地図の画像を生成する方法は、端末装置１１Ａが領域Ａ０８に表示する地図の画像を生成する方法と同様であるので、その説明を省略する。
【０１０７】
依頼先画面の領域Ｂ０９には、依頼先ユーザが、自分の現在位置を依頼元ユーザに「あいまい」に伝えるか、「はっきり」と伝えるか、を選択するためのラジオボタンが表示される。依頼先画面の領域Ｂ０９に含まれるラジオボックスの役割は、依頼元画面の領域Ａ０９に含まれるラジオボタンの役割と共通しているので、その説明を省略する。
【０１０８】
依頼先画面の領域Ｂ１０には、依頼先ユーザの現在の状態を依頼元ユーザに伝えるためのリストボックスが表示される。依頼先画面の領域Ｂ１０に含まれるリストボックスの役割は、依頼元画面の領域Ａ１０に含まれるリストボックスの役割と共通しているので、その説明を省略する。
【０１０９】
依頼先画面の領域Ｂ１１には、依頼元ユーザの現在の状態を示すアイコンが表示される。依頼先画面の領域Ｂ１１に含まれるアイコンの役割は、依頼元画面の領域Ａ１１に含まれるアイコンの役割と共通しているので、その説明を省略する。
【０１１０】
依頼先画面の領域Ｂ１２には、端末装置１１Ａから端末装置１１Ｂに送信されてくる画像識別データにより識別される画像が表示される。すなわち、領域Ｂ１２に表示される画像は、依頼元ユーザが動画の中から選択した画像（静止画）である。端末装置１１Ｂが端末装置１１Ａから受信した画像識別データに領域データが対応付けられていた場合、端末装置１１Ｂは画像識別データにより識別される画像に、領域データが示す領域を示す表示物（図５の破線の丸）を付加した画像を、領域Ｂ１２に表示する。
【０１１１】
依頼先画面の領域Ｂ１３内のテキストボックスには、端末装置１１Ｂが端末装置１１Ａから受信した画像識別データにメッセージデータが対応付けられていた場合、端末装置１１Ｂがそのメッセージデータを含む要求を翻訳サーバ装置１４に送信した応答として翻訳サーバ装置１４から受信したテキストデータが示す英語の文章が表示される。領域Ｂ１３内のテキストボックスにメッセージが表示される際、端末装置１１Ｂはそのメッセージの音声が発音する。依頼先ユーザは、領域Ｂ１３内の「Playback」ボタンにタッチ操作をすることで、その音声を繰り返し聴くことができる。
【０１１２】
依頼先画面の領域Ｂ１４には、依頼先ユーザ（端末装置１１Ｂ）の現在位置から、領域Ｂ１２に表示されている画像の撮影位置までの移動経路と、その画像の撮影方向を示す地図が表示される。端末装置１１Ｂは、位置取得手段１１９が最後に取得した位置データを出発地の位置データとし、領域Ｂ１２に表示している画像の撮影時刻において位置取得手段１１９が取得した位置データを目的地の位置データとして含む要求をルート検索サーバ装置１３に送信し、その応答としてルート検索サーバ装置１３から送信されてくる地図データ及び移動経路データを受信する。端末装置１１Ｂは、ルート検索サーバ装置１３から受信した地図データが表す地図に対し、ルート検索サーバ装置１３から受信した移動経路データが示す移動経路を示す破線と、依頼先ユーザの現在位置を示す丸印と、依頼先ユーザの移動方向を示す矢印と、領域Ｂ１２に表示している画像の撮影方向を示す扇印とを付加した画像を生成し、領域Ｂ１２に表示する。
【０１１３】
依頼先ユーザは、例えば依頼元ユーザから、領域Ｂ１２に表示されている画像に写っている物（例えば、領域Ｂ１２において破線の丸で示される領域に写っている物）を買って欲しい、といったリクエストを受けた場合、領域Ｂ１４に表示される移動経路に従って移動することで、依頼元ユーザから指示された物のある場所に容易に辿り着くことができる。また、依頼先ユーザは、辿り着いた場所において、領域Ｂ１２に表示される画像を見ながら、依頼元ユーザにより指示された物を容易に特定できる。
【０１１４】
上述した実施形態に係るシステム１によれば、依頼元ユーザは、依頼先ユーザから送られてくる動画の中の画像を依頼先ユーザに提示することで、依頼先ユーザに何かを行ってもらいたい対象物を依頼先ユーザに容易に伝えることができる。
【０１１５】
また、システム１によれば、操作ボタンに対する操作によって、依頼元ユーザは依頼先ユーザに対し、迅速かつ明確にメッセージを伝えることができる。
【０１１６】
また、システム１によれば、依頼元ユーザと依頼先ユーザの使用する言語が異なっていても、依頼元ユーザと依頼先ユーザの間で意思疎通が行える。
【０１１７】
また、システム１によれば、依頼元ユーザは依頼先ユーザの現在位置及び現在の移動方向を容易に確認できるので、依頼先ユーザに次に移動して欲しい方向等を容易に指示できる。
【０１１８】
また、システム１によれば、依頼元ユーザは、例えば、動画から選択した画像を、メッセージが対応付けられた操作ボタンやメッセージが入力されたテキストボックスに対し、ドラッグアンドドロップする等の容易な操作によって、画像とメッセージを対応付けて依頼先ユーザに送ることができる。また、依頼元ユーザは、画像を操作ボタン等にドラッグアンドドロップする際に、画像に写っている対象物をタッチすることで、その対象物を依頼先ユーザに容易に伝えることができる。
【０１１９】
［変形例］
上述したシステム１は本発明の技術的思想の範囲内で様々に変形されてよい。以下に変形の例を示す。以下の変形例の２以上が適宜、組み合わされてもよい。
【０１２０】
（１）依頼元ユーザが動画の中から選択した画像の画像識別データに代えて、その画像を表す画像データが、端末装置１１Ａから端末装置１１Ｂに送信されてもよい。この場合、端末装置１１Ｂは、端末装置１１Ａから受信した画像データが表す画像を、依頼先画面の領域Ｂ１２に表示する。
【０１２１】
（２）上述した実施形態において、端末装置１１Ａは、端末装置１１Ｂから受信した動画データのうち少なくとも直近の過去の所定時間に応じた部分を記憶する。端末装置１１Ａが端末装置１１Ｂから受信した動画データのうち記憶しておく必要がある部分は所定量に応じた部分であればよく、必ずしも所定時間に応じた部分でなくてもよい。例えば、端末装置１１Ａが、端末装置１１Ｂから受信した動画データのうち少なくとも直近の過去の所定データ量に応じた部分を記憶してもよい。
【０１２２】
（３）端末装置１１Ａが、依頼元ユーザにより選択され、依頼元画面の領域Ａ０３に表示されている画像に写っている物を認識した結果を、領域Ａ０３の画像上に表示してもよい。この場合、端末装置１１Ａは、領域Ａ０３に表示される画像に写っている物を、既知の画像認識技術により認識する画像認識手段を備え、画像認識手段による認識の結果を示す表示物を付加した画像を、領域Ａ０３に表示する。また、画像認識の処理が、例えば、システム１に接続された画像認識サービスを提供するサーバ装置等により行われてもよい。
【０１２３】
（４）端末装置１１Ａと端末装置１１Ｂの間でメッセージを示すメッセージデータが送受信される代わりに、メッセージを識別するメッセージ識別データが送受信されてもよい。この場合、端末装置１１Ａと端末装置１１Ｂは予め定型のメッセージを示すメッセージデータを、端末装置１１Ａと端末装置１１Ｂの間で共通のメッセージ識別データに対応付けて記憶しておく。例えば、端末装置１１Ａは、依頼元ユーザが指定したメッセージのメッセージ識別データを端末装置１１Ｂに送信し、端末装置１１Ｂは端末装置１１Ａから受信したメッセージ識別データにより識別されるメッセージデータが示すメッセージを表示する。同様に、端末装置１１Ｂは、依頼先ユーザが指定したメッセージのメッセージ識別データを端末装置１１Ａに送信し、端末装置１１Ａは端末装置１１Ｂから受信したメッセージ識別データにより識別されるメッセージデータが示すメッセージを表示する。
【０１２４】
（５）上述した実施形態において、端末装置１１Ａ及び端末装置１１Ｂは、相手の装置から文章を示すメッセージデータを受信し、メッセージデータが示す文章を発声した音声を表す音声データを音声合成サーバ装置１５から取得する。これに代えて、又は加えて、端末装置１１Ａと端末装置１１Ｂの間で、メッセージの文章を発声した音を表す音声データがメッセージデータとして送受信されてもよい。
【０１２５】
（６）上述した実施形態において、依頼先ユーザが物理的な動作を行う動作手段を備えるロボット等の装置である場合、端末装置１１Ａから端末装置１１Ｂに対し、装置である依頼先ユーザに対する物理的な動作を指示する動作指示データが、メッセージデータとして送信されてもよい。この場合、装置である依頼先ユーザは、メッセージデータが示す動作指示に従い動作する。また、依頼先ユーザが移動する移動手段を備えるロボット等の装置である場合、装置である依頼先ユーザが、移動経路データが示す移動経路に従い移動してもよい。
【０１２６】
（７）上述した実施形態において、ルート検索サーバ装置１３、翻訳サーバ装置１４、及び、音声合成サーバ装置１５に対し端末装置１１Ａが行うものとした要求の少なくとも一部が、端末装置１１Ｂにより行われてもよい。その場合、端末装置１１Ｂがそれらのサーバ装置から取得したデータを端末装置１１Ａに送信すればよい。同様に、上述した実施形態において、ルート検索サーバ装置１３、翻訳サーバ装置１４、及び、音声合成サーバ装置１５に対し端末装置１１Ｂが行う要求の少なくとも一部が、端末装置１１Ａにより行われてもよい。その場合、端末装置１１Ａがそれらのサーバ装置から取得したデータを端末装置１１Ｂに送信すればよい。
【０１２７】
（８）上述した実施形態において、ルート検索サーバ装置１３、翻訳サーバ装置１４、音声合成サーバ装置１５、及び、音声認識サーバ装置１６が行うものとした処理の少なくとも一部が、端末装置１１Ａ又は端末装置１１Ｂにより行われてもよい。
【０１２８】
（９）上述した実施形態において、依頼元画面（図４）の領域Ａ０７に表示されるものとした操作ボタンは例示であって、他の動作を指示するための操作ボタンが領域Ａ０７に表示されてもよい。例えば、「ジャンプして下さい」といったメッセージが対応付けられた操作ボタンや、「速く前進して下さい」、「ゆっくり前進して下さい」といったメッセージが対応付けられた操作ボタンが、領域Ａ０７に表示されてもよい。
【０１２９】
（１０）上述した実施形態の説明において、依頼元ユーザと依頼先ユーザは１人ずつであるものとしたが、依頼元ユーザと依頼先ユーザの少なくとも一方が複数人であってもよい。その場合、現地代行サービスを行うために同時にデータ通信を行う端末装置の数が３以上となるため、それらの端末装置間のデータ通信を、管理サーバ装置１２が中継してもよい。
【０１３０】
また、依頼元ユーザが複数である場合、それら複数の依頼元ユーザから同時に矛盾する指示が依頼先ユーザに対し行われると不都合が生じる。そのような不都合を回避するため、複数の端末装置１１Ａのうち、１つのみが指示権限を持ち、指示権限を持たない端末装置１１Ａから端末装置１１Ｂに対する画像識別データやメッセージデータの送信が制限されてもよい。
【０１３１】
（１１）上述した実施形態において、依頼元画面（図４）の領域Ａ１０において選択されるアイコンは、依頼元ユーザにより選択される。これに代えて、例えば、依頼元ユーザの顔を端末装置１１Ａが撮影した画像や、端末装置１１Ａが拾音した依頼元ユーザの音声等から、端末装置１１Ａが依頼元ユーザの状態を推定し、推定結果に応じて領域Ａ１０におけるアイコンを端末装置１１Ａが自動選択してもよい。同様に、依頼先ユーザの顔を端末装置１１Ｂが撮影した画像や、端末装置１１Ｂが拾音した依頼先ユーザの音声等から、端末装置１１Ｂが依頼先ユーザの状態を推定し、推定結果に応じて依頼先画面（図５）の領域Ｂ１０におけるアイコンを端末装置１１Ｂが自動選択してもよい。
【０１３２】
なお、領域Ａ１０又は領域Ｂ１０に表示されるユーザの状態の種別は気分及び体力に限られない。
【０１３３】
（１２）システム１を用いて、依頼元ユーザが依頼先ユーザに現地におけるＱＲコード（登録商標）やバーコード等の画像コードを用いた電子決済を依頼可能としてもよい。例えば、端末装置１１Ａが依頼元ユーザの電子決済用の画像コードを端末装置１１Ｂに送信し、現地の店舗の店員等が端末装置１１Ｂに表示される画像コードをコードリーダで読み取ることで、店舗は依頼元ユーザから料金の支払いを受けることができる。
【０１３４】
また、現地の店舗の電子決済用の画像コードを撮影した画像を端末装置１１Ｂが端末装置１１Ａに送信し、端末装置１１Ａに表示される画像コードで識別される店舗に対し、依頼元ユーザが指定された金額を支払う操作を行うことで、店舗は依頼元ユーザから料金の支払いを受けることができる。この場合、店舗は、依頼元ユーザにおいて、指定された料金の支払いの処理が完了したことを、端末装置１１Ａから端末装置１１Ｂに送信される画像により確認することになる。従って、端末装置１１Ａから端末装置１１Ｂに送信される画像が偽装されないように、例えば端末装置１１Ｂにおいて、決済画面に表示されている時刻が現在時刻と実質的に一致しているか否かを判定し、実質的に一致していなければ警告表示を行うようにしてもよい。
【０１３５】
（１３）上述した実施形態においては、依頼元ユーザが依頼先ユーザに動画中のいずれかの画像を提示したい場合、その画像をいったん、依頼元画面の領域Ａ０３に表示させる必要がある。依頼元ユーザが依頼先ユーザに提示したい画像を指定する方法はこれに限られない。例えば、領域Ａ０１に対し、ダブルタップ等の所定の操作を行うことで、領域Ａ０３に画像をいったん表示させることなく、その画像の画像識別データが端末装置１１Ａから端末装置１１Ｂに送信されるようにしてもよい。また、送信元ユーザが、領域Ａ０１から領域Ａ０５の「送信」ボタン等にドラッグアンドドロップ等の操作をすると、動画に表示されている画像の画像識別データが端末装置１１Ａから端末装置１１Ｂに送信されるようにしてもよい。
【０１３６】
（１４）上述した実施形態においては、依頼元ユーザが依頼元画面の領域Ａ０３から領域Ａ０４に画像をドラッグアンドドロップする等の意図的な操作を行うことで、候補の画像を領域Ａ０４に蓄積することができるものとした。これに代えて、依頼元ユーザが領域Ａ０３に表示させた画像が全て、領域Ａ０４に蓄積されるようにしてもよい。その場合、依頼元ユーザが意図的に領域Ａ０４に蓄積した画像にはしおりを付加する等により、自動的に蓄積された画像と意図的に蓄積された画像とが区別されてもよい。
【０１３７】
（１５）依頼先ユーザが、ストリーミング配信のための撮影はよいが、録画が禁止されている場所にいる場合、端末装置１１Ａ及び端末装置１１Ｂにおいて動画の記録（動画を構成する画像の記録を含む）が実行できないようにしてもよい。この場合、例えば管理サーバ装置１１等に、録画禁止のエリアを示す禁止エリアデータと、録画禁止の期間を示す禁止期間データと、例外的に録画が許可される権限者（例えば、録画禁止のイベントの主催者等）の条件を示す許可条件データとを格納するデータベースを記憶しておき、端末装置１１Ａ及び端末装置１１Ｂがそのデータベースを参照することで、動画の録画が禁止されているか否かを判定すればよい。そして、依頼元ユーザ又は依頼先ユーザが、例外的に録画が許可される権限者であれば、その権限者であることの確認（例えば、権限者しか知らない暗証番号の入力等）が行われるようにして、権限者であることが確認できた場合は、端末装置１１Ａ及び端末装置１１Ｂが動画の録画をできるようにすればよい。なお、動画の録画を禁じる方法としては、例えば、端末装置１１Ｂにおいて生成される動画データに、録画を禁じるコードを付加した後、端末装置１１Ａに送信する方法などが考えられる。
【０１３８】
（１６）上述した実施形態において、依頼先ユーザは現在位置から、依頼元ユーザにより提示された画像の撮影位置までの移動経路を、地図上で確認することができる。これに代えて、もしくは加えて、端末装置１１Ｂが、ＡＲ（Augmented Reality）技術を用いて依頼先ユーザに移動経路を表示してもよい。この場合、依頼先ユーザが、端末装置１１Ｂのカメラ１０７を用いて周囲を撮影すると、端末装置１１Ｂのタッチスクリーン１０４には、カメラ１０７により撮影されている画像と共に、移動経路を示す矢印等の表示物が重畳されて表示される。その結果、依頼先ユーザは、より直感的に目的地に辿り着くことができる。
【符号の説明】
【０１３９】
１…システム、９…ネットワーク、１０…コンピュータ、１２…管理サーバ装置、１３…ルート検索サーバ装置、１４…翻訳サーバ装置、１５…音声合成サーバ装置、１６…音声認識サーバ装置、１０１…プロセッサ、１０２…メモリ、１０３…通信インタフェース、１０４…タッチスクリーン、１０５…マイク、１０６…スピーカ、１０７…カメラ、１０８…ＧＮＳＳユニット、１０９…方位センサ、１１０…記憶手段、１１１…受信手段、１１２…表示指示手段、１１３…発音指示手段、１１４…操作受付手段、１１５…選択画像取得手段、１１６…送信手段、１１７…動画取得手段、１１８…音声取得手段、１１９…位置取得手段、１１０１…表示装置、１１０２…発音装置、１１０３…操作装置、１１０４…撮影装置、１１０５…方位測定装置、１１０６…拾音装置、１１０７…位置測定装置。
【要約】
【課題】互いに離れた場所にいるユーザ間の円滑な意思疎通を支援する手段を提供する。
【解決手段】システム１は、依頼先ユーザが依頼元ユーザに代わって依頼元ユーザがいけない場所（現地）に行き、依頼元ユーザに指示されたことを行う遠隔代行サービスを支援するシステムである。システム１は、依頼元ユーザが使用する端末装置１１Ａと、依頼先ユーザが使用する端末装置１１Ｂを備える。端末装置１１Ａは、端末装置１１Ｂが現地で撮影している動画をリアルタイムに表示する。依頼元ユーザが、端末装置１１Ａが表示する動画に含まれる画像を選択すると、選択された画像が端末装置１１Ｂに表示される。依頼先ユーザは、依頼元ユーザが選択した画像を見ながら、その画像に写っている物に関する指示を受けることができる。
【選択図】図１【図１】
0006890868.tif 000002
【図２】
0006890868.tif 000003
【図３】
0006890868.tif 000004
【図４】
0006890868.tif 000005
【図５】
0006890868.tif 000006