(57)【要約】【課題】通訳対象者と遠隔にいる通訳士とのアイコンタクトを実現することができ、かつ、通訳士が現場にいるような臨場感を得ることができる遠隔通訳システムおよび遠隔通訳方法を提供する。【解決手段】映像と音声とを入力する映像音声入力手段１１を含むロボット１０と、通訳士の音声を入力する音声入力手段２１を含む端末装置２０とを備え、端末装置２０は、ロボット１０から取得した映像と音声とを出力する映像音声出力手段２２と、入力した通訳士の音声をもとに、通訳士が訳を伝えていると判断した場合には、訳を伝える人物の方向にロボット１０の正面を向けるための制御信号をロボット１０に送信する通信手段２３とを含み、ロボット１０は、端末装置２０から取得した通訳士の音声を出力する音声出力手段１２と、通訳対象者が発した音声と制御信号とにもとづいて当該ロボット１０の正面の向きを変更する制御手段１３とを含む。【選択図】図１１
2013162209.tif 000002
【特許請求の範囲】
【請求項１】
映像と音声とを入力する映像音声入力手段を含むロボットと、
通訳士の音声を入力する音声入力手段を含み、ネットワークを介して前記ロボットと通信可能な端末装置とを備え、
前記端末装置は、
前記ロボットから取得した映像と音声とを出力する映像音声出力手段と、
入力した通訳士の音声をもとに、予め定められた規則に従って、通訳士が訳を伝えているか否かを判定し、訳を伝えていると判断した場合には、訳を伝える人物の方向に前記ロボットの正面を向けるための制御信号を前記ロボットに送信する通信手段とを含み、
前記ロボットは、
前記端末装置から取得した通訳士の音声を出力する音声出力手段と、
前記映像音声入力手段が音声を入力したときに、音声を発した通訳対象者の方向に当該ロボットの正面が向くように当該ロボットの向きを変更し、前記制御信号を受信した場合には、前記制御信号にもとづいて当該ロボットの向きを変更する制御手段とを含む
ことを特徴とする遠隔通訳システム。
【請求項２】
制御手段は、
映像音声入力手段が取得した映像をもとに、前記映像に含まれる通訳対象者の位置を示す位置情報を取得する話者方向特定手段と、
前記映像に含まれる通訳対象者のうちのいずれかの人物が音声を発した場合には、前記映像音声入力手段が入力した音声をもとに、音声を発した人物を特定し、前記位置情報をもとに、特定した人物の方向にロボットの正面が向くように当該ロボットの向きを調整する話者方向手段とを含む
請求項１に記載の遠隔通訳システム。
【請求項３】
制御手段は、
訳を伝える人物の方向にロボットの正面を向けるための制御信号を受信した場合には、位置情報をもとに、現在ロボットの正面方向にいる通訳対象者とは別の通訳対象者の方向に、当該ロボットの正面が向くように当該ロボットの向きを調整する
請求項２に記載の遠隔通訳システム。
【請求項４】
通信手段は、
音声入力手段が入力した通訳士の音声がうなずき音であるか否かを判定し、
前記通訳士の音声がうなずき音であると判断した場合には、ロボットにうなずき動作をさせるための制御信号を前記ロボットに送信する
請求項１から請求項３のうちのいずれか１項に記載の遠隔通訳システム。
【請求項５】
通信手段は、
通訳士の音声がうなずき音でないと判断した場合には、前記通訳士の音声が現在話をしている人物を示す言葉であるか否かを判定し、
現在話をしている人物を示す言葉でない場合には、前記通訳士が訳を伝えていると判断して、訳を伝える人物の方向にロボットの正面を向けるための制御信号を送信する
請求項４に記載の遠隔通訳システム。
【請求項６】
通訳対象者の近傍に設置されるロボットとネットワークを介して通信可能な端末装置が、
前記ロボットから取得した映像と音声とを出力し、
入力した通訳士の音声をもとに、予め定められた規則に従って、通訳士が訳を伝えているか否かを判定し、
訳を伝えていると判断した場合には、訳を伝える人物の方向に前記ロボットの正面を向けるための制御信号を前記ロボットに送信し、
前記ロボットが、
前記端末装置から取得した通訳士の音声を出力し、
音声を検知したときに音声を発した通訳対象者の方向に当該ロボットの正面が向くように当該ロボットの向きを変更し、
前記制御信号を受信した場合には、前記制御信号にもとづいて当該ロボットの向きを変更する
ことを特徴とする遠隔通訳方法。
【請求項７】
ロボットが、
撮像した前記映像に含まれる通訳対象者の位置を示す位置情報を取得し、
前記映像に含まれる通訳対象者のうちのいずれかの人物が音声を発した場合には、入力した音声をもとに、音声を発した人物を特定し、
前記位置情報をもとに、特定した人物の方向に当該ロボットの正面が向くように当該ロボットの向きを調整する
請求項６に記載の遠隔通訳方法。
【請求項８】
端末装置が、
入力した通訳士の音声がうなずき音であるか否かを判定し、
前記通訳士の音声がうなずき音であると判断した場合には、ロボットにうなずき動作をさせるための制御信号を前記ロボットに送信する
請求項６または請求項７に記載の遠隔通訳方法
【請求項９】
端末装置が、
通訳士の音声がうなずき音でないと判断した場合には、前記通訳士の音声が現在話をしている人物を示す言葉であるか否かを判定し、
現在話をしている人物を示す言葉でない場合には、前記通訳士が訳を伝えていると判断して、訳を伝える人物の方向にロボットの正面を向けるための制御信号を送信する
請求項８に記載の遠隔通訳方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットを利用した遠隔通訳システムおよび遠隔通訳方法に関する。
【背景技術】
【０００２】
通訳は、医療、会議、販売、行政窓口など、多くの生活シーンで必要とされる。そのため、通訳をスムーズに行うためには、通訳士が通訳を必要とする現場に赴き、言葉が通じない二者（以下、通訳対象者という。）の間に入って通訳を行う場合が多い。しかし、通訳士が通訳の現場に赴く場合には、移動に伴う時間などが必要になり、通訳における作業の効率を低下させる。
【０００３】
電話機能やインターネット等の通信機能を使用して、通訳対象者である二者の間に設置された携帯電話機と、通訳士の通信端末とを通話可能に接続し、遠隔から通訳士が通訳を行うシステムがある（例えば、特許文献１参照）。特許文献１に記載されたシステムでは、通訳対象者が、通訳対象者の間に設置された携帯電話のマイクに向かって交互に話し、遠隔にいる通訳士が通訳した言葉が、携帯電話のスピーカから出力される。
【０００４】
通訳士側と通訳対象者側とにカメラを備えた通信機器を設置し、双方のカメラで撮像したリアルタイム画像を用いて通訳を行うことにより、通訳対象者が、通訳士が現場にいる場合と同様の臨場感を得ることができるシステムがある（例えば、特許文献２参照）。
【０００５】
また、臨場感を高めるために、ロボットを使用して通訳などを行うシステムや装置がある（例えば、特許文献３、特許文献４および特許文献５参照）。
【０００６】
特許文献３に記載されたシステムでは、利用者が、ぬいぐるみロボットを介して、遠隔の通訳士と会話をすることができる。ぬいぐるみロボットは、通訳士の操作にもとづいて、顔の表情を変化させるアクチュエータを備える。従って、通訳士は、遠隔からぬいぐるみロボットの顔の表情を変化させることができる。
【０００７】
特許文献４に記載の装置では、画像として表示されるキャラクタ、音声、またはロボットであるオブジェクトが、音声認識結果や翻訳結果にもとづいて、ユーザの感情を表現する。
【０００８】
特許文献５に記載のシステムでは、ロボットが、マイクロフォンなどのセンサに入力された情報（言語）を通訳し、通訳結果をスピーカなどから出力する。また、ロボットは、通訳結果を出力する際に、センサに入力された情報に応じて、感情表現として、例えば、首振りなどの動作を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−２７８３１１号公報
【特許文献２】特開２０１０−１４０４５３号公報
【特許文献３】特開２００８−０９６８８４号公報
【特許文献４】特開２００１−１１７７５２号公報
【特許文献５】国際公開第ＷＯ２００５／０５７５４９号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載されたシステムは、通訳士と通訳対象者との間でやりとりされる情報が音声のみであるため、遠隔にいる通訳士は、現場の雰囲気が分かりにくい。従って、場にふさわしい通訳をするのが難しい。また、通訳士は、通訳対象者の各々の発言が言い終わったかどうかを認識しづらく、通訳を開始するタイミングを判断しにくい。
【００１１】
特許文献２に記載されたシステムは、通訳対象者と通訳士とを撮影したリアルタイム画像を用いるので、通訳士は、通訳対象者の発言の終了を判断することができる。しかし、カメラの設置場所が固定されている場合には、通訳士は、通訳対象者の中間を見て話すか、どちらか一方のみを見て話すことになる。従って、モニタに映る通訳士と通訳対象者との目線が合わず、アイコンタクトを伴うコミュニケーションができない。
【００１２】
特許文献３から特許文献５に記載されたシステムまたは装置は、ロボットを使用することにより、臨場感を高めることができる。しかし、ロボットは、話をしている人物の方を向いたり、訳を伝える人物の方を向いたり、話を聞いて通訳士が理解していることを表現したりすることができない。
【００１３】
そこで、本発明は、通訳対象者と遠隔にいる通訳士とのアイコンタクトを実現することができ、かつ、通訳士が現場にいるような臨場感を得ることができる遠隔通訳システムおよび遠隔通訳方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による遠隔通訳システムは、映像と音声とを入力する映像音声入力手段を含むロボットと、通訳士の音声を入力する音声入力手段を含み、ネットワークを介してロボットと通信可能な端末装置とを備え、端末装置は、ロボットから取得した映像と音声とを出力する映像音声出力手段と、入力した通訳士の音声をもとに、予め定められた規則に従って、通訳士が訳を伝えているか否かを判定し、訳を伝えていると判断した場合には、訳を伝える人物の方向にロボットの正面を向けるための制御信号をロボットに送信する通信手段とを含み、ロボットは、端末装置から取得した通訳士の音声を出力する音声出力手段と、映像音声入力手段が音声を入力したときに、音声を発した通訳対象者の方向に当該ロボットの正面が向くように当該ロボットの向きを変更し、制御信号を受信した場合には、制御信号にもとづいて当該ロボットの向きを変更する制御手段とを含むことを特徴とする。
【００１５】
本発明による遠隔通訳方法は、通訳対象者の近傍に設置されるロボットとネットワークを介して通信可能な端末装置が、ロボットから取得した映像と音声とを出力し、入力した通訳士の音声をもとに、予め定められた規則に従って、通訳士が訳を伝えているか否かを判定し、訳を伝えていると判断した場合には、訳を伝える人物の方向にロボットの正面を向けるための制御信号をロボットに送信し、ロボットが、端末装置から取得した通訳士の音声を出力し、音声を検知したときに音声を発した通訳対象者の方向に当該ロボットの正面が向くように当該ロボットの向きを変更し、制御信号を受信した場合には、制御信号にもとづいて当該ロボットの向きを変更することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、通訳対象者と遠隔にいる通訳士とのアイコンタクトを実現することができ、かつ、通訳士が現場にいるような臨場感を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明による遠隔通信システムの構成を示すブロック図である。
【図２】本発明による遠隔通信システムにおけるロボットの外観の一例を示す説明図である。
【図３】ロボットの制御部の構成を示すブロック図である。
【図４】ロボットの制御部の動作を示すフローチャートである。
【図５】話者方向特定手段の動作を示すフローチャートである。
【図６】話者方向手段の動作を示すフローチャートである。
【図７】逆方向手段の動作を示すフローチャートである。
【図８】うなずき手段の動作を示すフローチャートである。
【図９】通訳端末の通信部の構成を示すブロック図である。
【図１０】通訳端末の通信部の動作を示すフローチャートである。
【図１１】本発明による遠隔通訳システムの主要部を示すブロック図である。
【発明を実施するための形態】
【００１８】
実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。
【００１９】
図１は、本発明による遠隔通信システムの構成を示すブロック図である。図２は、本発明による遠隔通信システムにおけるロボットの外観の一例を示す説明図である。
【００２０】
図１に示すように、本発明による遠隔通信システムは、ロボット１００と、通訳端末２００とを含む。
【００２１】
ロボット１００は、通訳を必要とする現場、例えば、病院、企業、店舗、役場などにおいて、通訳対象者の近傍に設置される。ロボット１００は、遠隔に設置された通訳端末２００と、ネットワーク３００を介して、通信可能に接続される。
【００２２】
ロボット１００は、人型ロボットである。ロボット１００は、図２に示すように、頭部１１０と、胴体部１３０とを含む。
【００２３】
頭部１１０は、例えば、球体である。頭部１１０は、頭部１１０の中心を軸に、上下左右に回転することができる。
【００２４】
頭部１１０は、音声入力装置１１１、１１２と、音声出力装置１１３と、撮像装置１１４と、制御部１２０とを含む。なお、制御部１２０は、胴体部１３０に含まれていてもよい。
【００２５】
音声入力装置１１１、１１２は、例えば、マイクロフォンである。音声入力装置１１１、１１２は、音声信号を入力し、音声データを生成する。本実施形態では、音声入力装置１１１、１１２の指向性を、異なる方向に向けてセットする。なお、本実施形態では、ロボット１００は、２つの音声入力装置１１１、１１２を備えているが、音声入力装置はいくつ備えていてもよい。
【００２６】
音声入力装置１１１、１１２は、生成した音声データを制御部１２０に出力する。
【００２７】
音声出力装置１１３は、例えば、スピーカである。音声出力装置１１３は、制御部１２０から入力した音声データを音声信号として出力する。
【００２８】
撮像装置１１４は、例えば、カメラである。撮像装置１１４は、ロボット１００の周囲を撮影し、映像データを取得する。本実施形態では、撮像装置１１４は、ロボット１００の顔、つまり、頭部１１０の正面側に設置され、ロボット１００の顔が向いている方向の映像を撮影する。
【００２９】
撮像装置１１４は、取得した映像データを制御部１２０に出力する。
【００３０】
制御部１２０は、音声入力装置１１１、１１２から入力した音声データ、および、撮像装置１１４から入力した映像データを、リアルタイムに通訳端末２００に送信する。
【００３１】
制御部１２０は、通訳端末２００から音声データを受信する。制御部１２０は、受信した音声データを音声出力装置１１３に出力する。
【００３２】
制御部１２０は、音声入力装置１１１、１１２の各々が入力した音声信号の到着時間の差分をもとに、音声信号の発信方向を検知する機能を備える。
【００３３】
制御部１２０は、ロボット１００の動作を制御するための信号（以下、制御信号という。）を、通訳端末２００から受信する。制御部１２０は、通訳端末２００から受信した制御信号にもとづいて、頭部１１０の向きを制御する。
【００３４】
なお、制御部１２０は、プログラムに従って動作するマイクロコンピュータ等で実現可能である。
【００３５】
通訳端末２００は、パーソナルコンピュータ（パソコン）などの情報処理装置である。
【００３６】
通訳端末２００は、音声入力装置２０１と、音声出力装置２０２と、モニタ２０３と、通信部２１０とを含む。
【００３７】
音声入力装置２０１は、例えば、マイクロフォンである。音声入力装置２０１は、音声信号を入力し、音声データを生成する。
【００３８】
音声入力装置２０１は、生成した音声データを通信部２１０に出力する。
【００３９】
音声出力装置２０２は、例えば、スピーカである。音声出力装置２０２は、通信部２１０から入力した音声データを音声信号として出力する。
【００４０】
モニタ２０３は、例えば、ディスプレイ装置である。モニタ２０３は、通信部２１０から入力した映像データを表示する。
【００４１】
通信部２１０は、音声入力装置２０１から入力した音声データを、リアルタイムにロボット１００に送信する。
【００４２】
通信部２１０は、ロボット１００から音声データおよび映像データを受信する。通信部２１０は、ロボット１００から受信した音声データを音声出力装置２０２に出力する。通信部２１０は、ロボット１００から受信した映像データをモニタ２０３に出力する。
【００４３】
通信部２１０は、ロボット１００に制御信号を送信する。本実施形態では、通信部２１０は、制御信号として、うなずきコマンド、逆方向コマンドを送信する。うなずきコマンド、逆方向コマンドは、通信パケットとして、ネットワーク３００上をリアルタイムに伝搬する。
【００４４】
ネットワーク３００は、例えば、インターネットなどの通信ネットワークである。なお、ネットワーク３００は、うなずきコマンド、逆方向コマンドなど、通釈端末２００とロボット１００との間で送受信される情報をリアルタイムに伝搬可能であれば、公衆網や専用線などであってもよい。
【００４５】
次に、本実施形態の動作を説明する。
【００４６】
まず、ロボット１００の制御部１２０の構成および動作を説明する。
【００４７】
図３は、ロボット１００の制御部１２０の構成を示すブロック図である。
【００４８】
制御部１２０は、話者方向特定手段１２１と、話者方向手段１２２と、逆方向手段１２３と、うなずき手段１２４とを含む。
【００４９】
図４は、ロボット１００の制御部１２０の動作を示すフローチャートである。
【００５０】
ロボット１００は、話者、つまり、通訳対象者を撮影可能な位置に配置される。
【００５１】
話者方向特定手段１２１は、撮像装置１１４が撮影した映像をもとに、話者がいる方向をそれぞれ特定する（ステップＳ４０１）。
【００５２】
ステップＳ４０１の後、話者方向特定手段１２１は、以下の処理を行う。
【００５３】
話者のどちらかが発声した場合は（ステップＳ４０２のＹ）、話者方向手段１２２は、発声した人物の方向にロボット１００の正面、つまり、頭部１１０の正面が向くように、頭部１１０の向きを調整する（ステップＳ４０５）。
【００５４】
また、制御部１２０が通訳端末２００から逆方向コマンドを受信した場合は（ステップＳ４０３のＹ）、逆方向手段１２３は、頭部１１０の向きを逆方向に変更する（ステップＳ４０６）。
【００５５】
また、制御部１２０が通訳端末２００からうなずきコマンドを受信した場合は（ステップＳ４０４のＹ）、うなずき手段１２４は、頭部１１０を上下に回転させる動作（以下、うなずき動作という。）を行う（ステップＳ４０７）。
【００５６】
ここで、話者方向特定手段１２１、話者方向手段１２２、逆方向手段１２３およびうなずき手段１２４の動作の詳細を説明する。
【００５７】
図５は、話者方向特定手段１２１の動作を示すフローチャートである。
【００５８】
話者方向特定手段１２１は、撮像装置１１４が撮影した頭部１１０の正面方向の映像を取得する。話者方向特定手段１２１は、取得した映像の中から、画像認識により話者を識別する（ステップＳ５０１）。話者方向特定手段１２１は、画像認識により、例えば、映像の左側から一人を認識し、右側からもう一人を認識する。
【００５９】
話者方向特定手段１２１は、画像認識の結果をもとに、話者の位置情報を取得する（ステップＳ５０２）。位置情報は、頭部１１０を左右に何度傾ければ、頭部１１０の正面が認識した二者の方向を向くかを示す角度データＤ１およびＤ２を含む。以下、角度データＤ１、Ｄ２が示す方向を、単に、Ｄ１、Ｄ２という。
【００６０】
図６は、話者方向手段１２２の動作を示すフローチャートである。
【００６１】
まず、話者方向手段１２２は、音声入力装置１１１、１１２のそれぞれが入力した音声信号の到着時間差をもとに、話者のどちらが発話したかを判定する（ステップＳ６０１）。具体的には、話者方向手段１２２は、入力したそれぞれの音声信号の波形を比較して、音声信号の到着時間差を算出し、音声信号の発信方向Ｄｘを検出する。
【００６２】
最後に、話者方向手段１２２は、頭部１１０の正面が、検出した発信方向に向くように、頭部１１０の向きを調整する（ステップＳ６０３）。例えば、話者方向手段１２２は、ＤｘがＤ１である場合には、Ｄ１側に頭部１１０の正面を向ける。
【００６３】
図７は、逆方向手段１２３の動作を示すフローチャートである。
【００６４】
逆方向手段１２３は、通訳端末２００から逆方向コマンドを受信した場合には、ロボット１００の頭部１１０の現在の向きを検出する（ステップＳ７０１）。
【００６５】
逆方向手段１２３は、検出した向きがＤ１である場合は（ステップＳ７０２のＹ）、頭部１１０の正面をＤ２の方向に向ける（ステップＳ７０３）。検出した向きがＤ２である場合は（ステップＳ７０２のＮ）、頭部１１０の正面をＤ１の方向に向ける（ステップＳ７０４）。
【００６６】
図８は、うなずき手段１２４の動作を示すフローチャートである。
【００６７】
うなずき手段１２４は、通訳端末２００からうなずきコマンドを受信した場合には、頭部１１０の左右の向きを変えずに上下に回転させて、うなずき動作を行う。具体的には、うなずき手段１２４は、頭部１１０を下に１０度傾ける（ステップＳ８０１）。続いて、頭部１１０を上に１０度傾ける（ステップＳ８０２）。なお、頭部１１０を傾ける角度は、１０度以外であってもよい。また、うなずき手段１２４は、ステップＳ８０１、Ｓ８０２の処理を繰り返して、頭部１１０を複数回上下させるようにしてもよい。
【００６８】
次に、通訳端末２００の通信部２１０の構成および動作を説明する。
【００６９】
図９は、通訳端末２００の通信部２１０の構成を示すブロック図である。
【００７０】
通信部２１０は、うなずきコマンド送信手段２１１と、逆方向コマンド送信手段２１２とを含む。
【００７１】
うなずきコマンド送信手段２１１は、ロボット１００に対して、うなずきコマンドを送信する。逆方向コマンド送信手段２１２は、ロボット１００に対して、逆方向コマンドを送信する。
【００７２】
図１０は、通訳端末２００の通信部２１０の動作を示すフローチャートである。
【００７３】
通訳士は、通訳端末２００を介して、通訳を行う。
【００７４】
通信部２１０は、通訳士が音声を発した場合（ステップＳ１００１のＹ）、通訳士が発した音声を音声認識により判定する。
【００７５】
具体的には、通信部２１０は、通訳士が発した音声と、予め登録された音声（以下、キーワードという。）とを比較して、通訳士が発した音声を判定する。キーワードは、
通訳端末２００が備える記憶部（図示せず）に、音声ファイルとして予め格納する。
【００７６】
まず、通信部２１０は、通訳士が発した音声がうなずき音か否かを判定する（ステップＳ１００２）。うなずき音は、例えば、「うん」、「うんうん」、「はい」などの音声である。
【００７７】
通訳士が発した音声がうなずき音であると判断した場合は（ステップＳ１００２のＹ）、通信部２１０は、うなずきコマンド送信手段２１１に、うなずきコマンドを送信させる（ステップＳ１００３）。
【００７８】
通訳士が発した音声がうなずき音でないと判断した場合は（ステップＳ１００２のＮ）、通信部２１０は、通訳士が発した最初の言葉が、話者を指す言葉かどうかを判定する（ステップＳ１００４）。例えば、話者が医者と患者である場合、キーワードは、「お医者さん」、「患者さん」などである。キーワードは、通訳士などのユーザが、話者に合わせて登録するようにしてもよい。その場合には、通訳士が、音声入力装置２０１を介して、キーワードを入力して登録すればよい。
【００７９】
通訳士が発した最初の言葉が話者を指す言葉でないと判断した場合は（ステップＳ１００４のＮ）、通信部２１０は、通訳士が発した最初の言葉が、現在話をしている話者に問いかける言葉（以下、単に問いかけという。）であるか否かを判断する（ステップＳ１００５）。問いかけは、例えば、「あのぅ」、「すみませんが」などである。
【００８０】
通訳士が発した最初の言葉が、問いかけでないと判断した場合は（ステップＳ１００５のＹ）、通信部２１０は、通訳士が訳を伝えていると判断する。そして、通信部２１０は、頭部１１０の正面を、現在の向きと逆の方向、つまり、訳を伝える人物の方向に向けるために、逆方向コマンド送信手段２１２に逆方向コマンドを送信させる（ステップＳ１００６）。
【００８１】
このように、ロボット１００は、現在話をしている話者の方向に顔を向ける。また、通訳士がうなずき音を発した場合は、ロボット１００は、頭部１１０を上下させてうなずき動作をする。また、通訳士が訳（翻訳）を伝える場合は、ロボット１００は、訳を伝える人物の方向に顔を向ける。また、通訳士が話者に質問をする場合は、ロボット１００は、話者の方向に顔を向ける。
【００８２】
なお、通訳端末２００が、音声認識に失敗して逆方向コマンドを誤送信した場合であっても、ロボット１００の話者方向手段１２２が、次に話をする話者の方向にロボット１００の顔を向ける。そのため、ロボット１００は、すぐに顔の向きを正しい方向に修正することができる。
【００８３】
以上に説明したように、本実施形態では、ロボット１００が、通訳士の声を通訳対象者に伝える。また、ロボット１００は、話をしている人の方を向き、話をしている人の発言内容を理解していることを示す合図（うなずき）を行い、訳を伝えたい人の方を向いて訳を伝える。つまり、ロボット１００は、通訳の現場において、通訳士と同じ振る舞いをする。
【００８４】
従って、通訳士が遠隔から通訳を行う場合でも、通訳士は、ロボット１００を介して、通訳対象者に対してアイコンタクトを伴った自然でスムーズな通訳をすることができる。また、通訳士が、現場に赴く必要がないので、通訳における作業の効率化を図ることができる。
【００８５】
また、ロボット１００が通訳の現場において通訳士と同じ振る舞いをすることにより、通訳対象者は、通訳士があたかも現場にいるような臨場感を得ることができる。
【００８６】
また、ロボット１００は、入力した音声と通訳端末２００からの指示とをもとに、頭部１１０の向きを制御する。従って、通訳士は、通訳中にロボット１００に対して特別な操作を行う必要がなく、現場にいる場合と同様の振る舞いをするだけでよい。
【００８７】
図１１は、本発明による遠隔通訳システムの主要部を示すブロック図である。図１１に示すように、遠隔通訳システムは、映像と音声とを入力する映像音声入力手段１１（図１に示すロボット１００における音声入力装置１１１、１１２および撮像装置１１４に相当。）を含むロボット１０（図１に示すロボット１００に相当。）と、通訳士の音声を入力する音声入力手段２１（図１に示す通訳端末２００における音声入力装置２０１に相当。）を含み、ネットワークを介してロボット１０と通信可能な端末装置２０（図１に示す通訳端末２００に相当。）とを備え、端末装置２０は、ロボット１０から取得した映像と音声とを出力する映像音声出力手段２２（図１に示す通訳端末２００における音声出力装置２０２およびモニタ２０３に相当。）と、入力した通訳士の音声をもとに、予め定められた規則に従って、通訳士が訳を伝えているか否かを判定し、訳を伝えていると判断した場合には、訳を伝える人物の方向にロボット１０の正面を向けるための制御信号をロボット１０に送信する通信手段２３（図１に示す通訳端末２００における通信部２１０に相当。）とを含み、ロボット１０は、端末装置２０から取得した通訳士の音声を出力する音声出力手段１２（図１に示すロボット１００における音声出力装置１１３に相当。）と、映像音声入力手段１１が音声を入力したときに、通訳対象者が音声を発した場合には、音声を発した通訳対象者の方向に当該ロボット１０の正面が向くように当該ロボット１０の正面の向きを変更し、制御信号を受信した場合には、制御信号にもとづいて当該ロボット１０の正面の向きを変更する制御手段１３（図１に示すロボット１００における制御部１２０に相当。）とを含む。
【００８８】
上記の実施形態には、以下のような遠隔通訳システムも開示されている。
【００８９】
（１）制御手段１３は、映像音声入力手段１１が取得した映像をもとに、映像に含まれる通訳対象者の位置を示す位置情報を取得する話者方向特定手段（図３に示す制御部１２０における話者方向特定手段１２１に相当。）と、映像に含まれる通訳対象者のうちのいずれかの人物が音声を発した場合には、映像音声手段１１が入力した音声をもとに、音声を発した人物を特定し、位置情報をもとに、特定した人物の方向にロボットの正面が向くように当該ロボットの向きを調整する話者方向手段（図３に示す制御部１２０における話者方向手段１２２に相当。）とを含む遠隔通訳システム。
【００９０】
（２）制御手段１３は、訳を伝える人物の方向にロボット１０の正面を向けるための制御信号を受信した場合には、位置情報をもとに、現在ロボット１０の正面方向にいる通訳対象者とは別の通訳対象者の方向に、当該ロボット１０の正面が向くように当該ロボットの向きを調整する遠隔通訳システム。
【００９１】
（３）通信手段２３は、音声入力手段２１が入力した通訳士の音声がうなずき音であるか否かを判定し、通訳士の音声がうなずき音であると判断した場合には、ロボット１０にうなずき動作をさせるための制御信号をロボット１０に送信する遠隔通訳システム。
【００９２】
（４）通信手段２３は、通訳士の音声がうなずき音でないと判断した場合には、通訳士の音声が現在話をしている人物を示す言葉であるか否かを判定し、現在話をしている人物を示す言葉でない場合には、通訳士が訳を伝えていると判断して、訳を伝える人物の方向にロボット１０の正面を向けるための制御信号を送信する遠隔通訳システム。
【符号の説明】
【００９３】
１０、１００  ロボット
１１  映像音声入力手段
１２  音声出力手段
１３  制御手段
２０  端末装置
２１  音声入力手段
２２  映像音声出力手段
２３  通信手段
１１０  頭部
１１１、１１２  音声入力装置
１１３  音声出力装置
１１４  撮像装置
１２０  制御部
１３０  胴体部
２０１  音声入力装置
２０２  音声出力装置
２０３  モニタ
２１０  通信部
２１１  うなずきコマンド送信手段
２１２  逆方向コマンド送信手段
３００  ネットワーク
【図１】
2013162209.tif 000003
【図２】
2013162209.tif 000004
【図３】
2013162209.tif 000005
【図４】
2013162209.tif 000006
【図５】
2013162209.tif 000007
【図６】
2013162209.tif 000008
【図７】
2013162209.tif 000009
【図８】
2013162209.tif 000010
【図９】
2013162209.tif 000011
【図１０】
2013162209.tif 000012
【図１１】
2013162209.tif 000013