(57)【要約】【課題】複数のロボット装置の動作をスムーズに連携して実行させることができるロボット制御システムなどを提供する。【解決手段】複数のロボット装置（２０）と制御用サーバ装置（１０）とを備えて、複数のロボット装置（２０）が連携した動作を行うように制御するロボット制御システム（１）であって、制御用サーバ装置（１０）は、ロボット装置（２０）の動作を指示するシナリオを記憶する記憶部とを備え、ロボット装置（２０）は、制御部と、音声出力手段と、音声入力手段と、音声レベル検出手段と、シナリオを記憶する記憶部とを備え、制御部は、音声レベル検出手段による音声検出結果に基づき、他のロボット装置（２０）が音声を出力したか否かを判定して、その判定結果に基づき、シナリオに沿って当該ロボット装置（２０）の動作を他のロボット装置（２０）の動作に連携して実行させることを特徴とする。【選択図】図１
2019150893.tif 000002
【特許請求の範囲】
【請求項１】
複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムであって、
前記制御用サーバ装置は、
当該制御用サーバ装置の制御を行うサーバ制御部と、
前記複数のロボット装置と通信接続を行う通信部と、
前記複数のロボット装置動作を指示するためのシナリオを記憶する記憶部と、
を備え、
前記サーバ制御部は、
前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信可能として、
前記ロボット装置は、
当該ロボット装置の動作制御を行うロボット制御部と、
前記制御用サーバ装置と通信接続を行う通信部と、
前記複数のロボット装置の動作を指示するためのシナリオを記憶する記憶部と、
を備え、
前記ロボット制御部は、
前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることを特徴とするロボット制御システム。
【請求項２】
前記ロボット装置は、
当該ロボット装置から音声を出力する音声出力手段と、
他のロボット装置の音声を入力する音声入力手段と、
入力された音声レベルを検出する音声レベル検出手段と、
を備え、
前記ロボット制御部は、
前記音声レベル検出手段による音声検出結果に基づき、他のロボット装置が音声を出力したか否かを判定して、その判定結果に基づき、当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることを特徴とする請求項１に記載のロボット制御システム。
【請求項３】
前記ロボット装置は、映像入力手段を備え、
前記映像入力手段は、他のロボット装置の動作を検出し、
前記ロボット制御部は、前記映像入力手段により検出された情報に基づき他のロボット装置の動作を識別することを特徴とする請求項１または２に記載のロボット制御システム。
【請求項４】
前記ロボット制御部は、他のロボット装置が動作するときは、前記映像入力手段が動作するロボット装置を検出可能な向きとなるように当該ロボット装置を移動させることを特徴とする請求項３に記載のロボット制御システム。
【請求項５】
複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムであって、
さらに、時刻管理サーバ装置を備え、
前記時刻管理サーバ装置は、
前記複数のロボット装置と通信接続を行う通信部と、
時刻を管理する時刻管理部と、
を備え、
前記制御用サーバ装置は、
当該制御用サーバ装置の制御を行うサーバ制御部と、
前記複数のロボット装置と通信接続を行う通信部と、
前記複数のロボット装置動作を指示するためのシナリオを記憶する記憶部と、
を備え、
前記サーバ制御部は、
前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信可能として、
前記ロボット装置は、
当該ロボット装置の動作制御を行うロボット制御部と、
前記制御用サーバ装置と通信接続を行う通信部と、
前記複数のロボット装置の動作を指示するためのシナリオを記憶する記憶部と、
さらに、時刻を管理する時刻管理部と、
を備え、
前記ロボット制御部は、
前記シナリオを開始する前に前記複数のロボット装置における時刻を同期させた後に、
前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることを特徴とするロボット制御システム。
【請求項６】
複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御方法であって、
当該制御用サーバ装置の制御を行う工程と、
前記制御用サーバ装置と前記複数のロボット装置と通信接続を行う工程と、
前記複数のロボット装置動作を指示するためのシナリオを前記制御用サーバ装置に記憶する工程と、
前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信する工程と、
前記複数のロボット装置の動作制御を行う工程と、
前記複数のロボット装置の動作を指示するためのシナリオを前記ロボット装置に記憶する工程と、
前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させる工程と、
を備えることを特徴とするロボット制御方法。
【請求項７】
複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムを動作させるロボット制御プログラムであって、
コンピュータにより、
当該制御用サーバ装置の制御を行う機能と、
前記制御用サーバ装置と前記複数のロボット装置と通信接続を行う機能と、
前記複数のロボット装置動作を指示するためのシナリオを前記制御用サーバ装置に記憶する機能と、
前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信する機能と、
前記複数のロボット装置の動作制御を行う機能と、
前記複数のロボット装置の動作を指示するためのシナリオを前記ロボット装置に記憶する機能と、
前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させる機能と、
を実行させることを特徴とするロボット制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット制御システム、ロボット制御方法およびロボット制御プログラムに係り、特に、複数のロボットが連携した動作を行うように制御されたロボット制御システムなどに関する。
【背景技術】
【０００２】
近年、動作したり、音声を発したりしてコミュニケーション行動を実行するロボット装置が知られている。
従来のロボット装置において、予め各動作の実行タイミングを指定する方式では状況に応じた柔軟な応答ができなかった。また、通信を用いて動作を同期する方式では、通信路の状況が悪い場合に遅延が発生し、スムーズな連携ができなかった。
【０００３】
従来技術として、例えば、コミュニケーションロボットには、ＣＰＵが搭載されて、ＣＰＵによりコンピュータから指示されたスクリプトファイルを実行するようにされている。スクリプトファイルでは、他方のロボットから送信される実行タイミングを受信したことに応じて、一方のロボットが少なくとも発話を含むコミュニケーション行動を実行するようにされ、また、一方のロボットは、コミュニケーション行動を実行開始することまたは実行終了することに応じて、他方のロボットに実行タイミングを送信するようにしたものが開示されている（特許文献１を参照）。
【０００４】
このように構成することで、２台のロボットは連鎖的にコミュニケーション行動を実行することができ、ロボット同士の協調した会話が可能となる。
【０００５】
また、その他の例として、複数のロボット装置が自律的に行動するロボットシステムにおいて、各ロボット装置は無線通信手段を有し、ロボット装置同士で会話する際、当該会話の内容をコマンド及び又はセマンティクスとして双方の無線通信手段を介してロボット装置に送受信するようにしたものが開示されている（特許文献２を参照）。
【０００６】
このように構成することで、ロボット装置同士で会話内容をコマンド及び又はセマンディクスとして送り合うことにより、ロボット装置同士であたかも人間関係のようなコミュニケーションを行うことができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２６３８５８号公報
【特許文献２】特開２００３−２０５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１にて提案されている、あらかじめ各動作の実行タイミングを指定する方式では、状況に応じた柔軟な応答ができなかいという問題があった。
また、特許文献２にて提案されている、通信を用いて動作を同期する方式では、通信路の状況が悪い場合に遅延が発生し、スムーズな連携ができないという問題があった。
【０００９】
本発明は、上記従来の課題に鑑みてなされたものであり、複数のロボット装置の動作をスムーズに連携して実行させることができるロボット制御システムなどを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムであって、前記制御用サーバ装置の構成として、当該制御用サーバ装置の制御を行うサーバ制御部と、前記複数のロボット装置と通信接続を行う通信部と、前記複数のロボット装置動作を指示するためのシナリオを記憶する（シナリオ格納領域を含む）記憶部と、を備え、前記サーバ制御部の構成を、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信可能として、前記ロボット装置の構成として、当該ロボット装置の動作制御を行うロボット制御部と、前記制御用サーバ装置と通信接続を行う通信部と、前記複数のロボット装置の動作を指示するためのシナリオを記憶する（シナリオ格納領域を含む）記憶部と、を備え、前記ロボット制御部により、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることを特徴とするものである。
【００１１】
また、本発明は、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムであって、さらに、時刻管理サーバ装置を備え、前記時刻管理サーバ装置の構成として、前記複数のロボット装置と通信接続を行う通信部と、時刻を管理する時刻管理部と、を備え、前記制御用サーバ装置の構成として、当該制御用サーバ装置の制御を行うサーバ制御部と、前記複数のロボット装置と通信接続を行う通信部と、前記複数のロボット装置動作を指示するためのシナリオを記憶する記憶部と、を備え、前記サーバ制御部の構成を、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信可能として、前記ロボット装置の構成として、当該ロボット装置の動作制御を行うロボット制御部と、前記制御用サーバ装置と通信接続を行う通信部と、前記複数のロボット装置の動作を指示するためのシナリオを記憶する記憶部と、さらに、時刻を管理する時刻管理部と、を備え、前記ロボット制御部により、前記シナリオを開始する前に前記複数のロボット装置における時刻を同期させた後に、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることを特徴とするものである。
【００１２】
また、本発明は、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御方法であって、当該制御用サーバ装置の制御を行う工程と、前記制御用サーバ装置と前記複数のロボット装置と通信接続を行う工程と、前記複数のロボット装置動作を指示するためのシナリオを前記制御用サーバ装置に記憶する工程と、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信する工程と、前記複数のロボット装置の動作制御を行う工程と、前記複数のロボット装置の動作を指示するためのシナリオを前記ロボット装置に記憶する工程と、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させる工程と、を備えることを特徴とするものである。
【００１３】
また、本発明は、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムを動作させるロボット制御プログラムであって、コンピュータにより、当該制御用サーバ装置の制御を行う機能と、前記制御用サーバ装置と前記複数のロボット装置と通信接続を行う機能と、前記複数のロボット装置動作を指示するためのシナリオを前記制御用サーバ装置に記憶する機能と、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信する機能と、前記複数のロボット装置の動作制御を行う機能と、前記複数のロボット装置の動作を指示するためのシナリオを前記ロボット装置に記憶する機能と、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させる機能と、を実行させることを特徴とするものである。
【発明の効果】
【００１４】
本発明のロボット制御システムによれば、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムであって、前記制御用サーバ装置の構成として、当該制御用サーバ装置の制御を行うサーバ制御部と、前記複数のロボット装置と通信接続を行う通信部と、前記複数のロボット装置動作を指示するためのシナリオを記憶する（シナリオ格納領域を含む）記憶部と、を備え、前記サーバ制御部の構成を、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信可能として、前記ロボット装置の構成として、当該ロボット装置の動作制御を行うロボット制御部と、前記制御用サーバ装置と通信接続を行う通信部と、前記複数のロボット装置の動作を指示するためのシナリオを記憶する（シナリオ格納領域を含む）記憶部と、を備え、前記ロボット制御部により、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることで、複数のロボット装置の動作をスムーズに連携して実行させることができる。
【００１５】
また、本発明のロボット制御システムによれば、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムであって、さらに、時刻管理サーバ装置を備え、前記時刻管理サーバ装置の構成として、前記複数のロボット装置と通信接続を行う通信部と、時刻を管理する時刻管理部と、を備え、前記制御用サーバ装置の構成として、当該制御用サーバ装置の制御を行うサーバ制御部と、前記複数のロボット装置と通信接続を行う通信部と、前記複数のロボット装置動作を指示するためのシナリオを記憶する記憶部と、を備え、前記サーバ制御部の構成を、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信可能として、前記ロボット装置の構成として、当該ロボット装置の動作制御を行うロボット制御部と、前記制御用サーバ装置と通信接続を行う通信部と、前記複数のロボット装置の動作を指示するためのシナリオを記憶する記憶部と、さらに、時刻を管理する時刻管理部と、を備え、前記ロボット制御部により、前記シナリオを開始する前に前記複数のロボット装置における時刻を同期させた後に、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させることで、複数のロボット装置の動作をスムーズに連携して実行させることができる。
【００１６】
また、本発明のロボット制御方法によれば、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御方法であって、当該制御用サーバ装置の制御を行う工程と、前記制御用サーバ装置と前記複数のロボット装置と通信接続を行う工程と、前記複数のロボット装置動作を指示するためのシナリオを前記制御用サーバ装置に記憶する工程と、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信する工程と、前記複数のロボット装置の動作制御を行う工程と、前記複数のロボット装置の動作を指示するためのシナリオを前記ロボット装置に記憶する工程と、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させる工程と、を備えることで、複数のロボット装置の動作をスムーズに連携して実行させることができる。
【００１７】
また、本発明のロボット制御プログラムによれば、複数のロボット装置と、前記複数のロボット装置と通信可能な制御用サーバ装置とを備えて、前記複数のロボット装置が連携した動作を行うように制御するロボット制御システムを動作させるロボット制御プログラムであって、コンピュータにより、当該制御用サーバ装置の制御を行う機能と、前記制御用サーバ装置と前記複数のロボット装置と通信接続を行う機能と、前記複数のロボット装置動作を指示するためのシナリオを前記制御用サーバ装置に記憶する機能と、前記シナリオを前記制御用サーバ装置から前記ロボット装置に送信する機能と、前記複数のロボット装置の動作制御を行う機能と、前記複数のロボット装置の動作を指示するためのシナリオを前記ロボット装置に記憶する機能と、前記シナリオに沿って当該ロボット装置の動作を他のロボット装置の動作に連携して実行させる機能と、を実行させることで、複数のロボット装置の動作をスムーズに連携して実行させることができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態に係るロボット制御システムの構成を示す説明図である。
【図２】前記ロボット制御システムを構成する制御用サーバ装置の構成を示すブロック図である。
【図３】前記ロボット制御システムを構成するロボット装置の構成を示すブロック図である。
【図４】前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【図５】前記ロボット制御システムによるシナリオに基づく第１のロボット装置と第２のロボット装置とを動作させる制御を示すシーケンス図である。
【図６】（ａ）は前記シナリオの動作の一部を示す説明図、（ｂ）は前記シナリオの動作に基づき出力された音声のレベルを示す説明図である。
【図７】前記シナリオに基づく動作処理を示すフローチャートである。
【図８】前記シナリオのコマンドの処理を示すフローチャートである。
【図９】第２実施形態に係るロボット制御システムの構成を示す説明図である。
【図１０】前記ロボット制御システムを構成するロボット装置の構成を示すブロック図である。
【図１１】前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【図１２】前記ロボット制御システムによるシナリオのコマンドの処理を示すフローチャートである。
【図１３】第３実施形態に係るロボット制御システムの構成を示す説明図である。
【図１４】（ａ）〜（ｄ）は前記ロボット制御システムを構成するロボット装置のシナリオに沿った動作制御の一例を示す説明図である。
【図１５】前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【図１６】前記ロボット制御システムによるシナリオのコマンドの処理を示すフローチャートである。
【図１７】第４実施形態に係るロボット制御システムの構成を示す説明図である。
【図１８】前記ロボット制御システムを構成するロボット装置の構成を示すブロック図である。
【図１９】前記ロボット制御システムを構成する時刻サーバ装置の構成を示すブロック図である。
【図２０】前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【図２１】前記ロボット制御システムによるシナリオに基づく第１のロボット装置と第２のロボット装置とを動作させる制御を示すシーケンス図である。
【図２２】前記シナリオに基づく動作処理を示すフローチャートである。
【図２３】第４実施形態に係るロボット制御システムにおけるロボット装置の時刻管理を行なう処理の変形例の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１９】
（第１実施形態）
以下、本発明の第１実施形態について図面を参照して説明する。
図１は発明を実施する形態の一例であって、本発明の第１実施形態に係るロボット制御システムの構成を示す説明図、図２は前記ロボット制御システムを構成する制御用サーバ装置の構成を示すブロック図、図３は前記ロボット制御システムを構成するロボット装置の構成を示すブロック図、図４は前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【００２０】
（ロボット制御システムの構成）
第１実施形態に係るロボット制御システム１は、図１に示すように、ロボット装置２０として第１のロボット装置２０ａ、第２のロボット装置２０ｂと、ロボット装置２０と通信可能な制御用サーバ装置１０と、通信接続用のアクセスポイント（例えば、ルータ）３０と、を備えて構成され、ロボット装置２０の動作を指示するためのシナリオに基づき、第１のロボット装置２０ａと第２のロボット装置２０ｂとが連携した動作を行うように制御することを特徴とするものである。
【００２１】
制御用サーバ装置１０は、図２に示すように、各部における動作処理を制御する制御部１００と、ロボット装置２０との通信接続を行う通信部１１０と、動作プログラム等が記憶される記憶部１９０とを備えている。
【００２２】
記憶部１９０には、ロボット制御システム１に用いられるシナリオを格納するシナリオ格納領域１９２を備えている。
【００２３】
ロボット装置２０は、図３に示すように、各部における動作処理を制御する制御部２００と、制御用サーバ装置１０との通信接続を行う通信部２１０と、音声レベル検知部２４０と、音声入力部２３０と、音声出力部２２０と、動作プログラム等が記憶される記憶部２９０とを備えている。第１のロボット装置２０ａおよび第２のロボット装置２０ｂとも同様に構成されている。
【００２４】
音声レベル検知部２４０は、音声入力部２３０により入力された音声情報に基づき、音声レベルが所定のレベル範囲であるか否かで他のロボット装置２０が音声を出力しているか否かを判定する。
【００２５】
記憶部２９０は、ロボット制御システム１に用いられるシナリオを格納するシナリオ格納領域２９２、当該ロボット装置２０の動作を制御する制御プログラム２９４などを備えている。
【００２６】
また、ロボット装置２０は、外形を人形型のロボットとして構成したものであってもよい。具体的には、ロボット装置２０は、例えは、頭部、胴部、腕部、脚部を備え、頭部は上下方向、左右方向に回動動作が可能に構成され、腕部は上下方向に昇降動作が可能に構成するようにしてもよい。また、頭部には、顔を構成する眼、口などに相当する部位を設けてもよい。
【００２７】
ここで、シナリオとは、ロボット装置２０を動作させるコマンドの集合の一種であって、ロボット装置２０を動作させる手順を示すプログラムを含むものとする。
【００２８】
シナリオは複数のコマンドから構成され、各コマンドは、例えば、「コマンド名」、「ＩＤ」、「パラメータ」を含んでいる。
【００２９】
第１実施形態では、シナリオコマンドとして、発話コマンド（音声出力コマンド）を「SP」，「SP_S」、ウェイトコマンド（待ちコマンド）を「WT」を用いる。
「SP_S」は、直前の発話コマンドと同時に行なう発話コマンドである。
【００３０】
「ＩＤ」は、コマンド対象となるロボット装置２０のＩＤを設定する。ＩＤはロボット装置２０と制御用サーバ装置１０との接続確立時に割り当てる。
【００３１】
「パラメータ」は、動作の内容を指定し、値は各コマンドに応じて設定する。
コマンドが「SP」または「SP_S」のときは、発話する文言となる。
コマンドが「WT」のときは、ウェイト（待ち）の長さを秒単位で指定する。
【００３２】
（シナリオの構成）
第１実施形態の第１のロボット装置２０ａと第２のロボット装置２０ｂとを動作させるシナリオ３０１は、図４に示すように、シナリオ上で第１のロボット装置２０ａを「ROBOT_A」、第２のロボット装置２０ｂを「ROBOT_B」、発話コマンド（音声出力）を「SP」、ウェイトコマンド（待ち）を「WT」、としている。そして、シナリオ３０１の構成は、
「ROBOT_A」が発話、「うどんおいしそう」。
「ROBOT_B」が発話、「そうそう、やっぱりぶっかけだよね」。
５秒間待機、
「ROBOT_A」が発話、「牛丼もいいな」。
「ROBOT_B」が発話、「うん、わかる」。
５秒間待機、
「ROBOT_A」と「ROBOT_B」とが同時に発話、「僕も行ってみよう！」。
というように、第１のロボット装置２０ａと第２のロボット装置２０ｂとの連携した発話を制御するようにされている。
【００３３】
すなわち、シナリオ３０１による具体的なロボット装置２０の連携は、第１のロボット装置２０ａが発話した後に、第２のロボット装置２０ｂが発話し、５秒間待った後に、第１のロボット装置２０ａが発話し、その後に第２のロボット装置２０ｂが発話し、再び５秒間待った後に、第１のロボット装置２０ａと第２のロボット装置２０ｂが同時に発話する、というように、第１のロボット装置２０ａと第２のロボット装置２０ｂとが連携して会話をするように構成されている。
【００３４】
このように、ロボット制御システム１では、シナリオ３０１に基づいて、第１のロボット装置２０ａと第２のロボット装置２０ｂとが連携するようにそれぞれのロボット装置が他のロボット装置の動作（発話）を確認して、その結果に基づいて自らのロボット装置が動作をするように制御されている。
【００３５】
（ロボット制御システムにおけるロボット装置の動作制御）
次に、第１実施形態のロボット制御システム１における、シナリオに基づく第１のロボット装置２０ａと第２のロボット装置２０ｂとを連携させて動作させる制御について図面を参照して説明する。
【００３６】
図５は第１実施形態のロボット制御システムによるシナリオに基づく第１のロボット装置と第２のロボット装置とを動作させる制御を示すシーケンス図、図６（ａ）は前記シナリオの動作の一部を示す説明図、（ｂ）は前記シナリオの動作に基づき出力された音声のレベルを示す説明図、図７は前記シナリオに基づく動作処理を示すフローチャート、図８は前記シナリオのコマンドの処理を示すフローチャートである。
【００３７】
ロボット制御システム１において、ユーザが作成したシナリオ３０１（ここでは単に「シナリオ」と称する。）に基づき第１のロボット装置２０ａ（ここでは「ロボットＡ」と称する。）と、第２のロボット装置２０ｂ（ここでは「ロボットＢ」と称する。）と、を連携させた動作制御を行う場合は、図５に示すように、まず、制御用サーバ装置１０において、シナリオを作成して（Ｓ１００２）、ロボットＡとロボットＢに対してシナリオを送信する（Ｓ１００４）。
【００３８】
そして、ロボット装置側では、ロボットＡ，ロボットＢにおいて、シナリオを受信する（Ｓ１００６，Ｓ１００８）。
【００３９】
制御用サーバ装置１０側では、シナリオ開始の操作が行われたか否かが判断され（Ｓ１０１０）、シナリオ開始の操作が行われたと判断された場合は、ロボットＡとロボットＢとに対してシナリオ開始の要求（また指示）が送信される（Ｓ１０１２）。
【００４０】
ロボット装置側では、ロボットＡ，ロボットＢにおいて、シナリオ開始の要求を受信すると（Ｓ１０１４，Ｓ１０１６）、ロボットＡとロボットＢにおいてシナリオに沿って連携した動作を行なう動作制御が実行される。
【００４１】
ロボットＡは、シナリオ開始されると（Ｔ１００）、「うどん、おいしそう」と発話する。
【００４２】
ロボットＢは、シナリオ開始されると（Ｔ１００２）、ロボットＡの音声を検出した後に、「そうそう、やっぱりぶっかけだよね」と発話する。
【００４３】
ロボットＡは、ロボットＢの音声を検出した後、５秒間待機した後に、「牛丼もいいな」と発話する。ロボットＢは、ロボットＡの音声を検出した後に、「うん、わかる」と発話する。
【００４４】
ロボットＡは、ロボットＢの音声を検出した後、５秒間待機した後に、「僕も行ってみよう」と発話する。ロボットＢは、「うん、わかる」と発話した後、５秒間待機した後に、「僕も行ってみよう」と発話する。このとき、ロボットＡとロボットＢとは同時に発話する状態となる。
【００４５】
（出力された音声の検出（判定））
ここで、ロボットＡ、ロボットＢの音声出力部２２０より出力された音声（発話）をそれぞれ音声入力部２３０により入力して音声レベル検知部２４０により音声レベルを検出する処理について説明する。
【００４６】
図６（ａ）には、ロボットＡとロボットＢとを動作させるシナリオの一部が記載されている。ここでは、ロボットＡが「うどん、おいしそう」と発話した後に、ロボットＢが「そうそう、やっぱりぶっかけだよね」と発話する。
【００４７】
図６（ｂ）に示すように、ロボットＡにより出力された「うどん、おいしそう」という音声３１１ａは、ロボットＢによりノイズ３１１Ｎで検出され、ロボットＢにより出力された「そうそう、やっぱりぶっかけだよね」という音声３２１ｂは、ロボットＡによりノイズ３２１Ｎで検出される。
【００４８】
ロボット制御システム１においては、音声として判断するノイズレベルの範囲を予め設定して、検出されたノイズが音声のノイズレベルに相当すると判断されたときに、音声が出力された（発話）と判定するようにされている。
【００４９】
（シナリオの実行）
次に、第１実施形態のロボット制御システム１において、シナリオに基づきロボット装置２０を動作させる処理についてフローチャートに沿って説明する。
【００５０】
図７に示すように、シナリオによる動作処理が実行されると、まず、ロボット装置２０がシナリオを受信したか否かが判断される（ステップＳ１０２）。
【００５１】
ステップＳ１０２において、ロボット装置２０がシナリオを受信したと判断された場合は、ロボット装置２０は記憶部２９０にシナリオを記憶する（ステップＳ１０４）。そして、ロボット装置２０がシナリオ開始の要求を受信したか否かが判断される（ステップＳ１０６）。
【００５２】
ステップＳ１０６において、ロボット装置２０がシナリオ開始の要求を受信したと判断された場合は、シナリオの最初のコマンドを読込み（ステップＳ１０８）、コマンド処理が実行される（ステップＳ１１０）。
【００５３】
そして、全てのコマンドが実行されたか否かが判断される（ステップＳ１１２）。
ステップＳ１１２において、全てのコマンドが実行されていないと判断された場合は、シナリオの次のコマンドを読込み（ステップＳ１１６）、ステップＳ１１０に進み、コマンド処理が実行される。このコマンド処理は、全てのコマンドが実行されるまで繰り返し実行される。
【００５４】
ステップＳ１１２において、全てのコマンドが実行されたと判断された場合は、シナリオの実行処理が終了する。
【００５５】
（コマンド処理の実行）
次に、第１実施形態のロボット制御システム１において、コマンド処理の実行についてフローチャートに沿って説明する。
【００５６】
図８に示すように、コマンド処理が実行されると、まず、コマンドがウェイトコマンドか否かが判断される（ステップＳ１５２）。
【００５７】
ステップＳ１５２において、コマンドがウェイトコマンドであると判断された場合は、指定された時間だけ待った後に（ステップＳ１５４）、コマンド処理は終了する。
【００５８】
一方、ステップＳ１５２において、コマンドがウェイトコマンドではないと判断された場合は、コマンドが発話コマンドであるか否かが判断される（ステップＳ１５６）。
【００５９】
ステップＳ１５６において、コマンドが発話コマンドであると判断された場合は、自局発話（自分側が発話する）であるか否かが判断される（ステップＳ１５８）。
【００６０】
ステップＳ１５８において、自局発話であると判断された場合は、コマンドに従って発話する（ステップＳ１６０）。
【００６１】
一方、ステップＳ１５８において、自局発話ではないと判断された場合は、音声のノイズを検知して（ステップＳ１６２）、検出されたノイズ時間とシナリオの発話時間とが一致するか否かが判断される（ステップＳ１６４）。
【００６２】
ステップＳ１６４において、検出されたノイズ時間とシナリオの発話時間とが一致した場合は、コマンド処理は終了する。検出されたノイズ時間とシナリオの発話時間とが一致しなかった場合は、ステップＳ１６２に戻り、ノイズの検知が行なわれる。
【００６３】
また、ステップＳ１５６において、コマンドが発話コマンドではないと判断された場合は、所定のコマンドを実行して（ステップＳ１６６）、コマンド処理は終了する。
【００６４】
このようにして、ロボット制御システム１により、シナリオに基づいて複数のロボット装置２０を動作制御することで、ロボット装置２０同士が互いに相手側の動作を確認して動作するようにしたので、ロボット装置２０同士を連携して動作させることができる。
【００６５】
以上のように構成したので、第１実施形態によれば、ロボット制御システム１において、ロボット装置２０として第１のロボット装置２０ａおよび第２のロボット装置２０ｂと、第１のロボット装置２０ａおよび第２のロボット装置２０ｂと通信可能な制御用サーバ装置１０とを備え、制御用サーバ装置１０の構成として、各部における動作処理を制御する制御部１００と、通信部１１０と、シナリオを記憶する記憶部１９０と、を備え、ロボット装置２０の構成として、当該ロボット装置２０の動作制御を行う制御部２００と、通信部２１０と、音声出力部２２０と、音声入力部２３０と、入力された音声レベルを検出する音声レベル検知部２４０と、シナリオを記憶する記憶部２９０と、を備え、ロボット装置２０側の制御部２００により、音声レベル検知部２４０による音声検出結果に基づき、他のロボット装置２０が発話したか否かを判定して、その判定結果に基づき、シナリオに沿って当該ロボット装置２０の動作を他のロボット装置２０の動作に連携して実行させることで、複数のロボット装置２０の動作をスムーズに連携して実行させることができる。
【００６６】
（第２実施形態）
次に、第２実施形態について図面を参照して説明する。
なお、説明の便宜上、第１実施形態と同一の機能を有する構成には、同一の番号を付して説明を省略する。
【００６７】
図９は第２実施形態に係るロボット制御システムの構成を示す説明図、図１０は前記ロボット制御システムを構成するロボット装置の構成を示すブロック図、図１１は前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【００６８】
（ロボット制御システムの構成）
第２実施形態に係るロボット制御システム２は、図９に示すように、ロボット装置２２として第１のロボット装置２２ａ、第２のロボット装置２２ｂと、ロボット装置２２と通信可能な制御用サーバ装置１０と、通信接続用のアクセスポイント３０と、を備えて構成され、シナリオに基づき、ロボット装置２２同士が連携した動作を行うように制御することを特徴とするものである。
【００６９】
ロボット装置２２は、図１０に示すように、第１実施形態のロボット装置２０の構成と同様な構成である、制御部２００、通信部２１０、音声出力部２２０、音声入力部２３０、記憶部２９０に加えて、さらに、音声処理部２５０、映像入力部２６０、映像処理部２７０を備えている。
【００７０】
音声処理部２５０は、音声入力部２３０により入力された入力情報から発話方向（音声方向）を識別する。
【００７１】
映像入力部２６０は、カメラを用いて映像を取り込むものであってもよい。
また，映像入力部２６０は、例えば、人形型のロボット装置の頭部（顔部を含む）または頭部に相当する部分に装着するようにしてもよい。
【００７２】
映像処理部２７０は、映像入力部２６０により取り込まれた画像情報（映像情報）から、シナリオにおいて設置された条件に合致する画像や映像を検知する。
【００７３】
記憶部２９０は、ロボット制御システムに用いられるシナリオを格納するシナリオ格納領域２９２、当該ロボット装置２２の動作を制御する制御プログラム２９４に加えて、映像入力部２６０により取り込まれた画像情報（映像情報）を格納する画像情報格納領域２９６を備えている。
【００７４】
第２実施形態では、シナリオコマンドとして、発話コマンド（音声出力）を「SP」，「SP_S」に加えて、モーションを指定するパラメータ（モーションＩＤ）を用いることを特徴としている。
【００７５】
モーションＩＤに対応する動作は、予め設定されて、ロボット装置２２が所定の動作を行なったときに、他のロボット装置２２が特定の動作を行なったことを判断できるようにされている。
【００７６】
第２実施形態では、モーションＩＤは、
ＩＤ１：「右腕を上げる」、
ＩＤ２：「首を上下させてうなずく動作」、
ＩＤ３：「両腕を上げる」、
という３種類のモーションが設定されている。
モーションＩＤは、シナリオ上では、モーションに対応する番号が付記される。
【００７７】
（シナリオの構成）
第２実施形態のシナリオ３０２は、図１１に示すように、
「ROBOT_A」が発話（右腕をあげて）、「うどんおいしそう」。
「ROBOT_B」が発話（右腕をあげて）、「そうそう、やっぱりぶっかけだよね」。
５秒間待機、
「ROBOT_A」が発話（右腕をあげて）、「牛丼もいいな」。
「ROBOT_B」が発話（首を上下させて）、「うん、わかる」。
５秒間待機、
「ROBOT_A」と「ROBOT_B」とが同時に発話（両腕を上げて）、「僕も行ってみよう！」。
というように、第１のロボット装置２０ａと第２のロボット装置２０ｂとの連携した発話とモーションを制御するようにされている。
【００７８】
すなわち、シナリオ３０２による具体的なロボット装置２２の連携は、第１のロボット装置２２ａが（右腕をあげて）発話した後に、第２のロボット装置２２ｂが（右腕をあげて）発話し、５秒間待った後に、第１のロボット装置２２ａが（右腕を上げて）発話し、その後に第２のロボット装置２２ｂが（首を上下させて）発話し、再び５秒間待った後に、第１のロボット装置２２ａと第２のロボット装置２２ｂが同時に（両腕を上げて）発話する、というように、第１のロボット装置２２ａと第２のロボット装置２２ｂとが連携してモーションを行ないながら会話をするように構成されている。
【００７９】
このように、第２実施形態のロボット制御システムでは、シナリオ３０２に基づいて、第１のロボット装置２０ａと第２のロボット装置２０ｂとが連携するようにそれぞれのロボット装置が他のロボット装置の動作（発話とモーション）を確認して、その結果に基づいて自らのロボット装置が動作（発話とモーション）をするように制御されている。
【００８０】
（コマンド処理の実行）
次に、第２実施形態のロボット制御システム２において、コマンド処理の実行についてフローチャートに沿って説明する。
【００８１】
図１２は第２実施形態のロボット制御システムによるシナリオのコマンドの処理を示すフローチャートである。
【００８２】
図１２に示すように、コマンド処理が実行されると、まず、コマンドがウェイトコマンドか否かが判断される（ステップＳ１５２）。
【００８３】
ステップＳ１５２において、コマンドがウェイトコマンドであると判断された場合は、指定された時間だけ待った後に（ステップＳ１５４）、コマンド処理は終了する。
【００８４】
一方、ステップＳ１５２において、コマンドがウェイトコマンドではないと判断された場合は、コマンドが発話コマンドであるか否かが判断される（ステップＳ１５６）。
【００８５】
ステップＳ１５６において、コマンドが発話コマンドであると判断された場合は、自局発話（自分側が発話する）であるか否かが判断される（ステップＳ１５８）。
【００８６】
ステップＳ１５８において、自局発話であると判断された場合は、コマンドに従って発話する（ステップＳ１６０）。
【００８７】
一方、ステップＳ１５８において、自局発話ではないと判断された場合は、コマンドから他のロボット装置２２のモーションを抽出して（ステップＳ２０２）、抽出されたモーションと同じモーションを検出したか否かが判断される（ステップＳ２０４）。
【００８８】
ステップＳ２０４において、抽出されたモーションと同じモーションを検出した場合は、コマンド処理は終了する。抽出されたモーションと同じモーションを検出していない場合は、ステップＳ２０２に戻り、他のロボット装置２２のモーションの抽出が行なわれる。
【００８９】
また、ステップＳ１５６において、コマンドが発話コマンドではないと判断された場合は、所定のコマンドを実行して（ステップＳ１６６）、コマンド処理は終了する。
【００９０】
このようにして、第２実施形態のロボット制御システム２により、シナリオに基づいて複数のロボット装置２２を動作制御することで、ロボット装置２２同士が互いに相手側の発話とモーションによる動作を確認して動作するようにしたので、ロボット装置２２同士を正確に連携して動作させることができる。
【００９１】
以上のように構成したので、第２実施形態によれば、ロボット制御システム２において、ロボット装置２２の構成として、当該ロボット装置２２の動作制御を行う制御部２００、通信部２１０、音声出力部２２０、音声入力部２３０、シナリオを記憶する記憶部２９０に加えて、さらに、音声処理部２５０、映像入力部２６０、映像処理部２７０を備え、ロボット装置２２側の制御部２００により、音声入力部２３０による音声検出結果と、映像処理部２７０による映像入力部２６０により取り込まれたロボット装置２２のモーションを抽出した結果に基づき、他のロボット装置２２が発話したか否かを判定して、その判定結果に基づき、シナリオに沿って当該ロボット装置２２の動作を他のロボット装置２２の動作に連携して実行させることで、複数のロボット装置２２の動作をスムーズに連携して実行させることができる。
【００９２】
（第３実施形態）
次に、第３実施形態について図面を参照して説明する。
なお、説明の便宜上、第１実施形態と同一の機能を有する構成には、同一の番号を付して説明を省略する。
【００９３】
図１３は第３実施形態に係るロボット制御システムの構成を示す説明図、図１４（ａ）〜（ｄ）は前記ロボット制御システムを構成するロボット装置のシナリオに沿った動作制御の一例を示す説明図、図１５は前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【００９４】
（ロボット制御システムの構成）
第３実施形態に係るロボット制御システム３は、図１３に示すように、ロボット装置２３として第１のロボット装置２３ａ、第２のロボット装置２３ｂ、第３のロボット装置２３ｃと、ロボット装置２３と通信可能な制御用サーバ装置１０と、通信接続用のアクセスポイント３０と、を備えて構成され、シナリオに基づき、ロボット装置２３同士が連携した動作を行うように制御することを特徴とするものである。
【００９５】
ロボット装置２３は、図１０に示す第２実施形態のロボット装置２２と同様に、制御部２００、通信部２１０、音声出力部２２０、音声入力部２３０、記憶部２９０に加えて、さらに、音声処理部２５０、映像入力部２６０、映像処理部２７０を備えている。
【００９６】
第３実施形態は、第２実施形態と同様に、シナリオコマンドとして、発話コマンド（音声出力）を「SP」，「SP_S」に加えて、モーションを指定するパラメータ（モーションＩＤ）を用いることを特徴としている。
【００９７】
そして、第３実施形態では、シナリオに沿った動作制御として、第２実施形態におけるロボット装置２３の発話とモーションの動作制御に加えて、発話やモーションを実行するロボット装置２３に対してその他のロボット装置２３が対向するように向きを変えるように動作制御されることを特徴としている
【００９８】
（ロボット装置の連携動作）
連携して動作を行なう複数のロボット装置２３の動作制御の一例を、図面を参照して説明する。
【００９９】
第３実施形態では、３体のロボット装置２３ａ，２３ｂ，２３ｃが配置されている。
シナリオコマンドには、各ロボット装置の位置情報「PS」が追加されている。
【０１００】
まず、第３実施形態では、例えば、シナリオ上で３体のロボット装置２３ａ，２３ｂ，２３ｃをロボットＡ，Ｂ，Ｃとすると、ロボットＡ，Ｂ，Ｃの配置は、図１４（ａ）に示すように、
「PS,A,0,0」：座標（０，０）の位置にロボットＡが置かれている。
「PS,B,50,50」：座標（５０，５０）の位置にロボットＢが置かれている。
「PS,A,100,0」：座標（１００，０）の位置にロボットＣが置かれている。
とされている。
【０１０１】
そして、第１のロボット装置２３ａ、第２のロボット装置２３ｂ、第３のロボット装置２３ｃが同一方向に向かい配置されている。
【０１０２】
例えば、第１のロボット装置２３ａが発話を行なうときには、図１４（ｂ）に示すように、第２のロボット装置２３ｂと第３のロボット装置２３ｃは、それぞれ頭部または全体を第１のロボット装置２３ａに対向するように向きを変える。
【０１０３】
そして、図１４（ｃ）に示すように、第１のロボット装置２３ａが発話とモーション（右腕を上げる）を行なうときに、第２のロボット装置２３ｂと第３のロボット装置２３ｃは、第１のロボット装置２３ａの発話を音声入力部２３０より入力するとともに、モーションを映像入力部２６０により取り込む処理が行なわれる。
【０１０４】
そして、第１のロボット装置２３ａの発話とモーション（右腕を上げる）の動作が終了すると、第２のロボット装置２３ｂと第３のロボット装置２３ｃは、図１４（ｄ）に示すように、それぞれ第１のロボット装置２３ａの動作の終了を認識して、頭部または全体を元の向きに向き直る。
【０１０５】
第３実施形態では、このように動作を連携させることで、これから発話やモーションを行なうロボット装置２３がどのロボット装置２３なのかを見ている人に前もって知らせることができ、また、動作が終了したことを知らせることができる。
【０１０６】
（シナリオの構成）
第３実施形態のシナリオ３０３は、図１５に示すように、
「ROBOT_A」が座標（０，０）に置かれている
「ROBOT_B」が座標（５０，５０）に置かれている
「ROBOT_C」が座標（１００，０）に置かれている
「ROBOT_A」が発話（右腕をあげて）、「うどんおいしそう」。
「ROBOT_B」が発話（右腕をあげて）、「そうそう、やっぱりぶっかけだよね」。
５秒間待機、
「ROBOT_A」が発話（右腕をあげて）、「牛丼もいいな」。
「ROBOT_B」と「ROBOT_C」が同時に発話（首を上下させて）、「うん、わかる」。
５秒間待機、
「ROBOT_A」と「ROBOT_B」と「ROBOT_C」とが同時に発話（両腕を上げて）、「僕も行ってみよう！」。
というように、第１のロボット装置２３ａと第２のロボット装置２３ｂと第３のロボット装置２３ｃの連携した発話とモーションを制御するようにされている。
【０１０７】
すなわち、シナリオ３０３による具体的なロボット装置２３の連携は、まず、ロボット装置２３の位置情報が示されて、座標（０，０）の位置に第１のロボット装置２３ａ、座標（５０，５０）の位置に第２のロボット装置２３ｂ、座標（１００，０）の位置に第３のロボット装置２３ｃが置かれている。そして、第１のロボット装置２３ａが（右腕をあげて）発話した後に、第２のロボット装置２３ｂが（右腕をあげて）発話し、５秒間待った後に、第１のロボット装置２３ａが（右腕を上げて）発話し、その後に第２のロボット装置２３ｂと第３のロボット装置２３ｃが（首を上下させて）発話し、再び５秒間待った後に、第１のロボット装置２３ａと第２のロボット装置２３ｂと第３のロボット装置２３ｃが同時に（両腕を上げて）発話する、というように、第１のロボット装置２３ａと第２のロボット装置２３ｂと第３のロボット装置２３ｃとが連携してモーションを行ないながら会話をするように構成されている。
【０１０８】
第３実施形態では、第１のロボット装置２３ａが動作を行なう際は、動作を行なう前に第２のロボット装置２３ｂと第３のロボット装置２３ｃが第１のロボット装置２３ａに向かうように動作制御され、第１のロボット装置２３ａが動作を終了した後は、第２のロボット装置２３ｂと第３のロボット装置２３ｃが元の向きに向き直るように動作制御されている。
【０１０９】
また、第２のロボット装置２３ｂが動作を行なう際も同様に、動作を行なう前にその他の第１のロボット装置２３ａと第３のロボット装置２３ｃが第２のロボット装置２３ｂに向かうように動作制御され、第２のロボット装置２３ｂが動作を終了した後は、第１のロボット装置２３ａと第３のロボット装置２３ｃが元の向きに向き直るように動作制御されている。
【０１１０】
このように、第３実施形態のロボット制御システムでは、シナリオ３０３に基づいて、第１のロボット装置２３ａと第２のロボット装置２３ｂと第３のロボット装置２３ｃとが連携するようにそれぞれのロボット装置が他のロボット装置の動作（発話とモーション）を確認して、その結果に基づいて自らのロボット装置が動作をするように制御されている。
【０１１１】
（コマンド処理の実行）
次に、第３実施形態のロボット制御システム３において、コマンド処理の実行についてフローチャートに沿って説明する。
【０１１２】
図１６は第３実施形態のロボット制御システムによるシナリオのコマンドの処理を示すフローチャートである。
【０１１３】
図１６に示すように、コマンド処理が実行されると、まず、コマンドがウェイトコマンドか否かが判断される（ステップＳ１５２）。
【０１１４】
ステップＳ１５２において、コマンドがウェイトコマンドであると判断された場合は、指定された時間だけ待った後に（ステップＳ１５４）、コマンド処理は終了する。
【０１１５】
一方、ステップＳ１５２において、コマンドがウェイトコマンドではないと判断された場合は、コマンドが発話コマンドであるか否かが判断される（ステップＳ１５６）。
【０１１６】
ステップＳ１５６において、コマンドが発話コマンドであると判断された場合は、自局発話（自分側が発話する）であるか否かが判断される（ステップＳ１５８）。
【０１１７】
ステップＳ１５８において、自局発話であると判断された場合は、コマンドに従って発話する（ステップＳ１６０）。
【０１１８】
一方、ステップＳ１５８において、自局発話ではないと判断された場合は、映像入力部２６０であるカメラを他局の位置に向けて（ステップＳ３０２）、コマンドから他のロボット装置２２のモーションを抽出して（ステップＳ２０２）、抽出されたモーションと同じモーションを検出したか否かが判断される（ステップＳ２０４）。
【０１１９】
ステップＳ２０４において、抽出されたモーションと同じモーションを検出した場合は、カメラを元の位置に戻して（ステップＳ３０４）、コマンド処理は終了する。
【０１２０】
一方、抽出されたモーションと同じモーションを検出していない場合は、ステップＳ２０２に戻り、他のロボット装置２２のモーションの抽出が行なわれる。
【０１２１】
また、ステップＳ１５６において、コマンドが発話コマンドではないと判断された場合は、所定のコマンドを実行して（ステップＳ１６６）、コマンド処理は終了する。
【０１２２】
このようにして、第３実施形態のロボット制御システム３により、シナリオに基づいて複数のロボット装置２３を動作制御することで、ロボット装置２３同士が他のロボット装置２３の発話とモーションによる動作を確認して動作するようにしたので、ロボット装置２３同士を正確に連携して動作させることができる。
【０１２３】
以上のように構成したので、第３実施形態によれば、ロボット制御システム３において、ロボット装置２３の構成として、第２実施形態におけるロボット装置２２と同様に、当該ロボット装置２３の動作制御を行う制御部２００、通信部２１０、音声出力部２２０、音声入力部２３０、シナリオを記憶する記憶部２９０に加えて、さらに、音声処理部２５０、映像入力部２６０、映像処理部２７０を備え、ロボット装置２３側の制御部２００により、音声入力部２３０による音声検出結果と、映像処理部２７０による映像入力部２６０により取り込まれたロボット装置２３のモーションを抽出した結果に基づき、他のロボット装置２２が発話したか否かを判定して、その判定結果に基づき、シナリオに沿って当該ロボット装置２２の動作を他のロボット装置２２の動作に連携して実行させるとともに、発話やモーションを実行するロボット装置２３に対してその他のロボット装置２３が対向するように向きを変えるように動作制御するようにしたので、複数のロボット装置２３の動作をスムーズに連携して実行させるとともに、これから発話やモーションを行なうロボット装置２３がどのロボット装置２３なのかを見ている人に前もって知らせることができ、また、動作が終了したことを知らせることができる。
【０１２４】
（第４実施形態）
次に、第４実施形態について図面を参照して説明する。
なお、説明の便宜上、第１実施形態と同一の機能を有する構成には、同一の番号を付して説明を省略する。
【０１２５】
図１７は第４実施形態に係るロボット制御システムの構成を示す説明図、図１８は前記ロボット制御システムを構成するロボット装置の構成を示すブロック図、図１９は前記ロボット制御システムを構成する時刻サーバ装置の構成を示すブロック図、図２０は前記ロボット制御システムに用いられるシナリオの一例を示す説明図である。
【０１２６】
（ロボット制御システムの構成）
第４実施形態に係るロボット制御システム４は、図１７に示すように、ロボット装置２４として第１のロボット装置２４ａ、第２のロボット装置２４ｂと、ロボット装置２４と通信可能な制御用サーバ装置１０と、通信接続用のアクセスポイント３０と、を備えるとともに、さらに、時刻管理を行なう時刻サーバ装置４０と、を備えて構成されることを特徴とするものである。
【０１２７】
ロボット装置２４は、図１８に示すように、各部における動作処理を制御する制御部２００と、制御用サーバ装置１０および時刻サーバ装置４０との通信接続を行う通信部２１０と、音声出力部２２０と、時刻管理部２８０と、動作プログラム等が記憶される記憶部２９０とを備えている。第１のロボット装置２４ａおよび第２のロボット装置２４ｂとも同様に構成されている。
【０１２８】
時刻管理部２８０は、時刻サーバ装置４０との調整により取得した時刻に基づき、端末装置内の時間を調整・管理する。
【０１２９】
時刻サーバ装置４０は、図１９に示すように、各部における動作処理を制御する制御部３００と、ロボット装置２４との通信接続を行う通信部３１０と、時刻管理部３２０と、記憶部３９０とを備えている。
【０１３０】
時刻管理部３２０は、当該時刻サーバ装置４０と接続されるロボット装置２４の時刻の調整を行なう。
【０１３１】
記憶部３９０には、ロボット制御システム４に用いられるシナリオを格納するシナリオ格納領域３９２を備えている。
【０１３２】
（シナリオの構成）
第３実施形態の第１のロボット装置２４ａと第２のロボット装置２４ｂとを動作させるシナリオ３０４は、図２０に示すように、シナリオ上で第１のロボット装置２０ａを「ROBOT_A」、第２のロボット装置２０ｂを「ROBOT_B」、発話コマンド（音声出力）を「SP」、として、設定された時刻に沿って動作制御するようにしている。そして、シナリオ３０４の構成は、
１０：１５：０５  「ROBOT_A」が発話、「うどんおいしそう」。
１０：１５：０８  「ROBOT_B」が発話、「そうそう、やっぱりぶっかけだよね」。
１０：１５：１６  「ROBOT_A」が発話、「牛丼もいいな」。
１０：１５：２０  「ROBOT_B」が発話、「うん、わかる」。
１０：１５：２８  「ROBOT_A」と「ROBOT_B」とが同時に発話、「僕も行ってみよう！」。
というように、第１のロボット装置２４ａと第２のロボット装置２４ｂとの連携した発話を制御するようにされている。
【０１３３】
すなわち、シナリオ３０４による具体的なロボット装置２４の連携は、設定された時刻に到達したときに、第１のロボット装置２４ａと第２のロボット装置２４ｂとが交互に発話することで、第１のロボット装置２４ａと第２のロボット装置２４ｂとが連携して会話をするように構成されている。
【０１３４】
このように、ロボット制御システム４では、シナリオ３０４に基づいて、第１のロボット装置２４ａと第２のロボット装置２４ｂとが設定された時刻のときにそれぞれが動作をするように制御されている。
【０１３５】
（ロボット制御システムにおけるロボット装置の動作制御）
次に、第４実施形態のロボット制御システム４における、シナリオに基づく第１のロボット装置２４ａと第２のロボット装置２４ｂとを連携させて動作させる制御について図面を参照して説明する。
【０１３６】
図２１は第４実施形態のロボット制御システムによるシナリオに基づく第１のロボット装置と第２のロボット装置とを動作させる制御を示すシーケンス図、図２２は前記シナリオに基づく動作処理を示すフローチャートである。
【０１３７】
ロボット制御システム４において、ユーザが作成したシナリオ３０４（ここでは単に「シナリオ」と称する。）に基づき第１のロボット装置２４ａ（ここでは「ロボットＡ」と称する。）と、第２のロボット装置２４ｂ（ここでは「ロボットＢ」と称する。）と、を連携させた動作制御を行う場合は、図２１に示すように、まず、制御用サーバ装置１０において、シナリオを作成する（Ｓ１００２）。
【０１３８】
そして、制御用サーバ装置１０において、シナリオ開始の操作が行われたか否かが判断され（Ｓ１０１０）、シナリオ開始の操作が行われたと判断された場合は、ロボットＡとロボットＢに対してシナリオを送信する（Ｓ１００４）。
【０１３９】
そして、ロボット装置側では、ロボットＡ，ロボットＢにおいて、シナリオを受信する（Ｓ１００６，Ｓ１００８）。シナリオを受信したロボットＡ，ロボットＢはシナリオに沿った処理を実行する。
【０１４０】
ロボットＡ，ロボットＢは、時刻サーバ装置４０に対して時刻要求を送信する（Ｓ４００２，Ｓ４０１２）。
【０１４１】
時刻サーバ装置４０は、ロボットＡ，ロボットＢからの時刻要求を受信すると（Ｓ４００４，Ｓ４０１２）、ロボットＡ，ロボットＢに対して時刻を送信する（Ｓ４００６，Ｓ４０１６）。
【０１４２】
ロボットＡ，ロボットＢは、時刻サーバ装置４０から時刻を受信すると（Ｓ４００８，Ｓ４０１８）、それぞれ時刻調整を行ない（Ｓ４０１０，Ｓ４０２０）、シナリオを実行する（Ｓ４０２２，Ｓ４０２４）。
【０１４３】
（シナリオの実行）
次に、第４実施形態のロボット制御システム４において、シナリオに基づきロボット装置２４を動作させる処理についてフローチャートに沿って説明する。
【０１４４】
図２２に示すように、シナリオによる動作処理が実行されると、まず、ロボット装置２４がシナリオを受信したか否かが判断される（ステップＳ１０２）。
【０１４５】
ステップＳ１０２において、ロボット装置２４がシナリオを受信したと判断された場合は、ロボット装置２４は記憶部２９０にシナリオを記憶する（ステップＳ１０４）。
【０１４６】
そして、時刻サーバ装置４０に対して時刻を要求して（ステップＳ４０２）、時刻サーバ装置４０から時刻要求の応答があったか否かが判断される（ステップＳ４０４）。
【０１４７】
ステップＳ４０４において、時刻サーバ装置４０から時刻要求の応答があったと判断された場合は、時刻を調整して（ステップＳ４０６）、最初の自局発話の発話内容を読込み（ステップＳ４０８）、発話時刻になったか否かが判断される（ステップＳ４１０）。
【０１４８】
ステップＳ４１０において、発話時刻となったと判断された場合は、発話内容を発話する（ステップＳ４１２）。そして、全ての発話が終了したか否かが判断される（ステップＳ４１４）。
【０１４９】
ステップＳ４１４において、全ての発話が終了していないと判断された場合は、次の自局発話の発話内容を読込む（ステップＳ４１６）。そして、Ｓ４１０に戻り、次の発話時刻になったか否かの判断が継続される。
【０１５０】
そして、ステップＳ４１４において、全ての発話が終了したと判断された場合は、シナリオの実行処理が終了する。
【０１５１】
このようにして、ロボット制御システム４によるシナリオに基づいて複数のロボット装置２４を連携して動作制御することができる。
【０１５２】
以上のように構成したので、第４実施形態によれば、ロボット制御システム４において、時刻サーバ装置４０により、ロボット装置２４の時刻管理を行なうことで、時刻に基づいてロボット装置２４の動作を動作させるシナリオ３０４によるロボット装置２４を連携するタイミングの誤差を少なくして動作制御することができる。
【０１５３】
また、時刻サーバ装置４０とロボット装置２４との時刻の調整は、シナリオによる処理を開始する直前に行なうことで、ロボット装置２４の動作を連係するタイミングの誤差を最少にすることができる。
【０１５４】
なお、第４実施形態では、時刻サーバ装置４０によりロボット装置２４の時刻を調整することでロボット装置２４同士の連携のタイミングの誤差を少なくしているが、ロボット装置２４同士の連携のタイミングの誤差を少なくする手法は、これ限定されるものではない。
【０１５５】
（変形例）
以下に、第４実施形態の変形例を示す。
図２３は第４実施形態に係るロボット制御システムにおけるロボット装置の時刻管理を行なう処理の変形例の一例を示すシーケンス図である。
【０１５６】
変形例は、第４実施形態における時刻サーバ装置４０による時刻調整を行なわずに、ロボット装置２４同士により相互の時刻を合わせること動作の連携のタイミングの誤差を少なくするものである。
【０１５７】
具体的には、時刻に基づくシナリオによりロボット装置を連携させて動作制御を行なう場合は、図２３に示すように、まず、制御用サーバ装置１０において、シナリオを作成する（Ｓ１００２）。
【０１５８】
そして、制御用サーバ装置１０において、シナリオ開始の操作が行われたか否かが判断され（Ｓ１０１０）、シナリオ開始の操作が行われたと判断された場合は、ロボットＡとロボットＢに対してシナリオを送信する（Ｓ１００４）。
【０１５９】
そして、ロボット装置側では、ロボットＡ，ロボットＢにおいて、シナリオを受信する（Ｓ１００６，Ｓ１００８）。ロボットＢは、ロボットＡに時刻要求を送信する（Ｓ５００２）。
【０１６０】
ロボットＡは、ロボットＢからの時刻要求を受信すると、ロボットＢに時刻を送信する（Ｓ５００６）。そして、シナリオを実行する（Ｓ４０２２）。
【０１６１】
ロボットＢは、ロボットＡから時刻を受信すると（Ｓ５００８）、時刻を調整する（Ｓ５０１０）。そして、シナリオを実行する（Ｓ４０２４）
【０１６２】
このようにして、ロボットＡとロボットＢとは、シナリオを実行する前に時刻を調整することで、ロボットＡとロボットＢの時刻の誤差を少なくすることができる。これにより、時刻に基づくシナリオを実行する際には、ロボットＡとロボットＢとの動作の連携のタイミングの誤差を少なくすることができる。
【０１６３】
以上のように、変形例によれば、時刻サーバ装置４０を用いることなく、ロボット装置間の時刻の誤差を少なくすることで、ロボット装置の連携のタイミングの誤差を少なくすることができる。
【０１６４】
また、その他の変形例として、例えば、制御用サーバに時刻管理を行なう機能を持たせるようにしてもよい。これにより、別途時刻サーバ装置を設けることなく、ロボット装置の時刻管理を行なうことが可能になる。
【０１６５】
なお、上述した実施形態や変形例では、制御サーバ装置によりロボット装置同士を連携させるようにしているが、サイネージ等、ロボット装置以外の外部装置を連携させるように展開することも可能である。
【０１６６】
以上のように、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０１６７】
１，２，３，４  ロボット制御システム
１０  制御用サーバ装置
２０，２２，２３，２４  ロボット装置
２０ａ，２２ａ，２３ａ，２４ａ  第１のロボット装置
２０ｂ，２２ｂ，２３ｂ，２４ｂ  第２のロボット装置
２３ｃ  第３のロボット装置
３０  アクセスポイント
４０  時刻サーバ装置
１００，２００，３００  制御部
１１０，２１０，３１０  通信部
１９０，２９０，３９０  記憶部
１９２，２９２，３９２  シナリオ格納領域
２２０  音声出力部
２３０  音声入力部
２４０  音声レベル検出部
２５０  音声処理部
２６０  映像入力部
２７０  映像処理部
２８０，３２０  時刻管理部
２９６  画像情報格納領域
３０１，３０２，３０３，３０４  シナリオ
【図１】
2019150893.tif 000003
【図２】
2019150893.tif 000004
【図３】
2019150893.tif 000005
【図４】
2019150893.tif 000006
【図５】
2019150893.tif 000007
【図６】
2019150893.tif 000008
【図７】
2019150893.tif 000009
【図８】
2019150893.tif 000010
【図９】
2019150893.tif 000011
【図１０】
2019150893.tif 000012
【図１１】
2019150893.tif 000013
【図１２】
2019150893.tif 000014
【図１３】
2019150893.tif 000015
【図１４】
2019150893.tif 000016
【図１５】
2019150893.tif 000017
【図１６】
2019150893.tif 000018
【図１７】
2019150893.tif 000019
【図１８】
2019150893.tif 000020
【図１９】
2019150893.tif 000021
【図２０】
2019150893.tif 000022
【図２１】
2019150893.tif 000023
【図２２】
2019150893.tif 000024
【図２３】
2019150893.tif 000025