(57)【要約】      （修正有）【課題】制御対象の動作を制御するための指示を行うユーザの利便性を向上させる制御装置、システム及び制御方法を提供する。【解決手段】制御装置１３０では、音声データから制御対象の動作を指示する第１のコマンドを認識する音声認識部３０３と、音声データの終端を確定する音声区間検出部３０２と、第１のコマンドが認識された後から音声データの終端が確定される前の継続区間に応じて、第１のコマンドに基づく動作を継続するよう制御対象を制御する動作制御部３０５、３０６とを有する。【選択図】図３
2020135326.tif 000002
【特許請求の範囲】
【請求項１】
音声データから制御対象の動作を指示する第１のコマンドを認識する音声認識部と、
前記音声データの終端を確定する音声区間検出部と、
前記第１のコマンドが認識された後から前記音声データの終端が確定される前の継続区間に応じて、前記第１のコマンドに基づく動作を継続するよう前記制御対象を制御する動作制御部と
を有する制御装置。
【請求項２】
前記動作制御部は、前記音声データの終端が確定される前に、前記第１のコマンドに基づく動作を開始するよう前記制御対象を制御する、
請求項１に記載の制御装置。
【請求項３】
前記動作制御部は、前記音声データの終端が確定された後に、前記第１のコマンドに基づく動作を停止するよう前記制御対象を制御する、
請求項１または請求項２に記載の制御装置。
【請求項４】
前記動作制御部が前記第１のコマンドに基づく動作を継続するよう前記制御対象を制御している間に、前記音声認識部が第２のコマンドを認識した場合、
前記動作制御部は、前記第２のコマンドが認識された後から前記音声データの終端が確定される前の継続区間に応じて、前記第２のコマンドに基づく動作を継続する、
請求項１乃至請求項３のいずれか１項に記載の制御装置。
【請求項５】
音声データから制御対象の動作を指示するコマンドを認識する音声認識部と、
前記音声データの終端が確定される前に、前記制御対象の動作の継続を示す非音声指示を取得する指示取得部と、
前記コマンドが認識された後から前記動作の継続を示す非音声指示の終端が確定される前の継続区間に応じて、前記コマンドに基づく動作を継続するよう前記制御対象を制御する動作制御部と
を有する制御装置。
【請求項６】
前記動作の継続を示す非音声指示は、少なくとも、ユーザによるジェスチャ及び操作のいずれか１つである、
請求項５に記載の制御装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の制御装置と、
前記制御装置によって動作が制御される制御対象と
を有するシステム。
【請求項８】
音声データから制御対象の動作を指示する第１のコマンドを認識する音声認識工程と、
前記音声データの終端を確定する音声区間検出工程と、
前記第１のコマンドが認識された後から前記音声データの終端が確定される前の継続区間に応じて、前記第１のコマンドに基づく動作を継続するよう前記制御対象を制御する動作制御工程と
を有する制御方法。
【請求項９】
音声データから制御対象の動作を指示するコマンドを認識する音声認識工程と、
前記音声データの終端が確定される前に、前記制御対象の動作の継続を示す非音声指示を取得する指示取得工程と、
前記コマンドが認識された後から前記動作の継続を示す非音声指示の終端が確定される前の継続区間に応じて、前記コマンドに基づく動作を継続するよう前記制御対象を制御する動作制御工程と
を有する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、システム及び制御方法に関する。
【背景技術】
【０００２】
従来より、ユーザの音声指示に基づいて、制御対象（ロボット等）の動作を制御する制御技術が知られている。例えば、下記非特許文献１には、ユーザが言語情報（コマンド）を発声することで制御対象の動作内容を指示し、続いて、コマンドとは異なる言語情報を発声することで、動作時間を指示する構成が開示されている。具体的には、コマンドとは異なる言語情報として、"ａｈｈｈｈ"（「あ〜」）等のように、言葉として意味を持たない単語を発声することで、発声が継続する間、コマンドに基づく動作を制御対象に継続させる構成が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Takeo Igarashi、John F.Hughes "Voice as Sound: Using Non-verbal Voice Input for Interactive Control"、［平成３０年１２月１３日検索］、インターネット（URL: http://www-ui.is.s.u-tokyo.ac.jp/~takeo/papers/voice.pdf）
【非特許文献２】後藤真孝、伊藤克亘、秋葉友良、速水悟、"音声補完：音声入力インタフェースへの新しいモダリティの導入"、［平成３１年２月１４日検索］、インターネット（URL：https://staff.aist.go.jp/m.goto/PAPER/WISS2000.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、制御対象の動作を制御するための指示を行うユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
本開示の一態様による制御装置は、例えば、以下のような構成を有する。即ち、
音声データから制御対象の動作を指示する第１のコマンドを認識する音声認識部と、
前記音声データの終端を確定する音声区間検出部と、
前記第１のコマンドが認識された後から前記音声データの終端が確定される前の継続区間に応じて、前記第１のコマンドに基づく動作を継続するよう前記制御対象を制御する動作制御部とを有する。
【図面の簡単な説明】
【０００６】
【図１】一実施形態に係る制御装置を含むロボットシステムの全体構成の一例を示す第１の図である。
【図２】一実施形態に係る制御装置のハードウェア構成の一例を示す図である。
【図３】インタラクティブ部の機能構成の一例を示す第１の図である。
【図４】ロボットシステムの動作例を示す第１の図である。
【図５】ロボットシステムの動作例を示す第２の図である。
【図６】ロボットシステムの動作例を示す第３の図である。
【図７】制御処理の流れを示すフローチャートである。
【図８】インタラクティブ部の機能構成の一例を示す第２の図である。
【図９】ロボットシステムの動作例を示す第４の図である。
【図１０】ロボットシステムの動作例を示す第５の図である。
【図１１】一実施形態に係る制御装置を含むロボットシステムの全体構成の一例を示す第２の図である。
【発明を実施するための形態】
【０００７】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【０００８】
［第１の実施形態］
＜ロボットシステムの全体構成＞
はじめに、一実施形態に係る制御装置を含むロボットシステムの全体構成について説明する。図１は、一実施形態に係る制御装置を含むロボットシステムの全体構成の一例を示す図である。
【０００９】
図１に示すように、ロボットシステム１００は、本体部１１０と、該本体部１１０に接続されたアーム部１２０とを有し、本体部１１０は、更に、制御装置１３０を内蔵する。
【００１０】
本体部１１０は、撮像装置１１１、マイクロホン１１２を有する。撮像装置１１１は、周辺環境を撮影し、撮影画像を生成する。また、マイクロホン１１２は、周辺の音響信号を検出する。音響信号には、人が発声する音声や、単なる周囲雑音等の雑音が含まれる。
【００１１】
アーム部１２０は、回転関節部１２１を介して本体部１１０に接続される第１アームと、回転関節部１２２を介して第１アームに接続される第２アームとを有する。また、第２アームの先端には、エンドエフェクタ１２４が接続されている。
【００１２】
制御装置１３０には、制御プログラムの一例であるインタラクティブプログラムが実行可能に格納されており、制御装置１３０は、当該プログラムを実行することでインタラクティブ部１４０として機能する。
【００１３】
なお、本実施形態では、ロボットシステム１００が、ユーザ１５０の音声指示に基づいて、アーム部１２０を動作させ、ユーザ１５０が把持するコップ１５１に、ビン１５２に入ったお酒を入れる処理を行うものとして説明する。ただし、ユーザ１５０の音声指示に基づいてロボットシステム１００が実行する処理は、これに限定されない。
【００１４】
また、図１に示すロボットシステム１００は、本体部１１０と、アーム部１２０とが一体的に構成された場合について示したが、本体部１１０と、アーム部１２０とは、別体として構成されてもよい。また、撮像装置１１１及びマイクロホン１１２は、本体部１１０に配される構成としたが、撮像装置１１１及びマイクロホン１１２のいずれか一方または両方は、本体部１１０とは別体に配される構成としてもよい。
【００１５】
＜制御装置のハードウェア構成＞
次に、制御装置１３０のハードウェア構成について説明する。図２は、制御装置１３０のハードウェア構成の一例を示す図である。図２に示すように、制御装置１３０は、ＣＰＵ（Central Processing Unit）２０１、ＧＰＵ（Graphics Processing Unit）２０２を有する。また、制御装置１３０は、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０２等の１または複数のプロセッサ（処理回路、Processing Circuit、Processing Circuitry）とＲＯＭ２０３、ＲＡＭ２０４等の１または複数のメモリは、いわゆるコンピュータを形成する。更に、制御装置１３０は、通信装置２０５を有する。制御装置１３０が有するこれらのハードウェアは、バス２１０を介して相互に接続される。
【００１６】
ＣＰＵ２０１は、ＲＯＭ２０３に書き込まれたＯＳ（Operating System）や各種プログラム（例えば、インタラクティブプログラム等）を実行する演算デバイスである。
【００１７】
ＧＰＵ２０２は、画像処理用の演算デバイスであり、ＣＰＵ２０１によりインタラクティブプログラム等が実行される際に、各種画像データについて、並列処理による高速演算を行う。
【００１８】
なお、ＧＰＵ２０２は、内部メモリ（ＧＰＵメモリ）を搭載しており、各種画像データについて並列処理を行う際に必要な情報を一時的に保持する。
【００１９】
ＲＯＭ２０３は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０３は、各種プログラムを格納するとともに、各種プログラムをＣＰＵ２０１が実行するために必要なプログラム、データ等を格納する。具体的には、ＲＯＭ２０３は、各種プログラムのほか、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
【００２０】
ＲＡＭ２０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０４は、各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。
【００２１】
通信装置２０５は、他の装置（例えば、撮像装置１１１、マイクロホン１１２、回転関節部１２１〜１２２、エンドエフェクタ１２４）と接続し、他の装置と通信を行うための接続デバイスである。
【００２２】
なお、図２の例では、撮像装置１１１及びマイクロホン１１２は、制御装置１３０の外部に配され、通信装置２０５を介して制御装置１３０と通信を行うものとして説明した。しかしながら、撮像装置１１１、マイクロホン１１２は、例えば、制御装置１３０の一部として構成されてもよい。
【００２３】
＜インタラクティブ部の機能構成＞
次に、制御装置１３０にて実現されるインタラクティブ部１４０の機能構成について説明する。図３は、インタラクティブ部の機能構成の一例を示す第１の図である。図３に示すように、インタラクティブ部１４０は、音声取得部３０１、音声区間検出部３０２、音声認識部３０３、コマンド判定部３０４、継続動作制御部３０５、個別動作制御部３０６を有する。なお、音声認識部３０３とコマンド判定部３０４は、１つの機能ブロック（例えば、音声認識部）として実現されてもよい。また、継続動作制御部３０５と個別動作制御部３０６は、１つの機能ブロック（例えば、動作制御部）として実現されてもよい。
【００２４】
音声取得部３０１は、マイクロホン１１２において検出された音響信号を取得する。また、音声取得部３０１は、取得した音響信号を、音声区間検出部３０２、音声認識部３０３に通知する。
【００２５】
音声区間検出部３０２は、通知された音響信号の音圧レベルが所定の閾値以上であるか否かを判定する。また、音声区間検出部３０２は、通知された音響信号の音圧レベルが所定の閾値未満から所定の閾値以上へと変化したタイミングを、音声データの始端として検出する。
【００２６】
また、音声区間検出部３０２は、通知された音響信号の音圧レベルが所定の閾値以上から所定の閾値未満へと変化したタイミングを、音声データの終端として検出する。なお、音声区間検出部３０２は、その後、所定時間、音圧レベルが所定の閾値未満の状態が継続した場合に、所定の閾値以上から所定の閾値未満へと変化したタイミングを、遡って、音声データの終端として確定する。
【００２７】
なお、本実施形態では、音声のパワー（音圧レベル）を用いて音声データの始端と終端とを検出するが、音声のスペクトル特性など、他の特徴量を用いて音声データの始端と終端とを検出してもよい。
【００２８】
また、音声区間検出部３０２は、検出した音声データの始端と終端とを、音声認識部３０３に通知する。更に、音声区間検出部３０２は、音声データの終端が確定したことを示す情報を、コマンド判定部３０４に通知する。
【００２９】
音声認識部３０３は、音響信号のうち音声区間検出部３０２により検出された始端と終端との間の音声データについて音声認識を行う。また、音声認識部３０３は、音声認識を行うことで得られた音声認識結果（言語情報）を、コマンド判定部３０４に通知する。
【００３０】
コマンド判定部３０４は、音声認識部３０３により通知された音声認識結果に含まれる、アーム部１２０の動作内容を指示するコマンドを認識する。また、コマンド判定部３０４は、コマンドを認識した場合、音声区間検出部３０２から音声データの終端が確定したことを示す情報が通知される前であって、コマンドより後に出現した、動作の継続を示す情報の継続区間を抽出する。継続区間とは、ここでは、音声認識結果に含まれる、コマンドより後に出現した、所定の言語情報についての音声データが継続する区間を指す。
【００３１】
また、コマンド判定部３０４は、動作の継続を示す情報の継続区間を抽出した場合にあっては、継続動作を行うと判定する。この場合、コマンド判定部３０４は、認識したコマンドを継続動作制御部３０５に通知するとともに、継続区間中であることを示す情報の、継続動作制御部３０５への通知を開始する。更に、コマンド判定部３０４は、継続区間を抽出した後に、音声区間検出部３０２から、音声データの終端が確定したことを示す情報を受信すると、継続区間中であることを示す情報の通知を停止する。
【００３２】
また、コマンド判定部３０４は、コマンドを認識したが、継続区間を抽出することなく、音声区間検出部３０２から音声データの終端が確定したことを示す情報が通知された場合には、個別動作を行うと判定する。この場合、コマンド判定部３０４は、認識したコマンドを、個別動作制御部３０６に通知する。
【００３３】
継続動作制御部３０５は、コマンド判定部３０４よりコマンドが通知されると、通知されたコマンドに応じた動作を開始するよう、アーム部１２０を制御する。また、継続動作制御部３０５は、コマンド判定部３０４より、継続区間中であることを示す情報が通知されている間（つまり、継続区間の長さに応じた時間分）、コマンドに応じた動作を継続するよう（継続動作を実行するよう）、アーム部１２０を制御する。更に、継続動作制御部３０５は、コマンド判定部３０４が継続区間中であることを示す情報の通知を停止すると、コマンドに応じた動作を停止するよう、アーム部１２０を制御する。
【００３４】
このように、継続動作制御部３０５は、音声認識結果に含まれるコマンドを認識した後、音声データの終端が確定するまでの間、当該コマンドに応じた動作を継続するようアーム部１２０を制御する。また、継続動作制御部３０５は、音声データの終端が確定した後に、当該コマンドに応じた動作を停止するようアーム部１２０を制御する。
【００３５】
個別動作制御部３０６は、コマンド判定部３０４よりコマンドが通知されると、通知されたコマンドに応じた一連の動作を実行するよう（個別動作を実行するよう）、アーム部１２０を制御する。
【００３６】
＜ロボットシステムの動作例＞
次に、ロボットシステム１００の動作例について、図４〜図６を用いて説明する。
【００３７】
（１）ロボットシステムの動作例１
図４は、ロボットシステムの動作例を示す第１の図である。図４において、グラフ４１０は、音声取得部３０１が取得した音響信号を、音声区間検出部３０２が解析することで得た音圧レベルの変化を示すグラフであり、横軸は時間を、縦軸は音圧レベルを示している。
【００３８】
グラフ４１０に示すように、音声区間検出部３０２は、音圧レベルが所定の閾値未満から所定の閾値以上へと変化したタイミングを、音声データの始端として検出する。また、音声区間検出部３０２は、音圧レベルが所定の閾値以上から所定の閾値未満へと変化したタイミングを、音声データの終端として検出する。更に、音声区間検出部３０２は、音声データの終端を検出した後、所定時間、音圧レベルが所定の閾値未満の状態が継続した場合に、検出したタイミングを音声データの終端として確定する。
【００３９】
なお、音声データの始端も同様の方法で確定する様に構成してもよい。具体的には、音声区間検出部３０２は、音声データの始端を検出した後、所定時間、音圧レベルが所定の閾値以上の状態が継続した場合に、検出したタイミングを音声データの始端として確定してもよい。
【００４０】
また、図４において、音声認識結果４２０は、音声取得部３０１が取得した音響信号のうち、検出された始端と終端との間の音声データについて、音声認識部３０３が音声認識を行うことで得た言語情報を示している。図４の例は、音声認識部３０３が、言語情報として「お酒を、もっといれて――――」を得たことを示している。
【００４１】
また、図４において、コマンド４３０は、コマンド判定部３０４が、音声認識部３０３より通知された言語情報に含まれるコマンドを認識し、コマンドに基づく動作を判定したものである。図４に示すように、コマンド判定部３０４は、コマンドに基づく動作が、コップ１５１にお酒を入れる動作であると判定する。
【００４２】
また、図４において、動作時間４４０は、コマンド判定部３０４が、コマンドより後に出現した、動作の継続を示す情報の継続区間を抽出することで決定される。図４の例の場合、コマンド判定部３０４は、音声認識を行うことで得た言語情報の最後の文字（"て"）の母音が伸びている区間を、継続区間として抽出し、抽出した継続区間の長さに応じた時間を、動作時間として決定する。なお、図４の場合、コマンド判定部３０４は、音声区間検出部３０２から、音声データの終端が確定したことを示す情報が通知されることで、継続区間の終了を判定する。
【００４３】
また、図４において、動作シーン４５０は、継続動作制御部３０５によりアーム部１２０が制御された場合の、ビン１５２の各状態を示したものである。このうち、状態（ａ）は、音声区間検出部３０２により、音声データの始端が検出される前の状態を示している。状態（ａ）に示すように、ユーザ１５０は、発声を開始する前に、アーム部１２０のエンドエフェクタ１２４により把持されたビン１５２の注ぎ口のそばに、コップ１５１を差し出しているものとする。
【００４４】
状態（ａ）において、ユーザ１５０が「お酒を、もっといれて――――」と発声すると、状態（ｂ）に示すように、アーム部１２０がビン１５２を傾けることで、コップ１５１にお酒を入れる動作を開始する。
【００４５】
アーム部１２０がコップ１５１にお酒を入れる動作は、継続動作制御部３０５に継続区間中であることを示す情報が通知されている間、継続する（状態（ｃ））。その後、コマンド判定部３０４が、音声データの終端が確定したことを示す情報の通知を受けると、継続動作制御部３０５への、継続区間中であることを示す情報の通知が停止される（音圧レベルが閾値を下回ってから所定時間経過後に停止される）。これにより、継続動作制御部３０５はアーム部１２０を元の状態に戻すように制御し、アーム部１２０はコップ１５１にお酒を入れる動作を停止する（状態（ｄ））。
【００４６】
このように、ユーザ１５０は、動作内容を示すコマンドの最後の文字の母音を伸ばすことで、コマンドに基づく動作を継続させる時間を指示することができる。つまり、動作内容を指示するための一連の言語情報の中に動作の継続を示す情報を含めることで、ユーザは、より自然な発声により動作内容と動作時間とを指示することができる。
【００４７】
この結果、アーム部１２０の動作を制御するための音声指示を行うユーザ１５０の利便性を向上させることができる。
【００４８】
（２）ロボットシステムの動作例２
図５は、ロボットシステムの動作例を示す第２の図である。図５において、グラフ５１０は、ユーザ１５０の発声内容の違いに基づく音圧レベルの違い以外は、図４のグラフ４１０と同様である。
【００４９】
図５において、音声認識結果５２０は、音声認識部３０３が音声認識を行うことで得た言語情報のうち、コマンドとして抽出される部分の言語情報（「お酒を、注いでくれ」）は、図４の音声認識結果４２０と同様である。
【００５０】
一方、コマンドとして抽出される部分の言語情報に続く言語情報は、図４の音声認識結果４２０とは異なっており、図５の場合、「もっと」が繰り返されている。この場合、コマンド判定部３０４では、コマンドより後に出現した、動作の継続を示す情報（"もっと"）の繰り返し区間を、継続区間として抽出する。そして、コマンド判定部３０４では、抽出した継続区間の長さに応じた時間を、動作時間として決定する（動作時間４４０参照）。なお、コマンド判定部３０４は、音声区間検出部３０２から、音声データの終端が確定したことを示す情報が通知されることで、継続区間の終了を判定する。
【００５１】
図５に示す以降の動作シーン４５０は、図４において説明した動作シーン４５０と同じであるため、ここでは、説明を省略する。
【００５２】
このように、ユーザ１５０は、動作内容を示すコマンドに続けて、所定の言語情報を繰り返し発声することで、コマンドに基づく動作を継続させる時間を指示することができる。つまり、動作内容を指示するための一連の言語情報の中に、動作の継続を示す情報を含めることで、ユーザはより自然な発声により動作内容と動作時間とを指示することができる。
【００５３】
この結果、アーム部１２０の動作を制御するための音声指示を行うユーザ１５０の利便性を向上させることができる。
【００５４】
（３）ロボットシステムの動作例３
図６は、ロボットシステムの動作例を示す第３の図である。図６において、グラフ６１０は、ユーザ１５０の発声内容の違いに基づく音圧レベルの違い以外は、図４のグラフ４１０と同様である。
【００５５】
図６において、音声認識結果６２０は、音声認識部３０３が音声認識を行うことで得た言語情報のうち、コマンドとして抽出される一部の言語情報（「お酒を、注いでくれ」）は、図４の音声認識結果４２０と同様である。また、音声認識を行うことで得た言語情報の最後の文字の母音（"て"）が伸びている点も、図４の音声認識結果４２０と同じである。
【００５６】
ただし、図６の場合、図４の音声認識結果４２０と比較して、音声認識を行うことで得た言語情報の最後の文字の母音が伸びている長さが短い。また、図６の音声認識結果６２０の場合、コマンドとして抽出される一部の言語情報に続いて、コマンドとして抽出される他の言語情報（「はやく――――」）が含まれる。このため、コマンド判定部３０４では、音声認識部３０３より通知された音声認識結果より、言語情報（「はやく」）を抽出し、抽出したコマンドに基づく動作が、速度を上げてコップ１５１にお酒を入れる動作であると判定する（コマンド６３０参照）。
【００５７】
また、図６の場合、コマンド判定部３０４は、１つ目のコマンドの後に抽出した継続区間の長さに応じた時間を、１つ目のコマンドに基づく動作の動作時間として決定する（動作時間６４０参照）。また、コマンド判定部３０４は、２つ目のコマンドの後に抽出した継続区間の長さに応じた時間を、２つ目のコマンドに基づく動作の動作時間として決定する（動作時間６４０参照）。なお、図６の場合、コマンド判定部３０４は、２つ目のコマンドが抽出されることで、１つ目のコマンドに基づく動作の継続区間の終了を判定する。また、コマンド判定部３０４は、音声区間検出部３０２から、音声データの終端が確定したことを示す情報が通知されることで、２つ目のコマンドに基づく動作の継続区間の終了を判定する。
【００５８】
図６に示す以降の動作シーン６５０のうち、状態（ａ）及び状態（ｂ）は、図４の動作シーン４５０の状態（ａ）及び状態（ｂ）と同じであるため、ここでは説明を省略する。
【００５９】
動作シーン６５０に示すように、アーム部１２０がコップ１５１にお酒を入れる動作は、１つ目のコマンドについて、継続動作制御部３０５に継続区間中であることを示す情報が通知されている間、通常の速度で継続する。更に、アーム部１２０がコップ１５１にお酒を入れる動作は、２つ目のコマンドが抽出されると、継続動作制御部３０５に継続区間中であることを示す情報が通知されている間、速度を上げて継続する（状態（ｃ））。そして、コマンド判定部３０４が、音声データの終端が確定したことを示す情報の通知を受けると、継続動作制御部３０５への、継続区間中であることを示す情報の通知が停止される。これにより、継続動作制御部３０５はアーム部１２０を元の状態に戻すように制御し、アーム部１２０はコップ１５１にお酒を入れる動作を停止する（状態（ｄ））。
【００６０】
このように、ユーザ１５０は、動作内容を指示する複数のコマンドの最後の文字の母音をそれぞれ伸ばして発声することで、それぞれのコマンドに基づく動作と、それぞれのコマンドに基づく動作を継続させる時間とを指示することができる。つまり、複数の動作内容を指示するための一連の言語情報の中に、複数の動作の継続を示す情報を含めることで、ユーザはより自然な発声により、複数の動作内容と複数の動作時間とを指示することができる。
【００６１】
この結果、アーム部１２０の動作を制御するための音声指示を行うユーザ１５０の利便性を向上させることができる。
【００６２】
＜制御処理の流れ＞
次に、インタラクティブ部１４０による制御処理の流れについて説明する。図７は、制御処理の流れを示すフローチャートである。
【００６３】
ステップＳ７０１において、音声取得部３０１は、マイクロホン１１２において生成された音響信号を取得し、音声区間検出部３０２は、取得された音響信号の音圧レベルが所定の閾値未満から所定の閾値以上に変化したか否かを判定する。
【００６４】
ステップＳ７０１において、所定の閾値未満から所定の閾値以上に変化していないと判定した場合には、音声データの始端を検出していないと判定し（ステップＳ７０１においてＮｏと判定し）、検出したと判定するまで待機する。
【００６５】
一方、ステップＳ７０１において、所定の閾値未満から所定の閾値以上に変化したと判定した場合には、音声データの始端を検出したと判定し（ステップＳ７０１においてＹｅｓと判定し）、ステップＳ７０２に進む。
【００６６】
ステップＳ７０２において、音声認識部３０３は、始端以降に取得された音響信号を、音声データとして音声認識を行い、音声認識結果をコマンド判定部３０４に通知する。
【００６７】
ステップＳ７０３において、コマンド判定部３０４は、音声認識部３０３より通知された音声認識結果に含まれる言語情報に、動作内容を指示するコマンドが含まれているか否かを判定する。
【００６８】
ステップＳ７０３において、動作内容を指示するコマンドが含まれていないと判定した場合には（ステップＳ７０３においてＮｏの場合には）、ステップＳ７０４に進む。
【００６９】
ステップＳ７０４において、音声区間検出部３０２は、音声データの終端が確定したか否かを判定する。ステップＳ７０４において、音声データの終端が確定していないと判定した場合には（ステップＳ７０４においてＮｏの場合には）、ステップＳ７０２に戻り、音声認識部３０３は、音声データについての音声認識を行う。
【００７０】
一方、ステップＳ７０４において、音声データの終端が確定したと判定した場合には（ステップＳ７０４においてＹｅｓの場合には）、ステップＳ７０１に戻る。なお、音声区間検出部３０２は、このとき、音声データの終端を音声認識部３０３に通知するとともに、音声データの終端が確定したことを示す情報を、コマンド判定部３０４に通知する。
【００７１】
一方、ステップＳ７０３において、動作内容を指示するコマンドが含まれていると判定した場合には（ステップＳ７０３においてＹｅｓの場合には）、ステップＳ７０５に進む。
【００７２】
ステップＳ７０５において、コマンド判定部３０４は、音声区間検出部３０２より、音声データの終端が確定したことを示す情報を受信したか否かを判定する。
【００７３】
ステップＳ７０５において、コマンド判定部３０４が、音声データの終端が確定したことを示す情報を受信していないと判定した場合には（ステップＳ７０５においてＮｏの場合には）、ステップＳ７０６に進む。なお、ステップＳ７０５において、音声データの終端が確定したことを示す情報をコマンド判定部３０４が受信していない状態とは、コマンドより後に、動作の継続を示す情報が出現している状態である。
【００７４】
ステップＳ７０６において、継続動作制御部３０５は、ステップＳ７０３において判定したコマンドに基づく動作を実行開始するよう、アーム部１２０を制御する。
【００７５】
ステップＳ７０７において、コマンド判定部３０４は、継続区間中であることを示す情報を、継続動作制御部３０５に通知し、継続動作制御部３０５は、ステップＳ７０３において判定したコマンドに基づく動作を継続する。
【００７６】
ステップＳ７０８において、コマンド判定部３０４は、音声区間検出部３０２より、音声データの終端が確定したことを示す情報を受信したか否かを判定する。
【００７７】
ステップＳ７０８において、音声データの終端が確定したことを示す情報を受信していないと判定した場合には（ステップＳ７０８においてＮｏの場合には）、ステップＳ７０７に戻る。
【００７８】
一方、ステップＳ７０８において、音声区間検出部３０２より、音声データの終端が確定したことを示す情報を受信したと判定した場合には（ステップＳ７０８においてＹｅｓの場合には）、ステップＳ７０９に進む。この場合、コマンド判定部３０４は、継続動作制御部３０５に対して行う、継続区間中であることを示す情報の通知を停止する。
【００７９】
ステップＳ７０９において、継続動作制御部３０５は、ステップＳ７０３において判定したコマンドに基づく動作を停止する。
【００８０】
一方、ステップＳ７０５において、コマンド判定部３０４が、音声データの終端が確定したことを示す情報を受信したと判定した場合には（ステップＳ７０５においてＹｅｓの場合には）、ステップＳ７１０に進む。
【００８１】
ステップＳ７１０において、個別動作制御部３０６は、ステップＳ７０３において判定されたコマンドに基づく一連の動作を実行する。
【００８２】
ステップＳ７１１において、音声取得部３０１は、制御処理を継続するか否かを判定し、制御処理を継続すると判定した場合には（ステップＳ７１１においてＹｅｓの場合には）、ステップＳ７０１に戻る。
【００８３】
一方、ステップＳ７１１において、制御処理を継続しないと判定した場合には（ステップＳ７１１においてＮｏの場合には）、制御処理を終了する。
【００８４】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る制御装置１３０は、
・コマンド判定部が、音声認識結果からアーム部の動作内容を指示するコマンドを認識する。
・音声区間検出部が音声データの終端を確定する。
・コマンド判定部がコマンドを認識した後から、音声区間検出部が音声データの終端を確定する前の継続区間に応じて、継続動作制御部がコマンドに基づく動作を継続するよう、アーム部を制御する。
【００８５】
これにより、ユーザは、動作内容を指示するコマンドを発声した際に、動作の継続を示す情報をあわせて発声することで、コマンドに基づく動作を継続させる時間を指示することができる。
【００８６】
このように、第１の実施形態に係る制御装置１３０によれば、上記非特許文献１に開示された制御方法のように、ユーザが動作内容を指示するための言語情報と動作を継続させるための言語情報とを明確に使い分けて発声する必要がなくなる。つまり、ユーザは、アーム部に対して音声指示を行う際、自然な発声による音声指示を行うことが可能になる。
【００８７】
この結果、第１の実施形態に係る制御装置によれば、アーム部の動作を制御するための音声指示を行うユーザの利便性を向上させることができる。
【００８８】
［第２の実施形態］
上記第１の実施形態では、動作内容を指示するコマンドを発声した際に、動作の継続を示す情報をあわせて発声することで、コマンドに基づく動作を継続させる時間を指示する方法について説明した。
【００８９】
しかしながら、コマンドに基づく動作を継続させる時間を指示する方法は、これに限定されない。例えば、動作内容を指示するコマンドを発声した後に、動作の継続を示す非音声指示を行うことで、コマンドに基づく動作を継続させる時間をユーザが指示するように構成してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【００９０】
＜インタラクティブ部の機能構成＞
はじめに、第２の実施形態に係る制御装置にて実現されるインタラクティブ部の機能構成について説明する。図８は、インタラクティブ部の機能構成の一例を示す第２の図である。図３のインタラクティブ部１４０との相違点は、図８に示すインタラクティブ部８００の場合、指示取得部８０１を有する点、及び、音声区間検出部８０２の機能が、音声区間検出部３０２の機能とは異なる点である。
【００９１】
指示取得部８０１は、音声データの終端が確定する前に、動作の継続を示す非音声指示を取得し、動作の継続を示す情報を音声区間検出部８０２に通知する。動作の継続を示す非音声指示は、コマンドとして抽出される言語情報を発声した際に、例えば、ユーザ１５０が所定のジェスチャを行った場合に取得される。ユーザ１５０によるジェスチャは、例えば、撮像装置１１１により撮影された撮影画像に基づいて検出され、指示取得部８０１により取得されるものとする。
【００９２】
あるいは、動作の継続を示す非音声指示は、コマンドとして抽出される言語情報を発声した際に、例えば、ユーザ１５０が所定のスイッチ操作を行った場合に取得される。ユーザ１５０によるスイッチ操作は、例えば、ロボットシステム１００の本体部１１０に取り付けられているスイッチを、ユーザ１５０が操作することで検出され、指示取得部８０１により取得されるものとする。
【００９３】
音声区間検出部８０２は、図３の音声区間検出部３０２と同様に、音声取得部３０１より通知された音響信号の音圧レベルが所定の閾値以上であるか否かを判定する。また、音声区間検出部８０２は、通知された音響信号の音圧レベルが所定の閾値未満から所定の閾値以上へと変化したタイミングを、音声データの始端として検出する。
【００９４】
また、音声区間検出部３０２は、通知された音響信号の音圧レベルが所定の閾値以上から所定の閾値未満へと変化したタイミングを、音声データの終端として検出する。
【００９５】
なお、音声区間検出部３０２は、その後、
・指示取得部８０１より動作の継続を示す非音声指示が通知されることなく、かつ、
・所定時間、音圧レベルが所定の閾値未満の状態が継続した場合、
に、所定の閾値以上から所定の閾値未満へと変化したタイミングを、遡って、音声データの終端として確定する。
【００９６】
また、音声区間検出部３０２は、検出した音声データの始端と終端とを、音声認識部３０３に通知する。更に、音声区間検出部３０２は、音声データの終端が確定したことを示す情報を、コマンド判定部３０４に通知する。
【００９７】
一方、音声区間検出部８０２は、音声データの始端を検出して以降（音声データの終端が確定する前）に、指示取得部８０１より動作の継続を示す非音声指示が通知された場合には、動作の継続を示す情報をコマンド判定部３０４に通知する。
【００９８】
この場合にも、音声区間検出部８０２は、通知された音響信号の音圧レベルが所定の閾値以上から所定の閾値未満へと変化したタイミングを、音声データの終端として検出する。ただし、音声区間検出部８０２は、その後、所定時間、音圧レベルが所定の閾値未満の状態が継続した場合でも、指示取得部８０１から、動作の継続を示す非音声指示が通知されている場合には、動作の継続を示す情報をコマンド判定部３０４に通知する。その後、指示取得部８０１からの、動作の継続を示す非音声指示の通知が停止すると、音声区間検出部８０２は、動作の継続を示す情報の通知を停止し、動作の継続を示す非音声指示の終端が確定したことを示す情報をコマンド判定部３０４に通知する。なお、音声区間検出部８０２は、動作の継続を示す非音声指示の通知が停止したタイミングで、動作の継続を示す非音声指示の終端を確定する。
【００９９】
＜ロボットシステムの動作例＞
次に、ロボットシステム１００の動作例について、図９及び図１０を用いて説明する。
【０１００】
（１）ロボットシステムの動作例４
図９は、ロボットシステムの動作例を示す第４の図である。図９において、グラフ９１０は、ユーザ１５０の発声内容の違いに基づく音圧レベルの違い以外は、図４のグラフ４１０と同様である。
【０１０１】
図９において、音声認識結果４２０は、音声認識部３０３が音声認識を行うことで得た言語情報のうち、コマンドとして抽出される部分の言語情報（「お酒を、もっといれて」）は、図４の音声認識結果４２０と同じである。
【０１０２】
ジェスチャ９３０は、動作の継続を示す非音声指示の一例であり、指示取得部８０１により取得される。図９の場合、ユーザ１５０による発声が終了し、音圧レベルが所定の閾値未満になって以降も、音声区間検出部８０２には、指示取得部８０１から動作の継続を示す非音声指示が通知される。このため、音声区間検出部８０２は、動作の継続を示す情報を、コマンド判定部３０４に通知する。
【０１０３】
コマンド判定部３０４では、音声区間検出部８０２より通知された、動作の継続を示す情報の継続区間を抽出し、抽出した継続区間の長さに応じた時間を、動作時間として決定する（動作時間４４０参照）。
【０１０４】
ユーザ１５０がジェスチャ９３０を停止すると、コマンド判定部３０４では、音声区間検出部８０２から、動作の継続を示す情報が通知されなくなるとともに、動作の継続を示す非音声指示の終端が確定したことを示す情報が通知されることになる。これにより、コマンド判定部３０４では、継続区間の終了を判定する。
【０１０５】
図９に示す以降の動作シーン４５０は、図４において説明した動作シーン４５０と同じであるため、ここでは、説明を省略する。
【０１０６】
このように、ユーザ１５０は、動作内容を示すコマンドに続けて、動作の継続を示す非音声指示（ジェスチャ等の非言語情報による指示）を行うことで、コマンドに基づく動作を継続させる時間を指示することができる。つまり、動作内容を指示するための一連の言語情報の中に、動作の継続を示す非音声指示を含めることで、ユーザはより自然な発声と振る舞いとにより動作内容と動作時間とを指示することができる。
【０１０７】
この結果、アーム部１２０の動作を制御するための指示を行うユーザ１５０の利便性を向上させることができる。
【０１０８】
（２）ロボットシステムの動作例５
図１０は、ロボットシステムの動作例を示す第５の図である。図９との相違点は、スイッチ操作１０３０である。
【０１０９】
スイッチ操作１０３０は、動作の継続を示す非音声指示の一例であり、指示取得部８０１により取得される。図１０の場合、ユーザ１５０による発声が終了し、音圧レベルが所定の閾値未満になって以降も、音声区間検出部８０２には、指示取得部８０１から動作の継続を示す非音声指示が通知される。このため、音声区間検出部８０２では、動作の継続を示す情報を、コマンド判定部３０４に通知する。
【０１１０】
コマンド判定部３０４では、音声区間検出部８０２より通知された、動作の継続を示す情報の継続区間を抽出し、抽出した継続区間の長さに応じた時間を、動作時間として決定する（動作時間４４０参照）。
【０１１１】
ユーザ１５０がスイッチ操作１０３０を停止すると、コマンド判定部３０４では、音声区間検出部８０２から、動作の継続を示す情報が通知されなくなるとともに、動作の継続を示す非音声指示の終端が確定したことを示す情報が通知されることになる。これにより、コマンド判定部３０４では、継続区間の終了を判定する。
【０１１２】
図１０に示す以降の動作シーン４５０は、図４において説明した動作シーン４５０と同じであるため、ここでは、説明を省略する。
【０１１３】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る制御装置１３０は、
・コマンド判定部が、音声認識結果からアーム部の動作内容を指示するコマンドを認識する。
・指示取得部が、ユーザのジェスチャ、スイッチ操作等の非音声指示であって、動作の継続を示す非音声指示を取得する。
・音声区間検出部が動作の継続を示す非音声指示の終端を確定する。
・コマンド判定部がコマンドを認識した後から、音声区間検出部が動作の継続を示す非音声指示の終端を確定する前の継続区間に応じて、継続動作制御部がコマンドに基づく動作を継続するよう、アーム部を制御する。
【０１１４】
これにより、ユーザは、動作内容を指示するコマンドを発声した際に、動作の継続を示す非音声指示をあわせて行うことで、コマンドに基づく動作を継続させる時間を指示することができる。
【０１１５】
この結果、第２の実施形態に係る制御装置によれば、アーム部の動作を制御するための指示を行うユーザの利便性を向上させることができる。
【０１１６】
［第３の実施形態］
上記第１及び第２の実施形態では、インタラクティブプログラムを実行する制御装置１３０を、ロボットシステム１００の本体部１１０に内蔵させるものとして説明した。しかしながら、制御装置１３０は、ロボットシステム１００の本体部１１０に内蔵させる必要はなく、ロボットシステム１００の本体部１１０とは別体に設けられてもよい。
【０１１７】
また、制御装置１３０を、本体部１１０とは別体に設ける場合にあっては、インタラクティブプログラムを実行する装置は、専用の制御装置である必要はなく、例えば、携帯端末等であってもよい。
【０１１８】
図１１は、一実施形態に係る制御装置を含むロボットシステムの全体構成の一例を示す第２の図である。図１に示した、ロボットシステム１００との相違点は、携帯端末１１１０を有する点である。
【０１１９】
携帯端末１１１０は、インタラクティブプログラムを実行することで、インタラクティブ部１４０として機能する。
【０１２０】
図１１に示すロボットシステム１１００によれば、ユーザ１５０は、携帯端末１１１０が有するマイクロホンに向かって発声を行う。また、ユーザ１５０は、携帯端末１１１０が有する撮像装置に向かってジェスチャを行ったり、携帯端末１１１０が有する表示画面に対してスイッチ操作を行う。携帯端末１１１０では、本体部１１０との間の無線通信を介して、アーム部１２０の継続動作や個別動作を制御する。
【０１２１】
このように、ユーザが所持する携帯端末をインタラクティブ部１４０として機能させることで、例えば、予め登録されたユーザのみが、アーム部の動作を指示するように構成することができる。
【０１２２】
［その他の実施形態］
上記第１乃至第３の実施形態では、ロボットシステムにおいて、アーム部を制御対象として説明したが、アーム部以外の部分（例えば、本体部を移動させるための搬送部）を制御対象としてもよい。
【０１２３】
また、上記第１乃至第３の実施形態では、アーム部がお酒をコップに入れる動作について、ユーザが音声指示する場合について説明したが、ユーザが音声指示するアーム部の動作は、お酒をコップに入れる動作に限定されない。
【０１２４】
また、制御対象の動作は、制御対象の物理的な動作に限定されず、その他の動作（他の機器のコントロール、光量制御、音量制御、制御対象の装置に表示される情報の制御など）が含まれていてもよい。
【０１２５】
また、上記第１乃至第３の実施形態では、インタラクティブ部１４０を、ロボットシステムに適用する場合について説明したが、インタラクティブ部１４０の適用先は、ロボットシステムに限定されない。例えば、インタラクティブ部１４０は、車両システム等に適用されてもよい。車両システムに適用された場合、例えば、携帯端末をインタラクティブ部として機能させ、駐車中の車両の外部から、携帯端末の通信装置を介して車両の駐車位置を微調整するといった利用シーンが実現される。
【０１２６】
また、上記第１及び第２の実施形態では、制御装置１３０を１台のみ示したが、インタラクティブプログラムが複数の制御装置に格納されて、当該複数の制御装置それぞれが、インタラクティブプログラムの異なる一部の処理を実行してもよい。この場合、複数の制御装置それぞれが相互に通信してもよい。
【０１２７】
また、上記第１及び第２の実施形態において、制御装置１３０は、１台のコンピュータで実現されるものとして説明したが、制御装置１３０は、１または複数台のコンピュータで実現されてもよい。また、複数台のコンピュータで実現される場合にあっては、当該複数台のコンピュータは、複数箇所に離れて設置されていてもよい。
【０１２８】
また、上記第１及び第２の実施形態において、制御装置１３０は、汎用のコンピュータにＯＳや各種プログラムを実行させることでインタラクティブ部１４０を実現したが、制御装置１３０によるインタラクティブ部１４０の実現方法はこれに限定されない。
【０１２９】
例えば、プロセッサ、メモリなどを実装しているＩＣ（Integrated Circuit）などの専用の電子回路（すなわちハードウェア）により実現されてもよい。この場合、複数の構成要素が一つの電子回路で実現されてもよいし、一つの構成要素が複数の電子回路で実現されてもよいし、構成要素と電子回路が一対一で実現されてもよい。複数の電子回路で実現される場合、各電子回路は有線または無線により通信してもよい。
【０１３０】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１３１】
１００                  ：ロボットシステム
１１０                  ：本体部
１１１                  ：撮像装置
１１２                  ：マイクロホン
１２０                  ：アーム部
１２１〜１２３          ：回転関節部
１２４                  ：エンドエフェクタ
１３０                  ：制御装置
１４０                  ：インタラクティブ部
３０１                  ：音声取得部
３０２                  ：音声区間検出部
３０３                  ：音声認識部
３０４                  ：コマンド判定部
３０５                  ：継続動作制御部
３０６                  ：個別動作制御部
８００                  ：インタラクティブ部
８０１                  ：指示取得部
１１００                ：ロボットシステム
１１１０                ：携帯端末
【図１】
2020135326.tif 000003
【図２】
2020135326.tif 000004
【図３】
2020135326.tif 000005
【図４】
2020135326.tif 000006
【図５】
2020135326.tif 000007
【図６】
2020135326.tif 000008
【図７】
2020135326.tif 000009
【図８】
2020135326.tif 000010
【図９】
2020135326.tif 000011
【図１０】
2020135326.tif 000012
【図１１】
2020135326.tif 000013