(57)【要約】【課題】  音声指示に基づいて制御対象を緊急停止させる制御装置、システム及び制御方法を提供する。【解決手段】  制御装置であって、制御対象の動作中に検出される音データから音声区間を判定する判定部と、前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下である場合に、前記制御対象を緊急停止させる制御部とを有する。【選択図】図１
2020138314.tif 000002
【特許請求の範囲】
【請求項１】
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下である場合に、前記制御対象を停止させる制御部と
を有する制御装置。
【請求項２】
前記制御部は、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記音声区間における音データの音圧レベルが、所定の閾値以上である場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
【請求項３】
前記音声区間における音データの音圧レベルは、前記音声区間でない非音声区間における音データの音圧レベルとの差分に基づく値である、請求項２に記載の制御装置。
【請求項４】
前記制御部は、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が、予め定められた音素列を含む場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
【請求項５】
前記制御部は、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が、予め定められた音素列を含まない場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
【請求項６】
前記音声区間において撮影された画像データより顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する認識部を更に有し、
前記制御部は、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記顔の向きが予め設定された方向を向いている場合に、前記制御対象を停止させる、請求項１に記載の制御装置。
【請求項７】
前記認識部は、前記音声区間において撮影された画像データのうち、前記音声区間における音の到来方向に位置する顔領域を検出する、請求項６に記載の制御装置。
【請求項８】
前記制御部は、複数種類の停止方法により前記制御対象を停止させることが可能である、請求項１乃至７のいずれか１項に記載の制御装置。
【請求項９】
前記複数種類の停止方法には、前記制御対象への電源供給の少なくとも一部を停止することで、前記制御対象を停止させる停止方法と、前記制御対象への電源供給を維持したまま、前記制御対象を停止させる停止方法とが含まれる、請求項８に記載の制御装置。
【請求項１０】
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記音声区間における音データの音圧レベルが、所定の閾値以上である場合に、前記制御対象を停止させる制御部と
を有する制御装置。
【請求項１１】
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が、予め定められた音素列を含む場合に、前記制御対象を停止させる制御部と
を有する制御装置。
【請求項１２】
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下であり、かつ、前記音声区間における音データに基づいて認識された音素列が、予め定められた音素列を含まない場合に、前記制御対象を停止させる制御部と
を有する制御装置。
【請求項１３】
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音素列に繰り返し部分が含まれる場合に、前記制御対象を停止させる制御部と
を有する制御装置。
【請求項１４】
前記制御部は、前記音素列に含まれる繰り返し部分の第１時刻における音データの音圧レベルが、前記音素列に含まれる繰り返し部分の前記第１時刻より後の第２時刻における音データの音圧レベルより小さい場合、前記制御対象を停止させる、請求項１３に記載の制御装置。
【請求項１５】
請求項１乃至請求項１４のいずれか１項に記載の制御装置と、
前記制御装置によって動作が制御される制御対象と
を有するシステム。
【請求項１６】
制御対象の動作中に検出される音データから音声区間を判定する判定工程と、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下である場合に、前記制御対象を緊急停止させる制御工程と
を有する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、システム及び制御方法に関する。
【背景技術】
【０００２】
従来より、ユーザの音声指示に基づいて、制御対象（ロボット等）を緊急停止させる制御方法が知られている。例えば、下記特許文献１には、"止まれ−"等のように、母音の引きのばしを伴う発声を識別して、制御対象を緊急停止させる制御方法が開示されている。
【０００３】
一方で、制御対象に対するユーザの発声は、状況に応じて様々である。このため、母音の引きのばしを伴う発声であっても、制御対象を緊急停止させたくないケースや、反対に、母音の引きのばしを伴わない発声であっても、制御対象を緊急停止させたいケースもある。つまり、上記の制御方法では、ユーザの意図したとおりに制御対象を緊急停止させることができないケースが想定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４９４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、音声指示に基づいて制御対象を緊急停止させる制御装置、システム及び制御方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本開示の一態様による制御装置は、例えば、以下のような構成を有する。即ち、
制御対象の動作中に検出される音データから音声区間を判定する判定部と、
前記音声区間における音データに基づいて算出される話速が、所定の閾値以上であり、かつ、前記音声区間における音データに基づいて算出される音声区間長が、所定の閾値以下である場合に、前記制御対象を緊急停止させる制御部とを有する。
【図面の簡単な説明】
【０００７】
【図１】ロボットの外観構成の一例を示す図である。
【図２】ロボットの制御装置のハードウェア構成の一例を示す図である。
【図３】制御装置の緊急停止部の機能構成の一例を示す第１の図である。
【図４】緊急停止部による緊急停止処理の流れを示す第１のフローチャートである。
【図５】制御装置の緊急停止部の機能構成の一例を示す第２の図である。
【図６】緊急停止部による緊急停止処理の流れを示す第２のフローチャートである。
【図７】制御装置の緊急停止部の機能構成の一例を示す第３の図である。
【図８】制御装置の緊急停止部の機能構成の一例を示す第４の図である。
【図９】緊急停止部による緊急停止処理の流れを示す第３のフローチャートである。
【図１０】緊急停止部による緊急停止処理の流れを示す第４のフローチャートである。
【図１１】制御装置の緊急停止部の機能構成の一例を示す第５の図である。
【図１２】緊急停止部による緊急停止処理の流れを示す第５のフローチャートである。
【図１３】制御装置の緊急停止部の機能構成の一例を示す第６の図である。
【図１４】緊急停止部による緊急停止処理の流れを示す第６のフローチャートである。
【図１５】制御装置の緊急停止部の機能構成の一例を示す第７の図である。
【図１６】緊急停止部による緊急停止処理の流れを示す第７のフローチャートである。
【発明を実施するための形態】
【０００８】
以下、各実施形態について添付の図面を参照しながら説明する。なお、以下の各実施形態では、制御対象の動作中に、制御対象を緊急停止させるべき状況が生じた場合（例えば、ユーザに危険が差し迫った場合）、一般に、ユーザは短い言葉（場合によっては意味をなさない言葉）で早口に叫ぶことが多い点に着目している。具体的には、ユーザが発声した音声の音声区間長と、話速とに着目し、音声区間長が短く（所定の閾値以下であり）、話速が速い（所定の閾値以上であった）場合に、制御装置では、制御対象を緊急停止させるべき状況が生じたと判定する。
【０００９】
これにより、以下の各実施形態によれば、制御対象を緊急停止させるべき状況が生じた際にユーザが咄嗟に発声する音声（緊急発声の音声）を捉えて緊急停止させることが可能となり、ユーザの意図したとおりに制御対象を緊急停止させることが可能となる。
【００１０】
なお、以下の各実施形態において、"話速"とは、単位時間あたりの音素数であり、"音声区間長"とは、発声の開始から終了までの時間長さ（音声データの開始から終了までの時間長さ）を指す。また、"音声"とは人の声を指し、"音"とは、聴覚に対する任意の刺激であり、音声を含む概念である。
【００１１】
以下、各実施形態の詳細を説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１２】
［第１の実施形態］
＜ロボットの外観構成＞
はじめに、本実施形態に係る制御装置の制御対象の一例であるロボットの外観構成について説明する。図１は、ロボットの外観構成の一例を示す図である。
【００１３】
図１に示すように、ロボット１０は、可動部４０（複数の関節４１〜４４、エンドエフェクタ４５）と、マイクロフォン２０と、カメラ３０とを有する。
【００１４】
可動部４０は、ロボット１０が各種作業（例えば、物体を把持し、把持した物体を移動先に移動する作業）を行うための動作を実行する。可動部４０に含まれる複数の関節４１〜４４及びエンドエフェクタ４５は、それぞれ、アクチュエータを備える。
【００１５】
マイクロフォン２０は集音装置の一例であり、空気などを伝播してくる音を検出し、音データを生成する。マイクロフォン２０が検出する音には、ロボット１０の周囲の環境音のほか、ロボット１０のユーザが発声した音声等が含まれる。
【００１６】
なお、図１の例では、１つのマイクロフォン２０のみを示したが、ロボット１０は、複数のマイクロフォンを有していてもよい。複数のマイクロフォンを有することで、音の到来方向（例えば、発声したユーザが位置する方向）を特定することができる。
【００１７】
また、図１の例では、マイクロフォン２０がロボット１０に搭載される場合について示したが、マイクロフォン２０は、例えば、ロボット１０が設置された空間の周囲の壁や天井等に配されてもよい。更に、集音装置はマイクロフォンに限定されず、マイクロフォン以外の集音装置がロボット１０等に搭載されてもよい。
【００１８】
カメラ３０は撮像装置の一例であり、ロボット１０の周囲を撮影し、画像データを生成する。なお、図１の例では、カメラ３０がロボット１０に搭載される場合について示したが、カメラ３０は、ロボット１０とは別体に配されてもよい。また、撮像装置はカメラに限定されず、カメラ以外の撮像装置がロボット１０等に搭載されてもよい。
【００１９】
また、図１に示すように、ロボット１０は、制御装置１００を内蔵する。制御装置１００は、アクチュエータを制御することで、可動部４０を動作させ、ロボット１０に各種作業を実行させる実行部１１０を有する。また、制御装置１００は、マイクロフォン２０により生成された音データ（及びカメラ３０により生成された画像データ）に基づいて、ロボット１０を緊急停止させる緊急停止部１２０を有する。
【００２０】
なお、制御装置１００は、ロボット１０に内蔵されている必要はなく、ロボット１０の外部に、ロボット１０と別体に設けられてもよい。この場合、ロボット１０と制御装置１００とを有するロボット制御システムが形成される。
【００２１】
＜制御装置のハードウェア構成＞
次に、ロボット１０に内蔵される制御装置１００のハードウェア構成について説明する。図２は、制御装置のハードウェア構成の一例を示す図である。
【００２２】
図２は、制御装置のハードウェア構成の一例を示す図である。制御装置１００は、プロセッサ２０１と、主記憶装置２０２と、補助記憶装置２０３と、デバイスインタフェース２０４と、を備え、これらの各構成要素がバス２１０を介して接続されたコンピュータとして実現される。
【００２３】
なお、図２の例では、制御装置１００は、各構成要素を１個ずつ備えているが、同じ構成要素を複数個ずつ備えていてもよい。また、図２の例では、１台の制御装置が示されているが、複数台の制御装置を配し、ソフトウェア（例えば、制御プログラム）が当該複数台の制御装置にインストールされて、各制御装置がソフトウェアの異なる一部の処理を実行するように構成してもよい。この場合、複数の制御装置それぞれがネットワークインタフェース等を介して、相互に通信してもよい。
【００２４】
プロセッサ２０１は、演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry）である。プロセッサ２０１は、制御装置１００内の各構成要素などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各構成要素などに出力する。具体的には、プロセッサ２０１は、ＯＳ（Operating System）やアプリケーションなどを実行することにより、制御装置１００内の各構成要素を制御する。なお、プロセッサ２０１は、上記のような処理を行うことができれば特定の処理回路に限られるものではない。ここで、処理回路とは、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線または無線により通信してもよい。
【００２５】
主記憶装置２０２は、プロセッサ２０１が実行する命令およびデータなどの電子情報を記憶する記憶装置である。主記憶装置２０２に記憶された電子情報はプロセッサ２０１により直接読み出される。補助記憶装置２０３は、主記憶装置２０２以外の記憶装置である。なお、これらの記憶装置は、電子情報を記憶可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれであってもよい。制御装置１００内において電子情報を保存するためのメモリは、主記憶装置２０２または補助記憶装置２０３により実現されてもよい。
【００２６】
デバイスインタフェース２０４は、マイクロフォン２０、カメラ３０、可動部４０と接続するＵＳＢ（Universal Serial Bus）などのインタフェースである。
【００２７】
＜制御装置の機能構成＞
次に、制御装置１００の機能構成について説明する。上述したとおり、制御装置１００は、実行部１１０及び緊急停止部１２０として機能するが、ここでは緊急停止部１２０の機能について説明する。図３は、制御装置の緊急停止部の機能構成の一例を示す第１の図である。制御装置１００は、プロセッサ２０１が、主記憶装置２０２または補助記憶装置２０３に格納された制御プログラムの一例である緊急停止プログラムを実行することで緊急停止部１２０として機能する。
【００２８】
図３に示すように、緊急停止部１２０は、音取得部３０１、音声区間検出器３０２、音素認識器３０３、緊急発声判定器３０４、話速算出器３０５、制御部３０６を有する。
【００２９】
音取得部３０１は、マイクロフォン２０により生成された音データを取得し、音声区間検出器に出力する。
【００３０】
音声区間検出器３０２は判定部の一例であり、音取得部３０１により出力された音データを受け取り、受け取った音データが音声データであるか否かを判定する。また、音声区間検出器３０２は、受け取った音データが音声データであると判定した場合、判定した音声データを音素認識器３０３に出力する。
【００３１】
また、音声区間検出器３０２は、受け取った音データが音声データであると判定した場合、音声データの開始時刻を記録する。また、音声区間検出器３０２は、受け取った音データが音声データでなくなったと判定した場合、音声データの終了時刻を記録する。これにより、音声区間検出器３０２では、記録した音声データの開始時刻と終了時刻とに基づいて音声区間長を算出し、算出した音声区間長を緊急発声判定器３０４及び話速算出器３０５に出力する。
【００３２】
音素認識器３０３は、音声区間検出器３０２により出力された音声データを受け取り、受け取った音声データについて音声認識処理を行うことで、音素列を話速算出器３０５に出力する。
【００３３】
話速算出器３０５は、音声区間検出器３０２により出力された音声区間長と、音素認識器３０３により出力された音素列とを受け取り、音声区間長と音素列の長さとに基づいて、単位時間あたりの音素数を算出する。また、話速算出器３０５は、算出結果を話速として、緊急発声判定器３０４に出力する。
【００３４】
緊急発声判定器３０４は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速とに基づいて、下記条件（緊急発声の条件）を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
【００３５】
緊急発声判定器３０４は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか一方または両方を満たさないと判定した場合、緊急発声判定器３０４は、制御部３０６に対して緊急停止信号を出力しない。
【００３６】
制御部３０６は、緊急発声判定器３０４により出力された緊急停止信号を受け取ると、可動部４０が緊急停止命令に基づいて動作するよう制御し、ロボット１０を緊急停止させる。
【００３７】
＜緊急停止処理の流れ＞
次に、緊急停止部１２０による緊急停止処理の流れについて説明する。図４は、緊急停止部による緊急停止処理の流れを示す第１のフローチャートである。
【００３８】
ステップＳ１０１において、緊急停止部１２０は、ロボット１０が作業中であるか否かを判定する。ステップＳ１０１において、ロボット１０が停止中であると判定した場合には、緊急停止処理を終了する。一方、ステップＳ１０１において、ロボット１０が作業中であると判定した場合には、ステップＳ１０２に進む。
【００３９】
ステップＳ１０２において、音取得部３０１は、マイクロフォン２０において生成された音データを取得し、主記憶装置２０２に格納する。音取得部３０１は、一定時間（例えば、１０ｍｓあるいは２０ｍｓ）の音データを取得し、ステップＳ１０３に進む。
【００４０】
ステップＳ１０３において、音声区間検出器３０２は、音取得部３０１において取得された音データが、音声データであるか否かを判定する。ステップＳ１０３において、音声データであると判定した場合には、ステップＳ１０４に進む。
【００４１】
ステップＳ１０４において、音声区間検出器３０２は、音取得部３０１において前回取得された音データが、音声データであったか否かを判定する。ステップＳ１０４において、音声データであったと判定した場合には、ステップＳ１０１に戻る。一方、ステップＳ１０４において、非音声データであったと判定した場合には、ステップＳ１０５に進む。
【００４２】
ステップＳ１０５において、音声区間検出器３０２は、現在時刻、または、現在処理している音声データ（ステップＳ１０２において取得した音データ）が主記憶装置２０２に格納された時刻を記録し、ステップＳ１０１に戻る。なお、前回取得された音データが非音声データで、今回取得された音データが音声データである場合とは、今回取得された音声データが、音声データの開始点（発声の開始点）であることを示している。つまり、ステップＳ１０５において記録される時刻は、音声データ（発声）の開始時刻に他ならない。
【００４３】
一方、ステップＳ１０３において、非音声データであったと判定した場合には、ステップＳ１０６に進む。ステップＳ１０６において、音声区間検出器３０２は、音取得部３０１において前回取得された音データが、音声データであったか否かを判定する。ステップＳ１０６において非音声データであったと判定したと場合には、ステップＳ１０１に戻る。
【００４４】
一方、ステップＳ１０６において、音声データであったと判定した場合には、ステップＳ１０７に進む。なお、前回取得された音データが音声データで、今回取得された音データが非音声データである場合とは、今回取得された非音声データが、音声データの終了点（発声の終了点）であることを示している。
【００４５】
ステップＳ１０７において、音素認識器３０３は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された音声データについて、音素列を認識する。
【００４６】
ステップＳ１０８において、音声区間検出器３０２は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの時間長さを音声区間長として算出する。また、話速算出器３０５は、音素認識器３０３において認識された音素列の長さを、音声区間検出器３０２において算出された音声区間長で割ることで、話速を算出する。
【００４７】
ステップＳ１０９において、緊急発声判定器３０４は、算出された話速及び音声区間長が下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
【００４８】
ステップＳ１０９において、緊急発声判定器３０４が、上記条件を満たさないと判定した場合には、ステップＳ１０１に戻る。一方、ステップＳ１０９において、緊急発声判定器３０４が、上記条件を満たすと判定した場合には、ステップＳ１１０に進む。
【００４９】
ステップＳ１１０において、制御部３０６は、可動部４０が緊急停止命令に基づいて動作するよう制御し、ロボット１０を緊急停止させる。
【００５０】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉で早口に叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下である、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
【００５１】
これにより、第１の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
【００５２】
［第２の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合、ユーザは、比較的大きな声で叫ぶことが想定される。そこで、第２の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、音声区間長と話速とに加えて、音圧レベルに着目する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【００５３】
＜制御装置の機能構成＞
はじめに、第２の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図５は、制御装置の緊急停止部の機能構成の一例を示す第２の図である。図３に示した機能構成との相違点は、第２の実施形態に係る制御装置１００の緊急停止部５００の場合、音圧レベル算出器５０１を有する点、及び、緊急発声判定器５０２が緊急発声判定器３０４とは異なる機能を有する点である。
【００５４】
音圧レベル算出器５０１は、音声区間検出器３０２により出力された音声データを受け取り、受け取った音声データの音圧レベルを算出する。また、音圧レベル算出器５０１は、算出した音圧レベルを、緊急発声判定器３０４に出力する。
【００５５】
緊急発声判定器５０２は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、音圧レベル算出器５０１により出力された音圧レベルとに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音圧レベルが予め定められた閾値以上である。
【００５６】
緊急発声判定器５０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器５０２は、制御部３０６に対して緊急停止信号を出力しない。
【００５７】
このように、音声区間長及び話速に加えて、音圧レベルを条件にすることで、緊急停止部５００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を向上させることができる。
【００５８】
＜緊急停止処理の流れ＞
次に、緊急停止部５００による緊急停止処理の流れについて説明する。図６は、緊急停止部による緊急停止処理の流れを示す第２のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ２１１である。
【００５９】
ステップＳ２１１において、音圧レベル算出器５０１は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された音声データの音圧レベルを算出する。
【００６０】
なお、音圧レベル算出器５０１が算出する音圧レベルは、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された音声データの音圧レベルの平均値を算出する。ただし、音圧レベル算出器５０１が算出する音圧レベルは、音声区間における音圧レベルの平均値に限定されない。
【００６１】
例えば、音声区間を一定区間ごとに分割し、それぞれの区間において算出された音圧レベルのうち、最大値または中央値を、音圧レベルとして算出してもよい。
【００６２】
あるいは、音圧レベル算出器５０１は、音声区間における音圧レベルの平均値（あるいは最大値または中央値）と、音声区間の直前の非音声区間における音データの音圧レベルの平均値（あるいは最大値または中央値）との差分を算出してもよい。ロボット１０の周囲の環境音が大きく、うるさい場合と、ロボット１０の周囲の環境音が小さく、静かな場合とで、緊急停止させるべき状況が生じた際にユーザが発声する音声の大きさも変わってくるからである。
【００６３】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉で早口に大声で叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下であり、かつ、
・音圧レベルが予め定められた閾値以上である、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
【００６４】
これにより、第２の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
【００６５】
［第３の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性の高い音声内容は限られている。また、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性の低い音声内容もある。そこで、第３の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、音声区間長と話速とに加えて、認識された音素列に着目する。以下、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【００６６】
＜制御装置の機能構成＞
はじめに、第３の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図７は、制御装置の緊急停止部の機能構成の一例を示す第３の図である。図３に示した機能構成との相違点は、緊急発声判定器７０２が緊急発声判定器３０４とは異なる機能を有する点である。
【００６７】
緊急発声判定器７０２は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、音素認識器３０３により出力された音素列とに基づいて、下記条件を満たすか否かを判定する。ただし、音素列格納部７０１には、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性の高い音声内容の音素列の集合が格納されているものとする。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列が、音素列格納部７０１に格納された、予め定められた音素列の集合に含まれる音素列を含む。
【００６８】
緊急発声判定器７０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器７０２は、制御部３０６に対して緊急停止信号を出力しない。
【００６９】
なお、音素列格納部７０１には、緊急停止させるべき状況が生じた場合に、ユーザが発声する可能性が低い音声内容の音素列の集合を格納してもよい。ただし、その場合、緊急発声判定器７０２は、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列が、音素列格納部７０１に格納された、予め定められた音素列の集合に含まれる音素列を含まない。
【００７０】
緊急発声判定器７０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器７０２は、制御部３０６に対して緊急停止信号を出力しない。
【００７１】
＜まとめ＞
以上の説明から明らかなように、第３の実施形態に係る制御装置の緊急停止部は、作業中のロボット１０において緊急停止させるべき状況が生じると、一般に、ユーザは特定の短い言葉で早口に叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列が、予め定められた音素列を含む（あるいは含まない）、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
【００７２】
これにより、第３の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。また、緊急停止させるべき状況が生じていないにも関わらず、緊急停止させてしまうといった事態を回避することができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
【００７３】
［第４の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合、ユーザは、ロボットの方向に向かって発声する可能性が高い。そこで、第４の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、音声区間長と話速とに加えて、ユーザが発声した方向に着目する。以下、第４の実施形態において、上記第１の実施形態との相違点を中心に説明する。
【００７４】
＜制御装置の機能構成＞
はじめに、第４の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図８は、制御装置の緊急停止部の機能構成の一例を示す第４の図である。図３に示した機能構成との相違点は、第４の実施形態に係る制御装置１００の緊急停止部８００の場合、画像取得部８０１及び顔認識器８０２を有する点と、緊急発声判定器８０３が緊急発声判定器３０４とは異なる機能を有する点である。
【００７５】
画像取得部８０１は、カメラ３０により生成された画像データを取得し、顔認識器８０２に出力する。
【００７６】
顔認識器８０２は認識部の一例であり、画像取得部８０１により出力された画像データを受け取り、受け取った画像データから顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する。また、顔認識器８０２は、認識した顔の向きが、正面を向いているか否かを判定し、認識した顔の向き（または、正面を向いているか否か）の判定結果を、緊急発声判定器８０３に出力する。顔認識は公知の方法により実現できる。例えば、W. Zhao, R. Chellappa, A. Rosenfeld,"Face recognition: A literature survey," ACM Comput. Surv., Vol.35, No.4, pp.399-458, 2003に示されている。顔の向きの検出についても、例えば、Michael D. Breitenstein, Daniel Kuettel, Thibaut Weise, Luc van Gool, and Hanspeter Pfister,"Real-time face pose estimation from single range images," CVPR, 2008 に示されている。
【００７７】
緊急発声判定器８０３は、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、顔認識器８０２により出力された判定結果とに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・顔が正面を向いている。
【００７８】
緊急発声判定器８０３は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器８０３は、制御部３０６に対して緊急停止信号を出力しない。
【００７９】
このように、音声区間長及び話速に加えて、顔の向きを条件にすることで、緊急停止部８００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を向上させることができる。
【００８０】
＜緊急停止処理の流れ＞
次に、緊急停止部８００による緊急停止処理の流れについて説明する。図９は、緊急停止部による緊急停止処理の流れを示す第３のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ４１１、Ｓ４１２である。
【００８１】
ステップＳ４１１において、画像取得部８０１は、音声データ（発声）の開始時刻から、現在時刻（音声データ（発声）の終了時刻）までの間（音声区間）に、主記憶装置２０２に格納された画像データを取得する。
【００８２】
ステップＳ４１２において、顔認識器８０２は、ステップＳ４１１において取得された画像データから顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する。また、顔認識器８０２は、認識した顔の向きが、正面を向いているか否かを判定する。
【００８３】
＜変形例１＞
上記説明では、画像取得部８０１が取得した画像データから、顔認識器８０２が顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識するものとして説明した。しかしながら、画像取得部８０１が取得した画像データに、複数のユーザが含まれ、複数の顔領域が検出されることも考えられる。そこで、変形例１では、音取得部３０１が音の到来方向（発声したユーザが位置する方向）を特定し、顔認識器８０２では、画像データに含まれる複数の顔領域のうち、特定した到来方向に位置する顔領域について、顔の向きを認識する。
【００８４】
これにより、発声したユーザとは異なるユーザの顔の向きを判定してしまうといった事態を回避することができる。なお、変形例１の場合、マイクロフォンは複数配されているものとし、また、音取得部３０１は、複数のマイクロフォンにおいて生成された音データに基づいて、音の到来方向（発声したユーザが位置する方向）を特定することができるものとする。音の到来方向の特定には、公知の手法を用いればよい。例えば、
・H. Pan, R. Scheibler, E. Bezzam, I. Dokmanic, and M. Vetterli,"FRIDA: FRI-based DOA estimation for arbitrary array layouts, " Proc. ICASSP, pp. 3186-3190, 2017
・R. Schmidt, "Multiple emitter location and signal parameter estimation," IEEE Trans. Antennas Propag., Vol. 34, Issue 3, pp. 276-280, 1986
が知られている。
【００８５】
図１０は、緊急停止部による緊急停止処理の流れを示す第４のフローチャートである。図９に示す第３のフローチャートとの相違点は、ステップＳ５１１、Ｓ５１２である。
【００８６】
ステップＳ５１１において、音取得部３０１は、音の到来方向（発声したユーザが位置する方向）を特定する。
【００８７】
ステップＳ５１２において、顔認識器８０２は、ステップＳ４１１において取得された画像データにおいて、音取得部３０１により特定された到来方向（発声したユーザが位置する方向）の顔領域を検出し、検出した顔領域に基づいて、顔の向きを認識する。また、顔認識器８０２は、認識した顔の向きが、正面を向いているか否かを判定する。
【００８８】
このように、音声区間長及び話速に加えて、音の到来方向の顔領域から認識される顔の向きを条件にすることで、緊急停止部８００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を更に向上させることができる。
【００８９】
＜変形例２＞
上記説明では、マイクロフォン２０、カメラ３０がロボット１０と一体的に構成されていることを前提としていた。しかしながら、マイクロフォン２０またはカメラ３０のいずれか一方または両方が、ロボット１０と別体として構成されることも考えられる。
【００９０】
このような場合、制御装置１００に対しては、ユーザが発声する際に向くべき方向を予め設定しておく。そして、顔認識器８０２では、画像データから、音の到来方向（発声したユーザが位置する方向）の顔領域を検出し、検出した顔領域に基づいて顔の向きを認識する際、認識した顔の向きが、予め設定した方向を向いているか否かを判定する。
【００９１】
そして、緊急発声判定器８０３では、音声区間検出器３０２により出力された音声区間長と、話速算出器３０５により出力された話速と、顔認識器８０２により出力された判定結果とに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・顔が予め設定された方向を向いている。
【００９２】
緊急発声判定器８０３は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器８０３は、制御部３０６に対して緊急停止信号を出力しない。
【００９３】
このように、音声区間長及び話速に加えて、音の到来方向の顔領域から認識される顔の向き（所定の顔の向き）を条件にすることで、緊急停止部８００によれば、緊急停止させるべき状況が生じたか否かを判定する際の判定精度を向上させることができる。
【００９４】
＜まとめ＞
以上の説明から明らかなように、第４の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉で早口に所定の方向に向かって叫ぶことが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・音声区間長が予め定められた閾値以下であり、かつ、
・顔の向きが予め定められた方向を向いている、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
【００９５】
これにより、第４の実施形態に係る制御装置の緊急停止部によれば、所定の方向に向けられていない発声により、ロボットを緊急停止させてしまうといった事態を回避することができる。つまり、緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに緊急停止させることが可能となる。
【００９６】
［第５の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じたか否かを判定する場合について説明した。これに対して、第５の実施形態では、緊急停止させるべき状況が生じたか否かを判定することに加えて、通常停止させるべき状況が生じたか否かについても判定する。
【００９７】
なお、緊急停止とは、緊急停止命令に基づいてロボット１０への電源供給を停止することをいう。ただし、電源供給を停止する直前に、ロボット１０の可動部に対してブレーキやロックをかけてもよい。また、電源供給を停止する前後に、ロボット１０の可動部に対して、電源を用いない機構を利用してブレーキやロックをかけてもよい。
【００９８】
一方、通常停止とは、通常停止命令に基づいて、ロボット１０への電源供給を維持したまま、ロボット１０の可動部を、その位置で外力が加わらない限り動かないように固定することをいう。ここでいう固定の方法には、
ａ）外部からの力によって動かされても、通常停止命令があった位置に戻るように位置制御して固定する方法、
ｂ）外部からの力によって動かされた場合には、外部からの力がなくなった時点の位置を保持するように制御して固定する方法、
ｃ）ブレーキを配し、当該ブレーキにより位置を固定する方法、
等が含まれる。
【００９９】
なお、電源供給を停止するとは、ロボット１０における全ての要素に対する電源供給を停止することのほか、ロボット１０における動作に関する要素に対する電源供給を停止すること、が含まれるものとする。
【０１００】
以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１０１】
＜制御装置の機能構成＞
はじめに、第５の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図１１は、制御装置の緊急停止部の機能構成の一例を示す第５の図である。図３に示した機能構成との相違点は、緊急停止部１１００が、停止発声判定器１１０１を有する点である。
【０１０２】
停止発声判定器１１０１は、緊急停止させるべき状況が生じていないと判定されることで緊急発声判定器３０４より出力される、緊急発声でないことを示す信号（非緊急停止信号）を受け取る。また、停止発声判定器１１０１は、音素認識器３０３より出力される音素列を受け取る。
【０１０３】
更に、停止発声判定器１１０１は、緊急発声判定器３０４より、緊急発声でないことを示す信号を受け取ると、音素認識器３０３より受け取った音素列に、予め定められた停止に関する音素列が含まれるか否かを判定する。また、停止発声判定器１１０１は、予め定められた停止に関する音素列が含まれると判定した場合に、制御部３０６に対して、通常停止信号を出力し、ロボット１０を通常停止させる。
【０１０４】
＜緊急停止処理の流れ＞
次に、緊急停止部１１００による緊急停止処理の流れについて説明する。図１２は、緊急停止部による緊急停止処理の流れを示す第５のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ６０１、Ｓ６０２である。
【０１０５】
ステップＳ６０１において、停止発声判定器１１０１は、音素認識器３０３より、音素列を受け取り、受け取った音素列に、停止に関する音素列が含まれるか否かを判定する。
【０１０６】
ステップＳ６０１において、受け取った音素列に、停止に関する音素列が含まれないと判定した場合には、ステップＳ１０１に戻る。一方、ステップＳ６０１において、受け取った音素列に、停止に関する音素列が含まれると判定した場合には、通常停止させるべき状況が生じたと判定し、ステップＳ６０２に進む。
【０１０７】
ステップＳ６０２において、停止発声判定器１１０１は、制御部３０６に対して通常停止信号を出力する。制御部３０６は、可動部４０が通常停止命令に基づいて動作するよう制御し、ロボット１０を通常停止させる。
【０１０８】
＜まとめ＞
以上の説明から明らかなように、第５の実施形態に係る制御装置の緊急停止部は、ロボットにおいて緊急停止させるべき状況が生じていないと判定した場合でも、音素列に通常停止すべき音素列が含まれていた場合には、ロボットを通常停止させる。
【０１０９】
これにより、第５の実施形態に係る制御装置の緊急停止部によれば、緊急停止以外の停止方法を含む、複数種類の停止方法（緊急停止方法、通常停止方法）でロボットを停止させることができる。
【０１１０】
［第６の実施形態］
上記第１の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の音声区間長と話速とに着目した。一方で、緊急停止させるべき状況が生じた場合、ユーザは、同じ単語、単語断片、又は言い回しを繰り返し発声することが想定される。例えば、「まてまてまて」（英語の場合には、"Wait, Wait, Wait"）、「ストップストップ」（英語の場合には、"Stop, Stop, Stop"）、「危ない危ない危ない」（英語の場合には、"Danger, Danger, Danger"）「ちょっちょっちょっ」（英語の場合には、"Hey, Hey, Hey"）などである。そこで、第６の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、同一単語の繰り返しに着目する。以下、第６の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１１１】
＜制御装置の機能構成＞
はじめに、第６の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図１３は、制御装置の緊急停止部の機能構成の一例を示す第６の図である。図３に示した機能構成との相違点は、第６の実施形態に係る制御装置１００の緊急停止部１３００の場合、繰り返し検出器１３０１を有する点、及び、緊急発声判定器１３０２が緊急発声判定器３０４とは異なる機能を有する点である。
【０１１２】
繰り返し検出器１３０１は、音素認識器３０３により出力された音素列を受け取り、受け取った音素列における繰り返し部分を検出する。また、繰り返し検出器１３０１は、検出結果を、緊急発声判定器１３０２に出力する。
【０１１３】
なお、繰り返し検出器の処理例は、例えば、プログラミング言語Pythonを用いて以下のように記述することができる。
def detect(input):
R = []
for w in range(2, len(input)//2+1):
for b in range(len(input)-w+1):
s = input[b:b+w]
R.append(s*2)
for r in R:
if r in input:
return True
return False
なお、上記記述において、戻り値が"Ｔｒｕｅ"とは、ｉｎｐｕｔに入力された音素列において繰り返し部分が検出されたことを表す。一方、戻り値が"Ｆａｌｓｅ"とは、ｉｎｐｕｔに入力された音素列において繰り返し部分が検出されなかったことを表す。
【０１１４】
なお、音素認識器が任意の音素列を認識するのではなく、文法により認識すべき音素列を指定できる機能を備える場合には、想定される音素列の繰り返しをすべて文法に記載しておくことで繰り返し部分を検出することができる。この場合、繰り返し検出器１３０１は無くてもよい。文法を用いた音素認識器の実現方法の一例としてRecognition Grammar Toolkit for Juliusが挙げられる。認識の単位を単語ではなく音素とすることで、本実施の形態の音素認識器とすることができる。
【０１１５】
緊急発声判定器１３０２は、話速算出器３０５により出力された話速と、繰り返し検出器１３０１により出力された検出結果とに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音素列に繰り返し部分が含まれる。
【０１１６】
緊急発声判定器１３０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器１３０２は、制御部３０６に対して緊急停止信号を出力しない。
【０１１７】
このように、話速が閾値以上であることに加えて、音素列に繰り返し部分が含まれることを条件にすることで、緊急停止部１３００によれば、緊急停止させるべき状況が生じたか否かを高精度に判定することができる。
【０１１８】
＜緊急停止処理の流れ＞
次に、緊急停止部１３００による緊急停止処理の流れについて説明する。図１４は、緊急停止部による緊急停止処理の流れを示す第６のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１４０１である。
【０１１９】
ステップＳ１４０１において、繰り返し検出器１３０１は、ステップＳ１０７で認識した音素列における繰り返し部分を検出する。
【０１２０】
なお、繰り返し検出器１３０１は、ステップＳ１０７で認識された音素列において、予め定められた長さ以上の音素列の繰り返しが現れるか否かによって検出する。
【０１２１】
＜まとめ＞
以上の説明から明らかなように、第６の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、一般に、ユーザは短い言葉を繰り返し早口で発話することが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・ユーザの発声に対応する音素列に繰り返し部分が含まれる、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
【０１２２】
これにより、第６の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
【０１２３】
なお、本実施形態において、緊急発声判定器１３０２は、話速算出器３０５により出力された話速及び繰り返し検出器１３０１により出力された検出結果に加えて、音声区間検出器３０２により出力された音声区間長を用いて緊急発声を検出してもよい。この場合、緊急発声判定器１３０２は、下記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列に繰り返し部分が含まれる。
【０１２４】
［第７の実施形態］
上記第６の実施形態では、緊急停止させるべき状況が生じた場合にユーザが咄嗟に発声する音声の話速と発声に対応する音素列における繰り返し部分とに着目した。一方で、緊急停止させるべき状況が生じた場合かつユーザにとっての危険度が時間とともに上昇していく場合、同じ単語や言い回しを繰り返し発声しつつ、その音圧レベルが時間と共に上昇してくことが想定される。例えば、回転機械に服を巻き込まれたものの数秒程度は猶予があるような場合、徐々に大きな声になることが想定される。そこで、第７の実施形態では、緊急停止させるべき状況が生じたか否かを判定するにあたり、話速と同一単語の繰り返しとに加えて、音圧レベルの上昇に着目する。以下、第７の実施形態について、上記第６の実施形態との相違点を中心に説明する。なお、以下では、説明を簡単にするため、単語が繰り返されるものとして説明するが、単語の繰り返しに代えて単語断片や単語列が繰り返されてもよい。
【０１２５】
＜制御装置の機能構成＞
はじめに、第７の実施形態に係る制御装置１００の緊急停止部の機能構成について説明する。図１５は、制御装置の緊急停止部の機能構成の一例を示す第７の図である。図１３に示した機能構成との相違点は、第７の実施形態に係る制御装置１００の緊急停止部１５００の場合、第２の実施形態に記載した音圧レベル算出器と同様の音圧レベル算出器１５０１を有する点、及び、緊急発声判定器１５０２が緊急発声判定器１３０２とは異なる機能を有する点である。
【０１２６】
繰り返し検出器１３０１は、単語の繰り返しの検出及び検出結果の出力に加え、繰り返された各単語に対応する音声区間（繰り返し区間）についても算出し、音圧レベル算出器１５０１に出力する。音圧レベル算出器１５０１は、繰り返された各単語に対応する音声区間（繰り返し区間）の音圧レベルを算出する。また、音圧レベル算出器１５０１は算出した音圧レベルを、緊急発声判定器１５０２に出力する。
【０１２７】
緊急発声判定器１５０２は、話速算出器３０５により出力された話速と、繰り返し検出器１３０１により出力された検出結果と、音圧レベル算出器１５０１により出力された音圧レベルとに基づいて、下記条件を満たすか否かを判定する。
・話速が予め定められた閾値以上である。
・音素列に繰り返し部分が含まれる。
・音圧レベルが増加している（繰り返し区間における第１時刻の音圧レベルが、第１時刻より後の第２時刻の音圧レベルより小さい）。
【０１２８】
緊急発声判定器１５０２は、上記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。なお、上記条件のいずれか１つまたは複数を満たさないと判定した場合、緊急発声判定器１５０２は、制御部３０６に対して緊急停止信号を出力しない。
【０１２９】
このように、話速が閾値以上であること及び音素列に繰り返し部分が含まれることに加え、音圧レベルが増加していることを条件にすることで、緊急停止部１５００によれば、緊急停止させるべき状況が生じたか否かを高精度に判定することができる。
【０１３０】
＜緊急停止処理の流れ＞
次に、緊急停止部１５００による緊急停止処理の流れについて説明する。図１６は、緊急停止部による緊急停止処理の流れを示す第７のフローチャートである。図６で示したフローチャートとの相違点は、ステップＳ１６０１、Ｓ１６０２である。
【０１３１】
ステップＳ１６０１では、第６の実施形態と同様、繰り返し検出器１３０１が、ステップＳ１０７で認識した音素列における繰り返し部分を検出する。加えて、繰り返し検出器１３０１は、繰り返された各単語に対応する音声区間（繰り返し区間）を算出する。
【０１３２】
ステップＳ１６０２において、音圧レベル算出器１５０１は、ステップＳ１６０１において算出された繰り返し区間の音圧レベルを算出する。
【０１３３】
＜まとめ＞
以上の説明から明らかなように、第７の実施形態に係る制御装置の緊急停止部は、作業中のロボットにおいて緊急停止させるべき状況が生じると、ユーザは短い言葉を繰り返し早口で発声し、その発声に対応する音声データの音圧レベルは徐々に大きくなることが多い点に着目し、
・話速が予め定められた閾値以上であり、かつ、
・ユーザの発声に対応する音素列に繰り返し部分が含まれ、かつ、
・繰り返し区間の音圧レベルが増加している、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力する。
【０１３４】
これにより、第７の実施形態に係る制御装置の緊急停止部によれば、作業中のロボットにおいて緊急停止させるべき状況が生じた場合に、ユーザの音声指示に基づいて、ロボットを適切に緊急停止させることができる。この結果、ロボットをユーザの意図したとおりに動作させることが可能となる。
【０１３５】
なお、本実施形態において、緊急発声判定器１５０２は、話速算出器３０５により出力された話速、繰り返し検出器１３０１により出力された検出結果、及び音圧レベル算出器１５０１により出力された繰り返し区間の音圧レベルに加えて、音声区間検出器３０２により出力された音声区間長を用いて緊急発声を検出してもよい。この場合、緊急発声判定器１５０２は、下記条件のいずれも満たすと判定した場合、緊急発声を検出した旨を表す緊急停止信号を制御部３０６に出力する。
・話速が予め定められた閾値以上である。
・音声区間長が予め定められた閾値以下である。
・音素列に繰り返し部分が含まれる。
・音圧レベルが増加している。
【０１３６】
［その他の実施形態］
上記各実施形態では、単位時間あたりの音素数を算出することで話速を算出するものとしたが、話速の算出方法はこれに限定されない。例えば、音素より小さい単位を用いて話速を算出してもよい。あるいは、音素より大きい単位（例えば、モーラ、音節、単語）を用いて話速を算出してもよい。
【０１３７】
また、上記第２乃至第５の実施形態では、上記第１の実施形態において示した条件に、上記第２乃至第５の実施形態において新たに示した条件のうちのいずれかの条件を加えた場合について説明した。しかしながら、上記第１の実施形態において示した条件に、上記第２乃至５の実施形態において新たに示した条件のうちの複数の条件を組み合わせて加えてもよい。
【０１３８】
あるいは、上記第１の実施形態において示した条件の一部に、上記第２乃至第７の実施形態において新たに示した条件のうちの一部の条件を組み合わせて加えてもよい。例えば、
・音声区間長が予め定められた閾値以下であり、かつ、
・音圧レベルが予め定められた閾値以上である、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
【０１３９】
あるいは、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列が、予め定められた音素列を含む（あるいは含まない）、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
【０１４０】
あるいは、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列に繰り返し部分が含まれる、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
【０１４１】
あるいは、
・音声区間長が予め定められた閾値以下であり、かつ、
・音素列に繰り返し部分が含まれ、かつ、
・音圧レベルが増加している、
場合に、緊急停止させるべき状況が生じたと判定し、緊急停止信号を出力してもよい。
【０１４２】
また、上記各実施形態では、制御部３０６が、可動部４０を制御するものとして説明したが、制御部３０６は、可動部４０以外の要素を制御するように構成してもよい。例えば、ロボット１０が音声出力部を有している場合にあっては、音声出力部が緊急停止命令に基づいて動作するよう制御してもよい（つまり、音声出力を停止し、スピーカをＯＦＦ状態にするよう制御してもよい）。あるいは、ロボット１０が表示部を有している場合にあっては、表示部が緊急停止命令に基づいて動作するよう制御してもよい（つまり、表示を停止し、画面をＯＦＦ状態にするよう制御してもよい）。ロボット１０が不適切な音声出力や、不適切な表示出力を行った場合に有効である。
【０１４３】
また、上記各実施形態において、緊急停止部の機能は、プロセッサ２０１が、緊急停止プログラムを実行することで実現されるものとして説明した。しかしながら、緊急停止部の機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路により実現されてもよい。また、緊急停止部の機能を実現する制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。
【０１４４】
また、上記各実施形態において、緊急停止プログラムを実行するにあたっては、緊急停止プログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。また、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。ジョブの実行は、例えば、ＧＰＵ（Graphics Processing Unit）等のアクセラレータを使用して行ってもよい。
【０１４５】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１４６】
１０                  ：ロボット
２０                  ：マイクロフォン
３０                  ：カメラ
４０                  ：可動部
４１〜４４            ：関節
４５                  ：エンドエフェクタ
１００                ：制御装置
３００                ：緊急停止部
３０１                ：音取得部
３０２                ：音声区間検出器
３０３                ：音素認識器
３０４                ：緊急発声判定器
３０５                ：話速算出器
３０６                ：制御部
５００                ：緊急停止部
５０１                ：音圧レベル算出器
５０２                ：緊急発声判定器
７００                ：緊急停止部
７０１                ：音素列格納部
７０２                ：緊急発声判定器
８００                ：緊急停止部
８０１                ：画像取得部
８０２                ：顔認識器
８０３                ：緊急発声判定器
１１００              ：緊急停止部
１１０１              ：停止発声判定器
１３００              ：緊急停止部
１３０１              ：繰り返し検出器
１３０２              ：緊急発声判定器
１５００              ：緊急停止部
１５０１              ：音圧レベル算出器
１５０２              ：緊急発声判定器
【図１】
2020138314.tif 000003
【図２】
2020138314.tif 000004
【図３】
2020138314.tif 000005
【図４】
2020138314.tif 000006
【図５】
2020138314.tif 000007
【図６】
2020138314.tif 000008
【図７】
2020138314.tif 000009
【図８】
2020138314.tif 000010
【図９】
2020138314.tif 000011
【図１０】
2020138314.tif 000012
【図１１】
2020138314.tif 000013
【図１２】
2020138314.tif 000014
【図１３】
2020138314.tif 000015
【図１４】
2020138314.tif 000016
【図１５】
2020138314.tif 000017
【図１６】
2020138314.tif 000018