(57)【要約】【課題】人間の安全性を確保しつつ、ロボットによる作業の作業効率の低下を抑制して生産性をより向上することの可能なロボット制御装置及びロボット制御方法を提供する。【解決手段】ロボットの動作を制御するためのロボット制御装置であって、前記ロボットの位置を取得する取得手段と、人間の位置を検出する第１の検出手段と、前記人間が知覚可能な報知情報を報知する報知手段と、前記報知手段により出力された前記報知情報に応じた前記人間の反応を検出する第２の検出手段と、前記第２の検出手段により検出された前記人間の前記反応に基づいて、前記ロボットの動作を決定する動作決定手段と、を具備する。【選択図】図１
2017061026.tif 000002
【特許請求の範囲】
【請求項１】
ロボットの動作を制御するためのロボット制御装置であって、
前記ロボットの位置を取得する取得手段と、
人間の位置を検出する第１の検出手段と、
前記人間が知覚可能な報知情報を報知する報知手段と、
前記報知手段により出力された前記報知情報に応じた前記人間の反応を検出する第２の検出手段と、
前記第２の検出手段により検出された前記人間の前記反応に基づいて、前記ロボットの動作を決定する動作決定手段と、
を具備することを特徴とするロボット制御装置。
【請求項２】
前記取得手段により取得された前記ロボットの位置と、前記第１の検出手段により検出された前記人間の位置とに基づいて、前記ロボットの前記人間への危険を予測する予測手段、
をさらに具備し、前記動作決定手段は、前記予測手段により予測された前記危険と、前記第２の検出手段により検出された前記人間の前記反応とに基づいて、前記ロボットの動作を決定する、
ことを特徴とする請求項１記載のロボット制御装置。
【請求項３】
前記予測手段は、前記ロボットと前記人間との接触を危険として予測する、
ことを特徴とする請求項２に記載のロボット制御装置。
【請求項４】
前記動作決定手段は、前記予測手段が、前記ロボットの前記人間への危険を予測した場合であっても、前記予測した危険の発生までの時間が、所定の猶予時間に達していない場合は、前記ロボットの動作を変更しない、
ことを特徴とする請求項２または３に記載のロボット制御装置。
【請求項５】
前記動作決定手段は、前記予測手段が、前記ロボットの前記人間への危険を予測した場合であっても、前記予測した危険の発生までの時間が、所定の猶予時間に達しておらず、且つ、前記ロボットと前記人間との間の距離が所定距離以上である場合は、前記ロボットの動作を変更しない、
ことを特徴とする請求項２または３に記載のロボット制御装置。
【請求項６】
前記報知手段は、前記ロボットの状況または前記ロボットの周囲の状況を報知し、
前記第２の検出手段が検出する前記反応は、前記報知されたロボットの状況に対する前記人間の反応である、
ことを特徴とする請求項１から請求項５のいずれか１項に記載のロボット制御装置。
【請求項７】
前記ロボットの状況は、前記ロボットの動作に関連する、温度、電流値、電圧値、圧力、把持力、動作速度、および外部へ加える力、並びに前記ロボットの軌道変更状況、の少なくとも１つを含む、
ことを特徴とする請求項６に記載のロボット制御装置。
【請求項８】
前記ロボットの周囲の状況は、前記ロボットが把持する物体の温度、形状、大きさ、質量、化学物質の反応、および放射性物質の影響、の少なくとも１つを含む、
ことを特徴とする請求項６に記載のロボット制御装置。
【請求項９】
前記報知手段は、発光手段を具備し、発光する光の表示色又は発光する光の発光強度で情報報知を行う、
ことを特徴とする請求項１から８のいずれか１項に記載のロボット制御装置。
【請求項１０】
前記第２の検出手段により検出された前記人間の前記反応に基づいて、前記人間が前記報知情報を意識したか否かを推定する推定手段、をさらに備え、
前記動作決定手段は、前記推定手段の推定結果に基づき、前記動作を決定する、
ことを特徴とする請求項１乃至９のいずれか１項に記載のロボット制御装置。
【請求項１１】
前記第２の検出手段が検出する前記反応は、前記人間の視線または顔の向きを含み、
前記推定手段は、前記人間の前記視線または前記顔の向きから前記人間の視野を得、前記報知手段が前記視野内に位置するか否かを判定することにより、前記報知情報を意識したか否かを推定する、
ことを特徴とする請求項１０記載のロボット制御装置。
【請求項１２】
前記第２の検出手段が検出する前記反応は、前記人間の前記視線の動きまたは前記顔の動きであり、
前記推定手段は、前記人間の前記視線の動きまたは前記顔の動きから、前記人間の中心視野を得、得られた前記人間の中心視野が移動したか否かを判定することにより、前記報知情報を意識したか否かを推定する、
ことを特徴とする請求項１０記載のロボット制御装置。
【請求項１３】
前記推定手段は、前記検出した前記人間の前記動きに基づいて、前記予測手段により危険が予測される位置から前記人間が移動したか否かを判定することにより、前記報知情報を意識したか否かを推定する、
ことを特徴とする請求項１０記載のロボット制御装置。
【請求項１４】
前記動作決定手段は、前記動作として、少なくとも、動作の停止、動作の減速、動作の経路変更、のいずれかを決定する、
ことを特徴とする請求項１〜１３のいずれか１項に記載のロボット制御装置。
【請求項１５】
請求項１から１４までのいずれか１項に記載のロボット制御装置に、センサーまたは前記ロボットのうち、少なくとも何れか１つ、を具備し、
前記第２の検出手段は、前記センサーからの情報に基づき前記人間の反応を検出し、
前記第１の検出手段は、前記センサーからの情報に基づき前記人間の位置を検出する、
ことを特徴とするロボットシステム。
【請求項１６】
ロボットの動作を制御するためのロボット制御方法であって、
制御されるべき前記ロボットの位置を取得するステップと、
人間の位置を検出するステップと、
前記人間が知覚可能な報知情報を報知するステップと、
報知された前記報知情報に応じた前記人間の反応を検出するステップと、
検出された前記人間の前記反応に基づいて、前記ロボットの動作を決定するステップと、
を含むことを特徴とするロボット制御方法。
【請求項１７】
コンピュータが読み取り実行することで、前記コンピュータを、請求項１から１４のいずれか１項に記載のロボット制御装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、産業用ロボットの分野における、人間の危険回避のためのロボット制御装置、ロボット制御方法、ロボットシステム及びコンピュータプログラムに関する。
【背景技術】
【０００２】
産業用ロボット（以下、「ロボット」と称する。）を使用する際には、ロボットの周囲に位置する人間（ロボットを使用する作業者、メンテナンス担当者等）の危険回避のための制御が必要となる。この危険回避の制御として、安全管理者又は作業者が予め設定した領域に、人間が侵入又は接近した場合に、ロボットを停止又は減速する制御が知られている。
特許文献１は、作業者が安全のため進入が禁止されている禁止領域に侵入している場合に、ロボットを停止させる、または、ロボットの動力電源を遮断するロボット制御装置を開示する。特許文献２は、ロボットの位置が作業者の作業領域内にある場合に、ロボットを所定速度以下に減速するロボット制御装置を開示する。また、特許文献３は、作業者及びロボットの現在の位置及び移動速度から、それぞれの将来位置を予測して、作業者とロボットとの接触可能性を判断し、判断結果に応じた停止又は減速処理を行う安全制御装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０５０９５８号公報
【特許文献２】特開２００７−２８３４４８号公報
【特許文献３】特開２０１０−１２０１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の制御には以下の問題点があった。特許文献１では、ロボットの動作領域に作業者が侵入する度に、ロボットが停止してしまい、ロボットの作業効率が低下してしまう。特許文献２では、ロボットが作業領域内にある場合にロボットが減速される。このため、ロボットと作業者とがある時点で接近しただけで、将来接触の可能性が低い場合でも、その度にロボットが減速してしまい、作業効率が低下してしまう。
また、特許文献３では、ロボットの作業領域への人間の侵入の有無、人間とロボットの位置や移動速度等による接触判定のみで危険回避の要否を判断している。このため、人間がロボットを認識しているため人間側から危険回避動作が可能であり、ロボットの停止や減速をする必要がない場合であっても、その度にロボットの停止や減速を行ってしまう。したがって、ロボットの停止や減速が頻繁に発生し、ロボットの作業が滞って、ロボットの作業効率や生産性が低下してしまう。
【０００５】
特に、ロボット側で動作経路をチューニングしたり、部品をランダムピッキングするロボットシステムでは、ロボットの動作経路が前回から変更され得るため、人間が変更（更新）されたロボットの軌道を予測することは困難である。この場合、ロボットがいつも同じ動作をするという前提で作業をしていると、ロボットが予測できない動作をしたときに、人間がロボットの動作に合わせて作業することが困難となる。このため、ロボットが人間等と接触等する危険が増大し、危険回避の制御の必要性がより高まる。
本発明は、上記課題に鑑みてなされたものであり、その目的は、人間の安全性を確保しつつ、ロボットによる作業の作業効率の低下を抑制して生産性をより向上することの可能なロボット制御装置及びロボット制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一態様に係るロボット制御装置は、  ロボットの動作を制御するためのロボット制御装置であって、前記ロボットの位置を取得する取得手段と、人間の位置を検出する第１の検出手段と、前記人間が知覚可能な報知情報を報知する報知手段と、前記報知手段により出力された前記報知情報に応じた前記人間の反応を検出する第２の検出手段と、前記第２の検出手段により検出された前記人間の前記反応に基づいて、前記ロボットの動作を決定する動作決定手段と、を具備する。
また、本発明の他の一態様に係るロボット制御方法は、ロボットの動作を制御するためのロボット制御方法であって、制御されるべき前記ロボットの位置を取得するステップと、人間の位置を検出するステップと、前記人間が知覚可能な報知情報を報知するステップと、報知された前記報知情報に応じた前記人間の反応を検出するステップと、検出された前記人間の前記反応に基づいて、前記ロボットの動作を決定するステップと、を含む。
【発明の効果】
【０００７】
本発明によれば、人間の安全性を確保しつつ、ロボットの作業効率の低下を抑制して生産性をより向上することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１のロボットシステムの構成の一例を示す図である。
【図２】実施形態１のロボット制御装置の処理の流れを示すフローチャートである。
【図３】実施形態２のロボットシステムの構成の一例を示す図である。
【図４】実施形態２のロボット制御装置の処理の流れを示すフローチャートである。
【図５】実施形態３のロボットシステムの構成の一例を示す図である。
【図６】実施形態３のロボット制御装置の処理の流れを示すフローチャートである。
【図７】各実施形態のロボット制御装置のハードウエア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
実施形態１
実施形態１に係るロボット制御装置は、所定の報知情報を、危険を回避すべき人間に報知し、報知情報に対する人間の反応を検出して、人間が報知情報を視覚等により意識したか（知覚したか）を推定する。ここで、報知情報とは、検出される人間の反応を得るため、人間が知覚可能な刺激として報知される情報である。接触などの危険予測情報と、この報知情報を意識したか（知覚したか）否かの推定結果に従って、ロボットが実行すべき危険回避動作を決定する。この危険回避動作の決定において、例えば、報知された情報を人間が意識している場合は、ロボットをそのまま動作させ、一方、報知された情報を人間が意識していない場合には、ロボットを減速したり、停止したりする。
【００１１】
人間がロボットと近接して作業する場合、ロボットがすでに生成された動作を変更することでロボットの動作が前回までと変わると、人間は、ロボットの変更された動作を予測できない場合がある。
このような場合に、実施形態１によれば、危険が予測された場合に、報知された情報（報知情報）を人間が意識（知覚）しているかによって、将来においての危険回避動作を決定する。ここで、本実施形態１においては、ロボットの動作の変更を含んだ状況を人間に報知し、人間の反応を観察することによって、人間がその報知情報を見て意識（知覚）したか否かを推定する。
このため、従来はロボットが停止していた状況においても、ロボットを継続して稼働させることができ、生産性が向上する。なお、本実施形態１において、「意識する」とは、人間が報知情報を知覚した状態をいう。また、「知覚する」とは、人間が、感覚器官を通じて外部のイベントを感得することをいい、例えば、後述のように報知情報が人間の視野内に入ったことを以って推定され得る。
【００１２】
図１は、実施形態１のロボットシステム８の構成を示す。ロボットシステム８は、ロボット制御装置１０と、ロボット１１と、センサー１２と、を備える。ロボット制御装置１０は、制御部１０１と、ロボット位置取得部１０２（取得手段）と、画像情報取得部１０３と、人間位置検出部１０４（第１の検出手段）と、危険予測部１０５（予測手段）、を備える。実施形態１において、ロボット制御装置１０は、さらに、情報報知部１０６（報知手段）と、反応情報検出部１０７（第２の検出手段）と、知覚（意識）状態推定部１０８（意識状態推定手段）と、危険回避対応動作決定部１０９（動作決定手段）と、を備える。
【００１３】
ロボット１１は、図示されないロボットアームと、このロボットアーム先端に備えられるロボットハンドとから構成される。このロボットアームは、複数のリンクと、リンク同士を接続する１つ又は複数のジョイント（関節）とを備える。
ロボット１１は、ロボット制御装置１０の制御部１０１に接続され、制御部１０１からの動作指示によって動作するとともに、動作するロボットの各部の位置を制御部１０１に出力する。ロボット１１は、必要に応じて、アーム土台となるベース部、アームを駆動するサーボモータ、およびこのサーボモータの角度位置を検出するエンコーダ等を備える。
【００１４】
実施形態１において、ロボット１１には、ロボット制御装置１０の危険予測部から制御され、報知するための情報を出力する１つ又は複数の情報報知部１０６が配設される。
ロボット制御装置１０の制御部１０１は、作業者からのロボット１１の動作の指示（ティーチング）に基づき、ロボットの動作を制御する。具体的には、制御部１０１は、作業者が例えば部品（ワーク）を位置Ａから位置Ｂへ移動させると指示した結果に基づき、障害物を回避して部品を位置Ａから位置Ｂに移動するためのロボットの動作を規定する動作計画情報を生成（プランニング）する。ここで、位置Ａはロボットの動作開始点で、位置Ｂはロボットの動作終了点とする。制御部１０１は、動作計画情報として、記憶手段（図７の外部メモリ７１４など）に、ロボット１１で位置Ａから位置Ｂへ部品を移動させるための動作の計画を保持している。
【００１５】
実施形態１において、制御部１０１は、初めに生成した動作計画情報を、タクトタイム短縮、軌道短縮、動作の円滑化、等の目的で、動作をチューニングする機能を有しており、生産性がより向上するようロボットの動作計画情報を変更する。つまり、ロボット１１は毎回同じ動作を繰り返すとは限らず、制御部１０１が動作計画情報を変更すると、前回までとロボットの軌道が変更されることになる。
動作計画情報が変更される場合としては、この他、次の場合がある。まず、制御部１０１は、後述する危険回避対応動作決定部１０９（動作決定手段）が決定した危険回避対応動作に従って、ロボット１１の動作計画情報を変更する。
さらに、部品の位置Ａが予め指定された位置にない場合も考えられる。この場合は、センサーにより部品の置いてある位置Ａを新たに取得し、取得した新たな位置Ａに基づき部品の移動先である位置Ｂへ部品を移動する動作計画情報をプランニングして求めることになる。このように、ロボット１１が部品を把持する位置Ａが当初の位置と異なっている場合も、ロボット１１の動作計画情報が前回から変更される。さらに、数種類の部品を組み付ける作業の場合にも、位置Ａ、位置Ｂ共にその都度位置が異なり、ロボット１１が生成する動作計画情報がその都度変更されることになる。
【００１６】
制御部１０１は、ロボット１１の動作計画情報が変更された場合、この変更状況を、ロボットの状況についての変更情報として保持記憶する。
ロボット位置取得部１０２（取得手段）は、制御部１０１が保持しているロボット１１の動作計画情報から、ロボット１１を構成するロボットアーム（アームを構成する各リンク）とロボットハンドの軌道を取得する。そして、ロボット位置取得部１０２は、ロボット１１の現在の位置から位置Ｂへ部品を移動する際に通過する空間的な領域を、ロボットの位置の情報として算出する。この際、ロボット位置取得部１０２は、ロボット１１の軌道の他に、ロボット１１の現在の位置を制御部１０１から取得する。
【００１７】
センサー１２は、本実施形態１乃至３では、例えば、ロボットの作業領域や作業者などの画像を撮像する撮像カメラを利用することができる。具体的には、センサー１２は、画像を撮像する複数の撮像カメラを含み、撮像画像を外部出力するための回路やインターフェースを備える。センサー１２は、撮像カメラにより撮像される画像に、人間（作業者等）が含まれるように、画像を撮像する。
センサー１２はロボットの作業領域や、ロボットの位置、作業者の位置、等を検出するセンサーであれば、他の手段を利用してもよい。例えば、撮像カメラ以外の３次元レーザー測定器等を利用することもできる。
画像情報取得部１０３は、キャプチャーボードやメモリなどで構成され、センサー１２から入力される撮像画像から、二次元画像と距離画像とを取得する。
【００１８】
距離画像を取得するには、センサー１２が視点の異なる複数の撮像カメラを備え、画像情報取得部１０３がこれら複数の撮像カメラが撮像した画像情報を取得すればよい。ここで、距離画像とは、２次元の画像データに、奥行き方向の距離のデータ、つまり、画像中の視点から対象物までの距離の値を有する画像データをいう。距離に関するデータを備えていれば、どのようなフォーマットのデータでもよい。また、例えば、通常の二次元の画像データの色彩や濃淡に加えてまたはこれに替えて、距離の値を有する画像データであってもよい。
なお、取得される画情情報は、二次元画像に替えて三次元画像でもよく、これらが取得できれば、画像情報取得部１０３、センサー１２等の装置構成は、上記の構成には限定されない。例えば、センサー１２が距離画像を生成して、画像情報取得部１０３に供給してもよい。
【００１９】
また、図示されない距離画像生成手段が、複数の撮像カメラで撮像した画像から、ステレオ法で撮影物体の距離画像を生成してもよい。
距離画像の取得は、これまで説明した構成に限定されず、他の構成を用いてもよい。例えば、撮像カメラと、撮像カメラと異なる位置から撮影物体に光のパターンを投影するパターン投影法などのアクティブ方式の三次元計測手法を利用してよい。あるいは、パターン投影法以外の三次元計測手法を利用して撮影物体の距離画像を算出してもよい。また、その他、ＴＯＦ（Time Of Flight）方式等、種々の方式を利用して距離画像を取得してよい。画像情報取得部１０３は、人間位置検出部１０４（第１の検出手段）及び反応情報検出部１０７（第２の検出手段）に対して、取得した二次元画像と距離画像とを供給する。
【００２０】
人間位置検出部１０４は、画像情報取得部１０３が取得した距離画像を領域分割（セグメンテーション）する。人間位置検出部１０４はまた、画像情報取得部１０３が取得した二次元画像から人間の頭部を検出する。人間位置検出部１０４は、領域分割した距離画像の複数の領域のうち、二次元画像の頭部に対応する部分を含む領域を人間の領域とし、この人間の領域に対応する距離画像の点群を、現在の人間の位置とする。
ここで、点群とはいわば点群データ（Point Cloud Data）のことを言い、点群とは、３Ｄ空間に存在する物や環境や人を、例えば３Ｄセンサを用いてその表面形状を撮影した「３Ｄ点の座標の集まり」のデータを意味する。この結果、撮影した距離画像を３Ｄ空間の点に透視投影したものが３Ｄ点群となる。
【００２１】
危険予測部１０５（予測手段）は、人間の危険予測の一態様として、ロボットと人間の接触予測を行う。具体的には、危険予測部１０５は、ロボット位置取得部１０２が取得したロボットの位置と、人間位置検出部１０４が検出した人間の位置と、が重なる位置を、人間とロボットとが接触する可能性がある位置と予測する。この人間とロボットとが接触する可能性がある位置を示す情報を「接触情報」という。接触する可能性があると予測された場合、つまり、接触情報が存在する場合は、人間が現在の位置のまま移動せず、かつ、ロボットの動作が今回の軌道のままだと、時間が経過すると人間とロボットが接触する可能性がある。この場合、危険予測部１０５は、人間に危険の可能性があると予測する。すなわち、危険予測部１０５（予測手段）は、ロボットと人間との接触を危険として予測する。
【００２２】
情報報知部１０６は、ロボット１１の可動部分（可動部品）、例えば、ロボットアームの各リンクやロボットハンドに配設され、報知情報を人間に知覚可能に出力する。情報報知部１０６は、色や輝度を変化させることのできる液晶表示装置やＬＥＤなどのデバイスで構成されてよい。
本実施形態１においては、光学的に報知を行うことができる液層表示装置やＬＥＤ等を報知手段として利用したが、音声的に報知を行うスピーカやブザー等を利用することもできる。
なお、情報報知部１０６は、ロボット１１の各リンクの外側となる面または側面に配設されてよい。ロボット１１を構成するロボットアームとロボットハンドを構成する各リンクが、これらリンクを連結するジョイント（関節）で曲がった際に、情報報知部１０６が内側となる面にあっては、人間の視界から遮られ見え難くなるからである。また、情報報知部１０６の数は、各リンクに１つには限定されず、各リンクの外側と側面に複数配設してもよい。
【００２３】
危険予測部１０５は、人間に危険の可能性があると予測した場合、上記接触情報を求める。危険予測部１０５は、この接触情報に基づき、接触情報以外の部分の情報報知部１０６を水色点灯させる。危険予測部１０５は例えば、ロボット１１の軌道が前回と同じであり、かつ、接触する可能性がないと判断されるリンクまたはロボットハンドに配設されている情報報知部１０６を、水色で点灯（発光）させる。この水色表示色の点灯により、情報報知部１０６が配設されているリンク（又はロボットハンド）が、軌道が変更されず、かつ、人間との接触の可能性がないことが人間に報知される。
【００２４】
他方、危険予測部１０５は、接触情報に基づき、ロボット１１の軌道が変更され、かつ、接触の可能性があると判断されるリンクまたはロボットハンドに配設されている情報報知部１０６のみを、桃色で点灯（発光）させる。この桃色表示色の点灯により、情報報知部１０６が配設されているリンク（又はロボットハンド）が、軌道が変更され、かつ、人間と接触の危険があることが人間に報知される。
なお、ロボット１１の軌道の変更の有無にかかわらず、前回のロボット１１の動作から桃色の発光表示を続けている情報報知部１０６は、ロボット１１の該当するリンクまたはロボットハンドが人間と接触する可能性がある間は桃色の発光表示を継続する。これは、ロボット１１の異常や非常停止やその他の原因で作業を停止し、その後ロボット１１の動作を停止位置から再開する際、又は位置Ａから動作をやり直す際に、人間への安全性を確保するためである。
【００２５】
また、人間とロボット１１とが接触すると予測される時刻までに時間がある場合は、水色から桃色に変えた情報報知部１０６の表示色を桃色のまま維持させ、継続して人間の反応を検出してもよい。
なお、表示色として、実施形態１では、水色と桃色の例を説明したが、ロボット１１の状況の情報報知を人間が知覚上識別可能に行えることができれば、いかなる色を用いてもよい。
また、報知情報の他の提示方法としては、表示色の変更ではなく、ロボット１１の軌道が同じ場合は点灯表示し、一方、ロボットの軌道が変更し、かつ、接触の可能性がある場合は、周期の長い点滅表示を行うことによって、人間に報知してもよい。あるいは、消灯と、点滅とを用いて、人間に報知してもよい。
【００２６】
さらに、報知情報を出力すべき情報報知部１０６そのものだけでなく、出力すべき情報報知部１０６の近傍に位置する等の複数の情報報知部１０６に対して報知内容を変更させてもよい。また、ロボット１１に配設されたすべての情報報知部１０６の報知内容を変更させてもよい。これにより、人間がより報知情報を知覚し、反応しやすくなるため、ロボット１１の危険回避反応動作の機会が低減する。
本実施形態１では、情報報知部１０６として、ＬＥＤ等の発光手段を利用しているが、他の発光手段でもよい。また、情報報知部１０６をＬＥＤマトリクスや液晶表示装置で構成し、文字表示で情報報知を行ってもよい。また、情報報知部１０６としてスピーカ等を用い、音声による情報報知を行わせてもよい。
【００２７】
また、本実施形態１においては、情報報知部１０６は、ロボット１１の各リンクに設ける例を説明したが、設置場所に特段の制限はなく、どこに設置されていてもよい。例えば、ロボットのいずれかの部位に（集中して）配置されていてもよい。また例えば、情報報知部１０６である液晶ディスプレイをロボット１１の近傍に配置して、人間に対する情報報知を行わせることができる。また、例えば、天井や壁に情報報知部１０６を設け、情報報知を行わせてもよい。
さらに、情報報知部１０６は、人間（例えば操作者）の体に装着するように構成してもよい。例えば、帽子、時計等にＬＥＤを設けて情報報知部１０６を構成してもよい。さらにバイブレータを用いた情報報知部１０６を人間に携帯させて、振動で人間に情報報知を行うこともできる。また、情報報知部１０６としてスピーカを用いて音声による情報報知を行わせる場合は、人間に音声が聞こえれば、どこに設置されていてもよい。例えば人間が装着するヘッドホンやイヤホンを情報報知部１０６として利用してもよいし、壁に取り付けられたスピーカを情報報知部１０６として利用してもよい。
【００２８】
反応情報検出部１０７は、画像情報取得部１０３が取得した二次元画像から、人間の頭部を検出し、さらに、人間の反応として顔の向き、又は、視線の向きを抽出する。反応情報とは、報知された報知情報に対する人間の反応に関する情報をいい、ここでは例えば、顔の向き、視線の向き等を含む。
知覚（意識）状態推定部１０８には、危険予測部２０５で予測した接触情報（ロボットと人間の接触位置）と、反応情報検出部１０７が検出した顔の向き又は視線の向き（以下、「反応情報」という。）と、が入力される。知覚（意識）状態推定部１０８は、この接触情報及び反応情報に基づいて、水色から桃色に表示色を変更させた情報報知部１０６の位置が、人間の視野内に入ったか否かを判断する。
【００２９】
実施形態１において、知覚（意識）状態推定部１０８は、水色から桃色に表示色を変更させた情報報知部１０６が人間の視野内に入ったか否かによって、人間が、表示色が変更された情報報知部１０６を、見た状態か否かを推定する。ここで、「見た状態」とは、表示色が変更された情報報知部１０６が、人間の視野内に入ることによって、人間が当該情報報知部１０６から出力された報知情報（表示色が変更されたこと)を知覚した、ないし意識した、と推定できることを意味するものとする。すなわち、知覚（意識）状態推定部１０８（推定手段）は、人間が報知情報を意識したか否かを推定するのである。
【００３０】
知覚（意識）状態推定部１０８は、表示色を変更させた情報報知部１０６を人間が見た状態であると判断した場合、人間が、情報報知部１０６から出力された報知情報に反応し、ロボット１１の動作が変更したことを意識（知覚）している状態と推定する。一方、表示色を変更させた情報報知部１０６を人間が見た状態でないと判断した場合、人間が、情報報知部１０６から出力された報知情報に反応せず、ロボットの１１の動作が変更したことを意識（知覚）していない状態と推定する。
危険回避対応動作決定部１０９（動作決定手段）は、知覚（意識）状態推定部１０８で推定された推定結果に従って、ロボット１１の動作を変更せずに現状のまま継続するか、又は、危険回避対応動作を取るかを決定する。ここで、危険回避対応動作とは、ロボットの動作の減速、動作の停止、及び動作軌道変更（動作の経路変更）を含む。
【００３１】
（ロボット制御装置の処理の流れ）
次に、図２のフローチャートに基づき、ロボット制御装置１０の処理の流れを説明する。図２の各処理動作は、図１に示されるロボット制御装置１０のハードウエアがプログラムを実行することによって達成されてよい。
まず、Ｓ２００において、ロボット位置取得部１０２は、制御部１０１が保持しているロボット１１の軌道データとロボット１１の現在の位置とから、ロボット１１の動作完了に至るまでの動作範囲を算出する。このロボット１１の軌道データは、ロボット１１が現在の位置から位置Ｂに部品を移動する際の、ロボット１１を構成するロボットアームとロボットハンドの各部材の時系列の位置と関節角、および各部材の形状寸法を含む。ロボット位置取得部１０２は、この軌道データから、ロボット１１が、現在の位置から位置Ｂに移動する際に通過する空間的な領域を算出し、これをロボット１１の位置とする。
【００３２】
Ｓ２０１において、画像情報取得部１０３は、二次元画像と距離画像とを取得する。
Ｓ２０２において、人間位置検出部１０４は、現在の人間の位置を検出する。具体的には、人間位置検出部１０４は、Ｓ２０１で取得した距離画像の点群を領域分割し、二次元画像から人間の頭部を検出する。そして、人間位置検出部１０４は、領域分割した距離画像の複数領域のうち、二次元画像の頭部に対応する点群を含む分割領域を人間の領域とする。この人間の領域に含まれる点群が、現在の人間の位置として検出される。
Ｓ２０３において、危険予測部１０５は、人間とロボット１１の接触の可能性を予測することによって、人間の危険予測を行う。具体的には、危険予測部１０５は、Ｓ２０２で求めた人間の位置として検出された点群のうち、Ｓ２００で求めたロボットの位置である空間的な領域の中に存在する点群の位置を、人間とロボットが接触する可能性がある位置（接触情報）として求める。
【００３３】
ここで、ロボット１１の位置は、現在の位置から位置Ｂに移動する際に通過する空間的な領域として、Ｓ２００において求められている。このように、ロボット１１の位置を空間的な領域として求めることによって、危険予測部１０５は、現在の人間の位置から、将来的にロボット１１と接触する可能性があるかを予測することができる。
Ｓ２０３において、危険予測部１０５は、人間とロボット１１とが接触する可能性がある位置（接触情報）を求めるが、この位置（接触情報）は、人間とロボット１１が接触する際のロボット１１の接触部分の位置となる。なお、現在のロボット１１の位置と移動速度、及び現在の人間の位置と移動速度から、ロボット１１と人間の将来位置を予測して、位置（接触情報）を推定してもよい。
【００３４】
Ｓ２０４において、危険予測部１０５は、人間とロボット１１との接触可能性の有無を判定する。具体的には、Ｓ２０３において、人間とロボット１１とが接触する位置（接触情報）がなかった場合は、危険予測部１０５は接触可能性が無いと判定し、Ｓ２１２に進む。
Ｓ２１２において、危険予測部１０５は、ロボット１１のすべての情報報知部１０６を水色で点灯させる。
Ｓ２１３において、制御部１０１は、ロボット１１の動作を変更することなく再びＳ２００に戻り、処理を続行する。
【００３５】
他方、Ｓ２０３において、危険予測部１０５は、人間とロボット１１とが接触する位置（接触情報）があると判断した場合は、Ｓ２０４において危険予測部１０５が人間とロボット１１とが接触可能性は有りと判定し、Ｓ２０５に進む。
Ｓ２０５において、危険予測部１０５は、ロボットの軌道が変更し、かつ、接触の可能性があるリンクまたはロボットハンドに配設されている情報報知部１０６の表示色を水色から桃色に変更する。これによって、情報検知部１０６は、ロボット１１の動作が変更されたことによるロボットの状況の変更を、人間に報知する。
ロボット１１に配設された複数の情報報知部１０６のうち一部の情報報知部１０６の表示色を変更することで、接触する可能性があり危険が予測されたリンクがどれであるかを知らせ、人間が、どのリンク（又はハンド）と接触する可能性があるかを、即座に把握するメリットがある。ここで、「即座に把握する」とは、接触する可能性がある位置を、人間がすぐに（短時間で）知覚することができるように報知することを意味する。例えば、文字を表示して人間に読ませる等の（ある程度時間がかかる）方法ではなく色彩を変更することによって報知を行う例を示したものである。
【００３６】
Ｓ２０６において、反応情報検出部１０７は、Ｓ２００で取得した二次元画像から人間の頭部を検出し、人間の反応情報として、顔の向きと、視線の向きとを検出する。頭部の検出は、人間の肩から頭部の形状であるΩ（オメガ）形状を検出することで行ってよい。また、顔の器官である目、鼻、口の局所的な明暗差を利用したHaar-like特徴により、顔の向きを検出することができ、また、目の領域を抽出することができる。
さらに、抽出した目の領域の中の瞳位置と顔の向きとから、視線の向きを推定することができる。
Ｓ２０７において、知覚（意識）状態推定部１０８は、人間の視野範囲を算出する。具体的には、Ｓ２０６において推定された視線の向きを人間の視野の中心とし、人間の視野角を、例えば、視野の中心に対して、横方向は左右に９０度、縦方向は上が６０度、下が７０度として、人間の視野範囲を算出することができる。
【００３７】
Ｓ２０８において、知覚（意識）状態推定部１０８は、Ｓ２０７において算出した視野範囲である視野角内に、Ｓ２０５において水色から桃色に表示色を変更した情報報知部１０６の位置が入ったか否かを算出する。
Ｓ２０９において、知覚（意識）状態推定部１０８は、時間が経過すると人間とロボットが接触する可能性がある、水色から桃色に表示色を変更した情報報知部１０６の位置を、人間が見た状態か否かを推定する。つまり、知覚（意識）状態推定部１０８（推定手段）は、人間が、報知情報を意識したか否かを推定する。
具体的には、Ｓ２０８において、桃色に表示色が変更された情報報知部１０６が人間の視野内に入っている場合は、人間が情報報知部１０６を見た状態（知覚ないし意識した状態）と判断（推定）し、Ｓ２１０に進む。他方、当該情報報知部１０６が人間の視野内に入っていない場合は、人間が情報報知部１０６を見ていない状態と判断（推定）し、Ｓ２１４に進む。
このように、実施形態１においては、Ｓ２０７からＳ２０９で、知覚（意識）状態推定部１０８により、ロボット１１から及ぼされる危険についての人間の意識状態の推定を行う。
【００３８】
つまり、実施形態１においては、ロボット１１の軌道が変更され、かつ、人間と接触の可能性があるリンク又はロボットハンドに配設されている情報報知部１０６の表示色を、その他の情報報知部１０６から識別可能に変更する。これによりロボット１１の動作状況の変更などのロボットの状況が、人間に報知される。このように表示色が変更された情報報知部１０６が報知する報知情報を、人間が見た状態と判断されれば、人間がロボット１１の状況の変更を意識しているものと推定する。
あるいは、危険予測部１０５が危険を予測した場合に、または、動作が変更された場合のいずれかで、情報報知部１０６を介して報知情報を報知してもよい。
Ｓ２１０において、危険回避対応動作決定部１０９は、危険回避対応動作としてロボット１１の動作を変更しないと決定する。この場合、制御部１０１は、ロボット１１に対する制御を変更せずに、Ｓ２１１に進む。Ｓ２１１において、制御部１０１は、ロボット１１の作業（例えば、部品（ワーク）の移動）の継続か完了かを判断する。ロボット１１による部品の移動が完了していなければＳ２００に戻り処理を続行し、部品の移動が完了していれば処理を終了する。
【００３９】
一方、Ｓ２１４において、危険回避対応動作決定部１０９は、ロボット１１が実行すべき危険回避対応動作を決定し、決定された危険回避対応動作を制御部１０１に指示する。制御部１０１は、危険回避対応動作決定部１０９が決定した危険回避対応動作をロボット１１に実行させる。この危険回避対応動作は、人間とロボットの接触回避のため、ロボット１１の動作速度を減速させることであってよい。また、人間の位置とロボット１１の位置の現在の距離が、予め定められた距離以下の場合は、ロボット１１を停止するようにしてもよい。あるいは、減速や停止ではなく、人間との接触を避けるため、人間とロボット１１とが接触する際のロボットの接触部分の位置をロボット１１が通過しないよう、ロボット１１の軌道を変更してもよい。
なお、人間とロボット１１とが接触する可能性がある時刻まで時間があり、予め設定されている接触までの猶予時間に達していない場合は、次のような処理をしてよい。すなわち、水色から桃色に変更した情報報知部１０６の表示色をその間桃色のまま維持し、継続して、人間の反応情報の検出を続けてもよい。
【００４０】
この場合は、Ｓ２０９において、現時刻が、人間とロボット１１とが接触する可能性がある時刻までの予め設定した時間に達したか否かの判断を併せて行えばよい。達していない場合はＳ２１０へ進んでロボットに通常動作を行わせて、危険回避対応動作を行わせなければよい。一方、予め設定した時間に達した場合に、Ｓ２１４に進み、ロボット１１に危険回避対応動作を実行させればよい。
なお、ここでは、人間とロボット１１とが接触する可能性がある時刻までの時間が予め設定されている接触までの所定の猶予時間に達していない場合の例を説明したが、時間的な要件に加えて、距離的な要件を採用してもよい。
すなわち、
・人間とロボット１１とが接触する可能性がある時刻までの時間が所定の猶予時間に達していない
・人間とロボット１１との距離が所定の距離未満
の２要件を満たす場合には、危険回避対応動作決定部１０９は、ロボット１１の動作を変更せず、情報報知部１０６の表示色を桃色のまま維持させるという処理を行うこともできる。
【００４１】
この場合も、例えば、上で述べたＳ２０９において、上記２種類の要件が共に満たされているか否かを検査することがよい。具体的には、人間とロボット１１とが接触する可能性がある時刻までの時間が、予め設定した時間（猶予時間）に達したか否かの判断を行うと共に、人間とロボット１１との距離が、所定の距離未満になったか否かの判断を行う。
このような処理は、例えば、作業者が熟練者の場合を考慮したものである。作業者が熟練者の場合、その作業者はロボットの動作パターンを把握しているので、あるタイミングまでは情報報知部１０６の表示を見ることも煩わしく、作業効率も落ちてしまう。したがって、情報報知部１０６を見ないまま作業を続けることを許容するために、ある程度時間がある場合は、予め設定した時間に達するまでは、危険回避対応動作を行わせないようにしたものである。
【００４２】
また、このようにして、例えば、人間とロボット１１とが接触するまでに予め設定した時間以上の時間がある場合は、人間（例えば作業者）が、情報報知部１０６の表示色の変更を都度確認しなくても、作業を継続することが可能となる。従って、人間はロボット１１に接触する時刻までの予め設定した時間に到達するまでは、情報報知部１０６が出力する報知情報を都度確認しながら作業をする必要がなく、作業効率が向上する。さらに、危険回避対応動作が行われる頻度をさらに低減することができる。
人間は、設定された時間に達する前に、情報報知部１０６から出力される報知情報（例えば、表示色の変更）に気付いて確認を行えば、人間の安全性は確保される。仮に、設定された時間に達する前に、報知情報に気付かずに、又は気付いていても、人間が危険回避を行えなかった場合であっても、設定された接触までの時間に達した時点以降に、制御部１０１がロボット１１を停止させればよい。接触前に最終的にロボット１１が停止するので、人間の安全性は確保される。
【００４３】
（実施形態１の変形例）
上記実施形態１では、顔の向きと視線の向きから、人間の視野内に情報報知部１０６の位置が入った状態を以て、人間がロボット１１を見た状態か否かを推定した。これに替えて、顔の向きから、人間の顔が情報報知部１０６の側を向いているのか、背にしているのか、に基づき、人間が情報報知部１０６を見ているか否かを推定してもよい。
いずれの場合でも、実施形態１においては、画像情報取得部１０３が取得した画像に撮像された人間を含む画像から人間の意識状態（知覚しているか否か）を推定する。したがって、ロボット１１と協調して作業を行う作業者だけでなく、作業領域への侵入者、部品補充者又はメンテナンス者など、作業者以外の人間の安全性も、同様に確保することができる。
【００４４】
また、上記実施形態１では、ロボット１１の動作の状況として、ロボット１１の動作軌道が変更される状況を説明した。しかしながら、報知情報を報知するトリガとなる、ロボット１１の動作の状況（ロボットの状況）は、ロボット１１の動作の内部情報であって、ロボットの動作に関連する、温度、電流値、電圧値、圧力、把持力、動作速度、および外部へ加える力、などの情報を含んでよい。
温度としては、電子部品のはんだ付けやリフローはんだ付けの温度、温度に関連する内部情報としては、はんだ付け等の温度を制御する電流値なども含んでよい。温度に関しての危険予測は、危険予測部１０５が、人間の位置とロボット１１の位置とから、温度に対して人間との間隔をどの程度離さなければ危険であるかの予め設定された距離に基づいて行えばよい。温度による人間の危険が予測された場合に、危険予測部１０５が、情報報知部１０６の表示色の変更を行って、人間に危険を報知すればよい。また、電流値が予め設定された閾値を超えた場合に、情報報知部１０６の表示色の変更を行って、人間に危険の報知をしてもよい。
【００４５】
また、報知情報を報知するトリガとなるロボット１１の周囲の状況は、ロボット１１が把持している物（部品）の温度、形状、大きさ、質量、化学物質の反応、放射性物質（の放射能などによる人間へ）の影響、などの状況を含んでよい。さらに、周囲の状況は、人間とロボットの周囲の作業環境に存在する、専用治具、搬送装置、他のロボット、組み付けが行われる対象、組み付け部品の配置やそれらが入っている箱などの状況を含むこともできる。その他に、周囲の状況は、周辺の雰囲気である、明るさ、気温、湿度、圧力、振動、音、粉塵、風、光などの状況も含んでよい。
【００４６】
また、上記実施形態１では、危険予測部１０５が、情報報知部１０６を介して、人間に報知情報を報知する方法として、情報報知部１０６の表示色の変更、点灯や点滅の周期で報知する方法を説明した。しかしながら、前述したロボット１１の動作の状況の各種パラメータや各種の数値に対応して、情報報知部１０６が発光する光の強度を徐々に変化させることで報知してもよい。光の強度の変化は、数値等に応じてリニアに変化させてもよいし、小、中、大、のように段階的に変化させてもよい。
【００４７】
また、光の表示色や発光強度の他に、音、圧力、風圧、温度、振動、を用いて、人間に報知情報を報知してもよい。この場合は、情報報知部１０６が、音を出力するスピーカや、振動を発生させるアクチュエータ等を備えればよい。また、情報報知部１０６により報知情報を報知することに替えて、ロボット１１の動きを用いて報知情報を報知してもよい。この場合は、危険予測部１０５が、情報報知部１０６の表示を制御することに替えて、制御部１０１に対して人間に報知するためのロボット１１の動きを送出すればよい。制御部１０１は、送出されるロボット１１の報知のための動きをロボット１１に実行させればよい。
【００４８】
さらに、危険予測部１０５は、人間に危険を及ぼすパラメータ、または、その値に基づく危険度を、情報報知部１０６に、数値で、あるいは、数値のレベルに応じた可変長のバーを表示させる等して、人間に報知情報を報知してもよい。または、情報報知部１０６は、危険度の値に応じて、表示の輝度を変化させてもよい。危険度に基づく報知を行う場合、情報報知部１０６は、このような表示を行うために数値を表示できるデバイスや、バー表示を行えるデバイス等を備えればよい。また、デジタル表示ではなく、インジケータのようなアナログ表示で危険度等の数値の情報を報知してもよい。
また、人間に報知情報を報知するタイミングとしては、ロボット１１の動作の状況が変更されたか否かにかかわらず、常時報知し続けてもよいし、あるいは、ロボット１１の動作の状況が変化した際に報知してもよい。
【００４９】
以上述べたように、実施形態１においては、危険予測に加え、ロボット１１の動作の状況を人間に報知情報として報知し、報知情報の報知に対する人間の反応を検出する。そして、人間がその報知の位置（例えば報知情報を出力する情報報知部１０６の位置）を見た状態か否かを推定することで、ロボット１１の状況の変化を意識（知覚）したかを推定する。この推定結果に基づき、危険回避対応動作の決定を行う。
したがって、人間がロボット１１の状況の変化を意識している（知覚している）場合は、危険回避を行う必要がないため、ロボット１１の停止や減速によるロボット１１の作業効率の低下が抑制される。人間が変更されるロボットの動作を予測できない場合に対応した危険回避動作の実行が可能になる。これにより、ロボット１１の作業効率及び生産性がより向上する。
【００５０】
実施形態２
以下、本発明の実施形態２を、実施形態１と異なる点につき説明する。実施形態２も実施形態１と同様、ロボットの動作の変更状況を報知情報として人間に報知して、人間の反応を観察する。この人間の反応として、実施形態２は、人間に対する報知情報の報知に伴って、人間の中心視野が移動したかを検出することによって、人間がその報知情報によりロボットの状況の変更を認識したか否かを推定する。ここで、「認識」とは、「意識」の一種である。
図３は、実施形態２に係るロボットシステム３８の構成を示す。図３において、図１に示す実施形態１に係るロボット制御装置１０内の各部と同一の機能を有する構成には実施形態１と同一の符号が付されておりその説明は省略する。実施形態２のロボットシステム３８は、センサー１２と、ロボット制御装置３０と、ロボット１１と、から構成される。実施形態２に係るロボット制御装置３０は、実施形態１に係るロボット制御装置１０における知覚（意識）状態推定部１０８に替えて、認識状態推定部３０８（認識状態推定手段）を備える。
【００５１】
認識状態推定部３０８は、人間にロボット１１の動作の変更状況を報知する情報報知部１０６を介して報知する報知情報が変化する際に、その報知情報が変化した情報報知部１０６に人間が視線を移したか否かを検出する。そして、認識状態推定部３０８は、人間がその報知情報が変化した情報報知部１０６に視線を移したか否かによって、人間がロボット１１の状況の変更を認識までしたか否かを推定する。
報知情報を変更した情報報知部１０６の位置が、人間の視野内にあって見えた状態であっても、その位置以外の場所や他のことに意識が集中しており、情報報知部１０６の位置には注意が向けられていない場合もある。
【００５２】
これに対して、実施形態２の認識情報推定部３０８は、危険予測部１０５が情報報知部１０６の出力する報知情報を変化させてから以降に、人間が報知情報の変化した情報報知部１０６の位置に中心視野を移動させたか否かを検出する。報知情報が変化してから以降に、人間の中心視野が情報報知部１０６に向けて移動していれば、報知情報の報知を認識した状態であると推定する。一方、人間が中心視野を移動させていなければ、たとえ報知情報の報知を意識（知覚）していたとしても、認識まではしていないものと推定する。ここで、「認識する」とは、外部のイベントを識別および判断したことをいい、例えば、後述のように人間が中心視野を報知情報に移動させたことを以って推定され得る。
【００５３】
図４は、実施形態２のロボット制御装置３０の処理の流れを示すフローチャートを示す。
図４の各処理動作は、図３に示されるロボット制御装置３０のハードウエアがプログラムを実行することによって達成されてよい。実施形態２に係る図４のフローチャートは、実施形態１で説明したロボット制御装置１０の処理の流れを示すフローチャート（図２）と、Ｓ４０７、Ｓ４０７ｂ、Ｓ４０８、Ｓ４０９の処理動作が異なる。すなわち、ロボットに対する人間の認識状態を推定する処理が異なる。それ以外の処理は、図２に示すフローチャートの処理と同一であって、図２と同一の符号が付されておりその説明は省略する。
【００５４】
まず、Ｓ４０７において、認識状態推定部３０８は、人間の視野範囲を算出する。具体的には、Ｓ２０６において検出した視線の向きを、人間の視野の中心とし、人間の視野角を、例えば、視野の中心に対して、横方向は左右に９０度、縦方向は上が６０度、下が７０度として、人間の視野範囲を算出する。
Ｓ４０７ｂにおいて、認識状態推定部３０８は、危険予測部１０５が情報報知部１０６の報知情報の表示色を変更する前と変更した以降との、人間の視線の動きを取得する。
実施形態１においては、画像情報取得部１０３が取得した現在の画像から抽出した、現在の視線の向きを用いて、人間が、情報報知部１０６が出力する報知情報への意識状態（知覚したか否かの状態）を推定した。これに対して、実施形態２においては、現在だけでなく、過去に検出した以前の視線の向きも利用する。過去の視線の向きから、情報報知部１０６の表示色が変更される前の視線の向きを得ることができる。画像情報取得部１０３が、例えば、一定時間Δｔ毎に画像情報を取得していれば、時系列データとして、一定間隔Δｔでの時系列上の視線の動きが取得できる。Ｓ４０８において、認識状態推定部３０８は、Ｓ２０７で算出した視野範囲である視野角内での、Ｓ２０５において水色から桃色に表示色を変更した情報報知部１０６の位置の動きを算出する。
【００５５】
次に、Ｓ４０９において、認識状態推定部３０８は、情報報知部１０６の表示色が変更された後、報知情報が変更された情報報知部１０６の位置が、中心視野の範囲内に移動したか否かを検出する。この中心視野の視野角として、視野の中心から例えば上下左右に２度の範囲を用いてよい。なお、中心視野の視野角は、２度に限定されず、また、上下と左右で異なる数値の角度としてもよい。
認識状態推定部３０８は、報知情報が変更された情報報知部１０６の位置が、中心視野の範囲内に移動していれば、報知情報の変更に人間が反応して、少なくとも一瞬視線を移動させたと判断する。この場合、認識状態推定部３０８は、ロボットの状況の変更があったことを人間が認識（意識）したものと推定して、ロボット１１の動作を変更せずにＳ２１０に進み、それ以降の動作は、実施形態１の図２において説明したとおりである。このように、認識状態推定部３０８（推定手段）は、人間が報知情報を意識したか否かを推定する。なお、本実施形態では、理解を容易にするために、「意識した」の一種として「認識した」という用語を用いている。
【００５６】
Ｓ４０９に戻り、認識状態推定部３０８は、報知情報が変更された情報報知部１０６の位置が、中心視野の範囲内に移動していない場合は、表示部１０６の表示色の変更に人間が反応しなかったものと判断する。この場合、認識状態推定部３０８は、ロボット１１の状況の変更を人間が認識していないものと推定して、Ｓ２１４に進み、危険回避対応動作が行われる、その動作は、実施形態１の図２において説明したとおりである。
以上説明したように、実施形態２においては、危険予測に加え、ロボット１１の動作の状況を報知情報として人間に報知し、報知情報が変更された情報報知部１０６の位置に、人間が視線を移動させたか否かを検出する。そして、人間が視線を情報報知部１０６に移動させたか否かによって、人間がロボット１１の状況の変更を認識しているか否かを推定し、その推定結果に基づき、危険回避対応動作の決定（判定）を行う。
【００５７】
実施形態２においては、人間が視線を情報報知部１０６に移動させたか否かを、報知情報が変更された情報報知部１０６の位置が、人間の中心視野の範囲内に移動したか否かで判断する。人間が、報知情報を報知する情報報知部１０６に向けて中心視野を移動していれば、人間がそのロボットの状況を認識している可能性はより高いと考えられる。
これにより、人間がロボット１１の状況の変化を認識していると判断できる場合は、ロボット１１が危険回避対応動作を行う必要がなくなり、作業効率の低下が抑制され、生産性が向上する。
特に、人間が報知情報の変更を意識（知覚）はしていたとしても、報知情報の変更に注意が向かず認識していない状態の場合に、実施形態２によれば、ロボット１１の状況の変更を認識していると誤って判断してしまうことが抑制できる。つまり、人間が危険回避を確実に実行できると推定できる場合以外は、ロボット１１側に危険回避対応動作を実行させることにより、人間の安全性確保がより確実となる。
【００５８】
実施形態３
以下、本発明の実施形態３を、実施形態２と異なる点につき説明する。実施形態３も実施形態２と同様、ロボットの動作の状況の変更を含む情報を報知情報として人間に報知して、人間の反応を観察する。この人間の反応として、実施形態３は、人間が危険回避の動き（動作）をしたか否かを検出し、この検出結果に基づいて、人間がロボットの状況の変更を認識したか否かを推定する。
図５は、実施形態３に係るロボットシステム５８の構成を示す。図５において、図１に示す実施形態１に係るロボット制御装置１０（図３のロボット制御装置３０）内の各部と同一の機能を有する構成には実施形態１と同一の符号を付し、その説明は省略する。実施形態３のロボットシステム５８は、センサー１２と、ロボット制御装置５０と、ロボット１１とから構成される。実施形態３に係るロボット制御装置５０は、実施形態１及び実施形態２の反応情報検出部１０７に替えて、反応情報検出部５０７を備える。また、実施形態３に係るロボット制御装置５０は、実施形態２の認識状態推定部３０８に替えて、認識状態推定部５０８を備える。
【００５９】
反応情報検出部５０７は、ロボット１１の状況の変更を危険予測部１０５が表示部１０６を介して人間に報知した後の、人間の位置を検出して、認識状態推定部５０８に供給する。反応情報検出部５０７は、この人間の位置の検出において用いられる画像情報を、実施形態１の画像情報取得部１０３により取得でき、また、人間の位置を、実施形態１の人間位置検出部１０４により検出できる。
認識状態推定部５０８は、情報報知部１０６が出力する報知情報の表示色が変更された後に、検出された人間の位置が、危険予測部１０５で予測された人間とロボット１１とが接触する可能性のある位置（接触情報）から移動したか否かを判定する。認識状態推定部５０８は、人間が、接触する可能性のある位置から移動したか（接触情報が変位したか）否かで、人間がロボット１１の状況の変更を認識したか否かを推定する。実施形態３は、人間が、報知情報の報知に応じて、接触する可能性のある位置から移動したかを判断することによって、人間が危険回避動作などの反応動作をしたか否かを推定する。
【００６０】
図６は、実施形態３のロボット制御装置５０の処理の流れを表すフローチャートを示す。図６の各処理動作は、図５に示されるロボット制御装置５０のハードウエアがプログラムを実行することによって達成されてよい。図６の例に示すフローチャートは、実施形態２で説明したロボット制御装置３０の処理の流れを示すフローチャート（図４）と、Ｓ６０６及びＳ６０７の処理動作が異なる。すなわち、人間の反応情報検出の処理とロボット１１についての人間の認識状態の推定の処理とが異なる。それ以外の他の処理は、図４に示すフローチャートの処理と同様であって図４と同一の符号を付し、その説明は省略する。
【００６１】
Ｓ６０６において、反応情報検出部５０７は、情報報知部１０６の出力する報知情報を変更して人間に報知した後の、人間の位置を検出して、認識状態推定部５０８に供給する。人間の位置の検出処理は、Ｓ２０１及びＳ２０２の処理と同様の処理で実行できる。
Ｓ６０７において、認識状態推定部５０８（推定手段）は、人間がロボット１１の状況の変更を認識（意識）したか否かを推定する。
実施形態３においては、情報報知部１０６の報知情報が変更された後、人間の位置がロボット１１と接触する位置から移動していれば、人間がロボット１１の状況の変化を認識して接触回避（危険回避）動作を行ったものと推定する。すなわち、認識状態推定部５０８（推定手段）は、人間が情報報知を意識したか否かを推定する。なお、本実施形態では、理解を容易にするために、「意識した」の一種として、「認識した」との用語を用いている。
【００６２】
具体的には、危険予測部１０５が情報報知部１０６の報知情報を変更して人間に報知した後の、Ｓ６０６で得られた人間の位置である点群と、Ｓ２０３で得られたロボット１１の接触部分の位置（接触情報）となる点群と、を比較する。この報知情報の報知後の人間の位置の点群の中に、ロボット１１の接触部分の位置（接触情報）となる点群の領域がなければ、人間とロボット１１とが接触する可能性のある位置から、人間が危険回避のため移動したことになる。この場合、実施形態３では、人間がロボット１１の状況の変更を認識した（さらに危険回避動作を取った）と推定し、Ｓ２１０に進む。一方、報知情報の報知後の人間の位置の点群の中に、ロボット１１の接触部分の位置（接触情報）となる点群の領域があれば、人間とロボット１１とが接触する可能性のある位置から、人間が危険回避動作をしていないことになる。実施形態３においては、人間が危険回避動作をしていない場合は、人間がロボット１１の状況の変更を認識していない（意識していない）と推定し、Ｓ２１４に進んでロボット１１側の危険回避対応動作を決定（判定）する。
【００６３】
以上説明したように、実施形態３においては、人間が危険予測部１０５により情報報知部１０６に出力された報知情報を見るかどうかを、ロボット１１側で危険回避対応動作を実行するか否かの決定には用いていない。これに替えて、実施形態３では、人間の反応動作（人間の動き）の検出結果を反応情報として取得し、この反応情報の変化に基づくロボットの動作などの状況のその後の変化を、常に情報報知部１０６を介して報知情報として報知（表示）し続ければよい。
【００６４】
これに対して、人間は、情報報知部１０６が出力する報知情報を見ることによって、ロボット１１の状況の変化に気が付いて、人間がロボット１１との接触を回避する行動を起こしてもよい。あるいは、作業に熟練している人間であれば、情報報知部１０６が出力する報知情報を見ることなく、将来のロボットの動作が複数パターンあり、それが切り替わることを十分に把握している場合もある。この場合は、ロボット１１の動作などの状況変化が予測可能であるので、やはり人間がロボット１１との接触を回避する行動をとることができる。
実施形態３において、情報報知部１０６は、いずれの場合であっても、人間がロボット１１と接触しない状況になり人間の危険が回避された状態を判定した場合に、情報報知部１０６の表示色を桃色から水色に変更すればよい（図６のＳ２０４Ｙ、Ｓ２１２）。
【００６５】
一方、ロボット１１と人間とが接触する状況が回避されず、人間の危険が回避される状況にならない場合は、危険回避のため、ロボットの危険回避対応動作として減速または停止などすればよい（図６のＳ２１４）。危険予測部１０５が算出する危険度の値が所定の基準値より高い場合も同様である。
ここで、人間が作業の熟練者であれば、情報報知部１０６が出力する報知情報を、見たければ必要な場合にだけ見ればよいし、ロボット１１の動きを熟知していれば見なくてもよい。万が一、見ないことにより、接触の危険度が高まれば、ロボット制御装置５０側で危険回避を行うとの判断をして、ロボット１１の動作を減速または停止させればよい。
【００６６】
以上説明したように、実施形態３においては、危険予測に加え、ロボット１１の動作の状況を報知情報として人間に報知した後、人間が危険回避の動きをしたか否かを検出する。そして、人間が危険回避と推定できる動きをしたか否かによって、人間がロボット１１の状況の変更を認識したか否かを推定し、その推定結果に基づき、危険回避対応動作の決定を行う。
これにより、人間がロボット１１の状況の変化を認識していると推定できる場合は、ロボット１１が危険回避対応動作を行う必要がなくなり、ロボットの作業効率の低下が抑制され、生産性が向上する。
【００６７】
（他の構成例）
本発明は、上述の実施形態１ないし３で説明した構成中１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して所定のシステム又は装置に供給し、そのシステム又は装置がプログラムを実行することで実現することも可能である。このプログラムの実行は、システム又は装置のコンピュータにおける１つ以上のプロセッサーが、プログラムを読出し実行する処理を行えばよい。
また、１以上の機能を実現する回路（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ））によっても実現可能である。
図７は、上記各実施形態に係るロボット制御装置の各構成部の全部又は一部を構成することのできるコンピュータ７１０のハードウエア構成を示す。コンピュータ７１０は、ＣＰＵ７１１と、ＲＯＭ７１２と、ＲＡＭ７１３と、外部メモリ７１４と、入力部７１６と、表示部７１７と、通信Ｉ／Ｆ７１８と、システムバス７１９とを備える。コンピュータ７１０は、さらに撮像部７１５を備えてもよい。
【００６８】
ＣＰＵ７１１は、ロボット制御装置の各部の動作を統括的に制御するものであり、システムバス７１９を介して、各構成部を制御する。
ＲＯＭ７１２は、ＣＰＵ７１１が処理を実行するために必要な制御プログラム等を記憶する不揮発メモリである。なお、これらプログラムは、外部メモリ７１４や着脱可能な記憶媒体（不図示）に記憶されてもよい。
ＲＡＭ７１３は、ＣＰＵ７１１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ７１１は、処理の実行に際してＲＯＭ２２から必要なプログラムやデータをＲＡＭ７１３にロードし、当該プログラムを実行することで各種の機能動作を実現する。
外部メモリ７１４は、例えば、ＣＰＵ７１１がプログラムを実行する処理を行う再に必要な各種データや各種情報等を記憶している。また、外部メモリ７１４には、例えば、ＣＰＵ７１１がプログラムを実行する処理を行うことにより得られた各種データや各種情報等も記憶される。
【００６９】
入力部７１６は、例えばキーボードやマウス等により構成され、ユーザが入力部７１６を介してロボット制御装置にティーチング等の指示を与えることができるよう構成される。
表示部７１７は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成されてよい。
通信Ｉ／Ｆ７１８は、外部装置と通信するためのインターフェースである。システムバス７１９は、ＣＰＵ７１１、ＲＯＭ７１２、ＲＡＭ７１３、外部メモリ７１４、撮像部７１５、入力部７１６、表示部７１７及び通信Ｉ／Ｆ部７１８を通信可能に接相互続する。
【００７０】
また、上記実施形態１〜３では、ロボット１１が１台の場合を説明したが、複数台のロボット１１を制御する場合に応用してもよい。また、ロボット制御装置１０等とロボット１１とは、近接して配置されている場合だけでなく、離隔して配置されていてもよい。また、ロボット制御装置１０等とロボット１１とが所定のネットワークで接続されているような構成をしていてもよい。
以上、本発明の実施形態について詳細に説明したが、これら実施形態は、本発明を実施するにあたっての具体例を示したに過ぎず、本発明の技術的範囲は、上記実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
【符号の説明】
【００７１】
８…ロボット制御システム、１０…ロボット制御装置、１１…ロボット、１２…センサー、１０１…制御部、１０２…ロボット位置取得部、１０３…画像情報取得部、１０４…人間位置検出部、１０５…危険予測部、１０６…情報報知部、１０７…反応情報検出部、１０８…知覚（意識）状態推定部、１０９…危険回避対応動作決定部、３０８…認識状態推定部
【図１】
2017061026.tif 000003
【図２】
2017061026.tif 000004
【図３】
2017061026.tif 000005
【図４】
2017061026.tif 000006
【図５】
2017061026.tif 000007
【図６】
2017061026.tif 000008
【図７】
2017061026.tif 000009