(57)【要約】【課題】ヒューマンエラーを少なくすることを目的とする。【解決手段】画像処理装置が、画像を撮像し、前記画像に基づいて、人の部位又は前記人が見ている注目点の少なくともいずれか一方を検出し、前記部位が検出される位置又は前記注目点の少なくともいずれか一方に基づいて、前記人の動作を分析することで上記課題を解決する。【選択図】図１０
2017187961.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記画像に基づいて、人の部位又は前記人が見ている注目点の少なくともいずれか一方を検出する検出部と、
前記部位が検出される位置又は前記注目点の少なくともいずれか一方に基づいて、前記人の動作を分析する分析部と
を含む画像処理装置。
【請求項２】
前記人が装着する装置である請求項１に記載の画像処理装置。
【請求項３】
前記部位には、第１マーカが装着され、
前記検出部は、前記第１マーカに基づいて前記部位を検出する請求項１又は２に記載の画像処理装置。
【請求項４】
作業で用いられる画像処理装置であって、
前記人は、前記作業を行う作業者である請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記分析部は、前記位置又は前記注目点の軌跡を示す検出パターンと、分析の基準とする登録パターンとが類似又は同一であるか否かによって、ヒューマンエラーがあるか否かを分析する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記分析部は、前記検出パターンと、前記登録パターンとの類似度を計算し、前記類似度に基づいて、前記検出パターンと、前記登録パターンとが類似又は同一であるか否か判断する請求項５に記載の画像処理装置。
【請求項７】
前記分析部は、所定の形状となるように設置される第２マーカが前記形状となるように、前記画像を変換する請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮像部は、前記人の目を撮像し、
アイトラッキングに基づいて、前記注目点が検出される請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
１以上の画像処理装置と、前記画像処理装置に接続される１以上の情報処理装置とを有する画像処理システムであって、
画像を撮像する撮像部と、
前記画像に基づいて、人の部位又は前記人が見ている注目点の少なくともいずれか一方を検出する検出部と、
前記部位が検出される位置又は前記注目点の少なくともいずれか一方に基づいて、前記人の動作を分析する分析部と
を含む画像処理システム。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置が、画像を撮像する撮像手順と、
前記画像処理装置が、前記画像に基づいて、人の部位又は前記人が見ている注目点の少なくともいずれか一方を検出する検出手順と、
前記画像処理装置が、前記部位が検出される位置又は前記注目点の少なくともいずれか一方に基づいて、前記人の動作を分析する分析手順と
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、固定カメラ等で作業者が行う作業を撮像し、作業者が行う作業が適切か否かを判断する方法が知られている。
【０００３】
例えば、まず、作業工程管理システムにおいて、作業者が作業位置を見る姿勢となると、作業位置が撮像画面内となるように作業者の目の上方位置に、撮像カメラが固定される。次に、作業者が、トルクドライバを用いて作業位置でネジの締付作業を行う。そして、所定のトルクで締付作業が完了すると、トルクドライバから作業完了信号が、作業管理装置に入力される。続いて、作業完了信号が入力されると、撮像カメラによって作業位置が撮像され、作業管理装置は、撮像画像を取り込む。一方で、あらかじめ、マスタ画像記憶部には、作業者が同様の作業を行った場合に取得できる撮像画像であるマスタ画像が記録される。そして、特定処理部が、撮像画像が入力されるごとに、すべてのマスタ画像と、入力される撮像画像とを照合する。この照合によって、作業工程管理システムは、撮像画像及びマスタ画像の両画像の類似度が最大となるマスタ画像を特定する。続いて、作業工程管理システムは、マスタ画像を取得した作業位置を撮像画像が撮像した作業位置と特定する。このようにして、複数の作業位置で、作業者が所定の作業を行う作業工程において、各作業が完了するごとに、各作業の作業位置を確実に確認する方法が知られている（例えば、特許文献１等）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２２４７４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、カメラの位置が固定される等のため、作業ミス等のヒューマンエラーを防げない場合がある。
【０００６】
本発明の１つの側面は、ヒューマンエラーを少なくすることを目的とする。
【課題を解決するための手段】
【０００７】
一態様における、画像処理装置は、
画像を撮像する撮像部と、
前記画像に基づいて、人の部位又は前記人が見ている注目点の少なくともいずれか一方を検出する検出部と、
前記部位が検出される位置又は前記注目点の少なくともいずれか一方に基づいて、前記人の動作を分析する分析部と
を含む。
【発明の効果】
【０００８】
ヒューマンエラーを少なくすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態における画像処理装置の全体構成例を示す全体構成図である。
【図２】本発明の一実施形態における画像処理装置の使用例を示す概念図である。
【図３】本発明の一実施形態における画像処理装置のハードウェア構成の一例を示すブロック図である。
【図４】本発明の一実施形態に係る画像処理装置による全体処理の一例を説明するフローチャートである。
【図５】本発明の一実施形態に係る画像処理装置によって撮像される画像の一例を示す図である。
【図６】本発明の一実施形態に係る画像処理装置によって特定される手及び注目点の動きを示すパターンの一例を示す図である。
【図７】本発明の一実施形態に係る画像処理装置によるアフィン変換等の一例を示す図である。
【図８】本発明の一実施形態に係る画像処理装置によって特定される手及び注目点の動きを示す変換後のパターンの一例を示す図である。
【図９】本発明の一実施形態に係る画像処理装置によるパターンの比較例を示す図である。
【図１０】本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面に基づいて、画像処理装置の例を説明する。
【００１１】
１．画像処理装置の全体構成例
２．画像処理装置のハードウェア構成例
３．画像処理装置の全体処理例
４．画像処理装置の機能構成例
＜＜１．画像処理装置の全体構成例＞＞
画像処理装置は、例えば、以下のように、人が装着できる、いわゆるウェアラブル装置であるのが望ましい。
【００１２】
図１は、本発明の一実施形態における画像処理装置の全体構成例を示す全体構成図である。例えば、画像処理装置１は、図１（Ａ）に示すような、いわゆるメガネ型の装置である。この例では、画像処理装置１は、装着する人の視線とほぼ同じ向きを光軸ＯＡとするカメラＣＡを有する。したがって、図１（Ａ）に示す画像処理装置１を装着して、人が作業を行うと、カメラＣＡは、作業中に、装置を装着する人の部位を示す画像を撮像することができる。
【００１３】
また、画像処理装置１は、図１（Ｂ）に示すように、耳の部分に装着できる装置でもよい。このような装置であっても、図１（Ａ）と同様に、画像処理装置１は、作業中に、装置を装着する人の部位を示す画像を撮像することができる。
【００１４】
さらに、画像処理装置１は、図１（Ｃ）に示すように、複数のカメラを有するのが望ましい。具体的には、図１（Ｃ）に示す例では、画像処理装置１は、第１カメラＣＡ１と、第２カメラＣＡ２との２つのカメラを有する。以下、画像処理装置１が２つのカメラを有する例で説明する。なお、画像処理装置１は、３つ以上のカメラを有してもよい。
【００１５】
図１（Ｃ）に示す例では、第１カメラＣＡ１は、図１（Ａ）に示すカメラＣＡと同様に、装着する人の視線とほぼ同じ向きを光軸とするカメラである。すなわち、第１カメラＣＡ１は、作業中に、装置を装着する人の部位を示す画像を撮像することができるカメラである。一方で、第２カメラＣＡ２は、図１（Ｃ）に示すように、装着する人の目を撮像することができる向きを光軸とするカメラである。そして、第２カメラＣＡ２が撮像する画像に基づいて、画像処理装置１は、いわゆるアイトラッキングが可能であるのが望ましい。すなわち、画像処理装置１は、第２カメラＣＡ２が撮像する画像によるアイトラッキングによって、装着している人が見ている位置（以下「注目点」という。）を検出できるのが望ましい。
【００１６】
また、画像処理装置１は、他に固定されたカメラが撮像する画像を更に取得してもよい。さらに、画像処理装置１は、画像処理を行うＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）又は電子回路基板等の情報処理装置と、レンズ及び光学センサ等を有するカメラとの組み合わせでもよい。
【００１７】
そして、画像処理装置１を装着した人が、例えば、以下のような場合で画像処理装置１を使用するとする。
【００１８】
図２は、本発明の一実施形態における画像処理装置の使用例を示す概念図である。例えば、図示するように、工場等において、作業者ＭＮが、作業台ＤＫ上で作業を行う例で説明する。このような作業が行われる上で、作業者ＭＮは、図示するように、画像処理装置１を装着して作業を行う。なお、作業は、例えば、製造工程において、製品の組み立て作業等である。
【００１９】
また、作業台ＤＫ上の作業が行われるスペースは、図示するように、複数のマーカＭＫが設置された平面上であるのが望ましい。すなわち、図示するように、複数のマーカＭＫが作業台ＤＫに固定される。また、マーカＭＫは、３個以上であるのが望ましい。なお、作業台ＤＫ上に設置されるマーカを以下「第２マーカ」という。
【００２０】
そして、第２マーカの例である各マーカＭＫが設置されるそれぞれの位置を結んで形成される形状は、あらかじめ画像処理装置１に入力されるとする。具体的には、図示する例では、４個のマーカＭＫが作業台ＤＫ上に設置され、４個のマーカＭＫによって、正方形又は長方形が形成される。したがって、この例では、４個のマーカＭＫが長方形等の形状を形成するように設置されることが、あらかじめ画像処理装置１に入力される。また、この形状は、マーカＭＫが固定されるため、少なくとも作業中は、一定であるとする。以下、この例を用いて説明する。なお、形状及びマーカＭＫの数は、図示する例に限られず、他の形状又は他の数でもよい。
【００２１】
また、作業者ＭＮは、検出対象とする部位にマーカを装着するのが望ましい。以下、部位に装着されるマーカを「第１マーカ」という。例えば、作業者ＭＮの手が検出対象である場合には、作業者ＭＮは、手の部位に第１マーカを装着する。このようにすると、画像処理装置１は、検出対象となる作業者ＭＮの部位を精度良く検出できる。なお、部位に装着する第１マーカと、作業台ＤＫ上に設置される第２マーカとは異なる種類又は色であるのがより望ましい。
【００２２】
そして、画像処理装置１は、撮像する画像から、人の部位を検出する。例えば、手を検出対象とする場合には、画像処理装置１は、あらかじめ画像処理装置１に入力される手を示す画像と同一の被写体が、撮像される画像上のどの位置にあるかを検出する。すなわち、画像処理装置１は、いわゆるパターンマッチング等によって、人の部位を検出する。このようにして、画像処理装置１は、あらかじめ設定される所定の人の部位を検出する。なお、人の部位は、手に限られず、他の可動部等でもよい。また、部位は、複数の箇所でもよい。
【００２３】
以下の説明では、部位が検出される位置及び注目点は、画像上、点で示すが、画像処理装置は、部位が検出される位置及び注目点を画像上に点で示す出力を行わなくともよい。画像処理装置は、例えば、座標値等で部位が検出される位置及び注目点を把握してもよい。
【００２４】
＜＜２．画像処理装置のハードウェア構成例＞＞
例えば、画像処理装置は、以下に示すようなハードウェア構成の装置であり、コンピュータである。以下、図示するような画像処理装置である例で説明する。
【００２５】
図３は、本発明の一実施形態における画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）ＨＷ１と、記憶装置ＨＷ２と、ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）ＨＷ３と、入力Ｉ／ＦＨＷ４と、出力Ｉ／ＦＨＷ５と、撮像装置ＨＷ６とを有する。
【００２６】
ＣＰＵＨＷ１は、処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアを制御する制御装置である。
【００２７】
記憶装置ＨＷ２は、いわゆるメモリ（ｍｅｍｏｒｙ）等の主記憶装置である。また、記憶装置ＨＷ２は、プログラム、設定値又はデータ等を記憶する。なお、記憶装置ＨＷ２は、補助記憶装置等を更に有してもよい。
【００２８】
ネットワークＩ／ＦＨＷ３は、ネットワークを介してデータ等を入出力するインタフェースである。例えば、ネットワークＩ／ＦＨＷ３は、コネクタ、ケーブル及びドライバ等である。
【００２９】
入力Ｉ／ＦＨＷ４は、ユーザによる操作及び外部装置からのデータを入力するインタフェースである。例えば、入力Ｉ／ＦＨＷ４は、スイッチ等の入力装置である。さらに、入力Ｉ／ＦＨＷ４は、入力装置及び外部装置を接続させるコネクタ及びドライバ等である。
【００３０】
出力Ｉ／ＦＨＷ５は、ユーザに対する表示及び外部装置にデータを出力するインタフェースである。例えば、出力Ｉ／ＦＨＷ５は、ディスプレイ等の出力装置である。さらに、出力Ｉ／ＦＨＷ５は、出力装置及び外部装置を接続させるコネクタ及びドライバ等である。
【００３１】
撮像装置ＨＷ６は、例えば、カメラ等である。すなわち、撮像装置ＨＷ６は、光学センサ及びレンズ等の光学系等で構成される。そして、撮像装置ＨＷ６は、撮像した画像を記憶装置ＨＷ２等に記憶する。
【００３２】
なお、ハードウェア構成は、図示する構成に限られない。例えば、画像処理装置は、演算装置、制御装置又は記憶装置を内部又は外部に更に有するハードウェア構成でもよい。
【００３３】
また、ウェアラブル装置である場合には、画像処理装置は、いわゆる透過型であるのが望ましい。すなわち、画像処理装置を装着する人は、出力装置による出力と、作業中の箇所とを両方とも見ることができるのが望ましい。
【００３４】
＜＜３．画像処理装置の全体処理例＞＞
図４は、本発明の一実施形態に係る画像処理装置による全体処理の一例を説明するフローチャートである。例えば、画像処理装置は、以下のような画像処理方法を行う。
【００３５】
≪  人の部位の位置及び注目点の検出例（ステップＳ０１）  ≫
ステップＳ０１では、画像処理装置は、まず、画像の撮像を行う。例えば、以下のような画像が撮像されるとする。なお、以下のように画像を撮像する手順は、撮像手順の一例である。
【００３６】
図５は、本発明の一実施形態に係る画像処理装置によって撮像される画像の一例を示す図である。例えば、図示する第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３及び第４画像ＩＭＧ４が、順に画像処理装置によって撮像されるとする。すなわち、図示する例は、撮像される画像が動画像の例である。そして、最初のフレーム等で、まず、第１画像ＩＭＧ１が撮像され、その次に、第２画像ＩＭＧ２が撮像される例である。続いて、第３画像ＩＭＧ３及び第４画像ＩＭＧ４が順に画像処理装置によって撮像される。以下、図示するような画像が撮像される例で説明する。
【００３７】
また、撮像されるそれぞれの画像には、図２で説明する４つのマーカＭＫが、被写体として撮像されるとする。なお、マーカＭＫは、第２マーカである。図５に示す例は、４つのマーカＭＫが図２に示すように長方形となるように配置されても、図５に示すように、画像処理装置と、作業台ＤＫ（図２参照）とがなす角度によって、４つのマーカＭＫは、長方形の配置となるようには撮像されない例である。以下、これらの画像に対して、画像処理装置が検出手順を行う例を説明する。
【００３８】
画像処理装置は、各画像において、マーカＭＫ及び検出対象とする部位を検出する。まず、マーカＭＫは、あらかじめマーカＭＫの色又は形状等が画像処理装置に入力されるため、画像処理装置は、画像上にマーカＭＫがあると、マーカＭＫの位置を検出することができる。また、撮像を行う画像処理装置が、作業者の頭部等に装着されるため、作業者の頭部等が動くと、４つのマーカＭＫは、固定されていても、固定カメラで撮像される場合と異なり、画像上では、図示するように、各画像内で異なる位置で検出される。
【００３９】
さらに、撮像されるそれぞれの画像には、作業者の両手が、被写体として撮像されるとする。具体的には、図示する例では、左手が撮像され、検出される位置を「左手ＨＮ１」とする。一方で、右手が撮像され、検出される位置を「右手ＨＮ２」とする。図示する例では、左手ＨＮ１及び右手ＨＮ２の点は、それぞれの画像内において、作業者の両手が写り、検出されるそれぞれの位置を示す。なお、手にマーカを設置する場合には、左手ＨＮ１及び右手ＨＮ２は、それぞれの手に装着されたマーカが検出されるそれぞれの位置を示す。図示するように、作業者の両手が動いたり、作業者の頭部等が動いたりすると、各画像上では、左手ＨＮ１及び右手ＨＮ２は、図示するように、各画像内で異なる位置で検出される。
【００４０】
さらにまた、画像処理装置は、アイトラッキング等によって注目点を検出する。図示する例では、注目点ＡＰが示す点は、注目点の位置に相当する。また、図では、注目点ＡＰが示す点は、それぞれの画像内において、画像処理装置を装着している人、すなわち、作業者の視線の位置を示す。つまり、注目点ＡＰは、作業者が見る位置が変わると、注目点ＡＰは、各画像内で異なる位置となる。
【００４１】
このようにして、ステップＳ０１では、画像処理装置は、撮像される画像において、注目点ＡＰと、左手ＨＮ１及び右手ＨＮ２の位置とを検出する。以下、人の部位の例である手と、注目点との両方が検出される例で説明するが、画像処理装置は、少なくともどちらか一方を検出すればよい。図５に示すように、画像処理装置は、画像において、マーカ又は手等の画像処理装置が認識する被写体の位置が、それぞれの位置と検出する。さらに、画像処理装置は、アイトラッキング等で検出した位置を注目点ＡＰと検出する。以下、注目点ＡＰと、４つのマーカＭＫ、左手ＨＮ１及び右手ＨＮ２の位置とが検出される場合を例に説明する。
【００４２】
≪  パターンの特定例（ステップＳ０２）  ≫
図４に戻り、ステップＳ０２では、画像処理装置は、パターンを特定する。例えば、以下のように、ステップＳ０１において検出される注目点及び位置のパターンを特定する。
【００４３】
図６は、本発明の一実施形態に係る画像処理装置によって特定される手及び注目点の動きを示すパターンの一例を示す図である。図示するように、画像処理装置は、図５に示す第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３及び第４画像ＩＭＧ４において、検出されるそれぞれの注目点又は部位の位置の軌跡を特定する。以下、撮像される複数の画像に基づいて特定される軌跡を「検出パターン」という。具体的には、第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３及び第４画像ＩＭＧ４のそれぞれの画像において、マーカＭＫのそれぞれの検出パターンを「マーカパターンＭＫＰ」とする。図示するように、各画像で検出されるマーカＭＫの位置を線で結ぶと、マーカパターンＭＫＰが特定される。
【００４４】
同様に、第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３及び第４画像ＩＭＧ４のそれぞれの画像に基づいて特定される左手ＨＮ１の検出パターンを「左手パターンＨＮ１Ｐ」とする。図示するように、各画像で検出される左手ＨＮ１の位置を線で結ぶと、左手パターンＨＮ１Ｐが特定される。
【００４５】
さらに、第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３及び第４画像ＩＭＧ４のそれぞれの画像に基づいて特定される右手ＨＮ２の検出パターンを「右手パターンＨＮ２Ｐ」とする。図示するように、各画像で検出される右手ＨＮ２の位置を線で結ぶと、右手パターンＨＮ２Ｐが特定される。
【００４６】
また、検出される注目点ＡＰの検出パターンを「注目点パターンＡＰＰ」とする。図示するように、各画像で検出される注目点ＡＰを線で結ぶと、注目点パターンＡＰＰが特定される。
【００４７】
このように、左手パターンＨＮ１Ｐ及び右手パターンＨＮ２Ｐ等の検出パターンを特定すると、画像処理装置は、手等の部位がどのように動いたかを分析することができる。同様に、注目点パターンＡＰＰ等の検出パターンを特定すると、画像処理装置は、作業者がどこを見ていたかを分析することができる。なお、分析において、画像は、以下のように変換されるのが望ましい。
【００４８】
≪  アフィン（ａｆｆｉｎｅ）変換等による変換例≫
パターンの特定では、画像処理装置は、アフィン変換等を行う。なお、アフィン変換は、例えば、"ディジタル画像処理  ＤＩＧＩＴＡＬ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ，ＣＧ−ＡＲＴＳ協会出版，奥富正敏他著，ｐｐ．１６３−１６５"に記載される方法等によって実現される。具体的には、例えば、図５に示す第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３及び第４画像ＩＭＧ４は、アフィン変換等によって、以下のように変換される。
【００４９】
図７は、本発明の一実施形態に係る画像処理装置によるアフィン変換等の一例を示す図である。例えば、図示するように、アフィン変換によって、画像処理装置は、各画像に写る４つのマーカＭＫが長方形に配置されるように各画像をそれぞれ変換する。以下、第１画像ＩＭＧ１を例に説明する。すなわち、アフィン変換が行われる前の画像が、第１画像ＩＭＧ１であり、第１画像ＩＭＧ１がアフィン変換されると、変換後第１画像ＩＭＧ１Ａとなる例で説明する。
【００５０】
この例では、まず、第１画像ＩＭＧ１では、４つのマーカＭＫは、作業者の頭部等の動きによって、図示するような位置で検出される。そして、画像処理装置は、図示するように、４つのマーカＭＫがあらかじめ設定される形状、すなわち、この例では、４つのマーカＭＫのなす形状が長方形となるように、第１画像ＩＭＧ１を変換する。また、この変換に伴って、第１画像ＩＭＧ１において、注目点ＡＰ、左手ＨＮ１及び右手ＨＮ２の位置が変換される。このようにすると、画像処理装置がどのような向きで手等の被写体を撮像した場合であっても、画像処理装置は、４つのマーカＭＫが長方形となる向き、すなわち、この例では、作業台に対して垂直に見下ろす向きで撮像されるのと同様の画像とすることができる。変換後の画像では、検出パターンは、例えば、以下のようになる。
【００５１】
図８は、本発明の一実施形態に係る画像処理装置によって特定される手及び注目点の動きを示す変換後のパターンの一例を示す図である。図示するように、各検出パターンは、マーカＭＫがあらかじめ設定される形状となる平面上で特定される。具体的には、図示する例では、まず、４つのマーカＭＫのなす形状が長方形であるとあらかじめ画像処理装置に設定される。次に、画像処理装置は、アフィン変換等によって、４つのマーカＭＫがなす形状が長方形となるように画像を変換する。このようにすると、画像処理装置は、図示するように、マーカＭＫがあらかじめ設定される形状となる平面上で、検出パターンを特定できる。検出パターンがこのような状態であると、分析において、検出パターンが精度良く分析できる。
【００５２】
なお、変換は、アフィン変換に限られない。例えば、変換は、歪補正処理等と共に行われることが多い視点変換処理等で実現されてもよい。
【００５３】
≪  パターンの比較例（ステップＳ０３）  ≫
図４に戻り、ステップＳ０３では、画像処理装置は、パターンを比較等して分析する。例えば、画像処理装置は、以下のようにパターンを比較する。すなわち、分析手順は、例えば、以下のような手順である。
【００５４】
図９は、本発明の一実施形態に係る画像処理装置によるパターンの比較例を示す図である。例えば、画像処理装置は、ステップＳ０２で特定される図示するような注目点パターンＡＰＰ、左手パターンＨＮ１Ｐ及び右手パターンＨＮ２Ｐ等の検出パターンと、あらかじめ登録されるパターン（以下「登録パターン」という。）とを比較する。なお、登録パターンは、分析の基準となるパターンであり、作業手順書等で決められた通りの動作となるパターン、すなわち、「正しい」動作を示すパターンである。つまり、登録パターンは、作業ミスのないパターン又はあらかじめ標準化されたパターンを示す。
【００５５】
図示する例では、３つの登録パターンがあらかじめ画像処理装置に登録される。具体的には、第１登録パターンＲＰ１は、左手パターンＨＮ１Ｐ用の登録パターンの例である。同様に、第２登録パターンＲＰ２は、右手パターンＨＮ２Ｐ用の登録パターンの例である。さらに、第３登録パターンＲＰ３は、注目点パターンＡＰＰ用の登録パターンの例である。例えば、各登録パターンは、作業者があらかじめ「正しい」動作を行うことで画像処理装置にそれぞれ登録される。また、登録パターンは、複数回の「正しい」動作を行い、その平均の位置等でもよい。分析では、各登録パターンと、各検出パターンとが、画像処理装置によってそれぞれ比較される。
【００５６】
次に、画像処理装置は、検出パターンと、登録パターンとが類似又は同一であるか否か判断する。具体的には、画像処理装置は、検出パターンと、登録パターンとの類似度を計算し、計算される類似度に基づいて、検出パターンと、登録パターンとが類似又は同一であるか否か判断する。すなわち、画像処理装置は、例えば、いわゆるパターンマッチング等によって検出パターンと、登録パターンとが類似又は同一であるか否か判断する。
【００５７】
なお、類似度は、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）法又はＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）法等で計算される。他にも、類似度は、例えば、ＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）法又はＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法等で計算されてもよい。
【００５８】
そして、検出パターンと、登録パターンとが類似又は同一であると画像処理装置によって判断されると、画像処理装置は、作業者の動作が登録パターンの示す通りであると判断する。すなわち、この場合には、画像処理装置は、作業者が「正しい」動作を行ったと判断する。なお、図示する例の３つの検出パターンは、いずれも登録パターンと類似であると画像処理装置によって判断される例である。このように、あらかじめ登録される登録パターンと同一又は類似の部位又は視線の動きである場合は、作業者が「正しい」動作を行った場合である。そのため、画像処理装置は、作業ミス等のヒューマンエラーがないと判断する。
【００５９】
一方で、検出パターンと、登録パターンとが類似及び同一でないと画像処理装置によって判断されると、画像処理装置は、作業者の動作が登録パターンの示すのとは異なる動作であると判断する。例えば、図９に示す第１登録パターンＲＰ１から大きく外れる左手パターンＨＮ１Ｐであると、画像処理装置は、検出パターンと、登録パターンとが類似及び同一でないと判断する。すなわち、この場合には、画像処理装置は、作業者が「正しい」動作を行っていないため、作業ミス等のヒューマンエラーがあると判断する。このようにして、画像処理装置は、ヒューマンエラーがあるかを判断することができる。
【００６０】
なお、全体処理における各手順は、図４に示す順序及びタイミングで行われるに限られない。例えば、変換は、他のタイミングで行われてもよい。
【００６１】
また、画像処理装置は、ヒューマンエラーがあると判断した場合には、警告音又はメッセージ等を出力してもよい。
【００６２】
＜＜４．画像処理装置の機能構成例＞＞
図１０は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置１は、撮像部ＦＮ１と、検出部ＦＮ２と、分析部ＦＮ３とを含む。
【００６３】
撮像部ＦＮ１は、画像を撮像する。例えば、撮像部ＦＮ１は、撮像装置ＨＷ６（図３参照）等によって実現される。
【００６４】
検出部ＦＮ２は、撮像部ＦＮ１が撮像する画像に基づいて、人の部位又は人が見ている注目点の少なくともいずれか一方を検出する。例えば、検出部ＦＮ２は、ＣＰＵＨＷ１（図３参照）等によって実現される。
【００６５】
分析部ＦＮ３は、部位が検出される位置又は注目点の少なくともいずれか一方に基づいて、人の動作を分析する。例えば、分析部ＦＮ３は、ＣＰＵＨＷ１（図３参照）等によって実現される。
【００６６】
まず、画像処理装置１は、撮像部ＦＮ１によって画像を撮像する。撮像部ＦＮ１によって撮像される画像には、作業中では、手等の人の部位が写る場合が多い。手等は、作業を行っている箇所又は組み立てに用いられる部品等を掴むため、部品箱等の部品が置かれる位置又は作業箇所等にある場合が多い。そのため、手等の検出パターンを分析すると、画像処理装置１は、作業者がどのような作業をしたかを判定することができる。具体的には、まず、画像処理装置１は、検出部ＦＮ２によって人の部位を検出する。次に、画像処理装置１は、分析部ＦＮ３によって、例えば、図６に示すように、部位が検出される位置を線で結んで検出パターンを特定する。そして、画像処理装置１は、あらかじめ登録される登録パターンと、特定して検出パターンとを比較する。比較の結果、検出パターンと、登録パターンとが類似又は同一であると、画像処理装置は、作業者が「正しい」動作を行い、作業ミス等のヒューマンエラーがないと判断する。
【００６７】
例えば、手の動きからは、どの順序で組み立てに用いる部品又は治具を取りに行ったか等が判定できる。工場において、組み立て及び製造工程等では、作業手順書等に基づいて、組み付ける部品及び組み立てに用いる治具等は、用いられる順序及び種類等があらかじめ定められている場合が多い。また、用いられる部品及び治具は、作業台等において、置かれる位置が決まっている場合が多い。そのため、作業者の手がどの位置にあるかに基づいて、画像処理装置は、どの種類の部品又は治具を作業者が取りに行ったか判定できる。
【００６８】
具体的には、まず、各部品又は各治具が入った部品箱等が、作業者によって、作業台の所定の位置にあらかじめ配置される。そして、画像処理装置は、例えば、どの部品がどの部品箱にあるかを対応付けし、あらかじめ登録する。このようにすると、作業者の手が部品箱に移動すると、画像処理装置は、作業者がどの部品又は治具を取りに行ったかを判定することができる。また、画像処理装置は、作業者がどの部品又は治具を取りに行ったかの経路から順序を判定することができる。
【００６９】
また、画像処理装置は、部品箱に手が移動したことを「１作業」とカウントする。このようにして、画像処理装置は、「１作業」でどのようなことが行われていたかを分析することができる。例えば、画像処理装置は、「１作業」にどの程度の時間がかかるか等を計測することができる。また、各「１作業」でどのような種類の部品を用いたかを画像処理装置が判定できるため、画像処理装置は、作業者が誤って他の部品が用いていないかをチェックできる。さらに、画像処理装置は、部品又は治具をどの順序で取りに行ったかもチェックできる。
【００７０】
このように、画像処理装置は、作業手順書等で定まっているように作業者が各作業を行っているかをチェックすることができる。なお、基準となる作業は、作業手順書等で定めるに限られない。すなわち、「正しい」作業があらかじめ画像処理装置にパターンとして登録できればよい。そして、画像処理装置は、作業者がいつもと異なる動作であるか否かを判定してもよい。
【００７１】
このようにして、画像処理装置は、作業ミス等のヒューマンエラーが起きていないかをチェックすることができる。そのため、画像処理装置は、ヒューマンエラーが起きた場合には、ヒューマンエラーを検出し、警告等を発することができる。ゆえに、画像処理装置は、ヒューマンエラーを少なくすることができる。
【００７２】
また、各画像は、画像データとして静止画又は動画で記憶されてもよい。このようにすると、各作業の記録がディジタル化できる。ディジタル化されると、例えば、画像処理装置は、各作業の記録、いわゆるエビデンス（ｅｖｉｄｅｎｃｅ）を残すことができる。このように、エビデンスがあると、例えば、作業者とは異なる第三者が画像を見て、検査を行うことができる。すなわち、各作業が第三者視点で検査しやすくなる。他にも、エビデンスがあると、例えば、フィルム分析等の動作分析を行うことができる。
【００７３】
さらに、製品の検査は、組み立て後では、外観からではチェックしにくい箇所がある場合が多い。例えば、電子機器等において、ネジ等の締め忘れ、コネクタ等の部品の取り付け忘れ又はコネクタ等の部品の取り付け不良等の作業ミスがないかが検査されるとする。この例では、組み立て後、コネクタが電子機器の内部に位置する場合には、製品の外からでは、目視で見える位置にコネクタがない場合がある。この場合には、目視では、部品の取り付け忘れ等を検査するのが難しい。一方で、エビデンスがあると、組み立て後からでも、画像を見て、作業ミスがないかを検査することができる。
【００７４】
また、画像処理装置は、作業を行う人が装着し、注目点を撮像できる装置であるのが望ましい。作業者は、作業中、作業の対象となる重要な箇所を見ている場合が多い。すなわち、画像処理装置が注目点を撮像できると、画像処理装置は、重要な箇所を撮像することができる。一方で、固定されるカメラ等では、作業者等の陰になる場合等によって重要な箇所が死角になったり、重要な箇所の撮像が断続的になったりする場合がある。したがって、固定されるカメラ等を用いる場合には、死角をなくすためには、カメラの数を増やす必要がある。これに対して、本発明に係る画像処理装置が用いられると、少ないカメラで、精度良く作業を分析することができる。
【００７５】
なお、作業は、工場等で行われるに限られない。すなわち、画像処理装置は、ものづくり現場、生産現場又は保守メンテナンス等の作業で用いられてもよい。また、画像処理装置は、照明等を調整できる環境で用いられるのが望ましい。例えば、照明環境等がほぼ一定であると、被写体は、同じような輝度値等で撮像される可能性が高い。そのため、検出及び類似等の判断において、同一の被写体が、同一の輝度値等で撮像されると、画像処理装置は、精度良く検出及び類似の判断を行うことができる。
【００７６】
なお、画像処理装置は、１つの装置によって実現される構成に限られない。例えば、本発明に係る実施形態は、画像処理装置と、画像処理装置に接続される情報処理装置とを有する画像処理システムによって実現されてもよい。なお、画像処理システムでは、各処理の一部又は全部が分散、冗長、並列又はこれらを組み合わせるように、処理が行われてもよい。また、画像処理システムでは、画像処理装置及び情報処理装置は、１つの装置でなくともよい。すなわち、画像処理装置及び情報処理装置は、複数の装置で構成されてもよい。
【００７７】
さらに、本発明に係る実施形態は、画像処理装置又は画像処理システム等のコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、本発明に係る画像処理方法をコンピュータに実行させるためのプログラムであって、プログラミング言語等によって記述されるコンピュータプログラムである。
【００７８】
また、プログラムは、ブルーレイ（登録商標）等の光ディスク、フラッシュメモリ、磁気ディスク又は光磁気ディスク等の記録媒体に記憶され、頒布されてもよい。さらに、プログラムは、電気通信回線等を介して、頒布されてもよい。
【００７９】
以上、本発明の好ましい実施例について詳述したが、本発明は、係る特定の実施形態に限定されるものではない。すなわち、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
【符号の説明】
【００８０】
１  画像処理装置
ＭＫ  マーカ
ＭＮ  作業者
ＡＰ  注目点
ＦＮ１  撮像部
ＦＮ２  検出部
ＦＮ３  分析部
【図１】
2017187961.tif 000003
【図２】
2017187961.tif 000004
【図３】
2017187961.tif 000005
【図４】
2017187961.tif 000006
【図５】
2017187961.tif 000007
【図６】
2017187961.tif 000008
【図７】
2017187961.tif 000009
【図８】
2017187961.tif 000010
【図９】
2017187961.tif 000011
【図１０】
2017187961.tif 000012