(57)【特許請求の範囲】
【請求項１】
情報処理方法であって、
撮影画像データ取得部により、ロボットアーム及び制御対象物を少なくとも含む撮影対象の撮影画像データを取得するステップと、
制御部により、前記制御対象物をユーザ設定に基づく所定期間ごとに状態変化させるステップと、
画像比較部により、前記撮影画像データと、基準画像データとを比較する画像比較ステップと、
結果情報取得部により、前記画像比較ステップにおける比較の結果に基づき所定の状態変化を検出し、前記ロボットアームの作業に関する結果情報を取得し、当該結果情報を結果情報記憶部に記憶するステップと、を実行し、
前記結果情報は、少なくとも前記所定期間ごとの前記ロボットアームを含む撮影画像データを含む、
ことを特徴とする情報処理方法。
【請求項２】
請求項１に記載の情報処理方法であって、
前記結果情報は、前記ロボットアームによるワーク保持の有無に関する情報である、
ことを特徴とする情報処理方法。
【請求項３】
請求項１または２のいずれか一項に記載の情報処理方法であって、
前記撮影画像データを取得するための撮影装置は、Ｗｅｂカメラである、
ことを特徴とする情報処理方法。
【請求項４】
情報処理システムであって、
ロボットアーム及び制御対象物を少なくとも含む撮影対象の撮影画像データを取得する撮影画像データ取得部と、
前記制御対象物をユーザ設定に基づく所定期間ごとに状態変化させる制御部と、
前記撮影画像データと、基準画像データとを比較する画像比較部と、
前記画像比較部における比較の結果に基づき所定の状態変化を検出し、前記ロボットアームの作業に関する結果情報を取得し、当該結果情報を結果情報記憶部に記憶する結果情報取得部と、を備え、
前記結果情報は、少なくとも前記所定期間ごとの前記ロボットアームを含む撮影画像データを含む、
ことを特徴とする情報処理システム。
【請求項５】
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
撮影画像データ取得部により、ロボットアーム及び制御対象物を少なくとも含む撮影対象の撮影画像データを取得するステップと、
制御部により、前記制御対象物をユーザ設定に基づく所定期間ごとに状態変化させるステップと、
画像比較部により、前記撮影画像データと、基準画像データとを比較する画像比較ステップと、
結果情報取得部により、前記画像比較ステップにおける比較の結果に基づき所定の状態変化を検出し、前記ロボットアームの作業に関する結果情報を取得し、当該結果情報を結果情報記憶部に記憶するステップと、
をコンピュータに実行させる、プログラムであって、
前記結果情報は、少なくとも前記所定期間ごとの前記ロボットアームを含む撮影画像データを含む、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法、情報処理システム、プログラムに関する。
【背景技術】
【０００２】
従来から、作業用ロボットを備えた生産ラインによる工業製品の生産が行われていた（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１０９２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような生産ラインにおいて、作業用ロボットの生産性をより効率化する必要がある一方、正確な生産性を導くためのデータ取得システムの構築は十分ではなかった。
【０００５】
また、生産ラインの周囲においては、様々なイベントが発生し得るが、これらのイベント発生状況を少なくとも事後的に確認するためのシステムが求められており、当該システムを安価に構築することが経営の観点で望まれる。
【０００６】
本発明はこのような背景を鑑みてなされたものであり、撮影装置により取得した画像により特に作業用ロボットの生産性向上のための技術や、少なくとも事後的に所定のイベント発生状況を確認可能にするための技術を提供することを目的とする。また、特に生産ライン等で作業する人物に関する作業状況の確認や、作業効率向上のための技術も提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明の主たる発明は、情報処理方法であって、撮影対象の撮影画像データを取得するステップと、前記撮影画像データと、基準画像データとを比較する画像比較ステップと、前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、を含む、ことを特徴とする情報処理方法である。
【０００８】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００９】
本発明によれば、撮影装置により取得した画像により特に作業用ロボットの生産性向上のための技術や、少なくとも事後的に所定のイベント発生状況を確認可能にするための技術を提供することができる。また、特に製造ライン等で作業する人物に関する作業状況の確認や、作業効率向上のための技術も提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の一の情報処理システム１００の全体構成例を示す図である。
【図２】本実施形態に係る端末１のハードウェア構成例を示す図である。
【図３】本実施形態に係る端末１の機能構成例を示す図である。
【図４】本実施形態に係る端末１の表示例を示す図を示す。
【図５】本実施形態に係る端末１の表示例を示す図を示す。
【図６】本実施形態に係る端末１の表示例を示す図を示す。
【図７】本実施形態に係る端末１の表示例を示す図を示す。
【図８】本実施形態に係る端末１の表示例を示す図を示す。
【図９】本実施形態に係る端末１の表示例を示す図を示す。
【図１０】実施形態に係る情報処理方法のフローチャート例を示す図である。
【図１１】実施形態に係るアプリケーション動作方法のフローチャート例を示す図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
【００１２】
［項目１］
情報処理方法であって、
撮影対象の撮影画像データを取得するステップと、
前記撮影画像データと、基準画像データとを比較する画像比較ステップと、
前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。
［項目２］
項目１に記載の情報処理方法であって、
前記作業用ロボットは、ロボットアームを含む、
ことを特徴とする情報処理方法。
［項目３］
項目１または２に記載の情報処理方法であって、
前記撮影画像データを取得するための撮影装置は、Ｗｅｂカメラである、
ことを特徴とする情報処理方法。
［項目４］
項目１から３のいずれか一項に記載の情報処理方法であって、
前記基準画像データは、所定のサイクルの初期状態を示す画像のデータを含み、
前記結果情報は、当該サイクルに関する算出結果情報を含む、
ことを特徴とする情報処理方法。
［項目５］
項目４に記載の情報処理方法であって、
前記算出結果情報は、１サイクルにかかる時間を含む、
ことを特徴とする情報処理方法。
［項目６］
項目４に記載の情報処理方法であって、
前記算出結果情報は、所定時間内のサイクル数を含む、
ことを特徴とする情報処理方法。
［項目７］
項目２に記載の情報処理方法であって、
前記結果情報は、前記ロボットアームによるワーク保持の有無に関する情報である、
ことを特徴とする情報処理方法。
［項目８］
項目１から７のいずれか一項に記載の情報処理方法であって、
前記撮影対象は、ユーザ設定により所定のタイミングで状態変化が制御可能なものであり、
前記結果情報は、少なくとも前記タイミングの撮影画像データを含む、
ことを特徴とする情報処理方法。
［項目９］
情報処理システムであって、
撮影対象の撮影画像データを取得する撮影画像データ取得部と、
前記撮影画像データと、基準画像データとを比較する画像比較部と、
前記画像比較部の比較結果に基づき、作業用ロボットの作業に関する結果情報を取得する結果情報取得部と、
を含む、ことを特徴とする情報処理システム。
［項目１０］
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
撮影対象の撮影画像データを取得するステップと、
前記撮影画像データと、基準画像データとを比較する画像比較ステップと、
前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
【００１３】
＜実施の形態の詳細＞
本発明の一実施形態に係る情報処理システム１００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
【００１４】
図１は、本実施形態の情報処理システム１００の一例を示す図である。図１に示されるように、本実施形態の情報処理システム１００では、端末１と、撮影装置２と、を有している。端末１と撮影装置２とは、有線または無線にて互いに通信可能に接続されている。撮影装置２は、撮影対象（例えば、ロボットアーム等の作業用ロボット３、ライト４、扉付収納具５など）を撮影しており、端末１へ当該撮影対象の撮影画像（静止画または動画）を送信する。なお、図１は例示にすぎず、図示の構成に限定されない。
【００１５】
＜端末１＞
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００１６】
端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
【００１７】
プロセッサ１０は、端末１全体の動作を制御し、少なくとも撮影装置２とのデータ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
【００１８】
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００１９】
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。
【００２０】
送受信部１３は、端末１を少なくとも撮影装置２と接続し、プロセッサの指示に従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成されおり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースにより構成されていてもよい。
【００２１】
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【００２２】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００２３】
＜端末１の機能＞
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態においては、端末１のプロセッサ１０は、撮影画像データ取得部１０１、撮影画像データ表示部１０２、画像比較部１０３、結果情報取得部１０４を有している。また、端末１のストレージ１２は、撮影画像データ記憶部１２１、基準画像データ記憶部１２２、結果情報記憶部１２３を有している。
【００２４】
撮影画像データ取得部１０１は、端末１のプロセッサ１０からの指示により、撮影装置２を制御し、撮影対象（例えば、作業用ロボット３、ライト４、扉付収納具５など）の撮影画像を取得する。取得した撮影画像データは、例えば静止画データまたは動画データであり、撮影画像データ記憶部１２１に記憶される。なお、当該撮影画像データ記憶部１２１は、常時撮影画像データを記憶してもよいが、所定時間ごとに間引いて記憶してもよいし、例えば作業用ロボット３の１サイクル（初期位置から移動して、再度初期位置に戻ってくる一連の動作サイクル）などの所定の動作条件を達した場合には、最も古い撮影画像データを削除するなどして、ユーザにより設定された所定回数分だけの当該所定の動作条件を達した撮影画像データを記憶するようにしてもよい。また、後述するように、ユーザが設定した所定のイベントを検出して、少なくとも当該イベントが発生した時刻の撮影画像データ（例えば、少なくとも当該イベントの発生前または後の所定時間の撮影画像データを含む）だけを記憶するようにしてもよい。
【００２５】
撮影画像データ表示部１０２は、撮影画像データ取得部１０１により取得された撮影画像データを、例えば図４に例示されるように端末１の入出力部１４の表示領域１４１に表示する。
【００２６】
画像比較部１０３は、図４に例示されるような、撮影対象全体を含む比較領域１４２や撮影対象の一部だけを含む比較領域１４３の撮影画像データと、基準画像データ記憶部１２２に記憶される基準画像データ（例えば、上述の作業用ロボット３の例であれば、例えば初期位置の状態を撮影した撮影画像データ、上述のイベントの例であれば、例えば撮影対象の状態が正常である場合の撮影画像データなどである、撮影対象が所定の状態にある撮影画像データ）とを比較する処理を行う。両者の比較方法は、例えば両画像データの一致率を検出する方法であり、一致率が所定値以上である場合には「一致」と判断し、それ以外（例えば、図５の状態など）は「不一致」と判断してもよい。なお、上述の比較領域１４２や比較領域１４３は、ユーザにとって不可視な領域でもよいが、表示領域１４１に例えば枠線としてユーザが可視な領域としてもよい。
【００２７】
結果情報取得部１０４は、画像比較部１０３での比較処理の結果に応じて、当該結果情報（上述の一致率などの比較結果情報および当該比較結果情報から算出される算出結果情報などを含む）を取得する。当該結果情報は、結果情報記憶部１２３に記憶される。例えば、上述の「一致」回数をカウントすることにより、作業用ロボット３などの生産性を確認することができる。すなわち、上述のとおり、例えば作業用ロボット３において、図４の初期位置（「一致」状態）から図５のように動作後（「不一致」状態）に、図４の初期位置（「一致」状態）に戻るという１サイクルは「一致」の回数をカウントすることで判定可能である。これにより、１サイクルにかかる時間や所定時間内のサイクル数などの算出結果情報を取得することが可能である。したがって、本システムは、このように生産性を確認可能である。
【００２８】
また、結果情報取得部１０４は、例えば、上述のイベントの例であれば、上述の画像比較結果に基づき、結果情報としてイベント発生有無情報および当該イベント発生を撮影する撮影画像データなどを取得することが可能である。すなわち、図６のように、例えば作業用ロボット３がワーク６を保持（例えば、把持または吸着等による保持など）しているかどうかなどの不正常状態を、例えばワーク６を含む比較領域１４４を用いて、当該領域における「一致」（ワーク６の保持状態）または「不一致」（ワーク６の不保持状態）の結果情報に基づき不正常な状態を判定してもよい。
【００２９】
また、結果情報取得部１０４は、例えば、上述のイベントの例として、図７に例示されるように、ライト４の点灯（例えば点灯の場合、連携している装置に不具合が生じていること、特に色や点灯場所により不具合の種類やその程度が判定可能であればその結果など）の有無などの別システムや別装置と連携している撮影対象や、扉付収納具５の開閉の有無などの所定の状態であることが正常である撮影対象を判定した結果を結果情報として取得することが可能である。これにより、例えばライト４が連携している装置の稼働率（不具合なく稼働している割合）を結果情報として確認可能であったり、当該装置の不具合状態や扉付収納具５の扉が閉まっていない状態などの不正常な状態のイベント発生を結果情報として確認可能であり、特にイベント発生時の撮影画像データも取得することにより、イベント発生時の状況をユーザが確認可能である。
【００３０】
さらに、これを利用してどのようなタイミングの撮影画像データも取得可能である。すなわち、図８に例示されるように、例えばライト４のように端末１や他のシステムによりユーザが設定した所定のタイミングで状態変化の制御が可能なものを比較領域１４７で動作判定することにより、そのタイミングでの撮影画像データを取得することができ、例えば撮影対象において不正常な状態が生じやすいタイミングの状況をユーザによって確認可能である。特に、このような方法を用いることにより、本システムを既存のシステムに付加するだけで、撮影画像データを取得して所定のタイミングの状況を確認可能にする。
【００３１】
また、撮影対象は装置等に限らず、例えば図９に例示されるように、生産ライン等にて作業する人物７も含み、所定の作業を行っている動作（例えば、所定の位置に手を伸ばす動作や、所定の道具を使用している動作など）や、所定の場所（例えば、作業場所Ａ、Ｂなど）で作業している人物像を画像比較部１０３により比較することで、上記同様に、結果情報取得部１０４により正常な動作をしているかの結果情報や、何らかの一連のプロセスを伴う作業サイクル（例えば、作業場所Ａが初期位置で、作業場所Ｂに移動して別の作業をして、再度作業場所Ａに戻るなど）に関する結果情報を取得してもよい。これにより、作業員による生産性確認や、人為的なイベント（例えば、手順誤りや、作業動作の誤りなど）に関する状況を確認が可能となり、人物７に対する評価指標（例えば、誤り率や作業効率など）の取得や教育材料の取得が可能となる。さらに、図８に例示されるような構成を、人物７に対しても採用してもよい。
【００３２】
＜撮影装置２＞
撮影装置２は、必要な画像比較が可能な性能であれば、どのような分解能、解像度、撮影画角、撮影距離等であってもよいが、特にＷｅｂカメラのような安価なカメラであるほうが、安価にシステムを構築するにあたりより好ましい。また、図１に図示されるように１つではなく、撮影対象の位置関係等に応じて複数の撮影装置２を設置してもよい。さらに、複数の撮影装置２は、それぞれ同様の設定であってもよいし、別の設定であってもよく、例えば、サイクル確認用の撮影装置と、イベント発生確認用の撮影装置とを設置するようにしてもよい。この時、撮影対象が別であってもよいし、同じであってもよいが、安価にシステムを構築するためには、必要最低限の数であることが好ましい。
【００３３】
＜情報処理方法のフローチャート＞
図１０は、本実施形態の情報処理システム１００における情報処理方法のフローチャートの一例である。
【００３４】
まず、ユーザは、端末１による制御に基づき、撮影装置２により、例えば作業用ロボット３などの撮影対象の撮影画像データを取得する（ＳＱ１０１）。
【００３５】
次に、撮影画像データ表示部１０２によりＳＱ１０１にて取得した撮影画像データを端末１上で表示する（ＳＱ１０２）。ただし、次のステップであるＳＱ１０３による画像比較が可能であれば、当該ＳＱ１０２の撮影画像データの表示を実行しなくてもよい。
【００３６】
次に、画像比較部１０３により、ＳＱ１０１にて取得した撮影画像データと、基準画像データとを比較する（ＳＱ１０３）。
【００３７】
次に、ＳＱ１０３の比較結果などに基づく結果情報を結果情報取得部１０４にて取得する（ＳＱ１０４）。
【００３８】
したがって、本実施形態の情報処理システム１００は、撮影装置により取得した画像により特に作業用ロボットの生産性向上のための技術や、少なくとも事後的に所定のイベント発生状況を確認可能にするための技術を提供することができるものである。
【００３９】
＜アプリケーション動作のフローチャート＞
図１１は、本実施形態の情報処理システム１００におけるアプリケーション動作のフローチャートの一例である。
【００４０】
まず、ユーザは、情報処理システム１００を動作させるためのアプリケーションを起動する（ＳＱ２０１）。
【００４１】
次に、端末１は、当該端末１に無線または有線で接続されている撮影装置２を表示し、設定を編集する撮影装置２を選択可能とする（ＳＱ２０２）。
【００４２】
次に、端末１は、選択された撮影装置２の撮影画像を入出力部の表示領域に表示する（ＳＱ２０３）。
【００４３】
次に、端末１は、選択された撮影装置２による比較モードを表示して選択可能とする（ＳＱ２０４）。比較モードは、例えば、上述したような、サイクルを確認する比較を行う比較モード、正常な状態であるかどうかを判定する比較を行う比較モード、ユーザが設定した所定のタイミングであるかどうか判定する比較を行う比較モードなどのうち少なくともいずれかを含む。また、イベント発生時において、イベント発生タイミング前後のどれくらいの期間の撮影画像データを記憶するかを設定可能にしてもよい。
【００４４】
次に、端末１は、上述の比較モードにおいて、対象として検知された場合には、検知されたことが確認可能なように入出力部の表示領域に表示する（ＳＱ２０５）。例えば、表示領域に所定のマークを表示したり、撮影画像の枠を色により強調したりしてもよい。また、ユーザが所定のマークや撮影画像を選択すると、記憶した撮影画像データを確認可能に表示してもよい。
【００４５】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【符号の説明】
【００４６】
１      端末
２      撮影装置
３      作業用ロボット
４      ライト
５      扉付収納具
【要約】
【課題】撮影装置により取得した画像により特に作業用ロボットの生産性向上のための技術や、少なくとも事後的に所定のイベント発生状況を確認可能にするための技術を提供することができるようにする。また、特に生産ライン等で作業する人物に関する作業状況の確認や、作業効率向上のための技術も提供することができるようにする。
【解決手段】情報処理方法であって、撮影対象の撮影画像データを取得するステップと、前記撮影画像データと、基準画像データとを比較する画像比較ステップと、前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、を含む、ことを特徴とする情報処理方法である。
【選択図】図１【図１】
0006786136.tif 000002
【図２】
0006786136.tif 000003
【図３】
0006786136.tif 000004
【図４】
0006786136.tif 000005
【図５】
0006786136.tif 000006
【図６】
0006786136.tif 000007
【図７】
0006786136.tif 000008
【図８】
0006786136.tif 000009
【図９】
0006786136.tif 000010
【図１０】
0006786136.tif 000011
【図１１】
0006786136.tif 000012