(57)【要約】【課題】作業者の手を煩わせることなく、対象物の個体識別情報を効率的に認識することができる技術を提供する。【解決手段】本発明に係る認識システムは、作業者が対象物のピックアップ作業を行う際に、その撮像方向が所定のピックアップ位置を向くように作業者に装着される撮像装置と、作業者による対象物のピックアップ作業が開始されたことを検知する第１検知手段と、作業者による対象物のピックアップ作業が完了したことを検知する第２検知手段と、作業者による対象物のピックアップ作業が開始されたことを検知してから該ピックアップ作業が完了したことを検知するまでの所定期間に、撮像装置を作動させる制御手段と、所定期間中に撮像装置によって撮像された画像データから対象物の個体識別情報を抽出する抽出手段と、を備えるようにした。【選択図】図６
2020093370.tif 000002
【特許請求の範囲】
【請求項１】
所定のピックアップ位置に置かれた対象物をピックアップする作業、及びベース部品に対象物を組み付けるための組立装置に対しピックアップされた対象物をセットする作業を作業者が行う製造工程に適用される、認識システムであって、
前記作業者が対象物のピックアップ作業を行う際に、その撮像方向が前記所定のピックアップ位置を向くように、前記作業者に装着される撮像装置と、
前記作業者による対象物のピックアップ作業が開始されたことを検知する第１検知手段と、
前記作業者による対象物のピックアップ作業が完了したことを検知する第２検知手段と、
前記第１検知手段が前記作業者による対象物のピックアップ作業開始を検知してから、前記第２検知手段が前記作業者による対象物のピックアップ作業完了を検知するまでの期間である所定期間に、前記撮像装置を作動させる制御手段と、
前記所定期間中に前記撮像装置によって撮像された画像データから、前記所定のピックアップ位置に表示されている、対象物の個体識別情報を抽出する抽出手段と、
を備える、認識システム。
【請求項２】
前記製造工程は、前記組立装置を起動させる作業、前記所定のピックアップ位置に置かれた対象物をピックアップする作業、及びピックアップされた対象物を前記組立装置にセットする作業を、前記作業者が順次行う工程を含み、
前記認識システムは、前記組立装置の起動を検出する起動検出手段を更に備え、
前記第１検知手段は、前記起動検出手段により前記組立装置の起動が検出されたときに、前記作業者による対象物のピックアップ作業が開始されたと判定する、
請求項１に記載の認識システム。
【請求項３】
前記組立装置に対象物がセットされたことを検出するセット検出手段を更に備え、
前記第２検知手段は、前記セット検出手段により前記組立装置への対象物のセットが検出されたときに、前記作業者による対象物のピックアップ作業が完了したと判定する、
請求項２に記載の認識システム。
【請求項４】
前記第２検知手段は、前記第１検知手段が前記作業者による対象物のピックアップ作業開始を検知してから所定時間が経過したときに、前記作業者による対象物のピックアップ作業が完了したと判定する、
請求項２に記載の認識システム。
【請求項５】
前記撮像装置の撮像方向を判定する判定手段を更に備え、
前記第１検知手段は、前記判定手段により判定される撮像方向が前記所定のピックアップ位置へ向いたときに、前記作業者による対象物のピックアップ作業が開始されたと判定する、
請求項１に記載の認識システム。
【請求項６】
前記第１検知手段によって前記作業者による対象物のピックアップ作業が開始されたと判定された後において、前記判定手段により判定される撮像方向が前記所定のピックアップ位置から移動したときに、前記第２検知手段は、前記作業者による対象物のピックアップ作業が完了したと判定する、
請求項５に記載の認識システム。
【請求項７】
前記第２検知手段は、前記第１検知手段が前記作業者による対象物のピックアップ作業開始を検知してから所定時間が経過したときに、前記作業者による対象物のピックアップ
作業が完了したと判定する、
請求項５に記載の認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の個体識別情報を認識するシステムに関する。
【背景技術】
【０００２】
近年、物流や製造等のピッキング作業において、対象物や対象物の収容箱等に取り付けられたバーコード等の個体識別情報を認識する方法として、小型の撮像装置が取り付けられたスマートグラス等のウェアラブル端末を作業者に装着させ、ウェアラブル端末上で要求された対象物の個体識別情報を、作業者によって操作される撮像装置で撮像させる方法が知られている（例えば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−０４５３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記したような従来の方法では、作業途中の作業者が撮像装置を操作する必要があるため、タクトタイムの増加を招く可能性がある。これに対し、撮像装置を作業期間中に常時作動させることで、作業者の手を煩わせることなく、対象物の個体識別情報を撮像する方法が考えられる。しかしながら、斯様な方法で撮像された画像データは、対象物の個体識別情報が写っていない画像を多量に含んでしまう。それにより、撮像装置で撮像された画像データの中から対象物が写っている画像を選別する処理が煩雑になり、対象物の個体識別情報を効率的に認識することが困難となる。
【０００５】
本発明は、上記したような種々の実情を鑑みてなされたものであり、その目的は、作業者の手を煩わせることなく、対象物の個体識別情報を効率的に認識することができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、上記した課題を解決するために、所定のピックアップ位置に置かれた対象物をピックアップする作業、及びベース部品に対象物を組み付けるための組立装置に対しピックアップされた対象物をセットする作業を、撮像装置を装着した作業者が行う製造工程に適用される、認識システムにおいて、撮像装置の撮像方向が所定のピックアップ位置を向いていると推定される期間（所定期間）に、撮像装置を作動させて、該所定期間中に撮像された画像データから対象物の個体識別情報を抽出するようにした。
【０００７】
詳細には、本発明は、所定のピックアップ位置に置かれた対象物をピックアップする作業、及びベース部品に対象物を組み付けるための組立装置に対しピックアップされた対象物をセットする作業を作業者が行う製造工程に適用される、認識システムである。該認識システムは、作業者が対象物のピックアップ作業を行う際に、その撮像方向が前記所定のピックアップ位置を向くように、前記作業者に装着される撮像装置と、前記作業者による対象物のピックアップ作業が開始されたことを検知する第１検知手段と、前記作業者による対象物のピックアップ作業が完了したことを検知する第２検知手段と、前記第１検知手段が前記作業者による対象物のピックアップ作業開始を検知してから、前記第２検知手段が前記作業者による対象物のピックアップ作業完了を検知するまでの期間である所定期間に、前記撮像装置を作動させる制御手段と、前記所定期間中に前記撮像装置によって撮像された画像データから、前記所定のピックアップ位置に表示されている、対象物の個体識
別情報を抽出する抽出手段と、を備える。
【０００８】
上記したような製造工程のうち、作業者が対象物のピックアップ作業を開始してから該ピックアップ作業を完了するまでの所定期間では、撮像装置の撮像方向が所定のピックアップ位置を向いていると推定される。そのため、上記所定期間中に撮像装置によって撮像される画像データには、対象物の個体識別情報が写っていない画像が含まれ難くなる。よって、上記所定期間中に撮像装置を作動させるとともに、該所定期間中に撮像された画像データから対象物の個体識別情報を抽出するようにすれば、撮像装置によって撮像された画像データから対象物の個体識別情報を抽出する処理が煩雑になることを抑制することができる。その結果、作業者の手を煩わせることなく、対象物の個体識別情報を効率的に認識することが可能となる。
【０００９】
ここで、本発明に係る認識システムが適用される製造工程は、組立装置を起動させる作業、所定のピックアップ位置に置かれた対象物をピックアップする作業、及びピックアップされた対象物を組立装置にセットする作業を、作業者が順次行う工程を含んでいてもよい。斯様な製造工程においては、作業者は、組立装置を起動させる作業に引き続いて、対象物のピックアップ作業を行うことになる。そこで、本発明に係る認識システムは、組立装置の起動を検出する起動検出手段を更に備え、該起動検出手段によって組立装置の起動が検出されたときに、第１検知手段が、作業者による対象物のピックアップ作業が開始されたと判定してもよい。これにより、作業者がピックアップ作業を開始する大凡のタイミングを検知することができる。
【００１０】
また、組立装置を起動させる作業、所定のピックアップ位置に置かれた対象物をピックアップする作業、及びピックアップされた対象物を組立装置にセットする作業を、作業者が順次行う工程を含む製造工程においては、作業者は、対象物のピックアップ作業に引き続いて、ピックアップされた対象物を組立装置にセットする作業を行うことになる。そこで、本発明に係る認識システムは、組立装置に対象物がセットされたことを検出するセット検出手段を更に備え、該セット検出手段により組立装置への対象物のセットが検出されたときに、第２検知手段が、作業者による対象物のピックアップ作業が完了したと判定してもよい。これにより、作業者が対象物のピックアップ作業を完了する大凡のタイミングを検知することができる。別法として、第２検知手段は、第１検知手段が作業者による対象物のピックアップ作業開始を検知してから所定時間が経過したときに、作業者による対象物のピックアップ作業が完了したと判定してもよい。ここでいう「所定時間」は、作業者が対象物のピックアップ作業を開始してから該ピックアップ作業を完了するまで要する時間である。斯様な所定時間は、予め実験やシミュレーションの結果から統計的に求めておけばよい。
【００１１】
ここで、本発明に係る認識システムは、撮像装置の撮像方向を判定する判定手段を更に備えるようにしてもよい。その場合、第１検知手段は、判定手段により判定される撮像方向が所定のピックアップ位置へ向いたときに、作業者による対象物のピックアップ作業が開始されたと判定してもよい。これによれば、対象物のピックアップ作業が開始される前後に作業者によって行われる動作や操作を検知することが困難な製造工程においても、作業者による対象物のピックアップ作業が開始される大凡のタイミングを検知することができる。
【００１２】
また、本発明に係る認識システムが上記判定手段を備える場合は、第１検知手段によって作業者による対象物のピックアップ作業が開始されたと判定された後において、判定手段により判定される撮像方向が所定のピックアップ位置から移動したときに、第２検知手段が、作業者による対象物のピックアップ作業が完了したと判定してもよい。これによれば、対象物のピックアップ作業が完了する前後に作業者によって行われる動作や操作を検
知することが困難な製造工程においても、作業者による対象物のピックアップ作業が完了する大凡のタイミングを検知することができる。別法として、第２検知手段は、第１検知手段が作業者による対象物のピックアップ作業開始を検知してから所定時間が経過したときに、作業者による対象物のピックアップ作業が完了したと判定してもよい。
【発明の効果】
【００１３】
本発明によれば、作業者の手を煩わせることなく、対象物の個体識別情報を効率的に認識することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用する製造工程で用いられる組立システムの一構成例を示す図である。
【図２】第１の実施形態における、ウェアラブル端末、組立装置、及びサーバ装置の各々のハードウェア構成を示す図である。
【図３】第１の実施形態における、ウェアラブル端末の機能構成を示すブロック図である。
【図４】第１の実施形態における、組立装置の機能構成を示すブロック図である。
【図５】第１の実施形態における、サーバ装置の機能構成を示すブロック図である。
【図６】第１の実施形態における製造工程において、各構成要素間で送受信されるデータの流れ、及び各構成要素が行う処理の流れを示すフロー図である。
【図７】第２の実施形態における、ウェアラブル端末、組立装置、及びサーバ装置の各々のハードウェア構成を示す図である。
【図８】第２の実施形態における、ウェアラブル端末の機能構成を示すブロック図である。
【図９】第２の実施形態における製造工程において、各構成要素間で送受信されるデータの流れ、及び各構成要素が行う処理の流れを示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施形態に記載される構成部品の寸法、材質、形状、相対配置等は、特に記載がない限り発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００１６】
＜実施形態１＞
本実施形態では、組立装置を起動させる作業（組立装置をスタンバイ状態にする作業）、所定のピックアップ位置に置かれた収容箱から対象物をピックアップする作業、及び収容箱からピックアップされた対象物を組立装置にセットする作業を、作業員が順次行う製造工程において、対象物の個体識別情報を認識するシステムとして本発明を適用する例について述べる。
【００１７】
（システム構成）
図１は、上記の製造工程で用いられる組立システムの一構成例を示す図である。組立システムは、作業者に装着されるウェアラブル端末１、所定のピックアップ位置に置かれ、対象物２を収容する収容箱２０、対象物２をベース部品に組み付けるための組立装置３、及びサーバ装置４を含む。ウェアラブル端末１、組立装置３、及びサーバ装置４は、ネットワークＮ１によって相互に接続可能である。ネットワークＮ１には、例えば、インターネット等の世界規模の公衆通信網であるＷＡＮ（Wide Area Network）やその他の通信網
が採用されてもよい。なお、ネットワークＮ１は、携帯電話等の電話通信網、Ｗｉ−Ｆｉ（登録商標）等の無線通信網を含んでもよい。
【００１８】
ウェアラブル端末１は、サーバ装置４からの要求に応じて、作業者が次に行うべき作業
の手順に関する情報を、作業者へ提示する。また、ウェアラブル端末１は、作業者が収容箱２０からピックアップする対象物２の個体識別情報を、該ウェアラブル端末１が有する撮像装置で撮像し、撮像された画像データをサーバ装置４へ送信する機能も有する。なお、本例においては、対象物２の個体識別情報は、該対象物２を収容する収容箱２０の貼付されたラベル２００に、文字、バーコード、又はＱＲコード（登録商標）の形態で記されているものとする。ただし、対象物２の個体識別情報は、個々の対象物２に貼付されるラベルや刻印等に記されてもよい。
【００１９】
組立装置３は、対象物２をベース部品に組み付ける装置である。本例における組立装置３は、作業者によって起動（スタンバイ状態）にされた後に、対象物２が作業者によって該組立装置３にセットされると、セットされた対象物２をベース部品に組み付けるように構成されている。また、組立装置３は、作業者による該組立装置３の起動操作が行われたときに、該組立装置３が起動されたことを示す情報（以下、「起動完了情報」と記す場合もある。）を、ウェアラブル端末１やサーバ装置４へ送信する機能を有する。また、組立装置３は、作業者による該組立装置３への対象物２のセット操作が行われたときに、該組立装置３に対象物２がセットされたことを示す情報（以下、「セット完了情報」と記す場合もある。）を、ウェアラブル端末１やサーバ装置４へ送信する機能を有する。さらに、組立装置３は、該組立装置３による対象物２のベース部品への組み付けが完了したときに、対象物２の組み付けが完了したことを示す情報（以下、「組み付け完了情報」と記す場合もある。）を、ウェアラブル端末１やサーバ装置４へ送信する機能も有する。
【００２０】
サーバ装置４は、ウェアラブル端末１や組立装置３から受信した情報に基づいて、作業者が次に行うべき作業を示唆する情報をウェアラブル端末１へ送信する。例えば、サーバ装置４は、先ず、組立装置３の起動を要求する情報（以下、「起動要求」と記す場合もある。）を、ウェアラブル端末１へ送信する。その後、サーバ装置４が前述の起動完了情報を組立装置３から受信すると、該サーバ装置４は、所定のピックアップ位置に置かれた収容箱２０から対象物２をピックアップして、ピックアップされた対象物２を組立装置３へセットすることを要求する情報（以下、「ピックアンドセット要求」と記す場合もある。）を、ウェアラブル端末１へ送信する。そして、サーバ装置４が前述のセット完了情報を組立装置３から受信すると、該サーバ装置４は、必要に応じて、上記した一連の処理を繰り返し実行する。また、サーバ装置４は、ウェアラブル端末１から送信される画像データを受信したときに、該画像データから対象物２の個体識別情報を抽出し、抽出された個体識別情報を、対象物２の組み付け先であるベース部品の個体識別情報に紐付けて記憶する機能も有する。
【００２１】
（ハードウェア構成）
図２は、ウェアラブル端末１、組立装置３、及びサーバ装置４の各々のハードウェア構成を示す図である。
【００２２】
ウェアラブル端末１は、作業者の体に装着される小型のコンピュータである。本例においては、ウェアラブル端末１は、眼鏡型のヘッドマウントディスプレイ（スマートグラス）を搭載した端末である。斯様なウェアラブル端末１は、図２に示すように、プロセッサ１０１、主記憶部１０２、補助記憶部１０３、表示部１０４、入力部１０５、撮像部１０６、及び通信部１０７を有する。これらプロセッサ１０１、主記憶部１０２、補助記憶部１０３、表示部１０４、入力部１０５、撮像部１０６、及び通信部１０７は、互いにバスによって接続されている。主記憶部３０２及び補助記憶部３０３は、コンピュータで読み取り可能な記録媒体である。コンピュータのハードウェア構成は、図２に示す例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
【００２３】
ウェアラブル端末１は、プロセッサ１０１が記録媒体に記憶されたプログラムを主記憶
部１０２の作業領域にロードして実行し、プログラムの実行を通じて各機能構成部等が制御されることによって、所定の目的に合致した機能を実現する。
【００２４】
プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital
Signal Processor）である。プロセッサ１０１は、ウェアラブル端末１を制御し、様々
な情報処理の演算を行う。主記憶部１０２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶部１０３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disk Drive :HDD）である。
また、補助記憶部１０３は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリや、ＣＤ（Compact Disc）又はＤＶＤ（Digital Versatile Disc）等のようなディスク記録媒体である。
【００２５】
補助記憶部１０３は、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。補助記憶部１０３には、オペレーティングシステム（Operating System :OS）、各種プログラム、各種テーブル等が格納される。なお、これらの情報の一部又は全部は、主記憶部１０２に格納されてもよい。また、主記憶部１０２に格納される情報は、補助記憶部１０３に格納されてもよい。
【００２６】
表示部１０４は、眼鏡型のヘッドマウントディスプレイであり、例えば、光学透過型のレンズ上に設けられたハーフミラー等に画像を投影する。これにより、ウェアラブル端末１を装着した作業者は、レンズを通して実空間を直視することができるとともに、レンズ上に投影された画像を視認することもできる。
【００２７】
入力部１０５は、例えば、ウェアラブル端末１をＯＮ又はＯＦＦするための機械的なボタンや、音声を入力可能なマイクロフォン等を含む。撮像部１０６は、例えば、スマートグラスのフレーム部分に取り付けられ、該スマートグラスのレンズが向いている方向（すなわち、作業者の頭部正面が向いている方向）の静止画像や動画像を撮像するウェアラブルカメラであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサ等で構成
される。
【００２８】
通信部１０７は、外部の装置とウェアラブル端末１との間における情報の送受信を行う。通信部１０７は、例えば、移動体通信サービス（携帯電話等の電話通信網、Ｗｉ−Ｆｉ（登録商標）等の無線通信）を利用してネットワークＮ１にアクセスし、組立装置３やサーバ装置４等とデータ通信をするための通信回路である。
【００２９】
上記したように構成されるウェアラブル端末１で実行される一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【００３０】
組立装置３は、図２に示すように、プロセッサ３０１、主記憶部３０２、補助記憶部３０３、組み付け部３０４、入力部３０５、通信部３０６を有する。プロセッサ３０１、主記憶部３０２、補助記憶部３０３については、ウェアラブル端末１のプロセッサ１０１、主記憶部１０２、補助記憶部１０３と同様であるため、説明を省略する。
【００３１】
組み付け部３０４は、ベース部品に対象物２を組み付ける機器であり、例えば、ベース部品に対象物２を溶接する機器、又はベース部品に対象物２をボルト留めする機器等である。入力部３０５は、例えば、組立装置３の起動ボタンや該組立装置３に対する対象物２のセットボタン等を含み、それら起動ボタンやセットボタンの操作を受け付ける。なお、上記の起動ボタンやセットボタンは、物理的なボタンであってもよく、タッチパネル上に表示される仮想的なボタンであってもよい。通信部３０６は、外部の装置と組立装置３と
の間における情報の送受信を行う。通信部３０６は、例えば、ＬＡＮ（Local Area Network）インターフェースボード、無線通信のための無線通信回路である。ＬＡＮインターフェースボードや無線通信回路は、ネットワークＮ１に接続される。
【００３２】
サーバ装置４は、一般的なコンピュータの構成を有している。すなわち、サーバ装置４は、プロセッサ４０１、主記憶部４０２、補助記憶部４０３、通信部４０４を有する。これらは、互いにバスによって接続されている。なお。プロセッサ４０１、主記憶部４０２、補助記憶部４０３、通信部４０４は、組立装置３のプロセッサ３０１、主記憶部３０２、補助記憶部３０３、通信部３０６と同様であるため、説明は省略される。
【００３３】
（ウェアラブル端末１の機能構成）
ここで、ウェアラブル端末１の機能構成について、図３に基づいて説明する。本例におけるウェアラブル端末１は、図３に示すように、その機能構成要素として、作業手順表示部Ｆ１１０、第１検知部Ｆ１２０、第２検知部Ｆ１３０、及び画像取得部Ｆ１４０を含む。これら作業手順表示部Ｆ１１０、第１検知部Ｆ１２０、第２検知部Ｆ１３０、及び画像取得部Ｆ１４０は、ウェアラブル端末１のプロセッサ１０１が主記憶部１０２上のコンピュータプログラムを実行することにより形成される。なお、作業手順表示部Ｆ１１０、第１検知部Ｆ１２０、第２検知部Ｆ１３０、画像取得部Ｆ１４０のいずれか、又はその一部がハードウェア回路により形成されてもよい。また、ウェアラブル端末１の各機能構成要素のいずれか、又はその一部が、ネットワークＮ１に接続される他のコンピュータによって実行されてもよい。
【００３４】
作業手順表示部Ｆ１１０は、作業者が次に行うべき作業の手順に関する情報を、表示部１０４に表示させる。例えば、通信部１０７が前述の起動要求をサーバ装置４から受信したときに、作業手順表示部Ｆ１１０は、組立装置３を起動させる手順を示す情報（以下、「起動手順情報」と記す場合もある。）を、表示部１０４に表示させる。その際の起動手順情報には、作業者が組立装置３を識別するために必要となる情報や、作業者が組立装置３の起動ボタンを識別するために必要となる情報等が含まれるようにしてもよい。また、通信部１０７が前述のピックアンドセット要求をサーバ装置４から受信したときに、作業手順表示部Ｆ１１０は、所定のピックアップ位置に置かれた収容箱２０から対象物２をピックアップする手順、及びピックアップされた対象物２を組立装置３にセットする手順を示す情報（以下、「ピックアンドセット手順情報」と記す場合もある。）を、表示部１０４に表示させる。その際のピックアンドセット手順情報には、作業者が収容箱２０を識別するために必要となる情報、作業者が対象物２を識別するために必要となる情報、対象物２を組立装置３にセットする方法を示す情報、作業者が組立装置３のセットボタンを識別するために必要となる情報等が含まれるようにしてもよい。
【００３５】
第１検知部Ｆ１２０は、作業者による対象物２のピックアップ作業が開始されたこと検知する。ここで、本例における製造工程では、作業者による対象物２のピックアップ作業は、作業者による組立装置３の起動ボタンの操作に引き続いて行われる。そのため、本例においては、通信部１０７が前述の起動完了情報を組立装置３から受信したときに、第１検知部Ｆ１２０が、作業者による対象物２のピックアップ作業が開始されたと判定する。別法として、通信部１０７が前述のピックアンドセット要求をサーバ装置４から受信したときに、第１検知部Ｆ１２０が、作業者による対象物２のピックアップ作業が開始されたと判定してもよい。これらの方法によれば、作業者による対象物２のピックアップ作業が開始される大凡のタイミングを検知することができる。
【００３６】
第２検知部Ｆ１３０は、作業者による対象物２のピックアップ作業が完了したことを検知する。ここで、本例における製造工程では、作業者による対象物２のピックアップ作業に引き続いて、作業者による組立装置３への対象物２のセット作業が行われる。そのため
、本例においては、通信部１０７が前述のセット完了情報を組立装置３から受信したときに、第２検知部Ｆ１３０が、作業者による対象物２のピックアップ作業が完了したと判定する。これによれば、作業者による対象物２のピックアップ作業が完了する大凡のタイミングを検知することができる。
【００３７】
画像取得部Ｆ１４０は、対象物２の個体識別情報を含む画像データを取得する。具体的には、第１検知部Ｆ１２０が対象物２のピックアップ作業開始を検知してから、第２検知部Ｆ１３０が対象物２のピックアップ作業完了を検知するまでの期間（所定期間）において、画像取得部Ｆ１４０が、撮像部１０６を作動させることで、ウェアラブル端末１のレンズが向いている方向の画像を撮像させる。ここで、上記所定期間では、作業者が対象物２の収容された収容箱２０の位置を確認したり、その収容箱２０へ向かって作業者が移動したり、作業者が収容箱２０から対象物２を取り出したりするため、該作業者の頭部正面が収容箱２０の置かれた位置（所定のピックアップ位置）を向くことになり、それに伴って撮像部１０６の撮像方向も収容箱２０の置かれた位置を向くことになる。それにより、上記所定期間中に撮像部１０６で撮像された画像データには、収容箱２０に貼付されたラベル２００の写っている画像が含まれる一方で、該ラベル２００の写っていない画像が含まれ難くなる。斯様にして撮像された画像データは、通信部１０７を介してサーバ装置４へ送信される。
【００３８】
（組立装置３の機能構成）
次に、組立装置３の機能構成について、図４に基づいて説明する。本例における組立装置３は、図４に示すように、その機能構成要素として、起動検出部Ｆ３１０と、セット検出部Ｆ３２０と、を含む。これら起動検出部Ｆ３１０とセット検出部Ｆ３２０は、組立装置３のプロセッサ３０１が主記憶部３０２上のコンピュータプログラムを実行することにより形成される。なお、起動検出部Ｆ３１０とセット検出部Ｆ３２０とのいずれか、又はその一部がハードウェア回路により形成されてもよい。また、組立装置３の各機能構成要素のいずれか、又はその一部が、ネットワークＮ１に接続される他のコンピュータによって実行されてもよい。
【００３９】
起動検出部Ｆ３１０は、作業者によって組立装置３が起動されたことを検出する。具体的には、起動検出部Ｆ３１０は、入力部３０５の起動ボタンが作業者によって操作されたときに、組立装置３が起動されたと判定する。また、起動検出部Ｆ３１０は、入力部３０５の起動ボタンが作業者によって操作されたときに、組立装置３が起動されたことを示す情報である起動完了情報を、通信部３０６を介してウェアラブル端末１及びサーバ装置４へ送信する。
【００４０】
セット検出部Ｆ３２０は、作業者によって対象物２が組立装置３にセットされたことを検出する。具体的には、セット検出部Ｆ３２０は、入力部３０５のセットボタンが作業者によって操作されたときに、対象物２が組立装置３にセットされたと判定する。また、セット検出部Ｆ３２０は、入力部３０５のセットボタンが作業者によって操作されたときに、組立装置３に対象物２がセットされたことを示す情報であるセット完了情報を、通信部３０６を介してウェアラブル端末１及びサーバ装置４へ送信する。
【００４１】
（サーバ装置４の機能構成）
次に、サーバ装置４の機能構成について、図５に基づいて説明する。本例におけるサーバ装置４は、図５に示すように、その機能構成要素として、作業要求部Ｆ４１０、抽出部Ｆ４２０、及び組み付け情報管理データベースＤ４１０を含む。ここで、作業要求部Ｆ４１０及び抽出部Ｆ４２０は、サーバ装置４のプロセッサ４０１が主記憶部４０２上のコンピュータプログラムを実行することにより形成される。なお、作業要求部Ｆ４１０と抽出部Ｆ４２０とのいずれか、又はその一部がハードウェア回路により形成されてもよい。ま
た、組み付け情報管理データベースＤ４１０は、サーバ装置４のプロセッサ４０１によって実行されるデータベース管理システム（Database Management System :DBMS）のプログラムが、補助記憶部４０３に記憶されているデータを管理することで構築される。斯様にして構築される組み付け情報管理データベースＤ４１０は、例えば、リレーショナルデータベースである。なお、組立装置３の各機能構成要素のいずれか、又はその一部が、ネットワークＮ１に接続される他のコンピュータによって実行されてもよい。
【００４２】
組み付け情報管理データベースＤ４１０は、組立装置３によって組み立てられた物品の情報が格納されており、そこではベース部品の個体識別情報と該ベース部品に組み付けられた対象物２の個体識別情報との紐付けが行われている。例えば、組み付け情報管理データベースＤ４１０には、ベース部品毎のテーブルが形成されており、各テーブルには、ベース部品の識別情報と、ベース部品に組み付けられた対象物２の個体識別情報とが登録されている。
【００４３】
作業要求部Ｆ４１０は、各種作業要求を、通信部４０４を介してウェアラブル端末１へ送信する。本例の製造工程においては、作業要求部Ｆ４１０は、先ず、前述の起動要求を、通信部４０４からウェアラブル端末１へ送信する。その後、通信部４０４が前述の起動完了情報を組立装置３から受信すると、作業要求部Ｆ４１０は、前述のピックアンドセット要求を、通信部４０４からウェアラブル端末１へ送信する。そして、通信部４０４が前述のセット完了情報を組立装置３から受信すると、作業要求部Ｆ４１０は、必要に応じて、上記した一連の処理を繰り返し行う。
【００４４】
抽出部Ｆ４２０は、ウェアラブル端末１から送信される画像データを通信部４０４が受信したときに、該画像データから対象物２の個体識別情報を抽出する。例えば、抽出部Ｆ４２０は、ウェアラブル端末１から受信した画像データの中から、収容箱２０に貼付されているラベル２００が写っている画像を抽出し、抽出された画像からラベル２００に記されている個体識別情報を読み出す。斯様にして抽出された個体識別情報は、ベース部品の個体識別情報に紐付けられて、組み付け情報管理データベースＤ４１０に格納される。
【００４５】
（システムの動作）
ここで、本例の製造工程における認識システムの動作について図６に基づいて説明する。図６は、各構成要素間で送受信されるデータの流れ、及び各構成要素が行う処理の流れの概略を示すフロー図である。
【００４６】
図６において、前述の製造工程が開始されるときに、先ず、サーバ装置４が、作業者に対して組立装置３の起動を要求する情報である起動要求を通信部４０４からウェアラブル端末１へ送信する（Ｓ１１）。
【００４７】
サーバ装置４から送信された起動要求がウェアラブル端末１の通信部１０７によって受信されると、ウェアラブル端末１は、組立装置３を起動させる手順を示す情報である起動手順情報を、表示部１０４に表示させる（Ｓ１２）。これにより、ウェアラブル端末１を装着した作業者は、表示部１０４に表示された起動手順情報を参考にしつつ、組立装置３の起動ボタンを操作することができる。
【００４８】
作業者が上記起動手順情報に従って組立装置３の起動ボタンを操作すると、組立装置３の入力部３０５が作業者による起動ボタンの操作を受け付ける（Ｓ１３）。これにより、組立装置３がスタンバイ状態となる。そして、組立装置３は、該組立装置３が起動されたことを示す情報である起動完了情報を、通信部３０６からウェアラブル端末１及びサーバ装置４へ送信する（Ｓ１４）。
【００４９】
ここで、本例の製造工程においては、前述したように、作業者が、組立装置３の起動ボタンの操作に引き続いて、対象物２のピックアップ作業を行うことになる。そのため、組立装置３から送信された起動完了情報がウェアラブル端末１の通信部１０７によって受信されると、ウェアラブル端末１は、作業者による対象物２のピックアップ作業が開始されたと判定して（Ｓ１５）、撮像部１０６による画像の撮像を開始させる（Ｓ１６）。
【００５０】
一方、組立装置３から送信された起動完了情報がサーバ装置４の通信部４０４によって受信されると、サーバ装置４は、所定のピックアップ位置に置かれた収容箱２０から対象物２をピックアップして、ピックアップされた対象物２を組立装置３へセットすることを要求する情報であるピックアンドセット要求を、通信部４０４からウェアラブル端末１へ送信する（Ｓ１７）。
【００５１】
サーバ装置４から送信されたピックアンドセット要求がウェアラブル端末１の通信部１０７によって受信されると、ウェアラブル端末１は、ピックアンドセット手順情報を表示部１０４に表示させる（Ｓ１８）。これにより、ウェアラブル端末１を装着した作業者は、表示部１０４に表示されたピックアンドセット手順情報を参考にしつつ、所定のピックアップ位置に置かれた収容箱２０から対象物２をピックアップするとともに、ピックアップされた対象物２を組立装置３にセットすることができる。なお、ウェアラブル端末１は、組立装置３から送信された起動完了情報が通信部１０７によって受信されたタイミングで、作業者による対象物２のピックアップ作業が開始されたと判定して、撮像部１０６による画像の撮像を開始させてもよい。
【００５２】
組立装置３の入力部３０５がセットボタンの操作を受け付けると（Ｓ１９）、組立装置３は、該組立装置３に対象物２がセットされたことを示す情報であるセット完了情報を、通信部３０６からウェアラブル端末１及びサーバ装置４へ送信する（Ｓ２０）。
【００５３】
ここで、本例の製造工程においては、前述したように、作業者が、対象物２のピックアップ作業に引き続いて、組立装置３のセットボタンを操作することになる。そのため、組立装置３から送信されたセット完了情報がウェアラブル端末１の通信部１０７によって受信されると、ウェアラブル端末１は、作業者による対象物２のピックアップ作業が完了したと判定して（Ｓ２１）、撮像部１０６による画像の撮像を終了させる（Ｓ２２）。そして、ウェアラブル端末１は、上記Ｓ１６から上記Ｓ２２までの期間（所定期間）に撮像部１０６によって撮像された画像データを、通信部１０７からサーバ装置４へ送信する（Ｓ２３）。
【００５４】
ウェアラブル端末１から送信された画像データがサーバ装置４の通信部４０４によって受信されると、サーバ装置４は、上記画像データから対象物２の個体識別情報を抽出する（Ｓ２４）。続いて、サーバ装置４は、上記画像データから抽出された個体識別情報を、ベース部材の個体識別情報と紐付けた情報（組み付け情報）を生成し、生成された組み付け情報を組み付け情報管理データベースＤ４１０に格納する（Ｓ２５）。ここで、本例の製造工程を繰り返す必要がある場合には、Ｓ１１〜Ｓ２５の処理が繰り返し実行されればよい。
【００５５】
以上述べた処理フローによれば、作業者による対象物２のピックアップ作業の大凡の開始タイミングと終了タイミングとを検知することで、それら開始タイミングから終了タイミングまでの所定期間中のみ撮像部１０６を自動的に作動させることができる。これにより、作業途中の作業者に撮像部１０６を操作させる手間を省くことができる。また、上記所定期間における少なくとも一部の期間では、作業者の頭部正面が収容箱２０の置かれた位置（所定のピックアップ位置）を向くことになり、それに伴って撮像部１０６の撮像方向も収容箱２０の置かれた位置を向くことになる。それにより、上記所定期間中に撮像部
１０６で撮像された画像データには、収容箱２０に貼付されたラベル２００の写っている画像が含まれる一方で、該ラベル２００の写っていない画像が含まれ難くなる。よって、撮像部１０６によって撮像された画像データから対象物２の個体識別情報を抽出する処理が煩雑になることを抑制することができる。その結果、作業者の手を煩わせることなく、対象物２の個体識別情報を効率的に認識することができる。
【００５６】
＜実施形態１の変形例＞
上記実施形態１では、組立装置３から送信されるセット完了情報をウェアラブル端末１の通信部１０７が受信したタイミングで、作業者による対象物２のピックアップ作業が完了したと判定する例について述べたが、作業者による対象物２のピックアップ作業が開始されたと判定されてから所定時間が経過したタイミングで、作業者による対象物２のピックアップ作業が完了したと判定してもよい。すなわち、作業者による対象物２のピックアップ作業が開始されたと判定されたタイミングで撮像部１０６による撮像を開始し、且つ撮像開始から所定時間が経過したタイミングで撮像部１０６による撮像が終了されるようにしてもよい。その場合の「所定時間」は、作業者による対象物２のピックアップ作業が開始されたと判定されてから、作業者による対象物２のピックアップ作業が完了するまでに要する時間である。詳細には、「所定時間」は、作業者が組立装置３の起動ボタンを操作してから、収容箱２０に収容されている対象物２をピックアップするまでに要する時間である。斯様な所定時間は、予め実験やシミュレーションの結果から統計的に求めておくものとする。
【００５７】
本変形例によれば、対象物２のピックアップ作業を完了する前後に作業者が行う動作や操作を検知することが困難な製造工程（例えば、ピックアップ作業の完了後に、作業者が組立装置３のセットボタンを操作する必要のない製造工程）においても、作業者による対象物２のピックアップ作業が完了する大凡のタイミングを検知することが可能となる。
【００５８】
＜実施形態２＞
次に、本発明の第２の実施形態について、図７から図９に基づいて説明する。ここでは、前述した第１の実施形態と異なる構成について説明し、同様の構成については省略する。
【００５９】
前述の第１の実施形態では、対象物２のピックアップ作業の前後に作業者が行う操作（組立装置３の起動ボタンやセットボタンの操作）を検知して、作業者による対象物２のピックアップ作業の大凡の開始タイミングと完了タイミングとを判定する例について述べたが、本実施形態では、撮像部１０６の撮像方向（作業者の頭部正面が向いている方向）に基づいて、作業者による対象物２のピックアップ作業の大凡の開始タイミングと完了タイミングとを判定する例について述べる。
【００６０】
図７は、本実施形態におけるウェアラブル端末１、組立装置３、及びサーバ装置４の各々のハードウェア構成を示す図である。本実施形態における組立装置３及びサーバ装置４のハードウェア構成は、前述の第１の実施形態と同様である。一方、ウェアラブル端末１は、プロセッサ１０１、主記憶部１０２、補助記憶部１０３、表示部１０４、入力部１０５、撮像部１０６、及び通信部１０７に加え、センサ部１０８を備えている。センサ部１０８は、作業者の位置や作業者の頭部正面の向きを検出するセンサであり、例えば、ジャイロセンサや加速度センサ等から構成される。ここでいう「作業者の位置」とは、上記の製造工程において作業者が作業を開始する位置を基準とする相対位置である。なお、本例においては、上記の製造工程において作業者が作業を開始する位置は予め規定されているものとする。
【００６１】
図８は、ウェアラブル端末１の機能構成を示す図である。本例におけるウェアラブル端
末１は、その機能構成要素として、作業手順表示部Ｆ１１０、第１検知部Ｆ１２０、第２検知部Ｆ１３０、及び画像取得部Ｆ１４０に加え、撮像方向判定部Ｆ１５０を含む。ここで、本例における作業手順表示部Ｆ１１０及び画像取得部Ｆ１４０の機能は、前述の第１の実施形態と同様であるため、説明を省略する。
【００６２】
撮像方向判定部Ｆ１５０は、撮像部１０６が向いている方向（撮像方向）を判定する。例えば、撮像方向判定部Ｆ１５０は、センサ部１０８によって検出される、作業者の位置、及び作業者の頭部正面の向きに基づいて、撮像部１０６の撮像方向を判定する。また、本例における第１検知部Ｆ１２０は、撮像方向判定部Ｆ１５０によって判定された撮像方向に基づいて、作業者による対象物２のピックアップ作業の開始タイミングを判定する。具体的には、サーバ装置４から送信されるピックアンドセット要求をウェアラブル端末１の通信部１０７が受信した後において、撮像方向判定部Ｆ１５０によって判定される撮像方向が所定のピックアップ位置（対象物２を収容した収容箱２０が置かれている位置）を向いたときに、第１検知部Ｆ１２０が、作業者による対象物２のピックアップ作業が開始されたと判定する。また、本例における第２検知部Ｆ１３０は、撮像方向判定部Ｆ１５０によって判定された撮像方向に基づいて、作業者による対象物２のピックアップ作業の終了タイミングを判定する。具体的には、第１検知部Ｆ１２０によって作業者による対象物２のピックアップ作業が開始されたと判定された後において、撮像方向判定部Ｆ１５０によって判定される撮像方向が所定のピックアップ位置から移動したときに、第２検知部Ｆ１３０が、作業者による対象物２のピックアップ作業が完了したと判定する。なお、作業者が対象物２のピックアップ作業を完了する前に、該作業者の頭部正面の向きが一時的に変化することで、撮像部１０６の撮像方向が所定のピックアップ位置から一時的に外れることも想定される。そこで、撮像方向判定部Ｆ１５０によって判定される撮像方向が所定のピックアップ位置から外れる状態が一定時間以上継続されたことを条件として、作業者による対象物２のピックアップ作業が完了したと判定されるようにしてもよい。
【００６３】
上記した方法でピックアップ作業の開始タイミングと完了タイミングとが判定されると、それらピックアップ作業開始タイミングからピックアップ作業完了タイミングまでの期間（所定期間）における略全ての期間では、撮像部１０６の撮像方向が所定のピックアップ位置を向いていることになる。これにより、上記所定期間中に撮像部１０６によって撮像される画像データは、収容箱２０に貼付されたラベル２００の写っていない画像を殆ど含まないものとなる。そして、斯様な画像データから対象物２の個体識別情報が抽出されれば、対象物２の個体識別情報をより効率的に認識することが可能となる。
【００６４】
ここで、本例における各構成要素間で送受信されるデータの流れ、及び各構成要素が行う処理の流れについて、図９に基づいて説明する。図９において、前述の第１の実施形態（図６）と同様の処理には同一の符号を付している。
【００６５】
図９においては、組立装置３によってＳ１４の処理が実行された後に、サーバ装置４によってＳ１７の処理が実行され、次いでウェアラブル端末１によってＳ１８の処理が実行される。そして、Ｓ１８の処理が実行された後に、撮像方向判定部Ｆ１５０によって判定される撮像方向が所定のピックアップ位置を向くと、ウェアラブル端末１が、作業者による対象物２のピックアップ作業が開始されたと判定して（Ｓ１０１）、撮像部１０６による画像の撮像を開始させる（Ｓ１０２）。
【００６６】
作業者による対象物２のピックアップ作業が開始されたと判定された後に、撮像方向判定部Ｆ１５０によって判定される撮像方向が所定のピックアップ位置から移動すると、ウェアラブル端末１が、作業者による対象物２のピックアップ作業が完了したと判定して（Ｓ１０３）、撮像部１０６による画像の撮像を終了させる。その後は、Ｓ１９〜Ｓ２０、及びＳ２３〜Ｓ２５の処理が順次実行される。なお、図９に示す例では、組立装置３によ
ってＳ１９〜Ｓ２０の処理が実行された後に、ウェアラブル端末１によってＳ２３の処理が実行されているが、組立装置３によってＳ１９〜Ｓ２０の処理が実行される前に、ウェアラブル端末１によってＳ２３の処理が実行されてもよい。また、図９に示す例では、Ｓ１４の処理において、起動完了情報が組立装置３からウェアラブル端末１とサーバ装置４との双方に送信されているが、起動完了情報が組立装置３からサーバ装置４へのみ送信されてもよい。同様に、Ｓ２０の処理においても、セット完了情報が組立装置３からサーバ装置４へのみ送信されもよい。
【００６７】
以上述べた処理フローによれば、製造工程のうち、撮像部１０６の撮像方向が所定のピックアップ位置を向いていると推定される期間に撮像された画像データから、対象物２の個体識別情報を抽出することが可能になる。すなわち、収容箱２０に貼付されたラベル２００の写っていない画像を殆ど含まない画像データから、対象物２の個体識別情報を抽出することが可能になる。よって、撮像部１０６によって撮像された画像データから対象物２の個体識別情報を抽出する処理が煩雑になることをより確実に抑制することができる。その結果、対象物２の個体識別情報をより効率的に認識することができる。また、上記の処理フローによれば、対象物２のピックアップ作業が開始される前後に作業者によって行われる操作を検知することが困難な製造工程（例えば、ピックアップ作業が開始される前に組立装置３の起動ボタンを操作する必要のない製造工程）や、対象物２のピックアップ作業が完了する前後に作業者によって行われる操作を検知することが困難な製造工程（例えば、ピックアップ作業が完了した後に組立装置３のセットボタンを操作する必要のない製造工程）においても、ピックアップ作業の大凡の開始タイミングと完了タイミングとを検知することができる。これにより、ピックアップ作業の前後に作業者によって行われる操作を検知することが困難な製造工程においても、作業途中の作業者に撮像部１０６を操作させる手間を省くことができる。
【００６８】
＜実施形態２の変形例＞
上記実施形態２では、作業者による対象物２のピックアップ作業が開始されたと判定された後において、撮像部１０６の撮像方向が所定のピックアップ位置から移動したときに、作業者による対象物２のピックアップ作業が完了したと判定する例について述べたが、作業者による対象物２のピックアップ作業が開始されたと判定されてから所定時間が経過したときに、作業者による対象物２のピックアップ作業が完了したと判定してもよい。すなわち、作業者による対象物２のピックアップ作業が開始されたと判定されたタイミングで撮像部１０６による撮像を開始し、且つ撮像開始から所定時間が経過したタイミングで撮像部１０６による撮像が終了されるようにしてもよい。その場合の「所定時間」は、撮像部１０６の撮像方向が所定のピックアップ位置を向いてから、作業者による対象物２のピックアップ作業が完了するまでに要する時間である。これによれば、ピックアップ作業が完了するタイミングを判定する処理を、簡略化することができる。
【符号の説明】
【００６９】
１        ウェアラブル端末
３        組立装置
４        サーバ装置
Ｆ１２０  第１検知部
Ｆ１３０  第２検知部
Ｆ１４０  画像取得部
Ｆ１５０  撮像方向判定部
Ｆ３１０  起動検出部
Ｆ３２０  セット検出部
Ｆ４２０  抽出部
【図１】
2020093370.tif 000003
【図２】
2020093370.tif 000004
【図３】
2020093370.tif 000005
【図４】
2020093370.tif 000006
【図５】
2020093370.tif 000007
【図６】
2020093370.tif 000008
【図７】
2020093370.tif 000009
【図８】
2020093370.tif 000010
【図９】
2020093370.tif 000011