(57)【要約】【課題】プリント板の組立作業を効率化させ、作業ミスも低減させる。【解決手段】組立作業支援システム１において、画像投影装置２０は、作業者がプリント板４０に実装すべき部品４１に関する画像をプリント板４０に投影する。検出装置は、プリント板４０の位置および姿勢を検出する。演算装置１０は、検出装置により検出されたプリント板４０の位置および姿勢に応じて部品４１に関する画像を補正する。検出装置は、プリント板４０を撮影する画像撮影装置３０であってもよい。その場合、演算装置１０は、画像撮影装置３０により撮影されたプリント板４０の画像をもとに、プリント板４０に投影すべき部品４１に関する画像データを補正する。【選択図】図３
2016092325.tif 000002
【特許請求の範囲】
【請求項１】
作業者がプリント板に実装すべき部品に関する画像を前記プリント板に投影する画像投影装置と、
前記プリント板の位置および姿勢を検出する検出装置と、
前記検出装置により検出された前記プリント板の位置および姿勢に応じて前記部品に関する画像を補正する演算装置と、
を備えることを特徴とする組立作業支援システム。
【請求項２】
前記検出装置は、前記プリント板を撮影する画像撮影装置であり、
前記演算装置は、前記画像撮影装置により撮影されたプリント板の画像をもとに、前記プリント板に投影すべき前記部品に関する画像データを補正することを特徴とする請求項１に記載の組立作業支援システム。
【請求項３】
前記演算装置は、撮影されたプリント板の４点の座標をもとに射影変換のための変換係数を算出し、当該変換係数を使用して、投影すべき部品に関する画像データを射影変換することを特徴とする請求項２に記載の組立作業支援システム。
【請求項４】
前記画像投影装置は、前記実装すべき部品に関する画像を前記プリント板の実装すべき位置に投影することを特徴とする請求項１から３のいずれかに記載の組立作業支援システム。
【請求項５】
作業者がプリント板に実装すべき部品に関する画像を前記プリント板に投影するステップと、
前記プリント板の位置および姿勢を検出するステップと、
検出された前記プリント板の位置および姿勢に応じて前記部品に関する画像を補正するステップと、
を備えることを特徴とする組立作業支援方法。
【請求項６】
作業者がプリント板に実装すべき部品に関する画像を前記プリント板に投影させる画像投影装置に、前記部品に関する画像データを設定する処理と、
検出装置により検出された前記プリント板の位置および姿勢に応じて前記部品に関する画像データを補正する処理と、
をコンピュータに実行させることを特徴とする組立作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プリント板に部品を実装する作業者の作業を支援する組立作業支援システム、組立作業支援方法、及び組立作業支援プログラムに関する。
【背景技術】
【０００２】
プリント配線板（以下、プリント板という）の組立は自動化が進んでいるが、手作業で行われることも多い。特に多品種少量生産のラインでは自動化が難しいため手作業で行われることが多い。工場によっては１つのラインに、１日に５０種類以上のプリント板が流れるラインもあり、熟練の作業者であっても各種のプリント板の実装部品および実装位置を把握しておくことは困難である。
【０００３】
従来、作業者は各プリント板の実装作業を仕様書を見ながら行っていたが、非常に分かりにくいものであった。そこで現在では作業者の前にディスプレイを設置し、ディスプレイに対象となるプリント板の作業指示を表示することが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８５９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイは紙の仕様書と異なり、その持ち場で実装すべき部品とその実装位置を強調して表示できるため、従来の仕様書を見ながらの作業と比較して分かりやすい。しかしながら依然として、ディスプレイに表示される作業指示と、作業者の手元にあるプリント板を交互に目視で確認しながら作業する必要がある。従って抜本的に作業効率を改善するものではなく、作業ミスを撲滅するには至っていなかった。
【０００６】
本発明はこうした状況に鑑みてなされたものであり、その目的は、プリント板の組立作業を効率化させ、作業ミスも低減させる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の組立作業支援システムは、作業者がプリント板に実装すべき部品に関する画像を前記プリント板に投影する画像投影装置と、前記プリント板の位置および姿勢を検出する検出装置と、前記検出装置により検出された前記プリント板の位置および姿勢に応じて前記部品の画像を補正する演算装置と、を備える。
【０００８】
本発明の別の態様は、組立作業支援方法である。この方法は、作業者がプリント板に実装すべき部品に関する画像を前記プリント板に投影するステップと、前記プリント板の位置および姿勢を検出するステップと、検出された前記プリント板の位置および姿勢に応じて前記部品に関する画像を補正するステップと、を備える。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、プリント板の組立作業を効率化させ、作業ミスも低減させることができる。
【図面の簡単な説明】
【００１１】
【図１】一般的なプリント板の組立作業の様子を示す図である。
【図２】図２（ａ）−（ｄ）は、本発明の実施の形態に係る、プリント板への部品に関する画像の投影の様子を示す図である。
【図３】本発明の実施の形態に係る組立作業支援システムの全体構成を示す図である。
【図４】本発明の実施の形態に係る組立作業支援システムの機能ブロックを示す図である。
【図５】図５（ａ）−（ｄ）は、本発明の実施の形態に係る、画像撮影装置によるプリント板の投影の様子を示す図である。
【図６】図６（ａ）−（ｂ）は、対象図形の変換前の４点の座標と、変換後の４点の座標の一例を示す図である。
【図７】本発明の実施の形態に係る、演算装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、一般的なプリント板の組立作業の様子を示す図である。図１は、ある仕様のプリント板の組立を３人の作業員Ａ−Ｃで分担して行っている様子を示している。各作業員の前方には、ディスプレイ５０がそれぞれ設置されている。各ディスプレイ５０は、図示しないＣＡＤ／ＣＡＭシステムに接続されており、当該ＣＡＤ／ＣＡＭシステムは各ディスプレイ５０に、各作業員が担当すべき工程の作業指示を表示させる。各作業者はディスプレイ５０に表示される作業指示を見ながらプリント板４０に部品を実装する。
【００１３】
作業者は、ディスプレイ５０に表示される作業指示と手元にあるプリント板４０をそれぞれ目視で確認し、整合性を取りながら作業を進めていく。作業者がディスプレイ５０に表示される作業指示を見ているときは、プリント板４０から作業者の目が離れる。プリント板４０から目が離れている期間は基本的に手元の作業がストップする。また手元のプリント板４０に目を戻した後、勘違いにより作業指示画面に表示された実装位置と異なる位置に部品を取り付けてしまうこともある。
【００１４】
本実施の形態では、作業者がプリント板４０から目を離すことなく作業できるようプリント板４０の表面の実装位置に、プロジェクタから部品に関する画像を投影させる。部品に関する画像は、部品そのものを模写した画像であってもよいし、設置位置を示す枠の画像であってもよい。また設置位置を示す枠内に、部品の型番などの情報を付加してもよい。このようにプロジェクタを用いた作業指示では、作業者はディスプレイ５０を見て部品の位置を確認する必要がなくなるため、プリント板４０を見続けることができる。
【００１５】
プリント板４０の組立作業では、ハンダ付け、取付孔への部品の挿入、ネジ止め等、様々な作業が発生する。作業者は各種の作業を行う際、プリント板４０を持ち上げたり、回転させたり、傾けたりする。そこで本実施の形態では、プリント板４０の３次元空間における位置および姿勢の変化に応じて、投影している部品に関する画像を適応的に変化させて、プリント板４０の動きに追従させる。
【００１６】
図２（ａ）−（ｄ）は、本発明の実施の形態に係る、プリント板４０への部品に関する画像の投影の様子を示す図である。この例ではプリント板４０に、「ＴＡ４」という部品４１に関する画像を投影している。各作業者の作業台の上方に画像投影装置（プロジェクタ）２０を設置し、上から下方向に光を投射させる。図２（ａ）はプリント板４０が規定の位置および規定の姿勢にある状態を示している。図２（ｂ）−（ｄ）は作業者によりプリント板４０の位置または姿勢が動かされた状態を示している。また図２（ａ）−（ｄ）では、それぞれの状態において作業台の上方から見た画像を示している。本実施の形態ではプリント板４０の３次元空間内における動きに追従させて、部品４１に関する投影画像を変形させる。これにより作業者がプリント板４０を動かしても、作業者は部品４１の実装位置を常にほぼ正確に把握し続けることができる。
【００１７】
図３は、本発明の実施の形態に係る組立作業支援システム１の全体構成を示す図である。組立作業支援システム１は、演算装置１０、画像投影装置（プロジェクタ）２０及び画像撮影装置（カメラ）３０を備える。画像撮影装置３０も画像投影装置２０と同様に作業台の上方に、作業台を見下ろすように設置される。図３は模式図であり、画像投影装置２０と画像撮影装置３０の設置形態は特に限定されない。例えば画像投影装置２０の投影口の近傍に、小型の画像撮影装置３０を取り付けてもよい。
【００１８】
演算装置１０は、ＰＣ等の情報処理装置で構成できる。演算装置１０と画像投影装置２０との間、及び演算装置１０と画像撮影装置３０との間はケーブルで接続される。なお無線接続でもよい。また演算装置１０は、ＣＡＤ／ＣＡＭシステムを実装している上位の演算装置（不図示）とも接続されている。
【００１９】
画像投影装置２０は、作業者がプリント板４０に実装すべき部品に関する画像を演算装置１０から取得し、プリント板４０の実装すべき位置に投影する。画像撮影装置３０は、プリント板４０を撮影し、撮影画像を演算装置１０に送信する。
【００２０】
図４は、本発明の実施の形態に係る組立作業支援システム１の機能ブロックを示す図である。演算装置１０は入出力部１１、制御部１２、記憶部１３、表示部１４及び操作入力部１５を備える。制御部１２は実装データ取得部１２１、画像データ設定部１２２、撮影画像取得部１２３及び画像データ補正部１２４を含む。制御部１２には、本実施の形態にて注目する処理に関連する機能ブロックのみを描いている。
【００２１】
制御部１２の機能はハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。なお制御部１２の機能は、ハードウェア資源単体で実現されてもよい。
【００２２】
実装データ取得部１２１は上位の演算装置から、各プリント板４０の仕様情報および実装データを取得して記憶部１３に記憶する。記憶部１３はＨＤＤ、ＳＳＤ等の記録媒体を備える。上位の演算装置から取得される実装データは通常、ＣＡＤデータで規定される。なお小規模のラインや１人の作業員が全工程の作業を行う場合、演算装置１０がプリント板４０の仕様情報および実装データを上位の演算装置から取得するのではなく、演算装置１０にユーザの操作により直接入力されてもよい。画像データ設定部１２２は実装データに基づく部品に関する画像データを画像投影装置２０に送信して、画像投影装置２０に画像データを設定する。
【００２３】
画像投影装置２０は、設定された画像データを投影光に変換して、プリント板４０に向けて投射する。画像撮影装置３０は、部品に関する画像が投影されているプリント板４０を撮影する。画像撮影装置３０は、固体撮像素子（例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ）を備え、入射光を電気信号の画像データに変換する。
【００２４】
図５（ａ）−（ｄ）は、本発明の実施の形態に係る、画像撮影装置３０によるプリント板４０の投影の様子を示す図である。図５（ａ）−（ｄ）に示すようにプリント板４０と画像撮影装置３０との距離が近いほど、プリント板４０が２次元上では大きく見える。またプリント板４０が水平でない場合、２次元上ではプリント板４０と画像撮影装置３０との距離が近い側の辺が長く見え、距離が遠い側の辺が短く見える。
【００２５】
実装すべき部品に関する画像データはプリント板４０の平面に投影されるため、プリント板４０の位置および姿勢に応じて部品に関する画像データを補正する必要がある。補正しないとプリント板４０と、そのプリント板４０に投影されている部品に関する画像との間に齟齬が生じることになる。
【００２６】
図４に戻る。撮影画像取得部１２３は画像撮影装置３０から、画像撮影装置３０により撮影された画像を取得する。画像データ補正部１２４は、取得されたプリント板４０の画像をもとに、投影すべき部品に関する画像データを補正する。即ちプリント板４０の位置および姿勢に応じた画像データに補正する。例えば画像データ補正部１２４は、撮影されたプリント板４０の４点の座標をもとに射影変換のための変換係数を算出し、当該変換係数を使用して、投影すべき部品の画像データを射影変換する。以下、より具体的に説明する。
【００２７】
射影変換は下記の式（１）により規定される。
【数１】
2016092325.tif 000003
式（１）を展開すると、
ｘ’＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）
ｙ’＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）
となる。
（ｘ’，ｙ’）は変換後の座標を示し、（ｘ，ｙ）は変換前の座標を示す。
ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈは変換係数を示す。
変換係数は８個の未知数であるため、変換前の４点の座標と変換後の対応する４点の座標から８次元連立一次方程式を解いて求めることができる。
【００２８】
図６（ａ）−（ｂ）は、対象図形の変換前の４点の座標と、変換後の４点の座標の一例を示す図である。プリント板４０は一般的に矩形であるため、抽出する４点として、プリント板４０の四角（四隅）の頂点を使用するのが簡便である。変換前のプリント板４０の４点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）を（ｘ，ｙ）に、変換後のプリント板４０の４点の座標（ｘ’１，ｙ’１）、（ｘ’２，ｙ’２）、（ｘ’３，ｙ’３）、（ｘ’４，ｙ’４）を（ｘ’，ｙ’）に一つずつ代入し、８次元連立一次方程式を解くことにより、変換係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出できる。
【００２９】
変換前のプリント板４０の４点の座標は、規定の位置に規定の姿勢で設置された状態で撮影された場合の４点の座標である。なお抽出する４点は頂点座標に限るものではなく、プリント板４０内の任意の４点を用いてもよい。その場合、抽出する４点に目印を付けておく必要がある。
【００３０】
画像データ補正部１２４は、変換前の部品に関する画像データの各座標を上記の式（１）に代入して、変換後の部品に関する画像データの各座標を算出する。変換前の部品に関する画像データは、規定の位置に規定の姿勢で設置されたプリント板４０に当該部品を実装する場合の画像データに相当する。なお、部品に関する画像データを射影変換により変形する処理は一例であり、類似の効果が得られる変形を実現できる処理であれば、他の幾何学的変換を用いてもよい。
【００３１】
なおプリント板４０の裏表は、撮影されたプリント板４０の画像内における配線パターンを認識することにより判断できる。また前工程で実装された部品（マシーンで実装された部品であってもよい）と、実装データ（例えば、ＣＡＤデータ）とを照合することよっても判断できる。
【００３２】
図７は、本発明の実施の形態に係る、演算装置１０の動作を示すフローチャートである。実装データ取得部１２１は上位の演算装置から、対象となるプリント板４０の仕様情報と実装データを取得して、記憶部１３に記憶する（Ｓ１０）。
【００３３】
画像データ設定部１２２は、該当する作業者がその作業場所で実装すべき部品の内、未実装の部品が残っているか否かを判定する（Ｓ１１）。未実装の部品が残っている場合（Ｓ１１のＹ）、画像データ設定部１２２は作業者が次に実装すべき部品の実装データを、記憶部１３から読み出す（Ｓ１２）。その部品の実装完了を認識すると（Ｓ１３のＹ）、ステップＳ１１に遷移する。部品の実装完了は例えば、次のようにして認識する。作業台またはその近傍に、演算装置１０に接続された操作ボタン又は操作パネルを設置し、作業者に部品の実装完了の度に押下させる。また撮影されたプリント板４０の画像を解析して実装完了を認識してもよい。例えば、実装位置の色の変化を検出して実装完了を認識してもよい。
【００３４】
上記部品の実装が完了していない間（Ｓ１３のＮ）、撮影画像取得部１２３は画像撮影装置３０から、プリント板４０の撮影画像を取得する（Ｓ１４）。画像データ補正部１２４は、取得された撮影画像内からプリント板４０の４点の座標を抽出する（Ｓ１５）。画像データ補正部１２４は、抽出した４点の座標をもとに射影変換のための変換係数を算出する（Ｓ１６）。画像データ補正部１２４は、算出した変換係数を使用して、部品の実装データを射影変換する（Ｓ１７）。画像データ設定部１２２は、射影変換された実装データの画像データを画像投影装置２０に設定する（Ｓ１８）。ステップＳ１３に遷移する。上記部品の実装が完了していない間（Ｓ１３のＮ）、ステップＳ１４−ステップＳ１８の処理を繰り返し実行することにより、プリント板４０の動きに、部品に関する投影画像を追従させることができる。
【００３５】
ステップＳ１１において、対象となるプリント板４０の当該作業者が担当する部品の実装が全て終了すると（Ｓ１１のＮ）、本フローチャートに係る組立作業支援処理が終了する。作業者は、部品実装後のプリント板４０を次の工程に引き渡す。次のプリント板４０も同じ仕様の場合、本フローチャートに係る次の組立作業支援処理ではステップＳ１０の処理を省略できる。次のプリント板４０の仕様が異なる場合、実装データ取得部１２１は上位の演算装置から、次の対象となるプリント板４０の仕様情報と実装データを取得して、記憶部１３に記憶する（Ｓ１０）。
【００３６】
以上説明したように本実施の形態によれば、画像投影装置２０により作業指示をプリント板４０の表面に投影させることにより、作業者が作業指示を見るためにプリント板４０から目を離す必要がなくなる。従って作業が止まる間隔がなくなり、プリント板４０を見続けながら集中して作業でき、プリント板４０の組立作業を従来より大幅に効率化できる。また従来より集中して作業でき、部品の実装位置を常に把握しながら作業できるため作業ミスも低減できる。またプリント板４０の動きに、部品に関する投影画像が追従するため、作業者がプリント板４０を動かしながらでも、上記の効果を享受できる。
【００３７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００３８】
上記の実施の形態では、プリント板４０の位置および姿勢を画像撮影装置３０を使用して画像処理により検出した。この点、プリント板４０の位置および姿勢をその他の検出装置を用いて検出してもよい。例えば、プリント板４０に超音波タグを設置し、超音波タグから発信された超音波を３個の以上の受信機して受信して、３点測量することにより超音波タグの３次元位置を検出できる。１つのプリント板４０に複数の超音波タグを設置すれば、プリント板４０の姿勢も検出できる。また傾斜センサを併設して、プリント板４０の姿勢を検出してもよい。またプリント板４０にホール素子等の磁気センサを少なくとも１つ設置して、磁気センサにより検出された磁界変化に応じてプリント板４０の位置および姿勢を検出してもよい。
【００３９】
また上記の実施の形態では、画像投影装置２０から投影される画像として平面画像を想定したが、実装部品の厚みも再現した立体画像を、その実装位置に投影してもよい。立体画像を生成するために演算装置１０は、実装部品の厚みに応じた視差画像を生成する。例えばシャッタメガネ方式では、画像投影装置２０は右眼画像と左眼画像を交互に投影する。作業員に装着されたシャッタメガネは投影タイミングに同期して、右眼画像が投影されている期間は左眼用のシャッタを閉じ、左眼画像が投影されている期間は右眼用のシャッタを閉じる。また作業者が視点がほぼ固定している作業では、裸眼方式を採用することも可能である。
【符号の説明】
【００４０】
１  組立作業支援システム、  １０  演算装置、  １１  入出力部、  １２  制御部、  １２１  実装データ取得部、  １２２  画像データ設定部、  １２３  撮影画像取得部、  １２４  画像データ補正部、  １３  記憶部、  １４  表示部、  １５  操作入力部、  ２０  画像投影装置、  ３０  画像撮影装置、  ４０  プリント板、  ４１  部品、  ５０  ディスプレイ。
【図１】
2016092325.tif 000004
【図４】
2016092325.tif 000005
【図６】
2016092325.tif 000006
【図７】
2016092325.tif 000007
【図２】
2016092325.tif 000008
【図３】
2016092325.tif 000009
【図５】
2016092325.tif 000010