(57)【要約】【課題】  ロボットアームに複数のカメラを設置し画像伝送路の数を、カメラ台数分より削減するためには、単一の伝送路に画像信号を多重化する必要がある。従来例のように多重化すると画像データの転送効率の低下を招いてしまう上、複数カメラで同時刻に撮影した画像を得ることができない。また画像データ分割方式では回路が複雑化する。【解決手段】  入力される複数の画像伝送路の画像データをフレームごとに選択して単一伝送路に送信して多重化する画像伝送路選択手段と送信手段をもち複数の画像伝送路の画像データを選択してフレームごとにメモリに書き込む書き込み回路と画像メモリをもち、必要部分の画像データを読み出す読み出し回路を持ったので画像伝送路を削減しつつ伝送効率を上げることができ、なおかつ同時刻に撮像した画像データを画像処理に用いることができる。【選択図】  図１
2011010109.tif 000002
【特許請求の範囲】
【請求項１】
２つの撮像装置で取得した画像データを単一伝送路にて伝送する画像伝送装置において、
２つの撮像装置でそれぞれ取得した画像データのうち一方の画像データを選択する少なくとも１つの選択回路と、
画像データを単一の伝送路に送信する送信回路と、
他方の画像データを記憶させるメモリと、
前記メモリに記憶した他方の画像データを読み出して送信回路に向けて伝送する読み出し回路と、を備え、
選択された前記一方の画像データを全て単一伝送路に送信するとともに前記他方の画像データを全てメモリに記憶させ、前記一方の画像データが送信完了した後に、前記他方の画像データを伝送することを特徴とする画像伝送装置。
【請求項２】
前記読み出し回路は、前記メモリより画像データを読み出し、送信する為のクロック発振回路をさらに備えた事を特徴とする画像伝送装置。
【請求項３】
請求項１または２記載の画像伝送装置を備えたロボットアーム。
【請求項４】
ロボットアームの動作に応じて、前記他方の画像データの一部のみを送信する請求項３記載のロボットアーム。
【請求項５】
２つの撮像装置で取得した画像データを単一の伝送路にて伝送する画像伝送方法において、
２つの撮像装置でそれぞれ取得した画像データのうち一方を選択し、選択した一方の画像データを全て単一の伝送路に送信すると共に、他方の画像データを全てメモリに記憶させ、一方の画像データの送信が完了した後に、他方の画像データをメモリから読み出し、単一の伝送路に送信することを特徴とする画像伝送方法。
【請求項６】
他方の画像情報のうち、一部のみを伝送することを特徴とする請求項４記載の画像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つのロボットアームに２つのカメラを搭載した時の単一伝送路による画像データの送信の効率化、及び回路構成の簡素化に関する。
【背景技術】
【０００２】
光学機器の組み立てなど、精密な動作が要求される作業を作業用のフィンガーを有するロボットアームで自動的に、かつ機敏に行わせたい場合には、ロボットアームに対するワークの相対位置を３次元情報として正確に把握する必要がある。３次元情報を得るためには１つのロボットアームに複数のカメラを設置する必要がある。
【０００３】
カメラによって得た画像に関する信号は、ロボットアームの制御用のコンピュータ内にある画像処理装置に、伝送線を通って伝送される。
【０００４】
１つのロボットアームに複数のカメラを設置する場合、その画像に関する信号を画像処理を行う画像処理装置に送信する為の画像伝送路の数がカメラ台数分必要となる。
【０００５】
ロボットアーム内部に伝送線を通すとロボットアーム内部に伝送線路を確保する必要があるため、ロボットアームの径方向のサイズが太くなってしまう。又、ロボットアーム外装を這うように伝送線を配設するとロボットの動きを阻害してしまう要因となる。
【０００６】
そのため従来は、特開２００３−２７４３７４（特許文献１）が示すように単一の伝送路に画像に関する信号を、マルチプレクサを用いて多重化して送信し画像伝送路を削減していた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２７４３７４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら上記の特許文献１記載の技術では、画像伝送路の削減はできるが、単に画像情報を交互に伝送するため、複数の画像データを順次伝送する場合、伝送時間が長くかかってしまう欠点があった。
【０００９】
更に、特許文献１記載の技術では複数カメラで撮像した画像を同時に画像処理装置に送ることができず、ステレオ法による画像計測を行う場合に、複数カメラの画像間でフレーム送信時間分の時刻差が生じてしまう。そのため、装置の振動などで撮影位置がずれてしまうことよりステレオ計測精度が低下するおそれがある。
【００１０】
したがって本発明では、伝送路の帯域幅に比べて大きな情報量を持つ画像データを、伝送路を増やしたり、複雑な回路を用いたりすることなく送信する技術を提供する。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、
２つの撮像装置で取得した画像データを単一伝送路にて伝送する画像伝送装置において、
２つの撮像装置でそれぞれ取得した画像データのうち一方の画像データを選択する少なくとも１つの選択回路と、
画像データを単一の伝送路に送信する送信回路と、
他方の画像データを記憶させるメモリと、
前記メモリに記憶した他方の画像データを読み出して送信回路に向けて伝送する読み出し回路と、を備え、
選択された前記一方の画像データを全て単一伝送路に送信するとともに前記他方の画像データを全てメモリに記憶させ、前記一方の画像データが送信完了した後に、前記他方の画像データを伝送することを特徴とする画像伝送装置を提供する。
【発明の効果】
【００１２】
この結果、上記の様に構成した画像伝送装置によれば単一伝送路で、複雑な回路用いることなくの複数の画像データを伝送することができる。
【００１３】
なお、このときの画像データの送信は高速なクロック発振器のクロックを用いて送信することもでき、単一伝送路での多重化された画像データの送信効率をさらにあげることができる。又、上記先に選択され送信された画像データとメモリに蓄積し後から送信された画像データは撮影時刻を同時刻に行い、装置の振動によるカメラ毎の撮像位置微動による誤差を受けにくくすることができるので、ステレオ計測精度の悪化を防ぐことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態によるロボットの構成を示すブロック図である
【図２】画像データを受け取り画像処理を行う画像処理装置の内部構成図である
【図３】画像伝送装置の内部構成を説明する図である
【図４】複数画像の多重化伝送処理の動作を説明するフローチャート図である
【図５】複数画像の多重化伝送処理の動作を説明するタイミングチャート図である
【発明を実施するための形態】
【００１５】
図１は本発明による伝送装置を備えたロボットアームに２台のカメラが搭載された構成例を示している。
【００１６】
ロボットアーム１は、単一伝送路１２がロボットアーム１内に配線されており、ロボットアーム１の先端からアーム外部に引き出され画像伝送装置２に接続され、単一伝送路はロボットアームから取り出され画像処理装置８に接続されている。
【００１７】
カメラ１の画像データ伝送路１０とカメラ２の画像データ伝送路１１は共に画像伝送装置２に接続される。
【００１８】
画像データ伝送路１０及び画像データ伝送路１１に送信される画像データ信号のフォーマットは例えばカメラリンク規格信号であってよい。ロボット制御装置９はロボットアーム１を制御し所定の動作を行わせる。ロボット制御装置９は画像処理装置８と接続され画像処理装置とデータの送受信を行う。
【００１９】
照明装置７は画像処理装置８からの信号により制御され、カメラ１またはカメラ２による画像の撮影時にワーク６を照明する。ロボット制御装置９は、あらかじめ作成された動作を規定するプログラムによって、ロボットアーム１を制御しカメラによりワークの画像を獲得できる位置に位置決めし、画像処理装置にワークの画像処理を行うよう制御線２を通じて命令をする。画像処理装置は該命令を受け取ると照明を点灯し画像伝送装置に対し制御線１を通じて画像伝送命令を送信する。
【００２０】
制御線１は例えばＣＡＮ、ＲＳ２３２Ｃ、カメラリンクのようなものである。画像伝送装置は画像伝送命令を受け取ると後述のようにカメラ１により取得した画像データとカメラ２により取得した画像データを順次、単一伝送路を介して画像処理装置に送信する。
【００２１】
画像処理装置８は上記画像データを受け取ると、公知のステレオ法を用いてカメラ１の画像データとカメラ２の画像データに基づいて画像処理を行いワーク６の３次元位置を算出する。算出された３次元位置の情報をロボット制御装置に送信する。ロボット制御装置９は受信した３次元位置の情報に従ってロボットアーム１またはフィンガ５を位置決めする信号を発信して制御する。算出された３次元位置の情報に基づいてロボットアーム１またはフィンガ５を制御するのでワーク６に対して精密に正確に位置決めすることができる。
【００２２】
図１では、ロボットアーム１の内部に、画像データを送るための単一伝送路１２を配設した様子を模式的に表示しているが、ロボットアーム１の内部にはこの他にアームを駆動するアクチュエータへの電源線、アクチュエータからロボット制御装置へのアクチュエータの位置情報のフィードバック信号線、フィンガ５からのセンサ信号線、アーム先端へのエアー配管、等が内蔵されるため画像データの伝送路を増設することは、スペースやコストの観点から非常に困難である。
【００２３】
図２は本実施例の形態による画像処理装置８のブロック図である。画像データ受信回路３１は単一伝送路１２に接続され画像伝送装置２から送信された画像データをメモリ３２に記憶し格納する。通信回路３５はロボット制御装置９と命令の送受信を制御線２を介して行う。通信回路３４は制御線１を介して画像伝送装置２と命令の送受信を行う。ＣＰＵ３３は中央演算処理ユニットで画像処理装置全体の制御及び画像処理を行う。
【００２４】
図３は、本実施例の形態によるカメラ１及びカメラ２と接続した画像伝送装置２のブロック図である。
【００２５】
制御回路２７は画像伝送装置内の回路の制御およびカメラの制御を行う制御回路２７に関しては、通信回路３との接続配線と、カメラへのトリガ信号のみを模式的に描いた。（画像伝送装置内の個々の回路への配線は不図示）。
【００２６】
選択回路１（２１ａ）は画像データを受け取る複数の画像データ伝送路を持ち，制御回路２７の指示により入力される画像データ伝送路１または画像データ伝送路２のうち、１つの画像伝送路から受信した画像データを選択して、画像データを全て送信回路２２に送る。送信回路２２は単一伝送路１２に画像データを伝送路に適合した信号仕様（例えばＬＶＤＳ仕様）で送出する。
【００２７】
選択回路２（２１ｂ）は、選択回路１（２１ａ）に選択されなかったほうの画像伝送路から受信した画像データを全て書き込み回路２３に転送する。書き込み回路２３は受け取った画像データをメモリ２４に書き込む。
【００２８】
読み出し回路２５はメモリにかかれた画像データから、制御回路２７によって指定された画像を読み出して、所定の画像データ信号のフォーマットで例えばカメラリンク規格信号信号で読み出し画像データとして読み出し画像データ伝送路２５ａを介し選択回路１に送る。
【００２９】
なお、ロボットアーム１で作業を行うにあたっては、あるタイミングで撮像した１つの画像データがあるとき、必ずしも全領域の画像情報の三次元位置を特定しなくてもよい。これは、組み立て動作を行う際には、特定の領域の三次元位置のみが詳細に分かれば、他の領域は作業に関係が無いことが多いからである。
【００３０】
例えば、シャフト状のワークを細孔に挿入する作業などでは細孔の位置とシャフト先端の位置が特定されれば良いので、細孔とシャフトの三次元位置が特定されれば、他の部材の三次元位置はほとんど作業に無関係である。
【００３１】
特定の領域の三次元位置のみが必要な作業の場合は、メモリ２４に書き込まれた画像データのうち、その特定の領域の画像データのみを部分的に読み出して、選択回路１へ伝送してもよい。実際の作業を行なう際には、ロボットアーム１は同じサイクルの動作を繰り返すため、１サイクルのうちの、特定の作業においては、カメラの位置やワークの載置位置はほぼきまっている事が多い。そのため必要な画像データの領域は、撮像した１画像データのうち“左半分のみ”、もしくは“右上１／４”など、メモリ２４に書き込まれた画像データで必要な領域の画像データをあらかじめ決めておくことは容易である。
【００３２】
読み出し画像データ伝送路２５ａは上記画像データ信号のフォーマット例えばカメラリンク規格信号に従った画像データ伝送路である。クロック発振回路２６はカメラ１，カメラ２の画像データがカメラから送信されるときの転送クロックよりも高速なクロックを生成する発振回路であり、カメラの画像データ転送クロックが３０ＭＨｚ程度なのに比べ６０ＭＨｚ以上と２倍程度高速なクロックである。したがって読み出し回路２５から送信される画像データの転送クロックは上記６０ＭＨｚとすることができる。通信回路３は制御線３を介し画像処理装置と接続され命令の送受信を行う。
【００３３】
図４は本実施例の形態によるロボット全体の動作フローである。これに従ってロボットと画像処理装置と画像伝送装置とカメラの動作について説明をする。
【００３４】
ロボット制御装置はあらかじめ作成されたプログラムによって、ロボットアームを制御しカメラによりワーク６の画像を獲得できる位置に位置決めし、画像処理装置８に撮像したワーク６の画像データの画像処理を行うよう制御線２を介し、画像処理命令を出す。
【００３５】
ここでは本発明にかかわる画像処理命令を出した後からの動作についてフローチャートに基づいて説明を行う。図４の動作のフローチャートにおいて、
（ステップ４０）
画像処理装置は上記画像処理命令をロボット制御装置９より受け取る。
（ステップ４１）
画像処理装置から照明７を点灯させる信号を発信し、照明７を点灯させる。それと共に画像伝送装置に画像転送命令を制御線１を介し送信する。
（ステップ４２）
画像多重化伝送装置がカメラ１とカメラ２に同時にトリガ信号１とトリガ信号２を送信するトリガ信号をうけとる
（ステップ４３）（ステップ４４）
カメラ１が画像データを送信、同時にカメラ２も画像データを送信する。
（ステップ４５）
カメラ１の画像データは、あらかじめ制御回路２７にて選択回路１が画像データ伝送路１を選択してあるため送信回路２２によって単一伝送路１２にカメラ１の画像データが送信される。
（ステップ４６）
選択回路２は、カメラ２の画像データを選択するように、制御回路２７から信号をあらかじめ受けている。カメラ１の画像データが単一伝送路１２に送信される一方で、メモリ２４にカメラ２の画像データが書き込まれる。
（ステップ４７）
単一伝送路１２に送信された画像データは、画像処理装置が受けとる。
（ステップ４８）
画像データの送信完了の後、画像処理装置が取得した画像データより画像処理を行いステレオ計測に必要な画像領域を算出する。ひとつの画像データのうち画像領域が全域が必要な場合は全域を算出し、部分的に必要な場合は、一部のみを算出する。（必要な領域の特定は、簡単な例について上述した。）
（ステップ４９）
算出された画像領域値を制御線１を介し画像多重化伝送装置に送信する。
（ステップ５０）
制御回路２７がロボットアーム１の作業に応じて、必要とされる画像領域値を受信し読み出し回路２５に画像領域値を（不図示の制御線を介し）指示する。
（ステップ５１）
制御回路２７が選択回路１に画像データの受け取り口として、読み出し画像データ伝送路２５ａを選択するよう指示する。
（ステップ５２）
制御回路２７が読み出し回路２５を（不図示の制御線を介し）起動する。
（ステップ５３）
起動した読み出し回路２５が画像データを読みだし所定の信号フォーマットにて読み出し画像データ伝送路２５ａに送信する。送信される画像データは、前述のように、画像データ全域であっても良いし、必要な部分だけであってもよい。
（ステップ５４）
選択回路１によって選択された読み出し画像データを送信回路２２が単一伝送路に送信する。
（ステップ５５）
画像処理装置８は送られてきた画像データ（または部分画像データ）を受信する。
【００３６】
先行して送信されたカメラ１の画像データと、今回受信したカメラ２の画像データとの２つの画像から、ステレオ画像法によりワーク６の３次元位置情報をＣＰＵ３３で算出する。なお、ステレオ画像法による２つの画像から３次元位置を算出方法は一般的な方法のため説明はしない。
（ステップ５６）
画像処理装置８は、通信回路２に接続された制御線２を介し、ワーク６の３次元位置の情報を、制御線２をロボット制御装置９に送信する。
（ステップ５７）
ロボット制御装置９が上記のワーク６の３次元位置の情報に基づきロボットアーム１に所定の動作を行わせる。
【００３７】
このようなステップを踏んで、撮像した画像情報のうち、必要な画像情報のみを単一伝送路１２を介して伝送することで、伝送路を増やす事なくロボットアーム１の精密な制御が可能となる。
【００３８】
図５は本実施例の形態による画像データ（または部分画像データ）のタイミングチャートである。ここでは、画素同時読み出しのできる２００万画素のカメラで３０ＭＨｚの画素クロックで読み出せるものをカメラ１、カメラ２にそれぞれ使用したとする。
【００３９】
それぞれの信号のタイミングには６０〜６８の符号をふってある。ただし、メモリ読み出し［３０ＭＨｚ］６４と、その２倍の速さで読み出したメモリ読み出し［６０ＭＨｚ］６６との２つの場合に対応して画像処理−１、画像処理−２の２つのタイミングチャートを記載した。
【００４０】
また従来の画像伝送方法（カメラ１とカメラ２とで得た画像を順番に伝送する方法）によるタイミングチャートは６９と７０である。
【００４１】
まず画像伝送装置２の制御回路２７からカメラ１，カメラ２にトリガ１，トリガ２がそれぞれ送信される（図５では２つのトリガをひとつにまとめてある）。
【００４２】
トリガを受けて、画像１［３０ＭＨｚ］，画像２［３０ＭＨｚ］で示されたタイミングで、カメラ１、カメラ２から画像データ１と画像データ２が、画像データ伝送路１，画像伝送路２を介して画像伝送装置２に送信される。
【００４３】
画像データ１と画像データ２の送信開始と同時に、一方では６５で示された単一伝送路には選択されたカメラ１の画像データ１の送信が開始され、他方では、６３のタイミングでカメラ２の画像データ２のフレーム２１がメモリに書き込まれる。
【００４４】
その後、６７で示されたタイミングで、まず画像処理−１の（１）により三次元位置の計測が必要な画像領域が算出される。画像処理−１の（１）が終了したタイミングで制御線１を介し算出結果が画像伝送装置２に送信され６４のタイミングでメモリ読み出し回路に必要な画像領域が設定され（時間が短いため不図示）即座に画像フレーム‘２１が６５のフレーム‘２１の様にメモリから画像データ２が読み出され単一伝送路に送信される。
【００４５】
画像処理装置８は画像データ２を受け取ると画像処理−１の（２）のタイミングでステレオ法による三次元位置の算出を行いワークの３次元位置を算出しロボット制御装置に位置情報を送信する。
【００４６】
ここで従来の画像伝送方法と、本発明の差異を説明する。
従来例の特開２００３−２７４３７４にある画像の多重化伝送装置（従来の伝送方法）によると下記のような不都合が生じる。
【００４７】
従来例では６９で示されたタイミングチャートのごとくカメラ１の画像データの転送に要するフレーム１１とカメラ２の画像データの転送に要するフレーム２２は、画像処理データが受け取ってから画像処理１と２を実行するので画像処理の結果が出るまで時間は７０のタイムチャートの如く本実施例より長くなる。
【００４８】
２画素同時読み出しのできる２００万画素のカメラを３０ＭＨｚの画素クロックで読み出せるとすると１フレームの時間は
（２００×１００００）／２）／（３０×１００００００）＝３３ｍ秒（ミリ秒）となる。
【００４９】
部分画像領域が全体の１／４の面積だとすると、その読み出しには約８ｍ秒かかり、あわせて３３ｍ秒＋８ｍ秒＝４１ｍ秒ですむ。（カメラの画像データ送信クロックとメモリ読み出しクロックは同じとした。）
メモリの読み出しクロックが６０ＭＨｚ（カメラの２倍の速度）で読み出すとすると部分読み出しの際の上記８ｍ秒はさらに１／２の４ｍ秒とする事ができ、画像の取得から３３ｍ秒＋４ｍ秒＝３７ｍ秒で三次元位置情報の算出を開始することができる。
【００５０】
一方、従来例であると３３ｍ秒が２回で６６ｍ秒の時間がかかってしまう、さらに必要な部分画像領域が小さければさらに差は大きくなる。
【００５１】
又、本発明では、ステレオ画像法で計算に用いる２つの画像はフレーム１１とフレーム２１の部分画像であり同時刻の画像データであるが、従来法ではフレーム１１とフレーム２２を用いることになる時刻差が３３ｍ秒ずれた２つの画像を使うことになりその間に振動等でカメラ位置が影響を受けるとステレオ法の解析結果に誤差を生じることはいうまでもない。つまり従来の伝送方法では、複数画像の同時取得はできない。
【００５２】
さらに、部分画像読み出し時に読み出しクロックをカメラの画像データ送信クロックよりも高速にする事ができる。
【００５３】
【表１】
2011010109.tif 000003
【００５４】
表１によると、本発明の方法はメモリを使わない従来の伝送方法（１）とくらべると約半分の時間で伝送できる。
【００５５】
【表２】
2011010109.tif 000004
【００５６】
本発明の画像伝送方法と従来の画像伝送方法の機能面で比較した結果を表２に示した。
【００５７】
従来の画像伝送方法は、回路は簡素なものの、２つのカメラから同時に画像を取得することは、伝送路の増設無しには困難であったし、伝送時間も取得した画像データを時間的に直列に伝送するので多くかかっていた。
【００５８】
本発明は従来の画像伝送技術と比べ、回路を簡素にしつつも複数画像の同時取得が可能で、また伝送時間が早く完了するため優れている。また、画像データ１は常に画像処理装置に全データが伝送されているため、ステレオ法を使用しなくてもよい場合には通常のカメラとしてただちに利用できる。ステレオ法を利用するときのみ２つのカメラから取得した画像データを用いればよい。
【産業上の利用可能性】
【００５９】
本発明の画像伝送装置は、特に省スペースやコストの観点から画像伝送路の増設に制限がある産業用のロボットアームにて好適に利用されうる。
【符号の説明】
【００６０】
１  ロボットアーム
２  画像伝送装置
３  カメラ１
４  カメラ１
５  カメラ２
８  画像処理装置
９  ロボット制御装置
１０  画像データ伝送路１
１１  画像データ伝送路２
１２  単一伝送路
１３  制御線１
１４  制御線
２２１ａ  選択回路１
２１ｂ  選択回路２
２３  書き込み回路
２４  メモリ
２５  読み出し回路
２６  クロック発振器
２７  制御回路
２２  送信回路
２９ａ  トリガ
１２９ｂ  トリガ２
【図１】
2011010109.tif 000005
【図２】
2011010109.tif 000006
【図３】
2011010109.tif 000007
【図４】
2011010109.tif 000008
【図５】
2011010109.tif 000009