(57)【要約】      （修正有）【課題】高い応答性と高い認識率を有する画像センサ追従装置を提供する。【解決手段】対象物との距離を計測する光電センサ５と、カメラ４が取り込んだ対象物の画像に対して物体認識し重心点を算出する画像処理部７と、画像の中心から対象物までのローリング角度を算出するローリング軸ずれ角度算出部８と、ローリング角度がゼロになるまでローリング軸の駆動部を駆動するローリング軸駆動部９と、対象物重心点までの距離とスキャン角度を計測する光電センサ距離計測部１０と、カメラ４と対象物４３の角度を算出するカメラ追従角度演算部１１と、逆運動学演算部３１と、ヨーイング軸・ピッチング軸駆動部３２とを備えたものである。【選択図】図３
2007218687.tif 000002
【特許請求の範囲】
【請求項１】
ヨーイング軸駆動部（１）と、前記ヨーイング軸駆動部（１）に搭載されたピッチング軸駆動部（２）と前記ピッチング軸駆動部（２）に搭載されたローリング軸駆動部（３）を有し、前記ローリング軸駆動部（３）に対象物（４３）画像を撮影するカメラ（４）を備えた画像センサ追従装置において、
前記ローリング軸駆動部（３）上の前記カメラ（４）の近傍に搭載され対象物との距離を計測する光電センサ（５）と、前記カメラ（４）が取り込んだ対象物の画像に対して物体認識し重心点を算出する画像処理部（７）と、画像の中心から対象物までのローリング角度を算出するローリング軸ずれ角度算出部（８）と、ローリング角度がゼロになるまでローリング軸の駆動部を駆動するローリング軸駆動部（９）と、前記光電センサ（５）を用いて対象物重心点までの距離とスキャン角度を計測する光電センサ距離計測部（１０）と、前記光電センサ（５）から前記対象物（４３）までの距離とスキャン角度および前記光電センサ（５）と前記カメラ（４）との位置関係から前記カメラ（４）と前記対象物（４３）の角度を算出するカメラ追従角度演算部（１１）と、前記カメラ（４）と前記対象物（４３）の角度からヨーイング軸とピッチング軸の角度を算出する逆運動学演算部（３１）と、ヨーイング軸とピッチング軸の駆動部をその角度がゼロになるまで駆動させるヨーイング軸・ピッチング軸駆動部（３２）とを備えたことを特徴とする画像センサ追従装置。
【請求項２】
前記カメラ追従角度演算部（１１）は、前記光電センサ（５）と前記対象物（４３）との距離をd、前記光電センサ（５）のスキャン角度をβ、光電センサ（５）とカメラ（４）との距離をＬ、カメラ（４）と対象物（４３）の角度をθとして次式
2007218687.tif 000005
で前記角度をθを演算することを特徴とする請求項１記載の画像センサ追従装置。
【請求項３】
ヨーイング軸駆動部（１）と、前記ヨーイング軸駆動部（１）に搭載されたピッチング軸駆動部（２）と前記ピッチング軸駆動部（２）に搭載されたローリング軸駆動部（３）を有し、前記ローリング軸駆動部（３）に対象物（４３）画像を撮影するカメラ（４）と、
前記ローリング軸駆動部（３）上の前記カメラ（４）の近傍に搭載され対象物との距離を計測する光電センサ（５）とを備えた画像センサ追従装置の画像センサ追従装置プログラムにおいて、
前記カメラ（４）が取り込んだ対象物の画像に対して、画像処理部（７）にて物体認識し重心点を算出するステップと、前記画像の中心から前記対象物（４３）までのローリング角度を算出するステップと、前記ローリング角度がゼロになるまでローリング軸を駆動するステップと、前記光電センサ（５）を用いて前記対象物（４３）の重心点までの距離とスキャン角度を計測するステップと、前記光電センサ（５）から前記対象物（４３）までの距離とスキャン角度および前記光電センサ（５）と前記カメラ（４）の位置関係から前記カメラ（４）と前記対象物（４３）の角度を算出するステップと、前記カメラ（４）と前記対象物（４３）の角度から逆運動学演算により、ヨーイング軸とピッチング軸の角度を算出するステップと、ヨーイング軸とピッチング軸の駆動部をその角度がゼロになるまで動作させるステップとからなる画像センサ追従装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヨーイング軸とピッチング軸とローリング軸の３軸回転機構に搭載された画像センサの対象物を追従する画像センサ追従装置に関する。
【背景技術】
【０００２】
従来、ヨーイング軸とピッチング軸の２軸を有する画像センサは図４のようになっている。図において、１はヨーイング軸駆動部、２はヨーイング軸駆動部１に搭載されたピッチング軸駆動部、４はピッチング軸回転部２に搭載されたカメラである。カメラ４を用いた対象物の追従方法は従来、図５のようになっている。入力部６はゼロである。よって初めは画像処理部７にてカメラ画像から対象物を認識し、カメラ中心と一致しているか否かを画像処理により判断する。一致していれば終了である。一致していない場合、ヨーイング軸とピッチング軸の駆動部１３によりヨーイング軸とピッチング軸それぞれを固定値分、駆動させる。
また、特許文献１では、画像処理により駆動モータの移動量を算出する方法が開示されている。以下に簡単に図面を用いて説明する。図６において、自動追尾装置１２を視準用プログラムに従い所定のパターンで視準動作させることにより、視準用望遠鏡１２４で作業車輌側自動追尾装置１３の着色塗装域を探索し、視準用望遠鏡１２４の視野内に着色塗装域が現われたことが画像処理装置１４２により認識されたならば、画像処理による視準制御へ切り替え、画像処理装置１４２で抽出した着色塗装域画像の重心、及びこの重心と視準用望遠鏡１２４の視準用十字線マーク間の距離を画像メモリ１４４上の画素座標から算出し、この算出された距離データを基に、着色塗装域の重心が視準用十字マークに重なるように、駆動モータ１２ｃ、１２ｇをフィードバック制御する。
【特許文献１】特開平７−６３５５８公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、図５に示す従来の画像センサの処理方法では対象物までの距離が不明なため、固定角度でしかヨーイング駆動とピッチング駆動を出来ない。よってフィードバックループを多数回す必要があり、追従の応答性が遅いという問題があった。
また、特許文献１に示す対象物の重心点を算出し、カメラの視準用十字線マーク間の距離を画素座標から算出する方法では、対象物が同一面上にある場合のみ、駆動の角度姿勢から距離が算出できる。よって、壁や地面などの日常生活空間には使用できないという問題もあった。
本発明はこのような問題点に鑑みてなされたものであり、高い応答性と高い認識率を有する画像センサ追従装置とそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記問題を解決するため、 請求項１記載の対象物追従方法では、
ヨーイング軸駆動部（１）と、前記ヨーイング軸駆動部（１）に搭載されたピッチング軸駆動部（２）と前記ピッチング軸駆動部（２）に搭載されたローリング軸駆動部（３）を有し、前記ローリング軸駆動部（３）に対象物（４３）画像を撮影するカメラ（４）を備えた画像センサ追従装置において、
前記ローリング軸駆動部（３）上の前記カメラ（４）の近傍に搭載され対象物との距離を計測する光電センサ（５）と、前記カメラ（４）が取り込んだ対象物の画像に対して物体認識し重心点を算出する画像処理部（７）と、画像の中心から対象物までのローリング角度を算出するローリング軸ずれ角度算出部（８）と、ローリング角度がゼロになるまでローリング軸の駆動部を駆動するローリング軸駆動部（９）と、前記光電センサ（５）を用いて対象物重心点までの距離とスキャン角度を計測する光電センサ距離計測部（１０）と、前記光電センサ（５）から前記対象物（４３）までの距離とスキャン角度および前記光電センサ（５）と前記カメラ（４）との位置関係から前記カメラ（４）と前記対象物（４３）の角度を算出するカメラ追従角度演算部（１１）と、前記カメラ（４）と前記対象物（４３）の角度からヨーイング軸とピッチング軸の角度を算出する逆運動学演算部（３１）と、ヨーイング軸とピッチング軸の駆動部をその角度がゼロになるまで駆動させるヨーイング軸・ピッチング軸駆動部（３２）とを備えたことを特徴とするものである。
【０００５】
また請求項２記載の発明は、請求項１において前記カメラ追従角度演算部（１１）は、前記光電センサ（５）と前記対象物（４３）との距離をd、前記光電センサ（５）のスキャン角度をβ、光電センサ（５）とカメラ（４）との距離をＬ、カメラ（４）と対象物（４３）の角度をθとして次式
【０００６】
【数１】
2007218687.tif 000003
【０００７】
で前記角度をθを演算することを特徴とするものである。
【０００８】
また請求項３記載の発明は、ヨーイング軸駆動部（１）と、前記ヨーイング軸駆動部（１）に搭載されたピッチング軸駆動部（２）と前記ピッチング軸駆動部（２）に搭載されたローリング軸駆動部（３）を有し、前記ローリング軸駆動部（３）に対象物（４３）画像を撮影するカメラ（４）と、前記ローリング軸駆動部（３）上の前記カメラ（４）の近傍に搭載され対象物との距離を計測する光電センサ（５）とを備えた画像センサ追従装置の画像センサ追従装置プログラムにおいて、
前記カメラ（４）が取り込んだ対象物の画像に対して、画像処理部（７）にて物体認識し重心点を算出するステップと、前記画像の中心から前記対象物（４３）までのローリング角度を算出するステップと、前記ローリング角度がゼロになるまでローリング軸を駆動するステップと、前記光電センサ（５）を用いて前記対象物（４３）の重心点までの距離とスキャン角度を計測するステップと、前記光電センサ（５）から前記対象物（４３）までの距離とスキャン角度および前記光電センサ（５）と前記カメラ（４）の位置関係から前記カメラ（４）と前記対象物（４３）の角度を算出するステップと、前記カメラ（４）と前記対象物（４３）の角度から逆運動学演算により、ヨーイング軸とピッチング軸の角度を算出するステップと、ヨーイング軸とピッチング軸の駆動部をその角度がゼロになるまで動作させるステップとからなるものである。
【発明の効果】
【０００９】
請求項１〜３に記載の発明によると、１回のフィードバックループでカメラ画像の中心と対象物との正確な角度を算出することができ、画像センサ追従装置の追従の応答速度を上げることできる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の具体的実施例を図に基づいて説明する。
【実施例１】
【００１１】
以下、本発明の実施の形態について図１にもとづいて説明する。
図１は、本発明において使用する画像センサである。図１において、１はヨーイング軸駆動部、２はピッチング軸駆動部、３はローリング軸駆動部、４は対象物４３の画像を撮影するカメラ、５は対象物４３の距離を測定する光電センサである。ピッチング軸駆動部２はヨーイング軸駆動部１に搭載されている。ローリング軸駆動部３はピッチング軸駆動部２に搭載されている。カメラ４と光電センサ５はローリング軸駆動３に搭載されている。図１が従来例の図４と異なる部分はローリング軸駆動３をピッチング軸駆動部２に搭載し、ローリング軸駆動部３上にカメラ４と光電センサ５を設けた部分である。  
【００１２】
図２は、実施例１の全体構成を示すブロック図である。ブロック図は画像センサ追従装置のセンサ部５０とコンピュータ５５、コンピュータ５５を上位制御装置と接続するバス６５に大別できる。センサ部５０において、５１はヨーイング軸駆動モータ、５２はピッチング軸駆動モータ、５３はローリング軸駆動モータ、５４は５１〜５３の各軸モータを駆動する駆動制御回路である。またコンピュータ５５において、５６はＣＰＵ、５８は制御プログラム、５９は画像データ、６０は形状データ、５７は制御プログラム５８と画像データ５９と形状データ６０を記憶するメモリである。６１はインタフェース、６２は外部入力部、６３は表示部、６４はモータ制御部である。カメラ４と光電センサ５の信号は外部入力部６２からインタフェース６１を介してバス６５を通してＣＰＵ５６やメモリ５７へ転送される。ＣＰＵ５６は入力された信号に基づいて所定の演算をした後、ローリング軸駆動モータ５３、ヨーイング軸駆動モータ５１、ピッチング軸駆動モータ５２を駆動して対象物追従するよう制御する。
【００１３】
図３は本発明の処理方法を示すブロック図である。図３において、６は入力部、７は対象物４３を認識する画像処理部、ローリング軸ずれ角度算出部８、９はローリング軸駆動部、１０は光電センサ距離計測部、１１はカメラ追従角度演算部、３１は逆運動学演算部、３２はヨーイング軸とピッチング軸の駆動部である。
次に動作を説明する。入力部６により、カメラ４が対象物４３の画像を取り込む。次に、画像処理部７にて物体認識し重心点を算出する。そのときのカメラ画像が図７である。次にローリング軸ずれ角度算出部８にて画像の重心から対象物４３までのローリング角度α（４４）を算出する。ローリング角度α（４４）がゼロになるまでローリング軸の駆動部９を駆動する、このときのカメラ画像が図８である。図８は移動完了した状態であり、対象物は光電センサの測定範囲に存在する。次に光電センサ距離計測部１０にて光電センサ５を用いて対象物重心点までの距離d（４６）とスキャン角度β（４７）を計測する。図９にセンサと対象物の位置関係を示す。図において４６は光電センサ５と対象物４３との距離d、４７は光電センサのスキャン角度β、４８は光電センサ５とカメラ４との距離Ｌ、４９はカメラと対象物の角度θである。
光電センサとカメラの位置関係は既知であるため、カメラと対象物の角度θは（１）で算出することができる。
【００１４】
【数２】
2007218687.tif 000004
【００１５】
次にカメラ４と対象物４３の角度θ４９から、逆運動学演算部３１により、ヨーイング軸１とピッチング軸２の角度を算出する。ヨーイング軸１とピッチング軸２の駆動部３２をその角度がゼロになるまで動作させる。
【産業上の利用可能性】
【００１６】
カメラと光電センサの両方の情報を組合せることにより、高速応答性、高い認識率を実現できるので、逆光がある屋外環境や夜間環境にも適用することができる。特に移動ロボットの画像認識用視覚センサの画像センサ追従装置に適用できる。
【図面の簡単な説明】
【００１７】
【図１】本発明第１の実施形態の画像センサ構成を示す説明図
【図２】実施例１の全体構成を示すブロック図
【図３】本発明第１の実施形態の処理方法を示すブロック図
【図４】従来の画像センサ構成を示す説明図
【図５】従来の画像センサの処理方法を示すブロック図(１)
【図６】従来の画像センサの処理方法を示す説明図(２)
【図７】本発明の初期カメラ画像
【図８】本発明のローリング軸回転後のカメラ画像
【図９】本発明のセンサ、対象物の位置関係
【符号の説明】
【００１８】
１  ヨーイング軸駆動部
２  ピッチング軸駆動部
３  ローリング軸駆動部
４  カメラ
５  光電センサ
６  入力部
７  物体認識部
８  ローリング軸ずれ角度算出部
９  ローリング軸駆動部
１０  光電センサ距離計測部
１１  カメラ追従角度演算部
１２  自動追尾装置
１２４  視準用望遠鏡
１３  作業車両側自動追尾装置
１４２  画像処理装置
１４４  画像メモリ
１２ｃ、１２ｇ  駆動モータ
３１  逆運動学演算部
３２  ヨーイング軸とピッチング軸の駆動部
４１  垂直軸
４２  水平軸
４３  対象物
４４  画像の中心から対象物までのローリング角度α
４５  光電センサの測定範囲
４６  光電センサと対象物の距離d
４７  光電センサのスキャン角度β
４８  光電センサとカメラの位置関係Ｌ
４９  カメラと対象物の角度θ
５０  センサ部
５１  ヨーイング軸駆動モータ
５２  ピッチング軸駆動モータ
５３  ローリング軸駆動モータ
５４  駆動制御回路
５５  コンピュータ
５６  ＣＰＵ
５７  メモリ
５８  制御プログラム
５９  画像データ
６０  形状データ
６１  インタフェース
６２  外部入力部
６３  表示部
６４  モータ制御部
６５  バス
【図１】
2007218687.tif 000006
【図２】
2007218687.tif 000007
【図３】
2007218687.tif 000008
【図４】
2007218687.tif 000009
【図５】
2007218687.tif 000010
【図６】
2007218687.tif 000011
【図７】
2007218687.tif 000012
【図８】
2007218687.tif 000013
【図９】
2007218687.tif 000014