(57)【特許請求の範囲】
【請求項１】
視覚システムのための画像処理方法であって、
前記視覚システムが中央処理装置と、少なくとも二つのカメラ機構と、各カメラ機構の回転角度信号を取得するセンサとを備え、
各カメラ機構が少なくとも一台のカメラを有し、
前記各カメラ機構が撮影した各画像を前記中央処理装置に送信し、
前記センサが取得した回転角度信号を前記中央処理装置に送信し、
前記二つのカメラ機構がそれぞれの視軸の周りを共役回転運動する時に、
前記中央処理装置が前記カメラ機構の回転角度に応じて前記各画像に対して回転角度補正処理を行うものであり、
前記各画像を横方向の画素配列方向であるＸ軸に合わせる、
ことを特徴とする視覚システムのための画像処理方法。
【請求項２】
前記回転角度信号が各前記カメラ機構の視軸周りの回転の回転角度値又は回転速度値を含む、
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法。
【請求項３】
前記各カメラ機構の取得の時刻が前記センサの前記回転角度信号取得の時刻と同時刻である、
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法。
【請求項４】
前記補正方法は、
センサを介して前記二つのカメラ機構の回転角度値θを取得し、かつ取得した前記回転角度値θを前記中央処理装置へと出力し、
前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にθ°回転させることで、前記二つの画像の位置を補正する方法である、
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法。
【請求項５】
前記補正方法は、
センサを介して前記二つのカメラ機構の回転速度ｖを取得し、かつ取得した前記回転速度ｖを前記中央処理装置へと出力し、
前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にｖ速度で回転させることで、前記二つの画像を安定させる方法である、
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法。
【請求項６】
前記補正処理の方法は、
前記中央処理装置が画像処理を通じて前記二つの画像の回転角度値αを自発的に取得し、
前記中央処理装置が前記二つの画像を前記二つの画像の回転方向の反対方向に沿ってα°回転させ、前記二つの画像の位置を補正する手順を含む、
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法、
【請求項７】
前記補正方法は、
センサを介して前記二つのカメラ機構の回転角度値αを取得し、かつ取得した前記回転角度値αを前記中央処理装置へと出力し、
前記中央処理装置が回転角度値αに基づき、前記二つの画像に対するマッチング操作を行い、視差画像を取得する手順を含む、
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法、
【請求項８】
前記補正処理の方法は、以下の手順を含む、
手順一：センサを介して前記二つのカメラ機構の回転角度値θを取得し、かつ取得した前記回転角度値θを前記中央処理装置へと出力する
手順二：前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にθ°回転させることで、補正処理後の二つの画像を取得する
手順三：前記中央処理装置が前記手順二における補正処理後の二つの画像のカメラ回転前に対応する回転角度値βを自発的に取得するものであり、βは前記手順二における補正処理後の二つの画像と最終位置補正後の二つの画像間の夾角である
手順四：前記中央処理装置が前記手順二における補正処理後の二つの画像をβ°回転させ、前記二つの画像の位置を補正する
ことを特徴とする請求項１に記載の視覚システムのための画像処理方法、
【請求項９】
視覚システムのための画像処理システムであって、
それぞれの視軸の周りを回転運動し得る二つのカメラ機構と、
前記カメラ機構の回転角度信号を取得するセンサと、
前記カメラ機構の撮影した画像と前記回転角度信号を受信し、かつ前記回転角度信号に応じて前記画像に対する補正処理を行う中央処理装置と、を備え、
前記画像を横方向の画素配列方向であるＸ軸に合わせる、
ことを特徴とする視覚システムのための画像処理システム。
【請求項１０】
前記回転角度信号が前記カメラ機構の視軸周りの回転の回転角度値又は回転速度値を含む、
ことを特徴とする請求項９に記載の視覚システムのための画像処理システム、
【請求項１１】
前記二つのカメラ機構がそれぞれの視軸の周りを共役回転運動する時に、前記中央処理装置が共役回転角度を利用してエピポーラ線のずれを取得し、かつ前記画像に対する処理を行うことで、前記画像の位置を補正する、
ことを特徴とする請求項９に記載の視覚システムのための画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はバイオニック分野に属するものであり、視覚システムのための画像処理方法及びシステムに関わるものである。
【背景技術】
【０００２】
ロボット技術はサイバネティックス、メカトロニクス、バイオニクス及び材料科学等の技術を統合したものであり、現在、かつてないスピードで社会生活の各分野に進出しつつあり、ロボットが人間に代わって地上、水面下及び空中で作業を行うことは人間に有用な科学技術を具現化したの代表的なものである。現在、世界各国で研究開発されるロボットの内、歩行、アーム運動等の技術は既に極めて大きな成功を収めているが、人間は目を通して客観的世界の８０％の情報を感知することから、ロボットについても、視覚が最も重要な感知機能の一つに数えられる。
【０００３】
現在、ロボットの視覚システムでは、通常、カメラを用いて画像の取得を実現しているが、ロボットの動作環境や姿勢の変化、ひいてはロボット本体の振動等の問題のため、ロボット視覚システムに採用するカメラは３自由度を有するものが多く、これは水平軸周りの回転（上下回転）、垂直軸周りの回転（左右回転）、及び視軸周りの回転を含む、３方向上の自由な回転を実現するものである。しかしながら、この回転は往往にしてカメラが取得する画像に不鮮明な状況を生じさせ、従来技術において、水平軸周りの回転と垂直軸周りの回転に関わる多くの研究に関しては、現在、前記両方向の回転によって生じる画像の鮮明さと正確性が不足するという問題を補正するための成熟したシステムと方法が既に存在する。しかしながら、視軸方向周りの回転がカメラの画像取得に対して及ぼす影響については、現在もなおほとんど研究が行われていない。カメラが視軸周りに一定の角度で回転する時に、カメラに対して何の処理も行わなければ、カメラが取得する画像には回転に応じて一定の角度が生じ、画像が不鮮明になるといった状況が出現する。
【発明の概要】
【０００４】
本発明は視覚システムのための画像処理方法及びシステムを提供し、従来技術においてカメラが視軸周りに回転する時に出現する画像が不鮮明になるという課題を解決することを目的とする。
【０００５】
上述の技術的課題を解決するため、本発明が提供する技術的解決手段は以下の通りである。
【０００６】
本発明は視覚システムのための画像処理方法を提供するものであり、前記視覚システムが前記中央処理装置と、少なくとも二つのカメラ機構と、各カメラ機構の回転角度信号を取得するセンサとを備え、各カメラ機構が少なくとも一台のカメラを有し、前記カメラ機構が撮影した画像を前記中央処理装置に送信し、前記センサが取得した回転角度信号を前記中央処理装置に送信し、前記二つのカメラ機構がそれぞれの視軸の周りを共役回転運動する時に、前記中央処理装置が前記カメラ機構の回転角度に応じて前記画像に対して回転角度補正処理を行う。
【０００７】
更に、前記回転角度信号が各前記カメラ機構の視軸周りの回転の回転角度値又は回転速度値を含む。
【０００８】
更に、前記各カメラ機構の取得の時刻が前記センサの前記回転角度信号取得の時刻と同時刻である。
【０００９】
更に、前記補正方法は、具体的に以下の手順を含む。
センサを介して前記二つのカメラ機構の回転角度値θを取得し、かつ取得した前記回転角度値θを前記中央処理装置へと出力する。
前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にθ°回転させることで、前記二つの画像の位置を補正する。
【００１０】
更に、前記補正方法は具体的に以下の手順を含む。
センサを介して前記二つのカメラ機構の回転速度ｖを取得し、かつ取得した前記回転速度ｖを前記中央処理装置へと出力する。
前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向に速度ｖで回転させることで、前記二つの画像を安定させる。
【００１１】
更に、前記補正処理の方法は具体的に以下の手順を含む。
前記中央処理装置が画像処理を通じて前記二つの画像の回転角度値αを自発的に取得する。
前記中央処理装置が前記二つの画像を前記二つの画像の回転方向の反対方向にα°回転させ、前記二つの画像の位置を補正する。
【００１２】
更に、前記補正方法は具体的に以下の手順を含む。
センサを介して前記二つのカメラ機構の回転角度値αを取得し、かつ取得した前記回転角度値αを前記中央処理装置へと出力する。
前記中央処理装置が回転角度値αに基づき、前記二つの画像に対するマッチング操作を行い、視差画像を取得する。
【００１３】
更に、前記補正処理の方法は具体的に以下の手順を含む。
手順一：センサを介して前記二つのカメラ機構の回転角度値θを取得し、かつ取得した前記回転角度値θを前記中央処理装置へと出力する。
手順二：前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にθ°回転させることで、補正処理後の二つの画像を取得する。
手順三：前記中央処理装置が前記手順二における補正処理後の二つの画像のカメラ回転前に対応する回転角度値βを自発的に取得するものであり、このβは前記手順二における補正処理後の二つの画像と最終位置補正後の二つの画像間の夾角である。
手順四：前記中央処理装置が前記手順二における補正処理後の二つの画像をβ°回転させ、前記二つの画像の位置を補正する。
【００１４】
本発明は更に以下の視覚システムのための画像処理システムを提供する。
視軸の周りを回転運動し得る少なくとも一つのカメラ機構と、
前記カメラ機構の回転角度信号を取得するセンサと、
前記カメラ機構の撮影した画像と前記回転角度信号を受信し、かつ前記回転角度信号に応じて前記画像に対する補正処理を行う中央処理装置とを備える。
【００１５】
更に、前記回転角度信号は前記カメラ機構の視軸周りの回転の回転角度値又は回転速度値を含む。
【００１６】
更に、前記カメラ機構は二つであって、前記二つのカメラ機構がそれぞれの視軸の周りを回転運動し得る。
【００１７】
更に、前記二つのカメラ機構は、それぞれの視軸の周りを共役回転運動（conjugate rotational motion）する時、前記中央処理装置が共役回転角度を利用してエピポーラ線のずれを取得し、かつ前記画像に対する処理を行うことで、前記画像の位置を補正する。
【００１８】
従来技術に比べ、本発明は以下の優位性を有する。
本発明はカメラと被写体又は情景が視軸方向の周りで相対して回転する時に、撮影した画像が回転によって不鮮明になることを解決するための解決手段を提供するものであり、特に二つのカメラ機構が何等かの原因によって、例えば回転する物体を追跡している間にそれぞれの視軸周りに共役回転する時において、二つのカメラ機構が撮影した画像に高低差のずれが生じるという課題を解決するものである。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例が提供する視覚システムのための画像処理方法における二つのカメラ機構の位置補正時に撮影した二つの画像の概要を示す図である。
【図２】本発明の実施例が提供する視覚システムのための画像処理方法における二つのカメラ機構の共役回転後に撮影した二つの画像の概要を示す図である。
【図３】本発明の実施例が提供する視覚システムのための画像処理方法において図２の二つのカメラ機構が撮影した二つの画像に対する補正処理を行った後の概要を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面と具体的な実施例を組み合わせて、本発明が提供する視覚システムのための画像処理方法及びシステムについて、更に詳細に説明する。また以下の説明と特許請求の範囲に基づき、本発明の優位性と特長を更に明確にする。なお、いずれの図面にも非常に簡易化された形式が採用され、不正確な縮尺が使用されるが、これは本発明の実施例に関する説明を更に容易にし、明確にするためであることに留意すべきである。
【００２１】
図１に示す通り、本発明は視覚システムのための画像処理方法を提供し、前記視覚システムが中央処理装置と、少なくとも二つのカメラ機構（前記各カメラ機構は少なくとも一台のカメラを有する）と、各カメラ機構の回転角度信号を取得するセンサとを備え、前記カメラ機構が撮影した画像を前記中央処理装置に送信し、前記センサが取得した回転角度信号を前記中央処理装置に送信し、当前記二つのカメラ機構がそれぞれの視軸の周りを回転運動（同一方向の回転であり、かつ回転角度が同一である）し、前記中央処理装置が前記カメラ機構の回転角度に応じて前記画像に対して回転角度補正処理を行う。
【００２２】
更に、前記回転角度信号が各前記カメラ機構の視軸周りの回転の回転角度値又は回転速度値を含む。
【００２３】
更に、前記各カメラ機構の取得の時刻が前記センサの前記回転角度信号取得の時刻と同時刻である。
【００２４】
本実施例において、前記各カメラ機構が更に二台以上の一列に並んで設置されるカメラを有することができ、一台を広角カメラ、もう一台を望遠カメラとする。広角カメラと望遠カメラを同一のカメラ機構に設置することで、カメラ機構の目標物に対する迅速な位置決めと高精度な追跡を実現し得る。
【００２５】
前記各カメラ機構の位置補正時に、カメラ感光チップの横方向の画素配列方向をｘ軸とし、縦方向の画素配列方向をｙ軸とし、視軸方向をｚ軸とする。
カメラ機構が視軸（ｚ軸）方向の周りを回転した後、その座標軸ｘとｙはその回転に対応してｘ’とｙ’に変わる。
本実施例において、二つのカメラ機構の位置補正時に、その座標をそれぞれｘＬ、ｙＬ、ｚＬ及びｘＲ、ｙＲ、ｚＲとする。
二つのカメラ機構がそれぞれの視軸方向の周りを回転した後、座標軸はその回転に対応してｘＬ’、ｙＬ’及びｘＲ’、ｙＲ’に変わる。
【００２６】
前記二つのカメラ機構の位置補正時において、それぞれ撮影した二つの画像の水平方向はそれぞれｘ１軸とｘ２軸とされ、垂直方向がそれぞれｙ１軸とｙ２軸とされる。
前記二つのカメラ機構の位置補正時には、前記二つの画像のｘ１軸とｘ２軸は重なり合う。
【００２７】
図２に示す通り、前記二つのカメラ機構がそれぞれのｚ軸の周りを共役回転運動する時に、撮影した二つの画像の座標軸は共役回転運動に対応してｘ１’とｘ２’軸、ｙ１’とｙ２’軸に変わる。
二つのカメラ機構が同一方向に共役回転することから、カメラ機構にｙ軸方向の高低落差が生じ、この時に、撮影した二つの画像のフォトフレームが直立しているとしても、フォトフレーム内の前記二つの画像は共役回転に対応して、一定の角度回転しているため、二つの画像それぞれのｘ１’とｘ２’軸が重なり合わなくなり、ｙ１’又はｙ２’軸方向における高度差ｈが出現する。この時の前記二つの画像の回転角度は同一である（何故ならそれぞれに対応する二つのカメラ機構の回転角度値が同一であるため）。
【００２８】
前記二つのカメラ機構が同一方向に共役回転運動する時において、前記補正方法は具体的に以下の手順を含む：
【００２９】
センサを介して前記二つのカメラ機構の回転角度値θを取得し、かつ取得した前記回転角度値θを前記中央処理装置へと出力する。θは前記二つのカメラ機構の回転後におけるそれぞれのｘ’軸とｘ軸の間の夾角である。
またこの時の二つのカメラ機構の回転角度は同一である。
【００３０】
前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にθ°回転させることで、前記二つの画像のｘ１’軸とｘ２’軸を重ね合わせ、前記二つの画像の位置を補正する。
【００３１】
別の実施例において、画像の処理に関し、前記二つの画像の位置を補正する以外にも、更に補正方法を通じて前記二つの画像を安定させ得る。具体的には、前記補正方法は具体的に以下の手順を含む。
【００３２】
センサを介して前記二つのカメラ機構の回転速度ｖを取得し、かつ取得した前記回転速度ｖを前記中央処理装置へと出力する。
【００３３】
前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にｖ速度で回転させることで、前記二つの画像を安定させる。
【００３４】
なお本分野の技術者ならば、別の実施例において、前記補正処理の方法が具体的に以下の手順を含むことを充分に理解し得るはずである。
【００３５】
前記中央処理装置が画像処理を通じて前記二つの画像の回転角度値αを自発的に取得する。
【００３６】
前記中央処理装置が前記二つの画像を前記二つの画像の回転方向の反対方向に沿ってα°回転させ、二つの画像のｘ１’軸とｘ２’軸を重ね合わせ、前記二つの画像の位置を補正する。
【００３７】
なお、αは前記各画像と最終位置補正後の画像間の夾角である。
【００３８】
同様に、別の実施例において、画像処理によって二つの画像の迅速かつ正確な視差画像を取得し得る。具体的には、センサを介して前記二つのカメラ機構の回転角度値αを取得し、かつ取得した前記回転角度値αを前記中央処理装置へと出力する。
【００３９】
前記中央処理装置が回転角度値αに基づき、前記二つの画像に対するマッチング操作を行い、視差画像を取得する。
【００４０】
本分野の技術者ならば、具体的に以下の手順を含む、更に正確な画像処理方法について、充分に理解し得るはずである。
【００４１】
手順一：センサを介して前記二つのカメラ機構の回転角度値θを取得し、かつ取得した前記回転角度値θを前記中央処理装置へと出力するものであり、θは前記二つのカメラ機構の回転後におけるｘ’とｘ軸間の夾角である。
【００４２】
手順二：前記中央処理装置が前記二つの画像を前記カメラ機構の回転方向の反対方向にθ°回転させることで、補正処理後の二つの画像を取得する。
【００４３】
手順三：前記中央処理装置が前記手順二における補正処理後の二つの画像のカメラ回転前に対応する回転角度値βを自発的に取得するものであり、βは前記手順二における補正処理後の二つの画像と最終位置補正後の二つの画像間の夾角である。
【００４４】
手順四：前記中央処理装置が前記手順二における補正処理後の二つの画像をβ°回転させ、二つの画像のｘ１’軸とｘ２’軸を重ね合わせ、前記二つの画像の位置を補正する。
【００４５】
本分野の技術者ならば、上述の技術的解決手段におけるカメラ機構が一つのカメラ機構であってもよいことを理解し得るはずである。以上を念頭に置き、本発明は更に視覚システムのための画像処理方法を提供するものであり、前記視覚システムが中央処理装置と、少なくとも一つのカメラ機構とを有し、前記カメラ機構が撮影した画像を前記中央処理装置に送信し、当前記カメラ機構が軸方向の周りを回転する時に（対応する回転に追従する被写体又は情景によるカメラ機構の回転）、前記中央処理装置は、前記カメラ機構の回転角度に応じて前記画像に対して回転角度補正処理を行うことで、前記画像の位置を補正する。
【００４６】
カメラ機構が一つである時には、前記補正処理の方法は具体的に以下の手順を含む。
【００４７】
センサを介して前記カメラ機構の回転角度値θ’を取得し、かつ取得した前記回転角度値θ’を前記中央処理装置へと出力するものであり、θ’は前記カメラ機構の回転角度である。
【００４８】
前記中央処理装置が前記画像を前記カメラ機構の回転方向の反対方向に沿ってθ’°回転させ、前記画像の位置を補正する。該技術的解決手段はカメラ機構の回転角度を測定することによって、画像に対して相応の回転角度の補正を行い、これにより位置補正後の画像を取得するものである。
【００４９】
対応して別の実施例において、前記補正処理の方法は具体的に以下の手順を含む。
【００５０】
前記中央処理装置が画像処理を通じて前記画像の回転角度値α’を自発的に取得する
【００５１】
前記中央処理装置が前記画像を前記画像の回転方向の反対方向に沿ってα’°回転させ、前記画像の位置を補正する。
【００５２】
なお、α’は前記画像と最終位置補正後の画像間の夾角である。この技術的解決手段は、画像の分析を直接行うことによって、回転角度値を取得し、その後、画像に対する回転補正を直接行い、位置補正後の画像を取得するものである。
【００５３】
本分野の技術者ならば、上述した二種類の補正方法の優位性をまとめることで、補正処理の方法が具体的には以下の手順を含むことを更に充分に理解し得るはずである。
【００５４】
手順一：センサを介して前記カメラ機構の回転角度値θ’を取得し、かつ取得した前記回転角度値θ’を前記中央処理装置へと出力するものであり、θ’は前記カメラ機構の回転角度である。
【００５５】
手順二：前記中央処理装置が前記画像を前記カメラ機構の回転方向の反対方向に沿ってθ’°回転させ、補正処理後の画像を取得する。
【００５６】
手順三：前記中央処理装置が前記手順二における補正処理後の画像の回転角度値β’を自発的に取得し、β’が前記補正処理後の画像と最終位置補正後の画像間の夾角である。
【００５７】
手順四：前記中央処理装置が前記手順二における補正処理後の画像をβ’°回転させ、前記画像の位置を補正する。該技術的解決手段は、前二者の技術的解決手段における補正処理方法の優位性を統合し、まずカメラ機構の回転角度に応じて画像に対する迅速な回転補正を行い、更に画像を分析した後に回転補正を行うことで、更に正確な画像を取得するものである。
【００５８】
本発明は更に以下の視覚システムのための画像処理システムを提供する。
【００５９】
視軸の周りを回転運動することができ、視軸の周りを回転運動する以外にも、更にその他自由度の運動、例えば並進運動等をし得る、少なくとも一つのカメラ機構と、
【００６０】
前記カメラ機構の回転角度信号を取得するセンサと、
【００６１】
前記カメラ機構の撮影した画像と前記回転角度信号を受信し、かつ前記回転角度信号に応じて前記画像に対する補正処理を行う中央処理装置と、を備える。
【００６２】
更に、前記回転角度信号が前記カメラ機構の視軸周りの回転の回転角度値又は回転速度値を含む。
【００６３】
更に、前記カメラ機構は少なくとも二台の一列に並んで設置されるカメラを有し、前記カメラの一台が広角カメラ、別の一台が望遠カメラである。
【００６４】
更に、前記カメラ機構が二つであって、前記二つのカメラ機構がそれぞれの視軸の周りを回転運動し得る。
【００６５】
更に、前記二つのカメラ機構がそれぞれの視軸の周りを共役回転する時、前記中央処理装置が共役回転角度を利用してエピポーラ線のずれを取得し、かつ前記画像に対する処理を行うことで、前記画像の位置を補正し、上述の補正処理による画像の位置補正と同様のマッチング効果を実現する。
【００６６】
更に、前記二つのカメラ機構の回転中心が一つの基盤上に設置され、前記基盤は少なくとも一つのモーターによって動作し、前記カメラ機構の視軸周りの回転のことで、前記二つのカメラ機構が視軸の周りを共役回転運動するようにさせ得る。基盤が設置されることで、二つのカメラ機構が基盤に設置されたモーターによって視軸方向の共役回転運動を実現し得る。
【００６７】
更に、前記基盤のモーター上にセンサが取り付けられ、モーターの回転角度信号を測定し、かつ前記中央処理装置に入力するために用いられる。
【００６８】
本発明は、カメラが視軸周りに回転する時に撮影する画像が回転によって不鮮明になることを解決するための解決手段を提供するものであり、特にバイオニック分野における二つのカメラ機構が視軸周りに共役回転する時に二つのカメラ機構に出現する高低差によって生じる画像が不鮮明、不正確になるという課題を解決するものである。
【００６９】
上述の説明は本発明の好適な実施例について説明するものに過ぎず、本発明の範囲を何ら限定するものではなく、本発明分野の通常の技術者が上述の開示内容に基づき行った変更、修正はいずれも特許請求の範囲の保護範囲に該当する。
【図１】
0006570664.tif 000002
【図２】
0006570664.tif 000003
【図３】
0006570664.tif 000004