(57)【要約】本発明は、ネットワーク基盤の知能型サービスロボットシステムのビジョン処理装置とその処理方法並びにこれを用いたシステムに関する。ステレオカメラと低価の映像処理の専用チップ及びエンベディッドプロセッサーを用いて外部対象体らの三次元の距離情報を抽出／処理し、ネットワークを通じて連結されたロボットサーバに助けられず、障害物を回避しながら探していく対象物体まで移動することができるようにすることで、その他のセンサなしでステレオカメラの映像処理だけで知能型ロボットの移動と走行を行うことができ、また使用者が低コストで多様な機能のサービスの提供を受けるようにする。
2009512056.tif 000002
【特許請求の範囲】
【請求項１】
左／右２つのカメラから映像を取得するステレオカメラ部と、
該ステレオカメラ部を介して入力される左／右の映像に対して、前記２つのカメラの特性差異を矯正する入力映像前処理部と、
該入力映像前処理部を介して入力される左／右の映像に対して、ステレオ整合を通じて変異地図を計算してステレオ整合するステレオ整合部と、
該ステレオ整合部で出力される映像に対して、距離地図を抽出し、前記抽出された前記距離地図から互いに異なる対象体を区分する作業を行う映像後処理部と、
各上段の出力映像を選択的に出力することができる映像出力選択部と
を備えたことを特徴とするネットワーク基盤知能型サービスロボットのビジョン処理装置。
【請求項２】
前記入力映像前処理部は、
前記ステレオカメラ部から入力される映像を後段の前記ステレオ整合部でステレオ整合を容易にできるようにカメラ矯正機能と、映像のスケールの縮小機能と、調整機能と、輝度調節機能とを有することを特徴とする請求項１に記載のネットワーク基盤知能型サービスロボットのビジョン処理装置。
【請求項３】
前記映像出力選択部は、
知能型サービスロボットのビジョン処理部の出力映像を選択するものであって、ロボット端末の応用によって左／右のカメラから獲得された映像と、入力映像前処理部の結果映像と、ステレオ整合部の結果映像と、映像後処理部の結果映像のうちから選択して出力することを特徴とする請求項１又は２に記載のネットワーク基盤知能型サービスロボットのビジョン処理装置。
【請求項４】
前記映像後処理部は、
前記ステレオ整合部を介して入力される映像に対して前記距離地図を抽出し、抽出された前記距離地図から互いに異なる対象体らを区分する作業を行うことを特徴とする請求項３に記載のネットワーク基盤知能型サービスロボットのビジョン処理装置。
【請求項５】
前記映像後処理部は、
前記ステレオ整合部を介して計算された三次元の映像情報に基づいて探していく目標物と障害物を区分し、分けられた対象体らの水平、垂直の大きさと距離を用いて、前記ロボット端末の移動と走行のための情報として使用することを特徴とする請求項４に記載のネットワーク基盤知能型サービスロボットのビジョン処理装置。
【請求項６】
前記ステレオ整合部で出力される映像は、
物体の距離情報を明るい色（近くの物体）と暗い色（遠くの物体）で表現されることを特徴とする請求項１に記載のネットワーク基盤知能型サービスロボットのビジョン処理装置。
【請求項７】
２つのカメラから入力映像を取得する入力映像獲得段階と、
前記２つのカメラから取得された左／右の映像信号が同一な環境を有するように色々な映像処理方法を用いて調整する入力映像前処理段階と、
映像前処理部で矯正された左／右の映像から、ステレオ整合部は互いに対応される点を見つけて変異地図を計算し、ステレオ整合するステレオ整合段階と、
映像後処理部でステレオ整合部から計算された変異地図を基に、距離を計算して距離地図を抽出し、抽出された距離地図から互いに異なる対象体らを区分する映像後処理段階と、
該映像後処理段階によって分けられた対象体らの水平、垂直の大きさとロボット端末からの距離を抽出して、これを基に、追跡する目標物であるか障害物であるかを区分／認知してロボットの走行と移動を制御するロボット制御段階と、
を含むことを特徴とするネットワーク基盤知能型サービスロボットのビジョン処理方法。
【請求項８】
前記ロボット制御段階は、前記ロボットサーバから提供される情報によって、前記ロボットの駆動を制御することを特徴とする請求項７に記載のネットワーク基盤知能型サービスロボットのビジョン処理方法。
【請求項９】
前記請求項１に記載されたロボットのビジョン処理装置を備え、外部映像を取得して処理するロボットビジョン処理部と、ロボット端末全体を制御するロボット制御部と、ロボットサーバとの通信を担当するロボットサーバ通信部と、外部環境を感知してロボットを駆動するロボットセンサ／駆動部とを有するロボット端末と、
前記ロボット端末とネットワークで連動され、必要によってロボットの駆動を制御するロボットサーバと
を備えたことを特徴とするネットワーク基盤知能型サービスロボットのビジョン処理装置を用いたシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムに関し、より詳細には、ネットワーク基盤知能型サービスロボットで取得されたステレオ映像に対するステレオ整合結果をロボットの走行と移動に用いる技術に関するものである。
【背景技術】
【０００２】
従来のロボットのビジョン処理の大部分は、単純に一つのカメラの入力情報を通じてロボットの外部環境を認識するに限られて使用されており、これをロボットの移動及び走行に用いるためには、他のセンサ、例えば、超音波と赤外線などのセンサ情報を複合的に使用しなければならない短所がある。特に、ネットワーク基盤知能型サービスロボットの場合、必要な映像処理をネットワークと連結されたロボットサーバで行うことになるので、ロボット端末とロボットサーバとの過渡の通信トラフィックを誘発する短所がある。
【０００３】
図１は、従来のネットワーク基盤の知能型サービスロボットの全体システムの構成図である。一般的なネットワーク基盤知能型サービスロボットの全体システムの構成は、図１に示されているように、ネットワーク基盤知能型サービスロボットシステムは、一つのロボットサーバ２０に多数のロボット端末１０（１、２、…、ｎ）らが互いに連動して連結され、各ロボット端末１０は、大別して外部映像を取得して処理するロボットビジョン処理部１０１と、ロボット端末の全体を制御するロボット制御部１０２と、ロボットサーバとの通信を担当するロボットサーバ通信部１０３と、そして、その他、色々な種類の外部環境を感知してロボット端末を駆動するロボットセンサ及び駆動部１０４とで構成されている。
【０００４】
上述したようなシステムにおいてロボット端末の駆動のために、ロボット端末は取得された映像情報をロボットサーバに送信し、ロボットサーバは、ロボットの走行又は移動時、障害になる障害物に対する映像認識／処理後のロボット端末のロボットの走行を制御する。
【０００５】
このようなネットワーク基盤知能型サービスロボットシステムは、各ロボット端末１０で処理し難い大容量の複雑な応用や、高速演算を必要とする負荷をネットワークで連結されたロボットサーバに集中させ、相対的に低価格でロボット端末を具現することにより、使用者に多様で、かつ高質のサービスを低コストで供給することができる。
【０００６】
すなわち、ネットワーク基盤知能型サービスロボットにおいて、使用者に低コストで多様な機能のサービスを提供するために、ロボット端末１０の低価格化を考慮し、ロボット端末１０のロボット制御部１０２を高価の既存のパソコンなどを使用せず、価格と電力の消耗面で有利である低電力のエンベディッドプロセッサーを使用して具現する。また、ロボット端末１０のロボット制御部１０２を比較的に低いコンピューティングパワーを有するように具現する。
【０００７】
また、複雑な応用をロボットサーバにて処理するようにする場合、ロボット端末は相対的に低価格で具現することができるが、サービスを実現するためには、多くの応用をロボットサーバで行うことになるので、結局、サーバとの通信トラフィックが増加して相対的に高い通信費用を負担しなければならない。
【０００８】
反対に、ロボットサーバとの通信費用を減らすため、多くの機能をロボット端末１０で具現する場合、通信費用を減らす利点はあるが、ロボット端末１０で処理すべき負荷が多くなって、相対的にロボット制御部１０２は高いコンピューティングパワーを有するため、高価で具現されなければならない。
【０００９】
以上のようなネットワーク基盤知能型サービスロボットシステムの費用構成の特性のため、上述した２つの考慮事項の折衷を要する。特に、ロボットサーバとロボット端末との通信トラフィックは、図１に示されているように、ロボットサーバ１つに複数のロボット端末が連動されるので、通信費用だけではなく、システムの安定性にも大きい影響を与える要因となる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、ネットワーク基盤知能型サービスロボットが、使用者に低コストで多様な機能のサービスを提供するためには、ロボット端末の低価格化を先に考慮し、また、低価格化のため、追加に考慮されるべき事項は、ネットワークを用いるにしたがって発生される通信費用の問題である。
【００１１】
すなわち、ネットワーク通信費用の側面から、相当な追加費用発生の要因となるネットワーク基盤知能型サービスロボットの応用において、でロボット端末とロボットサーバとの過渡の通信トラフィックを考慮しなければならない問題点がある。
【００１２】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、ネットワーク基盤知能型サービスロボットシステムにおいて、高価でロボット端末を具現しないと共に、ロボットサーバとの通信トラフィックの大部分を占める映像データをロボット端末自体で処理するようにしたネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムを提供することにある。
【００１３】
また、本発明の他の目的は、ネットワーク基盤知能型サービスロボットのビジョン処理装置を、ステレオカメラを用いて具現し、取得された映像をロボットの外部環境を認識するに使用するだけではなく、ステレオ整合技術を用いて外部対象体らの三次元の距離情報を抽出／処理し、その他のセンサに助けられずに知能型ロボットの移動と走行に用いることができるネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムを提供することである。
【００１４】
また、本発明のさらなる他の目的は、上述したようなロボットのビジョン処理装置をロボット端末に位置させ、ロボットサーバへ映像データを転送しないようにして、ロボット端末とロボットサーバとのネットワーク通信の負担を減らすことができるネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムを提供することである。
【課題を解決するための手段】
【００１５】
上述したような目的を達成するための本発明のネットワーク基盤知能型サービスロボットのビジョン処理装置は、左／右２つのカメラから映像を取得するステレオカメラ部と、該ステレオカメラ部を介して入力される左／右の映像に対して、前記２つのカメラの特性差異を矯正する入力映像前処理部と、該入力映像前処理部を介して入力される左／右の映像に対して、ステレオ整合を通じて変異地図を計算するステレオ整合部と、該ステレオ整合部を介して入力される映像に対して距離地図を抽出し、前記抽出された前記距離地図から互いに異なる対象体らを区分する作業を行う映像後処理部、及び前記ステレオカメラ部の出力映像と前記映像後処理部の出力映像を選択的に出力することができる映像出力選択部とを備えたことを特徴とする。
【００１６】
また、本発明のネットワーク基盤知能型サービスロボットのビジョン処理方法は、２つのカメラから入力映像を取得する入力映像獲得段階と、前記２つのカメラから取得された左／右の映像信号が同一な環境を有するように色々な映像処理方法を用いて調整する入力映像前処理段階と、映像前処理部で矯正された左／右の映像から、ステレオ整合部は互いに対応される点を見つけて変異地図を計算してステレオ整合するステレオ整合段階と、映像後処理部でステレオ整合部より計算された変異地図を基に距離を計算して距離地図を抽出し、抽出された距離地図から互いに異なる対象体らを区分する映像後処理段階と、該映像後処理段階によって分けられた対象体らの水平、垂直の大きさとロボット端末からの距離を抽出し、これに基づいて追跡する目標物であるか障害物であるかを区分／認識してロボットの走行と移動を制御するロボット制御段階とを含むことを特徴とする。
【００１７】
また、本発明のネットワーク基盤知能型サービスロボットのビジョン処理装置を用いたシステムは、本発明に係るネットワーク基盤知能型サービスロボットのビジョン処理装置を備え、外部映像を取得して処理するロボットビジョン処理部と、ロボット端末の全体を制御するロボット制御部と、ロボットサーバとの通信を担当するロボットサーバ通信部と、外部環境を感知してロボットを駆動するロボットセンサ／駆動部とを有するロボット端末と、該ロボット端末とネットワークで連動されて必要によってロボットの駆動を制御するロボットサーバとを備えたことを特徴とする。
【００１８】
上述したように、本発明に係るネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムは、ステレオカメラと低価の専用チップ及びエンベディッドプロセッサーを用いてロボット端末に具現し、また、ロボット走行及び移動に必要な情報をロボットサーバへ送信せずにロボット端末自体で処理することによって、知能型サービスロボットの駆動のため必要な映像情報をロボットサーバに送信する場合に生じる通信費用を減らすことができるので、使用者が低コストで多様な機能のサービスの提供を受けるようにするネットワーク基盤知能型サービスロボットを具現することができる効果がある。
【００１９】
さらに、本発明の係るネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムは、知能型ロボットのビジョン処理装置をステレオカメラを用いて具現することによって取得された映像をロボットの外部環境を認識するに使用するだけではなく、ステレオカメラの映像から外部対象体らの三次元距離情報を抽出することができるので、その他のセンサなしでステレオカメラの映像処理のみで知能型ロボットの移動と走行を行うことができる効果がある。
【発明を実施するための最良の形態】
【００２０】
以下、本発明のネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステムについて、添付の図面を参照して詳細に説明する。
【００２１】
図２は、本発明に係る知能型サービスロボットのロボットビジョン処理部の詳細構成図で、ネットワーク基盤知能型サービスロボット端末１０のロボットビジョン処理部１０１の内部構成の一実施例を示している。
【００２２】
本発明のネットワーク基盤知能型サービスロボット端末１０のロボットビジョン処理部１０１は、ステレオカメラ部１０１０と、入力映像前処理部１０１１と、ステレオ整合部１０１２と、映像後処理部１０１３とを備えている。
【００２３】
ロボット端末１０に、上述したように構成されたロボットビジョン処理部１０１を設けて、ロボットの走行及び移動に必要な情報をロボットサーバ２０に送信せず、ロボット端末自体で低価の専用チップと低価のエンベディッドプロセッサーで具現されたロボット制御部１０２を介して処理できるようにする。
【００２４】
図３（ａ）乃至（ｄ）は、本発明に係る知能型サービスロボットのロボットビジョン処理部の結果映像を示す図である。ロボットビジョン処理部１０１の各構成要素に対して調べると、先ず、ステレオカメラ部１０１０は、左／右２つのカメラから映像を取得し、取得された映像は、カメラ出力映像であって、図３（ａ）に示されている。
【００２５】
入力映像前処理部１０１１では、ステレオカメラ部１０１０から入力される映像に対して、後段のステレオ整合部１０１２でステレオ整合を容易に行うように、色々な種類の映像処理方法を使用する。色々な種類の映像処理方法は、カメラの矯正（Ｃａｌｉｂｒａｔｉｏｎ）機能と、映像のスケールの縮小（Ｓｃａｌｅ  ｄｏｗｎ）機能、調整（Ｒｅｃｔｉｆｉｃａｔｉｏｎ）機能及び輝度調節（Ｂｒｉｇｈｔｎｅｓｓ  ｃｏｎｔｒｏｌ）機能を含んでいる。このような映像処理方法を用いて映像に存在する雑音を除去し、２台のカメラから入力される映像の明るさのレベルやコントラストが相違する場合、このような映像情報を一致させて２台のカメラから入力される映像信号が同一な環境を有するように調整してくれる。また、必要によって、ヒストグラムの均等化（Ｈｉｓｔｏｇｒａｍ  Ｅｑｕａｌｉｚａｔｉｏｎ）を行ったり、エッジの検出（Ｅｄｇｅ  Ｄｅｔｅｃｔｉｏｎ）などの機能を行って全体的な性能を改善させ、矯正して出力する。この出力された入力映像前処理部１０１１の出力映像は、図３（ｂ）に示されている。
【００２６】
ステレオ整合部１０１２では、入力映像前処理部１０１１で矯正された左／右の映像から互いに対応される点を見つけて変異地図（ｄｉｓｐａｒｉｔｙ  ｍａｐ）を計算するようになり、これを用いてステレオ整合することによって、図３（ｃ）に示されたステレオ整合部の出力映像のように物体の距離情報を明るい色（近くの物体）と暗い色（遠くの物体）で表現された映像を得られる。
【００２７】
映像後処理部１０１３では、ステレオ整合部１０１２で計算された変異地図を基に、距離を計算して距離地図（Ｄｅｐｔｈ  ｍａｐ）を抽出し、抽出された距離地図から互いに異なる対象体らを区分（ｓｅｇｍｅｎｔａｔｉｏｎ）する作業を行い、図３（ｄ）に示すような映像後処理部１０１３の出力映像を得られる。映像後処理部１０１３では、分けられた対象体らの水平、垂直の大きさと、ロボット端末からの距離を抽出するようになり、これに基づいて、追跡する目標物であるか障害物であるかを区分する作業を行う。このような映像後処理部１０１３の結果を用いて、ロボット端末のロボット制御部１０２では、ロボットサーバとの連結なしで、ロボット端末自体でロボットの走行及び移動を制御することができるようになる。
【００２８】
映像出力選択部１０１４では、ロボットビジョン処理部１０１の出力映像を選択することによって、ロボット端末の応用によって左／右カメラから獲得された映像と、入力映像前処理部１０１１の結果映像と、ステレオ整合部１０１２の結果映像と、映像後処理部１０１３の結果映像のうちから選択して出力することができる。
【００２９】
図２に示したように構成されたネットワーク基盤知能型ロボット端末のロボットビジョン処理部１０１を、ステレオカメラを用いて具現することにより、ステレオカメラで撮影された映像から外部対象体らの３次元距離情報を抽出できて、その他のセンサなしでステレオカメラの映像処理だけで知能型ロボットの移動と走行を行える長所があり、ロボットサーバ２０との通信トラフィックの大部分を占める映像データをロボットサーバ２０へ送信しなくても良いので、ロボットサーバ２０とのネットワークトラフィックを減らせてネットワーク連結に所要される通信コストを節減できるだけではなく、複数個のロボット端末１０が連動されるネットワーク基盤知能型サービスロボットシステムの安定性の側面における長所もある。
【００３０】
図４は、本発明に係る知能型サービスロボットのロボットビジョン処理の動作を説明するためのフローチャートを示す図である。上述したような構成を有する本発明のネットワーク基盤知能型サービスロボットのビジョン処理方法に対して、図４を参照して説明する。図４は、上述したような知能型サービスロボット端末のロボットビジョン処理部１０１で動作の流れの一実施例を示している。
【００３１】
先ず、ロボット端末１０の音源追跡（Ｓ１）を通じてカメラのＰａｎ／Ｔｉｌｔを操作し、ロボット端末１０を目標物へ方向転換を行い、ステレオカメラ部１０１１を介して入力映像を取得する（Ｓ２）。
【００３２】
次に、ステレオカメラ部１０１１の２台のカメラから取得された左／右の映像信号が同一な環境を有するように色々な映像処理方法を用いて調整する入力映像前処理部１０１１で入力映像前処理を行う（Ｓ３）。
【００３３】
次に、映像前処理部１０１１で矯正された左／右の映像からステレオ整合部１０１２は、互いに対応される点を見つけて変異地図を計算し、物体の距離情報を明るい色（近くの物体）と暗い色（遠くの物体）で表現された映像を得るようにステレオ整合を行う（Ｓ４）。
【００３４】
次に、映像後処理部１０１３でステレオ整合部１０１２から計算された変異地図を基に距離を計算して距離地図を抽出し、抽出された距離地図から互いに異なる対象体らを区分する映像後処理を行って（Ｓ５）、映像後処理部１０１３の出力映像を得る。
【００３５】
その結果、映像後処理Ｓ５によって分けられた対象体らの水平、垂直の大きさと、ロボット端末からの距離を抽出して、これに基づいて追跡する目標物であるか障害物であるかを区分／認知してロボットの走行と移動を制御する（Ｓ６）ようになり、必要によりロボットサーバ２０から提供される情報でロボットの駆動を制御する（Ｓ６）ようになる。また、映像出力選択部１０１４より送信する映像をロボットビジョン処理部１０１の各機能の出力映像の中１つを必要によって選択し（Ｓ７）、ロボットサーバ２０へ送る（Ｓ８）。
【００３６】
以上、いくつかの実施例を挙げて本発明をさらに詳細に説明したが、本発明は必ずしもこのような実施例に限られるものではなく、本発明の技術思想を外れない範囲内で多様に変形実施することができる。
【図面の簡単な説明】
【００３７】
【図１】従来のネットワーク基盤の知能型サービスロボットの全体システムの構成図である。
【図２】本発明に係る知能型サービスロボットのロボットビジョン処理部の詳細構成図である。
【図３】（ａ）乃至（ｄ）は、本発明に係る知能型サービスロボットのロボットビジョン処理部の結果映像を示す図である。
【図４】本発明に係る知能型サービスロボットのビジョン処理の動作を説明するためのフローチャートを示す図である。
【図１】
2009512056.tif 000003
【図２】
2009512056.tif 000004
【図４】
2009512056.tif 000005
【図３】
2009512056.tif 000006
【国際調査報告】
2009512056.tif 000007
2009512056.tif 000008