328

特集論

知能化ロボットを支える先進技術

文

New Technology for Intelligent Robot浅野古結義伸川浩

佐 々 野 祐 一内直人

画像認識技術，自律ナビゲーション技術，マニピュレーション技術はロボットの知能化を支える重要な要素技術である．当社では，画像認識技術とマニピュレーション技術を適用して似顔絵を描画する神戸市立青少年科学館納入のボット神ちゃんロの開発や，プラント保守・点検メンテナンスへの自律ナビゲーション技術の適用などに取り組み，最近ではホームユースロボット

wakamaruの開発を進めている．本稿では，これら知能化ロボットを支える先進技術についてその概要を紹介する．

1．は

じめ

トに比べより高度な知能を付与する必要がある．に知能化ロボットは，これまで，産業用途向けに大きな発展

2．ロボットの知能化を支える要素技術を遂げてきた．しかしながら，産業用ロボットの市場規模はロボットに知能を付与していくためには，図１に示すよう近年飽和状態にあり，利益の創出が困難な状況となってきてに，ナビゲーション，作業プランニングなどの各要素技術にいる．これに対し，少子高齢化が進む不安な社会情勢の中，ついて高度化を図っていく必要がある．

人間と共生しながら日常生活を支援し，人に対して多様なサ

当社では，これまでに， 汎用ロボット PA10 ， 原子炉容ービスを提供するホームユースロボットへの需要が高まって器超音波検査装置 A-UT マシン

おり，新たなビジネスの柱として期待されている．

駆動ロボット EYE VisionTM

このような背景の下，現在，当社ではホームユースロボッ
トwakamaru

やTV カメラパンチルトの製品化や開発を通して，様々な要素技術の高度化に取り組んできた．の開発を進めている．ホームユースロボッ

特に，神戸市立青少年科学館納入のロボット神ちゃん

トは，従来の産業用ロボットとは異なり，動作の対象が人間では，人の顔認識をベースにした似顔絵描画技術を，また，（ユーザ）となることから，ユーザとの間で親和性の高いコ

人間型ロボット

ミュニケーションを行う能力を備えることが必要となる．まトの保守・点検メンテナンスに適用することをねらいとした，ホームユースロボットは，一般家庭で使用されることをて，IC タグを使った自律ナビゲーション技術やバルブ形状想定しているため，非コントロール環境下での自律ナビゲーの画像認識による開閉動作の簡易教示技術を開発し，ホームションとマニピュレーション技術が要求され，産業用ロボッ

ユースロボット

ロボット技術の製品適用

では，二足歩行ロボットを運転中プラン

wakamaruの実用化を支える上で，ベーロボット技術の製品適用

ロボット要素技術

A-UTマシン

汎用ロボットPA10

EYE VisionTM

省配線
アンプ一体型モータ

将来製品に向けての知能化技術
ホームユースロボット神ちゃん
人間型ロボットロボット

TV-カメラパンチルトロボット

図１

ロボットの知能化を支える要素技術と当社製品例
三菱重工技報 Vol.40 No.6（2003_11）

329

装して，一般家庭内で実施した処理結果画像の例を示す．

スとなる先進技術を獲得してきた．
そこで，本稿ではホームユースロボット事業への展開を支

今後の課題としては，えるロボット知能化のための先進技術として，上述した要素

b背景に含まれる誤検知の抑止．

技術を中心に紹介する．

b横顔の検出率向上．
b顔が暗い場合の検出率低下への対策．

3．画像認識技術（視覚技術）
3．1

等があり，今後も改善を行っていくとともに，高度な人の状顔検知技術態の認識等へ応用していく予定である．

知能化ロボット，特にホームユースロボット等においては，人とのコミュニケーション，人の動作や状態の認識という機3．2 似顔絵描画技術
神戸市立青少年科学館向けロボット

神ちゃんの似顔絵

能が不可欠である．それらの機能の実現には，まず，対象と描画機能は，老若男女人種を問わず不特定多数の人物の顔をなる人を検出することが必要である．特に，対象者に特別の対象とした線画データ生成機能と，客先の要望として自動化タグやセンサ等を適用せずに人を検出するためには，カメラを実質４ヶ月という短期間に実現する必要があった．

画像の認識処理による顔検知技術が有効である ．
（1）

表１に従来の顔検知技術の例と，当社で開発した顔検知方

製作期間短縮のために線画データ生成機能は既に似顔絵描画ロボットの実績がある松下電器産業株式会社の協力を得て製作し，オペレータの操作によるカメラ視線の制御やガイダ式の比較を示す．

ンスを無くす自動化に注力して開発を行った．

ロボットにおける顔検知技術としては，b多様な環境で適用可能であること．

また， ロボット神ちゃん

b応答を速くするため，高速処理可能であること．の設置場所はオープンエリア

なので，つい立を被撮像者の背後に設置し，背景の写り込みが求められる．

を防ぐ工夫をした．似顔絵処理の自動化のためには，① 撮

しかし，従来の顔検知技術では，限定された環境のみで適影対象が安定するのを待ってカメラ視線を顔に向けて，②用される技術や，計算量が多く高速処理できない技術が多い．

顔画像を切り出して似顔絵を描いて良いか判定する必要があ

そこで，当社では，文字認識・車両認識等へ適用して実績る．そのため，カメラでは，差分画像の変化率を見て，人物のある，形状特徴量を用いた画像認識技術を適用した．
図２に開発した顔検知処理の概要を示す．顔画像データベの検知を行うとともに着席して画像が安定するのを待ち，顔の方へカメラ視線を向けて撮影を開始する．

ース等のサンプル顔画像を用い，学習プログラムにより全特撮影した画像から頭部領域を切り出して瞳の画像位置を検徴量の候補から，顔検出に有効な特徴量を抽出する．なお，出し，瞳の位置を基準に肌色部分の顔画像範囲を抽出する．

この学習計算はロボットとは別に事前計算することができる．

顔画像範囲に対する瞳位置の配置から顔の向きを判定し，この抽出された有効な特徴量を用いて，ロボットの画像処正面への向き具合や目の開き具合等を評価して似顔絵描画の理計算機上で実行される顔検知プログラムが，入力カメラ画可否の判定を行う．描画可能と判断した画像からは，図４に像から顔検出を行う．

示すような線画画像が生成される．また，肌の部分の輝度値

図３には，ホームユースロボットのイメージモデル機に実表1方式

顔検知技術の比較
長

色情報（顔の肌色）
利用

所

計算量が少なく，処理速度が速い．

短所

照明変化に弱く，一般環境では使えない．

顔要素特徴（目，口， 顔が大きく映る場合には精度は比較的高い．
鼻など）利用隠れ，向きの変化に弱い．

ウェーブレット変換
特徴量利用高精度であり，適用範囲も広い．

計算量が多く，処理速度が遅い．

形状特徴量利用（当社）

隠れや変形に強い，計算量が少なく，処理速度が速い．

複雑背景環境において，誤検知がでやすい傾向．

図３

顔検知処理結果画像の例

顔の向き
事前計算

（b）やや斜め顔検知例（a）正面顔検知例

正面

白枠は顔検出領域を示す．

カメラ目線

モニタ目線

ロボット

撮影
画像
全特徴量
候補

学習プログラム

使用する
特徴量
リスト

顔検知プログラム

顔検知結果

線画画像
カメラ
学習用サンプル顔画像

図２

顔検知処理の概要

図４

カメラ撮影画像から作成した似顔絵線画画像
三菱重工技報 Vol.40 No.6（2003_11）

330

から似顔絵描画用線画データ生成処理に用いる画像処理用パめ，現場合わせで保守点検作業を容易に設定可能となる．

ラメータ，例えば，画像を二値化する場合色黒の人物ではしロボットに搭載したシステム構成を図６に示す．

きい値を下げるといった調整も行う．

4．2 天井画像による自己位置補正技術

顔画像の判定で最も困難であったのは，眼鏡を掛けているロボットがある走行環境を自律移動するためには，ロボッ顔や髪の毛が目に掛かっている場合など瞳位置をうまく検出

ト自身が環境内の絶対座標空間においてどの位置を走行してできない場合であり，今後は，瞳位置検出処理の高度化を行いるかを把握する自己位置検出技術が必要不可欠となる．
自己位置検出技術としては，ロボットが２輪の駆動車輪でう予定である．

駆動される場合，車輪に取り付けたエンコーダ（オドメトリ）

4．ナビゲーション技術
4．1の回転量から走行距離を，また，２輪の相対的な回転量の差

IC タグナビゲーション技術

からロボットの方位を検出し，この走行距離と方位をベースロボットによりプラント内を移動・点検させるために，巡回点検コースの移動や点検の条件を容易に設定，変更できるに積分を行っていくことでロボットの自己位置を推定するデッドレコニング法と呼ばれる方法が通常採用される．

ことは，プラント保守員がロボットを運用する上で重要な事

しかしながら，デッドレコニング法では，車輪のスリップ項となる．そこで，非接触で情報の読み書きを可能とするバが生じたり，ロボットが段差に乗り上げたりした場合に，オッテリレスのメモリデバイスである IC タグ（RF-ID ： Radio

ドメトリに誤差が発生し，ロボットが把握する自己位置に相Frequency Identification System，通信距離約１ m，メモリ容当量の誤差が累積していくという問題があった．

量 110Byte）に，移動及び点検の情報を持たせて床に設置し，このような問題を解決するため，当社では，天井画像に絶ロボットはこれをたどりながらナビゲーションを行う方式を

対空間座標値を割り付け，この天井画像をロボットが随時参開発した．

照することによって，デッドレコニングによる自己位置をロ

ロボットは，IC タグに記憶された情報を読むことで，次に移動する IC タグの場所や目の前にある階段の段数・高さ，ボット自身が補正する天井画像による自己位置補正技術を開発した．

点検の種類など，その場所でのイベント情報を理解して行動

本技術では，まず，ロボットが走行する屋内環境において，することができる（図５）．このため，従来のナビゲーショ

デッドレコニング法による累積誤差を補正する場所を計画

ン技術では不可欠とされている移動や点検のための地図情報

し，その場所の天井画像をあらかじめ取得しテンプレート処が不要になるばかりでなく，この IC タグを巡回点検ルート理画像としてロボットに記憶させる．
次に，このテンプレート処理画像に対し，屋内環境の絶対に設置することがナビゲーションのプログラムに相当するた空間座標系による座標値を割り付ける．実際には，計画したタグ通過時の現在位置を連絡
必要に応じたカメラ画像（通信負荷低）通信中継基地ロボットの位置と点検状況の確認，必要に応じた遠隔操作
P38 P37
P35P36A

P15P14P13 P33 P32
P34P12P11

補正場所における 500 mm × 500 mm のエリアにおいて，50〜 100 mm 間隔程度のメッシュで天井画像を取得し，それらの各テンプレート処理画像に対して絶対座標値を割り付ける．
ロボットは，テンプレート処理画像を取得した位置近傍を通過するときに，天井画像を撮影し，その画像を前述したテンプレート処理画像と照合することによって，自己位置を把ICタグ握しデッドレコニングによる累積誤差を補正する．
タグデータ例：
・次のP13（X,Y）
で右折
現在位置・温度，湿度を計測P12（X,Y）環境情報

本手法をホームユースロボット

wakamaruに適用し，一般家庭の屋内環境でフィールド走行したときの結果の一例
を図７に示す．

図５

IC タグナビゲーションシステムのコンセプト

この結果は，リビングからドア（通過幅： 790mm），廊下

Ethernet
タグ制御
通信 CPUARCNET
工具制御
I/F

タグ
Reader/Writer

オペレータ
CPU

タグ制御
・ICタグ情報（R/W）
・位置決めセンサ情報・専用装置制御
・カメラ制御無線／有線

メモリ

Added Syetem

ロボット通信CPU

カメラ（ロボット／専用装置）

ロボット
プラットフォ−ム
HRP-1

タグ・アンテナ
タグ
磁気センサ

図６

ナビゲーション制御
・ICタグ情報からの動作生成
・遠隔操作／教示

点検
データベース

制御モード
移動位置
腕位置
ヘッド位置

ロボット動作制御（動作コマンド指令／終了確認）

IC タグナビゲーションシステムの構成
三菱重工技報 Vol.40 No.6（2003_11）

331
X−Y PLOT（Odmetry Data [往路]）バルブ中心

Y−軸（cm）1 200

バルブ中心線上の点

ノード15（寝室１）1 000800600

教示する２点（バルブの特徴点）

400
ノード５（リビング）

200
0200400600

図８800

1 000

簡易遠隔教示インターフェイス

1 200

X−軸（cm）

図７

天井画像による自己位置補正を用いた走行試験結果
屋内絶対空間をロボットが走行した際のオドメトリの値を示
す．図中，丸で囲んだ位置でロボットは天井画像による自己位置補正を行う．

バルブ外形→バルブ中心ボルトから中心割り出し（通過幅： 890 mm）を通過して寝室まで移動するという部

図９

距離に応じた最適な画像処理を選択

画像フィードバックによるバルブ開閉作業

屋 間 移 動 を 行 っ た も の で あ る （ 走 行 距 離 ： ６ 〜 ７ m ）．の体幅は約 500 mm であるため，ドアや廊下のときの工具のバルブへの挿入精度は±２ mm，±２°である．

通過では，片側 150 mm 程度の通過余裕幅しかない狭あい部

また，基本的に，作業は工具先端の画像フィードバックで修走行となる．

正可能であるが，オペレータがインチング修正を加えることwakamaru

オドメトリを用いたデッドレコニングのみでは，ドアや廊下のような狭あい部を通過する際に，累積誤差の影響で壁などに衝突し部屋間移動を高い信頼性をもって実現することはで確実な作業遂行を可能とするシステムで構成している．

6．まとめ困難であるが，この累積誤差を天井画像の照合によって補正

ロボットの視覚を支える画像認識技術や，ロボットの移動することで，ロボットを約 100 mm 精度で目的地まで移動さや作業をつかさどる自律ナビゲーション技術及びマニピュレせることが可能となり，部屋間移動を約 90 ％の信頼度で実ーション技術の高度化を図ることで，人の顔を検知し，動作現することができるようになった．テンプレート処理画像のする環境に影響無く自在に移動するとともに，人間が行う作取得方位により，ロボットの進行方位に対する自己位置精度業を代替できる高度に知能化されたロボットが実現できるよがばらつく問題があるため，今後，この課題を解決して信頼うになる．
当社で現在開発中のホームユースロボット度の向上を図る予定である．

wakamaru

はまさしく上述したような知能化ロボットを目指したもので

5．マニピュレーション技術あり，これまでに開発してきた要素技術をベースに親和性のマニピュレーション技術として様々な要素技術があるが，高いコミュニケーションを実現するための会話技術や障害物現在，画像フィードバックが実用に近づきつつある．また，回避技術といった先進技術の開発を進めていく予定である．

移動ロボットに搭載されたアームと移動との協調制御もこれ

なお，本稿で紹介した IC タグナビゲーション技術及びマからの技術トレンドとなり得ると思われる ．
（2）

ニピュレーション技術は NEDO（（独）新エネルギー産業技

そこで，プラント内における保守・点検におけるバルブ開術開発機構）国家プロジェクトの HRP（人間協調・共存型閉動作を想定し，２足歩行ロボットを対象にした画像フィーロボットシステムの研究開発）において開発したものである．

ドバックによる高速マニピュレーション手法を開発した．
まず，バルブ前の所定の作業立ち位置までロボットを遠隔操作で移動させる．これは，オペレータに提示されるロボッ
ト頭部カメラ画像にマウスでポイント入力することで移動先

参 考 文 献（1）H. Schneiderman et. al., IEEE Conference on ComputerVision and Pattern Recognition（2000）（2）平井，日本ロボット学会誌，Vol.13 No.5（1995）p.607

を教示して行われ，従来とは異なり簡易的な教示を可能にした（図８）．ロボットの立ち位置は，頭部カメラの約１ m 先

浅野伸

川内直人のバルブに対して± 50 mm，± 5 °の精度（標準偏差２σで評

技術本部
高砂研究所
機器・自動化装置研
究室

技術本部
高砂研究所
機器・自動化装置研
究室

古結義浩

佐々野祐一

技術本部
高砂研究所
電子技術研究室

技術本部
高砂研究所
電子技術研究室価）で教示できる．
ロボットが立ち位置に移動した後，工具先端カメラでバルブハンドルの画像処理を行い，カメラ中心にハンドル中心がくるように画像フィードバックを行いながらアームを制御する．最後に，工具爪の中心とカメラ中心のオフセットの補正を自動的に行い，工具爪とハンドル中心を一致させることで，ロボットが工具を挿入し開閉作業を実行する（図９）．この三菱重工技報 Vol.40 No.6（2003_11）