画像処理によるショベル姿勢推定技術の研究

技術紹介

画像処理によるショベル姿勢推定技術の研究
表１

将也の回転軸から回転軸までを直線で結んだ距離のこと

はじめに近年，建設機械の転倒防止等の安全性向上が求められている．また，将来自動化が進んだ建設機械では，である．また，リンク角度は各可動部位の回転角度のことである．リンク長さは，事前に測定することが可能であるため，本研究では，リンク角度（図 １ ）高速動作時の安定性ニーズも高まると推測される．
を求めるのに画像処理を用いた．リンク角度を求めこのような背景から，ショベルの安定性指標となるるために，まずは各リンクを撮影した画像に画像処ZMP注１）を用いた安全性向上への取り組みを行うこ
理を施し，対象エッジ等を検出する．この対象エッととした．しかし，ZMP算出のためには，旋回体・ジと既知エッジからなる検出角度（図 ２ ）を算出する．
ブーム・アーム・バケットに角度センサや加速度セ
対象エッジとは，画像処理を施さないと検出できンサなど多数のセンサを取り付ける必要があり，シないエッジのことである．また，既知エッジとは，ステム構成が複雑になってしまう．一方，近年カメ
画像処理を施さなくても位置が明確なエッジのこと
ラの価格低下や通信・処理能力の向上により，カメである．既知エッジは，カメラが設置されている旋ラと画像処理によるセンシングが普及してきている． 回体を基準に回転するブーム，クローラではカメラ
そこで，本研究ではZMPを算出するのに必要となる画像の枠を既知エッジにできる．画像処理にてブーショベルの姿勢を，カメラと画像処理技術を用いたムの対象エッジを検出しブーム検出角度が算出でき比較的シンプルなシステム構成にて検出する手法のれば，ブームのエッジを既知エッジとして，ブーム開発を行った．本報では本研究で取り組んだ画像処を基準に回転するアーム検出角度算出に利用できる．
理によるショベル姿勢推定技術について紹介する．
ブームのエッジが既知となる理由は，ブームの検出
注１）
 Zero Moment Pointの略．路面に設置された機体角度と画像上のブーム既知エッジ位置との関係を事に加わる重力，慣性力および外力によるモーメントがゼロになる路面上の点として定義される．

２

システム概要

2. 1 ハードウェア構成
画像処理に用いる画像を撮影するカメラの設置場
所は，旋回体（キャビン）内に設置した．
本研究では，複数台のカメラにより検出角度を算

図１

リンク角度

図２

各検出角度出するため，各カメラのシャッタータイミングを合わせることが可能な外部トリガ機能を有したカメラを用いた．レンズには，太陽光による赤外線の影響下においても鮮明な画像を撮影できる近赤外線対応レンズを用いた．
2. 2

画像処理による姿勢推定の仕組み
旋回体・ブーショベルの姿勢を推定するためには，ム・アーム・バケットのリンク長さやリンク角度が必要となる．リンク長さは，ショベルの各可動部位― 22 ―

KYB技報第56号

2018―４

4. 1 画像処理前にマップ化することで，ブームの検出角度が算出
各画像処理の適用手順は下記の通りとなる．
されると自動的にマップ情報から位置が明確になる．
⑴ブーム・アーム・旋回体
カメラから取得した画像（図 ４ 中①）に対してレ３ 検出角度算出の流れンズの歪みを除去する補正を行う（図 ４ 中②）．次に各検出角度算出の流れは下記の通りとなる．
⑴検出角度

ブーム検出角度は，画像処理によりブーム対象エッジを検出する．検出したブーム対象エッジと画面枠から成るブーム検出角度を算出する．
⑵アーム検出角度
アーム検出角度は，⑴にてブーム検出角度が算出できているので自動的にブーム既知エッジの位置が明確になる．また，画像処理によりアーム対象エッジを検出する．推定したブーム既知エッジと検出したアーム対象エッジから成るアーム検出角度を算出

画面上のエッジを抽出するための処理（図 ４ 中③，④）と大まかなエッジ除去を行う（図 ４ 中⑤）．エッジ除
去では，一つのエッジとして隣接し繋がっている画素が最も多いエッジを上位から数個程残し，それ以外のエッジを除去している．残ったエッジの中から直線的なエッジを選択する処理を行う（図 ４ 中⑥）．
⑵バケット
カメラから取得した画像に対して，レンズの歪みを除去する補正を行う．次にリンクジョイント部の領域を抽出する処理を行う．

する．
⑶バケット検出角度
バケット検出角度は，⑴⑵にてブーム・アーム検出角度が算出できているのでブーム既知エッジ同様に自動的にアーム既知エッジの位置が明確になる．
画像処理によってバケット対象エッジを検出したいがバケットの形状は複雑で直線がないため，バケットとアーム間にあるリンクジョイント部の領域（図３ ）を画像処理により検出し，この領域の中心 ２ 点から直線を算出する．推定したアーム既知エッジと検出したジョイント ２ 点を結んだ直線から成るバケット検出角度を算出する．

図３

リンクジョイント部の領域⑷旋回検出角度
旋回検出角度は，画像処理によりクローラ対象エッジを検出する．検出したクローラ対象エッジと画面枠から成る旋回検出角度を算出する．

４

対象エッジ検出方法

図４

対象エッジ検出は主に画像処理，エッジ・領域特定処理の ２ つに分類される．

画像処理の １ 例（ブーム）

4. 2 エッジ・領域特定処理
抽出したエッジや領域を最終的に特定するための― 23 ―

画像処理によるショベル姿勢推定技術の研究処理であり，特定するために特定円周との関係や重み付けをしながら特定を行う．

評価する項目を以下①～③に示し，この重み付けによる特定のイメージを図 ６ に示す．

4.2. 1 特定円周カメラで撮影したブーム・アーム・バケットを真①エッジ長さが長いもの②アームの特定円周からの距離が近いもの③画像上のブームエッジとアームエッジが交わる（交点）とエッジの端点とのおおよその位置注２）
距離が近いもの

横，クローラを真上から見た時の対象のエッジ・領域と特定円周とその円周中心位置を図 ５ に示す．この特定円周中心は各パーツの可動部の回転軸上にあり，同じパーツ上にある対象のエッジは，この特定円周中心を中心に円運動をする．この円運動で描かれる円周が特定円周であり，ブーム・アーム・クロー
ラの対象のエッジは，すべてのリンク角度でこの特定円周の接線になる．バケットのリンクジョイント部の領域は，すべてのリンク角度でこの特定円周上を移動する．

注 ２ ）既知エッジ同様ブーム角度とおおよその交点位置の関係を事前にマップ化し推定している．

4.2. 3 特定手順⑴ブーム

特定円周（図 ５ ）の接線となるエッジを選択し，その中から最も長いエッジを選択する．
⑵アーム
事前にブーム検出角度とブーム上にある特定円周中心（図 ５ ）の位置関係をテーブル化しておくことで，特定円周中心を推定する．直線の中から特定円

図５4.2. 2

周の接線となる直線を選択する．選択された直線に対して重み付け処理を行い最も点数が高いエッジを選択する．
⑶バケット
事前にアーム検出角度とアーム上にある特定円周中心の位置関係をテーブル化しておくことで，特定円周中心の位置を推定する．リンクジョイント部の領域の中から特定円周を通過する領域を選択する．
⑷旋回
特定円周の接線となるエッジを選択する．その中から最も長いエッジを選択する．

各対象エッジと特定円周重み付け手順重み付けとは，評価する項目ごとに，順位に応じて点数を付け，総合点にて評価を出す方法である．
画像処理にて検出したエッジ群から，この重み付けを用いて最も点数の高いエッジを特定する．

５

リンク角度算出方法

ブーム・アーム・バケットは，算出した検出角度が求まるとリンク角度の値が一意に決まるため，この関係から各検出角度を各リンク角度へ換算することでリンク角度を求めている．
旋回体のリンク角度の算出方法は，検出している２ 台のカメラと旋回体の向きの組み合わせからリンク角度を算出する．この組み合せを表 １ に示す．また，旋回体のリンク角度が ０ °，90°，180°，270°のカメラ撮影範囲の位置関係などを図 ７ に示す．
表 １ のショベル向きは，ショベルを上方から目視
表１

旋回体リンク角度判別表

旋回体の向き（象限）第 １・第 ４ 第 ４・第 ３ 第 ３・第 ２ 第 ２・第 １

図６

角度検出 カメラ①×

○×

○

カメラ

○×

○

×

カメラ②

旋回体リンク角度範囲θ

重み付け項目― 24 ―

315°～45° 45°～135° 135°～225° 225°～315°

KYB技報第56号

2018―４
表２

検出結果（検証枚数） ブーム
アーム バケット
旋回（250枚）（127枚）（149枚）（475枚）
評価項目
検出率〔%〕

83.94

74.80

89.25

100.00検出〔deg〕±0.58±1.46±3.11±0.98

数が多くなることから，エッジが １ 画素ズレても精度への影響が小さいということが挙げられる．また，検出したエッジの長さも長く検出できると， １ 画素ズレたとしても精度への影響が小さくなることが確認できた．
現状の検出率では，リアルタイムにZMPを評価するのは難しいが，オフラインであれば，検出できている範囲で機体のZMPを十分評価することがで
図７

旋回角度に応じたカメラ撮影位置し，縦軸をX軸，横軸をY軸とした座標平面と仮定して第 １ ～第 ４ 象限でエリアを分類したものである．
角度検出担当カメラはクローラを撮影しているカメラのことであり，担当しているカメラを○と×で表している．旋回体リンク角度範囲とは，分類した第１ ～ ４ 象限の範囲に対応した旋回体リンク角度θの範囲である．

６

検出結果

ショベルの各パーツをそれぞれの可動範囲で動作させた状態での画像処理による検出結果を表 ２ に示
す．検出率は検証画像枚数中の対象エッジを検出できた割合，検出は各リンク角度と実リンク角度注３）との最大誤差を示す．
検出結果から，カメラとの距離が近いブーム，旋回の検出精度は，ブーム，アームに比べて高くなることを確認した．精度が高い理由としては，カメラから近い位置にあるエッジは，エッジを表わす画素著きるため，各種センサを取り付ける場合に比べて，比較的容易に機体の安定性の評価することができると考えられる．
注 ３ ）別に設けた基準センサを用いて計測したリンク角度のこと．

７

本研究では，ショベルの姿勢推定に用いられる角度センサや加速度センサの代用としてカメラと画像処理技術を用いた．検出の精度や検出率に課題が残るものの，耐環境性として優位なキャビン内からショベルの姿勢推定ができるシステム構築とその性能を確認することができた．
今回習得したカメラを用いた画像処理技術は，使い方によって様々なセンサの代用が可能となる技術である．近年，カメラと画像処理の組み合わせは様々な業界のシステムに用いられてきている．今後も当社システム製品としてカメラと画像処理を組み合わせた時にどのような効果や付加価値があるのかを見極め，新製品，新技術の開発に取り組んでいきたい．

者 

表

おわりに将也2009年入社．技術本部基盤技術研
究所運動制御研究室．主に画像処理によるセンシング技術の開発に従事．

― 25 ―