Ai Robot Research Center

植物生体研究動物生体研究画像処理を始めよう。

画像処理研究ROBO-ONEに適用の可能性を探る。
画像の分類において深層学習が人を超える能力を示し、第三次人工知能ブームを引き起こしている。
この人工知能技術を扱ううえで画像処理の基本を理解することは不可欠である。人工知能ロボット研究
所の事例をもとに解説する。

2018年7月7日

西村輝一

株式会社人工知能ロボット研究所 代表取締役

7/6/2018

株式会社人工知能ロボット研究所

11.会社紹介㈱人工知能ロボット研究所の基盤技術
商業車の研究開発(MBD)

映像

耐久信頼性の高い商用車の開発。様々な分野のロボットの現状を理解。

ロボットの技術開発(自律神経)

人工知能技術開発(画像処理)

7/6/2018

株式会社人工知能ロボット研究所

22.ロボットコンテスト

ROBO-ONE関連書籍
ROBO-ONEのための二足歩行ロボット製作ガイド
ROBO-ONEで進化する二足歩行ロボットの造り方

二足歩行ロボットのモデルベース開発
ROBO-ONEにチャレンジ!二足歩行ロボット自作ガイド
7/6/2018

株式会社人工知能ロボット研究所

32.ロボットコンテスト★国の動きWorld Robot Summit
経済産業省はオリンピックに合わせて、ロボットのオリンピックWorld RobotSummitを実施する。
World Robot Challengeではものづくり/サービス/インフラ各部門でコンテストを実施する。
合わせて展示会を実施する。
2017年12月20,21日
トライアル大会開催
コンビニ自動化/接客/トイレ掃除/商品補充2018 TOKYO 10月17日～21日(出場予定)
2020 AICHI/FUKUSHIMA 8月9月
7/6/2018

株式会社人工知能ロボット研究所

4

2.ロボットコンテスト

ROBO-ONE技術の進化
見た目のロボット技術が中心に進化を遂げた。メカ・サーボに見られる進化は軽量化から実用性へ移行し始めた。
ヒューマノイドプロジェクト開始 2001年1月24日

映像

NR-1が3歩あるく 2001年6月25日

映像

映像

映像
映像
映像

宇宙へ

映像

ドア開け
三点倒立

階段
起き上がる

技術

高速歩行

バック中
投げられ立つジャンプ
相手を投げる走る
次世代HMI
不正地

映像

モニタリング
認識
遠隔操縦

ROBO-ONEプレイベント 2001年9月29日

異常診断
協調映像

進化を促したい。

BOSTON
Dynamics

モーション作成
マスタースレーブ

ROBO-ONE第1回大会 2002年2月2日

2002
7/6/2018

映像

2010

株式会社人工知能ロボット研究所

Year

2020

5

3.人工知能の進化

深層学習の登場
EY総合研究所レポート「人口知能が経営にもたらす創造と破壊」より

ニューラルネットを使った機械学習

深層学習の登場

特徴の発見
大量のデータルールに基づいた判断
ニューラルネットを使った機械学習イメージ

7/6/2018

株式会社人工知能ロボット研究所

63.人工知能の進化

人工知能と深層学習
機械学習と深層学習

深層学習

機械学習
人工知能

株式会社人工知能ロボット研究所

3.人工知能の進化

人工知能の進化
ニューラル·ネットワーク

ディープニューラルネット:ニューラルネットを取り入れた機械学習。画像の分類問題で人間を超えたと言うことで、これをきっかけに第三次人工知能ブームの引き金となった。 CNNが進化させた。

教師あり--パーセプトロン--バックプロパゲーション--アソシアトロン

教師なし--自己組織化マップ(SOM)--ボルツマン·マシン

データ·マイニング

学習·進化

7/6/2018--If-Then--主成分分析--クラスタ分析--サポート·ベクタ·マシン(SVM)--Qラーニング--山登り法--遺伝的アルゴリズム

CNN(畳み込みNN):画像認識
AE(auto encoder):ノイズ除去や画像生成
RNN(リカレントNN):未来予測や自動作文
ディープ強化学習:ぶつからない車
If-Thenルール: もし〇〇だったら□□をしなさいというルールがたくさん並んでいるも。
Qラーニング:行動するごとにある決められた報酬(Q値)が得られるようになっていて,報酬が多く得られるように、動作を更新する方法です.

山登り法:ロボットがどのくらい良い動作をしたかを記録しておき,動作パラメータを少しだけ変えて実験します.その結果が良ければ変えた動作パラメータを採用しそうでなければ戻すことを繰り返します.

株式会社人工知能ロボット研究所

84.人工知能の進化

人工知能技術戦略会議とロードマップ
http://www2.nict.go.jp/ais/ais_sympo.html
http://www2.nict.go.jp/ais/anzai.pdf

7/6/2018

株式会社人工知能ロボット研究所

9

5.ARGOSチャレンジARGOS Challenge team
映像

株式会社移動ロボット研究所

映像

映像
映像

東北大学田所研究室/永谷研究室7/6/2018

筑波大学
坪内研究室

株式会社人工知能ロボット研究所

10

5.ARGOSチャレンジ

ARGOS Challenge
ROS,OpenCV,Pythonの活用

完全自律型移動ロボットによる石油プラント
監視ロボットコンテストに参加。

機械学習/深層学習

画像処理/深層学習がAiRRCのキーテクノロジーとなる。
完全自律ロボット
によるプラントの監視システムを構築

7/6/2018

株式会社人工知能ロボット研究所

115.ARGOSチャレンジ

ARGOS
Designation

ARGOSチャレンジにおいて、画像処理/深層学習を使ってメーターの針を読んだ
り、バルブの位置を読むプログラム開発を行いました。

Starting Time Ending Time
Duration
Position(HH:MM:SS:F (HH:MM:SS:F(MM:SS:FFF) (X,Y,Z)
FF)
FF)

Value

StatusFile

Anomaly

Position ofcheckpoint
modified:5.29315,2.91
Resources/00
748,0 (m)00_output.jp
Orientation
gof thecheckpoint
modified:0,0,0,1

Action:checkpoint statusassessment-6.288, 3.423, 0.481783843
16:54:59:529 16:55:00:598 00:00:01:068
Anormaly
CP16
0.040
209 bar(algorithm
2/2 rejected)

offset x=0.02m y=Resources/00
0.02m
01_report2.j
confidence=0pg.5676681404
66

Deep Learning

Action:checkpoint statusassessment-6.288, 3.423,
CP16
16:54:40:529 16:54:55:979 00:00:15:449
0.17 [bar]0.040(algorithm
1/2accepted)

Key Point MatchingDetection:
status alarm

7/6/2018

16:56:01:776-6.311, 3.343,0.040

株式会社人工知能ロボット研究所

Description

Emergency
stop

126.研究事例★動物生体研究

らんちゅう選別ロボット
らんちゅうの選別システムに画像の深層学習活用の基本がある。
機械学習による領域検出

深層学習による善し悪しの判別
良い吸い取りメカニズム

悪い

静止状態の判定から動的判定の研究へ移行
7/6/2018

株式会社人工知能ロボット研究所

感情の入らない効率的な選別ができる。
13

★植物生体研究

6.研究事例

トマトのモデル化
実演

PLS
株式会社プラントライフシステムズ ⇔ 技術顧問

栽培支援ソフト＋最少のセンサー＋特殊水耕システムで安価で非常に高い糖度のトマトができるシステムの確立

AiRRCが担当

トマト無収穫時期
病気などの判定へ深層学習適用推進中

MBD：モデルベース開発を適用
ハウスでの生育

生育アルゴリズム＋生育支援

最小限のセンサ
糖度光合成
水分
葉上CO2

自動車開発等での制御での主流のプログラム（モデル予測＆ディープラーニング）を活用

等価状態でシミュレーション特殊水耕システム

7/6/2018

実際の生体状態を把握コンピューター上で表現非常に高い精度で高品質な作物ができる。

株式会社人工知能ロボット研究所

14

7.ロボット部品の低価格化

ロボットシステムの要素技術
サーボシステムAI

ステレオカメラ
IMU

電源システム

データベース

高度な部品の低価格化が進んでおり、高度なロボット製作の可能性が出てきた。

CPUOS

コントロールシステム

駆動系

モータドライバー

株式会社人工知能ロボット研究所
2018/7/6

15

7.ロボット部品の低価格化

IMU
低価格IMUの調査結果、BNO-055が優れていることが分かった。
FOG（Fiber Optical Gyro）
MPU-6050
MPU9250 BMP280

MPU-9250
Lovoski IMUCMPS11-Tilt補
償磁気コンパス

10自由度 IMU

GY-BNO-055: BNO055 3軸加速度センサー + 3軸ジャイロスコープセンサ + 3軸地磁気センサモジュール

BNO055￥ 2,450オイラー角とジャイロ積分角との比較

株式会社人工知能ロボット研究所
2018/7/6

16

8.ロボットと知能の連携

ロボットと人工知能の連携
クラウドでロボットやセンサーが繋がり、より高度なサービスを提供する「クラウドロボティクス」
自律神経を持つロボット

知能:自分で考えるかクラウドを使うか?

ArduinoでROBO-ONEのロボットは動く
次は知能を追加したい。
Mother
人工知能:学習による進化
他の人工知能と連携

情報:数値化す
るか生情報か?
ROSなどのミドルウェアによる体内LANロボットだから得られる情報がある。
7/6/2018

google home

株式会社人工知能ロボット研究所

Aibo
17

9.画像処理

画像処理CPUについて
RasPi 3
¥5,000.-NVIDA TX2

ベアボーンPC i7¥39,000.-

NUC i7*4¥190,000.-

RasPi zero
¥3,000.ASUS TinkerBoard¥9,000.-Intel Z8350￥25,724

Ubuntu16.04LTS+ROS(Kame)/Stereo Camera対応コストからRasPi互換のASUS TinkerBoardにて推進。
2018/7/6

株式会社人工知能ロボット研究所

189.画像処理

画像処理のためのOSロボットに適用を前提とすれば、ROSということになる。

現在はUbuntu16.04+kinetic
まずはPythonからスタートするとすれば、Python2.7+OpenCV3.4
1.Ubuntu16.04 install
Tinker:Armbian install
http://gihyo.jp/admin/serial/01/ubunturecipe/0488
Nuc / up :from USB
https://kledgeb.blogspot.jp/2016/04/ubuntu1604-1-ubuntu-1604ubuntuubuntu.html

7/3/18

株式会社人工知能ロボット研究所

199.画像処理

ROS-kinetic+Python+OpenCV
ROS-kinetic install
http://wiki.ros.org/kinetic/Installation/Ubuntu# レポジトリ追加
sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" >/etc /apt/sources.list.d/ros-latest.list'# 認証キー追加
sudo apt-key adv --keyserver hkp://ha.pool.sks-keyservers.net:80 --recv-key
0xB01FA116
sudo apt-get update# フルインストール
sudo apt-get install ros-kinetic-desktop-full# イニシャライズ
sudo rosdep init
rosdep update

9.画像処理

Pythonを使ってみる
Anacondをインストール
https://www.continuum.io/からダウンロード。
Windowsでも使えます。

Spyderを使うとMATLABな感じ。
NumPyとmatplotlibなどのライブラリーが有難い。
動画を読み込めない場合はPip install opencv_python-2.4.13.2-cp27-cp27mwin_amd64.whl

9.画像処理ライブラリーのいろいろ
Python 標準ライブラリ
https://docs.python.jp/2.7/library/index.html
http://programming-study.com/technology/python-library/
NumPy
NumPyは科学技術計算などで配列や行列の演算を高速で行うために使われます。研究などで数学的な計算をしたいときに、非常に有効なライブラリとなっています。
import numpy
n_array = numpy.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])print(n_array)matplotlib
matplotlibを使えばPythonでデータをグラフにプロットできるようになります。
グラフの表示にはmatplotlib.pyplotモジュールのplot()およびshow()を使用します。
from matplotlib import pyplot
pyplot.plot(x軸, y軸)
pyplot.show()

AI ROBOT RESEARCH CNTER229.画像処理

Program記述方法
chmod u+xで実行権を与える
漢字も使える
numpyをimport
matplotlib.pyplotをimportdefで関数を宣言
インデントによってブロック化
Mainからスタート

配列をセットmatplot関連

AI ROBOT RESEARCH CNTER

23

9.画像処理

カメラの選定No

7/6/2018

走行用 ステレオQR/AR 名称

視野角 解像度at30fps

自動露光

自動焦点

その他

1×××

ELP HDの2megapixel1080ミニバリフォーカルUSBカメラモジュール
20～30 640×480/320×240
ややラフなしARGOSで使用

2××◎

ELP-USBFHD01M-L36

なし

ARGOSで使用

3〇〇×

ELP 720P デュアルレンズ USBカメラモジュール（1100 640×480/320×240
PCS） (100度デュアルレンズ)
暗いところに弱い なし

レンズ歪み大4◎◎

5××6×78

30 640×480/320×240

ややラフBUFFALO 200万画素WEBカメラ
120広角120°マイク内蔵
640×480/320×240/160×120
ブラック BSW200MBK
良いyuy2以外は遅れがある yuy2にて使用のこと

×XQBなし××

WEBカメラ ELEGIANT USB 小型
20 HD
640×480/320×240/160×120
720P 高画質 マイク内蔵 PCカメラ
良い Win/Mac･iChat/Skype/FaceTime/MSN/Yahoo対応
良い×××logcool

45 640×480/320×240/160×120 良い

良い×××PS2cam

100 640×480/320×240/160×120 良い

良い9×××Cimkiz USB 2.0 HDウェブカメラ、MICクリップオン360度のデスクトップ用SkypeコンピュータPCラップトップ用Webカム
30 640×480
ややラフなし
(銀)

10

◎

◎×

ELP 0.3MP YUY2 MJPEG640X480
100 640×480/320×240
VGA OV7725 CMOSミニUSBカメラモジュール
良い(2.8mmレンズ)
良い11◎◎×ELP Full Hd ウェブカメラ1080p
100HD
640×480/320×240
Linux/Windows USBカメラモジュール（オートフォーカス100度レンズ）
ややラフ
良い

12×××

XCSOURCE

13×××

ELP 5メガピクセル工業USB2.0 60
OV5640カラーCMOSセンサーUSBカメラモジュール
2592x1944高HD解像度
良いLinux
良い / Android / Mac /耐熱性なし
Windows PC Webcam(60度オー

30 640×480/320×240/160×120 良い

75fpsまで可/切り替えzoom/入手困難
レンズ湾曲

マイクスタンドクリップ付き
45 640×480/320×240
USB2.0 0.3メガピクセ
良い HDカメラ ウェブカメラなし
ロータリー デスクト

株式会社人工知能ロボット研究所

249.画像処理

画像処理のテクニック

実演
実演
画像の取り込み保存
モルフォロジー
エッジ処理
マッチング
色判断
動きの判断など

7/3/18

株式会社人工知能ロボット研究所

25

10.機械学習

機械学習

実演

OpenCVで物体検出器を作成する
https://www.pro-s.co.jp/engineerblog/opencv/post_6202.html

学習◦ 物体を検出する際、あらかじめ画像から、特徴量を抽出する。
推論/検証/検出◦ 学習済の特徴に合う部分がないかを画像上を探査する。

カスケード分類器
haartraining（ハールトレーニング）
Haar-Like特徴による機械学習
traincascade（トレインカスケード）
haartrainingのあとに作られたもの
Haar-Like特徴・LBP特徴・HOG特徴から1つを選択
輝度の勾配方向の分布●正解画像は7000枚以上、不正解画像は3000枚以上

10.機械学習

Deep Learning

実演

1.機械学習 Hog⇒Haar
2.Chainer 浅層学習/搭載型
3.深層学習 多くの画像深層学習クラウドができた。
Labellio(京セラ) Zinrai(Fujitsu)
Custom Vision Servise(Microsoft)
Watson(IBM) etc.

Labellio(画像の深層学習クラウド)昨年暮れ
TensorFlowで再スタート。大幅に精度向上。
トマトの病気の深層学習

https://www.labell.io/datasets/
株式会社人工知能ロボット研究所
2018/7/627

11.ROSROS（Robot Operating System）
ロボットの統合的モデルベース開発ツール
Ubuntu16.04LTSにROS(Kame)を搭載。
<ROSとは>
1. プロセス間通信のための通信ライブラリ
2. プログラムをコンパイルするためのビルドシステム
3.リアルタイム処理ではない。ROS2でリアルタイムへ<シミュレータ、ツール> Gazebo<ライブラリー>tf: 座標変換、フレーム作成
pcl：ポイントクラウドライブラリ
OpenCV:画像認識ライブラリ
usb_cam:USBカメラとの接続などのライブラリが充実しています。

Point cloud

株式会社人工知能ロボット研究所
2018/7/628

12.深度センサー

ステレオカメラの校正とPoint Cloud<Install>http://bril-tech.blogspot.jp/2016/11/ros9-ros.html
sudo apt-get install -y ros-kinetic-uvc-camera
sudo apt-get install -y ros-kinetic-image-*<Calibration>
rosrun uvc_camera uvc_stereo_node _left/device:=/dev/video0 _right/device:=/dev/video1 _fps:=30_skip_frames:=2 _width:=320 _height:=240<matlab check>rosrun camera_calibration cameracalibrator.py --size 9x6 --square 0.03 right:=/right/image_raw
left:=/left/image_raw left_camera:=/left right_camera:=/right<opencv:http://opencv.jp/sample/pics/chesspattern_7x10.pdf><Point Cloud>ROS_NAMESPACE=stereo rosrun uvc_camera uvc_stereo_node _left/device:=/dev/video0_right/device:=/dev/video1 _fps:=30 _skip_frames:=5 _width:=320 _height:=240
ROS_NAMESPACE=stereo rosrun stereo_image_proc stereo_image_proc
rosrun image_view stereo_view stereo:=/stereo image:=image_rect_color _approximate_sync:=True<reconfigure>rosrun rqt_reconfigure rqt_reconfigure

実演

7/3/18

株式会社人工知能ロボット研究所

29

12.深度センサー

Realsense
実演<How to install>https://qiita.com/alfredplpl/items/0b1d9d1d369032512d1e
インテル®RealSense™デバイス用ROSラッパー2.0（ビルド2.0.3）
https://translate.googleusercontent.com/translate_c?depth=1&hl=ja&prev=sear
ch&rurl=translate.google.co.jp&sl=en&sp=nmt4&u=https://github.com/IntelRea
lSense/librealsense/tree/development/wrappers/python&xid=17259,15700022,15700124,15700149,15700168,15700173,15700186,15700191,15700201,15700205&usg=ALkJrhhnvspfAA_a_AkK6CVkNG3QdNzFew

7/3/18

株式会社人工知能ロボット研究所

30

12.深度センサー

PCL(point cloud libraly)
PCL(Point Cloud Library)+ROSで3次元画像処理入門
https://karaage.hatenadiary.jp/entry/2017/09/11/073000

実演

Python PCL (Point Cloud Library)のインストールとサンプル実行
http://zuqqhi2.com/python-pcl

ROSで始めるロボティクス（8） ー ロボットのナビゲーションを行う
http://bril-tech.blogspot.jp/2016/10/ros8.html
https://pypi.python.org/pypi/PyPCL

7/3/18

株式会社人工知能ロボット研究所

31

13.まとめ

まとめ
画像には多くの情報があり、処理には時間がかかるとのイメージが多かったが、低コスト化、小型化、高速化が進み、ROBO-ONEロボットへの搭載の可能性が出てきた。
まずはこれらをベースに使える処理から、ROBO-剣、ROBO-ONE
autoに活用していただけることを願う。
(参考)活用方法は今後、㈱人工知能ロボット研究所サイトにて公開していきます。

7/6/2018

株式会社人工知能ロボット研究所

32