Ai Robot Research Center

RZ-Boardで新ROBO-剣やROBO-ONE with autoに参加しよう。 -2
2023年7月15日

西村輝一

株式会社人工知能ロボット研究所 代表取締役
一般社団法人二足歩行ロボット協会 理事長
7/11/2023

株式会社人工知能ロボット研究所

11.自律型ROBO-剣の実績
色認識+depth ⇒Object Detection+depthによるロバスト性の向上

https://www.twitch.tv/videos/1233047267

2.色による相手の認識(ROBO-剣)色認識DEMO DEMO
ステレオカメラの測定原理

1.単眼カメラ

ボールDEMO動画

2.ステレオカメラ
3.ステレオ+パターン発光
4.Tofカメラ

距離 D=B×f/S

7/11/2023

株式会社人工知能ロボット研究所

33.画像分類/物体認識/セグメンテーション
Classification-画像分類するアルゴリズムです。
Object detection-物体領域候補の抽出-物体領域候補の物体認識-検出領域の絞り込み

POSE DEMO
Pose estimation
Tracking

SSD (Single Shot Multibox Detector)-SSD は深層学習ベースの物体検出アルゴリズム，物体候補領域の生成と分類を同時に学習・実行することが可能です。
YOLO(You only look once)-YOLO では領域候補の抽出するのではなく直接的に物体検出をしようというものです。
Segmentation-画像の領域を分割するタスクをSegmentation(領域分割)と呼び、Semantic Segmentationは「何が写っているか」で画像領域を分割するタスクのことを指す。

4.新ROBO-剣サンプルモデル 推論-画像をROBO-ONEサイトよりROBO-剣の写真約100枚を使用し、Yolo v3 tinyで学習-入力はクラス名/config/Model-出力はクラスとバウンディングBoxの座標

7/11/2023

株式会社人工知能ロボット研究所

推論DEMO5

5.TinyYolo-v3の学習方法
1.画像収集https://www.robo-one.com/robooneimgs/

CVAT DEMO

2.アノテーション
https://github.com/opencv/cvat

3.学習
https://github.com/AlexeyAB/darknet
4.モデル
Model download

7/11/2023

株式会社人工知能ロボット研究所

66.機械学習推論用エッジシステム
CPU+ステレオカメラ

RasPiなど

CPU+GPU+ステレオカメラ

CPU+AIチップ付きステレオカメラ

Jetsonなど

RasPiなど

CPU+AI専用アクセラレータ+ステレオカメラRZ-Boardなど

7.ROBO-剣モデル推論時間
tinyYoloV3 ROBO-KEN Model
実行速度(msec)

FAN

推論

RasPi4390あり

OpenCV-DNN

minPC n5105

90あり

OpenCV-DNN

XavierNano+GPU

50あり

OpenCV-DNN

NUC-Core-i7+GPU

25あり

OpenCV-DNN

RZ-V2L

50なし

DRP-AI8. Avnet RZ/V2L ボード
https://www.avnet.com/wps/portal/us/products/avnetboards/avnet-board-families/rzboard-v2l/
Yocto Linuxの採用- インストールが楽- 高速起動
DRPの採用- DL推論が早い。
-前処理、後処理も高速化
Raspi互換-Raspiの周辺機器かかなり使える。

7/11/2023

株式会社人工知能ロボット研究所

99.Windowsによる開発環境
環境-Windows PC-TTLシリアル-Editor-Tera-Term-Dosコマンドプロンプト-SSHFSDEMO

SSHFS-Win maneger

Hub

7/11/2023

Python3+OpenCV

株式会社人工知能ロボット研究所

1010.RZV2L_Yocto Linux
Yocto projectとは必要な機能を、組込みシステムに実装するには、軽量化した組込み用のLinuxを自在にビルドする。
Linuxを自在にカスタマイズしてROBO-ONE用のYocto Linuxを作ろう。
YoctoのBitbake
BitbakeはYocto Projectで使われるビルド用のツールで、Make のようなものです。

<参考サイト>-Avnetのgithub
https://github.com/Avnet/meta-rzboard/tree/rzboard_dunfell_5.10_vlp_v3.0.2-（株）ベストテクノロジーサイト

https://www.besttechnology.co.jp/modules/knowledge/?RZBoard

7/11/2023

株式会社人工知能ロボット研究所

1111.ROBO-ONEのロボット構成を検討
ステレオカメラ
IMU

ToF

I2C
RZV2L

RasPi4で紹介したHatが使用できますが1).I2Cのプルアップが必
要です。
2).電源SWはRZ側のスイッチを短絡してください。

DCDC

バッテリー

Serial to TTL/RS485

サーボモーター

クロックの都合でB3Mは115.2Kbps,KRSは625Kbpsとなります。

12.Yocto-Linux imageの書き込み
LANケーブル

Windows PC

デバッグ
ポート
eMMCへの書き込み方法
1.SW1-ON /SW2-OFF デバッグ端子プラスへ接続
2.Config.iniを変更、TERA termのポートとwic名
3.boot.batを起動
4.eMMCへの書き込みを行うを選定(SDCの場合は2を選定)
5.RZの電源を入れると書き込みがスタートする。
6.終わり
imageの書き込み
1.電源OFF,デバッグ端子のプラスは外す。
2.image.batを起動
3.電源を入れる。
4.終了まで待つ。

7/11/2023

ROBO-ONE用 Yocto-Linux image-Python3-Open CV4.1-numpy.append-Pyserial-pip3
smbus2-Serial interface Ftdi driver-Arduino Serial interface driver

image download<Reference>https://qiita.com/Lathe/items/63bed2701d91e098761c
株式会社人工知能ロボット研究所

1313.Yocto SDK
RZ.V2Lのクロス開発環境をUbuntu上に作成します。

Yokuto LinuxをbitbakeしたUbuntu上で実施します。
1.ARMのgcc Developer GNU-Aのダウンロードページから，A-profileアーキテクチャ用のツールチェーンをダウンロードし、解凍し、環境を作ります。
2.Yoctoプロジェクトのビルド環境からSDKをインストールします。
これでUbuntu上でRZ-V2Lの開発が可能となります。
3. sdkを使用するときは以下を実行しておきます。
. /opt/poky/3.1.17/environment-setup-aarch64-poky-linux

https://github.com/nishibra/RZV2L_Yocto_SDK
7/11/2023

株式会社人工知能ロボット研究所

1414.RZV2L_Yocto_DRP-AI
1.Pytorchのインストール
1).YoloからPytorchへ変換
2).PytorchからONNXへ変換
2.Translaterのインストール
1).UserConfigfigの作成
2).DRP-AIモデルへ変換

3.プログラムの開発

DEMO
DRP-AIモデル サンプルプログラム
CtypesでC++のライブラリーを呼びます。
Pre-Post
Python3+
OpenCV

ctypesDRP-AIC++

1). DRP-AIモデルをコピー
2).サンプルプログラムを実行

7/11/2023

株式会社人工知能ロボット研究所

1515.Ubuntuによる開発環境<環境>
Ubuntu20.04 搭載PC (300Gbyte以上)

DEMO-Yocto Linux bitbake-C++クロスコンパイラーSDKのインストール-DAP-AIトランスレータなど-SSHFS

Hub

7/11/2023

株式会社人工知能ロボット研究所

Python3+OpenCV1616.ロボット技術の開示(GitHub nishibra)

7/11/2023

17

The End

7/11/2023

株式会社人工知能ロボット研究所

18