深層模倣学習について調査中

深層模倣学習(deep imitation learning)

## VIOLA
pdf [VIOLA: Imitation Learning for Vision-Based
Manipulation with Object Proposal Priors](https://arxiv.org/pdf/2210.11339.pdf)

Abstractの和訳：

> ロボット操作のための閉ループ視覚運動ポリシーを学習するためのobject-centricの模倣学習アプローチである VIOLA を紹介します。 私たちのアプローチは、事前にトレーニングされた視覚モデルからの一般的なオブジェクトの提案に基づいてobject-centricの表現を構築します。 VIOLA は、transformer ベースのポリシーを使用してこれらの表現を推論し、アクションを予測するためにタスクに関連する視覚的要素に注意を払います。 このようなオブジェクトベースの構造事前分布により、オブジェクトの変動や環境の摂動に対する深層模倣学習アルゴリズムの堅牢性が向上します。 VIOLAをシミュレーションおよび実ロボット上で定量的に評価します。 VIOLA は、成功率において最先端の模倣学習メソッドを 45.8% 上回っています。 また、ダイニングテーブルの配置やコーヒーの準備など、長期にわたる困難なタスクを解決するために、物理的なロボットへの導入にも成功しています。 その他のビデオとモデルの詳細は、補足資料とプロジェクト Web サイト (https URL ) でご覧いただけます。

github https://ut-austin-rpl.github.io/VIOLA/

![Screenshot from 2024-01-09 23-22-16.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/775b0eb2-b589-6882-bd31-e05948467122.png)

![Screenshot from 2024-01-09 23-26-57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/7ae5ed47-2038-9dd3-7ed4-8af5a315d76b.png)

学習後の推論で生成するものは、task space command (20 Hz) である。


![Screenshot from 2024-01-09 23-27-32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/048e7b5b-1a4c-767e-37fa-31d8b5690d64.png)

![Screenshot from 2024-01-09 23-27-53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/99855b95-7b75-4b37-d490-90ed77067e7f.png)
目的の動作を達成できたかどうかを、異なるアルゴリズムと比較するには、シミュレーションを用いているようである。
このような動作の中では、乱数を利用しているため、異なる乱数の種を用いて動作させて評価しているようである。


![Screenshot from 2024-01-09 23-28-24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/98a2d47d-03a3-1a76-ed7b-566eef979ae9.png)

カメラの設定がどのようであるのかが論文のAppendix に書いてある。
 the RGB images from the workspace camera, RGB images from the eye-in-hand camera
 の両方が使われている。

動画を見てみると、handのすぐ脇にカメラが取り付けてるのが見える。

---

Youtube [Stanford Seminar - Interactive Imitation Learning: Planning Alongside Humans](https://www.youtube.com/watch?app=desktop&v=iEpu-ZWuGIY)



Github 上にある imitation learning のリポジトリ
https://github.com/topics/imitation-learning



pdf [Transformer-based deep imitation learning for dual-arm robot manipulation](https://arxiv.org/abs/2108.00385)

![Screenshot from 2024-01-10 00-05-20.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/203b64a1-1d2f-f799-b970-cdadb088ccb0.png)


pdf [End-to-End Imitation Learning with Safety Guarantees using Control Barrier Functions](https://arxiv.org/abs/2212.11365)

pdf [End-to-End Differentiable Adversarial Imitation Learning](https://proceedings.mlr.press/v70/baram17a/baram17a.pdf)

## Universal Manipulation Interface
[Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots](https://umi-gripper.github.io/)
![Screenshot from 2024-02-27 17-33-33.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/09ebd2bf-2324-14bf-56d7-d738cad58a8b.png)

![Screenshot from 2024-02-27 17-35-29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/1be67606-8103-1b7a-7d78-ef8ef4242da6.png)
![Screenshot from 2024-02-27 17-35-38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/9a0da2aa-6818-d59a-5bd4-19a0e5722637.png)
![Screenshot from 2024-02-27 17-36-00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/97e9a364-ccc4-8e37-cde5-b77eef8144b8.png)
![Screenshot from 2024-02-27 17-36-06.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/ed6711f1-27c9-182c-2aaa-4f8f99d3ba8d.png)

ハードウェアの特徴
HD1. Wrist-mounted cameras as input observation. 
HD2. Fisheye Lens for visual context. 
HD3. Side mirrors for implicit stereo.
HD4. IMU-aware tracking
HD5. Continuous gripper control.
HD6. Kinematic-based data filtering.

ポリシー
PD1. Inference-time latency matching. 
PD1.1) Observation latency matching
PD1.2) Action latency matching. 
PD2. Relative end-effector pose
PD2.1) Relative EE trajectory as action representation.
PD2.2) Relative EE trajectory as proprioception. 
PD2.3) Relative inter-gripper proprioception



## 言語と関連付けられた模倣学習
[【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data](https://www.slideshare.net/DeepLearningJP2016/dllanguage-conditioned-imitation-learning-over-unstructured-data)