NVIDIA Jeston のAIデバイスで何ができるか考える

# 1. はじめに

◯筆者について
私はIoT業界で働く雑用エンジニアです。
自分で組込みはやっておりませんが、隣の島の組込み屋を眺めてます。

◯何を書きたいか

　2024年12月19日にNVIDIAが安価なAIの開発者キットを発表して、何ができるか気になり検討しました。

　開発者キット名称
　　Jetson Orin Nano Super 
　
 　価格
　　249ドル -> 155円/＄換算で　38600円

https://blogs.nvidia.co.jp/blog/jetson-generative-ai-supercomputer/




# 2. スペック

以下公式記事から抜粋したスペック。
https://ryoyo-gpu.jp/product/jetson/orin_nano_super_devkit/

| 項目               | 内容　|メモ                                                                                           |
|--------------------|------------------------------------------------------------------------------------------------|-------------|
| AI性能            | 67TOPS  | TOps:Tera Operation  Per Sec; プロセッサが1秒間に処理できる演算回数。                                                                                    |
| GPU               | 32基のTensorコア搭載1024コアのNVIDIA AmpereアーキテクチャGPU  | -                                  | - |
| CPU               | 6コア Arm® Cortex®-A78AE v8.2 64bit CPU<br>1.5MB L2 + 4MB L3                                    | Linuxなら普通に動きそう。|
| メモリー          | 8GB 128bit LPDDR5<br>102GB/s | パーソナル向けよりかなり早い                                                                    |
| ストレージ        | SDカードスロットと外付けNVMeをサポート | - |                                                          |
| ビデオエンコード   | 1080p30を1～2CPUコアでサポート                                                                  | - |
| ビデオデコード     | 1x4K60（H.265）<br>2x4K30（H.265）<br>5x1080p60（H.265）<br>1x1080p30（H.265）                  | -|
| カメラ            | 2xMIPI CSI-2 22pinカメラコネクター                                                              | カメラも繋げると|
| 消費電力          | 7W～25W                                                                                        | めちゃめちゃ低消費電力。こんなんでAI動くのか|
| PCIe              | M.2 Key M slot withx4 PCIe Gen3<br>M.2 Key M slot withx2 PCIe Gen3<br>M.2 Key E slot            | 対応幅ひろい|
| USB TypeA         | 4xUSB3.2 Gen2                                                                                   |ありがたい|
| USB Micro-B       | -                                                                                              |
| USB TypeC         | USB TypeC Connector for UFP                                                                    |ありがたい|
| ディスプレイポート | DisplayPort 1.2a（＋MST）                                                                       |-
| MicroSD スロット   | -                                                                                              |-
| RJ45              | -                                                                                              |-
| M.2 Key E         | -                                                                                              |-|
| その他IO          | 40pin拡張ヘッダー（UART、SPI、I2S、I2C、GPIO）<br>12pinボタンヘッダー<br>4pinファンヘッダー<br>DC電源ジャック |GPIOついてて使いやすい。
| フォームファクター（ｍｍ） | 103x90.5x34.77<br>（脚部、キャリア ボード、モジュール、冷却ソリューションを含めた高さ）                  |-
| ソフトウェア       | Jetpack SDK                                                                                    |LinuxOSやCUDA等AI開発に必要な主要なコンポーネントを提供
| 同梱物            | POWER ADAPTER AC Power Brick 45W<br>TypeB（US、CA、JP）Power Cable<br>UPC Label<br>Quick Start and Support Guide |-


# 3.何ができるか、用途は？

◯何ができるか

 IO出せる、カメラ読める、CPU,GPUを使う処理ができる。
 67TOPSあるため、GPT-2は動かせる。
 Linux入れて遊べる。

 -> IOがデフォルトで出せるのは便利そうです。

◯どういう用途に向いているか

上記性能から、IoT関連のAIエッジデバイスとして十分使えそうな気がします。
ぱっと思いつくのは
- ドラレコの特徴的な出来事の保存
- ドローン/自動車の自動制御
- 監視カメラのイベントレコード
- ヘリコプター、船上からの遭難者捜索

◯私が手にいれたら何をしたいか
クラウドデータを上げたくなくて、オンライン処理、リアルタイム処理したい用途。
以下とかでしょうか。AIの知識はほとんどないので、妄想です。


- 人格の投影
　大量の日記でトレーニングしたモデルで、この人ならこういう入力があればこういう行動をする。みたいなAI。
（面白そうだけどGPTで十分そう）

 -> 個人的な出来事を学習させるので、クラウドには上げたくない。まあまあ適切。
 
- AI教官
　自室や会社の部屋全体を動画で取っておいて、トレーニングした鬼教官が「問題行動」もしくは「善い行動」と判断した行動をした際に、なんらかの「弱化」もしくは「強化」のシグナルを出す。
 　（分析行動科学的に、行動を「強化；褒める、報酬を出す等」「弱化；怒る、罰金等」でフィードバックすると行動を増やしたり消したりできる。）
 
 -> 自室や会社の部屋の動画はクラウドに上げたくない＋リアルタイム性があるとよいので、かなり適切か。

 - AIトレーナー
 　AI教官に近いが専門的な運動競技で、こういう行動をすると結果がよくなる、ということをカメラで動画撮影しながらフィードバックしてくれる。

 -> これもAI教官と同じで、適切な用途か。

あんまり面白い事思いつきませんした...
このデバイスでモデルのトレーニングができればもう少し広がりそうだけどなあ。

以上