V1.0 2024/2/13

抜粋版
はじめての画像・動画生成ＡＩ用開発キット～ stable diffusion, runwayなどオープンソース利用～

開発編（ubuntu版）

スペクトラム・テクノロジー株式会社
https://spectrum-tech.co.jp
sales1@spectrum-tech.co.jp
all rights reserved 2024 spectrum technology co.

1

開発編 目次• ubuntu運用マニュアルページ• 開発キット(Ubuntu版） 全体像

9

1.
2.
3.
4.

ubuntuについて
基本コマンド
基本操作
日常運用• ハード・ソフトウエア概要
1.
2.

ハード概要
ソフト概要
①②
③

ソフト一覧
プロトコルスタック
プログラム一覧• Stable Diffusion

1.

stable-diffusion-webui

2.
3.

Stable video Diffusion
Stablity.ai api

①②③

①
②
③
④
⑤
⑥
⑦
⑧

Txt2imgimg2img
Sd-webui-ControlnetTxt2img(python)
Txt2img(jupyter)Img2img(jupyter)mask (jupyter)clip guidance (jupyter)
Multiprompting (jupyter)variants (jupyter)
Animation

44
67

10 抜粋版のため、ページと本文は一致しません
11121314151620252728293031323334
all rights reserved 2024 spectrum technology co.

2

開発編 目次

3. Stablity.ai api⑨⑩⑪⑫⑬

rest api：accountrest api：txt2img
rest api：img2img
rest api：img2video
Blender

4. runway① Txt2img② img2img

5. Runway web版
① Txt2img② Img2img③ Img2video

6. Copilot bing版
参考
Fake 画像チェック

35363738
3940
414243444547all rights reserved 2024 spectrum technology co.

3開発キット(Ubuntu版） 全体像
ＯＳ
ハードウエアCPU

8 core cpu,16GB
RAM
GPU

画像系

お客様準備

+USBメモリ

ＡＩ系

プログラム言語

弊社提供

カメラ（オプション）グラヒック

all rights reserved 2024 spectrum technology co.

画像・動画生成１．ハード概要①．必要なハードウエア仕様
開発キットと必要なハードウエアの概要です。
品名

仕様

備考

USBメモリ（ubuntu版）

USB3.0 128GB
画像・動画生成プログラム一式

カメラ

ＨＤ用 ＵＳＢカメラ

オプションで提供可能
カメラの画像取り込みの場合必要なハードウエア：お客様準備
PC本体

cpu

i9-7900以上（第７世代以降）
i7-7700以上（同上）

メモリ

16GB以上GPU

RTX30、40シリーズ他

all rights reserved 2024 spectrum technology co.

マザーボードによっては、ＧＰＵが搭載できない場合があります。AMDも対応可能

10GB以上のGPUメモリが必須。
動画は、16GB以上

２．ソフト概要①ソフトウエア一覧
本ＰＣにインストールするソフトウエアの概要です。
区分

ソフト名

OS バージョン

備考

お客様準備：弊社インストール・サービスにより提供可能
OSubuntu

22.04.1 LTS

GPU用

cuDNN

8.7.0+cuda11.8

venv仮想化時

USBメモリにより提供：手順書に基づきお客様でインストールして頂きます
画像

Opencv

4.9.0

画像・動画生成

Stable diffusion webui

1.7.0

controlnet

1.1

Stable diffusion関連モジュール

Stable video diffusion

0.1.0

gpuメモリが16GB以上必要

stabilityai api

0.8.5

blender

3.0.1

stabilityai api関連モジュール

runwayV2.0

gpuメモリが16GB以上必要

copilot

bingクラウド利用

プログラム言語

python33.10.12

ＡＩ用プログラム

Tensorrt

9.0.1

Pytorch

2.1.2

その他

venv仮想化時

Xformers, Jupyter notebookなど多数
all rights reserved 2023 spectrum technology co.のpipライブラリ6

２．ソフトウエア概要②プロトコルスタック
各ソフトの位置付けです。

Nvidia GPUが必須

Stablediffusion

Python3：プログラム言語

Application Program

runwayPytorchTensorRT

cuDNN

CPU

ＡＩ
画像処理

OpenCV
Windows（未提供）

アプリ

LinuxCUDAGPU

all rights reserved 2024 spectrum technology co.

ＯＳ
ハード

7

A:実用可能
B:要確認
C:試験段階Ｘ：エラー

２．ソフトウエア概要③ 開発キットプログラム一覧
id

アプリ名
1stable-diffusion-webui

項目
Txt2imgimg2img

概要
テキストから画像生成

評価
A

画像から画像生成しますA

3

img2img：sketch

4

img2img：impaint5

img2img：impaintA
スケッチ画像から画像生成します
画像から画像生成します。一部の画像の修正、ぼかし、差替えAなどができます
画像、スケッチから画像生成します。一部の画像の修正、ぼかAし、差替えなどができます。スケッチ部分に画像はめ込み

26

Sd-webui-Controlnet

7

sketchcanny
canny カメラから取り込み
openpose

891011Stable video Diffusion
1213Stablity.ai api
1415
16
17
18
1920
21
22
23

tile
reference
Txt2img
Txt2video
Txt2img（python）
Txt2img（jupyter）
Img2img(jupyter)mask (jupyter)clip guidance (jupyter)
Multiprompting (jupyter)variants (jupyter)
Animation
rest api：accountrest api：txt2img
rest api：img2img

24

rest api：img2video

25
26runway
27
28Runway29

blender
Txt2imgimg2img
Txt2img
Img2imgweb版

30
31Copilot

Img2video
bing版

Txt2img

画像編集・加工（線画、顔差替えなど）用：線画、顔置き換え

コメント

A

画像編集・加工（線画、顔差替えなど）用：カメラで撮影した画像
Aを、線画、顔置き換え
画像編集・加工（線画、顔差替えなど）用:ポーズ解析、人物な
RTX3080 10GBでA
ど置き換え
エラー
A
画像編集・加工（線画、顔差替えなど）用：背景入替
A
画像編集・加工（線画、顔差替えなど）用：顔入替A
テキストから画像生成
テキストから動画生成
×：メモリ不足 GPUのメモリが16GB必要
A
テキストから画像生成。Python版
A
テキストから画像生成。Jupyter notebook版
A
画像から画像生成
一部マスクして画像差替え
×エラー
A
背景差替え
A
背景差替え、マルチA
背景を数パターンで変化
B
creditが必要
アニメ生成
rest方式により、credit数などのアカウント状況確認A
HTTPSでの要求になります
rest方式により、テキストから画像生成
A
rest方式により、画像から画像生成
Bcreditが必要
creditが必要、２４時間クラrest方式により、画像から動画生成
B
ウドで保存
B
３Dモデリング、アニメ、レンダリング
使い方が不明テキストから画像生成
×：メモリ不足 GPUのメモリが16GB必要
画像から画像生成
×：メモリ不足 GPUのメモリが16GB必要
A
creditが必要
テキストから画像生成
Acreditが必要
画像から画像生成
creditが必要、最長４秒まC
画像から動画生成で
all rights reserved 2024 spectrum technology co.
8Adall-e3で生成
テキストから画像生成

Stable Diffusion• Stable Diffusionは、Stability-AI社が開発した、テキストを画像に変換するための深層学習モデルです。任意のテキストを入力すると、高品質で写真のように見える画像を生成できます。画像および動画生成
AIの代表です。オープンソース版、API版があります。また、高速化するtensorRTなどの関連モジュールも充実しています。
• Stable diffusion https://stablediffusionweb.com/• Github: https://github.com/Stability-AI/stablediffusion

all rights reserved 2024 spectrum technology co.

9

１．stable-diffusion-webui①．Txt2img$ cd /home/masa/Documents/genAI/stable-diffusionwebui/$ source /home/masa/Documents/genAI/stable-diffusionwebui/venv/bin/activate(venv)masa@ubuntu2 $ export COMMANDLINE_ARGS="-autolaunch --xformers"(venv)masa@ubuntu2 $ ./webui.sh
a professional photograph of an astronaut riding a horse

テキストから画像生成します。
venvの仮想化で実施します。
起動$ cd /home/masa/Documents/genAI/stable-diffusion-webui/$ source /home/masa/Documents/genAI/stable-diffusion-webui/venv/bin/activate(venv)masa@ubuntu2 $ export COMMANDLINE_ARGS="--autolaunch --xformers"(venv)masa@ubuntu2 $ ./webui.sh
自動でwebが立ち上がります http://127.0.0.1:7860/
なお、tensorRTのモジュールをインストールしている場合は、SD Unet:automaticで• テスト
Txt2imgタグ
入力：a professional photograph of an astronaut riding a horse
Generateで生成
出力は、/home/masa/Documents/openai/stable-diffusion-webui/outputs

all rights reserved 2024 spectrum technology co.

10

１．stable-diffusion-webui$ cd /home/masa/Documents/genAI/stable-diffusionwebui/$ export COMMANDLINE_ARGS="--autolaunch --xformers"$ ./webui.sh③．Sd-webui-Controlnet:openpose
venvの仮想化で実施します。
画像編集・加工（線画、顔差替えなど）用:ポーズ解析、人物など置き換え
起動

tensorRTと競合するので、SD UnetはNoneとすること。

$ cd /home/masa/Documents/genAI/stable-diffusion-webui/$ export COMMANDLINE_ARGS="--autolaunch --xformers"$ ./webui.sh
http://127.0.0.1:7860/が自動起動

テスト
ControlNetをプルダウン
Single image:画像アップロード：著作権に注意のこと。
Enable, control type:openpose, preprossor:openpose, model:ダウンロードしたもの
Control mode: balanced
一番上のprompt:girl, yoga,strech などを入力
generateで生成

all rights reserved 2024 spectrum technology co.

11

２． Stable video Diffusion①．Txt2img：テキストから画像生成
venvの仮想化で実施します。
サイト• https://github.com/Stability-AI/generative-models

https://github.com/Stability-AI/generative-models$ git clone https://github.com/Stability-AI/generativemodels.git$ cd /home/masa/Documents/genAI/generative-models$ pip install .
$ pip install -e git+https://github.com/StabilityAI/datapipelines.git@main#egg=sdata$ pip install hatch$ hatch build -t wheel$ export COMMANDLINE_ARGS="--autolaunch --xformers“$ cd /home/masa/Documents/genAI/generative-models$ streamlit run scripts/demo/sampling.py --server.port8000• テスト:txt2img(venv)masa@ubuntu2 $ export COMMANDLINE_ARGS="--autolaunch --xformers“(venv)masa@ubuntu2 $ cd /home/masa/Documents/genAI/generative-models(venv)masa@ubuntu2 $ streamlit run scripts/demo/sampling.py --server.port 8000
自動でwebが立ち上がります http://localhost:8000/
Load modelをチェックして、起動。5分位プロンプトに入力して、sampleで出力

all rights reserved 2024 spectrum technology co.

12３．Stablity.ai api$ source /home/masa/Documents/genAI/stable-diffusionwebui/venv/bin/activate$ export STABILITY_HOST=grpc.stability.ai:443$ export STABILITY_KEY=ｘｘｘ$ cd /home/masa/Documents/genAI/stabilitysdk/notebook$ jupyter-notebook②．Txt2img その２(jupyter):テキストから画像生成
https://platform.stability.ai/docs/getting-started
Stability ai社のapiでstable diffusionと同様の機能を実現。Video対応
25creditまで無料、1000creditで$10の従量制課金。
キーなど設定:必要な場合は、.bashrcに記載のこと$ export STABILITY_HOST=grpc.stability.ai:443$ export STABILITY_KEY=ｘｘｘ

テスト$ cd /home/masa/Documents/genAI/stability-sdk/notebook$ jupyter-notebook
Stability_API_Basic_Inference.ipynbを起動

all rights reserved 2024 spectrum technology co.

13

３．Stablity.ai api$ source /home/masa/Documents/genAI/stable-diffusionwebui/venv/bin/activate$ export STABILITY_API_KEY=ｘｘｘ$ cd /home/masa/Documents/genAI/stability-sdk/rest$ python sdvideo_txt2img.py
Prompt例:A lighthouse on a cliff⑩．rest api：txt2img:テキストから画像生成

https://platform.stability.ai/docs/api-reference
Stability ai社のapiでREST (Representational State Transfer) api方式を使ってHTTPSでアクセスし、回答を取得します。Video対応
25creditまで無料、1000creditで$10の従量制課金。
Venvの仮想化で実施
キーなど設定:必要な場合は、.bashrcに記載のこと$ export STABILITY_API_KEY=ｘｘｘ

テスト$ cd /home/masa/Documents/genAI/stability-sdk/rest$ python sdvideo_txt2img.py
Prompt例:A lighthouse on a cliff：python内にあります。

all rights reserved 2024 spectrum technology co.

14

5．Runway web版①．Txt2img
runwayのweb版。
125creditまで無料、625creditで$12/月の従量制課金。video実施時は、有料版が必要
Web版確認https://app.runwayml.com/video-tools/teams/ｘｘｘ/ai-tools/text-to-image
トップからtxt2img選択
Prompt: a photograph of an astronaut riding a horse
1分以内、５credit

all rights reserved 2024 spectrum technology co.

15