リアルタイムLCMでバ美肉しよう。

# 2023/11頃に遊んだネタ供養
## 構成
- StableDiffusion
- [luosiallen/latent\-consistency\-model: Latent Consistency Models: Synthesizing High\-Resolution Images with Few\-Step Inference](https://github.com/luosiallen/latent-consistency-model?tab=readme-ov-file)
- [radames/Real\-Time\-Latent\-Consistency\-Model: Demo showcasing ~real\-time Latent Consistency Model pipeline with Diffusers and a MJPEG stream server](https://github.com/radames/Real-Time-Latent-Consistency-Model)

## LCMトハ
StableDiffusionで画像を生成するのに32ステップくらいで1分とかかかるのが普通のところ、1～4ステップで、しかも爆速で生成しちゃうよ！という素敵技術
## RealTime LCMトハ
そんな爆速で生成できるなら、カメラキャプチャからリアルタイムでレンダリングできるくね？？という発想に基づいた素敵技術

## とりあえずRealTime LCMのデフォモデル
めっちゃ自然に追従する。
バックエンドはawsのGPU積んでるEC2とか使ってた気がする。（既に忘れた）

<blockquote class="twitter-tweet" data-media-max-width="560"><p lang="ja" dir="ltr">2023/11月頭頃に遊んだやつ供養。<br>RealTimeLCMでリアルタイム美少女になってみた。 <a href="https://t.co/CoHfjo7MtN">pic.twitter.com/CoHfjo7MtN</a></p>&mdash; シュレディンガーのナツさん (@natsu_san) <a href="https://twitter.com/natsu_san/status/1766253571803316275?ref_src=twsrc%5Etfw">March 9, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## モデル差し替え、年齢性別変更

<blockquote class="twitter-tweet" data-media-max-width="560"><p lang="ja" dir="ltr">モデル差し替え版。アニメ系にしたら、顔のバランスが合わずちょっと不気味の谷。性別とか年齢とか弄って遊んでる。 <a href="https://t.co/msMfnCvBEl">pic.twitter.com/msMfnCvBEl</a></p>&mdash; シュレディンガーのナツさん (@natsu_san) <a href="https://twitter.com/natsu_san/status/1766253961257046060?ref_src=twsrc%5Etfw">March 9, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## ControlNetで人外になろうぜ！
[CrucibleAI/ControlNetMediaPipeFace · Hugging Face](https://huggingface.co/CrucibleAI/ControlNetMediaPipeFace)

<blockquote class="twitter-tweet" data-media-max-width="560"><p lang="ja" dir="ltr">どうしても🐱になりたかったので、Control Net使って頑張ったが、StableDiffusionがケモナーになりきれなかったやつ。 <a href="https://t.co/Dc0z662uIj">pic.twitter.com/Dc0z662uIj</a></p>&mdash; シュレディンガーのナツさん (@natsu_san) <a href="https://twitter.com/natsu_san/status/1766254745587777678?ref_src=twsrc%5Etfw">March 9, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## 要改善ポイント
顔（キャラ）のブレが大きい→ControlNetで一枚絵を渡せば安定すると思う。
アニメ系の顔になりきれない（バランスが合わない）→モデル選択＋ControlNetでどうにかなるとおもう

とか言ってたら、翌週にこんなのが出たので、まぁ、どうでもいいですね。

[Microsoft、テキストの内容を実写アバターに話させるツールを発表。リアルタイムに対話できるボットアバターも可能](https://www.techno-edge.net/article/2023/11/20/2292.html)
[zhoudaquan/ChatAnything: Official Repo for the Paper: CHATANYTHING: FACETIME CHAT WITH LLM\-ENHANCED PERSONAS](https://github.com/zhoudaquan/ChatAnything)


## 関連技術

### Animate Anyone
一枚絵＋モーション検出でぬるぬる動かすやつ
<iframe width="560" height="315" src="https://www.youtube.com/embed/8PCn5hLKNu4?si=P4ldNWBrJY5y3A95" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

### SD-turboで毎秒100枚以上の画像を生成できるシステム「StreamDiffusion」

<iframe width="560" height="315" src="https://www.youtube.com/embed/CnVbZv-6lGE?si=R2lLCB_Va6noJ8ss" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

### [ConsiStory](https://consistory-paper.github.io/)
LoRAとかなしで一貫性のあるキャラクターとかを生成するよ、というやつ

### [InstantID/InstantID: InstantID : Zero\-shot Identity\-Preserving Generation in Seconds 🔥](https://github.com/InstantID/InstantID)
参照画像1枚で、一貫性のある画像を生成するよーってやつ

# 結論
なりたい姿になれる！のコストがめっちゃ下がるの嬉しい。