Red Hat AI Recap from Red Hat Summit 2025

# はじめに
参考にした記事の内容やリンクは文中に記載した。
当サイトに掲載している記事は個人の見解であり、所属する組織の公式見解ではない。

# 背景と目的
Red Hat Summit 2025 in Bostonで発表された主な内容について、AI部分にフォーカスして説明する。今年度の注目は以下の３つであったが、Keynoteで使用された時間はAIが大半であった。

1\. RHEL 10：10-15分程度
* Image Mode
* Lightspeed
* Post-Quantum Security

2\. OpeShift Virtualization：10-15分程度
* Single platformでVMとContainerを管理できる
* コスト削減できる

3\. Red Hat AI (Any model, any accelerator, any cloud: Unlocking enterprise AI with open source innovation) ：１時間以上

* vLLM
* RHEL AI Inference Server
* llm-d

Any model, any accelerator, any cloud
Openness -> Flexibility -> Choice
という２つのメッセージが印象に残った。

# Red Hat Inference Server
An inference server is software that helps an AI model make new conclusions based on its prior training. To infer is to conclude based on evidence.
[Introducing Red Hat AI Inference Server: High-performance, optimized LLM serving anywhere](
https://www.redhat.com/en/blog/red-hat-ai-inference-server-technical-deep-dive)

## 現状の課題
LLMを実行して推測された結果を取得する（Inference/推論する）には、多大なGPUリソースがかかる。１つのPromptに対する推論を実行するだけでも多大なコストがかかるが、それを複数ユーザから受け付けて処理する必要がある。

### 推論プロセス　Inference process（私の想像）
When an LLM is being trained, it learns via mathematical calculations. When an LLM is generating a response (inference), it does so by performing a series of probability calculations (more math).

In order for an LLM to understand what you’re requesting from it, the model needs to understand how words relate to each other and how to make associations between words. Instead of learning about semantics and reasoning with words like humans do, LLMs “reason” with…you guessed it, math.

![Inference process.drawio.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/8d8c50dc-64ba-491c-99f3-0687e6da632b.png)

## 解決策
vLLMのServing Engineをコアに据えたInference Serverを活用し、結果を取得するためのレスポンスタイムを小さくし、GPUリソースの使用効率を高められる。vLLMはPatedAttentionという技術を採用し、リソースの使用効率を高めている。

RHEL, OpenShift上で稼働する。

### vLLMとは
Inferenceを効率的に実施するためのライブラリを作成しているオープンソースコミュニティ。 [What is vLLM?](https://www.redhat.com/en/topics/ai/what-is-vllm)

### Inference Serverが採用している技術（抜粋）＞　Neural Magicが活躍

|Name|説明|
|---|---|
|Tensor parallelism (TP)|GPU内のプロセスを複数のLayerに分けて並行してタスクが処理できるようにする。|
|Pipeline parallelism (PP)|上と同じ|
|Quantization|LLM CompressorでLLMを量子化し、LLMのサイズを少なくすることでレイテンシーを少なくする。|
|Speculative decoding|Modelから返却される値をDecodeしなくても良いようにすることで、レイテンシーを少なくする。使用するトークンも少なくなる。|

### アーキテクチャ
処理を非同期化して並列で処理することで効率を高める。
https://www.redhat.com/en/blog/red-hat-ai-inference-server-technical-deep-dive

![image-20250526-070002.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/285afb8c-c405-42be-a7cf-fbcfbd90ba6f.png)

### Multi accelerator support
Inference Serverは、NVIDIA, AMDのGPUやGoogleのTPUなど複数のハードウェアをサポートする。

### Acess to popular LLMs (such as Llama, Mistral and Granite families)
Hagging Face上に専用ページがあり、Inference Serverからアクセスできる。モデルは量子化済みである。
https://huggingface.co/RedHatAI

## llm-d: llm-distributed
Summitで発表されたオープンソースコミュニティであり、vLLMとは別もの。Kubernetes上でLLMを提供するためのフレームワークである。
https://developers.redhat.com/articles/2025/05/20/llm-d-kubernetes-native-distributed-inferencing#llm_inference_goes_distributed

### InferenceのRequestは特殊
Inferenceを実行する際に、LLMに対してRequestが出され、Outputが返却される。それらを処理する時間は、Requestによって大きく異なる。

![image-20250528-052430.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/ed065d50-f6a9-4f22-98eb-a7cda8d5e009.png)

例として、RAGとThinking/Reasoningを比較すると大きく異なる。

![image-20250528-052823.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/da177622-0ca3-48aa-a5f2-0344656d2ce1.png)

### Prefix Caching
Prefix Cachingは、Key-Value Cache（KV Cache）を使ってLLMが実行する作業が重複することを防ぐ技術である。

![image-20250528-053427.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/c4802738-f277-4635-99ae-1d85d3d71396.png)

### Disaggregation
Inferenceは、大きくPrefillとDecodeの２つの処理に分けられる。それらを別々に処理することで効率を上げられる。

![image-20250528-053920.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/c8e867c5-d2e0-4d71-b21e-8eae9b82a9f9.png)

特別な知識がなくても、Prefix CachingやDisaggregationのような技術をKubernetes上で使用できるようにするのが　llm-d　の使命である。

### アーキテクチャ
複数のハードウェア上で、複数のvLLMを動かし、効率的にInferenceを実行する。

![image-20250528-054638.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/4052406/caf672d9-3367-4dd2-bc84-7e39db79c45f.png)

### まとめ
Red Hatは企業向けにLLMを使用するための敷居を低くし、選択肢を増やし、誰もがビジネスに利用できるようにしたい。

## 他に深掘りしてみたいトピック

### Agentic AI / LlamaStack / MCP

### Terraformとの統合
TerraformでAWSリソースのDeploymentをIaC化したい場合に、IBMが買収したことでそれを加速できるか？Vault機能も使えそうか。