【2024年04月版】Proxmox で Ceph/CephFS構築【初心者向け】


# はじめに

Proxmox　で Ceph/CephFSを構築メモ。

MacbookPro M3 + UTM で環境構築していますが、x86-64でも手順は変わりません。

# 環境

- Proxmox8.1 x 3台

:::note info
- Proxmoxのインストールは、[【2024年04月版】Apple silicon (M1/M2/M3) de Proxmox【Proxmox on UTM】](https://qiita.com/nouernet/items/c7b116fe332fc9ed93aa)等を参考にしてください
- ProxmoxのCluster構築は、[【2024年04月版】Proxmox で Cluster構築【初心者向け】](https://qiita.com/nouernet/items/33e35409527b1c83df97)等を参考にしてください
:::

:::note warn
- この記事ではオフィシャルでないProxmox-Portを、MacbookPro14 M3（AppliSelicon上） + UTM で稼働させています
:::

# Cephのインストールと設定

1つのノードの管理コンソールで、「Datacenter」からノードを選択し「Ceph」を選択し「Install Ceph」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/0b614ce7-f9e2-9f75-70e7-87452318b8ee.png)

「Repository」で「No-Subscription」を選択し「Start reef installation」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/fb9d5d1e-5670-2c1e-6dd0-1eb308a23ad5.png)

Shellが表示されるので、「Y」を入力してインストールを継続する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/2f988cd6-6750-0d0c-f39e-9198a0c3c314.png)

「installed ceph reef successfully!」が表示されればインストール完了。続いて「Next」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/ea310afc-f588-8d4e-2b9d-c0492dc32fcf.png)

CephのClusterで利用するネットワークを選択する。わからなければProxmoxの管理に使っているネットワークと同一のものを選択し、「Next」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/5baf5878-daa1-b966-0de1-ef9f4cc279c7.png)

「Installation successful!」と表示されれば設定完了。「Finish」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/b3e64769-6985-e83a-0da1-de81c6f93c31.png)

別のノードでも、同様にCephのインストールを行う。最低３つのノードで行う。「Status」でワーニングが表示されているのは気にしない（あとの手順でOSDを作成した段階で消える）。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/f5050ae4-731d-2047-acd8-49e883fb6c9e.png)

別のノードでCephのインストールを行うと、設定はすでに完了しているメッセージが表示される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/634bf747-4ed4-5527-db35-44b0533534dc.png)

# OSDの作成

1つのノードの管理コンソールで、「Datacenter」からノードを選択し「Ceph」を選択し「OSD」を選択し「Create: OSD」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/fb8b3b35-1cfa-6014-49d8-1ad2b7b2080f.png)

OSDを作成するブロックデバイスを選択し「Create」を押下する。ここでは「/dev/vdb」を選択している。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/21a7b554-32b3-a2c5-9f0b-e2c96da7288b.png)

OSDの作成が完了すると作成したOSDが表示される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/df542d6c-d52f-8531-a12d-14e3e260f6d5.png)

別のノードでも、同様にOSDの作成を行う。最低３つのノードで行う。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/a1d49f5c-6010-b558-0c24-e2aa63cad178.png)

ノードの作成を行うと、Cephのステータスがグリーンになるが、容量が足りない状態だと、以下のようなワーニングが表示される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/56eea0cb-5889-846a-cdb5-efd1e9127610.png)

# Poolの作成

1つのノードの管理コンソールで、「Datacenter」からノードを選択し「Ceph」を選択し「Pool」を選択し「Create」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/bf860424-4f9c-41ea-5dca-cb1a87677668.png)

「Name」を適当に入力し「Create」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/4b25c06e-9664-2ea2-afb8-3f0e26a7078e.png)

Poolが作成される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/62b41949-6863-de96-efac-9e95e62b7d95.png)

各ノードにPoolが表示されている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/135dd715-e780-9d3f-71c8-c10bfe038838.png)

# Metadata Server の作成

1つのノードの管理コンソールで、「Datacenter」からノードを選択し「Ceph」を選択し「CephFS」を選択し「Create」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/4ff8711b-14c1-0fc2-62da-a298eed3cd99.png)

「Host」を選択して「Create」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/3a640f7a-5739-c192-f525-81b354ccdd4f.png)

Metadata Serverが作成される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/213bf355-58a2-8967-8166-e02566fb6232.png)

別のノードでも、同様にMetadata Serverの作成を行う。最低３つのノードで行う。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/6e93dae4-7afa-6c9d-3259-78f5ed2b681f.png)

「Create CephFS」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/49f62cfb-844d-9efb-1012-66e62889197e.png)

「Name」を適当に入力し「Create」ボタンを押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/7c93b619-5698-335a-dd2f-22a8a463f2d9.png)

「TASK OK」となれば、CephFSの作成が完了。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/75d1eb77-0ce7-a78c-6c8d-39f1f2e38252.png)

各ノードにCephFSが表示されている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/173e4cb3-83d4-fdd1-0325-2a488a07f7cd.png)

# 確認

## ISOファイルのCephFSへのアップロード

ISOファイルをCephFSにアップロードして動作を確認する。
1つのノードの管理コンソールで、「Datacenter」からノードを選択し「cephfs」を選択し「ISO Images」を選択し「Upload」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/74b37046-d2e0-7f44-7880-44cd688914c6.png)

ファイルを選択して「Upload」ボタンを押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/3ac55e63-e341-dff9-7b40-61a7a350019f.png)

「TASK OK」と表示されればアップロードが完了している。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/7a63ca52-8c6b-2c4c-1a86-8444162c8a30.png)

アップロードしたISOが表示されている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/4eb717ed-dc84-a0d5-6ccc-223da0b424e8.png)

他のノードのcephfsでもアップロードしたISOが表示されている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/ac1eb454-5fe1-2f5c-6201-cbe1b19a6db3.png)

## ISOファイルのCephFSへのダウンロード

ISOファイルをCephFSにダウンロードして動作を確認する。
1つのノードの管理コンソールで、「Datacenter」からノードを選択し「cephfs」を選択し「ISO Images」を選択し「Download from URL」を押下する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/74b37046-d2e0-7f44-7880-44cd688914c6.png)

「URLを入力し」「Query URL」を押下するとダウンロードファイルの確認が行われる。「Download」を押下することでダウンロードが開始される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/d903eb1f-800c-5c58-c075-02f36e2023d2.png)

「TASK OK」と表示されればダウンロードが完了している。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/e6a3024b-1e4a-4764-6a2d-2f054aeee5c6.png)

ダウンロードしたISOが表示されている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/665e8cec-d97b-79b2-8788-a307eb83b7a9.png)

他のノードのcephfsでもダウンロードしたISOが表示されている。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/143127/49be3edf-e39c-aa01-c5e2-d1eb731b1a46.png)

# さいごに

かんたんでしたね。

# 関連リンク

- [UTM](https://mac.getutm.app/)
- [Proxmox](https://www.proxmox.com/en/)
- [Proxmox-Port](https://github.com/jiangcuo/Proxmox-Port)
- [Proxmox-Port Wiki](https://github.com/jiangcuo/Proxmox-Port/wiki)
- [【2024年04月版】Apple silicon (M1/M2/M3) de Proxmox【Proxmox on UTM】](https://qiita.com/nouernet/items/c7b116fe332fc9ed93aa)
- [【2024年04月版】MacでProxmoxのインストールUSBを作成【diskutil, dd】](https://qiita.com/nouernet/items/273fdce0e77f0b2528bd)
- [【2024年04月版】Proxmoxのストレージタイプ【iSCSI, LVM, NFS, Ceph, GlusterFS】](https://qiita.com/nouernet/items/9115d497fd62930bbfcb)
- [【2024年04月版】Proxmox で Cluster構築【初心者向け】](https://qiita.com/nouernet/items/33e35409527b1c83df97)
- [【2024年04月版】Proxmox で Ceph/CephFS構築【初心者向け】](https://qiita.com/nouernet/items/120c5d8c8b96f881f077)