ردیس: نصب و راه اندازی Redis (Cluster) بخش 2 (کوبر)

Redis in kuberتو این پست قراره مراحل راه‌اندازی کلاستری ردیس روی کوبرنتیز رو آموزش بدیم. پس ما با این پیشفرض که شما با کوبرنتیز آشنایی کافی دارید پیش میرویم.قبل از هر چیزی معماری که مد نظرمونه، اینه که کلاستر ردیس بر روی 3 ماشین مجازی با 3 نود مستر و با 4 نود اسلیو به ازای هر مستر با پخش هر ماشین 1 مستر و 4 اسلیو و اسلیوهای هر مستر بر روی تمامی ماشین ها وجود داشته باشد. پس برای مثال نود هایی داخل هر نود به این شکل باشد:ماشین 1: مستر 1- اسلیو مستر 1-اسلیو مستر 1-اسلیو مستر 2-اسلیو مستر 3ماشین 2: مستر 2- اسلیو مستر 1-اسلیو مستر 2-اسلیو مستر 2-اسلیو مستر 3ماشین 3: مستر 3- اسلیو مستر 1-اسلیو مستر 2-اسلیو مستر 3-اسلیو مستر 3برای این کار ما ابتدا باید 15 اینستنس ردیس بر روی تمامی نود ها ایجاد کنیم یعنی هر ماشین مجازی 5 نود ردیس را شامل شود.پس برای این کار ابتدا namespace به نام redis میسازیم:#file: ns.yml apiVersion: v1 kind: Namespace metadata: name: redisسپس با کد زیر فایل yml را بر روی کلاستر اعمال میکنیم:kubectl apply -f ns.ymlاما برای ارتباط با ردیس و ارتباط ردیس باهم دیگر ما به یک سرویس نیاز داریم. پس سرویس زیر رو خواهیم داشت:#file: svc.yml apiVersion: v1 kind: Service metadata: name: redis-cluster namespace: redis spec: ports: - port: 6379 targetPort: 6379 name: client selector: app: redis-cluster سپس با کد زیر فایل yml را بر روی کلاستر اعمال میکنیم:kubectl apply -f svc.ymlبا اعمال این فایل یک سرویس با نام redis-cluster بر روی namespace ردیس با هدف ارتباط پاد هایی با نام redis-cluster ساخته خواهد شد که پورت 6379 را برامون اکسپوز کنه.قبل از اجرای instance های ردیس ما نیاز داریم تا تنظیماتی را ایجاد کنیم. برای این کار ما از ConfigMap کوبر استفاده میکنیم تا تنظیمات مورد نیاز بر روی تمام instance ها اجرا شوند:#file: cm.yml apiVersion: v1 kind: ConfigMap metadata: name: redis-cluster namespace: redis data: update-node.sh: | #!/bin/sh REDIS_NODES=&quot/data/nodes.conf&quot sed -i -e &quot/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/&quot ${REDIS_NODES} exec &quot$@&quot redis.conf: | cluster-enabled yes cluster-require-full-coverage no cluster-node-timeout 15000 cluster-config-file /data/nodes.conf cluster-migration-barrier 1 appendonly no protected-mode no requirepass پسورد tcp-keepalive 0 save 1800 1 save 86400 1بعد از اجرای این فایل یک ConfigMap با دو فایل براتون ایجاد میشه که توضیحات هر فایل رو میدیم:فایل update-node.shدر کوبر زمانی که یکی از اینستنس های شما به هر دلیلی ریستارت شود یا از بین برود موقعی که دوباره اجرا شود یک ایپی جدیدی دریافت خواهد کرد و دیگر با ایپی قبلی در کلاستر شناخته نخواهد شد. با استفاده از این فایل قبل از این که اینستنس ردیس دوباره اجرا شود ایپی جدید خودش را داخل فایل /data/nodes.conf اپدیت خواهد کرد. این فایل تمام اطلاعات کلاستر را ذخیره میکند.فایل redis.conf:در این فایل تمام تنظیمات مورد نیاز کلاستر نوشته میشود برای این که به صورت دیفالت کلاستر ردیس شما با پسورد لاگین شود جایی که کلمه "پسورد" نوشته شده باید پسورد خودتون رو وارد کنید.داکیومنتیشن کامل تنظیمات را داخل سایت ردیس میتوانید بخوانید.تمام تنظیمات و سرویس های مورد نیاز ساخته شد.اما در مقاله Redis Persisting Data خواندیم، برای این که اطلاعات ما پایدار بماند نیاز داریم تا دیتا های ما داخل هارد دیسک هاستمون پرسیست شود. ما میتوانیم pv و pvc ثابت بسازیم و داخل این ها دیتا هامون رو ذخیره کنیم. اما مشکلی که وجود داره اینه که ما بر روی یک هاست 5 اینستنس ردیس اجرا میکنیم که در این شرایط یک ادرس از هاست به 5 نود mount خواهد شد. که این اتفاق باعث میشود فقط یک اینستنس ردیس اجرا شود و باقی اینستنس ها با ارور مواجه شوند. پس ما نیاز داریم تا instance های مختلف را بر روی ادرس های تصادفی mount کنیم. به صورت پیشفرض کوبر هیچ StorageClass برای این کار وجود ندارد. ما نیاز داریم تا یک StorageClass و یک سرویسی که بتواند ادرس تصادفی ایجاد کند برای این کار از سرویس rancher local path استفاده خواهیم کرد. برای نصب این سرویس، کد زیر را اجرا کنید:kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.23/deploy/local-path-storage.yamlسپس نوبت ایجاد 15 پاد اینستنس ردیس رسید برای این کار statefulset زیر رو خواهیم داشت:#file: sts.yml apiVersion: apps/v1 kind: StatefulSet metadata: name: redis-cluster namespace: redis spec: serviceName: redis-cluster replicas: 15 persistentVolumeClaimRetentionPolicy: whenDeleted: Retain whenScaled: Retain volumeClaimTemplates: - metadata: name: redis-data-pvc spec: accessModes: - ReadWriteOnce storageClassName: local-path resources: requests: storage: 20Gi selector: matchLabels: app: redis-cluster template: metadata: labels: app: redis-cluster spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - redis1 - redis2 - redis3 containers: - name: redis image: redis:latest ports: - containerPort: 6379 command: [&quot/conf/update-node.sh&quot, &quotredis-server&quot, &quot/conf/redis.conf&quot] env: - name: POD_IP valueFrom: fieldRef: fieldPath: status.podIP volumeMounts: - name: conf mountPath: /conf readOnly: false - name: redis-data-pvc mountPath: /data readOnly: false volumes: - name: conf configMap: name: redis-cluster defaultMode: 0755با اعمال این فایل یک sts با نام redis-cluster بر روی namespace ردیس ساخته خواهد شد. که این sts بر روی سرور های redis1 , redis2 , redis3 پاد هایی که شامل کانتینر redis هست و pvc , pv های مورد نیاز را خواهد ساخت.در مقاله راه اندازی Redis (Cluster) بخش 1 ( آشنایی) ما گفتیم که در حالت کلاستر ، ردیس جوابی که در ارتباط اولیه بهمون میده دستور MOVE به یک نود با ایپی که فقط داخل شبکه کوبر در دسترس هست میده. پس ما نیاز داریم که یک سرویسی این دستورات MOVE را داخل کوبر اجرا کرده و جواب نهایی را بهمون برگرداند که به اصطلاح به این سرویس proxy گفته میشود. ما از سرویس predixy برای این منظور استفاده خواهیم کرد. پس قبل از اجرای اینستنس های ردیس پروکسی سرور را راه اندازی میکنیم.#file: predixy.yml apiVersion: v1 kind: ConfigMap metadata: name: redis-proxy data: auth.conf: | Authority { Auth { Mode write } Auth &quotپسورد&quot { Mode admin } } latency.conf: | LatencyMonitor all { Commands { + all - blpop - brpop - brpoplpush } TimeSpan { + 100 + 200 + 300 + 400 + 500 + 600 + 700 + 800 + 900 + 1000 + 1200 + 1400 + 1600 + 1700 + 1800 + 2000 + 2500 + 3000 + 3500 + 4000 + 4500 + 5000 + 6000 + 7000 + 8000 + 9000 + 10000 } } LatencyMonitor get { Commands { + get } TimeSpan { + 100 + 200 + 300 + 400 + 500 + 600 + 700 + 800 + 900 + 1000 } } LatencyMonitor set { Commands { + set + setnx + setex } TimeSpan { + 100 + 200 + 300 + 400 + 500 + 600 + 700 + 800 + 900 + 1000 } } LatencyMonitor blist { Commands { + blpop + brpop + brpoplpush } TimeSpan { + 1000 + 2000 + 3000 + 4000 + 5000 + 6000 + 7000 + 8000 + 9000 + 10000 + 20000 + 30000 + 40000 + 50000 + 60000 + 70000 + 80000 + 90000 + 100000 } } predixy.conf: | Name PredixyExample Bind 0.0.0.0:6379 WorkerThreads 5 ClientTimeout 300 LogVerbSample 0 LogDebugSample 1 LogInfoSample 10000 LogNoticeSample 1 LogWarnSample 1 LogErrorSample 1 Include auth.conf Include try.conf Include latency.conf try.conf: | ClusterServerPool { MasterReadPriority 100 StaticSlaveReadPriority 50 DynamicSlaveReadPriority 50 RefreshInterval 1 ServerTimeout 1 ServerFailureLimit 10 ServerRetryTimeout 1 Password پسورد KeepAlive 60 Servers { + redis-cluster-0.redis-cluster:6379 + redis-cluster-1.redis-cluster:6379 + redis-cluster-2.redis-cluster:6379 + redis-cluster-3.redis-cluster:6379 + redis-cluster-4.redis-cluster:6379 + redis-cluster-5.redis-cluster:6379 + redis-cluster-6.redis-cluster:6379 + redis-cluster-7.redis-cluster:6379 + redis-cluster-8.redis-cluster:6379 + redis-cluster-9.redis-cluster:6379 + redis-cluster-10.redis-cluster:6379 + redis-cluster-11.redis-cluster:6379 + redis-cluster-12.redis-cluster:6379 + redis-cluster-13.redis-cluster:6379 + redis-cluster-14.redis-cluster:6379 } }--- #StatefulSet apiVersion: apps/v1 kind: StatefulSet metadata: name: redis-proxy spec: serviceName: redis-proxy selector: matchLabels: app: redis-proxy replicas: 3 template: metadata: labels: app: redis-proxy spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostnam operator: In values: - redis1 - redis2 - redis3 imagePullSecrets: - name: iranlms-key containers: - name: redis image: joyieldInc/predixy:latest ports: - containerPort: 6379 volumeMounts: - name: conf mountPath: /predixy/conf readOnly: false volumes: - name: conf configMap: name: redis-proxy defaultMode: 0755 --- apiVersion: v1 kind: Service metadata: name: redis-proxy spec: externalIPs: - 10.212.183.22 - 10.212.183.23 - 10.212.183.24 ports: - port: 6379 targetPort: 6379 name: client selector: app: redis-proxyقبل از اجرا کردن این فایل، کلمات "پسورد" را با پسوردی که برای نود های سرویس ردیس‌تون زدید جاگذاری کنید. سپس با زدن کد زیر این فایل را اعمال کنید:kubectl apply -f predixy.ymlمرسی که این پست رو خوندید، امیدوارم مفید باشه براتون. خوشحال میشم فیدبک هاتون رو داشته باشم :)