UHEM veri merkezi ısıl profilinin deneysel incelemesi ve CFD analizi
Experimental investigation of UHEM data center termal profile and CFD analysis
Yazar: İSMAİL TÜRKMEN
Danışman: PROF. DR. YAKUP ERHAN BÖKE ; DR. ÖĞR. ÜYESİ HAMZA SALİH ERDEN
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Makine Mühendisliği Ana Bilim Dalı / Isı-Akışkan Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Makine Mühendisliği = Mechanical Engineering
Dizin: Sayısal akışkanlar dinamiği = Computational fluids dynamic

Özet:
Günümüzde farklı ölçeklerdeki birçok kurum, sektörlerinin ihtiyaçlarına göre değişen boyutlarda bilişim teknolojileri hizmeti almaktadır. Bu hizmeti sağlayan teknoloji altyapısı veri merkezi olarak adlandırdığımız yapılar içerisinde muhafaza edilmektedirler. Veri merkezi, başlıca veri işleme (sunucular), veri depolama (bellek donanımları) ve iletişim (ağ donanımları) amacı ile kullanılan elektronik donanımları içeren yapı olarak tanımlanmaktadır.
Enerji verimliliği günümüzde tüm alanlarda olduğu gibi veri merkezleri için de odak haline gelen bir konudur. Yüksek yoğunlukta elektriksel yüke maruz kalan veri merkezlerinde enerji verimliliği büyük önem arz etmektedir.  Veri merkezlerinin çoğu en kötü senaryoya göre tasarlanmakta, mekanik bileşenler hem yatırım hem de işletme maliyetlerini arttıracak şekilde normalden fazla büyüklükte seçilmektedir.
Veri merkezi altyapı tasarımında güvenilirlik kadar enerji verimliliğine de önem verilmelidir. Burada enerji tüketiminin önemli bir kısmı mekanik soğutmadan kaynaklandığı için soğutma sistemlerinin enerji verimini arttırmaya yönelik stratejiler geliştirilmelidir. 
Veri merkezlerinde enerji verimiliğini tanımlamak için  birçok ölçüt kullanılmaktadır. PUE( Power Usage Effectiveness) güç kullanım etkenliği, sektörde en yaygın kullanılan enerji verimliliği ölçütüdür. PUE, veri merkezinin toplam enerji tüketiminin IT ekipmanlarının tükettiği enerjiye oranı olarak tanımlanmaktadır. Son raporlar, sunucu odaları ve yerelleştirilmiş DC'ler dahil olmak üzere daha küçük DC'lerin, 2.0 ile 2.5 arasında değişen PUE değerlerine sahip olduğunu göstermektedir. Ayrıca bu verimsiz DC grubunun toplam sunucu kurulum tabanının ve enerji tüketiminin yaklaşık % 40'ını oluşturduğunu göstermektedir.
Geleneksel veri merkezlerindeki çevresel şartlara yönelik sınırlı ölçüm ve analiz imkanları bu kritik yapıların ısıl yönetiminde muhafazakar yaklaşımlar izlenmesine ve soğutma maliyetlerinin artmasına sebep olmaktadır. Veri merkezinde enerji verimliliği ve ısıl performansını arttırmak için öncelikle mevcut durumun tespit edilmesi gerekmektedir. İşletme halindeki bir veri merkezinin ısıl profilinin sıcaklık ve akış ölçümleriyle deneysel olarak elde edilmesi bu nedenle önem arz etmektedir.
Hesaplamalı akışkanlar dinamiği (CFD) yazılımlarının son yıllardaki gelişimiyle veri merkezleri, bu CFD modellerin makul sonuçlar verdiği bir uygulama alanı haline gelmiştir. CFD modelleri veri merkezlerinin mevcut çalışma şartlarındaki sıcaklık ve hava akış dağılımlarını tahmin etmenin yanı sıra soğutma maliyetlerini azaltacak değişikliklerin olası sonuçlarını test etmek için de imkan sağlar. Ancak bu modellerin sağlıklı sonuçlar verebilmesi için gerekli olan makul sınır şartlarının deneysel verilerle elde edilmesi gerekir.
Mevcut çalışmalarda deneysel olarak ısıl haritası çıkarılıp, doğrulanmış CFD modelleriyle analizi yapılan sınırlı sayıda çalışma mevcuttur. Bu çalışmalarda araştırmacıların ağırlıkla 186 m2 'den fazla alana sahip orta ölçekli veri merkezlerine odaklandığı görülmektedir. Gerek ülkemiz gerekse de dünya çapında benzer seviyelerdeki veri merkezlerine yönelik deneysel yaklaşımlar için bir örnek teşkil edecek olan bu çalışma küçük ölçekli veri merkezlerinin enerji verimliliğini arttırmaya yönelik çabalara bilimsel bir perspektif ve bir yol haritası ortaya koymuştur.
Bu çalışma kapsamında, bir üniversite kampüsünde çalışma halindeki yüksek başarımlı hesaplama (HPC) yapan 180 m2'lik UHEM veri merkezinin (DC) ısıl profilinin elde edilmesi için gerçekleştirilen deneysel çalışmalar, elde edilen deneysel veriler yardımıyla uygulanan CFD modelleme ve kalibrasyon çalışmaları ve son olarak da doğrulanmış CFD modeli ile çeşitli enerji verimliliği önlemlerinin uygulanabilirliği ele alınmıştır. 
Yapılan deneysel çalışmalarda sıcaklık, hava akışı, basınç ve güç ölçümleri gerçekleştirilmiştir. Deneysel sonuçlar, yalnızca veri merkezinin ısıl ortamını anlamaya ve verimsizliklerini belirlemeye yardımcı olmakla kalmamış, aynı zamanda CFD modelin sınır şartlarının belirlenmesini ve CFD modellerinin kalibrasyonunu da sağlamıştır. 
Deneysel çalışmalarda, elde edilen sonuçlar kadar önemli bir başka nokta ölçülen değerlerin doğruluğudur. Doğruluğu etkileyen en önemli etken ise, deneyler sırasında farklı nedenlerden ortaya çakabilecek hatalardır. Deneysel bir çalışmanın güvenilirliği tekrarlanabilirliğe ve düşük belirsizliğe dayanır. Bu nedenle yaptığımız deneylerde sıcaklık, hava akışı ve güç ölçümleri için deneysel belirsizlikler elde edilmiş ve bunların sonuçları üzerinde durulmuştur. 
CFD modelinin oluşturulması ve çözümü için ANSYS Fluent yazılımı kullanılmıştır. Basınç tabanlı çözümleyici (pressure-based solver) ile korunum denklemlerinin zamandan bağımsız (kararlı durum – steady state) formda çözümüyle sonuç elde edilmeye çalışılmıştır. Türbülans modeli olarak standart k-ε ve standart duvar fonksiyonu (standard wall function) kullanılmış, kaldırma tesiri (buoyancy effect) de göz önüne alınmıştır.
Yapılan CFD modelleme çalışmalarında, sunucu girişinde 1°C'den küçük (RMSE<1.0)  hata ile tahmin yapabilen CFD modeli oluşturulmuştur. Kalibre edilmiş bu CFD modeli, çeşitli enerji verimliliği önlemlerinin uygulanabilirliğini test etmeye yardımcı olmuştur.
Bu önlemler en iyi uygulamalara paralel olarak operasyonel veya tasarım değişiklikleri şeklindedir. Kalibre edilmiş CFD modelleri, CRAC fan hızlarının düşürülmesi, zemin sızıntı akışının azaltılması, soğuk koridoru kapatma, dağınık haldeki IT ekipmanlarının soğuk koridordaki kabinlerde toplanması ve CRAC ünitelerindeki soğutma ayar noktalarının arttırılması dahil olmak üzere iyileştirme senaryolarını test etmek için daha güvenilir bir platform sağlamıştır.
Gerçekleştirilen iyileştirme senoryolarını özetleyecek olursak; kademeli olarak CRAC fanlarının hızının menfezlerden sunucu ihtiyacı kadar akış sağlaması şartıyla %70'e düşürülmesi (Senaryo 1), sızıntı miktarının %50 azaltılarak CRAC fanlarının %50 hızda çalıştırılması (Senaryo 2), kısmen soğuk koridor kapatma (Senaryo 3) ve tam (Senaryo 4) soğuk koridor kapatma ile yük birleştirme (Senaryo 5) şeklindedir. Senaryo 6'da da soğutma için klima ayar noktası sıcaklığının yaklaşık 6°C arttırılması gerçekleştirilmiştir.
Gerçekleştirilen iyileştirme senaryoları ile tahmini PUE değeri, kademeli olarak 1.95'den 1.40'e kadar düşürüldü. Tahmini PUE, CRAC fanlarını yalnızca %70 hızına düşürerek 1,95'ten 1,57'ye düşürülebilir. Buna ek olarak daha az sızıntı, koridor kapatma, IT ekipmanı birleştirme ve sıcaklık ayar noktasındaki artışla %50 fan hızındaki ilave iyileştirmeler, tahmini PUE değerinin 1.40'a kadar düşmesini sağlayabilir.
İleride yapılacak çalışmalar arasında oda ve plenumu içeren birleşik CFD modelinin oluşturulması ve bu modelin oda modeliyle karşılaştırılması yapılacaktır. Son olarak da enerji verimliliği ve ısıl performansı arttırmaya yönelik iyileştirilmelerin birleşik CFD modeliyle incelenmesi ve mevcut literatürdeki ölçütler kullanılarak değerlendirilmesi hedeflenmektedir.

Abstract:
Today, many institutions with different scales receive information technology services according to the needs of their sectors. The technology infrastructure that provides this service is maintained within the so-called data center structures. A data center is defined as a structure containing mainly electronic equipment used for data processing (servers), data storage (memory equipment) and communication (network equipment).
Nowadays, energy efficiency is becoming a focus for data centers as in all issues. Energy efficiency is paramount importance in data centers exposed to high electrical loads. Most data centers are designed according to the worst-case scenario and mechanical components being oversized to increase both investment and operating costs.
In data center infrastructure design, energy efficiency should be as important as reliability. In a traditional data center, a cooling infrastructure with components such as chillers, fans, cooling towers and pumps consumes approximately half the power that servers consume. As a significant part of the energy consumption is due to mechanical cooling, strategies to increase the energy efficiency of cooling systems should be developed.
Many metric are used to define energy efficiency in data centers. PUE (Power Usage Effectiveness) is the most widely used energy efficiency metric for data center. PUE is defined as the ratio of the total energy consumption of the data center to the energy consumption of IT equipment. Recent reports show that smaller DCs, including server rooms and localized DCs, have PUE values ranging from 2.0 to 2.5. It also shows that this inefficient DC group accounts for about  40% of the total server installation and energy consumption
Limited measurement and analysis facilities for environmental conditions in traditional data centers lead to conservative approaches in thermal management of these critical structures and increase cooling costs. To increase the energy efficiency and thermal performance in the data center must first detect the current situation. therefore, it is important that the thermal profile of a data center in operation is obtained experimentally by temperature and flow measurements.
With the development of computational fluid dynamics (CFD) software in recent years, data centers have become a field of application in which these CFD models provide reasonable results. CFD models provide the possibility to test the possible consequences of changes in the data centers' current operating conditions to estimate the temperature and air flow distributions, as well as to reduce the cooling costs. However, it is necessary to obtain the reasonable boundary conditions required for these models to give healthy results with experimental data.
There are a limited number of studies that have been experimentally mapped and analyzed with validated CFD models. In these studies, it is seen that researchers focus on medium-sized data centers with an area of more than 186 m2. This study, which will serve as an example for experimental approaches to similar levels of data centers both in our country and around the world, has provided a scientific perspective and a roadmap for efforts to increase the energy efficiency of small scale data centers.
In this study, experimental studies were carried out to obtain the thermal profile of a 180 m2 UHEM data center (DC) performing high performance computation (HPC) working in a university campus, CFD modeling and calibration studies applied with the help of experimental data and finally the applicability of various energy efficiency measures using a validated CFD model.
In experimental studies, temperature, air flow rate, pressure and power measurements were performed. T-type thermocouples were used for temperature measurements, ballometers, micromanometers, velocity matrix and pitot tubes were used for flow and pressure measurements. The experimental results not only helped to understand the thermal environment of the data center and to determine inefficiencies, but also to determine the boundary conditions of the CFD model and to calibrate the CFD models.
In experimental studies, another issue as important as the obtained results is the accuracy of the measured values. The most important factor affecting accuracy is the errors that may occur during experiments due to different reasons. The reliability of an experimental study is based on reproducibility and low uncertainty. Therefore, in our experiments, experimental uncertainties were obtained for temperature, air flow rate and power measurements and the consequences of these uncertainties are emphasized.
According to the experimental results, the UHEM data center operates 7 air conditioners with a total cooling capacity that is much higher than required. This situation causes air conditioners to switch on and off frequently as they operate at low loads and to cause fan air conditioners to spend much more energy than needed. On the other hand, it was observed that approximately 60% of the cold air supplied from the air conditioners leaked into the room through different openings of various leakages except of perforated tiles. This shows that the data center's air management can be better planned.
Using the temperature data obtained from the experiments, the temperature and the standard deviation map for 175 cm height of the measurements were obtained.
Room geometry was obtained for CFD model. Racks, air conditioners, UPSs, batteries, and cabinets in UHEM are modeled as solid blocks in the Solidworks 3D modeling program. The CFD model geometry was obtained in a hexahedral mesh with approximately 970000 mesh elements, the element size is 8 cm.
ANSYS Fluent software was used for the forming and solution of the CFD model. Pressure-based solver is used to solve conservation equations in a steady state form. Standard k-ε model and standard wall function are used as the turbulence model and buoyancy effect is also considered in solution. Momentum source is used for perforated tiles.
In the CFD modeling studies, a qualitative comparison was made as a result of the comparison of the temperature distributions calculated on the surface parallel to the 175 cm height with the experimentally obtained temperature distributions. For quantitative comparison, the calculated and measured temperatures at 175 cm height at the inlet and outlet of the racks containing active servers were compared.
In the quantitative comparison studies, a CFD model was created which can make an estimation with an error less than 1°C (RMSE <1.0) at the server inlet and less than 5°C (RMSE <5.0) at the server outlet. This calibrated CFD model has helped test the applicability of various energy efficiency measures.
These measures are operational or design changes in line with best practices. Calibrated CFD models have provided a more reliable platform for testing improvement scenarios, including lowering CRAC fan speeds, reducing ground leakage flow, closing cold aisle, gathering scattered IT equipment in cold aisle racks, and increasing cooling setpoints in CRAC units.
To summarize the improvement scenarios realized, gradually reducing the speed of CRAC fans to 70% provided that the flow rate through the perforated tiles is as much as the server needs (Scenario 1), operating the CRAC fans at 50% speed by reducing the leakage amount by 50% (Scenario 2), partially cold aisle containment (Scenario 3) ) and full cold aisle containment (Scenario 4) and gathering scattered IT equipment in cold aisle racks (Scenario 5). In Scenario 6, the CRAC setpoint temperature for cooling was increased by approximately 6°C.
With the improvement scenarios applied, the estimated PUE value was gradually reduced from 1.95 to 1.40. The estimated PUE can be reduced from 1.95 to 1.57 by running CRAC fans at only 70% fan speed. Moreover, additional improvements in fan speed of 50% with 50% leakage, cold aisle containment, IT equipment gathering in cold aisle and increasing setpoint temperature 6°C can allow the estimated PUE to decrease 1.40.
Future studies will include the obtain of a combined CFD model containing the room and plenum and a comparison of the model with the room model. Finally, it is aimed to examine the improvements to improve energy efficiency and thermal performance with the combined CFD model and to evaluate them using the metric in the literature.