Verilənlər mühəndisliyi

Verilənlər mühəndisliyi () — böyük həcmli məlumatların toplanması, saxlanması, emalı və paylanması üçün texniki həllərin hazırlanması və idarə olunması ilə məşğul olan mühəndislik sahəsi. Bu istiqamət məlumatın həyat dövriyyəsinin bütün mərhələlərini — mənbədən əldə edilməsindən analitik və tətbiqi sistemlərdə istifadəsinə qədər olan prosesi əhatə edir.

Verilənlər mühəndisliyinin əsas məqsədi məlumatların etibarlı, davamlı və miqyaslana bilən infrastruktur üzərində səmərəli şəkildə işlənməsini təmin etməkdir. Bu sahədə çalışan mütəxəssislər verilənlər boru xətləri () qurur, müxtəlif mənbələrdən məlumat inteqrasiyasını həyata keçirir və saxlanma formatlarını optimallaşdırırlar.

Müasir verilənlər mühəndisliyi aşağıdakı əsas fəaliyyətləri əhatə edir:"Information engineering," part 3, part 4, part 5, Part 6" by Clive Finkelstein. In Computerworld, In depths, appendix. May 25 – June 15, 1981.Christopher Allen, Simon Chatwin, Catherine Creary (2003). Introduction to Relational Databases and SQL Programming.Terry Halpin, Tony Morgan (2010). Information Modeling and Relational Databases. p. 343

 Məlumat arxitekturası — məlumat anbarlarının və bazalarının strukturunun planlaşdırılması və dizaynı.
 Boru xətləri (ETL/ELT) — məlumatın çıxarılması, çevrilməsi və yüklənməsi üçün avtomatlaşdırılmış proseslərin qurulması.
 Böyük verilənlər texnologiyaları — Hadoop, Spark, Kafka kimi paylanmış hesablama platformalarından istifadə.
 Keyfiyyət və təhlükəsizlik — məlumatların doğruluğu, məxfiliyi və etibarlılığı üçün standartların tətbiqi.

Verilənlər mühəndisləri proqramlaşdırma dilləri (Python, Java, Scala və s.), verilənlər bazası idarəetmə sistemləri (SQL, NoSQL), həmçinin bulud platformaları (AWS, Azure, Google Cloud) ilə geniş işləyirlər. Onların işi analitiklər, məlumat alimləri və biznes qərarvericiləri üçün keyfiyyətli və vaxtında məlumat təminatını mümkün edir. 

 Tarixi 
Verilənlər mühəndisliyinin formalaşması kompüter texnologiyalarının inkişafı ilə sıx bağlıdır. 1960-cı illərdə əsasən böyük hesablama mərkəzlərində işlədilən ilk məlumat bazası idarəetmə sistemləri bu sahənin təməlini qoydu. 1970-ci illərdə Edqar F. Codd tərəfindən təklif olunan əlaqəli () verilənlər bazası modeli məlumatın strukturlaşdırılmış şəkildə saxlanmasına imkan yaratdı və mühəndislik prosesini standartlaşdırdı. 1980-ci illərdə SQL dilinin geniş yayılması verilənlər üzərində işləməni sadələşdirdi və müəssisələrdə məlumat anbarlarının qurulmasına şərait yaratdı.

1990-cı illərdən etibarən internetin sürətli inkişafı məlumat həcmini kəskin artırdı və yeni saxlanma texnologiyalarına ehtiyac yaratdı. Bu dövrdə data warehouse (məlumat anbarı) anlayışı populyarlaşdı və böyük korporasiyalar analitik məqsədlər üçün çoxölçülü verilənlər bazaları qurmağa başladılar. 2000-ci illərin əvvəlində “böyük verilənlər” (big data) anlayışı ortaya çıxdı və ənənəvi bazaların həcmi və sürət baxımından məhdudluğu aydın oldu.

2004-cü ildə Google tərəfindən MapReduce modeli, daha sonra isə Apache Hadoop layihəsi məlumatın paylanmış mühitdə emalını mümkün etdi və verilənlər mühəndisliyi üçün dönüş nöqtəsi oldu. 2010-cu illərdə real vaxtda emal tələbatı artdığından Apache Spark və Kafka kimi alətlər geniş istifadə olunmağa başladı. Bu illərdə “data pipeline” və “ETL/ELT” prosesləri müasir standartlara çevrildi.

Bulud texnologiyalarının yüksəlişi, xüsusilə Amazon Web Services və Google Cloud Platform kimi xidmətlər məlumat saxlama və emalını elastik və miqyaslana bilən hala gətirdi. 2015-ci ildən sonra serverless yanaşmalar və konteyner texnologiyaları (Docker, Kubernetes) mühəndislərə daha çevik həllər yaratmaq imkanı verdi.

Son illərdə süni intellekt və maşın öyrənməsi modellərinin geniş tətbiqi yüksək keyfiyyətli və təmizlənmiş verilənlərin əhəmiyyətini daha da artırdı. Bu proses verilənlər mühəndisliyinin sadəcə dəstək funksiyası deyil, strateji biznes sahəsi kimi qəbul olunmasına səbəb oldu.

Bugünkü mərhələdə verilənlər mühəndisliyi həm strukturlaşdırılmış, həm də qeyri-strukturlaşdırılmış məlumatların idarə edilməsi, real vaxt analitikası və avtomatlaşdırılmış keyfiyyət nəzarəti ilə xarakterizə olunur. Tarixi inkişaf göstərir ki, sahə daim yeni texnologiyalar, artan məlumat həcmi və sürət tələblərinə uyğun olaraq yenilənir və gələcəkdə də mühüm texnoloji istiqamətlərdən biri olaraq qalacaq.

 Alətlər 
Verilənlər mühəndisliyi geniş spektrdə proqram təminatı və texnologiyalardan istifadə edir. SQL və NoSQL verilənlər bazaları məlumatların strukturlaşdırılmış və qeyri-strukturlaşdırılmış saxlanması üçün əsas alətlərdir. Apache Hadoop böyük həcmli verilənlərin paylanmış mühitdə saxlanması və emalı üçün geniş istifadə olunur. Apache Spark real vaxt və batch emalı üçün sürətli hesablama imkanları təmin edir. Apache Kafka və RabbitMQ məlumat axınlarının idarə olunmasında və real vaxtda emalda mühüm rol oynayır.

ETL/ELT alətləri, məsələn, Talend, Informatica və Apache NiFi məlumatın çıxarılması, çevrilməsi və yüklənməsi proseslərini avtomatlaşdırır. Bulud platformaları (AWS, Google Cloud, Azure) elastik saxlama, hesablama və analitik xidmətlər təqdim edir. Docker və Kubernetes konteyner texnologiyaları mühəndislərə tətbiqləri çevik və miqyaslana bilən şəkildə yerləşdirməyə imkan verir. Python və Scala proqramlaşdırma dilləri verilənlərin emalı və skriptlərin yazılması üçün geniş istifadə olunur.

Məlumat vizuallaşdırma alətləri, məsələn, Tableau və Power BI mühəndislərə analitiklər və biznes istifadəçiləri üçün məlumatları vizuallaşdırmağa kömək edir. Data quality və monitoring alətləri məlumat keyfiyyətini və boru xətlərinin sağlamlığını təmin etmək üçün vacibdir. Bu alətlər birlikdə verilənlər mühəndisliyinin səmərəli və etibarlı işləməsini təmin edir.

 İstinadlar 

 Ədəbiyyat 




 Ian Macdonald (1986). "Information engineering". in: Information Systems Design Methodologies. T.W. Olle et al. (ed.). North-Holland.
 Ian Macdonald (1988). "Automating the Information engineering methodology with the Information Engineering Facility". In: Computerized Assistance during the Information Systems Life Cycle. T.W. Olle et al. (ed.). North-Holland.
 James Martin and Clive Finkelstein.  (1981). Information engineering. Technical Report (2 volumes), Savant Institute, Carnforth, Lancs, UK.
 James Martin (1989). Information engineering. (3 volumes), Prentice-Hall Inc.



 Xarici keçidlər 

 The Complex Method IEM 
 Rapid Application Development
 Enterprise Engineering and Rapid Delivery of Enterprise Architecture

Kateqoriya:Proqram təminatı mühəndisliyi
Kateqoriya:İnformasiya sistemləri
Kateqoriya:Texniki elmlər
Kateqoriya:Verilənlərin idarəedilməsi
Kateqoriya:Verilənlər mühəndisliyi