Çıxarış, transformasiya, yükləmə

Çıxarış, transformasiya, yükləmə və ya ETL — () — verilənlər xəzinəsinin idarə edilməsində əsas proseslərdən biri. ETL — verilənlərin bir mənbədən digərinə köçürülməsi ilə bağlı bütün prosesləri əhatə edən ümumi termindir (bu proseslə əlaqəli digər anlayışlar: eksport, import, məlumatların konvertasiyası, fayl parsinqi, veb-skrapinq və s.). ETL prosesi aşağıdakı mərhələləri özündə birləşdirir:

Verilənlərin çıxarılması — xarici mənbələrdən verilənlərin əldə edilməsi;
Transformasiya — verilənlərin biznes modelinin tələblərinə uyğunlaşdırılması üçün onların çevrilməsi, təmizlənməsi və zənginləşdirilməsi;
Yüklənmə — işlənmiş verilənlərin məlumat anbarına yerləşdirilməsi.

ETL prosesinin baxımından məlumat anbarının arxitekturasını üç əsas komponent şəklində təqdim etmək olar:

Verilən mənbəyi — strukturlaşdırılmış verilənləri cədvəl, cədvəllər məcmusu və ya sadəcə ayırıcı simvollarla bölünmüş fayl şəklində saxlayan sistem;
Aralıq sahə — verilənlərin yüklənməsi prosesini təşkil etmək üçün müvəqqəti və yalnız köməkçi məqsədlə yaradılan cədvəlləri ehtiva edən mühit;
Verilən qəbuledicisi — çıxarılmış verilənlərin yerləşdirildiyi  məlumat anbarı və ya verilənlər bazası.

Verilənlərin mənbədən qəbulediciyə ötürülməsi verilən axını adlanır. Verilən axınının təşkili üçün tələblər adətən analitik tərəfindən müəyyən edilir. ETL yalnız bir tətbiqdən digərinə verilən ötürmə prosesi kimi deyil, həm də verilənlərin təhlilə hazırlanması aləti kimi nəzərdən keçirilməlidir.

 ETL-də verilənlərin çıxarılması 

ETL prosesinin ilkin mərhələsi verilənlərin mənbələrdən çıxarılması və onların transformasiya mərhələsinə hazırlanmasıdır. Verilənlərin çıxarılması prosedurunun hazırlanması zamanı ilk növbədə OLTP sistemlərindən və ya ayrı-ayrı mənbələrdən verilənlərin yüklənmə tezliyi müəyyən edilməlidir. Verilənlərin yüklənməsi müəyyən vaxt tələb edir və bu müddət yükləmə pəncərəsi () adlanır.

Verilənlərin çıxarılması prosesi iki üsulla həyata keçirilə bilər:

Xüsusi proqram təminatı vasitəsilə verilənlərin çıxarılması;
Verilənlərin saxlandığı sistemin daxili imkanlarından istifadə etməklə çıxarılması.

Çıxarılmış verilənlər sonradan aralıq sahəyə () yerləşdirilir. Bu mərhələdə hər bir verilən mənbəyi üçün ayrıca cədvəl, fayl və ya hər ikisi yaradılır.

 Verilənlərin transformasiyası 

Bu mərhələnin məqsədi — verilənləri verilənlər xəzinəsində yerləşdirməyə hazırlamaq və onları sonrakı təhlil üçün daha əlverişli formaya salmaqdır. Bu zaman analitik tərəfindən irəli sürülən tələblər, xüsusilə də verilənlərin keyfiyyət səviyyəsinə dair tələblər nəzərə alınmalıdır.

Buna görə verilənlərin transformasiyası mərhələsində çox müxtəlif alətlərdən istifadə oluna bilər — ən sadə əl ilə redaktə üsullarından başlayaraq, mürəkkəb məlumat emalı və təmizləmə sistemlərinə kimi

ETL çərçivəsində verilənlərin transformasiyası zamanı adətən aşağıdakı əməliyyatlar yerinə yetirilir:
Verilənlərin strukturunun transformasiyası;
Verilənlərin aqreqasiyası (ümumiləşdirilməsi);
Dəyərlərin transformasiyası (məsələn, format və ya vahidlərin dəyişdirilməsi);
Yeni verilənlərin yaradılması;
Verilənlərin təmizlənməsi.

 Verilənlərin yüklənməsi 

Yüklənmə prosesi verilənlərin aralıq cədvəllərdən verilənlər xəzinəsinin strukturuna köçürülməsini nəzərdə tutur. Növbəti yüklənmə zamanı verilənlər xəzinəsinə mənbələrdəki bütün məlumatlar deyil, yalnız əvvəlki yüklənmədən sonra dəyişdirilmiş və ya əlavə olunmuş verilənlər ötürülür.

Bu mərhələdə iki əsas verilən axını fərqləndirilir:

Əlavəetmə axını — verilənlər xəzinəsinə daha əvvəl mövcud olmayan, yeni verilənlərin ötürülməsi;
Yeniləmə (tamamlama) axını — əvvəl mövcud olan, lakin dəyişdirilmiş və ya genişləndirilmiş verilənlərin ötürülməsi.

Yüklənən verilənlərin bu axınlar üzrə bölüşdürülməsi üçün verilənlərin idarəetmə vasitələrindən istifadə olunur. Bu vasitələr müəyyən vaxt nöqtələrində verilənlərin vəziyyətini qeydə alır və hansı verilənlərin dəyişdirildiyini və ya əlavə olunduğunu müəyyənləşdirir.

 İstinadlar 

 Ədəbiyyat siyahısı 





Kateqoriya:Verilənlər xəzinəsi
Kateqoriya:Çıxarış, transformasiya, yükləmə alətləri