Apache Airflow

Apache Airflow është një platformë e menaxhimit të rrjedhjes së punës me burim të hapur për pipat e inxhinierisë së të dhënave. Projekti filloi në Airbnb në tetor 2014  si një zgjidhje për të menaxhuar për rrjedhjet e punëve gjithnjë e më të ndërlikuara. Krijimi i "Airflow"-t i lejoi Airbnb-së të autorizonte dhe planifikonte me anë të programimit rrjedhat e punës së tyre dhe t'i monitoronte ato nëpërmjet ndërfaqes së integruar të përdoruesit të "Airflow"-t.   Që nga fillimi, projekti u bë me burim të hapur, duke u bërë një projekt Apache Incubator në Mars 2016 dhe një projekt i nivelit të lartë të Apache Software Foundation në janar 2019.

Airflow është shkruar në Python, dhe rrjedhjet e punës krijohen nëpërmjet skripteve Python. Airflow është projektuar sipas parimit të "konfigurimit si kod". Ndërsa platformat e tjera të rrjedhjes së punës "konfigurimi si kod" ekzistojnë duke përdorur gjuhë shënjimi si XML, përdorimi i Python-it u lejon zhvilluesve të importojnë librari dhe klasa për t'i ndihmuar ata të krijojnë punërrjedhjet e tyre.

 Vështrim i përgjithshëm 
Airflow ka në zemër të saj grafin e drejtuar jociklik (DAG) për të menaxhuar orkestrimin e rrjedhës së punës. Detyrat dhe varësitë përcaktohen në Python dhe më pas Airflow menaxhon planifikimin dhe ekzekutimin. DAG-et mund të ekzekutohen ose sipas një orari të përcaktuar (p.sh. për orar ose ditor) ose bazuar mbi nxitësit e ngjarjeve të jashtme (p.sh. një skedar që shfaqet në Hive  ). Planifikuesit e mëparshëm të bazuar në DAG si Oozie dhe Azkaban prireshin të mbështeteshin në skedarë të shumtë konfigurimi dhe pemë të sistemit të skedarëve për të krijuar një DAG, ndërsa në Airflow, DAG-të shpesh mund të shkruhen në një skedar Python. 

 Ofruesit e menaxhuar 
Tre ofrues të shquar ofrojnë shërbime ndihmëse rreth projektit bazë me burim të hapur. Astronomi ka ndërtuar një vegël SaaS dhe grupin e rrjedhës së ajrit që mund të vendoset nga Kubernetes që ndihmon me monitorimin, sinjalizimin, zhvillimin dhe menaxhimin e grupimeve.  Cloud Composer është një version i menaxhuar i Airflow që funksionon në Google Cloud Platform (GCP) dhe integrohet mirë me shërbimet e tjera GCP.  Duke filluar nga Nëntori 2020, Shërbimet Ueb të Amazon ofrojnë flukse pune të menaxhuara për Apache Airflow. 

 Referime