数据工程的主要挑战包括收集, storing, 转换, processing, 分析大量的数据. 数据工程师负责构建强大的ETL/ELT流程, 确保最佳性能, 数据安全, 数据的可伸缩性, 数据治理, 数据一致性, 数据完整性. 用于数据工程的最流行的语言是SQL、PL/SQL和Python.