一、大数据工程师和后台开发的技能差别有多大?
本人非计算机专业出身,java没系统学过,喜欢写代码,要找工作了。
现在很迷茫,不知道应该往哪个方面突击突击,是老老实实的弄弄java看看hadoop源码?还是研究研究scala,还是用Python写写爬虫搞搞网络编程?还是把C++好好复习复习,马上就找工作了,不知道该把时间往哪个技能上冲。
后台开发也得看具体职位,如果是做产品,多去看看当前流行的那些开发技术,简历里至少要有个拿得出手的项目。如果是做基础架构的,要把数据结构和算法,操作系统,网络编程之类的基本功打扎实,这一块知识点多,水也深。
大数据工程师的话,至少要熟悉storm, hadoop, spark之间优缺点,性能挑优,监控之类的,这块面比较广,各种开源的分布式系统多了解一下,kafka, elasticsearch, influxdb, fluentd之类的。当然,数据结构和算法也很重要。
大数据主要从侧重对数据的存储、分析,会涉及到分布式存储系统、分布式计算系统、机器学习、数据可视化等方面,每一个方面都可以深入学习很长时间;
后台开发主要侧重网络编程、多线程/多进程调度、操作系统、各类数据库存取等,同样每一点都可以深挖;
二、一个大数据工程师到底应该会什么?
关于这个问题最终还是要落实到企业需求上。