问题：﻿你是如何走上数据分析之路的？ 现在数据分析和大数据越来越火，可是不管是国内还是国外，都很少有 直接的专业与数据分析相关。那么问题来了，你们是怎么决定学习数据分析的呢？又是如何学习的…
话题：﻿互联网、数据挖掘、职业发展、数据分析、大数据
回答：﻿我的职位不是数据分析师，是数据运营。很多工作和数据分析重合，属于既做运营、又做数据，可能还参杂其他角色。最开始我是从运营接触上手数据，没有编程的基础，也没有统计的知识。大学的几门课我都是靠同学才过的，掩面哭。可能我零经验的经历对大部分有志于从事数据分析的朋友都是一个参考。刚开始工作我可是连vlookup都不会，也没人教我，excel只会很基础的操作。那时要关联多张报表，我仗着手速快，一个个对照复制黏贴的…要是数量一多肯定哭。后来我想这可不是办法啊。于是借助万能的百度：“excel怎么匹配多张表的数据。”
于是看到vlookup函数。每次用都要先看一遍网上的样例，不然会有各种问题。用了几次才会用。
那时候运营方面的数据需求还好，很多都是自己间歇时间琢磨。比如什么样的用户愿意用我们APP。于是我希望研发能有各种报表的下载，然后我用excel关联，做一些简单的分析。
期间当然犯了很多新手犯的错误，比如相关性不代表因果性，比如极值的影响，比如样本数量不满足置信度。
少年不知天高地厚，不过我依旧乐在其中。做数据分析要有勃勃的好奇心。记得是15年初，老板给了我一个任务，收集各地的医院数据。我一看网上医院有几万家，我又要快哭了，我手速再快也复制黏贴不了啊。于是求助了解到爬虫这么一个磨人的好东西。
那时水平不够用Python＋Scrapy，找来了一款火车头的爬虫工具。然后按着教程走，顺便了解了Html＋CSS的网页结构。
加了两天班，终于抓下来数据。
再次哭了，不是感动的。
这都什么乱七八糟的数据。不仅有错位，乱码，空格，还有重名。什么上海市第一医院，上海第一医院，上海市第一人民医院，上海市第一医院。你同一家医院给我网上放四个！！更别提分院、地址不匹配等等。
后来才知道这步骤叫数据清洗。继续用excel函数整理。我一直信奉的准则是：如果能用简单的，可复用的方法，就绝对不重复操作。我坚信永远有省时省力的方案。这期间Excel水平提高的飞快。另外也养成了随时保存的好习惯，微笑脸。
虽然爬虫从学习到成功还是花了不少时间。但是和从网上拷贝下来比，那效率是高多了。
大概同一时期，我把网站也学习了。我们产品是APP＋Web框架，很多功能和活动都是用Web页实现。当时用的是百度统计。系统的学习了漏斗转化，访问路径，跳出率退出率等。
那时针对各类活动的分析都能迅速落地，比如活动期间的流量，用户的转化率等，都是能很快获得反馈的分析，是能对运营产生直接了解的。后续的活动都纳入了分析，也将百度统计的相关应用推广到运营部门。
随着分析的深入，自己对分析也有更高的数据要求。比如什么样的用户更容易参加活动？用户流失的原因是什么？不论是下载的报表，还是网页统计，在当时都很难做到。很长一段时间只能用粗略的描述性统计，而不能定位到具体的人。
数据分析很多技能都能后天磨练，但我觉得一个好的数据分析师一定会有好奇心，会去提问，会想问题，也能去解决问题。不是为了分析而分析。随着公司业务线的拓展、用户数量的提升。我用Excel做关联越来越吃力，效率也几何程度的降低。15年8月的时候，我再一次向研发老大提需求时，他对我说：要不给你开个数据库权限，你自己查吧。
我：我不会SQL啊。研发：不要紧，很容易学的。我：好啊好啊。我内心是很爽的，老子再也不用求你们了！一个月后，所有部门的数据需求都不走研发，而是堆叠到我这。显然让我用SQL是有天大的预谋。可我还是很感谢接触SQL，让我能接触到的数据呈几何上升。
那时期还有一个任务挑战，我需要搭建用户运营的数据体系，包括留存、活跃、回流、分层等指标。我网上一边查运营指标的应用和解释，一边查SQL的实现。这是我第一次开始接触、了解和建立以业务为核心的数据体系。当时，我们运营，好长一段时间的推送、短信、营销都是全量。一故脑儿的都推给用户，没有细分。在指标建立后，我们部门开始尝试用自己数据体系去运营。举两个最简单的例子：比如你最近打开过我们APP，那么我们就不会给你推最新的活动短信，因为我们默认你能在APP中看到。再比如，用户用过APP很长一段时间，我们冠他叫忠诚用户，后来突然他连续几周不用，那么我们会找出这个用户，电话询问为什么不用，尝试唤回他。也是从那时开始，我有意的去衡量各类运营效果，比如活动的人均成本，短信的人均效果成本，用户价值周期等。并且不断优化。利用数据建立指标，对业务最直观的感受就是有据可依，分析和运营能够有针对性。数据多起来后，每日维护数据报表成了最花时间的事。虽然当时我们用了Presto+Airpal的数据平台，但不管各类业务线，还是APP基础数据，我和我部门花费在整理上的时间越来越多，分析越来越少，更不要说落地和执行。之后则顺理成章地引入BI，在此之前我都不知道BI是个什么鬼。
（图例，当时了解后，我就这么被BI给折服了）BI的学习曲线没那么陡峭，为了实现运营的数据报表自动化（依旧是为了省时省力），请求研发（一顿饭）单独开了一台服务器进行私有化部署，连接数据库，花了大约一个月的时间将所有的报表需求都迁移到服务器上。
爽。很多工作都简化或者剔除：能够监控任何的推送和短信效果,市场销售的分析能够定位到人，随时掌握业务线的波动。有数据才能分析，能有充裕的人手安排监控和观察数据，至此，运营的数据体系有了基础。
在15下半年，我则向产品提出（没请吃饭）需求希望布置APP和Web埋点，通过用户的路径了解用户，也弥补百度统计的缺点。埋点数据亦全不亦少，亦早不亦迟，我们埋点比较迟，如果早一点，可能有更多时间进行优化工作。当时经过考虑，埋点数据会比较多，要用到Hadoop，虽然从后续看，Hadoop并不是必需的选择。但是也提前让我了解到大数据（当然数据本身不大，具体是相关领域技术）。
埋点数据使用Hive建立离线的脚本清洗、分区、加工后导入到MySQL。蛮遗憾的是业务用不太到Hadoop，只是数据管理而已，所以我了解不怎么深。
到此底层的数据都已经完善。后续都是上层的加工。
今年初，我开始学习数据挖掘，往数据分析更高层进阶，先入手的是R。
自身没有啥编程基础，基本上是工作后和研发的耳濡目染，所以学起来较为吃力。主要是敲书上的语句学习。整本书敲下来，基本了解拿到一堆数据知道怎么清洗，怎么使用描述性统计，怎么进行作图。基础学的差不多，开始啃算法，我是应用型为主，所以绝大部分的算法都不学习数学推导。当然决策树，K聚类这种简单的都掌握。
大概所有数据挖掘的初学者，都会用到IrisData的数据，然后就是泰坦尼克的幸存者分析吧。是的话点个赞，哈哈。
我不是啥数据挖掘工程师，我喜欢称自己调包侠。
后来还去参加了数据挖掘的比赛，是一个信用欺诈模型，典型的数据不平衡问题。数据完全脱敏，从字段上无法得知业务意义。
这和平时直接拿干净的数据源做模型完全两回事，模型的recall一直不理想，最终也没有什么成绩，最大的帮助就是知道自己有多井底之蛙。
后来重视特征选择、特征加工这块。好的数据和特征，能够很大程度决定模型的优劣。我之前练习时，因为我本身是运营，挑选的特征都是经过择优和强相关的，实际特征工程是我非常大的短板。
关于数据挖掘我还在不断学习的过程中，以后有机会再多补充吧。Python的学习，说来还是归因于研发大哥们（这次不请饭了）。因为我们业务线的数据比较多，产品改需求更多，很多表的结构不堪入目，常用的SQL必需各种嵌套，应用起来比较麻烦。
我不喜欢重复无意义的工作，我希望有清洗整理过的数据，于是提需求。
结果当然是需求延期。
这个让我想起了一段经典的对话：
产品&运营：这个很简单的
研发：UCanUUp
仔细思考了一下，数据清洗我肯定会不断改需求（我就是对自己如此不自信），请研发大哥们的咖啡和晚饭会比较多，那还不如自己动手，反正数据分析将来也得用Python，撩袖管UP。下载Python，安装GitLab，开启CI权限，然后进行数据仓库的规划。我自然不知道数据仓库应该是啥样子。反正目标是我们运营数据怎么用怎么爽…继续拿起书本，用Pandas编写ETL和数据仓库的相关代码。期间对数据表进行了无数次的调整，性能优化查询优化，怎么样能适应业务的拓展，如何防止数据膨胀。
Truncate无数次，换其他公司早被砍了吧。
最终总算满意，并且将常用的几个清洗过程函数化，以后可以快速复用建表。比如七天内某业务数据，三十日内某业务数据。
数据挖掘的常用特征库一并建立，会用离线算法进行一些业务响应模型的预测，准确率达到75%以上。虽然和大牛们比不咋滴，但是作为运营有算法模型，感觉还是蛮爽的。
下一步，我们团队开始用数据仓库中的数据，抽象成用户画像。
我网上看过很多用户画像的文章，比如用户的年龄、性别、爱好、财务状况等画像，可我们不是电商行业，用户的兴趣对我们的业务没有实际帮助。我则只根据自身对业务的理解制定画像标准。
例如以经典的RFM框架，制作标签：一个月没有产生订单、近期产生的订单频率较低等。帮助销售和运营判定用户需要激励还是发展。
说白了，我不了解其他企业的用户画像，可能水平再高点，会用上主成分分析或者聚类等。但我依旧坚持以自身运营的角度去分析和提炼，只要对业务有帮助就是好的用户画像。幸好画像的代码都是自己搞定，后期要改需求也是自己改，不用请吃饭了。自己对数据分析的了解和深入，都是工作中一步一个脚印走下去的。有模仿前人的经验，也有团队的摸索。不敢说自己有多少心得，从去年用MySQL到现在也才一年多时间，还有很多有意思的数据想尝试和学习：网站数据分析和APP数据分析的异同在哪里；我了解SEO的知识，但是流量没有实战检验，很想用Python爬虫＋AB测试去获得权重；营销很希望有大金额的预算操作，通过优化不断降低CPC；Spark已经是趋势，可还没有接触过；数据学的越多，越觉得不算入门，更别提还有运营的本职工作。另外，我还知道自己的不足和局限，比如不知道大厂的数据产品是什么样的，比如有没有更棒的数据运营案例，都很愿意和大家一起交流。