DA/DS/DE/BA之间有什么关系？

在这个信息爆炸的大数据时代，每时每刻都有大量数据被产生和存储下，不论是数量还是多样性上，这些数据都获取了大量的信息，很多企业在进行商务决策时将会更加依赖数据分析。

 

比如，抖音等短视频软件会根据你看的视频来推荐下一个视频，各种电商网站会根据你的网页浏览记录给你推荐合适的商品。

 

数据科学专业越来越火热，各行业的公司也纷纷抢夺数据行业的人才。

 

那什么是数据科学呢？

 

简单来说，数据科学就是通过历史数据的分析，解读，建模和对未来的预测，帮助我们更好的做决定。

 

目前，数据科学的主流，一方面是「A/B Test」，另一方面是「Machine Learning」。

 

A/B Test

所谓A/B test，就是对照试验。

 

比如说，经过测试，我们发现将CTA按钮从绿色更改为红色可将点击次数提高21％。在网站优化领域，这就会带来巨大的增长。

很多公司都会选择用A/B test来收集数据，通过用户行为结果数据不断对其用户体验进行仔细更改，从而做出最佳决策。

 

Machine Learning

比如，有一个电商品牌想要开拓市场，我们首先需要收集各方面信息，比如消费者对网站/应用程序的行为、过去购买的商品、喜欢或添加到购物车的商品、品牌偏好等。

 

这个时候，数据科学家可以通过建立不同的模型，根据新的数据调整模型，从而决定市场战略，和确定品牌的商业战略。

 

数据处理的5个步骤

数据处理一般分为5个步骤:

 

1. 明确问题 Business Understanding

 

首先，我们需要知道要未来解决的问题是什么，通过什么样的数据，可以解决这些问题。

 

常见职位：

Business Analyst (BA) 商业分析师

Data Analyst (DA) 数据分析师

 

要求的能力：

在这里需要你拥有「分析问题」和「解决问题」的能力，一般不要求很高的「数据分析」或者「编程」的Tech背景。

 

2. 抓取数据 Data Acquisition

 

目标定下来了，接下来就要去找相应的数据啦。

 

金融行业，可以从Wind, Bloomberg等资源找数据，也可以通过网络爬虫去抓取数据，从而来分析信息。

 

常见职位：

Data Analyst (DA) 数据分析师

Data Engineer （DE）数据工程师

 

要求的能力：

SQL，python/Java等

3. 数据清理 Data Cleanup

 

数据的清理工作非常重要，我们需要提取出有用的数据，为下一步的分析做更充分的准备。

 

要求的能力：

掌握SQL，Python，R，Mathlab等

熟练运用Numpy / Pandas 等数据包

 

常见职位：

Data Analyst (DA) 数据分析师

Data Engineer （DE）数据工程师

 

4. 建模分析 Modeling&Analysis

 

这一步是数据分析的核心，数据分析师 Data Analyst (DA) 一般会对历史的数据进行分析和描述，而数据科学家 Data Scientist (DS)通常是通过建模去预测未来。

 

要求的能力：

需要掌握Machine Learning中的监督和非监督学习、NLP、深度学习等各种模型。

 

也需要拥有不错的数理基础，熟练掌握建模、统计、时间序列等知识点。

 

常见职位：

 

Data Analyst (DA) 数据分析师

Data Engineer （DE）数据工程师

Data Scientist （DS）数据科学家

 

5. 执行 Deployment

 

我们一般会对数据进行可视化的分析，更清晰的提取出数据中表达的各种商业insights。

 

要求的能力：

比如Tableau，Excel，Power BI等。

对Tech背景要求相对偏低。

 

常见职位：

Business Analyst (BA) 商业分析师

Data Analyst (DA) 数据分析师

 

DA/DE/DS的具体介绍

 

数据科学专业主要有三类职业方向：

 

DA --Data Analyst  数据分析师

DE --- Data Engineer  数据工程师

DS -- Data Scientist  数据科学家

 

DA 是entry level的职位，入门比较简单，适合刚接触数据科学的同学，需要掌握Data handling，Data modelling 和 Data reporting的知识。

 

DA需要知道如何利用numeric data帮助公司做决策，告诉这个公司在下一个阶段如何投资，在哪个地方如何改进，将分析的结果转化为合适的商业方案。

 

DA的核心是「找寻和解决问题」，所以需要熟练掌握Python和R，A/B Test、Model、SQL，Tableau等。

 

DE 就像是软件工程师，不过是围绕着大数据领域的工程问题，需要你对computer science和programming的知识有深入的了解。

 

DE需要去处理raw data，开发大数据的 ETL (提取, 转换, 存储) Pipeline来处理数据，设计Data structure去match data model，进行Data clean。

DS 这个职位是从DA中分离出来的。DA就是传统的数据分析，但是当Machine Learning 和 AI发展的越来越好的时候，我们就可以用Machine learning和Deep Learning的技术，帮助公司做数据分析。

 

DS的工作内容主要是建模，需要掌握很强的统计和Machine Learning知识，需要懂得如何将复杂的商业问题转化为统计和机器学习可以解决的问题，然后据此Build Data Pipeline，设计很好的 data model支持公司的战略决策，match business的KPI等。

 

DA和DS都需要Data Warehousing（数据仓库）的知识。DA更侧重reporting和statistics方面的内容，而DS侧重于data optimization和decision making的知识。

 

BA和DA/DS有什么不同？

BA，DA，DS都需要掌握统计，R，Python，SQL， A/B Test等知识。

 

BA一般不会亲自对数据进行建模分析，主要使用SQL和Excel，但是掌握的要求相对来说比较低。

 

DA工作几乎都是和数据打交道，从数据中找问题和解决问题，将分析的结果转化为切实可行且能有所成效的商业方案。DA比较适合数学、统计学功底好的同学，对统计，R，Python，SQL， A/B Test的要求比BA高。

 

BA需要strong business acumen, 会有很多的「跨部门沟通的工作」，对技术对背景要求低一些，适合爱Social，沟通技能强的同学，而DA和高层打交道和沟通的机会要相对少一些。

 

DS的核心集中在Model和Python等技术上，所以需要深度了解R，Python，SQL，Machine Learning以及Tensorflow。

 

对于DS来说，还需要掌握Big Data、Coding、Machine Learning，Experimental、算法等知识。