主要是将各种数据源:业务数据,埋点数据,日志数据,外部数据,经过ETL技术转化为ODS层,ODS层数据与业务数据基本保持一致(原始数据)
DW层:对来自ODS层的数据经过ETL处理可以细分为基础层、主题层和数据集市。
数据开发工程师主要就是负责ODS层和DW层的数据库表开发。
二、 数据分析师
工作职责:
关键词包含“数据埋点”“异常检测”“决策”“A/B 测试”等,岗位要求包括“海量数据处理”“用户增长”等。
发展方向:
(1)偏业务类:商业分析,BI
(2)偏技术类:数据挖掘是从算法维度理解数据。
个人建议:不管你向那个方向发展,都要主攻一个方向的同时,另外一个也要做了解,这样自己的职业天花板更高。
偏业务分析师日常工作
在有数据仓库开发的情况下,数据分析师更多聚焦于:业务的理解,需求的沟通,需求的技术实现(可视化报表),需求的优化等
(1)对业务的理解:公开的组织架构分析定位,现有报表分析维度,直接找业务部门要业务部门的介绍PPT,最终了解业务流程,核心指标等
(2)需求沟通:涉及到需求评审,这个后续补充!
(3)需求的技术实现:一般是通过可视化报表呈现,例如Tableau,PowerBI等
(4)需求的优化:在深入了解业务后,对现有业务进行优化,怎么分析做的更好。
值得注意的是:目前我们大多数是完成业务方的需求,这是最基础也是工量特别大的地方,但想变得优秀,就必须主动思考,怎么优化,怎么去提高!
工作中若能时时要求自己思考别人本质上要的是什么,多思考一步,不仅减少返工重复,而且给过去的东西超过他人的期待的话,又可以提高个人信任度和能力得到认可。
偏业务分析师工作痛点
主要对临时性需求就行解读:
1、临时数据提取
临时数据提取是数据分析师的一个职业痛点,我将临时提数需求分为两种,一种是管理层的需求,另一种是业务执行人员需求。
管理层的无疑优先级最高,优先开发。
临时性提数需求按是否长期性判断,是一次性需求还是长期需求(例如一星期一次)。
长期性提数需求解决方案:
(1)数据中心开发数据提数平台,让需求方自己提数;(2)讲提数规则(SQL和计算逻辑)给到产品,让产品自己查询和计算。
2、异常数据核查
(1)业务理解;
(2)指标口径;一般都是指标口径的问题,例如统计销量,按用户首次下单时间统计,和最后一次下单时间统计,两者的数据是不一样的
(3)当前数据产出过程。
有了前期准备工作,接下来就是异常排查步骤了,异常排查主要分三步:
(1)判断是否异常;后续补充
(2)最大概率法则归类;后续补充
(3)闭环。后续补充
总结
数据开发工程师:
主要就是负责ODS层和DW层的数据库表开发。帮助业务分析建立各种表的建设,数据基础数据建设其中的关键一环,没有数据以及数据表那 还分析个锤子!!!
数据分析师:
(1)偏业务类:商业分析,BI
(2)偏技术类:数据挖掘是从算法维度理解数据。
目前自己从事偏业务类的,需求沟通,需求评审,需求确认,后期需求优化,临时性需求(数据提取和异常数据核对)。
在技术方面:自己要加强复杂和常规SQL代码的学习与总结、加强可视化报表以及PPT分析报告撰写的总结
在业务理解方面:加强业务理解,这样分析更有价值,怎么了解业务:公开资料,找业务要,主动问业务。
在临时性需求方面:加强数据异常核对,数据提取的经验总结。
此外还有数据埋点,A/B 测试不是特别了解!
偏技术方向:大数据Hive SQL 学习,大数据Hive spark 学习,数据挖掘算法学习!
以上就是数据分析师与数据开发工程师的区别,希望对大家有所帮助。