APP推广合作
联系“鸟哥笔记小乔”
【深度剖析】大数据职业发展体系全解【附下载】
2020-12-28 20:00:00

这是彭文华的第115篇原创

    今年大家过的的确都很艰难。往日线下会议早就如火如荼了,今年不仅线下会议少了,一些大会干脆就改线上了。前几天跟DataFun创始人王总唠嗑,看能不能帮助大家在职业道路上走的顺心点,这就一拍即合了。

今天就把前些天分享的内容贡献出来,希望能帮到大家~~









为啥要了解职业发展体系?



    很多同学对大数据行业还很陌生,即便是已经入行的同学,也不太清楚整个大数据的全貌是怎样的,也不知道自己当前做的事情能向那个职位跃迁。其实这非常不利于职业规划的。

    可能你要问了,这个职业发展体系跟我职业规划有什么关系啊?

    我这里给你列了一个职场能力清单,都是混职场实实在在需要的能力。这些能力看上去好像很空,没有各种大数据技术来的实在,但是在职场上工作的越久,就越能体会到这些能力的重要性。因为这是冰山模型中的隐性潜能。


    职业发展体系其实是提升自我价值序列中非常重要的一环。咱最少得对自己从事的职业有一个基本的认知,然后再去谈发展的事情。否则就是盲人骑瞎马,走到那算哪。运气好还行,运气差,那就是1949年进了**啊。

    其实每个企业的人事部门都会发起“职业发展体系”的梳理工作。这个发展体系通常是由各部门主导,人事部门支持的方式,逐一梳理清楚。

这个职业发展体系除了能解答刚才的问题之外,还能提供清晰的能力标准,实现人岗匹配,关键的是牵引员工能力提升和学习资源的建设以及帮助员工拓展发展通道。


    这样的好处是让给员工一个上升的通道,在制度上保证员工长期稳定的输出,从而降低企业用工成本;另一方面也能保证员工的利益,能够不断的提升,获得职位、金钱的回报。

    职业发展体系是一个非常专业的事情,通常由人事部门的OD(组织发展)线负责。这个工作有非常清晰的流程:职业梳理与分析、职业通道设计、任职资格标准设计、任职资格认证和任职资格结果应用。


    前面三个就是设计所有职位、各职位的发展通道以及任职标准的。后面两个是用来通畅上升通道用的。比如阿里、美团的晋升考核,就是任职资格应用的典型案例。








大数据职业体系剖析



    人事部门设定职业体系的逻辑是因事定岗。


    对应到咱大数据体系上,基本上要搞定这几件事情:软硬件基础、技术架构平台建设、数据资产管理、数据治理、数据分析、业务应用、智能应用和组织保障。


    各自需要解决一部分问题。这些内容看上去都是相关的,但是隔行如隔山,离的都还远着呢。

    这是一张典型的大数据架构图。我们从这张图就能分解出所有事情。

    我们从下往上看这张图,最下面是数据源,再往上就是数据接入。那么这里就来活了,数据采集和接入,对应的职位就是ETL工程师或者大数据工程师,使用的工具是KETTLE、Flume、Kafka、Sqoop等。


    往左上一些,是存储和统一资源调度,这是大数据集群,就有平台搭建及运维的活,对应的职位就是大数据工程师或大数据运维工程师。


    再往上是数据仓库设计和数据处理的工作,对应的是数据仓库工程师和ETL工程师。这里分离线和实时,在一些大厂,会相应的分开。


    咱往图的右侧看,还有数据管理和数据监控,这些是数据治理、元数据管理、数据安全管理的活。对应的职位就是数据治理工程师。不过这个工作小厂不太关注,一般还得有大佬带着,一个岗位搞不定。所以这个岗位其实是另辟蹊径进大厂的小路。


    最上面就是应用层了。基本上就分为数据分析、数据可视化和算法。大厂里又能细分为商业数据分析师、数据分析师、BI工程师、算法工程师等等。同时还会按照行业和业务领域继续细分。

    根据上面的内容,我们就能梳理出一个大概的职业领域,简单分为5个类别:

  • 集群运维:解决底层软硬件基础的问题。

  • 数据工程:解决数据的采集、加工、处理的问题。

  • 平台工程:建设整个大数据平台。

  • 业务分析:满足业务方的基础数据需求。

  • 数据应用:用数据创造价值。

    在梳理所有职位之前,我们还得了解了解一下职业发展通道。在企业中,一般就是管理和专业/技术两条线了。所以基本上我们就能看到两条大路:一条是专业/技能专精(P系列),一条是到骨干之后,走管理路线(M系列)。


    现在很多人说35岁到不了高管就废了,这不仅是对自己的不自信,也是对职业发展通道的认知不够。

基层员工+骨干员工组成了一线战斗团队,通常由基层管理或者核心骨干带领,是打硬仗的队伍。


    中层管理或者专家则作为中坚力量,组织多个战斗团队,协同配合,搞定一个个的战役,赢得胜利。

    高层或者资深专家则从战略角度,对整个公司的业务进行规划和设计,攻城略地。


    大家需要注意的是,每一个层级都有其任职资格要求。每个职位都会设计这些任职资格。不过这个就没法统一了,每个公司都不一样。


    这个和管理模式是有区别的。扁平化管理指的是管理模式,不会把发展通道给去掉的。

    那么根据大数据体系需要做的事情,以及职业发展通道,我们就能梳理出来大数据领域各方向的职位列表。基本上能覆盖所有大数据体系的职位了。


    我们简单过一下:

    从下往上,越往下越靠近底层技术,越往上越靠近业务应用。

底层解决的是基础环境,职位包括云计算工程师、运维工程师、运维经理等,需要掌握虚化技术,什么docker、k8s、集群运维、监控等。


    往上是数据工程,数据处理方向和数仓方向,职位有数据架构师、数据仓库工程师、ETL工程师/大数据工程师、爬虫工程师等。


    再往上是平台建设,数据产品和开发方向,职位有平台架构师/大数据架构师、开发经理、大数据开发工程师、大数据平台产品经理。


    再往上是业务分析领域,有商业数据分析、可视化、BI和数据分析方向。这里通常是最繁忙的,人称表哥表姐。商分偏业务,数分偏技术。


    最上面是数据应用领域,有智能数据应用、AI、数据挖掘方向。基本上就是各种数据应用的探索和建设。各种推荐、广告等。直接产出商业价值。

    现在我们就能梳理出所有职位的能力模型。在各个公司里会有更详细的内容,包括岗位职责、关键指标、汇报关系、内部协作关系、任职资格、晋升通道等等。这个太复杂了,在这里我就不全部列出来了。

    我们按照业务分析、数据应用、平台开发和数据工程,切分为四大方向,这四个方向内部,在技能上和工作上有交叉,平常的工作中稍微多做一些,就有机会相互转化。


    这是按照职能划分的,另外还有一种组织形式,就是项目制。比如说一些大厂,专门会有一个平台或者中台团队,进行数据平台或者中台的建设;有一个推荐团队专门做推荐系统;一个OLAP团队专门做OLAP,一个商业化团队专门做DSP、DMS等等。业务越复杂,规模越大,分工就越细。只要有共同的技术、业务,那么都存在互相转的可能。

    另外呢,每个岗位其实都会分最少高、中、初级三个大等级。有些公司会分很多个小等级,比如阿里P10基本就到头了。


    不同岗位的级别上下也是有设定的。以数据分析领域为例,基本上有三个职位:数据分析师、商业数据分析师和战略数据分析师三种职位。


    数据分析师面对的客户是运营、产品等执行层,自己做的较多的是做执行,俗称“表哥表妹”,天天做报表,出图,跑个数啥的。可想而知,替代性很强。刚毕业的大学生,有1、2年经验基本就能搞定了。我曾经带过一个大专的实习生,半年之后就能承担非常多的取数的工作了。


    商业数据分析师更多的是协同运营、产品、算法等同时,贴近业务,解答商业问题,提出商业解决方案,不断的优化,产生商业价值。这最少是核心骨干。


    战略数据分析师(数据科学家)则更多的面对企业高管、投资方,从商业模型、战略层面提出战略构想,引领企业发展。这种人出去肯定是要被竞业的。

    这样我们就可以梳理出各个岗位之间的关系了。

    每个职位的起始和终止等级,颜色越靠近,关系就越紧密,可以互转。颜色越深,就越不容易转。但也不是绝对的。


    比如橙色的爬虫工程师可以转做算法、数据挖掘,因为绝大部分爬虫用的是python,处理的工作也是数据,数学基础好,很容易就能转过去。

    ETL、BI可以互转,可以往数仓、数据架构师方向走,基本干的活也类似,大数据开发工程师也可以考虑,同时要可以转管理岗。


    数据分析师偏技术,如果加深对业务的理解,和解答问题的能力,就能转商分。


    产品经理比较特殊,所有数据相关的同学,对产品感兴趣的,可以尝试一下,毕竟是跨行了,还是比较有挑战的。建议有平台工程方面同学挑战一下,毕竟是见过猪跑的。比如偏底层的运维工程师就不太建议。运维可以往大数据开发、ETL工程师方向尝试。


    当然,也不说绝对的,如果说非常感兴趣,投入了大量时间去学习和训练,同时在公司内可以尝试挑战一下,一点点揽活,也能慢慢转过去。

    所以推荐的路线:有管理才能的,先成为骨干,再转管理;愿意研究技术的,走技术专精路线。发现自己的天赋不在目前的工作上的,可以一点点的揽点活,慢慢转过去。


    先做事,让自己值钱,然后再谈钱的事情。








如何让自己值钱



    这个给一个网上找到的各大厂级别与薪资对照,各位可以参考一下。一是让大家了解薪资水平,二是让大家对比一下各大厂的级别规则。

    Ok,职业的发展路线咱有了,接下来就是谈钱了。

    想要让自己工资变高,得先理解工资的意义是什么。

    经济学里一句话:价格是价值的表现形式。也就是说创造多少价值,才有可能拿到更高的价格。


    在劳动关系中,工资是企业对你的劳动价值的货币定价。社会对每个人都有一个定价,作为打工人,我们要做的是努力提升头顶上的那个定价。单位时间的价格。


    最后,是稀缺。为什么前面说创造多少价值才有可能拿到更高的价格呢?很多时候缺了我们就不行。没有数据,他们都变瞎子。但是我们的价格还是便宜,为什么?因为可替代性。


    氧气对我们重要吧?缺氧30s你就受不了。但是你为啥不买空气呢?因为到处都是。所以内卷就是这么来的,充分的竞争必然导致无意义的进化,这就是内卷。

    如果想要提升自己的竞争力,之前说过两个方向:

1、技能专精;

2、管理路线。

    但是这两个都比较难。那有没有更好的方式呢?有的。

    比如,刚刚给大家介绍的这些职位跟公司规模是有关系的。公司数据团队小,一般都是一个人身兼数职。在大厂,可能还会细分出无数的职位。这个时候机会就来了:


    1、找到细分技术、细分领域或者细分业务,找一个方向,做下去,积累经验,这样你就有一个细分的能力,这个能力比较稀缺,这就能提升你的价格。

    但是这样会让你的选择面稍微小一些。

    2、另外一方面,你可以拓宽自己的知识面,针对一个解决方案吃透,这样就可以找到一些小厂,帮他们建立完整的体系。这样也行。

    3、还有,你可以让自己增加项目管理能力、团队管理能力,成为团队内部助理的角色,慢慢的发展为leader的角色。


    总之,就是通过不断的增强自己的能力、选择合适的路线等方法,来增加自己的稀缺性,从而提升自己的竞争力和价值。

    这是国家信息中心在2017年发布的大数据发展报告的内容。深色的是招聘需求,浅色的是求职人数。这张图其实也解释了数据分析师的焦虑所在。招聘需求多,瞄准这个位置的人也就多了,竞争也就激烈了。太多人在这个职业上,加上替代性太强,数据分析师们自然就焦虑了。

    2017年的大数据行业薪资看上去也不是很高。但是考虑到的是全国的数据,基本上差不多。这里有一个特殊的点,招聘者有24.48%薪水分布在1-1.5w,但是同样期望薪资区域只有17.06%的人。所以,各位没到这个位置的人,工资期望可以大胆一点。

    这是摹根麦肯立最新的薪酬报告,这个基本上符合一、二线城市各职位的宽带薪酬情况了。各位要加油啊。

    这个是科锐国际的薪酬指南。科锐是猎头公司,基本上锁定的是高端人才。这个价格可以作为大家奋斗的目标。








具体怎么做?



    结果是规划出来的,是规划后执行出来的。大家可以根据自己的情况, 确定自己的目标和方向,然后补足短板,厚积薄发,提升自身的价值,然后再获得职级和薪资的提升。

    Ok,前面说了这么多,总得给点实在的东西。

    最后,个人职业提升计划该怎么做?这个其实很多人力资源规范的公司都有,就是IDP,个人提升计划。我们团队有新人进来的时候,我都会带着他给他设置一个IDP。

从入职开始规划你在公司的未来,然后按照步骤一步一步执行,即便是有偏差,也差不到哪里去。


    后台回复“我要变强”获取我为你准备的“个人发展计划IDP+员工培养计划模板”。

配合以下文章享受更佳







干货 | 如何写好简历中的“个人总结”部分?


【揭秘】跳槽时获得超高涨幅的谈薪秘籍!


【解密】筛选数据分析师简历全流程


【干货】如何写出一份高质量的数据分析师的简历?



我需要你的点赞,爱你哟

大数据架构师
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
大数据架构师
大数据架构师
发表文章272
历任多家公司大数据总监、大数据架构师,专注于数字化转型领域。
确认要消耗 羽毛购买
【深度剖析】大数据职业发展体系全解【附下载】吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接