很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
彭友们好，我是你的老彭友。最近有位朋友在群里问：怎么预估大数据集群所需的内存容量？
这个问题是大数据架构师的高频面试题，但是更关键的是在项目中更是必备的技能。因为这会涉及到服务器的选择和成本核算。
因此必须既能满足现有的需求，又不能超过，还能保证持续、稳定的使用。虽然现在有云服务器，随时可以扩容，但提需求的时候总得说一个依据，否则显得非常不专业。
今天就给大家彻底解决这个问题。
虽然彭友问的是怎么估算内存的资源，但是咱得扩展一下。作为架构师/项目经理，面临的问题是一个项目要启动，我们需要申请多少资源才能满足项目需求？
如果是要解决这个问题，那么最少要从网络资源、存储、内存、CPU四个方面进行预估。
服务器资源评估的交付物是一个类似的服务器需求单：
一般的时候我们评估资源有几个方法：
1、经验预估：大佬专属，看一眼需求就知道得分配多少资源；
2、参考预估：根据以前差不多项目的经验，对照参考预估；
3、技术预估：根据技术参数要求，进行细致的计算后得出。
第1、2种方法在这就不讲了，一个要牛人，一个要类似项目。这个也没法跟彭友们说呀~~~
其实就是一些预估的原则，框定大致的范围，这样也比较科学。我简单总结了几个原则，供你参考：
1、最小可用原则：就是不要胡乱拍脑袋。很多人为了免责，参数就得往高了报，造成极大的资源浪费；
2、高可靠高可用原则：访问是有波峰波谷的，我们必须要确保集群在日常正常工作的同时，能抗住波峰的流量，一般来说，波峰波谷的时间占比大概都是28分布；应用服务器也得考虑单节点故障问题；
3、可扩展原则：需要考虑集群扩展的场景，因此类似用途的服务器尽量要用相同规格；
4、便于运维：需要结合团队的实力、技能等情况综合考虑，更多的是人为的因素。
一般来说，我们需要综合考虑需求项目的所有技术参数、技术选型，综合进行规划。要画出网络拓扑图，规划每台服务器的用途，根据用途、访问需求、数据存量增量综合预估。
但是网络拓扑这个不在今天的讨论范围内，所以就略过了；技术选型情况比较多，也无法一一遍历，所以只能给一个普适性的评估方法。
彭友们在评估的时候，根据技术进行调整就行了。比如离线和实时服务器所需的资源就不一样了，离线偏重存储，实时偏重计算。
网络预估的指标是TPS（Transactions Per Second 每秒处理事务数量）和QPS（Query Per Second 每秒查询数量）。大家说的吞吐量就是通过这两个指标来衡量的。
这里有一个简单的公式：
公式1：QPS = 设计并发数/平均响应时间
系统设定的同一时间并发用户访问的数量，以及系统的响应效率，决定了QPS。
现在有些项目中直接就确定了QPS、并发数、平均响应时间三个技术指标，这时候就不用算了，直接照着这个做就行。
但是也有其他情况，比如IoT的数据，这个非常规律，要么是24小时非常稳定的，要么就是非常有节奏，工作时间稳定，工作时间之外就停了；
还有互联网的情况，就比较乱了，分布的即为不均匀。基本上是早、中、晚三个高峰，要么是上午、下午、晚上三个高峰。这跟网站、APP的性质不一样而各异。
这时候我们设定一个估算方法就行了。比如按下面这个公式：
公式2：波峰QPS=（全天数据查询量*波峰数据量占比）/（每天3600秒*波峰时间）
上面的参数可以自己调整，也可以再加几个其他合理的参数就行了。大概的意思就是根据全天的数据接入需求，设定合理的假设，比如80%的数据都在20%波峰时间涌入，这样就能算出波峰QPS了。
一般情况我习惯给出三个方案：
1、高配：即抗住波峰*30%，留出余量；
2、中配：抗住波峰即可；
3、低配：抗住80%波峰；
这时候会根据系统的需求进行选择，或者参考用来进行工作量评估的三点估算法推算出一个最可能的值作为参考。
期望值：Te=(P+4M+O)/6
即：最可能的值Te=（1份最差的结果（峰值最高）+4份波峰+1份小波峰）/6
当然，上面只是参考而已，需要根据实际情况进行调整。比如有些系统实时性不是特别高，选低配就行了，没及时处理的，等波峰过了之后慢慢处理都行；
有些用户实时性要求高、敏感度高的，那就选中高配，确保波峰能过去。同时启动热点监测，跟技术的朋友一起做一个弹性扩容，确保波峰再大，都能实施扩容，确保高可靠搞可用。
我们有几个方法可以知道波峰：
1、根据设计的每天数据接入量，计算波峰QPS（公式1）;
2、根据历史数据推算波峰QPS（把历史QPS拉出来看看就知道了）；
3、根据并发数和平均响应时间计算QPS（公式2）。
平均响应时间可以用测试的方式得到，各种自动化测试工具都能搞定。非常简单，输入并发数，然后跑一下就能得到不同并发数下的平均响应时间。
存储估算分两部分：
1、存量部分；
存量部分还是比较好算的，就是得统计一下各系统的数据量就行了，最多加一个接入计划。
另外，存量数据也需要分成冷热数据，有条件的话，热数据放在SSD等高速存储里；冷数据可以扔到OSS、SAS机械硬盘，或者压缩一下，减少存储成本。如果有数据退役的管理，那么可以根据退役流程进行转录到磁带机或者直接销毁。
2、增量部分，这个需要考虑几个事情，第一个是应用系统的接入，在统计存量数据的时候顺便调研一下就好了；第二个是IoT、日志等数据源的接入。这时候就得根据QPS计算了。
一般来说，每个QPS或者IoT的数据量是相对比较恒定的，为了方便计算，我们假定是每条数据10kb。
那么每天的数据量就是：
10KB*10000000条*3个备份=288GB
上面的几个参数都可以进行调整，比如每条数据的大小可能根本不用10kb，备份也不用3个，2个就行了等等。如果是流式数据，还要加一个保留数据的时间参数，比如保留最近3天的数据，就再*3就行了。
这个时候就可以计算集群中每台服务器的存储要求了。比如我们计算出来存量10000G，日增量100G，集群中datanode一共10台，那么每台1T（1024G）就只能刚刚够放存量的。
而每台2T，则可以用（10台*2048G-10000G）/100G=104天。我们按照需求进行规划、调整即可。如果是云服务器，可以整个半年的量，实时监测，提前增量即可；如果是物理服务器，可以增设磁盘阵列，也可以满足需求。
我们监测的时候设一根报警线就行，一般来说，存储的预警值是80%，预留20%空间，及时扩容即可。
这个得完全根据技术方案来。离线和实时不一样，增量和全量也不一样，ETL、预计算、跑模型都不一样。
有些要把大量数据放内存里，非常吃内存，有些要开N个线程，疯狂吃CPU。比如ClickHouse相对来说就比较吃CPU，对CPU的要求就要高一些。
Kafka内存预估：
假设我们只有10个Topic，每个Topic有5个Partition，但是需要存3个副本，有3台kafka服务器，常驻内存只要最近的30%，那么：
（10Topic*5Partition*3副本*1G文件*0.3内存）/3台服务器=15G。我们选择16G很危险，建议选用32G内存即可。
Flink内存预估：
假设我们QPS1000次/秒，Flink窗口设为5分钟，每条数据10KB，那么可得出所需内存为3GB。
离线计算内存预估
假设我们有10T的全量数据，每天增100G，离线数据其实不会一次性把所有数据入内存计算，所以比例会少很多。按这个计算，我们所需的内存是：
（10T+100G）*0.02入内存占比/6台服务器，每台服务器需要34GB的内存，这个很尴尬，要么加几台服务器，要么选64G的内存，要么降低我们入驻内存的比率，或者通过合理的流程削峰填谷。
至于CPU的预估，一般按照CPU：内存1:2、1:4（推荐）的比例直接算出来就行了。
64G的内存，选择16core就够了。除非是ClickHouse或者开N个线程的特别吃CPU的组件，可以放大一些，按1:2比例，选32core的。
以上是单独预估的。但是作为架构师，需要全盘考虑。存储的还得考虑NameNode和DataNode的区别，ZooKeeper等管理组件和其他组件共用服务器的情况，实时、离线任务一起跑的情况、热点应对等各类情况，这就不再细说了。
-END-
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)