大数据量写入,高并发连接,高并发读取,系统如何设计?

[软件开发] 季雨林 2019/9/10 23:13:51

今天给大家拽点高大上的:高并发写入,高并发读取,大数据量的系统设计


高并发写入:

数据库极限写入能力在这个需求下成了重点性能指标。针对物联网传感器采集类数据,特别适合的是时序数据库,内存型数据库,当然并非只能用时序数据库实现,关系型虽然么那么完美,但是起码也可以尝试一下!

典型的项目案例就是我专注了几年的GPS监控业务。每辆车上装一台GPS采集器,市面上的频率大致都是每隔10秒上报一个坐标点。稍微有点要求的平台都得时10万终端承载量起步的设计容量。


高并发读取:

解决方案太多了,因为很多传统项目都是在读取的时候有着明显的需求。针对这个需求,可以考虑数据库层的一主多从,内存层的缓存,应用层的静态化加速,物理架构层的CDN加速等等方案。

比如论坛网站,10000人同时写入的可能微乎其微,但是10000人同时读取的可能非常常见。


关于连接数:

避免网络中间设备闲置并发数,使用负载均衡分流连接数,使用多台服务器共同承载连接数!

说个我的亲身经历,当初为了追求高并发写入能力,选配合昂贵的物理机,参考价:单台服务器机(2颗E7,32G内存,4块万转SAS盘)价格3万起,最终项目用了没几年放弃了物理机方案,原因在于2万多采购的思科防火墙只能承载25万并发连接数!


末尾彩蛋:

前文一直在考虑高性能单机能力,其实这不是最最重要的。单机写入虽然也可以提高承载上限,但是上限始终存在:我可以用一台企业级服务器代替低配塔式机,也可以用刀片机代替机架式服务器,然而在下一步,用户业务量更多的时候还有多少单机提升空间呢?难道要去买台超级计算机?

超级计算机的确牛逼,可是跟我们这辈子未必有缘接触!系统应该设计成可水平扩容的状态。白话解释就是:业务量多了加服务器,而不是去优化代码!

云架构,就是我一直关注的技术领域,云服务器的单机性能都挺低,甚至连我的老笔记本性能都不如(同参数配置下),但是云架构下的系统可以实现的效果就是一个不行两个上,再多压力都不怕!




原文地址: https://www.opengps.cn/Blog/View.aspx?id=437 文章的更新编辑依此链接为准。欢迎关注源站原创文章!

评论

暂无评论!

发表评论:

用于接收作者回复信息
点击更换验证码 - openGPS提示