导语
4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展,释放数据要素价值”为主题,汇聚产学研各界精英到场交流。云和恩墨作为大会的协办方和重要合作伙伴,公司的数据库一体机产品总经理刘宇在「融合引领:云原生与新技术」专题论坛发表了题为《面向多样化数据库的数据底座--数据库存储2.0》的演讲。本文对刘宇的演讲内容进行了整理归纳,供大家学习参考。
DTC2023
多元、互联、新硬件
数据库存储2.0时代已经到来
纵观当前数据库领域发展趋势,不难发现当前数据库存储形式呈现的几个特点。从需求角度分析,随着互联网、人工智能等技术场景不断增多,数据类型、数据处理方式也在不断增多,这就导致一个数据库系统往往需要多个不同种类的数据库同时支持,多元数据库时代已然来临。另外,近几年我国越来越重视将信息安全、根技术把握在自己手中,相关政策大力推动着国内关基行业逐步开展IT系统信创改造项目,这也推动着我国本土数据库品牌的进一步创新发展。从墨天轮中国数据库流行度排行榜来看,收录的数据库产品已达260+之多,鸾翔凤集、百家争鸣,呈现出蓬勃发展的盛景。
从技术层面分析,据第三方统计,预计在2025年,每人每天与互联网设备交互次数可达4800次,每18秒就会产生一次,万物互联带来的是爆炸的数据量和对高并发低时延更高的要求。除此之外,新硬件成本下降,性能却能够倍增,现如今已经超过传统硬件数十倍、数百倍之多,硬件潜力有待深入挖掘。

DTC2023
快
“快”是指怎样优化系统整机性能去满足万物互联时代的高并发压力,在这一方面有三个挑战点:
一、硬件。随着硬件性能相对过去有数十、数百倍的提升,软件的开销已经占到整个性能开销非常大的比重,因软件架构自身的限制,无法充分发挥硬件性能。
二、协议。传统的机械硬盘对于单一队列多核访问时,需要加锁,但引起的性能开销占比低,可以容忍。然而现如今闪存介质无机械操作,加锁成为性能瓶颈,无法充分发挥闪存性能,需要更优的协议来发挥硬件性能。
三、调度机制。传统的调度机制中软件的任务、线程、CPU核完全随机匹配,依赖操作系统保障,随机性高,无法保障关键任务的资源分配,且线程调度依赖操作系统,线程排队及线程唤醒会产生额外时延和上下文(如内存拷贝等)开销。除此之外为保证全局Cache操作的原子性,需要加锁,导致等锁开销,造成不可控的时延。
针对这三方面挑战,zData X 做了全新架构优化:采用NVMe SSD硬盘、高速互联网络以及RDMA技术来提升效率、降低时延;使用NVMe-oF协议提升存取效率;在调度机制方面引入自适应锁核特性,任务、线程、CPU核能够自动绑定,专核专用,确保关键任务响应时延,减少线程上下文切换的开销;通过智能调度算法自动识别任务优先级,优先保障关键任务调度;引入自适应Cache锁特性,使得线程访问本地Cache,线程锁核避免对Cache锁的竞争。
相比传统架构,zData X 的新型架构能够充分发挥每颗芯片的算力,使得IOPS性能提升4倍、时延缩短50%、数据传输与存取性能提升60%。刘宇为观众分享了两组数据:zData X 当前性能能够达到2000万tpmC,且单个存储界面达到50万IOPS,仅0.3ms时延。

DTC2023
稳

DTC2023
易

DTC2023
专

DTC2023
结语
云和恩墨在数据库领域深耕十余载,刘宇在演讲最后说道:“得益于在专业服务上的长期积累,云和恩墨具备两大优势:懂数据库、懂基础设施。这体现在数据库研发上就是:第一有经验的沉淀;第二有技术的积累;第三有全栈方案。因此我们做的产品和解决方案能够更好地去贴合、满足客户的需求。”
如今,云和恩墨的数据库基础软件和生态软件都已形成规模,如关系型数据库 MogDB、数据库一体机 zData、数据库云管平台 zCloud,都已在各行各业落地,帮助用户更便捷、更高效地运行和管理数据库环境。云和恩墨将继续以“洞察用户需求,坚持持续创新”为核心思想,将更加安稳易用的产品带给用户,助力用户实现跨越式升级。