遇见未来 | 基于软件定义存储的数据加速解决方案:让你的系统加速跑
在互联网和大数据的压力下,很多企业面临着经济增长下滑、跨行业竞争激烈,用户需求越来越个性化。于是如何实现转型、业务创新和盈利增长成为企业的共同诉求。
而依靠硬件的提升获取系统性能大幅度提升的日子已经一去不复返。软件定义这么技术从提出到被广泛接受和利用,只用了短短几年的时间。其盛行的原因主要有以下几个方面:
1、降低系统复杂度:当前企业的IT系统变得越来越复杂,硬件种类繁多,系统交互频繁,通过软件交互可以降低复杂度; 2、降低成本:在IT系统的成本中,硬件所带来的成本不仅包括系统本身所消耗的成本,更多的是随着系统变得庞大和复杂,需要的运营成本。 3、适应快速变化的市场环境:IT和业务的结合越来越紧密,业务的变化速度越来越快,IT系统的课伸缩性和适应性越发重要。通过软件定义计算,网络、存储是IT适应市场需求的基础条件。 4、支持创新:既包括IT创新也包括业务创新。例如通过软件定义的超融合架构,根据业务需要,可通过增加模块的方式增加计算能力或存储能力,用以支持大量并发的计算能力或存储能力。
作为软件定义的核心,软件定义存储则为存储行业带来了更多的可能。x86架构成为主流,不仅提供了相对廉价的计算资源,还带来了无与伦比的软件生态环境。
在本次遇见未来的专访栏目中,我们邀请了来自戴尔EMC的高级市场经理周俊杰先生,请他分享软件定义这门技术的发展现状及背景,以及戴尔EMC在软件定义存储方面所做的尝试和成果。通过基于软件定义技术的数据加速解决方案,让你的系统加速跑!
周俊杰先生, 现任戴尔EMC大中华区企业级产品市场总监,负责服务器及相关解决方案的产品市场工作。出生于计算机家庭,从小受到计算机知识熏陶,加上在IT行业超过23年的经验中,曾经服务于奇虎360、浪潮集团、惠普等各大企业,在大客户销售,业务拓展,渠道管理,产品管理,市场营销,都有着丰富的经验。
传统的存储设备已经在行业里叱咤风云了近20年,回想起来,特别有意思的事实是:存储一开始也不是我们现在看到的传统存储设备的形态,从一开始居然也是“软件定义”的。一台服务器带着比较大的硬盘容量,通过一些标准的操作系统及功能软件的管理,就是存储设备了。通过提升客户的数据处理和保存能力,支撑着客户的数据库,邮件,文件,客户文档等业务的快速发展。随着网络技术的发展,专有形态的存储不断涌现。
而过去的10年的数据增长主要在于结构化的数据。 从2000年互联网泡沫破裂,到随着web2.0的出现再现辉煌,数据的增长也呈指数级的增长,各大公司分别作出至2020年的全球ZB级数据总和的预测,而增长的主要动力来源于非结构化化或者半结构化数据。
大部分传统存储主要为关键业务数据而设计,它的扩展性有局限,协议支持固有,数据存储类型单一,不够灵活,新技术的适配性较差,追随也较慢。面对新兴的应用场景,特别是当云,大数据等技术被用户广泛使用,传统的存储技术已经不太适合新兴的应用场景,这些场景典型的需求(相反就是痛点)包括:灵活扩展,跟新兴应用结合紧密,较低的成本,部署和管理简便,学习成本低,支持应用和存储融合,不受限于专有硬件,从闭源到开源软件的选择相对灵活,多协议支持适用多用途等特征。从2010年在行业内启动,经过6-7年的验证期,在2017年,软件定义存储的引爆点到来。
软件定义的技术正被各行各业所看好,我们看到从传统行业中的金融,证券,电信,政府,医疗,教育,制造,物流等领域,原来越多的软件定义招标正在发生中。蓬勃发展的互联网行业早几年前,就已经开始了基于自行研发的软件定义技术的实践应用。我们认为从宏观上来看,云原生的应用,大数据的应用是软件定义存储的主战场。从具体应用角度,超融合,非结构化数据的存放及归档,多数据存储类型应用将是软件定义存储的典型应用场景。
目前在中国,客户的广泛认可度依然是一个主要挑战,特别是传统行业。软件定义存储还需要再经历几年的磨炼,形成各行各业的最佳实践,用事实说话,让用户信服。
部署和管理成本低,学习成本也低;多协议,多数据存储类型,支持超融合等多用途;扩展灵活,不受限于专有硬件设备;软件选择宽泛;基于对象的存储方面技术领先;技术迭代快,能第一时间利用到如非易失性内存,NVMe, RDMA等最新硬件技术。
很多软件定义存储技术使用多副本,纠删码等技术来满足应用对数据高可用需求。
方式不同,目的也不同。
SDS理论上可以运行在任何开放的工业标准服务器上,来提供一致性数据服务。即便是借助虚拟化软件,也是行业通用的Hypervisor。目的是把存储软件和硬件解耦合。具体好处如上所述。
而存储虚拟化技术一般来讲,是指通过定制的软件,运行在经过适配的专用存储硬件之上,通过网络,将原来多个不同的存储设备进行统一的一致性数据访问的池化技术。
软件定义的归根诉求我认为来自企业自身的业务发展。有的企业为了业务效益最大化,有的为了生存,有的为了业务转型,他们加速数字化转型需求日益明显,而传统存储,传统网络等技术迭代较慢,基本以年为周期单位,甚至更长。这个大大落后于企业由于新业务的爆发或者老业务的技术改造而产生的对新技术能力的渴求。而软件定义的技术,将成倍缩短技术迭代周期。
打个比方,这个跟智能手机的迅速成为主流,而传统功能固化的手机迅速被淘汰的过程是相同的。因为智能手机硬件本身只是载体,而运行在上面的以月,以周为周期,不断迭代的APP所产生的能力才是用户所真正享受到的利益。同时软件定义技术能帮助企业在特定的业务上摆脱对专有设备的依赖和束缚。我们相信未来的数据中心将会越来越多的使用软件定义的技术,来成就企业的生存,发展和转型。
DELL和EMC合并之后,整体软件定义存储产品形成了全面体系化的产品组合。
包括先前有的vSAN, XC系列,又增加了专门针对对象存储的Elastic Cloud System,专门针对块存储的Scale IO,专门针对数据保护的Data Domain Virtual Edition等。这些软件都可以运行在戴尔EMC的x86服务器之上,组成软件定义的存储,针对特定的客户应用场景,提供给客户多一种选择。
戴尔EMC一如既往地积极推动软件定义存储的发展,我们认为在将来的数据中心里,服务器将成为基石。在服务器的设计上,第一时间引入业内标准的,先进的,可靠的,高性价比的组件,赋能软件定义存储技术。
增加业务的弹性,灵活性,提升业务效率;降低管理成本;降低企业业务数据风险;减轻IT选择风险。全面支持企业数字化转型。
基于软件定义存储的数据加速解决方案
未来统一的IT基础架构均是由软件定义的网络、存储、计算三大IT基础资源所构成的,并辅以自动化的运维。而在IT系统建设中,所有的核心都将围绕数据库展开。
zData light storage是云和恩墨开发的一种针对数据库领域的软件定义存储软件。最初只针对Oracle数据库,也即将支持MySQL等开源数据库。
其基本架构如下:
zData存储平台软件整合PC服务器,InfiniBand网络,传统的机械硬盘/SSD和闪存卡等开放平台硬件。为数据库提供分布的存储池。以满足高性能、高可用、易扩展等需求。
其分布式存储架构如下:
具有以下的特点和功能:
高性能:超百万IOPS,能很好地应对数据库场景下极端的性能需求;
安全性:2-3副本存储,应对去也最核心业务数据完整性和一致性的要求
扩展性:在线增加存储能力和计算能力,以满足业务交易量越来越大的需求。
推荐阅读(或了解产品详情,请加产品小助手微信:sunx5126):
加速Oracle RAC性能 软件定义存储的数据库云化实践
分布式存储解决方案zData
zData方案在多个企业和单位有过最佳实践,以其高计算能力、高 I/O 能力、高可用能力、高可伸缩能力且极具稳健性的分布式存储架构,是具有高并发高IO需求的系统的最佳选择。在过去的实践中也得到证实和认可。
贵州交警某业务系统随着系统应用的深入和广泛,原有基础架构、数据架构规划和设计上的问题逐渐凸现出来,主要表现为业务数据爆炸增长、业务应用增多、系统响应缓慢、物理扩容达到瓶颈、设备达到服务年限。在经过zData一体机整合之后,整体用户体验得到了大幅改善,业务受理和办理效率均得到了用户赞誉。
性能提升效果:
1、整体性能提升18倍:重构前核心指标DBTIME每日最高单小时为3563.15,重构后每日最高单个小时指标为199.68,性能效果提升17.8倍。
2、I/O响应提升1000倍:重构前平均单次I/O请求时间为10.07毫秒,重构后平均I/O的请求时间缩短为0.01毫秒,I/O效率提升1007倍。
3、SQL性能提升117倍:考察违法审批报表SQL执行效率,重构前SQL执行需10206.1秒,重构后SQL执行完成只需87.07秒,执行效率提升117倍。
跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业,以及每一个向未来而努力的人,听见时代最前沿的声音,见证成长!