头条焦点:亚马逊云科技:智能分层、专门构建多样存储、统一数据保护解决存储难点

时间:2022-08-05 19:45:25       来源:199IT

大数据时代,云计算业务的基础存储面临越来越多的挑战。一方面数据量成几何级倍增,另一方面,企业面临成本、敏捷性、数据多样性、安全与合规等难点问题。

不久前,亚马逊云科技专门针对存储召开了一次行业沟通会,亚马逊云科技大中华区产品部总经理陈晓建表示,亚马逊云科技已经形成了完整而强大的存储服务阵容,亚马逊云科技存储服务全面覆盖对象存储、块存储、文件存储、备份、容灾、以及数据传输与边缘处理。


(资料图)

(图:亚马逊云科技大中华区产品部总经理陈晓建)

据悉,亚马逊云科技仅在2021年就发布了130多项存储新服务和功能特性,通过不断的创新应对数据爆涨带来的三大挑战:

通过智能分层解决成本与敏捷性的矛盾针对不同企业的应用场景,开发专门的云存储服务满足不同应用的数据存储需求通过一站式备份软件解决云端数据备份要求

智能分层极大降低成本

陈晓建将数据类型分为热、温、冷、冻四个层次。热数据如交易系统里的交易数据,toC系统里面的用户日志,这些数据需要被频繁访问;温数据像一些企业的业务数据,包括网站的数据,这些数据有可能需要按周、月的频率访问,不像热数据一样访问得这么频繁;冷数据像手机相册数据,企业的其他数据,这些数据平时的访问频率可能是几个月,甚至一两年才会访问一次,作为归档数据,一旦存储之后它的访问频率并不是很高;冻数据一旦写入之后访问频率非常低,但是由于合法合规的要求,这些数据必须要能够进行持久化的存储,比如说医疗影像的数据,国家规定这些数据必须存放30年,任何时候要用都可以及时拿出来。从业务特点来讲,这些数据本身对于存储读写性要求并不很高,但是要求数据的持久性,而且数据的量非常大,所以用户对于数据整个存储成本有着非常高的要求。

亚马逊云科技8级存储层级满足热、温、冷、冻等不同的访问层级,应对企业业务不同的数据访问频次,兼顾性能和数据保存成本。

非常直观的例子,一份数据在2006年的时候如果需要100块钱存储,到今天只需要花15块钱,16年间,整个存储成本降低了大约7倍。

2021年12月份的时候,亚马逊云科技宣布将全球九大可用区域的两个主要产品价格降低了31%,一个是Amazon S3 Standard In Frequent Access,一个是Amazon S3 One Zone In Frequent Access,降低用户存储成本是亚马逊云科技非常重视的工作。

亚马逊云科技2018年就推出了Amazon S3智能分层功能,面向未知访问模式的海量数据。Amazon S3可以自动在不同层级的存储之间移动数据,实现至多68%的成本节省。Amazon S3智能分层已经涵盖了Amazon S3家族的几乎所有存储类别,实现数据全生命周期的智能化存储与使用。客户可以将Amazon S3智能分层作为默认的存储层级,用以构建包括数据湖、机器学习等各种云端应用。

在Amazon S3之后亚马逊云快捷把智能分层功能拓展到了共享文件存储Amazon EFS,引用两个维度,第一个是单可用区和多可用区的维度,第二个是热数据和温数据的差别维度,从这两个维度亚马逊云科技将EFS分为四种层级,用户不需要关心数据放在这四种里的哪一种,只需把工作交给EFS智能分层。

更直观的例子是,文件系统符合二八原则,20%的数据属于频繁访问的数据,80%的数据属于非频繁访问的数据。如果按照智能分层把两类数据智能分开,按照非频繁访问层成本是频繁访问层的1/10计算,亚马逊云科技Amazon EFS智能分层可以为用户节省最多72%的成本。

专门构建不同的云存储服务满足需求多样性

如何满足客户不同的业务的需求,亚马逊的的对策是专门构建不同的云存储服务。

陈晓建将产品大量数据的应用分为两类,第一类称之为云原生的现代化应用,第二类是传统的云端企业应用。针对云原生的现代化应用,亚马逊云科技Amazon EFS和Amazon S3能够很好的解决云原生业务的需求。

企业应用诞生在公有云之前,存在大量的各种各样的企业应用。主要包括四类:

第一类是Windows为主的应用,底层服务要完全满足Windows的环境,包括ACL文件访问控制权限,包括Active Directory兼容。第二是高性能计算,不可能通过单个节点完成,一定是多节点协同的,数据是共享的。真正在跑的高性能集群往往是几百个节点甚至几千个节点共享一份数据,首先第一个需要共享的存储,第二个由于这份数据要被几百个、几千个节点同时访问,所以对整个存储的性能和吞吐率也提出了非常高的要求。第三是基于各类多种多样的企业应用,这些应用要上云必须完美的兼容和支持好之前提供的功能。第四是大数据的环境,往往需要一些特殊的支持,包括像ZFS,需要具备高吞吐、低延时的技术。

亚马逊云科技专门构建了一个场景化应用FSx家族,X意味着多种文件存储类型,专门为企业不同业务需求构建。

FSx家族历史数年进行了迭代升级。

2018年11月推出Amazon FSx for Windows File Server完美支持 Windows Server工作负载。2021年11月发布全新一代Amazon FSx for Lustre面向HPC计算密集型工作负载,帮助客户快速完成高性能计算,如基因测序,新药研发,自动驾驶模拟仿真,半导体设计等任务。2021年11月发布Amazon FSx for OpenZFS面向大数据分析Linux工作负载。针对那些以往把数据放在ZFS或者其它Linux文件服务器、而不希望改变架构的云迁移客户。通过它,可以让ZFS或其他基于Linux的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式,提供高达1百万IOPS ,而延迟仅有几百微秒,非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。2021年9月发布Amazon FSx for NetApp ONTAP方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的NetApp ONTAP文件存储服务,无需修改其应用、工具、流程或工作流,即可将其在NAS设备上运行的应用迁移至亚马逊云科技。Amazon FSx for NetApp ONTAP让客户可使用其已经熟悉的NAS工作流来部署、管理应用和数据,同时尽享亚马逊云科技带来的敏捷性、可扩展性和安全性,以及与亚马逊云科技其它服务之间的无缝集成。

一站式备份服务解决云端数据备份需求

在统一数据保护上,数据备份存在很多问题,首先很多系统都是使用起来非常复杂第二,怎么保证安全合法合规的要求,第三,由于做备份一定会带来额外的成本,如何解决?亚马逊云科技的解决之道是Amazon Backup,这是一个云上的一站式备份服务。

Amazon Backup 一站式备份服务支持15种以上的数据源备份,包括全部的存储服务(块、文件、对象),以及各类数据库,计算和存储网关。可以一站式保护Amazon S3、Amazon EBS、Amazon EFS、Amazon FSx、Amazon Storage Gateway、Amazon DocumentDB、Amazon RDS、Amazon Neptune、Amazon Aurora、Amazon DynamoDB、Amazon EC2、VMware Cloud on Amazon的数据,有效解决三大挑战:

提供图形化管理控制台,提供基于策略的备份解决方案,简化备份管理;通过集中式的备份监控和日志,以及数据安全和权限管理服务,确保备份数据的安全合规;通过数据冷热分层来降低成本。

同时,在安全性上,为关键数据提供可靠保护:

所有的备份数据都支持KMS加密;备份恢复操作权限和数据访问权限都可以通过IAM细颗粒度授权。利用Amazon Backup的集中数据备份,以及备份库锁定功能,可以有效的防止勒索病毒的攻击,生产数据备份到备份库,设置备份库锁定功能,病毒或者恶意操作都无法改变或者删除备份库中的数据。备份库支持冷热分层。近期的备份数据存储在热备份库里,一周或者一个月后的数据可以基于策略自动迁移到冷备份库,按冷备份库的价格为热备份库的20%。

从2006年开始到现在,亚马逊云科技存储服务已经成为IT行业的“水”和“电”,让各行各业的业务都能从存储服务中获得价值。陈晓建表示,“我相信还有很多新的功能等着我们开发,为用户进行赋能,我们希望能够在以后为用户带来更多的价值。”

关键词: 文件存储 数据备份 工作负载