飞象网讯 2020年头中国联通发布公告，根据华为Kunpeng大数据存算别离计划，中国联通集团联合华为技术有限公司共同完成了大数据核算存储别离架构的规划化技术立异。中国联通将上线超越100台Kunpeng大数据存储节点，核算存储别离架构渐渐的变成了运营商大数据渠道立异的利器。该计划将为运营商大数据立异带来巨大价值：
运营商大数据渠道降本增效需求凸显
作为数字化转型的先行者，运营商运用大数据渠道进行运营剖析、网络优化、流量清单、日志留存等事务。这些大数据渠道在运营商事务中发挥着至关重要的效果，但巨大的数据量也给用户带来了新的应战。为应对应战，运营商在大数据渠道的建造和扩容方面每年都坚持着规划投入，随之而来的降本与增效对立越发杰出：
● 传统大数据渠道核算存储等比例扩容，无法精准出资
当时运营商大数据渠道根据传统存算一体架构独立建造。但不同事务对大数据渠道核算和存储的资源要求差异较大，如网优类事务是核算密集型的事务，CPU运用率长时刻维持在90%以上，存储水位线往往低于20%；而日志留存和流量清单则是存储密集型的事务，以点查为主，CPU均匀运用率缺乏30%，存储水位线却现已在70%以上，常常需求被迫删去数据开释存储空间。传统的核算存储等比例扩容，会形成核算或存储资源的糟蹋。
● 传统大数据渠道多副本机制，占用许多机房空间
传统大数据渠道运用多副本方法来进行数据维护，常见的存储运用率仅为33%（2副本为50%）。运营商的日志留存事务，每千万用户就会发生约6PB的数据。跟着5G、IoT等事务鼓起，当时正以每年约40%的速度在快速增长。10PB的数据量，以多副本方法存储，就需求数百台服务器，占用许多的机房空间，一起带来供电、制冷等一系列的维护本钱添加。
● 传统大数据渠道核算存储紧耦合，资源调度不灵敏
运营商大数据现已运用到各个事务体系，形成了许多独立的大数据集群。根据大数据海量的数据存储和核算需求，传统做法是独立建造大数据集群，防止和实时事务抢占核算资源。但大数据集群事务峰值和实时事务有显着差异，比方运营剖析体系，事务高峰期是在22:00-06:00，而计费等实时事务体系事务高峰期是在06:00-22:00。因为核算和存储交融，传统大数据渠道无法在不同事务体系间灵敏调度核算资源，糟蹋名贵的算力。一起，假如呈现紧迫需求，传统大数据体系的改造时刻往往需求按周计，严重影响事务上线时刻。
在运营商提速降费的大布景下，这样一些问题变得尤为杰出，降本增效，让每一分钱用在 “刀刃”上，日益成为运营商客户的中心诉求。
华为Kunpeng大数据存算别离计划成为降本增效的良药
面对这些应战，三大运营商不谋而合的挑选了大数据存算别离计划，并携手华为，挑选华为OceanStor大数据存算别离计划作为处理之道：
● 弹性EC，存储运用率大幅提高
华为大数据存储运用弹性EC代替传统HDFS的多副本，存储运用率提高了1.75倍，一起确保功能、可靠性和多副本适当，并可以大幅下降日志留存、流量清单这类存储密集型事务的机房空间占用，节省许多的供电、制冷费用，本钱节省效果显著。
● 依托华为Kunpeng多核算力，大幅提高数据存储功能
华为大数据存储选用Kunpeng多核架构的处理器，根据多核架构做深度优化，如EC、紧缩等算法卸载到Kunpeng芯片上履行，确保事务功能安稳；根据多核架构，优化进程并发度，充沛的发挥多核的功能，也是华为大数据存储选用EC功能、坚持可靠性的中心地点。
● 核算、存储资源池化，灵敏按需调度
选用华为大数据存算别离计划，核算集群和存储集群可以别离云化，完成资源的按需调度。既处理了不同大数据集群间核算、存储资源运用率不均的问题，又使得大数据核算节点可以和用户的其他核算节点可以按事务峰谷灵敏分配，一箭双雕。
● 全分布式架构，单NameSpace支撑百亿文件
传统大数据渠道的主备NameNode架构，长时刻存在当单个NameSpace文件数超越1.5亿后，功能大幅衰减的问题，甚至会导致NameNode溃散。此刻，客户就需求拆分事务到多个NameSpace或手动删去事务，约束了大数据集群的扩展。华为大数据存储选用全分布式的NameNode架构，每个物理节点既是存储节点，也是元数据管理节点，功能跟着节点数添加线性扩展，单个NameSpace可支撑百亿文件，协助大数据渠道从容应对5G年代海量数据存储需求。
● 原生HDFS，新老共存，维护出资
华为的存算别离计划可供给原生HDFS接口，用户运用不需求任何修正就可以直接运用；还针对不同大数据组件的要求，该计划供给了多种扩容计划，完成本地HDFS新老共存，维护用户出资的一起，下降了数据搬迁的难度，消除用户的后顾之虑。
5G和AI的年代现已到来，大数据在千行百业中正发挥着越来越重要的效果。根据已有的Kunpeng大数据存算别离立异效果，华为将在Kunpeng生态范畴，与中国联通继续深化协作，完成更多技术立异和要害运用效果落地，支撑客户发明更多价值。
编 辑：孙秀杰