率先实现批流一体,网易易数入选浙江省软件产业高质量发展重点项目

发布时间:2022年05月19日
       近日, 浙江省经济和信息化厅公布了2020年浙江省软件产业高质量发展重点项目名单。
       经过企业自主申报、本地推荐、专家评审等多个环节 , 凭借在技术创新和先进性等方面的突出表现, 网易数帆旗下网易数据批流综合实时数据中心(以下简称亦数数据中心)成功入选。 亦数数据中心是网易杭州研究院基于十余年实践经验开发的新一代大数据一站式应用开发和管理平台。 传统大数据计算中的对象主要有两种。
        批量计算操作的对象是离线表, 流计算操作的对象是动态数据流。 两种计算的处理逐渐形成了两种不同的体系, 不仅浪费了更多的存储空间, 也使大数据的开发成本增加了一倍。
        亦数数据中心首次统一了批计算和流计算的编程模型, 提高了大数据应用开发的简单性,

大大降低了开发成本和运营成本。 同时, 数据中心基于批量流异构数据的统一管理, 开发了大规模作业调度保障技术, 能够有效兼顾数据预测和基线运维能力,

保障大 - 规模复杂的任务。 目前, 仪数数据中心已形成完整的大数据解决方案,

包括数据传输、离线开发、自助分析、任务运维中心、实时开发、数据质量中心、指标体系、数据资产中心、模型设计 中心、数据地图、数据服务、流程协同与通知中心、问答中心等多个功能模块, 可集中管理异构大数据源, 提供实时计算分析能力。 为具有大数据积累的大中型企业提供数据集成、存储、计算、分析和挖掘能力。
        仪数数据中心支持1000多个计算节点, 单日数据处理能力达到PB级; 实时计算能力支持每天计算100亿条数据的能力, 每秒可处理超过15万条日志数据; 批量流 统一存储和管理, 减少 50% 的数据存储空间, 提供分钟级数据延迟; 90%的作业预测误差在10分钟内, 作业按期完成率95%以上。 在网易云音乐的实际应用中, 代码量减少35%, 物理节点节省30%, 开发人员减少1/2。 在应用方面, 网易易书与国内鲲鹏生态紧密结合。
        完成大数据兼容性测试, 成为华为ISV合作伙伴, 获得华为鲲鹏认证。 EasyData数据中心在智能制造、零售、金融、能源、医药、互联网等行业得到广泛应用, 有效助力传统企业数字化转型升级, 推动大数据产业发展。