近日,在青岛举行的全国高性能计算学术年会(CCF HPC China 2023)上,华为联合超级计算创新联盟、西安交通大学、中国科学技术大学、兰州大学、山东大学、青岛国实科技集团、北京航空航天大学等多家高校及科研院所,共同发布了《数据密集型超算发展白皮书2023》,旨在为超算产业的蓬勃发展提供方向指引以及实践参考,全面加速科研创新。
自数据密集型超算这一概念提出两年以来,在超级计算创新联盟数据密集型工作组的共同努力下,数据密集型超算无论是在产业共识还是在商业实践上都取得了显著的突破。同时,在AIGC新应用爆发以及东数西算等战略工程的背景下,数据密集型超算迎来了全新的产业发展机遇。
白皮书指出,当下数据密集型超算面临着新应用混合负载、AI异构加速、跨域全局管理、数据新安全、软硬系统节能以及全栈创新等六个方面的挑战。此外,白皮书还进一步分析了数据密集型超算产业的主要趋势:
- 超算正在加速与AI深度融合,驱动科学研究迈入科学智能时代。
业界很多示例表明,提升AI大模型的精度、数据规模以及数据质量比提升模型参数更具决定性的作用。AI时代角逐的主战场在于数据,这是使科研效率得以跃升的关键。
- 超算互联上升为国家级战略,数据互联与流动是底蕴和基础。
面向超算互联,统一的存力底座建设需先行。实现算力互联和流动的关键在于数据的互联与流动。通过引入GFS(全局文件系统)等创新技术,可以实现跨地域、跨系统的全局数据视图与数据流动,促进信息的数字化,释放数据的最大化价值。
- 超算中心走向大规模集群化,低碳绿色成为关键诉求。
超算中心集群规模越来越大,提高超算系统的能效比和降低碳排放已经成为超算行业的重要目标。全面加速存储闪存化、通过算力与存力协同创新提升整体资源利用率,是业界需要关注的两大方向。
为了更好地应对数据密集型超算的新需求,白皮书创新性地提出了新一代数据密集型超算的“5A”技术架构,即Any Application任意应用、Any Workload任意负载、Any Where任意地点、Any Condition任意环境,以及Any View任意视图。通过技术架构的创新,让数据基础设施更好地赋能超算新兴应用。
华为庞鑫表示,在AI大模型极速发展的时代背景下,此次携手众多高校与科研院所的白皮书联合发布,将对中国超算产业的发展提供重要的借鉴和指导意义。面向未来,数据密集型超算将以更加开放的姿态拥抱新兴应用带来的变化与挑战,持续增强产业各方协同,构建共生共赢的数据密集型产业生态,持续提升我国在世界超算领域的国家竞争力。
《数据密集型超算发展白皮书2023》