27791四不像论坛

2023年8月23日-25日，全国高性能计算学术年会（CCF HPC China 2023）在青岛举办。 在本届大会上，华为自研企业级超大规模集群分布式管理软件-多瑙调度器凭借其高效调度能力、多样性算力支持和极简管理的先进性和创新性，荣获中国计算机学会高性能计算专业委员会颁发的技术创新奖。

高性能计算正在从高精尖科研创新领域走向千行百业。2022年，华为正式发布了鲲鹏高性能计算解决方案（鲲鹏HPC解决方案），该方案基于鲲鹏全栈（含硬件、基础软件、应用优化等），通过硬件开放和软件开源，打造高性能、高算力的整机产品和完整的高性能计算基础软件栈。多瑙套件（含多瑙管理平台和多瑙调度器）是鲲鹏HPC解决方案的核心软件，多瑙调度器支持百万核超大规模调度和异构多集群统一管理，大幅提升集群管理效率和多核作业调度能力。

调度器作为集群计算的大脑，主要负责为任务分配相应的系统资源。好的调度器可以充分发挥集群资源的有效算力，为用户带来极致的性价比；反之则会导致严重的资源浪费，甚至是集群瘫痪。

华为自研企业级超大规模集群分布式管理软件-多瑙调度器，支持融合应用跨多样性算力资源的统一调度和管理，实现大规模、高资源利用效率、高调度性能，为多样性计算集群提供应用和资源的最佳匹配。多瑙调度器基于前沿的架构设计理念进行设计开发，横向支持HPC、AI、大数据多场景统一调度；纵向支持应用、算力、存储、网络、能耗深度感知和多维度智能调度；跨数据中心支持数据中心间资源协同，全局调度，并具备以下三大先进性和创新性：

●高效调度：通过自研多线程事件引擎、IO技术优化，支持单集群1万节点/百万核资源调度，资源利用率90%+，吞吐量超过400万/小时；通过启动作业多级树状分发关键技术创新，支持40万RANK MPI作业调度启动。

●多样性支持：通过节点标签、资源模型抽象统一技术，支持鲲鹏/x86/GPU多样性算力混合部署；通过架构分层、接口适配，以不侵入修改三方集群方式支持异构多集群统一管理，实现资源统筹规划和高效利用。

●极简管理：集成应用、监控、报表、计费四大中心功能，通过Web界面可视化管理集群，管理效率提升30%；提供设计计算一体化集成能力，数据不出湖，端到端保障数据安全。

多瑙度器一经推出，受到了广大客户的青睐，目前已经在教育科研、制造、气象、生命科学、高能物理、材料化学等各个行业应用，帮助客户打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑，为高性能计算用户提供更容易落地的产品和解决方案，加速构建创新发展格局。