在全球范围内,许多大型模型制造商都在购买计算电源芯片并投资于建造大型数据中心。大型模型的竞争也是计算能力的竞争。在今年的两个会议上,如何解决大型模型的计算功率水平上计算功率短缺和异质计算分散的问题已成为一个热门话题。
中国人民政治咨询会议委员会成员,中国科学院计算机技术研究所的研究员张云宗(Zhang Yunquan)在过去一年中访问了许多计算机中心及相关公司。根据所学到的行业现象,他提出了一项建议,以“突破超级智能整合城市的'计算能力围攻'”,呼吁加速高端计算电源设施的构建,并提高计算能力使用的效率,以与“计算电源”的困境相处,从而通过人工智能开发了“计算电源”的困境。
张云旺(Zhang Yunquan)告诉第一名财务记者,在访问了多个计算能力中心之后,他最深切的是国内智能计算中心在计算能力,机架密度和国际领先水平方面的差距。例如,在中国公开报告的最大的单一智能计算中心仅为6.6 EFLOPS(BF16精度),这与国际领先水平不同两个数量级。许多智能计算中心的功率密度小于15kW,远低于高端AI的功率密度要求;可以支持大型模型培训的高端计算中心极为罕见,训练效率不超过30%。
随着开源大型模型的出现,大型模型已经越来越多地在各个行业中使用,这为计算电源基础设施的构建提供了新的需求。当前的计算电源市场具有供求的矛盾,即单个计算能力结构和高端计算电源之间的差异和国际限制的限制。大型模型的创新。”张云恩说。
张云旺向记者解释说,单个计算能力结构是指以下事实:许多智能计算中心设计只能支持低精确计算功率体系结构,并且只能支持只能支持特定生态系统的大规模模型培训方案。这种现象的原因包括核心芯片场中的许多国内AI芯片只能支持FP32精度计算至FP32。随着AI应用程序方案的增加和需求的增加,仅符合低位培训的智能计算中心不能支持未来“超级智能整合”趋势下的完整精确计算能力要求。同时,缺乏国内高性能可扩展的并行培训和推理编程框架和优化工具链也导致了国内大规模智能计算群体的一般计算效率。
“超智能集成”是指超级计算和智能计算功能的组合。目前,“超级智能整合”被认为可以满足各种行业的各种计算能力需求。张扬昆告诉记者,“超级智能整合”可以赋予高端智能计算中心的构建,以及数十年来国内超级计算机积累的有效培训和推理优化过程,例如体系结构,芯片,平行和通信算法,计算功率调度调度和负载平衡和载荷平衡,甚至是下降的优化。
Zhang民制建议建立一个国家级的大型计算能力群集,引入高级计算功率调度,分销,优化和管理技术,提高计算机利用率,并积极指导新一代超级智能集成集成的国家计算机基于全国计算机中心,基于全面计算机,大型计算机,大型计算机和高高的国内货币Chips。同时,我们将集中资源以支持领先的大型企业,并创建一个世界领先的开源,开放主权级的基本通用大型模型。
在这两个课程中,中国人民政治咨询会议委员会成员兼JD集团技术委员会主席Cao Peng关注中国分散的异质计算能力和低利用率,对于中小型企业来说,很难为大型型模型的智能计算成本提供大型计算机。关于上述问题,CAO Peng建议加强构建异质计算能力以降低智能计算的成本。例如,通过协调的存储和计算开发来巩固独立和可控的智能计算的基础,并降低企业智能计算的成本。此外,建议促进链领先的企业以向中小型企业开放智能计算配额,以实现通用的工业智能计算。
国民议会议员兼Iflytek董事长Liu Qingfeng担心计算电源平台的国内生产主题。 Liu Qingfeng认为,如果我们不能加快解决诸如弱生态学和在国内生产的独立和可控的人工智能行业适应困难之类的问题的解决方案,那么建立一个很大的模型就涉及“在其他人的基础上建造高层建筑”。他建议加快在国内计算功率平台上建造独立和可控的大型模型和工业生态。例如,鼓励基于独立和可控的国内计算功率平台的大型模型的研发和应用,鼓励中央国有企业优先考虑基于国内计算功率平台开发的全堆栈独立且可控的大型模型,并特别支持基于国内计算功率平台的生态系统的构建。
DeepSeek出现后,该行业最近还讨论了该大型模型是否仍然需要大量计算能力来支持它。关于新技术是否减少了大型模型的整体计算能力需求,张云旺告诉记者,“小型力量的奇迹”并不意味着缩放法的破产。将来,AI开发可能会呈现“双轨并行”模式。一方面,小型而精致的模型将蓬勃发展。另一方面,一般的基本模型将通过大型计算功率投资和扩展参数量表继续实现更强的性能。有必要在中国开发一般的基本主权模式。一般的基本模型将作为AI技术的基石,并为各行各业提供强大的基本智能。