大语言模型应用AI算力芯片 技术调研交流公告

******信用社联合社（以下简称“省联社”）AI算力集群建设需要，实现大模型训练与推理任务的高效资源调度、算力集群的动态扩容与负载均衡、硬件性能与算法需求的精准匹配，形成覆盖短期需求响应与长期能力演进的算力规划能力，保障大模型应用在全生命周期内的稳定性能输出与成本可控性。为确保项目顺利进行，省联社组织开展技术调研交流工作，请满足以下要求的企业积极报名。

一、企业资质要求

（一）须在中华人民共和国境内（不含港、澳、台地区）注册，具有独立法人资格。具有良好的商业信誉和健全的财务会计制度。【提供加盖公章的营业执照复印件】

（二）报名企业须为国产AI算力芯片原厂商。【提供承诺函并加盖公章】

******银行资信和商业信誉，近五年之内没有处于被责令停业或破产状况，且资产未被重组、接管和冻结。未被“信用中国（网站******）”列入失信被执行人名单、企业经营异常名录、重大税收违法案件当事人名单。未被“国家企业信用信息公示系统（网站******）”列入严重违法失信企业名单。【提供承诺函或带有结果的网站截图并加盖公章】

（四）报名企业须具有近三年（2022年1月1日至今）在国内金融机构的32块及以上AI算力芯片销售案例。【提供案例合同复印件并加盖公章】

二、报名企业需准备材料：

（一）企业资质要求中需要提交的证明材料；

（二）法人授权委托书（格式见附件1）；

（三）供应商信息登记表（格式见附件2）。

注：以上材料需加盖公章装订成册邮寄或送至南京市建邺区江东中路395号信息科技部门技术联系人于光岳；同时将材料word版电子档(无须盖章）******@jsnx.net。（邮件标题及附件命名格式为：供应商全称+项目名称）。

三、交流内容：

（一）硬件兼容性测试

测试服务器硬件环境对主流大语言模型部署的适配能力，以及服务器所支持的精度范围，确保主流模型可稳定运行并合理分配资源。

需测试DeepSeek-R1-671B、DeepSeek-R1-distill-Qwen-32B、QwQ-32B、Qwen2.5-72B-Instruct、Qwen2.5-VL-72B-Instruct、MinerU共6个模型的部署可行性以及部署完成后空载状态下的资源使用情况。

（二）硬件性能测试

模型部署完成后需进行性能测试，量化服务器在不同负载场景下的性能表现，用以评估算力效率与资源消耗平衡性。

需测试DeepSeek-R1-671B、DeepSeek-R1-distill-Qwen-32B、QwQ-32B、Qwen2.5-72B-Instruct、Qwen2.5-VL-72B-Instruct共5个模型在8/16/32/64/128/256/512/1024并发，限制输入128/512/1024/2048/4096 tokens，输出限制512/1024/2048 tokens情况下的吞吐效率、首Token时延、Token间时延、显存占用以及功率。

（三）671b-DeepSeek模型效果测试

验证厂商硬件环境下671b-DeepSeek模型的逻辑推理与内容生成准确性。

厂商需在自有硬件上部署自行部署671B DeepSeek模型，禁用任何训练微调，保留原始参数。采用mmlu、C-Eval、iquiz数据集进行测试。

（四）测试方式

本次测试采取供应商远程服务器测试方式，供应商需提供远程服务器归属证明，可以通过视频拍摄方式或出具盖章纸质证明等方式，证明服务器归属供应商。

四、交流方式：

交流企业应提供满足技术和业务要求的完整解决方案，并进行交流演示。交流企业需在4月21日前自行准备演示环境，根据抽签情况安排产品实际应用演示。交流企业应派有经验的技术专家、业务专家、项目经理等人员进行交流。

报名时间：从本公告发布之日起至2025年4月9日，工作时间为09:00-17:00（公休日除外）。

在本时间段内符合条件的企业均可报名，我单位将视情况确定是否安排时间进行交流、演示。

五、其他：

（一）本次仅限调研交流，不作为后续招采依据。后续是否采购和采购方式将视调研交流情况而定；

（二）参与交流企业须严格遵守相关保密义务；

（三）参与交流企业应保证提供的资料、案例真实无误，且保证在整个交流过程中不存在欺诈行为，否则自行承担相应责任。

技术联系人：于老师       电话：******

附件：1.法人授权委托书

    2.供应商信息登记表