信息网_资讯网

联系我们

信息网 > 山东信息 > 济南信息 > 正文

云天励飞:IPU-X6000加速卡已适配超过30个开源大模型,预期能使大模型推理成本大幅度下降

网络整理 2024-10-27 06:46

(原标题:云天励飞:IPU-X6000加速卡已适配超过30个开源大模型,预期能使大模型推理成本大幅度下降)

经济观察网讯 7月24日,云天励飞在上证e互动平台表示,公司2024年推出的IPU-X6000加速卡主要用于大模型云端推理,其内置高效大模型推理DeepEdge200芯片,具有256T大算力、486GB/s超高带宽、128GB大显存、c2c mesh互联,可应用于语言大模型、视觉大模型、多模态大模型等各类大模型推理加速领域。目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30+开源大模型,涵盖1.5B参数到70B参数量,预期能使大模型推理成本大幅度下降。(实习记者 李青阳 编辑 李仕静)

Tags:[db:TAG标签](789950)

转载请标注:信息网——云天励飞:IPU-X6000加速卡已适配超过30个开源大模型,预期能使大模型推理成本大幅度下降

免责声明:信息网转载此文目的在于传递更多信息,不代表本网的观点和立场。文章内容仅供参考,不构成投资建议。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

搜索
网站分类
标签列表