12月2日，据沐曦股份（688802.SH）官方消息，近期，上海AI实验室 DeepLink 团队推出的 DLInfer 通过支持 LMDeploy 主流模型推理，助力沐曦股份曦云 C500落地 MinerU 多模态数据生成场景，Graph 模式下实现性能加速60%。
据介绍，DLInfer 是一套专为国产硬件适配大模型推理框架的中间件解决方案，其核心功能在于通过标准化的融合算子接口，打通上层大模型推理框架与底层硬件厂商的异构计算能力。目前，DLInfer 已实现软硬适配工程中的有效解耦，支持包括 InternLM 系列、InternVL 系列、Qwen 系列、DeepSeek 系列在内的多款主流模型在多元硬件上的推理适配，支撑包括沐曦股份曦云 C500 在内的超 5 款主流硬件接入。
启运配资提示：文章来自网络，不代表本站观点。
沪深京指数
热点资讯
