xLLM

xLLM 是京东开源的高效智能推理框架，专为国产芯片优化，支持端云一体部署。框架用服务-引擎分离架构，服务层负责请求调度与容错，引擎层专注运算优化，具备多流并行、图融合、动态负载均衡等特性。xLLM 支持大模型、多模态模型及生成式推荐等多种场景，提供高性能、低成本的推理服务，助力智能客服、实时推荐、内容生成等业务高效落地，推动大语言模型在国产芯片上的规模化应用。