推理加速新选择!Xinference 1.16.0 支持瀚博 GPU 与持续批处理 XorbitsInference(Xinference)是一款高性能、全功能的分布式推理平台,广泛适配大语言模型(LLM)、语音识别模型、多模态模型等多种AI模型。借助Xinference,用户可快速... 奈飞网 2025-12-31 10 #批处理 #推理