Xinference

Xinference 是一个功能强大且功能全面的分布式推理框架，旨在简化大语言模型（LLM）、语音识别、多模态模型等多种AI模型的推理任务。