您现在的位置是：首页 > 科技行业网站首页科技行业

字节跳动推出AIBrix：全新开源推理系统专为大语言模型设计

2025年2月，字节跳动正式推出了AIBrix，这是一款专为大规模语言模型（LLM）推理设计的全新开源推理系统。AIBrix作为一个云原生控制平面，直击vLLM（向量大规模语言模型）生产化部署中的路由、弹性伸缩与容错难题，致力于提供一个可扩展且经济高效的解决方案。

AIBrix项目始于2024年初，目前已成功部署并支持字节跳动内部的多个业务用例，展示了其在大规模部署中的可扩展性和高效性。作为首个深度集成vLLM的Kubernetes全栈方案，AIBrix以“系统与推理引擎协同设计”为核心，提供高密度LoRA（低秩适应）管理、分布式KV缓存、混合GPU调度等前沿能力。这些功能不仅实现了90%的资源利用率提升和30%的推理成本下降，还确保了系统的高性能和稳定性。

在功能方面，AIBrix聚焦于几个核心特点。它提供了LLM网关和路由功能，能够高效管理和分配多个模型和副本的流量，确保请求能够迅速而准确地到达目标模型。此外，针对LLM应用的自动扩展器也能够根据实时需求动态调整推理资源，提高系统的灵活性和响应速度。同时，AIBrix还支持统一AI运行时、分布式推理、经济高效的异构服务以及GPU硬件故障检测等功能，进一步提升了系统的可用性和可靠性。

字节跳动的AIBrix团队表示，他们计划通过持续演进和优化，为构建可扩展的推理基础设施奠定坚实基础。这一开源项目的推出，标志着字节跳动在AI领域迈出了重要一步，有望引领下一代AI基础设施的革新。