AI Infra

WeChat AI Sources (WeRSS Local) · 2026-05-29 · AI Infra

超越TurboQuant，面向长上下文推理的真2-bit KV Quantization算法问世

arXiv AI Infra · 2026-05-12 · AI Infra

这条论文在当前主题评分较高，值得快速判断：Ada-MK: Adaptive MegaKernel Optimization via Automated DAG-based Search for LLM Inference。

arXiv AI Infra · 2026-04-08 · AI Infra

这条论文在当前主题评分较高，值得快速判断：Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC。

arXiv AI Infra · 2025-11-17 · AI Infra

这条论文在当前主题评分较高，值得快速判断：Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI。

arXiv AI Infra · 2025-05-16 · AI Infra

这条论文在当前主题评分较高，值得快速判断：TokenWeave: Efficient Compute-Communication Overlap for Distributed LLM Inference。

arXiv AI Infra · 2025-01-02 · AI Infra

这条论文在当前主题评分较高，值得快速判断：FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving。

arXiv AI Infra · 2024-10-16 · AI Infra

这条论文在当前主题评分较高，值得快速判断：COMET: Towards Partical W4A4KV4 LLMs Serving。

arXiv AI Infra · 2024-08-08 · AI Infra

这条论文在当前主题评分较高，值得快速判断：SCOOT: SLO-Oriented Performance Tuning for LLM Inference Engines。

arXiv AI Infra · 2024-05-07 · AI Infra

这条论文在当前主题评分较高，值得快速判断：QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving。

arXiv AI Infra · 2023-12-12 · AI Infra

这条论文在当前主题评分较高，值得快速判断：SGLang: Efficient Execution of Structured Language Model Programs。