【蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核】金色财经报道，10月21日，蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库。Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2MTg4ODc4Mg==&mid=2247496870&idx=1&sn=e9400bc9096eed02d2c75c920a3e870c&chksm=cf1c63fef17fbd892c3eaee99213eec18b4d7bb2662627464a75477eaefa0b9e338a1b5f524b&scene=0&xtrack=1#rd

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。