IT之家 12 月 9 日消息，当地时间 12 月 8 日，英特尔宣布将 AutoRound 算法集成到 LLM Compressor，以提升低比特量化大模型的性能与效率。 该算法可在保持模型准确度的前提下，实现更快、更轻量的推理，同时兼容包括英特尔自家 GPU 与英伟达 CUDA 在内的多硬件平台。
NVIDIA Boosts LLM Inference Performance With New TensorRT-LLM Software Library Your email has been sent As companies like d-Matrix squeeze into the lucrative artificial intelligence market with ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果