PowerInfer - PowerInfer 是一个利用激活局部性的 CPU/GPU LLM 推理引擎

github.com

新手上路 3小时前

主楼

[资源名称]

PowerInfer - PowerInfer 是一个利用激活局部性的 CPU/GPU LLM 推理引擎

[资源来源]

github.com

[资源介绍]

* PowerInfer - PowerInfer 是一个利用激活局部性的 CPU/GPU LLM 推理引擎。

[资源合集]

精选优秀开源库列表，可用于部署、监控、版本控制和扩展机器学习系统

回复点赞举报