Skip to content

标签:deploy

centos 7 部署llama.cpp

背景 最近生成式AI,chatgpt 已经火到不能在火,但是在国内存在网络问题以及费用(如何缴费)等等问题,一直断断续续的在使用,最近发现llma.cpp项目很火,能在普通的设备上运行。虽然效率不太高,但是能满足基本要求。 搭建 服务器我使用的centos 7,内存划分48G,CPU分配了24核。 …

Leave a Comment