基于 llama.cpp 对模型进行量化。

官方不支持Ollama的临时处理措施。

好用的AI平台——Dify，部署教程。