ollama问题
ollama使用遇到的问题
- 默认开启思考模式，但是实际使用需要关闭思考模式，建议走api形式最容易关
- ollama使用qwen3.5:2b速度和质量未达到预期，只有70 token/s并且回答同样的问题，答案会有幻觉和残缺，正确率低
经过排查，默认搜索栏设置通用模型名称下载，比如qwen3.5:2b，可能下载的是bf16或者q8，而不是q4，所以体积会大，速度会相对慢，质量看情况待定
所以真正要下载的本地大模型，要明确q4的指定模型名称，不要使用默认名称
比如下图
第一个红框是本文需要的，模型只有1.9GB，但是可能会被下载为其他模型量化
一般ollama默认是q4量化或者自动匹配合适的，但是仍然建议明确指定模型名称和量化型号，方便使用的使用，了解究竟是q4还是其他
| 优先级 | 标签 | 原因 |
|---|---|---|
| 首选速度 | qwen3.5:2b-q4_K_M（1.9GB） | 最小实用档，最容易冲 100 tok/s |
| 要更稳/少糊 | qwen3.5:2b-q8_0（2.7GB） | 更准但更慢（~70） |
| 可试（看引擎是否吃） | 2b-mtp-q4_K_M | 带 MTP 投机解码，可能更快，也可能没增益 |
| 别装 | 所有 mlx / mxfp8 / nvfp4 | 给 Apple MLX 用，基本用不上 |
| 别装 | bf16 | 4.6GB，慢、占显存，2B 上性价比差 |
Gemma4模型
ollama关于Gmema4址：gemma4
cursor推荐gemma4:e2b-it-qat，所以直接在ollama搜索gemma4:e2b-it-qat下载，或者点击网页参考命令行下载：gemma4:e2b-it-qat
下载gemma4:e2b-it-qat
不明白为什么每次下载分为两次，可能是什么前置依赖
等待下载完成后，再测试速度和质量
gemma4:e2b-it-qat 支持思考模式，一般用 <|think|> 打开；不加就按普通生成跑，更适合冲速度
所以qwen通常默认开启思考模式，gemma反而默认关闭思考模式
网上大致的token速度实测
| 硬件 | gemma4:e2b-it-qat 大约 |
|---|---|
| 高端卡（如 7900 XTX / 4070 级） | 约 150～155 |
| RTX 3050 8GB | 约 108（无 drafter） |
| GTX 1650 Ti 4GB | 约 76 |
Tips
目前主流的模型有很多，中文默认qwen系列好一点，英文默认gemma会好一些
所以目前选择两个本地大模型都是2b左右，实际体积显存占用4GB左右，本文剩余2GB可以上下文缓存
因为是旧显卡架构，没有cuda等加速环境，所以最大速度也就70 token/s左右，很难突破想要的100 token/s以上
不过如果后期api用于自动化任务处理，只要质量可以，速度能有30 token/s以上，问题就不大，再慢就不能接受了
目前gemma推理，数学之类的可能更胜一筹