open webui
接上一篇文章，使用ollama客户端遇到无法关闭qwen3.5:2b的思考模式，这不是我想要的结果
发送指令没用/set nothink，使用终端开启本地大模型ollama有用，但是本文不使用终端
所以先测试open webui试试，打开win docker desktop发现，之前就安装了open webui，大概两周前，那么只需要复用就行
连接ollama
本文让cursor设置open webui连接ollama api
使用对话测试，hello，发现还是进入了思考模式，而且相比ollama客户端，open webui没有显示思考模式的内容，也没有loading，页面看起来没有动静，但是实际上gpu正在工作，等待有结果才突然输出结果，这种体验很不好
所以需要思考模式的，用ollama客户端
我按ai说的
某个模型默认就关（推荐）
Workspace → Models（工作区 → 模型）
或 Admin → Settings → Models
编辑例如 qwen3.5:2b
Advanced Parameters 里把 think (Ollama) 设为 Off
保存
之后选这个模型就会默认不思考
但是实际上还是会思考
最后本文直接让corsor修改数据库，设置全局默认关闭思考模式，重新启动测试，除了第一次加载模型比较慢，后面的回答都是关闭了思考模式
点击回答底部的参数可以看到，回答的速度在70 token/s 左右，我理想中的速度是100 token/s以上，但是比30 token/s强一点
接下来，依旧测试内容转md表格，使用open webui的网页
本次处理的速度69 token/s 总处理时间 4524163700 ns ≈ 4.52 秒（精确约 4.524 秒）
也就是在不适用思考模式的情况下，和速度为70 token/s左右的情况下，处理一小段文本，需要大约4.5秒的时间，使用qwen3.5:2b
当前这是我的显卡比较旧的问题，如果显卡比较新，那么速度应该还会翻一倍以上，本文的老显卡架构
| 候选人 | 描述 | 推荐 |
|---|---|---|
| qwen3.5:2b | 在 3B 以下参数模型中排名前几，任务格式化表现优异，约 2.7-3.1 GB，可在 6GB VRAM 上轻松运行 | Yes – 全能型最佳选择 |
| qwen3.5:2b-q8_0 | 基于相同底层模型，量化精度更精细；出错率（如行丢失、数值错误）较低，但速度稍慢且占用更多磁盘空间 | Conditional – 适合对格式要求严格但不过分挑剔的场景 |
| qwen3.5:0.8b | 仅适用于极其简单的格式化任务，面对复杂表格时容易遗漏细节，不建议作为首选模型 | No – 任务能力受限 |
| qwen3:1.7b | 旧版本，功能尚可但相比 2B Qwen 3.5 版本在 Markdown 转换方面表现疲软，除非已安装该模型，否则无需特意引入新模型 | No – 过时且不如当前版本胜任此任务 |
tips
小模型的提示词一定要尽可能的精准，同样的问题测试，有N种不同的结果，要么正常执行，要么只输出几个字就没有了，要么处理一半，完全没有大模型的精准
当然，关闭思考模式也是重要影响之一，但是很难接受思考模式延迟的速度，有时候越是思考越是幻觉循环
后面会尝试在需要的情况下设置为api方式引用，然后使用ai创建自定义网页工具调用，这样就不用每次都设置思考模式，和每次都设置不同的提示词
api的使用方式更加灵活，可以api控制思考模式的单词开启和关闭，可以固定设置好的提示词，完成某个小任务，可以并发或者同时多个人一起使用这个本地模型，不用安装客户端下载和ui操作
目前已经有多个项目使用qwen3.5:4b来完成文本，图片，音频，视频的处理，少了ollama模型api，这些任务基本都很难完成