ollama使用qwen3.5:2b测试文字转md

ollama本地大模型选型

优选1b左右的,来测试小任务

本文的要求是快,最好是100token/s及以上(因为目前30token/s,体验还是太慢了,并且我需要它既快又好)

cursor推荐qwen系列,比如qwen3.5:2b / qwen3:1.7b

在网上上搜索qwen系列,可以看到官方默认安装版本系列排行,比如版本qwen3.8,qwen3.6,qwen3.5默认排行,同时可以一眼看到大致的数据和对比,比如只有qwen3.5有0.8b和2b的本地模型,其他的只有27b,35b

再往下,qwen3和qwen2.5虽然也可以,但是在第二梯队考虑,有新选新,没新选稳

参考地址:ollama qwen

具体的模型参考地址:qwen3.5

可以看到很多特定的模型,比如qwen3.5:4b-bf16,qwen3.5:2b之类的,比上个地址更加细化

有的是特定模型格式,比如mac专用,有的是模型精度不同,比如精度16,精度8,常用的q4,有的是特定用途模型,比如coding,audio等

从速度上我打算选0.8b,但是cursor推荐直接2b,因为相对更加准确,少一些幻觉,我打算试试

下载方式可以继续点击对应的模型,比如https://ollama.com/library/qwen3.5:2b

不过我一般会在ollama的客户端的对话列表直接检索并下载

在对话右下角点击模型,弹框中输入对应模型名称

对话发送一些内容,可以触发下载,和查看下载模型进度

比如我可以看到总提示640M左右,下载进度10%左右,下载完成后,会使用这个模型自动进行对话回复

不过好像我理解错了,之前的可能是别的,真实的体积是1.9GB左右,继续等待下载

比如测试案例

让它把一段话整理为md表格

把以下内容整理为md表格 候选 结论 qwen3.5:2b 主推。 你链接页里 <3B 里能力最够用;短文→标题/列表/表格,跟指令、保格式通常比更小档稳。体积约 2.7~3.1GB,你 6GB 卡很轻松。 qwen3.5:2b-q8_0 同脑子、量化更细,漏行、改数字的概率往往更低一点;略慢、稍占盘。 qwen3.5:0.8b 只适合「极短、极简单」排版;表格一复杂就容易漏改,不推荐当短文转 MD 主力。 qwen3:1.7b 上一代。能用,但同任务一般不如 3.5 的 2b;没必要为转 MD 再挂一条旧线,除非你已经装好、只图省事。

ollama进入了思考模式,那怕只有2b,我不希望它开启思考模式,我要快

它确实转为了md格式,但是我现在要解决如何关闭ollama qwen3.5:2b的思考模式

尝试了客户端对话加/set nothink没用

然后测试了 ollama run qwen3.5:2b —think=false 只能在终端用,也确实有用

还有就是api请求顶层加”think”: false,我的qwen3.5:4b这种方法可以,2b懒得测试

所以目前win客户端对话,无法关闭思考模式,这一点可能lmstudio会比较好一些

看到后面要尝试api的方式,设置webui和openai的通用api请求格式,然后自定义界面调用

tips

后面打算试试open webui和api方式