PocketPal
在谷歌play商店下载
可选择合适的本地大模型,开启聊天会话
可以看到我下载的大模型

Gemma-2-2b-it(Q6_K)
Gemmasutra-Mini-2B-V1(Q6_K)
Phi-3.5 mini 4k instruct (Q4_K_M) Qwen2.5-1.5B-Instruct (Q8_0) Qwen2.5-3B-Instruct (Q5_K_M) Llama-3.2-1b-instruct (Q8_0)
Llama-3.2-3B-lnstruct (Q6_K) SmolLM2-1.7B-Instruct (Q8_0) SmoIVLM2-500M-Instruct (Q8_0)
一般在手机上的速度不会太高,因为没有gpu,基本只在cpu上运算
能不能运行更大的模型取决于内存
12gb的可以尝试4b以及以下的模型,16gb可以尝试7b模型
低端cpu大概1-3token每秒,中端10token/s,高端手机大概也就20-40token每秒
具体只在低端手机测试过,因为高端手机cpu提升不会很明显,至少不会是10倍,只会是百分之几十的增幅
而且手机本来就是端侧ai,没必要上大模型
端侧ai
说一说手机上真实的应用场景
本文主要用于应急处理,以前主要是存档图书灾害应急,野外生存,居家尝试
比如问一问如何存储食物,如果应对火灾,户外注意事项
或者图文的一些翻译和ocr,比如英文段落翻译为中文,比如图片文字识别
现在的本地模型支持视觉识别,让它分析和读取图片信息没问题,虽然有专门的ocr,但是日常本地大模型就能解决
上个段落的大模型列表就是用ocr识别并复制文本
这个ocr是让ai把paddleocr打包到自己的app,不会有数据隐私问题,毕竟用云端ocr,就会有数据收集
再比如,本文翻译为英文,也是手机离线大模型处理,毕竟在外突然没有手机流量或者wifi的情况下
Tips
想要尝试,就下载pocketpal app
想要本地离线大模型,无数据上报,可以让ai辅助开发app,接入大模型和设置聊天界面
本文目前本地使用qwen系列 默认qwen3.5:4b,虽然慢一些,但是对于长文来说,勉强够用,短句就用qwen3:1.5b