手机ai
除了llama.cpp本地大模型
还有asr sencevoice,语音转文字,在低端手机,也几乎是实时级别
本文用来偶尔语音转博客使用,避免手打字多了拇指疼
同样的,自建app对话模块,给llama.cpp的大模型文字加上tts,可以听发送的文字和回复的文字,方案是piper和melo
同样的,想要把图片的文字复制发布到博客,比如代码错误日志或者弹框提示或者其他一些内容
就使用ocr,本文使用paddleocr,在app对话界面发送图片,识别ocr,复制结果
文生图
目前本地大模型和asr,tts,ocr问题都不大,可用且体验不错
但是文生图在低端手机不行,比如sd.cpp
本文app已设置,但是生成的图片一言难尽
让它生成一个小猪,结果是生成一只猫,且看起来是像素风

tips
目前这是都是手机app编辑博客使用
llama.cpp处理md,翻译英文,生成图片提示词,和对话聊天
sencevoive,语音转文字,适合替代手打字
piper,mole后期可以生成文章对应的播客音频,现在主要用于对话朗读
ocr识别图片文字,比如错误日志,免得手打一个敲
本来打算sd.cpp生成封面图,但是效果不符合预期,生成时间太长和生成效果太差,暂时占位
视频领域就不要想了,主要是ffmpeg转码,压缩,ai图片一张都要很久,视频无法跑起来,也没有对应本地方案,基本都是云处理