homelab:手机ai使用场景,tts,asr,ocr

手机ai

除了llama.cpp本地大模型

还有asr sencevoice,语音转文字,在低端手机,也几乎是实时级别

本文用来偶尔语音转博客使用,避免手打字多了拇指疼

同样的,自建app对话模块,给llama.cpp的大模型文字加上tts,可以听发送的文字和回复的文字,方案是piper和melo

同样的,想要把图片的文字复制发布到博客,比如代码错误日志或者弹框提示或者其他一些内容

就使用ocr,本文使用paddleocr,在app对话界面发送图片,识别ocr,复制结果

文生图

目前本地大模型和asr,tts,ocr问题都不大,可用且体验不错

但是文生图在低端手机不行,比如sd.cpp

本文app已设置,但是生成的图片一言难尽

让它生成一个小猪,结果是生成一只猫,且看起来是像素风

image

tips

目前这是都是手机app编辑博客使用

llama.cpp处理md,翻译英文,生成图片提示词,和对话聊天

sencevoive,语音转文字,适合替代手打字

piper,mole后期可以生成文章对应的播客音频,现在主要用于对话朗读

ocr识别图片文字,比如错误日志,免得手打一个敲

本来打算sd.cpp生成封面图,但是效果不符合预期,生成时间太长和生成效果太差,暂时占位

视频领域就不要想了,主要是ffmpeg转码,压缩,ai图片一张都要很久,视频无法跑起来,也没有对应本地方案,基本都是云处理