Local AI / On-device App Intelligence

端侧模型与App 集成

这里不写“手机也能跑大模型”的泛热闹，而是记录端侧 AI 在真实 App 里的边界：哪些任务适合本地跑，哪些必须回服务端，哪些会导致发热、卡顿、耗电和体验下降。

查看场景连接 Lunest

Scenario Map

Local AI 内容结构

先作为 AI 下面的轻量专题存在，等端侧文章超过 15 篇，再考虑增加筛选、设备矩阵和模型评分。

iOS

iPhone 端侧模型

关注 iPhone 13+ 到未来机型的小模型分层、Core ML、内存、耗电、发热和前端流畅性。

Core MLNPU发热流畅性
Mobile

Android / HarmonyOS

关注不同芯片、系统版本、包体大小、后台限制和端侧推理策略，避免一套模型硬跑全部设备。

ONNX量化兼容功耗
Local Runtime

本地模型部署

关注 llama.cpp、ONNX Runtime、模型量化、上下文长度、加载速度和离线隐私。

llama.cppONNX Runtime量化离线
Product

App 功能承接

优先服务 Lunest 和未来 App：摘要、标签、音频推荐、睡眠报告、隐私计算和离线兜底。

Lunest摘要隐私离线兜底
Benchmark

性能测试

端侧 AI 不是只看准确率，还要记录冷启动、推理延迟、温度、掉帧、内存和电量。

延迟温度内存电量
Release

上线边界

哪些能力放端侧，哪些交给服务端，哪些必须加开关、队列或后台任务，是产品稳定性的核心。

灰度兜底开关服务端协同

Writing Rule

端侧实测文章必须记录什么

1

必须说明目标设备、系统版本、模型格式、量化方式和输入规模。

2

必须记录发热、卡顿、耗电、内存占用和 App 流畅性，而不是只写模型效果。

3

必须给出端侧 / 服务端的边界判断，避免把所有 AI 能力都塞进手机。

4

必须连接真实产品场景，例如 Lunest、阅读摘要、财报片段分析或离线隐私任务。

FAQ

常见问题

Local AI 为什么放在 AI 下面？

端侧模型不是单纯效率系统，而是 AI 工程化在移动端和 App 产品里的落地边界。它需要同时考虑模型能力、设备性能、隐私、发热和用户体验。

会不会和 productivity/local-ai 重复？

不会。/productivity/local-ai 更偏个人效率系统和本地基础设施，/ai/local-ai 专注端侧模型、移动 App 集成和本地推理工程。

Local AI 文章应该怎么写？

不能只写“某模型能跑”。必须写设备、模型、任务、耗时、发热、内存、失败场景和是否适合真正放进 App。