AI嵌入式，指把AI模型部署到单片机、系统级芯片（SoC）等嵌入式设备上，让设备在本地完成感知、推理和决策。本文讲清它的定义、系统组成、与云端AI的区别，以及哪些场景值得用。这里讨论设备端，不涉及企业软件内嵌的AI功能。
一、AI嵌入式到底指什么？
AI嵌入式目前没有统一的标准化定义。行业里更常见的说法是嵌入式AI，英文常写作Embedded AI。多数资料用它描述一种系统形态：AI模型运行在嵌入式硬件上，数据在设备附近完成处理，不依赖持续联网。
这里的AI可以是几KB的关键词识别模型，也可以是跑在SoC上的视觉模型。大模型只是其中一种选择。设备通常只做推理，训练放在服务器或电脑上完成。
在招聘和培训语境里，这个词也常被用来指一类岗位方向。工作内容通常包括驱动开发、模型部署和端侧性能优化。
这个词在不同语境下含义不同。华为官网技术百科在2025年7月更新了嵌入式AI条目。它把网络设备里的嵌入式AI描述为设备内置的AI功能框架。SAP中国官网2025年10月的一篇文章，则用同一个词指企业软件内嵌的AI。读资料时先看语境，能少走弯路。
| 常见说法 | 通常指什么 | 与本文的关系 |
|---|---|---|
| AI嵌入式 | 口语和培训语境中，AI与嵌入式系统结合 | 本文采用，指设备端AI |
| 嵌入式AI / Embedded AI | AI模型运行在嵌入式设备上 | 与本文同义 |
| 边缘AI / Edge AI | 在靠近数据源的位置做AI，范围更大，包含网关和边缘服务器 | 相关，但范围更大 |
| AI+嵌入式 | 更宽，包含用AI辅助嵌入式开发 | 本文只讨论设备端部署 |
| 企业软件内嵌AI | 把AI功能内嵌到ERP、HR等业务系统 | 本文不讨论 |
二、一套AI嵌入式系统由哪些部分组成？
把模型放进设备只是最后一步。一套能工作的系统通常包含四层，任何一层不合适，效果都会受影响。
| 层级 | 作用 | 常见组成 |
|---|---|---|
| 硬件层 | 提供算力、内存、接口和供电 | MCU、SoC、NPU、传感器、执行器 |
| 模型层 | 把输入变成判断结果 | 分类、检测、语音、异常检测等模型 |
| 运行时与工具链 | 让模型能在目标硬件上运行 | TensorFlow Lite Micro、厂商SDK、编译器、量化工具 |
| 业务层 | 把推理结果变成动作或上报 | 控制逻辑、通信、告警、云端协同 |
两个官方参数可以看出硬件跨度。Google TensorFlow官方文档在2024年5月更新时给出一个参数。TensorFlow Lite for Microcontrollers的核心运行时，在Arm Cortex-M3上约占16KB存储空间。这个运行时能运行不少基础模型。这个数字描述的是运行时本身，模型和算子还会占用额外空间。
这类在单片机上跑小模型的方向，也常被称为TinyML。
瑞芯微官网在2022年9月发布了RK3588产品页。页面显示，这颗SoC内置6TOPS算力的NPU，也就是神经网络处理器，支持多种数值精度。TOPS是每秒万亿次运算的缩写。6TOPS是峰值算力指标，实际帧率还取决于模型大小、内存带宽和工具链。它说明同类设备的算力可以从KB级内存的单片机跨到能跑视觉模型的SoC。
以一台智能摄像头为例，本地流程通常包括：
- 采集图像并做缩放、去噪等预处理；
- 用检测模型找出画面中的人和物体；
- 根据结果决定是否报警、录像或上传；
- 把关键事件和模型版本同步到云端。
推理结果可以直接驱动继电器、电机或屏幕，也可以只把事件摘要上传云端。设备端负责快，云端负责全。
图注：设备端先完成采集和推理，再把摘要或模型更新与云端同步；是否上传取决于场景对隐私、时延和成本的要求。
三、它和传统嵌入式、云端AI有什么不同？
传统嵌入式也会采集和控制，区别在规则从哪里来。传统系统靠工程师写好的条件判断，AI嵌入式靠数据训练出的模型参数。
| 维度 | 传统嵌入式 | AI嵌入式 |
|---|---|---|
| 核心任务 | 按固定规则采集、控制 | 设备端通常运行已训练模型，完成识别、检测等感知和判断任务 |
| 规则来源 | 工程师编写的逻辑和阈值 | 模型参数由训练数据得出，设备端通常用这些参数做推理 |
| 硬件重点 | MCU、外设、实时性 | MCU或SoC、NPU/GPU、内存带宽 |
| 开发重点 | 驱动、RTOS、通信 | 数据、模型压缩、部署、推理优化 |
| 常见问题 | 逻辑错误、时序冲突 | 数据偏差、精度下降、模型与设备不匹配 |
| 适合场景 | 规则明确、工况稳定 | 固定规则难以覆盖，且任务需要模型做感知或判断 |
云端AI把数据传到服务器推理，优势是算力大、模型更新方便。设备端推理的优势是响应快、断网可用、敏感数据不必离开设备。两者常一起用：设备做实时判断，云端做训练、汇总和长周期分析。
选设备端还是云端，先看任务对时延、隐私和网络的要求，再看模型能不能压进目标硬件。只比较算力大小，容易忽略功耗、内存和散热。
四、哪些场景适合用AI嵌入式？
先判断任务是否需要模型做感知或判断，再核对本地响应、数据外传限制和硬件能否运行模型。
| 场景 | 设备端做什么 | 放在本地的原因 |
|---|---|---|
| 智能家居 | 语音唤醒、人脸或手势识别 | 响应快，减少原始音视频上传 |
| 工业质检 | 图像缺陷检测、异常声音识别 | 产线节拍快，带宽和稳定性有限 |
| 智能汽车 | 车道线、障碍物、驾驶员状态感知 | 低时延，网络覆盖不稳定 |
| 可穿戴设备 | 心率、运动姿态、跌倒检测 | 低功耗、小体积 |
| 机器人、无人机 | 视觉避障、姿态控制 | 需要实时反馈 |
更具体的筛选可以看这张表：
| 你遇到的情况 | 优先考虑 |
|---|---|
| 固定规则能完成任务，包括需要离线运行或实时响应的场景 | 传统嵌入式 |
| 需要模型识别或判断，且现场需要低时延或离线运行，设备能运行模型 | AI嵌入式 |
| 任务需要模型，设备算力不足，且允许把数据传到服务器 | 云端或边缘服务器 |
| 任务需要模型，数据不得离开设备，且设备能运行模型 | 设备端AI |
| 需要在设备端做实时模型推理，同时需要长期分析且允许上传结果 | 设备端加云端协同 |
这张表只能做初筛。真正落地还要做数据采集、模型验证、功耗测试和小批量试产，不能只看芯片参数。
五、想学AI嵌入式，需要补哪些能力？
学习路径取决于原有背景。嵌入式开发者补AI，AI开发者补硬件和系统，零基础先补编程与计算机基础。
可以按四个阶段推进：
- 基础：C/C++、数据结构、计算机组成、Linux基本操作。
- 嵌入式：MCU、外设驱动、RTOS、总线通信。
- AI基础：Python、数据处理、机器学习与深度学习基础。
- 部署与项目：模型量化、格式转换、推理框架，把模型放到开发板上测延迟和内存。
只学模型训练，容易停在电脑上；只学单片机，遇到新场景又要手写大量规则。两边都懂一点，再做一个完整项目，理解会快很多。
东方瑞通2026年的AI+嵌入式课程资料显示，课程按硬件约30%、软件约70%组织。内容覆盖STM32、RTOS、现代C++、Qt、AI模型部署，以及MCP和AI Agent等。选择课程时，先看是否提供开发板、是否能完成端侧部署项目、是否讲清模型压缩和性能测试。
如果只是了解概念，不必先报课。用一块开发板跑通关键词识别或图像分类Demo，也能建立基本判断。
六、常见问题
零基础能学吗？
可以，但需要先补C语言、计算机基础和Linux。建议先完成一个小型单片机项目，再学模型部署。跳过编程直接学AI，后续调试会很吃力。
学AI嵌入式一般要多久？
业余自学通常按12到18个月规划。脱产学习要看总课时、每周排课天数和每天课时，不能只按月份判断。学完基础只能说明入门，能否独立做项目还要看项目数量和质量。
AI嵌入式工程师只看模型能力吗？
这类岗位通常同时看嵌入式基础、AI部署能力和项目经验。只会调模型、不熟悉硬件和外设，很难定位端侧问题；只会单片机、不了解模型，也难以完成部署和优化。
选课程时，费用和退费条款看什么？
先看总课时、班型和是否提供开发板，再看项目是否包含端侧部署。退费方面，比较退费比例、开课前后的规则和重修安排。费用高低要结合这些内容比较，单看报价容易误判。