# AI 应用技术

作者：zhongling
原文：https://zhixia.pages.dev/posts/ai-tec/
发布日期：2025-08-08
更新日期：2025-08-08
语言：zh

---


## 前言
梳理下自己在 AI 产品开发中用到的一些工程技术，只会做工程了属于是，算法方面的东西基本上不懂。

列下我做过的东西：
* Code Review Agent
* Long term memory
* Dify 二开
* Rag 流程

语言技术：
* Python
* Nodejs
* Go

Agent 框架：
* Langchain
* React Agent
* Function calling

总结下来基本上都是常规的 web 技术栈，只是多了一个 与 LLM 交互的环节。本文从工程与算法两层来总结梳理自己了解到的东西


## 关系
工程与模型的关系，有点像是算法里的复杂度控制：空间换时间，时间换空间，性能换效率，效率换性能

工程是重点不是难点，模型是难点不是重点毕竟能搞模型的就那么几家公司

## 工程
### 起步：与 LLM 交互
唯有提示词，就像圣经里能唯一与上帝交流传话的那个家伙。

形式上有 stream blocking。

通信载体几乎是基于：Http，无非是协议上多了一些 sse streamable 返回等。

### Agent 范式
React 一直是比较经典的范式，很多其他模式也是基于这个演化的

早期 React 范式的实现，全部依赖提示词，比如 Function 描述，工具返回内容的格式，Stop 策略等一股脑的都会拼接到提示词上，然后返回内容的解析也会根据一些约定标记等做信息提取

中期这些内容被 大模型公司给 Native 了，做到模型内部了： function call api 规范

当前是被 MCP 协议规范了，当然底层还是基于 funciton call 的能力包装的标准协议

后期可能会有更多模型即 agent 的 native 处理。当周边工程做的比较成熟，也有一定规模时候，模型层面可能会将他 native 化。所以创业公司太难了，好的创意好的产品说不定就被模型本身取代了

#### 多 Agent 进化
多 Agent 目前还是停留概念形式上，能落地的地方很少。因为 LLM 本身就是概率模型，而单个 Agent 里已经有很多不确定，再有多个Agent 则将不确定成倍叠加了。

### Rag
Rag 是典型的 demo 很简单调优很魔鬼的技术方案。一些我知道的场景及方案。
#### 长文本
1. 切片规则：父子文档，分片编号，多召回，重排等
#### 长记忆
1. 基于图，知识图谱优化记忆关系
2. 记录时间，优化日程型记忆

#### 向量/关键词
1. 提取关键词，关键词搜索
2. 向量语义搜索（稀疏/稠密）
3. 混合

#### 精排
找回后的重新排序等


### 一些技术形态的转换
我关注到 ppt 生成领域里，现在做的比较好的几家几乎都是通过 Html 技术而非传统的 .ppt格式 来渲染的。未来可能都变成了基于HTMl渲染的形态了

思考下来也算合理 因为HTML渲染技术非常成熟了，再结合当前硬件性能也比较好，LLM也能更好的生成内容。

有语曰：
> 打败你的不一定是你的同行，可能是离的远的其他行业

## 模型/算法
重要性不必多谈，属于 AI 应用的基石。基础能力决定上层形态，也是造成 AI 应用日新月异的根本原因。

作为一个合格的工程应用层面的人，我尽量梳理了，AI，机器学习，深度学习，神经网络等的概念。以及当下流行的 LLM 大概架构。
这里列举下我看到的一些资料
1. [llm 科普](https://towardsdatascience.com/understanding-llms-from-scratch-using-middle-school-math-e602d27ec876/) 很直白的描述 llm 工作原理，比较好的是从基础的神经网络开始的，由浅入深
2. [从零构建大模型](https://book.douban.com/subject/37305124/) 更加全面的科普书，挺适合非专业人士。知其然，知其所以然。

## 一个合格的 AI 应用工程师
能在某个垂类场景里识别出问题优化，基础建设等进一步建设好几个平台：
1. 数据：收集，标注
2. 模型微调训练
3. 推理服务部署/算力调度
4. Agent / Chat 应用创建

算是比较厉害的，可以称为AI应用架构师了

## 高质量开源项目
1. [continuedev](https://github.com/continuedev/continue) 一个做研发领域工具链的好项目包含 vscode 插件，cli 等

## 结语
有人说当前 AI 应用就是一阵风，很快就过去。我同意一半：他是一阵风，未来这些技术也会消失，但是好的产品及技术模式会沉淀下来。

它更像是历史上技术发展的一个缩影，都是发展迭代的，出现多，风光过，暗淡过，消失过。重要的是我们能在这轮风波里能体验过，不辜负过