大模型逐 token 生成，流式输出让用户在生成完成前就看到结果。本文用 SSE 实现从后端推流到前端渲染的完整链路，并给出可运行代码。
2026-09-09
RAG 效果差，八成问题出在文档解析。本文拆解 PDF 正文与表格分离抽取、扫描件 OCR 兜底、表格转 Markdown、结构感知切分与 chunk 元数据设计，附召回率验收方法与六条踩坑清单。
2026-09-09
语义缓存把意思相近的提问映射到同一答案，命中即返回：为大模型应用显著降本、提速并抗并发峰，本文附 Redis 与向量两种落地代码。
2026-09-08
Prompt Caching 提示词缓存实战：用固定前缀缓存让 Claude、GPT 等大模型 API 成本大幅下降，附 Anthropic/OpenAI 落地代码与避坑清单。
2026-09-07
GraphRAG 用知识图谱把文档拆成实体与关系，再以社区摘要实现全局问答。本文对比朴素 RAG 的差距，给出索引构建与局部/全局搜索的实战代码与落地建议。
2026-09-04
接了多家大模型后代码越改越乱、成本算不清、一家挂全挂？LiteLLM 用一套接口统一 OpenAI/通义/Claude，自动路由、降级与成本归因。
2026-09-03
Text2SQL 在 demo 里很惊艳，上生产就翻车。本文讲透落地全链路：Schema 提示怎么喂、几百张表如何向量召回、生成的 SQL 用 sqlglot 与 EXPLAIN 三道闸校验、只读账号与行数上限如何兜底，以及用执行结果比对做准确率评测。
2026-09-02
LoRA 微调让消费级显卡也能定制专属大模型。本文讲透 LoRA 低秩原理、QLoRA 4bit 省显存方案、peft+TRL 训练代码、效果评估、适配器合并与 vLLM/Ollama 上线全流程，附超参与踩坑对照表。
2026-09-01
多模态大模型让 AI 看懂图、听懂话、读懂视频：本文用 vLLM 视觉模型、Whisper 语音识别与 ffmpeg 抽帧，演示图文音视频理解与多模态 RAG 的工程落地。
2026-08-30