❝

你以为RAG（Retrieval-Augmented Generation）已经很强了？别急，今天教你一招“上下文压缩”，让你的RAG系统脱胎换骨，效率翻倍，答案更准，内存更省，老板看了都说好！

一、RAG的烦恼：信息太多，噪声太大

RAG系统的本质，就是“先检索，再生成”。你问个问题，系统先去知识库里搜一圈，把相关的内容捞出来，然后丢给大模型生成答案。

听起来很美好，但实际用起来，常常是这样的：

• 检索出来的内容，Relevant（相关）和Irrelevant（无关）混杂在一起。
• 有用的信号被一堆废话包围，模型的上下文窗口被“水文”占满。
• 结果：答案啰嗦、跑题、甚至答非所问。

举个栗子：
你问“AI决策的伦理问题有哪些？”，检索出来的段落里，既有“AI的历史”，又有“AI的优点”，还有“AI的缺点”，真正和伦理相关的内容，可能只占三分之一。

怎么办？
别慌，今天我们就来聊聊——上下文压缩（Contextual Compression）！

二、什么是上下文压缩？一句话总结

❝

上下文压缩，就是在RAG检索后，用大模型把无关内容“剪掉”，只留下和问题最相关的部分。

这样做的好处：

• 减少噪声：让大模型只看到有用的信息。
• 提升准确率：答案更聚焦、更靠谱。
• 节省上下文窗口：能处理更长的文档，成本更低。

三、上下文压缩的三大流派

压缩不是一刀切，常见有三种玩法：

1. Selective（选择性保留）
   只保留和问题直接相关的句子/段落，原文照抄，不做改写。

2. Summary（摘要压缩）
   把相关内容浓缩成简明扼要的摘要，信息密度高。

3. Extraction（句子抽取）
   只抽取原文中包含关键信息的句子，逐句列出。

不同场景选不同流派：

• 你要“原汁原味”，选Selective或Extraction；
• 你要“言简意赅”，选Summary。

四、RAG上下文压缩的完整流程

别急着看代码，先看思路！

1. 文档预处理

• PDF提取文本：用PyMuPDF等工具，把PDF里的内容全都抽出来。
• 分块（Chunking）：把长文本切成小块（比如每1000字一块，重叠200字），方便后续检索。

2. 向量化与检索

• 文本嵌入（Embedding）：用OpenAI、bge等模型，把每个chunk变成向量。
• 向量检索：用户提问后，把问题也变成向量，找出最相似的Top-K个chunk。

3. 上下文压缩（核心！）

• 对每个检索到的chunk，调用大模型，按指定压缩方式（Selective/Summary/Extraction）处理，只保留和问题相关的内容。
• 批量处理：一次性压缩多个chunk，效率更高。

4. 生成最终答案

• 把压缩后的内容拼成上下文，丢给大模型生成最终答案。
• 如果压缩后内容太少，可以回退用原始chunk。

5. 评估与可视化

• 对比不同压缩方式的效果：准确率、信息量、上下文长度、压缩比。
• 可视化原文和压缩后的内容，直观感受“瘦身”效果。

五、伪代码思路（不用背，理解即可）

# 1. 文档处理
text = extract_text_from_pdf(pdf_path)
chunks = chunk_text(text, size=1000, overlap=200)
embeddings = create_embeddings(chunks)

# 2. 构建向量库
vector_store = SimpleVectorStore()
for chunk, emb in zip(chunks, embeddings):
 vector_store.add_item(chunk, emb)

# 3. 用户提问
query = "AI决策的伦理问题有哪些？"
query_emb = create_embeddings(query)
top_chunks = vector_store.similarity_search(query_emb, k=10)

# 4. 上下文压缩
compressed_chunks = []
for chunk in top_chunks:
 compressed, ratio = compress_chunk(chunk, query, compression_type="summary")
 compressed_chunks.append(compressed)

# 5. 生成答案
context = "

---

".join(compressed_chunks)
answer = generate_response(query, context)

核心压缩函数的伪代码：

def compress_chunk(chunk, query, compression_type):
 # 根据compression_type选择不同的system prompt
 # 用LLM生成只保留相关内容的压缩结果
 return compressed_chunk, compression_ratio

六、实战案例：AI伦理问题的RAG压缩对比

假设我们有一份《AI伦理白皮书.pdf》，我们来问它：

❝

“AI在决策中的伦理问题有哪些？”

1. 不压缩的标准RAG

• 检索10个相关chunk，直接拼成上下文。
• 答案很全，但有点啰嗦，偶尔还会带点无关内容。

2. Selective压缩

• 只保留和伦理相关的句子/段落。
• 答案更聚焦，废话少了，压缩比约40%。

3. Summary压缩

• 把相关内容浓缩成摘要。
• 答案最精炼，压缩比高达64%。

4. Extraction压缩

• 只抽取原文中最关键的句子。
• 信息密度高，压缩比约54%。

压缩效果一览表

七、压缩效果可视化（举个栗子）

原始chunk（1000字，节选）：

Many AI systems, particularly deep learning models, are "black boxes," making it difficult to understand how they arrive at their decisions. Enhancing transparency and explainability is crucial for building trust and accountability.

Privacy and Security
AI systems often rely on large amounts of data, raising concerns about privacy and data security. Protecting sensitive information and ensuring responsible data handling are essential.

Job Displacement
The automation capabilities of AI have raised concerns about job displacement, particularly in industries with repetitive or routine tasks. Addressing the potential economic and social impacts of AI-driven automation is a key challenge.
...

Selective压缩后（654字）：

Many AI systems, particularly deep learning models, are "black boxes," making it difficult to understand how they arrive at their decisions. Enhancing transparency and explainability is crucial for building trust and accountability.

Establishing clear guidelines and ethical frameworks for AI development and deployment is crucial.

Protecting sensitive information and ensuring responsible data handling are essential.

Addressing the potential economic and social impacts of AI-driven automation is a key challenge.

As AI systems become more autonomous, questions arise about control, accountability, and the potential for unintended consequences.

Summary压缩后（514字）：

The ethical concerns surrounding the use of AI in decision-making include:

- Lack of transparency and explainability in AI decision-making processes
- Privacy and data security concerns due to reliance on large amounts of data
- Potential for job displacement, particularly in industries with repetitive or routine tasks
- Questions about control, accountability, and unintended consequences as AI systems become more autonomous
- Need for clear guidelines and ethical frameworks for AI development and deployment

Extraction压缩后（335字）：

Many AI systems, particularly deep learning models, are "black boxes," making it difficult to understand how they arrive at their decisions. Enhancing transparency and explainability is crucial for building trust and accountability.

Establishing clear guidelines and ethical frameworks for AI development and deployment is crucial.

八、压缩带来的实际好处

1. 上下文窗口更省：原来只能塞10个chunk，现在能塞30个，信息量翻倍。
2. 答案更聚焦：大模型不再被无关内容干扰，答题更精准。
3. 推理更快，成本更低：上下文短了，推理速度快，API调用省钱。
4. 支持更大文档：再大的PDF也能轻松处理，不怕“爆窗”。

九、压缩方式怎么选？一图流总结

十、进阶玩法：自动评测与可视化

• 用大模型自动评测不同压缩方式的答案，打分排名。
• 可视化每种压缩的上下文长度、压缩比、信息覆盖度。
• 让你一眼看出哪种压缩最适合你的业务场景。

十一、总结：RAG压缩，未来已来

一句话总结：

❝

“RAG+上下文压缩=更聪明、更高效、更省钱的AI检索系统！”

• 你还在为RAG检索出来一堆废话发愁吗？
• 你还在担心上下文窗口不够用吗？
• 你还在为模型答非所问抓狂吗？

试试上下文压缩吧！
让你的RAG系统，像减肥成功的程序员一样，既有料又轻盈！

十二、彩蛋：爆款RAG压缩系统的伪代码框架

def rag_with_compression(pdf_path, query, k=10, compression_type="summary"):
 # 1. 文档处理
 vector_store = process_document(pdf_path)
 # 2. 检索
 query_emb = create_embeddings(query)
 top_chunks = vector_store.similarity_search(query_emb, k)
 # 3. 压缩
 compressed_chunks = batch_compress_chunks(top_chunks, query, compression_type)
 # 4. 生成答案
 context = "

---

".join(compressed_chunks)
 answer = generate_response(query, context)
 return answer

结语

RAG不是终点，压缩才是王道！
下次你做AI检索，不妨加一道“上下文压缩”，让你的系统更聪明、更高效、更懂你！

下期我们聊聊“多文档RAG压缩”和“多轮对话压缩”，敬请期待！