🔍 高级 RAG：检索策略 ★

class MultiQueryRetriever(BaseRetriever):
    """用 LLM 生成多个 query 变体，扩大召回。

    流程：原始 query → LLM 生成 N 个变体 → 每个变体各自检索 → 合并去重
    - LineListOutputParser (:23) 解析 LLM 输出的多行 query
    - _unique_documents (:45) 去重（同一文档不被多次返回）
    """

class EnsembleRetriever(BaseRetriever):
    """混合检索：多个 retriever 结果加权融合。

    典型用法：向量检索（语义）+ BM25（关键词）混合。
    weighted_reciprocal_rank (:304) 是融合算法核心。
    """

class CrossEncoderReranker(BaseDocumentCompressor):
    """用 cross-encoder 对检索结果重新打分排序。

    与向量检索（双塔，query/doc 分别编码）不同，
    cross-encoder 把 query+doc 拼一起输入，算精确相关性分数。
    更准但更慢，所以只对 top-N 重排（两阶段检索）。
    """

class VectorStore(ABC):
    def max_marginal_relevance_search(self, query, k=4, fetch_k=20, lambda_mult=0.5):
        """MMR 检索：既相关又多样。

        先 fetch_k 个候选（相关），再迭代选 k 个：
        每次选「与 query 相关 + 与已选文档不相似」综合最高的。
        lambda_mult: 0=最多样, 1=最相关（退化为普通检索）。
        """

# LongContextReorder：把最相关的文档放到首尾位置
# [最相关, 次相关, ..., 倒数第二, 倒数第一相关]
# 避免"重要信息埋在中间被忽略"

# pip install langchain langchain-openai chromadb rank_bm25
# export OPENAI_API_KEY="sk-..."
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_chroma import Chroma
from langchain_community.retrievers import BM25Retriever
from langchain.retrievers import EnsembleRetriever, ContextualCompressionRetriever
from langchain.retrievers.document_compressors import DocumentCompressorPipeline
from langchain_community.document_transformers import (
    EmbeddingsRedundantFilter, LongContextReorder,
)
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.documents import Document
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

# ① 准备文档（实际从文件加载）
docs = [
    Document(page_content="LangChain 是一个 LLM 应用开发框架...", metadata={"source": "intro"}),
    Document(page_content="LCEL 用管道 | 组合组件...", metadata={"source": "lcel"}),
    # ... 更多文档
]

# ② 切分（父子文档思路：小 chunk 检索）
splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=50)
chunks = splitter.split_documents(docs)

# ③ 构建两个检索器：向量（语义）+ BM25（关键词）
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(chunks, embeddings)
vector_retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
bm25_retriever = BM25Retriever.from_documents(chunks)
bm25_retriever.k = 5

# ④ 混合检索（Ensemble + RRF 自动融合）
ensemble_retriever = EnsembleRetriever(
    retrievers=[vector_retriever, bm25_retriever],
    weights=[0.5, 0.5],   # 向量和 BM25 各半
)

# ⑤ 检索后处理管道：去冗余 → 重排（关键内容放首尾）
compressor_pipeline = DocumentCompressorPipeline(
    transformers=[
        EmbeddingsRedundantFilter(embeddings=embeddings),  # 去冗余
        LongContextReorder(),                               # 重要内容放首尾
    ]
)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor_pipeline,
    base_retriever=ensemble_retriever,
)

# ⑥ 组装 RAG 链（LCEL，LC5 学过）
model = ChatOpenAI(model="gpt-4o-mini")
prompt = ChatPromptTemplate.from_messages([
    ("system", "根据以下上下文回答。不知道就说不知道。\n上下文：{context}"),
    ("human", "{question}"),
])

def format_docs(docs):
    return "\n\n".join(d.page_content for d in docs)

rag_chain = (
    {"context": compression_retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# ⑦ 测试
print(rag_chain.invoke("LCEL 是什么？"))
# 流程：混合检索(向量+BM25) → RRF融合 → 去冗余 → 首尾重排 → 生成

from langchain_core.indexing import index

# 基于 RecordManager 的时间戳+内容哈希，自动增量同步
result = index(
    docs,                      # 新文档
    vectorstore,               # 目标向量库
    record_manager,            # 记录管理器（追踪已入库）
    cleanup="incremental",     # 增量：只加新的、改的，删过期的
    source_id_key="source",    # 用哪个 metadata 字段做去重键
)
print(result)
# → IndexingResult(num_added=2, num_updated=1, num_deleted=0, num_skipped=10)
# 自动跳过没变的、更新变了的、删除消失的