DeepSeek RAG 本地化：手把手教你在家搭個專屬知識庫！

· DeepSeek 國際應用
Ollama 自動化工作流 vLLM 本地模型

嗨，各位搞科技的朋友們！AI 現在確實很火，但對資源有限或者特注重數據安全的中小企業來說，直接用雲端那些大模型（LLM）可能真不是最好的選擇。不過別急，DeepSeek Coder V2 這種開源模型，加上 RAG（Retrieval-Augmented Generation，檢索增強生成）技術，絕對是個在本地搭離線知識庫的好辦法！今天，咱們就來實戰一下DeepSeek離線知識庫怎麼玩。

目錄

  • 點解要用 DeepSeek Coder V2 同 RAG？
  • 第一步：準備知識庫數據
  • 第二步：本地部署 DeepSeek 模型
  • 第三步：整合 RAG 檢索生成流程
  • 常見問題

點解要用 DeepSeek Coder V2 同 RAG？

很多時候，公司內部都有大量自家文件、技術手冊，甚至客戶資料，這些可不是LLM訓練時看過的。直接問大模型，它可能就會開始『胡說八道』（Hallucination）了。這時候 RAG 就派上用場了，它會先從你的專屬知識庫裡找出最相關的資訊，接著把這些資訊和你問的問題一塊兒餵給 LLM，讓它生成答案。這樣一來，答案就會更精準，也更符合你公司實際情況。

DeepSeek Coder V2 是 DeepSeek AI 在 2024 年 4 月發佈的開源模型，它在編程和邏輯推理方面超強，處理技術文檔、數據分析這些事兒，簡直手到擒來。不光模型跑得好，還有各種參數規模，不同配置的電腦都能跑起來。我最近測試它處理公司內部合約範本和技術規範時，生成的摘要和問題解答都相當精準，效率蹭蹭就上去了。

第一步：準備知識庫數據

要搭 RAG，第一步是把你的文件變成能讓電腦搜的格式。這過程主要分兩塊：文檔切割（Chunking）和向量化（Embedding）。

  1. 文檔載入與切割： 首先，把你手上的 Word、PDF、Markdown 或純文本文件讀進來。可以用 LangChain 這類庫來搞定。比如，把一份超長的 PDF 文件切成很多小段，這樣後面檢索起來才方便。

    from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

loader = PyPDFLoader("your_company_policy.pdf")
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000, # 每段文字最大長度
    chunk_overlap=200 # 段落之間重疊部分，保持上下文連貫性
)
chunks = text_splitter.split_documents(documents)
print(f"原始文件分成了 {len(chunks)} 個片段")

  2. 向量化： 每個小段文本都要變成數字向量，電腦才能懂它們的『意思』。你可以用 Sentence Transformers 的本地模型，或者更省事地，直接用 Ollama 提供的 embedding 模型。這裡我們拿 Ollama 的 nomic-embed-text 舉個例子。

    from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma

# 確保你已經用 ollama run nomic-embed-text 運行了該模型
ollama_embeddings = OllamaEmbeddings(model="nomic-embed-text")

# 將切割後嘅文本片段向量化並存儲到向量資料庫，例如 ChromaDB
vector_db = Chroma.from_documents(
    documents=chunks,
    embedding=ollama_embeddings,
    persist_directory="./chroma_db" # 儲存路徑
)
vector_db.persist()
print("向量資料庫構建完成並已持久化。")

    研發工程師操作 DeepSeek 離線知識庫架構

第二步：本地部署 DeepSeek 模型

要在本地跑 DeepSeek Coder V2？用 Ollama 是最簡單粗暴的方法！它把本地部署和管理 LLM 的事兒都簡化了。

  1. 安裝 Ollama： 訪問 Ollama 官網，下載安裝對應你系統的版本就行。

  2. 下載 DeepSeek Coder V2 模型： 打開終端，敲入下面這行命令。

    ollama pull deepseek-coder:v2 # 或者選擇其他版本，例如 1.3b, 7b, 33b 等

    這步會把 DeepSeek Coder V2 模型文件下載到你電腦裡。注意了，模型越大，下載越久，對你顯卡（GPU）和記憶體的要求也越高。如果你有高性能顯卡，vLLM 能提供更快的推理速度，但配置起來會稍微麻煩點。

  3. 驗證模型運行： 下好之後，直接用 Ollama 測測模型。

    ollama run deepseek-coder:v2 "你好，DeepSeek Coder！"

    如果模型順利回應了，那恭喜你，部署成功！

第三步：整合 RAG 檢索生成流程

前面向量數據庫搞定了，模型也部署好了，現在就是把它們倆結合起來，搭建一套完整的 RAG 工作流。

  1. 初始化本地 LLM： 用 LangChain 的 Ollama 接口連上你的 DeepSeek 模型。

    from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA

local_llm = Ollama(model="deepseek-coder:v2", temperature=0.1)

    temperature 參數能控制模型生成答案的『腦洞大小』，做 RAG 任務時，我們通常會設低點，保證答案準確。

  2. 創建檢索器： 從你的向量數據庫裡建一個檢索器，它會負責根據你的問題，找出最相關的文本片段。

    retriever = vector_db.as_retriever(search_kwargs={"k": 3}) # 檢索最相似嘅 3 個結果

  3. 構建 RAG Chain： 把檢索器和 LLM 組合起來，就成了我們的 RAG 鏈。

    qa_chain = RetrievalQA.from_chain_type(
    llm=local_llm,
    chain_type="stuff", # 將所有檢索到嘅文檔塞入LLM嘅提示中
    retriever=retriever,
    return_source_documents=True # 是否返回檢索到嘅原始文檔
)

    數據科學家構建 RAG 檢索增強生成系統

  4. 發起查詢： 現在，你可以開始向你的離線知識庫提問了！

    query = "我們公司的數據安全政策有哪些重點？"
result = qa_chain.invoke({"query": query})
print("答案:", result["result"])
if result["source_documents"]:
    print("來源文檔:")
    for doc in result["source_documents"]:
        print(f"- {doc.metadata.get('source', '未知來源')}: {doc.page_content[:100]}...")

    這個流程保證了 DeepSeek Coder V2 在回答問題時，會參考你提供的內部文件，大大減少了它『瞎說』的可能。

常見問題

  • Q1：我電腦沒顯卡，還能不能跑 DeepSeek 模型？

    • A1：可以的！DeepSeek Coder V2 有不同規模的版本（比如 1.3B），小一點的版本在只有 CPU 的環境下也能跑。但推理速度會慢很多，特別是處理長文本或複雜問題時。至少建議 16GB 記憶體才行。

  • Q2：怎麼選合適的 chunk_size 和 chunk_overlap？

    • A2：這兩個參數對 RAG 效果影響巨大。chunk_size 太小可能會把上下文切斷，太大則可能讓單個區塊資訊太多，影響檢索效率和 LLM 的處理能力。chunk_overlap 太少容易造成上下文脫節，太多又會增加不必要的冗餘。通常 chunk_size 設 500-1500 字元，chunk_overlap 設 100-200 字元是個不錯的起點。不過你可能需要根據自己的數據類型多試幾次，慢慢優化。

  • Q3：DeepSeek Coder V2 適合處理非技術類文本嗎？

    • A3：雖然名字叫 Coder，但 DeepSeek Coder V2 在通用語言理解和生成方面也超棒。對於一般的行政文件、市場報告這些，只要數據餵得夠，RAG 效果還是槓槓的！不過，如果你的主要需求是生成通用文案，那可能其他通用模型會更適合。可要是碰上需要結合結構化數據或代碼輔助理解的場景，那它就有獨到之處了。

希望這篇教程能幫大家在本地搭起自己的 DeepSeek RAG 知識庫！這個方案不光保障了數據隱私，還給香港中小企提供了一個又便宜又好用的智能助手選擇。是不是很香？

最新教程

查看全部文章 »