背景#

经过一段使用DeepSeek后，感觉使用体验和ChatGPT基本差不多，问答问题的质量略有提升，因DeepSeek已开源，它的模型、模型权重参数从网上都可以下载到，所以可以基于开源的模型，在本地构建一个自己的知识库，小编这里使用的是蒸馏后的模型权重 deepseek-r1:1.5b

RAG （Retrieval-Augmented Generation）检索增强生成，是一种通过整合外部知识库来增强大模型（LLM）回答问题质量的模式。最简单的理解，可以认为是给大模型外挂了一个知识库。

很多大模型的问题，多数是由于数据缺失造成的，企业中解决这类数据确实的问题，通常的方案是采取企业向量知识库的方式，在应用Prompt的时候，先从企业知识库中检索与Prompt关联的知识，然后把领域知识和原始Prompt整合在一起，最后作为大模型的输入。

这样大模型就了解了领域专业知识，也能更好的回答问题。

小编环境#

基于Win10中的Linux子系统进行部署安装子系统：Ubuntu 22.04.5 LTS

1
python -V
2
# Python 3.11.11
3

4
uname -a
5
# Linux DESKTOP-KREEAFH 5.15.167.4-microsoft-standard-WSL2 #1
6
# SMP Tue Nov 5 00:21:55 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
7

8
lsb_release -a
9
# No LSB modules are available.
10
# Distributor ID: Ubuntu
11
# Description:    Ubuntu 22.04.5 LTS
12
# Release:        22.04
13
# Codename:       jammy

安装Ollama，并下载deepseek模型#

官网地址：https://ollama.com/download 官网命令：curl -fsSL https://ollama.com/install.sh | sh

因该网站是国外服务器，所以都懂得，按官网命令进行安装，基本都不会成功，所有需要魔改安装脚本 install.sh 1. 在Linux下载 install.sh 安装脚本文件到本地

1
 curl -fsSL https://ollama.com/install.sh -o install.sh

2. 修改安装脚本文件，需要开启魔法上网 在83行增加curl命令的代理参数，前面ip地址为Win10的网络地址，端口需要查看自己本地魔法上网的软件端口，小编使用的是 v2rayN，因为是Linux子系统中使用，需要使用局域网的http端口

1
curl --fail --show-error --location --progress-bar \
2
    --proxy http://192.168.21.121:10811 \
3
    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
4
    $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

curl

3. 开启魔法上网，执行安装脚本文件

1
bash install.sh

4. 下载模型参数权重文件

1
ollama pull deepseek-r1:1.5b

安装Python环境依赖包#

新建requirements.txt 文件，需要把以下内容放入该文件

1
langchain
2
langchain-community
3
langchain_experimental
4
streamlit
5
pdfplumber
6
semantic-chunkers
7
open-text-embeddings
8
ollama
9
prompt-template
10
sentence-transformers
11
faiss-cpu

安装上面列出的所有三方库：

1
pip install -r requirements.txt

Web完整代码#

app.py文件

1
import streamlit as st
2
from langchain_community.document_loaders import TextLoader
3
from langchain_community.embeddings import OllamaEmbeddings
4
from langchain_community.vectorstores import FAISS
5
from langchain.chains import RetrievalQA
6
from langchain_community.llms import Ollama
7
import os
8

9
def initialize_interface():
10
    # 定义 CSS 样式
11
    st.markdown(
12
        """
13
        <style>
14
        .text-color {
15
            color: grey; /* 设置字体颜色为灰色 */
16
            font-size: 25px; /* 设置字体大小为 20px */
17
        }
18
        </style>
19
        """,
20
        unsafe_allow_html=True
21
    )
22

23
    st.markdown(
24
        """
25
        <h1 style="text-align:center;">
26
            个人本地知识库 <span class="text-color">@DeepSeek </span>
27
        </h1>
28
        """,
29
        unsafe_allow_html=True
30
    )
31

32
def load_documents(folder_path):
33
    documents = []
34
    for file_name in os.listdir(folder_path):
35
        file_path = os.path.join(folder_path, file_name)
36
        loader = TextLoader(file_path)
37
        documents.extend(loader.load())  # 读取本地文件的內容
38
    return documents
39

40
def create_vectorstore(documents, model_name="deepseek-r1:1.5b"):
41
    embeddings = OllamaEmbeddings(model=model_name)
42
    vectorstore = FAISS.from_documents(documents, embeddings)
43
    return vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 3})
44

45
def initialize_qa_chain(retriever, model_name="deepseek-r1:1.5b"):
46
    llm = Ollama(model=model_name)
47
    return RetrievalQA.from_chain_type(llm, retriever=retriever)
48

49
def main():
50
    initialize_interface()  # 初始化web
51
    documents = load_documents("data")  # 加载本地文件内容
52
    retriever = create_vectorstore(documents)  # 创建RAG
53
    qa_chain = initialize_qa_chain(retriever)  # 初始化问答
54

55
    query = st.text_area("请输入要搜索问题：",height=80)
56
    if query:
57
        response = qa_chain.run(query)
58
        st.write("💡 回答：", response)
59

60
if __name__ == "__main__":
61
    main()

项目文件结构#

需要把个人的知识库内容放入data目录下面，目前支持text文件目录结构

启动Web程序#

启动Web程序，按照提示打开浏览器，稍等几分钟后（根据个人的电脑配置），就可以提问

1
streamlit run ./rag/app.py

web界面

参考文章#

历史相关文章#

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货