用 ChatGPT+LangChain 部署到服务器,打造专属 GPT知识库

代码

from llama_index import SimpleDirectoryReader, LangchainEmbedding, GPTListIndex,GPTSimpleVectorIndex, PromptHelper, LLMPredictor, ServiceContext
from langchain import OpenAI
import gradio as gr
import sys
import os
os.chdir(r'D:\ai')  # 文件路径
os.environ["OPENAI_API_KEY"] = '输入你的chatgpt的api'
def construct_index(directory_path):
    max_input_size = 4096
    num_outputs = 2000  
    max_chunk_overlap = 20
    chunk_size_limit = 600
    prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
    llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=num_outputs))
    documents = SimpleDirectoryReader(directory_path).load_data()
    service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)
    index = GPTSimpleVectorIndex.from_documents(documents,service_context=service_context)
    index.save_to_disk('index.json')
    return index
def chatbot(input_text):
    index = GPTSimpleVectorIndex.load_from_disk('index.json')
    response = index.query(input_text, response_mode="compact")
    return response.response
iface = gr.Interface(fn=chatbot,
                     inputs=gr.inputs.Textbox(lines=7, label="输入您的文本"),
                     outputs="text",
                     title="AI 知识库聊天机器人")
index = construct_index("docs")
iface.launch(share=True)

用 ChatGPT+LangChain 部署到服务器,打造专属 GPT知识库-封面.jpg

本地部署

  1. 安装 python,小白自己去找安装教程
  2. pip install llama-index,安装 llama-index 库
  3. pip install langchain,安装 langchain 库
  4. pip install gradio,安装 gradio 库
  5. pip install openai,安装 openai 库
  6. 若有报错,那根据报错进行安装相应的库,可能因为网络等原因致安装不成功,或缺少自带的库。
  7. 上面的代码有两处是需要修改的,一是修改文件路径,(我这里是在 D 盘创建了一个 ai 的文件夹,下面是该文件夹为例);二是修改填写你的 open ai 的 api。
  8. 将上面的代码,保存为 app.py,放到 ai 文件夹。同时,在 ai 文件下创建一个文件夹,命名为 docs,用于放需要训练的文本。
  9. 将你的知识库以 md 格式,或者 txt、pdf 等格式放到 docs 文件夹
  10. 一切做完后,用 VS code 等解释器打开 app.py 便可运行。若没有解释器,也可以用 cmd 命令运行,输入 python D:\ai\app.py,进行运行便可。
  11. 运行因电脑算力和训练的文本多少不同,训练完成之后,会有一个本地域名,用浏览器打开,便可像 chat gpt 一样,使用自己专属的 gpt。
  12. 关闭运行的话是在终端,键入 ctrl+c
  13. 注意,每次运行都是对你的知识库进行全部训练,会消耗相应的 api tokens。若不是挂到服务器的话,不建议在 docs 文件中放过多的文件,毕竟电脑总是要关机的。

服务器部署

跟本地部署一致,但我们需要通过域名去访问,所以我们在创建站点之后,要使用到反向代理,对本地的域名进行反向代理,这里以宝塔为例。

生成的5个吸引人的中文标题:

  1. 打造专属AI知识库,ChatGPT+LangChain助力
  2. AI知识库聊天机器人,让你的知识更智能
  3. 零代码构建AI知识库,ChatGPT+LangChain轻松实现
  4. 定制化部署AI知识库,ChatGPT+LangChain为你助力
  5. 让聊天机器人成为你的私人AI知识库

生成的5个标签:
#ChatGPT #LangChain #AI知识库 #聊天机器人 #自然语言处理

THE END