用 ChatGPT+LangChain 部署到服务器,打造专属 GPT知识库
代码
from llama_index import SimpleDirectoryReader, LangchainEmbedding, GPTListIndex,GPTSimpleVectorIndex, PromptHelper, LLMPredictor, ServiceContext
from langchain import OpenAI
import gradio as gr
import sys
import os
os.chdir(r'D:\ai') # 文件路径
os.environ["OPENAI_API_KEY"] = '输入你的chatgpt的api'
def construct_index(directory_path):
max_input_size = 4096
num_outputs = 2000
max_chunk_overlap = 20
chunk_size_limit = 600
prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=num_outputs))
documents = SimpleDirectoryReader(directory_path).load_data()
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)
index = GPTSimpleVectorIndex.from_documents(documents,service_context=service_context)
index.save_to_disk('index.json')
return index
def chatbot(input_text):
index = GPTSimpleVectorIndex.load_from_disk('index.json')
response = index.query(input_text, response_mode="compact")
return response.response
iface = gr.Interface(fn=chatbot,
inputs=gr.inputs.Textbox(lines=7, label="输入您的文本"),
outputs="text",
title="AI 知识库聊天机器人")
index = construct_index("docs")
iface.launch(share=True)
本地部署
- 安装 python,小白自己去找安装教程
- pip install llama-index,安装 llama-index 库
- pip install langchain,安装 langchain 库
- pip install gradio,安装 gradio 库
- pip install openai,安装 openai 库
- 若有报错,那根据报错进行安装相应的库,可能因为网络等原因致安装不成功,或缺少自带的库。
- 上面的代码有两处是需要修改的,一是修改文件路径,(我这里是在 D 盘创建了一个 ai 的文件夹,下面是该文件夹为例);二是修改填写你的 open ai 的 api。
- 将上面的代码,保存为 app.py,放到 ai 文件夹。同时,在 ai 文件下创建一个文件夹,命名为 docs,用于放需要训练的文本。
- 将你的知识库以 md 格式,或者 txt、pdf 等格式放到 docs 文件夹
- 一切做完后,用 VS code 等解释器打开 app.py 便可运行。若没有解释器,也可以用 cmd 命令运行,输入 python D:\ai\app.py,进行运行便可。
- 运行因电脑算力和训练的文本多少不同,训练完成之后,会有一个本地域名,用浏览器打开,便可像 chat gpt 一样,使用自己专属的 gpt。
- 关闭运行的话是在终端,键入 ctrl+c
- 注意,每次运行都是对你的知识库进行全部训练,会消耗相应的 api tokens。若不是挂到服务器的话,不建议在 docs 文件中放过多的文件,毕竟电脑总是要关机的。
服务器部署
跟本地部署一致,但我们需要通过域名去访问,所以我们在创建站点之后,要使用到反向代理,对本地的域名进行反向代理,这里以宝塔为例。
生成的5个吸引人的中文标题:
- 打造专属AI知识库,ChatGPT+LangChain助力
- AI知识库聊天机器人,让你的知识更智能
- 零代码构建AI知识库,ChatGPT+LangChain轻松实现
- 定制化部署AI知识库,ChatGPT+LangChain为你助力
- 让聊天机器人成为你的私人AI知识库
生成的5个标签:
#ChatGPT #LangChain #AI知识库 #聊天机器人 #自然语言处理
版权声明:
作者:余汉波
链接:https://www.sanrenjz.com/2023/04/22/%e7%94%a8-chatgptlangchain-%e9%83%a8%e7%bd%b2%e5%88%b0%e6%9c%8d%e5%8a%a1%e5%99%a8%ef%bc%8c%e6%89%93%e9%80%a0%e4%b8%93%e5%b1%9e-gpt%e7%9f%a5%e8%af%86%e5%ba%93/
文章版权归作者所有,未经允许请勿转载。
THE END