logo icon

手把手教你用 ChatGPT plugin 打造一个人知识库系统(二)

接下来正式进入实战环节,我们这次的实战是基于 OpenAI 官方开发的知识库检索插件

官方项目地址在这 👉

不了解原理的童鞋,建议先看完这篇原理哦 👉

在开始之前请确保你已经准备好了这些东西👇🏻

前置条件

1. 科学上网

这个懂得都懂,不做赘述了哈~

2. 插件开发权限

开发插件的前提是,你必须具有开发者权限,而截止目前(2023-05-24日),你必须是具有 ChatGPT plus 会员,且申请了 OpenAI 插件开发者申请表单,才有资格进行插件开发,还没有申请的小伙伴要提前弄好这个哦,预计一周内可以拿到插件开发资格

3.开发环境

不要听到开发环境,就觉得这个不懂技术就没法弄了。其实很简单,按照我给你的流程一步一步操作下来很简单,首先你需要准备以下几个工具

3.1 安装 Docker

它是一个容器环境,简单的理解就是,它相当于你本地的一台小虚拟机,我们晚点需要在它上面安装向量数据库,用来存储由 OpenAI 映射后的向量数据。

3.2 安装 Postman

它是一个调试工具,当我们需要往数据库里面录入数据的时候,我们需要发起一个网络请求,可以简单的理解为,我们需要告诉 OpenAI,我们的录入文件在哪儿,这个文章的作者是谁,以及这篇文章的发布时间等等信息。这些信息的提交可以通过命令行工具,但这样对非开发人员不太友好,所以我建议你使用这个工具来做,会看起来更加直观。

3.3 安装 Git

这个是一个代码管理工具,它一般可以用来做代码的管理。不过我们不用了解那么多,我们在这里只需要通过它将项目的线上代码拉到本地,晚点运行即可,通过下面的链接,根据自己的操作系统下载对应的版本,然后一步一步安装即可

3.4 安装 Python

我们这次所用到的项目是基于 Python 开发的,所以在这之前,你需要提前准备好 Python 的运行环境,根据自己的操作系统,下载最新的安装包,然后一步一步安装即可

3.7K 的中文字数,收了 2 分钱,太良心了好吧?

开始搭建

首先找到你要保存项目的目录,打开命令行工具将代码下载下来,用我们刚才准备好的 Git 命令行工具下载

git clone https://github.com/openai/chatgpt-retrieval-plugin.git

接着进入项目的目录

cd /你下载项目的位置/chatgpt-retrieval-plugin

安装 poetry 包管理工具

pip install poetry

创建 python 虚拟运行环境

poetry env use python3.10

激活虚拟环境

poetry shell

安装项目环境依赖境

poetry install

创建 Barken Token,你可以简单的理解为给我们的网络请求上锁,而这个 Barken Token 会给请求配置一把钥匙,这样就能够防止别人进入我们的向量数据库。 为了方便起见,建议你直接用这个 👇

根据你的想法填入字段,然后把这个一长串的秘钥记下来,并且不要搞丢了,待会儿用得着

现在基本上我们已经准备了绝大部分环境了,接下来我们需要把向量数据库运行起来,我这边用的是 本地 redis 环境,你当然也可以通过官方推荐的其他向量数据,但我还是建议你先按照我的这个方案,先在本地运行起来试试看。 直接通过下面这个命令就可以启动一个本地 docker 的 redis 向量数据库

docker run -it --rm -p 6379:6379 redis/redis-stack-server:latest

进展顺利的话,你会在 Images 中看到一个 redis/redis-stack-server 的服务 这一步弄完,我们完成了所有的配置工作,在运行项目之前,我们还需要把 OpenAI 的 api-key 拿到,还记得说项目原理吗?我们在做向量映射的时候,是需要用到 OpenAI 的 text-embedding-ada-002 的大模型的映射能力的,因此需要在 OpenAI 的后台生成一个 api-key。 所以我们需要在本地指定三个东西,才能运行项目

1. 我们用了什么数据库,以及数据库相关的配置信息 2. 我们的 OpenAI api key 3. 我们的 Baker token 密码 直接在当前终端,运行如下三个命令

export DATASTORE='redis'

export BEARER_TOKEN='你刚才通过 jwt.io 工具生成的秘钥'

export OPENAI_API_KEY='你在 OpenAI 生成的 api-key'

以上,我们所有的准备工作都完成了,接下来我们便可以见证奇迹的时刻,通过如下命令启动服务

poetry run start

这个时候,当你打开 http://0.0.0.0:8000/docs 地址时,应该看到如下的页面👇🏻,如果打不开,尝试将你的科学上网工具关闭,再打开尝试一下

接着,我们在右上角把 jwt.io 生成的钥匙填进去,这样就可以通过这里面的接口,向我们的向量数据库填入数据啦。像这样👇🏻

另外,除了本地的与数据库交互的服务打开,还需要在本地把插件服务打开,这样在 OpenAI 的界面上才可以加载到我们的服务,你需要在项目目录下,运行如下命令:

poetry run dev

项目运行顺利的话,你会在终端看到如下的界面提示:

接着我们来到 OpenAI 的插件页面,将我们本地终端的运行地址复制进来,你就会在插件页面看到自己的插件啦。

让我们针对之前我们在资料库里面发的内容,做一下检索试试看👇🏻

🎉🎉🎉 bingo! 以上,所以得搭建过程已经全部完成,剩下的就看你怎么利用好它了。另外如果自己有多设备,或者你想要将自己的知识库共享给他人使用,可能就需要将以上两个服务挂载在公开云上,这个后期我会写教程分享出来,敬请关注~

© 2023

Build my mindset system

手把手教你用 ChatGPT plugin 打造一个人知识库系统(二)

接下来正式进入实战环节,我们这次的实战是基于 OpenAI 官方开发的知识库检索插件

官方项目地址在这 👉

不了解原理的童鞋,建议先看完这篇原理哦 👉

在开始之前请确保你已经准备好了这些东西👇🏻

前置条件

1. 科学上网

这个懂得都懂,不做赘述了哈~

2. 插件开发权限

开发插件的前提是,你必须具有开发者权限,而截止目前(2023-05-24日),你必须是具有 ChatGPT plus 会员,且申请了 OpenAI 插件开发者申请表单,才有资格进行插件开发,还没有申请的小伙伴要提前弄好这个哦,预计一周内可以拿到插件开发资格

3.开发环境

不要听到开发环境,就觉得这个不懂技术就没法弄了。其实很简单,按照我给你的流程一步一步操作下来很简单,首先你需要准备以下几个工具

3.1 安装 Docker

它是一个容器环境,简单的理解就是,它相当于你本地的一台小虚拟机,我们晚点需要在它上面安装向量数据库,用来存储由 OpenAI 映射后的向量数据。

3.2 安装 Postman

它是一个调试工具,当我们需要往数据库里面录入数据的时候,我们需要发起一个网络请求,可以简单的理解为,我们需要告诉 OpenAI,我们的录入文件在哪儿,这个文章的作者是谁,以及这篇文章的发布时间等等信息。这些信息的提交可以通过命令行工具,但这样对非开发人员不太友好,所以我建议你使用这个工具来做,会看起来更加直观。

3.3 安装 Git

这个是一个代码管理工具,它一般可以用来做代码的管理。不过我们不用了解那么多,我们在这里只需要通过它将项目的线上代码拉到本地,晚点运行即可,通过下面的链接,根据自己的操作系统下载对应的版本,然后一步一步安装即可

3.4 安装 Python

我们这次所用到的项目是基于 Python 开发的,所以在这之前,你需要提前准备好 Python 的运行环境,根据自己的操作系统,下载最新的安装包,然后一步一步安装即可

3.7K 的中文字数,收了 2 分钱,太良心了好吧?

开始搭建

首先找到你要保存项目的目录,打开命令行工具将代码下载下来,用我们刚才准备好的 Git 命令行工具下载

git clone https://github.com/openai/chatgpt-retrieval-plugin.git

接着进入项目的目录

cd /你下载项目的位置/chatgpt-retrieval-plugin

安装 poetry 包管理工具

pip install poetry

创建 python 虚拟运行环境

poetry env use python3.10

激活虚拟环境

poetry shell

安装项目环境依赖境

poetry install

创建 Barken Token,你可以简单的理解为给我们的网络请求上锁,而这个 Barken Token 会给请求配置一把钥匙,这样就能够防止别人进入我们的向量数据库。 为了方便起见,建议你直接用这个 👇

根据你的想法填入字段,然后把这个一长串的秘钥记下来,并且不要搞丢了,待会儿用得着

现在基本上我们已经准备了绝大部分环境了,接下来我们需要把向量数据库运行起来,我这边用的是 本地 redis 环境,你当然也可以通过官方推荐的其他向量数据,但我还是建议你先按照我的这个方案,先在本地运行起来试试看。 直接通过下面这个命令就可以启动一个本地 docker 的 redis 向量数据库

docker run -it --rm -p 6379:6379 redis/redis-stack-server:latest

进展顺利的话,你会在 Images 中看到一个 redis/redis-stack-server 的服务 这一步弄完,我们完成了所有的配置工作,在运行项目之前,我们还需要把 OpenAI 的 api-key 拿到,还记得说项目原理吗?我们在做向量映射的时候,是需要用到 OpenAI 的 text-embedding-ada-002 的大模型的映射能力的,因此需要在 OpenAI 的后台生成一个 api-key。 所以我们需要在本地指定三个东西,才能运行项目

1. 我们用了什么数据库,以及数据库相关的配置信息 2. 我们的 OpenAI api key 3. 我们的 Baker token 密码 直接在当前终端,运行如下三个命令

export DATASTORE='redis'

export BEARER_TOKEN='你刚才通过 jwt.io 工具生成的秘钥'

export OPENAI_API_KEY='你在 OpenAI 生成的 api-key'

以上,我们所有的准备工作都完成了,接下来我们便可以见证奇迹的时刻,通过如下命令启动服务

poetry run start

这个时候,当你打开 http://0.0.0.0:8000/docs 地址时,应该看到如下的页面👇🏻,如果打不开,尝试将你的科学上网工具关闭,再打开尝试一下

接着,我们在右上角把 jwt.io 生成的钥匙填进去,这样就可以通过这里面的接口,向我们的向量数据库填入数据啦。像这样👇🏻

另外,除了本地的与数据库交互的服务打开,还需要在本地把插件服务打开,这样在 OpenAI 的界面上才可以加载到我们的服务,你需要在项目目录下,运行如下命令:

poetry run dev

项目运行顺利的话,你会在终端看到如下的界面提示:

接着我们来到 OpenAI 的插件页面,将我们本地终端的运行地址复制进来,你就会在插件页面看到自己的插件啦。

让我们针对之前我们在资料库里面发的内容,做一下检索试试看👇🏻

🎉🎉🎉 bingo! 以上,所以得搭建过程已经全部完成,剩下的就看你怎么利用好它了。另外如果自己有多设备,或者你想要将自己的知识库共享给他人使用,可能就需要将以上两个服务挂载在公开云上,这个后期我会写教程分享出来,敬请关注~

© 2023

Build my mindset system

手把手教你用 ChatGPT plugin 打造一个人知识库系统(二)

接下来正式进入实战环节,我们这次的实战是基于 OpenAI 官方开发的知识库检索插件

官方项目地址在这 👉

不了解原理的童鞋,建议先看完这篇原理哦 👉

在开始之前请确保你已经准备好了这些东西👇🏻

前置条件

1. 科学上网

这个懂得都懂,不做赘述了哈~

2. 插件开发权限

开发插件的前提是,你必须具有开发者权限,而截止目前(2023-05-24日),你必须是具有 ChatGPT plus 会员,且申请了 OpenAI 插件开发者申请表单,才有资格进行插件开发,还没有申请的小伙伴要提前弄好这个哦,预计一周内可以拿到插件开发资格

3.开发环境

不要听到开发环境,就觉得这个不懂技术就没法弄了。其实很简单,按照我给你的流程一步一步操作下来很简单,首先你需要准备以下几个工具

3.1 安装 Docker

它是一个容器环境,简单的理解就是,它相当于你本地的一台小虚拟机,我们晚点需要在它上面安装向量数据库,用来存储由 OpenAI 映射后的向量数据。

3.2 安装 Postman

它是一个调试工具,当我们需要往数据库里面录入数据的时候,我们需要发起一个网络请求,可以简单的理解为,我们需要告诉 OpenAI,我们的录入文件在哪儿,这个文章的作者是谁,以及这篇文章的发布时间等等信息。这些信息的提交可以通过命令行工具,但这样对非开发人员不太友好,所以我建议你使用这个工具来做,会看起来更加直观。

3.3 安装 Git

这个是一个代码管理工具,它一般可以用来做代码的管理。不过我们不用了解那么多,我们在这里只需要通过它将项目的线上代码拉到本地,晚点运行即可,通过下面的链接,根据自己的操作系统下载对应的版本,然后一步一步安装即可

3.4 安装 Python

我们这次所用到的项目是基于 Python 开发的,所以在这之前,你需要提前准备好 Python 的运行环境,根据自己的操作系统,下载最新的安装包,然后一步一步安装即可

3.7K 的中文字数,收了 2 分钱,太良心了好吧?

开始搭建

首先找到你要保存项目的目录,打开命令行工具将代码下载下来,用我们刚才准备好的 Git 命令行工具下载

git clone https://github.com/openai/chatgpt-retrieval-plugin.git

接着进入项目的目录

cd /你下载项目的位置/chatgpt-retrieval-plugin

安装 poetry 包管理工具

pip install poetry

创建 python 虚拟运行环境

poetry env use python3.10

激活虚拟环境

poetry shell

安装项目环境依赖境

poetry install

创建 Barken Token,你可以简单的理解为给我们的网络请求上锁,而这个 Barken Token 会给请求配置一把钥匙,这样就能够防止别人进入我们的向量数据库。 为了方便起见,建议你直接用这个 👇

根据你的想法填入字段,然后把这个一长串的秘钥记下来,并且不要搞丢了,待会儿用得着

现在基本上我们已经准备了绝大部分环境了,接下来我们需要把向量数据库运行起来,我这边用的是 本地 redis 环境,你当然也可以通过官方推荐的其他向量数据,但我还是建议你先按照我的这个方案,先在本地运行起来试试看。 直接通过下面这个命令就可以启动一个本地 docker 的 redis 向量数据库

docker run -it --rm -p 6379:6379 redis/redis-stack-server:latest

进展顺利的话,你会在 Images 中看到一个 redis/redis-stack-server 的服务 这一步弄完,我们完成了所有的配置工作,在运行项目之前,我们还需要把 OpenAI 的 api-key 拿到,还记得说项目原理吗?我们在做向量映射的时候,是需要用到 OpenAI 的 text-embedding-ada-002 的大模型的映射能力的,因此需要在 OpenAI 的后台生成一个 api-key。 所以我们需要在本地指定三个东西,才能运行项目

1. 我们用了什么数据库,以及数据库相关的配置信息 2. 我们的 OpenAI api key 3. 我们的 Baker token 密码 直接在当前终端,运行如下三个命令

export DATASTORE='redis'

export BEARER_TOKEN='你刚才通过 jwt.io 工具生成的秘钥'

export OPENAI_API_KEY='你在 OpenAI 生成的 api-key'

以上,我们所有的准备工作都完成了,接下来我们便可以见证奇迹的时刻,通过如下命令启动服务

poetry run start

这个时候,当你打开 http://0.0.0.0:8000/docs 地址时,应该看到如下的页面👇🏻,如果打不开,尝试将你的科学上网工具关闭,再打开尝试一下

接着,我们在右上角把 jwt.io 生成的钥匙填进去,这样就可以通过这里面的接口,向我们的向量数据库填入数据啦。像这样👇🏻

另外,除了本地的与数据库交互的服务打开,还需要在本地把插件服务打开,这样在 OpenAI 的界面上才可以加载到我们的服务,你需要在项目目录下,运行如下命令:

poetry run dev

项目运行顺利的话,你会在终端看到如下的界面提示:

接着我们来到 OpenAI 的插件页面,将我们本地终端的运行地址复制进来,你就会在插件页面看到自己的插件啦。

让我们针对之前我们在资料库里面发的内容,做一下检索试试看👇🏻

🎉🎉🎉 bingo! 以上,所以得搭建过程已经全部完成,剩下的就看你怎么利用好它了。另外如果自己有多设备,或者你想要将自己的知识库共享给他人使用,可能就需要将以上两个服务挂载在公开云上,这个后期我会写教程分享出来,敬请关注~