换种思路训练gpt3.5

Ws1年前分什么类993
  • 问题一

我用的是aws的免费服务器,centos,版本比较老旧,想在python3基础上运行openai,可惜怎么都装不了,openai提供的方法,使用pyenv来装,顺利解决。

curl https://pyenv.run | bash

然后配置下环境 ~/.bashrc 

export PATH="$HOME/.pyenv/bin:$PATH"
eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"

最后source ~/.bashrc 

开始安装python

pyenv install 3.9.0

如果系统存在更高的python版本,需要设置成你想要的版本号

pyenv global 3.9.0

也还有可能出现这个错误 The `python3' command exists in these Python versions:3.9.0

这个情况下,需要指定shell版本

pyenv shell 3.9.0


  • 问题二

urllib3的库只支持openssl 1.1.1+,奈何系统已经升级了最新版本的openssl,urllib还是报错,只能降级urllib3了

pip3 install urllib3==1.26.6


  • 问题三

openai的关联库sklearn,已安装的情况下,一直报错 ModuleNotFoundError: No module named 'sklearn'

解决方法:

pip install scikit-learn


问题都解决了,那开始进入正题,如何换思路呢?

前面这篇POST已经提到过了,finetunes不理想,我个人已经放弃训练这个3.0版本了,3.5有角色功能,system assistant  user,我直接从system角色入手,提前将匹配的答案存入system。实操是有明显效果的,只是会消耗更多的token。


开始,首先思路有了,怎么才能轻松地把匹配的答案找到呢,我们还是使用openai的工具:embeddings_utils,我们先将原县喂给finetunes的资料丢给embeddings,然后get_embedding出最佳答案,最后存入system,发送给api。效果挺好,就是费钱。

相关文章

Debian 10 开发一个go语言接口

Debian 10 开发一个go语言接口

首先是安装go环境 # 1、预备工作 sudo apt-get update sudo apt-get -y install&...

摩友福音!通知转语音

摩友福音!通知转语音

因为穷,一直摩托车通勤,开了这么多年摩托车,其他什么都好,但是有个小困扰,行驶过程中会耽误一些重要的回复,虽然大多数人的消息可以滞后再回复,但是咱还没有到那么高的级别,什么事情都可以不紧不慢的处理。就...

mpvue vant 做个简单的核销小程序

我们公司业务一般偏营销,小程序的属性在营销这块没有那么明显,所以很少会有小程序的业务,这次也是帮朋友的忙,用mpvue+vant做了个简单的应用。应用不复杂,但是大部分的功能也都用到了,比如生成/扫描...

微信群聊机器人介入AI

微信群聊机器人介入AI

16年那时候我们的工作群就加入了机器人,那时候用的是web版的接口,后来微信封锁了,又改称了目前的PC端软件hook方式。只是最近把我们机器人拉入了客户群,充当客服,给他们解答订单进度问题。客户领导感...

predis 配合 supervisord 做消息队列

不是完整的代码,了解大概用。我的测试服务器比较老。centos 6.5yum install supervisord  // 直接安装安装解释后,配置...

不太理想的Fine-tunes

不太理想的Fine-tunes

之前了解到openai可以针对GPT3.0进行再训练时,就已经迫不及待的试验了一把,但是效果不尽人意,我都准备放弃它了。需求点,是准备让它充当客服,喂了一部分客服QA。但是各种微调之后给的结果仅是补充...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。