-
Notifications
You must be signed in to change notification settings - Fork 8
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
有点困惑请教一下 #4
Comments
您好! |
谢谢回答,那我继续请教一下,就我的认知目前以外挂知识库为主的方式除了chatgpt其他的llm好像能落地的很少见到,哪怕像chatlaw那种也是pt、sft、知识库一起上。 |
通过特定文本的sft和RLHF加强模型链接知识库能力,是我们v2版本正在尝试的内容。关于特定文本SFT部分,我们考虑通过具有长文本history、总结类任务等的数据进行训练,以学习根据材料回复这种任务形式。关于后者,已经有相关项目进行了可观的实践(https://huggingface.co/fb700/chatglm-fitness-RLHF) |
readme的功能展示说明是20w条天文对话数据分布微调
我想请教一下,一个大模型纯微调是应该没有办法增加新的领域知识的吧,所以这里我们仅仅只做了微调(sft),还是也做了预训练(pt)。
如果能够通过微调就增加新的领域知识的话,我们微调的硬件大概是一个什么配置,谢谢。
The text was updated successfully, but these errors were encountered: