Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

私有部署版本【工具调用】模块不生效 #1514

Closed
1 of 5 tasks
alvinwee07 opened this issue May 17, 2024 · 3 comments
Closed
1 of 5 tasks

私有部署版本【工具调用】模块不生效 #1514

alvinwee07 opened this issue May 17, 2024 · 3 comments
Labels
bug Something isn't working

Comments

@alvinwee07
Copy link

例行检查

  • 我已确认目前没有类似 issue
  • 我已完整查看过项目 README,以及项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

私有部署版本, 具体版本号: 4.7

问题描述, 日志截图
私有部署版本工具调用不生效,看调试窗口应该是判断出了要用哪个工具,但没有调用工具返回内容;
模型:chtglm3-6b
image

复现步骤
image
image

预期结果
正常获取到工具的返回并调用模型输出

相关截图

@alvinwee07 alvinwee07 added the bug Something isn't working label May 17, 2024
@lijiajun1997
Copy link

config里把tool choice 和function call关掉,另外工具调用对openai兼容性比较好,其他模型建议用分类。

@alvinwee07
Copy link
Author

config里把tool choice 和function call关掉,另外工具调用对openai兼容性比较好,其他模型建议用分类。

改成false 【问题分类】可以用了, 【工具调用】还是不行;然后又试了试把functioncall 改成true,工具调用还是不行

@c121914yu
Copy link
Collaborator

c121914yu commented May 28, 2024

6b的模型,基本不可能靠提示词~ 况且工具调用提示词还挺长的,建议跑点qwen32b这种主流。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

3 participants