操作系统及版本
ubuntu24.04
安装工具的python环境
在anaconda/miniconda创建的python虚拟环境
python版本
3.11
AISBench工具版本
3.0.-20260605
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets demo_gsm8k_gen_0_shot_cot_chat_prompt --debug
模型配置文件或自定义配置文件内容
bs=32 ,max-output=20480
预期行为
预期大模型的输出最后字段答案是Ok的，人为检测没问题，提取应该是没问题的
实际行为
但是有一些prediction的最后字段答案正确，但是提取出来确实另一个答案，基本100条会错误5-6条左右
前置检查
操作系统及版本
ubuntu24.04
安装工具的python环境
在anaconda/miniconda创建的python虚拟环境
python版本
3.11
AISBench工具版本
3.0.-20260605
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets demo_gsm8k_gen_0_shot_cot_chat_prompt --debug
模型配置文件或自定义配置文件内容
bs=32 ,max-output=20480
预期行为
预期大模型的输出最后字段答案是Ok的，人为检测没问题，提取应该是没问题的
实际行为
但是有一些prediction的最后字段答案正确，但是提取出来确实另一个答案，基本100条会错误5-6条左右
前置检查