大家好,我是二哥呀。
从 8 月底开始,我给 PaiCLI 做了一套评测集,28 道题,满分 100。DeepSeek V4 Flash 和 GLM-5.3-Flash 两个模型接进去,前前后后跑了好几轮,真实调用了两百多次模型。
到今天为止,这套评测的正式分数是 null。
数字其实跑出来过。8 月 31 日那一轮,DeepSeek 拿了 100,GLM 拿了 87;9 月 4 日复测,两家都是 89。这些数字都在报告里,可我一个都不敢拿出来当成绩发。
原因说起来有点丢人。9 月 4 日那两个 89 分,扣掉的 11 分是同一道题,出错的是我写的验题脚本。它把只读快照复制到临时目录后,删旧文件时报了一个 Permission denied,旧的判分程序把这个退出码直接记成了模型做错。修好脚本、用原始产物重新验一遍,一次模型都没调,16 份产物全部通过。




