状态: 内部评估数据所有权: 研究院所有许可: CC BY-NC 4.0(非商业)
本地推理任务集(评估用)
一个用于评估本地与托管推理的小型内部任务集。由合成与公开来源的提示构成;不含个人数据。
用途
用于内部、可复现地比较不同推理设置。并非权威基准。
来源
合成提示与改编自公开来源的任务。
构成
涵盖摘要、抽取与分类的数十个任务。刻意保持小规模。
已知偏差
- 任务选择反映我们的内部优先级,不代表所有工作负载。
- 仅英文;无多语言覆盖。
局限
- 规模过小,不足以支撑强泛化主张。
- 结果与具体硬件相关。
允许的用途
- 非商业性的研究复现。
禁止的用途
- 商业用途。
- 作为权威基准使用。
访问条件
可应研究复现之需提供。第一阶段不开放下载。