一套测量工具栈,向所有人开放。
为严谨的 AI 测量准备的开源工具与数据:一个评估框架、一个企业基准库、一个在浏览器里体检基准的诊断工具。全部处于早期建设,路线图公开。
建立在明确的承诺之上。
从估计到审查,每一件都独立成立,又互相加强——为下一代企业 AI 评估准备的共享基础设施。
默认可组合
指标、数据与不确定度估计彼此协同,不需要定制管线。
测量感知的输出
每个结果都亮出自己的假设:分数永远带着不确定度与可比性信息。
为社区而建
企业与研究者都能采用、扩展并回馈同一套基础设施。
01 框架
aims-eval
面向企业评估的开源框架:构念定义、任务采样、不确定度估计与报告生成,一条链路完成。
- 构念先行的评估配置
- 内置不确定度与显著性检验
- 报告双轨输出:给工程师,也给管理层
- 兼容主流推理栈
02 数据
bench-db
标准化的企业场景评估结果库,为效度与信度研究而设计。
- 题目级模型响应
- 企业场景优先的领域覆盖
- 版本化与防泄漏轮换
- 脱敏与合规先行
03 诊断
bench-caliper
浏览器里的基准体检工具:检查题目行为、信度,以及一个分数到底在测什么。
- 题目行为检查
- 信度诊断
- 「这个分数在测什么」
- 纯前端运行,数据不出浏览器