AIMS
方法与工具

一套测量工具栈,向所有人开放。

为严谨的 AI 测量准备的开源工具与数据:一个评估框架、一个企业基准库、一个在浏览器里体检基准的诊断工具。全部处于早期建设,路线图公开。

承诺

建立在明确的承诺之上。

从估计到审查,每一件都独立成立,又互相加强——为下一代企业 AI 评估准备的共享基础设施。

01

默认可组合

指标、数据与不确定度估计彼此协同,不需要定制管线。

02

测量感知的输出

每个结果都亮出自己的假设:分数永远带着不确定度与可比性信息。

03

为社区而建

企业与研究者都能采用、扩展并回馈同一套基础设施。

01 框架
设计中

aims-eval

面向企业评估的开源框架:构念定义、任务采样、不确定度估计与报告生成,一条链路完成。

  • 构念先行的评估配置
  • 内置不确定度与显著性检验
  • 报告双轨输出:给工程师,也给管理层
  • 兼容主流推理栈
02 数据
建设中

bench-db

标准化的企业场景评估结果库,为效度与信度研究而设计。

  • 题目级模型响应
  • 企业场景优先的领域覆盖
  • 版本化与防泄漏轮换
  • 脱敏与合规先行
03 诊断
原型

bench-caliper

浏览器里的基准体检工具:检查题目行为、信度,以及一个分数到底在测什么。

  • 题目行为检查
  • 信度诊断
  • 「这个分数在测什么」
  • 纯前端运行,数据不出浏览器

用它、扩展它、贡献回来。

工具栈仍在早期——正因如此,现在加入的影响最大。来信获得早期体验,或订阅通讯获取发布通知。

获取早期体验GitHub · 筹备中