AI 评估,还缺一门其他领域早已依赖的测量科学。
财务有会计,质量有计量。AIMS 是一家独立的研究机构,用方法、工具与开放资源补上这块地基——并让这门科学,在中国企业的真实问题中经受检验。
更好的评估,始于更好的测量。
某个模型在某个基准上拿到 87 分。和什么基线比?抽样误差多大?测的究竟是哪种能力?这些问题,心理测量学、计量学与教育测验在过去一百年里已经给出了系统的答案——AI 评估可以站在这些学科的肩膀上。
AIMS 的做法:先定义构念,再收集数据;每个分数都附带不确定度;为耐用而设计基准。研究提供理论,工具与开放资源把它带进实践——而企业的真实问题,是这门科学经受检验的地方。
四个学科,一门整合的科学。
每根支柱回答一个把 AI 测好的核心问题——三根来自科学,一根通向管理。
测量基础
明确要测什么、如何表征,以及指标在哪里偏离构念。
评估科学
可比较、能支撑决策、经得起时间的评估协议。
统计纪律
不确定度、抽样与分布偏移,是每次评估的一等公民。
治理与管理
把测量结果接入企业的职责、流程、审计与合规体系。
一个小核心,一张开放的网。
研究院由一个小核心团队发起,与研究者和企业实践者以开放网络的方式协作。
Chris
Chris 是 AIMS 研究院的创始人。他长期工作在 AI 能力评估与企业落地的交界处,发起 AIMS 的理由很简单:严谨的测量不仅是学术问题,更是企业敢把 AI 放进核心业务的前提。
TAO TAO
TAO TAO 是研究院的协作者,与 Chris 共同推动研究议程与开放基础设施建设。他关注评估方法在真实企业场景中的效度:分数的变化,是否真的对应业务结果的变化。
研究院的许多问题,需要研究者与企业实践者一起回答。如果你在企业里负责 AI 评估、治理或落地,欢迎加入这张网络。
「当你能够测量你所谈论的东西,并用数字把它表达出来,你才算对它有所了解;当你不能测量它、不能用数字表达它时,你的知识仍是贫乏而不能令人满意的。」
开放,是设计出来的。
研究院以研究实验室的标准运转,以开源项目的方式生长。参与的门槛,只是一个真实的问题。
跟上研究的进度。
研究进展、工具发布与活动通知,发布即送达。无垃圾信息,随时退订。