内地首个AI高考评测 数学全不及格
图:AI得分情况。内
【大公报讯】据第一财经报道:高考这一高难度综合性测试,地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后,考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试,测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分,此次高考测试结果显示,内阿里通义千问2-72B得303分排名第一,地首OpenAI的个AI高格GPT-4o得296分排名第二,上海人工智能实验室的考评书生.浦语2.0排名第三,三个大模型的测数得分率均超过70%,但大模型的学全数学都不及格,最高分也只有75分。不及在数学试卷上,内阅卷老师们发现,大模型的主观题回答相对凌乱,且过程具有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强,但是无法在解题过程中灵活引用。可以看出,在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力,这是大模型普遍面临的难题,也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示,“现在很多大模型的应用场景是客服、聊天等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”
- ·苏州科技创新支持政策再加码
- ·一老牌房企几乎全员“原地解散”,监管已介入
- ·稳定供港/业界:雨灾对供港蔬菜影响有限
- ·黄嘉千曝:婚姻有内幕,她也有小聪明,网友:汪小菲跟夏克立一样
- ·近三年产值复合增速超100% 吴中区助力企业建设智能机器人总部项目
- ·1场3次越位,24队最多!39岁C罗尽力却还被喷,B费B席才是大罪人
- ·中国女排抵达曼谷,袁志带队,张常宁露大将风范,王云蕗略显憔悴
- ·刘和平:普京访问朝鲜,打到了北约痛点
- ·北京观察/价格战与价值链\马浩亮
- ·实惨!中企从俄罗斯买2千万美元铜凭空消失,工厂都找不到
- ·考公的斯坦福博士父母等情况披露!岗位限5年不能流出本乡镇
- ·谁在给姜萍造神?方舟子“打假”遭打脸,搬起石头砸了自己的脚
- ·相城经开区以科技创新发展新质生产力 持续“上新”激起发展澎湃动能
- ·某音网红“璇子baby”被认出疑是出现在探花203期
- ·退货率80%,商家被逼疯了,有人亏10万干不下去了
- ·一老牌房企几乎全员“原地解散”,监管已介入