MMLU

MMLU

大规模多任务语言理解基准

MMLU 是什么?适合谁用?怎么收费?

MMLU 是本站「AI模型评测」分类收录的一款 AI 工具。大规模多任务语言理解基准定价方式为免费使用。本站整理的是工具公开介绍与官网入口,实际功能、免费额度与订阅价格以工具官网当前说明为准。

  • 是什么:大规模多任务语言理解基准
  • 适合谁:需要「AI模型评测」相关能力的用户。
  • 怎么收费:免费使用;具体额度与订阅价格以工具官网为准。

MMLU 能做什么?

MMLU 全称 Massive Multitask Language Understanding,是一种针对大模型的语言理解能力的测评,是目前最著名的大模型语义理解测评之一,由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务,包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛,语言是英文,用以评测大模型基本的知识覆盖范围和理解能力。

MMLU 的信息来源与使用注意

本页的功能特点、定价标签与语言信息整理自 MMLU 的公开介绍页,可前往MMLU 官方网站核对最新版本。免费额度、订阅价格、导出限制与数据隐私条款可能随版本调整,正式使用前请以官网当前说明为准;发现信息有误可通过「意见反馈」页面提交修正。

来源:https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu

评论

0/500
还没有评论,来说两句吧~
MMLU:功能、适用场景与官网 | SmartAITool