互联网梗百科 - 爱思词典

互联网梗百科

FlagEval

FlagEval（天秤）是北京智源人工智能研究院（BAAI）推出的科学、公正、开放的大模型评测体系及开放平台，为研究人员提供全面评估基础模型及训练算法性能的工具和方法。FlagEval采用“能力-任务...查看更多

onenightstands

08-19

AGI-Eval

AGI-Eval是上海交通大学、同济大学、华东师范大学、DataWhale等高校和机构合作发布的大模型评测社区，旨在打造公正、可信、科学、全面的评测生态，以“评测助力，让AI成为人类更好的伙伴”为使命...查看更多

08-19

CMMLU

CMMLU是综合性的中文评估基准，专门用在评估语言模型在中文语境下的知识和推理能力，涵盖从基础学科到高级专业水平的67个主题。包括需要计算和推理的自然科学，需要知识的人文科学和社会科学，及需要生活常识...查看更多

lenababy

08-19

LLMEval3

LLMEval是由复旦大学NLP实验室推出的大模型评测基准，最新的LLMEval-3聚焦于专业知识能力评测，涵盖哲学、经济学、法学、教育学、文学、历史学、理学、工学、农学、医学、军事学、管理学、艺术学...查看更多

Abella Danger

08-19

LMArena

LMArena是加州大学伯克利分校推出的创新AI模型评估平台，基于让用户对不同AI模型的回答进行匿名投票，衡量模型的表现。用户输入问题后，平台提供两个模型的回答，用户根据偏好选择更优答案，投票结果直接...查看更多

彩库宝典

08-19

HELM

HELM全称Holistic Evaluation of Language Models（语言模型整体评估）是斯坦福大学推出的大模型评测体系，评测方法主要包括场景、适配、指标三大模块，每次评测的运行都...查看更多

lenababy

08-19

OpenCompass

OpenCompass面向大模型的开源方和使用者，提供开源、高效、全面的大模型评测开放平台。网站包含大模型评测榜单，评测集社区，文档等专区。榜单专区包含大语言模型以及多模态大模型榜单，提供多能力维度...查看更多

Kristen Scott

08-19

MMBench

MMBench是多模态基准测试，由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员联合推出。MMBench推出一个综合评估流程，从感知到认知能力逐级细分评估，覆盖20...查看更多

快手灵儿

08-19

H2O EvalGPT

H2O EvalGPT 是 H2O.ai 用于评估和比较 LLM 大模型的开放工具，它提供了一个平台来了解模型在大量任务和基准测试中的性能。无论你是想使用大模型自动化工作流程或任务，H2O EvalG...查看更多

nikibaby

08-19

PubMedQA

PubMedQA是专门用在生物医学研究问题回答的数据集。PubMedQA通过文献摘要回答“是/否/可能”形式的研究问题，例如“某种药物是否有效”。数据集包含1000个专家标注的问答实例、61200个未...查看更多

啵啵梨

08-19

MMLU

MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大...查看更多

sweetybebe

08-19

SuperCLUE

SuperCLUE是中文通用大模型综合性评测基准，前身为中文语言理解测评基准（CLUE），旨在评估中文通用大模型的综合效果、与国际模型的对比及人类基准差距。其评测体系涵盖基础能力、专业能力、中文特性能...查看更多

harisex

08-19

下一页