Product Center
产品中心
联系我们
中文通用大模型基准测验SuperCLUE发布 讯飞星火认知大模型国内榜首
产品描述
5月9日,中文通用大模型综合性评测基准SuperCLUE正式对外发布。国产大模型中讯飞科技研制的星火认知大模型总排名第三,国内排名榜首。
中文通用大模型基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准。它首要答复的问题是:在当时通用大模型全力开展的状况下,中文大模型的作用状况。包含但不限于:这些模型不同使命的作用状况、相较于世界上的代表性模型做到了什么程度、这些模型与人类的作用比照怎么?
该组织使用SuperCLUE测验基准,对市面上干流的支撑中文的通用大模型进行了评测与排名。从排名中咱们我们能够看出,GPT-4一骑绝尘,现已很挨近人类的才能。该基准测验首要重视以下问题:中文大模型在不同使命上的体现怎么?与世界代表性模型比较,中文大模型的体现达到了何种程度?中文大模型与人类体现比较怎么?该模型可通过多个层面,检测市面上干流的中文GPT大模型的才能。其间,根底才能包含了常见的有代表性的模型才能,如语义了解、对话、逻辑推理、人物模仿、代码、生成与创造等10项才能。专业才能包含了中学、大学与专业考试,涵盖了从数学、物理、地理到社会科学等50多项才能。中文特性才能,针对有中文特色的使命,包含了中文成语、诗篇、文学、字形等10项多种才能。