在国家星空彩票官方苹果版项目(批准号:T2122007)等资助下,复旦大学智能复杂体系基础理论与关键技术实验室、现代语言学研究院张梦翰团队与计算与智能创新学院邱锡鹏、黄萱菁团队合作,揭示了仅通过预测训练大语言模型能够自发涌现出类人的概念表征及其组织结构。研究成果以“语言预测揭示涌现的类人概念表征(Revealing emergent human-like conceptual representations from language prediction)”为题,于2025年10月31日发表于《美国科学院院刊》(Proceedings of the National Academy of Sciences,PNAS)。论文链接:https://doi.org/10.1073/pnas.2512514122 。
仅依赖下一个token预测训练的大语言模型(LLMs)是否形成了类似于人类的概念是人工智能与认知科学共同关注的科学问题。研究团队将“反向词典”任务重构为概念探针,结合表征相似性分析(RSA)等计算方法,系统探究了LLMs在不同语境下构建概念表征的能力。研究团队提出的模型能够根据语言描述灵活推导概念,且其表征逐渐收敛于一种共享的、独立于具体语境的关系结构。这些关系结构不仅能可靠预测模型在各项理解与推理任务中的表现,还与SimLex-999、THINGS等人类心理行为数据高度一致。研究发现该表征与人脑视觉皮层等区域的神经活动模式呈现显著的对齐关系,这一发现验证了表征模型与组织结构的生物学合理性。
研究表明,结构化的类人概念表征可以单纯通过语言预测机制涌现。该研究不仅为利用大语言模型探索人类概念本质提供了新窗口,也为推进人工智能与人类智能的深度对齐奠定了基础。

图 概念表征探针预测性能示意图