-
学术期刊
-
学术著作
-
精品图书
-
投稿须知
语言文学与数字传播研究 2025年8月 第一卷 总第2期
大语言模型的上下文理解能力提升路径：机制分析与实验验证
王乐扬 杨旺 刘骏 胡粤斐
长沙职业技术学院 湖南长沙 410217
摘要：近日，一项来自 ICML 2025 的新研究《Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding》揭示了大型语言模型中一个重要现象：在注意力机制的查询 (Q) 和键 (K) 表示中存在非常集中的极大值，而在值 (V) 表示中却没有这种模式。这一现象在使用旋转位置编码 (RoPE) 的现代Transformer 模型中普遍存在，对我们理解 LLM 内部工作机制具有重要意义。本研究由罗格斯大学张永锋教授的团队完成，一作为金明宇，罗格斯大学博士生，在 ACL、ICML、AAAI、NAACL、COLM、ICLR、EMNLPCOLING 等顶级会议上发表过论文。在人工智能领域，大语言模型（LLMs）已经在数学和编程等需要严谨思维的领域取得了显著进步。不过，你有没有注意到，虽然这些 AI 模型能解决复杂的数学题，却常常在理解人际交往和社交场景时显得 " 不够人性化 " ？这种现象背后有着深刻的原因：社交世界遵循着不同于数学领域的规则，需要更加多元的认知模式。大语言模型（LLMs）凭借大规模参数配置与海量预训练语料，在自然语言处理领域展现出强劲能力，但其上下文理解表现仍受长文本建模效率欠佳、语义关联断裂及复杂逻辑推理薄弱等问题制约。本文采用机制解构与实验验证相结合的方式，系统剖析 LLMs 上下文理解能力的核心制约因素，提出 “结构优化 - 知识增强 - 任务适配” 的协同提升框架，并通过对照实验验证各路径的实际效能。研究结果表明，基于注意力机制改进的长文本建模策略、领域知识图谱融合方法及多任务微调方案，能显著增强模型在长对话处理、逻辑推理及跨领域上下文理解任务中的表现，为 LLMs 在复杂场景中的深度应用提供理论支持与实践指导。
关键词：大语言模型；上下文理解；注意力机制优化；知识增强；微调策略
