迈向通用人工智能：探索大型语言模型的技术进展

       来自粤港澳大湾区数字研究院的认知计算与自然语言研究中心的高级算法研究院王昊在大会中为我们带来了关于迈向通用人工智能的精彩学术报告。报告中谈到，当我们回顾人工智能领域的发展，不难看出一系列引领着未来AI发展方向的新趋势，这些趋势正将我们引向通用人工智能（AGI）的门槛。

       首先，AI模型的预测能力正在经历巨大的提升。在过去，AI模型主要用于预测文本中的下一个字或词汇，但现在，它们已经展示出对世界的更深层次理解。这意味着它们能够推理、抽象和生成概念，类似于人类哲学家维特根斯坦提出的“语言图像论”。这使得AI不再仅仅是一种工具，而更像是一个具备智慧和创造力的伙伴。

       其次，传统的统计机器学习正逐渐退出历史舞台，取而代之的是基于预训练的认知机器学习。这种新方法通过出题和解谜的方式，使模型能够构建通用语言理解能力，而不再受限于传统的训练数据。这一趋势突显了AI系统从被动学习向主动推理的演变。

       第三，AI模型的规模和复杂性呈现出爆炸性增长，这导致对更大算力的需求急剧上升。从最初的AlexNet网络到如今的数百亿参数的大型模型，AI算力的需求呈现出几何级增长。这种增长为AI系统的训练和优化提供了更多的能量，使其能够处理更加复杂和广泛的任务。

       此外，AI的关注点已经从传统的规则系统、搜索引擎和传统机器学习方法转向了深度学习和大型生成式模型。这些模型在自然语言处理、计算机视觉等领域占据着主导地位，为解决复杂问题提供了有力工具。

       AI项目也经历了从小型研究项目到庞大工程项目的转变。这种演进需要大量的工程师、标注员和资源，以优化和维护庞大的AI模型。这也反映出AI不再仅仅是研究领域的产物，而是一项重大的工程任务。

       最后，AI的结构发生了根本性的改变。以前，AI系统依赖于底层结构和传统的结构化方法，但现在，AI系统更加灵活，不再依赖于固定的模型架构。这为开发者提供了更多的创新空间，使他们能够更好地适应各种任务和领域。

报告来源信息：https://stat-ds.sustech.edu.cn/portal/meeting/index/id/12