摘要： 本文探讨了人工智能发展中的转折点，指出单纯通过扩大模型规模已无法带来显著进步。作者认为，实现通用人工智能（AGI）的关键在于构建结合模型、记忆、上下文和确定性工作流程的工程化系统。文章分析了当前大型语言模型的局限性，如缺乏持久记忆和难以维持连贯上下文等，并提出了构建AGI所需的关键系统，包括上下文管理、记忆服务、确定性工作流程和专用模型组件。作者强调，AGI的挑战在于分布式系统工程，而非机器学习问题，并提出了一个分阶段的系统构建路线图。
讨论： 该内容讨论了大型语言模型（LLMs）的发展及其与通用人工智能（AGI）的关系。主要观点包括：1. 对于LLMs的进步，不应仅仅归功于工程上的改进，而应更多地关注基础科学的发展。2. LLMs的设计需要考虑梯度下降等训练策略，并需要大量数据进行训练。3. LLMs目前还处于发展的早期阶段，类似于GPU在摩尔定律之前的阶段。4. AGI的实现可能需要结合系统级工程和基础科学的研究。5. 对于AGI的实现，目前存在很多不确定性和挑战，需要更多的研究和探索。
原文标题：AGI is an engineering problem, not a model training problem
原文链接：https://www.vincirufus.com/posts/agi-is-engineering-problem/
讨论链接：https://news.ycombinator.com/item?id=45000176