摘要： 本文探讨了机器学习中的微调技术。在大型语言模型（LLM）的早期，微调曾是热门话题，但随着模型参数量的激增，微调变得不切实际。然而，随着计算能力的提升和新的微调框架的出现，微调技术正逐渐回归。文章分析了微调技术的挑战和机遇，并介绍了Tinker等平台如何利用LoRA等技术实现高效微调。此外，文章还讨论了自我托管、开源和专用硬件在LLM部署中的作用，以及如何通过在线强化学习和持续学习来改进模型。最后，文章展望了微调技术在构建和拥有智能方面的战略意义。
讨论： 上述内容主要讨论了LLM微调的现状和挑战。一些观点认为，尽管微调在某些特定用例中有效，但整体上它并不比深度学习更容易使用，且需要更多专业知识。许多机器学习工程师和数据科学家对微调的技能掌握不足，且大公司更倾向于使用平台工具而非进行微调。同时，一些成功的案例表明，在特定任务优化时微调可以带来经济价值。然而，由于资源限制和复杂性，微调并非所有情况下都适用。此外，一些专家认为LoRA适配器等新技术可能为微调带来新的机遇。
原文标题：The case for the return of fine-tuning
原文链接：https://welovesota.com/article/the-case-for-the-return-of-fine-tuning
讨论链接：https://news.ycombinator.com/item?id=45633081