摘要： 本文分析了大规模运行 AI 推理的成本和经济性，认为推理成本被夸大了。作者通过计算和假设，指出输入处理成本远低于输出生成成本，导致某些应用模式（如代码助手、文档分析工具）具有极高的盈利潜力。同时，作者警告过度强调成本可能阻碍竞争和创新，并呼吁关注 AI 推理的潜在经济价值。
讨论： 该内容主要围绕一篇关于大型语言模型（LLM）推理成本的文章展开讨论。文章中提出的数学计算和假设遭到了多方面的质疑和批评。主要问题包括：1. 计算的推理性能过高，与实际硬件性能不符；2. 假设的并发请求数量、GPU数量等参数过于理想化；3. 模型训练成本未在计算中体现；4. 对模型参数数量的估计不准确；5. 对模型推理效率的假设过于乐观。同时，也有人对文章的观点表示支持，认为文章展示了LLM推理领域的盈利潜力。
原文标题：Are OpenAI and Anthropic losing money on inference?
原文链接：https://martinalderson.com/posts/are-openai-and-anthropic-really-losing-money-on-inference/
讨论链接：https://news.ycombinator.com/item?id=45050415