Densing 定律引爆 LLM 能效百日增倍
随着人工智能（AI）模型规模的不断增长，大模型尺度定律（Scaling Law）被广泛认为是驱动大语言模型（LLM）进步的关键因素。然而，近期研究表明，Scaling Law 可能已接近极限，需要新的视角来指导 LLM 的发展。
密度定律：一种新的 LLM 指导性规律
清华大学刘知远教授团队提出的密度定律（Densing Law）提供了突破传统 Scaling Law 限制的新视角。该定律揭示了 LLM 能力密度随时间呈指数级增长，2023 年以来，其增长速度约为每 100 天翻一倍。
这表明，每隔 100 天，人们就能用一半的参数量实现当前最优模型相当的性能。也就是说，随着 LLM 的发展，用更少的资源可以实现更强大的能力。
Densing 定律的推论
根据密度定律，研究团队得出了以下重要推论：
* 模型推理开销随时间指数级下降。
* 大模型能力密度正在加速增强。
* 模型小型化揭示端侧智能巨大潜力。
* 无法依靠模型压缩算法增强模型能力密度。
* 模型高性价比有效期不断缩短。
密度至上时代：LLM 的新发展阶段
密度定律表明，LLM 正在进入一个“密度至上”的新发展阶段。与强调规模的 Scaling Law 不同，密度定律更加关注模型在特定规模下的效率。
这不仅降低了 AI 发展对能源和算力的需求，也为 AI 技术的可持续发展提供了无限可能。同时，它还揭示了端侧智能的巨大潜力，即在边缘设备上运行 LLM 的可能性。
AI 时代的三个核心引擎
研究表明，AI 时代的三大核心引擎——电力、算力和智力，都在密度上快速增长。电池能量密度、芯片晶体管密度和模型能力密度分别以 10 年、18 个月和 100 天为周期呈指数级增长。
这一趋势表明，AI 计算将从中心端向边缘端分布式发展，实现“AI 无处不在”的愿景。随着全球 AI 计算数据中心和边缘计算节点的扩张，以及模型能力密度增长的效率提升，将看到更多本地化的 AI 模型涌现，推动 AI 技术在各行各业的广泛应用。
Densing 定律的意义
Densing 定律的发现为 LLM 的科学发展提供了新的指导原则。它表明，通过提高模型能力密度，而不是一味追求规模，可以实现更可持续、高效的 AI 发展。
这一定律还为端侧智能的发展提供了新的可能性，并为 AI 无处不在的未来铺平了道路。它将引发研究人员、工程师和企业重新思考模型设计和构建方式，并推动 LLM 在更多场景中的应用。
原创文章，作者：讯知在线，如若转载，请注明出处：http://mip.xzxci.cn/2024/12/11/33068.shtml
