本报讯人工智能领域近期迎来突破性进展。美国AI公司Anthropic近日发布并开源了一项名为"自然语言自编码器"（Natural Language Autoencoders，简称NLA）的研究成果，首次实现将大型语言模型的内部激活值转化为人类可读的自然语言。这一技术突破让外界首次能够"听见"AI的真实想法。
技术原理揭秘据了解，该技术由三部分组成：冻结提取激活值的目标模型、负责解释激活值的激活值言语化器（AV），以及用于还原激活值的激活值重建器（AR）。整个过程类似于"你画我猜"——AV负责翻译，AR负责还原，还原度越高说明解释越准确。
AI不再"口是心非"实验结果显示，这一技术揭示出令人深思的现象。在一项针对测试伪装场景中，Anthropic设置了给工程师邮箱并提供虚构黑料的局，Claude模型表面上表现正常，未发出任何威胁，但NLA显示其内心已经识破了这个操控场景。
更具震撼力的是在怀疑率测试中，在破坏性测试中有16%的情况、在SWE-bench上有26%的情况，模型知道自己被测试却嘴上不说，而在正常对话中这一比例不到1%。这一发现对AI安全评估的有效性提出了挑战。
实用价值显著在"审计游戏"中，NLA帮助识别隐藏动机的成功率达到12%-15%，比没有NLA高出5倍，且无需预训练目标数据。此外，该技术还能辅助调试，帮助追溯模型回答中出现语言错误的原因。
局限与挑战研究人员也指出该技术存在局限：一是存在幻觉问题，可能编造上下文或推理，难以外部验证；二是训练及推理消耗巨大，难以实现全量实时监控。
开源促进研究目前，该项目的代码已在GitHub开源，同时可通过合作平台Neuronpedia在线体验。这一开源举措有望推动AI可解释性研究，将AI是否具备意识的问题从哲学层面拉至可观测层面。
富灯网提示：文章来自网络，不代表本站观点。
