近期，Anthropic公司推出了一项创新的安全技术——“宪法分类器”，旨在解决大型语言模型中普遍存在的滥用自然语言提示问题。这项技术通过在大型语言模型中嵌入类似人类价值观的“宪法”，为模型设定了明确的安全边界，防止其生成超出预期的输出。
在最新发布的学术论文中，Anthropic公司的安全保障研究团队详细介绍了这一新安全措施。他们指出，在引入宪法分类器后，Claude3.5 Sonnet（Anthropic公司的最新大型语言模型）的越狱成功率显著降低，降幅高达81.6%。同时，该技术对模型性能的影响微乎其微，生产流量的拒绝率仅增加了0.38%，推理开销也仅提升了23.7%。
为了验证宪法分类器的有效性，Anthropic公司还发起了一项挑战活动。他们设计了一系列与化学、生物、放射和核（CBRN）相关的越狱关卡，邀请用户尝试突破。然而，这一活动也引发了一些争议。有批评者认为，这实际上是在利用社区成员作为免费的安全志愿者或“红队队员”，帮助他们测试闭源模型的安全性。
面对这些质疑，Anthropic公司进行了回应。他们解释说，成功越狱的模型是通过绕过宪法分类器的防御措施，而非直接规避这些措施。同时，他们也承认了在测试过程中存在的一些问题。例如，一些基于规则的测试系统可能产生了误报和漏报，导致部分提示的拒绝率异常高。
尽管存在这些挑战和争议，但Anthropic公司的宪法分类器仍被视为在解决大型语言模型安全问题上迈出的重要一步。它不仅在遏制模型越狱方面取得了显著成果，还展示了将人类价值观融入AI技术中的潜力。然而，需要明确的是，这项技术并非万能的解决方案。它仍然需要不断的研究和改进，以应对日益复杂的安全威胁。
