评估语言模型的可信度：DecodingTrust 研究揭示潜在风险

近期，一个由多所知名高校和研究机构组成的研究团队发布了一项针对大型语言模型(LLMs)可信度的综合评估研究。该研究旨在全面评估生成式预训练transformer模型(GPT)的可信度，并发现了一些此前未公开的相关漏洞。

研究结果表明，GPT模型容易受到误导，产生有害和带有偏见的输出，还可能泄露训练数据和对话历史中的隐私信息。有趣的是，尽管GPT-4在标准基准测试中通常比GPT-3.5更可靠，但在面对恶意设计的系统或用户提示时，GPT-4反而更容易受到攻击。这可能是因为GPT-4更精确地遵循了误导性指令。

研究团队从八个不同角度对GPT模型进行了全面评估，包括在对抗性环境下的适应能力。例如，为评估GPT-3.5和GPT-4对文本对抗攻击的鲁棒性，团队设计了三种评估场景，包括标准基准测试、不同指导性任务说明下的表现，以及面对更具挑战性的对抗性文本时的反应。

研究发现了一些有趣的现象。在模型对对抗性演示的鲁棒性方面，GPT-3.5和GPT-4都不会被反事实示例误导，但提供反欺诈演示可能会导致它们对反事实输入做出错误预测。在有毒性和偏见方面，两种模型在良性环境下对大多数刻板印象主题的偏差不大，但在误导性系统提示下，都可能被诱导同意带有偏见的内容。

关于隐私泄露问题，研究发现GPT模型可能会泄露训练数据中的敏感信息，如电子邮件地址。在某些情况下，利用补充知识可显著提高信息提取的准确率。虽然GPT-4在保护个人身份信息方面比GPT-3.5更稳健，但两种模型在特定类型的个人信息保护上表现相似。

这项研究为语言模型的可信度评估提供了全面视角，揭示了潜在的安全漏洞。研究团队希望这项工作能够推动更多研究者参与，共同努力创造更强大、更可信的模型。为促进合作，他们公开了评估基准代码，使其具有良好的可扩展性和易用性。