各行业的专业人士正在探索用于各种任务的生成式人工智能（包括创建信息安全培训材料），但它真的有效吗？
伦斯勒理工学院信息技术和网络科学高级讲师兼研究生项目主任 Brian Callahan 和该项目的本科生 Shoshana Sugerman 于 10 月份在拉斯维加斯举行的 ISC2 安全大会上展示了他们关于该主题的实验结果。
实验涉及使用 ChatGPT 创建网络训练
该实验的主要问题是“我们如何培训安全专业人员来管理更好的提示，让人工智能创建现实的安全培训？”与此相关的是，安全专业人员还必须及时为工程师设计有效的培训？
为了解决这些问题，研究人员将相同的任务分配给三组：具有 ISC2 认证的安全专家、自我认定的即时工程专家以及同时具备这两种资格的个人。他们的任务是使用以下内容创建网络安全意识培训。随后，培训被分发到校园社区，用户提供了有关材料有效性的反馈。
研究人员假设训练质量不会有显着差异。但如果出现差异，就会揭示哪些技能最重要。由安全专家或提示工程专业人员创建的提示是否会更有效？
看：可能是增加人工智能可以处理的任务复杂性的下一步。
培训接受者对材料评价很高，但 ChatGPT 犯了错误
研究人员将最终的培训材料分发给伦斯勒大学的学生、教职员工，这些材料经过了轻微编辑，但主要包括人工智能生成的内容。
结果表明：
- 参加由以下机构设计的培训的个人认为自己更擅长避免社会工程攻击和密码安全。
- 接受安全专家设计的培训的人认为自己更擅长识别和避免社会工程攻击、检测网络钓鱼和及时工程。
- 参加由双重专家设计的培训的人认为自己更擅长网络威胁和检测网络钓鱼。
卡拉汉指出，接受过安全专家培训的人感觉自己更擅长快速工程，这似乎很奇怪。然而，那些创建培训的人普遍对人工智能编写的内容评价不高。
“没有人觉得他们的第一次通行证足够好，可以提供给人们，”卡拉汉说。 “它需要进一步修改。”
在一个案例中，ChatGPT 制作了一份看似连贯且全面的网络钓鱼电子邮件报告指南。然而，幻灯片上所写的内容均不准确。人工智能发明了流程和 IT 支持电子邮件地址。
要求 ChatGPT 链接到 RPI 的安全门户从根本上改变了内容并生成了准确的指令。在这种情况下，研究人员向那些在培训材料中获得不准确信息的学习者发出了更正。苏格曼指出，没有一个培训接受者发现培训信息不正确。
披露培训是否由人工智能编写是关键
“如果您知道如何正确提示，ChatGPT 可能非常了解您的政策，”卡拉汉说。他特别指出，RPI 的所有政策均可在线公开获取。
研究人员在培训完成后才透露内容是人工智能生成的。卡拉汉和苏格曼的反应不一：
- 很多学生都“无动于衷”，期待着自己未来的一些书面材料是由人工智能制作的。
- 其他人则“怀疑”或“害怕”。
- 一些人认为，以信息安全为重点的培训是由人工智能创建的，这“很讽刺”。
Callahan 表示，任何使用人工智能创建真实培训材料（而不是进行实验）的 IT 团队都应该披露在创建与其他人共享的任何内容时使用人工智能的情况。
“我认为我们有初步证据表明生成式人工智能可以成为一种有价值的工具，”卡拉汉说。 “但是，像任何工具一样，它确实存在风险。我们培训的某些部分是错误的、宽泛的或通用的。”
实验的一些局限性
卡拉汉指出了该实验的一些局限性。
“有文献表明，ChatGPT 和其他生成式人工智能让人们感觉他们已经学到了一些东西，即使他们可能没有学到这些东西，”他解释道。
卡拉汉指出，测试人们的实际技能，而不是要求他们报告是否认为自己已经学到了知识，会比分配给研究的时间更多。
演讲结束后，我问卡拉汉和休格曼是否考虑过使用完全由人类编写的训练对照组。卡拉汉说，他们做到了。然而，将培训人员分为网络安全专家和提示工程师是该研究的关键部分。大学社区中没有足够多的人自认为是及时的工程专家，可以填充控制类别以进一步划分群体。
小组演示包括来自一小部分初始参与者的数据——51 名测试者和 3 名测试制作者。在后续电子邮件中，卡拉汉告诉 TechRepublic，最终发布的版本将包括更多参与者，因为最初的实验正在进行试点研究。
免责声明：ISC2 支付了我 10 月 13 日至 16 日在拉斯维加斯举行的 ISC2 安全大会活动的机票、住宿和一些餐费。