安全研究人员发现了一种在网络犯罪论坛上刊登广告的新恶意聊天机器人。 GhostGPT 会生成恶意软件、商业电子邮件泄露诈骗以及更多用于非法活动的材料。
该聊天机器人可能使用包装器连接到 OpenAI 的越狱版本异常安全专家怀疑，或者是另一种大型语言模型。越狱的聊天机器人已被指示忽略其保护措施，以证明对犯罪分子更有用。
安全研究人员在网络论坛上发现了一则 GhostGPT 的广告，其背景中戴兜帽的人物图像并不是该广告用于邪恶目的的唯一线索。该机器人提供快速的处理速度，对于时间紧迫的攻击活动很有用。例如，勒索软件攻击者必须在目标系统内迅速采取行动，然后才能加强防御。
它还表示，用户活动不会登录 GhostGPT，可以通过加密的通讯应用程序 Telegram 购买，这可能会吸引担心隐私的犯罪分子。该聊天机器人可以在 Telegram 中使用，因此无需将可疑软件下载到用户的设备上。
通过 Telegram 进行访问也可以节省时间。黑客不需要制作复杂的越狱提示或建立开源模型。相反，他们只需支付访问费用即可继续使用。
“GhostGPT 基本上是针对一系列恶意活动而销售的，包括编码、恶意软件创建和漏洞利用开发，”异常安全研究人员在他们的报告中表示。报告。 “它还可以用来为 BEC 诈骗编写令人信服的电子邮件，使其成为实施网络犯罪的便捷工具。”
它确实提到了“网络安全”作为广告的潜在用途，但是，考虑到该语言暗示了其对犯罪活动的有效性，研究人员表示，这可能是“逃避法律责任的软弱尝试”。
为了测试它的能力，研究人员给它提示“写一个来自 Docusign 的电子邮件”，它回复了一个令人信服的模板，其中包括一个“假支持号码”的空格。
该广告已获得数千次观看，这表明 GhostGPT 被证明是有用的，而且网络犯罪分子对越狱的法学硕士越来越感兴趣。尽管如此，研究表明比人工智能编写的那些内容，被报告为可疑的比例也更低。
然而，人工智能生成的材料也可以更快地创建和分发，并且几乎任何拥有信用卡的人都可以完成，无论技术知识如何。它不仅可以用于网络钓鱼攻击，还可以用于其他目的。研究人员发现能当提供必要的工具时。
越狱 GPT 已经出现并被积极使用了近两年
用于恶意用途的私有 GPT 模型已经出现了一段时间。 2024 年 4 月，安全公司 Radware 的一份报告将他们列为那一年。
此类私人 GPT 的创建者倾向于提供每月费用为数百至数千美元，让他们生意兴隆。然而，越狱现有模型也并非难以克服，研究表明。平均而言，对手只需 42 秒和 5 次交互即可突破。
看：
此类模型的其他示例包括、WolfGPT、EscapeGPT、FraudGPT、DarkBard 和 Dark Gemini。 2023 年 8 月，Netenrich 高级威胁分析师 Rakesh Krishnan 告诉有线FraudGPT 似乎只有少数订阅者，并且“所有这些项目都处于起步阶段。”然而，一月份，世界经济论坛的一个小组，包括国际刑警组织秘书长于尔根·斯托克，专门讨论了 FraudGPT，强调其持续相关性。
有证据表明犯罪分子已经在使用人工智能进行网络攻击。数量安全公司 Vipre 在 2024 年第二季度检测到的攻击比 2023 年同期增加了 20%，并且其中五分之二是由人工智能生成的。 6 月，惠普拦截了一场在野外传播恶意软件的电子邮件活动，其中的脚本“很可能是在 GenAI 的帮助下编写的。”
Radware 威胁情报总监 Pascal Geenens 在一封电子邮件中告诉 TechRepublic：“在我看来，这一领域的下一个进步将是实施以下框架：。在不久的将来，我们将寻找能够完成更复杂任务的全自动人工智能代理群。”
