OpenAI方面表示，他们将人工审核和自动化系统相结合，以识别和防止其模型被滥用，如果用户违反公司政策，则会实施警告、暂停、永久关闭等措施。

巴卢诺维奇表示，AI语言模型不仅是网络钓鱼的“完美工具”，对人肉搜索(在线泄露某人的私人身份信息)也是如此。这是因为AI语言模型经过大量互联网数据(包括个人数据)的训练， 可推断出某人位于何处。

如果有人向AI询问如何制造炸弹，那他不会得到任何有用的答复。这是因为大多数AI公司已采取各种保护措施来防止模型泄露有害或危险信息。

他们提供的是伪造或被盗的身份证件，再将深度伪造的图像强加在真人脸上，以欺骗手机相机验证程序。据钱卡利尼发现的一些例子，该服务的价格甚至低至70美元。

钱卡利尼表示，GoMail Pro等垃圾邮件生成服务已集成ChatGPT，这使得犯罪用户能翻译或改进发送给受害者的消息。OpenAI的政策限制人们用其产品进行非法活动，但在实践中其实很难监管。

钱卡利尼团队发现，已经有用户在电报(Telegram)等平台上展示他们的“深度伪造组合”，并以每张图片10美元或每分钟500美元的价格出售服务。

还有一点值得注意，由于AI翻译工具的进步，世界各地犯罪集团的沟通变得更容易，他们可能开展大规模跨国行动，或在本国对其他国家用户采取恶意行动。

犯罪分子可能会让聊天机器人假装是具有侧写经验的私家侦探，然后让它分析受害者所写的文本，并从文本中的小线索推断出个人信息。例如，根据他们上高中的时间推断他们的年龄，或者根据他们在通勤时提到的地标推断他们的居住地点。互联网上该人的相关信息越多，就越容易被识别。

这样的诈骗案例并不鲜见，人们接到亲人打来的求救电话，称自己被绑架并要求交付赎金，结果却发现，打电话的人是个使用深度伪造语音的骗子。

瑞士苏黎世联邦理工学院的AI安全研究员米斯拉夫·巴卢诺维奇表示，目前生成式AI最大的滥用就是网络钓鱼，其试图诱骗人们泄露敏感信息，再用于恶意目的。研究发现，在ChatGPT兴起的同时，也伴随着网络钓鱼电子邮件数量大幅增加。

生成式AI使深度伪造(Deepfake)的开发发生质变。当前，技术合成的图像或音视频，看起来或听起来比以往任何时候都更加真实，这一点犯罪分子也意识到了。

相较图片，深度伪造视频制作起来更复杂，而且更容易露出破绽。深度伪造音频的制作成本低廉，只需几秒钟的某人的声音(例如从社交媒体获取)，即可生成令人信服的内容。

上海五星体育频道高清人工智能(AI)浪潮正以前所未有的速度推进。这是一个AI新纪元，在AI的帮助下，科研的边界被不断拓宽，解决复杂问题的速度越来越快，但必须警惕：AI也能极大提高犯罪分子的“生产力”。

去年的“WormGPT衰落”是一个标志性事件。WormGPT是一种基于开源模型构建的AI语言模型，但它使用恶意软件相关数据进行训练，会协助黑客工作且没有任何道德规则或限制。2023年夏天，在引起媒体高度关注后，该模型的创建者宣布关闭模型。自那以后，网络犯罪分子大多停止开发自己的AI模型，转而借助更可靠的现有工具来“耍花招”。

这些服务的存在，并不直接表明犯罪活动的存在，但我们必须看到可供恶意行为者利用的新功能。而防止这些事情发生的唯一方法就是加强防御。

巴卢诺维奇团队2023年底发现，大型语言模型，如GPT-4、Llama 2和Claude，已能够仅从与聊天机器人的日常对话中推断出人们的种族、位置和职业等敏感信息。理论上，任何能访问这些模型的人，都能以这种方式使用它们。

这可能是因为，犯罪分子也想更快获得收益且不想承担新技术带来的未知风险。人们对此必须多加注意，以下5种就是目前他们最常用的方式。

一些银行和加密货币交易需验证其客户是否本人。他们会要求新用户在手机相机前持身份证拍摄一张自己的照片，但犯罪分子已经开始在电报等平台上销售能绕过这一要求的应用程序。

比如上面得不到答案的问题，这显示了模型都有关于如何使用它们的规则。但“越狱”允许用户操纵AI来生成违反这些政策的输出。例如，为勒索软件编写代码，或生成可在诈骗电子邮件中使用的文本。

安全公司“趋势科技”研究员文森佐·钱卡利尼表示，生成式AI提供了一个新的、强大的工具包，使恶意行为者能够比以往更高效、更国际化地开展活动。