华盛顿特区:电话里的声音似乎真实得可怕:一位美国母亲听到女儿啜泣，然后一名男子接过电话，索要赎金。但这个女孩是人工智能(AI)的克隆，绑架是假的。
专家们表示，人工智能的最大危险在于，它有能力打破现实与虚构之间的界限，为网络犯罪分子提供一种廉价而有效的传播虚假信息的技术。
在一种让美国当局感到不安的新型骗局中，诈骗者正在使用网上广泛存在的令人信服的人工智能语音克隆工具，通过冒充家庭成员来窃取人们的钱财。
“救救我，妈妈，请救救我，”来自亚利桑那州的母亲詹妮弗·德斯蒂法诺(Jennifer DeStefano)听到电话另一端有声音说。
德斯蒂法诺“百分之百”确信这是她15岁的女儿在滑雪旅行中陷入深深的痛苦。
“从来都不是这个人是谁的问题?那完全是她的声音……这是她会哭的样子，”德斯蒂法诺在4月份对当地一家电视台说。“我从来没有怀疑过那是她。”
这个电话来自一个德斯蒂法诺不熟悉的号码，接电话的骗子要求支付高达100万美元的赎金。
当德斯蒂法诺与女儿建立联系后，人工智能的诡计在几分钟内就结束了。但这起可怕的案件突显了网络犯罪分子滥用克隆人工智能的可能性。此案目前正在警方调查中。
祖父母骗局
黑鸟首席执行官瓦西姆·哈立德(Wasim Khaled)表示:“人工智能语音克隆现在几乎与人类语音无法区分，这使得骗子等威胁行为者可以更有效地从受害者那里获取信息和资金。”AI告诉法新社(AFP)。
一个简单的互联网搜索会产生大量的应用程序，其中许多是免费的，可以用一个人的真实声音的一小部分样本(有时只有几秒钟)来创建人工智能声音，这些声音很容易从网上发布的内容中窃取。
“通过一个小的音频样本，人工智能语音克隆可以用来留下语音邮件和语音文本。它甚至可以用作电话中的实时语音转换器，”哈立德说。骗子可以使用不同的口音、性别，甚至模仿爱人的说话方式。(这项技术)允许创造令人信服的深度伪造。”
在一项对包括美国在内的9个国家的7000人进行的全球调查中，四分之一的人表示他们经历过人工智能语音克隆骗局，或者知道有人遇到过。
美国迈克菲实验室上个月发布的这项调查显示，70%的受访者表示，他们不相信自己能“分辨出克隆的声音和真实的声音”。
美国官员警告称，俗称“祖父母骗局”的案件有所增加，即冒名顶替者冒充处于困境中急需钱的孙子。
“你会接到一个电话。电话里有个恐慌的声音。是你的孙子。他说他有大麻烦了——他撞坏了汽车，进了监狱。但你可以通过汇款来提供帮助，”美国联邦贸易委员会(FTC)在3月份的一份警告中表示。
听起来就像他。这怎么可能是个骗局呢?语音克隆，就是这样。”
在联邦贸易委员会警告下面的评论中，有许多老年人被这样欺骗的证词。
“恶意”
这也反映了芝加哥19岁的艾迪的经历，他的祖父接到了一个听起来和他很像的人的电话，声称他在一场车祸后需要钱。
迈克菲实验室(McAfee Labs)报道的这个骗局非常令人信服，以至于他的祖父在谎言被发现之前紧急开始筹集资金，甚至考虑将他的房子重新抵押。
“因为现在很容易生成高度逼真的声音克隆……几乎任何在网上出现的人都容易受到攻击，”加州大学伯克利分校信息学院教授哈尼·法里德告诉法新社。“这些骗局正在获得关注和传播。”
今年早些时候，人工智能初创公司ElevenLabs承认，其语音克隆工具可能被滥用于“恶意目的”，此前有用户发布了一段深度伪造的音频，声称自己是演员艾玛·沃森(Emma Watson)在读阿道夫·希特勒(Adolf Hitler)的传记《我的奋斗》(Mein Kampf)。
风险投资公司Team8的首席技术官Gal Tal-Hochberg告诉法新社:“我们正迅速接近一个临界点，你不能相信你在互联网上看到的东西。”
他说:“我们将需要新技术来了解你认为你正在与之交谈的人是否真的是你正在与之交谈的人。”