近期，一则关于AI反诈的视频引起了广泛关注。视频中，一位母亲正与自称在外地求学的女儿视频聊天，女儿央求增加生活费。正当母亲心生怜悯，准备转账时，真正的女儿走进家门，揭穿了视频那端的“假女儿”。这一幕引发了众多网友共鸣，他们分享了自己遭遇的声音或容貌被精确模仿的骗案经历。
AI换脸和拟声技术已变得日益普及且易于操作，仅需少量的声音、图片素材，配合特定软件，就能迅速生成“AI克隆”内容。不幸的是，这种技术正被某些不法分子利用，进行包括金融诈骗在内的多种违法活动。例如，骗子冒充“网店客服”或“营销推广”人员，收集受害者的语音、语句乃至面部信息，然后利用AI技术合成虚假音频、视频，模仿受害者的声音或形象，以获取信任并诱导其亲友进行资金转账。
对此，国家金融监督管理总局金融消费者权益保护局新近发布风险提示，明确指出AI换脸拟声诈骗作为一种新型电信网络诈骗手段，需引起公众警惕。该提示揭示了诈骗者常用的手段，即通过伪造音频、视频或图像来模拟受害者或其亲朋好友，进行诈骗。
专家警告，未经许可使用他人信息进行换脸拟声创作，触及多重法律风险。他们呼吁加强相关法律建设，加大执法力度，同时以包容审慎的态度确保技术发展与安全并行不悖。
AI换脸和拟声技术的使用门槛极低，网络上充斥着各种教程和工具，使得任何人都能轻松掌握。例如，通过简单的在线工具，只需提供一段语音样本，就能快速复制出极其相似的声音。AI换脸技术也同样发达，能够在视频中无缝替换面孔，甚至达到实时换脸的效果，且操作简便，即便是技术新手也能迅速上手。
值得注意的是，市面上还出现了明码标价销售AI换脸软件的情况，卖家通常很少询问购买目的。这些软件不仅价格各异，有的还包含有引发道德争议的功能，如所谓的“AI去衣”。尽管一些卖家强调他们的产品仅供娱乐或正面用途，但这些技术的滥用风险不容忽视。