一次偶然的机会，胡先生发现母亲因轻信AI换脸虚假宣传购买无效保健品，花费万元后，才识破了视频画面中颈部扭曲、声画不同步等漏洞。如今，上传一张照片、一段音频，即可生成动态视频，“AI换脸、拟声”也成为侵权违法的风险高发区。今年全国两会期间，多名全国人大代表、全国政协委员都曾呼吁立法整治AI“换脸拟声”。
截至今年5月，多家手机厂商相继发布了AI换脸、拟声检测功能，称可以“5秒鉴伪”“准确率高达 96%”等。那么，这些功能对AI生成内容的识别效果如何？5月6日，南都记者实测了荣耀、小米、OPPO三款自带AI检测功能的手机，结果显示，均未成功识别。国家互联网应急中心相关技术专家建议，对于AI反诈检测能力宣传应以安全辅助为主，充分提醒用户合理认识该功能，不因该功能而放松警惕。
“AI换脸”诈骗两年致损超2亿 手机终端企业推提醒功能
公安部数据显示，2022年到2024年初，我国共发生“AI换脸”类诈骗案近百起，累计给人民群众造成经济损失高达2亿元。去年8月，工信部反诈专家表示，会同行业内的手机终端企业推出AI换脸诈骗风险提醒功能。
南都记者梳理发现，去年10月以来，多家手机厂商相继发布了AI换脸检测功能。如荣耀在MagicOS 9.0系统中嵌入AI检测模块，为手机端微信、QQ视频通话等场景提供AI换脸检测功能；小米在最新操作系统HyperOS2.0搭载了AI反诈功能，称当系统检测到可能存在的AI换脸和声音伪造等风险时，会及时向用户发出警报；OPPO今年3月在其ColorOS系统上线了“AI合成语音识别”技术，以帮助判别AI模拟熟人声音的新型电诈手法，有效甄别通话中的潜在风险；联想则计划推出“Deepfake深度伪造技术检测器”，将检测功能集成在在线会议系统和社交媒体平台。据称，该功能可在5秒内识别AI换脸伪造，准确率超96%，将适配笔记本电脑、台式机、平板电脑和手机等多种设备。目前，该功能尚未在终端产品上线。
厂商们和诈骗分子的“猫鼠游戏”背后，采用了哪些“黑科技”？据某手机厂商披露的技术分析报告，AI换脸检测功能主要攻克的是实时视频通话场景中的人脸仿冒场景。在此流程中，诈骗分子通过AI深度合成技术伪造人脸和声音，再通过侵入到第三方/运营商的视频通话应用中进行滥用，从而实施诈骗。这一过程的薄弱点在于被诈骗用户端的视频流的分析和检测，这也成为反诈检测流程的核心点。该检测技术通过构建AI检测模型，进行大量的样本训练，从而检测VAE/GAN人脸伪造的算法能力。
实测荣耀、小米、OPPO手机 均未成功识别AI视频、音频
在实际使用中，这些功能效果如何呢？近日，南都记者分别对荣耀Magic V3、小米15、OPPO FindX7三款手机的AI换脸、语音合成检测功能进行了测试。
实测过程中，南都记者采用了几段不同诈骗场景的“AI合成视频、语音”分别与三款手机进行了通话，当开启相应功能时，同等条件下，荣耀、小米弹窗提示防护检测，OPPO则无任何提示。不过，在测试过程中，三台手机均未能成功识别所测试的AI视频或音频。
具体来看三款手机的不同情况：在与新添加好友开展视频通话时，面对一段AI换脸视频，荣耀手机先是弹窗提示用户进行“AI换脸检测”，南都记者根据提示操作，进行检测，但最终荣耀手机检测结果显示为“未检测到AI换脸痕迹”。
同样的通话场景下，小米、OPPO手机仅提示用户已开启防护，但整个通话过程中未收到任何提醒。
南都记者就相关测评情况咨询客服，荣耀客服表示，目前AI换脸检测功能尚未有具体的检测能力标准，即无法断定具体在哪些情况下、何种程度的AI换脸能被检出，检测能力还在持续训练优化中。而针对功能无法准确识别的情形，OPPO客服表示，目前针对语音合成的识别反应较慢，需要根据实际情况具体分析识别不出的原因；截至发稿前，小米客服暂未做出任何解释说明。