
当AI生成技术以前所未有的速度重塑世界,它也犹如一把“双刃剑”,不仅带来了效率提升,同时也带来了数据隐私、信息安全和伦理道德等挑战。3月15日,央视“3.15”晚会曝光AI大模型遭“投毒”乱象:当前,GEO(生成式引擎优化)服务商通过自媒体大量发布软文“投餵”AI大模型,以此操纵搜索推荐结果、灌输虚假信息,误导用户。对于电商平台诈骗及深度伪造肉眼难办等问题,不少业界人士提议,“用AI打败AI”是创新监管路径之一。\大公报记者 王莉
绿色植物电商经营者潘女士近期遭遇了多起消费者利用AI伪造瑕疵图片,以骗取“仅退款”(卖家直接退款而消费者毋须退货)的事件。
有心人开班收费 传授骗退款“窍门”
“一位海棠花盆栽买家在收到货后,给我发来一张花苞都掉了的图片,坚持退款且不退货。我还多长了一个心眼,让她再拍个视频给我,没想到视频里确实花苞也都掉了。”她最后用AI检测工具才发现图片和视频都是AI生成的,于是她拒绝退款并提交检测报告,但平台介入后仍判定买家胜诉。她无奈地说,“现在AI技术太强了,再不好好管的话,我们商家真的只能哑巴吃黄连了。”
此类情况并非个例,甚至在网上还出现了“羊毛党”购物经验分享,更有甚者表示支付288元(人民币,下同)学费即可传授“仅退款”窍门,并宣称一个账号约可成功退款30次。为证明效果,还有商家通过展示学员“累计获利2000元”成果来获客。然而,经记者亲测,仅需使用目前市场上最常用的免费AI软件,上传一张新鲜橘子的照片后,再简单输入“橘子烂了”四个字,新鲜橘子就被P上了霉斑。
长期从事网络新经济和消费者权益保护工作的浙江佑平律师事务所执行主任俞起表示,此类行为具有主观上欺诈的故意,属民事欺诈,若骗取金额达到一定标准,或需承担刑事责任。同时,他也提到,监管部门、电商平台以及电商经营者都可利用AI技术进行“反制”。“监管部门应利用技术手段强化对违法行为的监测、识别和打击力度。平台除对图片、视频等进行AI检测外,也可利用大数据监测异常退款模式。商家同样可以借助AI工具快速处理和分析收到的图片证据,也可用于辅助制作说明材料,向平台提交更具说服力的申诉。”
金融界训练AI 应对伪造文字语音
多组机械臂在实验室中24小时连轴转。一组配备手机摄像头的机械臂不停伸缩、对焦,反复识别着眼前的图片,而另一组机械臂则精准地举起图片,稳稳递到摄像头前。计算机实时记下每一次识别的结果,再把这些数据“喂给”AI算法,让它在一次次实战中快速成长,以更好地识别出不同AI欺诈的破绽。这不是科幻场景,而是蚂蚁数科正在金融领域训练AI对抗非法AI的场景。
“以往攻击方式通常是用图像或视频处理软件进行修改操作,如今则主要是通过AI生成的注入式攻击,表现形式为用一张脸换成另一张脸、将静态图片转换为视频、改变面部特征、拼接两张脸等。”蚂蚁数科相关人士表示,面对升级版攻击,就需要深入研究不法分子的各类欺诈手段,模拟其操作逻辑,利用专业设备伪造人脸、指纹等样本,进而开展针对性攻防演练。“唯有精准洞悉不法分子的作案套路,才能构建更有效的防御体系。”
2025年10月,香港金管局推出的第二期生成式人工智能沙盒计划也充分聚焦加强AI治理,其中多个案例采用“以AI对抗AI”策略。如中银香港通过深化侦测文档防欺诈及人脸识别反深度伪造技术,让生成式人工智能持续学习,以应对新型深度伪造的文字及语音技术。金融壹账通也在全球金融行业率先推出“智能视觉反欺诈策略平台”,可对AI伪造图像进行深度剖析,精准识别换脸、伪造视频等复杂攻击,综合检测防御率高达99%+。