◆AI换脸、AI拟声所依托的深度合成技术，本身并无善恶之分，只是一旦突破道德和法律底线被滥用，便从深度合成滑向了深度伪造。

　　◆AI幻觉在医疗、法律、新闻、金融等领域，存在误导大众认知或损害他人利益的风险。

　　◆AI本身不具备民事主体资格，不能独立承担民事责任。AI服务提供者未尽算法风险防控、内容审核、风险提示等法定义务，造成他人损害的，应当依法承担相应民事责任。

　　◆专家建议，要坚持全链条打击和治理，在个案办理中明确涉深度伪造、数据“投毒”等各种新型犯罪的司法适用标准，形成对相关犯罪的有效震慑，向社会传递“保护技术创新，严惩技术滥用”的司法态度。

漫画由AI生成 易得香制作

　　手机响了，一个陌生号码。接通后，对方一直不说话，如果你先开口，哪怕只是一句“喂”，你的声纹可能已经被采集。

　　9月16日，北京市公安局民警郭涛在网络平台介绍了“骗子的升级骗术”，并提出“三秒沉默法”的应对策略。

　　接到陌生来电，如果对方一直不说话，你先不要主动说话，心里默数“1、2、3”，安静等三秒钟，对方持续不出声，就要及时挂断；如果接通后是冒充客服的AI机器人，同样不要出声，立刻挂断。

　　几秒钟的语音样本，就可能被骗子用AI复刻出声纹，冒充你的身份给亲友打电话。

　　中国互联网络信息中心发布的第57次《中国互联网络发展状况统计报告》显示，截至2025年12月，我国生成式人工智能用户规模达6.02亿人，普及率达42.8％。

　　技术普惠在带给我们巨大生活便利的同时，也让虚假信息的生产方式发生了结构性变化。伴随着AI换脸、AI拟声等智能技术的普及，以及AI幻觉等问题的大面积出现，信息真伪辨别难度显著加大，人们长期秉持的“眼见为实”的生活认知与经验判断，正在失灵。

从“深度合成”滑向“深度伪造”

　　“上传一张照片，一键免费生成你的影视视频，融脸变身经典影视人物……”在社交App上，一些深度合成小游戏热度高涨，给不少网友带来新奇的体验。而相同的算法逻辑，正被某些不法分子利用，沦为犯罪工具。

　　一些网约车平台为保障规范、安全运行，使用人脸核验技术验证司机身份，确保人车一致才派单。而某些因违规接单被平台封号的司机，试图通过“定制手机”蒙混过关。

　　“定制手机”的猫腻就藏在一款软件中。该软件支持司机将自己录制的眨眼、张嘴视频与其他司机的人脸照片合成新视频存储在手机中。在需要按要求眨眼、张嘴验证时，不法分子便使用软件通过提前改变的路径上传合成视频，突破人脸验证。

　　上海市静安区检察院网络检察办公室负责人胡俊君结合办理的相关案件告诉记者，合成视频的人脸与原照片中人脸的相似度可达到70％左右，因此能够突破一些网络平台的人脸验证。“此类案件中，犯罪嫌疑人利用的AI技术很常见。技术本身是中性的，一些人用于娱乐体验，但一些别有用心的人则抓住平台漏洞实施犯罪。”

　　“AI换脸、AI拟声所依托的深度合成技术，是基于深度学习和生成式人工智能的算法，对图像、视频、音频、文本等进行生成或编辑，使其具有高度逼真性或创造性的技术。”北京航空航天大学人工智能研究院教授韦星星告诉记者，这一技术在很多领域展现出积极的应用潜力，比如语音导航、制作仿真教学视频、文物文化遗产复原重建等，但其潜在的风险也不容忽视。

　　“深度合成技术本身并无善恶之分，只是一旦突破道德和法律底线被滥用，便从深度合成滑向了深度伪造。”韦星星说。

　　“利用AI伪造信息的社会影响，需要结合信息内容、传播速度、用户群体等多维度综合考量。”中国互联网协会数据安全与治理工作委员会副主任、金杜律师事务所数据合规顾问方禹表示，如果伪造信息是警情通报等严肃信息，并在公共领域快速扩散，抑或用户是未成年人、老年人，社会危害就极大。

　　湖北黄石70多岁的丁婆婆，正是AI拟声骗局的受害者。2025年的一天，她独自在家时接到一通电话，电话那边传来“孙子”带着哭腔的声音：“奶奶，我在学校和同学打架，把人打伤了，对方要4万块钱私了，否则就报警。”

　　熟悉的声音让丁婆婆慌了神，她急忙取出2万元现金，半小时后，一名自称“帮忙送钱”的男子上门取走了钱。为了让丁婆婆放心，男子当场拨通了“孙子”的电话让老人确认。直到当晚真正的孙子回家，丁婆婆才发现自己被骗了。

　　“从近年来的社会事件来看，有人利用AI换脸、AI拟声伪造他人身份实施诈骗，有人制作、传播含有淫秽内容的视频或图片，有人制作虚假信息引发公众恐慌或扰乱社会秩序。”胡俊君坦言，上述行为给网络治理带来了新的挑战。

AI幻觉是算法的“无心之失”？

　　如果说AI换脸、AI拟声导致的问题是人为作恶，那么，“AI幻觉”更像是算法自己的“无心之失”。清华大学新闻与传播学院新媒体研究中心和人工智能学院推出的《DeepSeek与AI幻觉》指出，AI幻觉是指模型生成与事实不符、逻辑断裂或脱离上下文的内容。

　　一家互联网公司的小编小渝就踩过这个坑。一次，他需要在短时间内赶出一篇电子消费行业的稿件，于是向AI求助：“请帮我写一个关于2025年中国智能手机市场结构变化的分析段落。”AI很快就给出了一段内容，看似思路清晰、语气严谨，还引证了某专业报告的数据。但在核实数据来源时却发现了问题，小渝找遍所有主流机构都找不到这组数据。他反复试验后发现，AI每次给出的数据都不一样——报告名、数值、变化幅度，次次有出入。

　　“那些内容，竟然是AI编的”“猛一看专业、规范、细节丰富，但仔细一查，其中的例子、数据却经不起验证”……记者在社交媒体上搜索发现，吐槽AI幻觉的帖文不在少数。许多网友表示，AI模仿专业话术的能力太强大了。

　　为何会产生AI幻觉？

　　韦星星解释，根本原因在于AI依托的是概率统计模型，并非真正理解世界。“AI根据指令分析互联网上数以万亿计的语料文本，学习这些词语之间的关联规律，预测最可能出现的下一个词。它给出的答案基于概率，而非像人一样，基于逻辑或经验。当遇到信息缺失或者不确定时，预测就会失灵，AI幻觉就产生了。”

　　此外，社会中本身存在的错误信息，也给AI幻觉提供了素材。方禹举例：“有人经常说‘吃了隔夜菜会死人’，这是人的幻觉，如果AI学习了这个语料，就会输出错误信息。”“更麻烦的是，AI生成的虚假内容，会如同滚雪球一般涌进他所依据的语料库，进一步加剧AI幻觉。”韦星星补充道。

　　很多人有着和小渝一样的经历——被AI幻觉坑过，于是便吃一堑长一智，学会了对AI设防。2024年9月，江苏南京的职业律师李小亮在网络上搜索自己的名字，结果某平台“AI智能回答”给出了让他震惊的文字内容——“被告人李小亮律师因犯爆炸罪，被判处三年有期徒刑”，还自动配上了他穿律师袍的照片。李小亮愤而起诉某平台。

　　在该案中，某平台以“AI幻觉的出现具有不确定性、平台无法预见”为由进行抗辩，但法官直指核心——在其他同类AI产品上提问，并未出现这样的贬损评价，就不能说明这个错误是技术开发的必然代价。法院最终认定：该内容由平台通过AI技术加工合成，虚假信息明确指向李小亮，包含“被判刑”“被告人”等贬损性词汇，客观上降低其社会评价，构成名誉侵权。

　　“AI幻觉在医疗、法律、新闻、金融等领域，存在误导大众认知或损害他人利益的风险。”中山大学法学院副教授熊晓彪表示，AI本身不具备民事主体资格，不能独立承担民事责任。AI服务提供者未尽算法风险防控、内容审核、风险提示等法定义务，造成他人损害的，应当依法承担相应民事责任。

“真实性危机”如何化解？

　　人工智能技术发展越是一日千里，向上向善、造福人类的方向越要准确锚定，监管治理的尺度越要精准把握，防范失控的措施越要及时完善。

　　面对AI衍生出的“真实性危机”，多位受访专家表示，技术发展暴露出来的问题，并不代表要陷入技术恐慌。了解AI技术的创新发展与边界局限，理解虚假信息的生成机理与传播规律，统筹风险规制与技术发展，是我们努力的方向。

　　事实上，我国对AI的监管范围和力度正在日益扩大。2025年以来，中央网信办先后部署“清朗·整治AI技术滥用”专项行动和“清朗·整治AI应用乱象”专项行动。2025年9月1日，《人工智能生成合成内容标识办法》（下称《标识办法》）正式施行，要求所有AI生成的文字、图片、视频等内容都要“亮明身份”——以显式标识或隐式标识注明来源。

　　“《标识办法》不仅要求制作平台标识AI内容，还要求传播平台、应用程序分发平台去检测核验。这对AI虚假信息的治理具有重要意义。”方禹表示，治理还需要执法常态化，及时处理违规内容，压实平台责任。

　　方禹建议，未来，我国在AI虚假信息的治理上可借鉴欧盟《人工智能法案》的风险差异化监管思路，优先规制医疗、金融、新闻等风险级别高的领域的AI虚假信息，再逐步覆盖其他风险场景，实现监管资源的优化配置。

　　“以技治技也是重要路径。”韦星星告诉记者，AI生成的信息真假交织混杂，强化深度鉴伪技术研究十分迫切。

　　目前，一些企业或平台已向用户提供鉴伪服务。今年8月，国家反诈中心App正式上线AI内容检测入口，支持对图像、视频、音频、文本四类内容的AI生成痕迹进行识别。

　　“而对于AI幻觉，虽然学界目前普遍的共识是技术层面无法完全消除，但可以通过不断增强模型的事实性验证能力、增加实时知识检索功能等途径来降低错误性内容输出。”韦星星说。

　　实践中，利用深度合成技术犯罪的相关案件手法迭代迅速，往往呈现出链条化的特征。“要坚持全链条打击和治理，在个案办理中明确涉深度伪造、数据‘投毒’（向AI大模型训练数据中注入虚假数据，操纵或欺骗AI输出结果）等各种新型犯罪的司法适用标准，形成对相关犯罪的有效震慑，向社会传递‘保护技术创新，严惩技术滥用’的司法态度。”胡俊君告诉记者，通过案例普法提升公民的AI犯罪识别能力，进而提升全民AI素养，通过送法入企等提高科技企业、互联网平台的合规管理意识，推动企业落实主体责任，都有助于形成良好网络环境。

　　熊晓彪坦言，AI生成虚假信息的治理，在当下依然面临责任主体边界模糊、证据获取与固定较为困难、跨境协同治理机制缺位等多重困境。

　　在AI时代，“眼见为实”的社会经验法则正面临挑战，如何既拥抱创新红利，又守住真实底线？如何把“深度伪造”打回原形，防止AI幻觉“一本正经地胡说八道”？这是技术日新月异之下，必须共同作答的治理考题。