深度合成技术滥用:你刷到的“熟人”,可能正在掏空你爸妈的养老钱

上周在社区法务咨询点值班,碰到攥着手机掉眼泪的张阿姨。 58岁,退休前是厂子里的会计,一辈子省吃俭用攒了8万块养老钱。 三天前她接了个“儿子”的视频电话。 视频里的人,跟她儿子长的一模一样,说话的时候还会习惯性挠一下右脸颊——那是她儿子从小就有的小动作,额头那道高中打球摔出来的浅疤都清晰可见。对方说自己下班路上把人撞了,对方要私了,不敢跟自己爸爸说,怕挨骂,让她赶紧把钱转到指定的账户,别声张。 张阿姨没多想,取了钱就转。 等晚上真儿子下班回家问她最近身体怎么样,她才反应过来——被骗了。 那根本不是她儿子。是黑产团伙爬了她儿子半年来发在朋友圈的所有视频,用深度合成技术做的假视频。

最先掉坑里的,往往是离算法最远的人

很多人总觉得深度合成的骗局离自己远。 太假? 根本不是。 我见过太多对新技术一知半解的年轻人,刷到那种换脸视频还要吐槽一句“这假的一眼就能看出来”,可他们不知道,现在的深度合成技术早就过了那种五官扭曲、光影错乱的初级阶段。张阿姨当时存的那个被骗的视频,我反复看了三遍,连对方说话时尾音带的那点沙哑感都跟她儿子一模一样——那是前阵子她儿子感冒刚好,录在家庭群里的语音,直接被爬走当素材了。 说实话,我当时看完后背直冒冷汗。 不是因为技术有多厉害。是因为我们现在的规则,追着技术跑的速度,真的有点慢。
社区法务咨询点老人展示被骗的AI合成视频截图
社区法务咨询点老人展示被骗的AI合成视频截图
现在公安立这类案子的时候,经常碰到一个很尴尬的情况:做深度合成诈骗的团伙,根本不在境内,用的是爬取来的公开社交平台素材,连个真实的实名认证信息都没有,光固定证据链就要花一两周。而最早碰到这类骗局的人,往往是张阿姨这样的中老年人——他们平时很少刷短视频,对“AI换脸”“深度合成”这些概念根本没概念,他们的认知里,能在视频里跟自己说话的人,就是真的。 现在我们谈深度合成技术滥用的风险,最先要看见的,从来不是那些技术论坛里讨论的“技术伦理”,而是这些对新技术毫无防备的普通人,正在用真金白银为技术的野蛮生长买单。

你以为的“玩梗”,可能已经踩了别人的维权红线

上周还有个刚毕业的小姑娘找过来,脸涨的通红。 她平时做短视频账号,粉丝不多,也就两万多。前阵子刷到个霸总短剧的片段,觉得好玩,就用楼下卖烤肠的李阿姨的正脸照,通过深度合成工具把原来的女主角脸换了,配文“我们小区的烤肠阿姨年轻时居然这么飒”,发出去三天涨了12万粉。 她本来以为自己做了个“暖心”的内容。 结果李阿姨刷到视频了。 李阿姨平时在小区门口摆了五年烤肠摊,熟客都认识她,现在邻居见了她就开玩笑“李阿姨现在成大明星了,演霸总剧呢”,她越听越别扭,在家躺了两天血压都高了,找过来问能不能让小姑娘把视频删了,还要她赔自己的精神损失。 小姑娘觉得委屈。 “我又没赚多少钱,就是觉得阿姨长的好看,玩个梗而已,怎么就侵权了?”
短视频平台上用户用烤摊摊主肖像合成的短剧片段截图
短视频平台上用户用烤摊摊主肖像合成的短剧片段截图
真不是她故意找事。 根据民法典的相关规定,哪怕你没有盈利目的,只要未经肖像权人同意,通过深度合成技术加工他人肖像并对外传播,就已经构成了对他人肖像权的侵害。 更别说这类换脸涨粉的账号,等粉丝量上来了,接广告、开橱窗是迟早的事,本质上还是依托他人的肖像获取商业利益。我碰到过太多做内容的年轻人,总觉得“我没有恶意,玩个梗怎么了”,可你有没有想过,那个被你换了脸的普通人,可能根本不会用平台的投诉按钮,甚至连怎么找到你的账号都要问半天家里的小孩。等她反应过来觉得被冒犯的时候,你的视频已经被转发了几百轮,早就传到她的亲戚朋友、熟客耳朵里了。

别等骗局砸到自己头上,才想起规则的存在

别等骗局砸到自己头上,才想起规则的存在
别等骗局砸到自己头上,才想起规则的存在
我接触过太多跟深度合成滥用相关的纠纷,发现一个很有意思的现象:大部分人对这件事的态度,要么是觉得“这跟我没关系,我又不会被骗”,要么是觉得“这东西好,我也要用它做内容赚点流量”,很少有人停下来想想,现在的规则边界到底在哪。 去年开始实施的生成式AI服务管理规定里,明明要求所有提供深度合成服务的平台,必须对生成的内容添加可溯源的数字水印。可现在呢?网上随便一搜,就能找到一堆专门破解水印、抹除合成痕迹的黑产工具,甚至还有教程教你怎么把公开平台上的用户素材爬下来,做成可以用来诈骗的合成视频。 说句实在的。 现在防这类骗局,根本不需要你懂什么算法原理。 碰到突然找你要钱的熟人视频,别光看脸听声音,多问一句只有你们俩知道的私事——比如上次你们一起吃火锅,他不小心把麻酱沾到了白T恤上,这种没发过朋友圈、没发过短视频的细节,AI是根本爬不到的。对吧,AI总不能把你们私下的小事都爬走吧。 平时喜欢拍点正脸视频、录点语音发社交平台的人,也别什么素材都往上传。你随手发的那几十条日常视频,说不定哪天就被黑产爬走,用来合成假视频骗你家里的老人。 哦对,我前阵子还碰到个案子,有人用深度合成技术模仿本地一个知名企业家的声音,在老年社群里卖所谓的“内部理财项目”,骗了二十多个老人,加起来快两百万。被抓的时候他还觉得自己冤,说“我不就是仿个声音吗,又没真的出去骗钱”。 你看,这就是现在最棘手的地方。 技术跑的太快,很多人的规则意识还停在十年前,觉得“只要我没真的动手,就不算违法”。 其实哪有什么离我们很远的技术风险啊。 它可能是你妈接到的那个“你儿子出车祸要赔钱”的假视频,可能是楼下烤肠阿姨被人换脸传到网上的搞笑片段,可能是你刷到的那个穿着正装、一本正经给你推荐理财的“专家”——他的声音和脸,根本就是从网上爬下来的素材拼出来的。 法律从来不是飘在政策报告里的文字。 它是张阿姨攥在手里的那笔养老钱,是李阿姨站在烤肠摊前被邻居调侃时的那份踏实,是我们每个人刷手机的时候,不用怕屏幕对面那个跟你说话的“熟人”,是个套着别人脸的骗子。 就这么简单。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:深度合成技术滥用:你刷到的“熟人”,可能正在掏空你爸妈的养老钱
文章链接:https://www.wuhanlihunlvshi.com/cases/2959.html