很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
发展和治理，两手都要抓。
作者 | 张语格
编辑 | 趣解商业TMT组
“看到好莱坞的标志牌着火的图片，还以为好莱坞陷落了，结果竟然是AI伪造的。”
影迷橙子（化名）之前时常和朋友吐槽，社交平台上AI生成的图片是“一眼假”，然而，在前两天洛杉矶山火相关的新闻图中，橙子完全没意识到里面掺杂了大量AI假图。
“好莱坞标志牌着火的那张图，各个影迷群几乎都传疯了，大家还调侃这是在电影市场之外，先在物理层面‘陷落’了，结果，第二天就看见媒体辟谣说这张照片是AI伪造的。”橙子表示，这张假图本身就有情绪性，和新闻报道放在一起更显得真假难辨。
“趣解商业”注意到，虽然已经辟谣，但至今仍有不少网友将这张AI图当作真实照片。
在“好莱坞标志牌着火”之前，西藏定日6.8级地震发生后，也曾有一张AI生成的“小男孩被困”图片在社交媒体上疯狂流传。
橙子无奈表示，“当时我还吐槽这种人物图AI味道太重，手指数目不对，脸部虚化过于严重，只有完全不了解AI的中老年群体才会信。结果没几天，我就被好莱坞着火的AI图给‘骗’过去了。”
在近日的社会新闻里，“好莱坞标志牌着火”和“地震被埋男孩”欺瞒了不少人的眼睛，尽管两张图都已经被官方辟谣，但仍有不少用户“深信不疑”，其中也包括很多年轻人。
据媒体报道，经查，青海某网民为博取眼球，将“小男孩被埋图”与日喀则地震相关的信息进行关联拼凑、移花接木，混淆视听、误导群众，致使谣言信息传播扩散。目前，涉案人员已被属地公安机关依法行政拘留。
1月10日晚间，抖音官方发布公告称，平台已严肃处置23652条涉地震不实信息并配发了辟谣内容。公告中还提到，2023年和2024年，抖音就曾发布AI内容治理相关公告，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。
此前，“趣解商业”曾在《2024年，多少人被AI“割韭菜”？》文中提到，AI生成的内容正在占领社交网络。“小猫张嘴唱歌”“甄嬛机关枪扫射四郎”这类虚拟内容尚能分辨出是AI制作，但如今很多AI生成的的真人图片和视频，已经到了肉眼难辨真假的地步。
经常刷短视频的陈沐（化名）表示，现在刷到AI创作的内容概率越来越高了，“你看完一个换脸视频以后，平台就会疯狂给你推类似的AI换脸二创。”然而，目前社媒平台的审核并不能完全精准识别到所有AI创作内容，还需要用户发布时自觉勾选标注；而因为AI内容声明的标识并不显著，有些内容即使明确标识是AI创作，仍会被很多用户当作真实内容。
据媒体报道，2024年6月中旬，一家MCN机构的实际控制人王某某因利用AI软件生成虚假新闻并大肆传播，扰乱公共秩序，被警方行政拘留。据警方通报，王某某共经营5家MCN机构，运营账号842个，自2024年1月以来，王某某通过AI软件生成虚假新闻，最高峰一天能生成4000至7000篇。
2024年下半年，有网友称自己在小红书上通过账号矩阵管理软件同时操控1327个AI美女账号，没有任何一个被平台识别出来。由于AI真人账号过多，小红书上还出现了专门打假的博主。
有网友表示，为了避开技术bug，很多AI生成的“真人图”通常会避免出现手指，“很多人都是用提示词让手伸出画面，放在身后，握拳，用东西遮挡双手等；如果是真人视频，则要注意口型，AI生成视频一般口型和台词会对不上，或是不太自然。”
然而，也并不是所有人都在乎照片、视频里的形象是不是真人。有网友表示，“好看、能提供情绪价值就可以了，难道那些真人博主就长得和照片一模一样？既然都不真实，是不是AI又有什么所谓？”
由于对“数字人”警惕性不足，通过AI换脸的诈骗案也层出不穷。
据《北京商报》报道，2024年2月有诈骗犯运用Deepfake 深度伪造技术，制作出公司高层发言视频，诱导职员先后15次将2亿港元转至指定账户。
除此之外，还有用AI换脸真人制作色情影片、盗刷医保的违法案例。杭州曾有人通过AI换脸伪造女明星涉黄视频，甚至还组建群聊，满足定制换脸色情影片的需求，根据时长、视频难度收取相应的费用。杭州萧山检察在该群内查获的淫秽视频高达1200余部。
AI模糊了真实与虚假的边界，也给越来越多的人带来困扰。
北京周泰律师事务所张子航律师表示，在公共事件中，故意歪曲事实，用AI或者其他技术手段制作图片、视频，并在社交平台传播造成负面影响的，首先要追究的是制作者的责任，制作者面临的可能是行政责任，也可能是刑事责任。
此外，发布虚假信息的社交平台，也有可能要承担法律责任。张子航律师表示，平台虽然不是技术和内容的提供者、制作者，但负有审核和监管义务，社交平台如未能尽到义务，导致虚假图片传播并造成严重的负面影响，监管部门有权对发布平台做出罚款、责令整改等形式的处罚。
社交平台上，不止一个网友表达过对“AI入侵”的担忧。
有小红书网友表示，现在AI大模型迭代速度很快，2023年用AI画人类的手和脚还乱七八糟，2024年Flux模型画手的正确率就明显提升了很多，再过几年，说不准AI就能正确画出人体各部位，还有各种肢体动作了。“若不加强管理，到时社交网络上恐怕会变得乌烟瘴气。”
AI生成的内容，同样也充斥着海外的社交网络，有些严重侵害了明星、名人的权益，有些甚至在经济层面产生了严重影响。
2024年1月，由AI生成的明星泰勒·斯威夫特“不雅照”在X（原推特）、脸书等社交媒体上流传，浏览量已过千万，引发公众关注。
据网络安全公司Home Security Heroes2023年发布的数据，2023年网络上可监测到的Deepfake视频有95280个，其中98%都是色情内容，而这类内容的主角99%都是女性。
2023年5月，一张五角大楼发生爆炸的照片曾在Twitter上被大范围转发，其中包括很多投资相关的网站和社媒账户；据媒体报道，照片发布正赶上美国股市当天的开盘时间，一度引发美股恐慌性短暂下跌。
当AI生成的内容频繁地与真实新闻掺杂在一起，不仅普通民众很难辨别真伪，一些专业机构甚至也难以招架。
互联网观察基金会IWF的分析师曾表示，AI生成的非法内容（包括儿童受虐图片、AI名人换脸视频等）正在急剧增加，像我们这样的组织或者警察，可能会被成百上千张新图片的鉴别工作压垮，我们并不总能知道，在这其中是否真的有一个孩子需要帮助。
张子航律师认为，AI逐渐让人意识到，眼见并不为实。AI技术的推广，有可能使得网民对网络信息从一个极端到另一个极端，也就是从全信到全不信。
除了入侵互联网内容生态，AI生成的内容也给大模型训练带来了风险。中国信通院发布的《人工智能治理蓝皮书（2024年）》提到，近年来，人工智能内生风险加大，模型缺陷、幻觉等问题凸显；人工智能应用风险不断蔓延，人机伦理、劳动替代、能源短缺等问题突出。
OpenAl前首席技术官Mira Murati曾指出，底层大型语言模型的最大挑战是会编造错误或不存在的事实。
牛津大学的伊利亚・舒梅洛夫博士及其团队在《Nature》上发表的论文提到，当生成模型开始接受AI内容训练时，最终生成内容的质量会明显下降，反馈循环可能导致模型输出偏离现实、甚至有明显偏见的内容，研究人员将这种现象称为“模型崩溃”。
此前，国内领先的AI实验室DeepSeek发布新的AI模型DeepSeek V3模型就出现在测试中竟然声称自己是OpenAI的ChatGPT的情况，并且能够详细阐述OpenAI API的使用方法。
参与过文本生成模型研究的子璐（化名）表示，大模型训练的数据在投喂前都会进行筛选和清洗，图片、视频的生成在技术上更复杂，训练数据的样本也更容易去做清洗，比如固定去找一些摄影师的作品。“相比之下，文本生成的训练数据会更杂一些，也更容易被污染，如果没有人工仔细筛选，很可能会收录进一些虚假的新闻。”
如果AIGC的增加是必然趋势，那普通用户该如何对这类内容有效甄别？某互联网大厂AI安全研究员Lisa（化名）对此表示，普通用户可以从图像的视觉纹理特征来区分AI创作。“一般生成的图片颜色更加鲜艳、纹理更加平滑，而生成的视频运镜缓慢，画质模糊，经常出现类似文字的乱码内容。”
除此之外，文本和图像还可以借助第三方工具来辨别。《人工智能治理蓝皮书（2024年）》提到，“以技治技”正在成为平衡人工智能安全与创新的必要工具。
据“趣解商业”了解，现在已经有AIGC检测工具根据相似检索、内容检测和水印追溯等方法，支持文本、图片等AI生成内容的检测。Lisa表示，如今生成内容越来越逼真，真实图片与生成图片的特征差异越来越小，检测工具的模型学习难度其实也在增加。
不过，大部分用户都是不熟悉AI技术的普通人，不具备鉴别意识和能力，识别AIGC、鉴别真假不应成为用户的负担和责任。创作者应自觉声明内容属性，平台拥有更完善的技术资源和团队，更应承担起识别和审查AI内容的主要责任。
张子航律师认为，想要防范AI创作内容带来的风险，除了用户增强核实意识与能力，平台也应当加强规范。“尤其要关注短时间内被频繁关注、转发的内容，如果发现是AI创作，确认为虚假信息后应当予以删除，如果不能确认真假，也应当提示和标注该内容为AI创作。
据“趣解商业”了解，目前已有多家社媒平台针对AIGC内容做出了相应的监管规范。
小红书在2023年启动了AIGC治理体系建设，对识别为疑似 AI 生成的内容进行显著标识；抖音也在2023年、2024年陆续发布了《关于人工智能生成内容的平台规范暨行业倡议》《 AI生成虚拟人物治理公告》等一系列公告，并持续对多种AIGC造假内容进行严厉打击；今年1月，快手还在站内开设了“辟谣”榜位，通过官方账号转发辟谣作品，利用算法优化，增加辟谣内容曝光量，同时将辟谣信息精准推送给曾浏览过相关谣言的用户。
中国企业资本联盟中国区首席经济学家柏文喜认为，除了加强监管和治理，平台还可以完善用户举报机制，以及建立版权保护机制，要求用户在使用AI生成内容时必须遵守相关的版权法规，明确标注内容的来源和版权归属，防止侵权行为的发生；同时也要注重用户教育，通过平台的官方渠道，如发布指南、教程、案例分析等形式，提高用户对AI内容的识别能力和辨别真伪的意识和能力。
张子航律师还表示，AI生成工具要有提供显著标识的功能，像人脸替换、人声合成等显著改变个人身份特征的编辑服务，应当强制标识为AI创作。“如果这类服务未强制标识，创作者也不声明为AI创作，我个人认为是构成共同侵权的，需要承担一部分的侵权责任。”
以从业者的角度来看，子璐认为，防止AI虚假内容的泛滥，还需要对使用者进行限制。“‘harmless’（无害性）和‘helpful’（有用性）是我们之前做文本生成主要权衡的两个标准，特别安全的内容可能不够有用，特别有趣、有用的内容可能会有风险，所以企业也很重视生成内容的安全性。”
“AI工具企业会避免生成含有色情、暴力等价值观扭曲的内容，但却管不了内容的用途。如果有人要求AI生成一张性感女孩的换脸照片，照片本身并没有危害，但用户拿这张照片造谣中伤女孩，这其实是使用者的问题，也是AI企业很难管辖的领域。”
如今，国内外都愈加重视对AIGC的监管与合规性问题，目前至少有60多个国家制定和实施了人工智能治理政策。
2023年1月10日，国家互联网信息办公室、工业和信息化部和公安部联合发布的《互联网信息服务深度合成管理规定》正式施行，旨在加强互联网信息服务深度合成管理，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益；此后，国家网信办联合国家发展改革委等多部门公布了《生成式人工智能服务管理暂行办法》，并自2023年8月15日起施行。
2024年9月14日，国家互联网信息办公室发布了《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知，以规范人工智能生成合成内容标识，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。多项规定和监管政策的相继落地，让刚性治理有了更多具体的抓手。
新的技术进步呼吁新的监管体系，而这一点并不能完全指望科技商业公司的自我约束，需要监管方、平台方的共同努力。尽管AI的应用范围广泛且难以界定，但法律和道德的边界始终清晰；未来，政策监管和平台审核的力度必然会更加深入，社交平台上的内容生态还会因此发生哪些改变，值得进一步关注。
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)