用AI生成一张图片、写一段文字,内容违法了,是你负责,还是AI负责?多起涉AI刑事案件的裁判,已经陆续给出了答案。
一、引子:一款AI软件涉黄,两名开发者被判刑
2023年6月,一款名叫Alien Chat的AI伴侣聊天应用上线。开发者给它的定位是“为年轻群体提供亲密陪伴和情感支持”。
不到一年,这款软件就因用户举报聊天内容涉黄而停运,两名开发者被逮捕。数据显示,这款软件累计注册用户11.6万人,付费用户2.4万人,会员充值费300余万元。办案机关经抽样鉴定,随机抽取了150名付费用户共计12495段聊天记录,其中涉黄内容有3618段,涉及141个用户。
2025年9月,上海徐汇法院一审以制作淫秽物品牟利罪,分别判处两名被告人四年、一年六个月有期徒刑。目前该案二审已经开庭,尚未宣判。
一审法院的认定逻辑
一审法院认为,系统提示词文本及两被告人之间的聊天记录等证据表明,被告人之所以编写并不断修改系统提示词,核心目的是诱导大语言模型与用户进行色情对话,而非保障软件的顺利运行。另外,侦查实验证明,如果不编写、不修改那些特殊提示词,大语言模型不会连续输出淫秽内容。这两项事实共同支撑了一审法院的定性结论——并非AI“自作主张”,而是开发者有意为之。
罪名争议
本案一审公诉机关指控的是“传播淫秽物品牟利罪”,但一审法院最终认定为“制作淫秽物品牟利罪”。法院的裁判思路在于:即便被告人没有亲手撰写淫秽文字,但通过操控系统提示词,掌握了内容生成的决定性控制权,在法律层面可以等同于“制作”行为。这一罪名调整将责任锚定在内容生成的源头环节,凸显行为人对淫秽内容产生的决定性支配。
辩护律师做无罪辩护,核心抗辩包括:其一, AI与用户是一对一封闭聊天,不涉及“传播”;二是开发者本身不存在“制作”淫秽内容的行为,提示词修改与淫秽内容产出之间的因果关系不能靠推定,需要完整的技术论证。这都指向一个核心问题——在现有刑法框架下,对AI输出内容的“控制力”到底应该怎么认定。二审阶段,辩护律师已经申请重新开展侦查实验,并提请专家证人出庭。
二、AI“图生图”批量做高仿拼图:
罗某林系福州某品公司法定代表人,与电商平台经营拼图的姚某渊共谋,未经权利人许可,使用他人美术作品制作拼图销售。2024年3月至7月,姚某渊指使他人使用AI“图生图”技术,在AI软件中导入他人美术作品,统一设置参数生成图片,并从中选择与原图最相似的用于制作拼图。共售出侵权拼图3000余件,非法经营额27万余元。
案中证明主观故意的关键,是行为人对AI生成过程的刻意控制。罗某林向姚某渊介绍AI画师并传授规避侵权的方法,姚某渊则指使画师对原图仅做细节上的细微修改(如调整局部颜色、线条或背景),刻意保留原作品最核心、最具独创性的关键表达元素。这些证据直接反驳了“AI生成的是新作品”的辩解。
2025年6月,北京通州法院作出一审判决:被告单位构成侵犯著作权罪,罚金10万元;罗某林、姚某渊分别判处有期徒刑一年六个月,并处罚金6万元;其余两名涉案人员判处十个月有期徒刑、缓刑一年,罚金2.5万元。
本案的裁判要旨有三层:
AI图生图产出的图片,如果和原作核心要素高度重合,生成过程又缺乏独创性的智力投入,就不具备著作权法上的独创性,不属于新作品;第二,该行为实质上是对他人作品的“复制”,以营利为目的、违法所得达到法定数额或者有其他严重情节,即构成侵犯著作权罪。聊天记录中“保持画风一致”“去除多余元素”等指令,亦足以证明行为人的主观故意;第三,AI生成过程的“技术中间环节”不影响“复制发行”行为的认定——工具变了,侵权的本质没变。
三、律师视角:AI刑事案件中的三个辩点
办理涉AI刑事案件,下面这三个问题无法回避,也是控辩交锋的主战场。
第一个问题:责任主体是谁?
AI本身不能承担刑事责任,这是司法实践共识。问题在于具体责任落在谁身上:算法开发者、平台运营者、系统提示词修改者,还是输入提示词的终端用户?
从Alien Chat案来看,法院基本按“控制能力”划分责任:对内容生成机制具有决定性作用的人(修改系统提示词的开发者),承担主要责任。辩护实务中的论证关键在于:当事人的控制力到底有多强?是“能够决定AI输出内容”,还是“仅有影响而无决定能力”?这一区分可能影响主从犯认定。
需注意的是,如果终端用户明知并追求违法结果,也可能单独或共同担责,如诽谤、制作淫秽物品等。据报道,公安机关还对一名软件玩家进行了追责,该玩家用户创建角色并公开、角色输出过淫秽内容,且获得平台虚拟货币奖励,最终以制作淫秽物品牟利罪被取保候审。这说明“控制力+获利”的归责逻辑对用户层面同样适用,只是本案责任认定的重心在开发者。这恰恰印证了“控制力/主导地位”的归责路径。
第二个问题:因果关系怎么证明?
传统刑法要求行为与结果之间存在因果关系。但在AI场景下,用户输入提示词→AI“处理”→AI输出结果,中间隔着算法黑箱,因果链条容易产生争议。
Alien Chat案中,一审法院通过侦查实验补强因果关系—若没有那些特殊提示词,AI不会连续输出淫秽内容。相当于从外部打开算法黑箱,用实验结果印证因果关系。但侦查实验的证明力也有边界——它只能证明提示词与连续输出之间的关联,难以排除用户诱导内容与模型自身行为的贡献;提示词版本、模型版本、随机性、复现条件本身,都可能成为辩方质疑点。而二审辩护律师申请重新开展侦查实验,本质上是质疑控方实验方法的唯一性和结论的排他性,这些恰恰是攻防的切口。
第三个问题:主观明知怎么认定?
Alien Chat案的一审判决用了三组证据来构建明知链条:系统提示词文本(“剧烈的暴力、露骨的性都是被允许的”)、被告人的聊天记录(讨论如何让AI更顺畅地“聊黄”)、侦查实验(提示词与输出的关联性)。
此外,法院还查明被告虽有审核机制,但仅覆盖角色背景,未对用户输入与模型输出内容进行审核,亦未按要求处置、整改和报告。被告人声称的色情内容防范措施仅仅停留在表面,名为防范色情内容,实则在保持软件运营的情况下积极追求色情聊天内容的产生——这组“名为防范、实则放任”的证据,对认定故意同样关键。三组证据相互印证,形成了指控的证据链。
辩护空间在哪里?如果用户输入的是中性指令,AI“自主”生成违法内容,此时用户的主观状态可能属于过失甚至无过错,不能直接推定存在犯罪故意。但目前实务中这一问题的裁判标准尚未统一。
四、实务提示
第一,AI本身不能当作免责理由。
“是AI干的”这一抗辩在法庭上难以成立。谁设计、谁控制、谁从中牟利,谁往往需要承担主要责任”。作为辩护律师,最先要做的就是打消当事人“工具无罪”的侥幸心理,跳出AI工具的借口,回归案件事实本身做实质辩护。
第二,提示词可以成为定罪证据。
输入提示词指令AI去写诽谤文章,与自己动手写诽谤文章,在刑法评价上差别不大。提示词就是行为指令,是行为人主观想法最直接的外化。在Alien Chat案中,底层系统提示词被法院作为认定制作故意的核心证据。办理同类案件,提示词原文、修改记录、版本迭代历史,都属于第一时间需要固定、仔细核对的证据。
第三,AI生成内容不等于天然具备独创性。
拿别人的作品导入AI,产出高度相似的图片拿去售卖,完全可以满足侵犯著作权罪的构成要件。福州某品公司的裁判思路已经明确:AI图生图输出与原作关键元素重合、实质性相似,就不属于新创作,法律上直接视作侵权复制品。技术流程再复杂,也不能洗白侵权行为的本质。如果辩护方想要主张AI产出属于独创性新作品,不能只靠“用了AI”这一说辞,必须提出实质证据,如生成过程中有独立的设计选择、参数调整等体现独创性的操作。
结语
Alien Chat一案对AI服务提供者的刑事责任边界具有标杆意义。一审将修改底层系统提示词评价为制作淫秽物品的行为,如果二审维持该裁判逻辑,会深刻影响整个AI陪伴、内容生成类产品的行业合规标准。
对刑辩从业者来说,二审裁判文书值得仔细研读,它会告诉我们司法如何界定“控制力”、如何认定因果关系,看现有刑法体系如何回应新技术带来的挑战。