国内首起AI涉黄获刑案,撕开了行业的遮羞布。
2025年9月,上海徐汇法院一审判决,AI聊天应用AlienChat两名开发者因制作淫秽物品牟利罪,分别获刑四年和一年半,涉案金额363万元,付费用户超2.4万。经鉴定,超九成付费用户的聊天记录被认定为淫秽内容。
开发者称修改底层提示词,只是为了让AI更拟人化,却人为突破了大模型的道德约束,最终触碰法律红线。目前案件已进入二审,引发行业震动。
而这并非孤例。海外市场同样乱象频发,马斯克旗下xAI的Grok工具,被大量用户用来生成深度伪造色情图像,受害者不乏未成年人,印尼、马来西亚已相继封禁该平台,英国也发出警告。
值得警惕的是,AI巨头正试图为“成人模式”松绑。OpenAI曾表态,计划推出年龄分级系统,放宽成年用户的内容限制,试图靠个性化服务跑通商业模式。
但现实是,AI生成内容的速度远超审核能力,“先上线再治理”的模式,只会让色情、伪造等风险呈指数级放大。我国已实施新规,要求生成式AI内容合格率不低于90%,开发者再也不能用“技术中立”当挡箭牌。

当AI技术游走在伦理与法律的灰色地带,你认为该如何平衡个性化服务与内容监管?评论区聊聊你的看法。
更新时间:2026-01-19
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302035593号