AI造谣还“流量变现”,黑产曝光每天收入上万,无数百姓上当

文|泡芙

编辑|江娱迟

本文内容均是根据权威资料,结合个人观点撰写的原创内容,文中标注文献来源及截图,请知悉。

把AI幻觉比成“应试学生”

你有没有过这种又气又笑的经历?问AI“十年前某部小众纪录片的制片人”,它立马甩出一个名字,还附带“曾参与XX项目”的细节,说得跟真的一样。

结果你翻遍老新闻、查遍行业数据库,压根没这人!这就是AI让人头疼的“幻觉”,也就是造谣。

但是最可怕的是有人竟然趁机钻了空子,利用AI的幻觉形成产业链,生产造谣的文章,从中来获取关注度和流量获取利益!而这件事也开始让我们思考“AI幻觉”这个让人头痛的问题。

之前有个扎心的观点,AI之所以爱“一本正经胡说八道”,是因为我们把它教成了“应试学生”,为了“得分”,哪怕不会也得蒙一个,总比说“不知道”得零分强。

或许有人会说,AI连主观意识都没有,学生可是有主动思考能力的,把AI幻觉归为应试教育式训练,是不是有点硬凑比喻?

这个疑问确实有道理,毕竟学生考试猜答案,是知道自己“不会才蒙”,还可能心里打鼓,但AI生成错误内容时,它根本意识不到自己在“胡说”,只是按概率输出文字而已,两者的“动机”完全不一样。

不过换个角度看,两者的核心矛盾其实是相通的,都是训练/考核机制把“得分”放在了“求真”前面。

他们的测评基准都是“对得1分,错或说不知道得0分”,这种规则下,AI选“蒙一个”的收益比“认不会”高,就像学生碰到不会的选择题,蒙还有机会对,空着肯定没分。

虽然AI没有“主动蒙题”的意识,但训练机制间接逼它养成了“优先输出而非核查”的习惯。

这和应试教育里,有些学生为了分数放弃深度思考、专攻答题套路,本质上是同一类机制问题,不是说AI和学生“一样有想法”,而是两者都被规则导向了“重结果轻过程”。

能治好“应试后遗症”吗?

从另一个角度看,可能有人会质疑,让AI查资料、设置信度阈值让AI少乱说话,这些方法会不会只是补丁?

毕竟模型本身还是应试思维,就算有工具辅助,会不会还是会乱引用、乱判断?

这个担心并非多余,比如要是检索到的资料本身有误差,AI照样可能基于错误资料“一本正经胡说”。

就算设了置信度阈值,要是模型对“自己会不会”的判断不准,也可能该说的不说、不该说的乱说。

但这些方法的核心不是“根治”,而是“对齐”,让AI的输出逻辑和真实世界的“求真需求”对齐。

比如置信度阈值,本质是改了“评分规则”,以前是“蒙对得分、认不会零分”,现在是“错了扣分、认不会零分、对了得分”,相当于把应试里的“唯分数论”调整为“分数与准确性绑定”。

而给AI补上“查资料验证”的步骤就像让应试学生不再只靠死记硬背答题,而是允许查参考书再写答案,虽然不能保证100%对,但能大幅减少“凭感觉胡说”的概率。

这些方法确实不是“一劳永逸”,但却是从“机制”和“工具”两方面,逐步修正“应试训练”带来的偏差,比单纯骂AI“不思考”更实际。

让AI少说话认怂

还有人可能会觉得,“我用AI就是想让它帮我解决问题,要是它老说我不知道,那我还不如自己查资料,AI的实用性不就没了?

这个顾虑很贴近日常使用场景,比如问AI一个冷门知识,要是它直接说“不会”,确实会让人觉得“没帮上忙”。

但这里需要平衡“实用性”和“可靠性”,在医学、金融这些专业领域,“准确”比“能说”重要得多,比如AI给错一个用药建议,后果可能很严重,这时候让AI在不确定时说“不知道”,反而比乱给建议更有用。

就在前不久某公众号运营者钟某为靠热点博流量、涨关注,竟把主意打到了“海啸预警”上。

他特意用AI生成“30万居民紧急撤离上海”、“数十万上海市民正排队登车避险”等耸人听闻的内容,伪装成真实消息发布到自己运营的公众号里。

这条假消息很快被大量转发,不少市民看到后慌了神,给当地社会秩序带来不小干扰。

警方接到群众反映后迅速核查,确认消息纯属编造,随即依法将钟某拘留,经过调查发现他们背后已经形成了“黑产”,产生了利益链,一天就能挣一万以上,批量生产虚假文章,一篇简直让人深恶痛绝!

长远来看,减少“胡说八道”带来的误导,比让AI“啥都敢接”更能体现它的价值,“认不会”反而会成为AI“主动找办法验证”的起点,而不是终点。

其实这些质疑的核心,都是在追问“AI幻觉的本质到底是机制问题,还是技术局限”。

我们也要知道,AI本身的运作原理是“预测概率”,而应试式的评分规则,让这种“概率优先”的逻辑偏离了“事实优先”的需求。

结语

无论是质疑比喻牵强,还是担心方法治标,本质都是在提醒我们,解决AI幻觉,既要改训练规则,也要补技术短板,更要明确“AI不是用来考高分的,而是用来帮人做对事的”。

而作为用户,保留验证习惯、不盲目相信“说得头头是道”的回答,也是这个过程里很重要的一环。

展开阅读全文

更新时间:2025-09-23

标签:科技   流量   收入   百姓   幻觉   零分   学生   胡说   阈值   概率   资料   机制   规则   得分

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020- All Rights Reserved. Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302035593号

Top