千问App可生成淫秽小说?引争议 客服回应,严禁违规内容,将加强审核
有用户反映称,某智能问答App“千问”(注:此处为化名,避免与具体品牌混淆)疑似能根据用户指令生成包含淫秽色情内容的小说,引发网络热议,这一消息迅速发酵,不少网友担忧AI技术被滥用,对青少年及网络生态造成不良影响,针对此事,千问App客服团队迅速作出回应,明确表示平台严禁生成任何违法违规内容,已启动专项排查并升级审核机制。 www.mos055.com
用户爆料:AI“写”出淫秽小说?技术便利引担忧
据爆料用户描述,其在使用千问App时,尝试输入“生成一篇成人向短篇小说”“描写敏感情节的故事”等模糊指令,App竟返回了部分带有露骨描述的文本片段,用户截图显示,相关内容涉及低俗情节描写,明显违背公序良俗,该用户质疑:“作为一款面向大众的AI应用,为何能生成这种违规内容?”
此事在社交平台传播后,引发轩然大波,不少家长担忧,此类功能若被未成年人接触,可能对其价值观产生误导;也有网友指出,AI技术的“中立性”不应成为监管漏洞,开发者需明确内容边界,防止技术沦为不良信息的“生产工具”。 皇冠会员登录网址
客服回应:严禁违规内容,已启动排查与升级
针对用户质疑,千问App客服团队昨日通过官方渠道发布声明,强调平台始终严格遵守国家法律法规及内容安全准则,“严禁任何形式的淫秽色情、暴力恐怖等违法违规内容生成与传播”,客服表示,用户爆料的情况可能源于“个别用户利用AI模型的文本生成特性,尝试绕过安全限制”,或“系统在复杂指令下存在误判可能”。
客服进一步说明,平台已第一时间对相关指令库进行排查,封禁了多个涉及违规内容的关键词;审核模型,引入“人工审核+AI双轨机制”,对涉及敏感话题的生成请求进行二次拦截,并计划上线“青少年模式”,进一步强化对未成年人的内容保护,对于已发现的不当内容,平台已全部删除,并封禁了相关违规账号。
安全成行业挑战,技术发展与监管需并重
此次事件并非个例,随着ChatGPT、文心一言等生成式AI技术的普及,“AI如何管住‘手’”已成为行业共同面对的课题,AI模型本身不具备主观“善恶”判断,其生成内容完全依赖训练数据与指令设定,若安全机制存在漏洞,极易被用于制造不良信息。 www.bmw969.me
业内专家指出,AI内容安全需从“技术+规则+用户教育”三方面发力:技术上,需持续优化算法,提升对违规指令的识别精度;规则上,应建立明确的用户协议与内容红线,对违规行为“零容忍”;用户教育上,则需引导公众合理使用AI工具,共同抵制不良信息传播。
技术向善是底线,AI发展需守住“安全阀”
千问App的争议再次敲响警钟:AI技术的进步应以“安全可控”为前提,任何以“技术中立”为借口逃避监管的行为都不可取,对于企业而言,筑牢内容安全防线不仅是法律责任,更是赢得用户信任的基础;对于用户而言,也应自觉抵制不良请求,共同维护清朗的网络空间。
随着相关法规的完善与行业自律的加强,期待生成式AI能在规范中实现健康发展,真正成为服务社会、造福大众的“利器”,而非滋生乱温床。
