-
群众新闻APP
-
陕西日报微博
-
陕西日报微信
本报记者 张梅
当前,生成式AI正深度融入金融、政务、医疗等行业,其安全性与可靠性成为影响采信与部署的重要门槛。近年来,业界已开展大量模型测评实践,但仍面临体系割裂、方法分散、结果不可比等问题,难以有效支撑风险研判,也制约了生成式AI在关键场景中的可靠落地。
12月20日,由中国计算机学会主办的“AIGC(人工智能生成内容)安全测评:破局乱象,重塑信任”技术座谈会在西安举行。本次活动聚焦AIGC安全测评中的关键矛盾,围绕“测得多,就够了吗?”“如何构建科学的测评体系?”“测得好,就信得过吗?”3个议题,探讨可复现、可采信、可演进的测评体系构建路径,推动形成技术共识与制度支撑。
针对“测得多,就够了吗?”议题,与会者认为通用数据集难以适配专用领域需求,测试需精准匹配行业痛点,且深度测评不足仍是突出问题。关于科学测评体系构建,嘉宾提出需兼顾广度与深度,建议国家层面统筹数据集建设,平衡经济成本与责任划分。
在“测得好,就信得过吗?”的探讨中,与会者指出静态测评难以适配动态模型发展,企业应秉持零信任理念,同时需强化测评可解释性与溯源能力,筑牢可信基础。
当天,专家学者分享了前沿研究成果与实践方案。
“AI系统的强大来源于强化学习、思维链等结合大模型带来的强大的思维能力。大模型在迅速发展的同时,也在各个环节带来相应的风险。”复旦大学白泽智能团队负责人张谧介绍,团队构建了多语言安全归约体系与测评基准,测评发现17款主流大模型存在显著安全风险,并通过自主开发的推理链安全防护工具将推理违规率最低降至5%。
“中国AI大模型数量居全球第二,大模型在人工智能领域中扮演着核心角色,需系统构建大模型安全解决方案。同时,要建设‘课程—教材—靶场’三位一体的人才培养体系。”北京极智信科技CEO孙明亮说。
人工智能安全专家吕飞霄从标准化路径出发,提出以“可信应用、防范失控”为原则,通过标准体系支撑AI安全治理,推动测评结论可比互认。



陕公网安备 61010302000086号