2024年世界人工智能大会上，“上海人工智能安全治理实验室”正式揭牌。“我们将持续统筹发展与安全，在推动人工智能赋能千行百业的同时，不断加强安全保障，提升安全性、可靠性、可控性和公平性，推动人工智能以人为本、智能向善。”杨海军说。

此外，上海商汤智能科技有限公司、上海数字安全科技有限公司、观源（上海）科技有限公司、深圳奥联信息安全技术有限公司等单位的行业专家围绕《大模型浪潮下的安全挑战》主题展开圆桌讨论。

2022年底以来，以大语言模型为代表的生成式人工智能技术与应用快速发展，服务公众，赋能行业。同时，大模型也引发业界和公众对人工智能安全和伦理的担忧。

上海市信息安全测评认证中心总工程师李宏达以《生成式人工智能内容安全指引及备案》为题作交流分享。智巡密码（上海）检测技术有限公司副总经理、高级工程师刘军荣带来《密码技术守护大模型安全》的主题分享，深入探讨了密码技术与大模型的融合应用与创新发展。

当天，论坛围绕“大模型浪潮下的安全挑战”主题，聚焦大模型最新的技术进展及其所面临的安全难题，邀请相关领域的学者、科研专家、行业大咖，就大模型科研动态、发展趋势、技术实践以及安全挑战等话题展开深入的研讨与交流。

杨海军说，为应对生成式人工智能带来的风险挑战，国家及上海市持续出台相应法规政策，促进创新与依法治理相结合。2023年8月15日，国家网信办等七部委联合出台的《生成式人工智能服务管理暂行办法》正式施行，成为全球生成式人工智能服务监管立法的先行者。

ng体育app上海市委网信办总工程师杨海军透露，截至目前，全国已经有188款大模型完成备案，上海市共34款，其中徐汇区21款。目前，上海还有两批次17款大模型正在备案流程中。模速空间生态集聚效应显现。记者注意到，截至8月30日，上海市累计已完成30款生成式人工智能服务登记。