“两张人眼看上去一模一样的照（zhào）片，机器人读取后为何会攻击其中一张图呢？因（yīn）为不正常的照片中（zhōng）被嵌入了（le）特殊的噪声，人工智能产品（pǐn）读取（qǔ）了带有攻击性的信息。”“同一张禁（jìn）止（zhǐ）标记，被（bèi）放入了不同信息，人工智能产品读取（qǔ）一张（zhāng）是正常的停止标签，另一个则是（shì）绿（lǜ）灯。”上（shàng）海科学院直属单位上（shàng）海（hǎi）计算机软件（jiàn）技术开发中心主任蔡（cài）立志（zhì）介绍道，以上就是上海市生成（chéng）式人工（gōng）智（zhì）能质量检验检测中心（质检中（zhōng）心）所（suǒ）提（tí）供（gòng）的检测服务之一。

7月20日下午，记者走入刚刚成（chéng）立的上海市生成式人工智能质量检验检测中心（质检（jiǎn）中心）内，深入了（le）解当下最火热的生（shēng）成式人工智能如何保障可靠（kào）可信，为（wéi）人工智能产（chǎn）业的健康发展保驾护航。

防止（zhǐ）人工智能（néng）“变坏”

做产业健康诊断师

近年来（lái），随着生成（chéng）式（shì）人工智能技术（shù）的快速发展，为经济社会发展带来新机（jī）遇的同时，也产生了传播虚假信息（xī）、侵（qīn）害（hài）个人信息权（quán）益（换脸侵害明（míng）星（xīng）肖像、合成语音进（jìn）行诈骗等）、数据安全和（hé）偏见歧视等问题。

在（zài）此背景下，上（shàng）海首个生（shēng）成式（shì）人工智能质（zhì）检中心在6月8日正式批筹。该中心（xīn）由上海（hǎi）计算（suàn）机软件（jiàn）技术开发中心筹建，上海市人工智能行（háng）业协会推荐指导，提供人工智能质量“一站式”测（cè）评服（fú）务，面向生成式人工智能及其涉及的计算机视（shì）觉、自然语言（yán）处理（lǐ）、AI内容生成等领域，打造人工智能测评第三方服（fú）务新（xīn）模式（shì），聚焦生成式人工智能系（xì）统的逻辑推理能力（lì）、生成内容语（yǔ）义和（hé）谐性、功能（néng）有效性、性能、安（ān）全隐（yǐn）私风险等方面，开（kāi）展系统检测、风（fēng）险评估、内容鉴（jiàn）别等专业服务。

人工智（zhì）能（néng）发（fā）展不同于（yú）此（cǐ）前的软件（jiàn）时代，需要（yào）不断开放（fàng）数据，不断学习，才能不断进（jìn）步（bù），走得（dé）更好。而开源开（kāi）放也（yě）就意味（wèi）着产生更多潜在（zài）的“危险”。蔡立志说（shuō）：“就像孩子（zǐ）一样（yàng），不正确的教育方式会教（jiāo）坏孩（hái）子，我们就是防止（zhǐ）人工智能产品‘变坏’，阻止不良（liáng）数（shù）据导入等。”

据悉，上（shàng）海计算机软件技术开（kāi）发（fā）中（zhōng）心（xīn）去年就推（tuī）进了300多个人工智能质检项（xiàng）目，并在业界取得了良好的口碑。

“与（yǔ）传（chuán）统的检测（cè）以（yǐ）发现不合格为首要任务不同，在人工智能（néng）时代，新设立的生成式人工智能（néng）质（zhì）量检验（yàn）检测中心不仅仅是守底线，更多（duō）的是引导产业向健康的方向发展。”上（shàng）海（hǎi）计算机软件技术开发（fā）中心（xīn）副主（zhǔ）任宋（sòng）俊典解释（shì）说，这就是（shì）新型产（chǎn）业检测中心的不同之处。

近年来，在上海科学（xué）院的整体部署下，上（shàng）海（hǎi）软件中心积极布局并（bìng）开（kāi）展（zhǎn）了（le）人工智能（néng）应用、人工智能治理、人工（gōng）智能测评等技术研（yán）究与（yǔ）第三方技术服务。陆续参与人工智能（néng）国际（jì）、国家（jiā）标准的研制，是国家信标（biāo）委SC42人工智（zhì）能分委会首批单（dān）位会（huì）员（yuán），参与编写了《中国人工智（zhì）能标准化白（bái）皮（pí）书（2021）》，完（wán）成了《人工（gōng）智（zhì）能 深度合成图像系统（tǒng）技术规范》《人工智能 深度学习算法评估规范（fàn）》《人工智（zhì）能 计（jì）算机视（shì）觉系统（tǒng）测评规范》等30余项标准研制。

“我们还在牵头（tóu）制（zhì）定多项新标准，生成式只是（shì）人工（gōng）智能的一部分，未来我们还会（huì）探索工业（yè）智能质（zhì）检、智（zhì）慧医疗等领（lǐng）域。”蔡立志表示。

给狂飙的生成式人（rén）工智能

系上“安全带”

生（shēng）成（chéng）式（shì）人工智能的狂飙突进（jìn），大（dà）模型时代已然降临。在“百模（mó）大战”越（yuè）战越酣之（zhī）时（shí），大模（mó）型其内生及衍生安全威胁（xié）也（yě）愈演愈烈，数据泄露、幻想、生产歧视、排（pái）斥和有害内容等安（ān）全问题层出不穷。如何将制约大模型应用发展的“绊脚石”变（biàn）为“压（yā）舱石”？

以（yǐ）自动驾驶领（lǐng）域而（ér）言，自动（dòng）驾驶需要通（tōng）过（guò）真实世界的（de）数据来训（xùn）练、测试（shì）和（hé）验证模型算法（fǎ）的安全（quán）性（xìng）和准确性，其（qí）过程（chéng）需要大量数据支持和复杂的驾驶环境。然而，让汽车（chē）通过（guò）实际（jì）道（dào）路测试在道路上可能遇到的每一个场景是不现实的（de），AIGC（人工（gōng）智能生产内容）正可以用于模拟各种（zhǒng）驾驶场景。

在上海市生成（chéng）式人工智能质（zhì）量检验（yàn）检（jiǎn）测中心（质检中心）内，检测平台正在进行“自动驾驶鲁棒性检测”。鲁棒（bàng）测试是（shì）对（duì）各个模块的功能进行容（róng）错性的测试，检测（cè）AI模型或者（zhě）系统在异常输入（rù）和苛刻环境条件（jiàn）下能否保持正常工（gōng）作。

“自（zì）动驾驶包括（kuò）车道、红绿灯检测等模块，我们（men）基于视觉去攻击自动驾（jià）驶系统（tǒng）的感知（zhī）算法，针（zhēn）对（duì）每一个模块（kuài）进行仿真检测。”质检中心检测（cè）工程师马泽宇（yǔ）说。

自动驾驶（shǐ）正快速（sù）在上海发展，如《浦东新（xīn）区（qū）无驾驶人（rén）智能网联汽车创新应用规定》以及（jí）相关（guān）实施（shī）细则的落实（shí），上海浦（pǔ）东新区自动（dòng）驾驶（shǐ）汽车已迎来了无人化（huà）阶段，众多企（qǐ）业正在加（jiā）速产品的研发。业界（jiè）专家认为，在人（rén）工（gōng）智能领（lǐng）域建立（lì）质检中心，正（zhèng）是为了给（gěi）狂（kuáng）飙的生成式（shì）人工智能系上“安全带”。

截止到2023年7月8日，中国国内推（tuī）出了（le）近100个大模型，如何客观地评价、比（bǐ）较大模型及其（qí）他AIGC模型的性能，成为大（dà）模型应（yīng）用的关键一环（huán）。7月10日，国家网信办等国家七部（bù）委联合发（fā）文《生成式（shì）人工智能服务管理暂（zàn）行办（bàn）法》，自2023年8月（yuè）15日起施行，管理办法明确了AIGC服务提供者的责任，包括信息（xī）源可信责任、生成内（nèi）容（róng）合法（fǎ）合规责（zé）任、申报安全评估及（jí）算法备案责任。管理（lǐ）办法的落地亟需（xū）专（zhuān）业（yè）的（de）第三（sān）方机（jī）构提供人工智能质量检验（yàn）检测服务。

据悉，新建立的（de）质检中心将参考国内（nèi）外人（rén）工智能测评标准（zhǔn）和前沿技（jì）术，建立人工智能检验检测评价指标体系（xì）等。“要让企业的人工智能（néng）研发工作（zuò）平稳可持续发展（zhǎn），为人工智能产品（pǐn）的（de）安全（quán）性保驾护航，让老百（bǎi）姓在（zài）使用人工智能产品时用得放心，用得安心。”蔡立志说。