VASCOM 科技自动化有限公司
首页 › 新闻 › 企业中的 AI:模型安全、能力验证与数据保护

企业中的 AI:模型安全、能力验证与数据保护

三项进展表明,企业在向 agent 交付任务前,需要验证 AI 能力、明确审核人并管控数据。

从构建安全模型到阻止 agent 读取屏幕,本周的 AI 新闻都提出了控制权问题。对企业而言,这个问题需要在每项具体流程中得到回答。

1. Anthropic 在发展压力下设定安全目标

VnExpress Số hoá 回顾了 Anthropic 的成立过程:Dario 和 Daniela Amodei 与 5 名同事离开 OpenAI,于 1/2021 创立了这家公司。报道称,创始团队希望将安全与责任置于研究和产品的核心。Anthropic 用三个特性描述其目标:系统可靠、可解释、可引导。这些特性直接关系到结果是否稳定、人能在多大程度上理解模型的决策,以及如何引导模型的行为。

文章介绍了服务于这一目标的两个研究方向。其一是设法观察模型处理信息时的内部活动。其二是 Constitutional AI,即使用书面原则供系统对照并调整回答的方法。VnExpress 还指出,安全问题发生在公司需要大量计算资源、数据中心和人员的背景下。AI 产品扩大规模时,其安全承诺仍须通过产品的实际运行情况接受检验。

对企业而言,训练方法的名称只是提出问题的起点。贵公司仍需确定系统可以查看哪些数据、执行哪些操作,以及由谁负责审核结果。具有安全原则的模型不会自行了解各部门的内部规定。这些规定需要落实为访问权限、审批步骤,以及回答错误或缺乏依据时的处理办法。

2. OpenAI 发布药物研究领域的 AI 测试

OpenAI 于 20/11/2026 推出 MedChemBench,用于评估模型在药物化学中的推理能力。该评测包含取自 117 篇论文和专利的 99 道题,涉及 761 个不同的分子结构。模型需要读取结构、解释实验证据、对化合物排序并预测属性。许多题目提供研究过程某一时间点的背景信息;之后取得的实验结果则留作与预测对照。

在 xhigh 推理级别下,GPT-6.2 Astra 获得了可得分数的 84,5%。GPT-6 Astra 为 83,3%,GPT-6.1 Sol 为 82,0%,GPT-5.6 Sol 为 58,2%。这些比例是 MedChemBench 上的结果,并非 AI 用于所有工作的成功率。OpenAI 还描述了一道题:化合物 23 在较低浓度下即可抑制细胞中的 PRMT5,而化合物 24 更容易穿过细胞屏障,在肝酶测试中分解得更慢。仅凭一项突出的指标选择化合物,可能忽略其他取舍。

对企业的启示是,应使用计划交给 AI 的工作类型来测试 AI。综合分数难以说明模型能否妥善处理贵公司的报价单、需求单或技术档案。内部测试集应包含常见输入、容易混淆的情况和明确的评分标准。在决定将结果纳入流程之前,专业人员需要同时审查回答及其依据。

3. Signal 限制移动应用截图

据 TechCrunch AI 于 21/11/2026 报道,Signal 正在限制 Android 和 iOS 应用中的截图功能。此前,Signal 已默认禁止在 Windows 应用中截图。Signal 总裁 Meredith Whittaker 表示担忧:操作系统层面的 AI agent 可能读取屏幕上显示的信息。一旦内容被收集、存储或传送到其他地方,消息应用便无法自行控制这些数据的使用。

Signal 允许用户关闭新的限制,同时承认这一措施尚未解决 agent 访问应用数据的所有途径。因此,禁止截图并不意味着所有敏感内容都已受到保护。这则消息表明,agent 的访问权限需要在应用、设备和操作系统三个层面审视。对话可能在应用内受到保护,却仍显示在获准由其他工具观察的屏幕上。

对于使用 AI 辅助日常工作的企业,数据边界需要在开启屏幕读取权限或连接应用之前确定。贵公司应了解员工打开合同、客户信息或内部对话时,agent 能看到什么。还需要制定规则,明确允许执行的任务、使用的设备,以及必须暂停并由人工检查的情况。

企业现在应做的三件事

  1. 为每项 AI 任务列出数据和访问权限。越南的中小企业可以从使用大量文档的流程入手,例如接收需求或编制报价。只向 agent 授予完成指定任务所需的数据访问权限。
  2. 在扩大使用范围前,用受控的真实档案测试 AI。贵公司应选择常见情况和容易出错的情况,记录结果,供相关专业负责人评估。这样有助于看清哪些工作需要补充数据、说明或审核步骤。
  3. 为影响客户或运营的输出指定审核人。agent 提出的草稿、建议或操作,在发送或执行前都需要适当的审核节点。企业应明确谁有权审核,以及审核人必须检查哪些信息。

VASCOM 如何看待这些进展

VASCOM 从流程调研入手:数据从哪里进入、员工经过哪些步骤处理,以及哪些决策需要有人负责。在此基础上,企业可以按部门评估 agent,并为其设定具体任务和访问权限。先在一条工作流程中测试,有助于将 AI 结果与员工现有的处理方式进行对照。

VASCOM 建议在影响客户、资金或敏感数据的环节保留人工审核。存放在企业的数据需要明确的访问规则,即使 agent 连接了多个工具也是如此。当任务范围、数据来源和审批人得到明确,企业便有依据通过工作结果和实际控制程度评估 AI。


参考来源

  • VnExpress Số hoá,《Anthropic:从 AI 实验室到万亿美元帝国》,21/11/2026,vnexpress.net。
  • OpenAI,《AI 能否帮助科学家识别有前景的候选药物?》,20/11/2026,openai.com。
  • TechCrunch AI,《Signal 限制移动端截图,应对 AI 监控的“生存威胁”》,21/11/2026,techcrunch.com。
科技资讯 与 VASCOM 沟通
更多新闻

继续阅读

Zalo ☎
VASCOM
致电 0822.577.579 预约咨询