Administrator
Administrator
发布于 2026-05-16 / 44 阅读
0
0

Agent的风控

以前我们的风控都是围绕设备、用户来建立,随着AI的发展,我们的风控得围绕Agent来建立,因为很多操作是Agent发起了,我们需要校验Agent的权限,Agent有没有被控制等等。

Layer 1: 实时拦截层 (毫秒级)

硬规则、零容忍、同步拦截

• Prompt 注入检测

• 参数校验

• 权限检查

• 顺序验证

Layer 2: 决策监控层 (秒级)

软规则、可降级、异步监控

• 意图置信度

• 决策链完整性

• 语义一致性

• 风险评分

Layer 3: 行为分析层 (分钟/小时级)

机器学习、趋势分析、预测预警

• 跨会话追踪

• Agent 漂移检测

• 异常模式

• 模型健康


评论