以前我们的风控都是围绕设备、用户来建立,随着AI的发展,我们的风控得围绕Agent来建立,因为很多操作是Agent发起了,我们需要校验Agent的权限,Agent有没有被控制等等。
Layer 1: 实时拦截层 (毫秒级)
硬规则、零容忍、同步拦截
• Prompt 注入检测
• 参数校验
• 权限检查
• 顺序验证
Layer 2: 决策监控层 (秒级)
软规则、可降级、异步监控
• 意图置信度
• 决策链完整性
• 语义一致性
• 风险评分
Layer 3: 行为分析层 (分钟/小时级)
机器学习、趋势分析、预测预警
• 跨会话追踪
• Agent 漂移检测
• 异常模式
• 模型健康