CDN场景下蜘蛛抓取的配置调整

CDN缓存能加速访问，但配置不当会让蜘蛛抓到过期内容甚至触发异常。四个配置点让CDN与抓取和平共处。

蜘蛛请求直通

CDN规则里对百度蜘蛛UA的请求设置不缓存或短缓存，保证蜘蛛拿到最新内容。

回源与缓存时间

动态页面缓存时间不超过5分钟；静态资源长缓存加版本号更新。

回源Host一致性

回源请求必须携带原始Host头，否则应用按IP访问会走不到域名路由逻辑。

监控CDN层状态码

CDN面板里关注回源5xx和命中率，异常回源会让蜘蛛大面积抓取失败。

判断标准与参考数据

蜘蛛日志中的内容更新延迟与CDN缓存时间一致；CDN回源5xx比例低于0.1%。

注意事项

多级CDN时每一级都要检查回源Host传递，任何一层丢Host都会导致应用路由错乱。