行业动态非实时的静态化

非实时的静态化。智能识别爬虫机器人返回定期更新的缓存页面的非实时静态化SEO 原理。

具体分为：①在项目部署或者在设定的一段时间后，对页面进行后台的获取、遍历，通过配置文件设定的遍历深度开始对首页进行深度的链接获取以及转义，将各个链接对应的页面交给下一步处理，直到所有遍历结束;②对遍历的页面进行SEO 处理，生成或更新静态HTML 缓存放入静态页面池，即配置文件设置的缓存路径，并在遍历结束后及时对无效链接的缓存进行清理;③网络请求首先通过拦截器(SEOFilter)，拦截器根据HTTP 请求的请求头中包含的“User-Agent”等参数判断此请求是否为爬虫机器人的请求，如果不是则返回正常的页面用于AngularJS 内部渲染显示，反之则通过URL 转义查询并返回对应的SEO 缓存页面给爬虫机器人用于抓取关键字。