相关问题
TG 爬虫技术怎样处理网页中动态加载的 JSON - LD 数据提取?
你遇到的情况很常见,JSON-LD是网页用来结构化数据的一种方式,但如果是动态加载的,传统爬虫直接解析HTML就拿不到数据了。首先,你要搞清楚数据是从哪个接口加载进来的,一般用浏览器的开发者工具看一下Network面板,找到对应的AJAX请求。
6 个点赞 1 回答 255 浏览
你遇到的情况很常见,JSON-LD是网页用来结构化数据的一种方式,但如果是动态加载的,传统爬虫直接解析HTML就拿不到数据了。首先,你要搞清楚数据是从哪个接口加载进来的,一般用浏览器的开发者工具看一下Network面板,找到对应的AJAX请求。