动态网页爬虫

衅姣妍提问于09月19日

TG 爬虫技术怎样处理网页中动态加载的 JSON - LD 数据提取？

你遇到的情况很常见，JSON-LD是网页用来结构化数据的一种方式，但如果是动态加载的，传统爬虫直接解析HTML就拿不到数据了。首先，你要搞清楚数据是从哪个接口加载进来的，一般用浏览器的开发者工具看一下Network面板，找到对应的AJAX请求。