相关问题
TG 爬虫技术怎样处理网页中通过 AJAX 动态加载的评论数据提取?
这个问题很常见,用常规的爬虫方法是拿不到动态加载的数据的。你可以试试下面几种方法:1. 用浏览器的开发者工具看看请求,找到评论数据的接口,直接爬接口数据。2. 用 Selenium 或 Puppeteer 这类工具模拟浏览器行为,让页面加载完整后再提取数据。
6 个点赞 1 回答 421 浏览
这个问题很常见,用常规的爬虫方法是拿不到动态加载的数据的。你可以试试下面几种方法:1. 用浏览器的开发者工具看看请求,找到评论数据的接口,直接爬接口数据。2. 用 Selenium 或 Puppeteer 这类工具模拟浏览器行为,让页面加载完整后再提取数据。