TG 爬虫技术怎样处理网页中通过 AJAX 动态加载的评论数据提取?
1 个回答
这个问题很常见,用常规的爬虫方法是拿不到动态加载的数据的。
你可以试试下面几种方法:
1. 用浏览器的开发者工具看看请求,找到评论数据的接口,直接爬接口数据。
2. 用 Selenium 或 Puppeteer 这类工具模拟浏览器行为,让页面加载完整后再提取数据。
3. 如果你对 JS 比较了解,可以分析前端代码里的渲染逻辑,然后用 API 拿数据。
Telegram 上的数据很多也是异步加载的,原理都差不多,选个适合你项目的试试看。