TG 爬虫技术怎样处理网页中通过 AJAX 动态加载的评论数据提取?

税照税照09月19日421

我们做的是Telegram的网站,用爬虫怎么爬取那些用AJAX动态加载的评论呢?用一般的方法好像获取不到,有啥好方法吗?

1 个回答

亓官涵育
亓官涵育回答于 09 月 19 日
最佳答案

这个问题很常见,用常规的爬虫方法是拿不到动态加载的数据的。

你可以试试下面几种方法:

1. 用浏览器的开发者工具看看请求,找到评论数据的接口,直接爬接口数据。

2. 用 Selenium 或 Puppeteer 这类工具模拟浏览器行为,让页面加载完整后再提取数据。

3. 如果你对 JS 比较了解,可以分析前端代码里的渲染逻辑,然后用 API 拿数据。

Telegram 上的数据很多也是异步加载的,原理都差不多,选个适合你项目的试试看。

您的答案