Telegram爬虫优化

第九交响曲提问于09月18日

纸飞机数据抓取如何对抓取的数据进行去重处理？

纸飞机抓的数据去重，其实关键在于怎么整理和处理。第一种，如果你用Excel或Google表格抓的，可以直接选中全部内容，点击“删除重复项”就可以了，简单粗暴。第二种，如果你用Python抓的，可以加个set()函数，或者用pandas库的drop_duplicates()，几行代码就搞定了。