d857e2515cf4fc416d3867e2da44a52b Python Selenium爬虫长时间运行导致奔溃_途途旅游

Python Selenium爬虫长时间运行导致奔溃

 时间:2024-10-12 07:21:07

1、检查变量的引用计数。网页源代码的引用计数为1,用beautifulsoup库函数编译网页源代码后,引用计数为5。说明库函数存在问题。编译后的网页代码变量无法被内存释放

2、对程序打印内存信息。发现每次编译后造成内存增加严重。秤郓鹜媲且内存只增不减。可以确定,这段内存在存储编译结果后再也无法释放。beautifulsoup就是一个大貔貅,只吃不吐。每次调用就吃你几兆内存,导致这段内存溢出。

3、造成的后果就是程序逐步蝉食内存。最后程序崩溃。无法获取网页内容。报错。计算机卡顿。解决办法是改用其他编译器。推荐lxml库。检验发现引用计数正常,内存被返还给系统。可以持续爬取网页

  • 洪泽湖流经那条河流
  • 腾讯明日之子怎么投票
  • 阴阳师:饿鬼哪些地方可以刷
  • 热血江湖手游击败鬼面密探任务怎么完成?
  • 腾讯会议怎么开启特邀会议
  • 热门搜索
    四川省旅游局官网 旅游科学 平顶山旅游网 旅游计划ppt 南昌旅游网 番禺旅游景点大全 金寨旅游景点大全 香港旅游景点图片 温州雁荡山旅游攻略 浙江旅游景点大全介绍