• 欢迎访问好鸭,WordPress信息,WordPress教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏好鸭吧

新浪微博相册大图多线程爬虫

教程 haoduck 5个月前 (05-15) 400次浏览 0个评论

闲来无事,想爬一下微博妹子相册

于是在Github上搜了一下,有很多这方面的项目

我就说说其中一个吧

https://github.com/Lodour/Weibo-Album-Crawler

正文

安装python3和git

Linux下的话用自带的包管理安装即可,非常简单

yum install -y git python3
apt install -y git python3

Windows下git建议安装一个git bash
https://www.git-scm.com/download/

Python3从官网下载安装即可
https://www.python.org/downloads/

克隆爬虫项目

git clone git@github.com:Lodour/Weibo-Album-Crawler.git
cd Weibo-Album-Crawler
pip install -r requirements.txt
mv settings.sample.py settings.py

设置settings.py

STORE_PATH 下载目录(注意不要为不存在的目录)

COOKIES 任意用户微博的 Cookies,或设置为 AUTO 以自动获取(需安装 ChromeDriver)

TARGETS 目标用户的微博主页url,可设置多个,示例如下

# 在这里添加目标用户的微博主页url
TARGETS = [
    'https://weibo.com/u/1927305954',
    'https://weibo.com/p/1005053238576424',
    'https://weibo.com/p/1005056068851418',
    'https://weibo.com/p/1005052436325165',
    'https://weibo.com/p/1005055588555086',
]

运行

python3 main.py

截图

新浪微博相册大图多线程爬虫
新浪微博相册大图多线程爬虫


好鸭 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:新浪微博相册大图多线程爬虫
喜欢 (1)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址