纯净、安全、绿色的下载网站

首页

当前位置:首页IT学院IT技术

python 淘宝爬虫 python 淘宝爬虫小实例

嗨学编程   2021-11-08 我要评论
想了解python 淘宝爬虫小实例的相关内容吗,嗨学编程在本文为您仔细讲解python 淘宝爬虫的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:python,爬取淘宝,Python,爬虫实例,下面大家一起来学习吧

兄弟们,双十一剁手了吗?购物虽快乐,但是别过度了,毕竟很多降价不是真的降价,眼睛擦亮了~

在这里插入图片描述

今天来试试爬一下某宝,这玩意学会了做外包的话,还是值几个钱的

在这里插入图片描述

环境/模块介绍

python 3.8 使用的环境
pycharm 使用的编辑器
selenium 浏览器驱动的第三方模块
csv 数据保存的模块
time 时间模块, 可以用于程序的延迟
random 随机数模块

下载操作浏览器驱动的第三方模块
对应视频教程:

Python:双十火热进行中,教你带你用Python继续剁手

selenium  pip install selenium

解释我基本都写在注释了,我就偷个懒不在写了

from selenium import webdriver
import time  # 时间模块, 可以用于程序的延迟
import random  # 随机数模块
from constants import TAO_USERNAME1, TAO_PASSWORD1
import csv  # 数据保存的模块



def search_product(keyword):
    """搜索商品数据, 登录用户"""
    driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword)
    time.sleep(random.randint(1, 3))  # 尽量避免人机检测  随机延迟

    driver.f
def parse_data():
    """解析商品数据"""
    divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfx"]/div/div')  #  所有的div标签

    for div in divs:
        try:
            info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
            price = div.find_element_by_xpath('.//strong').text + '元'
            deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text
            name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text
            location = div.find_element_by_xpath('.//div[@class="location"]').te'.//div[@class="pic"]/a').get_attribute('href')

            print(info, price, deal, name, location, detail_url)

            # 保存
            with open('某宝.csv', mode='a', encoding='utf-8', newline='') as f:
                csv_write = csv.writer(f)
                csv_write.writerow([info, price, deal, name, location, detail_url])
        except:
            continue


word = input('请输入你要搜索商品的关键字:')
# 创建一个浏览器
driver = webdriver.Chrome()

# selenium操作的浏览器被识别了, 无法登录
# 修改浏览器的部分属性, 绕过检测
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",
            {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => false})"""})


# 执行自动化浏览器的操作
driver.get('https://www.taobao.com/')
driver.implicitly_wait(10)  # 设置浏览器的等待,加载数据
driver.maximize_window()  # 最大化浏览器


# 调用商品搜索的函数
search_product(word)

for page in range(100): # 012
    print(f'\n==================正在抓取第{page + 1}页数据====================')
    url = f'https://s.taobao.com/search?q=%E5%B7%B4%E9%BB%8E%E4%B8%96%E5%AE%B6&s={page * 44}'
    # 解析商品数据
    parse_data()
    time.sleep(random.randint(1, 3))  # 尽量避免人机检测  随机延迟

兄弟们快去试试吧!Python学习视频,解答,电子书都可以私信我领取


相关文章

猜您喜欢

  • Java设计模式之组合模式 深入理解Java设计模式之组合模式

    想了解深入理解Java设计模式之组合模式的相关内容吗,一指流砂~在本文为您仔细讲解Java设计模式之组合模式的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Java设计模式,Java组合模式,下面大家一起来学习吧..
  • Java设计模式之享元模式 深入理解Java设计模式之享元模式

    想了解深入理解Java设计模式之享元模式的相关内容吗,一指流砂~在本文为您仔细讲解Java设计模式之享元模式的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Java设计模式,Java享元模式,下面大家一起来学习吧..

网友评论

Copyright 2022 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们