本文共 472 字,大约阅读时间需要 1 分钟。
Python爬取网页数据基本步骤:
from urllib import request
response = request.urlopen(‘完整的网址’)import requests
import chardet url = ‘完整的网址’ response = requests.get(url) response.encoding = chardet.detect(response.content)[‘encoding’] # 文本 html = response.textselenium (动态加载的 网页,就用这个)
from selenium import webdriverscrapy 框架
----- 提取 内容 ------
一般通过 浏览的控制台,先找 统一结构。然后找父元素 1. 正则表达式 2. beautifulsoup 3. selenium的相关方法 4. xpath----- 存储 内容 -------
1. txt 2. csv 3. excel 4. mongodb 5. mysql转载地址:http://uywzi.baihongyu.com/