怎么用python爬取网页文字?-中华考试网

我的课程我的订单官网直达

网络开发

来源 :中华考试网 2020-10-16

中

　　　用Python进行爬取网页文字的代码：

　　#!/usr/bin/python

　　# -*- coding: UTF-8 -*-

　　import requests

　　import re

　　# 下载一个网页

　　url = 'https://www.biquge.tw/75_75273/3900155.html'

　　# 模拟浏览器发送http请求

　　response = requests.get(url)

　　# 编码方式

　　response.encoding='utf-8'

　　# 目标小说主页的网页源码

　　html = response.text

　　print(html)

　　1、编写爬虫思路：

　　确定下载目标，找到网页，找到网页中需要的内容。对数据进行处理。保存数据。

　　2、知识点说明：

　　1)确定网络中需要的信息，打开网页后使用F12打开开发者模式。

　　在Network中可以看到很多信息，我们在页面上看到的文字信息都保存在一个html文件中。点击文件后可以看到response，文字信息都包含在response中。

　　对于需要输入的信息，可以使用ctrl+f，进行搜索。查看信息前后包含哪些特定字段。

　　对于超链接的提取，可以使用最左边的箭头点击超链接，这时Elements会打开有该条超链接的信息，从中判断需要提取的信息。从下载小说来看，在目录页提取出小说的链接和章节名。

　　2)注意编码格式

　　输入字符集一定要设置成utf-8。页面大多为GBK字符集。不设置会乱码。

分享到