python

导航

python爬虫怎样用json提取评论?

来源 :中华考试网 2020-11-30

  我们经常会看到一个文章下面有很多的评论,特别的一些带有话题的文章下面,一般的评论数目几千或者几万都是很正常的。那么,我们有没有什么方法可以把众多的评论给提取出来呢?今天小编要给大家介绍json库的用法,之前小编偶尔也会提到过,不会用的不是很多,今天我们就提取评论的用法细细体会一下。

  代码

  1

  2

  3

  4

  5

  6

  7

  8

  9

  10

  11

  12

  13

  14

  15

  16

  17

  18

  19

  20

  21

  22

  23

  24

  25

  26

  27

  28

  import requests

  import json

  import time

  import pymongo

  client = pymongo.MongoClient('localhost', 27017)

  weibo = client['weibo']

  comment_shengmengc = weibo['comment_shengmengc']

  headers = {

  "Cookies":'xxxxxxxxxxx',

  "User-Agent":'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1'

  }

  url_comment = ['http://m.weibo.cn/api/comments/show?id=4060977869675098&page={}'.format(str(i)) for i in range(0,1000)]

  def get_comment(url):

  wb_data = requests.get(url,headers=headers).text

  data_comment = json.loads(wb_data)

  try:

  datas = data_comment['data']

  for data in datas:

  comment = {"comment":data.get("text")}

  comment_shengmengc.insert_one(comment)

  except KeyError:

  pass

  for url in url_comment:

  get_comment(url)

  time.sleep(2)

分享到

您可能感兴趣的文章