香港云主机最佳企业级服务商!

ADSL拨号VPS包含了中国大陆(联通,移动,电信,)

中国香港,国外拨号VPS。

当前位置:云主机 > python >

电信ADSL拨号VPS
联通ADSL拨号VPS
移动ADSL拨号VPS

Python HTML解析模块HTMLParser用法分析【爬虫工具】


时间:2022-04-02 10:27 作者:admin610456


本文实例讲述了python/' target='_blank'>python HTML解析模块HTMLParser用法。分享给大家供大家参考,具体如下:

简介

先简略介绍一下。实际上,HTMLParser是Python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等,是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:

(1)handle_startendtag   处理开始标签和结束标签(即单标签)
(2)handle_starttag    处理开始标签,比如<xx>
(3)handle_endtag    处理结束标签,比如</xx>
(4)handle_charref    处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref    处理一些特殊字符,以&开头的,比如 &nbsp;
(6)handle_data    处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment 处理注释
(8)handle_decl    处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi    处理形如<?instruction>的东西

实例

OK,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。

from html.parser import HTMLParserfrom urllib import requestclass MyHTMLParser(HTMLParser):   # 创建HTML解析类  def __init__(self):    HTMLParser.__init__(self)    self.gifs_urls = []     # 创建列表,保存gif    self.jpgs_urls = []     # 创建列表,保存jpg  # 重写HTMLParser中的内置方法  def handle_starttag(self, tags, attrs): # 处理起始标记    if tags == 'img':  # 处理图片      for attr in attrs:        for t in attr:          if 'gif' in t and 'https' in t:            self.gifs_urls.append(t)  # 添加到gif列表          elif 'jpg' in t and 'https' in t:            self.jpgs_urls.append(t)  # 添加到jpg列表          else:            pass  # 自定义的方法  def get_gifs(self):   # 返回gif列表    return self.gifs_urls  def get_jpgs(self):   # 返回jpg列表    return self.jpgs_urls  # 自定义的方法,获取页面  def getHTML(self,url):    req=request.Request(url,method='GET')    html=request.urlopen(req,timeout=30)    return html.read()  # 自定义的方法,批量下载图片  def downImgs(self,img_urls,n=10,path='Image/'):    count=1    for url in img_urls:      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))      count=count+1      if count == n + 1:        print('共下载%d张图片' %(n))        returnif __name__ == '__main__':  Url = 'http://tieba.baidu.com/p/2256306796'  HtmlParser=MyHTMLParser()  Html=HtmlParser.getHTML(Url)  # print(Html)  HtmlParser.feed(str(Html))   #开始解析HTML,自动调用HTMLParser中的内置方法  HtmlParser.downImgs(HtmlParser.get_jpgs())

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

(责任编辑:admin)






帮助中心
会员注册
找回密码
新闻中心
快捷通道
域名登录面板
虚机登录面板
云主机登录面板
关于我们
关于我们
联系我们
联系方式

售前咨询:17830004266(重庆移动)

企业QQ:383546523

《中华人民共和国工业和信息化部》 编号:ICP备00012341号

Copyright © 2002 -2018 香港云主机 版权所有
声明:香港云主机品牌标志、品牌吉祥物均已注册商标,版权所有,窃用必究

云官方微信

在线客服

  • 企业QQ: 点击这里给我发消息
  • 技术支持:383546523

  • 公司总台电话:17830004266(重庆移动)
  • 售前咨询热线:17830004266(重庆移动)