博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【总结】BeautifulSoup速查手册
阅读量:6260 次
发布时间:2019-06-22

本文共 942 字,大约阅读时间需要 3 分钟。

hot3.png

一、下载网页

response = urllib2.urlopen(page_link, timeout=time_out)web_page = response.read()

二、解码网页(解决中文乱码问题):

decode_s = web_page.decode("utf-8")

三、将字符串转化成树状结构:

soup = BeautifulSoup(decode_s, "lxml")

 

 

接下来进入正题(假设搜索这么一段HTML标签):

LMN

ABCDEFGHIJK

OPQRST

如果我们想取出ABCDEFGHIJK的话(不带<a>标签):

四、遍历寻找特定元素

for tag in soup.find_all("div"):

五、判断特定属性是否在该元素内:

if tag.attrs is not None and 'class' in tag.attrs.keys():

六、判断该属性的内容是否等于特定值(对于空格分隔的情况,需要判断list长度):

if len(tag.attrs['class']) == 2 and    tag.attrs['class'][0] == 'cell' and    tag.attrs['class'][1] == 'maket':

七、取出该标签下子标签的元素:

tag.h1.get_text()

 

 

取得children时候的注意事项:children返回一个可迭代元素,但这个迭代里面的元素不全都是tag,极有可能是bs4.element.NavigableString,所以迭代操作元素的时候,首先要判断一下元素的类型:

for span in tag.parent.children:                if isinstance(span, element.Tag) and                    span.attrs is not None and                    'class' in span.attrs.keys():

 

转载于:https://my.oschina.net/u/2996334/blog/1787567

你可能感兴趣的文章
html
查看>>
Xqk.Data数据框架开发指南:丰富的、灵活的查询方法(第三部分:SqlField)
查看>>
Java基本语法
查看>>
MapReduce对交易日志进行排序的Demo(MR的二次排序)
查看>>
online-compiler 在线编译器
查看>>
9. Palindrome Number - Easy
查看>>
使用vs2017编译live555
查看>>
洛谷——P1347 排序
查看>>
uboot2009 nandflash移植
查看>>
gulp-usemin 插件使用
查看>>
int数据类型的最大数
查看>>
OI养老专题02:约瑟夫问题求幸存者
查看>>
Python多线程
查看>>
写作环境搭建(git+github+markdown+jekyll)
查看>>
Codeforces Round #443 (Div. 2) C. Short Program
查看>>
flash builder4的序列号(阻止adobe更新)
查看>>
Android横竖屏切换的生命周期
查看>>
python之生成随机密码
查看>>
jekens介绍及服务搭建
查看>>
26. Remove Duplicates from Sorted Array*(快慢指针)
查看>>