博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python-21:爬取糗事百科段子--总结
阅读量:6349 次
发布时间:2019-06-22

本文共 946 字,大约阅读时间需要 3 分钟。

hot3.png

好了,我们第一个实践的实例--爬取糗事百科段子,到这里就结束了

我们来看看我们做了什么

    1. 我们花一个钟的时间把python的知识点过了一遍,对python有了一个基本的认识
    2. 然后在python的几个发展大方向中我们选择了爬虫作为切入点
    3. 为了编写爬虫,我们先是了解了爬虫的简单原理,然后从最简单的爬虫程序开始一步一步的注释,实现将网页源码爬取下来
    4. 为了从源码中找出我们想要的数据,我们介绍了分析网页源码的方法和工具,加入了正则表达式的学习
    5. 通过丑事百科的实例,将我们所学的知识点全部串联起来
    
重要的知识点总结:
    1. 最简单的爬虫程序
            整个流程是这样的
                1. 导入 urllib2 库函数
                2. 使用 Rquests 构造请求
                3. 使用 urlopen 方法发送请求
                4. 将网页源码读取并显示出来
        不管是什么代码,都希望能常常敲一下,现在你可能看不出什么效果,但是后面你会发现你记得很牢
        
    2. 分析网页的过程
        熟悉你里浏览器,善用工具,在分析网页源码时注意总结规律
    
    3. 正则表达式
        基本上说记住 .*? 和 (.*?) 就好
        
从这个例子我们也可以知道一个爬虫的原理是什么了

    爬虫就是通过程序模拟浏览器的行为,在我们打开网址的时候,浏览器和服务器之间的数据是通过发送请求,然后响应这样的形似来的,所以我们在代码中就要模拟这种行为,Rquests 是构造请求,urlopen 是发送请求,就这么简单

闲聊几句

    今天是2015-12-01,学习python的第15天,这其中写文档找各种资料的时间比真正写代码的时间要长,但是还好,这一系列的东西直到现在还没有断,并且已经想好之后的很多内容了,我本身也是新手,只是因为要写这一系列的......额......姑且叫做博客吧,所以花费了一些时间在网上查找,但是收获到的比预想中的要多得多,也对学习的一个思路之类的有了更深的认识。我因为本身还有跟python爬虫不相关的本职工作要做,所以也没什么时间雕琢,不过以我的水平,估计再怎么雕琢也难出花来,而且这个基本是现学现卖,其中肯定有很多写得不到位的地方,等到有时间会重新整理
    
    

转载于:https://my.oschina.net/u/2429887/blog/535198

你可能感兴趣的文章
链表的反转
查看>>
动态从数据库获取数据(Vue.js)【数据可变】
查看>>
操作linux命令
查看>>
转载]typedef struct和struct的区别
查看>>
数据仓库、数据整合、ETL、ELT和EII之间的区别?
查看>>
c++ 注册表操作dll动态调用
查看>>
C#开发人员应该知道的13件事情
查看>>
工厂模式(Factory)
查看>>
Linux 虚拟地址与物理地址的映射关系分析【转】
查看>>
GNU make manual 翻译(三十七)
查看>>
自动化测试框架的搭建
查看>>
Linux 邮件服务器 之跟我一步一步来实现一个邮件系统【转】
查看>>
SpringAop
查看>>
[RHEL5企业级Linux服务攻略]--第4季 DNS服务全攻略
查看>>
jetty简单学习
查看>>
Centos 6.5使用yum安装mysql
查看>>
Activiti-5.9工作流引擎-数据库表结构
查看>>
HTTP请求状态码
查看>>
Tomcat修改jvm内存(Linux)
查看>>
Eclipse jQuery plug-in(自动补全)
查看>>