好了,我们第一个实践的实例--爬取糗事百科段子,到这里就结束了
我们来看看我们做了什么
1. 我们花一个钟的时间把python的知识点过了一遍,对python有了一个基本的认识 2. 然后在python的几个发展大方向中我们选择了爬虫作为切入点 3. 为了编写爬虫,我们先是了解了爬虫的简单原理,然后从最简单的爬虫程序开始一步一步的注释,实现将网页源码爬取下来 4. 为了从源码中找出我们想要的数据,我们介绍了分析网页源码的方法和工具,加入了正则表达式的学习 5. 通过丑事百科的实例,将我们所学的知识点全部串联起来 重要的知识点总结: 1. 最简单的爬虫程序 整个流程是这样的 1. 导入 urllib2 库函数 2. 使用 Rquests 构造请求 3. 使用 urlopen 方法发送请求 4. 将网页源码读取并显示出来 不管是什么代码,都希望能常常敲一下,现在你可能看不出什么效果,但是后面你会发现你记得很牢 2. 分析网页的过程 熟悉你里浏览器,善用工具,在分析网页源码时注意总结规律 3. 正则表达式 基本上说记住 .*? 和 (.*?) 就好 从这个例子我们也可以知道一个爬虫的原理是什么了爬虫就是通过程序模拟浏览器的行为,在我们打开网址的时候,浏览器和服务器之间的数据是通过发送请求,然后响应这样的形似来的,所以我们在代码中就要模拟这种行为,Rquests 是构造请求,urlopen 是发送请求,就这么简单
闲聊几句
今天是2015-12-01,学习python的第15天,这其中写文档找各种资料的时间比真正写代码的时间要长,但是还好,这一系列的东西直到现在还没有断,并且已经想好之后的很多内容了,我本身也是新手,只是因为要写这一系列的......额......姑且叫做博客吧,所以花费了一些时间在网上查找,但是收获到的比预想中的要多得多,也对学习的一个思路之类的有了更深的认识。我因为本身还有跟python爬虫不相关的本职工作要做,所以也没什么时间雕琢,不过以我的水平,估计再怎么雕琢也难出花来,而且这个基本是现学现卖,其中肯定有很多写得不到位的地方,等到有时间会重新整理