很多人学习python编程语言之后，不知道爬虫是什么，相信大家对“爬虫”这个词并不陌生，在不了解爬虫的人群中，就会觉得这是个很高端神秘的技术。为什么说懂Python的HR，才是未来最需要的HR？
爬虫是一种网络爬虫，按照一定的规则，自动地抓取万维网信息的程序，简单的来说python爬虫是由一个个站点和网络设备组成的一个大网，从技术的层面来说就是通过程序模拟浏览器请求站点的行为，从中提取自己需要的数据然后进行存放起来并进行使用。如何从科学的角度，用数据来养生？
网络爬虫的要求规定：
1、由python标准库提供了数据库接口和图形系统等一些额外的功能；
2、按照网页内容和目录的层次深浅来爬行页面，在浅目录层次的页面会首先被爬虫爬行。
说到爬虫，大家应该会想到，我们为什么需要使用爬虫呢？使用呢爬虫技术有什么用处呢？使用爬虫技术可以很轻易地解决问题，所以我们所看到的爬虫基本上可以帮助我们做两类事情，第一类是数据的获取需求，第二类是自动化需求。
爬虫的目标是通过万维网进行获取资源，但是所要爬取的资源都存储在一个特定的主机上，所以爬虫在爬取数据时就必须要有一个URL才可以获取数据，可以简单的理解成，URL是爬虫获取数据的基本依据同时对爬虫学习也有很大的帮助。