1.爬虫 | Python搞定软科中国大学排名
2.大学就离不开的6个封神网站

爬虫 | Python搞定软科中国大学排名

       大家好，大学大学我是搜索搜索搜Python当打之年

       近期很多粉丝询问如何通过Python进行软科中国大学排名的爬虫分析，本期就为大家详细解析这一过程，源码源码希望对大家有所帮助，大学大学以下内容仅供参考，搜索搜索搜请勿用于其他用途。源码源码入侵拿源码

       目标网址为：shanghairanking.cn/rank...

       年的大学大学中国大学排名共有所学校。

       1. 网页分析

       每页展示所学校信息，搜索搜索搜共页。源码源码通过翻页发现网址并未发生变化，大学大学说明页面信息是搜索搜索搜通过动态加载的方式展示的，因此无法通过get传参的源码源码方式切换网页进行爬取。通过按F或右键选择审查元素，大学大学变色龙指标源码搜索清华大学查看网页结构，搜索搜索搜可以看到信息存储在payload.js文件中。源码源码继续分析该文件，可以发现这里有所学校的所有信息，说明网页显示的内容是通过javascript解析这个文件动态加载进去的，因此我们只需要解析这个文件即可。手机oa办公系统源码

       2. 解析js文件

       查看学校的具体字段信息，文件内容格式不规则，既有类似json格式的信息，也有JavaScript的语法，因此不能直接使用json进行解析，这里我们使用re正则提取。java小说网站源码

       生成Dataframe，信息齐全，但其中包含很多a,f,e,q,[i,l,j],ei,eg,ek...等字符信息，这些应该是某些信息的替代字符，类似于函数中的形参。

       继续分析payload.js文件的公司门户网站源码开头部分，补充知识：NUXT_JSONP是JavaScript中的一个全局变量，在使用uxtjs架构时会自动生成，用于在客户端渲染(CSR)模式下获取服务器端渲染(SSR)的数据。在Nuxt.is的客户端渲染模式下，NUXT_JSONP变量的值是一个函数，用于将服务器端渲染的数据注入到客户端渲染的页面中。这个函数的参数是服务器端渲染的数据，返回值是将这些数据注入到页面中的代码。因此，__NUXT_JSONP__变量的类型是一个函数，可以看出现有的function和return就是内层函数(存在函数嵌套)及其返回值，那么(a,b,c,d...ps,pt,pu,pv)就是函数的参数。

       文件的结尾部分，这里就是外层函数的参数，仔细对比会发现外层函数的参数和上面内层函数的参数是一一对应的，因此进行字典映射即可。

       3. 变量替换

       获取实际值，结果如下，保存表格数据。

       4. 可视化源码+数据：

       在线运行地址(含全部代码)：heywhale.com/mw/project...

       以上就是本期为大家整理的全部内容，赶快动手练习吧，喜欢的朋友可以点赞、收藏，也可以分享让更多人知道。更多内容敬请关注(公众号：Python当打之年)

       推荐阅读：

大学就离不开的6个封神网站

Papers With Code

       æ¶‰åŠåŒ…括计算机视觉、自然语言、强化学习、图论等Al 领域相关的最优论文和代码，里面包含了个机器学习任务、个评估排行榜(以及当前最优结果)、偏论文(带源码)、个数据集

菜鸟教程

       æˆ‘个人强烈推荐编程语言、工具初学者使用这个网站，涉及Python、js、php、sql等， 交通条理清晰、理论与实例相结合，对于要学习入门某项编程语言的同学是一个非常实用的网站

Stack Overflow

       åœ¨å¼€å‘学习或工作过程中，难免会遇到这样或那样的bug， 需要求助一个社区或论坛， 但是， 一不小心就会踩到很多坑， 在使用过程中， 我觉得Stack Overflow是一个非常不错的网站， 关于编程， 尤其是Python相关的很多问题都可以找到解决方案，而且非常靠谱，能够减少走很多弯路，节省很多时间

虫部落快搜

       å°±å¦‚同网站的宗旨所说“让搜索更简单”，虫部落的确做到了，集合了快搜、学术搜索、设计搜索、资源搜索几大模块，搜索功能涵盖谷歌、百度、必应、网盘、新浪等等

鸠摩搜书

       ä¸°å¯Œçš„中英文电子书资源，还包含一些小语种的电子书，喜欢用手机或平板看电子书的可以在鸠摩搜书上搜索到大量来自网友上传的百度云、微盘等平台的电子书资源

镝数据

       èšåˆäº†å…¨çƒå¤šå®¶æƒå¨æ•°æ®å‘布机构的数据，内容涵盖了社会互联网与通信、经济与商业等个大类、+个垂直行业，相当一部分为免费下载。获取数据可别错过~还有超好用可视化工具镐数图表，搭配使用杠杠的!