java相关。爬虫问题,关于新浪微博。谢谢!

发布网友

共5个回答

懂视网

本篇文章主要讲述了用scrapy实现新浪微博爬虫，具有一定的参考价值，感兴趣的朋友可以了解一下，看完不妨自己去试试哦！

最近因为做毕设的原因，需要采集一批数据。本着自己动手的原则，从新浪微博上采集到近百位大家耳熟能详的明星14-18年的微博内容。看看大佬们平常都在微博上都有哪些动态吧～
1.首先项目采用scrapy编写，省时省力谁用谁知道。
采集的网站为weibo.com，是微博的网页端。稍稍麻烦了一点，但相对于移动段和wap站点来说内容稍微更全一点。
2.采集之前我们先来看下微博都给我们设置了哪些障碍。

页面js渲染

由于微博对于没登录的用户默认都是302跳转到登录界面，所以采集微博钱必须得让微博认为，本次采集偷了个懒，直接是先手动登录然后保存cookie到scrapy上，请求的时候带上cookie去访问，因为采集量并不是很大，估计也就10w条左右。这里需要对刚入scrapy的小伙伴需要提醒一下，scrapy的cookie是类似与json的形式，不像平常在requests上直接粘贴就可以用，需要转换一下格式。
在这里插入图片描述
大概就是像这样，所以需要把登录后的cookie粘贴出来用代码转换一下，代码如下：

class transCookie:
 def __init__(self, cookie):
 self.cookie = cookie

 def stringToDict(self):
 itemDict = {}
 items = self.cookie.split(';')
 for item in items:
  key = item.split('=')[0].replace(' ', '')
  value = item.split('=')[1]
  itemDict[key] = value
 return itemDict


if __name__ == "__main__":
 cookie = "你的cookie"
 trans = transCookie(cookie)
 print(trans.stringToDict())

应该来说一个cookie差不多够用，我这我保存的是三个cookie，多个cookie简单的办法是把多个cookie直接放在一个数组里面，每次请求的时候用random函数随机挑一个出来，当然这只是针对采一批数据就撤的情况，大规模必须维护一个账号池。请求的时候带上ua，和cookie。如下：
在这里插入图片描述
微博是以oid区分每个用户的，我们以吴彦祖微博为例，在微博搜索界面搜索吴彦祖，进入主页右键查看网页源代码我们可以看到：

此处的oid即是每个用户的唯一标识。对应用户的主页地址即为https://weibo.com + oid，
有了地址，我们直接进入微博界面进行采集即可，拼凑出url地址，例如：
https://weibo.com/wuyanzu?is_all=1&stat_date=201712#feedtop
这是吴彦祖2017年12月份的微博，我们不难发现，只需改变stat_date后面的数字即为对应微博地址。对于某些微博量比较多的用户，月份的微博可能还涉及到js再加载一次，当然，我们高冷的男神吴彦祖先生肯定是不会发那么多的，我们再找一个微博量比较大的自媒体，例如：
在这里插入图片描述
可以看到，余下的微博是需要通过js异步加载来呈现给用户的。打开浏览器开发者模式，

对比两次js加载的页面，我们不难发现，Request_URL差别的地方仅仅是在pagebar和_rnd两个参数上，第一个代表页数，第二个是时间的加密(测试不带上也无妨),因此我们仅仅需要构建页数即可。有些微博量巨多的可能还需要翻页，道理相同。

class SpiderItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
 nickname = scrapy.Field()
 follow = scrapy.Field()
 fan = scrapy.Field()
 weibo_count = scrapy.Field()
 authentication = scrapy.Field()
 address = scrapy.Field()
 graduated = scrapy.Field()
 date = scrapy.Field()
 content = scrapy.Field()
 oid = scrapy.Field()

设置需要爬取的字段nickname昵称，follow关注，fan粉丝，weibo_count微博数量，authentication认证信息，address地址，graduated毕业院校，有些微博不显示的默认设置为空，以及oid和博文内容及发布时间。
这里说一下内容的解析，还是吴彦祖微博，如果我们还是像之前一样直接用scrapy的解析规则去用xpath或者css选择器解析会发现明明结构找的正确却匹配不出数据，这就是微博坑的地方，点开源代码。我们发现：
在这里插入图片描述
微博的主题内容全是用script包裹起来的！！！这个问题当初也是困扰了博主很久，反复换着法子用css和xpath解析始终不出数据。
解决办法：正则匹配(无奈但有效)
至此，就可以愉快的进行采集了，附上运行截图：
在这里插入图片描述
输入导入mongodb：

相关教程：Python视频教程

热心网友

开门见山，说两个工具可以实现你的要求，分笔试selenium和htmlunit。当然还有其他工具，就不一一列举了。
首先你用jsoup或者apache的httpclient爬到你能够爬到的那一层，即可以通过response传回的html静态页面可以知道下一步爬哪个连接的那一层。
然后到爬不动的那一层，比如你说图片动态加载，抓回的html上找不到图片的链接了，那么你在使用上述两个工具其中一个。
大致思路我絮叨的如上。然后说一下二者的异同。
————————————————————————————————
这两个你选用一个就好，不过爬虫用htmlunit就可以了。这俩都是做页面测试方面很好用的工具，不同于其它的工具是他们可以模拟一个浏览器引擎，通过这句话我想你就应该知道你给他一个地址他就可以像浏览器那样解析，既然如此浏览器本身应该知道解析后的html啊，所以就可以拿到了。不同点是selenuim会弹出一个框，后者后台静默的为你奉献。当然，出发点不同，前者更善于肉眼可见的模拟，都很好用，简单爬虫推荐用后者。又絮叨了一堆，好了，你对这两个工具有个了解了。下面附上一个htmlunit的demo，你就可以用了。
————————————————————————————————
新浪微博需要登录，所以你需要模拟登录过程，并保持一个登录后的WebClient对象，然后用它来访问那些动态生成的网页。
WebClient webClient = new WebClient();
HtmlPage page1 = webClient.getPage(登录的url);
HtmlForm form = page1.getFormByName("myform");
HtmlSubmitInput button = form.getInputByName("submitbutton");
HtmlTextInput textField = form.getInputByName("userid");
textField.setValueAttribute("root");
HtmlPage page2 = button.click();
好了，你已经可以做了。这个工具一定可以帮你完成你的功能需求。htmlunit的例子也很多，百度一下试试。

热心网友

1.Java中的所有类，必须被装载到jvm中才能运行，这个装载工作是由jvm中的类装载器完成的，类装载器所做的工作实质是把类文件从硬盘读取到内存中
2.java中的类大致分为三种：
1.系统类
2.扩展类
3.由程序员自定义的类

3.类装载方式，有两种
1.隐式装载，程序在运行过程中当碰到通过new 等方式生成对象时，隐式调用类装载器加载对应的类到jvm中。
2.显式装载，通过class.forname()等方法，显式加载需要的类

想必您肯定也上网查过，但是我想具体是什么机制，属于内部的机密了吧。毕竟网上查的到的话，那结果可想而知了。

热心网友

你给那个不显示照片的链接看看..

热心网友

一

全部栏目

java相关。爬虫问题,关于新浪微博。谢谢!