百度谷歌的爬虫是用什么语言开发的？该如何解决
百度谷歌的爬虫是用什么语言开发的？
打算做个爬虫，感觉要抓取到数据容易，但要高效抓取大量网页数据还是非常困难的。
你们的爬虫一小时能处理多少网页？百度谷歌的爬虫又能处理多少网页？
------解决方案--------------------
我觉得应该是C吧，现在也有许多使用java来开发爬虫
------解决方案--------------------
貌似这些爬虫可以把带宽跑满。
关键是怎么调度爬虫吧，防止被封杀；以及怎么快速更新。
------解决方案--------------------
linux下的C++
打算做个爬虫，感觉要抓取到数据容易，但要高效抓取大量网页数据还是非常困难的。
你们的爬虫一小时能处理多少网页？百度谷歌的爬虫又能处理多少网页？
------解决方案--------------------
我觉得应该是C吧，现在也有许多使用java来开发爬虫
------解决方案--------------------
貌似这些爬虫可以把带宽跑满。
关键是怎么调度爬虫吧，防止被封杀；以及怎么快速更新。
------解决方案--------------------
linux下的C++