一个有关问题，大量访问某网站服务器被禁的有关问题

请教各位一个问题，大量访问某网站服务器被禁的问题
各位大神，是这样的，我一个同学想搜集一些二手房屋的信息，人工记录效率太低，所以就想找我写个程序来实现。
我用的实验网站是“赶集网”。
思路很简单：先摘取“房屋列表”页面的url，把每个房屋的url存入数组，然后再按url挨个访问每个房屋的子页面，提取里面的信息。
现在功能基本已经实现，现在的问题是：读取次数过多后，赶集网会认定我是机器人，拒绝向我提供正常的页面，要等个10几分钟才能正常读取页面内容。
刚开始我认为是访问的频率过快，所以把频率调到15秒钟才访问一次，确实被拒的次数明显下降，可是有时候还是被服务器发现。15秒钟一次够慢了吧！这样访问对服务器能有什么负担啊，手点都比这快吧？可还是被禁，搞得我很郁闷。
后来，我尝试用浏览器疯狂访问赶集网，却没有发现这个问题。更奇怪的是，在我的程序被禁期间，浏览器还是能够正常访问赶集网的。
网上查了各种说法都有，但还是不清楚服务器认定我是机器人的原理，更不知道解决办法。所以想请教各位大神，可不可能有稳定的不会被禁的访问方法呢？毕竟我不是拿来做什么坏事。
------解决思路----------------------
你的http的head头要和浏览器一样。
------解决思路----------------------
人工智能或机器学习是可以分出来哪些访问是手动的哪些是自动抓取。你可以用一些开源工具试试。不知道你用什么语言写的，http的头部信息是什么
------解决思路----------------------
可以动态换ip、代理或不定时的抓，就是间隔时间不可预测