需求描述:
抓取的线程
/special/acl/
/special/m/00051F15/
/special/00051F1O/
/zc/
/gjb/
并发访问这几个页面. 然后再访问每个页面内的所有帖子. 将帖子内的跟帖和参与都抓取下来 缓存到数据库
将url和跟帖和参与抓取保存到本地数据库
检查出现变动的线程
并发式访问保存的url和跟帖和参与 如果跟单和参与有增加. 那么这一条记录就标记完成 就不需要再次检查变动
//展示列表
展示每个页面下面当前等待处理的帖子有多少条 也可以展开这个页面 能看到具体是哪些帖子
抓取线程和检查线程可以同时运行
每隔一段固定时间就会进行一次抓取和检查
要C#源码
/dy/article/ (这个是子类别的URL连接)
下面的跟帖数8 参与数7
两个时钟
(1)抓取时钟
访问这5个页面将里面的子帖抓到,如果这个url没有保存到数据库. 就将url和帖子内的跟帖数和参与数这两个值保存到数据库.
(2)检查时钟
访问数据库内保存的url,查看每个url跟帖数和参与数是否跟之前一致.如果不一致了就标记完成了.下次不再检索这条数据库.
登录查看详细需求描述
任务流程:
雇主
发布需求
威客
报名竞价
雇主
选择中标
雇主
托管赏金
威客
在线工作
雇主
验收付款
企业QQ
智能客服
