克里斯憋了半天，也没好意思说别的，“那你说我们听听。”
张伟也知道他们不相信，道：“反正你们就听听看又没什么损失对不对？”
泰勒难以置信道：“会对我们有启？”
“应该会有吧。”张伟瞟了眼本子上的文字，说道：“需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的资源管理器队列。”
郑文不太懂，瞟了瞟众人。
可是眼前这些人懂啊，他们乍一听的感觉……简直惊艳！按照张伟所说的里面包含了三个步骤，一，用户提供种子url；二，种子url进入kbase中新url队列中；三，调度模块选取ur进入到抓取模块的待抓取队列中，大家都是专业人士，一听就知道完全可行啊！张伟这个推测简直太棒了！听着这个推测，他们都面面相觑，怎么这么简单的事情他们就没想到呢？在场十几个精英都没想到的事情，居然让一个不懂网络的人想到了！
克里斯忍不住赞叹道：“好创意！”
张伟笑眯眯道：“我继续说下去，然后根据一定的搜索策略从队列中选择下一步要抓取的网页资源，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被抓取的网页西药存贮，再进行一定的分析、过滤，并建立索引，以便之后的查询和检索。”
克里斯兴奋了起来，道：“那就是抓取模块读取站点的配置文件，可以按照执行的频率进行抓取，等到抓取到结果就返回pipee接口中，这就是完成了抽取
第四百九十七章 有些人一出生就不一样啊(4/5)