高仿知名大型网站,商业,源码,程序,提供成品仿站模板资源下载

 找回密码
 立即注册
查看: 84|回复: 0

火车头采集器采集文章操作教程

[复制链接]

233

主题

233

帖子

779

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
779
发表于 2019-12-5 18:48:51 | 显示全部楼层 |阅读模式
火车头采集器网址规则设置
第一步、打开火车头采集器,点击【新建】创建一个新任务,填写一个任务名,设置采集网址规则,分别设置列表页采集规则和列表页所在的文章页规则,分为以下两个步骤。

步骤1:添加起始网址,点击【添加】,选择批量/多页,在地址格式设置需要采集的网页链接,点击【添加】和【完成】即可。此步骤目的是确立有多少个栏目分页链接。
1.png

采集网页链接技巧说明:首先确定要采集的网页栏目页,分别查看栏目分页1、分页2和分页3链接规律,对比后会发现分页2和分页3链接很像,只有2和3变化了(分页1其实也是如此,为了SEO格式一般做了隐藏,所以分页1和栏目首页链接一致)可以分析是按照等差数列排列,其实绝大多数的网站栏目页分页都是等差数列来排列的,包括尹华峰博客也是如此。因此,在填写规则是选择等差数列,在地址格式处填写分页2的链接,将变化的数字用(*)代替,根据栏目分页的多少设置项数即可。

步骤2:多级网址获取,点击【添加】,选择网址获取选项,添加提取网址的规则,使用熟练后建议使用结果网址过滤功能,将需要包含的网址和不必包含的网址写进去,可以测试一下规则是否填写正确,然后保存即可。此步骤目的是确立每个栏目下的文章页链接。
2.png

多级网址获取技巧说明:我们要获取的是该栏目下的文章页链接,去原网页查看栏目分页的源代码,在该源码页找到第一篇文章页链接的位置,然后在上面选取一小段通用代码,一定是每个栏目页都会出现的代码,通常的表现形式会带有list或者article的代码。

火车头采集器内容规则设置
第二步、设置采集内容规则,可以在典型页面处填写一篇文章页链接进行测试,分别设置标题采集规则和内容采集规则,也分为两个步骤。
3.png

步骤a:双击【标题】标签,一般网页的标题是<title>标签,所以这一步可以默认,如果有需要的话是可以设置内容过滤,以及内容替换的。

步骤b:双击【内容】标签,内容提取规则和第一步的步骤2多级网址获取方法是一样的。这里是获取内容,所以是查看内容页的源代码,在该页面找到正文内容,在正文首段上面截取一小段通用代码,该代码也是所有文章页都会出现的,通常的表现形式是article标签为起始,</article>为结束。同样也可以设置内容过滤、内容替换以及标签过滤等,将不需要的信息过滤掉。如不需要图片,可以勾选过滤掉img图片标签。
4.png
火车头采集器发布内容设置
第三步、发布内容设置,勾选需要启用的发布方式,保存即可,然后在任务列表处右键任务名,点击【开始任务】等待采集完成。
5.png

注,火车头采集器发布内容分为两个方式,方式一是web在线发布到网站,需要添加发布配置。新手不建议直接发布到网站,建议勾选第二个保存为本地。至于文件模板可以【查看默认模板】,然后选择TXT格式即可。
6.png
结语:火车头采集器功能十分强大,除了采集文章还可以采集视频等,火车头采集器使用规则并不难,根本不需要懂什么编程之类的语言,只需能看懂一些常用的简单代码即可,操作一两次基本可以完全掌握,是一款非常棒的采集工具。但请在版权范围内采集。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|高仿网站源码-仿站客论坛  

GMT+8, 2020-10-27 08:40 , Processed in 0.139594 second(s), 24 queries .

Powered by Discuz!

© 2001-2019 Comsenz Inc.

快速回复 返回顶部 返回列表