php laravel 万能采集器
laravel queryList万能采集器
这套根据 kongqi laravel admin2.0 layui 框架做的插件,用于采集内容,以上采集器仅供学习和研究。
特色
- jquery选择器写法
- 编写了处理自定义函数
- 队列采集
- 在线采集
- 采集多线程
- 在线/队列入其他数据库
技术解析
- 使用 laravel 框架,框架的独有魅力,可以使用队列,可以使用redis等。
- QueryList 包,采集规则简单,会使用jquery就会用。
- Kongqi laravel admin 插件包,方便插拔使用,不影响主体的模块,互不干扰。
安装使用
- 1.安装kongqi laravel admin2.0 layui,详细安装请查阅 文档
- 2.下载解压之后,将plugin复制到根目录下。
- 3.修改扩展包composer.json
"require": {
..........
"jaeger/querylist": "^4.1",
"jaeger/querylist-absolute-url": "^4.0",
"jaeger/querylist-curl-multi": "^4.0",
"league/html-to-markdown": "^4.10"
},
- 4.更新下包,完成后台安装即可。
composer update
- 5.队列监听脚本
监听采集列表队列是否掉线,挂到定时任务下
#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_list' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_list >> /日志存储路径/sh/collect_list_queue.log 2>>/日志存储路径/sh/collect_list_queue_error.log &
echo "${now}:开始运行"
else
echo "${now}:已运行"
fi
监听采集内容列表是否掉线
#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_cont' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_cont >> /日志存储路径/sh/collect_cont_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
echo "${now}:开始运行"
else
echo "${now}:已运行"
fi
监听采集图片资源
#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_pic' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_pic >> /日志存储路径/sh/collect_pic_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
echo "${now}:开始运行"
else
echo "${now}:已运行"
fi
监听数据库
#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_db' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_db >> /日志存储路径/sh/collect_db_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
echo "${now}:开始运行"
else
echo "${now}:已运行"
fi
系统演示
基础配置
可设置超时时间
采集分类
采集规则
添加入库操作,图片资源采集,内容采集,复制采集规则。
采集内容
采集资源
入库数据库
演示待续
版权提示
1.除了标识原创之外,其他可能来源于网友的分享,仅供学习使用2.如您发现侵犯了您的权利,请联系我们删除
3.转载必须带本文链接,否则你将侵权
4.关于会员或其发布的相关内容均由会员自行提供,会员依法应对其提供的任何信息承担全部责任,本站不对此承担任何法律责任
评论区 (0)
没有记录
请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!