php laravel 万能采集器

laravel queryList万能采集器

这套根据 kongqi laravel admin2.0 layui 框架做的插件，用于采集内容，以上采集器仅供学习和研究。

特色

• jquery选择器写法
• 编写了处理自定义函数
• 队列采集
• 在线采集
• 采集多线程
• 在线/队列入其他数据库

技术解析

• 使用 laravel 框架，框架的独有魅力，可以使用队列，可以使用redis等。
• QueryList 包，采集规则简单，会使用jquery就会用。
• Kongqi laravel admin 插件包，方便插拔使用，不影响主体的模块，互不干扰。

安装使用

• 1.安装kongqi laravel admin2.0 layui,详细安装请查阅 文档
• 2.下载解压之后，将plugin复制到根目录下。
• 3.修改扩展包composer.json

 "require": {
    ..........
    "jaeger/querylist": "^4.1",
    "jaeger/querylist-absolute-url": "^4.0",
    "jaeger/querylist-curl-multi": "^4.0",
         "league/html-to-markdown": "^4.10"
  },

• 4.更新下包,完成后台安装即可。

composer update

• 5.队列监听脚本

监听采集列表队列是否掉线,挂到定时任务下

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_list' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_list >> /日志存储路径/sh/collect_list_queue.log 2>>/日志存储路径/sh/collect_list_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

监听采集内容列表是否掉线

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_cont' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_cont >> /日志存储路径/sh/collect_cont_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

监听采集图片资源

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_pic' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_pic >> /日志存储路径/sh/collect_pic_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

监听数据库

#!/bin/sh
now=`date "+%Y-%m-%d %H:%M:%S"`
server=`ps -aux | grep '网站存储路径/artisan queue:work redis --tries=3 --queue=collect_db' | grep -v grep | awk '{print $2}' `
if [ ! "$server" ]; then
    nohup /usr/bin/php 网站存储路径/artisan queue:work redis --tries=3 --queue=collect_db >> /日志存储路径/sh/collect_db_queue.log 2>>/日志存储路径/sh/collect_cont_queue_error.log &
    echo "${now}:开始运行"
else
    echo "${now}:已运行"

fi

系统演示

基础配置

可设置超时时间

采集分类

采集规则

添加入库操作，图片资源采集，内容采集，复制采集规则。

采集内容

采集资源

入库数据库

演示待续