搜索内容

代码技术
  • 代码技术

    PbootCMS火车头免登录采集发布模块(PbootCMS火车头采集)

    PbootCMS火车头免登录采集发布模块(PbootCMS火车头采集)提供下载
    路小白 2021年12月15日
  • 代码技术

    Nginx Web服务器环境利用user_agent屏蔽和限制访问实例

    Nginx Web服务器环境利用user_agent屏蔽和限制访问实例有些细心的网友会发现,我们的网站可能还没有流量或者流量不大的时候,但是有些时候会负载比较大,甚至可以通过日志看到很多无用的爬虫抓取。比如有国外搜索蜘蛛爬取,有些是采集蜘蛛爬取。我们是否可以通过一些技术手段屏蔽呢?这里我们使用较多的还是Nginx,通过user_agent屏蔽和限制访问。在这篇文章中,准备通过记录一些 user_a
    路小白 2021年12月10日
  • 代码技术

    记录在Nginx环境将不同的爬虫指向不同的后端

    记录在Nginx环境将不同的爬虫指向不同的后端这里看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录,然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user_agent $is_bot {default 0;~[a-z]bot[^a-z] 1;~[sS]pider[^a-z
    营销二院 2021年12月10日
  • 代码技术

    记录Nginx和Apache屏蔽指定页面目录不被访问(用户可以访问)

    记录Nginx和Apache屏蔽指定页面目录不被访问(用户可以访问)这里简单记录下用户需求,看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取,但是用户是可以翻页显示的。本来开始是用rebots.txt进行屏蔽的,但是效果不大。 User-agent: * Disallow: /*/*/page/屏蔽后还是有抓取,这里就直接利用Nginx进行设置。 1、h
    营销二院 2021年12月10日
  • 代码技术

    利用Nginx user_agent 屏蔽指定爬虫实现跳转

    利用Nginx user_agent 屏蔽指定爬虫实现跳转今天遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如用到user_agent进行过滤。在这里简单的整理几个常用的UA过滤办法。 #禁止Scrapy等爬虫工具的抓取 if ($http_user_agent ~* "Sc
    营销二院 2021年12月10日
  • 代码技术

    收到腾讯云安全提醒"Sudo 本地提权漏洞 (CVE-2021-3156)"解决方案

    收到腾讯云安全提醒"Sudo 本地提权漏洞 (CVE-2021-3156)"解决方案今天早上收到一封来自腾讯云的安全邮件提醒。提示是有检测到存在待处理的应用漏洞Sudo 本地提权漏洞 (CVE-2021-3156)。遇到这个问题我们肯定是要去解决的,我大概率估计是可能镜像用的比较久没有升级导致的,这台服务器我已经有用到将近三年。出现这样的问题如何解决呢?这个需要根据不同的镜像系统解决。 第一、Ce
    营销二院 2021年12月10日
  • 代码技术

    1ZB、1EB、1PB 存储单位换算标准且和 TB 哪个大

    1ZB、1EB、1PB 存储单位换算标准且和 TB 哪个大日常我们看到的存储单位是多少?KB、MB、GB 和TB,反正目前用到的存储单位也就最大是TB。不过有些朋友的数据比较大,比如有朋友在较大的公司做运维的话,他们的数据盘和存储就不是用TB作为单位的,而是用PB。甚至还有EB和ZB。那这些我们估计没有看到的单位和我们知道的单位之间转化到底是多少呢? 1 Byte (B字节) = 8 bit 1K
    营销二院 2021年12月10日
  • 代码技术

    几个实例记录Nginx限制目录和URL以及IP访问控制

    几个实例记录Nginx限制目录和URL以及IP访问控制如果我们深入研究Nginx的功能还是蛮有意思的,比如我们前面有聊到UA可以控制爬虫限制和放行访问。我们也可以利用Nginx进行控制和限制URL、目录,以及IP地址的访问。比如有一些运维的时候,需要用到屏蔽某些IP地址,或者是我们某个目录只能某个IP地址访问或者限制访问。 在这篇文章中,整理Nginx常见的控制URL、目录,以及IP地址的访问权限
    路小白 2021年12月10日
  • 代码技术

    一键代码快速查看宝塔面板账号密码以及面板登录地址

    一键代码快速查看宝塔面板账号密码以及面板登录地址一般我们在安装完毕宝塔面板之后,你肯定要记住登录地址和用户密码等信息。包括我们后续修改过的端口和账户信息都要记录到我们本地,这样访问管理的时候才容易一些。但是有很多网友由于各种问题,他忘记宝塔面板的登录信息,那我们如果确实忘记宝塔面板的账号密码等信息,我们如何去找回呢? 第一、找回服务器的信息 我们开始需要找回服务器的ROOT信息,找回服务器的信息我
    营销二院 2021年12月10日
  • 代码技术

    虚拟主机上传文件超过"upload_max_filesize"限定值解决办法

    虚拟主机上传文件超过"upload_max_filesize"限定值解决办法我们有朋友在使用商家虚拟主机的时候,由于虚拟主机的参数都是开始默认设置好的。比如我们网站上传文件超过2M或者一定的数值会提示出错,比如会提示"上传的文件尺寸超过php.ini中定义的upload_max_filesize值"的问题。如果我们是用云服务器配置的WEB环境可以直接在WEB环境,比如宝塔面板中自己修改参数。 但是
    路小白 2021年12月10日
  • 代码技术

    解决宝塔面板SSL证书开启后站点无法访问问题(HTTPS无法访问)

    解决宝塔面板SSL证书开启后站点无法访问问题(HTTPS无法访问)昨天晚饭的时候看到微信信息网友遇到问题,提到自己的网站开启HTTPS后无法访问。当然是用的宝塔面板。如果取消SSL证书HTTP是可以访问的,那大概率是因为端口不通,端口不通有几个可能,一来是没有开启放行,二来是本身被封。后者如果遇到那真的很麻烦,以前就遇到一会,443端口不清楚是什么原因就是被封的,80端口是可以的,那天生的问题没有
    营销二院 2021年12月10日
  • 代码技术

    你对CSS布局中的Position了解程度有多少

    Positoin似乎是一个很容易掌握的概念,只要精确指定了一个块所处的位置,它就会坐落在那里,那么你对CSS position了解程度有多少呢?本文将围绕着这个话题来讲……
    路小白 2021年9月18日