众所周知，复制一个整站是很容易的，如果能防止他人复制自己的网站呢，简单的限制右键根本无法阻止他们，下面这个方法可以阻止大部分烂人超级自己的加拿大预测网-在线预测:青岛网站设计：

标签： <无>

代码片段(1) [全屏查看所有代码]

1. [代码][Perl]代码     

#! /bin/bash

LOGFILE=/var/log/nginx/access.log

PREFIX=/etc/spiders

#日志中大部分蜘蛛都有spider的关键字，但是百度的不能封，所以过滤掉百度

grep 'spider' $LOGFILE |grep -v 'Baidu' |awk '{print $1}' >$PREFIX/ip1.txt

# 封掉网易的有道

grep 'YoudaoBot' $LOGFILE  | awk '{print $1}' >>$PREFIX/ip1.txt

#封掉雅虎

grep 'Yahoo!' $LOGFILE  | awk '{print $1}' >>$PREFIX/ip1.txt

# 过滤掉信任IP

sort -n $PREFIX/ip1.txt |uniq  |sort |grep -v '192.168.0.' |grep -v ''>$PREFIX/ip2.txt

# 如果一小时内，发包不超过30个就要解封

/sbin/iptables -nvL |awk '$1 <= 30 {print $8}' >$PREFIX/ip3.txt

for ip in `cat $PREFIX/ip3.txt`; do /sbin/iptables -D IN💎PUT -s $ip -j DROP ; done

/sbin/iptables -Z // 将iptables计数器置为0

for ip in `cat $PREFIX/ip2.txt`; do /sbin/iptables -I INPU🦹T -s $ip -j DROP ; done

3.使用robots.txt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。

User-agent: *

Disallow: /

4.使用nginx的自带功能：通过对httpuseragent阻塞来实现，包括G꧋ET/POST方式的请求，以nginx为例，具体步骤如下：

编辑nginx.conf

#vim /usr/local/nginx/conf/nginx.conf

拒绝以wget方式的httpuseragent，增加如下内容

## Block http user agent - wget ##

if ($http_user_agent ~* (Wget) ) {

return 403;

}

## Block Software download user agents ##

if ($http_user_agent ~* LWP::Simple|BBBike|wget) 🐭{

return 403;

}

平滑启动

# /usr/local/nginx/sbin/nginx -s reload

如何拒绝多种httpuseragent，内容如下：

if ($http_user_agent ~ (agen🎃t1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {

return 403;

}

大小写敏感匹配

### 大小写敏感http user agent拒绝###

if ($http✃_user_agent ~ (Catall Spider|AcoiRobot) ) {

return 403;

}

### 大小写不敏感http user agent拒绝###

if ($http_user_agent ~* (foo|bar) ) {

return 403;

}