如何使用 Nginx 有效限制浏览器和爬虫的访问？（揭秘 Nginx 访问控制技巧）

赵其鑫 • 2024年 10月 28日 13:53:47 • 中间件

Nginx 提供了一系列强大的访问控制功能，使你可以精细地管理和限制谁可以访问你的网站，特别是对于控制爬虫和特定浏览器的行为非常有用。下面是一些关键的技术和配置示例，用于保护你的站点免受不当访问的影响。

allow 和 deny 指令可以基于客户端的IP地址来限制访问权限。例如，如果你想只允许来自特定IP的访问，而禁止其他所有人：

location / {
    deny all;
    allow 192.168.1.0/24;
}

这将阻止除了 192.168.1.0 子网内的 IP 之外的所有访问。

很多爬虫会在 User-Agent 字段中标识自己，可以利用这一点来区分并控制其访问：

location / {
    if ($http_user_agent ~* (Googlebot|Bingbot)) {
        return 403;
    }
}

这段代码将返回403错误给名为 Googlebot 或 Bingbot 的爬虫。

正则表达式可以更精细地控制规则。例如，如果想阻止所有带有 .xml 扩展名的文件访问：

location ~ \.(xml)$ {
    deny all;
}

有时，URL 中的查询字符串也可以成为判断依据。如果你希望阻止包含某个特定参数的所有请求：

if ($args ~ arg_example) {
    return 403;
}

地图映射可以创建复杂的条件逻辑。例如，可以根据国家/地区代码阻止访问：

map $remote_addr $country {
    default      unknown;
    123.45.67.89 china;
}

location / {
    if ($country = china) {
        return 403;
    }
}

通过 Lua、Perl 或其他语言的模块，可以在 Nginx 中执行更复杂的逻辑判断。例如，Lua 模块允许运行脚本来决定访问控制：

set_by_lua '$is_allowed' 'require("lua_script").check_access($arg_req)';
if ($is_allowed != true) {
    return 403;
}

Nginx 的 limit_req_zone 和 limit_req 可以用于防止恶意请求的泛滥：

limit_req_zone $binary_remote_addr zone=myzone:10m rate=1r/s;
location / {
    limit_req zone=myzone burst=5 nodelay;
}

这限制每个 IP 地址在一秒钟内只能有一次请求，突发阈值设为5次。

以上策略涵盖了从基础的 IP 黑白名单到复杂的逻辑判断，以及速率限制等方法。合理组合使用这些技术，可以有效地保护你的网站不受未授权访问的影响。重要的是要定期审查和更新规则集，以适应不断变化的安全威胁和业务需求。