NGINX.COM
Web Server Load Balancing with NGINX Plus
Eric Chen of F5
Solution Architect – Cloud
2020-02-25

在 1990 年的电影《猎杀红色十月》中，由 Sean Connery 饰演的苏联新型核潜艇舰长 Marko Ramius 打算指挥潜艇叛逃到美国。由年轻的 Alec Baldwin 饰演的中央情报局（CIA）分析师 Jack Ryan 凭直觉判断出了 Ramius 的动机，他必须说服美国海军相信他的推断，以防止超级大国之间爆发暴力冲突。为了证明自己的判断，Ryan 首先需要与 Ramius 对话。随着他花费过多的时间寻找 Ramius，悬念也在不断累积。

从表面上看，Ryan 的搜索如同浏览器客户端尝试在互联网上查找一个网站，只不过这些网站在域名系统（DNS）中注册了其位置，因此客户端可以不费吹灰之力就找到它们。如果 Ramius 公布了他的位置，这部电影就不会那么惊心动魄了，但在我们的应用上，我们还是希望能够快速、轻松地解决问题。

在本文中，我们使用了 F5 的两项 DNS 技术。借助 BIG-IP DNS，我们通过将私有地址（最初在 RFC 1918 中定义）的 DNS 记录发布到内部客户端，为它们提供一条优化路径以访问数据中心托管的服务。然后通过 DNS 负载均衡器云服务，我们可以为外部客户端提供基于云的 DNS 服务。

本文的标题灵感源自这部电影中的另一情节。一旦找到 Ramius，Ryan 就会发送一条信息，而 Ramius 则会在收到消息后发出单个 ping 作为回应。在我们的设置中，只需通过 API 发送一条 HTTP POST 消息，便可更新 DNS 记录。我们使用 NGINX Plus 和 NGINX JavaScript 模块来实现这一点。

 

多个名称，一个 IP 地址

我们的示例解决了跨多个数据中心的平台即服务（PaaS）部署的常见问题。每个位置的 DNS 记录中公布的单个 IP 地址背后通常部署了许多服务。通配符 DNS 条目的问题是，您会丢失有关每项服务的位置及其是否健康的详细信息。

在我们的示例中，我们使用 NGINX Plus 主动健康检查来跟踪多个位置的应用程序运行的健康状况，而无需重复执行监控任务，并随着应用程序的启用和下线时更新内部和外部 DNS 记录。

 

我们如何使用 F5 和 NGINX 技术

我们的示例同时利用了 F5 和 NGINX 软件：

  • F5 BIG-IP DNS – BIG-IP 不仅支持传统的负载均衡，而且还能够实现全局服务器负载均衡（GSLB）。它既可作为硬件或虚拟设备部署在本地，也可作为虚拟设备部署至云环境中。

  • F5 DNS 负载均衡器云服务 – DNS 负载均衡器以云托管 SaaS 服务的形式提供 GSLB，内置 DDoS 防护和 API 优先方法。

    BIG-IP DNS 和 DNS 负载均衡器都有一个用于更新 DNS 记录的声明式 API。这样，只需通过单个 POST API 即可执行更新。

  • NGINX Plus — 我们即将用到多项 NGINX Plus 功能：

    • 主动健康检查，用于监控上游服务器（我们的应用）的状态。
    • NGINX Plus API，用于更新记录应用状态的键值存储。
    • NGINX Plus 区域同步，用于在多个 NGINX 实例之间同步键值存储（类似于 memcache 或 Redis 等分布式数据库）。
  • NGINX JavaScript 模块 – NGINX JavaScript (njs) 支持我们向内部 NGINX Plus API 发出子请求、解析 JSON 响应、更新内部 NGINX 变量，并将非原生函数纳入 NGINX Plus 流量处理序列中。

在详细介绍示例解决方案的工作原理之前，我们先来简要了解一下这些技术如何协同工作：

  1. 我们使用 NGINX Plus 主动健康检查来获取在多个数据中心运行的后端应用的状态。
  2. 接下来，我们使用 njs 函数汇总健康信息和更新键值存储。因为我们启用了 NGINX Plus 区域同步，所以键值存储会在所有 NGINX Plus 实例之间自动同步。
  3. 我们向 NGINX Plus 发出经过身份验证的请求，该请求调用 njs 函数更新 DNS 记录。

有关如何配置 NGINX Plus 并处理应用程序运行状况的详细信息，请查看“收集、存储并更新应用程序运行状况信息”一节。有关如何将信息传递给 DNS 服务器的详细信息，请查看“更新 DNS 记录”一节。

您可前往我们的 GitHub 仓库查看示例的完整 NGINX Plus 配置和 NGINX JavaScript 代码。（请注意，本文既不涉及 NGINX Plus 配置中的所有 location 指令，也不会对所有相关 njs 函数进行深入探讨。）

[编者按 – 本文是探讨 NGINX JavaScript 模块用例的系列文章之一。查看完整列表，请参阅《NGINX JavaScript 模块的用例》。]

 

收集、存储并更新应用程序运行状况信息

在我们的示例拓扑中，有两个数据中心，即 dc1 和 dc2 — 该解决方案可轻松推广到许多部署类型（混合云、多云、多个可用区、多个 Kubernetes 集群或单个位置或设备）。

在每个数据中心，NGINX Plus 实例对四个应用（app001 到 app004）的自定义组合进行负载均衡。为了存储每个应用的上游服务器的健康状态，我们配置了一个名为 pools 的键值存储。以下 keyval 指令（来自 dc1 的 NGINX Plus 配置文件）将 NGINX Plus 实例的 IP 地址 10.1.20.54 映射到 $pool 变量，该变量存储数据中心内应用的健康状态信息。（在 dc2 的配置中，NGINX Plus 实例的 IP 地址为 10.1.20.55。）

keyval_zone zone=pools:32k state=pools.keyval sync timeout=300; 
keyval "10.1.20.54" $pool zone=pools;

为了填充 $pool 变量，我们调用了 UpdatePools njs 函数。该函数使用 NGINX Plus API 检查每个应用的上游服务器的健康状况。在伪代码中，向 NGINX Plus API 发出的子请求如下所示：

r.subrequest('/api/5/http/upstreams' ...

对该输出进行处理后，会生成一组键值对，其中包括被视为健康应用的应用名称和上游服务器的数量。下面是两个应用的示例输出，表示每个应用都有三台健康的服务器：

{"app001":3,"app002":3}

我们调用 JavaScript JSON.stringify 函数将该输出转换为 JSON，伪代码如下：

r.variables.pool = JSON.stringify(output);

我们使用 NGINX Plus 区域同步模块在两个数据中心之间同步 pool 键值存储的内容（示例配置文件中未显示）。此示例显示了两个数据中心内 app001 到 app003 的健康服务器数量：

{ 
  "10.1.20.54": "{\"app001\":3,\"app002\":3}", 
  "10.1.20.55": "{\"app001\":2,\"app003\":4}" 
}

我们使用 health_check 指令每 30 秒调用一次 njs 函数，以更新本地实例上键值存储中的运行状况信息。

location /poll { 
    internal; 
    proxy_pass http://127.0.0.1/pools/update; 
    health_check uri=/pools/update interval=30; 
}

我们的 Summarize njs 函数按应用（而非数据中心）对健康信息进行分组；要显示其输出结果，我们需要向 /pools URI 发出请求。在下面的示例输出结果中，app001 在两个数据中心内都运行正常，app002 仅在 dc1 中运行，app003 仅在 dc2 中运行，app004 部署在两个数据中心内，但仅在 dc2 中运行正常（dc1 中健康服务器的数量为 0）。

$ curl localhost:8245/pools
{"app001.f5demo.com":{"dc1":[{"10.1.20.54":3}], 
                      "dc2":[{"10.1.20.55":2}]}, 
 "app002.f5demo.com":{"dc1":[{"10.1.20.54":3}]}, 
 "app003.f5demo.com":{"dc2":[{"10.1.20.55":4}]},
 "app004.f5demo.com":{"dc1":[{"10.1.20.54":0}], 
                      "dc2":[{"10.1.20.55":3}]}}

下面是当前应用健康状态的图示。

 

更新 DNS 记录

我们更新 BIG-IP DNS 和 DNS 负载均衡器中的记录，以反映我们后端应用的健康状况；如果某个应用在其中一个数据中心内不可用，（例如上面示例中 dc1 中的 app004 ），我们会将该应用的客户端转移到另一个数据中心。BIG-IP DNS 和 DNS 负载均衡器使用不同的模板和数据表示，因此要更新两个系统中的 DNS 记录，我们需要将 njs 子请求定向到不同的 URL，并调用不同的函数。

更新 BIG-IP DNS 记录

BIG-IP 设备的配置可按照特定模式，以 F5 Application Services 3 Extension (AS3) 格式的单个 JSON 文档表示。借助 njs，我们可以构建想要部署的服务模板。

var template = { 
  "class": "ADC", 
  "schemaVersion": "3.7.0", 
  "id": "NGINXPLUS",

我们使用每个应用的池成员 pool members （在 BIG-IP 中，相当于 NGINX Plus 上游组 upstream group）信息更新模板，如本例中的 app001 所示：

"app001_domain": { 
     "class": "GSLB_Domain", 
    	"domainName": "app001.f5demo.com", 
    	"pools": [ { "use": "dc1_app001_pool" }, 
                   { "use": "dc2_app001_pool"} ], 
    	"resourceRecordType": "A" 
},

在 NGINX Plus 配置中，我们为 BIG-IP DNS 服务器创建一个名为 bigip 的上游组 upstream group，并让 NGINX Plus 将请求从 /mgmt/shared/appsvcs/declare location 转发到 bigip：

upstream bigip { 
    server 10.1.1.5:443; 
} 
 
location /mgmt/shared/appsvcs/declare { 
    internal; 
    proxy_pass https://bigip; 
}

我们的 generateAS3Dns njs 函数包含一个子请求，该子请求通过发送 POST 请求携带使用前面构建的部署服务模板的字符串化 JSON payload 信息，为我们的应用配置 BIG-IP DNS 和 DNS 记录。下面是子请求的伪代码：

r.subrequest('/mgmt/shared/appsvcs/declare', 
             { method: 'POST', body: JSON.stringify(template) },

我们通过向 /pools/push/dns 发出请求来调用 generateAS3Dns 函数。在本例中，我们使用 curl 命令的 -u 参数，以管理员用户身份在 BIG-IP DNS 服务器上进行身份验证。因为我们使用的是子请求，所以当我们连接到 BIG-IP DNS 服务器时，NGINX Plus 会转发我们的凭证。或者，我们也可以将凭证存储在 njs 文件中。

$ curl localhost:8245/pools/push/dns -u admin:admin_password

更新 DNS 负载均衡器记录

DNS 负载均衡器记录更新方法类似于 BIG-IP DNS 记录更新方法，但用于生成 DNS 负载均衡器 API 所需格式的模板不同：

"load_balanced_records": { 
    	"app001": { 
      	... 
      	"proximity_rules": [ 
            { ... "pool": "pools_dc1_app001" ...}, 
            { ... "pool": "pools_dc1_app001" ...}, 
             
      	], 
          ...

在 NGINX Plus 配置中，我们为 DNS 负载均衡器 API 创建一个名为 cloud 的上游组 upstream group，并让 NGINX Plus 将请求从 /v1/svc-subscription/subscriptions location 转发到 cloud。

upstream cloud { 
    server api.cloudservices.f5.com:443; 
} 
#... 
location /v1/svc-subscription/subscriptions { 
    internal; 
    proxy_pass https://cloud; 
}

我们的 generateCloudDns njs 函数包含一个子请求，该子请求通过发送 PUT 请求携带使用部署服务模板的字符串化 JSON payload 信息，为我们的应用配置 DNS 负载均衡器和 DNS 记录。下面是子请求的伪代码（URL 中的最后一个元素 s-aabbcc1234 是 DNS 负载均衡器订阅 ID）：

r.subrequest(' /svc-subscription/subscriptions/s-aabbcc1234, 
             { method: 'PUT', body: JSON.stringify(template) },

我们通过向 /pools/push/cloud-dns 发出请求来调用 generateCloudDns 函数。

$ curl localhost:8245/pools/push/cloud_dns?account_id=... -H "Authorization: ..."

 

在 BIG-IP DNS GUI 中跟踪应用健康状况

虽然使用了 NGINX Plus 和 njs 子请求创建并更新 BIG-IP DNS 记录，但我们仍可使用 BIG-IP DNS GUI 来验证应用的健康状况。此截图显示，app004 在 dc1 中运行不正常，在 dc2 中运行正常（在 Status （状态）列中分别用黑色菱形和绿色圆圈表示）。因此，BIG-IP DNS 在响应 app004 的位置请求时仅包含 dc2 的地址。

此截图显示了如何在私有（10/8）地址空间中查找 BIG-IP DNS 记录。

 

在 DNS Load Balancer GUI 中跟踪应用健康状况

在 BIG-IP DNS 一样，尽管我们使用了 NGINX Plus 和 njs 子请求创建并更新 DNS 记录，但我们仍可使用 DNS 负载均衡器 GUI 来验证应用的健康状况。此截图显示，app004 在 dc1 中运行不正常，在 dc2 中运行正常（在 Status 列中分别用 Disabled（禁用）和 Enabled（启用）表示）。

下面的截图显示了如何使用 DNS 负载均衡器记录（与 BIG-IP DNS 记录不同）查找公共 IP 地址（我们只显示了前四条记录）。

 

结语

回顾一下，我们使用 NGINX Plus 进行了以下操作：

  • 对上游应用执行主动健康检查
  • 将健康信息存储至键值存储中
  • 在多个 NGINX 实例之间同步键值存储

我们利用 njs 进行了以下操作：

  • 以每项 DNS 技术所需的格式汇总上游应用的状态
  • 对 DNS 服务进行模板化处理
  • 将 DNS 服务推送到相应的 API 端点

其结果可能不像《猎杀红色十月号》的结局那样史诗般宏大，但对任何运营网站的人员来说都更有价值。

想要试用我们的设置吗？立即免费试用 NGINX Plus 和 BIG-IP DNS 或 DNS 负载均衡器，或者与我们联系以讨论您的用例。

Tags
, , ,
Hero image
使用 NGINX 部署和保护 Kubernetes Ingress Controller

了解如何使用 NGINX 部署、配置、管理、保护和监控 Kubernetes Ingress controller，以在本地和云环境中交付应用和 API。

免费下载

关于作者

Eric Chen

Solution Architect – Cloud

查看更多此作者的博文

关于 F5 NGINX

F5, Inc. 是备受欢迎的开源软件 NGINX 背后的商业公司。我们为现代应用的开发和交付提供一整套技术。我们的联合解决方案弥合了 NetOps 和 DevOps 之间的横沟，提供从代码到用户的多云应用服务。访问 nginx-cn.net 了解更多相关信息。

立即开始使用

NGINX 企阅版

开始使用

向我们提出任何问题

联系我们