Featured image of post emfor 0.4.0:備援 backend、慢啟動、加密的聯防群組與五個新 plugin

emfor 0.4.0:備援 backend、慢啟動、加密的聯防群組與五個新 plugin

emfor 0.4.0 讓應用程式挑 backend 時更謹慎:備援 backend、剛恢復的 backend 慢慢接流量、檢查開始失敗就先避開;聯防群組的訊息改為加密,emfor-check 新增 SMTP、AMQP、MongoDB、gRPC 與 QUIC/HTTP/3。

emfor 是一個開源、跑在每一台應用程式主機上的健康檢查 daemon:它檢查應用程式所用服務的 backend,把哪些 backend 健康寫進本機的檔案,應用程式透過 client 函式庫在大約一微秒內查到該連哪一台,不經過網路。

0.4.0 在 2026-11-14 發佈。這一版的重點在於應用程式拿到的那個位址:什麼時候該用備援、剛恢復的 backend 要不要馬上接滿流量、一個 backend 開始出問題時要多快避開它。另外,聯防群組的訊息改為加密,emfor-check 也多了五種協定。

一、升級前先看:三項不相容的變更

1. store 格式升到第 2 版。 daemon 寫入的 meta/schema_version 變成 2,多了 backend 的 backup 欄位。0.4.0 的 client 與 emfor status 讀得懂第 1、2 版;較舊的 client 碰到第 2 版的 store,每次查詢都會回 INCOMPATIBLE。所以先升級主機上的 client(libemfor 與各語言的套件),再升級 daemon。

2. 聯防群組的訊息預設加密。 還在跑 0.3.0 的成員讀不懂,會把它們當成 malformed 丟掉。逐台升級時,先在每台升級的主機的 [peers] 加上 encrypt = false;等每個成員都升到 0.4.0,再拿掉這一行並 reload。

3. FreeBSD:examples/rc.d/emfor 拿掉了。 現在只剩 port 裡的 examples/freebsd/files/emfor.in 這一份 rc.d script;不透過 port 安裝的人,照手冊第 2 章把 %%PREFIX%% 換掉後安裝。它的 emfor_user 預設是 emfor,不再是 root。另外,範例 port 把 store 放在 FreeBSD 慣用的 /var/db/emfor,主機上的應用程式要設 EMFOR_STORE=/var/db/emfor/state.mdb。

二、挑 backend:更謹慎地決定要連哪一台

備援 backend

backend 可以標成備援:

[services."db.svc.emfor"]
check = "tcp"
balance = "failover"
backends = [
  "10.0.1.5:5432",
  "10.0.1.6:5432",
  { addr = "10.1.1.5:5432", backup = true },   # 另一個機房
]

只要還有任何一台非備援的 backend 通過檢查,備援就不會被用到。挑選順序是:最近一次檢查通過的主要 backend → 最近一次檢查通過的備援 → 健康的主要 backend → 健康的備援;balance 在挑出的那一組裡運作。典型用法是把另一個機房、或比較貴的 backend 設成備援。DNS 的 SRV 回答也只列出挑出的那一組。

檢查一失敗就先避開

一台 backend 要連續失敗 fall 次才會變成 unhealthy,預設大約 6 秒。在這之前它仍算健康,0.3.0 的應用程式會繼續連過去。

0.4.0 的 client 與 DNS 伺服器會先避開「仍算健康、但最近一次檢查失敗」的 backend,只要還有其他健康的 backend 最近一次檢查通過。也就是說,backend 在第一次檢查失敗時就不再被挑中,不用等到 fall 次;它的狀態仍照 rise / fall 計算,恢復後自然回來。如果每台健康的 backend 都在失敗,就照舊全部使用,不會因此全部拒絕。

on_all_down = "open" 而且沒有任何健康的 backend 時,也有類似的調整:先用還沒判定、或檢查只回錯誤的 unknown backend,最後才用確定失敗的 unhealthy 那些。

慢啟動

剛從 unhealthy 恢復的 backend,快取是冷的、連線池是空的,一下子接滿流量常常又被打掛。新的 slow_start 讓它在一段時間內分 10 個階段逐步拿到完整的流量比例:

[defaults]
slow_start = "30s"     # 預設 "0s",關閉

它作用於 client 查詢與 DNS 的 A / AAAA 回答(failover 與帶 key 的 sticky 除外),以及 SRV 的權重。

sticky 也看權重

balance = "sticky" 帶 affinity key 時,現在會依 weight 分配:權重 w 的 backend 拿到 w 份的 key。計算只用整數與 MD5,每台主機、每種語言的 client 對同一個 key 仍挑出同一台。所有權重都是 1 時結果不變;已經設了其他權重的 sticky 服務,升級 client 後會有一部分 key 換到別台,同一個服務的 client 最好一起升級。

三、聯防群組

訊息加密。 0.3.0 的聯防訊息有簽章但是明文,backend 名稱、位址與錯誤原因都看得到。0.4.0 改為 EMP2:以 HKDF-SHA256 從 secret_file 推導金鑰、ChaCha20-Poly1305 加密,每則訊息用隨機 nonce。更換密鑰的方式和以前一樣。這個設計沒有 forward secrecy:日後拿到密鑰的人,可以解開之前錄下的訊息,所以密鑰要定期更換。

只有非負責主機看到的故障,發現得更快。 0.3.0 的已知限制是:只有某台非負責主機看得到的故障,最多要大約五個 interval 加上 fall 次檢查才會發現。0.4.0 的非負責主機至少每三個 interval 自己檢查一次;而且當它自己的檢查失敗、但負責主機都說 up 時,會像收到其他成員的 down 通知一樣,開始每 200 ms 一次、最多 fall 次的快速複查。以 interval = "2s"、fall = 3 實測 12 次故障,這台主機判定 down 花了 0.8 到 5.8 秒,中位數 3.3 秒;0.3.0 依排程估算最長約 14 秒。代價是每個 backend 每個 interval 的檢查次數,從 3 + (N − 3) / 5 變成 3 + (N − 3) / 3。

四、emfor-check:五個新 plugin

emfor-check 是隨 emfor 發佈的 plugin,用來檢查需要懂協定的服務。0.4.0 新增:

plugin檢查內容
smtp220 greeting 與 EHLO,可加 STARTTLS 或 465 port 的 TLS;不登入、不寄信
amqpAMQP 0-9-1(如 RabbitMQ):PLAIN 登入並開啟 vhost
mongodbMongoDB 4.4 以上的 hello,可選 SCRAM-SHA-256 登入;role = "primary" 讓 failover 跟著 replica set 的 primary 走
grpc標準 grpc.health.v1.Health/Check,回 SERVING 才算 up
quicQUIC version 1 握手;http3 = true 時再送 HTTP/3 GET,像內建的 http 檢查一樣看 status 與 body

資料庫的檢查也更嚴格:role = "replica" 現在表示正在複寫的 replica——redis 與 master 的連線是 connected、MySQL / MariaDB 的 IO 與 SQL thread 都在跑、PostgreSQL standby 有 WAL receiver;搭配 max_lag 可以限制 replica 落後的秒數。注意:0.3.0 時,複寫中斷但 role = "replica" 仍算 up 的 redis replica,在 0.4.0 會變成 down。

LDAP 的錯誤原因對 Active Directory 也更好讀了:AD 在診斷訊息尾端加的 NUL 字元會被去掉;伺服器在 TLS 握手時直接斷線(AD 沒有 LDAPS 憑證時就是這樣),原因會寫成 tls: connection closed during the TLS handshake (does the server have a certificate?)。

五、其他改變

  • 內建的 http 檢查新增 expect_body:回應內容必須包含指定文字,適合不管狀態如何都回 200 的健康檢查端點。
  • macOS 上,exec 檢查與 plugin 不再繼承 daemon 的 socket 與 pipe。
  • FreeBSD:rc.d script 以 daemon(8) -f 啟動,執行 service emfor start 的 SSH session 不會再卡住。daemon、rc.d script、port 與測試第一次在 FreeBSD 15.1-RELEASE(arm64)上完整跑過。
  • 每個 fuzz target 在發版前各跑 10 分鐘。0.4.0 的 plugin 回應、聯防訊息、metrics、plugin 協定與設定檔五個 target,合計跑了約 1,800 萬次,沒有 crash。
  • 使用手冊現在也放在這個網站上:emfor 使用手冊。

六、已知限制

  • FreeBSD 只在 15.1-RELEASE arm64 上測過;poudriere、14.x 與 amd64 還沒有。
  • ldap plugin 對 Active Directory 只測過沒有憑證、沒有成功登入的情況;mysql plugin 發佈時只對 MariaDB 測過(發佈後補測:MySQL 8.0 與 8.4 也都通過)。
  • [store] sync = false(預設)時,主機當機可能讓 store 損壞;daemon 下次啟動會把它移到一旁,狀態歷史會遺失。手冊第 8 章說明了怎麼把 store 放在 tmpfs 上。

七、怎麼升級

  1. 在每台主機先升級 client:libemfor 與各語言的套件都要來自 0.4.0。
  2. 逐台升級 daemon 並重新啟動。有聯防群組的話,升級每台時在它的 [peers] 加上 encrypt = false(0.3.0 不認得這個設定,所以不要事先加)。
  3. 群組裡每台都是 0.4.0 之後,拿掉 encrypt = false,逐台 reload。

完整的變更紀錄在 CHANGELOG,原始碼在 GitHub 的 v0.4.0 release。


💡 技術協作與架構諮詢

您的服務是否也面臨健康檢查不一致、故障發現太慢,或檢查流量壓垮 backend 的問題? 我們能協助您評估架構、導入合適的健康檢查與服務發現機制。

🌐 瀏覽技術實作案例 | 📧 預約技術顧問諮詢

使用 Hugo 建立
主題 Stack 由 Jimmy 設計