docker container產出log有兩種方式, 一種丟給docker輸出, 另一種是自己產出log檔案
長時間使用, volume就會莫名越來越肥, 讓備分增加難度, 有必要把這些檔案抓出來,
最簡單就是利用linux的指令, 抓出大的檔案, 再寫shell另外處理
find /docker-volume-dir -type f -size +100000k -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'
#抓出超過100M的檔案原本打算實驗一下, 利用 Rclone 掛載遠端空間, 例如google drive, 當作mail server存放郵件的空間, 但這樣一定會有效能, 與timeout的問題, 想想還是算了.
言歸正傳, 我預計把一些阿貓阿狗的遠端伺服器, 直接mount到windows備分主機上面 , 然後用簡單的robocopy 或是 rsync 備份,
很丟臉的是, 最近才發現Rclone這個好用的開源掛載軟體, 可以掛載 SFTP , 那真是太好用了.
通常我們透過廣告信給分機制, 可以另外給予”合法郵件服務器”發出來的信件給予高額的廣告判斷分數, 讓系統退件.
因為是合法的服務器, 很多很多都讓該服務器代管, 我們無法直接以 ip, 或是相關特徵, 阻擋服務器發信,
對於我們來說, 唯一的方式就是設定該廣告主email, 給予很高廣告分數, 就可以擋下來了.
煩的是有些郵件服務器使用amazon server當作mail server 發信, 原始檔案裏面的 Return-Path 與 From 不一致 , 影響擋廣告機制判斷 , 造成這些人可以肆無忌憚, 不講武德一直發信, 而你怎麼設定該email或是網域, 都沒用, 根本擋不了.
Return-Path: <0101017f0f53948e-e5e68c2b-950e-4613-bd45-c0665e232ab5-000000@us-west-2.amazonses.com>
X-Original-To: xxx@xxx.com
Delivered-To: xxx@xxx.com
Received: from a27-63.smtp-out.us-west-2.amazonses.com (a27-63.smtp-out.us-west-2.amazonses.com [54.240.27.63])
From: =?UTF-8?Q?=E3=80=90iCheers_=E9=80=B1=E5=A0=B1=E3=80=91?= <newsletter@icheers.tw>講武德的廣告信, Return-Path 與From 會一致
Return-Path: <solidwizard@s1.mailhunter.com.tw>
X-Original-To: xxx@xxx.com
Delivered-To: xxx@xxx.com
Received: from mx127.mailhunter.com.tw (mx127.mailhunter.com.tw [60.250.108.127])
From: =?utf-8?B?5a+m5aiB5ZyL6Zqb6IKh5Lu95pyJ6ZmQ5YWs5Y+4?= <solidwizard@s1.mailhunter.com.tw>所以我們必須用另外一種作法, 掃描整個郵件headers, 只要符合該email 或 domain 就擋下來
以 Rspamd 的擋廣告機制來說,
修改 /etc/rspamd/local.d/regexp.conf
"RE_EMAIL_ICHEERS" = {
re = '/@icheers.tw/i{body}';
score = 15.0;
}
#只須改紅色部分阻擋 icheers.tw 這個不講武德的廣告信 , 但是我還沒試出來完整email , 若寫完整email 還是會失敗, 有可能是bug.
之前一直維護的是 postfix + M$ 的AD 認證 , 這也可以拿來取代google 代管的mail , 但是沒事還要生出windows server , 這錢花了就算了, 就怕一直要更新… 因此花了5天時間,認真研究 , 讓postfix + openldap 認證 , 做成docker images , 也提供範例架設docker openldap server .
值得注意的是 openldap 必須要吃進去 postfix 的 ldap schema 才能跟postfix整合(aliases) .
這把年紀了,還在用ldif ,金害!
因為我有需求, 將postfix aliases屬性加到openldap裏面, 只找到schema , 因此又找到 fuck-openldap.sh , 看來這位老兄對openldap很不爽
root@6fa88f73c061:/# ./fuck-openldap.sh postfix.schema
./fuck-openldap.sh: converting /postfix.schema to LDIF //postfix.ldif
config file testing succeeded
./fuck-openldap.sh: LDIF file successfully created as //postfix.ldif
若你要玩postfix + ldap , 正好該ldap server是openldap server , 你就必須把這個ldif加到 openldap 裏面去, 檔案我準備好了,請按這裡下載postfix.ldif
docker image 製作時, 廣告過濾機制rspamd , 會因為cron.daily每日執行 logrotate檢查, 將過多的log檔案封存, 這樣很好, 但是偏偏log檔案被至換掉, 程式也必須透過 systemctl 方式重開,
可是docker的程式重開偏偏與systemctl 方式不同, 會造成新的log檔案空的, 程式因為無法重開, 也寫不進去log 檔案, 目前能想到的就是幹掉 /etc/logrotate.d 裡面的所有檔案, 需要時再自己處理.
我傾向於自架, 一樣規劃兩個方向
第一個方向, 中小企業使用 postfix + amavisd + active directory , 或是 postfix + rspamd + active directory
第二個方向, 個人網域專用 , 大概就是docker上面找一找, 不需要跟AD扯上關係.
我2/5回台灣, 需要隔離11天, 因此花了兩天時間, 於docker中找了一款 mailu 很棒的mail server.
試用了一下, 很好用, 可以支援多網域, 使用最新的rspamd取代老牌amavisd-new .
mailu 安裝簡單, 若是使用docker架設, 官方網站提供設定檔案製作工具 https://setup.mailu.io , 回答完問題, 自動產生docker-compose檔案,與環境設定檔案.
而mailu 使用 rspamd 套件管理防毒, 廣告信,, 灰名單, rate limit, 等等功能, 讓我非常驚艷 , 更棒是該套件有網頁管理功能, 我以後要把amavisd-new換掉, 都改成rspamd
以下是docker安裝時, 遇到letsencrypt的問題的解法,mailu 內建letsencrypt, 但我一律改成使用自己的reverse proxy
1. 修改mailu.ini , 把REAL_IP_FROM 改成reverse proxy ip
REAL_IP_HEADER=X-Real-IP
REAL_IP_FROM=x.x.x.x,y.y.y.y.y
2. 利用scripts 把 reverse proxy 中的letsencryp 的認證檔案放到 docker-compose目錄下的 certs 裡面 , 檔名為
cert.pem , key.pem
mailu使用network bridge 的方式, 所以maillog看不到外界真實存取的ip , 若需要fail2ban 將無法正常使用, 官網說可以用rate limit方式取代, 但我覺得這不是重點, 重點在於maillog無法反映真實ip紀錄, 這企業很難認同.
每次看maillog , 都會發現有<> null 登入的現象, 因此需要阻擋
修改main.cf
smtpd_sender_restrictions = ... check_sender_access hash:/etc/postfix/sender-check修改 /etc/postfix/sender-check , 修改完畢需要執行postmap
<> REJECT null users are not allowed一些基本限制相關連線的基本設定
##
## 效能調教, 視情況修改
##
#default_process_limit = 150
#qmgr_message_active_limit = 40000
#qmgr_message_recipient_limit = 40000
#default_destination_concurrency_limit=100
#default_destination_recipient_limit=100
#default_process_limit=200
#smtp_mx_session_limit=100
#smtp_destination_concurrency_limit=100
#maximal_backoff_time = 1000s
#minimal_backoff_time = 300s
##
## 阻擋惡意連線
##
smtpd_error_sleep_time = 1s
smtpd_soft_error_limit = 10
smtpd_hard_error_limit = 20
##
## 用戶端每60秒,最多連線20次, 且同時只能10個連線
##
anvil_rate_time_unit=60s
smtpd_client_connection_rate_limit=20
smtpd_client_connection_count_limit=10,