以前掛載新的磁碟或分區(partition)，只要確認磁碟在哪就可以直接掛載上去。
例如新的磁碟在/dev/sdb1 ，就可以直接寫在fstab，執行systemctl daemon-reload，重開機就能直接掛載辛的磁碟機。
/dev/sdb1 /docker xfs defaults 1 1
沒想到我這次栽了跟斗，RL9重開機後系統直接掛掉，原來是新磁碟機從sdb變成sda，而原本開機的sda變成sdb；我更正後重開機，又亂變代號，此時系統正式掛掉，只能重新安裝。
我後來才發現，fstab早就改成UUID的掛載方式，讓UUID自動綁定磁碟代號，以往我沒遇到問題，直到用了RL9，甚至AlmaLinux也是一樣狀況。
輸入 ls -al /dev/disk/by-uuid 可以查看磁碟對應的UUID
為何要移轉到新的虛擬主機上? 因為原本虛擬主機已經是EOL了，若nextcloud升級，會面臨資料庫版本不符、docker版本過舊問題；需要另外安裝新虛擬主機、安裝新docker，升級資料庫版本，才能解決nextcloud無法升級問題。
作法如下：
最近遇到pve重新啟動，所掛載的NFS連線太慢完成，導致pve找不到虛擬主機檔案，造成無法自動啟動錯誤。
解決方式就是讓pve的vm晚一點啟動，指令如下：(紅色為延遲多少秒vm才會開始啟動)
pvenode config set --startall-onboot-delay 60
我上一篇文章 「很神奇的電腦公司，能配合安裝esxi、proxmox ve(pve) 」最後終於做好三顆硬碟zfs系統，也依照「 PVE 6 zfs 檢查硬碟狀況並且發通知 」設定好自動檢查程序，但此時我發現這台新主機並沒有地方可以放 ISO檔案以及備份存放區。(OS碟例外)
我希望此ZFS還能當作ISO檔案上載以及備份存放區，改如何做呢？
1、執行zpool list查看初始zfs名稱
root@host:~# zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
RAIDZ 5.45T 1.59M 5.45T - - 0% 0% 1.00x ONLINE -
root@host:~#
2、在初始ZFS目錄底下，建立子zfs
#先前執行zpool list得到zfs名稱為RAIDZ，此時我們在RAIDZ底下再新增名為 ISO 子zfs，
#但此時還不能使用。(需以Directory方式掛載)
zfs create RAIDZ/ISO
3、回到pve web網址，在Datacenter新增Directory，並且將ISO子zfs掛載起來
－－
設定完畢，系統將會掛載起來。
大功告成，此時不只能放image與container，還多個RAIDZ-ISO能放ISO檔案與備份檔案惹。
有一次要幫朋友的朋友弄一組新電腦，配置為pve 8(SSD)+3顆2T HDD，3顆HDD我打算做RAIDZ，沒想到他們配合的廠商能代為安裝pve 8且不額外收費 ，這樣我就能省去遠端教他們一步一步製作、安裝pve 8。
過了幾天，主機送來了，果真安裝好pve 8 , 我遠端連線過去一台筆電，再連線設定該台pve主機，沒想到要劃分zfs時候，卻發現電腦廠商已經很好心把3顆hdd主動用主機板內建的磁碟陣列功能設定成raid 5，這樣反而造成我的困擾，pve系統提示已有硬體raid(isw_raid_member)，無法做zfs。
好險後來發現，pve重新wipe 那三顆hdd，電腦重開機之後，isw_raid_member(硬體raid5) 就自動不見了，真是幸運，否則還要跑去朋友的朋友那邊「遠得不要不要公司」處理，實在勞民傷財。
zfs很強，pve也支援，但很多要手動調整，例如zfs的快取。直到現在我才發現，pve設定好zfs，若硬碟壞了，是不會主動通知的，甚至使用pve介面查詢，一樣發現不了硬碟壞了，我真的有點驚訝到，或許其他系統如FreeNAS也是如此。
查詢zfs狀態
PVE設定好zfs之後，請定期執行zfs檢查
#zpool scrub <zfs名稱> #例如我在pve使用3顆1T硬碟，作成zfs，名稱取為Z1 #我就可以輸入以下指令，進行背景檢查 zpool scrub Z1 #若不想背景檢查，則改成 zpool scrub -S Z1
當執行完 zpool scrub指令後，可以再下zpool status -v ，此時會出現 scrub in progress(正在執行中)字樣
最後發現一顆硬碟壞了
此時使用pve gui介面，才會出現錯誤訊息
設定zfs 設定檔案，使其能正確發送email
vi /etc/zfs/zed.d/zed.rc ######################################################3 #請修改紅色部分 ZED_EMAIL_ADDR="it@test.com" ZED_NOTIFY_INTERVAL_SECS=3600 #若為1則任何zfs動作一律發email，懶得測試0，反正email多收比少收好 ZED_NOTIFY_VERBOSE=1 ######################################################3
設定crontab並且測試
收到email了，但硬碟壞一顆，不開心
其他指令
#若更換硬碟後，需要resilver zpool resilver <zpool名稱>
以資安角度, 24小時網路提供的服務, 風險極高. 若確認只在特定國家使用, 就可以使用MaxMind提供ip所在國家資訊, 限制其他國家ip連線,避免不必要的麻煩.
最近想用軟體防火牆來取代公司老舊的硬體防火牆, 我考察很久捨棄PFsense, 改用OPNsense. OPNSense提供簡單MaxMind整合, 可以讓我們進行ip國家使用限制, 非常方便.
我們得先到 https://www.maxmind.com/en/geolite2/signup 註冊帳號,
註冊完畢登入網站, 接下來產生license key
https://dev.maxmind.com/geoip/geolite2-free-geolocation-data?lang=en
產生完license key之後, 就可以下載ip國家資料, 可以參考一下OPNsense提供的方式
https://docs.opnsense.org/manual/how-tos/maxmind_geo_ip.html
防火牆就可以自己定義國別, 進行限制工作
前陣子公司強化vpn登入方式, 密碼改用谷歌驗證器(google authenticator)驗證密碼,
原本覺得pfSense上設定實在太簡單了, 就懶得記錄下來, 不過想想還是截一下圖,做個紀錄.
System > Package Manager > Available Packages
搜尋FreeRADIUS並且安裝Services > FreeRADIUS > Interfaces > Add
Services > FreeRADIUS > NAS/Clients > Add
System > User Manager > Authentication Servers > Add
VPN > OpenVPN > Servers > Edit
Services > FreeRADIUS > Users > Add
以下為官方寫的文件非常詳細, 建議參考官方的
