Captive portal 研究心得，以 iptables 實作

之前略知使用 Taipei Free 或 CHT Wi-Fi時，會彈跳出認證(登入)的網頁，但卻不知其所以然，直到最近研究了 Captive portal 的東西。一開始用 Captive portal 關鍵字找了一些 RFC 文件，殊不知那些都是煙霧彈 XD 如：

• Captive-Portal Identification Using DHCP or Router Advertisements (RAs) https://tools.ietf.org/html/rfc7710
• Additional HTTP Status Codes - The 511 Status Code and Captive Portals https://tools.ietf.org/html/rfc6585

經過了一陣抓封包後，簡言之，透過網路管控，當符合以下情境時，各個 OS 內的網路偵測小程式，就會彈跳視窗：

1. 用戶連上 router 時，可以進行 DNS lookup
2. 未通過認證的用戶，無法透過 router 進行網路連線請求，如連上 facebook.com
3. 通過認證的用戶，透過 router 可以正常使用網路

在各個 OS 內，都有一隻小程式時時關注著網路變化，當網路狀態改變且尚未有連外環境，這時程式會自動進行網路連線偵測，概念上就是去連各個 OS 自訂的一個網頁位置，看看能不能抓到東西，且東西是否正常。若不正常時，就會判斷網路是要認證的，接著就會彈跳出認證視窗。

• Captive Portal Detection
• https://github.com/httpwg/wiki/wiki/Captive-Portals

至於 router 上的實作，簡單的說，就是透過防火牆機制：

1. 防火牆設計各種狀態，例如未認證，已認證的 flag (mark)
2. 當用戶完成認證時，透過 CGI 執行防火牆指令，給予標記 (mark)
3. 允許已標記的 client 封包通行

至於完整的實作，可以參考：

• http://dev.wifidog.org/
• https://www.dd-wrt.com/wiki/index.php/NoCatSplash
• https://github.com/arjan/NoCatSplash
• https://github.com/mhaas/fbwlan

以下是同事分別安裝 wifidog 跟 NoCatSplash 取出的防火牆規則，以 wifidog 產出的：

-P INPUT ACCEPT
-P FORWARD ACCEPT
-P OUTPUT ACCEPT
-N WD_wlan0_AuthServs
-N WD_wlan0_Global
-N WD_wlan0_Internet
-N WD_wlan0_Known
-N WD_wlan0_Locked
-N WD_wlan0_Unknown
-N WD_wlan0_Validate
-A FORWARD -i wlan0 -j WD_wlan0_Internet
-A FORWARD -i eth0 -o wlan0 -m state --state RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i wlan0 -o eth0 -j ACCEPT
-A WD_wlan0_AuthServs -d SERVER_IP/32 -j ACCEPT
-A WD_wlan0_Internet -m state --state INVALID -j DROP
-A WD_wlan0_Internet -o eth0 -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A WD_wlan0_Internet -j WD_wlan0_AuthServs
-A WD_wlan0_Internet -m mark --mark 0x254 -j WD_wlan0_Locked
-A WD_wlan0_Internet -j WD_wlan0_Global
-A WD_wlan0_Internet -m mark --mark 0x1 -j WD_wlan0_Validate
-A WD_wlan0_Internet -m mark --mark 0x2 -j WD_wlan0_Known
-A WD_wlan0_Internet -j WD_wlan0_Unknown
-A WD_wlan0_Known -j ACCEPT
-A WD_wlan0_Locked -j REJECT --reject-with icmp-port-unreachable
-A WD_wlan0_Unknown -p udp -m udp --dport 53 -j ACCEPT
-A WD_wlan0_Unknown -p tcp -m tcp --dport 53 -j ACCEPT
-A WD_wlan0_Unknown -p udp -m udp --dport 67 -j ACCEPT
-A WD_wlan0_Unknown -p tcp -m tcp --dport 67 -j ACCEPT
-A WD_wlan0_Unknown -j REJECT --reject-with icmp-port-unreachable
-A WD_wlan0_Validate -j ACCEPT

以 NoCatSplash 產出的 iptables 為筆記：

$ iptables -S
-P INPUT ACCEPT
-P FORWARD ACCEPT
-P OUTPUT ACCEPT
-N NoCat
-N NoCat_Inbound
-N NoCat_Ports
-A FORWARD -j NoCat
-A NoCat -j NoCat_Ports
-A NoCat -j NoCat_Inbound
-A NoCat -s SERVER_IP/24 -i wlan0 -m mark --mark 0x1 -j ACCEPT
-A NoCat -s SERVER_IP/24 -i wlan0 -m mark --mark 0x2 -j ACCEPT
-A NoCat -s SERVER_IP/24 -i wlan0 -m mark --mark 0x3 -j ACCEPT
-A NoCat -j DROP
-A NoCat_Ports -i wlan0 -p tcp -m tcp --dport 25 -m mark --mark 0x3 -j DROP
-A NoCat_Ports -i wlan0 -p udp -m udp --dport 25 -m mark --mark 0x3 -j DROP
$ iptables -t nat -S
-P PREROUTING ACCEPT
-P INPUT ACCEPT
-P OUTPUT ACCEPT
-P POSTROUTING ACCEPT
-N NoCat_Capture
-N NoCat_NAT
-A PREROUTING -j NoCat_Capture
-A POSTROUTING -j NoCat_NAT
-A NoCat_Capture -p tcp -m mark --mark 0x4 -m tcp --dport 80 -j REDIRECT --to-ports 5280
-A NoCat_Capture -p tcp -m mark --mark 0x4 -m tcp --dport 443 -j REDIRECT --to-ports 5280
-A NoCat_NAT -s SERVER_IP/24 -o eth0 -m mark --mark 0x1 -j MASQUERADE
-A NoCat_NAT -s SERVER_IP/24 -o eth0 -m mark --mark 0x2 -j MASQUERADE
-A NoCat_NAT -s SERVER_IP/24 -o eth0 -m mark --mark 0x3 -j MASQUERADE

其他 iptabes 簡介：

• https://gigenchang.wordpress.com/2014/04/19/10%E5%88%86%E9%90%98%E5%AD%B8%E6%9C%83iptables/

[Linux] 使用 xargs 執行任務，參數不只接在指令尾部

原先很習慣用 find 找到東西後，搭配 -exec 去執行任務，這時要串起來的指令很方便。然而，若是要在一個清單內，找到東西後，再接一串指令時，就會試試 xargs 這指令。只是 xargs 習慣都是把變數接在指令後頭：

$ grep 我 user.dict | xargs -n 1 echo | head -n 5
分我杯羹
天知地知，你知我知
禮豈為我設
誨爾諄諄，聽我藐藐
惠子知我

此例就是找到的關鍵字”我”，再丟給 echo 去印出來。但如果，想要把找到的關鍵字都包起來時：

找到”分我杯羹”了
找到”天知地知，你知我知”了
找到”禮豈為我設”了
找到”誨爾諄諄，聽我藐藐”了
找到”惠子知我”了

這時就會卡卡的，沒錯，就派 shell 上場了：

$ grep 我 user.dict | xargs -n 1 sh -c 'echo "找到\"${@}"\"了' "${0}" | head -n 5
找到"分我杯羹"了
找到"天知地知，你知我知"了
找到"禮豈為我設"了
找到"誨爾諄諄，聽我藐藐"了
找到"惠子知我"了

如此一來，透過 sh 在包一層，就可以完美使用 xargs 做事了。而我真正的需求是檢查一個檔案清單，查看清單內的檔案是否都存在：

$ grep keyword file-list.txt | xargs -n 1 sh -c 'test -r "${@}" || echo "${@} NOT FOUND" ' "${0}"

Ansible 筆記 - 透過 Reverse SSH Tunnel 維護機器

有時候就是這樣，某些機器本身連不進去，這時要測試發佈流程時，就適合從中間機器建立 SSH Tunnel 啦。例如 A <-> B <-> C 關係中，B 可以分別連到 A 跟 C ，但 A 跟 C 彼此無法連上。這時就從 B 的角色建立個 Reverse SSH Tunnel 了

@B:

$ ssh -NR 2266:C_HOST_IP:22 user@A_HOST_IP

如此一來，在 A 機器中，就可以自連 ssh 127.0.0.1:2266 就可以直達 C 機器囉！

接著，若在 A 機器發動 ansible deploy 任務，就會有需要指定 ansible-playbook 運作時，那個 ssh port 要換一下，所幸的，用 ansible-playbook -h 就有教學啦 XD 其中 sftp 跟 scp/ssh 的參數名不一樣，所以得個別設定，完整的範例：

@A:

$ HOST=tag_Ansible_MY_Task DATA="['127.0.0.1']" ansible-playbook -i bin/echo.sh MY_Task.yml --private-key=ssh-private-key.pem --sftp-extra-args="-oPORT=2266" --scp-extra-args="-p 2266" --ssh-extra-args="-p 2266"

此例 bin/echo.sh 只是一個讓我組出 ansible-playbook 所需的格式：

$ cat bin/echo.sh
#!/bin/bash
echo "{\"$HOST\":$DATA}"
$ HOST=tag_Ansible_MY_Task DATA="['127.0.0.1']" bin/echo.sh
{"tag_Ansible_MY_Task":['127.0.0.1']}
$ head -n 7 MY_Task.yml
---
- hosts: tag_Ansible_MY_Task
  remote_user: ubuntu
  become: true
  become_user: root
  become_method: sudo