Docker 開發筆記 - 在 Synology NAS 運行 immich 照片服務與 Symbolic link 管理方式 @ Synology DS723+

周邊有強者好友真不錯，時常分享把一堆服務都搞自建方案，目的不是省錢，而是追求資料握在自己手中的架構。挑選 immich 大概算是公認做得不錯的相簿管理服務，其介面跟 Google Photos 很像，且支援人臉辨識也有依照地圖(OpenStreetMap)顯示照片拍攝位置

而 immich 官方文件有非常方便架設 Docker 的筆記：

• https://immich.app/docs/install/synology/

在 Synology NAS 上，若有支援 Docker 的，可以在 Container Manager 中新增專案，這時要上傳 docker-composer.yml 檔案，則是在剛剛的教學網站有顯示：

• https://github.com/immich-app/immich/releases/latest/download/docker-compose.yml
• https://github.com/immich-app/immich/releases/latest/download/example.env

在此先決定了 NAS 上的檔案位置，把 Docker 運行所需的環境擺在 /docker/immich-app 目錄(這是 File Station 看到的路徑)，他實際的路徑位置會是 /volume1/docker/immich-app 。

這時 docker-compose.yml 可透過 Container Manager 上傳好，而 example.env 則是透過 File Station 拖拉進去改名成 .env

這時直接在 Container Manager 運行時，應當會踩到問題，因為 library 或 postgres 目錄不存在，這時也繼續靠 File Station 建立，後續 Container Manager 運行就會正常了，正常到最後可以用 NAS_IP:2283 瀏覽起來，可以看到註冊畫面等。

這邊有幾個議題記錄一下：

1. 使用 NAS 反向代理伺服器，提供 https 連線 immich 服務
2. 在 immich 使用外部圖庫 (External Library) ，將原本的 Synology Photos 匯入
3. 在 immich External Library 如何使用 Symbolic link 來管理

首先，NAS 反向代理伺服器的設定還滿簡單的，找一個 port 來服務 https 連線，例如 2284 ，直接把它導向到 2283 ，這樣就搞定收工，未來就有 https://NAS_IP:2284 可用了！

接著，使用外部圖庫部分，這邊跟 Docker 設定有關，必須把額外的資料像掛載進來，例如

    volumes:

      # Do not edit the next line. If you want to change the media storage location on your system, edit the value of UPLOAD_LOCATION in the .env file

      - ${UPLOAD_LOCATION}:/usr/src/app/upload

      - /etc/localtime:/etc/localtime:ro

      - /var/services/homes/UserID/Photos:/synology-photo:ro

透過把 Synology 在使用者家目錄的位置掛進來，這樣對 immich docker 環境中，就多了 /synology-photo 路徑可以查看資料，這時在 immich 網頁設定上，直接設定外部位置在 /synology-photo ，就可以讓 immich 掃描到照片資料來分析了

然而，對於資料管理上會想要慢慢實驗，例如少量的把目錄資料加入到 immich 外部圖庫，且不需要一直改 YAML volumes？通常對系統熟悉的，就會想試試 symbolic link 架構，還能避免 NAS 上有重複資料佔著空間，然而，symbolic link 在 Docker 環境上有使用限制，有一些討論串：

• reddit: How to get immich to follow symlinks for external library
• [BUG] External library doesn't follow relative symlinks #6311

我這邊的解法，其實是設法先排除 Docker 限制，只要繞過限制後，Symbolic link 還是可以使用的。目前的設計就先在 ~/Photos/ 建立一個目錄，如 immich ，接著在裡面建立 Symbolic link 到上一層 ~/Photos 想要的資料就好，而掛載到 Docker 裡仍維持在 ~/Photos 位置，而 immich 網頁上就設定 /synology-photo/immich 即可。

總結一下 Symbolic link 使用資訊：

• Docker volumes YAML 設定不變，概念上要把 Symbolic link 來源也包覆到
• /var/services/homes/UserID/Photos:/synology-photo:ro
• 建立 /var/services/homes/UserID/Photos/immich 目錄
• 在 immich 網頁上，將外部圖庫設定在 /synology-photo/immich
• 未來想動態將資料交給 immich 服務時，就只須在 /var/services/homes/UserID/Photos/immich 內建立向上一層的目錄，確保那些享用 symbolic link 的資料都有在 Docker volumes 內即可

UserID@NAS:~/Photos/immich$ ls -l

lrwxrwxrwx+ 1 UserID users 27 Mar  6 23:25 '2020-01-01' -> '../2020-01-01/'

lrwxrwxrwx  1 UserID users 24 Mar  6 23:28 '2021-02-02' -> '../2021-02-02/'

lrwxrwxrwx  1 UserID users 27 Mar  6 23:28 '2022-03-03' -> '../2022-03-03/'

  

收工

Xbox Project xCloud / Game Streaming 設定教學筆記 @ Xbox One S / Android 9 / 小米A3

幾年前買了一台 Xbox One S 當藍光播放器，今年起，因為武漢肺炎等防疫關係，開始體驗 Xbox 商城。買了幾款遊戲試試，試了才發現 Xbox 真的發展的不錯！雖說遊戲方面推論還是會輸 PS ，但 Xbox 的整個模式已經漸漸成形，包括遊戲商城、包月100款遊戲(Xbox Game Pass)、包月每月兩款免費遊戲(Xbox Live Gold)等等，當然更免不了不時來一下遊戲特價，不斷地推坑 XD

原先是想多找哪邊有折扣，找著找著在 Xbox 台灣 FB 粉絲團看到新訊：

Xbox Project xCloud 雲端串流服務

原來在 2018 年 10 月就曾宣布 xCloud 了，本意是把主機雲端化，玩遊戲則是雲台運算並把結果 streaming 到手機上。而想要來體驗 Project xCloud (Preview) 時，發現現況也有 "主機串流" 服務，可以嘗試把 Xbox 輸出直播出去，這恰好打中我的需求：

• 家中只有一台電視
• 電視不能一直玩遊戲 / 有些暴力遊戲不宜給小孩看

這時，除了把 Xbox One HDMI out 輸出到另一台螢幕、投影機外，並沒有其他高招，大概就剩 HDMI WIFI 傳輸了！結果這時看到 Android app 已經可以來串流了，實在美好！

整個設定過程：

1. 將 Xbox One S 加入 Xbox One Preview Update
- Microsoft Store 下載 Xbox Insider 中心
- 加入 Xbox 測試人員計畫 https://beta.support.xbox.com/help/account-profile/manage-account/xbox-insider-program
- 安裝 Xbox One 更新預覽 版 (在系統區）

2. 設定主機串流
- 設定 -> 裝置與串流 -> 主機串流 -> 測試主機串流
- 可以看到要求更新控制器，以及電源選項要更新 

3. 更新藍芽控制器韌體
- 設定 -> 裝置與串流 -> 配件 -> 選擇 Xbox 無線控制器 -> 下方 ... 可以更新韌體 

4. 電源設定
- 設定 -> 一般 -> 電源模式與串流 -> 電源模式: 即時啟動

如此，再回去設定主機串流，測試主機串流，當測試通過才可以啟用！如果被網路上傳速度擋下，剛好手機有4G吃到飽，可以試看看把 Xbox 改用手機共享網路先設法通過測試，通過後再把 Xbox 網路改回來。

接著在 Google play 搜尋 xbox game streaming ，就能找到 Xbox Game Streaming (Preview) ，安裝完後，很快就能設定完成。主要把 Xbox 無線控制器跟手機藍芽配對後，就可以正常遠端 Xbox One S 了，嘗試把玩 NBA 2K20 或是快打旋風30周年慶，對於這種需要高更新畫面的遊戲，玩幾下就會看到極限了 XD 倒是老人回憶之旅那種篇益智遊戲，則非常的舒服。





如此就能體會主機串流的功能了！而大部分的體驗流程都是先到 google play 下載 xbox game streaming 後，接著得到你所在的區域並不支援 XD 殊不知要先從 Xbox One 更新預覽版才能開啟！

Google Analytics 使用筆記 - 設定目標(Goal)追蹤關鍵字成效

很久以前就想研究，一直拖到工作上買 Adwords 需要追蹤成效時，才開始學習 XD 而設定 Goal 其實非常簡單，就是在專案管理介面上，切換到最右邊有個"目標"可以設定，填一填就搞定，其中用 GA event 是最彈性的是部分，可以在對應的網頁動作上，發個 GA event 就能追蹤了。









如此回到 GA 專案 -> 客戶開發 -> 廣告活動 -> 所有廣告活動/付費關鍵字/隨機關鍵字 ，就可以看到 “轉換” 那邊，可以有目標來關注，十分方便。

就 Adwords 就可以不斷調整、找尋最洽當的關鍵字購買。

[Mac] TOTO LINK N150UA @ MacOSX 10.11.6

經過黃色鬼屋買了一張 USB 無線網卡，結果就是一場災難的開始 XD (買的比網路上貴外，設定又如此搞剛)回來用 MacOSX 來測試，然後附贈的安裝 CD 跟 TOTO LINK (Ralink) 官網下載都無法成功設定，且文件上都說只支援 10.6 ~ 10.10 ，看來文件所敘無誤。

接著，開始翻他的硬體資訊，發現有 MediaTek 字樣！追了一下原來是 MediaTek 產出啊，網路上也看了幾篇 MTK 跨入無線網卡的新聞介紹，原來我 lag 那麼久 :P

最後，就是跑去 MediaTek 網站下載驅動程式（內含 Wireless Utility）：MT7612_7610U_D5.0.1.25_SDK1.0.2.18_UI5.0.0.27_20151209

• http://www.mediatek.com/zh-TW/products/connectivity/wi-fi-new/
• http://www.mediatek.com/en/downloads1/downloads/
• http://www.mediatek.com/en/downloads1/downloads/mt7610u/

總之，裝了 MTK 的那包後，終於可以成功設定網路了 Orz 最大的缺點是安裝軟體時，還得自行閉上眼默認沒有簽署認證的程式包。

透過這次我也才明瞭在 MacOSX 設置 USB 無線網卡時，基本上都是透過第三方軟體設置的，且在 MacOSX 自身的網路偏好設定只能觀看而無法設定

[Linux] 架設 OpenVPN server 與 OpenVPN client 設定 @ Ubuntu 12.04

嘗過過 PPTP、L2TP 後，接著把玩 OpenVPN。此例 OpenVPN server 跟 OpenVPN client 都是 Ubuntu 12.04，其中一個是 server 版，另一個是 desktop 版。

Ubuntu Server: 安裝：

$ sudo apt-get install openvpn

Ubuntu Server: 憑証（順便把 OpenVPN client 做完）：

$ cp -r /usr/share/doc/openvpn/examples/easy-rsa/2.0 /tmp/easy-rsa
$ cp /tmp/easy-rsa/openssl-1.0.0.cnf /tmp/easy-rsa/openssl.cnf
$ cd /tmp/easy-rsa/
$ source ./vars
$ ./clean-all
$ ./build-dh
$ ./pkitool --initca
$ ./pkitool --server server
$ ./build-key client
$ sudo su
# chown -R root:root /tmp/easy-rsa/keys/
# cd keys
# cp ca.crt server.crt server.key dh*.pem /etc/openvpn/

Ubuntu Server: 建立 /etc/openvpn/server.conf：

$ sudo cp /usr/share/doc/openvpn/examples/sample-config-files/server.conf.gz /etc/openvpn
$ sudo gunzip /etc/openvpn/server.conf.gz

Ubuntu Server: 設定 /etc/openvpn/server.conf (修改要跑的 port, ip, tcp or udp mode)：

$ sudo vim /etc/openvpn/server.conf

Ubuntu Server: 讓 OpenVPN client 可以透過 OpenVPN server 連出去外網，其中 eth0 為 OpenVPN server 對外網卡、10.8.0.0/24 是預設的 OpenVPN 區段：

$ sudo vim /etc/openvpn/server.conf
push "redirect-gateway def1 bypass-dhcp"
push "dhcp-option DNS 8.8.8.8"

$ iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o eth0 -j MASQUERADE

Ubuntu Client: 安裝（從OpenVPN server 取得 ca.crt、client.crt、client.key）：

$ sudo apt-get install openvpn
$ sudo cp -r /usr/share/doc/openvpn/examples/sample-config-files/ /etc/openvpn/example
$ sudo cp ca.crt client.crt client.key /etc/openvpn/example

Ubuntu Client: 設定（修改 server ip, port, tcp or udp mode）：

$ sudo vim /etc/openvpn/example/client.conf

Ubuntu Client: 執行：

$ sudo openvpn --config /etc/openvpn/example/client.conf

Ubuntu Client: 開機執行：

$ sudo vim /etc/rc.local
openvpn --config /etc/openvpn/example/client.conf > /var/log/openvpn_client.log 2>&1 &

如果 OpenVPN client 還有提供 NAT 服務，那記得 iptables 要加上這段(tun0可以用 ifconfig查看)：

VIF="tun0"
iptables -t nat -A POSTROUTING -o $VIF -j MASQUERADE

[Linux] 架設 VPN Server (PPTP/IPSEC/L2TP) @ Ubuntu 12.04

研究上需要架設一台 VPN，於是架了 PPTP 後，也順便把 IPSEC、L2TP 補齊。流程：

安裝需要的軟體：

$ sudo apt-get install pptpd openswan xl2tpd ppp

PPTP：

$ sudo vim /etc/pptpd.conf
# (Recommended)
localip 192.168.0.1
remoteip 192.168.0.234-238,192.168.0.245

$ sudo vim /etc/ppp/pptpd-options
# …
ms-dns 8.8.8.8
# …
logfile /var/log/pptpd.log

$ sudo touch /var/log/pptpd.log

$ sudo vim /etc/ppp/chap-secrets
# PPTP
username pptpd password *
# L2TP
username l2tpd password *

其中 username, password 都是明碼

IPSEC/L2TP：

$ sudo su
$ echo "net.ipv4.ip_forward = 1" | tee -a /etc/sysctl.conf
$ echo "net.ipv4.conf.all.accept_redirects = 0" | tee -a /etc/sysctl.conf
$ echo "net.ipv4.conf.all.send_redirects = 0" | tee -a /etc/sysctl.conf
$ for vpn in /proc/sys/net/ipv4/conf/*; do echo 0 > $vpn/accept_redirects; echo 0 > $vpn/send_redirects; done
$ sysctl -p

$ sudo vim /etc/rc.local
for vpn in /proc/sys/net/ipv4/conf/*; do echo 0 > $vpn/accept_redirects; echo 0 > $vpn/send_redirects; done
iptables --table nat --append POSTROUTING --jump MASQUERADE

$ sudo vim /etc/ipsec.conf
conn L2TP-PSK-NAT
    rightsubnet=vhost:%priv
    also=L2TP-PSK-noNAT

conn L2TP-PSK-noNAT
    authby=secret
    pfs=no
    auto=add
    keyingtries=3
    rekey=no
    ikelifetime=8h
    keylife=1h
    type=transport
    left=SERVER_IP
    leftprotoport=17/1701
    right=%any
    rightprotoport=17/%any

$ sudo vim /etc/ipsec.secrets
SERVER_IP  %any:  PSK "L2TP_PRIVATE_KEY"

$ sudo vim /etc/xl2tpd/xl2tpd.conf
[global]
ipsec saref = yes

[lns default]
ip range = 10.1.2.2-10.1.2.255
local ip = 10.1.2.1
;require chap = yes
refuse chap = yes
refuse pap = yes
require authentication = yes
ppp debug = yes
pppoptfile = /etc/ppp/options.xl2tpd
length bit = yes

$ sudo vim /etc/ppp/options.xl2tpd
require-mschap-v2
ms-dns 8.8.8.8
asyncmap 0
auth
crtscts
lock
hide-password
modem
debug
name l2tpd
proxyarp
lcp-echo-interval 30
lcp-echo-failure 4

重啟相關服務：

$ sudo service pptpd restart
Restarting PPTP:
Stopping PPTP: pptpd.
Starting PPTP Daemon: pptpd.

$ sudo service ipsec restart
ipsec_setup: Stopping Openswan IPsec...
ipsec_setup: Starting Openswan IPsec 2.6.37...
ipsec_setup: No KLIPS support found while requested, desperately falling back to netkey
ipsec_setup: NETKEY support found. Use protostack=netkey in /etc/ipsec.conf to avoid attempts to use KLIPS. Attempting to continue with NETKEY

$ sudo service xl2tpd restart
Restarting xl2tpd: xl2tpd.

服務驗證：

$ sudo ipsec verify
Checking your system to see if IPsec got installed and started correctly:
Version check and ipsec on-path                                 [OK]
Linux Openswan U2.6.37/K3.2.0-58-generic (netkey)
Checking for IPsec support in kernel                            [OK]
 SAref kernel support                                           [N/A]
 NETKEY:  Testing XFRM related proc values                      [OK]
        [OK]
        [OK]
Checking that pluto is running                                  [OK]
 Pluto listening for IKE on udp 500                             [OK]
 Pluto listening for NAT-T on udp 4500                          [OK]
Two or more interfaces found, checking IP forwarding            [OK]
Checking NAT and MASQUERADEing                                  [OK]
Checking for 'ip' command                                       [OK]
Checking /bin/sh is not /bin/dash                               [WARNING]
Checking for 'iptables' command                                 [OK]
Opportunistic Encryption Support                                [DISABLED]

[Linux] 研究 c-icap modules 與 Squid 相關設定 @ Ubuntu 12.04

前鎮子剛用 pyicap 完成簡單的 ICAP 實作，但 pyicap 還是有一點不順，所以就來試試 c-icap 吧！盡管在 wikipeida 上查閱了幾種 icap server 的實作，但不少已經說不繼續維護，然後就叫大家去看 c-icap 啦，再加上 c-icap 也可以在 apt-get 上方便取得，所以，就來摸摸 so 吧！(據說中國那邊還很盛行，ISP還是會幫忙把網頁加上自家廣告)

先聊一下 c-icap 的部分，它是一隻用 C 實作 ICAP server 的角色，而 Squid 本身就內建 ICAP client 的角色了。使用 c-icap 的理由，則是他提供模組的方式，將你想做的事寫成 module ，設定後可變成 c-icap 的一個 service ，僅需依照 c-icap 的框架實作必要的函式，可省去實作 ICAP 協定。

此篇記錄著重在如何實作 c-icap module ，而網路資料不多，最佳解就是看程式碼 :P

$ apt-get source c-icap libc-icap-mod-urlcheck

此過程會產生兩個目錄：c-icap-0.1.6 和 c-icap-modules-0.1.6，其中 c-icap-modules-0.1.6 環境可以專門拿來編 c-icap modules，但其實最簡單的 c-icap-module 是在 c-icap-0.1.6/services/echo/srv_echo.c，如其名，echo 這只是個範例，但註解非常豐富，看他就夠啦。

其中比較特別的，就是查看 c-icap-module 框架，請參考這段：

CI_DECLARE_MOD_DATA ci_service_module_t service =
{
"echo", /* mod_name, The module name */
"Echo demo service", /* mod_short_descr,  Module short description */
ICAP_RESPMOD | ICAP_REQMOD, /* mod_type, The service type is responce or request modification */
echo_init_service, /* mod_init_service. Service initialization */
NULL, /* post_init_service. Service initialization after c-icap configured. Not used here */                                            
echo_close_service, /* mod_close_service. Called when service shutdowns. */
echo_init_request_data, /* mod_init_request_data */
echo_release_request_data, /* mod_release_request_data */
echo_check_preview_handler, /* mod_check_preview_handler */
echo_end_of_data_handler, /* mod_end_of_data_handler */
echo_io, /* mod_service_io */
NULL,
NULL
};

各項簡介：

• 此 c-icap module service 啓動與關閉：echo_init_service, echo_close_service
• 當 request 進來：echo_init_request_data
• 取得 request preview：echo_check_preview_handler
• 當 request 處理中：echo_io
• 當 request 處理完：echo_release_request_data

舉個例來說，如果要用 PCRE 去做處理，一開始要初始化 PCRE 的項目可以擺在 echo_init_service ，而釋放 PCRE 的資源可以擺在 echo_close_service，而每次處理 request 前需要初始化資源則擺在 echo_init_request_data，釋放在 echo_release_request_data。

至於更深的應用就要去 c-icap-modules-0.1.6/service 翻 clamav 和 url_check，這兩項都跟資安相關，前者是掃毒軟體，後者則是可以拿來過濾惡意網站。有興趣可以翻一輪，比較特別的是處理 request 進來的資料，有用到 ci_simple_file_* 和 ci_membuf_* 系列的函式庫，簡言之就是記憶體擺不下就放檔案，或是有些函式只支援掃檔，那就先擺在檔案去進行。這邊便就不多講了。

設定 c-icap：

$ sudo cp output/changyy.so /usr/lib/c_icap/
$ sudo vim /etc/c-icap/c-icap.conf
Service changyy changyy.so
$ sudo /etc/init.d/c-icap restart

設定 squid：

icap_enable on
icap_send_client_ip on
icap_send_client_username on
icap_client_username_encode off
icap_client_username_header X-Authenticated-User
icap_preview_enable on
icap_preview_size 1024

icap_service service_req reqmod_precache bypass=1 icap://localhost:1344/changyy
adaptation_access service_req allow all
icap_service service_resp respmod_precache bypass=1 icap://localhost:1344/changyy
adaptation_access service_resp allow all

其中 icap://localhost:1344/changyy 在此的意義就是 c-icap 中的 Service changyy 啦，最後一提的是 c-icap.conf 有 DebugLevel ，這個數字攸關 debug 訊息，在 c-icap-modules 中許多實作都會用 ci_debug_printf 來印訊息，其中第一個數字若小於等於 DebugLevel 才會被印出來。而輸出的 log 可以在 /var/log/c-icap/server.log 查到。