[Linux] 調校 Apache Web server 筆記 ab、systcl.conf、limits.conf、mpm_prefork.conf @ Ubuntu 14.04

最近又播空出來處理一下，之前機器在規劃時，幾乎都用系統預設的資源，接著就直接上 AWS Auto scaling，整體上進入 m3.medium 都還堪用，直到要上到 m3.large 規模時，開始發現當初設置的 Auto scaling rules 不是很適當。於是乎把 CPU 靈敏度下調，例如 CPU 只要衝到 15% 使用率就開新機器，反正大部分的時間都夠用 :P

而現在就老老實實先用 apache benchmark 試試! 首先操作環境都是 AWS EC2，先替機器上 Elastic IP 吧！因為 想測不同規格的機器，這時用個 Elastic IP 會方便一點，避免機器 IP 被換掉，此外，建議發動 ab 的機器規格要好於壓力測試的機器。

當發動 ab 測試的機器得到 apr_socket_recv: Connection reset by peer (104) 而被壓力測試的機器 dmesg 出現 TCP: TCP: Possible SYN flooding on port 80. Dropping request.  Check SNMP counters. 時，請調整壓力測試機器。

$ sudo vim /etc/sysctl.conf
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_max_syn_backlog = 102400
net.ipv4.tcp_max_tw_buckets = 102400
$ sudo sysctl -p

其中 tcp_tw 代表 TCP Socket Time-Wait，而 syncookies 為 SYN Cookies 機制，而 syn_backlog 跟 tw_buckets 的數量，調大就是允許讓系統花多一點資源讓 client 等待而非直接 reject client。

而發動機器 file open 數量太小時，會出現 socket: Too many open files (24) 資訊，這時就先用 root 角色，並用 ulimit -n 8000 調高限制，若要保持其資源限制，就修改 /etc/security/limits.conf

$ sudo vim /etc/security/limits.conf
* soft nofile 12345
* hard nofile 23456
此例就是允許任何人開 12345 個檔案。

接著 ab 常用指令：

$ ab -c 300 -n 50000 http://ip/

記得若測試的 IP 位置在首頁，要有 "/" 結尾 :P 接著關注報表，例如 Requests per second 跟 Time per request 數字，若 requests per second 比 concurrent 數字還要大，那就調大 -c 的參數試試，去尋找一個合適的點即可。

另外，由於 Apache web server 預設採用 prefork MPM 模式，那邊也有些資源上限要調整：

$ sudo vim /etc/apache2/mods-enabled/mpm_prefork.conf
# prefork MPM
# StartServers: number of server processes to start
# MinSpareServers: minimum number of server processes which are kept spare
# MaxSpareServers: maximum number of server processes which are kept spare
# MaxRequestWorkers: maximum number of server processes allowed to start
# MaxConnectionsPerChild: maximum number of requests a server process serves

<IfModule mpm_prefork_module>
ServerLimit 7500
StartServers 20
MinSpareServers 15
MaxSpareServers 50
MaxRequestWorkers 7500
MaxConnectionsPerChild 0
</IfModule>

$ sudo service apache2 reload

最後心得...在 AWS EC2 m3.large 的機器上，大多每秒就是處理一千五附近的連線，也就同時可處理 1500 連線。可以用 ab -k -c 1500 -n 5000000 測試看看。