[Linux] 使用 Nagios 和 nagios-nrpe-server 定期偵測系統狀況

記得上個月也摸了一下 nagios ，但後來因忙碌而中斷的 Orz 這次就專心補齊了一下。簡單的說，若是在單機上安裝，則是自我檢測的方式，若透過 nagios-nrpe-server 則可以晉升為遠端監控。

僅需挑一檯機器當 Monitor，在上頭安裝 nagios3 環境 (nagios3 server)，而在其他待監控的機上，安裝 nagios-nrpe-plugin 環境，並設置可以監控它的來源、要監控的指令。

待監控的 Servers:

由於有些資源還是要從 Server 自身監控，如 Disk space、 CPU Load 等，所以透過 nagios-nrpe-server 來提供遠端查詢方式

$ sudo apt-get install nagios-nrpe-server
$ sudo vim /etc/nagios/nrpe_local.cfg
allowed_hosts=127.0.0.1,MonitorServerIP
command[check_load]=/usr/lib/nagios/plugins/check_load -w 15,10,5 -c 30,25,20
command[check_all_disks]=/usr/lib/nagios/plugins/check_disk -w 15% -c 5%
$ sudo service nagios-nrpe-server restart
netstat -at |grep nrpe
tcp        0      0 *:nrpe                  *:*                     LISTEN
$ grep nrpe /etc/services
nrpe            5666/tcp                        # Nagios Remote Plugin Executor

自我連線測試，也可以在 Monitor Server 測試指定 Server IP :

$ telnet localhost 5666

Monitor Server:

$ sudo apt-get install nagios3 nagios-nrpe-plugin

別忘了帳密在 /etc/nagios3/htpasswd.users 設定。此外，在 /usr/lib/nagios/plugins/ 就有一堆可以用的 tools ，例如監控 Google 是否正常：

$ /usr/lib/nagios/plugins/check_http -H www.google.com
HTTP OK: HTTP/1.1 200 OK - 12316 bytes in 0.057 second response time |time=0.056623s;;;0.000000 size=12316B;;;0

接著，則是定義自己的服務跟機器:

$ sudo vim /etc/nagios3/conf.d/my-server.cfg

#define host

define host {
        host_name db
        alias db.xxxx.com
        address db.xxxx.com
        hostgroups ssh-servers,remote-servers,https-servers
        use generic-host
}

define host {
        host_name www
        alias www.xxxx.com
        address www.xxxx.com
        hostgroups ssh-servers,remote-servers,http-servers,https-servers
        use generic-host
}

# define hostgroup

define hostgroup {
        hostgroup_name          mysql-servers
        alias                   MySQL DB Service
        members                 db
}

define hostgroup {
        hostgroup_name          https-servers
        alias                   HTTPS Service
        members                 db
}

define hostgroup {
        hostgroup_name          remote-servers
        alias                   Remote Server
        members                 db
}

# define service checking

define service {
        hostgroup_name          https-servers
        service_description     HTTPS
        check_command           check-https!$HOSTADDRESS!443
        use                     generic-service
        notification_interval   0 ; set > 0 if you want to be renotified
}

define service {
        hostgroup_name          remote-servers
        service_description     Remote NRPE CPU Load
        check_command           check_nrpe_1arg!check_load
        use                     generic-service
        notification_interval   0
}

define service {
        hostgroup_name          remote-servers
        service_description     Remote NRPE Disk Space
        check_command           check_nrpe_1arg!check_all_disks
        use                     generic-service
        notification_interval   0
}

# define commands

define command{
        command_name    check-https
        command_line    /usr/lib/nagios/plugins/check_http -I $ARG1$ -p $ARG2$ -S
}

$ sudo service nagios3 restart

如此一來，到 http://MonitorServerIP/nagios3 登入後，就可以觀察現況啦。以上的偵測包括 http, https, ssh, cpu loading, disk space 等，如果想要加上 mysql db service 的情況，可以試試 check_mysql_health 這支，需要額外下載：

下載 check_mysql_health 和編譯：

$ cd /tmp
$ wget -qO- http://labs.consol.de/download/shinken-nagios-plugins/check_mysql_health-2.1.8.2.tar.gz | tar -xzvf -
$ cd check_mysql_health-2.1.8.2
$ ./configure
$ make
$ sudo cp /tmp/check_mysql_health-2.1.8.2/plugins-scripts/check_mysql_health /usr/lib/nagios/plugins/

接著，撰寫相關 mysql db service checking：

$ sudo vim /etc/nagios3/conf.d/my-server.cfg

define host {
host_name db
alias db.xxxx.com
address db.xxxx.com
hostgroups ssh-servers,mysql-servers
use generic-host
}

define hostgroup {
hostgroup_name mysql-servers
alias MySQL DB Service
members db
}

define service {
hostgroup_name mysql-servers
service_description MySQL Remote Connection
check_command check-mysql-db!$HOSTADDRESS
#check_command check_tcp!-H!$HOSTADDRESS$!-p!3306
use generic-service
notification_interval 0 ; set > 0 if you want to be renotified
}

define command{
command_name check-mysql-db
command_line /usr/lib/nagios/plugins/check_mysql_health --hostname $ARG1$ --username nagios --password nagiospassword --mode querycache-hitrate --warning 90 --critica 95
}

此外，別忘了建立帳號供 monitor server 連到 db server，在 db server 上建立 nagios 帳號：

mysql> GRANT usage ON *.* TO 'nagios'@'nagios_monitor_server' IDENTIFIED BY 'nagiospassword';

[Linux] High Availability MySQL 筆記：auto-increment-increment, auto-increment-offset, my.cnf @ Ubuntu 12.04

想起來很妙，在過去累積至今 2014 年初的工作經驗上，對於處理資料儲存方面，我並非使用 SQL DB 的，結果今年一口氣摸了不少 XD 不過原理都大同小異，就順便筆記一下。

以 High Availability MySQL (MySQL HA) 為例，通常為了降低系統複雜度又要提供 HA 時，可以考慮將 Read/Write 分離，讓 Write 在某一檯機器上，但 Read 可以有一批機器，只是開發上又要留意，如果 client 有更新資料時，必須讓 client 後續的動作也在 write 那檯機器，以免 MySQL Replication 的過程還未及時，這是讀比寫大量的使用情境。

如果寫也要做 HA 時，最常碰到的問題就是每檯 server 上的 primary key collision 的問題，以兩台某 table 的 int id 為例，讓其中一檯為 2N，另一台是 2N + 1，其中 N 是第幾筆資料，同理有 10 台，那就依序為 10N, 10N+1, 10N+2, ..., 10N+9。

達成這個效果，慶幸地只需要更改 my.cnf 或動態更新環境變數即可，共有兩個參數：

$ sudo vim /etc/mysql/my.cnf

[mysqld]
# ...
# http://dev.mysql.com/doc/refman/5.5/en/replication-options-master.html
auto-increment-increment = 10
auto-increment-offset = 1

$ sudo service mysql restart

如果不想要讓 mysql restart 的話，可以透過設定 global variable 的方式：

mysql> set global auto_increment_increment=10;
mysql> set global auto_increment_offset=1;

另外，也可以查詢目前情況：

mysql> show variables like '%auto_increment%';
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| auto_increment_increment | 1     |
| auto_increment_offset    | 1     |
+--------------------------+-------+

mysql> set global auto_increment_increment=10;

mysql> show session variables like '%auto_increment%';
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| auto_increment_increment | 1     |
| auto_increment_offset    | 1     |
+--------------------------+-------+

mysql> show global variables like '%auto_increment%';
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| auto_increment_increment | 10    |
| auto_increment_offset    | 1     |
+--------------------------+-------+

需留意 session variables 代表是此時 mysql connection 的狀態，若透過 set global 變數的方式，需要重連才會看到。

透過上述 primary 的分開後，除了可以做 write HA 外(如：Master-Master 架構)，其實也可以用在移機過程，例如目前有 Server 1 跟 Server 2 且 Server 1 是目前的 DB server，想要把 db 從 Server 1 移到 Server 2 時，先透過 MySQL Replication 機制讓 Server 2 同步跟著 Server 1 資料，等到資料差不多時，可以把 target db connection 角色從 Server 1 移到 Server 2，但轉移的過程中總是有一些連線還在跟 Server 1 溝通，就會變成有新資料新增到 Server 2 上，而 Server 1 裡還未同步到 Server 2的資料，其 primary key id 很大的機會跟 Server 2 裡的一樣，導致 primary key collision 問題。

因此，為了解決這個問題，就可以透過 auto-increment-increment 和 auto-increment-offset 的設定，讓兩台的 auto-increment-offset 不一樣，就可以避免這種問題了。

Linode - 使用 Backup 服務處理事件: An issue affecting the physical hardware this Linode resides on has been detected.

下班前收到這個 event ，結果就是繼續加班 Orz 若下班前的會議沒 delay 的話，我應該是在回家的路上被狂 call XDD

An issue affecting the physical hardware this Linode resides on has been detected.

We are working to resolve the issue as quickly as possible and will update you as soon as we have more information.
Your Linode will return to its previous state once the issue is resolved. Thank you for your patience and understanding.

記得以前問過學弟，他說 Linode 也會有維護的情況，沒想到真的碰到了...直接把你的機器關掉，我跟老闆說，這就像我們租的機房碰到火災一樣 XD 沒轍。

至於解法也沒有啥好辦法，一種就是等他維護好，另一種則是另外建一台 backup server 出來用，由於我們的服務都有建 backup ，所以就來體驗一下。

切換到被關掉的那台機的 backup 區，可以看到有一些選項可用：


此例就選 daily backup 的 restore to 選項，接著選要去哪台機器：


由於我已經先開了新機器（最下面那台），不然可以點 Add a Linode，此例也意外發現只能 restore to 同一區 DataCenter 的機器。最後，那台新機器的情況就會顯示正在處理：

 

處理完後，就可以 Boot 啦 :P

註：還好 Linode 只花了 3 小時處理，接著就可以把新機器著手進行關閉了。

[Linux] 安裝 Glances - An eye on your system @ Ubuntu 12.04

Glances - An eye on your system

$ sudo apt-get install python-pip build-essential python-dev
$ sudo pip install Glances
$ glances

如此就可以看到美美的系統監控了 :D

其中 glances 來支援 server/client 模式，並支援 password 管控，可以把它當作可以遠端看 server 的狀態吧

Server:
$ glances -s -B 0.0.0.0 -p 12345 -P helloworld
Glances server is running on 0.0.0.0:12345

Client
$ glances -c ServerIP -p 12345 -P helloworld

[OSX] 透過 USB 線使用 Android 手機讓 Macbook Pro 上網（Android Wi-Fi sharing via USB connection）

對於新一點的 Android 手機，在網路分享那塊有三種模式：

• 可攜式 Wi-Fi 無線基地台 (Wi-Fi 行動熱點)
• 藍牙網路共用
• USB 網路共用

比較常用的就是讓 Android 手機當作一個無線 AP ，讓其他終端設備透過 Android 手機連出去網路，這個模式通常是 Android 手機可以透過 2G/3G/4G 電信網路連出去的情況。

然而，參加一些 conference 時，自設 Wi-Fi 行動熱點容易與現場的 Wi-Fi AP 訊號產生干擾，導致別人用大會無線網路品質不佳，所以最佳的方式就是透過 USB 網路共用！


對 Mac OSX 而言，需要解決的就是讓 OSX 辨識 USB 網路共用裝置，簡言之就是需要安裝 driver 才行 XD 所幸網路上有熱心方案：HoRNDIS: USB tethering driver for Mac OS X，如此一來，只要將手機開啓 USB 網路共用，而 OSX 可以偵測到就行能上網啦