[SQL] 從 Table 中取出 Column 1 取資料並塞進 Column 2 方法 @ MySQL 5.6

有一張 table 儲存 field1, field2 為原始資料，由於資料尚未驗證，想要透過 REGEXP 驗證資料結果，這時就想到每次找都要驗證一次有點煩，所以就乾脆建立 field3，將驗證過的資料儲存起來。

至於解法方面，就單純把撈出來的資料再 INSERT 回去 :P 假設有一張 Table 名為 mTable，其中 key 為 field1, field2，而 field3 預設可以為空，目標則是將 field1 驗證過的資料儲存在 field3，未來使用時就可以透過 field3 來當作資料驗證。

新增資料用法：

INSERT INTO (field1, field2) VALUES ... ;

驗證 field1 資料，把正確格式擺進 field3：

INSERT mTable (field1, field2, field3)

SELECT field1, field2, field1 AS field3 FROM mTable WHERE field3 IS NULL AND field1 REGEXP '^[0-9A-Za-z]+$'

ON DUPLICATE KEY UPDATE

field3 = VALUES(field3)

如此一來，就完成驗證 :P

接著應該也可以嘗試 MySQL trigger 用法？不過，驗證資料這件事應該不要叫 DB 做才對 XD 只是...環境所限啊。

[Linux] 使用 awk, sort, uniq, grep, dig 批次驗證 email address @ Ubuntu 14.04

工作時中，偶爾會對 UNIX 系統感動! 雖然有時很簡單的任務會龜毛到硬要連續指令來處理，明明寫一小段 code 就好了啊 Orz

取處已知清單中的 email domain:

$ mysql -e "select email from db.user;" > email.log;
$ sort email.log | uniq | awk -F'@' '{print $2}' | sort | uniq | grep "." > email.domain.log

最後的 grep "." 則是要避開 hostname 不合法的項目(如 localhost 等)。

驗證 mx:

$ dig -t mx test.com +short | wc -l
$ test `dig -t mx test.com +short | wc -l` -ne 0 && echo "ok"

批次驗證:

$ awk '{ system("test `dig -t mx "$1" +short | wc -l` -ne 0 && echo "$1)}' email.domain.log > email.validated.log

[Linux] c++: internal compiler error: Killed (program cc1plus) @ Ubuntu 14.04

最近　編譯 C++ 的 source code 時，開始會蹦出奇怪的狀態：

c++: internal compiler error: Killed (program cc1plus)

Please submit a full bug report,

with preprocessed source if appropriate.

See <file:///usr/share/doc/gcc-4.8/README.Bugs> for instructions.

一開始碰過一兩次後，重開機真的又沒事，但些會開始又常碰到，接著猜想是不是 memory 不夠了，除了用 free -m 觀察外，也把一些 daemon 關掉，真的猜中了 :P

大概是因為我租的機器只有 512MB RAM 啦 Orz

[Linux] 在 UTF8 Terminal 環境下，找尋 Big5 檔案內的關鍵字 @ Ubuntu 14.04

最近想要研究一些老檔案，都是 Big5 編碼，接著就想著到底該怎樣叫 grep 幫你查資料，因為 pattern 要用 Big5 編碼，但 Terminal 是 UTF-8 環境。

我想到的是先把 pattern 轉成 big5 後，透過 xxd 轉乘 hex code，然後一樣將 input 透過 xxd 輸出後用 grep 去找，結果堪用，但不是很方便。

問一下高手，高手獻技：

$ grep -r `echo -ne "大學" | piconv -f utf8 -t big5` target_files

還差一點，因為 Terminal 環境編碼關係，解法：

$ LC_ALL=C grep -r `echo -ne "大學" | piconv -f utf8 -t big5` target_files

此時 Terminal 輸出會亂掉，所以再把 output 從 Big5 轉成 UTF-8：

$ LC_ALL=C grep -r `echo -ne "大學" | piconv -f utf8 -t big5` target_files | piconv -f big5 -t utf8

若想要有 grep highlight ，那就再叫 grep 做一次吧 XD

$ LC_ALL=C grep -r `echo -ne "大學" | piconv -f utf8 -t big5` target_files | piconv -f big5 -t utf8 | grep "大學"

收工！

[Linux] MySQL Server 5.6 更換 DB Location @ Ubuntu 14.04

在 AWS EC2 叫機器出來時，大多都會用 EBS 來擴充空間，對於 mysql server 預設裝在 /var/lib/mysql 時，就容易碰到空間不足的時候。解法：手動更換 mysql db location 吧 :P

順便把 EBS 處理過程也都列一列，假設已經新增並掛載 EBS 空間：

$ sudo lsblk
NAME    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
...
xvdb    202:16   0     4G  0 disk /mnt
xvdc    202:32   0   500G  0 disk

$ sudo file -s /dev/xvdc
$ sudo mkfs -t ext3 /dev/xvdc
$ sudo mkdir /data
$ sudo mount -t ext3 /dev/xvdc /data
$ sudo chmod 777 /da
$ sudo vim /etc/fstab
/dev/xvdc /data ext3 defaults,nofail 0 2

處理 MySQL Server:

$ sudo apt-get install mysql-server-5.6
$ sudo service mysql stop
$ sudo mv /var/lib/mysql /data/mysql
$ sudo ln -s /data/mysql /var/lib/mysql
$ sudo vim /etc/apparmor.d/usr.sbin.mysqld
  /var/lib/mysql/ r,
  /var/lib/mysql/** rwk,
  /var/log/mysql/ r,
  /var/log/mysql/* rw,

  /data/mysql r,
  /data/mysql** rwk,
  /data/mysql r,
  /data/mysql* rwk,
$ sudo service apparmor restart
$ sudo service mysql start