Node.js 筆記 - 使用 Bloom Filter 實作大量 URL Checker/Filter (SPAM)

最近想要針對 UGC 資料進行過濾，首先要面對的就是 SPAM/18+ 資料，接著，沒想到聽到 Bloom Filter 字眼！這個學生時代就碰過的東西，竟然會被提及，就那把玩一下吧！對於 Bloom Filter 的用法需要留意一下，本身設計是用時間省空間的架構，並且有誤判的機率，只要用得恰當都還好啦。

有點久沒摸 node.js 了，就挑他來試試，立馬找到有人已經實作好了 XD https://www.npmjs.com/package/bloomfilter 我只好接著使用啦 :P

接著不知不覺就蹦出一個 url-spam-checker 了 :P 有需要想把玩的可以試試：

$ npm install url-spam-checker
$ vim test.js
var
sys = require('sys'),
path = require('path'),
url_spam_checker = require('url-spam-checker')
;

url_spam_checker.createServer([
function handle_resource(callback){
var ret = [];
ret.push('yahoo.com');
ret.push('google.com.tw');
callback(null, ret);
}
], 8000, sys.log, sys.log);
$ node test.js

就會在 8000 port 起了 HTTP server ，接著可以用 http://localhost:8000/?url=http://tw.yahoo.com 的方式測試，若存在會回傳 HTTP 200 OK，不存在則是 HTTP 404 NOT FOUND。

當要驗證的 URL = http://tw.yahoo.com 也會被判定 200 OK，因為這邊是檢驗 domain level 的，不是 hostname 而已，同理在 URL = http://yahoo.com.tw 則是 404 NOT FOUND。而上述 handle_resource 可以自行填寫，例如回傳個20萬筆也是 ok 的。

這邊在使用 Bloom Filter 時，其 bit space =  Pattern 數量 x 256，這是因為我設定 hash function 有 8 組，所以 256 = 2^8  囉。

有興趣可以參考這邊：https://www.npmjs.com/package/url-spam-checker

AWS 筆記 - 使用 Amazon Route53 設定 DNS SPF Record

如果說 MX 是用來提供寄件者得知 mail server 在哪邊，那 SPF 則是提供 mail receiver 驗證寄件者使用的 mail server 是不是接近已知、合法的 server。因此，設定 DNS SPF Record 是會降低信件誤判成垃圾郵件的機率。

採用 Amazon Route53 時，設定 TXT Record (有 SPF Record，但這次沒試)

"v=spf1 a mx a:YourServerHostname  ~all"

最後面的 ~all 代表上述未定義的，可能是錯的。若要強制歸類在錯誤，就用 -all 即可。

驗證方式（此例以 cs.nctu.edu.tw 為例）：

$ nslookup -q=txt cs.nctu.edu.tw
...
cs.nctu.edu.tw  text = "v=spf1 a mx a:farewell.cs.nctu.edu.tw a:csmailer.cs.nctu.edu.tw a:tcsmailer.cs.nctu.edu.tw a:csmailgate.cs.nctu.edu.tw a:csmail1.cs.nctu.edu.tw a:csmail2.cs.nctu.edu.tw a:csws1.cs.nctu.edu.tw a:csws2.cs.nctu.edu.tw ~all"
...

可以看到 "v=spf1 ... " 資訊，代表 DNS TXT Record 設定無誤，記得這是有 dns cache 機制，不見得馬上更改或是馬上可以查詢到。

接著，可以用 Gmail 來測試，從自家 mail server 寄信到 Gmail，若沒有設定 DNS SPF Record ，會顯示：

Received-SPF: none (google.com: YourSender@YourMailServer does not designate permitted sender hosts) client-ip=YourMailServerIP;

若有設定 DNS SPF Record 但不在名單內，此例為 ~all 用法：

Received-SPF: softfail (google.com: domain of transitioning YourSender@YourMailServer does not designate YourMailServerIP as permitted sender) client-ip=YourMailServerIP;

若設定正確即在 DNS SPF Record 定義內：

Received-SPF: pass (google.com: domain of YourSender@YourMailServer designates YourMailServerIP as permitted sender) client-ip=YourMailServerIP;

要留意，如果租的機器是在一些常見的 VPS 時，對外走的可能是 IPv6 ，此時記得 DNS Reocrd 中，也要用 AAAA Record (IPv6) 定義。