Node.js 筆記 - 使用 Bloom Filter 實作大量 URL Checker/Filter (SPAM)

最近想要針對 UGC 資料進行過濾，首先要面對的就是 SPAM/18+ 資料，接著，沒想到聽到 Bloom Filter 字眼！這個學生時代就碰過的東西，竟然會被提及，就那把玩一下吧！對於 Bloom Filter 的用法需要留意一下，本身設計是用時間省空間的架構，並且有誤判的機率，只要用得恰當都還好啦。

有點久沒摸 node.js 了，就挑他來試試，立馬找到有人已經實作好了 XD https://www.npmjs.com/package/bloomfilter 我只好接著使用啦 :P

接著不知不覺就蹦出一個 url-spam-checker 了 :P 有需要想把玩的可以試試：

$ npm install url-spam-checker
$ vim test.js
var
sys = require('sys'),
path = require('path'),
url_spam_checker = require('url-spam-checker')
;

url_spam_checker.createServer([
function handle_resource(callback){
var ret = [];
ret.push('yahoo.com');
ret.push('google.com.tw');
callback(null, ret);
}
], 8000, sys.log, sys.log);
$ node test.js

就會在 8000 port 起了 HTTP server ，接著可以用 http://localhost:8000/?url=http://tw.yahoo.com 的方式測試，若存在會回傳 HTTP 200 OK，不存在則是 HTTP 404 NOT FOUND。

當要驗證的 URL = http://tw.yahoo.com 也會被判定 200 OK，因為這邊是檢驗 domain level 的，不是 hostname 而已，同理在 URL = http://yahoo.com.tw 則是 404 NOT FOUND。而上述 handle_resource 可以自行填寫，例如回傳個20萬筆也是 ok 的。

這邊在使用 Bloom Filter 時，其 bit space =  Pattern 數量 x 256，這是因為我設定 hash function 有 8 組，所以 256 = 2^8  囉。

有興趣可以參考這邊：https://www.npmjs.com/package/url-spam-checker