MongoDB 開發筆記 - 使用 MapReduce 進行 Matrix Multiplication (矩陣乘法) 運算

最近下了班有空時都會繼續專研 MongoDB 分析資料的部分，一開始完全都用 Aggregation ，實在是有一些實測的效能比 MapReduce 好很多，但對於一些較複雜的計算方式，一直用 Aggregation 反而會卡住或是增加資料結構的複雜度 Orz 總之，開始正式去寫一些簡單的 MongoDB MapReduce 程式。

把玩的過程中，發現先前設計的 Sparse Matrix 結構，在計算矩陣相乘時，花了不少步驟並且效果變成永遠只能有一隻 Mapper 在進行 Orz 完全不能平行處理，因此開始研究一下如何用 MapReduce 進行矩陣運算。

網路上資源果然豐富，找到一篇：Programming Puzzle: Multiply Matrixes with MongoDB，概念解釋得很清楚。簡言之，當矩陣相乘時，以 A x B = C 為例，在組成 C 矩陣內的元素過程中，會採用 A 跟 B 矩陣內的部分元素相乘，那麼試著找個關係式子，讓這些元素最後在 Reducer 裡撞在一起，撞在一起時再相乘即可。

原來如此簡單的想法就可以讓 MapReduce 架構處理矩陣相乘了！有興趣可以再參考一下：changyy/node-mongodb-matrix-multiplication。

MongoDB 開發筆記 - 在 MapReduce 進行 debug 的一些心得

有點久沒寫 blog 了！最近有空時就是把玩 MongoDB 或是嘗試送一些 patch ，所以反而就少寫一些筆記，因為都改成用 Code 啦 :P

最近玩 Mongodb MapReduce 時，碰到幾個問題跟需求：

• 碰到 mongod Out of memory
• 想要在 Mapper 跟 Reducer 輸出一些 console 訊息

其中 out of memory 的部分，經過 trace 後發現是內部 Mapper 實作的架構採用 C++ Map Structure 紀錄結果，累計處理完一百筆資料會輸出，但如果單一個筆 input 會產生極大數量的結果時，就會出現 out of memory，已經送了個鳥鳥的 patch 出去，就看 MongoDB Reviewer 決定如何 :P 畢竟這種現象也可以歸屬在使用者資料設計問題，為何讓一筆 input 產生巨量資料 XD

至於現況怎樣解套？若碰到 mongod crash 問題，先試試把 jsMode 打開吧！因為 jsMode = true 時，將採用 v8 engine 處理 mapper function，並且資料是直接輸出到 temp collection 的，可避開 out of memory 問題。

對於前期開發時，想在 Mapper 跟 Reducer 印出一些訊息時，此時不能直接用 console.log(obj)，要改用 print(JSON.stringify(obj)) ，並且去翻一下 

/var/log/mongodb/mongod.log 吧！