MongoDB 開發筆記 - 在 MapReduce 進行 debug 的一些心得

有點久沒寫 blog 了！最近有空時就是把玩 MongoDB 或是嘗試送一些 patch ，所以反而就少寫一些筆記，因為都改成用 Code 啦 :P

最近玩 Mongodb MapReduce 時，碰到幾個問題跟需求：

• 碰到 mongod Out of memory
• 想要在 Mapper 跟 Reducer 輸出一些 console 訊息

其中 out of memory 的部分，經過 trace 後發現是內部 Mapper 實作的架構採用 C++ Map Structure 紀錄結果，累計處理完一百筆資料會輸出，但如果單一個筆 input 會產生極大數量的結果時，就會出現 out of memory，已經送了個鳥鳥的 patch 出去，就看 MongoDB Reviewer 決定如何 :P 畢竟這種現象也可以歸屬在使用者資料設計問題，為何讓一筆 input 產生巨量資料 XD

至於現況怎樣解套？若碰到 mongod crash 問題，先試試把 jsMode 打開吧！因為 jsMode = true 時，將採用 v8 engine 處理 mapper function，並且資料是直接輸出到 temp collection 的，可避開 out of memory 問題。

對於前期開發時，想在 Mapper 跟 Reducer 印出一些訊息時，此時不能直接用 console.log(obj)，要改用 print(JSON.stringify(obj)) ，並且去翻一下 

/var/log/mongodb/mongod.log 吧！