顯示具有 node 標籤的文章。 顯示所有文章
顯示具有 node 標籤的文章。 顯示所有文章
2023年8月31日 星期四

Node.js 筆記 - 使用 Puppeteer 抓取網頁上的圖片內容並靠 Tesseract 分析圖片上的文字 (OCR) @ macOS 13.5.1, node v20.5.1, tesseract v5.3.2

›
剛好有同好在詢問如何處理認證碼的事，就順手複習一下 node.js 與 Puppeteer 動態爬網頁，並且把認證碼圖片存起來，在靠 Tesseract 分析上述的文字。 以前略知 光學字元辨識(OCR) 的方式，但一直沒實戰，這次就順手摸一下： github.com/chang...
2021年9月10日 星期五

Node.js 筆記 - Loopback 2 與 MySQL 查詢緩慢的瓶頸排除 @ loopback-connector-mysql, connectionlimit

›
花了兩天幫同事追一個問題：為何有個服務重啟後，一直處於不穩甚至無法服務的狀態，但隨著時間是有機會變穩定的。 這算是一個 IoT 老服務了，當裝置上線時會跟服務保持連線(Websocket)，其中有一些認證跟服務會使用到 DB server。當運行好一段時間，沒什麼大問題，反應速度...
2017年1月13日 星期五

[NodeJS] 批次處理 Website snapshot 並存進 MySQL DB @ Ubuntu Server 14.04

›
延續之前 [NodeJS] 使用 WebShot 進行網頁截圖、顯示正確的中文(CJK)等編碼 @ Ubuntu 14.04 Server 的部分，稍微改幾行 code 就支援批次處理啦 前置環境： $ sudo apt-get install nodejs npm ...
2015年8月29日 星期六

Node.js 筆記 - 使用 Bloom Filter 實作大量 URL Checker/Filter (SPAM)

›
最近想要針對 UGC 資料進行過濾，首先要面對的就是 SPAM/18+ 資料，接著，沒想到聽到 Bloom Filter 字眼！這個學生時代就碰過的東西，竟然會被提及，就那把玩一下吧！對於 Bloom Filter 的用法需要留意一下，本身設計是用時間省空間的架構，並且有誤判的機...
2015年1月2日 星期五

MongoDB 開發筆記 - 替 Mongoose (Node.js MongoDB Driver) 送 patch 的經驗

›
大概 2014 年 11 月附近，下了班仍會抽空把玩 MongoDB ，當時就決定搭配 node.js 來把玩 :P 當時在挑選 Node.js MongoDB Driver 時，看到官方文件提到了 Mongoose ，就順勢把玩了幾下。 對於 nodejs - mong...
2014年6月1日 星期日

[NodeJS] 透過 Wget + HTTP Proxy Server 架構進行 Content 分析

›
前陣子研究抓取資料時，發現 web crawler 搭配 proxy 時，可以在 proxy 這層進行資料的處理、分析，就一直思考到底要用 python 還是 node.js 測試，最後，實在是 node.js 方便許多，就...衝啦。 在進行之前，小提一下 Proxy Se...
2014年5月25日 星期日

[NodeJS] 使用 WebShot 進行網頁截圖、顯示正確的中文(CJK)等編碼 @ Ubuntu 14.04 Server

›
把玩一下 node.js ，發現有個套件不錯叫做 webshot ，非常簡易地就可以把網站截取下來。然而，在 Ubuntu 14.04 server 版上運行時，發現無法正常顯示中文字，需要額外處理，就筆記一下： 安裝 Node.js： $ sudo apt-g...
2014年2月26日 星期三

[Linux] 使用 Node.js 與 MongoDB 溝通與帳號認證 @ Ubuntu 12.04

›
透過 apt-get 安裝 node.js: $ sudo apt-get install python-software-properties $ sudo add-apt-repository ppa:chris-lea/node.js $ sudo apt-get...