顯示具有 filter 標籤的文章。 顯示所有文章
顯示具有 filter 標籤的文章。 顯示所有文章
2021年6月12日 星期六

Node.js 筆記 - 使用 Puppeteer 監控瀏覽網頁的 Requests 跟 HTML Code @ macOS 11.4, node v14.14.0, npm 6.14.5

›
緣起於在追蹤網站架構時，每次都靠 chrome browser 開發人員工具去追蹤特定的 request 還好，若需要大量瀏覽找尋一些蛛絲馬跡時，就會很煩！以前很閒時，就會跳下去寫 chrome extension 或是熱衷於 C++ 時，就會寫一點點  Chromium Emb...
2019年11月25日 星期一

jq 指令筆記 - 使用 to_entries 保留 key/value 資料，再用 select / index / match 過濾資料

›
人生就是有那種怪怪的堅持，明明寫個 php 或 python 就立刻可以解掉的需求，偏偏愛用 jq 來處理 XD 故事是來自於有個 key-value pair 的 json 資料： % echo '{"A":{"field...
2019年9月20日 星期五

jq 指令筆記 - 整理 JSON 資料，使用 select / index 過濾關鍵字

›
用 jq 去整理 api/json 的資料的。整個需求是： API 回傳的 JSON 資料中，是一個 array 形式，裡頭的元素是 key-value pair 透過 jq 把符合我需要的 資料列出 檢查在某些條件上，有哪些東西，最後回歸到 comm 的工具幫忙導出...
2019年1月25日 星期五

Google Analytics 使用筆記 - URI GROUPING

›
這半年除了狂用 GA API 自製 Dashboard 外，偶爾也要強迫自已直接用 GA Web console 做事。在研究資料過濾/整頓時，發現 GA 的 資料檢視 已經做得很完美了，有個非常貼心的小功能稱作 篩選器 ，裏頭新增規則時可以做到 URI grouping 效...
2017年9月27日 星期三

[Unix] 透過 jq 處理時間比較 @ macOS / jq-1.5

›
看到同事在處理 AWS AMI 的管理，用到了 jq 在過濾舊版資料來進行刪除，我也練了一下 jq 就順便筆記一下： $ echo '{}' | jq 'now' 1506504885.298058 $ echo '{}'...
2017年9月19日 星期二

[Python] 機器學習筆記 - 使用 Pandas 處理 CSV 格式、過濾資料與自身 Index 更新問題

›
使用 Pandas 套件進行分析資料時，它提供的功能包括便利的資料過濾： import seaborn as sns import pandas as pd dataset = sns.load_dataset("tips") print(dat...
2017年6月15日 星期四

透過 Nginx proxy_pass 架構，進行 Service migration

›
有一個舊網站已活了數年，改造的方向不外乎提升 SEO、移除不需要的檔案、增加系統安全、架構拆分，或是基本的 Web Framework 的抽換使用等等。對於一個 IoT 產業來說，包袱多多，像是 device 不見得會更新到新版，更別說會跟隨 HTTP 301/302 去取得新資...
2015年8月29日 星期六

Node.js 筆記 - 使用 Bloom Filter 實作大量 URL Checker/Filter (SPAM)

›
最近想要針對 UGC 資料進行過濾，首先要面對的就是 SPAM/18+ 資料，接著，沒想到聽到 Bloom Filter 字眼！這個學生時代就碰過的東西，竟然會被提及，就那把玩一下吧！對於 Bloom Filter 的用法需要留意一下，本身設計是用時間省空間的架構，並且有誤判的機...
2014年9月3日 星期三

AWS 筆記 - 使用 Amazon Route53 設定 DNS SPF Record

›
如果說 MX 是用來提供寄件者得知 mail server 在哪邊，那 SPF 則是提供 mail receiver 驗證寄件者使用的 mail server 是不是接近已知、合法的 server。因此，設定 DNS SPF Record 是會降低信件誤判成垃圾郵件的機率。 ...