[Linux] 使用 find -ctime 刪除指定時間區間的檔案 @ Ubuntu 14.04

find -ctime 指令非常方便，例如找時間大於七天的資料：

$ find /path -ctime +7

所以要刪除七天以上的資料，的確可以靠上述完成，但如果有備份程式掛了沒產出時，豈不是會刪光資料？所以又有一招可以找最新七天內的資料：

$ find /path -ctime -7

因此，我就把自動清空指令改成：先判斷備份程式是否正常，正常的話，則刪除某段時期的資料。

連續動作：

$ sh -c  'files=`find /data/jenkins-backup -maxdepth 1 -ctime -7 | wc -l` && test $files -gt 20 && find /data/jenkins-backup -ctime +7 -delete '

而這段意思就是在處理 Jenkins 自動備份機制，因為一天會備份多次，所以用 20 個當作七天內至少要有 20 筆備份資料，當備份資料有正常產出時，在刪除大於七天內的資料。而採用 sh -c 的方式是可以埋在 crontab 中來做事，包含指定 sudo -u user 來限制不小心砍錯資料。

Ansible 筆記 - 找尋本機端資源並部署至遠端機器，包含複雜 shell 指令、資源尋找錯誤處理、hosts 之間變數傳遞等

這個需求其實還滿簡單實現的，但為了想要達成更仔細的錯誤偵測，後來越改越複雜 XD 順便筆記一下。完整的使用情境：每次部署遠端機器前，本地端會有一個 package 產出(rpm)，透過 find 指令找到最新產出的 package 後，再部署到遠端機器（其實也可以把架設 yum server 來搞定啦 XD）

最簡單的方式，使用 vars 紀錄：

- hosts: YourTargetServers

  vars:
    rpm_dir: "/data/rpm/production/"
    rpm_name_prefix: "packagename*"
    rpm_find_command: "find {{ rpm_dir }} -name '{{ rpm_name_prefix }}' -printf '%T@ %p\n' | sort -n | tail -1 | cut -f2- -d ' ' "
    rpm_path: "{{ lookup('pipe', 'rpm_find_command') }}"

  tasks:
    - name: find rpm prefix name
      debug: msg="{{rpm_name_prefix}}"

    - name: find rpm command
      debug: msg="{{rpm_find_command}}"

    - name: find rpm path
      debug: msg="{{rpm_path}}"

這樣算是收工了，但是 rpm_path 若沒找到時，卻無法有洽當的錯誤偵測 Orz

所以第一次再改成這招：

- hosts: YourTargetServers

  vars:
    rpm_dir: "/data/rpm/production/"
    rpm_name_prefix: "packagename*"
    rpm_find_command: "find {{ rpm_dir }} -name '{{ rpm_name_prefix }}' -printf '%T@ %p\n' | sort -n | tail -1 | cut -f2- -d ' ' "

  tasks:
    - name: find rpm prefix name
      debug: msg="{{rpm_name_prefix}}"

    - name: find rpm command
      debug: msg="{{rpm_find_command}}"

    - name: find rpm path
      local_action: command /bin/bash -c "{{ rpm_find_command }}"
      sudo: False
      failed_when: " '' != rpm_path_result.stderr"

    - name: get rpm path
      debug: msg="{{ rpm_path_result.stdout }}"

但這樣仍有個缺點，那就是若有 roles 等一堆工作，會變成那堆工作做完才會跑 tasks，這時就會希望先偵測本地端的資料在跑 roles 工作，於是乎又改成：

- hosts: loclahost

  vars:
    rpm_dir: "/data/rpm/production/"
    rpm_name_prefix: "packagename*"
    rpm_find_command: "find {{ rpm_dir }} -name '{{ rpm_name_prefix }}' -printf '%T@ %p\n' | sort -n | tail -1 | cut -f2- -d ' ' "

  tasks:
    - name: find rpm prefix name
      debug: msg="{{rpm_name_prefix}}"

    - name: find rpm command
      debug: msg="{{rpm_find_command}}"

    - name: find rpm path
      local_action: command /bin/bash -c "{{ rpm_find_command }}"
      failed_when: " '' != rpm_path_result.stderr"

    - name: get rpm path
      debug: msg="{{ rpm_path_result.stdout }}"

- hosts: YourTargetServers

  vars:
    rpm_path: "{{ hostvars['localhost']['rpm_path_result']['stdout'] }}"

  tasks:
    - name: find rpm path
      debug: msg="{{rpm_path}}"

如此一來，就可以先確保在 localhost 把資源準備齊了，再進行遠端部署動作，也包含偵錯處理啦。

透過 Script 合併 MPEG2-TS (Transport Stream / TS) 與 ffmpeg 轉檔

因緣際會，處理一些用 M3U 串起來的一堆瑣碎的 .ts 檔案，這些檔案透過 M3U 的格式，可清楚描述第幾秒要播放哪個片段。然而，在一些測試上會略顯麻煩 Orz 所以撰寫一些 script 跟 ffmpeg 來把這些東西在整合成單一檔案 :P

眾多 ts 檔案該怎樣合併成一則？其實單純用 file append 即可：

$ cat 1.ts 2.ts 3.ts > output.ts

所以，假設有一個 M3U 時，可以透過以下指令抓出：

$ grep -v "#" list.m3u | xargs
1.ts 2.ts 3.ts ...

可惜啊，資料比數太 command line 可能會出爆，建議改用 script 來處理，例如 PHP：

<?php
foreach(explode("\n", file_get_contents($m3u_input)) as $line) {
if (empty($line) || $line[0] == '#')
continue;
$raw = file_get_contents($file);
if (!empty($raw))
file_put_contents("$output.raw", $raw, FILE_APPEND);
}

如此一來，就可以把一票 .ts 檔重新建立成單一檔案 .raw 。接著，再用 ffmpeg 轉成想要測試的格式吧！關於 ts 轉 mp4 ，可以透過 ffmepg 處理，其中 ffmpeg 會自己判斷輸出的格式（此例是 mp4），所以有需要也可以用 output.avi：

$ ffmpeg -i input.ts -vcodec copy -acodec copy output.mp4
$ ffmpeg -i input.ts -vcodec copy -acodec copy -bsf:a aac_adtstoasc output.mp4

如果有一票目錄 + M3U 的話，就掃一下目錄建立一票相關的，接著可以用 find 再把這一票轉一轉：

$ find . -name "*.raw" -exec  ffmpeg -i {} -vcodec copy -acodec copy -bsf:a aac_adtstoasc {}.mp4 \;

[Linux] 找尋 PHP 檔案內，用到 mysql_* 函數的檔案清單 @ Ubuntu 14.04

三個月前用過又忘了 Orz  還是筆記一下：

$ find /path/target -name "*.php" -exec sh -c 'cnt=`grep -c "mysql_" {}` && test $cnt -gt 0 && echo {}' \;

[Linux] 使用 find -exec 之 Commands 與 Pipe 用法

原先打算：

$ find -name "*.sql" -exec tar -zcf - {} | dd of={}.tgz \;
dd: find: missing argument to `-exec'
unrecognized operand `;'
Try `dd --help' for more information.

改用 sh 來包：

$ find -name "*.sql" -exec sh -c 'tar -zcf - {} | dd of={}.tgz' \;
40984+1 records in
40984+1 records out
20984096 bytes (21 MB) copied, 3.51398 s, 6.0 MB/s


MongoDB 開發筆記 - 使用 find / aggregate: $match 找尋必有或必無某屬性(property/element/field)的資料

話說 MongoDB 真是越用越順手，也唯有這樣才能體會大家為何對他驚歎 :P 在處理資料時，由於 schema free style，有時分析資料時，希望每筆資料都要有某個屬性才來處理，或是資料不能有某個屬性:

db.collection.find( { property: {$ne: null }} )
db.collection.find( { property: null} )

如果 property 的內容物是一個 array，如 { "property":[ ... ] } ，這時想要要求此 array 個數要大於 1 時，則可以改用 "$where" 語法（據說效率較慢，但 it's works !）：

db.collection.find( { "$where": "this.property && this.property > 1" } )

然而，在 aggregate 的 $match 卻無法使用 "$where" 語法，可惜了點，會有以下錯誤訊息：

failed: exception: $where is not allowed inside of a $match aggregation expression

此外，就算分析出來，還是有要分析到 array 裡頭項目，又發現 aggregate 有 $unwind 的功能！效果就是幫你把 array 裡頭的資料一筆筆輸出：

db.collection.aggregate([
{
$match: {
property: { $ne : null }
}
},
{
$unwind: "$property"
},
{
$group: {
_id: "$property.name",
count: {
$sum: 1
}
}
}
])

單筆資料如：

{
"id": "client",
"date": "date",
"property":
[
{ "name": "ios", "version": 1 } ,
{ "name": "android", "version": 1 } ,
{ "name": "ios", "version": 2 }
]
}

假設資料就上述一筆，透過 aggregate $unwind 總輸出會是 property.length 個數：

{ "id": "client", "date": "date", "name": "ios", "version": 1 }
{ "id": "client", "date": "date", "name": "android", "version": 1 }
{ "id": "client", "date": "date", "name": "ios", "version": 2 }