第二十四個夏天後

2015年5月19日星期二

GAE 筆記 - 在 Ubuntu Server 上傳 Google App Engine 程式碼 @ Ubuntu 14.04

最近嘗試在 Ubuntu server 開發，以前常在 Windows 、 Ubuntu Desktop 和 Mac OSX 等視窗介面，最近 Google App engine 也把認證的部分換了，以前是在 Google App engine tools 上輸入帳號密碼，現在都改用 OAuth 認證方式，實在方便。

若要在 Ubuntu server 上運行 Google App Engine ，透過 Command line 即可完成測試跟發佈：

測試：


$ cd /path/gae/project

$ python -m py_compile *.py && dev_appserver.py --port=8080 .

發佈：


$ cd /path/gae/project

$ python -m py_compile *.py && appcfg.py --oauth2 --noauth_local_webserver -A YourGAEProjectID update .

過程只需再用 browser 瀏覽指定的 link 以及完成 oauth 的認證即可發布啦！

2015年5月16日星期六

Bash 筆記 - 使用時間區間備份 MySQL 資料表

由於資料屬性的關係，剛好有幾個 table 都有 timestamp 這個資訊，拿來備份恰恰好，設計一下備份方式：

一次備份 n 個月
限制每 n 個月一次或是每次執行只備份前面符合條件的 n 個月

例如 n=6 時，在 1~6 月只能備份去年 7~12 月資料，在 7~12 月時，才能 1~6 月份的資料，並且讓程式能夠小小容錯，例如以產生過的資料就不要再匯出、匯出的資料要做壓縮、壓縮完要測試解壓縮、產生 md5 驗證等。

總之，技術細項：

使用 data 指令得知現況時間並計算出備份範圍
使用 mysqldump 搭配 --where 指令匯出指定 timestamp 資料
使用 tar -zcvf 備份資料為 tar.gz 格式
使用 gunzip -t 測試壓縮資料
使用 md5sum 建立壓縮檔案的驗證檔

執行方式，採用 bash, mysqldump, tar, gunzip, md5sum, date 指令：


#!/bin/bash

month_offset=0

month_range=6



current_month=`date +"%m"`

if [ ${current_month:0:1} -eq '0' ] ; then

        current_month=${current_month:1:1}

fi

month_offset=$(( $(($current_month + $month_range - 1)) % $month_range  ))

timestamp_begin_date=`date +"%Y-%m-01 00:00:00" -d "-$(($month_offset + $month_range)) month"`

timestamp_end_date=`date +"%Y-%m-01 00:00:00" -d "-$month_offset month"`

timestamp_init_date=`date +"%Y-%m-01"  -d "-$month_offset month"`

timestamp_out_date=`date +"%Y-%m-%d" -d "$timestamp_init_date -1 day" `

job_id=`date +"%Y-%m" -d "-$(($month_offset + 1)) month"`



DIR=/data/routine

log_dir=$DIR/log

dump_dir=$DIR/db

mkdir -p $log_dir $dump_dir

echo "[INFO] Job ID: $job_id , Begin: $timestamp_begin_date , End: $timestamp_end_date"

echo "[INFO] Working Dir: $DIR , log: $log_dir , export: $dump_dir"

echo "[INFO] Output suffix: $timestamp_out_date"

echo



arget_host=MyDBServerIP

target_user=UserID

target_pass=UserPassword

target_db=DatabaseName

target_table=("table1" "table2" "table3")

for table in "${target_table[@]}" ;do

 if [ ! -f "$dump_dir/$table.$timestamp_out_date.sql" ] ; then

  cmd="time mysqldump -h $target_host -u $target_user -p$target_pass --where \"timestamp >= '$timestamp_begin_date' AND timestamp < '$timestamp_end_date'\" --single-transaction --databases $target_db --tables $table > $dump_dir/$table.$timestamp_out_date.sql"

  echo $cmd;

        fi         

done 



echo

echo -n "Wanna go (y/N): "

read ans



if [ "$ans" == 'Y' ] || [ "$ans" == 'y' ] ; then

 for table in "${target_table[@]}" ;do

  output_file=$table.$timestamp_out_date.sql

  output_archive_file=$output_file.tar.gz

  output_archive_check_file=$output_archive_file.md5

  echo

  echo "build target: $output_file"

  echo "\t$output_archive_file"

  echo "\t$output_archive_check_file"

  echo "..."

  if [ ! -f "$dump_dir/$output_file" ] ; then

   cmd="time mysqldump -h $target_host -u $target_user -p$target_pass --databases $target_db --tables $table --single-transaction --where \"timestamp >= '$timestamp_begin_date' AND timestamp < '$timestamp_end_date'\" > $dump_dir/$output_file"

   echo $cmd

   time mysqldump -h $target_host -u $target_user -p$target_pass --databases $target_db --tables $table --single-transaction --where "timestamp >= '$timestamp_begin_date' AND timestamp < '$timestamp_end_date'" > $dump_dir/$output_file

  fi

  if [ ! -f "$dump_dir/$output_archive_file" ] ; then

   echo "time tar -zcf \"$table.$timestamp_out_date.sql.tar.gz\" \"$table.$timestamp_out_date.sql\""

   cd $dump_dir && time tar -zcf "$output_archive_file" "$output_file"

  fi

  if [ -f "$dump_dir/$output_archive_file" ] && [ ! -f "$dump_dir/$output_archive_check_file" ] ; then

   echo "time gunzip -t $output_archive_file && time md5sum $output_archive_file > $output_archive_check_file"

   cd $dump_dir && time gunzip -t $output_archive_file && time md5sum $output_archive_file > $output_archive_check_file

  fi

 done

fi

若還有其他興趣的話，可以再結合 AWS glacier 的上傳，例如：


aws_glacier_bin="java -jar /path/uploader-0.0.8-SNAPSHOT-jar-with-dependencies.jar "

aws_glacier_region=https://glacier.region-id.amazonaws.com

aws_glacier_dir=db-log

aws_glacier_partsize=134217728



if [ "$aws_glacier" == 'Y' ] || [ "$aws_glacier" == 'y' ] ; then

 for table in "${target_table[@]}" ;do

  output_file=$table.$timestamp_out_date.sql

  output_archive_file=$output_file.tar.gz

  output_archive_check_file=$output_archive_file.md5

  echo

  echo "selected: $output_archive_file"

  if [ -f "$dump_dir/$output_archive_file" ] && [ -f "$dump_dir/$output_archive_check_file" ] ; then

   echo "do upload: $output_archive_file"

   cmd="time $aws_glacier_bin --endpoint \"$aws_glacier_region\" -v \"$aws_glacier_dir\" --multipartupload \"$output_archive_file\" --partsize $aws_glacier_partsize  "

   echo $cmd;

   cd $dump_dir && eval $cmd;

  fi

 done

fi

2015年5月14日星期四

AWS 筆記 - 關於 Amazon EC2、Elastic Load Balancer (ELB)、Auto Scaling 與 CPU loading 過低問題 @ Ubuntu 14.04, Apache 2.4

使用 ELB + Auto Scaling 好一陣子了，最近因為服務量變大導致 Web Server 變多，然而，在部署程式方面就累了許多，因此朝 Scaling up 來進行一下，限縮機器數量並提升機器規格。

在這個過程中，從 m3.medium 改到 m3.large 或 m3.xlarge 等，卻發現越高級的機器，其 CPU Loading 衝不上去，並且限縮機器後導致服務極為不穩，連 Health check 也發現。但明明機器都不忙啊？！

接著因為非常忙，拖了兩個禮拜才正視這個問題。追了許多後，發現...只是 Apache Multi-Processing Module (MPM) 設定未同步拉高 XD 好蠢的一件事啊。此外，由於服務眾多，尚未有空最佳化，就先繼續用 prefork 架構了。


$ apache2 -v

Server version: Apache/2.4.7 (Ubuntu)

Server built:   Mar 10 2015 13:05:59

$ sudo vim /etc/apache2/mods-enabled/mpm_prefork.conf

<IfModule mpm_prefork_module>

        ServerLimit                7500 # 預設才 256

        StartServers               20 

        MinSpareServers            15 

        MaxSpareServers            50 

        MaxRequestWorkers          7500 # 預設才 256

        MaxConnectionsPerChild     0 

</IfModule>

總之，ServerLimit 跟 MaxRequestWorkers 就看當下的機器資訊，例如記憶體等等。

透過 Web server 執行的環境調整，機器的負載度自然可以提升，接著 Auto Scaling 的機制就可用啦！原先在 m3.medium 的機器是單核，而在 m3.large 開始就是多核心了！效能就能更往上衝囉。很妙地用系統預設的 prefork.conf 在 m3.medium 還混的不錯 :P 包含 CPU 會依照 requests 量變化，不像同樣的設定檔搬到多核心後就失效了，CPU 衝不起來，導致 Auto Scaling 也失效！

整體上，這次碰到 service 不穩的主因：

total requests 一直保持一個數量，而原先開 m3.medium x N ，想說機器提升成 m3.large 就把數量調整成一半，結果 web server 數量降低，再加上 prefork.conf 的設定，導致能服務的 requests 量也降低！而 Health check 無法正常被驗證，接著 AWS Scaling 會判斷機器出事要下線，甚至 requests 不導過去，頻頻出現：

503 Service Unavailable: Back-end server is at capacity

如今終於解掉了 :P Health check requests 也能被服務到，機器自然就不會被判斷成有問題，自然就解掉 503 Service Unavailable 現象。

最後，如果要追蹤網路流量，可以試試 nload 這個指令，看整體流量還滿方便的。

2015年5月7日星期四

Javascript 開發筆記 - 使用 Yuotube Player API for iframe Embeds 將 videos 串成 playlist

透過 Youtube Player API 可以動態把一堆 Youtube video 串成一個 playlist 來播放。網路上不少範例，但很少看到處理多則 video 的方式，有也是一則 video 搭配一個 player 架構，摸了一下終於搞懂其設計架構，片段程式碼：


<div id="player"></div>

<script>

var player;

var videos = ['LzHFD1sEqpE', 'iV8JDbtXZm4', '-sjfQWGkGF4'];

(function() {

 if (videos.length) {

  var tag = document.createElement('script');

  tag.onload = function() {

   YT.ready(function() {

    player = new YT.Player('player', {

     playerVars: {

      playlist: videos.join(","),

     }

    });

   });

  }

  tag.src = "https://www.youtube.com/iframe_api";

  var firstScriptTag = document.getElementsByTagName('script')[0];

  firstScriptTag.parentNode.insertBefore(tag, firstScriptTag);

 }

})();

</script>

更多資訊請參考：https://developers.google.com/youtube/iframe_api_reference

2015年5月4日星期一

GAE 筆記 - 將 Google App Engine 之儲存資料 DataStore 匯出處理

前陣子寫小的程式不斷地將資料儲存起來，最近想處理一下，打算用 offline 的方式處理。接著就是要把資料先匯出，再用程式分析每筆資料。

匯出方式很簡單，只需到 Google App Engine -> Application -> YourApp -> Data -> Datastore Admin -> 勾選想要的資料表(Entities) -> Backup Entities ，不一會兒就可看到 Backups 有資料了。

接著是下載方式，有一派是說用 gsutils ，但我沒試成功，可能跟 gsutils 使用時機有關，我則是透過網頁把各個檔案下載來使用：Google App Engine -> Application -> YourApp -> Data -> Blob Viewer -> 可看到幾個小檔資料，就簡易人工點擊下載。

最後，寫簡單的程式來分析吧：


import webapp2



from google.appengine.api.files import records

from google.appengine.datastore import entity_pb

from google.appengine.api import datastore



class MainPage(webapp2.RequestHandler):

        def get(self):

                self.response.headers['Content-Type'] = 'text/plain'

                for record in records.RecordsReader(open('file-part-1', 'r')):

                        entity_proto = entity_pb.EntityProto(contents=record)

                        entity = datastore.Entity.FromPb(entity_proto)

                        self.response.write(entity)



app = webapp2.WSGIApplication([

    ('/', MainPage),

], debug=True)

訂閱：文章 (Atom)

2015年5月19日 星期二

GAE 筆記 - 在 Ubuntu Server 上傳 Google App Engine 程式碼 @ Ubuntu 14.04

2015年5月16日 星期六

Bash 筆記 - 使用時間區間備份 MySQL 資料表

2015年5月14日 星期四