第二十四個夏天後: verify

顯示具有 verify 標籤的文章。顯示所有文章

2024年11月19日星期二

Linux 開發筆記 - OpenLDAP StartTLS 憑證驗證與故障排除 @ Ubuntu 20.04

負責 DevOps 同事休假，當初 LDAP 架設沒涉入，用 AI 輔助來練一下功，盡量讓同事好好休假不用 oncall 解題，就把這過程筆記一下。

現在有 AI 輔助服務，做事的心態變了不少，包括：

面對不是自己從頭到尾參與的計劃時，該怎樣建立自己了解系統思維或是達成想做的任務
AI 的答案也不一定是對的，該如何驗證（如同管理或跨團隊合作上，請夥伴做事，但不一定做對，該怎樣驗正）

事件起因是一些小型內部服務，因 LDAP 憑證失效而無法完成登入（已登入不受影響），我的追法：

請 AI 給我指令或程式，檢驗快速檢驗 ldap 連線過程，著重在憑證檢查，例如檢查 https 憑證最常就是靠 openssl 指令或是 browser 瀏覽檢視憑證
有時 AI 會回的很搞剛，開始回寫 code 的 python 解法，這時因為自己有經驗 openssl 指令就能搞定，所以不斷提醒 AI 直接給指令解
對於 OpenLDAP 不熟的我，開始追問 AI 憑證相關的方向，才順勢了解 StartTLS ，才知道有 ldapsearch, slaptest 指令可用
對於管理線上服務踩過雷，知道不能隨便 service restart，多問一下 AI 該怎樣先檢驗設定檔，避免機器從 running -> stop -> 設定有誤 -> 服務停止營運

使用 openssl 指令檢查 SSL 憑證，假設網域是 ldap-dmz.changyy.org

```
$ openssl s_client -connect ldap-dmz.changyy.org:443
...
---
SSL handshake has read xxxx bytes and written xxx bytes
Verification: OK
---
...
```

使用 openssl 指令檢查 LDAP + StartTLS 憑證，假設網域是 ldap-dmz.changyy.org

```
$ openssl s_client -connect ldap-dmz.changyy.org:389 -starttls ldap
...
---
SSL handshake has read xxxx bytes and written xxx bytes
Verification error: certificate has expired
---
...
```

得知 LDAP + StartTLS 使用流程中的憑證過期了，且此例剛好 https 憑證已正常工作，僅 LDAP + StartTLS 的部分失敗，所以很輕鬆的可以把 https 憑證複製一份到 ldap 使用即可。先追蹤設定檔位置：

```
$ sudo cat /etc/ldap/slapd.d/cn\=config.ldif | grep -i TLS
olcTLSCACertificateFile: /etc/ssl/ldap/wildcard.*.ca-bundle
olcTLSCertificateFile: /etc/ssl/ldap/wildcard.*.crt
olcTLSCertificateKeyFile: /etc/ssl/ldap/wildcard.*.key
$ sudo tree -L 1 /etc/ssl/
/etc/ssl/
├── certs
├── ldap
├── nginx
├── openssl.cnf
└── private
```

速速解：

```
$ sudo cp -r /etc/ssl/ldap /etc/ssl/ldap-bak
$ sudo cp /etc/ssl/nginx/wildcard.* /etc/ssl/ldap/
```

檢驗設定檔和重啟服務：

```
$ sudo slaptest
config file testing succeeded
$ sudo service slapd restart
```

再次驗證：

```
$ openssl s_client -connect ldap-dmz.changyy.org:389 -starttls ldap
...
---
SSL handshake has read xxxx bytes and written xxx bytes
Verification: OK
---
...
```

此外，追蹤 LDAP 和使用他的服務時，意外發現不同的服務整合過程，也順手筆記一下，例如 Apache2 設定檔：

僅 LDAP 非加密：

<Location />
Order allow,deny
Allow from all
AuthType basic
AuthName "service.changyy.org"
AuthBasicProvider ldap
AuthLDAPUrl "ldap://ldap-dmz.changyy.org/dc=changyy,dc=org?uid"
Require valid-user
</Location>

LDAP + StartTLS：

<Location />
Order allow,deny
Allow from all
AuthType basic
AuthName "service.changyy.org"
AuthBasicProvider ldap
AuthLDAPUrl "ldap://ldap-dmz.changyy.org/dc=changyy,dc=org?uid" TLS
Require valid-user
</Location>

對應的其他服務也會有類似架構，舉例來說 Mantis 也有 mantisbt.org/docs/master/en-US/Admin_Guide/html/admin.config.auth.ldap.html

預設是啟用 LDAP + StartTLS

//
// Determines whether the connection will attempt an opportunistic upgrade to a TLS connection (STARTTLS).
//
// Defaults to ON.
//
// $g_ldap_use_starttls = ON

需要測試 LDAP 健康情況時，可以把它關閉

// $g_ldap_use_starttls = OFF

補充檢查 ldap service 健康情況時，最常是直接使用 ldapsearch 指令：

```
$ sudo apt install ldap-utils
$ ldapsearch -x -H 'ldap://ldap-dmz.changyy.org' -b 'dc=changyy,dc=org'
...
# search result
search: #
result: 0 Success
...
# numResponses: ###
# numEntries: ###
```

測試 LDAP + StartTLS：

```
$ ldapsearch -x -H 'ldap://ldap-dmz.changyy.org' -b 'dc=changyy,dc=org' -Z
...
ldap_start_tls: Connect error (-11)
additional info: (unknown error code)
ldap_result: Can't contact LDAP server (-1)
```

測試 LDAP + StartTLS 需要更多 debug 資訊：

```
$ ldapsearch -x -H 'ldap://ldap-dmz.changyy.org' -b 'dc=changyy,dc=org' -Z -d 1
...
TLS: peer cert untrusted or revoked (0x402)
TLS: can't connect: (unknown error code).
...
ldap_start_tls: Connect error (-11)
...
```

用 PHP Code 嘗試建立連線，先確認 php.ini 套件：

```
php -i | grep ldap
/etc/php/7.4/cli/conf.d/20-ldap.ini,
Protocols => dict, file, ftp, ftps, gopher, http, https, imap, imaps, ldap, ldaps, pop3, pop3s, rtmp, rtsp, scp, sftp, smb, smbs, smtp, smtps, telnet, tftp
ldap
...
```

運行：

```
$ cat /tmp/t.php
<?php
$ldapconn = ldap_connect("ldap://ldap-dmz.changyy.org");
if ($ldapconn) {
ldap_set_option($ldapconn, LDAP_OPT_PROTOCOL_VERSION, 3);
ldap_set_option($ldapconn, LDAP_OPT_REFERRALS, 0);
// 關閉 TLS
putenv('LDAPTLS_REQCERT=never');

$bind = ldap_bind($ldapconn);
if ($bind) {
echo "LDAP bind successful...\n";
} else {
echo "LDAP bind failed...\n";
}
}
$ php /tmp/t.php
LDAP bind successful...
```

收工!

2017年10月27日星期五

Firebase 開發筆記 - 使用 PHP 之 Verify ID tokens using a third-party JWT library

PHP 漸漸地越來越沒有愛了 XD Ubuntu server 預設還是停留在 php5.5 系列，而許多套件都進入了 PHP 7 世界了。不知是不是這樣子，所以官方沒再推出 PHP SDK ？於是乎，只好自己刻一下下。也順勢認識 JWT，第一次認識是在 APNs Auth Key 的使用，沒想到這麼快又要上戰場了 XD

網路資源：

https://firebase.google.com/docs/auth/admin/verify-id-tokens
https://jwt.io/
https://github.com/lcobucci/jwt/tree/3.2 (因應 PHP 5.x 使用 3.2.2版)
https://github.com/kreait/firebase-php

若覺得很煩，就直接用 https://github.com/kreait/firebase-php 吧！這篇專注在紀錄 JWT - Firebase 的使用和驗證。

用法：


$ mkdir jwt-3.2.2 ; cd jwt-3.2.2 ; composer require lcobucci/jwt

$ vim test.php

<?php

require 'vendor/autoload.php';



$token_string = 'XXXXXXXXXXX';



$signer = new Lcobucci\JWT\Signer\Rsa\Sha256();

$keychain = new Lcobucci\JWT\Signer\Keychain;

$parser = new Lcobucci\JWT\Parser;



try {

 $token = $parser->parse($token_string);

} catch( Exception $e ) {

 echo "decode failed\n";

 exit;

}



// check key field

foreach (array( 'iat', 'exp', 'aud', 'iss', 'user_id' ) as $field) {

 if (!$token->hasClaim($field)) {

  echo "no $field\n";

  exit;

 }

}



if ($token->isExpired()) {

 echo "exp expired\n";

 exit;

}



if (!$token->hasHeader('kid')) {

 echo "no kid\n";

 exit;



}

$kid = $token->getHeader('kid');



$keys = json_decode(file_get_contents('https://www.googleapis.com/robot/v1/metadata/x509/securetoken@system.gserviceaccount.com'), true);



if (!isset($keys[$kid])) {

 echo "kid not found\n";

 exit;

}





try {

 if( $token->verify($signer, $keychain->getPublicKey($keys[$kid])) )

  echo "PASS\n";

} catch (Exception $e) {

 echo "Failed";

}



$user_id = $token->getClaim('user_id');

連續動作(PHP Codeigniter Usage)：


$ cat Jwt_library.php

<?php

require_once 'jwt-3.2.2/vendor/autoload.php';

class Jwt_library {

 public function __construct() {

  $this->ci = &get_instance();

  $this->parser = new Lcobucci\JWT\Parser;

  $this->keychain = new Lcobucci\JWT\Signer\Keychain;

  $this->signer = new Lcobucci\JWT\Signer\Rsa\Sha256;

 }



 public function verify_firebase_token(&$error, $user_token, $project_id, $service_public_keys = array()) {

  $user_id = NULL;

  $error = NULL;

  $token = false;

  try {

   $token = $this->parser->parse($user_token);

  } catch (Exception $e) {

   $error= 'decode failed';

   return NULL;

  }



  // check filed name

  foreach (array( 'iat', 'exp', 'aud', 'iss', 'user_id' ) as $field) {

   if (!$token->hasClaim($field)) {

    $error = "no $field";

    return NULL;

   }

  }



  if ($token->isExpired()) {

   $error = 'exp expired';

   return NULL;

  }

  //if ($token->getClaim('iat') > time() )

  // return 'token has been issued in the future';



  if ($token->getClaim('aud') != $project_id ) {

   $error = 'aud error';

   return NULL;

  }



  $user_id = $token->getClaim('user_id');



  $kid = false;

  try{

   $kid = $token->getHeader('kid');

  } catch (Exception $e) {

   $error = 'no kid';

   return NULL;

  }



  if (!isset($service_public_keys[$kid])) {

   $error = 'kid not found: '.$kid;

   return NULL;

  }



  try {

   if ($token->verify($this->signer, $this->keychain->getPublicKey($service_public_keys[$kid])))

    return $user_id;

  } catch (Exception $e) {

   $error = 'verify failed';

  }



  return NULL;

 }

}


$ cat php_ci_controller.php

<?php

$output = array( 'status' => false );



$authorization_info = $this->input->get_request_header('Authorization', True);

if (empty($authorization_info) || strstr($authorization_info, 'Bearer ') == false) {

        $output['error'] = -1;

        $output['message'] = 'no Authorization';

        $this->_json_output($output);

        return;

}



$firebase_user_token = trim(substr($authorization_info, strlen('Bearer ')));

$this->load->library('jwt_library');

$keys = @json_decode(@file_get_contents('https://www.googleapis.com/robot/v1/metadata/x509/securetoken@system.gserviceaccount.com'), true);

$firebase_user_id = $this->jwt_library->verify_firebase_token($verify_error, $firebase_user_token, 'YourFirebaseProjectId', $keys);

if (empty($firebase_user_id)) {

 $output['error'] = 1;

 $output['message'] = 'verify: '.$verify_error;

 $this->_json_output($output);

 return;

}

2014年11月3日星期一

[Linux] 架設 MongoDB Sharded Cluster 與驗證資料分散性 @ Ubuntu 14.04

今年年初時，把玩過 MongoDB Replica Set ，也試過一些 Map-Reduce 計算等，最近終於又開始抽空實驗了 :P 當時看到不少 Sharded Cluster 搭建在 MongoDB Replica Set 身上，深感 process (server) 的數量不低，就遲遲沒跳下去玩，最近才發現就算只是單一個 MongoDB Server 也可以當作 shared Cluster 一員，就方便啦！

此次 MongoDB Sharded Cluster 架構：

跑兩個 MongoDB Server，分別在 port 10001, 10002
跑一個 MongoDB Config Server - port 20001
跑一個 MongoDB Routing Server - port 30001

以下操作全部都在一台 ubuntu 14.04 server：


$ rm -rf /tmp/mongo && mkdir -p /tmp/mongo/db/1 /tmp/mongo/db/2 /tmp/mongo/db/c /tmp/mongo/log



$ mongod --port 10001 --dbpath /tmp/mongo/db/1 --logpath /tmp/mongo/log/1 &

$ mongod --port 10002 --dbpath /tmp/mongo/db/2 --logpath /tmp/mongo/log/2 &

$ mongod --port 20001 --configsvr --dbpath /tmp/mongo/db/c --logpath /tmp/mongo/log/c &



$ mongos --port 30001 --configdb 127.0.0.1:20001 &

設定 partition 用法：


$ mongo --port 30001

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

        "_id" : 1,

        "version" : 4,

        "minCompatibleVersion" : 4,

        "currentVersion" : 5,

        "clusterId" : ObjectId("###############")

}

  shards:

  databases:

        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

mongos> sh.addShard('127.0.0.1:10001')

{ "shardAdded" : "shard0000", "ok" : 1 }

mongos> sh.addShard('127.0.0.1:10002')

{ "shardAdded" : "shard0001", "ok" : 1 }

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

        "_id" : 1,

        "version" : 4,

        "minCompatibleVersion" : 4,

        "currentVersion" : 5,

        "clusterId" : ObjectId("#####################")

}

  shards:

        {  "_id" : "shard0000",  "host" : "127.0.0.1:10001" }

        {  "_id" : "shard0001",  "host" : "127.0.0.1:10002" }

  databases:

        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

mongos> sh.enableSharding('ydb')

{ "ok" : 1 }

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

        "_id" : 1,

        "version" : 4,

        "minCompatibleVersion" : 4,

        "currentVersion" : 5,

        "clusterId" : ObjectId("######################")

}

  shards:

        {  "_id" : "shard0000",  "host" : "127.0.0.1:10001" }

        {  "_id" : "shard0001",  "host" : "127.0.0.1:10002" }

  databases:

        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

        {  "_id" : "test",  "partitioned" : false,  "primary" : "shard0000" }

        {  "_id" : "ydb",  "partitioned" : true,  "primary" : "shard0000" }

mongos> use ydb

switched to db ydb

mongos> db.ycollection.ensureIndex( { _id : "hashed" } )

{

        "raw" : {

                "127.0.0.1:10001" : {

                        "createdCollectionAutomatically" : true,

                        "numIndexesBefore" : 1,

                        "numIndexesAfter" : 2,

                        "ok" : 1

                }

        },

        "ok" : 1

}

mongos> sh.shardCollection("ydb.ycollection", { "_id": "hashed" } )

{ "collectionsharded" : "ydb.ycollection", "ok" : 1 }

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

        "_id" : 1,

        "version" : 4,

        "minCompatibleVersion" : 4,

        "currentVersion" : 5,

        "clusterId" : ObjectId("#####################")

}

  shards:

        {  "_id" : "shard0000",  "host" : "127.0.0.1:10001" }

        {  "_id" : "shard0001",  "host" : "127.0.0.1:10002" }

  databases:

        {  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

        {  "_id" : "test",  "partitioned" : false,  "primary" : "shard0000" }

        {  "_id" : "ydb",  "partitioned" : true,  "primary" : "shard0000" }

                ydb.ycollection

                        shard key: { "_id" : "hashed" }

                        chunks:

                                shard0000       2

                                shard0001       2

                        { "_id" : { "$minKey" : 1 } } -->> { "_id" : NumberLong("-4611686018427387902") } on : shard0000 Timestamp(2, 2)

                        { "_id" : NumberLong("-4611686018427387902") } -->> { "_id" : NumberLong(0) } on : shard0000 Timestamp(2, 3)

                        { "_id" : NumberLong(0) } -->> { "_id" : NumberLong("4611686018427387902") } on : shard0001 Timestamp(2, 4)

                        { "_id" : NumberLong("4611686018427387902") } -->> { "_id" : { "$maxKey" : 1 } } on : shard0001 Timestamp(2, 5)

簡易驗證資料分散性：


mongos>



db.ycollection.insert({user:"a", item: "1", rate: 0.3})

db.ycollection.insert({user:"a", item: "3", rate: 0.5})

db.ycollection.insert({user:"a", item: "4", rate: 0.9})

db.ycollection.insert({user:"b", item: "2", rate: 0.1})

db.ycollection.insert({user:"b", item: "3", rate: 0.6})

db.ycollection.insert({user:"b", item: "5", rate: 0.2})

db.ycollection.insert({user:"c", item: "3", rate: 0.2})

db.ycollection.insert({user:"c", item: "4", rate: 0.7})



mongos> db.ycollection.find()

{ "_id" : ObjectId("#################"), "user" : "a", "item" : "3", "rate" : 0.5 }

{ "_id" : ObjectId("#################"), "user" : "a", "item" : "1", "rate" : 0.3 }

{ "_id" : ObjectId("#################"), "user" : "a", "item" : "4", "rate" : 0.9 }

{ "_id" : ObjectId("#################"), "user" : "b", "item" : "2", "rate" : 0.1 }

{ "_id" : ObjectId("#################"), "user" : "b", "item" : "5", "rate" : 0.2 }

{ "_id" : ObjectId("#################"), "user" : "b", "item" : "3", "rate" : 0.6 }

{ "_id" : ObjectId("#################"), "user" : "c", "item" : "3", "rate" : 0.2 }

{ "_id" : ObjectId("#################"), "user" : "c", "item" : "4", "rate" : 0.7 }

接著，想要驗證資料的確是儲存在不同台 mongodb server ，作法就是把資料透過 mongodump 出來(bson)，再用 bsondump 印出來驗證：


$ cd /tmp

$ mongodump --port 10001 -d ydb -c ycollection

$ bsondump dump/ydb/ycollection.bson

{ "_id" : ObjectId( "#############" ), "user" : "a", "item" : "1", "rate" : 0.3 }

{ "_id" : ObjectId( "#############" ), "user" : "b", "item" : "2", "rate" : 0.1 }

{ "_id" : ObjectId( "#############" ), "user" : "b", "item" : "3", "rate" : 0.6 }

{ "_id" : ObjectId( "#############" ), "user" : "c", "item" : "4", "rate" : 0.7 }

4 objects found



$ mongodump --port 10002 -d ydb -c ycollection

$ bsondump dump/ydb/ycollection.bson

{ "_id" : ObjectId( "#############" ), "user" : "a", "item" : "3", "rate" : 0.5 }

{ "_id" : ObjectId( "#############" ), "user" : "a", "item" : "4", "rate" : 0.9 }

{ "_id" : ObjectId( "#############" ), "user" : "b", "item" : "5", "rate" : 0.2 }

{ "_id" : ObjectId( "#############" ), "user" : "c", "item" : "3", "rate" : 0.2 }

4 objects found

因此可完成驗證，資料的確分在不同區！有興趣還可以用 MongoDB Aggregate (Map-Reduce) 實作共現矩陣(Co-Occurrence Matrix)及簡易的推薦系統來驗證 partition 演算法的正確性。

訂閱：文章 (Atom)

2024年11月19日 星期二

Linux 開發筆記 - OpenLDAP StartTLS 憑證驗證與故障排除 @ Ubuntu 20.04

2017年10月27日 星期五

Firebase 開發筆記 - 使用 PHP 之 Verify ID tokens using a third-party JWT library

2014年11月3日 星期一

[Linux] 架設 MongoDB Sharded Cluster 與驗證資料分散性 @ Ubuntu 14.04

Subscribe Now

2024年11月19日星期二

2017年10月27日星期五

2014年11月3日星期一