2024年10月14日 星期一

Linux 開發筆記 - 在 Ubuntu 16.04 使用 Docker Ubuntu 24.04 無法正常更新套件 (apt update）@ Ubuntu 16.04

追蹤到最後，解法應當是把 Host 端的 docker 更新來修正，但一開始很懶，只好遮住雙眼摸魚一下 XD

狀態：

```
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 16.04 LTS
Release: 16.04
Codename: xenial

$ docker run -it ubuntu:24.04 /bin/bash
root@a0f5c64ed667:/# apt update
Get:1 http://security.ubuntu.com/ubuntu noble-security InRelease [126 kB]
Get:2 http://archive.ubuntu.com/ubuntu noble InRelease [256 kB]
Err:1 http://security.ubuntu.com/ubuntu noble-security InRelease    
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
Err:2 http://archive.ubuntu.com/ubuntu noble InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
Get:3 http://archive.ubuntu.com/ubuntu noble-updates InRelease [126 kB]
Err:3 http://archive.ubuntu.com/ubuntu noble-updates InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
Get:4 http://archive.ubuntu.com/ubuntu noble-backports InRelease [126 kB]
Err:4 http://archive.ubuntu.com/ubuntu noble-backports InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
Reading package lists... Done
W: GPG error: http://security.ubuntu.com/ubuntu noble-security InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
E: The repository 'http://security.ubuntu.com/ubuntu noble-security InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
W: GPG error: http://archive.ubuntu.com/ubuntu noble InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
E: The repository 'http://archive.ubuntu.com/ubuntu noble InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
W: GPG error: http://archive.ubuntu.com/ubuntu noble-updates InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
E: The repository 'http://archive.ubuntu.com/ubuntu noble-updates InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
W: GPG error: http://archive.ubuntu.com/ubuntu noble-backports InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 871920D1991BC93C
E: The repository 'http://archive.ubuntu.com/ubuntu noble-backports InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
E: Problem executing scripts APT::Update::Post-Invoke 'rm -f /var/cache/apt/archives/*.deb /var/cache/apt/archives/partial/*.deb /var/cache/apt/*.bin || true'
E: Sub-process returned an error code
```

硬解：

```
root@a0f5c64ed667:/# apt update --allow-insecure-repositories
...
```

安裝軟體：

```
root@a0f5c64ed667:/# apt install -y --allow-unauthenticated vim wget curl git tree python3-virtualenv 
...
```

結果越裝越痛苦 XD 還是回去看 Docker 官網安裝教學：docs.docker.com/engine/install/ubuntu/#install-using-the-repository 

如此就可以在 Host Ubuntu 16.04 ，正確呼喚出 docker Ubuntu 24.04 來運行，此外，也可以留意 Docker 官方文件建議的 Ubuntu OS 環境已經是 20.04 以上了

張貼者： 於 沒有留言:
標籤： , , ,

2024年10月9日 星期三

學習完畢 Google Cloud AI Study Jam 2024 - 生成式 AI 培訓計劃


圖：www.credly.com/users/changyy/

就這樣一口氣把 Google Cloud AI Study Jam 2024 都扛過去了，從月初到 10/08 晚間，每天多少都有清幾則：
原本是颱風天體驗了 Path 1 ，結果就這樣馬不停蹄地把 Path 2 跟 Path 3 也給 KO 了，真的獲益良多。

近一年當中，在 AI 應用開發跟自修上，剛好上過台大李宏毅教授的 Youtube 影片：【生成式AI導論 2024】，接著也協助公司使用 OpenAI API 建置了幾個雛形和一款稍微正式的對內服務，體驗過訓練自己的 model 來做客製化應用，以及也摸索過 RAG 應用和負責協助公司導入 AI 輔助應用等等，在這樣的背景下，進行 Path 1, Path 2 和 Path 3 仍收穫滿滿，補了不少思維：
  • 對 Google AI 的發展更新為沒脫隊！只是入門門檻高 XD 
  • 研發 AI 服務時，要想想怎樣達成開發出一個負責任的 AI 
在 Path 1：Beginner: Introduction to Generative AI Learning Path 過程時，開始熟悉 Google Cloud 的介面，儘管 2018 年左右就開始用 GCP ，但基於工作方式大多透靠 ansible + jenkins 完成任務，一直漠視了 Google 發展，這次使用上反而驚艷了一下，特別是 Gemini 小幫手到處都可以協助，不熟也沒關係，問！就對了。

在 Path 1 的課程就被 Google Cloud 網頁管理介面驚艷到，接著補了不少關於 負責任 AI 的思維，令人想起前陣子 OpenAI Superalignment 的事情，雖然有點直覺，但對於事件的感受還不夠強烈，在上完課後終於能比較全面體會了，好在 OpenAI 在 2024.05 成立新的安全委員會了。

在 Path 2: Intermediate: Gemini for Google Cloud Learning Path 課程，讓我感受到身為 RD / DevOps / SRE 時 AI 的靈壓，可以有以下體驗思維：
  • 站在資方角度，不需聘請有高深經驗者，僅需找資淺的聰明者(學習力強)，只要能問對問題，靠 Gemini 補完工作，甚至快速累積經驗
  • 站在開發者進行 side project 角度，透過 Gemini 大方地享受一人工作模式，可以只專精或感興趣一個領域，剩下的靠 Gemini 模擬出 10-30 人力規模的新創組織，幫你把點子完善到成品
此外，在 Path 2 的各種角色使用 Gemini 工作的思維，讓人欽佩大公司的組織架構，在小公司都是全包了 Orz
  • Gemini for Application Developers
  • Gemini for Cloud Architects
  • Gemini for Data Scientists and Analysts 
  • Gemini for Network Engineers
  • Gemini for Security Engineers
  • Gemini for DevOps Engineers
  • Gemini for end-to-end SDLC
  • Develop GenAI Apps with Gemini and Streamlit
在 Path 3: Advanced: Generative AI for Developers Learning Path 的心得，就進入比較正式的原理課程，雖然看過過台大教授的 AI 導論，但還是在這波習得不少底層運作的觀念。

圖：www.cloudskillsboost.google/profile/leaderboard

圖：www.cloudskillsboost.google/paths

最後，差不多累積了兩萬分，其中 Quiz 錯了幾次，Lab 都一次通過。
張貼者： 於 沒有留言:
標籤：

2024年10月3日 星期四

體驗 Google Cloud AI Study Jam 2024: goo.gle/csj-tw-2024


圖：www.facebook.com/share/p/ihEZoPDaanCRqWgS/

看著認識的 Google 技術傳教士分享這活動，趁颱風天來體驗一下 XD 總算做完 Path 1 的學習歷程，微累，但至少可以拿到個貼紙禮物了？XD


共 25 份學習教材，完成時間約 48 小時。

在影片觀看上，可以用兩倍速吸收，旁邊又有中文字幕，很不錯。整體耗時是還可以接受，倒是透過這次了解 vertex ai 的操作介面，很佛的設定好 prompt 後，還可以匯出程式碼，這點很方便，若要說卡關的話，好像有某堂課要驗證 vertex ai studio 某操作項目時，一直失敗，後來我猜到了，他是在掃已儲存的 prompt 的比對方式是用英文作為判斷，這時要把 vertex ai studio 的操作資料改成英文 (examples) 才能被偵測成功完成該項目。

整體上就熟悉一下 Google Cloud 服務，很順，此外 Path 1 某堂課也有稍微改 code 的地方，對於工程師背景的人來說，看懂題目，很簡單就能完成的。印象中，有一題很卡，題目上只有一個 example ，要自己再想另一個填入，接著，還要再想額外一個當作 promot & Test Input 來實驗（總共想兩個新句子），大概這題一開始不順會瞬間喪失自信 XD 但撐過了就沒問題了。經過這痛苦後，也被訓練到，看題目時可以挑熟悉的語言（中文），但建議還要另開一頁用英文的再看一次，避免翻中文時，一些關鍵操作看不懂。特別是一些操作選單，英文清楚非常多。

之前一直想用 LangChain 也略知一二，但恰好教學內容提了簡單 Python Code 真不錯，醍醐灌頂。

過去已經約一年多都在用 OpenAI API 開發服務，這次體驗了 Google 牌，也才了解 PaLM, Gemini 和 Vertex AI 的不同，之前 PaLM 剛推出來時，同事整合會議記錄，但整體上還是有不少需要客製化的地方，很快就放棄整合，沒想到 Google NotebookLM 最近推出，狂勝，且根據 Path 1 的學習歷程，大概能體會 Google 在 Responsible AI 投入很驚人的資源。

張貼者： 於 沒有留言:
標籤： , , , , , , , ,

2024年9月23日 星期一

PHP 開發筆記 - 在 macOS 15 安裝 PHP 7.4 開發環境 @ Apple M2 / arm64

原本是習慣用 MacPorts 管理套件，然後升上 macOS 15 後，跑了 MacPorts migration 後，發現 php74 不見了，細追才發現沒裝起來 XD 努力研究了一下：

--->  Configuring php74
Warning: Configuration logfiles contain indications of -Wimplicit-function-declaration; check that features were not accidentally disabled:
  gethostbyname_r: found in php-7.4.33/config.log
  _controlfp: found in php-7.4.33/config.log
  _controlfp_s: found in php-7.4.33/config.log
Warning: Configuration logfiles contain indications of -Wimplicit-int; check that features were not accidentally disabled:
  found in php-7.4.33/config.log
--->  Building php74
Error: Failed to build php74: command execution failed   
Error: See /opt/local/var/macports/logs/_opt_local_var_macports_sources_rsync.macports.org_macports_release_tarballs_ports_lang_php/php74/main.log for details.
Error: Follow https://guide.macports.org/#project.tickets if you believe there is a bug.
Error: Processing of port php74 failed
--->  Some of the ports you installed have notes:
  db48 has the following notes:
    The Java and Tcl bindings are now provided by the db48-java and
    db48-tcl subports.

===

:info:build ld: warning: ignoring duplicate libraries: '-largon2', '-lxml2', '-lz'
:info:build Undefined symbols for architecture arm64:
:info:build   "_res_9_dn_expand", referenced from:
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       ...  
:info:build   "_res_9_dn_skipname", referenced from:
:info:build       _zif_dns_get_record in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build   "_res_9_init", referenced from:
:info:build       _zif_dns_check_record in dns.o
:info:build       _zif_dns_get_record in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build   "_res_9_search", referenced from:
:info:build       _zif_dns_check_record in dns.o
:info:build       _zif_dns_get_record in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build ld: symbol(s) not found for architecture arm64
:info:build clang: error: linker command failed with exit code 1 (use -v to see invocation)
:info:build make: *** [sapi/cli/php] Error 1
:info:build make: *** Waiting for unfinished jobs....
:info:build ld: warning: ignoring duplicate libraries: '-largon2', '-lxml2', '-lz'
:info:build Undefined symbols for architecture arm64:
:info:build   "_res_9_dn_expand", referenced from:
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       _php_parserr in dns.o
:info:build       ...  
:info:build   "_res_9_dn_skipname", referenced from:
:info:build       _zif_dns_get_record in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build   "_res_9_init", referenced from:
:info:build       _zif_dns_check_record in dns.o
:info:build       _zif_dns_get_record in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build   "_res_9_search", referenced from:
:info:build       _zif_dns_check_record in dns.o
:info:build       _zif_dns_get_record in dns.o
:info:build       _zif_dns_get_mx in dns.o
:info:build ld: symbol(s) not found for architecture arm64
:info:build clang: error: linker command failed with exit code 1 (use -v to see invocation)
:info:build make: *** [sapi/phpdbg/phpdbg] Error 1
:info:build make: Leaving directory `/opt/local/var/macports/build/_opt_local_var_macports_sources_rsync.macports.org_macports_release_tarballs_ports_lang_php/php74/work/php-7.4.33'
:info:build Command failed:  cd "/opt/local/var/macports/build/_opt_local_var_macports_sources_rsync.macports.org_macports_release_tarballs_ports_lang_php/php74/work/php-7.4.33" && /usr/bin/make -j8 -w all
:info:build Exit code: 2
:error:build Failed to build php74: command execution failed
:debug:build Error code: CHILDSTATUS 94983 2
:debug:build Backtrace: command execution failed
:debug:build     while executing
:debug:build "system {*}$notty {*}$callback {*}$nice $fullcmdstring"
:debug:build     invoked from within
:debug:build "command_exec -callback portprogress::target_progress_callback build"
:debug:build     (procedure "portbuild::build_main" line 10)
:debug:build     invoked from within
:debug:build "$procedure $targetname"
:error:build See /opt/local/var/macports/logs/_opt_local_var_macports_sources_rsync.macports.org_macports_release_tarballs_ports_lang_php/php74/main.log for details.

因此，主要是 _res_9_dn_* 等等的問題，問 AI 說，解方若還要繼續用 MacPorts 管理，只能裝個肥滋滋的 bind9

% sudo port install bind9
% sudo port clean php74
% sudo port install php74 configure.cflags="-I/opt/local/include" configure.ldflags="-L/opt/local/lib -lbind9 -ldns -lisc"

但這樣跑也失敗了

接著又試了 

% brew install php@7.4   
Warning: No available formula with the name "php@7.4". Did you mean php@8.2, php@8.1 or php@8.0?
==> Searching for similarly named formulae and casks...
==> Formulae
php@8.2                                               php@8.1                                               php@8.0

To install php@8.2, run:
  brew install php@8.2

雖然繼續深入問 AI 可以得到要做 php-7.4 patch 檔案，但這樣搞下去維護太累了，等於自己編譯 php74 跟改 code 了

最終，取個平衡，未來需要 php74 的環境，就靠 Docker 吧 XD 就單純這樣用即可：

% docker run -it -v ~/projects/:/projects -p 8080:8080 -p 8000:8000 -p 8443:8443 --rm php:7.4-cli bash

如此在 Docker 內部用 `php -S 0.0.0.0:8000` 就可以在 Host 端存取查看運行結果了

若還是想直接裝在系統，可以參考 github.com/shivammathur/homebrew-php
張貼者： 於 沒有留言:
標籤： , , , , , , , ,

2024年9月8日 星期日

Dart 開發筆記 - 製作 Big5 to UTF8 工具以及發布到 pub.dev


最近想整理以前 C++ 寫過的東西來尋找熱情，先試試把很片段的小東西轉出來使用，這次純靠 claude.ai 做了滿多事，包括 README.md, CHANGELOG.md, example 和 test 都是他寫的 XD 剛好把最懶散的部分都給搞定了，因此 example 和 test 裡頭都會有簡體中文，甚至 README 一開始也給簡中版，只好請他給予英文版即可

整個過程大概不用兩個小時，非常舒服，花比較多的時間是請他把工具規劃成 library 的過程，claude ai 提了不少建議，但我也打槍他，最終有了現況的產出，這時真的感受到 AI 輔助的有趣的地方，還會提供一些觀點，像是 Flutter 他有多種平台，有些平台不適合 io 操作，這時會收到一些 AI 給予的建議，調整一些實作方向。


其中 pub.dev 發布過程還不太熟悉，參考官網 dart.dev.org.tw/tools/pub/publishing 先用指令：

```
big5_utf8_converter_dart % dart pub publish --dry-run                 
Resolving dependencies... 
Downloading packages... 
  _fe_analyzer_shared 73.0.0 (74.0.0 available)
  analyzer 6.8.0 (6.9.0 available)
  macros 0.1.2-main.4 (0.1.3-main.0 available)
Got dependencies!
3 packages have newer versions incompatible with dependency constraints.
Try `dart pub outdated` for more information.
Publishing big5_utf8_converter 1.0.0 to https://pub.dev:
├── CHANGELOG.md (<1 KB)
├── LICENSE (1 KB)
├── README.md (2 KB)
├── assets
│   └── big5_to_utf8_lookup.bin (64 KB)
├── bin2dart.dart (<1 KB)
├── example
│   ├── big5_utf8_converter_example.dart (<1 KB)
│   └── big5_utf8_converter_load_table_example.dart (1 KB)
├── lib
│   ├── big5_utf8_converter.dart (<1 KB)
│   └── src
│       ├── big5_to_utf8_lookup_data.dart (260 KB)
│       └── big5_utf8_converter.dart (1 KB)
├── pubspec.yaml (<1 KB)
└── test
    └── big5_decoder_test.dart (2 KB)

Total compressed archive size: 98 KB.
The server may enforce additional checks.

Package has 0 warnings.
```

接著才使用 Github Actions 來做事，僅需使用 Github Actions 預設的 Dart 就會幫跑 test case：


```
jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v4

      - uses: dart-lang/setup-dart@9a04e6d73cca37bd455e0608d7e5092f881fd603

      - name: Install dependencies
        run: dart pub get

      - name: Analyze project source
        run: dart analyze

      - name: Run tests
        run: dart test
```

最後，更新 README.md 增加圖標令牌：

[![pub package](https://img.shields.io/pub/v/big5_utf8_converter.svg)](https://pub.dev/packages/big5_utf8_converter)
[![Build Status](https://github.com/changyy/big5_utf8_converter_dart/workflows/Dart/badge.svg)](https://github.com/changyy/big5_utf8_converter_dart/actions)

收工！
張貼者： 於 沒有留言:
標籤： , ,
訂閱： 文章 (Atom)